初名源纲，源宛（嵯峨源氏）之子。因作为源敦（仁明源氏）的养子居住于摄津国渡边津而以渡边为苗字。同时也因源敦是源满仲（赖光之父）女婿的缘故，得以侍奉于清和源氏门下。
其人以刚勇忠厚闻名，深受源赖光信赖，位列赖光三杰（四天王）之首。最为著名的传说是在讨伐酒吞童子后，在平安京罗城门单挑恶鬼（通说为茨木童子，但也有桥姬的说法。此外源赖信（赖光三弟）嫡孙的源义家同样也有类似传说），以清和源氏家传宝刀·髭切太刀斩断其右臂将其击败的事迹，这也是后世传说及谣曲《罗城门》的由来。
1020年被封为正五位丹后守。子孙是以渡边党为名的水军众，统辖濑户内海，在日后的源平合战和南北朝之乱中都有活跃表现。战国时期的松浦水军正是其后代之一。
