実父は薩摩琵琶奏者。ビング・クロスビー主演の映画「ブルースの誕生」をみて、クラリネットを始める。1951年上京し銀座のクラブ等で演奏活動を始める。その後宮沢昭、守安祥太郎と出会い影響を受ける。1953年、穐吉敏子率いるコージー・カルテットに加入。1956年に穐吉がアメリカに渡ってからは、渡辺がバンド・リーダーとなる。コージー・カルテット解散後の1958年にはジョージ川口ビッグ4に加入。1961年初リーダーアルバム『渡辺貞夫』を発表。