年轻时先后师从阴阳师贺茂忠行和保宪父子,40岁以天文得业生的身份出道,50岁就任天文博士,在贺茂保宪死后开始崭露头角,以出色天文和阴阳道知识赢得朝廷信任,屡任左京权大夫、播磨守等要职,并位居官阶从四位上。随着两名儿子安倍吉昌、吉平分别担任天文博士和阴阳助之后,使得安倍家成为取得和师傅贺茂家并驾齐驱的地位。