四国の伊予国に流され、現在の今治市の富田地区に3年間居住し、その後少しずつ勢力をつけたために、治暦3年(1067年)に九州の筑前国宗像郡の筑前大島に再配流された。その後、宗像の大名である宗像氏によって、日朝・日宋貿易の際に重要な役割を果たしたと考えられる。また、大島の景勝の地に自らの守り本尊として奉持した薬師瑠璃光如来を安置するために安昌院を建てた。そして、嘉承3年(1108年)2月4日に77歳で亡くなった。
宗像市大島
三男・安倍季任
季任は肥前国の松浦に行き、松浦氏の娘婿となり松浦三郎大夫実任と名乗る。その子孫は北部九州の水軍松浦党を構成する一族になったといわれている。
子孫
松浦実任（安倍季任）の子孫の松浦高俊は、平清盛の側近で平家方の水軍として活躍し、その為、治承・寿永の乱により、現在の山口県長門市油谷に流罪となった。その後、高俊の娘が平知盛の子、平知貞に嫁ぎ、源氏の迫害から逃れる為に安倍姓を名乗った。ただし平家の家系図には平知貞という人物は存在しない(wikiより)。
注: 現在の子孫が安倍晋三