1540年，多里亚的侄子贾内蒂诺·多里亚（Giannettino Doria）在吉罗拉塔战役（Battle of Girolata）中取得了重大胜利，俘获了除巴巴罗萨之外最杰出的土耳其舰长德拉古特（Dragut）。
安德烈亚将他作为战船奴隶在自己的旗舰上囚禁了四年。
此时，多里亚的常年合作伙伴贝尔纳迪诺·德·门多萨（Bernardino de Mendoza）在阿尔博朗战役（Battle of Alborán）中再次击败奥斯曼海盗。
1541年，安德烈亚、贾内蒂诺和门多萨被查理五世招募，发起了一场征讨阿尔及尔的远征，旨在再次捕捉巴巴罗萨。
多里亚试图警告皇帝此次行动时机糟糕，因为那是秋季，地中海天气危险，但他的警告未受到重视，热那亚人无奈地接受了参与。
结果却是一场灾难，风暴摧毁了帝国舰队，尽管多里亚家族设法保障了大部分舰队的撤退，但仍需付出很大努力来重组其他热那亚舰长的队伍。
这也是一场属于海雷丁的伟大胜利。
---
1542年，法奥联军攻陷尼斯，安德烈亚·多里亚追击敌军，俘获了四艘船只。
法国和奥斯曼结盟了。
在五月，海雷丁·巴巴罗萨率领110艘战舰袭击雷焦（Reggio），并与法国舰队在马赛（Marseille）会合，指挥权与弗朗西斯·德·布尔戈涅（Fran?ois de Bourbon）共享。
巴巴罗萨和布尔戈涅再次征服并洗劫了尼斯，唯独城堡未遭破坏，但在多里亚到来时他们选择撤退。
多里亚在维尔弗朗什（Villefranche）登岸，带来由阿方索·达瓦洛斯（Alfonso d'Avalos）率领的陆军，尼斯得以恢复，而法土舰队则转移至安提贝（Antibes）。
令基督教世界大为愤怒的是，1544年，在巴巴罗萨支付了三千杜卡特金币后，多里亚释放了德拉古特。
巴巴罗萨先以封锁热那亚威胁过多利亚。
多里亚或许想借此争取奥斯曼帝国的同情，以备不时之需，万一自己的亲属被俘，也好谈判。
但他最后还是为此决定感到悔恨，因为德拉古特（Dragut）在未来的战争中屡立战功。
---
热那亚人建议达瓦洛斯不要与法国人直接交战，但由于双方关系紧张，达瓦洛斯对这一建议置之不理，最终选择出击，却在塞雷索尔（Ceresole）战役中遭到失败。
多里亚积极出击，阻止了法国人利用这一机会，袭击他们在海岸的阵地。
在1544年弗朗索瓦与查理签订克雷皮和约（Peace of Crépy）后，多里亚希望能安享晚年。
然而，他的巨额财富和权力，加上侄子兼继承人吉安内蒂诺·多里亚（Giannettino Doria）的傲慢，使得他树敌众多。
在1547年，费斯基（Fieschi）阴谋试图将他的家族赶下台，吉安内蒂诺在这一事件中被杀，但阴谋者最终被击败。
多里亚对他们的惩罚极为严厉，夺取了许多阴谋者的封地。
他还被牵连到皮尔·路易吉·法尔内塞（Pier Luigi Farnese 帕尔马和皮亚琴察公爵）谋杀案中，而法尔内塞曾支持费斯基。