1973年7月，从国防军退役后，沙龙参与组建利库德集团。“赎罪日”战争爆发后，沙龙被紧急征召出任装甲师师长。为利库德集团成员被选入议会，标志着其政治生涯的开始。沙龙曾当选为第8至15届议会议员。
1975至1976年，沙龙出任总理拉宾的高级安全事务顾问。1977年6月利库德集团执政后，他历任农业部长和国防部长等职。沙龙1982年6月策划和指挥了入侵黎巴嫩的战争。1983年3月贝鲁特难民营屠杀事件东窗事发，沙龙被迫辞去国防部长一职，任不管部长。
沙龙1985年出任内阁商业和工业部长，1990年至1992年出任沙米尔政府的住房部长，主持西岸和加沙地带的定居点工作。1996年利库德集团重新上台执政后，沙龙在内塔尼亚胡政府中任国家基础设施部长，1998年以外长利维辞职后，沙龙兼任外交部长。沙龙1999年出任利库德集团领导人，并在2001年总理直接选举中获胜，成功组建了以色列第29届联合政府。
沙场上冲锋陷阵、屡建奇功的沙龙在巴以问题上素以强硬著称。沙龙曾一度反对巴以和谈，反对建立独立的巴勒斯坦国。1998年，巴以在克林顿政府的努力下签署了怀伊备忘录。由于沙龙的强烈反对，巴以和谈陷入僵局。2000年9月，沙龙强行进入有争议的圣殿山地区，引发了一场严重的巴以流血冲突。
沙龙出任政府总理后，逐渐调整其在巴勒斯坦问题上的强硬立场，特别是在2002年6月美国总统布什提出有条件支持巴建国的中东和平计划后，沙龙在巴以问题上的态度出现微妙变化。同年12月，沙龙首次提出一项巴勒斯坦建国方案，同意巴有条件建国。
2003年5月，美国、俄罗斯、联合国和欧盟联合推出了中东和平“路线图”计划，巴以局势一度出现缓和。由于以色列坚持其强硬政策，继续修建隔离墙和对巴实施“定点清除”，巴以冲突再起，“路线图”计划搁浅。同年11月，沙龙首次提出“单边行动”计划意向。2004年10月，以议会以简单多数通过了单边行动计划。
2005年8月15日，以色列政府不顾国内右翼势力的强烈反对，正式启动单边行动计划，并于9月12日完成了从加沙地带的撤离工作，从而结束了以对加沙地带长达38年的占领。但这一举动最终引发了利库德集团的分裂。作为该党的创建者之一，沙龙决定退出利库德集团，另组新党“前进党”参加2006年3月举行的议会大选。
2006年1月4日，沙龙突发中风，被紧急送往医院抢救。此后他在特拉维夫谢巴赫医疗中心接受治疗，靠呼吸机等辅助设备维持生命。（新华社）
