哈里王子被指2013年曾與親叔安德魯王子（Prince Andrew）發生肢體衝突。此事源於一本新書《特權：約克家族的興衰與沒落》（Entitled: The Rise and Fall of the House of York）的摘錄，該書由《每日郵報》（Daily Mail）連載。這本書據稱基於對「逾百名從未公開發言的人」的採訪，為安德魯王子及其前妻莎拉（Sarah Ferguson）寫聯合自傳。哈里則強烈否認「打人」指控。
書中聲稱，衝突起因於安德魯王子在哈里背後說了某事，導致雙方爭執升級，甚至「揮拳相向」，安德魯被打得「鼻青臉腫」，需他人介入分開。然而，哈里的一位發言人明確駁斥這些說法，聲明：「我可以確認，哈里王子與安德魯王子從未發生過肢體衝突，同時安德魯王子也從未對哈里王子說過有關薩塞克斯公爵夫人（Meghan Markle）的任何上述言論。」發言人進一步表示，已因《每日郵報》報道中的「嚴重不準確、具破壞性且誹謗性的言論」向該報發出法律信函。
該書還指安德魯曾警告哈里不要與梅根結婚，並預測這段婚姻「不會長久」。這些說法與哈里先前公開的家庭矛盾背景形成對比。2023年，哈里在自傳《備胎》（Spare）中披露，他曾與哥哥威廉王子（Prince William）因梅根的「粗魯」和「咄咄逼人」行為發生爭執。他描述威廉曾抓住他的領口，將他摔倒在地，撞碎了狗碗，碎片割傷了他的背。哈里寫道：「一切發生得太快，太突然了。」他表示自己選擇不還手，威廉後來回來道歉。
然而，這些個人陳述與新書的指控截然不同，哈里否認與安德魯有任何肢體衝突，顯示他試圖澄清對其與家族關係的誤解。作為退出皇室工作角色並對媒體提起訴訟的後果，哈里曾表示與家人的關係極為緊張。今年早些時候，他透露國王查理斯三世（King Charles）不願與他交談，並提到與部分家族成員存在「諸多分歧」，特別是因喪失英國警方保護一事。
