วัดเขมาภิรตาราม เป็นวัดโบราณ สร้างสมัยอยุธยาหรือก่อนสมัยอยุธยา พระเจ้าอู่ทองทรงบูรณปฏิสังขรณ์เป็นวัดหลวงในสมัยอยุธยา ในสมัยรัตนโกสินทร์ วัดเขมาภิรตารามเป็นวัดที่อยู่ในสังกัดบัญชีกฐินหลวงของสมเด็จพระบวรราชเจ้ามหาเสนานุรักษ์ เดิมเรียกว่า วัดเขมา บางครั้งเรียกว่า "วัดเข็นมา" (คำว่า เขมา มีความหมายว่า ความเกษมสุข ความพ้นจากเครื่องห่วงใย ความปลอดจากกังวลทั้งหลาย)
ในรัชสมัยพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย สมเด็จพระศรีสุริเยนทราบรมราชินีโปรดให้สมเด็จเจ้าฟ้ามงกุฎพระราชโอรส (ซึ่งต่อมาได้เสด็จขึ้นครองราชสมบัติเป็นพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว) เสด็จไปเฝ้าสมเด็จพระบวรราชเจ้ามหาเสนานุรักษ์ เพื่อกราบทูลขอวัดเขมาเป็นวัดสำหรับกฐินในสมเด็จพระศรีสุริเยนทราบรมราชินี จากนั้นได้ทรงบริจาคพระราชทรัพย์บูรณปฏิสังขรณ์วัดเขมาพร้อมกับอัญเชิญพระพุทธรูปหล่อเก่าแก่จากพระราชวังจันทรเกษมที่อยุธยามาประดิษฐานเป็นพระประธานในพระอุโบสถ และมีการฉลองใน พ.ศ. 2371 ต่อมาในรัชสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว พระองค์ทรงบูรณปฏิสังขรณ์เพื่อฉลองพระคุณสมเด็จพระบรมราชชนนี แล้วพระราชทานนามเพิ่มว่า วัดเขมาภิรตาราม