วัดกังโงจิมีประวัติศาสตร์อันยาวนานย้อนไปถึงปีค.ศ. 588 ตอนที่องค์จักรพรรดิซูชุนในขณะนั้นได้อนุมัติการสร้างวัดขึ้นในอะซูกะที่อำเภอทาไคชิซึ่งตอนนั้นมีชื่อเดิมว่าวัดโฮโคจิ หลังจากนั้นจึงเรียกกันว่าวัดอะซูกะเพราะตอนนี้ตั้งอยู่ในนาราทางใต้
สมัยนั้นญี่ปุ่นมีความใกล้ชิดกับเกาหลีมาก กษัตริย์แพคเจของเกาหลีทรงมีบทบาทสำคัญในการสร้างวัดด้วยการส่งคนงานและช่างมาช่วยเหลือ กลุ่มผู้เชี่ยวชาญที่เรียกกันว่าเซียนกระเบื้องถูกมอบหมายให้สร้างหลังคา และเป็นครั้งแรกในญี่ปุ่นที่มีการใช้ช่างฝีมือเช่นนั้น หลังจากนั้นกระเบื้องเหล่านี้ได้ถูกย้ายออกไปยังที่ตั้งปัจจุบันของวัด
วัดอะซูกะเป็นศูนย์กลางของพุทธศาสนาตอนสมัยอะซูกะในประวัติศาสตร์ญี่ปุ่นช่วงแรกเริ่ม มีการตั้งโรงเรียนพุทธศาสนาสองในหกแห่งขึ้นที่นี่ สิ่งที่เรียกกันว่าวัฒนธรรมอะซูกะได้กระจายไปทั่วทั้งญี่ปุ่น กังโงจิมีบทบาทสำคัญในช่วงครึ่งแรกของสมัยเฮอันในการเป็นผู้นำของวัดระดับประเทศเจ็ดแห่งเพื่อเผยแพร่พุทธศาสนาครั้งใหญ่ และยังได้เป็นผู้จัดเทศกาลทางศาสนาพุทธหลายเทศกาลอย่างอุนบอน-เอะ (ตอนนี้ที่ญี่ปุ่นเรียกว่าโอ-บอน) ซึ่งเป็นเทศการรำลึกถึงผู้ที่จากไป และคันบุตสุ-เอะ (เทศกาลดอกไม้) เฉลิมฉลองการประสูติของพระพุทธเจ้า เป็นต้น
ในปีค.ศ. 710 เมื่อญี่ปุ่นย้ายเมืองหลวงจากอะซูกะไปนารา วัดก็ต้องเปลี่ยนชื่อไปเป็นกังโงจิและมักจะถูกเรียกว่าเป็นอะซูกะแห่งนารา ในปัจจุบันขนาดของวัดกังโงจินั้นลดเล็กลงกว่าเดิมมากแต่ยังมีทรัพย์สมบัติสำคัญ ๆ อยู่ ซึ่งได้แก่ฮิงาชิ-ไดโตะ-อาโตะ (ซากที่เหลือของหอคอยห้าชั้นทิศตะวันออก) นิชิ โชโตอิน อาโตะ (ซากที่เหลือของโถงเจดีย์เล็กทิศตะวันตก) และกังโงจิ โงคุราคุ-โบะ-เคได (ซากที่เหลือของศาลาปฏิบัติธรรมและอบรมธรรมทิศตะวันออกเฉียงใต้)
บริเวณอันกว้างใหญ่ของวัดกังโง-จิได้เปลี่ยนมาเป็นเมืองที่มีผู้คนอาศัย อาคารเดียวจากศตวรรษ 19 ที่เหลืออยู่คือหอพระ ศาลาคันนอนโดะและเจดีย์ห้าชั้น ซึ่งทั้งหมดถูกไฟเผาวอดในปี 1859
หอพระถูกปรับโฉมใหม่ในศตวรรษที่ 13 เพื่อประดิษฐานมันดาลาของนักบวชชิโกะ (ซึ่งถูกกำหนดให้เป็นทรัพย์สินสำคัญทางวัฒนธรรม) ที่ประกอบได้ศาลาใหญ่ของวัดกังโง-จิในปัจจุบันและศาลาปฏิบัติธรรมเซน
ชิโกะเป็นเจ้าอาวาสวัดกังโงจิที่มีชื่อเสียงในสมัยนารา และเป็นศิษย์ของโรงเรียนซันรอนกับเป็นผู้แตกฉานโรงเรียนพุทธศาสนาโจโดะคนแรก มันดาละเป็นสัญลักษณ์ภาพแทนเทพเจ้าพุทธและผู้บูชานำไปใช้ระหว่างการปฏิบัติธรรมพุทธ ตอนนี้มีการประดิษฐานภาพนี้ในโงคุราคุ-โบะที่ชิโกะเคยใช้พักอาศัย ในสมัยเฮอันที่รัฐบาลให้การสนับสนุนซึ่งได้เริ่มเสื่อมอำนาจและอิทธิพลลง ประจวบกับการลดลงของรายได้จากโช-เอนและอิทธิพลของวัดที่เสื่อมถอยลง (อย่างเช่นของนิกายเทนไดและชินงอนในพุทธศาสนา) ที่ได้รับการอุปถัมป์โดยขุนนานงสมัยนั้น พอเวลาผ่านไป การสนับสนุนของขุนนางเหล่านี้ก็เปลี่ยนไปเป็นโดยประชาชนและเป็นสถานที่บูชาของผู้ที่เชื่อมั่นในจิโสะ องค์ชายโชโทคุ นิกายชินงอนและนิกายโจโดะของคริสต์
วัดในปัจจุบันเดินมาไม่กี่นาทีทางทิศตะวันออกเฉียงใต้ของสถานีรถไฟคินเทตสุ นารา วัดอาจะมีขนาดเล็กลงกว่าในยุคเฟื่องฟูมาก แต่ก็ยังน่าทึ่ง เพราะมีประวัติศาสตร์อันยาวนานและความสัมพันธ์ของการเริ่มเผยแพร่พุทธศาสนาช่วงแรกเริ่มของญี่ปุ่น ศาลาจำวัตรใหญ่คือโงคุรัคคุโดะ ซึ่งเป็นบ้านของชิโกะ กับเซนชิตสุหรือศาลาปฏิบัติธรรม ในศาลาใหญ่คุณจะเห็นอนุสรณ์สำคัญทางวัฒนธรรมอย่างเช่นภาพของพระพุทธเจ้า
