تم بناء معبد نيجيجي على أنقاض قلعة آياي، التي كانت موجودة في مدينة تاكايشي. عندما دمرت قلعة آياي في حرب خلال فترة سينغوكو، هرب أحد الخدم من المعبد وهو يحمل أميدا نيوراي على ظهره. محاطًا بالأعداء، ألقى بنفسه في خندق القلعة ومات مع أميدا تاثاغاتا. مع مرور الوقت، اكتشف جينيو شونين أميدا نيوراي من خندق القلعة، بعد رسالة حلم. وقد تم بناء معبد على أنقاض القلعة لتكريس ذلك. أختام القلعة التي نبيعها محفور عليها اسم المعبد، مما يجعلها نادرة.