لقد مرت قلعة واكاي بالعديد من الحروب منذ أن بنتها عشيرة هاتاكياما، حاكم مقاطعة كاواتشي، في أوائل فترة موروماتشي. خلال عصر تينشو، أصبح كريستيان نوريماسا إيكيدا تانجو نو كامي سيد القلعة وقام ببناء كنيسة وما إلى ذلك، لذلك يقال إنها كانت مركز مسيحية كاواتشي، إلى جانب ياو وسانكا (مدينة دايتو الحالية). وأوكاياما (مدينة شيجوناوات الحالية). ومع ذلك، لم يتم العثور على أي مادة بعد أن استخدمها نوبوناغا كقاعدة لهجومه على معبد إيشيياما هونغانجي، وبينما كانت منذ فترة طويلة "قلعة شبحية"، كشفت الحفريات التي أجريت بعد عام 1971 أنها بنيت حول مركز القلعة. تم العثور على جزء من الخندق مما يؤكد وجوده مرة أخرى. يبلغ حجمها حوالي 380 مترًا من الشرق إلى الغرب وحوالي 280 مترًا من الشمال إلى الجنوب (قاموس أسماء الأماكن اليابانية في كادوكاوا). حاليًا، يوجد نصب تذكاري يخلد أنقاض القلعة عند سفح جسر المشاة أمام مركز مجتمع واكاي، ولكن يقال إنه لا يزال هناك العديد من الألغاز المحيطة به.