这座城堡即使是在当初建造的时候，也不适合居住。不过由于它壮观美丽及高贵的气质，它被称为是“最接近童话的地方”。路德维希二世也因为他的城堡，而被后人们称做是“童话国王”。这位国王敏感而脆弱，心中充满着浪漫却又不切实际的想法，对现实的憎恶，对人民的失望，加上无法抑制同性恋癖好而不断自我折磨，使他只有沉溺在梦和美学虚幻的世界中。他先后修建了新天鹅堡，林德宫和基姆湖城堡，想要通过修建城堡来实现他心中的梦幻，尽管这些城堡一点都不实用。终于，大臣们不愿再出资筹建城堡，他们授意一个由4人组成的医务小组宣布路德维希二世精神错乱，并将他罢免，放逐到施塔恩贝格湖的贝格城堡。1886年6月13日晚上，路德维希二世和他的医师一起溺死于施塔恩贝格湖中。