De bouw van het Hilton Hotel ging overigens niet zonder slag of stoot. Op voorwaarde dat Panorama Mesdag (bijna de directe buurman) geen hinder van de bouw zou ondervinden, ging het akkoord met de bouw van deze faciliteiten ten behoeve van het Hilton Hotel. Maar waar zij al bang voor was, gebeurde: sinds het begin van de bouw kreeg het te maken met verzakkingen. Twee maal heeft het museum procedures in gang gezet om de bouw stil te leggen, zonder resultaat. Het zou (volgens de gemeente) binnen de regels en marges liggen.