Es war einmal ein Bauernhof in Bad Wörishofen. Der Hausname des Hofes war "Gugger". Vermutlich stammt dieser Name aus der Gegebenheit, dass damals viele Häuser neben der Haustür ein kleines Fenster im Miniaturformat hatten, das auch als "Guggloch" bezeichnet wurde.
Das Haus lag viele Jahre brach, bevor das Projekt "Kunst- und Kulturhaus" von einer großen Firma im Landkreis Unterallgäu wachgeküsst wurde. Der Firmeninhaber über gab einen Geldbetrag an die Stadt Bad Wörishofen, der zum Erwerb des Grundstücks ausreichte und mit der Auflage verbunden war, auf diesem Grundstück ein neues, gleichartiges Gebäude mit dem Charme des alten Hofes zu errichten, in dem den Gästen künftig Kunst- und Kulturveranstaltungen angeboten werden sollen. Diese Idee entstand im Jahre 1992.
Bei der Raumplanung wurde der Betriebszweck auf die Durchführung von "kurergänzenden Maßnahmen" erweitert. Nachdem die Gremien des Stadtrates dem Vorhaben zugestimmt hatten, wurde der Bauantrag für das neue Gebäude „Kunst-und Kulturhaus Zum Gugger“ im April 1994 zur Genehmigung eingereicht. Im Zuge des Neubaus wurde die künftige Betriebsorganisation, also die Leitung des Hauses, auf den Kur- und Tourismusbetrieb übertragen.
Die Eröffnung des Hauses fand am 27. Juli 1996 durch den damaligen 1. Bürgermeister Erwin Singer statt.
Das Grundstück des "Gugger" hat insgesamt592 m² und auf dem Freigelände findet seit der Eröffnung auch jedes Jahr der 42 Meter hohe Maibaum seinen Platz.
