Obwohl es vielleicht das bekannteste Gebäude in St. Georgen ist, ist eine Frage zum Schwarzen Tor noch immer ungeklärt. Bislang weiß nämlich niemand so richtig, woher der Name für das 1803 errichtete Kleinbauernhaus stammt. Manche vermuten, er gehe auf das „Haus beim schwarzen Thore“ zurück, das vorher an dieser Stelle stand und nach einem Blitzeinschlag niederbrannte.
Andere sagen, es habe seine Bezeichnung von Übernamen bekannter Bergstädter wie dem Schuhmacher Jakob Lehmann, genannt „Thorjockel“, bekommen. Und wieder andere glauben, der Name stamme schlicht von der schwarzen Fassade.
Diese ist im Schwarzen Tor nicht nur außen sichtbar, sondern auch im Inneren. Das Haus ist nämlich das letzte auf dem Stadtgebiet, das noch in seiner ursprünglichen Form als Schwarzwälder Rauchhaus besteht. Charakteristisch für diese Bauweise war, dass diese Häuser keinen Kamin in der Kochnische besaßen und der Rauch einfach über das Dach abzog.
Das ist zwar aus heutiger Sicht nicht besonders gesund, hatte aber den Vorteil, dass so gleichzeitig Fleisch zum Räuchern unters Dach gehängt werden konnte und der Qualm zudem Ungeziefer fernhielt. Auch die Balken blieben so stets trocken, färbten sich aber im Laufe der Zeit tief schwarz.
