Die Herbstenburg ist ein auf einem mittelalterlichen Turm aufbauender Ansitz. Im Jahre 1500 erwarben die Brüder Kaspar und Christoph Herbst (Hauptleute von Kaiser Maximilian) den mittelalterlichen Wehrturm, um ihn zur heutigen Größe auszubauen. In dieser Wiese erhielt der Ansitz auch den Namen seiner Erbauer. Christoph von Herbst, welcher der Richter von Toblach war, benützte die Herbstenburg zeitweise als sein Gerichtshaus. In weiterer Folge diente der Ansitz den Gebrüdern als ein sogenannter Vogteisitz. Zwischen den Jahren 1508 und 1511 ist auch ein Aufenthalt von Kaiser Maximilian I. auf der Herbstenburg bekannt, von dort aus berief er im Jahre 1508 den Reichstag in Augsburg ein, und im Jahre 1511 diente sie ihm als sein Hofquartier.