Schloss Bruneck wurde im fernen Jahr 1250 vom Brixner Fürstbischof Bruno von Kirchberg (1250−1288) erbaut, um den vermeintlich letzten Rest jenes Territoriums abzusichern, das Kaiser Heinrich IV den Bischöfen von Brixen 1091 übertragen hatte. Inzwischen wurde das Pustertal nämlich überwiegend von Adeligen beherrscht, die von den Bischöfen vormals als Vögte eingesetzt worden waren. Das Schloss wird im Jahre 1271 erstmals als „Castrum Bruneke“ (lat. Castrum = Festung, befestigter Ort) genannt. Ab der zweiten Hälfte des 13. Jahrhunderts wurde dann zu Füßen des Schlossbergs die Stadt Bruneck erbaut, die dann 1333 erstmals als Stadt bezeichnet wird.
Unter Fürstbischof Albert von Enn (1324−1336) wurden das Schloss und die Befestigungsanlagen stark ausgebaut und miteinander verbunden. Vier Stadttore, die Stadtmauer und der Graben sind um diese Zeit entstanden.
Weitere prägende Umbauarbeiten erfolgten unter Fürstbischof Ulrich Putsch (1427-1437), der den Bergfried aufstocken und mit einem Spitzdach versehen ließ. Auch der Wohntrakt wurde ausgebaut, da der Bischof längere Zeit auf dem Schloss weilte, um dem Schwarzen Tod zu entgehen, der damals in Brixen wütete.
Beträchtliche Schäden trug das Schloss 1460 davon, als es von Herzog Sigmund belagert wurde, da sich Kardinal Nikolaus Cusanus (1450-1464)dort verschanzt hatte. Unter Bischof Georg Golser (1464- 1488), dem Nachfolger des Cusanus, wurden diese Schäden repariert und die Befestigungsanlage – aus Angst vor den Türken – ausgebaut.