Auf dem Fürberg, einem Ausläufer des nordwestlichen Pfänderzuges, liegt die Ruine Ruggburg, die heute einem ehemaligen Bezirksrichter gehört. Ursprünglich war auf dem Gelände dieser Ruine ein keltischer Kultort, später bauten wahrscheinlich die Römer einen Wachturm. Im 10. Jahrhundert errichteten Allgäuer Ritter eine Festung, die von Herzog Ernst von Schwaben 1015 zerstört wurde. Kurze zeit später sah das Gelände der Ruine erneut eine Burg. Um 1340 soll ein Ritter Albo auf der Burg gewohnt haben, aber erst um 1400 beginnen die Quellen um die Ruggburg reichlicher zu fließen. Eine Familie tritt als Besitzer auf, ab 1430 erwirkt der Schweizer Vogt Heinrich von Summerau die Feste. Zwanzig Jahre später wird die Ruggburg an die Grafen von Werdenberg-Sargans verkauft und jetzt tritt auch der legendärste Besitzer der Burg auf den Plan: Hans von Rechberg. 1445 hat Rechberg Elisabeth von Werdenberg-Sargans geheiratet und dürfte daher bald die Hälfte der Burg besessen haben.
Ab 1451/52 werden Plünderungen von Kaufleuten und Städten in der Umgebung der Ruggburg unerträglich und lähmen zeitweilig den Handel der gesamten Umgebung. Im Spätherbst 1452 beginnen daher Acht süddeutsche Städte, allem voran Ulm, die Burg zu belagern. Sie vergessen aber, und das wird sich bald als sehr verhängnisvoll erweisen, vorher ordnungsgemäß Fehde anzusagen.
Die Belagerung zieht sich dahin und zehrt an den Nerven des 600 Mann-Heeres vor der Festung, die von Bregenz her tatkräftig unterstützt wird. Schneller wird man mit dem Ansitz Halbenstein, etwa 300 Meter unterhalb der Ruggburg gelegen, fertig, der geplündert und zerstört wird. Dasselbe Schicksal ereilen die Burgen Alt-Lochen und Alt-Hofen. Anfang Dezember 1452 heuern die Städter Schweizer Zöllner an, nachdem sich vorher schon schmerzhaft das Versagen der Artillerie gezeigt hat. Die Schweizer treiben die Belagerung schneller voran, schon am 8. Dezember quillt Rauch aus der belagerten Ruggburg. Das Feuer hatten Rechbergs Mann offensichtlich selbst gelegt, bevor sie, 37 Männer an der Zahl, durch einen Geheimgang entflohen. Die einbrechenden Belagerer finden jedenfalls nur einen Priester, zwei Frauen, einen Buben und einen Schwerverletzten vor. Nach der Plünderung dessen, was der Brand übrigließ, zogen die Städter und Schweizer Söldner ab.
Letztlich mussten die Städte aber nach einem von Hans von Rechberg angestrebten Entschädigungsprozess den Schaden an der Ruggburg bezahlen, und Rechberg konnte sich eine Burg ähnlicher Größe bauen lassen, ehe der Raubritter 1464 beim Viehdiebstahl tödlich angeschossen wird. Ein Memminger Chronist schreibt über Hans von Rechberg folgendes:
„Er ist der größte Wüterich gewesen, den es seit Menschengedenken in Deutschland gegeben hat. Er führte immerzu Krieg. Er hab viele Schlösser verloren und unsäglich viel Menschen umgebracht. Er hat viele zu armen Leuten gemacht mit Brennenund Rauben.“
Die Ruine gehörte fortan dem Heiliggeist-Spital zu Wangen. 1529 stürzte ein Teil der Ruine bei einem Erdrutsch ins angrenzende Tobel. Seit 1971 ist der ehemalige Richter Besitzer des Ruggburgareales.
