Nach dem erfolgreich abgeschlossenen Hussitenkrieg werden die Ramsperger bald in eine Adelsfehde verwickelt, was sowohl bei ihnen als auch allen anderen Rittergeschlechtern durchaus der Fall sein konnte. Für tatsächlich oder vermeintlich erlittenes Unrecht kann im Mittelalter jede Adelsfamilie zusammen mit den Verwandten und Freunden einen Fehdekrieg führen, wobei jeglicher Besitz des Gegners zerstört und vernichtet werden kann. Die Herren auf Altrandsberg unterstützen in dieser Auseinandersetzung Herzog Johann von Pfalz-Neumarkt gegen Heinrich Nothaft von Wernberg. Die Fehde wird am 13. Juni 1437 von dessen Bruder, Pfalzgraf Otto I. von Pfalz-Mosbach, mit einem Schiedsspruch friedlich beigelegt, worin es heiße:
Wir Ott von Gotts gnaden Pfaltzgrave by Rine und Hertzog In Beyern Bekennen und thund kunt offenbaren inn dißen brieve Als Spenne und zweyunge gewest sind zwischen dem hochgebornen fursten Hern Johannsen Pfaltzgraven by Rine und Hertzugen in Beyern/ unserm Lieben Bruder an einem/ und unserm Lieben getrewen Heinrich notthafften von Werremberg Rittern an dem anndern teyle darumb sie off heit datum diß brieffs/ einen gutlichen dag vor uns/ und ettlichen unnern und der Pfaltz trefflichen Reten geleystett hannd und als der obgnt. unnser Lieber Bruder Hertzug Johanns Heinrich notthafften obgnt. zugesprochen hat! Zum ersten als von des uberzugs wegen So der obgnt. Heinrich notthafft vorzeiten uber die Ramßperger und fur das Slosse Ramsperg gethan habe uber und widder solche verkerte und ansagen / So derselbe Heinrich Nothaft dem obgntn. unsern Lieben Bruder Hertzug Johannsen gethan/ und yme als er meynt versprochen soll han solehs nit zuthund und auch von der Losung wegen des Slosses Beylstain das des obgntn. unnsers Lieben Bruder eigenthum sy daran yme der ognt. heinrich Nothaft gelrret habe ...
In der gütlickett In maßen hernach geschrieben stet Zum ersten unb alle solche kosten und schaden wie der obgnt. unnser Lieber Bruder Hertzug Johanns die/ des obgntn. Heinrich Nothaft halben als er meynt genommen und gelietten hat! es sy von der Ramsperger oder von annder sachen wegen auch fur anndern unwillen ... das derselbe Heinrich notthafft dem obgntn. unsern Lieben Bruder Hertzug Johannsen ... den gantz Jare nechst nach datum diß brieffs nacheinander folgende sall zwentzigst gewapent und mit zwentzig pferden zu allen Im kriegs sachen und geschefften wann sie das an Ime gesynnen und yne alls ermanet off des obgntn. unsern Lieben Bruder Hertzug Johannsen und siner erben kosten ...
Heinrich Nothaft von Wernberg hat also offensichtlich in dieser Fehde sowohl die Ramsperger geschädigt als auch ihr Schloss evtl. belagert. Ihm wird dafür eine empfindliche Buße auferlegt, denn er muss Herzog Johann 20 bewaffnete Reiter zur Verfügung stellen, wann immer es diesem beliebt. Von einer Entschädigung für die Ramsperger wird allerdings nicht gesprochen, so dass sie diese bereits von dem befreundeten Pfalzgrafen erhalten haben oder sogar leer ausgegangen sind.
Auf jeden Fall werden die Ramsperger durch diese Fehde erheblich geschädigt und es gelingt ihnen auch nicht mehr, sich von diesem Schlag zu erholen. Sie können es sich offensichtlich nicht mehr leisten, ihr Schloss wieder ansprechend instand zu setzen, denn die nächsten Besitzer, die Paulsdorfer, beginnen bald mit der Renovierung. Ein weiteres Indiz für die schlechte Finanzlage der Altrandsberger Herren ist die Tatsache, dass nun die Ramsperger Zug um Zug ihren Besitz verkaufen müssen.
Bereits im selben Jahr, also 1437, wird bzw. muss die Grafschaft Leonsberg an Herzog Albrecht verkauft werden, zwei Jahre später im August 1439 gibt nämlich Niklas Ramsperger Sitz, Dorf und Hofmark zu Zandt an Friedrich Türlinger von Tür1stein ab. 1441 sieht sich der Edel und Vest Niclas Ramsperger zu Altenramsperg mit einer Schuldenforderung von Siegmund Lengenfelder konfrontiert, weshalb das in diesem Fall zuständige Gericht in Osterhofen entscheiden soll. Aber das Urteil bringt nicht das erhoffte Ergebnis, die Revision wird von Herzog Albrecht abgelehnt, und deshalb ergehen Appellationen an das Hofgericht Herzog Heinrichs von Niederbayern und sogar an König Friedrich 111 .. Die Entscheidung fällt schließlich zu Altenramsperg in der Vesten Regenspurger Bistumbs in der grossen Stuben der vesten vor zahlreichen Zeugen.
In der Folgezeit wechseln noch weitere Ramsperger Güter den Besitzer. So veräußert im Mai 1445 Martin Ramsperger einen Hof, da er weder Silber noch Gold besitzt, und Johann, Domherr zu Regensburg, das Eigengut Libenau mit Hofmark und Gericht im Dezember 1446.41 In diesen Jahren wird Hofmarch Eehaft und gerechtigkeit und die guet und gilt mit aller Zugehorung nichts ausgenommen zu Mospach '" von Conrad Nußperger zu NewnNußperg ... von den Ramsperger wegen mit recht eingezogen. Vor 1453 werden auch noch der Kagerhof des Hennßl Goppel, Güter im Bereich des Marktes Kötzting, sowie in dem ·Viechtreich der Lotterhof verkauft.
Eine entscheidende Schwächung allerdings erfährt das Geschlecht der Ramsperger eigentlich schon viel früher, nämlich um 1330. Zu dieser Zeit spaltet es sich in zwei Linien auf, was, glaubt man den alten Überlieferungen, auf familiäre Zwistigkeiten zurückzuführen ist. Während Hilprant, Hainrich und Conrat auf dem alten Stammsitz Ramsperch bleiben, gründet Friederich in Sichtweite, um, wie es in der Sage heißt, seinen Brüdern in den Suppentopf schauen zu können, die höhergelegene Burg Neuen Ramsperg. Auch sie wird mit erheblichem Aufwand mittels Mauerring, Bergfried sowie Zwingmauer mit vier Halbtürmen zu einer wehrhaften Anlage ausgebaut. Allerdings residieren die Neu-Ramsperger nur etwas über hundert Jahre auf der Burg, denn dann ist es wiederum ein Friedrich, der ihre Geschichte entscheidend beeinflusst. Er macht sich eines Friedensbruches schuldig, da er wahrscheinlich zum Raubritter geworden ist. Diesen Weg gehen im 14. und 15. Jh. zahlreiche Adelige im Bayerischen Wald, weil sie durch die aufkommende Umstellung von der Natural- auf die Geldwirtschaft, den gleichzeitigen Preisverfall der Agrarprodukte und den Verlust von Verwaltungsämtern an gebildete Bürger zusehends verarmen. Überfälle, vor allem auf Kirchengüter und Warentransporte der Kaufleute, sollen ihnen deshalb helfen, sich über Wasser zu halten.
Solchen Taten aber, wie sie vor allem von den Chamerauern sowie den Neuhausern bei Schorndorf begangen worden sind, dort war das gefürchtetste Raubritternest im Bayerischen Wald, hat die Obrigkeit nicht lange tatenlos zugesehen.
So fällt Friedrich zu Neurandsberg bei Herzog Ernst von Bayern in Ungnade, und von diesem wird Haimeran Heuraus, ein erfahrener, sowie erfolgreicher Kämpfer während der Hussitenkriege, beauftragt, dem Ramsperger die Veste mit bewaffneter Hand wegzunehmen. Nach durchgeführter Aktion geht die Burg in landesfürstlichen Besitz über, wird von verschiedenen Pflegern verwaltet, vorübergehend als Staatsgefängnis für Schwerverbrecher genutzt und schließlich von den Schweden 1633 zerstört.
Die Auflösung der Neuramsperger Herrschaft muss in den Jahren zwischen 1430 und 1460 erfolgt sein. Hund schreibt nämlich in seinem Stammbuch davon, dass Herr Fridrichen Ramspergers Vater/verordnet ein Meß zu Mospach in der Pfarr/bey seiner Gräbnuß zustifften ., .. Sein Sun Herr Friderich/Anno 1433 sollen ins Werck richten.
Während sie also in diesen Jahren noch die Herrschaft innehaben, besuchen am 23. Juni 1461 die Herzöge Johann und Sigmund ihre Veste Neurandsberg, bei Gelegenheit nämlich, als sie im Lande Umritt hielten, um von den Unterthanen die Huldigung zu empfangen.
Nach gut hundert Jahren ist damit also die Herrschaft der Neurandsberger Linie zu Ende gegangen, und dies genau zu der Zeit, als auch die Ramsperger zu Allten Ramsperg größte Schwierigkeiten haben, weshalb gegenseitige Hilfe nicht möglich ist.
Schließlich ist auch Niclas Ramsperger zu Allten Ramsperg gezwungen, wenn auch aufgrund finanzieller Probleme, die Stammburg aufzugeben, die vermutlich um das Jahr 1455 in den Besitz des Geschlechts der Paulsdorfer gelangt.