Da das Schlößchen im Tale angelegt wurde, mußte es natürlichen Schutzes durch Höhenlage und steiles Felswerk entbehren. Dafür sollte ein rings um das Schloß laufender Wassergraben anstürmende Feinde abwehren. Teile des ehemaligen Graben sind noch heute erhalten. Das Schloß ist eine Weiherhausanlage, innerhalb der Wiesen an der Ostseite des Dorfes gelegen. Es besteht aus dem Herrschaftshaus, an das sich östlich Nebengebäude zulehnen, die sich um einen kleinen rechteckigen Hof gruppieren. Befestigungsanlagen sind nicht erhalten.

Das Herrschaftshaus ist ein dreigeschossiger Giebelbau mit Schopfwalmen, ohne Außengliederung. Der Innenhof besitzt ungewöhnlich malerischen Reiz. Ringsum laufen dreigeschossige Lauben. Die Arkaden öffnen sich im Erdgeschoß und im ersten Obergeschoß in Stichbogen, die teilweise verschoben sind, die Säulen haben eigenartige Renaissancekapitelle. Im dritten Geschoß haben die Arkaden geraden Sturz. 

Der Zugang zum Schloß liegt auf der Nordseite in einem ausspringenden, turmartigen Bau. Man gelangt von hier in den Innenhof. Der Torbau enthält auch die Aufgänge zu den oberen Lauben. Von den Lauben aus betritt man sämtliche Innenräume, auch die des Herrschaftshauses. Dieses hat in jedem Geschoß vier Räume, die zum Teil gewölbt sind. Zu einem Zimmer im ersten Obergeschoß führt eine Türe, die in geraden Kleebogen in spätgotischer Steinmetzarbeit umrahmt ist. 

Zur Baugeschichte ist zu vermerken, dass die Stilformen der Anlage auf das späte 16. bzw. frühe 17. Jahrhundert weisen und dass beim Bau des jetzigen Schlosses ältere Gebäudereste mitverwendet wurden. Im Jahre 1776 hatte der damalige Besitzer Baron Schönhueb im oberen Stock eine Kapelle eingerichtet. Sie hatte einen schönen Altar. Der Fußboden war eingelegt. Sie ist leider längst weltlichen Zwecken dienstbar gemacht. 

1870 stürzte an der Nordseite ein Teil des Schlosses wegen Baufälligkeit ein. Der Wiederaufbau erfolgte in primitiver Weise. Eine Mauer mit zwei Fenstern schließt heute den Arkadenhof wieder ab. Erwähnenswert ist noch, dass das Breiherr-Haus das Gerichtsdienerhäusl war und das Peter-Haus neben dem neuen Pfarrhof als Schafstall des Schlosses diente.

Wann und von wem erstmals in Aicha ein Schloß errichtet wurde, steht nicht fest. Urkundlich beglaubigt ist jedoch unter dem Bischof Adalbert von Passau (946-970) ein Edler namens Dietrich. Er hatte Aicha als Passauisches Lehen. Dieser Dietrich von Santapach und Itine-spach erhielt vom Bischof Adalbert neben anderen Besitzungen des Bischofs auch Aicha, das er bereits früher als Lehen besessen hatte, abermals als Lehen für sich und Gattin Rilinde und seine Tochter Gerhilde. Vermutlich handelt es sich um die spätere Hofmark.

Anno 1120 muss sich in Aicha schon eine Kirche befunden haben, denn schon in diesem Jah-re mussten Alrune von Aichachirchen und seine Kinder Heinrich, Adelheid und Irmengard sowie seine ganze Nachkommenschaft jährlich fünf Denare an das Domkapitel zu Passau einrichten. 

Außerdem schon im 10. Jahrhundert erwähnten Dietrich von Aicha und dem im Jahre 1120 zu Aicha gesessenen Alrune finden wir noch im Jahre 1155 in Urkunden des Klosters St. Nikola von Passau eine Duringus und Hadmarus de Aicha. Im Jahre 1267 ist auch noch ein Reinol-dus deEicha erwähnt. 

Ob all diese schon eine Burg in Aicha hatten, ist unbekannt, aber sehr wahrscheinlich. Sicher als im Besitz des Schlosses treffen wir erst im Jahre 1360 den Ritter Martin Pfeil, Sohn des Wolf Pfeil von Walchsing, und den Bruder des Martin Pfeil, namens Eberhard Pfeil. Um diese Zeit (vermutlich seit 1330) befand sich Aicha im Besitz der reichen und hochmögenden Gra-fen von Hals als Lehen vom Bischof, die Aicha als Afterlehen an die Brüder Pfeil vergaben. Das Urbarium des Vizedomamtes Straubing aus dem Beginn des 14. Jahrhunderts meldet, dass der Herr zu Hals einen Turm (tower) zu Aichachkirchen habe. 

Am 21. August 1410 verzichtete Eberhard Pfeil de Landgrafen Johann von Leuchtenberg ge-genüber auf alle Ansprüche auf den Sitz und das Dorf Aichach, so dass Martin Pfeil alleiniger Lehensträger war. Die Herren von Pfeil besaßen neben Aicha auch Kading und Haselbach. 

Im Jahre 1509 heiratete Albrecht Pühler II von Weideneck eine von Pfeil und erwarb dadurch die Herrschaft Aicha. Aber schon 1540 kam Aicha wieder in andere Hände. Erasmus Siegertshofer ging eine Ehe ein mit Elisabeth Pühler, einer Tochter des Georg Püh-ler, wodurch Aicha an die Siegertshofer kam. Ihr Vater Georg Pühler war Sohn des Albrecht Pühler II. Anton Siegertshofer von Aicha und Praebach, ein Sohn des Erasmus, war Pfleger zu Reichenberg und starb am 22. September 1548. Caspar S., Antons Sohn, starb 1562. Er hatte 13 Untertanen in der Pfarrei Otterskirchen. Ab 1565 folgen die Stoer. In diesem Jahr kam Aicha wahrscheinlich durch die Heirat des Herrn Martin Stoer zu Limperg und Großwiesen und Waldkirchen. Die Kinder von Hanns Leonhard Stoer und seiner Gattin Sophie waren Hans Georg, Hans Christoph, Hieronymus und Maria. Des Hans Georg Kinder waren: Hans Otto, Franz, Georg, Margaretha und Christoph Fridolin. Franz Alexander Stoer endlich, ein Sohn des Hans Otto Stoer, verkaufte Aicha um das Jahr 1682 an den churfürstlichen Rat Caspar Baron von Schmidt zu Sulzbach. 

Die Stoer führten in ihrem Wappen eine dreiteilige vergißmeinnichtartige Blume und als Helmzier eine weibliche Figur mit langen losen Haaren. 

Um das Jahr 1689 wechselte Aicha wieder seinen Herrn. Es kam durch Kauf an Friedrich Sigmund Sünzl von Soeldenau, der bereits am 4. Oktober 1689 im Alter von 46 Jahren starb. Nach seinem Tode bewohnte seine Witwe Cordula Jacobe noch einige Jahre lang das Schloß Aicha. Aus der Landbeschreibung 1723 steht über Aicha folgendes zu lesen: 

Deß Chur- und Herzoghums Ober- und Niedern-Bayern Landbeschreibung / Dritter Theil / Tennt. Ambt Landshuet
Aicha vorm Wald ist ein Schloeßl und Hofmarchel / hats der Zeit Weyland Sigmunds Fridri-chen Suenzls von Soeldenau zu Aicha nachgelassene Frau Wittib / Cordula Jacobe / ein ge-bohrene von Scharffsed im Besitz / von der es auch bewohnt wird. Liegt jenseyts der Thonau vor dem Wald / Renntambts Landshuet / Landgerichts Vilßhofen / in einem Thall naechst an einem Fluß / die Oso genannt / gegen Auffgang und Mittag gantz nahend an der Graenitz deß Fuerstl. Hochstueffts Passau. Das Schloß ist mittlern Standts am Gebaeu / auff einem Felsen / so mit einem Weyer umgeben. 
So vil auß den alten Schrifften zu sehen / ware es Anno 1576. in den Haendenderen von Si-gerstshofen / von Dannen es in Sterische / von denselben in die Schmidtische 7 und folgsamb durch Kauff in Sigmunds Friderichen / Suentzls Haende gekommen. Die Pfarr-Kirchen ist naechst an der Hofmarch / jedoch in dem Gericht Hallß entlegen / und darinnen Schutz-Patronin die seeligste Mutter Gottes Von Michael Wenning, Churfuerstl. Portier und Kupffer-stechern. 
Durch Erbschaft kam Aicha dann an den Landrichtei von Straubing, Adam Leopold von Rehling zu Pirgel und Hack. 
Durch den Kauf kam Aicha schon wenige Jahre später an den Pfleger von Cham, Max Alios von Asch, der Aicha als freies, lediges unbelehntes Eigen besaß. Im Österreichischen Erbfolgekrieg suchte das österreichische Heer Bayern heim. Der Pandu-renoberst Trenck fiel mit seinem Horden plündernd und brennend auch in unsere Gegend ein. Am 10. Juni 1742 wurden das Schloß und der Pfarrhof zu Aicha von den Kroaten geplündert. Ein Liedlein aus jener Zeit....
D´ Panduren sand kumma 
ham alles mitg´numma, 
ham Fenster neig´schlag´n 
is Blai ausazogn, 
ham Kugln draus goss´n 
und Menschen daschoss´n 
läßt uns die Rohheit dieser Soldateska noch klar erkennen. 
Am 10. August 1742 berichtete der Priester Johann Baptista Königsberger, Benefiziat zu Für-stenstein u. a.: Die Panduren habe alles verwüstet, sogar das Tabernacul mit den Hostien her-ausgesetzt und all mein Geld hinweg, dass ich nun wohl gar ein armer Priester bin. Sie haben mir alles Geld, das ich bei mir hatte genommen, sogar meinen Halsbehang mit meinem sil-bernen Wetterkreuz. Sie haben mich von meiner Stiegen an bis auf die Straße wie ein Vieh auf der Erde hinausgezogen, mein Gewand am Leib zerrissen, mich gestoßen und mit Füßen getreten, übler als ein Vieh. Sie haben auch den Opferstock aufgebrochen und von Kirchensa-chen viel zerrissen, mir alles verwüstet, verschüttet und gebrochen. 
Von 1761-1765 wird als Besitzer von Aicha ein Freiherr von Haeckl Edt zu Hackledt und Klebstein genannt. Von 1765-1777 ist ein Baron von Schrecksleb Schloßherr und von 1777-1789 der Freiherr Johann Pongratz von Schoenhueb, Herr zu Lixenried, Landrichter zu Hen-gersberg und Pfleger zu Winzer, durch dessen Relikten es 1800 durch Kauf an Herrn Baron Joseph von Peckenzell, Herren zu Aicha und Fickenhof kam. 
Im Jahre 1816 ging das Schloß erstmalig seit seinem Bestehen in bürgerlichen Besitz über. Baron von Peckenzell verkaufte es an den Färbermeister Friedrich Zaspel. Die Dominicalien, die Herrschaftsrechte über Aicha erwarb der Edle Cajetan von Hueb, Herr von Eberhartsreut, Haus, Bibereck, Aicha und Fickenhof. 
Zur Hofmarkherrschaft gehörten bis 1848 die Hofmark Aicha, Fickenhof, Frauenholz, Hop-sing, Ecking, Bruck, Oberreut, das Hollaus-Gut zu Arbing, Lehen, Grießhof, Nußbaum, der Sittinger zu Sanzing und laut eines Hofmarkprotokolles von 1758 auch Gottholding. 
Im bayerischen Landesstaat wurden für die oberbayerischen Landstände in der Schnaittacher Urkunde von 1302, für die niederbayerischen durch die Ottonische Handfeste von 1311 die Niedergerichtsbarkeit, polizei-, direkte Militär- und Steuergewalt Adel und Kirche verliehen. Die "Ottonische Handfeste" von 1311 stellt eine wichtige Etappe in der Entwicklung zum allumfassenden neuzeitlichen Staat dar. Herzog Otto von Niederbayern gestand gegen die Leistung einer einmaligen Geldhilfe seinem Adel die Fixierung der örtliche und sachlichen Zuständigkeit in der Niedergerichtsbarkeit zu. Die drei hohen Strafrechtsfälle (Totschlag, Brandstiftung, Notzucht) und die höhere Zivilgerichtsbarkeit (Rechtssprechung um Grund und Boden ) behielt er sich für die herzoglichen Landgericht vor. Dies ist der erste geglückte Versuch , die adelige Autonomie in den Staat einzuschmelzen; er ist keineswegs, wie die Forschung des 19. und frühen 20. Jahrhunderts annahm, als Ausverkauf hoheitlicher Rechte zu werten. Es gibt geschlossene und offene Hofmarken, Adels- und Prälatenhofmarken. Die Hofmarken stellen die unterste Einheit staatlichen Lebens im bayerischen Herzogtum dar, und zwar unabhängig vom Landesherrn. 
Sie sind meist ziemlich geschlossene Kirchen- und Kulturräume. Ihre nächsthöhere Instanz ist das Landgericht. Erst 1848 hat der Staat alle richterlichen Befugnisse wieder in die eigenen Hände genommen. 
Die Dörfer, in denen Adel sowie geistliche Stifte und Klöster die niedere Gerichtsbarkeit ausübten, hießen Hofmarken. Die betreffenden Untertanen hatten an den Hinhaber der Hofmark außerdem verschiedene Abgaben zu entrichten und Frondienste zu leisten. 
Im Jahre 1848 erlosch auch die Hofmarksherrlichkeit von Aicha. Das Schloß verblieb weiter-hin in bürgerlichem Besitz und diente als Mietshaus für mehrere kleine Parteien. Vom Zaspel ging das Schloß über an den Magistrat zu Passau. Als Eigentümer folgten u. a. Bayer und Klingel. Von 1856 bis 1866 bewohnte das Schloß der Arzt Dr. Alexander Erhard, der 1899 als dirigierender Krankenhausarzt zu Passau starb. Er war der Sohn des berühmten Passauer Ge-schichtsschreibers und Arztes gleichen Namens. 1884 ging das Schloß in den Besitz von Mi-chael Wagner über. 1907/08 wohnte Dr. Hartmann als praktischer Arzt in genanntem Schlos-se. Aber nicht er, sondern die Witwe Rosina Wagner ist als Eigentümerin bekannt. Am 3.5.1888 ging es als Besitz an Michael und Elisabeth Wagner über, von denen es Josef Eberl erbte. 
Im Jahre 1952 bekam das Schloß wieder einen adeligen Besitzer. Es wurde von dem heimatvertriebenen Prinzen Alexis von Croy erworben. 
Der neue Schloßherr entstammt der böhmischen Linie seines Geschlechtes. Er hatte in Böh-men Heimat und Eigentum verloren. Die Croy sind eine aus der Picardie (Frankreich) stam-mende Herzogsfamilie. Sie erwarb 1397 ein Fürstentum, das ihr wiederverloren ging und teilten sich im 15. Jahrhundert in zwei Linien. Der Linie Croy-Dülmen, die 1677 reichsfürst-lich wurde, gehört Prinz Alexis an. Die Mutter des Prinzen war eine Prinzessin Lobkowicz seine Gattin ist eine Geborene Gräfin Beaufort, Tochter des Herzogs von Beaufort, ehemals auf Petschau bei Karlsbad.