Klage auf alleinigen Umgang

Hallo zusammen, ich habe schon oft hier im Forum mit gelesen und viel Interessantes gefunden.
Nun habe ich auch mal ein Problem:
Mein Sohn ist ein Jahr alt, der KV und ich waren schon während der Schwangerschaft getrennt. Wir hatten uns auf Umgang geeinigt und zwar 2x im Monat je 3 Stunden mit der Option auf Ausdehnung, wenn es gut läuft. Es lief aber nicht gut. In 9 Monaten nahm er von 18 Terminen nur 9 wahr, teilweise unentschuldigt. Außerdem wollte er dann noch 4 Termine verlegen, weil sie mit seinem Hobby kollidierten.

Erst fand Umgang bei mir statt, aber nachdem er mir die Bude auf den Kopf stellte (Unordnung, machte Sachen kaputt etc.), verlegten wir es ins Hotel (er lebt im Ausland und ins Hotel brachte ich den Kleinen dann). Nachdem er mich an zwei Terminen bedrängte, wollte ich nicht mehr dabei sein und ließ ihn mit dem Zwerg für die 3 Stunden allein. Als ich wieder kam stellte ich fest, dass der Kleine komplett durchgeschwitzt war, da sein Vater ihm noch nichtmal die Jacke ausgezogen hatte, er hatte ihm nichts zu Essen oder Trinken gegeben und gewickelt war er auch nicht.
Ich kontaktierte das JA, nachdem der KV auf mehrere Versuche meinerseits begleiteten Umgang zu organisieren, ablehnend reagiert hatte, angeblich würde ich es übertreiben, hätte von Anfang an versucht ihn auszugrenzen und begleiteten Umgang hätte er nicht nötig, was solle dem Kind schon groß passieren in 3 Stunden.
Das JA sagte, ich solle meinen Sohn nicht in seiner alleinigen Obhut lassen, dass ich meine Sorgepflicht verletzte, weil ich um die Situation wüsste, und falls dem Kleinen was passierte, dass ich in dem Fall haftbar gemacht werden würde.
Der KV beleidigte mich noch und schrieb ein paar drohende Mails, dann war erstmal Ruhe.
Jetzt habe ich Post vom Anwalt, ich soll dem KV alle zwei Wochenenden an beiden Tagen 4 Stunden lang alleinigen Umgang gewähren. Ansonsten folgt eine Klage, da ich kein Recht hätte den Umgang zu verweigern.
Meine Frage (und Sorge) betrifft den alleinigen Umgang. Ich halte den KV nicht für fähig (auch aus der bisherigen Erfahrung heraus) adäquat für das Baby zu sorgen. Dazu kommt noch, dass er kein deutsch spricht und sich bei einem Notfall kaum verständlich machen könnte. Er ist generell ein etwas merkwürdiger Typ, der in seiner eignen Realität lebt. Das wäre weiter nicht schlimm, führt aber dazu, dass er weder vorausschauend noch verantwortungsvoll ist und oft gar nicht mitbekommt, was um ihn rum passiert.
Z.B. war bei einem Besuch in meiner Wohnung danach eine Gardinenstange kaputt. Er behauptete, das sei mein Kind gewesen (zu der Zeit 7 Monate), und er hätte es "noch nichtmal bemerkt". Dabei hatte er ihn auf dem Arm (anders wäre der Kleine gar nicht an die Gardine gekommen, er muss ihn also förmlich drangehängt haben, und das ohne zu merken, dass die Stange durchbrach).
Die Vorstellung, dass er regelmäßig mit dem Kleinen, der ja an alles geht und sich alles in den Mund steckt, alleine sein soll, macht mir echt Angst.
Hat jemand eine Ahnung wie die Chancen für ihn stehen das durchzusetzen?
Sorry, dass es jetzt doch so lang geworden ist, wollte mich eigentlich kurz fassen

Viele liebe Grüße,
Lumen