Vater möchte Unterhaltszahlung verhindern

Hallo, ich bin seit längerer Zeit von meinem Ex-Mann getrennt, die Kinder leben bei mir und er hat sie für jedes zweite Wochenende bei sich und sieht sie jede zweite Woche an zwei Tagen für insgesamt 4 Stunden diese Woche. Ich beziehe Unterhaltsvorschuss vom Jugendamt, da der Vater aufgrund von hoher Verschuldung und geringem Einkommen zahlungsunfähig war.
Anscheinend hat das Jugendamt nun allerdings beim Vater Rückzahlungen gefordert.
Daraufhin hat der Vater dem Jugendamt mitgeteilt, wir würden die Kinder im Wechselmodell erziehen, woraufhin ich einen Brief vom Jugendamt bekommen habe, in welchem mir mitgeteilt wurde, dass ich aufgrund des Wechselmodells keinen Anspruch auf Unterhalt hätte und alles zurückzahlen müsste, sowie ein Bußgeldverfahren gegen mich eingeleitet werden würde.
Ich habe mich über das Wechselmodell informiert und bin eigentlich der Meinung, dass dies nicht auf unsere Erziehung zutrifft, da der Vater sich nicht zur Hälfte oder 40 Prozent wöchentlich an der Erziehung beteiligt, sprich Kinder schlafen nur zwei Nächte alle zwei Wochen bei ihm und haben ihren Lebensmittelpunkt in meiner Wohnung, da sie sich dort die meiste Zeit aufhalten und nächtigen. Weiterhin sind auch keine Voraussetzungen erfüllt, laut denen man behaupten könnte, die Kinder würden bei ihm wohnen (alle drei teilen sich eine Schlafmöglichkeit, duschen laut Aussagen der Kinder nicht bei ihm und essen während der Woche auch nicht warm).
Nun ist es allerdings so, dass ich Bezierhin von Studenten-BAföG bin und alles alleine bezahle, neben Miete etc. bin ich auch für die alleinige Versorgung der Kinder mit Klamotten, Essen, Kindergartenbeitrag, Beiträge für Versicherungen etc. verantwortlich, der Vater hat sich bis heute mit keinem Cent finanziell an irgendetwas beteiligt, im Gegenteil, er hat mir sogar noch Schulden hinterlassen, für die ich ebenfalls aufkomme (Handyvertrag auf meinen Namen etc) . Ich bin also finanziell komplett auf mich allein gestellt und absolut abhängig von dem Unterhalt.
Meine Frage ist nun: Ist die Entscheidung des Jugendamts gerechtfertigt? Wird diese Form des Umgangs etwa doch als Wechselmodell bezeichnet ? Und wie kann ich mich gegen die Behauptungen des Vaters wehren?