W okresie międzywojennym odbył kursy na francuskich uczelniach wojskowych, a w kraju dowodził, między innymi, 14 i 29 Dywizją Piechoty. Wojna zastała go jako dowódcę Okręgu Korpusu w Brześciu. 9 września, z podległych mu jednostek zapasowych, zaczął formować jednostkę, która miała przejść do historii jako Samodzielna Grupa Operacyjna: "Polesie". Kleeberg nie tylko organizował wojsko, ale także struktury administracyjne na ogarniętych wojennym rozgardiaszem terenach. Tak było we Włodawie, gdzie generał powołał władze miejskie, a nawet drukował swoje bony skarbowe.

"Samodzielną", grupa była także dlatego, że 22 września utraciła łączność z dowództwem - walcząc na dwa fronty - raz z Armią Czerwoną, raz z Niemcami. Jednak przez dwa tygodnie opierając się na oddziałach Korpusu Ochrony Pogranicza udało się powołać pod broń całkiem sporą formację, w której stany osobowe zaczęły przekraczać etaty pododdziałów, a broń dla nich pochodziła z najłatwiej dostepnego źródła - z pobojowisk.

Początkowo Kleeberg chciał przebijać się z Włodawy z pomocą dla Warszawy, ale po upadku Stolicy postanowił sięgnąć po wciąż prawie pełne magazyny Wojska Polskiego w Stawach pod Dęblinem. Ten manewr skierował Polaków wprost na niemiecką 13 DZmotoryzowaną, która poruszała się w druga stronę. To doprowadziło do 5-dniowego, wielokierunkowego starcia, które przeszło do historii jako bitwa pod Kockiem. Gdy wojska Kleeberga starły się z 13., a później także 29. Dywizją Zmotoryzowaną Wehrmachtu, Hitler już przygotowywał się do przyjęcia defilady w zdobytej Warszawie. Kiedy odbierał ją 5 października - walka pod Kockiem wciąż trwała.

Mimo, że grupa "Polesie" odniosła taktyczne zwycięstwo - nie była w stanie spożytkować jego efektów. Kraj był już w całości zajęty przez dwóch okupantów, nie było zapasów ani zaplecza. 6 października Kleeberg zdecydował się na honorową kapitulację. Przed złożeniem broni żołnierzom odczytano pożegnalny rozkaz generała: „…Jesteśmy otoczeni, a amunicja i żywność jest na wyczerpaniu. Dalsza walka nie rokuje nadziei, a tylko rozleje krew żołnierską, która jeszcze przydać się może… Dziękuję wam za wasze męstwo i waszą karność – wiem, że staniecie gdy będzie trzeba. Jeszcze Polska nie zginęła. I nie zginie!”.