Благодаря, мисля, че тези идеи ще ми свършат работа.

Решението е леко нечитаво. Ако на входа за +5 се повят 1.5 волта, ще стане мазало. Затова там трябва да има компаратор за 4 волта с хистерезис, за да няма това-онова (тоа тразистор мислел, че има напрежение, оня мислел , че няма ... и те така). И понеже виси въпросът откъде ще се захрани компараторът, то явно той ще трябва да е с дискретни елементи и сглобен по по-нестандартед начин.

Така е. За да работи коректно във всякакви условия трябва компаратор.
В случая обаче не мисля, че това ще е проблем, ако устройството се захранва от USB с кабел и сценария е включен кабел има +5V, изключен кабел - 0V.

Ако кабела е включен и напрежението на USB-то е 1.5V - ще има проблем.

Ако се добави още един P-MOS с прагово 1.5V , с него може да се направи нещо като компаратор.

Ще трябва да се добави и още един резистор на входа.

Q1 с гейт към батерията ми харесва.
Q4 , Q3 бих си ги спестил, ако не се иска голям ток -LDO с малко по-високо напрежение и последоватено диод.

Благодаря за уточненията.
Още не съм стигнал до тестовите варианти и може би щях да се чудя какво става.

Оказа се, че има малка промяна в условията и LDO трябва да е 2.5V и да е "след" батерията.
Получи се схема като на картинката.
Ще поясня малко кое какво прави.
D3 прехвърля 5те волта директно на LDO
D1 трябва включи LDO винаги, когато има 5V
PQ3 включва/изключва батерията
ZD3 заедно с R6 задава прага, при който да се изключи батерията.
#ON/OFF - външен сигнал (ключе към маса), което при задействане включва LDO.

Вчера няколко часа прекарах в тестове на схемата върху една универсална платка.
Стойността на R6 (30к) е определих опитно, тъй като забелязах, че при по-ниско съпротивление (примерно 10к) PQ3 не се запушва нацяло дори при 6V захранване, а при по-високо (47к) не отпушва.
Диод с по-ниско пробивно напрежение (2.4В) отново води до незапушване на PQ3 и съответно води до опит за зареждане на батерията с ток около 150мкА при 5В. При варианта на картинката (3.3В/30к) токът е 4мкА и то при 5.5В.

Ако някой вижда вариант да се опрости още схемата без да пада надеждността, нека сподели.
Приемам и критики.

ПП: за пада на напрежение върху LDO - по чаршафа при ток от 5мА са достатъчни 0.25В разлика между входа и изхода, така че трябва да работи дори и батерията да падне до 2.75В.
ПП2: предпазителят F1 е 0.5А, тъй като на 5V има вързана и една пищялка, която се включва от време на време. В крайния вариант може би ще го сменя с 200мА.

Не си написал какви са ценерите, но ако са обикновени маломощни - тези високоомни резистори към тях не са ОК. За ценера си требе минимален ток, който не е толкова минимален.

А какво става ако напрежението на +5V е +3.8V примерно?

Трябва ти схема с компаратор. Можеш да използваш TL431 или накакъв подобен чип за целта, както и РЕСЕТ чипове или др. подобни. Има такива с микроамперова консумация.

Ако няма вариант петте волта да са ти 4 примерно, а или има 5 или 0 волта - можеш да използваш идеята от последната ми схема Q1, Q2, R2 вместо твоите DZ3, R6 и PQ3.

DZ4 не разбирам за какво ти е, при положение, че казваш че там имаш ключе към маса ?!?

Пробвай вместо ценер ZD3 - диод 4148 с анода към +5в.
Тогава гейтът на PQ3 ще е приблизително с потенциала на сорса (или с малко по-висок, което е добре).
Напрежението дрейн-гейт ще е близко до отпушващото(запушващото) при напрежение около 2.4...1 V на входа "+5" .Обаче пък диодът на PQ3 ще осигури захранване на стабилизатора.


ПС.
BSS84 има доста голямо съпротивление , дори за 5мА.
Диодът на PQ3 е малко съмнителен (като пад) за осигуряване на захранването при преходен процес и при "критични" напрежения на входа.
Евентуално мощен шотки диод паралелно на PQ3.