Sindsdien was Willem stuurloos. Pogingen, door kopstukken van de ‘democratische patriotten’, speciaal Pieter Paulus, ondernomen om hem te doen instemmen met hun vernieuwingsplannen, stuitten af op onbegrip. Ook de vermaningen van de verwanten van zijn vrouw, in dezelfde geest, sloeg hij in de wind. Dit leidde tot een toespitsing van tegenstellingen, vooral in Holland, waar de Staten hem zelfs uit bepaalde functies ontzetten. Toen hem het commando van het Haagse garnizoen in september 1785 ontnomen werd, verliet hij Den Haag. Als zijn vrouw hem er niet van weerhouden had, zou hij zich in Dillenburg gevestigd hebben, maar nu begaf hij zich naar Nijmegen. Hij liet Wilhelmina begaan in haar overleg met de Engelse gezant Harris en met haar broer Frederik Willem, sinds augustus 1786 koning van Pruisen, die uiteindelijk troepen zond. Willem bood nauwelijks verzet tegen de Pruisische interventie. Bijna lijdelijk liet hij zich ‘in triomf’ naar Den Haag terugvoeren.