Этот удивительный по свой судьбе сын малороссийского попа искал свою карьеру в Петербурге, в качестве лакея, в одном иностранном графском доме и, благодаря своей атлетической фигуре, дошел, служа родине, до высшего государственного поста и столкнул гордого и ловкого Потемкина с любовного ложа в петербургском дворце.
В качестве императорского сутенера он находился до 1777 года и, вероятно, удержался бы и долее, если бы не имел глупости пуститься в политические интриги против значительно более умного и хитрого Потемкина, который и выбросил его из будуара Екатерины.
Однако, он лишился лишь роли первого любовника, государственное же его положение при этой пертурбации нисколько не пошатнулось, и он по прежнему оставался при дворе далеко за смерть Екатерины и имел значительное влияние на общий ход государственной машины.
Завадовский был возведен в графское достоинство, произведен в тайные советники, сенаторы и, наконец, получил давно им желанное место директора государственного банка. Его добыча простиралась до 10 000 крепостных душ и нескольких сот тысяч рублей дохода.
При отставке от сутенерского поста он получил от Екатерины, как и все его предшественники, великолепный серебряный сервиз стоимостью в 50 000 рублей, но Завадовскому сервиз этот показался недостаточно ценным, и он отказался принять его. Екатерина поняла, что тут служило причиной и подарила ему сервиз в 80 000 рублей.