Początkowo mocno wspierał go ewangelicki władca. Został odznaczony, m.in. Orderem Orła Czarnego. Oficjalnie Schaffgotsch był przy Fryderyku, ale sercem i jako biskup – katolik wspierał cesarza. Gdy tylko wojska cesarskie w czasie wojny siedmioletniej wkroczyły na Śląsk, opowiedział się za tą stroną konfliktu, ale gdy Fryderyk II wyparł Austriaków w 1753 roku musiał wyjechać z Wrocławia. Udał się do letniej rezydencji na zamku w Janowej Górze koło Jawornika, na terenie austriackiej części biskupstwa wrocławskiego. Nie dane mu było powrócić na urząd do Wrocławia, ani na Śląsk. Fryderyk II oficjalnie skazał go w 1766 roku na banicję.
Biskup Filip Gotard Schaffgotsch mógł zarządzać tylko małą częścią diecezji. Król nie mógł znieść go z urzędu, więc Schaffgotsch nadal był biskupem wrocławskim, a w jego imieniu na Śląsku zarządzali wikariusze apostolscy - najpierw Jan Maurycy Strachwitz, a po nim Antoni Ferdynand Rothkirsch.
Biskup otrzymał od cesarza dość dużą pensję, która pozwoliła mu prowadzić dwór na zamku w Janowej Górze. Odbywały się tam przedstawienia teatralne i koncerty muzyczne. Działała też stała orkiestra symfoniczna na potrzeby księcia biskupa, licząca 17 muzyków. Według niektórych źródeł, przez rok jej kierownikiem i kapelmistrzem był Karl Ditters von Dittersdorf (1739-1799) - sławny muzyk i kompozytor niemiecki szkoły starowiedeńskiej, urodzony w Wiedniu. Kapelmistrzem miał być już po śmierci biskupa, która nastąpiła w 1795 roku. Przeczą temu inne źródła, które podają, że Dittersdorf funkcję tę pełnił w latach 1770-1771. Wynika z tego tylko to, że Dittersdorf utrzymywał z biskupem długoletnie kontakty niezależnie czy pełnił, czy już nie pełnił funkcji kapelmistrza nadwornej orkiestry Filipa Gotarda Schaffgotscha. Może o tym świadczyć fakt, że napisał dla niego utwór dedykowany hrabinie Schaffgotsch, co byłoby bez sensu gdyby stało się to po śmierci biskupa.
Książę biskup, na co wskazują jego listy, będąc na wygnaniu utrzymywał stały kontakt ze swoją rodziną z Cieplic, szczególnie z braćmi, przyrodnim - Karolem Gotardem (zmarł w 1780 roku), który był wówczas ordynatem i rodzonymi Janem Nepomucenem Gotardem(zmarł w 1775 roku), Leopoldem Gotardem (zmarł w 1787 roku) i Czesławem Gotardem(zmarł w 1781 roku).
Karl Ditters von Dittersdorf był przede wszystkim skrzypkiem, od 1761 roku solistą orkiestry operowej w Wiedniu. Później został kompozytorem. Napisał 127 symfonii, 256 kompozycji wokalnych i 44 opery, m.in. „Don Kichota” i „Wesołe kumoszki z Windsoru”. Wśród wielu kompozycji, które stworzył jest utwór pt. „Sonate pour le Fortepiano á quartres Maius dediće á Madame la Comtessa Schaffgotsch née Comtesse de Warmbrand á Maywalde” („Sonata na fortepian na cztery ręce dedykowana Pani hrabinie Schaffgotsch nowej hrabinie na Cieplicach i Maciejowej”). Rękopis tego dzieła, będący niegdyś częścią zbiorów muzycznych Biblioteki Majorackiej w Cieplicach (pieczęcie świadczą o jego proweniencji), znajduje się dzisiaj w zbiorach Biblioteki Narodowej w Warszawie(stara sygnatura „M 4”). Datowany jest na rok 1775, ale nie wiadomo co było tego podstawą.
Nieco światła na to, kiedy rzeczywiście mogła powstać ta sonata rzuca sama dedykacja :”nowej hrabinie na Cieplicach i Maciejowej”. Hrabia Jan Nepomuk Gotard Schaffgotsch (1732-1808), nowy ordynat, syn Karola Gotarda przyrodniego brata biskupa, kupił dobra Maciejowa dopiero w 1790 roku i od tego roku można dopiero mówić o hrabinie na Cieplicach i Maciejowej. W tym wypadku mogłaby tu być mowa o żonie hrabiego tj. Annie Julianie hrabinie Stubenberg (1742-1812). Bardziej jednak prawdopodobnym jest, że chodzi tu raczej o synową hrabiego. Oto bowiem syn Jana Nepomuka Gotarda, przyszły jego następca Leopold Gotard Schaffgotsch(1764-1834), 20 lipca 1791 roku ożenił się z Joanną Nepomuceną hrabiną von Stuppach(1714-1834), a ojciec podarował im w prezencie świeżo zakupiony pałac w Maciejowej i to właśnie młodziutka hrabina była faktycznie pierwszą „hrabiną na Cieplicach i Maciejowej”. Dodatkowo na to wskazuje fakt, że to w pałacu w Maciejowej 29 maja 1794 roku urodził się jeden z synów tej pary, tj. Karol Gotard Wacław Filip Schaffgotsch (imiona otrzymał po dziadku Karolu, stryju dziadka kanoniku wrocławskim, Wacławie i co najważniejsze po drugim stryju dziadka księciu biskupie Filipie Gotardzie). Gdyby sonata powstała w 1775 roku jak datuje ją Biblioteka Narodowa, młodsza hrabina miałaby zaledwie roczek i nikt w tym czasie nawet by nie przypuszczał że w przyszłości dołączy do rodziny Schaffgotschów, a jej przyszła teściowa miała by w tym czasie co prawda 33 lata, ale trudno byłoby nazwać ją nową hrabiną ponieważ była nią już od 11 lat.
Fakty te wskazują, że Sonata Dittersdorfa powstała w 1790 lub 1791 roku. Pokazują też, że mimo że kompozytor nie był już nadwornym kapelmistrzem biskupa Filipa Gotarda, napisał utwór dotyczący jego rodziny, a więc musiał być z nim w stałym kontakcie. Nie wiadomo z czyjej inicjatywy powstała
Nie wiadomo również kiedy rękopis Sonaty trafił do Biblioteki Majorackiej, czy było to zaraz po jego napisaniu, jeszcze za życia biskupa Filipa Gotarda Schaffgotscha, czy już po jego śmierci (biskup zmarł w swoim zamku na Janowej Górze,a jego prochy sprowadzono do Cieplic i pochowano w 1795 roku). Nie wiadomo też, czy utwór ten miał swoje prawykonanie w nowym pałacu w Cieplicach, czy w pałacu w Maciejowej i kto go wykonał (musiały to być dwie osoby, bowiem sonata jest przecież na cztery ręce). Bardzo prawdopodobnym jest, że sonatę D – dur na cztery ręce wykonywały później dzieci hrabiny Joanny przy okazji rożnych koncertów i balów organizowanych w pałacu. Między innymi w 1814 roku na uroczystości z okazji zwycięstwa nad Napoleonem, sonatę zagrali Maria Joanna (miała 17 lat) z Leopoldem Christianem (miał 21 lat) - późniejszym ordynatem. Być może podobne wykonanie miało miejsce w pałacu z okazji wizyty w Cieplicach księżnej Izabeli z Flemingów Czartoryskiej w 1816 roku.
Byłoby wspaniale zakładając, że utwór Dittersdorfa napisany prawdopodobnie w 1791 roku, został wykonany w Cieplicach w 2021 roku w 230 rocznicę jego stworzenia przez sławnego kompozytora, współtwórcy niemieckiej opery komicznej.
