Damit Python vernünftig mit Umlauten (in Dateien) umgeht, musst Du utf-8 nutzen.
import os
filename = os.path.join(os.path.dirname(__file__), "umlaute.txt")
# Datei einlesen mit utf-8
with open (filename, "r", encoding="utf-8") as file:
for line in file:
print(line)
# Datei schreiben mit utf-8
filename_out = os.path.join(os.path.dirname(__file__), "umlaute_out.txt")
with open (filename_out, "w", encoding="utf-8") as file:
file.write("Müller")