С ГТО лучше пока сделать не выходит, чем у тебя, может дело в качестве исходного видео.
А вообще довольно доходно выходит

Я попробую повторить твой эксперимент, только в конце еще воспользуюсь SVP Code, чтобы обеспечить 60 кадров в секунду.
Метод отработан, ремастерил старое видео с телефона 15-летней давности.
Вот только вопрос - у тебя waifu2x-caffe вис, когда в него закидывал столько изображений?
Если да, то как ты с этим боролся?
Я закидываю по 2000 кадров за раз. Лучше ничего не придумал.