Чтобы домашний плеер показывал меню диск должен соответствовать DVD стандарту (а значит видео должно быть закодировано MPEG2)

Так что или перекодирование и нормальное меню или список файлов на экране..

Может я что-то не понимаю, но любая попытка решить проблему с компом начинается с вопросов:
1 - раньше нормально работало?
2 - что было сделано (установлено, запущено, перенастроено) перед началом появления глюка?

PS По симптомам это больше похоже на проблемы ОС а не памяти

Да тот же Nero Vision Express подойдет...