Как боролся:
- двигал выделяемую вируталке память - от 256 до 1500 Мб
- перезапустил хостовую машину - свободной памяти было 512 мб. После перезагрузки освободилось 6000 мб
- думал что синий экран инсталлятора от того что чего то из выданных устройств не нравиться - включал-отключал сетевухи-рейды-усбконтроллеры
При инталляции VmWare Server на хостовой машине в папочке C:\Users\All Users\VMware\VMware Server лежит файлик config.ini. В моем случае там была строчка
prefvmx.allVMMemoryLimit = "2500"
Поправил на 3500, все сразу взлетело.
