Тем что 3d видеокарта это самое требовательное в компьютере переферийное устройство. Ко всему требовательное - к пропускной способности шины, к таймингам. Поэтому в теории не отличается, а на практике есть нюансы.

Кроме того, когда (единственная) видеокарта проброшена в виртуалку. нам недоступна без дополнительных телодвижений консоль хост-системы.

Соответственно хочется понять, как организовать переключение.

Опять же видеокарты самой по себе мало. Обычно виртуальные машины конфигурируются так, что там видео, клавиатура и мышь (а часто еще кое-какая переферия) идут пачкой, по какому-нибдуь сетевому протоколу вроде spice.

А тут надо пробросить их туда отдельно, но синхронизированно.