Вот надо посмотреть, как это решается в свежем virtio-gpu. Хотя конечно, есть проблема в том что виртуализация переферийных процессоров это вообще задача очень непростая. Не приспособлены кролики для лазания, а специализированные сопроцессоры ввода-вывода для разделения времени, пространства и чего угодно еще между параллельными задачами.

Это еще в VM370 проходили и кончили тем что стали каналы на CPU эмулировать.