Тут всё сугубо по желанию.
Можно поднять иксы в chroot'е, можно прокинуть, причём через что угодно.
Очень давно это не трогал, но, насколько я помню, игрушке плевать, куда посылается поток, это дело системы, а лага на localhost соединениях добиться сложновато.

Я лично вообще держу на своём хромбуке через приблуду crouton контейнеры с xfce (один на SD-карте, другой - на USB3 шпеньке, для разного).
Полёт с игрушками в принципе (местами звук, местами i/o) нормальный, я доволен.