oleg@devel:~$ xrandr
Screen 0: minimum 64 x 64, current 1024 x 768, maximum 32000 x 32000
VBOX1 connected 1024x768+0+0 0mm x 0mm
1360x768 59.8
1152x864 60.0
1024x768 60.0*
800x600 60.3
640x480 59.9
oleg@devel:~$ xrandr --newmode my_mode 83.46 1280 1344 1480 1680 800 801 804 828 -hsync +vsync
oleg@devel:~$ xrandr --addmode VBOX1 my_mode
После чего иксы мигают, а в диалоге Screen resolution появляется искомый размер 1280x800.