La versión 11.xx no es compatible oficialmente con Windows 8. Sólo lo es la beta 12. Por lo visto no les gusta mucho Windows 8 a los de Ross-tech aunque con equipos W8 táctiles el VAG-COM es la caña.
Cuando conectas el cable al PC te pedirá los drivers ¿no?
Si automáticamente no los coge indica que quieres buscar manualmente la ruta donde se encuentran los drivers. Para ello selecciona la carpeta donde está instalado el VAG-COM.
Si aún así no funciona, desinstala el VAG-COM y en el programa de instalación pulsas botón derecho y seleccionas la opción de ejecutar en modo compatibilidad con sistemas operativos anteriores (windows 7)