En principio, ninguno, pero con matices.
Si estuvíeramos hablando de una etapa de potencia clase AB, definitivamente no hay probema. Pero en el caso de las etapas PWM o clase D, hay un filtro LC justo en la salida para reconstituir la señal. Dependiendo de la topología y del lazo de realimentación implementados, al trabajar en vacío se podrían generar sobretensiones en la salida (Q elevado) que llevaran al canal en cuestión a una avería. En teoría hay unos diodos precisamente para prever esta posibilidad, pero...
En román paladino: no creo que tengas ningún problema, si bien yo me aseguraría poniendo a la salida del inutilizado una resistencia de unos 8-20 ohm y unos 10W; no hace falta que sea estrictamente de 4 u 8 ohm.