Buenas,
Por un lado, fijate que no sea un tema de permisos (no se bajo qué windows estás ejecutando).
Por otra parte, podrías probar a iniciarlo invocando directamente a la clase correspondiente, al menos para que te muestre en pantalla el motivo del error:
Code:
java -classpath lib/OXPInstall.jar:lib/OXP.jar:lib/XOXPTools.jar:lib/oracle.jar:lib/sybase.jar:lib/jboss.jar:lib/postgresql.jar -DOXP_HOME=$OXP_HOME org.openXpertya.install.Setup
Este inicio es para Linux, pero para Windows no debería cambiar demasiado (fijarse el path de los classpaths).
Saludos,
Federico