Es raro lo que indicas, si bien no tengo demasiada experiencia en instalaciones sobre windows (la mayoría de los servidores los instale sobre linux) nunca tuve muchos inconvenientes con las instalaciones automáticas de windows mas que esto que te comento de borrar las carpetas al desinstalar o configurar las variables de entorno.
La guia para instalación en windows esta acá
https://www.libertya.org/wiki/doku.php?id=libertya:como_instalar_libertya_en_windows
Esta guia esta un poco desactualizada, el sistema ya no requiere de PL/java, por ejemplo pero te puede servir de base para la instalación.
De forma muy resumida te comento que básicamente los que tenes que hacer es instalar java (oracle jdk6 para el servidor) y postgres versión 9.x. Cuando tengas estos 2 corriendo correctamente, solo tenes que cargar el dump de la base que se descarga desde la pagina para instalaciones multiplataforma y descomprimir el archivo ServidorOXP en C:\
Con esto realizado, tendrías que correr el Configurar.exe y luego iniciar IniciarServidor.bat
Eso tendría que ser todo.
Saludos
