Subir el WP al servidor, y editar el archivo wp-config.php colocando la línea:
define('DB_TYPE', 'sqlite'); //mysql or sqlite
Inmediatamente después de la linea

define('DB_COLLATE', '');
Descargar el plugin desde el repositorio de WordPress, descomprimimos el archivo y lo subimos a la carpeta wp-content, de modo que nos queda así:

Definimos el nombre de la BD, Usuario, Contraseña, dejamos DB_HOST como localhost.
Subimos el archivos wp-config.php e iniciamos el proceso de instalación manual.
Aquí viene el punto importante, el campo contraseña lo dejamos vacío, ya que de lo contrario se producirá un bug que nos impedirá acceder a la administración.
Al finalizar el proceso veremos una salida un poco extraña de caracteres en la caja del instalador, pero no debemos alarmarnos, abajo al final encontraremos la contraseña generada automáticamente, la copiamos y listo, ya podemos empezar a utilizar wordpress sin base de datos MySQL.