Assim que você acessar seu VPS Hosting via SSH, digite os seguintes comandos para instalar o LAMP:

Instalar o Apache

yum install httpd
chkconfig httpd on
serviço httpd iniciar

Instalar Servidor de Banco de Dados My SQL

Na última etapa ao instalar o mysql, você será solicitado a definir uma senha root para o My SQL. Você também será perguntado sobre remover usuários anônimos, desabilitar o login root remotamente, e algumas outras questões. Responda "sim" até a última pergunta e a instalação estará concluída.

yum instalar mysql-server mysql php-mysql php -y
serviço mysqld iniciar
chkconfig --levels 235 mysqld on
/usr/bin/mysql_secure_installation

A instalação do LAMP está concluída. Visite sua página padrão:

http://[IP Address] ou http://[nome de domínio]