Si fosse trattato del numero di processi e non della memoria, avrei pensato ad una fork-bomb.
Quoto Riccardo, controlla cosa viene eseguito a seguito del login. Eventualmente fai delle prove rinominando i tre file che ti ha indicato e vedi come va. se va tutto bene, prova a rimetterli al loro posto uno alla volta per capire quale causa il problema. Individuato in quale file si trova il problema, prova a commentare/decommentare i comandi in esso contenuti. In questo modo stringi progressivamente il cerchio intorno al problema