Dès l'âge de cinq ans, Pape Diakhaté intègre l'école de football de son village situé près de Dakar. Il débute comme libéro puis glissera progressivement vers le poste de milieu défensif. Il défend les couleurs de l'Entente Sotrac Ouakam jusqu'à l'âge de 16 ans. Sélectionné dans l'équipe régionale de Dakar, il attire l'œil d'Eric Martin qui le fait venir à l'ASNL.

Pape Diakhaté intègre le centre de formation et l'équipe des 17 ans nationaux de Patrick Hesse. En 2001/2002, il profite de l'absence de nombreux joueurs blessés pour débuter en professionnel et sera même titularisé à trois reprises. Sur le flanc gauche, en défense centrale ou comme milieu défensif, il est l'un des jeunes les plus prometteurs du club.

Sa saison 2003/2004 est malheureusement gâchée par deux graves blessures qui l'éloigneront des pelouses de longs mois. Devenu l'un des meilleurs défenseurs de L2, il est appelé en équipe nationale du Sénégal. France Football le sélectionne même dans l'équipe type de la saison 2004/2005. À 22 ans, Pape Diakhaté est devenu l'un des piliers de l'équipe et ne laisse sa place de titulaire que lors de la coupe d'Afrique des nations qui se dispute durant l'hiver 2006.