Pour des tests utilisateurs sérieux, plus il y a d’utilisateurs testés, mieux c’est. On s’accorde pour dire -ce sont des tendances issues d’observations dans un contexte particulier et pas des règles absolues- que :
20 utilisateurs permettent de révéler 95% des problèmes d’utilisabilité
10 utilisateurs permettent de révéler 80% des problèmes
Il est ensuite possible d’optimiser avec une approche itérative : par panels de 5 à 8 utilisateurs, entre chaque session on modifie la maquette ou l’application pour remettre à l’épreuve le site. Cette méthode, plus économique et réactive, donne de bons résultats si on prend garde toutefois à la qualité du recrutement des utilisateurs, ce qui m’est difficile de développer ici.

Sur la durée du test, tout est possible même si dans la pratique on dépasse rarement 2 heures. Personnellement j’utilise des sessions d’une heure, dont 45 minutes exclusivement dédiées au test lui-même devant l’écran, et je limite volontairement les tests à 6 par jour (debriefing à chaud entre chaque session + fatigue car c’est très éprouvant pour l’animateur).

Ressources sur le sujet : Steve Krug détaille clairement le déroulé de tests à l’économie dans son excellent livre « don’t make me think », Amélie Boucher dans le sien « ergonomie web » donne une autre approche complémentaire, voir aussi sur ergolab, et le fameux article de Jakob Nielsen (qu’il faut contextualiser) et des études plus récentes contradictoires notamment de Spool et Schroeder, ce qui tend à démontrer le danger de citer un nombre d’utilisateurs comme règle absolue.