#2 - Product People : les études de cas et vous
70 candidats et recruteurs ont répondu aux questions de FrenchProduit. Et ça décoiffe.
Pour cette première étude de FrenchProduit, nous avons décidé de nous intéresser aux travaux demandés aux candidats Product lors des process de recrutement.
Pour cela, on a interrogé 70 personnes, candidats et recruteurs confondus, et tous membres de FrenchProduit. Un immense merci à tous pour vos contributions !
De quoi parle-t-on ? Quelques précisions sur les mots utilisés ici :
On parle d’études de cas, ou de “cas”, mais les réponses peuvent couvrir d’autres formes d’exercices demandés aux candidats.
On a distingué d’une part les études de cas à préparer en avance (ou “à la maison”), et d’autre part celles à découvrir en live.
Par simplification, on parle de Product Managers (PM), mais les réponses peuvent aussi inclure des recrutements sur d’autres postes Product : Head of Product, Product Designer, Product Owner, etc.
Résumé des principaux enseignements
Parce qu’on a souhaité restituer toute la richesse de vos réponses, cet article est long !
Pour ceux qui n’auront pas le temps ou le courage de tout lire, voici un résumé des points saillants.
96% des candidats interrogés ont déjà planché sur une étude de cas.
92% des recruteurs confirment y avoir recours.
La formule “à préparer à la maison” est la plus courante.
La formule “en live” est la plus appréciée des candidats: score NPS de +41, contre +2,5 pour les cas à préparer en avance.
Les cas à préparer à la maison : plus vous en faites, plus vous y passez de temps, et moins vous aimez.
Une majorité de candidats ont passé au moins une journée sur leur dernière étude de cas à préparer.
60% des candidats y passent plus de temps que prévu.
Plus de 4 candidats sur 10 ont déjà abandonné un process de recrutement en voyant l’étude de cas.
Dans les cas à préparer à la maison, vous appréciez l’aspect concret, l’opportunité de vous projeter dans la future mission, ainsi que le challenge intellectuel et le temps laissé à la réflexion.
Vous critiquez en revanche leur aspect chronophage, inégalitaire et potentiellement non-inclusif.
Vous pointez également des attentes pas toujours claires, et parfois le sentiment de travailler gratuitement pour l’entreprise.
Les cas à découvrir en live semblent se définir d’abord, côté recruteurs, comme une réponse aux défauts des études à la maison.
Ils apportent également une interactivité appréciée tant des talents que des recruteurs.
En revanche, le stress inhérent à cet exercice live en contrarie beaucoup et peut faire douter de la représentativité de l’exercice.
Si l’utilité des études de cas n’est globalement pas remise en cause, leurs objectifs gagneraient à être davantage formalisés et mieux communiqués aux candidats. Start with Why.
D’autres recommandations en fin d’article ! 😉
Ça vous donne envie d’en savoir plus ? C’est parti ! 👇
Les études de cas : vous connaissez bien !
96 % des candidats interrogés ont déjà planché sur une étude de cas.
La formule “à préparer à la maison” est le standard : 88% l’ont déjà pratiquée. La plupart d’entre vous en avez même fait plusieurs.
Les études de cas “en live” sont également très courantes : 2 sur 3 s’y sont déjà collés.
Ces tendances se confirment côté recruteurs. 92% ont recours aux études de cas. La formule à la maison est plus souvent privilégiée. A noter qu’un sur cinq panache les formules : “ça dépend des candidats et des postes” ou “je fais les deux pour un même candidat”.
Les études en live sont davantage appréciées des candidats
Etudes à découvrir en live ou à préparer à la maison ? Attention, le débat est presque aussi clivant que panier à couverts vs tiroir à couverts dans les lave-vaisselle !
Et certaines tendances se dégagent… après avoir croisé vos réponses aux différentes questions.
1ère question : qu’est-ce que tu préfères en tant que candidat ?
A première vue, chaque formule a le même nombre de partisans : à préparer à la maison, à découvrir en live, ou pas d’études de cas du tout… impossible de trancher ! Et surtout, près d’un candidat sur trois répond “ça dépend, pas d’opinion”. On en profite pour saluer au passage le très motivé candidat qui préfère avoir les deux 🙂.
Alors, pas de formule plus populaire chez les candidats, vraiment ? Tout dépend de ce que vous avez déjà fait !
Voici ce que répondent ceux qui ont pratiqué les 2 types d’études de cas : à préparer à l’avance, et à découvrir en live…
… à comparer aux réponses de ceux qui n’ont connu que les cas à préparer en avance :
Enseignements :
Parmi les candidats qui ont déjà été confrontés aux 2 types d’exercice, la préférence va aux études en live (31%).
L’étude à découvrir en live ? Ne pas l’essayer, c’est ne pas l’adopter ! Elle arrive en dernière position (7%) chez ceux qui n’ont expérimenté que les cas à préparer chez soi.
Alors, justement, si on vous demande de noter votre expérience face à ces études de cas, ça donne quoi ? On vous a demandé de donner un score entre 1 et 5 étoiles sur ce que vous aviez vécu. On a traduit ça en score NPS , avec les détracteurs à 1 ou 2 étoiles et les promoteurs à 4 ou 5 étoiles (pas forcément l’échelle officielle, on sait 🙄…). Et là, de grosses tendances se dégagent !
Avec un NPS de près de 40 points supérieur, victoire à plate couture des cas à découvrir en live ! On est loin de la relative indifférence suggérée par quelques-uns des chiffres cités plus haut.
Allez, chers talents, il est temps de creuser ce que vous aimez ou pas dans les différentes formules. Commençons par les études de cas à préparer en avance, aka “à la maison”.
À la maison : on se projette… ou on rejette
Un grand merci pour vos verbatims, ils sont riches d’enseignement !
Ce qui est apprécié
Plusieurs mots ressortent souvent de vos témoignages, au premier rang desquels “se projeter”, “concret”, et “le challenge”.
Se projeter : vous appréciez de pouvoir vous plonger, à travers l’étude de cas, dans les problèmes réels de l’entreprise et de toucher ainsi du doigt votre futur de Product Manager dans cette boîte. Morceaux choisis :
“Capacité de me projeter dans la réalité de l’entreprise”.
“Sujets intéressants qui permettent de se projeter dans le futur poste”.
“ça permet de s’immerger dans les sujets de l’entreprise en récoltant des informations sur l’entreprise, ses valeurs, ses produits, ses users, ca donne envie”.
“Ca permet de juger un peu le niveau demandé, de prendre en main un peu le futur produit à travailler”.
Le mot concret, très souvent cité, fait écho à cette capacité à se projeter. Mais il porte aussi la satisfaction de ne pas être jugé que sur des mots et un discours. “Possibilité de faire ses preuves sur du concret”.
Vous êtes également nombreux à apprécier le challenge intellectuel que représentent ces études de cas. Y compris les échanges avec les recruteurs au moment de la restitution.
“C’est stimulant. Ça permet de formaliser sa pensée”.
“Toujours challengeant de sortir de son contexte”.
“J’ai apprécié le challenge que cela m’a demandé, montrer le meilleur de ce que je pouvais apporter et proposer, ainsi que les discussions qui en ont découlé lors de l’entretien”.
Enfin, certains d’entre vous soulignent qu’ils apprécient l’exercice parce qu’il leur laisse le temps de faire du bon travail :
“Être chez soi pour travailler à son rythme et sans les recruteurs à côté”.
“Avoir le temps de réfléchir à la problématique”.
“J’apprécie d’avoir le temps de me poser, pas de stress”.
“Il est toujours préférable pour les études de cas techniques d’avoir du temps devant soi pour réfléchir”.
Le temps, justement, c’est la question qui fâche ! Faisons de nouveau un détour par les chiffres, avant de revenir aux verbatims des candidats.
3 heures ? Avec combien de temps de retard ?
On a demandé aux candidats concernés combien de temps ils avaient passé sur la préparation de leur dernière étude de cas (hors soutenance). Voici les réponses.
Dans environ un cas sur deux (45%), ça se compte en heures. Mais ça reste plus souvent de l’ordre d’une journée, voire plus !
Et par rapport au temps initialement prévu, ça donne quoi ? Spoiler : toute ressemblance avec les estimations d’effort faites avec vos Tech serait purement fortuite 😉!
scoop ! Chuck Norris est Product Manager en France. 💪Le plus souvent (60% du temps), ces études se révèlent donc plus chronophages que prévu.
Et le pire, c’est que la répétition de l’exercice n’arrange pas la situation, bien au contraire !
76% des candidats ayant fait plusieurs études de cas ont passé plus de temps que prévu sur leur dernière étude de cas.
Le chiffre est au moins 4 fois inférieur (18%) chez ceux qui n’ont fait qu’une étude de cas dans leur carrière de PM.
Pourquoi un tel écart ? Plusieurs interprétations sont possibles… on vous laisse réfléchir !
Jugées chronophages et inégalitaires
“Quand on n’est pas un trentenaire sans enfant, les études de cas, c’est dégueulasse”.
C’est un des principaux reproches faits aux études de cas : elles prennent trop de temps, et elles ne mettent pas les candidats sur un pied d’égalité. Morceaux choisis :
“Trop long pour bien faire les choses, et pas comparable d'un candidat à l'autre selon le temps passé”.
“Je passe parfois beaucoup plus de temps sur la restitution (mise en forme) que sur la réflexion et pour moi ça n'est pas l'essentiel du travail”.
“C'est long pour un poste qu'on aura peut-être même pas.”
“Avant d’être mère, les études de cas me gênaient car c’était trop long. Maintenant que je suis mère, elles me gênent parce qu’elles sont toujours longues mais en plus, car elles me demandent de l’organisation en soirée et weekend : qui va garder et gérer mon enfant, est-ce que j’ai vraiment envie de sacrifier des heures de temps libre pour un job plus que potentiel (…) ? Quand on n’est pas un trentenaire sans enfant, les études de cas, c’est dégueulasse”.
Du consulting gratuit ?
C’est un des autres reproches qui ressort souvent : “se faire dépouiller de connaissances et d’expérience gratuitement”. Justifiée ou non, cette perception existe. Voici une petite sélection de vos commentaires :
“Unilatéral car on bosse pour la boite et donne des idées sans contrepartie”.
“On me demande de résoudre les problématiques posées par les investisseurs 🙃”.
“Parfois trop focalisé sur l'entreprise et ses problématiques. Attendent la solution miracle”.
Flou et effet tunnel
On ne sait pas toujours ce qu’attend le recruteur. “What does Good look like?”
Gros problème des études de cas à préparer : le risque de désalignement entre la compréhension du candidat et les attentes du recruteur, sans possibilité de corriger le tir. Florilège :
“Je me posais beaucoup de questions et je ne pouvais pas avoir les réponses avant l'entretien, donc j'ai été obligée de composer avec beaucoup d'inconnues”.
“On m'a aussi reproché de ne pas donner la réponse précise qui était attendue, après m'avoir dit qu'on voulait juste voir la manière dont je réfléchissais”.
“On demande souvent de proposer des solutions alors que ce que je trouve de pertinent dans un profil PM, c'est de voir comment il aborde les problèmes.”
“Cadre de l'étude mal défini”.
Attention à l’indigestion
Longues, injustes, travail gratuit, flou artistique… Ça commence à faire beaucoup. Et visiblement, ça lasse !
Revenons sur le Net Promoter Score (NPS) de ces études de cas à la maison. Si votre jugement est très légèrement positif au global, il dépend fortement du nombre de cas que vous avez eus à réaliser.
C’est ce qui s’appelle une tendance ! Parmi ceux qui n’ont fait qu’une seule étude de cas dans leur carrière de PM (un quart des candidats environ), le NPS est de +45. Très légèrement supérieur à celui des études “en live” (+41). En revanche, ce score tombe à -14 chez ceux qui ont été confrontés à l’exercice plus d’une fois, et qui sont la grosse majorité des répondants.
Éliminatoires… pour les entreprises aussi !
“Une boîte qui demandait une étude de cas avec un temps estimé à 5 heures. Vu que ce n'était pas une top boîte, j'ai eu la flemme.”
C’est un des chiffres-clés de cette étude : 43% des candidats interrogés ont déjà abandonné un processus de recrutement en voyant l’étude de cas !
Certains y verront une confirmation de l’intérêt de l’exercice : les études de cas à la maison sont un bon test de motivation.
D’autres, à l’inverse, pointeront un problème : introduire volontairement une friction importante dans l’expérience candidat ne peut pas être une solution satisfaisante, et risque de faire fuire les meilleurs.
Voici en tout cas quelques témoignages de candidats :
“Les questions m'ont un peu dérouté. Ça m'a fait réfléchir pour savoir si je voulais vraiment le poste. J'ai conclu que non”.
“Si l'étude de cas ne motive pas, c'est un signe de non fit”.
“Pas assez d'informations et de recul sur l'activité pour mener à bien l'étude”.
Le live : l’alternative qui en stresse beaucoup
Maintenant que vous savez tout sur les études de cas à préparer en avance, faisons un focus sur leur pendant : les études de cas à découvrir en live. Pourquoi certains recruteurs choisissent-ils cette formule ? Pourquoi les candidats les apprécient ou au contraire les redoutent ? Sont-elles représentatives du job de Product ?
Pour les recruteurs : une réponse aux problèmes inhérents aux cas à la maison
Rappel : 48% des recruteurs interrogés ont recours aux études de cas en live, dont 28% de manière exclusive.
Voici quelques réponses des recruteurs à la question “pourquoi ce choix des études en live ?” :
“Pour ne pas désavantager les gens qui ont une famille, et éviter que les gens ne brûlent 8 heures sur un cas”
“Je n'aime pas imposer du travail à la maison, et cela permet de normaliser le temps passé sur l'exercice (tout le monde investit le même temps)”.
“Plus difficile de tricher sur un comportement live”.
“Parce que j'ai été candidat moi-même ! Les études de cas à la maison, c'est chronophage, et les attentes ne sont pas toujours claires. C'est aussi très inégalitaire”.
Ce qui frappe dans ces réponses sur les cas en live, c’est qu’elles parlent surtout… des défauts des études de cas à la maison !
Alors, simple “vote de rejet” ? Non, il y a aussi une dimension de vote d’adhésion à cette formule live. Les recruteurs sont en effet nombreux à plébisciter l’interactivité de cet exercice :
“Ce que je souhaite savoir c'est comment le candidat analyse une problématique, les questions qu'il va me poser, comment il rebondit et analyse les données”.
“Permet de tester les réflexes, la spontanéité, la gestion du stress”.
“Tester la capacité à rebondir, à réagir à l'imprévu”.
Un format compact et interactif également apprécié des candidats
Côté candidats, on retrouve le même schéma que chez les recruteurs. Les études en live sont perçues comme une alternative plus juste et plus efficiente aux cas à la maison. Elles permettent aussi un véritable échange :
“Le fait de ne pas avoir à se préparer. De devoir travailler efficacement sans fioritures”.
“L’exercice est plus périlleux mais au moins on compare tout le monde de la même façon”.
“On ne peut pas tricher".
“Le fait de pouvoir poser des questions pour affiner le contexte, le contact humain, l'impression que mon temps est respecté puisqu'inclus dans l'entretien”.
“Le fait de pouvoir poser des questions et dérouler sa pensée”.
“Echange en face-à-face, possibilité d'ajuster en direct la compréhension”.
Quand le stress s’invite
Malgré tous ces bénéfices, les études de cas à découvrir en live ne font pas l’unanimité chez les candidats. Un mot ressort souvent : le stress.
“Plus de stress que les cas à la maison, et du coup je passe à côté de certaines choses évidentes”.
“Nous n'avons pas tous le même caractère, et le niveau de stress peut varier d'une personne à l'autre”.
“Pris de court, le stress n'aide pas, c'est perturbant”.
Le stress n’est d’ailleurs pas le seul reproche fait à l’exercice. Si les candidats apprécient l’aspect “timé” de ces cas en live, la durée limitée est également source de frustration :
“Complexe d'avoir une réponse structurée sans préparation”.
“Le peu de temps de réflexion accordée, ne pas pouvoir chercher des compléments d'info par moment, le manque de temps selon l'output attendu”.
“Le fait de ne pas avoir le temps d'explorer chacune de mes idées”.
Ces challenges des cas en live font partie des raisons qui poussent certains recruteurs à privilégier les cas à la maison :
“En live, il y a un biais de stress, et ca ne reflète pas les capacités de travail d'un candidat. Je préfère lui laisser le temps de rendre un travail à son image”.
“Lever la pression, permettre au candidat d'y travailler à tête reposée”.
Le live, plus proche de la “vraie vie” ? Il y a débat !
Pour certains, recruteurs comme candidats, le live est plus représentatif du job de Product.
“C'est contraint, comme dans la vraie vie (plus proche des conditions de travail à l'avenir)”.
“Le fait de pouvoir poser des questions pour affiner le contexte, le contact humain”.
“Echange en face-à-face, possibilité d'ajuster en direct la compréhension”.
Mais on trouve aussi les avis opposés !
“Ça ne reflète pas du tout la réalité : quand on est PM, on connaît son produit, on ne doit pas imaginer une feature en 5 minutes sans rien connaître de la solution tout seul”.
“On n'a pas le temps de beaucoup réflechir. On n'a pas le temps de faire des tests, de changer d'avis, de revenir en arrière. On n'a pas le temps ni les moyens de faire des recherches approfondies”.
“Pas de notion d'instantanéité dans notre job alors pourquoi faire autrement ? On préfère un bon rapport rendu dans les temps, pour juger de la profondeur d'analyse”.
Au fait, que cherche-t-on à évaluer ?
On a beaucoup parlé jusqu’ici de l’expérience des candidats face aux différentes formes d’exercices demandés. Il est temps de se pencher sur une question essentielle : “au fait, que cherche-t-on à évaluer ?”. Vous me copierez 100 fois “Start with Why” ! 😉
Quelques témoignages de recruteurs :
“Sur un poste plus senior, voir de manager, je souhaite comprendre les recettes qu'il/elle a déjà experimenté, ce qu'il en a retenu et pourquoi. Pour un poste d'associate PM, je souhaite plutot observer son raisonnement en général”.
“La préparation permet de juger du niveau de sérieux/implication du candidat, ainsi que la qualité de synthèse/présentation. Une fois la restitution de cas (en live), cela permet d'aller plus loin dans le challenge des propositions, et donc d'avoir un échange plus deep”.
“J’évalue 4 capacités (hard-skills) : “faire parler” des données brutes, reconnaître une UI bancale, savoir modéliser un parcours utilisateur simple, et enfin savoir décortiquer une proposition de valeur”.
“Les métiers entre le Product Management, le Product Design, sont assez différents. Les profils sont parfois Jr et parfois Sr ça dépend ce que l'on cherche à valider”.
On voit que c’est assez varié ! Et forcément, selon ce qu’on cherche à tester, on va privilégier telle formule d’étude de cas ou telle autre... ou même combiner les deux !
Et… pas d’études de cas du tout ?
Rappelons-le : 92% des recruteurs ont recours aux études de cas. Parce qu’ils jugent cette étape indispensable pour s’assurer du bon “fit” du candidat sur le poste. Écoutons néanmoins l’explication circonstanciée d’une recruteuse parmi les 8% restants :
“Je trouve qu'on peut facilement tester les compétences recherchées en études de cas avec un entretien bien mené et bien préparé. Et je n'aime pas faire d'études de cas moi-même donc je n'en impose pas aux personnes que je recrute. Je pense aussi que les processus de recrutement font partie de l'attractivité de la société donc je fais attention à ce que les processus soient exigeants mais simplifiés au maximum”.
Côté candidats, vous n’êtes que 22% à préférer “ne pas avoir d’études de cas”. C’est parti pour un petit moment punk (mais pas que…) :
“C'est trop long, ça n'a pas de sens, ce n'est pas ce qui va permettre de montrer les compétences dont va faire preuve au cours de sa carrière”
“Je trouve que ce qui est testé en étude de cas peut être jugé aussi facilement lors d'un entretien”
“On est jugé sur un parcours, des references concrètes (si les personnes citées en référence sont contactées), un feeling entre le candidat et le recruteur”
“Je ne comprends pas ce que l'on cherche à valider dans une étude de cas”. Oups ! 😳
Conclusion : “alors, c’est quoi, la bonne formule ?”
Non, on ne va pas vous donner de réponse toute faite ! Voici en revanche, sur la base des riches retours de cette enquête, quelques conseils pour ces process de recrutement.
Candidates, candidats :
N’attendez pas l’étude de cas pour vous projeter dans la réalité de l’entreprise et du produit. Une fois passés les premiers entretiens, demandez toujours si on peut vous donner un accès démo pour “jouer” avec le produit… En plus de démontrer votre motivation, ça vous permettra de savoir où vous mettez les pieds et de sentir votre niveau d’affinité avec votre futur “bébé”.
Profitez de ces exercices pour évaluer l’entreprise ! On dit souvent que le process de recrutement, comme celui d’onboarding, en disent long sur la culture d’une boîte. Si ce que vous voyez n’envoie pas de bonnes vibrations, fuyez !
Recruteuses, recruteurs :
Start with Why (toujours et encore 🙂) ! Soyez clairs sur ce que vous cherchez à évaluer. Demandez-vous si le type d’exercice que vous proposez répond bien à l’objectif. Et surtout, expliquez clairement au candidat ce que vous allez tester, quelles sont vos attentes, et pourquoi vous avez choisi cet exercice.
Si vous demandez un important travail à la maison, par respect pour le temps des candidats, placez-le autant que possible en fin de process. En termes de temps passé potentiellement “pour rien”, ce qui peut être accepté pour une sélection ou une validation finale est en revanche plus discutable pour un écrémage initial.
Cas portant sur votre entreprise ou sur une autre ? Là-aussi, faites un choix conscient et expliquez-le. Ne prêtez pas le flanc au reproche de travail gratuit.
Impliquez-vous ! Pour répondre aux questions des candidats, mais aussi pour donner du feedback au candidat sur son travail. As timely as possible.
Pour les études de cas en live : mettez le candidat dans les meilleures conditions, si vous ne voulez pas que son stress ne brouille son jugement, et, au final, fausse le vôtre. Evitez les surprises et annoncez toujours la couleur à l’avance.
Last but not least : soyez à la hauteur de vos ambitions affichées sur l’inclusivité et la promotion des diversités. Vous l’aurez compris en lisant cette étude, certains types d’exercice risquent, plus que d’autres, d’introduire des biais. Le cri d’alarme “quand on n’est pas un trentenaire sans enfants, les études de cas, c’est dégueulasse ” nous vient d’une femme. Ce n’est pas forcément un hasard. Et c’est à méditer.
À celles et à tous ceux qui ont participé à cette enquête, recruteuses, recruteurs, candidates, candidats ; à celles et à ceux qui nous ont lus, un seul mot : MERCI 🙏!
Pour aller plus loin
Ils sont membres de FrenchProduit ou amis de la famille. Ils ont partagé leur expérience, leurs convictions ou tout simplement leurs lectures au sujet des études de cas ou du recrutement en général. Lisez-les !
Carole David partage sur Taleez son Carnet de route de l’expérience candidat.e,
Stéphane Delbecque nous explique dans son poste Linkedin pourquoi il ne demande jamais aux candidats de rendre une étude de cas.
Un des secrets les moins bien gardés du web : PM recruiting interview: a product case study from ManoMano, par Pierre Fournier himself.
Merci à Guillaume Perchais d’avoir partagé sur le Slack FrenchProduit cet article sur le marathon qui attend les candidats dans certaines entreprises iconiques…
 | Un article invité par
|
Merci pour cette research !