‘이 분야의 모든 전문가가 공유하는 핵심 멘탈 모델 다섯 가지를 알려줘.’
전문가가 문제를 어떻게 보는지 알고 싶을 때 쓸 법한 질문이다. 나도 그 의도는 이해한다. 다만 이 문장에는 범위, 전문가, 공유, 핵심, 개수에 관한 판단이 한꺼번에 들어 있다. 어느 기준으로 답할지 정하지 않으면 그 빈칸을 모델의 추정에 맡기게 된다.
어느 분야의 어떤 판단인가
‘이 분야’가 무엇인지 먼저 적어야 한다. 같은 산업 안에서도 연구, 설계, 운영이 마주하는 문제는 다르다. 전체 분야의 사고방식을 알고 싶은지, 특정 상황에서 전문가가 알아차리는 단서를 알고 싶은지 정한다.
자료도 함께 고른다. 인터뷰와 논문, 교재와 경험담은 서로 다른 것을 알려준다. 일부 자료에서 반복되는 설명을 분야 전체의 합의라고 부를 수는 없다.
전문가와 합의를 누가 정했는가
전문가로 포함할 사람과 자료의 기준을 적는다. 경력, 실제 과업, 검증된 성과처럼 무엇을 보려는지 정하고, 그 기준을 적용할 정보가 없다면 결측으로 남긴다. 유명한 사람의 이름이 많다는 사실만으로 대표성이 확보되지는 않는다.
‘공유한다’는 표현도 조심해야 한다. 비슷한 단어가 반복되는 것인지, 같은 판단을 하는 것인지, 정식으로 합의를 조사한 것인지 구분한다. 합의 조사를 하지 않았다면 높음·중간·낮음 같은 합의 등급도 근거 없이 붙이지 않는다.
대신 ‘제공한 자료 중 몇 곳에서 어떤 내용이 관찰됐다’고 말할 수 있다. 이때 자료의 수와 독립성, 서로 다른 의견도 남긴다. 같은 출처를 반복 인용한 문서들을 독립된 동의로 세지 않는 것이다.
무엇을 핵심이라고 부를 것인가
멘탈 모델이라는 말을 이 글에서는 상황을 설명하고 결과를 예상하며 행동을 고르는 데 사용하는 생각의 틀로 쓰겠다. 단순한 조언 목록이나 멋진 문장과 구분하려면 어떤 단서를 보고 어떤 선택을 바꾸는지가 드러나야 한다.
핵심의 기준은 목적에 따라 정한다. 자료에서 자주 등장하는 것인지, 특정 현상을 잘 설명하는 것인지, 중요한 결정에 영향을 주는 것인지 적는다. 많이 언급된다는 것과 정확하다는 것도 같은 뜻은 아니다.
가능하면 적용 사례와 맞지 않는 경우를 함께 찾는다. 언제나 유효한 원칙처럼 보이는 설명도 실제 조건을 대입하면 범위가 좁아질 수 있다.
다섯 개는 마지막에 정할 수 있다
발표나 안내문을 만들 때 개수를 제한하는 일은 필요하다. 다만 자료가 세 개의 구분만 지지하는데 다섯 개를 채우거나, 여섯 개의 중요한 차이를 다섯 개로 뭉개서는 안 된다. 먼저 근거가 있는 후보를 정리하고, 최종 전달 단계에서 요약의 상한을 정한다.
[Google Cloud의 프롬프트 설계 안내](https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-design-strategies)는 명확한 지시와 필요한 맥락을 다룬다. 이를 이 작업에 적용한다면 답의 개수보다 자료와 판단 순서를 먼저 드러내는 요청이 된다.
검토할 수 있는 요청으로 바꾸기
다음은 내 작업에 맞게 고쳐 쓸 수 있는 요청문이다.
나는 [상황]에서 [독자]가 [결정]을 하는 데 쓸 자료를 만들고 있다. 아래 자료만 근거로 분석해 줘. 먼저 자료의 분야와 과업 범위가 같은지 확인해 줘. 다르면 나눠 다뤄 줘. 각 자료에서 판단에 사용되는 생각의 틀을 찾아 적용 상황, 단서, 선택에 미치는 영향, 한계를 적어 줘. 모든 전문가의 합의라고 단정하지 말고 관찰된 자료와 상충 자료를 각각 연결해 줘. 핵심 후보는 [정한 기준]으로 선정해 줘. 근거가 부족하면 항목 수를 채우지 말고 미확인으로 남겨 줘. 마지막 전달 요약만 최대 다섯 항목으로 만들어 줘.
답을 받은 뒤에는 인용이 실제 자료에 있는지, 두 항목이 같은 내용을 다른 이름으로 반복한 것은 아닌지 확인한다. 자료 밖의 설명이 필요해졌다면 별도의 조사 과제로 남긴다. 요청문을 정교하게 썼다고 확인 작업이 사라지는 것은 아니다.
내가 고치고 싶은 것은 전문가의 생각을 배우려는 의도가 아니다. 그 생각을 어떤 근거로 추출하고 어디까지 말할 수 있는지 숨긴 채 결론부터 요구하는 방식이다. 질문의 다섯 빈칸을 드러내면, 답이 얼마나 멋진가보다 어떤 판단에 쓸 수 있는지를 살필 수 있다.