“AI 페르소나 한계 분명” 닐슨노먼그룹, AI vs 사람 비교
실제 사람의 답변이 더 다양해
구글 검색 선호 매체로 추가
AI로 가상 인물을 만들어 대규모 리서치를 진행하는 기업이 늘고 있는 가운데, ‘예상치 못한 답변’을 얻으려면 실제 사람의 목소리가 필요하다는 조사 결과가 나왔다.
UX 리서치 기업 닐슨노먼그룹(NN/g)은 지난달 16일(현지시간) 한 아티클을 통해 AI로 만든 가상 응답자와 사람 실무자에게 동일한 질문을 던진 결과 “두 집단이 같은 결론에 이르렀지만 가상 응답자의 대답이 덜 다양했다”고 밝혔다.
지난 2월 닐슨노먼그룹은 UX라는 용어를 대체할 단어가 있는지 확인하기 위한 대규모 조사를 실시했다. “사람들의 필요와 경험에서 통찰을 모아 제품과 서비스를 기획하고 개선하는 업무를 무엇으로 부르겠느냐?”고 질문한 뒤 답변에 UX가 포함되는지 살폈다.
닐슨노먼그룹은 AI와 사람에게 같은 질문을 던졌다. AI 가상 사용자 플랫폼을 활용해 생성한 기술 및 디자인 분야의 가상 응답자 120명과 디지털 산업 종사자 604명을 대상으로 조사를 진행한 결과, 양쪽 모두에서 ‘UX를 대체할 용어는 아직 없다’는 결론이 나왔다. UX 관련 용어를 답변에 포함한 비율은 가상 응답자와 사람이 각각 약 84%, 70%로 나타났다.
“UX 대신할 새 명칭 없다” 닐슨노먼그룹 설문 결과
‘인간 중심 설계’ 묻는 질문에 70%가 ‘UX’ 활용해 답변
주목할 점은 답변의 다양성이다. 사람을 대상으로 한 조사에선 ‘소비자 행동 리서치’ ‘디지털 경험 전략’ ‘여정 관리’ ‘인간공학’ 등 50개가 넘는 명칭이 답변에 포함된 반면 가상 응답자의 답변은 12개 안팎에 그쳤다.
닐슨노먼그룹은 “사람이 대답한 디지털 매니지먼트나 비즈니스 분석 같은 특이한 표현이 가상 응답에서 발견되지 않았다”며 “AI는 보편적인 응답은 잘 재현하지만 극단, 즉 드문 대답은 놓치는 경향이 있다”고 꼬집었다.
직군별 답변도 차이가 있었다. 예컨대, AI로 생성한 PM 응답자는 93%가 UX 관련 용어를 사용해 답한 반면, 실제 PM 응답자는 그 비율이 44%에 그쳤다. 닐슨노먼그룹은 “가상 데이터가 집단 간 차이를 실제보다 작게 보여줄 수 있다”고 지적했다.
이는 모드 붕괴(Mode Collapse)로 잘 알려진 현상이다. AI가 특정 유형의 결과물만 반복 출력하는 것을 일컫는 용어로, 다양한 데이터를 학습해 가장 그럴듯한 답변을 내놓는 AI의 고질적인 문제로 꼽힌다.
최근 많은 기업이 사용자 조사에 AI 페르소나를 활용하는 중이다. 소비자의 취향이 빠르게 바뀌는 가운데, 리서치 기관을 통한 기존의 조사는 시간이 오래 걸리고 비용도 높아 그 대안으로 주목받고 있는 것. 하지만 조사 목적에 따라 가려 활용할 필요가 있다는 게 이번 조사가 시사하는 점이다.
닐슨노먼그룹은 “가장 흔한 답변이 필요하다면 가상 데이터로 충분할 수 있지만, 예상치 못한 응답이나 새로운 용어와 주제를 찾으려면 실제 사람 참가자가 필요하다”며 “가상 사용자 조사는 실제 사용자를 연구하는 것이 아니므로, 결과를 사용자 생각의 증거가 아니라 가설을 세우거나 큰 흐름을 확인하는 출발점으로 활용하라”고 권했다.
미국식 ‘쿨함’ 다음은 아시아? TBWA가 꼽은 브랜드 키워드 3가지
‘이스트플루언스’ 리포트로 본 브랜드 전략
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터장준영 (zzangit@ditoday.com)
