결론

지정이 품질을 올리지 않는다

사용자가 「표」나 「차트」를 눌러 종류를 지정했을 때의 결과가, 아무것도 지정하지 않았을 때보다 나쁘다. 차이는 11.5%p 이고 표본 길이를 맞춰도 그대로다.

수치는 BAD 비율이다 — 낮을수록 좋다. 판정 단위는 한 장(page)이고, 괄호 안은 판정된 장 수다.

그래도 스펙을 뺄 근거는 없다. 순서는 규칙대로 돌고(지정이 1위 29/29), 유형 아홉 중 여섯은 지정이 해롭지 않다. 문제는 구성이다 — 쓰이지 않는 유형 셋과 BarChart, 그리고 공급이 없을 때 추천으로 채우는 정책.

무엇과 견주나

비교선은 「지정 안 했을 때」여야 한다

원래 측정에는 지정한 결과와, 그 종류로 못 채워 추천이 메운 몫이 나란히 있었다. 그 둘을 견주면 지정이 좋아 보인다.

33.1% 대 66.7% 는 「지정이 먹히면 좋다」로 읽힌다. 그런데 추천 채움은 조건이 최악이다 — 그 종류로 채우지 못해 밀려 들어온 몫이다. 이 비교가 재는 것은 지정의 이득이 아니라 공급이 있을 때와 없을 때다.

버튼을 뺄지는 지정했을 때가 지정 안 했을 때보다 나은가로 갈려야 한다. 그 대조군이 전량 측정(원문 250건, 종류를 고르지 않은 추천 경로)이고, 귀속을 양쪽 다 그 장 컴포넌트의 IIS 유형으로 맞춰 견주면 1장의 수가 나온다.

어디서 나오나

범인은 BarChart 하나다

지정 안 함 지정함 짧은 막대가 좋다

차이가 0 과 구분되는 것은 셋뿐이다(진한 막대) — BarChart +41.8%p · Timeline +19.9 · List +5.5. 나머지 여섯은 구분되지 않고 ComparisonTable 은 지정했을 때 오히려 6.5%p 낫다. 즉 「차트 버튼이 나쁘다」는 BarChart 하나의 이야기이고, 차트 버튼이 묶은 다섯 중 실제로 쓰이는 것도 그 하나다.

어디서 막히나

버튼을 누른 뒤 통과하는 관문 넷

막히는 자리에 따라 처방이 완전히 달라진다. 공급이 문제인 것과 품질이 문제인 것을 섞으면 둘 다 못 고친다.

G1 · 채움

「비교」는 세 질의 중 둘에서 한 건도 안 나온다

프로세스는 건강하다 — 14%만 비고 화면의 3/4를 지정분이 채운다. 비교는 반대다. 사용자가 「비교」를 누르면 셋 중 둘은 비교 컴포넌트를 한 건도 못 본다.

이것은 품질 문제가 아니라 공급 문제다. 처방도 다르다 — 컴포넌트를 더 만들거나 태깅을 늘리는 쪽이고, 버튼을 없애는 쪽이 아니다.

가장 큰 단일 레버

추천으로 빈 자리를 채우는 것이 체감을 망친다

「표」의 수가 그것을 그대로 보여준다.

사용자는 「표」를 눌렀는데 화면의 절반 이상이 표가 아닌 것으로 채워지고, 그 절반 이상이 못 쓸 것이다. 지정분만 보면 23.3% 로 좋은데 체감은 60.1% 가 된다.

10개를 억지로 채우는 것보다 적게 보여주는 것이 낫다. 다만 「몇 개 이하면 채우지 않나」는 이 측정이 답하지 않는다 — 노출 개수와 채택률의 관계가 필요하고, 그것은 출시 뒤 A/B 의 몫이다.

제안

선은 절대 수가 아니라 「미지정과의 차이」다

「50% 넘으면 뺀다」로 그을 수 없다. 유형마다 난이도가 달라서다 — BarChart 는 지정하지 않아도 35.3% 다. 그래서 선은 그 유형의 미지정 품질과의 차이여야 한다.

이 세 선은 제안이다. 명문화된 사내 기준이 아니다. ①은 데이터가 직접 말하고(쓰이지 않는다), ②는 「누르면 손해」라는 사용자 관점에서 나오고, ③은 「공급이 늘면 사라질 수를 근거로 버튼을 없애면 되돌리기 어렵다」는 판단이다.

차트 버튼이 묶은 다섯 중 쓰이는 것은 하나다

BarChart 만 수요가 있고(47질의) LineAreaChart 1 · ComboChart 2 · PieChart 0 · DonutChart 0 이다. 프로세스의 Staircase 도 0 이다. 버튼 공간만 차지한다.

권고

구성을 고쳐 출시한다

스펙 자체를 빼는 근거는 없다. 순서는 정상이고, 유형 아홉 중 여섯은 지정이 해롭지 않다.

출시 전 해야 할 것 셋

1. 쓰이지 않는 유형 셋을 매핑에서 뺀다 — PieChart · DonutChart · Staircase. 코드 수정만으로 끝난다.
2. BarChart 대치를 들여다본다 — 미지정 35.3% 에서 지정 77.1% 로 뛰는 이유가 대치인지 공급인지 아직 가르지 않았다.
3. fallback 정책을 정한다 — 「표」 체감 60.1% 의 대부분이 추천 채움에서 온다.

운영 지표(사용률 30% · 채택 +10%p)는 출시 뒤 A/B 의 몫이고 이 측정과 섞지 않는다.

한계와 좌표

크기는 아직 못 잰다

「지정이 낫다」는 반증됐다. 그러나 「지정이 나쁘다」의 크기는 이 대조로 확정할 수 없다. 이유 둘.

크기를 재려면 같은 원문 50건을 지정 없이 한 번 더 돌린다. 그러면 길이·내용·난이도가 같아지고, 원문마다 「지정했을 때 나온 유형」과 「미지정일 때 나온 유형」을 짝지어 볼 수 있다. 추정은 약 700장 · 약 21 USD · 약 20분이다.

측정 조건

상세 — Confluence 「시각화 종류 UI — 출시 가부와 구성」. 검색·대치 품질 전반은 자매 문서 「검색·대치 결과물 품질 — 두 방식 전량 대조」.