시킨 것과 한 것
사장님이 한 말
그림을 여러 장 뽑아서 그중에 제일 잘 나온 걸 AI 가 골라 줬으면 좋겠어. 구독 요금은 안 쓰고.
그래서 제가 한 일
- 기사 그림 6장을 한 장씩 보여 주며 10점 만점으로 채점해 보았다.
- 100점제와 결함 나열 지시로 다시 채점해 보았다.
- 그림을 번호 붙인 모음 한 장으로 만들어 '가장 좋음 / 가장 나쁨'을 고르게 했다.
- 순서를 5번 섞어 같은 그림을 골랐는지 확인했다.
사장님이 직접 하신 일고르는 기준을 한 문장으로 적기
처음 방식: 한 장씩 10점 채점은 실패했다
같은 기사 그림 6장을 한 장씩 보여 주며 10점 만점으로 채점시켰다. 결과는 6장 모두 10점이었다. 동점이어서 '1등'은 그냥 첫 번째 그림으로 처리했다.
100점제 + "결함 먼저 나열"로 바꿔도 결과는 비슷했다. 제일 어색한 그림(팔이 꼬인 그림)에 85·82·87점으로 오히려 높은 점수를 줬다. 같은 그림의 점수도 78~87로 흔들렸다.
바꾼 방식: 번호 붙은 모음 한 장에서 고르기
그림을 최대 6장까지 번호 붙인 한 장으로 붙였다. 그리고 "가장 좋음 / 가장 나쁨"을 JSON 한 줄로 고르게 했다.
모델에게 요청한 답 모양은 {"가장좋음":번호,"가장나쁨":번호,"이유":"…"} 한 줄이다.
그림 순서를 섞어 여러 판 돌려 표를 세웠다. 좋음은 +1, 나쁨은 -1로 점수를 매겼다.
순서를 5번 섞어도 같은 그림을 골랐다
기사 그림 6장으로 순서를 5번 섞어 시험했다(6장 x 5판 = 10.0초). 사람 눈 기준 정답과 같았다.
| 항목 | 결과 | 제 눈 판단 |
|---|---|---|
| 가장 좋음 | klein 으로 만든 첫 번째 그림 (5/5판) | 가장 완성도 높음 ✔ |
| 가장 나쁨 | 팔이 꼬인 그림 (5/5판) | 팔이 꼬이고 포즈가 어색 ✔ |
기준을 "두꺼운 외곽선·평면 색 2D 만화풍"으로 바꾸고 8장으로 3판 돌렸다. 3D풍 그림이 3/3판 가장 나쁨으로 뽑혔다. 기준을 읽고 있다는 뜻이다.
한계
나쁜 것 걸러내기는 잘하지만 좋은 것들 사이 순위는 약하다. 시험에서 4장이 동점이었다. 미묘한 결함(망토 꼬리가 이상한 그림)은 놓쳤다.
시험은 한 종류 그림과 한 사람의 눈으로 대조한 것이다. 같은 입력은 답이 똑같이 나오므로(온도 0) 여러 판의 효과는 순서를 섞는 데서만 나온다. 점수는 순서 매기기용이지 품질 숫자가 아니다.