RESEARCH QUALITY · 2026-09-08 · 재시험
Luna low로 다시 변환하고
원본·기존 Claude MD와 비교했습니다.
대덕전자 · 솔브레인 · 삼성전자 / PDF 3개, 총 10쪽.
이번에는 실제 Luna low 실행 결과와, 도구·검수를 거친 최종본을 구분합니다.
이 보고서는 첫 3문서 재시험 기록입니다. 모델 자체의 판독 능력 한계로 일반화할 수 없습니다. 이후 기존 표 한 페이지 직접 전사 시험은 17행·167개 값 위치가 일치했지만 비맹검 시험입니다. 새 자료의 입력 방식별 비교는 진행 중입니다.
보고서 목록결론: 원문 보존 기준은 유지. 이번 입력 방식의 Luna 단독 대량 처리는 불합격.
최종 검수본 3개는 만들었습니다. Luna의 본문 전사에 표 구조 분리·차트 추출 도구를 결합하고 원본을 대조했습니다. 다만 처음부터 안정적으로 성공한 것은 아닙니다.
Luna 초기 출력은 텍스트 덤프였고, 다음 출력에는 표 헤더·두 단 배치 오류가 있었습니다. 따라서 “Luna low에 맡기기만 하면 기존 Claude와 같은 품질로 대량 변환된다”는 결론은 내릴 수 없습니다.
이번 확인으로 채택할 수 있는 것은 구조화 도구 + Luna 전사 + 완료 전 검수의 결합 방식입니다. 기존 기준을 낮추지 않고, 실패한 출력은 검수본에서 제외했습니다.
3개 모두 원문 대조
본문 3문단씩 총 9문단. 줄바꿈·제목 기호 등 제외 후 추출 원문과 일치.
22개 구조화 표
279행 · 비어 있지 않은 값 1,604개. 숫자 외 의견·날짜 관련 값 포함.
최근 값만 선택하지 않음
4개 차트, 보이는 곡선 7,330개 선분. 정확한 관측값이 아닌 축 기반 추정으로 구분.
기존 Claude 결과와 무엇이 같고 다른가?
| 같은 원본 | 기존 결과에서 유지된 부분 | 이번 검수본에서 달라진 부분 |
|---|---|---|
| 대덕전자 · BNK 2026-04-27 · 4쪽 | 메모리 기판·FC-BGA 성장, 일회성 비용, 수요처 구성, 밸류 근거. 핵심 논리는 기존에도 담겨 있습니다. | p2 분기표는 기존 7행 대비 원문 13행 전체로 복원. p3 네 재무표도 원문 행 전체를 구조화했습니다. 당시 프리뷰와 기존 노트의 사후 실적 해설을 분리했습니다. |
| 솔브레인 · 삼성증권 2026-04-20 · 4쪽 | 기존 MD는 분기별·부문별 매출과 재무제표를 이미 상당히 충실하게 전사했습니다. 신규 팹·NAND 관련 논거도 유지되어 있습니다. | 기존의 상세 표를 더 짧게 줄이지 않았습니다. 원문 인쇄상 이상값과 검산상 불일치를 별도 표시하고, 본문을 재서술 대신 그대로 보존했습니다. |
| 삼성전자 · KB 2026-08-27 · 2쪽 | 이익 성장·주주환원 논리, 배당 시나리오의 조건, 밸류 배수는 기존에도 담겨 있습니다. | 원문 숫자가 기존 노트와 달라진 부분을 구분하고 원문 인쇄값을 유지했습니다. 밴드 차트를 설명만 남기지 않고 보이는 전체 곡선의 축 기반 추정을 추가했습니다. 원본에 없는 재무표는 만들지 않았습니다. |
“기존 Claude 방식은 요약용”이라는 이전 설명은 잘못이었습니다. 기존 지침은 정보 전량 보존입니다. 여기서는 지정된 기존 파일을 비교했으며, 각 파일의 모든 편집자가 누구였는지까지 확인한 것은 아닙니다. 오류를 특정 모델의 책임으로 귀속하지 않습니다.
원문 이상값과 변환 오류를 구분했습니다
- 대덕전자: 원문 표 사이에 성장률 불일치가 있습니다. 원문 숫자를 고쳐 쓰지 않고, 원문값과 별도 검산을 함께 표시했습니다.
- 솔브레인: 본문 숫자의 구분기호와 표 단위, 목표주가와 EPS×배수 계산 사이 차이를 확인했습니다. 조정 근거가 없는 부분을 임의로 메우지 않았습니다.
- 삼성전자: 기존 MD와 원문 인쇄 수치가 다른 부분은 원문 기준으로 전사했습니다. 수치의 현실성·진본 여부 검증은 이번 변환 시험과 별개입니다.
이런 점검은 “내가 더 낫다”는 성과 포장이 아니라, 후속 리서치가 잘못된 근거를 쓰지 않도록 하는 검수입니다.
무엇을 어떻게 검증했나?
- 원본: 같은 PDF와 기존 MD를 테스트 폴더에 복사. 원본 볼트는 수정하지 않았습니다. 원본 PDF 10쪽을 모두 렌더해 확인했습니다.
- 본문: Luna가 전사한 9문단을 PDF 본문 영역 추출과 비교. 공백·줄바꿈·제목 마커·문단 앞 기호·제목 구분 콜론을 제외한 문자열 일치를 확인했습니다.
- 표: 원본 표의 제목·행·열·단위·빈칸·nm·흑전 등을 구조화한 뒤, 그 행과 값이 최종 MD에 빠짐없이 반영됐는지 확인했습니다. 이 수치는 별도 검수자가 모든 셀을 이중 육안 검수했다는 뜻은 아닙니다.
- 차트: PyMuPDF로 보이는 벡터 곡선의 모든 선분을 추출하고 축으로 환산. 각 끝점·전 구간·범례를 보존하며 추정값으로 표시했습니다. 화면 밖 부분을 실제 데이터인 것처럼 복원하지 않았습니다.
- 추적: 원본 페이지 링크, 전체 추출 텍스트 부록, 원본 보존 여부를 점검했습니다. 부록·해시가 본문 전사를 대신하지는 않습니다.
추가 기능은 리서치에 도움이 되는 것만
| 기능 | 도움이 되는 이유 | 적용 |
|---|---|---|
| 원문 페이지 연결 | 숫자·문맥이 의심될 때 해당 근거로 바로 돌아갈 수 있음 | 포함 |
| 원문·편집자 검산 구분 | 저자의 당시 전망과 새 분석, 원문 불일치를 혼동하지 않음 | 포함 |
| 차트 전 구간 검색용 전사 | 최근 값뿐 아니라 과거 추세를 질문할 수 있음. 추정치를 확정값으로 쓰지 않도록 표시 | 포함 |
| 표 열 구조 보존·자동 대조 | 연도·분기 밀림, 두 단 혼합, 누락 행을 완료 전에 검출 | 포함 |
| 원문 보관·해시 | 변경 여부와 재검증 출처를 관리하는 보조 수단 | 검증 기록에 포함 |
| 새 긍정/부정 분류·장황한 추가 분석 | 이번 원문 변환 목적과 분리. 원문에 있던 평가·리스크만 그대로 보존 | 새 분류는 추가하지 않음 |
실패와 한계도 그대로 남겼습니다
- 처음에는 주 에이전트가 변환 작업을 시작해 모델 조건을 놓쳤습니다. 그 작업은 검수용으로 분리했고 Luna 결과로 계산하지 않았습니다.
- 실제 변환 모델: gpt-5.6-luna, reasoning low. 초기 두 시도는 텍스트 덤프·잘못된 열 구조로 반려했습니다. 추가 수정 중에도 누락 파일·본문 배치 문제가 있어 재검수했습니다.
- 최종본의 역할: Luna가 본문 전사, 기존 PDF 도구가 표·차트 구조 전처리, 주 에이전트가 대조·기계적 병합·HTML 보고를 담당했습니다. 무보조 Luna 단독 성능으로 포장하지 않습니다.
- 속도·비용: 같은 조건에서 Claude를 새 실행하지 않았고 재작업도 발생했습니다. 더 빠르거나 저렴하다는 결론을 내리지 않습니다.
- 차트: 축으로 읽은 값은 근사입니다. 축상 소수 연도는 위치이며 실제 거래일이 아닙니다. 원문에 인쇄되지 않은 정확한 일별 수치는 복원됐다고 주장하지 않습니다.
- 범위: 텍스트 추출 가능한 3개 PDF입니다. 스캔본·CID 손상·복잡한 래스터 차트 등 다른 유형까지 대량 검증된 것은 아닙니다.
최종 판단
기존 정보 보존 기준을 낮추지 않은 검수본은 확보했습니다. 그러나 이번 결과는 “Luna low 단독 대량 처리 준비 완료”가 아니라, 전처리와 원본 대조가 필수라는 시험 결과입니다.
대량 처리에서 같은 오류를 차단하려면 모델의 완료 선언이 아니라, 본문·표·차트의 검수 통과를 완료 조건으로 삼아야 합니다.