Abstract Evaluation Skill

학회 발표 초록 모음(IMID/SID/MRS 등)을 일괄 변환·평가·정량 점수화하여 Obsidian 보고서로 출력하는 스킬. PDF → Markdown 변환은 pdf-to-md 스킬을 호출하고, 본 스킬은 평가 프레임·점수 산출·보고서 양식·통계 검증을 담당한다.

언제 쓰는가

• 학회 초록(IMID, SID, MRS, ACS 등)의 PDF 모음을 폴더 단위로 받아 평가할 때
• 사내 RFP·ICT 과제 발표문 PDF 모음을 채점할 때
• 동일 트랙의 30편 내외 초록을 단일 보고서로 비교 평가해야 할 때

다른 스킬 트리거와 구분:

• 단일 논문 본문 리뷰 → paper-review
• PDF만 MD로 변환 → pdf-to-md
• RFP 기반 특허 분석 → patent-strategy-report

전체 워크플로우 (5 Phase)

Phase 1. 입력 식별 ── PDF 폴더 Glob
Phase 2. PDF→MD 일괄 변환 ── pdf-to-md 호출 (단일 batch)
Phase 3. MD 병렬 Read + 메타데이터 추출 ── corresponding/소속/핵심 결과
Phase 4. 4축 점수화 + 가중치 ── C·S·D·W → 총점
Phase 5. Obsidian 보고서 작성 + 자기 점검 ── 통계·검증·산출

Phase 1. 입력 식별

# 단일 폴더에 PDF가 있는 표준 케이스
Glob "<input_dir>/*.pdf"

수집한 파일 수가 30편을 넘으면 Phase 2 변환 후 MD를 병렬 Read할 때 1회 호출당 10개씩 끊어서 처리한다 (한 메시지당 10개 Read 동시 호출). 30편 미만이면 한 번의 메시지에 모두 묶어도 좋다.

Phase 2. PDF → Markdown 일괄 변환

pdf-to-md 스킬의 래퍼 스크립트를 단일 호출로 모든 PDF를 한꺼번에 변환한다. JVM 콜드 스타트 비용 때문에 절대 파일별 호출 금지.

python3 ~/.claude/skills/pdf-to-md/scripts/pdf_to_md.py \
  --input "<input_dir>/" \
  --output "<input_dir>/md/" \
  --format markdown

표·도표가 평가에 중요하면 --format markdown-with-images 사용 (단, 이미지 첨부 PDF가 많으면 추가 디스크 사용).

Phase 3. 메타데이터 추출

각 MD에서 다음을 식별한다:

항목	추출 단서
제목	# 헤딩 첫 줄
First author	헤딩 직전 라인 또는 1 첨자 저자
Corresponding author	* 마크 저자 + 이메일(E-mail:) — 이메일 도메인이 소속과 매칭되는 저자가 corresponding
소속	이메일 도메인 또는 본문 첨자
핵심 결과 수치	EQE, μm, nit, MV/cm, yield, % 등의 정량 수치
재정 출처	Acknowledgement 섹션 (선택)

Corresponding 식별 규칙 (우선순위)

1. 저자 이름 옆 * 표시
2. E-mail:이 명시된 첫/마지막 이메일 주소
3. 이메일 도메인이 본문 소속과 일치하는 저자
4. 위가 모두 부재하면 First author = corresponding으로 간주

Phase 4. 4축 점수화

4-1. 창의성 (Creativity, C) · 1~5점

점수	기준
5	새 측정원리·새 디바이스 개념·기존 패러다임 전환
4	기존 공정·구조의 새 결합 또는 새 응용
3	표준 접근법 + 일부 변형
2	단순 비교·평가 프레임워크
1	새 요소 부재

4-2. 체계성 (Systematicity, S) · 1~5점

점수	기준
5	다변수 체계 비교 + 다중 분석기법 + 정량 수치
4	핵심 변수 1~2종 + 정량 결과
3	결과 중심, 변수 통제 일부
2	컨셉 위주, 결과 부재 또는 한정적
1	정성적 서술만

4-3. 난제 해결 (Difficulty, D) · 1~5점

점수	기준
5	분야 핵심 난제를 명확한 정량 결과로 해결
4	어려운 문제에 부분 해결 또는 명확한 정량 개선
3	알려진 문제에 표준 접근의 점진 개선
2	이론 상관·평가 가이드 등 신규 솔루션 부재
1	난제 정의 불명확

4-4. 가중치 (Weight, W) · 등급 → 점수

등급	정의	점수
하	실험 또는 수치해석 결과를 단순 보고 (트렌드 관찰, 현상 비교, 이론 상관 검증)	1
중	수치해석 변수나 실험변수를 최적화 (공정 윈도우, 파라미터 스윕)	2
상	기존의 한계를 뛰어넘음 (신기록 성능, 새 공정 통합으로 한계 돌파)	4
극상	기존에 없던 새로운 개념을 제시 (새 측정원리, 신규 디바이스 아키텍처)	5

[!important] 점수 매핑의 비선형성
다른 3축과 동일한 1~5 스케일을 유지하되, "중(2) → 상(4)" 사이에 의도적 점프를 두어 학술적 임팩트의 비선형성을 반영한다. 단순 파라미터 스윕(중)과 한계 돌파(상)는 본질적으로 다른 종류의 기여이므로 1점 차이로는 표현 부족.

4-5. 총점 산출

총점 = C + S + D + W   (이론 범위 4 ~ 20)

Phase 5. 보고서 작성

5-1. 파일 위치·명명 규칙

<input_dir>/(YYYYMMDD LLM) <학회명> 초록 평가 보고서.md

• YYYYMMDD: 작성일
• <학회명>: IMID 2026, SID 2026 Display Week 등 (트랙명까지 명시 권장)
• 위치는 입력 PDF 폴더와 동일 (산출물 동거)

5-2. 보고서 구조 (필수 섹션)

---
date: YYYY-MM-DD
description: <학회명·트랙명> 초록 N편의 핵심성과 요약과 4축 정량 평가
tags:
  - LLM_work
  - <도메인 태그 (vault에 이미 존재하는 것 우선)>
---

# <학회명> 초록 평가 보고서

> [!info] 분석 개요
> - **대상**: ...
> - **변환 도구**: opendataloader-pdf 로컬 모드 → Markdown
> - **4축 점수**: 창의성(C), 체계성(S), 난제 해결(D), 가중치(W) — 각 1~5점
> - **총점** = C + S + D + W (이론 범위 4~20점)

## 평가 기준
[4축 정의 표]

### 가중치 (W) 정량화
[하/중/상/극상 + 점수 매핑 + 비선형성 사유]

## 종합 평가표
| # | 파일명 (Corresponding · 소속) | 핵심성과 요약 (2문장) | C | S | D | W (등급) | **총점** |

## 총점 순위
| 순위 | 파일 | Corresponding · 소속 | C | S | D | W | **총점** |

## 통계
| 지표 | 값 |
| 총점 합 / 평균 / 중위수 / 최고점 / 최저점 / 표준편차 |

### 축별 평균
| 축 | 합계 | 평균 | 5점 비율 | 1~2점 비율 |

### 가중치 분포
| 등급 | 점수 | 편수 | 비율 |

## 그룹별 강점 (Corresponding 다회 등재 시)
| 그룹 | 편수 | 평균 총점 | 특징 |

> [!note] 관찰
> - 만점 케이스의 공통점
> - 합계가 같은데 W가 가르는 사례
> - 도메인 공통 난제와 차별화 포인트

## Related
- [[Index]]
- [[Memories]]

5-3. "핵심성과 요약" 작성 지침 (한글 2문장)

• 첫 문장: 무엇을, 어떻게 했는가 (방법·구조·소재)
• 두번째 문장: 결과·정량·임팩트 (수치, 효율, 수율, 한계 돌파)
• 영어 약어는 원문 그대로 (EQE, ALD, MOCVD, FSA…)
• 정량 수치는 반드시 그대로 인용 (예: 4.6배, 0.4 μm, 99.82%)
• 추측·해석 금지 — 본문에 명시된 사실만

자기 점검 (보고서 제출 전 검증)

보고서 Write 직후 다음을 직접 계산하여 표와 일치 확인:

# pseudo
sum_C = sum(C_i)
sum_S = sum(S_i)
sum_D = sum(D_i)
sum_W = sum(W_i)         # 등급→점수 변환된 값
total_sum = sum_C + sum_S + sum_D + sum_W
mean_total = total_sum / N
sigma_total = sqrt(sum((total_i - mean_total)**2) / N)

# 가중치 분포 검증
assert n_극상*5 + n_상*4 + n_중*2 + n_하*1 == sum_W
assert n_극상 + n_상 + n_중 + n_하 == N

검증 실패 시 표를 수정하기 전에 개별 행의 점수가 표와 일치하는지 Grep으로 확인:

Grep "\| 극상 \|$"   # 가중치 등급별 행 카운트
Grep "\| 상 \|$"

워크플로우 실행 시 주의

Do

• PDF 변환은 단일 호출로 모든 파일을 묶기 (JVM 콜드 스타트 비용 회피)
• MD Read는 병렬 호출 (한 메시지에 여러 Read 도구 호출)
• corresponding 식별 시 * 마크와 이메일 도메인을 둘 다 확인
• 통계 셀의 평균·비율은 직접 계산 후 기록 (LLM 추정 금지)
• 점수 부여 시 한 줄 사유를 메모로 보관 (사용자 재요청 시 일관성)

Don't

• "약 3~4점" 같은 모호한 점수 금지 — 정수만
• 가중치 "상"을 남발하지 말 것 — 한계 돌파의 정량 증거 없으면 "중"
• "극상"은 새 개념 제시 시에만 — 우수한 결과만으로는 "상"
• 통계 표의 분모를 "전체"가 아닌 "특정 그룹"으로 섞지 말 것
• 사용자 폴더에 임시 파일을 남기지 말 것 (변환된 MD는 md/ 하위)

가중치 판단 가이드 (도메인 무관 일반론)

분류가 헷갈릴 때 다음 결정 트리:

Q1. 새로운 측정 원리·디바이스 개념·아키텍처가 등장하는가?
    YES → 극상
    NO  → Q2
Q2. 기존 보고된 성능·해상도·수율의 한계를 정량적으로 갱신하는가?
    YES → 상
    NO  → Q3
Q3. 공정/계산 변수를 체계적으로 스윕·최적화하여 개선을 보고하는가?
    YES → 중
    NO  → 하

[!warning] 흔한 오분류

• "RGB 풀컬러 통합 시연"은 새 컨셉이 아니면 상 또는 중 (개념 자체는 알려져 있음)
• "신기록 성능" 주장이 있으나 비교 기준이 명확치 않으면 중
• "comparative study"는 통상 하 (단순 비교는 새 개념·한계 돌파 아님)
• 시뮬레이션·모델링은 새 모델이면 상, 기존 모델 적용이면 하

산출물 체크리스트

• <input_dir>/md/ 디렉토리에 PDF별 MD 변환 완료
• <input_dir>/(YYYYMMDD LLM) <학회명> 초록 평가 보고서.md 생성
• frontmatter tags에 LLM_work 포함
• 종합 평가표의 모든 행에 corresponding · 소속 명시
• 4축 점수와 가중치 등급, 총점 일관성 (행별 C+S+D+W = 총점)
• 통계 표(합·평균·분포)와 종합 평가표의 합산 일치
• 그룹별 강점 섹션 — corresponding 2회 이상 등재 시에만
• ## Related에 vault 표준 링크 ([[Index]], [[Memories]])

예시 (단축형)

#	파일명 (Corresponding · 소속)	핵심성과 요약	C	S	D	W (등급)	총점
10	14_1293.pdf Jaesang Lee · SNU	Pixelation 응력 완화 + vRIE 기반 crack-free GaN-on-Si 분리 위에 광경화 폴리머 저온 본딩 monolithic mass transfer를 구현하였다. 12,100 픽셀을 0.4 μm 정렬 오차로 전사하고 DBR/금속 반사층 사전 통합으로 EQE를 4.6배 향상시켰다.	5	5	5	5 (극상)	20

의존성

• pdf-to-md 스킬 (자동 호출)
• obsidian-markdown 컨벤션 (frontmatter, wikilink, callout)
• Obsidian Vault — 보고서가 vault 내에 생성되므로 검증 스크립트(post-write hook)와 호환

스킬 범위 밖

• PDF가 아닌 포맷 (DOCX, HWPX 등) — 사용자가 사전에 변환해야 함
• OCR이 필요한 스캔 PDF — pdf-to-md 스킬도 미지원
• 단일 논문의 본문 심층 리뷰 — paper-review 스킬 사용
• 인용 네트워크 분석 — citation-network 스킬 사용
• 보고서 결과를 발표 슬라이드로 변환 — visual-generator 스킬 사용