Skip to content

About

강의 영상(화면+클로바노트 전사본)을 오픈소스 로컬 AI로 분석해 정리 노트·중요 장면 캡처·Word/PDF를 만드는 Windows 도구

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

Repository files navigation

Lecture Note — 강의 영상 정리 도구 v3.1

강의 영상의 화면과 **음성(클로바노트 전사본)**을 내 컴퓨터에서 분석하고, 내 PC의 로컬 AI가 강의 전체를 읽어 다음을 만듭니다.

  • 정리 노트 (영상이름_노트.md, 원하면 Word·PDF로도)
  • 검토·교정 — 클로바노트 전사본과 노트를 그대로 쓰지 않고, 로컬 AI가 화면 글자·앞뒤 문맥과 대조해 오탈자·인식 오류·논리 모순을 고치고 기록을 남깁니다
  • 중요 장면 캡처 (attach\) — AI가 화면을 직접 보고 표·도식·정리 화면만 고르고, 표지·강사 얼굴 같은 장면은 뺍니다
  • 노트가 마음에 들지 않을 때 Claude에 맡길 자료 (Claude용_자료.md + attach\ 이미지)

분석 중에는 Claude 토큰을 쓰지 않습니다.


1. 실행: START.bat 하나만 더블클릭

  • 처음 실행: 필요한 프로그램(Python, 화면 글자 인식, 로컬 AI 등)을 자동으로 설치합니다. PC 사양(GPU·메모리·디스크)을 분석해 이 PC에 맞는 로컬 AI 모델을 골라 설치합니다. 내려받는 양이 많아(약 10GB) 30분 이상 걸릴 수 있습니다. 검은 창이 끝날 때까지 기다리면 됩니다.
  • 그다음부터: 바로 프로그램 창이 열립니다.
  • 로컬 AI 설치가 실패했거나 다른 모델로 바꾸고 싶다면, 프로그램 안의 [PC 분석·로컬 AI 설치] 버튼을 누르세요.

설치 전에 NVIDIA 드라이버를 최신으로 업데이트해 두세요.

2. 사용 순서

단계 하는 일
① 영상 추가 ① 영상 분석 탭에서 영상 추가… 또는 폴더 추가… (여러 개 가능)
② 클로바노트 전사본 전사본이 없으면 영상을 고르고 클로바노트용 음성 추출(.m4a) → 클로바노트에 올리기 → 변환이 끝나면 **타임스탬프 포함 .txt(또는 .docx)**로 내려받기
③ 전사본 연결 받은 파일을 영상과 같은 폴더에 두면 자동으로 찾습니다(영상이름.txt 또는 영상이름_audio.txt). 이름이 다르면 전사본 지정…
④ 분석 필요하면 Word(.docx), PDF를 체크하고 ▶ 분석 시작
⑤ 결과 ② 결과 보기 탭에서 노트 열기 (Word), PDF 열기, 노트 md 열기

창 아래쪽에 진행 막대와 로그가 항상 표시됩니다. 영상 목록의 '전사본' 칸에서 어떤 전사본을 쓸지 미리 확인할 수 있습니다.

3. 로컬 AI 검토·교정

분석 중에 자동으로 두 번 검토합니다 (① 영상 분석 탭에서 끌 수 있음).

단계 하는 일
전사본 교정 클로바노트 전사본을 약 2,500자씩 읽으며 잘못 들은 단어·용어 표기를 찾고, 고친 말이 그 시간대 슬라이드 화면 글자나 전문용어 목록에 있는 근거 있는 수정만 적용합니다 (클로바노트는 원래 정확해, 근거 없는 수정은 시험에서 맞는 말을 틀리게 바꾸는 경우가 많았습니다)
노트 검토 AI가 쓴 노트를 원문(전사본·화면 글자)과 다시 대조해 오탈자·원문과 다른 내용·숫자 오류를 고치고, 노트 전체에서 앞뒤가 모순되는 곳을 찾습니다
  • 안전장치: AI가 글 전체를 다시 쓰지 않고 "어느 줄의 어떤 단어를 무엇으로, 왜" 고칠지만 제안합니다. 프로그램은 다음 제안을 버립니다: 말투·어미·띄어쓰기만 바꾸는 것, 내용을 잘라 내거나 덧붙이는 것, 한자로 바꾸는 것, 근거 없이 숫자를 바꾸는 것. 남은 제안은 고친 단어가 근거 자료(화면 글자·전문용어·원문)에 있으면 적용합니다. 근거가 없으면 "원래 단어가 사전에 없는 철자(오타)인가"를 AI가 한 번 더 심사해 통과한 것만 적용합니다.
  • 한계: 잘못 고치는 것을 막는 쪽으로 보수적으로 동작하므로 모든 오류를 찾지는 못합니다. 시험에서 "비젼→비전", "접합성→적합성", "역랑→역량", "기범→기법"은 고쳤고, "재무재표"는 놓쳤으며, 맞는 단어("평이한")는 바꾸지 않았습니다.
  • 기록: 고친 곳은 모두 검토_기록.md에 원래 글·고친 글·이유와 함께 남습니다(② 결과 보기 → 검토 기록 보기). AI가 확신하지 못한 곳은 고치지 않고 노트의 '4. 원본 확인이 필요한 부분'에 적습니다.
  • 다른 .md 파일: Claude가 써 준 정리본 등도 md 파일 검토·교정…으로 검토할 수 있습니다. 원본은 그대로 두고 _검토본.md와 _검토기록.md를 만듭니다.

4. PC 분석·로컬 AI 설치

PC 분석·로컬 AI 설치를 누르면 이 PC의 운영체제·CPU·메모리·GPU·남은 디스크를 확인하고, 모델마다 "GPU에 전부 들어감(빠름) / 일부 CPU 사용(느림) / 메모리 부족"을 표시한 뒤 추천 모델을 골라 줍니다. 선택한 모델 설치를 누르면 Ollama와 모델을 자동으로 설치합니다.

모델 크기 알맞은 PC
qwen3.5:0.8b 1.0GB 다른 선택지가 없을 때 (품질 낮음)
qwen3.5:2b-q4_K_M 1.9GB GPU 메모리 4GB 이하, GPU 없는 PC
qwen3.5:4b 3.3GB GPU 메모리 6~8GB (RTX 2060·3060 노트북 등)
qwen3.5:9b 6.6GB GPU 메모리 10GB 이상
qwen3.5:27b 17GB GPU 메모리 20GB 이상

필요한 GPU 메모리는 대략 "모델 크기 × 1.15 + 1.3GB"로 계산합니다(RTX 2060에서 4b 모델 실측 약 4.9GB). NVIDIA가 아닌 GPU는 가속이 되지 않을 수 있습니다.

5. 노트가 마음에 들지 않을 때 — Claude에 맡기기

  1. ② 결과 보기에서 영상을 고르고 Claude용 자료 복사 → Claude 채팅창에 붙여넣기(Ctrl+V)
  2. 캡처 폴더 열기 (attach) → 이미지를 모두 채팅창으로 끌어다 놓기 → 전송 (정리 요청문과 작성 규칙이 자료 맨 위에 들어 있어 따로 지시하지 않아도 됩니다)
  3. Claude가 준 정리본을 .md 파일로 저장했다면 md 파일을 Word·PDF로 변환…으로 문서로 만들 수 있습니다.

캡처는 로컬 AI가 고른 중요한 장면만 들어가므로(기본 최대 12장), 예전보다 이미지 토큰이 적게 듭니다.

6. 설정

설정 설명
로컬 AI 사용 끄면 노트 없이 규칙(글자가 빽빽하거나 수식이 있는 화면)으로 장면만 고릅니다
모델 PC 분석·로컬 AI 설치에서 추천받은 모델 (위 표 참고)
캡처 최대 노트와 attach에 넣을 이미지 최대 장수 (기본 12)
후보 화면 직접 확인 AI가 후보 이미지를 보고 장식 화면을 뺍니다. 끄면 몇 분 빨라지지만 덜 정확합니다
전사본 검토·교정 / 노트 검토 로컬 AI 검토 단계 켜기·끄기 (끄면 몇 분 빨라짐)
바로 만들 문서 분석이 끝나면 노트를 Word·PDF로 바로 저장
음성 클로바노트 전사본 사용(권장) 또는 모두 내 PC에서 음성 인식(Whisper)

7. 결과 폴더 (영상이름_notes)

파일 용도
영상이름_노트.md (.docx / .pdf) 로컬 AI가 쓰고 검토한 정리 노트: 개요 → 구간별 핵심(표·그림 포함) → 강조 내용 → 확인 필요 부분
검토_기록.md 로컬 AI가 전사본·노트에서 고친 곳(원래 글·고친 글·이유)과 확인이 필요한 곳
attach\ 노트에 넣은 중요 장면 캡처. Claude에 맡길 때 이 이미지를 첨부
Claude용_자료.md Claude에 맡길 때 붙여 넣을 자료 (정리 요청문 포함)
review.html 모든 화면과 발화를 나란히 보는 복습 페이지
transcript.srt 교정된 전사본 (동영상 플레이어 자막으로도 사용 가능). 원본은 클로바노트 파일 그대로
_work\ 중간 자료(감지한 모든 화면, AI 결과 저장). 두면 같은 영상을 다시 분석할 때 빠릅니다

attach\ 폴더에 직접 넣어 둔 다른 파일(예: Claude 정리본)은 다시 분석해도 지워지지 않습니다.

8. 정확도 높이기

  • 클로바노트 전사본을 쓰면 음성 인식이 가장 정확합니다.
  • 전문용어 편집에 과목 용어를 한 줄에 하나씩 적으세요. 전사본 교정 때 용어 표기의 근거가 되고, 내 PC 음성 인식에도 쓰입니다.
  • 울림·잡음이 심하면 ③ 정확도 도구의 전처리 3종 비교로 가장 나은 전처리를 고르세요.
  • 화면 한쪽에 강사 웹캠이 있어 화면이 지나치게 많이 잡히면 고급 설정…의 '분석 영역'으로 제외하세요.
  • 로컬 AI 노트는 초안입니다. 수치·고유명사 같은 중요한 내용은 복습 페이지나 원본 영상으로 확인하세요.

9. 문제 해결

증상 해결
START.bat이 설치 중 실패 검은 창의 오류를 복사해 질문. Python 자동 설치가 실패하면 python.org 3.11.9를 설치("Add python.exe to PATH" 체크)한 뒤 다시 실행
'로컬 AI 설치 필요' 표시 PC 분석·로컬 AI 설치 → 추천 모델 설치 (처음 한 번)
분석이 너무 느림 PC 분석·로컬 AI 설치에서 'GPU에 전부 들어감'으로 표시된 모델 선택, 또는 검토 단계 끄기
검토가 맞는 글을 잘못 고침 검토 기록 보기에서 원래 글을 확인해 되돌리고, 필요하면 검토를 끄세요
GPU 음성 인식 실패 NVIDIA 드라이버 업데이트 → 재부팅 → 도움말 탭 설치 점검
Word·PDF 저장 실패 같은 이름의 문서가 Word나 PDF 보기 프로그램에 열려 있으면 닫고 Word·PDF 다시 만들기
그 밖의 오류 창 아래쪽 로그를 복사해 질문

폴더 구성

START.bat        ← 이것만 실행
setup.bat        (START.bat이 처음에 자동으로 호출)
terms.txt        전문용어 목록 (내 PC 음성 인식용)
requirements.txt
lecturekit\      프로그램 본체
  gui.py         프로그램 창
  pipeline.py    영상 1개 처리 흐름
  slides.py      화면 전환 감지        ocr.py       화면 글자 인식·장면 묶기
  transcript.py  전사본 읽기(클로바노트 .txt/.docx, .srt)
  speech.py      내 PC 음성 인식(Whisper)
  ai.py          로컬 AI(Ollama) 연결   analyze.py   AI 노트 작성·중요 장면 선택
  review.py      AI 검토·교정           sysinfo.py   PC 사양 분석·모델 추천
  output.py      결과 파일              docs.py      md → Word/PDF
  sections.py    구간 나누기            cer.py, tools.py  정확도 도구

내려받기

Releases에서 최신 LectureNote-버전.zip을 받아 원하는 폴더에 풀고 START.bat을 실행하세요.

사용한 오픈소스

  • 로컬 AI: Ollama + Qwen3.5 4B
  • 화면 글자 인식: EasyOCR · 음성 인식: faster-whisper · 영상 처리: ffmpeg(imageio-ffmpeg) · Word: python-docx
  • PDF는 Windows에 기본으로 있는 Microsoft Edge의 인쇄 기능으로 만듭니다(없으면 Word 사용).

명령줄 사용(선택): .venv\Scripts\python.exe -m lecturekit.cli --help

About

강의 영상(화면+클로바노트 전사본)을 오픈소스 로컬 AI로 분석해 정리 노트·중요 장면 캡처·Word/PDF를 만드는 Windows 도구

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages