Scholub2025
매일 arXiv에 AI 논문이 수백 건씩 올라옵니다. 대부분은 제목에서 멈춥니다. Scholub은 그 논문을 크롤링하고, 리뷰어처럼 걸러낸 뒤 짧은 뉴스로 다시 씁니다. 검색, 추천, 토론까지 한곳에 있습니다.
초점
어려운 건 논문 목록을 보여주는 일이 아닙니다. 어떤 논문이 자리에 오를지 정하고, PDF가 아니라 뉴스처럼 읽히게 만드는 일입니다.
핵심 질문: arXiv 덤프를 어떻게 하면 끝까지 읽는 하루 피드로 바꿀 수 있을까?
네 가지에 집중했습니다.
먼저 읽히게
PDF보다 요약, 번역, 태그가 먼저입니다. 해당 분야를 모르는 사람도 읽기 화면에서 버틸 수 있어야 합니다.
리뷰어 수준의 선별
OpenAI가 학회 가이드라인으로 점수를 매깁니다. 피드가 “오늘 들어온 것”이 되지 않게 합니다.
한곳에서 머물게
피드, AI 검색, 추천, 토론이 같은 제품에 있습니다. 탭 다섯 개로 나가지 않습니다.
매일 돌아가는 파이프라인
수집, 선별, 가공, 저장, 노출. 한 단계라도 일회성 스크립트면 다음 날 피드는 죽습니다.
구성
화면
- 논문 피드와 읽기 화면
- AI 검색
- 토론 커뮤니티
- 프로필과 선호
파이프라인
- arXiv 수집과 PDF 추출
- 리뷰어 선별
- 요약, 번역, 태그
- 썸네일 생성
백엔드
- NestJS + Prisma + CQRS
- JWT 인증과 알림
- 선호 기반 랭킹
- S3 자산, Redis 캐시
모델
- 리뷰어 점수: OpenAI
- 검색·요약: Perplexity
- 썸네일: Gemini
- 심층 분석: FastAPI 서브 에이전트
논문 파이프라인
원래는 여덟 칸이 한 줄로 이어져 있었습니다. 정확하지만 한눈에 안 들어옵니다. 루트 하나, 가지 몇 개, 자세한 건 펼쳤을 때만 보이게 묶었습니다.
다이어그램은 영어입니다. Collect, Filter, Enrich, Publish. 노드를 누르면 펼쳐집니다.
시스템
클라이언트는 서버 두 대와 이야기합니다. NestJS API는 유저, 논문, 토론, 알림을 맡습니다. FastAPI LLM 서버는 검색, 요약, 더 깊은 패스를 위한 서브 에이전트를 맡습니다.
메타데이터는 Postgres, PDF와 썸네일은 S3, 세션은 Redis입니다. 모델은 그래프 가장자리에 두고, 매 요청 한가운데에 두지 않았습니다.
제품
선별된 논문이 카드로 올라옵니다. 인기 논문, 최신 연구, 추천이 한 화면에 있습니다. 알림은 관심 논문의 반박·후속 논문을 바로 띄웁니다.
논문 상세 · AI 채팅초록과 요약을 읽고, 문장을 채팅으로 보내 물을 수 있습니다. AI 뷰어와 원문 보기가 나란히 있습니다. 검색도 키워드 인덱스가 아니라 LLM 서버로 갑니다.
프로필반응한 논문과 토론한 논문이 갈립니다. 피드는 매일 바뀌고, 댓글과 반응이 사람을 붙입니다.