파이프라인을 어떻게 구성해야 할까?

  1. Bert 로 모델을 어떻게든 학습시킨다
    1. Pretrained 가 되어있는지.. 찾아봐야하는 기술적 문제가 있다.
  2. 스크래핑 → BERT (요약 정보) → 결과 Hadoop 내 저장
    1. 이걸 어떻게 해아할까……………………………………………..
    2. 뉴스 전문도 요약을 해야할까……
  3. 검색은 COS 유사도를 통해 저장을 해야할까?
    1. 이걸 COS 유사도를 저장을 한다고 하면.. 머리가 아프긴한데…