KR102406098B1 - 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템 - Google Patents

사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템 Download PDF

Info

Publication number
KR102406098B1
KR102406098B1 KR1020210167715A KR20210167715A KR102406098B1 KR 102406098 B1 KR102406098 B1 KR 102406098B1 KR 1020210167715 A KR1020210167715 A KR 1020210167715A KR 20210167715 A KR20210167715 A KR 20210167715A KR 102406098 B1 KR102406098 B1 KR 102406098B1
Authority
KR
South Korea
Prior art keywords
translation
image
quadruple
reinforcement learning
comparison group
Prior art date
Application number
KR1020210167715A
Other languages
English (en)
Inventor
남지원
Original Assignee
주식회사 인사이트베슬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인사이트베슬 filed Critical 주식회사 인사이트베슬
Priority to KR1020210167715A priority Critical patent/KR102406098B1/ko
Application granted granted Critical
Publication of KR102406098B1 publication Critical patent/KR102406098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템은 웹툰 번역 시 웹툰에 포함된 이미지 색상, 텍스트대사, 표정, 효과음을 이용하여 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 번역을 좀 더 정확하게 할 수 있는 효과가 있다.

Description

사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템{Image Specialized Translation Editing System via Quadruple Palette Data}
본 발명은 이미지 번역편집 시스템에 관한 것으로서, 더욱 상세하게는 웹툰 번역 시 웹툰에 포함된 이미지 색상, 텍스트대사, 표정, 효과음을 이용하여 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 번역을 좀 더 정확하게 할 수 있는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템에 관한 것이다.
번역은 한국의 수많은 콘텐츠(웹소설, 웹툰, 영상 자막)를 해외에 유통하여 외화를 벌고, 지식 부가가치 서비스로 성공하기 위해서 가장 중요한 기술이다.
그러나 상업적 진출을 위한 번역은 전문 인력을 동원하기 때문에 매우 비용이 비싸고, 시간이 오래 걸리는 비효율적인 문제점이 있다.
콘텐츠는 번역이 필요한 텍스트 양이 매우 많고(소설의 경우 10권이면 평균 150만자), 번역 비용이 텍스트 양에 비례한다.
기계 번역은 매우 빠르고 대량의 번역을 수행할 수 있지만, 단순한 의미 전달이 아니라 완성도가 있는 콘텐츠/문학을 위한 자연스러운 번역이 불가능하다.
특히, 웹툰의 번역은 색상, 말풍선의 효과음, 대사별 주요 표정 등에 따라 번역 문맥, 뉘앙스와 분위기가 많이 달라지므로 이러한 부분을 번역 시 완벽하게 반영하는 것이 불가능하다.
웹툰 콘텐츠 분야는 불법 도용, 유통에 매우 피해가 큰 분야인데 이러한 배경 때문에 출판사 등 저작권자는 해외 진출 사업에 있어서 원본 콘텐츠의 외부 반출 및 관리에 대해 고려해야할 리스크가 많다는 특성이 있다. 또한, 웹툰 콘텐츠 분야는 이미 번역의 대상인 텍스트대사가 비트맵 이미지에 동일한 비트맵 정보로 매몰되어 있어, 전통적인 번역 방법은 1) 수동으로 화면에서 글자를 드래그하여 추출하고, 2) 별도로 번역을 진행한 후, 3) 다시 수동으로 디자이너가 비트맵 이미지에 텍스트대사를 하나씩 씌우는 접근을 취하고 있어 실무적인 번역에 요구되는 시간과 요구 비용이 매우 높은 편이다.
양질의 한국 콘텐츠를 신속하게 번역하여 해외로 수출하는데 번역이 걸림돌이 되고 있다.
한국 등록특허번호 제10-1099196호
이와 같은 문제점을 해결하기 위하여, 본 발명은 웹툰 번역 시 웹툰에 포함된 이미지 색상, 텍스트대사, 표정, 효과음을 이용하여 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 번역을 좀 더 정확하게 할 수 있는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템은,
웹툰을 포함한 콘텐츠 원본 파일을 출판사 터미널을 통해 수신하여 저장하는 원본 이미지 저장 데이터베이스;
상기 원본 이미지 저장 데이터베이스에서 추출된 원본 웹툰에서 언어 글자를 지우고, 상기 지운 원본 언어의 위치 좌표에 번역된 글자를 OCR 합성기로 합성하여 초벌 번역 데이터를 생성하는 초벌 번역 장치;
상기 콘텐츠 원본 파일(웹툰)로부터 사중 팔레트 추출 프로그램을 이용하여 텍스트대사, 이미지 추출 표정(감정), 이미지 색상 정보, 소리를 유추하는 이미지 효과음로 이루어진 사중 팔레트 데이터를 추출하여 저장하는 사중 팔레트 저장 데이터베이스;
상기 웹툰의 사중 팔레트 데이터와, 상기 초벌 번역 데이터와 비교하여 시각적, 픽셀적, 문맥적 정보를 기반으로 번역 편집을 수행하는 사중 팔레트 번역편집 스테이션; 및
상기 사중 팔레트 번역편집 스테이션과 연동하여 상기 초벌 번역 데이터와 상기 사중 팔레트 데이터를 이용하여 상기 웹툰의 이미지 특화 번역을 위해 상기 사중 팔레트 데이터에서 최소 2가지 데이터의 상관 관계를 분석하여 상기 웹툰의 이미지에 포함된 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 강화 학습 인공지능이 추천하는 상기 상관 관계와 연관된 번역으로 편집하는 강화 학습 번역부를 포함한다.
전술한 구성에 의하여, 본 발명은 원본 언어 문장, 초벌 번역 문장, 편집 검수 데이터인 편집 언어 문장, 사중 팔레트 데이터의 4개의 텍스트대사 팔레트 말뭉치를 자체적으로 발생시켜 영구적인 데이터 출처를 경제적으로 확보하고, 뉘앙스, 문맥, 감정, 은어 등 직접 호환성을 포함하여 편집 데이터를 창출할 수 있는 효과가 있다.
본 발명은 웹툰 번역 시 웹툰에 포함된 이미지 색상, 텍스트대사, 표정, 효과음을 이용하여 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 번역을 좀 더 정확할 수 있다.
본 발명은 웹툰의 대사 내용을 강화 학습 인공지능을 통해 대사별 주요 색상, 대사별 주요 표정 등과의 상관 관계를 예측하여 번역에 감정, 문맥, 분위기, 캐릭터 개성에 대한 번역을 더 정확하게 할 수 있다.
본 발명은 의미 전달 수준이 아니라 실제 독서, 소비 가능한 고급 완성 수준의 번역 레벨을 개선할 수 있는 효과가 있다.
본 발명은 사중 팔레트 데이터 구조를 중심으로 강화 학습에 기반한 무인 자동 편집이 이루어질 때, 3중 편집(색상-텍스트, 표정-텍스트, 색상-표정 편집 문장(말뭉치))으로 인해 정확도와 완성도가 개선되는 효과가 있다.
본 발명은 사중 팔레트 번역편집 스테이션에서 수익 창출과 동시에 데이터 출처를 발생시키기 때문에 외부 학습용 데이터에 대한 의존성이나 데이터 고갈에 대한 한계 없이 지속 가능한 기계 번역의 성장을 가능하게 하는 효과가 있다.
본 발명은 출판사가 해외 진출을 위한 원본 콘텐츠를 직접 업로드하여 블랙박스(Black Box) 모델에서 작업이 처리되고 모든 외부 교류가 로그(Log)로 남기 때문에 누출이나 소실에 대한 리스크가 관리되는 효과가 있다.
도 1은 본 발명의 실시예에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 제1 실시예에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 방법을 나타낸 도면이다.
도 3은 본 발명의 제2 실시예에 따른 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 방법을 나타낸 도면이다.
도 4는 본 발명의 제2 실시예에 따른 강화 학습 번역부에서 강화 학습 번역 알고리즘을 수행하는 과정을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 제1 실시예에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 방법을 나타낸 도면이다.
본 발명의 실시예에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템(100)은 출판사 터미널(110) 및 이미지 번역 편집 서비스 서버(120)를 포함한다.
이미지 번역 편집 서비스 서버(120)는 원본 이미지 저장 데이터베이스(121), 초벌 번역 장치(122), 편집 번역 저장 데이터베이스(123), 사중 팔레트 번역편집 스테이션(124), 편집 퍼포먼스 데이터베이스(124a), 초벌 번역 임시 데이터베이스(125), 제어부(126), 편집 검수 단말기(127), 최종 작업물 저장 데이터베이스(128), 관리자 페이지 인터페이스(129), 사중 팔레트 저장 데이터베이스(129a) 및 강화 학습 번역부(130)를 포함한다.
사업 수행자와 해외 수출/유통 계약이 된 출판사/저작권자는 승인된 계정으로 웹 시스템인 출판사 터미널(110)을 통해 딥러닝 번역 서비스를 제공하는 번역 제공 플랫폼에 접속하여 자신의 아이디 인증을 통해 번역이 필요한 번역 대상물을 입력할 수 있다. 여기서, 사업 수행자는 번역되고 최종 검수된 최종 콘텐츠(해외 언어로 표기된 상태)를 해외 유통자에게 판매하여 수익을 올리고, 출판사/저작권자에게 수익금을 일부 분배하는 시스템의 직접 이용자이다.
출판사/저작권자는 한글 콘텐츠(웹소설, 웹툰, 영상 자막 추가) 저작권 소유자이고, 저작권 해외 수출 계약을 맺고, 원래의 텍스트나 콘텐츠를 공급할 이해 관계자이다.
출판사 터미널(110)은 출판사 전용 계정으로 웹 시스템에 로그인할 때 나오는 화면이며, 출판사/저작권자가 웹소설, 웹툰, 영상 등을 포함한 콘텐츠 원본 파일을 출판사 터미널(110)에 업로드한다.
출판사 터미널(110)은 콘텐츠 원본 파일을 이미지 번역 편집 서비스 서버(120)로 제공한다(S100).
원본 이미지 저장 데이터베이스(121)는 출판사 터미널(110)을 통해 출판사/저작권자가 업로드한 콘텐츠 원본 파일을 저장한다(S101). 원본 이미지 저장 데이터베이스(121)에 저장되는 콘텐츠 원본 파일은 인간이 알아볼 수 없는 형태로 암호화되어 저장될 수 있다. 특히, 본 발명의 콘텐츠 원본 파일은 웹툰의 문장 번역을 위한 것이다.
원본 이미지 저장 데이터베이스(121)는 내장된 OCR 엔진에 의해서 웹툰의 원본 언어 구조 및 위치 좌표를 인식, 추출하여 저장한다(S101).
초벌 번역 장치(122)는 원본 이미지 저장 데이터베이스(121)로부터 원본 웹툰에서 추출된 언어 글자를 지우고, 지운 원본 언어의 위치 좌표에 번역된 글자를 OCR 합성기로 합성한다.
초벌 번역 장치(122)는 번역 대상인 원본 언어가 번역되어 원본 언어의 위치 좌표에 합성되어 초벌 번역이 완료된다(S102). 이때, 작업 우선 순위는 콘텐츠 원본 파일이 저장된 날짜순, 데이터에 저장 시 태깅한 매출 순위, 중요 순위 또는 데이터의 규모를 기준으로 삼는다.
초벌 번역 장치(122)는 이미 어느 정도 범용성이 넓어진 기계 번역으로 구글이나 네이버 번역 API를 이용하거나, 지도 학습(Supervised Learning) 인공신경망의 인공지능을 통해 번역한다. 여기서, 딥러닝 알고리즘은 구체적으로 트랜스포머 딥러닝 신경망(Transformer Neural Network Algorithim)을 사용한다.
초벌 번역 장치(122)는 초벌 번역을 수행 시 번역 대상인 문장과 번역한 문장이 추후에도 짝으로 추적될 수 있도록 문장 단위로 별도 인덱싱(Indexing) 작업이 진행된다.
편집 번역 저장 데이터베이스(123)는 지워진 원본 언어 웹툰 대사 글자와 번역된 대사의 글자를 저장하고, 초벌 편집 번역된 초벌 번역 데이터를 저장하고, 초벌 편집 번역 데이터가 지속적으로 누적된다(S103).
사중 팔레트 저장 데이터베이스(129a)는 원본 이미지 저장 데이터베이스(121)에서 업로드한 콘텐츠 원본 파일(웹툰)을 저장하고, 저장된 웹툰으로부터 사중 팔레트 추출 프로그램을 이용하여 사중 팔레트 데이터 구조를 추출하여 저장, 관리한다.
여기서, 사중 팔레트 데이터는 이미지 특화 번역을 위해 구체적으로 정의된 데이터 구조로 하나의 데이터 세트가 (1) 텍스트대사, (2) 이미지 추출 표정 및 감정 정보(기쁨, 분노, 슬픔, 혐오, 중립, 수치 등), (3) 이미지 색상 정보, (4) 이미지 효과음을 포함한다. 이미지 효과음은 웹툰의 대사 말풍선이 있지 않고, 보통 인물이나 배경 위에 그려진다.
사중 팔레트 번역편집 스테이션(124)은 편집 번역 저장 데이터베이스(123)로부터 추출한 초벌 번역한 작업물과 원본 이미지 저장 데이터베이스(121)로부터 불러온 이미지를 포함한 웹툰(콘텐츠 원본 파일)을 제1 화면(번역 편집 스테이션 화면)에 병행하여 표시하고 초벌 번역한 작업물과 웹튼을 비교하여 편집 작업을 수행한다.
사중 팔레트 번역편집 스테이션(124)은 사중 팔레트 저장 데이터베이스(129a)로부터 수신한 웹툰의 사중 팔레트 데이터 구조와, 편집 번역 저장 데이터베이스(123)로부터 추출한 초벌 번역한 초벌 번역 데이터와 일대일로 비교하여 번역 편집을 수행한다(S104).
사중 팔레트 번역편집 스테이션(124)은 웹툰의 사중 팔레트 데이터와, 초벌 번역 데이터와 비교하여 시각적, 픽셀적, 문맥적 정보를 기반으로 적합한 번역 모델을 선정하여 번역 편집을 수행한다.
사중 팔레트 번역편집 스테이션(124)은 편집 작업을 수행한 편집 작업 결과물인 편집 작업 데이터를 생성한다.
사중 팔레트 번역편집 스테이션(124)은 한국 원문과 영어 원문을 비교하여 편집 수행한 내용인 편집 작업 데이터를 입력받아 저장한다.
사중 팔레트 번역편집 스테이션(124)은 간편하고 효율적으로 작업하기 위한 웹 시스템이고, 초벌 번역한 작업물과 콘텐츠 원본 파일을 비교하여 문장 대 문장으로 편집 작업을 수행하고, 편집 작업을 수행하지 않은 경우, 별도 표식이 남지 않고, 편집 작업을 수행한 경우, 편집했다는 표식과 문장 짝 자체를 저장된다.
초벌 번역 임시 데이터베이스(125)는 사중 팔레트 번역편집 스테이션(124)으로부터 편집 작업을 수행한 편집 작업 결과물인 편집 작업 데이터를 수신하여 저장한다(S105).
편집 검수 단말기(127)는 초벌 번역 임시 데이터베이스(125)로부터 추출한 편집 작업 데이터와 원본 이미지 저장 데이터베이스(121)로부터 불러온 콘텐츠 원본 파일(웹툰)을 디스플레이부(미도시)에 병행하여 표시한다. 편집 검수 단말기(127)는 편집 작업 데이터를 읽어 나가며, 한글 원문과 대조해 편집 검수 작업을 수행한다.
편집 검수 단말기(127)는 편집 작업 결과물과 콘텐츠 원본 파일을 비교하여 문장 대 문장으로 편집 검수 작업을 수행하여 최종 결과물인 편집 검수 데이터(예를 들어, 문장 말뭉치)를 입력받아 저장한다(S106). 편집 검수 단말기(127)는 2차 편집된 내용에 대해서 하일라이트된 팔레트 뭉치 데이터 구조를 기준으로 검수하여 최종 컨펌한다. 이때, 사중 팔레트 번역편집 스테이션(124)에는 편집 퍼포먼스 데이터베이스(124a)에 기반한 적합 작업량과 작업 성향에 따라 교차되어 편집 스테이션 화면이나 편집 검수 단말기(127)가 표기되어 나타난다.
편집 검수 단말기(127)는 붓 그리기 기능(색상, 모양 변형), 대사 말 풍선 추가 덧씌워 그리기 기능, 모자이크 스티커 합성 기능 등 웹툰 기반 번역 및 최종 편집에 필요한 부가적인 이미지 편집 기능 역시 제공한다.
편집 검수 데이터는 실제 원문을 해외 유통을 위해 편집하는 과정에서 직접 연관된 편집 데이터이다.
최종 작업물 저장 데이터베이스(128)는 초벌 번역된 작업물에 대해 무인 강화학습 편집 작업과 무인 편집 검수를 수행하여 번역이 마감된 최종 결과물인 편집 검수 데이터(상용 유통이 가능한 상태로 번역된 팔레트 뭉치 데이터구조를 편집 검수 단말기(127)로부터 수신하여 저장한다(S107)
관리자 페이지 인터페이스(129)는 최종 작업물 저장 데이터베이스(128)에 연동하여 번역 마감된 편집 검수 데이터를 최종 결과로 조회, 다운받을 수 있는 사용자 인터페이스를 제공한다(S108).
번역 편집이 마감된 최종 결과물은 관리자 페이지 인터페이스(129)를 통해 최종 텍스트본이나 번역본을 다운받아 해외 유통자에게 업로드 및 판매하여 수익을 발생시킬 수 있다. 여기서, 해외 유통자는 이미 해외언어(예: 영어)로 다양한 전자책, 웹소설, 웹툰 등 콘텐츠를 판매 중인 플랫폼이나 전자책 상점 등을 의미하고, 이미지 번역 편집 서비스 서버(120)에서 번역 마감된 최종 결과를 판매한다.
관리자 페이지 인터페이스(129)는 해외 유통망 연계 API를 통해 자동으로 텍스트가 업로드 되도록 설정할 수 있다(S109). 관리자 페이지 인터페이스(129)는 부가적으로 표지나 작품 정보만 등록하도록 하여 인터페이스(소통)할 수 있다.
이외에도 관리자 페이지 인터페이스(129)는 출판사, 저작권자, 편집 작업부문, 편집 검수부문, 기타 실무부문 등이 통합된 네트Ÿp을 관리할 수 있고, 복잡한 문서와 데이터의 전달, 절차의 혼동, 비효율적인 소통, 보안과 저작권 소스 노출 문제를 해결할 수 있다.
도 3은 본 발명의 제2 실시예에 따른 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 방법을 나타낸 도면이다.
제2 실시예는 제1 실시예와 중복되는 단계의 설명을 생략하고, 차이점을 중심으로 상세하게 설명한다.
출판사 터미널(110)은 콘텐츠 원본 파일을 이미지 번역 편집 서비스 서버(120)로 제공한다(S200).
원본 이미지 저장 데이터베이스(121)는 출판사 터미널(110)을 통해 출판사/저작권자가 업로드한 콘텐츠 원본 파일(웹툰)을 저장한다(S201).
원본 이미지 저장 데이터베이스(121)는 내장된 OCR 엔진에 의해서 웹툰의 원본 언어 구조 및 위치 좌표를 인식, 추출하여 저장한다(S201).
초벌 번역 장치(122)는 원본 이미지 저장 데이터베이스(121)로부터 수신한 원본 웹툰에서 번역 대상인 원본 언어가 번역되어 원본 언어의 위치 좌표에 합성되어 초벌 번역(기계 번역)이 완료된다(S202).
편집 번역 저장 데이터베이스(123)는 지워진 원본 언어 웹툰 대사 글자와 번역된 대사의 글자를 저장하고, 초벌 편집 번역된 초벌 언어 데이터를 저장하고, 초벌 번역 데이터가 지속적으로 누적된다(S203).
이처럼 초벌 번역 저장 데이터베이스(123)에 초벌 번역 데이터가 지속적으로 누적되고, 또한, 사중 팔레트 저장 데이터베이스(129a)에서도 최종의 편집 검수 된 사중 팔레트 번역 편집 데이터(신규데이터)가 누적되어 감에 따라 편집의 학습효과를 극대화할 수 있는 인프라의 구축도 가능하게 되어 더욱 더 정확하고 효과적인 번역을 완성할 수 있게 된다.
또한, 본 발명의 시스템은 딥러닝 강화학습번역의 속성(번역횟수가 많아질수록 학습효과의 증대로 누적되는 신규 데이터들도 많아질 것이므로 더욱 더 정확하고 효과적인 번역을 완성할 수 있다는 속성)을 스스로 갖게 되는 것이어서, 2차 초벌 번역의 완성도를 높게 하는 장점이 있다
제어부(126)는 2차 초벌 번역 요청 신호를 수신하는지 판단하고(S204), 2차 초벌 번역 요청 신호를 수신하는 경우, 강화 학습 번역부(130)에서 강화 학습 번역 알고리즘의 딥러닝 기능을 이용하여 강화 학습을 통한 번역 편집을 수행한다(S207).
강화 학습 번역 알고리즘은 딥러닝을 이용한 방식으로 입력 문장과 출력 문장을 하나의 쌍으로 두고, 가장 적합한 표현 및 번역 결과를 찾는 기술이다. 딥러닝 기술은 기계 학습을 위해 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), Transformer Networks 등의 신경망을 활용한다.
제어부(126)는 2차 초벌 번역 요청 신호를 수신하는지 판단하고(S204), 2차 초벌 번역 요청 신호를 수신하지 못하는 경우, 사중 팔레트 저장 데이터베이스(129a)에 신규 데이터가 존재하는지 판단한다(S205). 제어부(126)는 사중 팔레트 저장 데이터베이스(129a)에 신규 데이터가 존재하는 경우, 강화 학습 번역부(130)에서 강화 학습 번역 알고리즘의 딥러닝 기능을 이용하여 데이터 학습한다(S206).
사중 팔레트 번역편집 스테이션(124)은 한국 원문과 영어 원문을 비교하여 편집 수행한 내용인 편집 작업 데이터를 입력받아 저장한다(S208).
초벌 번역 임시 데이터베이스(125)는 사중 팔레트 번역편집 스테이션(124)으로부터 편집 작업을 수행한 편집 작업 결과물인 편집 작업 데이터를 수신하여 저장한다(S209).
편집 검수 단말기(127)는 편집 작업 결과물과 콘텐츠 원본 파일을 비교하여 문장 대 문장으로 편집 검수 작업을 수행하여 최종 결과물인 편집 검수 데이터를 입력받아 저장한다(S210). 편집 검수 단말기(127)는 붓 그리기 기능(색상, 모양 변형), 대사 말 풍선 추가 덧씌워 그리기 기능, 모자이크 스티커 합성 기능 등 웹툰 기반 번역 및 최종 편집에 필요한 부가적인 이미지 편집 기능 역시 제공한다.
최종 작업물 저장 데이터베이스(128)는 편집 검수 단말기(127)로부터 초벌 번역한 작업물에 대해 편집 작업과 편집 검수를 수행하여 번역 마감된 최종 결과물인 편집 검수 데이터(상용 유통이 가능한 상태)를 수신하여 저장한다(S211).
관리자 페이지 인터페이스(129)는 최종 작업물 저장 데이터베이스(128)에 연동하여 번역 마감된 편집 검수 데이터를 최종 결과로 조회, 다운받을 수 있는 사용자 인터페이스를 제공한다(S212).
관리자 페이지 인터페이스(129)는 해외 유통망 연계 API를 통해 자동으로 번역 편집된 텍스트가 업로드되어 해외 유통자에게 판매할 수 있다(S213).
편집 검수 단말기(127)는 편집 검수 작업한 검수 데이터인 번역 말뭉치(사중 팔레트 데이터 뭉치)를 생성한다.
번역 말뭉치(사중 팔레트 데이터 뭉치)는 강화 학습에 사용될 데이터로 원본 언어 문장, 초벌 번역 문장, 편집 검수 데이터인 편집 언어 문장, 사중 팔레트 데이터의 4개의 짝으로 이루어진다.
사중 팔레트 저장 데이터베이스(129a)는 편집 검수 단말기(127)로부터 번역 말뭉치(사중 팔레트 데이터 뭉치)를 수신하여 저장한다(S214).
사중 팔레트 저장 데이터베이스(129a)는 저장된 번역 말뭉치(사중 팔레트 데이터 뭉치)를 강화 학습 번역부(130)로 전송한다.
사중 팔레트 저장 데이터베이스(129a)에 저장된 번역 말뭉치(사중 팔레트 데이터 뭉치)는 강화 학습 번역 알고리즘에 투입되어 지속적으로 편집 능력을 강화하기 위한 수단으로 활용된다.
이때, 강화 학습 번역 알고리즘은 트랜스포머 신경망(Transformer Neural Network)이거나 컨볼루션 뉴럴 네트워크(Convolution Neural Network)이거나 두 알고리즘의 후속의 라이선스 코드 알고리즘이다.
강화 학습 번역부(130)는 사중 팔레트 번역편집 스테이션(124)에서 편집 작업을 수행하기 전(즉, 초벌 번역 임시 데이터베이스(125)에 업로드 하기 전)에, 강화 학습 번역 알고리즘을 이용하여 무인 자동 편집을 수행한다(S206).
사중 팔레트 번역편집 스테이션(124)는 편집한 작업 내역인 편집 퍼포먼스 정보를 생성하여 편집 퍼포먼스 데이터베이스(124a)로 전송한다(S215).
편집 퍼포먼스 정보는 주어진 시간(1일, 1달, 1년)에 얼마나 많은 텍스트를 편집할 수 있었는지, 검수 수정율은 얼마나 낮은지, 또한 효율적으로 한 번에 적당한 번역 편집을 수행했는지 등을 나타내준다.
편집 퍼포먼스 데이터베이스(124a)에 저장된 결과물은 관리자 페이지 인터페이스(129)를 통해 사업 수행자가 조회하여 보다 정확한 사업 관리와 작업 배분 운영을 위해 활용할 수 있다.
도 4는 본 발명의 제2 실시예에 따른 강화 학습 번역부에서 강화 학습 번역 알고리즘을 수행하는 과정을 나타낸 도면이다.
편집 검수 단말기(127)는 편집 검수 작업한 편집 검수 데이터를 번역 말뭉치(사중 팔레트 데이터 뭉치)를 생성한다.
번역 말뭉치(사중 팔레트 데이터 뭉치)는 강화 학습에 사용될 데이터로 원본 언어 문장, 초벌 번역 문장, 편집 검수 데이터인 편집 언어 문장, 사중 팔레트 데이터의 4개의 짝으로 이루어진다.
사중 팔레트 저장 데이터베이스(129a)는 편집 검수 단말기(127)로부터 번역 말뭉치(사중 팔레트 데이터 뭉치)를 수신하여 저장한다(S214).
사중 팔레트 저장 데이터베이스(129a)는 저장된 번역 말뭉치(사중 팔레트 데이터 뭉치)를 강화 학습 번역부(130)로 전송한다.
사중 팔레트 저장 데이터베이스(129a)에 저장된 번역 말뭉치(사중 팔레트 데이터 뭉치)는 강화 학습 번역 알고리즘에 투입되어 지속적으로 편집 능력을 강화하기 위한 수단으로 활용된다.
이때, 강화 학습 번역 알고리즘은 1 Transfomer 알고리즘, 2 CNN 은닉신경망 알고리즘, 3 GPT-계열 알고리즘, 4 ALBLEU 방식 형태소 분석 알고리즘 등을 병행하여 학습한다.
강화 학습 번역부(130)는 CNN과 조합된 지도 강화학습 방식의 앙상블 인공지능이 이미지 데이터를 분석하여 더 적합한 번역 방식에 대하여 추천할 수 있다.
강화 학습 번역부(130)는 사중 팔레트 번역편집 스테이션(124)에서 편집 작업을 수행하기 전(즉, 초벌 번역 임시 데이터베이스(125)에 업로드 하기 전)에, 강화 학습 번역 알고리즘을 이용하여 무인 자동 편집을 수행한다(S207)
강화 학습 번역부(130)는 웹툰의 대사 내용을 한글대사, 영어대사, 주변 색상값, 캐릭터, 인물의 표정(슬픔, 기쁨, 혐오, 분노, 두려움 등) 등의 특화된 데이터 구조로 저장되고, 강화 학습 인공지능을 통해 대사별 주요 색상, 대사별 주요 표정 등과의 상관 관계를 예측하여 번역에 감정, 문맥, 분위기, 캐릭터 개성에 대한 번역을 더 정확하게 할 수 있다. 예컨대, 특정 대사 혹은 효과음은 상관 관계 혹은 관련 빈도가 높은 색상과 인물의 표정 등에서 더 자주 언급되고 나타나는 특성을 가지고 있다. 이러한 접근은 적극적 인공지능 및 통계 기법을 통해 활용하여 보다 정확하게 문맥과 분위기를 드러내는 번역을 가능하게 하기 위함이다.
강화 학습 번역부(130)는 사중 팔레트 강화 인공지능을 구현하여 사중 팔레트 데이터와 입력되는 웹툰과의 상관 관계를 통계적 Correlation 추출 기법에 의해서 계산한다.
강화 학습 번역부(130)는 사중 팔레트 데이터의 각각 4개 데이터 중 최소 2개 이상 존재하는 유효한 데이터를 각각 새로운 웹툰의 사중 팔레트 데이터와 상관 관계를 비교한다. 예컨대, 번역하고자 하는 새로운 웹툰의 색상이 사중 팔레트 강화 인공지능이 보유한 사중 팔레트 데이터의 텍스트대사와 상관 관계가 70% 이상으로 계산될 경우, 번역 중인 새로운 웹툰의 색상이 강화 인공지능이 보유한 대사 번역 모델(코푸스, 코덱스 등)과 잘 어울리는 것이다.
강화 학습 번역부(130)는 기학습된 사중 팔레트 강화 인공지능의 번역 모델을 이용하여 번역 편집을 수행하여 초벌 번역물을 편집된 2차 초벌 번역물로 재생산한 후, 사중 팔레트 번역편집 스테이션(124)으로 전달한다.
사중 팔레트 저장 데이터베이스(129a)는 텍스트대사와 이미지 효과음 즉, 한글 대사, 영문 대사, 효과음의 데이터 구조를 포함하고, 한글 대사, 영문 대사, 이미지 색상 정보의 데이터 구조를 포함하고, 한글 대사, 영문 대사, 이미지 추출 표정의 데이터 구조를 포함할 수 있다.
사중 팔레트 저장 데이터베이스(129a)는 원본 대사, 번역 대사, 색상, 슬픔 감정 점수, 기쁨 감정 점수, 분노 감정 점수, 혐오 감정 점수, 두려움 감정 점수의 이미지 추출 표정을 데이터 구조로 포함할 수 있다. 이러한 데이터 구조를 강화 학습에 활용할 수 있다.
색상값은 유사한 색상값의 평균값에 가까운 방식을 선정하여 계산하며, 샘플 픽셀들의 합성값 또는 픽셀 간의 유클리드 거리가 기설정된 기준값보다 작은 픽셀 색상값의 합성값을 추출하여 기준 색상을 정할 수 있다.
단계 S207의 강화 학습을 통한 번역 편집 과정을 상세하게 설명하면 다음과 같다.
강화 학습 번역부(130)는 초번 번역 데이터의 이미지 특화 번역을 위해 텍스트대사, 이미지 추출 표정(감정), 이미지 색상 정보, 소리를 유추하는 이미지 효과음로 이루어진 사중 팔레트 데이터에서 최소 2가지 데이터의 상관 관계를 분석하여 상기 웹툰의 이미지의 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 강화 학습 인공지능이 추천하는 상기 상관 관계와 연관된 번역으로 편집한다.
제어부(126)는 2차 초벌 번역 요청 신호를 수신하는지 판단하고(S204), 2차 초벌 번역 요청 신호를 수신하는 경우, 강화 학습 번역부(130)는 사중 팔레트 저장 데이터베이스(129a)로부터 웹툰의 사중 팔레트 데이터를 수신하고, 현재 번역하고자 하는 작품의 웹툰에서 원본 언어 대사인 텍스트대사, 이미지 추출 표정 및 감정 정보(기쁨, 분노, 슬픔, 혐오, 중립, 수치 등), 이미지 색상 정보, 소리를 유추하는 이미지 효과음의 사중 팔레트 데이터를 대조군으로 비교군 1로 설정한다(S216).
강화 학습 번역부(130)는 비교군 1의 이미지 색상 정보와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 텍스트대사의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다(S217).
강화 학습 번역부(130)는 비교군 1의 이미지 색상 정보와 비교군 2의 텍스트대사의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 색상 정보와 연관된 텍스트대사에 기반한 번역으로 편집한다(S218).
강화 학습 번역부(130)는 강화 학습 인공지능이 보유한 코푸스(Corpus, 번역 데이터 백과사전)로 번역 편집을 수행할 수 있다.
예를 들어, 강화 학습 번역부(130)는 평균 픽셀값, 또는 가장 많이 등장하는 색상값이 검정색일 경우, 강화 학습 인공지능이 가진 딥러닝된 인공지능 모델이 70% 이상이면, 검은색에 상관 관계를 가진 텍스트대사를 보유하고 있을 경우, 자신의 번역본으로 번역을 진행한다. 웹툰에 사용되는 글자의 경우, 색상과 주제를 함께 하는 경우가 많기 때문이다.
강화 학습 번역부(130)는 비교군 1의 이미지 색상 정보와 비교군 2의 텍스트대사의 상관 관계가 70% 이상이 아닌 경우, 비교군 1의 텍스트대사와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 색상 라이브러리의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다(S219).
강화 학습 번역부(130)는 비교군 1의 텍스트대사와 비교군 2의 색상 라이브러리의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 색상 정보에 연관된 텍스트대사에 기반한 번역으로 편집한다(S218).
강화 학습 번역부(130)는 비교군 1의 텍스트대사와 비교군 2의 색상 라이브러리가 70%가 아닌 경우, 비교군 1의 이미지 추출 표정과 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 텍스트대사의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다(S220).
예를 들어, 강화 학습 번역부(130)는 평균 픽셀값, 또는 가장 많이 등장하는 색상값이 검정색일 경우, 강화 학습 인공지능이 가진 딥러닝된 인공지능 모델이 70% 이상이면, 검은색에 상관 관계를 가진 텍스트대사를 보유하고 있을 경우, 자신의 번역본으로 번역을 진행한다. 웹툰에 사용되는 글자의 경우, 색상과 주제를 함께 하는 경우가 많기 때문이다.
강화 학습 번역부(130)는 비교군 1의 이미지 추출 표정과 비교군 2의 텍스트대사의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집한다(S218).
강화 학습 번역부(130)는 비교군 1의 이미지 추출 표정과 비교군 2의 텍스트대사의 상관 관계가 70%가 아닌 경우, 비교군 1의 텍스트대사와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 이미지 추출 표정(감정)의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다(S221).
예를 들어, 강화 학습 번역부(130)는 기쁜 표정과 수치가 높을 때, 상관 관계가 높은 텍스트대사를 인지할 수 있다면, 강화 학습 인공지능이 해당 표정을 잘 반영할 수 있는 번역을 정확히 수행할 확률이 높기 때문이다.
강화 학습 번역부(130)는 비교군 1의 텍스트대사와 비교군 2의 이미지 추출 표정의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집한다(S218).
강화 학습 번역부(130)는 비교군 1의 텍스트대사와 비교군 2의 이미지 추출 표정의 상관 관계가 70%가 아닌 경우, 비교군 1의 색상 라이브러리와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 이미지 추출 표정(감정)의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다(S222).
예를 들어, 강화 학습 번역부(130)는 유사 색상값과 이미지 추출 표정(감정)의 상관 관계가 높으면, 해당 색상과 연계되어 저장된 텍스트대사로 번역하는 것이 번역 정확도를 개선할 수 있다.
강화 학습 번역부(130)는 비교군 1의 색상 라이브러리와 비교군 2의 이미지 추출 표정의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능이 추천하는 번역 말뭉치에 기반한 번역으로 편집한다(S218).
강화 학습 번역부(130)는 비교군 1의 색상 라이브러리와 비교군 2의 이미지 추출 표정의 상관 관계가 70%가 아닌 경우, 강화 학습 인공지능으로 번역 편집하지 않고, 생략한 다음, S208 단계로 넘어간다(S223).
다른 실시예로서, 강화 학습 번역부(130)는 비교군 1의 이미지 효과음(텍스트 인식 후 결과)과 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 텍스트대사의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다.
강화 학습 번역부(130)는 비교군 1의 이미지 효과음과 비교군 2의 텍스트대사의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 효과음과 연관된 텍스트대사에 기반한 번역으로 편집한다.
예를 들어, 강화 학습 번역부(130)는 꽝꽝꽝 등 소리를 유추할 수 있는 이미지 효과음이 강화 학습 인공지능이 보유하고 있는 텍스트대사와 상관 관계가 70% 이상일 경우, 그 상황을 더 잘 반영하는 번역을 수행할 확률이 높다.
또 다른 실시예로서, 강화 학습 번역부(130)는 비교군 1의 이미지 효과음(텍스트 인식 후 결과)과 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 이미지 추출 표정(감정)을 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단한다.
강화 학습 번역부(130)는 비교군 1의 이미지 효과음과 비교군 2의 이미지 추출 표정(감정)의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 효과음과 이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집한다.
예를 들어, 강화 학습 번역부(130)는 유사 효과음과 이미지 추출 표정(감정)의 상관 관계가 높으므로 해당 효과음과 연계되어 저장된 텍스트대사로 번역하는 것이 번역 정확도를 개선할 수 있다.
효과음은 대사 말풍선 안에 있지 않고, 보통 인물 위나 배경 위에 그려진다.
강화 학습 번역부(130)는 텍스트대사와 이미지 효과음 즉, 한글 대사, 영문 대사, 효과음의 데이터 구조를 통해 추후 번역 시 더 정확하게 문맥, 분위기, 전달력을 강화하는 데이터 구조를 갖는다.
본 발명은 초벌 번역, 딥러닝 기능을 이용한 강화 학습, 편집 번역을 통해 상업적 해외 유통 및 수출이 가능한 문학, 웹툰, 영상 자막에 들어간 감정, 뉘앙스, 분위기, 은어, 말투, 작가의 의도, 문맥 등을 반영하여 독자로 하여금 의미 전달 수준이 아니라 실제 독서, 소비 가능한 고급 완성 수준을 번역 레벨을 개선할 수 있다.
사중 팔레트 저장 데이터베이스(129a)는 저장된 번역 말뭉치를 강화 학습 번역부(130)로 전송한다.
사중 팔레트 저장 데이터베이스(129a)는 사중 말뭉치 학습을 위한 deepFeed(uniqueID(고유번호), origin(원문 문장), initialTXT(초벌 번역 문장), finalTXT(최종 번역 문장), fromLang(원문 언어), toLang(번역 언어), feed(인공지능에 학습 여부(0,1))), 사중 팔레트 데이터를 생성하여 강화 학습 번역부(130)로 전송한다.
강화 학습 번역 알고리즘은 자체적으로 피드 요청받아 추출한 데이터를 학습한다.
사중 팔레트 저장 데이터베이스(129a)는 강화 학습 번역 알고리즘(인공지능)을 딥러닝 학습하기 위해서 단순히 신규 데이터를 전달한다.
강화 학습 번역 알고리즘은 가동/중지에 따라 자동으로 초벌 번역 임시 데이터베이스(125)에서 편집되지 않은 데이터(macprocessed = 0)를 언어 편집한다.
가동/중지 제어 명령어는 macCheck(1 또는 0), 특정 데이터 편집 요청은 텍스트의 경우, macCheck(uniqueID[BookName, EpisodeNum], txtFile[1, LineNum]), 웹툰, 영상 자막의 경우, macCheck(uniqueID[BookName, EpisodeNum], script[1, LineNum])을 함수를 이용한다.
강화 학습 번역부(130)는 사중 팔레트 번역편집 스테이션(124)에서 편집 작업을 수행하기 전(즉, 초벌 번역 임시 데이터베이스(125)에 업로드 하기 전)에, 강화 학습 번역 알고리즘을 이용하여 무인 자동 편집을 수행한다.
사중 팔레트 번역편집 스테이션(124)은 편집 작업 내역인 편집 퍼포먼스 정보를 생성하여 편집 퍼포먼스 데이터베이스(124a)로 전송한다.
편집 퍼포먼스 데이터베이스(124a)에 저장된 퍼포먼스 정보는 관리자 페이지 인터페이스(129)를 통하여 편집번역의 효율적 관리에 활용되도록 한다.
또한, 사중 팔레트 번역편집 스테이션(124)는 임의로 편집 퍼포먼스 데이터베이스(124a)에 근거하고, t-test, ANOVA 등 상관관계 통계 함수에 기반하여 번역 말뭉치 데이터를 편집 작업에 분배할지 또는 편집 검수 작업에 분배할지의 적합도를 결정할 수 있다.
사중 팔레트 번역편집 스테이션(124)는 편집 작업된 퍼포먼스를 한 세션, 한 객체 단위를 종료했을 때 편집 퍼포먼스 데이터베이스(124a)에 저장한다.
한 세션은 10분 주기 자동 저장, 편집 스테이션 접속 종료 시 하나의 사이클이 끝났을 때이다. 편집 퍼포먼스 저장 세션 기준은 관리자 페이지 인터페이스(129)에서 설정 가능하다.
편집 퍼포먼스 정보는 한 객체 단위(1권, 웹툰 1편, 영상 1편)를 종료했을 때 자동으로 저장된다.
사중 팔레트 번역편집 스테이션(124)는 편집 퍼포먼스 정보를 저장하기 위하여 savePerf를 생성하여 편집 퍼포먼스 데이터베이스(124a)로 전송한다.
여기서, savePerf는 sessionID(세션 고유번호), workerID(작업자 ID), BookName(작품명), EpisodeName(에피소드 수), lineNum(첫줄부터 끝줄 번호), timestamp(작업시간), txtSize(총 작업 텍스트 글자수), finalTxtCost(검수가 필요했던 문장 수), errorDetected(오류 발견 건수)의 파라미터를 포함한다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 이미지 번역편집 시스템
110: 출판사 터미널
111: 해외 유통망 연계 API
120: 이미지 번역 편집 서비스 서버
121: 원본 이미지 저장 데이터베이스
122: 초벌 번역 장치
123: 편집 번역 저장 데이터베이스
124: 사중 팔레트 번역편집 스테이션
124a: 편집 퍼포먼스 데이터베이스
125: 초벌 번역 임시 데이터베이스
126: 제어부
127: 편집 검수 단말기
128: 최종 작업물 저장 데이터베이스
129: 관리자 페이지 인터페이스
129a: 사중 팔레트 저장 데이터베이스
130: 강화 학습 번역부

Claims (9)

  1. 웹툰을 포함한 콘텐츠 원본 파일을 출판사 터미널을 통해 수신하여 저장하는 원본 이미지 저장 데이터베이스;
    상기 원본 이미지 저장 데이터베이스에서 추출된 원본 웹툰에서 언어 글자를 지우고, 상기 지운 원본 언어의 위치 좌표에 번역된 글자를 OCR 합성기로 합성하여 초벌 번역 데이터를 생성하는 초벌 번역 장치;
    상기 콘텐츠 원본 파일(웹툰)로부터 사중 팔레트 추출 프로그램을 이용하여 텍스트대사, 이미지 추출 표정(감정), 이미지 색상 정보, 소리를 유추하는 이미지 효과음로 이루어진 사중 팔레트 데이터를 추출하여 저장하는 사중 팔레트 저장 데이터베이스;
    상기 웹툰의 사중 팔레트 데이터와, 상기 초벌 번역 데이터와 비교하여 시각적, 픽셀적, 문맥적 정보를 기반으로 번역 편집을 수행하는 사중 팔레트 번역편집 스테이션; 및
    상기 사중 팔레트 번역편집 스테이션과 연동하여 상기 초벌 번역 데이터와 상기 사중 팔레트 데이터를 이용하여 상기 웹툰의 이미지 특화 번역을 위해 상기 사중 팔레트 데이터에서 최소 2가지 데이터의 상관 관계를 분석하여 상기 웹툰의 이미지에 포함된 번역 문맥, 뉘앙스, 감정선, 분위기, 개성을 반영하여 강화 학습 인공지능이 추천하는 상기 상관 관계와 연관된 번역으로 편집하는 강화 학습 번역부를 포함하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  2. 청구항 1에 있어서,
    상기 강화 학습 번역부는 상기 사중 팔레트 저장 데이터베이스로부터 웹툰의 사중 팔레트 데이터를 수신하고, 번역하고자 하는 웹툰의 사중 팔레트 데이터를 대조군으로 비교군 1로 설정하고, 상기 비교군 1의 이미지 색상 정보와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 텍스트대사의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  3. 청구항 2에 있어서,
    상기 강화 학습 번역부는 상기 비교군 1의 이미지 색상 정보와 상기 비교군 2의 텍스트대사의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 상기 이미지 색상 정보에 연관된 텍스트대사에 기반한 번역으로 편집하고,
    상기 비교군 1의 이미지 색상 정보와 상기 비교군 2의 텍스트대사의 상관 관계가 70% 이상이 아닌 경우, 비교군 1의 텍스트대사와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 색상 라이브러리의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  4. 청구항 3에 있어서,
    상기 강화 학습 번역부는 상기 비교군 1의 텍스트대사와 상기 비교군 2의 색상 라이브러리의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 색상 정보에 연관된 텍스트대사에 기반한 번역으로 편집하고,
    상기 비교군 1의 텍스트대사와 상기 비교군 2의 색상 라이브러리가 70%가 아닌 경우, 상기 비교군 1의 이미지 추출 표정과 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 텍스트대사의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  5. 청구항 4에 있어서,
    상기 강화 학습 번역부는 상기 비교군 1의 이미지 추출 표정과 상기 비교군 2의 텍스트대사의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집하고,
    상기 비교군 1의 이미지 추출 표정과 상기 비교군 2의 텍스트대사의 상관 관계가 70%가 아닌 경우, 상기 비교군 1의 텍스트대사와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 이미지 추출 표정(감정)의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  6. 청구항 5에 있어서,
    상기 강화 학습 번역부는 상기 비교군 1의 텍스트대사와 상기 비교군 2의 이미지 추출 표정의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집하고,
    상기 비교군 1의 텍스트대사와 상기 비교군 2의 이미지 추출 표정의 상관 관계가 70%가 아닌 경우, 상기 비교군 1의 색상 라이브러리와 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 이미지 추출 표정(감정)의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  7. 청구항 6에 있어서,
    상기 강화 학습 번역부는 상기 비교군 1의 이미지 색상 정보와 상기 비교군 2의 이미지 추출 표정의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 상기 이미지 색상 정보와 상기 이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집하고,
    상기 비교군 1의 이미지 색상 정보와 상기 비교군 2의 이미지 추출 표정의 상관 관계가 70%가 아닌 경우, 강화 학습 인공지능으로 번역 편집하지 않는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  8. 청구항 2에 있어서,
    상기 강화 학습 번역부는 비교군 1의 이미지 효과음과 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 텍스트대사의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하고, 상기 비교군 1의 이미지 효과음과 상기 비교군 2의 텍스트대사의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 상기 이미지 효과음과 연관된 텍스트대사에 기반한 번역으로 편집하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
  9. 청구항 2에 있어서,
    상기 강화 학습 번역부는 비교군 1의 이미지 효과음과 강화 학습 인공지능이 보유한 데이터 모델(비교군 2)의 이미지 추출 표정의 상관 관계를 통계적 Correlation 추출 기법에 의해서 상관 관계가 70% 이상인지 판단하고, 상기 비교군 1의 이미지 효과음과 상기 비교군 2의 이미지 추출 표정의 상관 관계가 70% 이상일 경우, 강화 학습 인공지능에서 추천하는 상기 이미지 효과음과 이미지 추출 표정과 연관된 텍스트대사에 기반한 번역으로 편집하는 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템.
KR1020210167715A 2021-11-29 2021-11-29 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템 KR102406098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210167715A KR102406098B1 (ko) 2021-11-29 2021-11-29 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167715A KR102406098B1 (ko) 2021-11-29 2021-11-29 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템

Publications (1)

Publication Number Publication Date
KR102406098B1 true KR102406098B1 (ko) 2022-06-08

Family

ID=81980722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167715A KR102406098B1 (ko) 2021-11-29 2021-11-29 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템

Country Status (1)

Country Link
KR (1) KR102406098B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051686A (zh) * 2023-01-13 2023-05-02 中国科学技术大学 图上文字擦除方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101099196B1 (ko) 2003-06-20 2011-12-27 마이크로소프트 코포레이션 적응형 기계 번역
KR101986977B1 (ko) * 2017-06-05 2019-09-30 주식회사 토리웍스 모바일 웹툰 오픈 자동번역 서비스 제공 방법
KR102113756B1 (ko) * 2018-12-20 2020-05-21 주식회사 디알엠인사이드 이미지 출처 확인을 통한 무단 사용 방지 시스템
US10715842B2 (en) * 2015-02-03 2020-07-14 Naver Webtoon Corporation Method and system for distributing internet cartoon content, and recording medium
KR102306344B1 (ko) * 2021-03-17 2021-09-28 남지원 삼중말뭉치를 이용한 딥러닝 트랜스포머 번역 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101099196B1 (ko) 2003-06-20 2011-12-27 마이크로소프트 코포레이션 적응형 기계 번역
US10715842B2 (en) * 2015-02-03 2020-07-14 Naver Webtoon Corporation Method and system for distributing internet cartoon content, and recording medium
KR101986977B1 (ko) * 2017-06-05 2019-09-30 주식회사 토리웍스 모바일 웹툰 오픈 자동번역 서비스 제공 방법
KR102113756B1 (ko) * 2018-12-20 2020-05-21 주식회사 디알엠인사이드 이미지 출처 확인을 통한 무단 사용 방지 시스템
KR102306344B1 (ko) * 2021-03-17 2021-09-28 남지원 삼중말뭉치를 이용한 딥러닝 트랜스포머 번역 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051686A (zh) * 2023-01-13 2023-05-02 中国科学技术大学 图上文字擦除方法、系统、设备及存储介质
CN116051686B (zh) * 2023-01-13 2023-08-01 中国科学技术大学 图上文字擦除方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102306344B1 (ko) 삼중말뭉치를 이용한 딥러닝 트랜스포머 번역 시스템
US11093697B2 (en) Method and system for suggesting revisions to an electronic document
Gambier Challenges in research on audiovisual translation
JP5111423B2 (ja) 文書審査支援装置、文書審査支援方法およびプログラム
CN109902288A (zh) 智能条款分析方法、装置、计算机设备及存储介质
CN110517082A (zh) 广告推送方法、装置、设备及计算机可读存储介质
CN102332133A (zh) 一种应用电子标签的虚拟物品交易方法及系统
CN110929007A (zh) 一种电力营销知识体系平台及应用方法
CN108363693A (zh) 文本处理方法和装置
KR102406098B1 (ko) 사중 팔레트 데이터 구조를 이용한 이미지 번역편집 시스템
CN102227723B (zh) 辅助误译的检测的装置及方法
Borbinha Authority control in the world of metadata
CN116070599A (zh) 智能化题库生成及辅助管理系统
CN115834935A (zh) 多媒体信息审核方法、广告审核方法、设备及存储介质
CN112632950A (zh) Ppt生成方法、装置、设备及计算机可读存储介质
Bailer et al. Challenges for Automatic Detection of Fake News Related to Migration
KR20240056020A (ko) 삼중말뭉치를 이용한 언어 번역을 위한 데이터 정제 시스템
KR20240061660A (ko) 삼중말뭉치를 활용한 언어 번역 데이터 정제 방법
EP1361524A1 (en) Method and system for processing classified advertisements
KR20220026067A (ko) 증강현실을 이용한 유아학습 방법
CN113660322B (zh) 一种线下合同上云的方法及系统
Sandiumenge Copyright Implications of the Use of Generative AI
Sandiumenge Torres Copyright implications of the use of generative AI
KR20240021428A (ko) 자동 웹툰 번역 시스템
CN110533407B (zh) 基于合图的版权支付方法、设备及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant