KR20230055776A - 콘텐츠 번역 시스템 - Google Patents

콘텐츠 번역 시스템 Download PDF

Info

Publication number
KR20230055776A
KR20230055776A KR1020210139555A KR20210139555A KR20230055776A KR 20230055776 A KR20230055776 A KR 20230055776A KR 1020210139555 A KR1020210139555 A KR 1020210139555A KR 20210139555 A KR20210139555 A KR 20210139555A KR 20230055776 A KR20230055776 A KR 20230055776A
Authority
KR
South Korea
Prior art keywords
text
data
content
translation system
webtoon
Prior art date
Application number
KR1020210139555A
Other languages
English (en)
Inventor
안민준
곽병곤
최준영
Original Assignee
안민준
곽병곤
최준영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안민준, 곽병곤, 최준영 filed Critical 안민준
Priority to KR1020210139555A priority Critical patent/KR20230055776A/ko
Publication of KR20230055776A publication Critical patent/KR20230055776A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 콘텐츠 번역 시스템에 관한 것으로, 보다 상세하게는 인터넷에 업로드된 콘텐츠에서 배경 텍스트를 번역하고, 번역된 글자를 콘텐츠에 삽입해서 플랫폼에 게시하는 콘텐츠 번역 시스템에 관한 것이다.

Description

콘텐츠 번역 시스템{CONTENT TRANSLATION SYSTEM}
본 발명은 콘텐츠 번역 시스템에 관한 것으로, 보다 상세하게는 인터넷에 업로드된 콘텐츠에서 배경 텍스트를 번역하고, 번역된 글자를 콘텐츠에 삽입해서 플랫폼에 게시하는 콘텐츠 번역 시스템에 관한 것이다.
본 발명 콘텐츠 번역 시스템에 관련된 종래 기술을 예로 들면, 특허문헌 1 웹툰의 다국어 지원 시스템 및 방법은 웹툰 이용자의 사용 언어 정보를 자동으로 획득하여 해당 언어로 번역되고 해당 언어에 최적화된 제책 방으로 변경된 웹툰을 자동으로 서비스한다.
또한, 특허문헌 2 모바일 웹툰 오픈 자동번역 서비스 제공 방법은 인공지능 번역기술을 활용하여 미리 초벌 번역한 자동번역 데이터를 해당 클라이언트에게 제공함으로써 다수의 불특정 번역가들이 완성도 높은 번역데이터의 생성에 주력할 수 있다.
그러나 종래 콘텐츠 번역 시스템은 본 발명과 같이, 콘텐츠에 포함된 텍스트를 원활하게 추출하지 못하고, 번역 품질이 높지 못해 외국에서 자국의 콘텐츠를 본래의 작품 의도대로 감상하지 못하는 문제점이 있다.
공개특허공보 제10-2016-0069281호 웹툰의 다국어 지원 시스템 및 방법 등록특허공보 제10-1986977호 모바일 웹툰 오픈 자동번역 서비스 제공 방법
본 발명은 콘텐츠에 포함된 텍스트를 추출하고, 다른 언어로 번역해서 배포하는 콘텐츠 번역 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 텍스트 추출 성능을 높이고, 번역 품질을 높여 외국에 콘텐츠를 그 나라의 언어로 완성도 있게 배포하는 콘텐츠 번역 시스템을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 바람직한 콘텐츠 번역 시스템은, 원본 웹툰 이미지에서 문자가 있는 부분을 추출하고, 추출된 부분에서 텍스트 형태로 추출하는 OCR(Optical Character Recognition) 인공지능(S12); 상기 OCR 인공지능(S12)에 의해 추출된 텍스트가 번역된 텍스트에 대해 사용자와 작가의 피드백을 통해 데이터셋을 수집하는 웹툰 번역 부분(S13); 플랫폼에 번역된 웹툰을 배포하여 독자에게 서비스하고, 독자의 피드백을 통해 번역 오류를 수정하는 웹툰 배포 부분(S14); 상기 웹툰 번역 부분(S13)과 상기 웹툰 배포 부분(S14)에서 수집된 학습 데이터(S15); 및 상기 수집된 학습 데이터(S15)로 상기 OCR 인공지능(S12)을 재학습시키는 재학습 부분(S16);을 포함하는 것을 특징으로 한다.
또한, 상기 OCR 인공지능(S12)은, 원본 웹툰 이미지에서 마스킹 데이터를 생성하는 세그멘테이션 모델; 상기 원본 웹툰 이미지에서 상기 마스킹 데이터를 삭제하고 주위 데이터를 복원하고, 텍스트 교차 이미지를 생성하는 인페인트 모델; 상기 텍스트 교차 이미지에 상기 원본 웹툰 이미지 픽셀 중 텍스트가 있는 부분의 바운딩 박스를 회귀 분석하여 3차원 텐서 형태로 나타내는 디텍션 모델; 및 상기 바운딩 박스에서 해당하는 텍스트를 추출하여 텍스트 형태로 반환하는 레커그니션 모델;을 포함하는 것을 특징으로 한다.
또한, 상기 웹툰 번역 부분(S13)에서 데이터 수정은, 세그멘테이션 모델/픽셀 비교 후 마스킹 추출(S23)에서 상기 마스킹 데이터에 대해 데이터 수정이 가능하고, 상기 디텍션 모델(S26)에서 상기 바운딩 박스에 대해 데이터 수정이 가능하고, 상기 레커그니션 모델(S27)에서 추출된 텍스트에 대해 데이터 수정이 가능하고, 번역 모델(S28)에서 번역된 텍스트에 대해 데이터 수정이 가능한 것을 특징으로 한다.
또한, 상기 웹툰 배포 부분(S14)에서 콘텐츠 배포는, 사용자가 플랫폼에 업로드된 콘텐츠 중 하나인 웹툰을 이용하도록 서비스하는 웹툰 이용(S41); 사용자가 플랫폼에서 콘텐츠를 이용 중 콘텐츠에 포함된 텍스트의 번역 오류를 발견하면 콘텐츠 번역 시스템에 번역 오류 발견을 알리고, 콘텐츠 번역 시스템은 번역 오류 발견을 감지하는 번역 오류 발견(S42); 콘텐츠 번역 시스템의 수정 모드에서 번역된 텍스트, 추출된 텍스트, 바운딩 박스, 마스킹 데이터에 대해 수정 제안을 입력하도록 인터페이스를 제공하는 사용자 수정 제안(S44); 및 상기 사용자 수정 제안(S44)에서 입력된 수정 제안에 대해 수정 검토 후 콘텐츠에 반영하는 수정 검토 후 반영(S45);을 포함하는 것을 특징으로 한다.
또한, 상기 웹툰 배포 부분(S14)에서 수정 제안은, 콘텐츠 번역 시스템에서 수정 제안이 시작되는 수정 시작(S51); 수정 제안된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트를 확인하는 정보 확인(S52); 상기 정보 확인(S52)된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트에 대해 오류를 수정하는 오류 수정(S53); 상기 오류 수정(S53)된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트를 저장하는 데이터 저장(S54); 상기 데이터 저장(S54)된 번역 수정안에 대해 제안안을 평가하는 제안안 평가(S55); 상기 제안안 평가(S55)에서 전문가 수정을 처리하는 전문가 수정(S561); 상기 제안안 평가(S55)에서 사용자 평가를 처리하는 사용자 평가(S562); 상기 전문가 수정(S561)과 상기 사용자 평가(S562)를 거친 수정안에 대해 적합성을 확인하는 적합성 확인(S57); 상기 적합성 확인(S57)에서 참인 결과에 대해 수정안을 반영하고, 사용자 인센티브(S59)를 부여하는 수정 반영(S581); 및 상기 적합성 확인(S57)에서 거짓인 결과에 대해 수정안을 폐기하는 데이터 폐기(S582);를 포함하는 것을 특징으로 한다.
또한, 상기 재학습 부분(S16)은, 상기 수집된 학습 데이터(S15)에 대해 에러 계산(S61); 상기 에러 계산(S61)에 대한 손실 계산(S62); 상기 손실 계산(S62)에 대한 손실 가중합 계산(S63); 상기 손실 가중합 계산(S63)이 최소화하도록 인공지능 모델을 학습시키는 그라디언트 디센트(S64); 및 상기 그라디언트 디센트(S64) 계산된 인공지능 모델을 배포하는 모델 배포(S65);를 포함하는 것을 특징으로 한다.
또한, 콘텐츠 번역 시스템은, 콘텐츠 번역 시스템(10)의 디스플레이에 표시된 킷값을 입력하고, 사용자 정보와 함께 인증 서버(40)로 전송하고, 킷값과 사용자 정보를 이용하여 컴퓨터(10)에 탑재된 콘텐츠 번역 시스템의 인증을 인증 서버(40)에 요청하는 스마트폰(20); 및 상기 콘텐츠 번역 시스템(10)으로부터 킷값을 수신하고, 상기 스마트폰(20)으로부터 킷값과 사용자 정보를 수신하여 상기 스마트폰(20)의 킷값과 사용자 정보를 비교하고, 사용자 정보를 대응시켜 상기 스마트폰(20)의 콘텐츠 번역 시스템 이용에 대한 인증을 처리하고, 인증 결과를 상기 스마트폰(20)으로 전송하여 콘텐츠 번역 시스템에 대한 사용자의 사용을 허가하는 인증 서버(40);를 더 포함하는 것을 특징으로 한다.
본 발명은 콘텐츠에 포함된 텍스트를 추출하고, 다른 언어로 번역해서 배포함으로써 자국에서 유통되는 콘텐츠를 외국에서도 본래의 작품 의도대로 감상하는 효과를 가질 수 있다.
또한, 본 발명은 텍스트 추출 성능을 높이고, 번역 품질을 높임으로써 외국에 콘텐츠를 그 나라의 언어로 완성도 있게 배포하는 효과를 가질 수 있다.
도 1은 본 발명 콘텐츠 번역 시스템의 개요도이다.
도 2는 도 1의 콘텐츠 번역 시스템의 상세 구성을 보인 예시도이다.
도 3은 도 2의 콘텐츠 번역 시스템의 데이터 수정 구성을 보인 예시도이다.
도 4는 도 1의 콘텐츠 번역 시스템의 콘텐츠 배포 구성을 보인 예시도이다.
도 5는 도 1의 콘텐츠 번역 시스템의 수정 제안 구성을 보인 예시도이다.
도 6은 도 1의 콘텐츠 번역 시스템의 재학습 구성을 보인 예시도이다.
도 7은 도 1의 콘텐츠 번역 시스템의 인증 시스템 구성을 보인 예시도이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 따른 콘텐츠 번역 시스템에 대하여 상세히 설명하기로 한다. 이하에서 종래 주지된 사항에 대한 설명은 본 발명의 요지를 명확히 하기 위해 생략하거나 간단히 한다. 본 발명의 설명에 포함된 구성은 개별 또는 복합 결합 구성되어 동작한다.
도 1은 본 발명 콘텐츠 번역 시스템의 개요도로서, 도 1을 참조하면, 콘텐츠 번역 시스템은 원본 웹툰 이미지(S11), OCR 인공지능(S12), 웹툰 번역 부분(S13), 웹툰 배포 부분(S14), 수집된 학습 데이터(S15), 재학습 부분(S16)을 포함한다.
콘텐츠 번역 시스템에서 번역하는 콘텐츠는 예를 들어, 웹툰, 스캔된 만화 이미지, 동영상 스틸컷일 수 있다.
원본 웹툰 이미지(S11)는 작가가 그려서 업로드한 한국어 웹툰 이미지(Io)로, 콘텐츠 번역 시스템에서 처리하는 입력 데이터이다.
OCR(Optical Character Recognition) 인공지능(S12)은 이미지에서 문자가 있는 부분을 추출하고, 추출된 부분에서 컴퓨터가 사용할 수 있는 텍스트 형태로 추출할 때 딥러닝 기반의 비전 알고리즘을 사용한다. 딥러닝 기반의 비전 알고리즘은 삭제할 픽셀을 분류해 마스킹 데이터를 반환하는 세그멘테이션(Segmentation); 원본 이미지에서 마스킹 부분을 삭제하고 주위 데이터를 복원하는 인페인트(Inpaint); 이미지에서 텍스트가 있는 부분을 확인하여 바운딩 박스 형태로 반환하는 디텍션(Detection); 바운딩 박스 내부에 적혀 있는 텍스트를 추출하여 반환하는 레커그니션(Recognition);을 포함한다.
웹툰 번역 부분(S13)은 작가가 플랫폼에 업로드한 웹툰 이미지를 수집하고, OCR 인공지능에 의해 추출된 텍스트가 번역된 텍스트에 대해 사용자와 작가의 피드백을 통해 데이터셋을 수집한다.
웹툰 배포 부분(S14)은 플랫폼에 번역된 웹툰을 배포하여 독자에게 서비스하고, 독자의 피드백을 통해 번역 오류를 수정한다.
수집된 학습 데이터(S15)는 웹툰 번역 부분(S13)과 웹툰 배포 부분(S14)에서 수집된 데이터로, 기존 학습에 사용되는 데이터(Do), 새로 수집된 데이터 중 사용자가 수정하지 않은 부분 데이터(Dc), 새로 수집된 데이터 중 사용자가 수정한 부분 데이터(Dw)를 포함한다.
재학습 부분(S16)은 웹툰 번역 부분(S13)과 웹툰 배포 부분(S14)에서 수집된 데이터로 OCR 인공지능(S12)을 다시 학습시킨다. 새로 수집된 데이터는 OCR 인공지능(S12)이 인식하지 못한 부분인지의 여부를 함께 포함하고 있다. OCR 인공지능(S12)이 틀리게 예측한 데이터는 빠르게 예측할 수 있게 되어야 하므로 이 데이터에 대해 가중치를 주어 빠르게 학습할 수 있도록 한다.
도 2는 도 1의 콘텐츠 번역 시스템의 상세 구성을 보인 예시도로서, 도 2를 참조하면, 콘텐츠 번역 시스템은 컷 분할 작업(S21), 텍스트 제거 이미지 업로드(S22), 세그멘테이션 모델/픽셀 비교 후 마스킹 추출(S23), 인페인트 모델/텍스트 제거 이미지 있음(S24), 텍스트 교차 이미지 생성(S25), 디텍션 모델(S26), 레커그니션 모델(S27), 번역 모델(S28), 텍스트 삽입 후 다운로드(S29)를 포함한다.
컷 분할 작업(S21)은 원본 웹툰 이미지(S11)의 컷을 분할한다.
텍스트 제거 이미지 업로드(S22)는 작가가 원본 웹툰 이미지(S11)에 대한 텍스트 제거 이미지를 업로드하거나 업로드하지 않을 수 있다.
세그멘테이션 모델/픽셀 비교 후 마스킹 추출(S23)은 텍스트 제거 이미지가 업로드되지 않으면 세그멘테이션 모델에 의해 마스킹 데이터가 생성되고, 텍스트 제거 이미지가 업로드되면 픽셀 비교 후 마스킹 데이터를 추출한다.
연산자
Figure pat00001
의 정의로, 수학식 1은 다음과 같다.
Figure pat00002
텍스트 제거 이미지(Ic)가 업로드되면 원본 웹툰 이미지(Io)의 픽셀 비교 후 마스킹 데이터(Im)를 추출하며, 수학식 2를 이용한다.
Figure pat00003
텍스트 제거 이미지가 업로드되지 않으면 세그멘테이션 모델에 의해 마스킹 데이터가 생성되며, 수학식 3을 이용한다.
Figure pat00004
인페인트 모델/텍스트 제거 이미지 있음(S24)는 원본 웹툰 이미지에서 마스킹 데이터 부분을 삭제하고 주위 데이터를 복원한다. 작가 텍스트 제거 이미지를 업로드한 경우 그 이미지를 그대로 삽입하지만, 텍스트 제거 이미지를 업로드 하지 않은 경우 원본 웹툰 이미지에서 마스킹 데이터 부분을 삭제하고, 딥러닝 기반의 인페인트 모델(수학식 4)을 사용하여 해당 픽셀 부분을 글자 제거 이미지에 가깝게 복원한다.
Figure pat00005
텍스트 교차 이미지 생성(S25)은 원본 웹툰 이미지에서 마스킹 데이터 부분만을 추출하여 인식하기 쉬운 형태로 정리하여 텍스트 교차 이미지(Ip)를 생성한다.
디텍션 모델(S26)은 텍스트 교차 이미지(Ip)에 딥러닝 기반의 디텍션 모델(수학식 5)을 사용하여 원본 웹툰 이미지 픽셀 중 텍스트가 있는 부분의 바운딩 박스(Bboxi)를 회귀 분석하여 3차원 텐서 형태로 나타낸다.
Figure pat00006
레커그니션 모델(S27)은 바운딩 박스에서 해당하는 텍스트를 추출하여 텍스트 형태로 반환한다. 딥러닝 기반의 레커그니션 모델은 글자 단위로 분류하는 수학식 6을 만들어 해당 부분의 글자를 예측하고, 이를 텍스트로 변환한다. 레커그니션 모델은 한 개의 바운딩 박스에 대해서 (m × n) 크기의 확률 분포 행렬을 생성하며, 이때 m은 바운딩 박스 내부 단어의 글자 수이며, n은 레커그니션 모델이 인식할 수 있는 전체 글자의 종류를 말한다. 계산한 확률 분포 행렬에서 가장 확률이 높은 글자를 예측 결과값으로 사용한다.
Figure pat00007
번역 모델(S28)은 추출된 텍스트를 문법에 맞게 정리하여 특정 외국어로 번역한다. 번역 모델(S28)은 전문 번역가 또는 번역 API를 사용하여 외국어 번역된 텍스트(transi)를 계산한다.
텍스트 삽입 후 다운로드(S29)는 텍스트 제거 이미지에 번역된 텍스트를 삽입하고, 플랫폼에 업로드하고 사용자가 다운로드할 수 있도록 한다.
도 3은 도 2의 콘텐츠 번역 시스템의 데이터 수정 구성을 보인 예시도로서, 도 3을 참조하면, 콘텐츠 번역 시스템의 데이터 수정은 세그멘테이션 모델/픽셀 비교 후 마스킹 추출(S23)에서 마스킹 데이터에 대해 데이터 수정이 가능하고, 디텍션 모델(S26)에서 바운딩 박스에 대해 데이터 수정이 가능하고, 레커그니션 모델(S27)에서 추출된 텍스트에 대해 데이터 수정이 가능하고, 번역 모델(S28)에서 번역된 텍스트에 대해 데이터 수정이 가능하다.
도 4는 도 1의 콘텐츠 번역 시스템의 콘텐츠 배포 구성을 보인 예시도로서, 도 4를 참조하면 콘텐츠 번역 시스템의 콘텐츠 배포는 웹툰 이용(S41), 번역 오류 발견(S42), 수정 모드 진입(S43), 사용자 수정 제안(S44), 수정 검토 후 반영(S45)를 포함한다.
웹툰 이용(S41)은 사용자가 플랫폼에 업로드된 콘텐츠 중 하나인 웹툰을 이용하도록 서비스한다. 번역 오류 발견(S42)은 사용자가 플랫폼에서 콘텐츠를 이용 중 콘텐츠에 포함된 텍스트의 번역 오류를 발견하면 콘텐츠 번역 시스템에 번역 오류 발견을 알리고, 콘텐츠 번역 시스템은 번역 오류 발견을 감지한다. 수정 모드 진입(S43)은 콘텐츠 번역 시스템이 수정 모드로 진입해서 사용자가 수정 제안을 할 수 있도록 한다. 사용자 수정 제안(S44)은 콘텐츠 번역 시스템의 수정 모드에서 번역된 텍스트, 추출된 텍스트, 바운딩 박스, 마스킹 데이터에 대해 수정 제안을 입력하도록 인터페이스를 제공한다. 수정 검토 후 반영(S45)은 사용자 수정 제안(S44)에서 입력된 수정 제안에 대해 수정 검토 후 콘텐츠에 반영한다.
도 5는 도 1의 콘텐츠 번역 시스템의 수정 제안 구성을 보인 예시도로서, 도 5를 참조하면, 콘텐츠 번역 시스템의 수정 제안은 수정 시작(S51), 정보 확인(S52), 오류 수정(S53), 데이터 저장(S54), 제안안 평가(S55), 전문가 수정(S561), 사용자 평가(S562), 적합성 확인(S57), 수정 반영(S581), 데이터 폐기(S582), 사용자 인센티브(S59)를 포함한다.
수정 시작(S51)은 콘텐츠 번역 시스템에서 수정 제안이 시작된다. 정보 확인(S52)은 수정 제안된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트를 확인한다. 오류 수정(S53)은 정보 확인(S52)된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트에 대해 오류를 수정한다. 데이터 저장(S54)은 오류 수정(S53)된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트를 저장한다. 제안안 평가(S55)는 데이터 저장(S54)된 번역 수정안에 대해 제안안을 평가한다. 전문가 수정(S561)은 제안안 평가(S55)에서 전문가 수정을 처리한다. 사용자 평가(S562)는 제안안 평가(S55)에서 사용자 평가를 처리한다. 적합성 확인(S57)은 전문가 수정(S561)과 사용자 평가(S562)를 거친 수정안에 대해 적합성을 확인한다. 수정 반영(S581)은 적합성 확인(S57)에서 참인 결과에 대해 수정안을 반영하고, 사용자 인센티브(S59)를 부여한다. 데이터 폐기(S582)는 적합성 확인(S57)에서 거짓인 결과에 대해 수정안을 폐기한다.
도 6은 도 1의 콘텐츠 번역 시스템의 재학습 구성을 보인 예시도로서, 도 6을 참조하면, 콘텐츠 번역 시스템의 재학습은 에러 계산(S61), 손실 계산(S62), 손실 가중합 계산(S63), 그라디언트 디센트(S64), 모델 배포(S65)를 포함한다.
에러 계산(S61)은 인공지능 모델이 정확하게 예측했을 때의 정답을 Truth라 하고, 인공지능 모델이 예측한 값을 Pred라고 할 때, 에러는 수학식 7과 같다.
Figure pat00008
손실 계산(S62)은 에러 제곱의 합과 같다.
Figure pat00009
여기서, L은 손실이고, no는 기존 학습에 사용되는 데이터의 개수이고, nc는 새로 수집된 데이터 중 사용자가 수정하지 않은 부분 데이터의 개수이고, nw는 새로 수집된 데이터 중 사용자가 수정한 부분 데이터의 개수이다.
손실 가중합 계산(S63)은 최종 인공지능 모델이 사용하는 손실에서 모든 데이터에 대한 손실의 합으로 정의할 수 있다. ,
Figure pat00010
여기서, Ltotal은 손실 가중합이고, L은 손실이고, Do는 기존 학습에 사용되는 데이터이고, Dc는 새로 수집된 데이터 중 사용자가 수정하지 않은 부분 데이터이고, Dw는 새로 수집된 데이터 중 사용자가 수정한 부분 데이터이다.
그라디언트 디센트(S64)는 학습의 목표로 Ltotal을 최소화하는 것으로 설정하고, 각각의 인공지능 모델을 학습시킨다.
모델 배포(S65)는 학습된 인공지능 모델을 배포한다.
도 7은 도 1의 콘텐츠 번역 시스템의 인증 시스템으로서, 도 4를 참조하면, 콘텐츠 번역 시스템(10)의 인증 구성은 스마트폰(20), 컴퓨터(10), 인증 서버(40)를 포함한다.
스마트폰(20)은 스마트폰(20)의 키값, 생체 정보를 입력받아 인증 서버(40)에 사용자 인증을 요청하고, 컴퓨터(10)는 생성된 킷값을 디스플레이에 표시하고, 인증 서버(40)로 전송한다.
스마트폰(20)은 컴퓨터(10)의 디스플레이에 표시된 킷값을 입력하고, 사용자 정보와 함께 인증 서버(40)로 전송한다. 스마트폰(20)은 킷값과 사용자 정보를 이용하여 컴퓨터(10)에 탑재된 콘텐츠 번역 시스템의 인증을 인증 서버(40)에 요청한다. 컴퓨터(10)의 킷값은 컴퓨터 고유의 정보인 CPU 제조번호, 이더넷 칩의 맥주소로부터 생성될 수 있다. 스마트폰(20)은 카메라를 이용한 얼굴 인식, 마이크를 이용한 음성 인식, 디스플레이를 이용한 필기 인식을 통해 사용자 정보를 획득하고, 인증에 활용할 수 있다.
인증 서버(40)는 컴퓨터(10)로부터 킷값을 수신하고, 스마트폰(20)으로부터 킷값과 사용자 정보를 수신하여 스마트폰(20)의 킷값과 사용자 정보를 비교하고, 사용자 정보를 대응시켜 스마트폰(20)의 콘텐츠 번역 시스템 이용에 대한 인증을 처리한다. 인증 서버(40)는 인증 결과를 스마트폰(20)으로 전송하여 콘텐츠 번역 시스템에 대한 사용자의 사용을 허가한다.
콘텐츠 번역 시스템의 사용을 인증하는 수단인 스마트폰(20)은 콘텐츠 번역 시스템(10)과 직접 연결하지 않고, 인증 서버(40)를 통한 우회 경로를 형성함으로써 인터넷망을 이루는 네트워크가 내부망과 외부망으로 구성되어 아이피 주소 설정 과정이 번거로울 때 스마트폰(20)을 이용한 인증 과정이 원활히 수행되는 장점이 있다. 이때, 컴퓨터(10)에는 콘텐츠 번역 시스템이 탑재되고, 스마트폰(20)은 인증 수단이 된다.
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 해당 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 서버
20: 스마트폰
30: 컴퓨터
40: 인증 서버

Claims (7)

  1. 원본 웹툰 이미지에서 문자가 있는 부분을 추출하고, 추출된 부분에서 텍스트 형태로 추출하는 OCR(Optical Character Recognition) 인공지능(S12);
    상기 OCR 인공지능(S12)에 의해 추출된 텍스트가 번역된 텍스트에 대해 사용자와 작가의 피드백을 통해 데이터셋을 수집하는 웹툰 번역 부분(S13);
    플랫폼에 번역된 웹툰을 배포하여 독자에게 서비스하고, 독자의 피드백을 통해 번역 오류를 수정하는 웹툰 배포 부분(S14);
    상기 웹툰 번역 부분(S13)과 상기 웹툰 배포 부분(S14)에서 수집된 학습 데이터(S15); 및
    상기 수집된 학습 데이터(S15)로 상기 OCR 인공지능(S12)을 재학습시키는 재학습 부분(S16);을 포함하는 것을 특징으로 하는 콘텐츠 번역 시스템.
  2. 제1항에 있어서,
    상기 OCR 인공지능(S12)은,
    원본 웹툰 이미지에서 마스킹 데이터를 생성하는 세그멘테이션 모델;
    상기 원본 웹툰 이미지에서 상기 마스킹 데이터를 삭제하고 주위 데이터를 복원하고, 텍스트 교차 이미지를 생성하는 인페인트 모델;
    상기 텍스트 교차 이미지에 상기 원본 웹툰 이미지 픽셀 중 텍스트가 있는 부분의 바운딩 박스를 회귀 분석하여 3차원 텐서 형태로 나타내는 디텍션 모델; 및
    상기 바운딩 박스에서 해당하는 텍스트를 추출하여 텍스트 형태로 반환하는 레커그니션 모델;을 포함하는 것을 특징으로 하는 콘텐츠 번역 시스템.
  3. 제2항에 있어서,
    상기 웹툰 번역 부분(S13)에서 데이터 수정은,
    세그멘테이션 모델/픽셀 비교 후 마스킹 추출(S23)에서 상기 마스킹 데이터에 대해 데이터 수정이 가능하고,
    상기 디텍션 모델(S26)에서 상기 바운딩 박스에 대해 데이터 수정이 가능하고,
    상기 레커그니션 모델(S27)에서 추출된 텍스트에 대해 데이터 수정이 가능하고,
    번역 모델(S28)에서 번역된 텍스트에 대해 데이터 수정이 가능한 것을 특징으로 하는 콘텐츠 번역 시스템.
  4. 제2항에 있어서,
    상기 웹툰 배포 부분(S14)에서 콘텐츠 배포는,
    사용자가 플랫폼에 업로드된 콘텐츠 중 하나인 웹툰을 이용하도록 서비스하는 웹툰 이용(S41);
    사용자가 플랫폼에서 콘텐츠를 이용 중 콘텐츠에 포함된 텍스트의 번역 오류를 발견하면 콘텐츠 번역 시스템에 번역 오류 발견을 알리고, 콘텐츠 번역 시스템은 번역 오류 발견을 감지하는 번역 오류 발견(S42);
    콘텐츠 번역 시스템의 수정 모드에서 번역된 텍스트, 추출된 텍스트, 바운딩 박스, 마스킹 데이터에 대해 수정 제안을 입력하도록 인터페이스를 제공하는 사용자 수정 제안(S44); 및
    상기 사용자 수정 제안(S44)에서 입력된 수정 제안에 대해 수정 검토 후 콘텐츠에 반영하는 수정 검토 후 반영(S45);을 포함하는 것을 특징으로 하는 콘텐츠 번역 시스템.
  5. 제2항에 있어서,
    상기 웹툰 배포 부분(S14)에서 수정 제안은,
    콘텐츠 번역 시스템에서 수정 제안이 시작되는 수정 시작(S51);
    수정 제안된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트를 확인하는 정보 확인(S52);
    상기 정보 확인(S52)된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트에 대해 오류를 수정하는 오류 수정(S53);
    상기 오류 수정(S53)된 마스킹 데이터, 바운딩 박스, 추출된 텍스트, 번역된 텍스트를 저장하는 데이터 저장(S54);
    상기 데이터 저장(S54)된 번역 수정안에 대해 제안안을 평가하는 제안안 평가(S55);
    상기 제안안 평가(S55)에서 전문가 수정을 처리하는 전문가 수정(S561);
    상기 제안안 평가(S55)에서 사용자 평가를 처리하는 사용자 평가(S562);
    상기 전문가 수정(S561)과 상기 사용자 평가(S562)를 거친 수정안에 대해 적합성을 확인하는 적합성 확인(S57);
    상기 적합성 확인(S57)에서 참인 결과에 대해 수정안을 반영하고, 사용자 인센티브(S59)를 부여하는 수정 반영(S581); 및
    상기 적합성 확인(S57)에서 거짓인 결과에 대해 수정안을 폐기하는 데이터 폐기(S582);를 포함하는 것을 특징으로 하는 콘텐츠 번역 시스템.
  6. 제1항에 있어서,
    상기 재학습 부분(S16)은,
    상기 수집된 학습 데이터(S15)에 대해 에러 계산(S61);
    상기 에러 계산(S61)에 대한 손실 계산(S62);
    상기 손실 계산(S62)에 대한 손실 가중합 계산(S63);
    상기 손실 가중합 계산(S63)이 최소화하도록 인공지능 모델을 학습시키는 그라디언트 디센트(S64); 및
    상기 그라디언트 디센트(S64) 계산된 인공지능 모델을 배포하는 모델 배포(S65);를 포함하는 것을 특징으로 하는 콘텐츠 번역 시스템.
  7. 제1항에 있어서,
    콘텐츠 번역 시스템(10)의 디스플레이에 표시된 킷값을 입력하고, 사용자 정보와 함께 인증 서버(40)로 전송하고, 킷값과 사용자 정보를 이용하여 컴퓨터(10)에 탑재된 콘텐츠 번역 시스템의 인증을 인증 서버(40)에 요청하는 스마트폰(20); 및
    상기 콘텐츠 번역 시스템(10)으로부터 킷값을 수신하고, 상기 스마트폰(20)으로부터 킷값과 사용자 정보를 수신하여 상기 스마트폰(20)의 킷값과 사용자 정보를 비교하고, 사용자 정보를 대응시켜 상기 스마트폰(20)의 콘텐츠 번역 시스템 이용에 대한 인증을 처리하고, 인증 결과를 상기 스마트폰(20)으로 전송하여 콘텐츠 번역 시스템에 대한 사용자의 사용을 허가하는 인증 서버(40);를 더 포함하는 것을 특징으로 하는, 콘텐츠 번역 시스템.
KR1020210139555A 2021-10-19 2021-10-19 콘텐츠 번역 시스템 KR20230055776A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210139555A KR20230055776A (ko) 2021-10-19 2021-10-19 콘텐츠 번역 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210139555A KR20230055776A (ko) 2021-10-19 2021-10-19 콘텐츠 번역 시스템

Publications (1)

Publication Number Publication Date
KR20230055776A true KR20230055776A (ko) 2023-04-26

Family

ID=86099544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210139555A KR20230055776A (ko) 2021-10-19 2021-10-19 콘텐츠 번역 시스템

Country Status (1)

Country Link
KR (1) KR20230055776A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239216A1 (ko) 2022-06-10 2023-12-14 주식회사 엘지에너지솔루션 배터리 팩 및 이를 포함하는 자동차

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160069281A (ko) 2014-12-08 2016-06-16 주식회사 탑코믹스 웹툰의 다국어 지원 시스템 및 방법
KR101986977B1 (ko) 2017-06-05 2019-09-30 주식회사 토리웍스 모바일 웹툰 오픈 자동번역 서비스 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160069281A (ko) 2014-12-08 2016-06-16 주식회사 탑코믹스 웹툰의 다국어 지원 시스템 및 방법
KR101986977B1 (ko) 2017-06-05 2019-09-30 주식회사 토리웍스 모바일 웹툰 오픈 자동번역 서비스 제공 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239216A1 (ko) 2022-06-10 2023-12-14 주식회사 엘지에너지솔루션 배터리 팩 및 이를 포함하는 자동차

Similar Documents

Publication Publication Date Title
US7499588B2 (en) Low resolution OCR for camera acquired documents
US11055527B2 (en) System and method for information extraction with character level features
US20070061152A1 (en) Apparatus and method for translating speech and performing speech synthesis of translation result
KR20200059993A (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN109726271A (zh) 识别用户问题内容的方法、装置、设备和存储介质
KR20230055776A (ko) 콘텐츠 번역 시스템
Tymoshenko et al. Real-Time Ukrainian Text Recognition and Voicing.
US20210398135A1 (en) Data processing and transaction decisioning system
CN112738555B (zh) 视频处理方法及装置
WO2021159734A1 (zh) 一种数据处理方法、装置、设备及介质
KR102043693B1 (ko) 기계 학습 기반의 문서 관리 시스템
CN114528851B (zh) 回复语句确定方法、装置、电子设备和存储介质
CN115510457A (zh) 数据识别方法、装置、设备及计算机程序产品
CN114625872A (zh) 基于全局指针的风险审核方法、系统、设备及存储介质
CN113283218A (zh) 一种语义文本压缩方法及计算机设备
JP2023507881A (ja) ドメインベースのテキスト抽出方法およびシステム
KR20200087333A (ko) 웹 사이트에 대한 이미지 권리 확인 감사 시스템 및 방법
JP2001022883A (ja) 文字認識方式及び該文字認識方式の機能を実現させるための記録媒体
US11947872B1 (en) Natural language processing platform for automated event analysis, translation, and transcription verification
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
Alzuru et al. Quality-Aware Human-Machine Text Extraction for Biocollections using Ensembles of OCRs
CN117851835B (zh) 一种深度学习的物联网识别系统及方法
CN112580309B (zh) 文档数据处理方法、装置、计算机设备及存储介质
US20230377359A1 (en) Test-Time Adaptation for Visual Document Understanding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application