KR20170027563A - 영상처리장치 및 그 제어방법 - Google Patents

영상처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR20170027563A
KR20170027563A KR1020150124354A KR20150124354A KR20170027563A KR 20170027563 A KR20170027563 A KR 20170027563A KR 1020150124354 A KR1020150124354 A KR 1020150124354A KR 20150124354 A KR20150124354 A KR 20150124354A KR 20170027563 A KR20170027563 A KR 20170027563A
Authority
KR
South Korea
Prior art keywords
translation
text
content
information
image
Prior art date
Application number
KR1020150124354A
Other languages
English (en)
Other versions
KR102386298B1 (ko
Inventor
박은지
이인동
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150124354A priority Critical patent/KR102386298B1/ko
Publication of KR20170027563A publication Critical patent/KR20170027563A/ko
Application granted granted Critical
Publication of KR102386298B1 publication Critical patent/KR102386298B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • G06F17/28
    • G06F17/289
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4886Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 컨텐츠 영상의 상황에 대응하는 번역정보를 제공하는 영상처리장치 및 그 제어방법이 제공된다. 본 발명의 영상처리장치는, 언어정보를 포함하는 컨텐츠의 신호를 수신할 수 있는 신호수신부와; 상기 컨텐츠의 영상 표시를 위하여 상기 수신된 신호를 처리하는 신호처리부와; 상기 컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 상기 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 상기 컨텐츠의 영상 표시에 대응하여 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

영상처리장치 및 그 제어방법{IMAGE PROCESSING APPARUTUS AND CONTROL METHOD OF THE SAME}
본 발명은 번역자막을 컨텐츠의 영상에 맞추어서 제공할 수 있는 영상처리장치 및 그 제어방법에 관한 것으로서, 컨텐츠의 영상이 타언어를 포함하고 있어 타언어에 대하여 자국언어로 번역하여 번역자막을 컨텐츠 영상의 장면에 대응하여 제공될 수 있는 영상처리장치 및 그 제어방법이다.
영상처리장치는 외부로부터 수신되는 영상신호/영상데이터를 다양한 영상처리 프로세스에 따라서 처리한다. 영상처리장치는 처리된 영상데이터를 자체 구비한 디스플레이 패널 상에 영상으로 표시하거나, 또는 패널을 구비한 타 디스플레이장치에서 영상으로 표시되도록 이 처리된 영상신호를 해당 디스플레이장치에 출력할 수 있다. 즉, 영상처리장치는 영상데이터를 처리 가능한 장치라면 영상을 표시 가능한 패널을 포함하는 경우 및 패널을 포함하지 않는 경우 모두 포함할 수 있다. 전자의 경우를 특히 디스플레이장치라고 지칭하며 그 예시로는 TV가 있고, 후자의 경우의 예시로는 셋탑박스(set-top box)가 있다.
영상처리장치로 수신되는 컨텐츠의 영상 및 영상처리장치에 저장되어 있는 컨텐츠의 영상을 처리하여 표시할 때, 컨텐츠의 영상이 타언어정보를 포함하고 있다면 번역을 필요로 하며, 컨텐츠의 영상이 표시되는 중에 타언어정보를 번역하여 제공하는 경우는 도 1에 도시된 바와 같이, 컨텐츠 영상의 장면과 제공되는 번역정보가 시간차를 보여서 컨텐츠의 영상을 이해하기 어렵고 실감나는 컨텐츠의 영상을 즐기기 어려운 문제를 가지고 있다. 이는 컨텐츠의 영상은 계속 표시되고 있는 중에 타언어정보의 번역하는 시간이 약간 늦으므로 컨텐츠 영상의 장면과 번역정보가 시간적으로 매칭되어 표시되지 못하므로 사용자는 컨텐츠의 내용을 이해하지 못할 수도 있다.
또한, 컨텐츠 영상의 타언어의 번역이 컨텐츠 영상에 대한 이해 없이 이루어지므로 번역이 자연스럽지 않는 경우가 발생한다. 이를 테면 우리나라의 고려시대의 시대극을 미국에서 보려고 하는 경우에 어느 한 장면에서 왕과 신하가 대화내용을 살펴본다. 신하가 "수라 드셔야 합니다."라는 대사를 번역하는 경우 종래에는 "Have a meal."로 번역되어 표시될 수 있다. 이 대사를 다시 우리말로 번역하면 "밥먹어."로 번역될 수 있다. 신하가 왕에게 하는 대사로는 어울리지 않는 것이므로"May I serve your food."로 번역하면 왕과 신하의 대화로 인식될 수 있을 것이므로 컨텐츠 영상에 대한 이해를 하여 번역이 이루어지도록 하는 것이 필요하다.
본 발명의 목적은 컨텐츠 영상의 상황에 맞는 번역정보를 컨텐츠 영상에 맞추어서 제공할 수 있는 영상처리장치 및 그 제어방법을 제공함에 있다.
상기 본 발명의 해결과제를 달성하기 위한 영상처리장치는, 언어정보를 포함하는 컨텐츠의 신호를 수신할 수 있는 신호수신부와; 상기 컨텐츠의 영상 표시를 위하여 상기 수신된 신호를 처리하는 신호처리부와; 상기 컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 상기 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 상기 컨텐츠의 영상 표시에 대응하여 제공하도록 제어하는 제어부를 포함하는 영상처리장치에 의해 달성된다.
그리고, 상기 상황요소는 상기 컨텐츠의 영상 중 배경 및 등장인물 중 적어도 하나에 대한 정보를 포함할 수 있다.
여기서, 상기 배경에 대한 정보는 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 정보를 포함할 수 있다.
그리고, 상기 등장인물은 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 정보를 포함할 수 있다.
여기서, 상기 제어부는 상기 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 상기 번역정보가 마련되는 시간에 대응하는 만큼 상기 컨텐츠의 영상을 지연시켜 재생시킬 수 있다.
그리고, 상기 컨텐츠 및 자막정보를 표시하는 디스플레이부를 더 포함하며, 상기 제어부는 상기 지연시켜 재생되는 상기 컨텐츠의 영상에 대응하여 상기 번역정보를 표시하도록 상기 디스플레이부를 제어할 수 있다.
여기서, 네트워크에 연결되는 통신부와; 상기 언어정보 및 상기 번역정보를 저장할 수 있는 저장부를 더 포함하고, 상기 제어부는 상기 통신부를 이용하여 네트워크 내에서 상기 언어정보를 위한 텍스트데이터를 수집하는 텍스트수집부, 상기 텍스트수집부에서 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 상기 저장부에 저장하는 텍스트분류부를 포함할 수 있다.
그리고, 상기 텍스트분류부에서 분류된 텍스트데이터를 번역하는 텍스트번역부를 더 포함하고, 상기 텍스트번역부는 상기 데이터분류부에서 분류된 관련그룹 각각에 대응하여 번역하도록 복수로 마련될 수 있다.
여기서, 상기 텍스트분류부는 상기 텍스트수집부로부터 수집되는 텍스트데이터에 따라 상기 분류되어 저장된 텍스트데이터를 업데이트하고, 상기 텍스트번역부는 상기 통신부로부터 수신되는 번역성능정보에 따라 상기 번역정보를 업데이트할 수 있다.
그리고, 네트워크에 연결되는 통신부와; 상기 언어정보 및 상기 번역정보를 저장할 수 있는 저장부를 더 포함하고, 상기 제어부는 텍스트를 번역할 있는 복수의 외부서버에 외부번역엔진을 설치하고, 상기 외부번역엔진이 실행되도록 제어할 수 있다.
여기서, 상기 제어부는 상기 설치된 외부번역엔진을 이용하여 적어도 하나의 상기 상황요소에 대응하는 텍스트데이터를 수집하고, 상기 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하며, 상기 분류된 텍스트데이터를 이용하여 수신되는 상기 컨텐츠의 텍스트를 번역할 수 있다.
그리고, 상기 제어부는 상기 외부번역엔진이 설치된 상기 복수의 외부서버로 상기 상황요소의 복수의 텍스트에 대한 번역을 요청할 수 있다.
여기서, 상기 제어부는 상기 요청에 대응하여 수신된 번역텍스트를 유사한 의미의 텍스트그룹으로 분류하며 상기 분류된 텍스트그룹에 대한 상기 외부서버의 빈도수 및 번역속도 중 적어도 하나에 기초하여 해당 상황요소에 대한 텍스트의 우선번역서버를 결정할 수 있다.
그리고, 상기 제어부는 상기 우선번역서버를 포함하는 상기 복수의 외부서버로 상기 언어정보에 대하여 번역을 요청하고, 상기 요청에 대응하여 상기 복수의 외부서버로부터 수신된 복수의 번역텍스트 중 가장 빈도수가 많은 텍스트를 상기 우선번역서버의 텍스트로 업데이트하기 위한 제어신호를 상기 우선번역서버로 전송할 수 있다.
상기 본 발명의 해결과제를 달성하기 위한 영상처리장치의 제어방법은, 언어정보를 포함하는 컨텐츠의 신호를 처리하는 단계와; 상기 컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 상기 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 상기 컨텐츠의 영상 표시에 대응하여 제공하는 단계를 포함하는 영상처리장치의 제어방법에 의해 달성된다.
그리고, 상기 상황요소는 상기 컨텐츠의 영상 중 배경 및 등장인물 중 적어도 하나에 대한 정보를 포함할 수 있다.
여기서, 상기 배경에 대한 정보는 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 정보를 포함할 수 있다.
그리고, 상기 등장인물은 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 정보를 포함할 수 있다.
여기서, 상기 번역정보를 제공하는 단계는, 상기 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 상기 번역정보가 마련되는 시간에 대응하는 만큼 상기 컨텐츠의 영상을 지연시켜 재생시키는 단계를 포함할 수 있다.
그리고, 상기 컨텐츠의 영상을 지연시켜 재생시키는 단계는, 상기 지연시켜 재생되는 상기 컨텐츠의 영상에 대응하여 상기 번역정보를 표시하는 단계를 포함할 수 있다.
여기서, 네트워크 내에서 상기 언어정보의 번역을 위한 텍스트데이터를 수집하는 단계와; 상기 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하는 단계를 더 포함할 수 있다.
그리고, 상기 분류된 관련텍스트그룹 각각에 대응하여 상기 분류된 텍스트데이터를 번역하는 단계를 더 포함할 수 있다.
여기서, 상기 수집되는 텍스트데이터에 따라 상기 분류되어 저장된 텍스트데이터를 업데이트하는 단계와; 상기 수신되는 번역성능정보에 따라 상기 번역정보를 업데이트하는 단계를 더 포함할 수 있다.
그리고, 텍스트를 번역할 있는 복수의 외부서버에 외부번역엔진을 설치하는 단계와; 상기 외부번역엔진을 실행하는 단계를 더 포함할 수 있다.
여기서, 상기 외부번역엔진을 실행하는 단계는, 적어도 하나의 상기 상황요소에 대응하는 텍스트데이터를 수집하는 단계와; 상기 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하는 단계와; 상기 분류된 텍스트데이터를 이용하여 수신되는 상기 컨텐츠의 텍스트를 번역하는 단계를 포함할 수 있다.
그리고, 상기 외부번역엔진이 설치된 상기 복수의 외부서버로 상기 상황요소의 복수의 텍스트에 대한 번역을 요청하는 단계를 더 포함할 수 있다.
여기서, 상기 요청에 대응하여 수신된 번역텍스트를 유사한 의미의 텍스트그룹으로 분류하는 단계와; 상기 분류된 텍스트그룹에 대한 상기 외부서버의 빈도수 및 번역속도 중 적어도 하나에 기초하여 해당 상황요소에 대한 텍스트의 우선번역서버를 결정하는 단계를 더 포함할 수 있다.
그리고, 상기 우선번역서버를 포함하는 상기 복수의 외부서버로 상기 언어정보에 대하여 번역을 요청하는 단계와; 상기 요청에 대응하여 상기 복수의 외부서버로부터 수신된 복수의 번역텍스트 중 가장 빈도수가 많은 텍스트를 상기 우선번역서버의 텍스트로 업데이트하기 위한 제어신호를 상기 우선번역서버로 전송하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 컨텐츠 영상의 상황에 대응하는 번역정보를 제공함으로써 사용자가 컨텐츠 영상의 상황을 용이하게 이해할 수 있는 효과가 있다.
또한, 컨텐츠 영상의 상황에 대응하는 번역정보를 컨텐츠 영상의 장면에 대응하도록 표시함으로써 사용자가 컨텐츠의 내용을 직관적으로 이해할 수 있는 효과가 있다.
도 1은 본 발명과 관련된 기존의 영상처리장치에서 컨텐츠의 영상 및 번역정보를 표시하는 것을 나타내는 예시도이며,
도 2는 본 발명의 일 실시 예에 따른 영상처리장치에서 컨텐츠의 영상 및 번역정보를 표시하는 것을 나타내는 예시도이고,
도3 은 본 발명에 따른 영상처리장치의 구성을 나타내는 블록도이며,
도 4는 본 발명의 일 실시 예에 따른 영상처리장치의 구성을 나타내는 블록도이고,
도5는 본 발명의 일 실시 예에 따른 영상처리장치의 구성 및 컨텐츠의 상황에 따른 번역을 위한 외부서버와의 연결을 나타내는 개략도이며,
도 6은 본 발명의 일 실시 예에 따른 영상처리장치에서 컨텐츠의 영상을 분석하는 것을 나타내는 예시도이고,
도 7은 본 발명의 일 실시 예에 따른 영상처리장치에서 컨텐츠의 음성을 분석하는 것을 나타내는 예시도이며,
도 8은 본 발명에 따른 영상처리장치의 동작을 나타내는 제어흐름도이고,
도 9A와9B는 본 발명의 일 실시 예에 따른 영상처리장치의 동작을 나타내는 제어흐름도이며,
도 10A와 9B는 본 발명의 다른 일 실시 예에 따른 영상처리장치의 동작을 나타내는 제어흐름도이고,
도 11은 본 발명의 일 실시 예에 따른 영상처리장치에서 컨텐츠 영상의 상황에 대한 번역의 일 실시 예를 나타내는 예시도이며,
도 12는 본 발명의 일 실시 예에 따른 영상처리장치에서 컨텐츠 영상의 상황에 대한 번역을 분류한 예시표이고,
도 13은 본 발명의 일 실시 예에 따른 영상처리장치에서 번역엔진을 구성하고 제어하는 것을 나타내는 예시도이다.
이하에서는 첨부한 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 본 발명과 관련된 기존의 영상처리장치(1)에서 컨텐츠의 영상 및 번역정보를 표시하는 것을 나타내는 예시도이다. 본 발명과 관련된 기존의 영상처리장치(1)는 컨텐츠 영상을 재생하면 컨텐츠의 언어정보를 번역하여 번역자막을 작성하기 시작한다. 이렇게 작성된 번역자막은 작성되는 시간만큼 컨텐츠 영상이 재생된 시점에서 비로소 표시되게 된다. 이렇게 번역자막이 약간 지연되어 표시되면 사용자는 컨텐츠의 영상이 지나간 후에 번역자막이 표시되므로 번역자막이 작성되는 동안은 번역자막이 없는 컨텐츠의 영상만을 보게 되고 컨텐츠의 영상이 바뀌거나 다른 음성정보가 나오는 중에도 새로운 번역자막이 아닌 이전 번역자막이 새로운 영상 또는 다른 음성정보가 나오는 영상과 중첩되는 것을 보게 된다. 사용자는 번역자막이 컨텐츠 영상의 재생보다 지연되어 표시됨으로써 컨텐츠 영상을 이해하는데 상당히 불편함을 느낄 수 있다.
또한, 컨텐츠의 영상에 대한 언어정보를 번역하여 표시하는데 컨텐츠 영상이 시대극인 경우 일반적 현대극의 번역처럼 획일적으로 번역을 하는 경우 매우 어색하게 번역이 되는 것을 알 수 있다. 사용자는 컨텐츠 영상의 상황에 맞지 않는 어색한 번역으로 인하여 컨텐츠를 이해하는데 불편함을 느낄 수 있다.
상기 도 1에서 언급한 사용자의 불편함을 개선하기 위하여는 컨텐츠의 영상의 번역자막을 작성하고 번역자막을 작성한 만큼 컨텐츠의 영상을 지연시킨 후 번역자막과 함께 표시하는 것이다. 또한, 컨텐츠 영상을 분석하여 상황에 맞는 단어/어투/의미 등을 적용하여 번역을 하는 것이다.
도 2는 본 발명의 일 실시 예에 따른 영상처리장치(10)에서 컨텐츠의 영상 및 번역정보를 표시하는 것을 나타내는 예시도이다.
본 발명의 일 실시 예에 따른 영상처리장치(10)는 컨텐츠의 영상을 표시하려고 하면 컨텐츠 영상을 분석하여 영상에 대한 상황을 판단하고, 음성을 인식하고 이를 분석하여 영상에 대한 상황을 판단하며 컨텐츠에 포함된 언어정보를 번역한다. 도 2에 도시된 바와 같이, 컨텐츠의 영상을 표시하려는 시점보다 t시간만큼 컨텐츠의 영상을 지연시켜 재생하는 것을 알 수 있다. 이는 재생하려는 컨텐츠 영상을 분석, 음성을 인식하고 이를 분석, 컨텐츠에 포함된 언어정보를 번역하는 t시간만큼 컨텐츠 영상의 재생을 지연시킨 후 컨텐츠의 영상에 맞게 번역자막이 제공되어 종래의 컨텐츠의 영상에 비하여 번역자막이 지연되어 표시됨으로써 사용자가 느끼던 불편함을 개선할 수 있는 것이다.
컨텐츠에 포함된 언어정보는 영상에 대응하는 음성정보일 수도 있다. 영상처리장치(10)는 음성정보를 인식하고 분석하여 텍스트를 작성할 수 있으며 작성된 텍스트를 번역하게 할 수 있다. 물론 이 텍스트는 컨텐츠의 영상을 분석하고 분석된 영상의 상황에 따라 미리 조사해서 수집되어 있는 텍스트데이터를 이용하여 단어/어투/의미 등을 상황요소에 맞도록 적용하여 번역하는 것이다. 컨텐츠의 종류에는 시대극을 비롯하여 여러 가지 상황을 나타내는 컨텐츠가 존재하며 컨텐츠별 나름대로 독특한 단어/어투/의미 등이 상이할 수 있다. 이렇게 독특한 상황을 가지고 있는 컨텐츠의 번역을 상황에 대한 아무런 이해 없이 수행하면 약간 이상한 분위기를 만들거나 컨텐츠에서 전달하려는 의도를 충분히 전달하지 못할 수 있다. 그러므로, 컨텐츠의 영상 중 배경 및 등장인물 중 적어도 하나에 대한 정보를 분석하며 이 정보를 바탕으로 단어/어투/의미 등을 적용하여 번역자막을 작성하면 컨텐츠를 시청하는 사용자는 컨텐츠에서 전달하려는 의도를 충분히 알 수 있다. 구체적으로 컨텐츠에서 나태내는 유머, 의미, 사회적 특성, 시대적 특성 등을 사용자는 이해할 수 있을 것이다.
도3 은 본 발명에 따른 영상처리장치(10)의 구성을 나타내는 블록도이다. 본 발명에 따른 영상처리장치(10)는 신호수신부(110), 신호처리부(120) 및 제어부(100)를 포함한다.
신호수신부(110)는 영상신호/영상데이터를 유선 또는 무선으로 수신하여 신호처리부(120)에 전달할 수 있다. 신호수신부(110)는 TV방송신호 등의 방송신호 송신장치(도시안됨)로부터 방송신호를 영상신호로서 수신하거나, DVD플레이어, BD플레이어 등의 영상기기로부터 영상신호를 수신하거나, PC로부터 영상신호를 수신하거나, 스마트폰, 스마트패드 등의 모바일기기로부터 영상신호를 수신하거나, 인터넷 등의 네트워크를 통해 영상신호를 수신하거나, USB저장매체와 같은 저장매체에 저장된 영상컨텐츠를 영상신호로서 입력할 수 있다. 다른 실시 예로서, 영상신호는 신호수신부(110)를 통해 수신되지 아니하고, 저장부(도시 안됨)에 저장되어 제공될 수도 있다. 신호수신부(110)는 수신하는 영상신호의 규격 및 디스플레이장치의 구현 형태에 대응하여 다양한 방식으로 마련될 수 있다. 예를 들면, 신호수신부(110)는 RF(radio frequency)신호를 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface), 디스플레이포트(DisplayPort), UDI(unified display interface), 또는 와이어리스(wireless) HD 규격 등에 의한 영상신호를 수신할 수 있다. 신호수신부(110)는 영상신호가 방송신호인 경우, 이 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 포함할 수 있다. 신호수신부(110)는 외부장치로부터 신호를 수신하는 것 이외에도, 영상처리장치의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 신호수신부(110)는 외부장치로 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 신호수신부(110)는 언어정보를 포함하는 컨텐츠의 신호를 수신할 수 있다.
신호처리부(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 소정 신호를 각 특성 별 신호로 분배하는 디멀티플렉싱(de-multiplexing), 영상신호의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있으며, 인코딩된 소스영상의 영상 포맷에 대응하여 소스 영상을 디코딩하는 디코더(미도시) 및 디코딩된 소스영상을 프레임단위로 저장하는 프레임버퍼(미도시)를 포함할 수 있다.
신호처리부(120)는 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 영상처리장치(10)에 내장될 수 있다.
신호처리부(120)는 신호수신부(110)로부터 수신되는 영상신호를 포함하는 방송신호 및 영상공급원(미도시)으로부터 제공받은 영상신호를 포함하는 소스영상에 대해 기 설정된 다양한 영상처리 프로세스를 수행한다. 신호처리부(120)는 이러한 프로세스가 수행된 영상신호를 포함되어ㅡ 있을 수 있는 디스플레이부 또는 디스플레이장치에 출력함으로써, 영상처리장치(10)에서 처리된 소스영상이 표시될 수 있다. 신호처리부(120)는 신호수신부(110)에서 수신된 컨텐츠의 영상 표시를 위하여 수신된 신호를 처리할 수 있다.
제어부(100)는 영상처리장치(10) 내부의 구성을 전반적으로 제어하는 역할을 한다. 제어부(100)는 컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 컨텐츠의 영상 표시에 대응하여 제공하도록 제어할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 영상처리장치(10)의 구성을 나타내는 블록도이다. 본 발명의 일 실시 예에 따른 영상처리장치(10)는 신호수신부(110), 신호처리부(120), 디스플레이부(130), 통신부(140), 저장부(150) 그리고 텍스트수집부(102), 텍스트분류부(104)와 텍스트번역부(106)를 포함하는 제어부(100)를 포함할 수 있다
신호수신부(110)는 영상신호/영상데이터를 유선 또는 무선으로 수신하여 신호처리부(120)에 전달할 수 있다. 신호수신부(110)는 TV방송신호 등의 방송신호 송신장치(도시안됨)로부터 방송신호를 영상신호로서 수신하거나, DVD플레이어, BD플레이어 등의 영상기기로부터 영상신호를 수신하거나, PC로부터 영상신호를 수신하거나, 스마트폰, 스마트패드 등의 모바일기기로부터 영상신호를 수신하거나, 인터넷 등의 네트워크를 통해 영상신호를 수신하거나, USB저장매체와 같은 저장매체에 저장된 영상컨텐츠를 영상신호로서 입력할 수 있다. 다른 실시 예로서, 영상신호는 신호수신부(110)를 통해 수신되지 아니하고, 저장부(도시 안됨)에 저장되어 제공될 수도 있다. 신호수신부(110)는 수신하는 영상신호의 규격 및 디스플레이장치의 구현 형태에 대응하여 다양한 방식으로 마련될 수 있다. 예를 들면, 신호수신부(110)는 RF(radio frequency)신호를 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface), 디스플레이포트(DisplayPort), UDI(unified display interface), 또는 와이어리스(wireless) HD 규격 등에 의한 영상신호를 수신할 수 있다. 신호수신부(110)는 영상신호가 방송신호인 경우, 이 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 포함할 수 있다. 신호수신부(110)는 외부장치로부터 신호를 수신하는 것 이외에도, 영상처리장치의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 신호수신부(110)는 외부장치로 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 신호수신부(110)는 언어정보를 포함하는 컨텐츠의 신호를 수신할 수 있다.
신호처리부(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 소정 신호를 각 특성 별 신호로 분배하는 디멀티플렉싱(de-multiplexing), 영상신호의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있으며, 인코딩된 소스영상의 영상 포맷에 대응하여 소스 영상을 디코딩하는 디코더(미도시) 및 디코딩된 소스영상을 프레임단위로 저장하는 프레임버퍼(미도시)를 포함할 수 있다.
신호처리부(120)는 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 영상처리장치(10)에 내장될 수 있다.
신호처리부(120)는 신호수신부(110)로부터 수신되는 영상신호를 포함하는 방송신호 및 영상공급원(미도시)으로부터 제공받은 영상신호를 포함하는 소스영상에 대해 기 설정된 다양한 영상처리 프로세스를 수행한다. 신호처리부(120)는 이러한 프로세스가 수행된 영상신호를 포함되어ㅡ 있을 수 있는 디스플레이부(130) 또는 디스플레이장치에 출력함으로써, 영상처리장치(10)에서 처리된 소스영상이 표시될 수 있다. 신호처리부(120)는 신호수신부(110)에서 수신된 컨텐츠의 영상 표시를 위하여 수신된 신호를 처리할 수 있다.
디스플레이부(130)는 신호처리부(120)로부터 출력되는 영상신호에 기초하여 영상을 표시할 수 있다. 디스플레이부(130)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(130)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(130)가 액정 방식인 경우, 디스플레이부 액정 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트유닛(미도시)과, 패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함할 수 있다.
디스플레이부(130)는 신호처리부(120)에 의해 처리된 영상신호에 기초하여 영상을 표시한다. 디스플레이부(130)가 영상을 표시하는 방식에는 제한이 없으나, LCD, PDP, OLED 등의 방식을 포함한다. 이 경우, 디스플레이부(130)는 LCD패널, PDP패널, OLED패널 등을 포함할 수 있다.
디스플레이부(130)는 영상 및 색보정 과정을 표시할 수 있다. 디스플레이부는 영상이 표시되는 디스플레이패널과 입력되는 영상신호를 처리하여 디스플레이패널에 영상이 표시되게 하는 패널구동부를 포함할 수 있으며, 자세한 구현 방식에 있어 한정되지 않는다. 인터페이스를 통해 외부의 입력소스로부터 수신된 신호는 디코딩(decoding), 디인터레이싱(deinterlacing), 스케일링(scaling) 등의 영상 처리 과정을 거쳐 디스플레이부(130)에 표시될 수 있다.
통신부(140)는 외부입력에 의한 신호를 수신하여 신호처리부(120) 또는 제어부(100)에 전달할 수 있다. 통신부(140)는 다양한 외부입력 케이블이 접속됨으로써 해당 외부입력으로부터의 신호를 유선으로 수신하며, 또는 무선으로 수신되는 신호를 미리 정해진 무선통신규격에 따라서 수신할 수 있다.
통신부(140)는 각 케이블이 개별적으로 접속되는 복수의 커넥터(미도시)를 포함할 수 있다. 통신부(140)는 접속된 외부입력으로부터의 신호, 예를 들면 HDMI, USB, 컴포넌트(component) 규격에 따른 방송신호, 영상신호, 데이터신호 등을 수신하거나, 또는 통신 네트워크를 통한 통신데이터를 수신할 수 있다.
통신부(140)는 외부입력으로부터의 신호/데이터를 수신하는 구성뿐 아니라, 영상처리장치(10)의 설계 방식에 따라서, 무선 통신을 위한 무선통신모듈(미도시)이나 방송신호의 튜닝을 위한 튜너(미도시)와 같은 다양한 부가적인 구성을 더 포함할 수 있다. 통신부(140)는 외부장치로부터 신호를 수신하는 것 이외에도, 영상처리장치(10)의 정보/데이터/신호를 외부장치에 전송할 수도 있다. 즉, 통신부(140)는 외부장치로 신호를 수신하는 구성으로만 한정할 수 없으며, 양방향 통신이 가능한 인터페이스(interface)로 구현될 수 있다. 통신부(140)는 복수의 제어장치로부터 UI를 선택하기 위한 제어신호를 수신할 수 있다. 통신부(140)는 블루투스(Bluetooth), IR(Infrared), UWB(Ultra Wideband), 지그비(Zigbee) 등 공지의 근거리 무선통신을 위한 통신모듈로 구성될 수 있으며, 유선통신을 위한 공지의 통신포트로 구성될 수도 있다. 통신부(140)는 UI를 선택하기 위한 제어신호 이외에, 디스플레이의 조작을 위한 명령, 데이터의 송수신 등 다양한 목적으로 활용될 수 있다.
저장부(150)는 영상처리장치에 전원이 차단되더라도 데이터들이 남아있어야 하며, 사용자의 변동 사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable ROM)로 마련되는 것이 바람직하다. 즉, 저장부(150)는 플래쉬 메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 마련될 수 있다. 저장부(150)는 언어정보 및 번역정보를 저장할 수 있다.
제어부(100)는 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 번역정보가 마련되는 시간에 대응하는 만큼 컨텐츠의 영상을 지연시켜 재생시킬 수 있다. 제어부(100)는 지연시켜 재생되는 컨텐츠의 영상에 대응하여 번역정보를 표시하도록 디스플레이부(130)를 제어할 수 있다. 제어부(100)는 통신부(140)를 이용하여 네트워크 내에서 언어정보를 위한 텍스트데이터를 수집하는 텍스트수집부(102), 텍스트수집부(102)에서 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장부(150)에 저장하는 텍스트분류부(104), 텍스트분류부(104)에서 분류된 텍스트데이터를 번역하는 텍스트번역부(106)를 포함할 수 있다.
텍스트번역부(106)는 텍스트분류부(106)에서 분류된 관련그룹 각각에 대응하여 번역하도록 복수로 마련될 수 있다. 텍스트분류부(104)는 텍스트수집부(012)로부터 수집되는 텍스트데이터에 따라 분류되어 저장된 텍스트데이터를 업데이트할 수 있고, 텍스트번역부(106)는 통신부(140)로부터 수신되는 번역성능정보에 따라 번역정보를 업데이트할 수 있다.
상황요소는 컨텐츠의 영상 중 배경 및 등장인물 중 적어도 하나에 대한 정보를 포함할 수 있다. 배경에 대한 정보는 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 정보를 포함할 수 있다. 등장인물은 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 정보를 포함할 수 있다.
도5는 본 발명의 일 실시 예에 따른 영상처리장치(10)의 구성 및 컨텐츠의 상황에 따른 번역을 위한 외부서버(20 내지 40)와의 연결을 나타내는 개략도이다.
도 5의 영상처리장치(10)는 도 4에서 설명된 신호부신부(110), 신호처리부(120), 디스플레이부(130), 통신부(140)과 저장부(150)의 구성은 동일하므로 그에 대한 설명은 생략한다. 도 5의 영상처리장치(10)는 도 4에 나타난 제어부(100)와 달리 텍스트수집부(102), 텍스트분류부(104)와 텍스트번역부(106)를 포함하고 있지 않다.
제어부(100)는 텍스트를 번역할 있는 복수의 외부서버(20 내지 40)에 외부번역엔진을 설치할 수 있고, 제어부(100)는 외부번역엔진이 실행되도록 제어할 수 있다. 제어부(100)는 설치된 외부번역엔진을 이용하여 적어도 하나의 상황요소에 대응하는 텍스트데이터를 수집하고, 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하며, 분류된 텍스트데이터를 이용하여 수신되는 컨텐츠의 텍스트를 번역할 수 있다. 제어부(100)는 외부번역엔진이 설치된 복수의 외부서버(20 내지 40)로 상황요소의 복수의 텍스트에 대한 번역을 요청할 수 있다. 제어부(100)는 요청에 대응하여 수신된 번역텍스트를 유사한 의미의 텍스트그룹으로 분류하며 분류된 텍스트그룹에 대한 외부서버(20 내지 40)의 빈도수 및 번역속도 중 적어도 하나에 기초하여 해당 상황요소에 대한 텍스트의 우선번역서버를 결정할 수 있다. 제어부(100)는 우선번역서버를 포함하는 복수의 외부서버(20 내지 40)로 언어정보에 대하여 번역을 요청하고, 요청에 대응하여 복수의 외부서버(20 내지 40)로부터 수신된 복수의 번역텍스트 중 가장 빈도수가 많은 텍스트를 우선번역서버의 텍스트로 업데이트하기 위한 제어신호를 우선번역서버로 전송할 수 있다.
도 5에 나타난 외부서버1(20)은 각기 청나라를 배경으로 하는 영상에 대한 우선번역서버(20)로 결정되어 있으며, 외부서버2(30)는 중세시대 로마를 배경으로 하여 전개되는 영상에 대한 우선번역서버(30)로 결정되어 있다. 그리고, 외부서버3(40)은 우리나라 고려시대를 배경으로 하는 시대극에서 황실에 대한 영상을 주로 우선번역하는 우선번역서버(40)로 결정되어 있는 것을 나타내고 있다.
도 5의 영상처리장치(10)는 텍스트수집부(102), 텍스트분류부(104)와 텍스트번역부(106)를 포함하고 있지 않으므로 컨텐츠의 영상에 대한 영상분석(①)과 음성분석(②)을 수행한 후 우선번역서버를 결정하고 컨텐츠의 언어정보를 결정된 우선번역서버로 전송하여 번역을 하는 것이다.
도 6은 본 발명의 일 실시 예에 따른 영상처리장치(10)에서 컨텐츠의 영상을 분석하는 것을 나타내는 예시도이다.
수신되는 컨텐츠 영상 또는 저장되어 있던 컨텐츠 영상에서 상황요소에 대한 정보를 제공해 줄 수도 있지만 일반적으로는 이에 대한 정보가 미흡할 수 있으므로 영상을 분석하여 배경이 언제인지, 어디인지, 전쟁인지, 소속이 어디인지, 나라가 어디인지, 장소가 어디인지 등을 알아내야 그에 맞는 번역을 할 수 있으므로 컨텐츠의 영상을 분석하여 국가, 장소, 시대, 소속과 전쟁 등에 대한 결정을 내린다. 또한, 컨텐츠 영상에 등장하는 인물들을 분석하여 나이가 어느 정도인지, 직업이 무억인지, 복장은 어떤 것인지, 역할은 어떤 것인지, 두발의 모양을 어떤지 등을 파악한다.
도 6에는 2가지 예를 나타내었다. 영상분석의 첫 번째 예로는 다음과 같다.
1) 배경으로는 국가 : 중국, 장소 : 양자강, 시대 : 후한, 소속 : 오나라군, 전쟁 : 적벽대전으로 분석되었다.
등장인물로는 나이 : 중년, 직업 : 장군, 복장 : 장군복, 역할 : 사령관, 두발 : 상투로 분석되었다.
영상분석의 두 번째 예로는 다음과 같다.
2) 배경으로는 국가 : 한국, 장소 : 완도(울둘목), 시대 : 조선시대, 소속 : 조선 수군 좌수영, 전쟁 : 정유재란(명량해전)으로 분석되었다.
등장인물로는 나이 : 중년, 직업 : 장군, 복장 : 장군복, 역할 : 사령관, 두발 : 상투로 분석되었다.
이렇게 분석된 자료를 바탕으로 수집되어 분류된 텍스트데이터에서 적절한 단어/어투/의미의 텍스트를 선택하고, 이를 이용하여 번역을 수행하게 됩니다.
이를 테면, 상기 두 번째 실시 예에서 이순신 장군이 선조에게 서신을 쓰는 장면에서의 대사인 "Majesty! I have still 12 ships."를 일반적으로 국문 번역하면 "폐하! 저는 아직도 12척의 배를 가지고 있습니다."이나 이를 본 발명에 기초하여 국문으로 번역하면 "전하! 신에게는 아직 12척의 배가 남아 있사옵니다."로 조금 더 상황요소를 이해하여 번역된 것을 알 수 있다.
도 7은 본 발명의 일 실시 예에 따른 영상처리장치(10)에서 컨텐츠의 음성을 분석하는 것을 나타내는 예시도이다.
컨텐츠에는 영상과 함께 음성을 제공하고 있으며 영상의 분석과 함께 음성의 분석을 통하여 상황요소 즉, 배경 및 등장인물에 대한 분석할 수 있다.
영상처리장치(10)는 컨텐츠의 음성을 인식하여 단어화하면 이를 텍스트화한다. 텍스트화된 텍스트를 분석하여 컨텐츠의 배경 및 등장인물을 분석할 수 있다. 영상분석이 주요분석이 될 것이며 음성분석은 영상분석의 배경 및 등장인물에 대한 분석을 확정할 수 있는 분석이 될 수 있다. 음성분석만으로 배경 및 등장인물의 분석을 통하여 분석을 확정할 수도 있지만 그렇지 못한 경우가 더욱 많을 수 있으므로 영상분석의 보조분석이 될 수 있다.
영상처리장치(10)는 음성을 텍스트화하여 배경 및 등장인물을 분석할 수 있으며 더불어 음성을 인식하여 억양 및 음성의 높낮이 등을 분석하여 지역적인 특성 등을 고려함으로써 배경 및 등장인물의 분석에 도움이 될 수 있다.
도 8은 본 발명에 따른 영상처리장치(10)의 동작을 나타내는 제어흐름도이다.
언어정보를 포함하는 컨텐츠의 신호를 처리한다(S11).
컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 컨텐츠의 영상 표시에 대응하여 제공한다(S12).
도 9A와9B는 본 발명의 일 실시 예에 따른 영상처리장치(10)의 동작을 나타내는 제어흐름도이다.
네트워크 내에서 언어정보의 번역을 위한 텍스트 데이터를 수집한다(S21).
수집된 텍스트 데이터를 관련그룹으로 분류하여 저장한다(S22).
번역이 필요한 컨텐츠의 표시명령을 수신한다(S23).
컨텐츠의 영상 및 음성의 신호를 사용자에게 제공하기 위하여 영상 및 음성을 처리한다(S24).
컨텐츠의 영상 중 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 배경정보를 분석한다(S25).
컨텐츠의 영상 중 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 등장인물정보를 분석한다(S26).
영상처리장치(10)는 음성을 인식하여 텍스트화하며 억양 및 음성의 높낮이를 분석하여 배경 및 등장인물의 정보를 분석한다(S27).
분류된 관련텍스트그룹 각각을 이용하여 언어정보를 번역한다(S28).
수집되는 텍스트데이터에 따라 분류되어 저장된 기존 텍스트데이터를 업데이트한다(S29).
수신되는 번역성능정보에 따라 번역정보를 업데이트한다(S30). 이는 번역엔진의 버전이 업데이트되는 정보를 수신하여 텍스트번역부의 번역성능을 업데이트하는 것이다. 업데이트된 텍스트번역부에 따라 번역을 수행한다.
컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서 컨텐츠의 배경, 등장인물에 대한 분석에 따라 선택된 번역정보를 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 번역정보가 마련되는 시간만큼 지연시켜 컨텐츠의 영상 및 음성과 함께 제공한다(S31).
도 10A와 9B는 본 발명의 다른 일 실시 예에 따른 영상처리장치(10)의 동작을 나타내는 제어흐름도이다.
언어정보에 대응하는 텍스트를 번역할 수 있는 복수의 외부서버에 외부번역엔진을 설치하고 실행한다(S41).
적어도 하나의 상황요소에 대응하는 텍스트데이터를 수집하도록 외부번역엔진을 제어한다(42).
수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하도록 외부번역엔진을 제어한다(S43).
외부번역엔진이 설치된 복수의 외부서버로 상황요소의 복수의 텍스트에 대한 번역을 실행하도록 제어한다(S44). 번역된 텍스트를 이용하여 상황요소에 맞게 언어정보에 대한 번역을 할 수 있게 된다.
수신되는 컨텐츠의 텍스트를 번역하도록 외부번역엔진을 제어한다(S45).
외부번역엔진에서 번역되어 수신된 복수의 번역텍스트를 분석하여 유사한 의미의 텍스트그룹으로 분류한다(S46).
분류된 텍스트그룹에 대한 외부서버의 빈도수 및 번역속도 중 적어도 하나에 기초하여 해당 상황요소에 대한 텍스트의 우선번역서버를 결정한다(S47).
번역이 필요한 컨텐츠의 표시명령을 수신한다(S48).
컨텐츠의 영상 및 음성의 신호를 사용자에게 제공하기 위하여 영상 및 음성을 처리한다(S49).
컨텐츠의 영상 중 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 배경정보를 분석한다(S50).
컨텐츠의 영상 중 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 등장인물정보를 분석한다(S51).
영상처리장치(10)는 음성을 인식하여 텍스트화하며 억양 및 음성의 높낮이를 분석하여 배경 및 등장인물의 정보를 분석한다(S52).
영상 및 음성의 분석에 의해 우선번역서버를 포함하는 복수의 외부서버로 언어정보에 대하여 번역을 요청한다(53).
요청에 대응하여 복수의 외부서버로부터 복수의 번역텍스트를 수신한다(S54).
수신된 복수의 번역텍스트 중 텍스트에 대한 빈도수가 가장 많은 텍스트를 우선번역서버의 텍스트로 외부번역엔진을 업데이트한다(S55).
컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서 컨텐츠의 배경, 등장인물에 대한 분석에 따라 선택된 번역정보를 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 번역정보가 마련되는 시간만큼 지연시켜 컨텐츠의 영상 및 음성과 함께 제공한다(S56).
도 11은 본 발명의 일 실시 예에 따른 영상처리장치(10)에서 컨텐츠 영상의 상황에 대한 번역의 일 실시 예를 나타내는 예시도이다.
도 11의 실시 예는 우리나라의 영상 컨텐츠가 영어권에서 재생되고 있는 것을 나타내고 있으며 기존의 번역문과 상황분석을 한 후의 번역문을 나타내는 것이다.
도 11에 도시된 바와 같이 왕과 신하가 표시되고 있으며 신하가 왕에게 "식사 하셔야지요"라고 말한다. 이를 기존에는 "Have a meal"이라고 번역하여 번역자막을 제공할 수 있지만, 본 발명의 일 실시 예에 따른 영상처리장치(10)에서는 "May I serve your food."로 번역되어 번역자막이 제공된다. 조선시대 이전의 과거에는 왕권시대로 왕과 신하는 그 신분의 등급이 달랐으며 이런 상황분석을 반영하여 번역하여야 컨텐츠 영상을 보다 잘 이해할 수 있게 된다. 이렇듯 본 발명의 일 실시 예에 따른 영상처리장치(10)는 컨텐츠의 영상상황에 대한 이해를 높여줄 수 있도록 번역을 한다.
각 나라의 특정한 상황에 대한 정보를 바탕으로 컨텐츠의 영상을 분석하여 그에 맞는 번역텍스트를 제공할 수 있도록 함으로써 타지역 및 여러 상황을 그린 영상에 대하여 보다 올바로 이해할 수 있다.
시대극의 컨텐츠 같은 경우 과거 중세시대, 그 이전의 고대시대를 기반으로 영상에 제작되는 경우 그 시대에 대한 정보가 없는 경우, 주종관계의 대화에서도 서로 반말을 하게 되면 영상에서는 주종관계가 나타나는데 번역자막에서는 서로 반말로 제공되므로 우스워질 수 있으므로 이러한 시대에 대한 이해를 바탕으로 번역이 이루어질 수 있도록 할 수 있다. 각 나라의 체제가 다르므로 그에 따른 기관과 소속에 대한 상이점이 특히 민주주의국가와 사회주의 또는 공산주의 국가의 군대 내지 정부기관이 서로 상당히 상이하므로 이에 대한 이해가 있어야 컨텐츠의 영상을 이해하는 데 많은 도움이 될 것이다. 번역자막을 이러한 이해를 가지고 제공되었을 경우 사전지식이 있지 않고서도 어느 정도 이해할 수 있을 것이다.
도 12는 본 발명의 일 실시 예에 따른 영상처리장치(10)에서 컨텐츠 영상의 상황에 대한 번역을 분류한 예시표이다.
도 12는 컨텐츠 영상의 배경 및 등장인물에 따라 상황요소를 분석하는데 도 11에 나타난 왕과 신하의 대화를 예로 볼 때 배경 및 등장인물에 대한 분류를 한 표이다.
등장인물간에 대화에서도 등장인물의 직업과 그 등급에 맞도록 대화를 번역하여야 신하가 왕에게 "식사하세요" 를 "Have a meal"로 번역하여 사용자에게 제공하지 않을 것이다. 번역된 영문을 우리말로 다시 번역하면 "밥먹어"로 번역될 수 있고 이는 과거 조선시대 이전의 신하가 왕에게 전하는 말로는 어색한 것이기 때문이다. 이와 같이 배경 및 등장인물에 대한 분석을 통하여 그에 맞는 단어/어투/의미 등을 제공하여야 할 것이다.
도 13은 본 발명의 일 실시 예에 따른 영상처리장치(10)에서 번역엔진을 구성하고 제어하는 것을 나타내는 예시도이다.
영상처리장치(10)는 외부서버(20)에 번역엔진을 설치할 수 있다. 이렇게 설치된 번역엔진의 코퍼스수집기(corpus수집기)는 웹으로부터 상황번역에 관련된 자료(웹, 번역 예, 번역문 추천, 번역단어, 단어의 쓰임새, 서비스 엔지 번역문 등)들을 수집한다. 번역엔진의 병렬성 측정기는 텍스트의 의미에서 유사다고 판단되는 그룹으로 분류한다. 이렇게 분류된 텍스트들을 이용하여 번역을 수행하여 복수의 번역텍스트를 작성할 수 있다. 또한, 병렬성 측정기에 의해 분류된 그룹에 대응하는 복수의 번역엔진이 번역을 수행하여 복수의 번역텍스트를 작성할 수도 있다. 복수의 번역엔진 및 하나의 번역엔진 중 어느 하나에서 번역된 복수의 번역텍스트를 비교하여 번역 품질, 번역 속도 등의 정보를 저장한다. 저장된 정보를 바탕으로 바람직한 번역엔진을 선택하여 업데이트할 수 있다. 이렇게 번역엔진의 성능정보를 비교하여 업데이트를 수행할 수도 있으며 번역엔진의 성능정보를 비교한 결과를 사용자에게 제공하여 번역엔진을 선택하여 업데이트하게 할 수도 있다.
지금까지 본 발명의 실시 예가 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 실시 예를 변형할 수 있을 것이다. 따라서, 발명의 범위는 지금까지 설명된 실시 예로 정해지는 것이 아니라 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
10 : 영상처리장치 20 : 외부서버1
30 : 외부서버2 40 : 외부서버3
50 : 네트워크 100 : 제어부
102 : 텍스트수집부 104 : 텍스트분류부
106 : 텍스트번역부 110 : 신호수신부
120 : 신호처리부 130 : 디스플레이부
140 : 통신부 150 : 저장부

Claims (28)

  1. 영상처리장치에 있어서,
    언어정보를 포함하는 컨텐츠의 신호를 수신할 수 있는 신호수신부와;
    상기 컨텐츠의 영상 표시를 위하여 상기 수신된 신호를 처리하는 신호처리부와;
    상기 컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 상기 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 상기 컨텐츠의 영상 표시에 대응하여 제공하도록 제어하는 제어부를 포함하는 영상처리장치.
  2. 제1항에 있어서,
    상기 상황요소는 상기 컨텐츠의 영상 중 배경 및 등장인물 중 적어도 하나에 대한 정보를 포함하는 영상처리장치.
  3. 제2항에 있어서,
    상기 배경에 대한 정보는 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 정보를 포함하는 영상처리장치.
  4. 제1항에 있어서,
    상기 등장인물은 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 정보를 포함하는 영상처리장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 상기 번역정보가 마련되는 시간에 대응하는 만큼 상기 컨텐츠의 영상을 지연시켜 재생시키는 영상처리장치.
  6. 제5항에 있어서,
    상기 컨텐츠 및 자막정보를 표시하는 디스플레이부를 더 포함하며,
    상기 제어부는 상기 지연시켜 재생되는 상기 컨텐츠의 영상에 대응하여 상기 번역정보를 표시하도록 상기 디스플레이부를 제어하는 영상처리장치.
  7. 제1항에 있어서,
    네트워크에 연결되는 통신부와;
    상기 언어정보 및 상기 번역정보를 저장할 수 있는 저장부를 더 포함하고,
    상기 제어부는 상기 통신부를 이용하여 네트워크 내에서 상기 언어정보를 위한 텍스트데이터를 수집하는 텍스트수집부, 상기 텍스트수집부에서 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 상기 저장부에 저장하는 텍스트분류부를 포함하는 영상처리장치.
  8. 제7항에 있어서,
    상기 텍스트분류부에서 분류된 텍스트데이터를 번역하는 텍스트번역부를 더 포함하고,
    상기 텍스트번역부는 상기 데이터분류부에서 분류된 관련그룹 각각에 대응하여 번역하도록 복수로 마련되는 것을 특징으로 하는 영상처리장치.
  9. 제8항에 있어서,
    상기 텍스트분류부는 상기 텍스트수집부로부터 수집되는 텍스트데이터에 따라 상기 분류되어 저장된 텍스트데이터를 업데이트하고, 상기 텍스트번역부는 상기 통신부로부터 수신되는 번역성능정보에 따라 상기 번역정보를 업데이트하는 영상처리장치.
  10. 제1항에 있어서,
    네트워크에 연결되는 통신부와;
    상기 언어정보 및 상기 번역정보를 저장할 수 있는 저장부를 더 포함하고,
    상기 제어부는 텍스트를 번역할 있는 복수의 외부서버에 외부번역엔진을 설치하고, 상기 외부번역엔진이 실행되도록 제어하는 영상처리장치.
  11. 제10항에 있어서,
    상기 제어부는 상기 설치된 외부번역엔진을 이용하여 적어도 하나의 상기 상황요소에 대응하는 텍스트데이터를 수집하고, 상기 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하며, 상기 분류된 텍스트데이터를 이용하여 수신되는 상기 컨텐츠의 텍스트를 번역하는 영상처리장치.
  12. 제11항에 있어서, 상기 제어부는 상기 외부번역엔진이 설치된 상기 복수의 외부서버로 상기 상황요소의 복수의 텍스트에 대한 번역을 요청하는 영상처리장치.
  13. 제12항에 있어서,
    상기 제어부는 상기 요청에 대응하여 수신된 번역텍스트를 유사한 의미의 텍스트그룹으로 분류하며 상기 분류된 텍스트그룹에 대한 상기 외부서버의 빈도수 및 번역속도 중 적어도 하나에 기초하여 해당 상황요소에 대한 텍스트의 우선번역서버를 결정하는 영상처리장치.
  14. 제13항에 있어서,
    상기 제어부는 상기 우선번역서버를 포함하는 상기 복수의 외부서버로 상기 언어정보에 대하여 번역을 요청하고, 상기 요청에 대응하여 상기 복수의 외부서버로부터 수신된 복수의 번역텍스트 중 가장 빈도수가 많은 텍스트를 상기 우선번역서버의 텍스트로 업데이트하기 위한 제어신호를 상기 우선번역서버로 전송하는 영상처리장치.
  15. 영상처리장치의 제어방법에 있어서,
    언어정보를 포함하는 컨텐츠의 신호를 처리하는 단계와;
    상기 컨텐츠의 언어정보에 대응하는 복수의 번역정보 중에서, 상기 컨텐츠의 적어도 하나의 상황요소에 기초하여 선택된 어느 하나의 번역정보를 상기 컨텐츠의 영상 표시에 대응하여 제공하는 단계를 포함하는 영상처리장치의 제어방법.
  16. 제15항에 있어서,
    상기 상황요소는 상기 컨텐츠의 영상 중 배경 및 등장인물 중 적어도 하나에 대한 정보를 포함하는 영상처리장치의 제어방법.
  17. 제16항에 있어서,
    상기 배경에 대한 정보는 국가, 장소, 시대, 소속 및 특정상황 중 적어도 하나에 대한 정보를 포함하는 영상처리장치의 제어방법.
  18. 제15항에 있어서,
    상기 등장인물은 나이, 직업, 복장, 역할 및 두발 중 적어도 하나에 대한 정보를 포함하는 영상처리장치의 제어방법.
  19. 제15항에 있어서,
    상기 번역정보를 제공하는 단계는,
    상기 컨텐츠의 영상을 표시하기 위한 명령이 수신된 때부터 상기 번역정보가 마련되는 시간에 대응하는 만큼 상기 컨텐츠의 영상을 지연시켜 재생시키는 단계를 포함하는 영상처리장치의 제어방법.
  20. 제19항에 있어서,
    상기 컨텐츠의 영상을 지연시켜 재생시키는 단계는,
    상기 지연시켜 재생되는 상기 컨텐츠의 영상에 대응하여 상기 번역정보를 표시하는 단계를 포함하는 영상처리장치의 제어방법.
  21. 제15항에 있어서,
    네트워크 내에서 상기 언어정보의 번역을 위한 텍스트데이터를 수집하는 단계와;
    상기 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하는 단계를 더 포함하는 영상처리장치의 제어방법.
  22. 제21항에 있어서,
    상기 분류된 관련텍스트그룹 각각에 대응하여 상기 분류된 텍스트데이터를 번역하는 단계를 더 포함하는 영상처리장치의 제어방법.
  23. 제22항에 있어서,
    상기 수집되는 텍스트데이터에 따라 상기 분류되어 저장된 텍스트데이터를 업데이트하는 단계와;
    상기 수신되는 번역성능정보에 따라 상기 번역정보를 업데이트하는 단계를 더 포함하는 영상처리장치의 제어방법.
  24. 제15항에 있어서,
    텍스트를 번역할 있는 복수의 외부서버에 외부번역엔진을 설치하는 단계와;
    상기 외부번역엔진을 실행하는 단계를 더 포함하는 영상처리장치의 제어방법.
  25. 제24항에 있어서,
    상기 외부번역엔진을 실행하는 단계는,
    적어도 하나의 상기 상황요소에 대응하는 텍스트데이터를 수집하는 단계와;
    상기 수집된 텍스트데이터를 관련텍스트그룹으로 분류하여 저장하는 단계와;
    상기 분류된 텍스트데이터를 이용하여 수신되는 상기 컨텐츠의 텍스트를 번역하는 단계를 포함하는 영상처리장치의 제어방법.
  26. 제25항에 있어서,
    상기 외부번역엔진이 설치된 상기 복수의 외부서버로 상기 상황요소의 복수의 텍스트에 대한 번역을 요청하는 단계를 더 포함하는 영상처리장치의 제어방법.
  27. 제26항에 있어서,
    상기 요청에 대응하여 수신된 번역텍스트를 유사한 의미의 텍스트그룹으로 분류하는 단계와;
    상기 분류된 텍스트그룹에 대한 상기 외부서버의 빈도수 및 번역속도 중 적어도 하나에 기초하여 해당 상황요소에 대한 텍스트의 우선번역서버를 결정하는 단계를 더 포함하는 영상처리장치의 제어방법.
  28. 제27항에 있어서,
    상기 우선번역서버를 포함하는 상기 복수의 외부서버로 상기 언어정보에 대하여 번역을 요청하는 단계와;
    상기 요청에 대응하여 상기 복수의 외부서버로부터 수신된 복수의 번역텍스트 중 가장 빈도수가 많은 텍스트를 상기 우선번역서버의 텍스트로 업데이트하기 위한 제어신호를 상기 우선번역서버로 전송하는 단계를 더 포함하는 영상처리장치의 제어방법.
KR1020150124354A 2015-09-02 2015-09-02 영상처리장치 및 그 제어방법 KR102386298B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150124354A KR102386298B1 (ko) 2015-09-02 2015-09-02 영상처리장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150124354A KR102386298B1 (ko) 2015-09-02 2015-09-02 영상처리장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170027563A true KR20170027563A (ko) 2017-03-10
KR102386298B1 KR102386298B1 (ko) 2022-04-14

Family

ID=58410974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124354A KR102386298B1 (ko) 2015-09-02 2015-09-02 영상처리장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102386298B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560511A (zh) * 2020-12-14 2021-03-26 北京奇艺世纪科技有限公司 台词翻译方法、装置及翻译模型训练方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078528A (ja) * 2002-08-16 2004-03-11 Canon Inc 翻訳システム
KR20150019931A (ko) * 2013-08-16 2015-02-25 삼성전자주식회사 디스플레이장치 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078528A (ja) * 2002-08-16 2004-03-11 Canon Inc 翻訳システム
KR20150019931A (ko) * 2013-08-16 2015-02-25 삼성전자주식회사 디스플레이장치 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560511A (zh) * 2020-12-14 2021-03-26 北京奇艺世纪科技有限公司 台词翻译方法、装置及翻译模型训练方法、装置
CN112560511B (zh) * 2020-12-14 2024-04-23 北京奇艺世纪科技有限公司 台词翻译方法、装置及翻译模型训练方法、装置

Also Published As

Publication number Publication date
KR102386298B1 (ko) 2022-04-14

Similar Documents

Publication Publication Date Title
US11854570B2 (en) Electronic device providing response to voice input, and method and computer readable medium thereof
US11700409B2 (en) Server and method for controlling server
CN108391149B (zh) 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
US9520133B2 (en) Display apparatus and method for controlling the display apparatus
EP2757465A2 (en) Image processing apparatus, control method thereof, and image processing system
US20140195230A1 (en) Display apparatus and method for controlling the same
US20140195244A1 (en) Display apparatus and method of controlling display apparatus
US8838456B2 (en) Image processing apparatus and control method thereof and image processing system
JP7214845B2 (ja) ディスプレイ装置及びその制御方法
US20120116748A1 (en) Voice Recognition and Feedback System
KR20170027563A (ko) 영상처리장치 및 그 제어방법
KR20120083104A (ko) 멀티미디어 장치의 음성인식을 통한 텍스트 입력 방법 및 그에 따른 멀티미디어 장치
KR101877430B1 (ko) 영상처리장치 및 그 제어방법, 영상처리 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right