KR101329065B1 - 영상 시스템에서 영상 데이터 제공 장치 및 방법 - Google Patents

영상 시스템에서 영상 데이터 제공 장치 및 방법 Download PDF

Info

Publication number
KR101329065B1
KR101329065B1 KR1020100029584A KR20100029584A KR101329065B1 KR 101329065 B1 KR101329065 B1 KR 101329065B1 KR 1020100029584 A KR1020100029584 A KR 1020100029584A KR 20100029584 A KR20100029584 A KR 20100029584A KR 101329065 B1 KR101329065 B1 KR 101329065B1
Authority
KR
South Korea
Prior art keywords
text
caption
information
parallax
image
Prior art date
Application number
KR1020100029584A
Other languages
English (en)
Other versions
KR20110109732A (ko
Inventor
정광희
윤국진
이봉호
이광순
이현
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100029584A priority Critical patent/KR101329065B1/ko
Priority to US12/958,857 priority patent/US20110242093A1/en
Publication of KR20110109732A publication Critical patent/KR20110109732A/ko
Application granted granted Critical
Publication of KR101329065B1 publication Critical patent/KR101329065B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은, 3D 영상을 제공하는 영상 시스템에서 사용자의 시청 환경 및 컨텐츠 특성에 따라 자막 및 텍스트 등을 영상 데이터에 삽입하여 제공하는 장치 및 방법에 관한 것으로, 영상 데이터 및 깊이 정보 데이터를 수신하여 스테레오스코픽(stereoscopic) 영상 데이터를 생성하는 입체 영상 생성부와, 상기 스테레오스코픽 영상 데이터로부터 3D 영상의 시차 정보를 분석하고, 상기 분석한 시차 정보를 단계 별로 구분하여 시차 단계 정보를 결정하는 시차 계산부와, 상기 시차 단계 정보를 적용하여 자막 및 텍스트를 생성하고, 상기 생성한 자막 및 텍스트의 위치 정보를 생성하는 자막 및 텍스트 발생부, 및 상기 자막 및 텍스트의 위치 정보를 통해 상기 스테레오스코픽 영상 데이터에 상기 자막 및 텍스트를 삽입하여 3D 영상 데이터를 제공하는 영상 합성부를 포함한다.

Description

영상 시스템에서 영상 데이터 제공 장치 및 방법{Apparatus and method for providing image data in an image system}
본 발명은 영상 시스템에 관한 것으로서, 특히 3D 영상을 제공하는 영상 시스템에서 사용자의 시청 환경 및 컨텐츠 특성에 따라 자막 및 텍스트 등을 영상 데이터에 삽입하여 제공하는 장치 및 방법에 관한 것이다.
본 발명은 방송통신위원회의 IT원천기술개발의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-02, 과제명: 차세대DTV핵심기술개발(표준화연계)-무안경개인형3D방송기술개발(계속)].
현재 영상 시스템에서 3D 영상에 대한 관심이 증대되고 있으며, 다양한 형태의 3D 영상을 사용자에게 제공하기 위한 연구가 활발하게 진행되고 있다. 여기서, 3D 영상, 예컨대 입체 영상은 깊이 정보를 이용하여 영상의 일부가 화면으로부터 튀어나오는 느낌을 사용자가 느끼도록 구성된 영상으로, 여기서 상기 깊이 정보는 2D 영상의 한 지점을 기준으로 다른 지점의 대상의 원근 정보를 의미한다. 이러한 깊이 정보를 이용하여 2차원 영상을 3차원 영상으로 표현할 수 있으며, 사용자에게 다양한 시점을 제공하여 현실감을 느끼도록 3D 영상을 생성한다.
이렇게 사용자에게 3D 영상 제공시 보다 현실감 있는 3D 영상을 시청할 수 있도록 하기 위한 방안들이 제안되고 있으며, 아울러 사용자의 시청 환경 및 컨텐츠 특성에 따라 자막 및 텍스트 등을 3D 영상에 삽입하여 사용자에게 제공하기 위한 방안들이 제안되고 있다. 특히, 3D 영상에 자막 및 텍스트 등을 삽입하여 제공하기 위한 방안으로, 3D 영상에서 깊이 정보에 해당하는 깊이 영상의 최대 깊이 값을 이용하여 자막 및 텍스트를 3D 영상에서 가장 앞부분으로 돌출시켜 3D 영상을 사용자에게 제공하는 방안이 제안되었다.
하지만, 전술한 바와 같은 방안의 경우, 3D 영상에서의 최대 깊이 값을 이용함으로, 컨텐츠의 특성에 따라 3D 영상을 시청하는 사용자의 피로감을 유발할 수 있으며, 또한 깊이 정보가 없는 3D 영상에 대해서는 적용이 불가능한 문제점이 있다. 아울러, 전술한 방안은, 3D 영상의 경우 3D 영상을 시청하는 사용자의 인지 특성에 따라 사용자들 별로 각각 3D 영상에서 서로 다른 깊이감을 느끼게 됨으로, 3D 영상을 시청하는 사용자의 특성, 예컨대 사용자의 시청 환경 및 컨텐츠의 특성 등에 따라 선택적으로 3D 영상을 시청하도록 한 3D 영상 제공 방안이 필요하다.
따라서, 본 발명의 목적은 영상 시스템에서 영상 데이터를 사용자에게 제공하기 위한 영상 데이터 제공 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 영상 시스템에서 사용자의 시청 환경 및 컨텐츠 특성에 따라 자막 및 텍스트 등을 영상 데이터에 삽입하여 제공하는 영상 데이터 제공 장치 및 방법을 제공함에 있다.
그리고, 본 발명의 또 다른 목적은, 영상 시스템에서 사용자에 따라 3D 영상에 삽입되는 자막 및 텍스트 등의 깊이감을 변환하여 사용자의 3D 영상 시청시 눈의 피로를 줄이면서 3D 영상의 중요한 특징을 시청 가능하도록 하는 영상 데이터 제공 장치 및 방법을 제공함에 있다.
상기한 목적들을 달성하기 위한 본 발명의 장치는, 영상 시스템에서 영상 데이터 제공 장치에 있어서, 영상 데이터 및 깊이 정보 데이터를 수신하여 스테레오스코픽(stereoscopic) 영상 데이터를 생성하는 입체 영상 생성부; 상기 스테레오스코픽 영상 데이터로부터 3D 영상의 시차 정보를 분석하고, 상기 분석한 시차 정보를 단계 별로 구분하여 시차 단계 정보를 결정하는 시차 계산부; 상기 시차 단계 정보를 적용하여 자막 및 텍스트를 생성하고, 상기 생성한 자막 및 텍스트의 위치 정보를 생성하는 자막 및 텍스트 발생부; 및 상기 자막 및 텍스트의 위치 정보를 통해 상기 스테레오스코픽 영상 데이터에 상기 자막 및 텍스트를 삽입하여 3D 영상 데이터를 제공하는 영상 합성부;를 포함한다.
상기한 목적들을 달성하기 위한 본 발명의 방법은, 영상 시스템에서 영상 데이터 제공 방법에 있어서, 좌 시점 영상 데이터 및 우 시점 영상 데이터와, 2D 영상 데이터 및 깊이 정보 데이터를 수신하여 스테레오스코픽(stereoscopic) 영상 데이터를 생성하는 단계; 상기 스테레오스코픽 영상 데이터 및 상기 깊이 정보 데이터로부터 3D 영상의 시차 정보를 분석하고, 상기 분석한 시차 정보를 클러스터링(clustering) 알고리즘을 통해 클러스터링하여 시차 발생 분포에 따라 단계 별로 구분하며, 상기 단계 별 구분을 통해 시차 단계 정보를 결정하는 단계; 상기 시차 단계 정보를 이용하여 상기 3D 영상에 삽입되는 자막 및 텍스트에 시차값을 적용하며, 상기 시차값의 적용을 통해 좌 시점 영상에 해당하는 자막 및 텍스트와, 우 시점 영상에 해당하는 자막 및 텍스트, 및 상기 자막 및 텍스트의 위치 정보를 생성하는 단계; 및 상기 자막 및 텍스트의 위치 정보로 상기 시차 단계 정보의 시차값을 이용하여 상기 스테레오스코픽 영상 데이터에 상기 자막 및 텍스트를 삽입하여 3D 영상 데이터를 제공하는 단계;를 포함한다.
본 발명은, 영상 시스템에서 3D 영상에 사용자의 시청 환경 및 컨텐츠 특성에 따라 자막 및 텍스트 등을 삽입하여 3D 영상을 사용자가 시청 가능하도록 제공할 수 있다. 또한, 본 발명은, 사용자에 따라 3D 영상에 삽입되는 자막 및 텍스트 등의 깊이감을 변환하여 3D 영상에 삽입함으로써, 사용자의 3D 영상 시청시 눈의 피로를 줄이면서 3D 영상의 중요한 특징을 시청 가능하도록 할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 구조를 개략적으로 도시한 도면.
도 2는 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 시차 계산부 구조를 개략적으로 도시한 도면.
도 3 및 도 4는 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 시차 계산부 동작을 개략적으로 도시한 도면.
도 5는 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 동작 과정을 개략적으로 도시한 도면.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명은, 영상 시스템에서 3D 영상을 사용자가 시청 가능하도록 영상 데이터를 제공하는 장치 및 방법을 제안한다. 본 발명의 실시 예에서는, 3D 영상을 제공하는 영상 시스템에서 3D 영상에 사용자의 시청 환경 및 컨텐츠 특성에 따라 자막 및 텍스트 등을 삽입한 영상 데이터를 제공하는 장치 및 방법을 제안한다. 여기서, 본 발명의 실시 예에서는, 3D 영상을 제공하는 영상 시스템에서 사용자에 따라 3D 영상에 삽입되는 자막 및 텍스트 등의 깊이감을 변환하여 사용자의 3D 영상 시청시 눈의 피로를 줄이면서 3D 영상의 중요한 특징을 시청 가능하도록 영상 데이터를 제공한다.
또한, 본 발명의 실시 예에서는, 3D 비디오 영상 및 정지 영상과 같은 3D 컨텐츠 영상을 사용자가 시청할 경우, 3D 영상에 삽입되는 자막 및 텍스트를 사용자의 시청 환경 및 3D 컨텐츠 특성에 적합하도록 선택적 또는 자동적으로 3D 영상에 삽입하여 영상 데이터를 제공한다. 그리고, 본 발명의 실시 예에서는, 깊이 정보를 포함한 3D 영상 생성에도 적용 가능하고, 또한 깊이 정보를 포함하지 않은 스테레오스코픽(stereoscopic) 영상에도 적용 가능할 뿐만 아니라, 아울러 사용자의 선택에 따라 자막 및 텍스트 등의 깊이감을 선택적 또는 자동적으로 변환하여 영상에 삽입함으로써, 자막 및 텍스트 등이 삽입된 영상 데이터를 제공하며, 특히 사용자의 3D 영상 시청시 눈의 피로를 줄이면서 3D 영상의 중요한 특징을 시청 가능하도록 영상 데이터를 제공한다.
여기서, 본 발명의 실시 예에서는, 스테레오스코픽 3D 영상의 경우, 영상 내의 시차를 분석하여 시차 정보를 단계적으로 분할하며, 깊이 영상을 이용한 3D 영상의 경우, 깊이 정보를 클러스터링(clustering)하여 깊이 정보를 단계적으로 분할 하며, 사용자의 선택에 따라 또는 자동적으로 자막 및 텍스트 등의 시차를 결정한 후, 사용자의 시청 환경 및 인지 특성에 적합하도록 영상 데이터를 제공한다. 아울러, 본 발명의 실시 예에서는, 3D 영상 내에서 중요한 정보 혹은 자막 및 텍스트 등의 시차보다 큰 시차를 갖는 오브젝트(object)를 분석한 후, 상기 오브젝트를 자동적으로 회피하도록 하여 3D 영상에 자막 및 텍스트를 삽입할 경우 발생할 수 있는 시청자의 눈의 피로를 감소시키며, 또한 영상의 중요한 특징을 시청 가능하도록 한다.
그리고, 본 발명의 실시 예에서는, 깊이 영상의 최대 깊이값, 또는 최대 시차값을 이용하여 자막 및 텍스트를 3D 영상의 가장 앞부분으로 돌출시켜 삽입할 경우, 최대 깊이값을 이용함으로 컨텐츠의 특성에 따라 사용자의 시청시 피로감을 유발하고, 깊이 정보가 없는 3D 영상에 대해서는 전술한 바와 같은 삽입하는 방식의 적용이 불가능한 문제점을 해결한다. 다시 말해, 본 발명의 실시 예에서는, 전술한 바와 같이 깊이 정보를 포함한 3D 영상 생성에도 적용가능하고, 또한 깊이 정보를 포함하지 않은 스테레오스코픽 영상에도 적용 가능할 뿐만 아니라, 사용자의 선택에 따라 자막 및 텍스트의 깊이감을 선택적 또는 자동적으로 변환하여 영상에 삽입함으로써, 이렇게 자막 및 텍스트가 삽입된 영상 데이터를 제공하여 과도한 시차를 갖는 자막 및 텍스트의 시청으로 인한 사용자의 피로를 감소시킨다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치를 보다 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 구조를 개략적으로 도시한 도면이다.
도 1을 참조하면, 상기 영상 데이터 제공 장치는, 다양한 형태의 영상 데이터를 수신하여 입체 영상 데이터를 생성하는 입체 영상 생성부(110), 상기 생성된 입체 영상 데이터에 해당하는 입체 영상, 즉 3D 영상의 시차 정보를 분석하는 시차 계산부(120), 상기 시차 정보를 이용하여 상기 입체 영상에 삽입되는 자막 및 텍스트를 생성하는 자막 및 텍스트 발생부(130), 상기 입체 영상에 자막 및 텍스트를 삽입하는 영상 합성부(140), 및 상기 자막 및 텍스트가 삽입된 입체 영상, 즉 3D 영상 데이터를 제공받아 3D 영상을 표시하는 표시부(150)를 포함한다.
여기서, 상기 영상 데이터 제공 장치에 입력되는 입력 신호는 좌, 우 시점 영상을 이용하는 경우, 좌 시점 영상 데이터, 우 시점 영상 데이터를 이용하여 생성되는 스테레오스코픽 영상 데이터가 되며, 또한 2D 영상 데이터와 깊이 정보(예컨대, 깊이 영상)를 이용하는 경우 깊이 정보 데이터가 된다. 또한, 본 발명의 실시 예에서는, 상기 영상 데이터 제공 장치에 전술한 바와 같은 입력 신호가 입력되면 일반적인 3D 영상 데이터 생성 방식을 통해 3D 영상 데이터를 처리한다. 그리고, 본 발명의 실시 예에 따른 영상 데이터 제공 장치는, 3D 방송 및 3D 영상과 관련된 모든 분야에 적용이 가능하며 송신 시스템에 구현되어 적용될 수도 있고 자막 및 텍스트 정보의 전송이 가능한 시스템에서는 수신 단말에 구현되어 적용될 수도 있다.
상기 입체 영상 생성부(110)는, 좌 시점 영상 데이터 및 우 시점 영상 데이터, 또는 2D 영상 데이터 및 깊이 정보 데이터를 이용하여 스테레오스코픽 영상 데이터를 생성한다. 여기서, 상기 입체 영상 생성부(110)은, 좌 시점 영상 및 우 시점 영상 합성 방식과, 깊이 정보를 이용한 입체 영상 생성 방식을 모두 지원하며, 그에 따라 수신한 좌 시점 영상 데이터 및 우 시점 영상 데이터를 합성하여 스테레오스코픽 영상 데이터를 생성하거나, 또는 2D 영상 데이터 및 깊이 정보 데이터를 이용하여 스테레오스코픽 영상 데이터를 생성한다.
상기 시차 계산부(120)는, 상기 입체 영상 생성부(110)에서 생성된 스테레오스코픽 영상 데이터, 또는 상기 깊이 정보 데이터를 수신하고, 상기 스테레오스코픽 영상 데이터, 또는 상기 깊이 정보 데이터로부터 입체 영상의 시차 정보를 분석한 후, 상기 분석한 시차 정보를 단계 별로 구분하여 시차 단계 정보를 결정한다. 여기서, 상기 시차 계산부(120)는, 상기 시차 정보를 시차 발생 분포에 따라 단계 별로 구분하며, 상기 시차 정보의 단계는, 시스템, 또는 사용자 및 시스템 설계자의 요구에 따라 조정될 수 있다.
상기 자막 및 텍스트 발생부(130)는, 상기 시차 계산부(120)에서 구분하여 결정된 시차 단계 정보를 수신하고, 상기 시차 단계 정보를 이용하여 입체 영상에 삽입될 자막 및 텍스트에 시차값을 적용하며, 이러한 시차값의 적용을 통해 좌 시점 영상에 해당하는 자막 및 텍스트와, 우 시점 영상에 해당하는 자막 및 텍스트를 생성한다. 여기서, 상기 시차값은, 상기 시차 단계 정보를 이용하여 상기 자막 및 텍스트 발생부(130)가 자동적으로 설정되거나, 또는 시스템의 설계시 기본적으로 설정한 설정값이 이용될 수 있으며, 3D 단말을 통해 입력되는 사용자의 선택에 의해 조절될 수도 있다.
또한, 상기 자막 및 텍스트 발생부(130)는, 입체 영상에 삽입되는 자막 및 텍스트의 삽입 위치를 지정하며, 또한 상기 시차 계산부(120)에서 분석한 시차 정보에 따라 입체 영상 내의 중요 객체나 정보, 즉 오브젝트를 확인한 후, 상기 오브젝트를 피하여 자막 및 텍스트를 삽입하도록 삽입 위치 정보를 자동적으로 변경한다. 그리고, 상기 자막 및 텍스트 발생부(130)는, 표시부(150), 다시 말해 사용자 단말로부터 사용자의 시청 환경에 따른 자막 및 텍스트 시차 보정 정보를 수신하고, 상기 수신한 자막 및 텍스트 시차 보정 정보를 고려하여 입체 영상에 자막 및 텍스트를 삽입하도록, 자막 및 텍스트를 생성하며 생성한 자막 및 텍스트의 삽입 위치를 지정한다.
상기 영상 합성부(140)는, 상기 입체 영상 생성부(110)에서 생성한 스테레오스코픽 영상에 상기 자막 및 텍스트 발생부(130)에서 생성한 자막 및 텍스트를 삽입하여 합성한다. 여기서, 상기 영상 합성부(140)는, 상기 스테레오스코픽 영상에 합성되는 자막 및 텍스트의 위치 정보로 상기 시차 계산부(120)에서 결정된 시차 단계 정보의 시차값을 이용하여 삽입하며, 이때 단말 요청, 즉 사용자의 요청에 따라 기본 설정 위치 또는 임의의 위치에 삽입하여 합성할 수도 있다.
상기 표시부(150)는, 사용자가 입체 영상을 시청하기 위해 사용하는 단말로서, 상기 영상 합성부(140)로부터 자막 및 텍스트가 삽입된 입체 영상, 즉 3D 영상 데이터를 제공받아 3D 영상을 표시한다. 그러면 여기서, 도 2를 참조하여 본 발명의 실시 예에 따른 영상 데이터 제공 장치의 시차 계산부(120)를 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 시차 계산부 구조를 개략적으로 도시한 도면이다.
도 2를 참조하면, 상기 영상 데이터 제공 장치에서, 입체 영상 생성부(110)의 입체 영상 생성 모듈들(210,220)은, 좌 시점 영상 데이터와 우 시점 영상 데이터, 2D 영상 데이터와 깊이 정보 데이터를 수신한다. 보다 구체적으로 설명하면, 상기 입체 영상 생성 모듈들(210,220)은, 좌 시점 영상 데이터와 우 시점 영상 데이터를 이용하여 스테레오스코픽 영상 데이터를 생성한 후, 상기 생성한 스테레오코픽 영상 데이터를 시차 계산부(120)의 스테레오 영상 시차 분석 모듈(230)과 영상 합성부(270)로 전송한다. 또한, 상기 입체 영상 생성 모듈들(210,220)은, 2D 영상 데이터와 깊이 정보 데이터를 이용하여 스테레오스코픽 영상 데이터를 생성한 후, 상기 생성한 스테레오스코픽 영상 데이터를 영상 합성부(140)로 전송하며, 상기 깊이 정보 데이터는 시차 계산부(120)의 깊이 정보 시차 분석 모듈(240)로 전송된다.
상기 시차 계산부(120)의 스테레오 영상 시차 분석 모듈(230)은, 상기 입체 영상 생성 모듈(210)로부터 스테레오코픽 영상 데이터를 수신하고, 상기 수신한 스테레오코픽 영상 데이터로부터 입체 영상의 시차 정보를 분석한다. 그리고, 상기 시차 계산부(120)의 깊이 정보 시차 분석 모듈(240)은, 상기 깊이 정보 데이터를 수신하고, 상기 수신한 깊이 정보 데이터로부터 입체 영상의 시차 정보를 분석한다.
이렇게 상기 스테레오 영상 시차 분석 모듈(230) 및 상기 깊이 정보 시차 분석 모듈(240)이 입체 영상의 시차 정보를 분석하면, 상기 시차 계산부(120)의 시차 정보 클러스터링(clustering) 모듈(250)은, 상기 분석한 입체 영상의 시차 정보를 수신하고, 상기 분석한 입체 영상의 시차 정보를 클러스터링 알고리즘을 이용하여 단계 별로 구분한다. 이때, 상기 시차 정보 클러스터링 모듈(250)은, 시차 발생 분포에 따라 상기 분석한 입체 영상의 시차 정보를 단계 별로 구분하며, 시스템 성능, 또는 사용자 및 시스템 설계자의 요구에 따라 클러스터링 단계 또는 범위를 조정한다. 그러면 여기서, 도 3 및 도 4를 참조하여 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 시차 계산부(120)의 동작을 보다 구체적으로 설명하기로 한다.
도 3 및 도 4는 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 시차 계산부 동작을 개략적으로 도시한 도면이다.
도 3 및 도 4를 참조하면, 상기 시차 계산부(120)의 스테레오 영상 시차 분석 모듈(230)은, 상기 입체 영상 생성 모듈(210)로부터 스테레오코픽 영상 데이터(300)를 수신하고, 상기 수신한 스테레오코픽 영상 데이터(300)로부터 입체 영상의 시차 정보를 분석하며, 이렇게 최대 시차값(Max)(302)에서 최소 시차값(Min)(304)까지 분석한 입체 영상의 시차 정보(350)를 시차 정보 클러스터링 모듈(250)이 클러스터링 알고리즘을 이용하여 클러스터링한다.
또한, 상기 시차 계산부(120)의 깊이 정보 시차 분석 모듈(240)은, 깊이 정보 데이터(410)를 수신하고, 상기 수신한 깊이 정보 데이터(410)로부터 입체 영상의 시차 정보를 분석(430)하며, 이렇게 분석한 입체 영상의 시차 정보(430)를 시차 정보 클러스터링 모듈(250)이 클러스터링 알고리즘을 이용하여 클러스터링하며, 이러한 클러스터링을 통해 분석한 입체 영상의 시차 정보(430)를 단계 별로 구분하고, 상기 단계 별로 구분된 시차 정보(460)는 자막 및 텍스트 발생부(260)로 전송된다.
여기서, 상기 시차 계산부(120)의 스테레오 영상 시차 분석 모듈(230) 및 깊이 정보 시차 분석 모듈(240)이 분석한 입체 영상의 시차 정보(350,430)는, 넓은 영역으로 다양한 값으로 분포되어 있으며, 상기 시차 계산부(120)의 시차 정보 클러스터링 모듈(250)은 이렇게 분포된 입체 영상의 시차 정보(350,430)의 편차를 클러스터링하여 주요 시차로 단계를 나눔에 따라, 즉 시차 정보 클러스터링 모듈(250)이 스테레오 영상 시차 분석 모듈(230) 및 깊이 정보 시차 분석 모듈(240)의 분석 결과인 시차 정보(350,430)를 클러스터링(460)함에 따라, 자막 및 텍스트 발생부(260)는, 입체 영상을 시청하는 사용자가 인지할 수 있는 단계로 자막 및 텍스트를 삽입할 수 있다.
그리고, 상기 자막 및 텍스트 발생부(260)는, 시차 계산부(120)에서 계산된 시차 단계, 즉 상기 시차 계산부(120)의 시차 정보 클러스터링 모듈(250)의 클러스터링에 따른 시차 단계 정보를 수신하고, 상기 수신한 시차 단계 정보를 이용하여 자막 및 텍스트의 시차를 발생시킨다. 여기서, 상기 자막 및 텍스트 발생부(260)는, 영상 시스템에 기 설정된 위치 정보, 즉 픽셀 정보, 텍스트의 폰트 크기 정보, 및 시차 정보를 이용하여 입체 영상에 삽입될 자막 및 텍스트를 생성한다. 그리고, 상기 자막 및 텍스트 발생부(260)는, 단말인 표시부(280)의 사용자 및 시스템의 요청에 따라 상기 픽셀 정보, 텍스트의 폰트 크기 정보, 및 시차 정보와 같은 자막 및 텍스트의 기본 설정값을 업데이트한다.
또한, 상기 자막 및 텍스트 발생부(260)는, 입체 영상에 삽입될 자막 및 텍스트의 시차가 기 설정된 최대 시차값 이상일 경우, 상기 입체 영상에 삽입될 자막 및 텍스트의 시차를 상기 기 설정된 최대 시차값으로 설정하며, 3D 영상 내에서 기 지정된 중요 오브젝트 부분과, 상기 자막 및 텍스트의 최대 시차값 이상 영역을 회피하여 입체 영상에서 자막 및 텍스트의 삽입 위치를 자동적으로 지정할 수 있다.
상기 영상 합성부(270)는, 상기 자막 및 텍스트 발생부(260)에서 생성한 자막 및 텍스트와, 상기 자막 및 텍스트의 위치 정보를 이용하여 스테레오스코픽 영상과, 자막 및 텍스트를 합성한다.
이렇게 상기 영상 합성부(270)에서 합성되어 생성된 입체 영상은 표시부(280), 즉 단말을 통해 사용자에게 제공되며, 상기 자막 및 텍스트 발생부(260)는, 입체 영상을 시청하는 사용자의 시청 환경에 따른 자막 및 텍스트 시차 보정 정보를 상기 표시부(280)로부터 수신하고, 전술한 바와 같은 입체 영상에 삽입될 자막 및 텍스트의 생성 및 상기 자막 및 텍스트의 삽위 위치 지정시, 상기 수신한 자막 및 텍스트 시차 보정 정보를 고려한다. 즉, 상기 자막 및 텍스트 발생부(260)는, 상기 수신한 자막 및 텍스트 시차 보정 정보를 고려하여 자막 및 텍스트와, 상기 자막 및 텍스트의 위치 정보를 생성한다. 그러면 여기서, 도 5를 참조하여 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 영상 데이터 제공 동작을 보다 구체적으로 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 영상 시스템에서 영상 데이터 제공 장치의 동작 과정을 개략적으로 도시한 도면이다.
도 5를 참조하면, 상기 영상 데이터 제공 장치는, 510단계에서, 좌 시점 영상 데이터와 우 시점 영상 데이터, 또는 2D 영상 데이터와 깊이 정보 데이터를 수신하고, 상기 수신한 좌 시점 영상 데이터와 우 시점 영상 데이터, 또는 2D 영상 데이터와 깊이 정보 데이터를 이용하여 스테레오스코픽 영상 데이터를 생성한다.
그런 다음, 520단계에서, 상기 생성한 스테레오스코픽 영상 데이터, 또는 상기 깊이 정보 데이터로부터 입체 영상의 시차 정보를 분석한 후, 상기 분석한 시차 정보를 단계 별로 구분한다.
다음으로, 530단계에서, 상기 구분하여 결정된 시차 단계 정보를 이용하여 입체 영상에 삽입될 자막 및 텍스트에 시차값을 적용하며, 이러한 시차값의 적용을 통해 좌 시점 영상에 해당하는 자막 및 텍스트와, 우 시점 영상에 해당하는 자막 및 텍스트를 생성하고, 상기 생성한 자막 및 텍스트가 입체 영상에서의 위치를 지정하여 자막 및 텍스트의 위치 정보를 생성한다.
그리고, 540단계에서, 상기 자막 및 텍스트의 위치 정보를 이용하여 스테레오스코픽 영상에 자막 및 텍스를 삽입하여 합성하며, 이렇게 합성한 영상 데이터를 제공하여 사용자가 입체 영상을 시청하도록 한다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 영상 시스템에서 영상 데이터 제공 장치에 있어서,
    영상 데이터 및 깊이 정보 데이터를 수신하여 스테레오스코픽(stereoscopic) 영상 데이터를 생성하는 입체 영상 생성부;
    상기 스테레오스코픽 영상 데이터로부터 3D 영상의 시차 정보를 분석하고, 상기 분석한 시차 정보를 단계 별로 구분하여 시차 단계 정보를 결정하는 시차 계산부;
    상기 시차 단계 정보를 적용하여 자막 및 텍스트를 생성하고, 상기 생성한 자막 및 텍스트의 위치 정보를 생성하는 자막 및 텍스트 발생부; 및
    상기 자막 및 텍스트의 위치 정보를 통해 상기 스테레오스코픽 영상 데이터에 상기 자막 및 텍스트를 삽입하여 3D 영상 데이터를 제공하는 영상 합성부;를 포함하는 것을 특징으로 하는 영상 데이터 제공 장치.
  2. 제1항에 있어서,
    상기 입체 영상 생성부는, 좌 시점 영상 데이터 및 우 시점 영상 데이터를 수신하여 상기 스테레오스코픽 영상 데이터를 생성하는 입체 영상 생성 모듈을 포함하는 것을 특징으로 하는 영상 데이터 제공 장치.
  3. 제2항에 있어서,
    상기 입체 영상 생성 모듈은, 2D 영상 데이터 및 상기 깊이 정보 데이터를 수신하여 상기 스테레오스코픽 영상 데이터를 생성하는 것을 특징으로 하는 영상 데이터 제공 장치.
  4. 제1항에 있어서, 상기 시차 계산부는,
    상기 스테레오스코픽 영상 데이터로부터 상기 3D 영상의 시차 정보를 최대 시차값(Max)에서 최소 시차값(Min)까지 분석하는 스테레오 영상 시차 분석 모듈;
    상기 깊이 정보 데이터로부터 상기 3D 영상의 시차 정보를 분석하는 깊이 정보 시차 분석 모듈; 및
    상기 분석한 시차 정보들을 클러스터링(clustering) 알고리즘을 이용하여 클러스터링하는 시차 정보 클러스터링 모듈;을 포함하는 것을 특징으로 하는 영상 데이터 제공 장치.
  5. 제4항에 있어서,
    상기 시차 정보 클러스터링 모듈은, 상기 시차 정보를 시차 발생 분포에 따라 단계 별로 구분하여 상기 시차 단계 정보를 결정하는 것을 특징으로 하는 영상 데이터 제공 장치.
  6. 제1항에 있어서,
    상기 자막 및 텍스트 발생부는, 상기 시차 단계 정보를 이용하여 상기 3D 영상에 삽입되는 상기 자막 및 텍스트에 시차값을 적용하며, 상기 시차값의 적용을 통해 좌 시점 영상에 해당하는 자막 및 텍스트와, 우 시점 영상에 해당하는 자막 및 텍스트를 생성하는 것을 특징으로 하는 영상 데이터 제공 장치.
  7. 제6항에 있어서,
    상기 시차값은, 상기 시차 단계 정보에 따라 자동적으로 설정되거나, 시스템의 설계시 기본적으로 설정한 설정값이 이용되거나, 또는 상기 3D 영상을 시청하는 사용자의 선택에 따라 조절되는 것을 특징으로 하는 영상 데이터 제공 장치.
  8. 제1항에 있어서,
    상기 자막 및 텍스트 발생부는, 상기 분석한 시차 정보에 따라 상기 입체 영상 내에 기 지정된 오브젝트(object)를 확인하고, 상기 오브젝트를 고려하여 상기 입체 영상에 삽입되는 자막 및 텍스트의 삽입 위치를 지정하는 것을 특징으로 하는 영상 데이터 제공 장치.
  9. 제1항에 있어서,
    상기 자막 및 텍스트 발생부는, 상기 영상 시스템에 설정된 픽셀 정보, 텍스트의 폰트 크기 정보, 및 상기 시차 정보를 이용하여 상기 자막 및 텍스트를 생성하며, 상기 3D 영상을 시청하는 사용자 및 상기 영상 시스템의 요청에 따라 상기 픽셀 정보, 상기 텍스트의 폰트 크기 정보, 및 상기 시차 정보를 업데이트하는 것을 특징으로 하는 영상 데이터 제공 장치.
  10. 제1항에 있어서,
    상기 자막 및 텍스트 발생부는, 상기 시차 단계 정보를 이용하여 상기 자막 및 텍스트의 시차를 발생시키고, 상기 자막 및 텍스트의 시차가 기 설정된 최대 시차값 이상일 경우, 상기 자막 및 텍스트의 시차를 상기 기 설정된 최대 시차값으로 설정하는 것을 특징으로 하는 영상 데이터 제공 장치.
  11. 제10항에 있어서,
    상기 자막 및 텍스트 발생부는, 상기 3D 영상 내에서 기 지정된 오브젝트(object) 부분과, 상기 자막 및 텍스트의 최대 시차값 이상 영역에 상기 자막 및 텍스트의 삽입을 회피하도록 상기 자막 및 텍스트의 위치 정보를 생성하는 것을 특징으로 하는 영상 데이터 제공 장치.
  12. 제1항에 있어서,
    상기 자막 및 텍스트 발생부는, 상기 3D 영상을 시청하는 사용자의 시청 환경에 따른 자막 및 텍스트 시차 보정 정보를 수신하고, 상기 수신한 자막 및 텍스트 시차 보정 정보를 고려하여 상기 자막 및 텍스트와, 상기 자막 및 텍스트의 위치 정보를 생성하는 것을 특징으로 하는 영상 데이터 제공 장치.
  13. 제1항에 있어서,
    상기 영상 합성부는, 상기 자막 및 텍스트의 위치 정보로 상기 시차 단계 정보의 시차값을 이용하여 상기 스테레오스코픽 영상 데이터에 상기 자막 및 텍스트를 삽입하는 것을 특징으로 하는 영상 데이터 제공 장치.
  14. 영상 시스템에서 영상 데이터 제공 방법에 있어서,
    좌 시점 영상 데이터 및 우 시점 영상 데이터와, 2D 영상 데이터 및 깊이 정보 데이터를 수신하여 스테레오스코픽(stereoscopic) 영상 데이터를 생성하는 단계;
    상기 스테레오스코픽 영상 데이터 및 상기 깊이 정보 데이터로부터 3D 영상의 시차 정보를 분석하고, 상기 분석한 시차 정보를 클러스터링(clustering) 알고리즘을 통해 클러스터링하여 시차 발생 분포에 따라 단계 별로 구분하며, 상기 단계 별 구분을 통해 시차 단계 정보를 결정하는 단계;
    상기 시차 단계 정보를 이용하여 상기 3D 영상에 삽입되는 자막 및 텍스트에 시차값을 적용하며, 상기 시차값의 적용을 통해 좌 시점 영상에 해당하는 자막 및 텍스트와, 우 시점 영상에 해당하는 자막 및 텍스트, 및 상기 자막 및 텍스트의 위치 정보를 생성하는 단계; 및
    상기 자막 및 텍스트의 위치 정보로 상기 시차 단계 정보의 시차값을 이용하여 상기 스테레오스코픽 영상 데이터에 상기 자막 및 텍스트를 삽입하여 3D 영상 데이터를 제공하는 단계;를 포함하는 것을 특징으로 하는 영상 데이터 제공 방법.
  15. 제14항에 있어서,
    상기 시차값은, 상기 시차 단계 정보에 따라 자동적으로 설정되거나, 시스템의 설계시 기본적으로 설정한 설정값이 이용되거나, 또는 상기 3D 영상을 시청하는 사용자의 선택에 따라 조절되는 것을 특징으로 하는 영상 데이터 제공 방법.
  16. 제14항에 있어서,
    상기 자막 및 텍스트의 위치 정보를 생성하는 단계는, 상기 분석한 시차 정보에 따라 상기 입체 영상 내에 기 지정된 오브젝트(object)를 확인하고, 상기 오브젝트를 고려하여 상기 입체 영상에 삽입되는 자막 및 텍스트의 삽입 위치를 지정하는 것을 특징으로 하는 영상 데이터 제공 방법.
  17. 제14항에 있어서,
    상기 자막 및 텍스트를 생성하는 단계는, 상기 영상 시스템에 설정된 픽셀 정보, 텍스트의 폰트 크기 정보, 및 상기 시차 정보를 이용하여 상기 자막 및 텍스트를 생성하며, 상기 3D 영상을 시청하는 사용자 및 상기 영상 시스템의 요청에 따라 상기 픽셀 정보, 상기 텍스트의 폰트 크기 정보, 및 상기 시차 정보를 업데이트하는 것을 특징으로 하는 영상 데이터 제공 방법.
  18. 제14항에 있어서,
    상기 자막 및 텍스트의 위치 정보를 생성하는 단계는, 상기 시차 단계 정보를 이용하여 상기 자막 및 텍스트의 시차를 발생시키고, 상기 자막 및 텍스트의 시차가 기 설정된 최대 시차값 이상일 경우, 상기 자막 및 텍스트의 시차를 상기 기 설정된 최대 시차값으로 설정하는 것을 특징으로 하는 영상 데이터 제공 방법.
  19. 제18항에 있어서,
    상기 자막 및 텍스트의 위치 정보를 생성하는 단계는, 상기 3D 영상 내에서 기 지정된 오브젝트(object) 부분과, 상기 자막 및 텍스트의 최대 시차값 이상 영역에 상기 자막 및 텍스트의 삽입을 회피하도록 상기 자막 및 텍스트의 위치 정보를 생성하는 것을 특징으로 하는 영상 데이터 제공 방법.
  20. 제14항에 있어서,
    상기 자막 및 텍스트와, 상기 자막 및 텍스트의 위치 정보를 생성하는 단계는, 상기 3D 영상을 시청하는 사용자의 시청 환경에 따른 자막 및 텍스트 시차 보정 정보를 수신하고, 상기 수신한 자막 및 텍스트 시차 보정 정보를 고려하여 상기 자막 및 텍스트와, 상기 자막 및 텍스트의 위치 정보를 생성하는 것을 특징으로 하는 영상 데이터 제공 방법.
KR1020100029584A 2010-03-31 2010-03-31 영상 시스템에서 영상 데이터 제공 장치 및 방법 KR101329065B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100029584A KR101329065B1 (ko) 2010-03-31 2010-03-31 영상 시스템에서 영상 데이터 제공 장치 및 방법
US12/958,857 US20110242093A1 (en) 2010-03-31 2010-12-02 Apparatus and method for providing image data in image system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100029584A KR101329065B1 (ko) 2010-03-31 2010-03-31 영상 시스템에서 영상 데이터 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110109732A KR20110109732A (ko) 2011-10-06
KR101329065B1 true KR101329065B1 (ko) 2013-11-14

Family

ID=44709096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100029584A KR101329065B1 (ko) 2010-03-31 2010-03-31 영상 시스템에서 영상 데이터 제공 장치 및 방법

Country Status (2)

Country Link
US (1) US20110242093A1 (ko)
KR (1) KR101329065B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2540088A1 (en) * 2010-02-25 2013-01-02 Thomson Licensing Stereoscopic subtitling with disparity estimation and limitation on the temporal variation of disparity
US20120092364A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Presenting two-dimensional elements in three-dimensional stereo applications
JP5804760B2 (ja) * 2011-04-26 2015-11-04 株式会社東芝 画像処理システム及び方法
KR101894092B1 (ko) * 2011-11-09 2018-09-03 엘지디스플레이 주식회사 입체영상 자막처리방법과 이를 이용한 자막처리부
WO2013094329A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像処理装置、方法およびプログラムならびにその記録媒体
US20130222422A1 (en) * 2012-02-29 2013-08-29 Mediatek Inc. Data buffering apparatus capable of alternately transmitting stored partial data of input images merged in one merged image to image/video processing device and related data buffering method
JP2013243585A (ja) * 2012-05-22 2013-12-05 Funai Electric Co Ltd 映像信号処理装置
KR101359450B1 (ko) * 2012-09-17 2014-02-07 송준호 입체폰트 제공방법
CN111225201B (zh) * 2020-01-19 2022-11-15 深圳市商汤科技有限公司 视差校正方法及装置、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080088305A (ko) * 2007-03-29 2008-10-02 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
KR20090025836A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5792064B2 (ja) * 2008-07-25 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 字幕の三次元表示処理
AU2010215135B2 (en) * 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080088305A (ko) * 2007-03-29 2008-10-02 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
KR20090025836A (ko) * 2007-09-07 2009-03-11 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20110242093A1 (en) 2011-10-06
KR20110109732A (ko) 2011-10-06

Similar Documents

Publication Publication Date Title
KR101329065B1 (ko) 영상 시스템에서 영상 데이터 제공 장치 및 방법
Zhu et al. 3D-TV system with depth-image-based rendering: architectures, techniques and challenges
CN103339946B (zh) 用于接收多视图三维广播信号的接收设备和方法
US10154243B2 (en) Method and apparatus for customizing 3-dimensional effects of stereo content
US8930838B2 (en) Display apparatus and display method thereof
US8488869B2 (en) Image processing method and apparatus
KR101310212B1 (ko) 입체 상의 3ｄ 객체를 상대적인 깊이로 삽입하는 방법
TWI444036B (zh) ２ｄ至３ｄ使用者介面內容資料轉換
US20130051659A1 (en) Stereoscopic image processing device and stereoscopic image processing method
US20120188334A1 (en) Generating 3D stereoscopic content from monoscopic video content
CN102204261A (zh) 用于处理输入的三维视频信号的方法和系统
EP2278824A1 (en) Video processing apparatus and video processing method
US20090315981A1 (en) Image processing method and apparatus
CN103024408A (zh) 立体图像转换装置和方法、立体图像输出装置
US8982187B2 (en) System and method of rendering stereoscopic images
EP2434768A2 (en) Display apparatus and method for processing image applied to the same
KR101844232B1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
EP2515544B1 (en) 3D image processing apparatus and method for adjusting 3D effect thereof
EP2629537A2 (en) Display apparatus and method for adjusting three-dimensional effects
US20120086711A1 (en) Method of displaying content list using 3d gui and 3d display apparatus applied to the same
US20110221875A1 (en) Three-dimensional image display apparatus and image processing apparatus
US9547933B2 (en) Display apparatus and display method thereof
CN101990107A (zh) 编码系统及方法、解码系统及方法、显示系统及方法
KR20180010740A (ko) 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법
Jung et al. Caption insertion method for 3D broadcasting service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191031

Year of fee payment: 7