KR20130008569A - 입체 영상을 위한 자막 표시 - Google Patents

입체 영상을 위한 자막 표시 Download PDF

Info

Publication number
KR20130008569A
KR20130008569A KR1020127024777A KR20127024777A KR20130008569A KR 20130008569 A KR20130008569 A KR 20130008569A KR 1020127024777 A KR1020127024777 A KR 1020127024777A KR 20127024777 A KR20127024777 A KR 20127024777A KR 20130008569 A KR20130008569 A KR 20130008569A
Authority
KR
South Korea
Prior art keywords
frame
subtitle
subtitles
eye view
file
Prior art date
Application number
KR1020127024777A
Other languages
English (en)
Inventor
지저스 바콘스-팔라우
조안 야크
로아이 마르완 알-칸지
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130008569A publication Critical patent/KR20130008569A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Abstract

본 발명의 방법, 장치와 시스템은 스페레오스코프 컨텐츠의 프레임 내에서 적절한 자막의 표시를 보장하도록 입체 영상을 위한 자막을 위치시키고 스테레오 자막의 디스패리티를 선택하는 것을 가능케 한다. 일 실시예에서, 본 발명의 개념의 기능은 두 개의 스트림(하나는 좌측 시야를 위해, 하나는 우측 시야를 위해)을 읽음에 의해 또한 수신한 파일 정보에 기반하여 3D 디스플레이 상에서 지원되는 모드(즉, 라인 교차배치, 체스판 패턴)를 사용하여 믹싱함에 의해 그리고 수신한 파일 정보 내의 값을 렌더링함으로써 프레임 내에 자막을 삽입함으로써 스테레오 컨텐츠를 디스플레이할 수 있는 플레이어에 기반하고 있다.

Description

입체 영상을 위한 자막 표시{SUBTITLING FOR STEREOSCOPIC IMAGES}
관련 출원에 대한 상호 참조
본 출원은 2010년 2월 24일 출원된 미국 가출원 번호 61/307,779호의 우선권을 주장한다.
발명의 기술분야
본 발명은 일반적으로 자막에 관한 것이며, 특히 3D 컨텐츠를 위해 자막을 구현하는 방법, 장치 및 시스템에 관한 것이다.
2차원 컨텐츠에 대해서는, 자막은 보통 같은 위치, 예컨대, 프레임 또는 프레임의 시퀀스의 하단에 위치한다. 이에 반하여, 3차원 컨텐츠에 대해서는, 프레임(들) 내의 요소에 따라 자막을 프레임 또는 프레임의 시퀀스의 특정한 영역에 위치시키는 것이 타당하다.
3차원 컨텐츠에 대해 고려할 다른 요소는 3차원 컨텐츠의 디스플레이와 관련된 디스패리티(disparity)이다. 더 특정하여서는, 2차원 컨텐츠에서 양 눈이 동일한 프레임을 받는 반면에, 3차원 컨텐츠에 대해서는 각 눈이 서로 다른 프레임을 받는다. 이러한 경우, 3차원 컨텐츠를 위한 자막은 수평 축 상에서 서로 다른 위치에 렌더링될 수 있다. 수평 위치의 차이를 디스패리티라 한다.
이러한 경우, 제어되고 고려되어야 할 변수가 훨씬 더 많이 있으므로, 3차원 컨텐츠에 대해 자막을 제공하는 것은 2차원 컨텐츠에 대해서보다 훨씬 더 복잡하다.
본 발명의 실시는 입체 컨텐츠에 대해 자막을 제공하는 방법, 장치 및 시스템을 제공함으로써 종래 기술의 단점을 해결한다. 본 발명의 다양한 실시에서, 본 발명의 시스템은 운영자가 입체 영상을 위해 자막을 위치시킬 수 있게 하며 적절한 디스플레이를 보장하기 위해 스테레오 자막의 디스패리티를 선택할 수 있게 한다.
본 발명의 일 실시예에서, 본 발명의 개념의 기능은 두 개의 스트림(하나는 좌측 시야를 위해, 하나는 우측 시야를 위해)을 읽음에 의해 또한 수신한 파일 정보에 기반하여 3D 디스플레이 상에서 지원되는 모드(즉, 라인 교차배치, 체스판 패턴)를 사용하여 실시간으로 스트림을 믹싱함에 의해 스테레오 컨텐츠를 디스플레이할 수 있는 플레이어에 기반하고 있다.
더 특정하여서는, 본 발명의 일 실시예에서, 3차원 컨텐츠 내에 자막을 위치시키기 위한 방법은 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임을 수신하는 단계, 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 상응하는 우안 시야 프레임를 수신하는 단계, 프레임에 삽입될 자막과 자막을 삽입할 프레임 내 적어도 하나의 대응하는 위치를 특정하는 파일 정보를 수신하는 단계 및 수신된 파일 정보 내의 값을 렌더링함으로써 프레임 내에 자막을 삽입하고 수신된 파일 정보 내의 값을 변경함으로써 프레임 내의 자막의 위치를 실시간 조작하는 수단을 제공하는 단계를 포함한다. 방법은 자막이 들어간 적어도 하나의 좌안 시야 프레임을 자막이 들어간 적어도 하나의 우안 시야 프레임과 믹싱하는 단계를 더 포함할 수 있다.
본 발명의 대안적인 실시에서, 3차원 컨텐츠 내에 자막의 위치를 정하기 위한 자막 장비는 프로그램 루틴과 데이터 파일을 저장하기 위한 메모리와 프로그램 루틴을 실행하기 위한 프로세서를 포함한다. 이러한 본 발명의 실시에서 프로세서는, 프로그램 루틴을 실행할 때, 프레임 내로 삽입될 자막과 자막을 삽입할 프레임 내의 적어도 하나의 대응하는 위치를 특정하는 정보를 포함하는 파일 내의 값을 렌더링함으로써 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임과 적어도 하나의 대응하는 우안 시야 프레임 내에 자막을 삽입하는 단계와 파일 내의 값을 변경함으로써 프레임 내의 자막의 위치의 실시간 조작을 수행하는 단계를 수행하도록 설정된다.
본 발명의 대안적 실시에서, 3차원 컨텐츠 내에 자막을 위치시키는 시스템은 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임의 소스, 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 우안 시야 프레임의 소스, 및 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임을 수신하고, 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 우안 시야 프레임을 수신하고, 프레임에 삽입될 자막과 프레임에 자막을 삽입하기 위한 적어도 하나의 대응하는 위치를 특정하며, 수신된 파일 정보 내의 값을 렌더링함으로써 프레임 내의 자막을 삽입하기 위한 또한 수신된 파일 정보의 값을 변경함으로써 프레임 내의 자막의 위치를 실시간 조작하기 위한 자막 장비를 포함한다.
본 발명의 교시는 이하 상세한 설명과 그에 수반하는 도면을 함께 고려함으로써 용이하게 이해될 수 있다,
도 1은 본 발명의 일 실시예에 부합하여 입체 컨텐츠를 위한 자막을 제공하는 시스템의 고수준 블록도;
도 2는 본 발명의 일 실시예에 부합하여 도 1의 시스템에 사용하는데 적합한 그래픽 사용자 인터페이스의 고수준 블록도;
도 3a는 본 발명의 일 실시예에 부합하여 입체 영상의 좌측 시야 및 우측 시야에 삽입된 자막의 대표도;
도 3b는 도 3a의 입체 영상의 좌측 시야 및 우측 시야에 삽입된 자막의 더 상세한 도면;
도 4는 본 발명의 일 실시예에 부합하여 삽입된 자막이 있는 도 3a의 입체 영상을 위한 렌더링 윈도우의 대표도;
도 5는 본 발명의 일 실시예에 부합하여 3차원 컨텐츠 내의 자막을 위치시키기 위한 방법의 흐름도;
도 6은 본 발명의 다양한 실시예의 발명성 있는 방법과 절차를 수행하기 위해 적절한 자막 장비의 실시의 고수준 블록도이다.
도면들은 발명의 개념을 설명하기 위한 목적을 위한 것이며 발명을 설명하기 위한 가능한 유일한 설정이 아님에 주의하여야 한다. 이해를 돕기 위해, 동일한 참조 번호가, 가능한 경우, 도면 사이에서 공통된 동일한 요소를 가리키기 위해 사용되었다.
본 발명은 입체 컨텐츠를 위해 자막을 제공하는 방법, 장치 및 시스템을 유리하게 제공한다. 본 발명이 주로 3차원 컨텐츠를 위해 정보 파일을 사용하여 자막을 제공하는 맥락에서 기술된다 하더라도, 본 발명의 특정 실시는 발명의 범위를 한정하는 것으로 해석되어서는 안된다. 본 발명의 교시를 받은 당업자에 의해 본 발명의 개념이 대체로 어떤 입체 영상 컨텐츠에 및 파일 구조에 더하여 다른 형식으로 자막을 고려하는 정보를 수신하는데 적용될 수 있음이 이해될 것이다.
도면에 도시된 다양한 구성요소의 기능은 전용 하드웨어뿐만 아니라 적절할 소프트웨어와 연동하여 소프트웨어를 실행할 수 있는 하드웨어를 사용해서도 제공될 수 있다. 프로세서에 의해 제공될 경우, 기능은 단일한 전용 프로세서에 의해, 단일한 공유 프로세서에 의해, 또는 그 중 일부가 공유될 수 있는 복수의 독립된 프로세서에 의해 제공될 수 있다. 이에 더하여, "프로세서" 또는 "컨트롤러"와 같은 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭한다고 이해되어서는 안되며, 묵시적으로 디지털 신호 프로세서(digital signal processor, "DSP") 하드웨어, 소프트웨어를 저장하는 읽기 전용 메모리(read-only memory, "ROM"), 램("RAM"), 그리고 비휘발성 저장장치를, 제한 없이, 포함할 수 있다. 이에 더하여 여기 본 발명의 원리, 측면 및 실시를 기술하는 모든 명제는, 그에 따른 특정 예와 더불어, 그에 따른 구조적인 그리고 기능적인 균등물 모두를 포괄하도록 의도되었다. 이에 더하여, 그러한 균등물은 현재 알려진 균등물과 미래에 개발될 균등물(즉, 구조를 불문하고 같은 기능을 수행하는 개발된 임의의 구성요소)을 모두 포함하도록 의도되었다.
따라서, 예컨대, 여기 개시된 블록도가 본 발명의 원리를 실시하는 예시적인 시스템 구성부분 그리고/또는 회로의 개념적인 도해를 제공한다는 점이 당업자에 의해 이해될 것이다. 유사하게, 어떤 흐름도, 흐름표, 상태전환도, 슈도코드 및 그와 유사한 것이 컴퓨터로 읽을 수 있는 매체에 실질적으로 표현될 수 있는 또한 컴퓨터 또는 프로세서가 명시적으로 도시되었는지를 불문하고 그러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 표현한다는 점이 이해되어야 한다.
위에서 언급된 대로, 3차원(3D) 컨텐츠와 같은 입체 컨텐츠에 자막을 더하는 것은 2차원 컨텐츠에 자막을 더하는 것 보다 훨씬 복잡하다. 예컨대, 3D 컨텐츠에 대해서는, 자막을 자막이 가려지지 않는 프레임 내의 요소/객체에 따라서 프레임 또는 프레임의 시퀀스의 특정한 영역에 배치하는 것이 타당하다. 이에 더하여, 3D 컨텐츠에 대해서는, 3D 컨텐츠를 디스플레이하는데 관련된 디스패리티가 고려되어야 한다. 이에 따라, 3차원 컨텐츠에 대한 자막은 수평 축 상에서 다른 위치에 렌더링될 수 있다.
도 1은 본 발명의 실시에 부합하여 입체(3D) 컨텐츠에 대해 자막을 제공하기 위한 시스템(100)의 고수준 블록도를 도시한다. 도 1의 시스템(100)은 3D 컨텐츠의 좌안 시야의 소스(105)와 우안 시야의 소스(110)를 설명적으로 포함한다. 도 1의 시스템(100)은 스테레오 자막 장비(115), 믹서(125) 및 입체(3D) 영상을 렌더링하기 위한 렌더러(130)를 더 포함한다.
도 1의 시스템(100)에서, 좌안 시야 소스(105)와 우안 시야 소스(110)로부터의 컨텐츠는 스테레오 자막 장비(115)를 통해 믹서(125)로 통신된다. 본 발명의 일 실시예에서, 도 1의 시스템(100)의 믹서(125)는 예컨대, 교차배치된 라인이나 체스판 패턴과 같은 3D 디스플레이 상에서 제공되는 모드를 사용하여 두 소스 (105, 110)으로부터의 컨텐츠를 믹싱할 수 있다.
도 1의 시스템(100)에 도시된 대로, 스테레오 자막 장비(115)는 입체(3D) 영상에 삽입될 자막과 관련된 정보를 포함하는 정보 파일(예컨대 텍스트 파일)과 함께 좌안 시야 소스(105) 및 우안 시야 소스(110)로부터의 컨텐츠를 수신한다. 본 발명의 일 실시예에서, 스테레오 자막 장비(115)와 통신한 정보 파일은 다음과 같은 정보를 포함할 수 있다:
자막 이미지 파일 (예컨대 TIFF 파일).
타임스탬프 (시작과 종료).
위치 (X, Y).
디스패리티(Z).
즉, 본 발명의 일 실시예에서, 스테레오 자막 장비는 입체 영상 및 자막과 자막(들)이 삽입될 수신된 입체 영상 내의 위치에 관한 정보를 수신한다. 수신된 정보를 입체 이미지에 관한 디스패리티 정보를 더 포함한다. 본 발명의 일 실시예에서, 수신된 정보는 제어 파일의 형태를 가지며 입체 영상과 함께 통신된다. 본 발명의 대안적인 실시예에서, 제어 정보는 메타데이터로서 입체 영상 내에서 통신된다. 본 발명의 대안적인 실시예에서, 이러한 제어 정보는, 본 발명의 스테레오 자막 장비가 입체 영상을 수신할 때, 저장된 제어 정보 파일 중에 수신된 입체 컨텐츠에 적용되도록 의도된 데이터가 있는지 여부를 결정하기 위해 저장된 정보가 수신된 영상을 특정하는 정보와 비교될 수 있도록 국지적 또는 원격 저장 매체 또는 장비에 저장될 수 있다.
본 발명의 실시의 개념에 부합하여, 본 발명의 스테레오 자막 장비는 수신된 입체 영상 내에 자막을 위치시키기 위해 수신된 제어 파일 정보를 이용한다. 본 발명의 일 실시예에서, 제어 파일 정보는 이전에 자막이 삽입된 적이 없는 입체 영상 내에 최초로 자막을 위치시키는데 사용될 수 있거나, 본 발명의 더 대안적인 일 실시예에서, 수신된 제어 파일 정보는 수신된 입체 이미지 내에 이미 존재하는 자막의 위치를 조정하는 데에 이용될 수 있다. 예컨대, 도 1의 시스템(100)에서, 스테레오 자막 장비(115)는 수신된 제어 파일과, 설명적으로, 자막(들)을 포함하는 TIFF 영상 파일을 읽고 적절한 위치와 디스패리티로 초기와 마지막 타임스탬프 사이의 모든 프레임에 대해 자막을 렌더링한다.
도 6은 본 발명의 다양한 실시의 창의적 방법과 프로세스를 실행하는데 적합한 자막 장비(115)의 실시예의 고수준 블록도를 도시한다. 더 특정하여서는, 도 6의 자막 장비(115)는 프로세서(610)뿐 아니라 제어 프로그램, 파일 정보, 저장된 미디어, 기타 유사한 것을 위한 메모리(620)를 설명적으로 포함한다. 자막 장비(115)는 전원 공급장치, 클럭 회로, 캐쉬 메모리 및 그와 유사한 것들과 같은 통상적인 지원 회로(630)뿐 아니라 메모리(620)에 저장된 소프트웨어 루틴의 실행을 지원하는 회로와 함께 작동한다. 이에 따라, 여기 소프트웨어 프로세스로서 논의된 프로세스 단계의 일부가 하드웨어 내에, 예컨대 다양한 단계를 수행하기 위해 자막 장비(115)와 함께 작동하는 회로로서 구현될 수 있음이 이해된다. 자막 장비(115)는 또한 믹서, 디스플레이, 컨텐츠 소스 및 유사한 것들과 같이 자막 장비(115)와 통신하는 다양한 기능적 요소 사이의 인터페이스를 형성하는 입출력 회로(640)를 포함한다.
다시, 도 6의 자막 장비(115)가 본 발명과 부합하여 다양한 제어 기능을 수행하도록 프로그램된 범용 컴퓨터로서 도시되어 있더라도, 본 발명은 예컨대, 응용 특화 집적회로(application specified integrated circuit, ASIC)로서 하드웨어 내에 구현될 수 있다. 이에 따라, 여기 기술된 프로세스 단계는 소프트웨어, 하드웨어 또는 그 조합에 의해 동등하게 수행될 수 있는 것으로 넓게 해석되도록 의도되었다.
본 발명의 개념은 운영자/사용자가 정보/제어 파일 내의 값을 조작함으로써 실시간에 자막의 위치와 디스패리티를 조작할 수 있게 한다. 본 발명의 개념에 부합하는 이러한 응용은, 운영자/사용자가 정보 파일의 값의 변화가 입체 영상내 자막의 최종 결과에 어떻게 영향을 미치는지 즉시 볼 수 있기 때문에, 입체 컨텐츠에 대해 자막의 위치와 외양에 있어 더 나은 결과를 얻으며 이전의 3D 컨텐츠에 자막을 삽입하는 기법에 비해 더 빠른 처리를 야기한다.
예컨대, 도 2는 본 발명의 실시예와 부합하여 도 1의 시스템(100) 내의 자막 장비(115)와 사용하기에 적합한 그래픽 사용자 인터페이스(graphical user interface, GUI)의 고수준 도면을 도시한다. 도 2에 도시된 대로, 본 발명의 실시예와 부합하는 GUI는 로드할 파일을 지정하는 브라우저, 자막을 위한 좌우 위치 표시자, 좌우 위치의 오프셋을 정하기 위한 상하 버튼, 전역(global) 오프셋 표시자와 x, y, z 조정 버튼, 출력 파일의 이름을 지정하기 위한 텍스트 바, 시간과 파일 이름 표시자, 및 타임코드 표시자와 큐(cue) 버튼을 포함할 수 있다. 본 발명의 실시예와 부합하여, z 조정이 프레임 내 자막의 디스패리티 또는 위치를 조정하기 위해 사용된다.
도 2의 GUI는 플레이/일시정지, 앞으로 감기와 뒤로 감기 버튼을 포함하는 재생 뷰포트를 설명적으로 더 포함한다. 도 2의 GUI의 뷰포트 영역은 x 및 y 미세 조정 오프셋 버튼과 표시자를 더 포함한다. 대상 자막의 재생은 루프로 재생하도록 설정될 수 있고 또는 대응하는 버튼을 사용하여 이전 또는 후속 자막이 선택될 수 있다. 도 2에 도시된 대로, 도 2의 GUI의 다른 영역에서, 사용자는 자막에 대한 안전 영역의 경계를 선택적으로 설정할 수 있다.
더 특정하여서, 본 발명의 일 실시예에서, 안전 자막 영역은 입체 컨텐츠의 프레임상에서 설정될 수 있다. 이러한 영역이 예컨대, 도 2의 GUI를 사용하여, 지정될 경우 그 영역 내부의 요소만이 어떤 준수하는 디스플레이 상에서도 렌더링됨이 보장된다. 예컨대, 본 발명의 일 실시예에서, 안전 자막 영역 내의 요소는 프레임의 어떤 다른 객체 위에도 렌더링되어 자막이 다른 객체에 의해 가려지지 않도록 보장된다. 이에 따라서, 본 발명과 부합하는 이러한 능력은 사용자/운영자에게 한정된 영역 내의 자막이 완전히 렌더링될 것임을 보장하는데 유용하다. 컨텐츠가 스테레오 컨텐츠이기 때문에 "안전 자막 영역"은 자막의 시야를 가릴 수 있는 장면 상의 객체 앞에 있기 위해서 특정한 디스패리티로 렌더링되어야 함에 주의하여야 한다. 이러한 디스패리티 값은 도 2의 GUI를 사용하여 선택될 수 있다.
도 2에 도시된 대로, 본 발명의 GUI는 자막에 대해 코멘트를 삽입하기 위한 코멘트 섹션을 더 포함할 수 있다. 본 발명의 일 실시예에서, 코멘트는 GUI 상에 디스플레이되며 제어기 파일 정보와 함께 저장된다. 이에 더하여, 본 발명의 개념은 실행 중에 3D 렌더링 모드를 바꾸어 (즉, 라인 교차배치 모드로부터 체스판 패턴으로), 다른 디스플레이/포맷을 사용하여 자막을 디스플레이하는 것이 가능하도록 사용될 수 있다.
이에 더하여, 컨텐츠의 프레임 크기가 렌더링 윈도우보다 클 때 (예, 2048×1200 과 1920×1080), 뷰포트 하의 컨텐츠만이 렌더링될 수 있다. 본 발명의 일 실시예에서 사용자는 실시간으로 뷰포트를 바꿀 수 있다. 본 발명의 일 예시적 실시에서, 시야의 변화(즉, 라인-교차배치 모드를 사용할 때, 시야의 변화는 스크린상의 디스패리티를 역전하게 될 것이다)를 피하기 위해 수직 축 상의 모션 입상도(granularity)는 2픽셀이다.
본 발명의 다양한 실시에 부합하여, 본 발명의 스테레오 자막 장비(115) 는, 도 2의 GUI의 예를 통해, 다음과 같은 기능을 포함할 수 있다:
● 입체 영상 간의 디스패리티를 결정하거나 알림으로써 자막의 디스패리티와 위치를 자동으로 추정.
● "안전 자막" 영역의 디스패리티를 자동으로 추정.
● 어떤 디스패리티와 위치가 문제(즉, 객체 뒤에 렌더링된 자막, 어떤 임계치보다 높은 디스패리티로 렌러딩된 자막…)를 야기할 수 있는지 자막의 운영자에게 알림.
● 타임스탬프와 오디오의 불일치에 관해 (오디오 처리을 사용하여) 운영자에게 알리고 새로운 타임스탬프를 추천.
본 발명의 일 실시예에서, 스테레오 자막 장비(115)에 의해 결정되고 수신된 정보는 디스플레이를 위해 입체 영상과 자막을 처리하기 위해 믹서(125) 그리고/또는 렌더러(renderer)(130)로 통신된다.
도 1의 시스템 내에서 스테레오 자막 장비(115)가 설명적으로 시스템(100)내의 분리된 구성 장치라 하더라도, 본 발명의 대안적 실시에서, 스테레오 자막 장비(115)는 믹서(125) 또는 렌더러(130)의 통합된 구성 장치일 수 있다.
도 3a는 본 발명의 실시예에 부합하여 입체 영상의 좌측 및 우측 시야에 삽입된 자막의 대표도를 도시한다. 더 특정하여서, 도 3a에 도시된 대로, 본 발명의 스테레오 자막 장비(115)는 적절한 디스플레이를 위해 입체 영상의 좌측 및 우측 영상 내에 자막을 삽입하고 위치시키도록 구현된다.
도 3b는 도 3a의 입체 영상의 좌측 및 우측 시야 내에 삽입된 자막의 더 상세한 도면을 도시한다. 도 3b에 도시된 대로, 삽입된 자막은 스테레오 자막 장비(115)와 도 1의 시스템(100)의 구성 장치들에 의해 가능해진 자막의 위치 및 디스패리티의 조작에 힘입어 입체 영상 내에 정확히 표시된다.
도 4는 본 발명의 일 실시예에 부합하여 자막이 삽입된 도 3a의 입체 이미지를 위한 렌더링 윈도우의 대표도를 도시한다. 더 특정하여서는, 도 4는 지시된 "안전 자막" 영역 내의 프레임 내에 삽입된 자막을 가지는 입체 영상의 프레임을 도시한다. 상술한 대로, 안전 자막 영역 내의 자막은 어떤 준수하는 디스플레이 상에서도 렌더링됨이 보장된다.
도 5는 본 발명의 실시예와 부합하여 3차원 콘텐츠 내에 자막을 위치시키는 방법의 흐름도이다. 방법(500)은 자막이 삽입되는 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임과 적어도 하나의 우안 시야 프레임이 수신되는 단계(502)에서 시작한다. 방법(500)은 다음 단계(504)로 진행한다.
단계(504)에서, 프레임에 삽입될 자막을 특정하는 파일 정보와 자막을 삽입하기 위한 프레임 내의 적어도 하나의 대응하는 위치가 수신된다. 방법(500)은 다음 단계(506)로 진행한다.
단계(506)에서, 수신된 파일 정보 내의 값을 렌더링함에 의해 프레임 내의 자막을 삽입하기 위한 그리고 수신된 파일 정보 내의 값을 변경함으로서 프레임 내의 자막의 위치를 실시간 조작하기 위한 수단이 제공된다. 방법(500)은 다음 종료할 수 있다.
본 발명의 개념에 부합하여, 사용자는 예컨대 제어기 파일 내의 모든 자막의 위치와 디스패리티를 변경하기 위해 예컨대 도 2의 GUI를 사용하여 제어 파일 정보에 적용되도록 오프셋을 선택적으로 설정할 수 있다. 이러한 기능은 같은 컨텐츠의 서로 다른 버전(즉, 서로 다른 해상도)이 있고 자막이 모든 버전에 적용되어야 할 경우 특히 유용하다.
입체 컨텐츠를 위해 자막을 제공하는 방법, 장치 및 시스템을 위한 (설명적이며 한정적이지 않도록 의도된) 다양한 실시를 기술하였으나, 상술한 교시에 비추어 당업자에 의해 개조와 변용이 가능할 수 있음이 주목된다. 따라서 본 발명의 범위와 정신 내의 개시된 발명의 특정한 실시에 대해 변화가 가능함이 이해되어야 한다. 상술한 사항이 본 발명의 다양한 실시예를 지정함에도 불구하고, 본 발명의 다른 그리고 더 나아간 실시가 기본적인 발명의 범주를 벗어나지 않고서 고안될 수 있다.

Claims (15)

  1. 자막이 삽입될 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임을 수신하는 단계;
    자막이 삽입될 상기 3차원 컨텐츠의 적어도 하나의 우안 시야 프레임을 수신하는 단계;
    상기 프레임에 삽입될 자막 및 자막을 삽입하기 위한 프레임 내의 적어도 하나의 대응되는 위치를 특정하는 파일 정보를 수신하는 단계; 및
    상기 수신된 파일 정보 내의 값을 렌더링함으로써 상기 프레임 내에 자막을 삽입하고 및 상기 수신된 파일 정보 내의 값을 변경함으로써 상기 프레임 내의 상기 자막의 위치를 실시간 조작하기 위한 수단을 제공하는 단계를 포함하는 3차원 컨텐츠 내에 자막을 위치시키는 방법.
  2. 제1항에 있어서, 상기 방법이 상기 자막이 붙은 적어도 하나의 좌안 시야 프레임과 상기 자막이 붙은 적어도 하나의 우안 시야 프레임을 믹싱하는 단계를 더 포함하는 것인 방법.
  3. 제2항에 있어서, 상기 프레임은 라인 교차 배치와 체스판 패턴 중 적어도 하나를 사용하여 믹싱된 것인 방법.
  4. 제1항에 있어서, 상기 방법은 상기 자막이 붙은 3차원 컨텐츠를 렌더링하는 단계를 더 포함하는 것인 방법.
  5. 제1항에 있어서, 상기 파일 정보는 상기 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임과 적어도 하나의 우안 시야 프레임 중 적어도 하나와 통신한 메타데이터를 포함하는 것인 방법.
  6. 제1항에 있어서, 상기 파일 정보는 상기 삽입하기 위한 수단에게 접근가능한 저장 수단에 저장되는 것인 방법.
  7. 프로그램 루틴과 데이터 파일을 저장하는 메모리; 및
    상기 프로그램 루틴을 실행할 때, 프레임에 삽입할 자막 및 자막을 삽입하기 위한 상기 프레임 내의 적어도 하나의 대응하는 위치를 식별하는 정보를 포함하는 파일 내의 값을 렌더링함으로써 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임과 적어도 하나의 대응하는 우안 시야 프레임 내에 자막을 삽입하는 단계; 및 상기 파일 내의 값을 변경함으로써 상기 프레임 내의 상기 자막의 상기 위치의 실시간 조작을 수행하는 단계를 수행하도록 설정된 상기 프로그램 루틴을 실행하는 프로세서를 포함하는, 3차원 컨텐츠 내에 자막을 위치시키는 자막 장비.
  8. 제7항에 있어서, 상기 파일은 상기 자막 장비의 상기 메모리 내에 저장된 것인 자막 장비.
  9. 제7항에 있어서, 상기 파일은 상기 3차원 컨텐츠와 통신한 메타데이터로서 수신된 것인 자막 장비.
  10. 제7항에 있어서, 상기 자막 장비는 상기 자막의 삽입 및 상기 3차원 컨텐트의 상기 프레임 내의 상기 자막의 상기 위치의 실시간 조작을 가능하게 하기 위한 그래픽 사용자 인터페이스를 포함하는 것인 자막 장비.
  11. 제7항에 있어서, 사용자로 하여금 상기 수신된 파일 내의 값을 변경하는 것을 가능케 하는 사용자 인터페이스를 더 포함하는 것인 자막 장비.
  12. 자막이 삽입되는 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임의 소스;
    자막이 삽입되는 상기 3차원 컨텐츠의 적어도 하나의 우안 시야 프레임의 소스; 및
    자막이 삽입되는 상기 3차원 컨텐츠의 적어도 하나의 좌안 시야 프레임을 수신하고; 자막이 삽입되는 상기 3차원 컨텐츠의 적어도 하나의 우안 시야 프레임을 수신하고; 상기 프레임에 삽입될 자막 및 상기 자막을 삽입하기 위한 상기 프레임 내의 적어도 하나의 대응하는 위치를 특정하는 정보를 포함하는 파일을 수신하며; 상기 수신된 파일 내의 값을 렌더링함으로써 상기 프레임 내에 자막을 삽입하기 위한, 그리고 상기 수신된 파일 내의 값을 변경함으로써 상기 프레임 내의 상기 자막의 상기 위치를 실시간 조작하기 위한 자막 장비를 포함하는, 3차원 컨텐츠 내에 자막을 위치시키기 위한 시스템.
  13. 제12항에 있어서, 자막이 붙은 적어도 하나의 좌안 시야 프레임 및 대응하는 자막이 붙은 적어도 하나의 우안 시야 프레임을 믹싱하기 위한 믹서를 더 포함하는 시스템.
  14. 제12항에 있어서, 상기 자막이 붙은, 3차원 컨텐츠를 렌더링하기 위한 렌더링 장비를 더 포함하는 시스템.
  15. 제12항에 있어서, 사용자가 상기 수신된 파일 내의 값을 변경하는 것을 가능하도록 하기 위한 사용자 인터페이스를 더 포함하는 시스템.
KR1020127024777A 2010-02-24 2010-12-13 입체 영상을 위한 자막 표시 KR20130008569A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30777910P 2010-02-24 2010-02-24
US61/307,779 2010-02-24
PCT/US2010/003150 WO2011105992A1 (en) 2010-02-24 2010-12-13 Subtitling for stereoscopic images

Publications (1)

Publication Number Publication Date
KR20130008569A true KR20130008569A (ko) 2013-01-22

Family

ID=43798473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024777A KR20130008569A (ko) 2010-02-24 2010-12-13 입체 영상을 위한 자막 표시

Country Status (7)

Country Link
US (1) US20160065929A1 (ko)
EP (1) EP2540087A1 (ko)
JP (1) JP2013520924A (ko)
KR (1) KR20130008569A (ko)
CN (1) CN102771129A (ko)
MX (1) MX2012009888A (ko)
WO (1) WO2011105992A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606860B1 (ko) 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766441B2 (en) * 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
CN102611906A (zh) * 2012-03-02 2012-07-25 清华大学 具有自适应深度的立体视频图文标签的显示和编辑方法
CN102663665B (zh) * 2012-03-02 2014-04-09 清华大学 具有自适应深度的立体图像图文标签的显示和编辑方法
CN104469338B (zh) * 2013-09-25 2016-08-17 联想(北京)有限公司 一种控制方法和装置
CN104683785B (zh) * 2015-02-06 2017-02-22 四川长虹电器股份有限公司 基于裸眼3d技术的实时插播3d文字的方法
US10958890B2 (en) 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
KR20190100714A (ko) 2018-02-21 2019-08-29 삼성전자주식회사 정보 표시 방법 및 이를 위한 전자 장치
CN108600727B (zh) * 2018-04-13 2020-11-27 天津大学 一种基于观看舒适度的立体字幕添加方法
US10645331B1 (en) * 2019-02-06 2020-05-05 Loop Now Technologies, Inc. Immersive video experience
US11483492B2 (en) 2019-02-06 2022-10-25 Loop Now Technologies, Inc. Immersive video experience including rotation
US11381805B2 (en) 2019-02-06 2022-07-05 Loop Now Technologies, Inc. Audio and video stream rendering modification based on device rotation metric
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
JP2023513095A (ja) 2020-02-05 2023-03-30 ループ ナウ テクノロジーズ インコーポレイテッド 選択および表示のための機械学習によるビデオのキュレーション

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3005885U (ja) * 1994-02-23 1995-01-17 北日本放送株式会社 字幕制作システム
JPH10336703A (ja) * 1997-05-27 1998-12-18 Canon Inc 画像合成装置、方法および記憶媒体
JP3325239B2 (ja) * 1999-06-09 2002-09-17 日本テレビ放送網株式会社 字幕素材作成システム、字幕素材作成方法及び字幕素材作成プログラムを記憶した記録媒体
JP2003037792A (ja) * 2001-07-25 2003-02-07 Toshiba Corp データ再生装置及びデータ再生方法
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4200717B2 (ja) * 2002-09-06 2008-12-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2007324668A (ja) * 2006-05-30 2007-12-13 Funai Electric Co Ltd ＤｉｖＸプレーヤ及びコンテンツ再生装置
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
CN102137270B (zh) * 2008-07-25 2014-09-03 皇家飞利浦电子股份有限公司 字幕的3d显示处理
US9357231B2 (en) * 2008-07-31 2016-05-31 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606860B1 (ko) 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템

Also Published As

Publication number Publication date
US20160065929A1 (en) 2016-03-03
JP2013520924A (ja) 2013-06-06
EP2540087A1 (en) 2013-01-02
WO2011105992A1 (en) 2011-09-01
CN102771129A (zh) 2012-11-07
MX2012009888A (es) 2012-09-12

Similar Documents

Publication Publication Date Title
KR20130008569A (ko) 입체 영상을 위한 자막 표시
TWI573434B (zh) 通用的三維圖片格式
KR101716636B1 (ko) ３ｄ 비디오 및 보조 데이터의 결합
JP5357317B2 (ja) 立体視映像再生装置
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
TWI361614B (ko)
EP2399398B1 (en) Combining 3d image and graphical data
CN102318353B (zh) 用于处理视频图像的方法和设备
BR112013000580B1 (pt) Método de processamento tridimensional [3d] de informações em vídeo para a geração de um fluxo de transporte de dados para a transferência das informações de vídeo em 3d, dispositivo de processamento tridimensional [3d] de informações em vídeo para a geração de um fluxo de transporte de dados para a transferência das informações de vídeo em 3d, sinal para a transferência de informações de vídeo em três dimensões [3d] e receptor para o processamento tridimensional [3d] das informações de vídeo
EP2629532B1 (en) Display control program, display control apparatus, display control system, and display control method
US20120320153A1 (en) Disparity estimation for stereoscopic subtitling
WO2011123178A1 (en) Subtitles in three-dimensional (3d) presentation
KR20120120502A (ko) 스테레오스코픽 비디오 그래픽 오버레이
US20130182071A1 (en) 3d video image encoding apparatus, decoding apparatus and method
KR20130135278A (ko) ３ｄ 이미지 데이터의 전송
TWI523490B (zh) 顯示視訊資訊用之重製裝置及其圖形副系統之作業方法和儲存媒體
TW201632983A (zh) 影像處理裝置與影像處理方法
CN102137264B (zh) 一种三维电视中图形文本显示的控制方法及设备、系统
JP2010263383A (ja) 映像出力装置、及びその制御方法
CN115002335A (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
CN103152596A (zh) 一种三维电视中图形文本显示的控制方法及设备、系统
TWM470456U (zh) 三維立體影像字幕插入裝置
Zink Blu-Ray 3D™

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application