KR20130122348A - 동기화 방법 및 장치 - Google Patents

Abstract

본 발명은 동기화 방법 및 장치에 관한 것이다. 본 발명의 실시예에 따른 동기화 방법은, 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 단계, 수신한 스트리밍 데이터의 헤더(header)를 추출하는 단계, 헤더에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 단계와 타임 오프셋 정보에 기초하여 동기화된 모션 코드(motion code)를 출력하는 단계를 포함한다. 이에 의해, 사용자의 이용 편의성을 향상시킬 수 있게 된다.

Description

동기화 방법 및 장치{METHOD AND APPARTUS FOR SYNCHRONIZING}

본 발명은 동기화 방법 및 장치에 관한 것이며, 더욱 상세하게는 컨텐츠에 모션(motion) 등의 효과를 동기화시키는 동기화 방법 및 장치에 관한 것이다.

현재의 영상표시장치 및 미디어 기기들은 방송국에서 송출하는 방송을 수신하여 수동적으로 사용자에게 제공할 수 있을 뿐만 아니라, 인터넷 네트워크를 통하여 사용자에게 VOD(video on demand : 주문형 비디오), OTT(Over The Top)와 같은 양방향 서비스를 제공할 수 있다.

한편, 최근에는 입체(3D) 영상에 대한 다양한 연구가 진행되고 있으며, 컴퓨터 그래픽에서 뿐만 아니라 다른 다양한 환경 및 기술에서도 입체 영상 기술이 점점 더 보편화되고 실용화되고 있다.

또한. 사용자의 기호에 더욱 부합하는 컨텐츠 제공을 위하여 4D 컨텐츠에 대한 연구가 증가하고 있다. 4D 컨텐츠는 컨텐츠에서 소정 효과가 발생할 경우, 그 물리적인 효과를 사용자에게 제공할 수 있는 컨텐츠를 의미할 수 있다.

4D 컨텐츠 제공 시스템은 컨텐츠에 맞춰 의자를 움직이거나, 바람, 안개, 조명 등의 모션 및 특수 효과를 이용하여 현실감을 높여 사실감 있는 컨텐츠를 제공할 수 있다. 또한, 이러한 특수 효과는 3D 영상과 함께 제공될 수 있다.

한편, 이러한 모션 및 특수 효과를 사용자에게 제공하기 위해서는 신뢰성있는 동기화 방법이 요구된다.

본 발명의 목적은, 컨텐츠에 대응하는 모션 효과 등 특수 효과를 제공할 수 있는 영상표시장치 및 그 동작 방법을 제공함에 있다.

또한, 본 발명의 다른 목적은, 모션 효과 등 특수 효과를 제공할 수 있는 영상표시장치 내부에서 또는 연결되어서 사용할 수 있는 동기화 방법 및 장치를 제공함에 있다.

또한, 본 발명의 다른 목적은, 신뢰성 있고 컨텐츠 제공자에 무관하게 적용할 수 있는 동기화 방법 및 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 동기화 방법은, 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 단계, 수신한 스트리밍 데이터의 헤더(header)를 추출하는 단계, 헤더에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 단계와 타임 오프셋 정보에 기초하여 동기화된 모션 코드(motion code)를 출력하는 단계를 포함한다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 동기화 장치는 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 네트워크 인터페이스부와 수신한 스트리밍 데이터의 헤더에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 제어부를 포함하고, 제어부는, 타임 오프셋 정보에 기초하여 동기화된 모션 코드를 출력하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 동기화 방법은, 네트워크를 통하여 연결된 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 단계, 수신한 스트리밍 데이터를 역다중화하여 오디오 스트림, 비디오 스트림, 모션 코드를 추출하는 단계와 추출한 모션 코드를 출력하는 단계를 포함한다.

본 발명의 실시예에 따르면, 모션 효과 등 특수 효과를 제공할 수 있어, 사용자의 편의성을 향상시킬 수 있다.

또한, 신뢰성 있고 컨텐츠 제공자에 무관하게 적용할 수 있는 동기화 방법 및 장치를 제공함으로써, 4D 컨텐츠를 더욱 정확하고 편리하게 이용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상표시 시스템을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도이다.
도 3은 도 2의 제어부의 내부 블록도의 일예이다.
도 4는 3D 영상의 다양한 포맷을 보여주는 도면이다.
도 5는 도 4의 포맷에 따라 시청장치의 동작을 보여주는 도면이다.
도 6은 본 발명의 실시예에 따른 3D 영상 신호의 다양한 스케일링 방식을 나타낸 도면이다.
도 7은 좌안 영상과 우안 영상에 의해 상이 맺히는 것을 설명하는 도면이다.
도 8은 좌안 영상과 우안 영상의 간격에 따른 3D 영상의 깊이를 설명하는 도면이다.
도 9는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 10은 도 2의 원격제어장치의 내부 블록도이다.
도 11은 도 2의 제어부의 내부 블록도의 다른 예이다.
도 12는 도 1의 모션 이펙트 출력 장치의 사시도이다.
도 13은 도 1의 모션 이펙트 출력 장치의 내부 블록도이다.
도 14는 본 발명의 일실시예에 따른 동기화 방법을 보여주는 순서도이다.
도 15 내지 도 18은 도 14의 동기화 방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
도 19는 본 발명의 일실시예에 따른 동기화 방법을 보여주는 순서도이다.
도 20은 도 19의 동기화 방법의 다양한 예를 설명하기 위해 참조되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 영상표시 시스템을 보여주는 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 의한, 영상표시 시스템(10)은, 영상표시장치(100), 모션 이펙트(effect) 출력 장치(600), 및 서버(500)를 포함할 수 있다.

한편, 이하에서는 본 발명에 따른 동기화 장치가 영상표시장치(100) 내에 구비되는 예를 위주로 설명하나 별개로 구비되거나 셋탑박스 내에 구비될 수도 있다.

영상표시장치(100)는, 컨텐츠를 수신할 수 있다. 예를 들어, 안테나를 통해 방송 신호를 수신하거나, HDMI 단자 등을 통해 외부 장치로부터 외부 입력 신호를 수신하거나, 네트워크를 통해, 소정 서버(500)로부터 스트리밍(streaming) 신호를 수신할 수 있다.

영상표시장치(100)는, 수신되는 방송 신호, 외부 입력 신호, 또는 스트리밍 신호를, 신호 처리하여, 해당 영상을 디스플레이(180)에 표시하고, 해당 음성을 출력할 수 있다.

영상표시장치(100)는, 컨텐츠 재생시, 컨텐츠 에 대응하는 자막, 영상, 오디오 중 적어도 하나를 분석하여 모션 이펙트(motion effect) 정보를 추출할 수 있다. 그리고, 추출된 모션 이펙트 정보에 기초하여 생성된 모션 코드를 외부의 모션 이펙트 출력 장치(motion effect output device)로 전송할 수 있다.

예를 들어, 영상표시장치(100)는, 컨텐츠 내에 자막, 영상, 오디오로부터 폭발, 비명 등에 장면을 파악하여 모션 효과의 종류, 강도, 시간 등을 결정할 수 있다.

한편, 모션 이펙트 정보는 모션 효과 출력을 위한 폭발, 비명 등에 장면 정보를 포함할 수 있다. 또는, 모션 이펙트 정보는 결정된 모션 효과의 종류, 강도, 시간 정보를 포함할 수 있다.

한편, 모션 코드는 모션 이펙트 출력을 위한 데이터로써, 모션 효과의 종류, 강도, 시간 정보를 포함할 수 있고, 실시예에 따라서, 모션 코드는 모션 이펙트 정보와 동일할 수 있다.

또한, 모션 이펙트 출력 장치(600)의 종류 및 제조사에 따라 상이할 수 있다. 예를 들어, 모션 이펙트 출력 장치(600)가 의자인 경우와 휴대 단말기인 경우에 각각의 장치에 적합한 형태로 모션 코드가 전송될 수 있다.

모션 이펙트 출력 장치(600)는, 모션 이펙트(motion effect)를 출력할 수 있는 장치로서, 슬라이딩(sliding), 진동(vibration), 또는 리클라이닝(reclining) 등의 물리적 동작이 가능할 수 있다.

모션 이펙트 출력 장치(600)의 일예로, 사용자가 앉거나 누울 수 있는, 의자, 소파, 침대 등이 예시될 수 있다. 또한, 모션 이펙트 출력 장치(600)는 진동 효과 이외에도, 바람, 향기 등을 출력할 수 있는 장치, 또는 다양한 애플리케이션과 효과 동작을 수행할 수 있는 휴대 단말기가 해당될 수 있다.

이하에서는, 의자를 중심으로 기술한다.

모션 이펙트 출력 장치(600)는, 영상표시장치(100)로부터 모션 코드(motion code)를, 무선 또는 유선으로, 수신하고, 수신된 모션 코드에 기초하여,슬라이딩 동작, 진동 동작, 또는 리클라이닝 동작 중 적어도 하나를 수행할 수 있다.

이러한 모션 이펙트 출력을 통해, 사용자는, 모션 이펙트, 즉 4D 효과를, 의자(600)를 통해 실감할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있다.

한편, 서버(500)는, 영상표시장치(100)와 데이터를 교환할 수 있다. 예를 들어, 상술한 바와 같이, 영상표시장치(100)로 인터넷 스트리밍(streaming) 데이터를 전송할 수 있다.

한편, 영상표시장치(100)는, 방송 표시 가능한 티브이(TV), 모니터, 컴퓨터, 태블릿 PC, 휴대 단말기 등을 포함할 수 있다.

한편, 영상표시장치(100)는 본 발명의 실시예에 따른 동기화 장치를 포함할 수 있다. 예를 들어, 본 발명의 실시예에 따른 동기화 장치는 영상표시장치(100)의 제어부(170) 내에 구비되어 동기화 과정을 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도이다.

도 2를 참조하면, 본 발명의 일실시예에 의한 영상표시장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(130), 저장부(140), 사용자입력 인터페이스부(150), 센서부(미도시), 제어부(170), 디스플레이(180), 오디오 출력부(185), 및 시청장치(195)를 포함할 수 있다.

방송 수신부(105)는, 튜너부(110), 복조부(120), 및 네트워크 인터페이스부(130)를 포함할 수 있다. 물론, 필요에 따라, 튜너부(110)와 복조부(120)를 구비하면서 네트워크 인터페이스부(130)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(130)를 구비하면서 튜너부(110)와 복조부(120)는 포함하지 않도록 설계하는 것도 가능하다.

튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.

예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너부(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(170)로 직접 입력될 수 있다.

또한, 튜너부(110)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.

한편, 튜너부(110)는, 본 발명에서 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.

한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.

복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.

복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.

복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.

외부장치 인터페이스부(130)는, 접속된 외부 장치(190)와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.

외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋탑 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.

A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 한편, 무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다.

네트워크 인터페이스부(135)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 예를 들어, 네트워크 인터페이스부(135)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 서버(500)로부터 컨텐츠 또는 데이터들을 수신할 수 있다.

한편, 네트워크 인터페이스부(135)는, 3D 시청을 위해, 시청 장치(195)와 데이터를 교환할 수 있다. 구체적으로, 시청장치(195)가 셔터 글래스인 경우, 셔터의 개폐 동작 등을 위해, 영상표시장치(100)와 시청장치(195)의 동기화가 필요하며, 이를 위해, 네트워크 인터페이스부(135)는, 해당 데이터들을, 시청 장치(195)로 전송할 수 있다.

한편, 네트워크 인터페이스부(135)는, 모션 이펙트 출력 장치(600)와 데이터를 교환할 수 있다. 본 발명의 실시예에 관련하여, 영상표시장치(100)에서 추출된 모션 코드를, 모션 이펙트 출력 장치(600)로 전송할 수 있다.

저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.

또한, 저장부(140)는 외부장치 인터페이스부(130)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.

도 2의 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 제어부(170) 내에 포함될 수 있다.

사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달한다.

예를 들어, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센서부(미도시)로 송신할 수 있다.

제어부(170)는, 튜너부(110) 또는 복조부(120) 또는 외부장치 인터페이스부(130)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.

제어부(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.

제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.

도 2에는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다. 이에 대해서는 도 3을 참조하여 후술한다.

그 외, 제어부(170)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.

또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.

한편, 제어부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.

한편, 제어부(170)는 디스플레이(180)에 표시되는 영상 중에, 소정 2D 오브젝트에 대해 3D 오브젝트로 생성하여 표시되도록 할 수 있다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.

이러한 3D 오브젝트는, 디스플레이(180)에 표시되는 영상과 다른 깊이를 가지도록 처리될 수 있다. 바람직하게는 3D 오브젝트가 디스플레이(180)에 표시되는 영상에 비해 돌출되어 보이도록 처리될 수 있다.

한편, 제어부(170)는, 촬영부(미도시)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들어, 사용자와 영상표시장치(100)간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.

한편, 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다. 채널 브라우징 처리부는, 복조부(120)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(130)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 복호화딘 영상 등과 함께 스트림 복호화되어 제어부(170)로 입력될 수 있다. 제어부(170)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이(180)에 표시할 수 있다.

이때의 썸네일 리스트는, 디스플레이(180)에 소정 영상을 표시한 상태에서 일부 영역에 표시되는 간편 보기 방식으로 표시되거나, 디스플레이(180)의 대부분 영역에 표시되는 전체 보기 방식으로 표시될 수 있다. 이러한 썸네일 리스트 내의 썸네일 영상은 순차적으로 업데이트 될 수 있다.

디스플레이(180)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)에서 수신되는 영상 신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다.

디스플레이(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등이 가능하며, 또한, 3차원 디스플레이(3D display)가 가능할 수도 있다.

이러한, 3차원 영상 시청을 위해, 디스플레이(180)는, 추가 디스플레이 방식과 단독 디스플레이 방식으로 나뉠 수 있다.

단독 디스플레이 방식은, 별도의 추가 디스플레이, 예를 들어 안경(glass) 등이 없이, 디스플레이(180) 단독으로 3D 영상을 구현할 수 있는 것으로서, 그 예로, 렌티큘라 방식, 파라랙스 베리어(parallax barrier) 등 다양한 방식이 적용될 수 있다.

한편, 추가 디스플레이 방식은, 디스플레이(180) 외에 시청장치(195)로서 추가 디스플레이를 사용하여, 3D 영상을 구현할 수 있는 것으로서, 그 예로, 헤드 마운트 디스플레이(HMD) 타입, 안경 타입 등 다양한 방식이 적용될 수 있다.

한편, 안경 타입은, 편광 안경 타입 등의 패시브(passive) 방식과, 셔터 글래스(ShutterGlass) 타입 등의 액티브(active) 방식으로 다시 나뉠 수 있다. 그리고, 헤드 마운트 디스플레이 타입에서도 패시브 방식과 액티브 방식으로 나뉠 수 있다.

한편, 시청장치(195)는, 입체 영상 시청이 가능한 3D용 글래스일 수도 있다. 3D용 글래스(195)는, 패시브 방식의 편광 글래스 또는 액티브 방식의 셔터 글래스를 포함할 수 있으며, 상술한 헤드 마운트 타입도 포함하는 개념일 수 있다.

예를 들어, 시청장치(195)가 편광 글래스인 경우, 좌안 글래스는, 좌안용 편광 글래스로, 우안 글래스는 우안용 편광 글래스로 구현될 수 있다.

다른 예로, 시청장치(195)가 셔터 글래스인 경우, 좌안 글래스와 우안 글래스는 서로 교대로, 개폐될 수 있다.

한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.

촬영부(미도시)는 사용자를 촬영한다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 한편, 촬영부(미도시)는 디스플레이(180) 상부에 영상표시장치(100)에 매립되거나 또는 별도로 배치될 수 있다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.

제어부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센서부(미도시)로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.

원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 출력할 수 있다.

한편, 상술한 영상표시장치(100)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.

한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

한편, 영상표시장치(100)는 도 2에 도시된 바와 달리, 도 2의 도시된 튜너부(110)와 복조부(120)를 구비하지 않고, 네트워크 인터페이스부(130) 또는 외부장치 인터페이스부(135)를 통해서, 방송 컨텐츠를 수신하고, 이를 재생할 수도 있다.

도 3은 도 2의 제어부의 내부 블록도의 일예이고, 도 4는 3D 영상의 다양한 포맷을 보여주는 도면이며, 도 5는 도 4의 포맷에 따라 시청장치의 동작을 보여주는 도면이다.

도면을 참조하여 설명하면, 본 발명의 일실시예에 의한 제어부(170)는, 역다중화부(310), 영상 처리부(320), 프로세서(330), OSD 생성부(340), 믹서(345), 프레임 레이트 변환부(350), 및 포맷터(360)를 포함할 수 있다. 그 외 오디오 처리부(미도시), 데이터 처리부(미도시)를 더 포함할 수 있다.

역다중화부(310)는, 입력되는 스트림을 역다중화한다. 예를 들어, MPEG-2 TS가 입력되는 경우 이를 역다중화하여, 각각 영상, 음성 및 데이터 신호로 분리할 수 있다. 여기서, 역다중화부(310)에 입력되는 스트림 신호는, 튜너부(110) 또는 복조부(120) 또는 외부장치 인터페이스부(130)에서 출력되는 스트림 신호일 수 있다.

영상 처리부(320)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 이를 위해, 영상 처리부(320)는, 영상 디코더(225), 및 스케일러(235)를 구비할 수 있다.

영상 디코더(225)는, 역다중화된 영상신호를 복호화하며, 스케일러(235)는, 복호화된 영상신호의 해상도를 디스플레이(180)에서 출력 가능하도록 스케일링(scaling)을 수행한다.

영상 디코더(225)는 다양한 규격의 디코더를 구비하는 것이 가능하다.

한편, 영상 처리부(320)에서 복호화된 영상 신호는, 2D 영상 신호만 있는 경우, 2D 영상 신호와 3D 영상 신호가 혼합된 경우, 및 3D 영상 신호만 있는 경우로 구분될 수 있다.

예를 들어, 외부 장치(190)로부터 입력되는 외부 영상 신호 또는 튜너부(110)에서 수신되는 방송 신호의 방송 영상 신호가, 2D 영상 신호만 있는 경우, 2D 영상 신호와 3D 영상 신호가 혼합된 경우, 및 3D 영상 신호만 있는 경우로 구분될 수 있으며, 이에 따라, 이후의 제어부(170), 특히 영상 처리부(320) 등에서 신호 처리되어, 각각 2D 영상 신호, 2D 영상 신호와 3D 영상 신호의 혼합 신호, 3D 영상 신호가 출력될 수 있다.

한편, 영상 처리부(320)에서 복호화된 영상 신호는, 다양한 포맷의 3D 영상 신호일 수 있다. 예를 들어, 색차 영상(color image) 및 깊이 영상(depth image)으로 이루어진 3D 영상 신호일 수 있으며, 또는 복수 시점 영상 신호로 이루어진 3D 영상 신호 등일 수 있다. 복수 시점 영상 신호는, 예를 들어, 좌안 영상 신호와 우안 영상 신호를 포함할 수 있다.

여기서, 3D 영상 신호의 포맷은, 도 4와 같이, 좌안 영상 신호(L)와 우안 영상 신호(R)를 좌,우로 배치하는 사이드 바이 사이드(Side by Side) 포맷(도 4a), 상,하로 배치하는 탑 다운(Top / Down) 포맷(도 4b), 시분할로 배치하는 프레임 시퀀셜(Frame Sequential) 포맷(도 4c), 좌안 영상 신호와 우안 영상 신호를 라인 별로 혼합하는 인터레이스 (Interlaced) 포맷(도 4d), 좌안 영상 신호와 우안 영상 신호를 박스 별로 혼합하는 체커 박스(Checker Box) 포맷(도 4e) 등일 수 있다.

프로세서(330)는, 영상표시장치(100) 내 또는 제어부(170) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(330)는 튜너(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.

또한, 프로세서(330)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.

또한, 프로세서(330)는, 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)와의 데이터 전송 제어를 수행할 수 있다.

또한, 프로세서(330)는, 제어부(170) 내의 역다중화부(310), 영상 처리부(320), OSD 생성부(340) 등의 동작을 제어할 수 있다.

OSD 생성부(340)는, 사용자 입력에 따라 또는 자체적으로 OSD 신호를 생성한다. 예를 들어, 사용자 입력 신호에 기초하여, 디스플레이(180)의 화면에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 표시하기 위한 신호를 생성할 수 있다. 생성되는 OSD 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다. 또한, 생성되는 OSD 신호는, 2D 오브젝트 또는 3D 오브젝트를 포함할 수 있다.

또한, OSD 생성부(340)는, 원격제어장치(200)로부터 입력되는 포인팅 신호에 기초하여, 디스플레이에 표시 가능한, 포인터를 생성할 수 있다. 특히, 이러한 포인터는, 포인팅 신호 처리부에서 생성될 수 있으며, OSD 생성부(240)는, 이러한 포인팅 신호 처리부(미도시)를 포함할 수 있다. 물론, 포인팅 신호 처리부(미도시)가 OSD 생성부(240) 내에 구비되지 않고 별도로 마련되는 것도 가능하다.

믹서(345)는, OSD 생성부(340)에서 생성된 OSD 신호와 영상 처리부(320)에서 영상 처리된 복호화된 영상 신호를 믹싱할 수 있다. 이때, OSD 신호와 복호화된 영상 신호는 각각 2D 신호 및 3D 신호 중 적어도 하나를 포함할 수 있다. 믹싱된 영상 신호는 프레임 레이트 변환부(350)에 제공된다.

프레임 레이트 변환부(Frame Rate Conveter, FRC)(350)는, 입력되는 영상의 프레임 레이트를 변환할 수 있다. 한편, 프레임 레이트 변환부(350)는, 별도의 프레임 레이트 변환 없이, 그대로 출력하는 것도 가능하다.

포맷터(360)는, 프레임 레이트 변환된 3D 영상의 좌안 영상 프레임과 우안 영상 프레임을 배열할 수 있다. 그리고, 3D 시청 장치(195)의 좌안 글래스와 우안 글래스의 개방을 위한 동기 신호(Vsync)를 출력할 수 있다.

한편, 포맷터(Formatter)(360)는, 믹서(345)에서 믹싱된 신호, 즉 OSD 신호와 복호화된 영상 신호를 입력받아, 2D 영상 신호와 3D 영상 신호를 분리할 수 있다.

한편, 본 명세서에서, 3D 영상 신호는 3D 오브젝트를 포함하는 것을 의미하며, 이러한 오브젝트의 예로는 PIP(picuture in picture) 영상(정지 영상 또는 동영상), 방송 프로그램 정보를 나타내는 EPG, 다양한 메뉴, 위젯, 아이콘, 텍스트, 영상 내의 사물, 인물, 배경, 웹 화면(신문, 잡지 등) 등이 있을 수 있다.

한편, 포맷터(360)는, 3D 영상 신호의 포맷을 변경할 수 있다. 예를 들어, 도 4에 예시된 다양한 포맷 중 어느 하나의 포맷으로 변경할 수 있다. 이에 따라, 해당 포맷에 따라, 도 5와 같이, 안경 타입의 시청장치의 동작이 수행될 수 있다.

먼저, 도 5(a)는, 포맷터(360)가 도 4의 포맷 중 프레임 시퀀셜 포맷으로 정렬하여 출력하는 경우, 3D용 글래스(195), 특히 셔터 글래스(195)의 동작을 예시한다.

즉, 디스플레이(180)에 좌안 영상(L)이 표시된 경우, 셔터 글래스(195)의 좌안 글래스가 개방, 우안 글래스가 닫히는 것을 예시하며, 우안 영상(R)이 표시된 경우, 셔터 글래스(195)의 좌안 글래스가 닫히고, 우안 글래스가 개방되는 것을 예시한다.

한편, 도 5(b)는, 포맷터(360)가 도 4의 포맷 중 사이드 바이 사이드 포맷으로 정렬하여 출력하는 경우, 3D용 글래스(195), 특히 편광 글래스(195)의 동작을 예시한다. 한편, 도 5(b)에서 적용되는 3D용 글래스(195)는, 셔터 글래스일 수 있으며, 이때의 셔터 글래스는 좌안 글래스와 우안 글래스 모두가 개방된 상태를 유지하여, 편광 글래스 처럼 동작할 수도 있다.

한편, 포맷터(360)는, 2D 영상 신호를 3D 영상 신호로 전환할 수도 있다. 예를 들어, 3D 영상 생성 알고리즘에 따라, 2D 영상 신호 내에서 에지(edge) 또는 선택 가능한 오브젝트를 검출하고, 검출된 에지(edge)에 따른 오브젝트 또는 선택 가능한 오브젝트를 3D 영상 신호로 분리하여 생성할 수 있다. 이때, 생성된 3D 영상 신호는, 상술한 바와 같이, 좌안 영상 신호(L)와 우안 영상 신호(R)로 분리되어 정렬될 수 있다.

한편, 도면에서는 도시하지 않았지만, 포맷터(360) 이후에, 3D 효과(3-dimensional effect) 신호 처리를 위한 3D 프로세서(미도시)가 더 배치되는 것도 가능하다. 이러한 3D 프로세서(미도시)는, 3D 효과의 개선을 위해, 영상 신호의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등을 처리할 수 있다. 예를 들어, 근거리는 선명하게, 원거리는 흐리게 만드는 신호 처리 등을 수행할 수 있다. 한편, 이러한 3D 프로세서의 기능은, 포맷터(360)에 병합되거나 영상처리부(320) 내에 병합될 수 있다. 이에 대해서는 도 6 등을 참조하여 후술한다.

한편, 제어부(170) 내의 오디오 처리부(미도시)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이를 위해 오디오 처리부(미도시)는 다양한 디코더를 구비할 수 있다.

또한, 제어부(170) 내의 오디오 처리부(미도시)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.

제어부(170) 내의 데이터 처리부(미도시)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 EPG(Electronic Progtam Guide) 정보일 수 있다.

한편, 도 3에서는 OSD 생성부(340)와 영상 처리부(320)로부터의 신호를 믹서(345)에서 믹싱한 후, 포맷터(360)에서 3D 처리 등을 하는 것으로 도시하나, 이에 한정되지 않으며, 믹서가 포맷터 뒤에 위치하는 것도 가능하다. 즉, 영상 처리부(320)의 출력을 포맷터(360)에서 3D 처리하고, OSD 생성부(340)는 OSD 생성과 함께 3D 처리를 수행한 후, 믹서(345)에서 각각의 처리된 3D 신호를 믹싱하는 것도 가능하다.

한편, 도 3에 도시된 제어부(170)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 제어부(170)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.

특히, 프레임 레이트 변환부(350), 및 포맷터(360)는 제어부(170) 내에 마련되지 않고, 각각 별도로 구비될 수도 있다.

도 6은 본 발명의 실시예에 따른 3D 영상 신호의 다양한 스케일링 방식을 나타낸 도면이다.

도면을 참조하면, 3D 효과(3-dimensional effect) 증대를 위해, 제어부(170)는 3D 효과 신호 처리를 수행할 수 있다. 그 중에서, 특히 3D 영상 내의 3D 오브젝트의 크기 또는 기울기 조절 등을 수행할 수 있다.

도 6(a)와 같이, 3D 영상 신호 또는 3D 영상 신호 내의 3D 오브젝트(510)를 일정 비율로 전체적으로 확대 또는 축소(512)할 수 있으며, 또한 도 6(b) 및 도 6(c)와 같이, 3D 오브젝트를 부분적으로 확대 또는 축소(사다리꼴 형상, 514, 516)할 수도 있다. 또한, 도 6(d)와 같이, 3D 오브젝트의 적어도 일부를 회전(평행 사변형 형상, 518)시킬 수도 있다. 이러한 스케일링(크기 조절) 또는 기울기 조절을 통해, 3D 영상 또는 3D 영상 내의 3D 오브젝트의 입체감 즉, 3D 효과(3-dimensional effect)를 강조할 수 있게 된다.

한편, 기울기(slope)가 커질수록, 도 6(b) 또는 도 6(c)와 같이, 사다리꼴 형상(514,516)의 평행한 양변의 길이 차가 커지거나, 도 6(d)와 같이, 회전각이 더 커지게 된다.

한편, 이러한 크기 조절 또는 기울기 조절은, 포맷터(360)에서 3D 영상 신호가 소정 포맷으로 정렬된 후 수행될 수 있다. 또는 영상처리부(320) 내의 스케일러(235)에서 수행되는 것이 가능하다. 한편, OSD 생성부(340)는, 3D 효과 강조를 위해, 생성되는 OSD를 도 6에서 예시한 바와 같은 형상으로 오브젝트를 생성하는 것도 가능하다.

한편, 도면에서는 도시하지 않았지만, 3D 효과(3-dimensional effect)를 위한 신호 처리로서, 도 6에서 예시한 크기 조절 또는 기울기 조절 등 외에, 영상 신호 또는 오브젝트의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등의 신호 처리가 수행되는 것도 가능하다. 예를 들어, 근거리는 선명하게, 원거리는 흐리게 만드는 신호 처리 등을 수행할 수 있다. 한편, 이러한 3D 효과를 위한 신호 처리는, 제어부(170) 내에서 수행되거나, 별도의 3D 프로세서를 통해 수행될 수 있다. 특히, 제어부(170) 내에서 수행되는 경우, 상술한 크기 조절 또는 기울기 조절 등과 함께, 포맷터(360)에서 수행되거나, 또는 영상처리부((320) 내에서 수행되는 것이 가능하다.

도 7은 좌안 영상과 우안 영상에 의해 상이 맺히는 것을 설명하는 도면이며, 도 8은 좌안 영상과 우안 영상의 간격에 따른 3D 영상의 깊이를 설명하는 도면이다.

먼저, 도 7을 참조하면, 복수의 영상 또는 복수의 오브젝트들(615,625,635,645)이 예시된다.

먼저, 제1 오브젝트(615)는, 제1 좌안 영상신호에 기초하는 제1 좌안 영상(611,L)과 제1 우안 영상신호에 기초하는 제1 우안 영상(613,R)를 포함하며, 제1 좌안 영상(611,L)과 제1 우안 영상(613,R)의 간격은 디스플레이(180) 상에서 d1 인 것이 예시된다. 이때, 사용자는 좌안(601)과 제1 좌안 영상(611)을 연결하는 연장선, 및 우안(603)과 제1 우안 영상(603)을 연결하는 연장선이 교차되는 지점에, 상이 맺히는 것처럼 인식한다. 따라서 사용자는 제1 오브젝트(615)가 디스플레이(180) 보다 뒤에 위치하는 것으로 인식한다.

다음, 제2 오브젝트(625)는, 제2 좌안 영상(621,L)과 제2 우안 영상(623,R)를 포함하며, 서로 겹쳐져 디스플레이(180)에 표시되므로, 그 간격은 0 인 것이 예시된다. 이에 따라, 사용자는 제2 오브젝트(625)가 디스플레이(180) 상에 위치 것으로 인식한다.

다음, 제3 오브젝트(635)와 제4 오브젝트(645)는, 각각 제3 좌안 영상(631,L)과 제2 우안 영상(633,R), 제4 좌안 영상(641,L)과 제4 우안 영상(643,R)를 포함하며, 그 간격이 각각 d3, d4 인 것이 예시된다.

상술한 방식에 따라, 사용자는 상이 맺히는 위치에, 각각 제3 오브젝트(635)와 제4 오브젝트(645)가 위치하는 것으로 인식하며, 도면에서는, 각각 디스플레이(180) 보다 앞에 위치하는 것으로 인식한다.

이때, 제4 오브젝트(645)가 제3 오브젝트(635) 보다 더 앞에, 즉 더 돌출되는 것으로 인식되며, 이는 제4 좌안 영상(641,L)과 제4 우안 영상(643,R)의 간격(d4)이, 제3 좌안 영상(631,L)과 제3 우안 영상(633,R)의 간격(d3) 보다 더 큰 것에 기인한다.

한편, 본 발명의 실시예에서는, 디스플레이(180)와 사용자에게 인식되는 오브젝트(615,625,635,645) 사이의 거리를 깊이(depth)로 표현한다. 이에 따라, 디스플레이(180)보다 뒤에 위치하고 있는 것처럼 사용자에게 인식되는 경우의 깊이(depth)는 음의 값(-)을 가지는 것으로 하며, 디스플레이(180)보다 앞에 위치하고 있는 것처럼 사용자에게 인식되는 경우의 깊이(depth)는 음의 값(+)을 가지는 것으로 한다. 즉, 사용자 방향으로 돌출 정도가 더 클수록, 깊이의 크기는 더 커지게 된다.

도 8을 보면, 도 8(a)의 좌안 영상(701)과 우안 영상(702) 간의 간격(a)이, 도 8(b)에 도시된 좌안 영상(701)과 우안 영상(702) 간의 간격(b)이 더 작은 경우, 도 8(a)의 3D 오브젝트의 깊이(a')가 도 8(b)의 3D 오브젝트의 깊이(b') 보다 더 작은 것을 알 수 있다.

이와 같이, 3D 영상이 좌안 영상과 우안 영상으로 예시되는 경우, 좌안 영상과 우안 영상 간의 간격에 의해, 사용자 입장에서 상이 맺히는 것으로 인식되는 위치가 달라지게 된다. 따라서, 좌안 영상과 우안 영상의 표시간격을 조절함으로써, 좌안 영상과 우안 영상으로 구성되는 3D 영상 또는 3D 오브젝트의 깊이를 조절할 수 있게 된다.

도 9는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.

도 9의 (a)에 도시된 바와 같이, 디스플레이(180)에 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 예시한다.

사용자는 원격제어장치(200)를 상하, 좌우(도 9의 (b)), 앞뒤(도 9의 (c))로 움직이거나 회전할 수 있다. 영상표시장치의 디스플레이(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.

도 9의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 영상표시장치의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.

원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시장치로 전송된다. 영상표시장치는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시장치는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.

도 9의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다. 한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.

한편, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동에 따라 포인터(205)만 이동하게 된다.

한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.

도 10은 도 2의 원격제어장치의 내부 블록도이다.

도면을 참조하여 설명하면, 원격제어장치(200)는 무선통신부(825), 사용자 입력부(835), 센서부(840), 출력부(850), 전원공급부(860), 저장부(870), 제어부(880)를 포함할 수 있다.

무선통신부(825)는 전술하여 설명한 본 발명의 실시예들에 따른 영상표시장치 중 임의의 어느 하나와 신호를 송수신한다. 본 발명의 실시예들에 따른 영상표시장치들 중에서, 하나의 영상표시장치(100)를 일예로 설명하도록 하겠다.

본 실시예에서, 원격제어장치(200)는 RF 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(821)을 구비할 수 있다. 또한 원격제어장치(200)는 IR 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈(823)을 구비할 수 있다.

본 실시예에서, 원격제어장치(200)는 영상표시장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(821)을 통하여 전송한다.

또한, 원격제어장치(200)는 영상표시장치(100)가 전송한 신호를 RF 모듈(821)을 통하여 수신할 수 있다. 또한, 원격제어장치(200)는 필요에 따라 IR 모듈(823)을 통하여 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.

사용자 입력부(835)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(835)를 조작하여 원격제어장치(200)으로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(835)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(835)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)으로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(835)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.

센서부(840)는 자이로 센서(841) 또는 가속도 센서(843)를 구비할 수 있다. 자이로 센서(841)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.

일예로, 자이로 센서(841)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(843)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이(180)와의 거리를 센싱할 수 있다.

출력부(850)는 사용자 입력부(835)의 조작에 대응하거나 영상표시장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(850)를 통하여 사용자는 사용자 입력부(835)의 조작 여부 또는 영상표시장치(100)의 제어 여부를 인지할 수 있다.

일예로, 출력부(850)는 사용자 입력부(835)가 조작되거나 무선 통신부(825)을 통하여 영상표시장치(100)와 신호가 송수신되면 점등되는 LED 모듈(851), 진동을 발생하는 진동 모듈(853), 음향을 출력하는 음향 출력 모듈(855), 또는 영상을 출력하는 디스플레이 모듈(857)을 구비할 수 있다.

전원공급부(860)는 원격제어장치(200)으로 전원을 공급한다. 전원공급부(860)는 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(860)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.

저장부(870)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 영상표시장치(100)와 RF 모듈(821)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 영상표시장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다. 원격제어장치(200)의 제어부(880)는 원격제어장치(200)와 페어링된 영상표시장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(870)에 저장하고 참조할 수 있다.

제어부(880)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(880)는 사용자 입력부(835)의 소정 키 조작에 대응하는 신호 또는 센서부(840)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(825)를 통하여 영상표시장치(100)로 전송할 수 있다.

영상표시장치(100)의 사용자 입력 인터페이스부(150)는, 원격제어장치(200)와 무선으로 신호를 송수신할 수 있는 무선통신부(851)와, 원격제어장치(200)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(815)를 구비할 수 있다.

사용자 입력 인터페이스부(150)는, RF 모듈(812)을 통하여 원격제어장치(200)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(813)을 통하여 원격제어장치(200)가 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.

좌표값 산출부(815)는 무선통신부(851)를 통하여 수신된 원격제어장치(200)의 동작에 대응하는 신호로부터 손떨림이나 오차를 수정하여 디스플레이(180)에 표시할 포인터(205)의 좌표값(x,y)을 산출할 수 있다.

사용자 입력 인터페이스부(150)를 통하여 영상표시장치(100)로 입력된 원격제어장치(200) 전송 신호는 영상표시장치(100)의 제어부(880)로 전송된다. 제어부(880)는 원격제어장치(200)에서 전송한 신호로부터 원격제어장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.

또 다른 예로, 원격제어장치(200)는, 그 동작에 대응하는 포인터 좌표값을 산출하여 영상표시장치(100)의 사용자 입력 인터페이스부(150)로 출력할 수 있다. 이 경우, 영상표시장치(100)의 사용자 입력 인터페이스부(150)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 포인터 좌표값에 관한 정보를 제어부(880)로 전송할 수 있다.

또한, 다른 예로, 좌표값 산출부(815)가, 도면과 달리 사용자 입력 인터페이스부(150)가 아닌, 제어부(870) 내부에 구비되는 것도 가능하다.

도 11은 도 2의 제어부의 내부 블록도의 다른 예이다.

도면을 참조하면, 본 발명의 실시예에 따른, 컨텐츠에 대응하는 자막 정보에 기반하여, 모션 이펙트 정보를 추출하여, 전송할 수 있는, 영상표시장치(100)의 제어부(170)는, 디코더(410), 수신한 스트리밍 데이터의 헤더(header)에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출할 수 있는 컨텐츠 핸들러(contents handler,420), 상기 타임 오프셋 정보와 모션 코드를 동기화시키는 동기화 매니저(sync manager,430)를 포함할 수 있다.

한편, 제어부(170)는 수신되는 컨텐츠의 데이터로부터 모션 이펙트 정보, 모션 코드를 추출할 수 있다. 모션 이펙트 정보, 모션 코드의 추출은 디코더(410) 또는 모션 이펙트 정보 추출부(미도시)에서 수행될 수 있다.

또는, 모션 이펙트 정보, 모션 코드의 추출은 영상표시장치(100) 내에 별도로 구비된 모션 이펙트 정보 추출부(미도시)에서 수행될 수 있다.

한편, 제어부(170)는 모션 코드들이 저장되는 모션 코드 데이터베이스를 관리하는 모션 코드 데이터베이스 매니저(440)를 더 포함할 수 있다.

디코더(410)는, 입력되는 컨텐츠를 복호화(decoding)한다. 입력되는 컨텐츠가 멀티미디어 컨텐츠인 경우, 비디오 복호화, 오디오 복호화를 수행할 수 있다. 한편, 입력되는 컨텐츠가 오디오 컨텐츠인 경우, 오디오 복호화만을 수행할 수 있다.

컨텐츠 핸들러(420)는, 수신한 스트리밍 데이터에 포함된 타임 오프셋 정보를 추출하거나, 수신한 스트리밍 데이터의 헤더(header)에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출할 수 있다. 또한, 컨텐츠 핸들러(420)는, 서버(500)로 컨텐츠 아이디(CID)를 송출하여 사용자가 이용하고자 하는 컨텐츠를 요청할 수 있다.

서버(500)와의 데이터 송수신은 네트워크 인터페이스부(135)를 통해, 수행할 수도 있다.

동기화 매니저(430)는, 상기 타임 오프셋 정보와 모션 코드를 동기화시킬 ㅅ수 있다. 동기화 방법에 관해서는 도 14 내지 도 20을 참조하여 후술한다.

모션 이펙트 정보 추출부(미도시)는, 자막, 영상, 오디오 데이터를 이용하여, 모션 이펙트 정보를 추출한다. 구체적으로, 저장부(140)에, 모션 이펙트에 대한 데이터 베이스가 저장된 경우, 입력되는 컨텐츠의 장면 정보를 데이터 베이스에 매칭시켜, 모션 이펙트 정보를 추출할 수 있다.

예를 들어, "BOMB!"이라는 자막에 대응하여, 심한 진동에 대응하는 모션 이펙트 정보를 추출할 수 있고, "Oh"이라는 자막에 대응하여, 살짝 약한 진동에 대응하는 모션 이펙트 정보를 추출할 수 있다.

모션 이펙트 정보 추출부(미도시)에서 추출되는 모션 이펙트 정보는, 진동, 슬라이딩 등에 관한 모션 이펙트 종류 정보, 진동 또는 슬라이딩의 레벨(level) 등에 관한 모션 이펙트 강도 정보, 모션 이펙트의 지속 시간 등에 관한 모션 이펙트 시간 정보 중 적어도 하나를 포함할 수 있다.

한편, 제어부(170)는, 컨텐츠 내의 자막이 동일한 경우라도, 컨텐츠가 2D 컨텐츠인지 3D 컨텐츠인지에 따라, 모션 이펙트 정보 내의 모션 이펙트 종류 정보, 모션 이펙트 강도 정보, 모션 이펙트 시간 정보 중 적어도 하나가 가변시킬 수 있다.

예를 들어, 동일한 컨텐츠를, 2D 영상으로 시청하는 경우에 비해, 3D 영상으로 시청하는 경우, 사용자에게 더 실감나는, 모션 이펙트 효과를 제공하기 위해, 동일한 자막 재생 구간에서, 모션 이펙트의 레벨을 더 크게 설정하거나, 모션 이펙트 지속 시간을 더 길게 설정할 수 있다.

한편, 제어부(170)는 복수의 모션 이펙트 정보 중 하나를 선택하거나, 복수의 모션 이펙트 정보를 합성하여 최종 모션 이펙트 정보를 추출할 수 있고, 최종 모션 이펙트 정보는 모션 코드일 수 있다.

도 12는 도 1의 모션 이펙트 출력 장치의 사시도이다.

도면을 참조하면, 본 발명의 일실시예에 따른 모션 이펙트 출력 장치(600)는, 의자일 수 있다.

본 발명의 일 실시예에 따른 의자(600)는, 바닥에 놓여져 의자 전체를 지지하는 베이스(901)와, 사용자의 엉덩이를 지지하는 시트(903)와, 사용자의 등을 지지하는 등받침(905)과, 사용자의 팔을 지지하는 팔받침(907)과, 사용자의 다리를 지지하는 다리받침(909)과, 사용자의 조작을 입력받고 의자(600)의 동작상태를 표시하는 컨트롤 패널(990)을 포함할 수 있다.

베이스(901)는 바닥과 맞닿아 시트(903)를 지지한다. 시트(903)는 베이스(901)에서 전후 방향으로 이동 가능하도록 구비된다. 시트(903)의 좌우 측에는 팔받침(907)이 구비된다. 등받침(905)은 기울여질 수 있도록 시트(903)와 결합된다. 다리받침(909)은 기울여질 수 있도록 시트(903)와 결합될 수 있다.

콘트롤 패널(990)은, 사용자의 조작을 입력 받는 조작부(993)와, 의자(600)의 동작 상태를 표시하는 디스플레이부(991)를 포함할 수 있다. 컨트롤 패널(990)은 의자(600)의 전체 동작을 제어하는 프로세서(미도시)를 포함할 수 있다.

한편, 본 발명의 일 실시예에 따른 의자(600)의 구조는, 바닥에 놓여지는 베이스(901)의 뼈대를 형성하는 베이스 프레임과, 베이스 프레임에 의하여 지지되며 사용자의 엉덩이를 지지하는 시트(903)의 뼈대를 이루는 시트 프레임과, 시트 프레임과 회전 가능하도록 결합되며 사용자의 등을 지지하는 등받침(905)의 뼈대를 이루는 백 프레임과, 시트 프레임과 회전 가능하도록 결합되며 사용자의 다리를 지지하는 다리받침(909)의 뼈대를 이루는 레그 프레임을 포함할 수 있다.

도 13은 도 1의 모션 이펙트 출력 장치의 내부 블록도이다.

도면을 참조하면, 본 발명의 일 실시예에 따른 모션 이펙트 출력 장치(600)는, 프로세서(920), 인터페이스부(930), 저장부(940), 슬라이딩 구동부(955), 진동 구동부(965), 리클라이닝 구동부(975)를 포함할 수 있다.

슬라이딩 구동부(955)는, 시트 프레임을 전후 방향으로 이동시킬 수 있으며, 진동 구동부(965)는, 시트 프레임 또는 백프레임 또는 레그 프레임을 진동시킬 수 있으며, 리클라이닝 구동부(120)는, 백 프레임을 기울일 수 있다.

인터페이스부(930)는, 영상표시장치(100)와 데이터 교환을 수행하며, 특히 본 발명의 실시예와 관련하여, 영상표시장치(100)에서 추출된 모션 코드를, 무선 또는 유선으로, 수신할 수 있다.

프로세서(920)는, 인터페이스부(930)를 통해 수신되는, 모션 코드에 기초하여, 슬라이딩 구동부(955), 진동 구동부(965), 또는 리클라이닝 구동부(975) 등을 제어할 수 있다.

한편, 모션 코드는, 모션 이펙트 종류 정보, 모션 이펙트 강도 정보, 모선 이펙트 시간 정보, 중 적어도 하나를 포함하므로, 프로세서(920)는, 수신되는 모션 코드를 이용하여, 저장부(940)에 저장된 모션 이펙트 테이블 내의 모션 이펙트를 추출할 수 있다. 그리고, 프로세서(920)는, 추출된 모션 이펙트를 이용하여, 슬라이딩 동작을 수행할 지, 진동을 동작을 수행할지 또는 리클라이닝 동작을 수행할 지 또는 이들의 조합 동작을 수행할지 등을 결정할 수 있다. 또는, 각 동작의 강도, 지속 시간 등을 결정할 수 있다.

이에 따라, 프로세서(920)는, 수신되는 모션 코드를 이용하여, 슬라이딩 구동부(955), 진동 구동부(965), 또는 리클라이닝 구동부(975) 중 적어도 하나를 구동하도록 제어할 수 있다.

사용자는, 영상표시장치에서 전송되는 모션 코드에 대응하는 모션 이펙트, 즉 4D 효과를, 의자(600)를 통해 실감할 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있다.

도 14는 본 발명의 일실시예에 따른 동기화 방법을 보여주는 순서도이고, 도 15 내지 도 18은 도 14의 동기화 방법의 다양한 예를 설명하기 위해 참조되는 도면이다.

도면을 참조하면, 먼저, 동기화 장치는 또는 동기화 장치를 구비하는 영상표시장치(100)는, 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍(streaming) 데이터를 수신한다(S1410).

네트워크 인터페이스부(135), 외부장치 인터페이스부(130) 등을 통해 방송, 영화, 드라마 등 소정 컨텐츠에 대응하는 스트리밍 데이터를 수신할 수 있다.

수신되는 스트리밍 데이터는, 신호 처리를 통해, 제어부(170)에 입력될 수 있다

한편, DVD 혹은 블루레이 플레이어 등을 이용한 4D 서비스는 DVD 혹은 블루레이 플레이어 등의 재생 장치에서 보내주는 비디오(Video)/오디오(Audio) 신호를 4D 서비스 전용 컨트롤러에 디지털 오디오(Digital Audio) 신호를 입력하도록 구성될 수 있다.

디지털 오디오 신호를 받은 별도의 4D 서비스 전용 컨트롤러에서는 오디오 신호를 분석하여 현재 사용자가 감상하고 있는 컨텐츠가 정확히 어떤 부분인지 판단하고 해당 부분에 해당되는 모션 코드(Motion Code)를 4D를 위한 모션 이펙트 출력 장치에 전달하는 역할을 담당한다.

이때, 핵심 기능은 사용자가 감상하고 있는 컨텐츠 위치를 파악(Time-Offset 산출)하는 것이며, 컨텐츠 위치를 파악할 수 있으면 현재 지원하고 있는 재생 장치에서 재생하는 컨텐츠에 대해서 4D 서비스가 가능해 진다.

DVD 혹은 블루레이 플레이어 등으로 재생되는 컨텐츠는 모든 정보가 동일한 하나의 DVD 혹은 블루레이 디스크에 포함되므로 타임 오프셋을 산출하는 것이 용이하고, 제조사에서 동기화된 모션 코드를 함께 저장해 둘 수도 있다.

하지만, 저장된 컨텐츠를 이용하는 경우와 달리, 최근 이용자가 급증하고 있는 넷플릭스(Netflix), 부두(Vudu), 아마존(Amazon) 등의 OTT 서비스는 다양한 방식으로 서비스가 제공되어, 정확한 타임 오프셋(Time-Offset)을 산출하여 모션 효과 등 특수 효과를 사용자에게 제공하는데 어려움이 있다.

따라서, 본 발명은 수신되는 스트리밍 데이터에 포함된 기본 정보를 이용하여 타임 오프셋(Time-Offset)을 산출하는 방법을 제공한다.

본 발명의 실시예에 따른 동기화 방법은 네트워크를 통하여 수신한 스트리밍 데이터의 헤더(header)를 추출한다, 더욱 자세히는 상기 헤더에 포함된 타이밍 정보를 추출한다(S1420).

이후 상기 헤더에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하고,(S1430). 상기 타임 오프셋 정보에 기초하여 동기화된 모션 코드(motion code)를 모션 이펙트 출력 장치(600)로 출력한다(S1440).

여기서, 상기 타임 오프셋 정보는 대응하는 컨텐츠 내의 현재 시청 시점 정보일 수 있다. 즉, 사용자가 시청하는 장면의 컨텐츠 내의 절대적인 위치를 나타내는 타이밍 정보일 수 있다.

모션 코드는, 진동, 슬라이딩 등에 관한 모션 이펙트 종류 정보, 진동 또는 슬라이딩의 레벨(level) 등에 관한 모션 이펙트 강도 정보, 모션 이펙트의 지속 시간 등에 관한 모션 이펙트 시간 정보 중 적어도 하나를 포함할 수 있다.

또한, 정확한 장면에 모션 효과 등 특수 효과가 출력될 수 있도록 산출된 타임 오프셋 정보 값에 따라 타이밍 정보가 수정 또는 추가되어 모션 코드가 컨텐츠에 동기화될 수 있다.

모션 이펙트 출력 장치(600)는, 모션 코드를 수신하여, 해당하는 모션 이펙트를 출력하도록 동작하게 된다. 이에 따라, 사용자는, 컨텐츠에 대응하는 컨텐츠 영상을 시청하면서, 대응하는 모션 이펙트를 느낄 수 있게 된다. 따라서, 사용자의 이용 편의성이 증대될 수 있다.

도 15의 (a)는, 영상표시장치(100)에 입력되는 컨텐츠의 컨텐츠 영상(1510)의 일예를 예시한다. 도면에서는 컨텐츠 영상(1510)이, 헬기 형상의 컨텐츠 오브젝트(1515)와, 폭발을 나타내는 오브젝트(1525)를 포함하는 것을 예시한다.

도 15의 (b)는 동기화된 모션 코드(S1)가, 영상표시장치(100)에서 모션 이펙트 출력 장치(600)로 전송되는 것을 예시한다. 예를 들어, 무선 통신에 의해, 추출된 모션 코드(S1)가, 전송될 수 있다. 여기서, 추출된 모션 이펙트 정보(S1)는, 폭발에 대응하는 모션 효과 출력을 위한 모션 코드로서, 예를 들어, 레벨 3의 강도를 갖는 진동 정보일 수 있다.

도 15의 (c)는, 영상표시장치(100)에 입력되는 컨텐츠의 컨텐츠 영상(1510)이, 디스플레이(180)에 표시되고, 모션 이펙트 출력 장치(600)는, 해당 컨텐츠 영상(1510)에 동기하여, 수신한 모션 코드(S1)에 대응하는, 모션 이펙트를 출력하는 것을 예시한다. 즉, 모션 이펙트 출력 장치(600)에서, 레벨 3의 진동 동작(M1)이 수행되는 것을 예시한다.

도 16은, 3D 영상으로서 재생되는 경우, 도 15에 비해, 모션 이펙트가 달라지는 것을 예시한다.

도 16의 (a)는, 영상표시장치(100)에서 재생할 컨텐츠가, 사이드 바이 사이드 포맷으로 3D 처리된 3D 영상(1610)을 예시한다. 도 15의 (a)의 컨텐츠가 영상표시장치(100)가 입력된 상태에서, 3D 변환 입력이 있는 경우, 도 16의 (a)와 같이, 해당 컨텐츠 영상이, 사이드 바이 사이드 포맷의 3D 영상(1610)으로 변환될 수 있다. 이러한 3D 변환은, 포맷터(360)에서 수행될 수 있다.

도면에서는, 컨텐츠 오브젝트(1615a)와 자막(1625a)을 포함하는 좌안 영상(1610a)과, 컨텐츠 오브젝트(1615b)와 자막(1625b)을 포함하는 우안 영상(1610b)이 사이드 바이 사이드 포맷으로 배열된 것을 예시한다.

이때, 사용자에게 원활한 3D 시청 효과를 제공하기 위해, 컨테츠 오브젝트가 돌출되어 보이도록, 컨텐츠 오브젝트(1615a)와 컨텐츠 오브젝트(1615b)는 시차를 가지나,

도 16의 (b)와 같이, 동기화된 모션 코드(S6)로서, 레벨 4의 진동 정보가 설정되고, 레벨 4의 진동 정보(S6)가, 영상표시장치(100)에서 모션 이펙트 출력 장치(600)로 전송될 수 있다. 이에 따라, 도 16의 (c)와 같이, 영상표시장치(100)에 입력되는 컨텐츠의 컨텐츠 영상(1660)이 3D 영상으로서, 디스플레이(180)에 표시되고, 모션 이펙트 출력 장치(600)에, 레벨 4의 진동 동작(M6)이 수행될 수 있다.

한편, 상기 헤더는 타이밍 정보 등 다양한 정보를 포함할 수 있고, 상기 타이밍 정보는 현재 재생시점(Presentation Time) 정보를 포함할 수 있다.

표 1은 스트리밍 데이터가 ASF 파일인 경우 헤더에 포함되는 필드들의 일예를 나타낸다.

본 발명의 실시예에서는 상기 헤더에 포함된 필드(field)의 다양한 정보 중 현재 재생시점(presentation time) 정보를 모션 코드 동기화에 이용할 수 있다.

도 17은 OTT 서비스용 스트리밍 데이터의 일예를 도시한 것이다.

OTT 서비스는 통상적으로 인터넷(Internet)을 이용한 스트리밍(Streaming) 방식으로 서비스를 제공하며, 이 스트림(Stream)에는 실제 AV 동영상을 담고 있는 스트림 페이로드(Stream Payload)와 스트림 헤더(Stream Header)가 포함된다.

스트림 헤더는 해당 컨텐츠가 재생된지 얼마나 지난 시점의 스트림 인지에 대한 정보를 포함하고 있는 '현재 재생시점'(Presentation Timestamp) 정보가 포함되며, 본 발명의 실시예에서는 이를 모션 코드 동기용으로 사용할 수 있다.

동기화 매니저(430)은 OTT 서비스의 실제 AV Data 스트리밍(Streaming) 시 데이터 패킷(Packet)에 포함된 타임 오프셋을 이용하여 모션 코드와의 동기(Sync)를 맞추며, 타임 오프셋 시점에 맞는 모션 코드를 네트워크 인터페이스부(135)를 통하여 의자에 전송할 수 있다.

한편, 상기 헤더에 포함된 타이밍 정보는 재생 또는 트릭 플레이를 종료하면 초기값으로 리셋되는 타이밍 값일 수 있다. 즉, 컨텐츠에서의 고정된 절대 시간 정보가 아니라 가변되는 상대 시간 정보일 수 있다.

예를 들어, OTT 서비스에 따라서는, 현재 재생시점 정보는 리와인드(Rewind)와 포워드(Forward)와 같은 트릭 플레이(Trick-Play)가 수행되면 현재 재생시점 값은 다시 0부터 카운팅(countig)될 수 있다. 또는, 재생을 종료하고 이후에 다시 이어보기를 하는 경우에도 현재 재생시점 값은 다시 초기값 0부터 시작할 수 있다.

이 경우에는 정확한 타임 오프셋을 산출하기 위하여 추가적인 타이밍 정보가 필요할 수 있다.

따라서, 본 발명의 일실시예에 따른 동기화 방법은 상기 제1 컨텐츠 제공자 또는 상기 제1 컨텐츠 제공자와 연계된 서비스를 제공하는 제2 컨텐츠 제공자로부터 상기 스트리밍 데이터에 대응하는 컨텐츠의 마지막 시청 시점 정보를 수신하는 단계를 더 포함할 수 있다.

여기서, 상기 마지막 시청 시점 정보는 대응하는 컨텐츠 내의 절대 시간 정보일 수 있다.

한편, 상기 제2 컨텐츠 제공자는 상기 제1 컨텐츠 제공자 등 여러 컨텐츠 제공자들의 컨텐츠를 제공하는 서비스 사업자일 수 있다. 서비스 사업자의 사업 형태에 따라서는 실제의 스트리밍 데이터는 제1 컨텐츠 제공자로부터 사용자가 수신하더라도 서비스 요청, 결제 등은 서비스 사업자를 통하여 이루어질 수 있고, 서비스 사업자는 서비스와 관련된 정보를 사용자 측 기기에 제공할 수 있다.

한편, 본 실시예에서 상기 타임 오프셋 정보 산출 단계는(S1430), 상기 타이밍 정보와 상기 마지막 시청 시점 정보를 합산하여 상기 타임 오프셋 정보를 산출하는 것을 특징으로 할 수 있다.

현재 재생시점 값이 상대 시간 값인 경우, 트릭 플레이가 수행되면 의미가 없어지며, 이때는 모션 이펙트 출력 장치(600)와의 연동도 필요가 없다. 트릭 플레이를 종료하면 현재 재생시점 값은 다시 0부터 시작하나 OTT 서비스 업체에서 사용자 정보 관리용으로 제공하는 마지막 시청시점 정보를 이용하여 컨텐츠의 시작 시점부터 어느 시점을 볼 수 있는지 또는 봤는지 산출 가능하다.

도 18은 타임 오프셋 정보 산출의 다양한 예를 설명하는데 참조하기 위해 예시되는 타임 라인(Time line)들을 도시한 도면으로, 도 18의 (a)는 포워드 위치 이동, 도 18의 (b)는 리와인드 위치 이동, 도 18의 (c)는 이어보기를 예시한다.

도 18의 (a)의 타임 라인은, 사용자가 처음부터 컨텐츠를 감상하다가 T0a 시점에서 Fast Forward 혹은 Chapter Skip 등의 수행하여 T0a 시점 이후의 시점인 T1a까지 트릭 플레이를 한 후 다시 정상 배속으로 t1a 시간 동안 감상하였을 때의 시간 흐름을 나타낸 것이다.

이때, 현재 시점의 계산은 OTT 서비스 업체가 제공하는 'T1a’ 시점에 스트리밍 데이터에 포함된 t1a 시간 데이터를 합산하여 계산 가능하다.

여기서, 산출된 타임 오프셋 즉 현재 시청 시점은 컨텐츠 시작 시점을 0으로 하는 컨텐츠의 절대 위치 시점을 나타낸다.

스트리밍 데이터를 통해 일반 배속 재생을 시작한 이후 데이터인 t1a 시점과 OTT 서비스에서 제공하는 컨텐츠s 내의 절대 시간 정보인 T1a를 합산하여 실제 시청 시점을 계산한다.

한편, 상기 마지막 시청 시점 정보는 제1 컨텐츠 제공자 또는 제2 컨텐츠 제공자가 제공하는 메타데이터(Metadata) 내에 포함되어 제공될 수 있다.

도 18의 (b)의 타임 라인은, T0b 시점에 Rewind 혹은 Chapter Skip 등의 T0b 시점 이전의 시점인 T1b까지 트릭 플레이한 후, 정상배속으로 t1b 시간 동안 컨텐츠를 감상하였을 때의 시간 흐름을 나타낸 것이다.

이 경우에도, 현재 시점의 계산은 OTT 서비스 업체가 제공하는 ‘T1b’ 시점에 스트리밍 데이터에 포함된 t1b 시간 데이터를 합산하여 계산 가능하다.

도 18의 (c)의 타임 라인은, T0c 시점에 재생을 종료하거나 혹은 TV의 전원을 꺼서 재생을 종료한 후, 같은 컨텐츠를 다시 '이어보기’로 재생 시작 후 정상배속으로 t1c 시간 동안 Contents 컨텐츠를 감상하였을 때의 시간 흐름을 나타낸 것이다.

이 경우에도, 현재 시점의 계산은 OTT 서비스 업체가 제공하는 ‘T0c’ 시점에 스트리밍 데이터에 포함된 t1c 시간 데이터를 합산하여 계산 가능하다.

한편, 상기 마지막 시청 시점 정보 수신 단계는, 기설정된 기준 시간마다 주기적으로 상기 마지막 시청 시점 정보를 수신하는 것을 특징으로 할 수 있다.

예를 들어, OTT 서비스 업체의 주기적인 메타데이터 업데이트로 마지막 시청 시점 정보를 수신할 수 있다.

컨텐츠 재생 시 AV 스트림은 OTT 서비스가 보내주는 대로 출력된다. 즉, OTT 서비스 업체에서 지정된 단위 시간마다(ex. 1분, 30초 등) 현재 시청 중인 시점, 마직막 시청 시점 정보 등을 포함하는 메타데이터를 스트림이 재생되는 TV로 송출하고, 영상표시장치 등은 수신받은 시점 정보를 이용할 수 있다.

또는, 본 발명의 일실시예에 따른 동기화 방법은 일반배속 재생 명령을 수신하는 단계와 상기 제1 컨텐츠 제공자 또는 상기 제2 컨텐츠 제공자에게 상기 마지막 시청 시점 정보를 요청하는 단계를 더 포함할 수 있다.

메타데이터는 화면 표시를 위한 AV 스트림과는 별도의 관리/제어 채널을 통해 요청(Request)과 응답(Response)이 수행될 수도 있다.

TV에서 재생정보가 필요한 시점에 OTT 서비스 업체로 재생 시점에 대한 메타데이터 요청을 보내고, 이에 대해 회신받을 수 있다.

예를 들어, 사용자의 원격제어장치 입력에 따라 트릭 플레이 동작을 수행한다. 사용자의 입력은 OTT 서비스 업체로 전달되며, 이에 따라 다른 AV 스트림이 서버에서 송출된다. 사용자가 일반 배속 재생을 시작하면 이때 OTT 서비스 업체에 현재 시점, 마지막 시청 시점에 대한 메타데이터를 요청하며, 이에 대한 응답으로 시점 정보가 TV로 송출된다.

한편, 본 명세서에서는, 동기화 장치가 영상표시장치(100)의 제어부(170)의 일부로서 구성되는 예를 위주로 기술하였으나, 제어부(170) 외의 별도로 구비될 수 있다.

또는, 본 발명의 일실시예에 따른 동기화 장치는 영상표시장치와는 별개로 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 네트워크 인터페이스부와 상기 수신한 스트리밍 데이터의 헤더(header)에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 제어부를 포함하고, 상기 제어부는, 상기 타임 오프셋 정보에 기초하여 동기화된 모션 코드(motion code)를 출력하는 것을 특징으로 할 수 있다.

또한, 동기화 장치는 모션 코드들이 저장되는 모션 코드 데이터베이스를 더 포함할 수 있다.

한편, 상기 제어부는, 상기 수신한 스트리밍 데이터의 헤더(header)에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 컨텐츠 핸들러(contents handler)와, 상기 타임 오프셋 정보와 모션 코드를 동기화시키는 동기화 매니저(sync manager)를 포함할 수 있고, 상기 모션 코드 데이터베이스를 관리하는 모션 코드 데이터베이스 매니저를 더 포함할 수 있다.

도 19는 본 발명의 일실시예에 따른 동기화 방법을 보여주는 순서도이고, 도 20은 도 19의 동기화 방법의 다양한 예를 설명하기 위해 참조되는 도면이다.

도면들을 참조하면, 본 발명의 일실시예에 따른 동기화 방법 네트워크를 통하여 연결된 컨텐츠 제공자로부터 스트리밍 데이터를 수신하고(S1910), 상기 수신한 스트리밍 데이터를 역다중화하여 오디오 스트림, 비디오 스트림, 모션 코드를 추출한다(S1920). 동기화 장치는 상기 추출한 모션 코드를 모션 이펙트 출력 장치로 송신한다(S1930).

한편, 상기 추출 단계(S1920)는, 상기 수신한 스트리밍 데이터로부터 상기 오디오 스트림과 상기 비디오 스트림을 추출하고, 상기 추출한 오디오 스트림으로부터 상기 모션 코드를 추출할 수 있다.

이 경우에 상기 모션 코드는 상기 오디오 스트림에, 추가 삽입되어 있거나, 상기 오디오 스트림의 일부 데이터를 대체하여 삽입되어 있을 수 있다.

또한, 상기 모션 코드는 복수의 다국어 오디오 데이터 중 메인 오디오 데이터를 제외한 오디오 데이터 중 하나를 대체하여 삽입되어 있을 수 있다.

모션 이펙트 출력 장치를 제어하기 위한 모션 코드를 타임 오프셋 정보를 이용하여 찾아내는 것이 아니라, OTT의 스트리밍 내에 탑재할 수 있다. 스트림 페이로드(Stream Payload)는 비디오와 오디오로 크게 나뉘며, 오디오의 경우 복수의 다국어(Multi-Language) 제공을 위하여, 도 20의 (a)와 같이, Main 및 Secondary 오디오를 가질 수 있다.

한편, 모션 코드가 도 20의 (b)와 같이, Secondary 오디오 대신에 스트리밍 데이터에 탑재되어 서비스가 제공되면, 타임 오프셋 정보를 찾아낸 후 그에 해당하는 모션 코드를 찾는 것이 아니라 현재 시점의 모션 코드를 직접 수신하여 이를 모션 이펙트 출력 장치에 전송한다.

또는, 도 20의 (c)와 같이, 스트리밍 데이터에 주기적으로 삽입 가능한 어떤 형태의 메타데이터 필드(Metadata Field)에도 모션 코드를 포함하여 전송하는 경우 4D 서비스가 가능하다.

본 발명의 실시예에 따르면, 모션 효과 등 특수 효과를 제공할 수 있어, 사용자의 편의성을 향상시킬 수 있다.

또한, 신뢰성 있고 컨텐츠 제공자에 무관하게 적용할 수 있는 동기화 방법 및 장치를 제공함으로써, 4D 컨텐츠를 더욱 정확하고 편리하게 이용할 수 있다.

특히, 스트리밍(Streaming) 기반의 OTT 서비스에서도 타임 오프셋 정보를 이용하여 모션 코드와의 동기(Sync)를 맞출 수 있다.

또한, 컨텐츠 감상시 자두 사용되는 트릭-플레이(Trick-Play) 및 재생 종료 후 다시 보기 기능을 이용하더라도 사용자가 현재 감상하는 컨텐츠의 지점을 정확히 계산 가능하다

또한, OTT 서비스에 대한 타임 오프셋 정보 정보의 정확한 산출을 통해 모션 코드를 정확히 동기화하여 4D 서비스가 가능하다.

또 다른 실시예에서는 스트리밍 데이터에 직접 모션 코드를 탑재하여 직접 모션 코드 추출이 가능하다.

한편, 본 명세서에서는, 물리적 동작인 모션 이펙트를 위주로 기술하였으나, 자막 정보에 기초하여, 후각 이펙트(향기, 냄새 등), 무드 이펙트(조명 밝기 등) 등이 추출되고, 모션 이펙트 출력 장치는, 후각 이펙트, 무드 이펙트 등을 출력하는 것도 가능하다.

본 발명에 따른 동기화 장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 영상표시장치 및/또는 동기화 장치의 동작 방법은 영상표시장치 및/또는 동기화 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (19)

1. 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 단계;
   상기 수신한 스트리밍 데이터의 헤더(header)를 추출하는 단계;
   상기 헤더에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 단계; 및,
   상기 타임 오프셋 정보에 기초하여 동기화된 모션 코드(motion code)를 출력하는 단계;를 포함하는 동기화 방법.
2. 제1항에 있어서,
   상기 헤더에 포함된 타이밍 정보는 현재 재생시점(presentation time) 정보를 포함하는 것을 특징으로 하는 동기화 방법.
3. 제1항에 있어서,
   상기 헤더에 포함된 타이밍 정보는 재생 또는 트릭 플레이를 종료하면 초기값으로 리셋되는 타이밍 값인 것을 특징으로 하는 동기화 방법.
4. 제1항에 있어서,
   상기 제1 컨텐츠 제공자 또는 상기 제1 컨텐츠 제공자와 연계된 서비스를 제공하는 제2 컨텐츠 제공자로부터 상기 스트리밍 데이터에 대응하는 컨텐츠의 마지막 시청 시점 정보를 수신하는 단계;를 더 포함하는 동기화 방법.
5. 제4항에 있어서,
   상기 마지막 시청 시점 정보는 대응하는 컨텐츠 내의 절대 시간 정보인 것을 특징으로 하는 동기화 방법.
6. 제4항에 있어서,
   상기 마지막 시청 시점 정보는 메타데이터 내에 포함되는 것을 특징으로 하는 동기화 방법.
7. 제4항에 있어서,
   상기 타임 오프셋 정보 산출 단계는, 상기 타이밍 정보와 상기 마지막 시청 시점 정보를 합산하여 상기 타임 오프셋 정보를 산출하는 것을 특징으로 하는 동기화 방법.
8. 제4항에 있어서,
   상기 마지막 시청 시점 정보 수신 단계는, 기설정된 기준 시간마다 주기적으로 상기 마지막 시청 시점 정보를 수신하는 것을 특징으로 하는 동기화 방법.
9. 제4항에 있어서,
   일반배속 재생 명령을 수신하는 단계;와
   상기 제1 컨텐츠 제공자 또는 상기 제2 컨텐츠 제공자에게 상기 마지막 시청 시점 정보를 요청하는 단계;를 더 포함하는 동기화 방법.
10. 제1항에 있어서,
    상기 타임 오프셋 정보는 대응하는 컨텐츠 내의 현재 시청 시점 정보인 것을 특징으로 하는 동기화 방법.
11. 제1항에 있어서,
    상기 타임 오프셋 정보를 저장하는 단계;를 더 포함하는 동기화 방법.
12. 네트워크를 통하여 연결된 제1 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 네트워크 인터페이스부;와
    상기 수신한 스트리밍 데이터의 헤더(header)에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 제어부;를 포함하고,
    상기 제어부는, 상기 타임 오프셋 정보에 기초하여 동기화된 모션 코드(motion code)를 출력하는 것을 특징으로 하는 동기화 장치.
13. 제12항에 있어서,
    상기 제어부는,
    상기 수신한 스트리밍 데이터의 헤더(header)에 포함된 타이밍 정보에 기초하여 타임 오프셋 정보를 산출하는 컨텐츠 핸들러(contents handler)와, 상기 타임 오프셋 정보와 모션 코드를 동기화시키는 동기화 매니저(sync manager)를 포함하는 것을 특징으로 하는 동기화 장치.
14. 제12항에 있어서,
    모션 코드들이 저장되는 모션 코드 데이터베이스;를 더 포함하는 동기화 장치.
15. 제14항에 있어서,
    상기 제어부는,
    상기 모션 코드 데이터베이스를 관리하는 모션 코드 데이터베이스 매니저를 더 포함하는 것을 특징으로 하는 동기화 장치.
16. 네트워크를 통하여 연결된 컨텐츠 제공자로부터 스트리밍 데이터를 수신하는 단계;
    상기 수신한 스트리밍 데이터를 역다중화하여 오디오 스트림, 비디오 스트림, 모션 코드(motion code)를 추출하는 단계; 및,
    상기 추출한 모션 코드를 출력하는 단계;를 포함하는 동기화 방법.
17. 제16항에 있어서,
    상기 추출 단계는, 상기 수신한 스트리밍 데이터로부터 상기 오디오 스트림과 상기 비디오 스트림을 추출하고, 상기 추출한 오디오 스트림으로부터 상기 모션 코드를 추출하는 것을 특징으로 하는 동기화 방법.
18. 제17항에 있어서,
    상기 모션 코드는 상기 오디오 스트림에, 추가 삽입되어 있거나, 상기 오디오 스트림의 일부 데이터를 대체하여 삽입되어 있는 것을 특징으로 하는 동기화 방법.
19. 제18항에 있어서,
    상기 모션 코드는 복수의 다국어 오디오 데이터 중 메인 오디오 데이터를 제외한 오디오 데이터 중 하나를 대체하여 삽입되어 있는 것을 특징으로 하는 동기화 방법.
    
    

Images