KR20170007341A - 외부 장치를 이용한 방송 데이터 처리 방법 및 장치 - Google Patents

외부 장치를 이용한 방송 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
KR20170007341A
KR20170007341A KR1020167034028A KR20167034028A KR20170007341A KR 20170007341 A KR20170007341 A KR 20170007341A KR 1020167034028 A KR1020167034028 A KR 1020167034028A KR 20167034028 A KR20167034028 A KR 20167034028A KR 20170007341 A KR20170007341 A KR 20170007341A
Authority
KR
South Korea
Prior art keywords
video data
received
audio data
information
data
Prior art date
Application number
KR1020167034028A
Other languages
English (en)
Other versions
KR101875669B1 (ko
Inventor
황수진
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20170007341A publication Critical patent/KR20170007341A/ko
Application granted granted Critical
Publication of KR101875669B1 publication Critical patent/KR101875669B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N13/04—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 외부 장치를 이용한 방송 데이터 처리 방법 및/또는 장치의 제공에 관한 것이다. 본 발명의 일 실시예에 따른 방송 데이터 처리 장치는 비디오 데이터 및 오디오 데이터를 수신하는 수신부, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더, 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 인터페이스부, 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부 및 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부를 포함한다.

Description

외부 장치를 이용한 방송 데이터 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING BROADCAST DATA BY USING EXTERNAL DEVICE}
본 발명은 방송 데이터의 처리에 관한 것이다. 보다 상세하게는, 외부 장치를 이용한 방송 데이터 처리 방법 및 장치에 관한 것이다.
최근 스마트폰 또는 테블릿이 보급화 되면서 세컨드 디바이스의 수요가 증가하고 있다. 방송 신호를 수신하여 재생하는 디지털 TV를 메인 디바이스라고 한다면 사용자가 가지고 있는 그 외의 스마트폰 또는 테블릿이 세컨드 디바이스에 해당한다.
한편, 자이로 센서란 지구의 회전과 관계없이 높은 정확도로 항상 처음에 설정한 일정 방향을 유지하는 성질을 이용하여 물체의 방위 변화를 측정하는 센서이다. 또한, 가속도 센서란 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 센서이다. 최근 세컨드 디바이스는 자이로 센서와 같은 움직임 감지 센서를 탑재하여 이를 이용한 부가 기능을 수행한다.
한편, Windows와 같은 아이콘과 마우스를 통한 작업이 가능한 컴퓨터 인터페이스를 '그래픽 유저 인터페이스(graphic user interface, GUI)'라고 하며 텍스트 입력으로 사용하는 인터페이스를 '케렉터 유저 인터페이스(Character User Interface, CUI)'라고 한다. 최근 이러한 유저 인터페이스를 이용하여 사용자로부터 다양한 입력을 받고 이를 출력하는 기술이 발전하고 있다.
이에 따라, 여러 가지 방면에서, 자이로 센서와 같은 센서가 탑재된 세컨드 디바이스의 유저 인터페이스를 이용하여 메인 디바이스를 제어하는 기술에 대한 필요가 증가하고 있다.
본 발명의 목적은, 세컨드 디바이스를 이용하여 메인 디바이스를 제어하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스에 탑재된 센서를 이용하여 메인 디바이스를 제어하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스를 이용하여 메인 디바이스에 디스플레이될 출력 영상을 결정하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 뎁스를 조정하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 화면 구성을 조정하는 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치는 비디오 데이터 및 오디오 데이터를 수신하는 수신부, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더, 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 인터페이스부, 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부 및 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부를 포함한다.
바람직하게는, 상기 특성 정보는 상기 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 디스플레이부는 상기 센서값 정보가 나타내는 비디오 데이터의 일부 영역을 디스플레이한다.
바람직하게는, 상기 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 뎁스를 조정하는 뎁스 처리부를 포함하고, 상기 디스플레이부는 상기 조정된 뎁스를 갖는 비디오 데이터를 디스플레이한다.
바람직하게는, 상기 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 화면 구성을 조정하는 화면 조정부를 포함하고, 상기 디스플레이부는 상기 조정된 화면 구성을 갖는 멀티뷰 비디오 데이터를 디스플레이한다.
바람직하게는, 상기 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 오브젝트 별 사운드를 갖는 오디오 데이터를 재생한다.
바람직하게는, 상기 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 채널 별 사운드를 갖는 오디오 데이터를 재생한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치는 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 수신부, 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 센서부 및 상기 감지된 제어 정보를 상기 외부 장치로 전송하는 전송부를 포함한다.
바람직하게는, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법은 비디오 데이터 및 오디오 데이터를 수신하는 단계, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 단계, 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 단계, 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 단계 및 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법은 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 단계, 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 단계 및 상기 감지된 제어 정보를 상기 외부 장치로 전송하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치는 비디오 데이터, 오디오 데이터 및 권장되는 시청 위치의 3차원 좌표값을 나타내는 시그널링 정보를 수신하는 수신부, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더, 방송 데이터 처리 장치가 설치되어 있는 공간을 촬영하는 촬영부, 상기 촬영된 화면 및 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부, 여기서, 상기 디스플레이부는 상기 시그널링 정보를 기반으로 상기 촬영된 화면에 권장되는 시청 위치를 표시하고, 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부를 포함한다.
본 발명의 실시예에 따르면, 세컨드 디바이스를 이용하여 메인 디바이스를 제어할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스에 탑재된 센서를 이용하여 메인 디바이스를 제어할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스를 이용하여 메인 디바이스에 디스플레이될 출력 영상을 결정할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 뎁스를 조정할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 화면 구성을 조정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예 (case 1-1)에 따라 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오에서 16:9 화면비를 갖는 디스플레이 (display)에 출력될 영역을 사용자가 직접 선택하는 방법을 나타낸 도면이다.
도 3은 본 발명의 일 실시예 (case 1-2)에 따라 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어하는 방법 및 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
도 4는 본 발명의 다른 일 실시예에 따라 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예 (case 2-1, case 2-2) 따라 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하여 메인 디바이스에 출력될 영상을 제어하는 방법에 사용되는 센서의 동작을 나타낸 도면이다.
도 6은 본 발명의 일 실시예 (case 2-1, case 2-2)에 따라 세컨드 디바이스에 탑재된 가속도 센서의 동작을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 방송 신호를 수신하는 수신 장치의 구성을 나타낸 도면이다.
도 8은 본 발명의 일 실시예 (case 3-1)에 따라 오브젝트 기반 오디오 (object based audio)의 각 오브젝트의 사운드 (sound)를 제어하는 방법을 나타낸 도면이다.
도 9는 본 발명의 일 실시예 (case 3-2)에 따라 채널 기반 오디오 (channel based audio)의 각 채널의 사운드를 제어하는 방법을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 방송 서비스를 시청하는데 최적의 위치에 대한 정보를 제공하는 방법을 나타낸 도면이다.
도 11은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
도 13은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
도 14는 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
본 발명의 기본 컨셉에 대하여 설명하면, 본 발명의 실시예들은 파노라마 (panorama), 3D (3 dimensional), 오디오 (audio) 등의 인풋 비디오 또는 오디오 (input video or audio)에 대한 메인 디바이스 (main device) 및/또는 스피커 (speaker)의 출력을 사용자가 세컨드 디바이스 (second device)를 이용해 임의로 제어할 수 있도록 할 수 있다.
본 발명의 일 실시예 (case 1-1)는 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이 (display)에 출력하는 경우 디스플레이에 출력될 영역을 사용자가 직접 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI (user interface)를 이용할 수 있다. 본 명세서에서는 일 예로서, 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이에 출력하는 경우에 대하여 설명하고 있지만, 본 발명의 일 실시예는 디스플레이 (스크린)의 화면비보다 더 넓은 화면비를 갖는 비디오 (wider aspect ratio video)를 상기 비디오 (wider aspect ratio video)보다 더 좁은 화면비를 갖는 디스플레이 (스크린)에 출력하는 경우에 대해서도 적용될 수 있다.
본 발명의 다른 일 실시예 (case 1-2)는 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어할 수 있도록 할 수 있고, 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI (user interface)를 이용할 수 있다.
본 발명의 다른 일 실시예 (case 2-1)는 전술한 case 1-1와 같이, 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이 (display)에 출력하는 경우 디스플레이에 출력될 영역을 사용자가 직접 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하고, 세컨드 디바이스의 기울기를 조절하거나 위치를 움직여 디스플레이에 출력될 영역을 선택할 수 있다. 상술한 가속도 센서 및 자이로 센서에 대한 상세한 설명은 후술한다. 본 명세서에서는 일 예로서, 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이에 출력하는 경우에 대하여 설명하고 있지만, 본 발명의 일 실시예는 디스플레이 (스크린)의 화면비보다 더 넓은 화면비를 갖는 비디오 (wider aspect ratio video)를 상기 비디오 (wider aspect ratio video)보다 더 좁은 화면비를 갖는 디스플레이 (스크린)에 출력하는 경우에 대해서도 적용될 수 있다.
본 발명의 다른 일 실시예 (case 2-2)는 전술한 case 1-2와 같이, 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어할 수 있도록 할 수 있고, 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하고, 세컨드 디바이스의 기울기를 조절하거나 위치를 움직여 3D 비디오의 뎁스를 제어하고 멀티뷰 비디오에서 원하는 화면이 메인 디바이스에 출력될 수 있도록 할 수 있다.
본 발명의 다른 일 실시예 (case 3-1)는 오브젝트 기반 오디오 (object based audio)의 각 오브젝트의 사운드 (sound)를 사용자가 제어할 수 있도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 메인 디바이스의 리모콘을 이용할 수 있고, 세컨드 디바이스의 UI, 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
본 발명의 다른 일 실시예 (case 3-2)는 채널 기반 오디오 (channel based audio)의 각 채널의 사운드를 사용자가 제어할 수 있도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 메인 디바이스의 리모콘을 이용할 수 있고, 세컨드 디바이스의 UI, 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치 (L1010)는 수신부 (L1020), 디코더 (L1030), 인터페이스부 (L1040), 디스플레이부 (L1050) 및/또는 오디오 재생부 (L1060)를 포함할 수 있다. 수신부는 비디오 데이터 및 오디오 데이터를 수신할 수 있다. 디코더는 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩할 수 있다. 인터페이스부는 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신할 수 있다. 디스플레이부는 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이할 수 있다. 오디오 재생부는 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생할 수 있다. 여기서, 외부 장치는 세컨드 디바이스를 나타낼 수 있고, 방송 데이터 처리 장치 (L1010)은 메인 디바이스를 나타낼 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 특성 정보는 상기 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 디스플레이부는 상기 센서값 정보가 나타내는 비디오 데이터의 일부 영역을 디스플레이할 수 있다. 여기서, 센서값 정보는 좌표 변화값을 나타낼 수 있다. 이에 대한 상세한 설명은 도 2에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 방송 데이터 처리 장치 (L1010)는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 뎁스를 조정하는 뎁스 처리부를 포함할 수 있고, 상기 디스플레이부는 상기 조정된 뎁스를 갖는 비디오 데이터를 디스플레이할 수 있다. 여기서, 뎁스 처리부는 후술할 뎁스 제어 프로세서와 동일한 기능을 할 수 있다. 이에 대한 상세한 설명은 도 3, 7에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 방송 데이터 처리 장치 (L1010)는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 화면 구성을 조정하는 화면 조정부를 포함할 수 있고, 상기 디스플레이부는 상기 조정된 화면 구성을 갖는 멀티뷰 비디오 데이터를 디스플레이할 수 있다. 여기서, 화면 조정부는 후술할 멀티뷰 영상 선택 프로세서와 동일한 기능을 할 수 있다. 여기서, 화면 구성 정보는 멀티뷰를 이루는 영상들의 구성을 나타낼 수 있다. 이에 대한 상세한 설명은 도 3, 4, 7에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 오브젝트 별 사운드를 갖는 오디오 데이터를 재생할 수 있다. 이에 대한 상세한 설명은 도 8에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 채널 별 사운드를 갖는 오디오 데이터를 재생할 수 있다. 이에 대한 상세한 설명은 도 9에서 후술한다.
도 2는 본 발명의 일 실시예 (case 1-1)에 따라 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오에서 16:9 화면비를 갖는 디스플레이 (display)에 출력될 영역을 사용자가 직접 선택하는 방법을 나타낸 도면이다.
본 발명의 일 실시예는 메인 디바이스 (L2010)와 세컨드 디바이스 (L2020)를 연결하고, 어플리케이션 (App)을 실행하고, 세컨드 디바이스를 이용하여 비디오의 출력을 제어할 수 있다.
본 발명의 일 실시예에 따른 메인 디바이스 (L2010)는 송신단으로부터 수신한 영상 (비디오)의 해상도 (resolution) 정보 및/또는 화면비 (aspect ratio) 정보를 세컨드 디바이스 (L2020)로 전송할 수 있고, 수신한 전체 영상 중에서 디폴트 (default)로 메인 디바이스에 출력되는 영상의 좌표값을 세컨드 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 세컨드 디바이스 (L2020)는 센서의 온오프 (on/off) 명령 및/또는 메인 디바이스 출력될 영상의 좌표 변화값을 메인 디바이스로 전송할 수 있다. 이 때, 상술한 좌표 변화값은 사용자가 입력한 좌표값을 나타낼 수 있다.
이 도면에서, 1로 표시된 박스 (박스 1)는 송신단으로부터 수신한 전체 영상에서 사용자의 제어 전에 초기값 (디폴트)으로 설정된 메인 디바이스에 출력될 부분을 나타낼 수 있다. 2로 표시된 박스 (박스 2)는 사용자가 새로운 출력 부분으로 드래깅 (dragging)하는 경우, 초기 출력 부분과 새로운 출력 부분이 리니어 (linear)하게 연결될 수 있도록 하기 위한 중간 부분을 나타낼 수 있다. 3으로 표시된 박스 (박스 3)는 사용자가 선택한 새로운 출력 부분으로서 사용자 선택 후 메인 디바이스에 의해 출력되는 최종 영상을 나타낼 수 있다.
이 도면에서, L2030은 메인 디바이스가 디코딩해야 하는 파노라마 영상 및/또는 21:9 화면비를 갖는 영상을 나타낼 수 있다. 본 발명의 일 실시예에 따르면, L2030이 나타내는 영상에 포함된 박스 3 부분은 메인 디바이스에 의하여 디코딩되어야 하고, 출력되어야 하는 부분이다.
본 발명의 일 실시예 (case 1-1)의 컨셉에 대해 구체적으로 설명하면, 본 발명의 일 실시예는 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오에서 16:9 화면비를 갖는 디스플레이 (display)에 출력될 영역을 사용자가 직접 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI (user interface)를 이용할 수 있다. 이 때, 메인 디바이스의 화면비가 16:9라면 이보다 넓은 화면비를 갖는 영상을 수신하는 모든 경우에 본 발명의 일 실시예가 적용될 수 있다. 본 발명의 다른 일 실시예는 UI를 통해 메인 디바이스에서 출력될 부분을 표시한 세컨드 디바이스의 박스를 고정하지 않고, 박스의 비율을 조절 가능하게 할 수 있다. 즉, 본 발명의 일 실시예는 사용자가 세컨드 디바이스를 이용해 메인 디바이스에 출력될 영상의 화면비를 자유자제로 조절할 수 있다. 이로써, 메인 디바이스에 출력될 영상은 화면비 조절로 인해 스케일링 (scaling)되는 방식이 아닌, 세컨드 디바이스의 박스 안에 포함되는 픽셀 (pixel)의 개수를 조절하는 방식으로 결정되므로 영상이 왜곡되는 현상을 줄일 수 있다.
본 발명의 일 실시예 (case 1-1)에 따른 프로세스를 설명하면, 본 발명의 일 실시예는 메인 디바이스와 세컨드 디바이스를 연결하고, 세컨드 디바이스에서 출력 영상을 제어할 수 있는 어플리케이션을 실행할 수 있다. 본 발명의 일 실시예에 따른 사용자는 상술한 어플리케이션에서 UI를 이용하여 출력 영상을 제어하기 위한 메뉴 (video rendering control menu)를 선택할 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 메인 디바이스로부터 메인 디바이스가 송신단으로부터 수신한 전체 영상의 해상도 (resolution) 및/또는 해상도 (aspect ratio) 정보를 전달받을 수 있다. 이후, 세컨드 디바이스는 UI를 통해 원 영상 (전체 영상)의 해상도, 화면비 등의 정보를 바탕으로 원 영상의 영역을 표시할 수 있다. 이 때, 메인 디바이스가 수신한 전체 영상이 디코딩되어 세컨드 디바이스에 표시될 수 있다. 또는, 세컨드 디바이스는 전체 영상을 다운 샘플링 (down sampling)한 낮은 해상도의 영상을 메인 디바이스로부터 전달 받고 이를 세컨드 디바이스의 화면에 표시할 수 있다. 또는, 메인 디바이스가 수신한 전체 영상이 스케일러블 비디오 코덱 (scalable video codec)을 사용한 스트림 (stream)이라면, 본 발명의 일 실시예에 따른 세컨드 디바이스는 베이스 레이어 (base layer)의 전체 영상을 세컨드 디바이스의 화면에 표시할 수 있고, 베이스 레이어의 전체 영상을 서브 샘플링한 영상을 세컨드 디바이스의 화면에 표시할 수 있다. 세컨드 디바이스는 메인 디바이스에서 출력되고 있는 영역을 박스 형태로 표현할 수 있다. 여기서, 전술한 본 발명의 다른 일 실시예와 같이 박스의 크기는 사용자가 원하는 대로 조절될 수 있고, 박스의 크기가 사용자 임의대로 조절되었고 조절된 박스의 화면비가 메인 디바이스의 화면비와 다르면, 메인 디바이스는 크라핑 (cropping)된 영상을 스케일링하거나 크라핑된 영상에 AFD (active format description) 및/또는 bar data를 삽입하는 등의 과정을 거친 후 메인 디바이스의 화면에 최종 영상을 표시할 수 있다. 이와 같이, 본 발명의 일 실시예에 따른 사용자는 박스를 드래그 (drag) 및/또는 클릭 (click)함으로써 세컨드 디바이스를 이용하여 메인 디바이스에서 출력될 영역을 제어할 수 있다. (L2020) 이 도면의 L2040, L2050, L2060을 보면, 화살표의 방향대로 영상이 리니어하게 출력될 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스를 이용해 박스를 드래깅함으로써 출력할 부분을 조절할 수 있고, 미리 분할된 영역들 중에 원하는 부분에 가장 근접한 영역을 선택함으로써 원하는 영역을 출력할 수 있다. 이 때, 본 발명의 일 실시예에 따른 UI는 전체 영상을 분할하여 사용자가 분할된 영상을 선택할 수 있도록 할 수 있다. 본 발명의 일 실시예는 사용자가 출력을 원하는 영역을 선택한 경우 그 선택 영역을 그대로 유지시킬 수 있다. 그리고, 메인 디바이스는 전체 영상을 디코딩하더라도 세컨드 디바이스에서 사용자가 선택한 영역의 영상만을 출력할 수 있다.
도 3은 본 발명의 일 실시예 (case 1-2)에 따라 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어하는 방법 및 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
왼쪽 하단 도면 (L3020)을 보면, 본 발명의 일 실시예는 사용자가 3D 비디오 전체 영상에 대한 뎁스를 제어할 수 있도록 함으로써 사용자의 취향을 반영할 수 있다. 사용자는 피로감을 적게 주는 뎁스, 강한 3D 효과를 주는 뎁스 등을 자유롭게 선택하여 취향을 영상에 반영할 수 있다. 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스 (L3010)를 이용하여 뎁스의 음/양 방향 등을 조절할 수 있다.
오른쪽 하단 도면 (L3030)을 보면, 본 발명의 일 실시예는 사용자가 시청하는 위치의 변화 없이도 사용자로 하여금 시청환경을 선택하도록 하거나 출력 (rendering)되는 영상을 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI를 통해 출력되는 영상의 전/후, 좌/우 및/또는 상/하 방향을 조절할 수 있다. 예를 들어, 사용자가 도면에 도시된 UI에서 2번 메뉴를 선택하는 경우, 2번 시청 위치를 기준으로 하는 좌영상 및 우영상이 메인 디바이스에 출력될 수 있다.
본 발명의 일 실시예 (case 1-2)의 컨셉에 대해 구체적으로 설명하면, 본 발명의 일 실시예는 사용자가 전체 영상의 뎁스를 제어하도록 할 수 있고, 사용자가 사용자 자신의 시청환경을 선택하도록 할 수 있고, 선택된 시청환경에 대한 영상이 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 직접 세컨드 디바이스를 이용할 수 있다.
본 발명의 일 실시예 (case 1-2)에 따른 프로세스를 설명하면, 본 발명의 일 실시예는 메인 디바이스와 세컨드 디바이스를 연결하고, 세컨드 디바이스에서 출력 영상을 제어할 수 있는 어플리케이션을 실행할 수 있다. 본 발명의 일 실시예에 따른 사용자는 상술한 어플리케이션에서 UI를 이용하여 출력 영상을 제어하기 위한 메뉴 (video rendering control menu)를 선택할 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 메인 디바이스로부터 메인 디바이스가 송신단으로부터 수신한 전체 영상의 뎁스 정보 및/또는 멀티뷰의 화면 구성 정보를 전달 받을 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 UI에 뎁스 제어 (depth control) 및/또는 영상 선택 (view selection)을 위한 정보를 표시할 수 있다. 본 발명의 일 실시예는 세컨드 디바이스에서 사용자가 원하는 뎁스 정보를 입력 받으면, 영상의 입체감을 조절할 수 있다. 본 발명의 일 실시예는 세컨드 디바이스에서 사용자가 원하는 영상에 대한 입력을 기반으로, 시청자가 실제 시청하고 있는 위치에서 볼 수 없는 영상일지라도 메인 디바이스에서 출력되도록 할 수 있다. 즉, 사용자는 세컨드 디바이스의 UI를 통해 여러 시점의 영상 중에 원하는 시점의 영상을 선택하여 현재 시청 위치에서 시청할 수 있다. 이 때, 본 발명의 다른 일 실시예는 현재 시청 위치에 해당하는 영상을 메인 디바이스를 통하여 시청하는 동시에 사용자가 시청하고자 하는 다른 시점의 영상을 세컨드 디바이스를 통해 시청할 수 있도록 할 수 있다. 본 발명의 다른 일 실시예는 현재 사용자가 시청하고 있는 시청위치 외에 다른 시청위치에서는 기존 설정된 영상이 출력되도록 할 수 있다. 본 발명의 다른 일 실시예는 사용자가 여러 시청위치에 대한 영상을 직접 설정 (setting)하고, 각 시청위치에서 새로 설정된 영상이 출력되도록 할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 여러 사용자가 동시에 자신의 시청위치에서 원하는 영상을 볼 수 있다. 본 발명의 다른 일 실시예는 사용자가 세컨드 디바이스를 이용해 메인 디바이스에서 출력될 영상에 대한 내용을 결정하고 이를 변경하기 전까지는 메인 디바이스에서 출력될 영상의 영역, 뎁스 및/또는 선택된 시청위치에 대한 영상 등은 그대로 유지되도록 할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따라 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
상단 도면 (L4010)을 보면, 본 발명의 일 실시예는 1번으로 표시된 시청 위치에 대한 영상, 2번으로 표시된 시청 위치에 대한 영상 및/또는 3번으로 표시된 시청 위치에 대한 영상을 사용자가 사용자 자신의 실제 위치와 무관하게 변경 및/또는 선택할 수 있도록 할 수 있다. 본 발명의 일 실시예에 따른 사용자는 각 시청 위치에 대한 영상을 리니어하게 움직이면서 변경 및/또는 선택할 수 있다. 이 때, 사용자는 도면에 표시된 1, 2 및 3번의 시청 위치뿐만 아니라 화살표 선상의 모든 위치에 대한 영상을 선택할 수 있다. 본 발명의 일 실시예는 사용자가 UI를 통해 시청 위치에 대한 영상을 변경하는 경우, 1번으로 표시된 시청 위치에 대한 영상으로부터 3번으로 표시된 시청 위치에 대한 영상으로 리니어하게 연결될 수 있도록 두 시청 위치에 대한 영상의 중간 영상들을 메인 디바이스에서 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예는 멀티뷰 영상으로부터 상술한 중간 영상에 해당하는 가상뷰 영상을 생성하고 생성된 가상뷰가 메인 디바이스에서 출력되도록 할 수 있다.
하단 도면 (L4020)을 보면, 본 발명의 일 실시예는 시청 위치에 대한 영상을 모델링 (modeling) 및/또는 넘버링 (numbering)해서 사용자가 선택할 수 있게 할 수 있다. 본 발명의 일 실시예에 따른 사용자가 실제로는 1번 시청 위치 (가장 왼쪽)에 앉아있더라도 사용자가 2번 시청 위치를 UI를 통해 선택하면, 2번 시청 위치에 대한 영상이 메인 디바이스에 출력될 수 있다.
본 발명의 다른 일 실시에에 따르면 이 도면에 도시된 UI는 추가로 3D 영상을 구성하는 좌영상 및 우영상의 위치 변경을 위한 메뉴 및/또는 2D 영상에서 3D 영상으로 변경을 위한 메뉴를 포함할 수 있다.
도 5는 본 발명의 일 실시예 (case 2-1, case 2-2) 따라 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하여 메인 디바이스에 출력될 영상을 제어하는 방법에 사용되는 센서의 동작을 나타낸 도면이다.
본 발명의 일 실시예 (case 2-1, case 2-2)는 세컨드 디바이스의 움직임을 파악하기 위해 중력 센서, 가속도 센서 및/또는 자이로 센서를 사용할 수 있다.
본 발명의 일 실시예에 따른 중력 센서 (gravity sensor, L5010)은 세컨드 디바이스가 가로 방향인지 세로방향인지를 인식할 수 있고, 이를 이용하여 본 발명의 일 실시예는 출력 화면을 보정할 수 있다.
본 발명의 일 실시예에 따른 가속도 센서 (accelerometer sensor, L5020)은 세컨드 디바이스가 움직이는 속도의 변화, 충격, 힘의 세기 등을 감지할 수 있고, 이를 이용하여 본 발명의 일 실시예는 출력 화면을 보정할 수 있다. 본 발명의 일 실시예에 따른 가속도 센서는 센서에 작용하는 중력 가속도를 X, Y, Z 축 방향의 벡터 3개로 나누어 크기를 측정할 수 있다. 이 때, X 축은 디바이스 화면의 수평축을 나타내고, Y 축은 디바이스 화면의 수직축을 나타내고, Z 축은 디바이스 화면의 위쪽을 나타낸다. 여기서, X 축의 양의 방향은 오른쪽이고, Y 축의 양의방향은 위쪽이고, Z 축의 양의 방향은 디바이스 화면을 뚫고 나오는 쪽이다. 가속도 센서의 출력 값은 <a_x, a_y, a_z> 와 같이 3개 요소를 가진 벡터 형태를 나타낸다.
본 발명의 일 실시예에 따른 자이로 센서 (gyro sensor, L5030)는 세컨드 디바이스의 회전상태를 3개축으로 감지해 세컨드 디바이스의 기울기를 인식할 수 있다. 자이로 센서는 기존의 가속도 센서의 X, Y, Z 축 외에 회전상태를 감지하는 3개축을 추가하여 총 6개축을 인식할 수 있다. 따라서, 자이로 센서는 기존의 가속도 센서보다 더 정밀한 동작을 인식할 수 있다. 자이로 센서는 한 축을 기준으로 단위 시간당 회전량을 표시하는 각속도를 계산할 수 있다. 그리고, 계산된 각속도를 적분해 각도 (기울기, 이동각 등)를 측정할 수 있다. 자이로 센서의 회전이 발생하면, X, Y, Z 축의 각속도가 변하게 되고 자이로 센서는 상술한 각속도의 변화량을 측정할 수 있다. 따라서, 자이로 센서의 출력 값은 각속도를 적분한 값인 이동각을 나타낸다. 정리하면, 가속도 센서는 단순히 3축 방향의 가/감속을 감지하지만, 자이로센서는 높이와 회전, 기울기를 직접 감지할 수 있다.
본 발명의 일 실시예는 상술한 센서 외에 동작 인식 센서 (motion recognition sensor)를 사용할 수 있다. 동작 인식 센서는 물체의 움직임이나 위치를 인식하는 센서로, 지자기 센서(geo-magnetic sensor), 가속도 센서 등의 각종 센서와 고도계, 자이로 등의 기능이 하나의 칩에 들어가 있는 복합센서이다.
도 6은 본 발명의 일 실시예 (case 2-1, case 2-2)에 따라 세컨드 디바이스에 탑재된 가속도 센서의 동작을 나타낸 도면이다.
이 도면은 메인 디바이스가 panorama 및/또는 21:9 화면비의 영상을 수신하는 경우, 세컨드 디바이스의 가속도 센서를 이용해 영상의 출력을 제어하는 경우를 나타낸 것이다. 이 도면은 각 축 방향으로 움직임이 생겼을 때에 대한 가속도 센서 값 및 디바이스의 동작을 나타내고 있다. 나아가, 축 방향이 아닌 방향으로 움직임이 생겼을 때에도 본 발명의 일 실시예는 가속도 센서 값에 대한 디바이스 동작을 미리 정의하여 사용자의 요청에 대한 출력 영상을 제어할 수 있다. 또한, 본 발명의 다른 일 실시예는 자이로 센서를 이용하는 경우, 각 축에 대한 각속도 값을 기반으로 한 세컨드 디바이스의 기울임에 대한 디바이스의 동작을 미리 정의할 수 있다. 본 발명의 다른 일 실시예에 따라 전체 영상에 대한 뎁스를 제어하거나 멀티뷰 비디오에서 영상 (view)을 선택하는 경우에도, 이 도면의 표와 같이 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 기반으로 추출한 움직임 값에 대한 디바이스의 동작을 미리 정의할 수 있다.
메인 디바이스가 수신한 영상이 2D 영상인 경우, 본 발명의 일 실시예는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용해 획득한 움직임 및/또는 기울기 정보를 기반으로 수신한 전체 영상에서 메인 디바이스에 출력할 영역의 좌표값을 계산하거나 맵핑 (mapping)할 수 있다. 그리고, 본 발명의 일 실시예는 계산된 좌표값을 기반으로 메인 디바이스에 출력할 영역을 크라핑 (cropping) 및/또는 스케일링 (scaling)하여 메인 디바이스에 출력할 수 있다.
메인 디바이스가 수신한 영상이 3D 영상인 경우, 본 발명의 일 실시예는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용해 획득한 움직임 및/또는 기울기 정보를 기반으로 뎁스를 제어하거나 수신한 멀티뷰 영상에서 시청하고자 하는 영상을 선택할 수 있다. 예를 들어, 본 발명의 일 실시예는 사용자가 스마트폰을 오른쪽으로 움직인 경우에 사용자가 메인 디바이스의 화면 오른쪽으로 가고자 한다는 것으로 해석하고 이 경우, 현재 있는 위치보다 왼쪽에서 촬영된 화면을 메인 디바이스로 출력할 수 있다. 그리고, 사용자가 스마트폰을 메인 디바이스의 화면 쪽으로 위치를 움직인 경우에는 사용자가 전체 영상의 뎁스를 줄이고자 하는 것으로 해석하고 이 경우, 전체 영상의 뎁스를 줄일 수 있다.
본 발명의 일 실시예 (case 2-1)의 컨셉에 대해 구체적으로 설명하면, 사용자가 세컨드 디바이스를 전/후, 좌/우 및/또는 상/하로 움직이거나 기울이면 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서에 의해 세컨드 디바이스의 움직임 및/또는 기울임이 파악되고, 본 발명의 일 실시예는 파악된 세컨드 디바이스의 움직임 및/또는 기울임을 기반으로 메인 디바이스가 수신한 panorama 및/또는 21:9 화면비를 갖는 영상의 실제 출력 영역을 선택할 수 있다.
본 발명의 다른 일 실시예 (case 2-2)의 컨셉에 대해 구체적으로 설명하면, 사용자가 세컨드 디바이스를 전/후, 좌/우 및/또는 상/하로 움직이거나 기울이면 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서에 의해 세컨드 디바이스의 움직임 및/또는 기울임이 파악되고, 본 발명의 일 실시예는 파악된 세컨드 디바이스의 움직임 및/또는 기울임을 기반으로 메인 디바이스가 수신한 3D 영상의 뎁스를 제어하거나 수신한 멀티뷰 영상에서 시청하고자 하는 영상을 선택할 수 있다.
본 발명의 일 실시예 (case 2-2 및 case 2-2)에 따른 프로세스를 설명하면, 본 발명의 일 실시예는 메인 디바이스와 세컨드 디바이스를 연결하고, 세컨드 디바이스에서 출력 영상을 제어할 수 있는 어플리케이션을 실행할 수 있다. 본 발명의 일 실시예에 따른 사용자는 상술한 어플리케이션에서 가속도 센서를 이용하여 출력 영상을 제어하기 위한 메뉴 (video rendering control menu)를 선택할 수 있다. 본 발명의 일 실시예는 가속도 센서 및/또는 자이로 센서의 움직임 및/또는 기울임에 따른 메인 디바이스의 동작을 초기값 (default)로 정의할 수 있다. 이 때, 상술한 센서의 움직임에 따른 메인 디바이스의 동작은 사용자가 별도로 설정할 수 있다. 본 발명의 일 실시예는 상술한 센서의 움직임에 따른 메인 디바이스의 동작에 대한 설정된 정보를 도움말 형식으로 디바이스의 화면에 표시할 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 메인 디바이스에서 디코딩하는 영상의 특징을 파악하고, 가속도 센서 및/또는 자이로 센서의 움직임 및/또는 기울임 정보에 따라 영상을 크라핑, 스케일링, 뎁스 제어 및/또는 영상 선택 (view selection) 동작을 수행하고, 수행한 동작에 대한 정보를 메인 디바이스에게 전달할 수 있다. 이 때, 세컨드 디바이스가 파악하는 메인 디바이스에서 디코딩하는 영상의 특징은 파노라마인지 21:9 화면비의 영상인지, 2D 영상인지 3D 영상인지 및/또는 멀티뷰 영상인지 아닌지에 대한 정보일 수 있다. 상술한 크라핑 등의 동작은 초기값으로 설정되었거나 사용자에 의해 미리 설정된 가속도 센서 및/또는 자이로 센서의 움직임 및/또는 기울임에 따른 메인 디바이스의 동작에 따라 이뤄질 수 있다. 본 발명의 일 실시예에 따른 메인 디바이스는 세컨드 디바이스로부터 전달받은 사용자의 요청에 따라 해당 영역을 출력할 수 있다. 이 때, 사용자가 세컨드 디바이스를 이용해 원하는 출력 영역, 뎁스, 출력 영상 등을 결정하고, 센서의 작동을 끄면, 결정된 출력 영역, 뎁스, 출력 영상 등은 그대로 유지될 수 있다.
도 7은 본 발명의 일 실시예에 따른 방송 신호를 수신하는 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 2D 방송 신호를 수신하는 수신 장치 (L7010)는 시스템 디코더 (system decoder), 역다중화부 (demultiplexer, demux), 컴포넌트 추출부 (component extractor), 시그널링/어나운스먼트 프로세서 (signaling/announcement processor) 및/또는 비디오 디코더 (video decoder)를 포함할 수 있다.
시스템 디코더 및 역다중화부는 송신단으로부터 전송되는 다중화된 방송 신호를 역다중화하고 방송 신호에 포함된 데이터 패킷을 추출할 수 있다. 컴포넌트 추출부는 수신한 방송 신호에서 컴포넌트를 추출할 수 있다. 여기서, 컴포넌트는 비디오 컴포넌트, 오디오 컴포넌트 등을 포함할 수 있다. 시그널링/어나운스먼트 프로세서는 기존 PSI/SI/PSIP 프로세서와 같은 역할은 하는 구성으로서, 시그널링 정보를 처리할 수 있다. 비디오 디코더는 비디오를 디코딩할 수 있다.
본 발명의 일 실시예에 따른 2D 방송 신호를 수신하는 수신 장치 (L7010)는 세컨드 디바이스로부터 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값을 전달받을 수 있다. 이 때, 상술한 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값은 메인 디바이스에서 출력될 출력 영역의 좌표값의 변화, 전체 영상의 화면비 정보 및/또는 메인 디바이스의 화면비 정보 등을 나타낼 수 있다. 수신 장치 (L7010)는 세컨드 디바이스로부터 전달받은 상술한 값들을 이용하여 송신단으로부터 수신한 원본 영상을 크라핑할 수 있다. 그리고, 수신 장치 (L7010)는 크라핑된 영상의 화면비와 메인 디바이스의 화면비가 동일하면 크라핑된 영상을 메인 디바이스에 출력하고 동일하지 않으면 화면의 남는 부분에 AFD bar를 삽입하거나 앱 실행 공간을 삽입할 수 있다.
본 발명의 일 실시예에 따른 3D 방송 신호를 수신하는 수신 장치 (L7020)는 시스템 디코더 (system decoder), 역다중화부 (demultiplexer, demux), 컴포넌트 추출부 (component extractor), 시그널링/어나운스먼트 프로세서 (signaling/announcement processor), 비디오 디코더 (video decoder), 멀티뷰 영상 선택 프로세서 (Post-processor for reordering of multi-view position), 뎁스 제어 프로세서 (Post-processor for depth control), 스테레오 포맷터 (stereo formatter) 및/또는 멀티뷰 제어부 (multi-view controller)를 포함할 수 있다.
시스템 디코더 (system decoder), 역다중화부 (demultiplexer, demux), 컴포넌트 추출부 (component extractor), 시그널링/어나운스먼트 프로세서 (signaling/announcement processor) 및/또는 비디오 디코더 (video decoder)는 상술한 2D 방송 신호를 수신하는 수신 장치 (L7010)를 구성하는 동일 명칭의 구성과 동일한 역할을 할 수 있다. 다만, 3D 방송 신호를 수신하는 수신장치 (L7020)는 하나 이상의 비디오 디코더를 포함할 수 있다. 본 발명의 일 실시예에 따른 3D 방송 신호를 수신하는 수신 장치 (L7020)는 세컨드 디바이스로부터 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값을 전달받을 수 있다. 이 때, 상술한 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값은 메인 디바이스가 수신한 전체 영상의 뎁스 값, 수신한 멀티뷰 영상에서 사용자가 시청하기 원하는 영상에 대한 정보 등을 나타낼 수 있다. 멀티뷰 영상 선택 프로세서 (Post-processor for reordering of multi-view position)는 세컨드 디바이스로부터 전달 받은 멀티뷰 영상에서 사용자가 시청하기 원하는 영상에 대한 정보를 이용하여 해당하는 영상을 설정할 수 있다. 뎁스 제어 프로세서 (Post-processor for depth control)는 세컨드 디바이스로부터 전달 받은 전체 영상의 뎁스 값을 이용하여 해당하는 뎁스를 설정할 수 있다. 스테레오 포맷터 (stereo formatter)는 각 영상을 렌더링하기 위한 포맷팅을 할 수 있다. 멀티뷰 제어부 (multi-view controller)는 하나 이상의 시점에 대한 영상을 조합할 수 있다.
본 발명의 일 실시예에 따른 2D 방송 신호를 수신하는 수신 장치 (L7010) 및/또는 3D 방송 신호를 수신하는 수신 장치 (L7020)은 메인 디바이스에 해당할 수 있다.
도 8은 본 발명의 일 실시예 (case 3-1)에 따라 오브젝트 기반 오디오 (object based audio)의 각 오브젝트의 사운드 (sound)를 제어하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 오브젝트 기반의 오디오가 서비스되는 경우, 본 발명의 일 실시예는 오브젝트 사운드 제어 메뉴 (object sound control menu, L8010)를 실행하고, 서비스되는 전체 오브젝트 사운드를 개략화해서 사용자에게 보여줄 수 있다. 이를 위하여, 본 발명의 일 실시예는 도면의 리모콘 (L8020)에 오브젝트 단위로 사운드를 제어하기 위한 버튼 (button)을 추가할 수 있고, 디바이스에 상술한 오브젝트 사운드 제어 메뉴와 같은 UI를 추가할 수 있다. 이 때, 기존의 전체 음량 제어에 관한 버튼 및/또는 UI는 그대로 유지할 수 있다. 매직 리모콘의 경우, 본 발명의 일 실시예는 UI를 메인 디바이스의 화면 내에 생성하고 매직 리모콘을 이용하여 화면 내 UI를 제어하여 오브젝트 단위로 사운드를 제어할 수 있다. 또한, 본 발명의 다른 일 실시예는 세컨드 디바이스를 이용하여 오브젝트 단위로 사운드를 제어할 수 있다. 이 때, 세컨드 디바이스의 UI 및/또는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
예를 들면, 스포츠 중계 방송이 서비스되는 경우, 이 도면에서, Object 1은 스포츠 중계 아나운서의 목소리, Object 2는 경기장 선수들의 목소리, Object 3은 관중 소리를 나타낼 수 있다. 이 때, 관중들의 소리를 원치 않는다면, 본 발명의 일 실시예는 object 3의 소리를 음소거 시킬 수 있다.
다른 예로, 음악 방송이 서비스되는 경우, 이 도면에서, Object 1은 반주 (MR)이 될 수 있고, Object 2 및 3은 각 가수들의 목소리를 나타낼 수 있다. 이 때, 반주를 크게 듣고 싶으면, 본 발명의 일 실시예는 Object 1의 소리를 크게 하고, 다른 object 들의 소리를 줄이거나 그대로 유지시킬 수 있다.
도 9는 본 발명의 일 실시예 (case 3-2)에 따라 채널 기반 오디오 (channel based audio)의 각 채널의 사운드를 제어하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 채널 기반의 오디오가 서비스되는 경우, 본 발명의 일 실시예는 UI를 이용하여 송신단에서 제공하는 채널 기반 오디오의 개략도를 상단 도면 (L9010)과 같이 사용자에게 보여줄 수 있고, 사용자가 가지고 있는 오디오 시스템과 송신단에서 추천하는 오디오 시스템의 차이를 표시해 줄 수 있다.
송신단에서 22.2 채널 (channel)의 오디오 (audio)가 제공되는 경우, 본 발명의 일 실시예는 오디오 시스템 (audio system)의 개략도를 메인 디바이스 및/또는 세컨드 디바이스에 표시할 수 있다. 이 때, 메인 디바이스 및/또는 세컨드 디바이스는 사용자의 스피커 (speaker)로부터 직접 신호를 받거나 (ex. Bluetooth 이용) 사용자가 미리 입력해둔 사용자의 오디오 시스템 (audio system)에 따라 사용자의 오디오 시스템에서 제공되지 않는 스피커를 표시할 수 있다.
본 발명의 일 실시예에 따르면, 방송국에서 제공하는 오디오 시스템과 사용자의 것이 차이가 있는 경우, 사용자가 자신의 오디오 시스템에 맞게 각 오디오를 매핑 (mapping)할 수 있다. 예를 들어, 5.1 채널 오디오 시스템을 가지고 있는 사용자가 22.2 채널 오디오 방송 프로그램을 제공받는 경우, 하단 도면 (L9020)에서와 같이 사용자는 22.2 채널을 5.1 채널에 매핑 (mapping)할 수 있다. 즉, 도면 (L9020)에서 전체 22.2 채널 오디오 중에 점선으로 표시된 박스에 포함되는 스피커를 사용자의 오디오에 매핑할 수 있다.
본 발명의 일 실시예는 방송국에서 제공하는 오디오 시스템에 대한 정보를 수신단에 전송할 수 있다. 또한, 본 발명의 일 실시예는 사용자가 가지고 있는 오디오 시스템에서 스피커의 배열을 수집할 수 있고, 수집한 정보를 디바이스에 전달할 수 있다.
본 발명의 일 실시예에 따른 채널 기반의 오디오가 서비스되는 경우, 본 발명의 일 실시예는 채널 사운드 제어 메뉴 (channel sound control menu)를 실행하고, 서비스되는 전체 채널을 개략화해서 사용자에게 보여줄 수 있다. 이를 위하여, 본 발명의 일 실시예는 리모콘에 채널 단위로 사운드를 제어하기 위한 버튼 (button)을 추가할 수 있고, 디바이스에 상술한 채널 사운드 제어 메뉴와 같은 UI를 추가할 수 있다. 이 때, 기존의 전체 음량 제어에 관한 버튼 및/또는 UI는 그대로 유지할 수 있다. 매직 리모콘의 경우, 본 발명의 일 실시예는 UI를 메인 디바이스의 화면 내에 생성하고 매직 리모콘을 이용하여 화면 내 UI를 제어하여 채널 단위로 사운드를 제어할 수 있다. 또한, 본 발명의 다른 일 실시예는 세컨드 디바이스를 이용하여 채널 단위로 사운드를 제어할 수 있다. 이 때, 세컨드 디바이스의 UI 및/또는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 방송 서비스를 시청하는데 최적의 위치에 대한 정보를 제공하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 디바이스는 카메라를 이용하여 스크린이 설치된 실제 공간을 촬영할 수 있다. 그리고, 스크린에 촬영된 화면을 출력하고 해당 방송 서비스를 시청하는데 최적의 시청 위치를 표시할 수 있다.
본 발명의 일 실시예는 스크린에 스크린이 설치된 실제 공간을 3차원 그래픽의 형태로 표시할 수 있다. 그리고, 제작자가 의도한 최적의 시청 위치를 표시하고, 사용자에게 권장 시청 위치를 표시할 수 있다. 이 때, 최적의 시청 위치 및/또는 권장 시청 위치에 대한 정보는 시그널링을 통해 3차원 공간 좌표 정보의 형태로 디바이스에 전달될 수 있다.
도 11은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치 (L11010)는 수신부 (L11020), 센서부 (L11030) 및/또는 전송부 (L11040)를 포함할 수 있다. 수신부는 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신할 수 있다. 센서부는 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지할 수 있다. 전송부는 상기 감지된 제어 정보를 상기 외부 장치로 전송할 수 있다. 여기서, 외부 장치는 메인 디바이스를 나타낼 수 있고 방송 데이터 처리 장치 (L11010)는 세컨드 디바이스를 나타낼 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 2에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 3, 7에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 3, 4, 7에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 8에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 9에서 전술하였다.
도 12는 본 발명의 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법은 비디오 데이터 및 오디오 데이터를 수신하는 단계 (SL12010), 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 단계 (SL12020), 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 단계 (SL12030), 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 단계 (SL12040) 및/또는 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 단계 (SL12050)를 포함할 수 있다. 여기서, 외부 장치는 세컨드 디바이스를 나타낼 수 있다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법의 각 단계는 전술한 방송 데이터 처리 장치 (L1010)의 대응되는 각 구성에 의해 수행될 수 있다.
도 13은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법은 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 단계 (SL13010), 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 단계 (SL13020) 및 상기 감지된 제어 정보를 상기 외부 장치로 전송하는 단계 (SL13030)를 포함할 수 있다. 여기서, 외부 장치는 메인 디바이스를 나타낼 수 있다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법의 각 단계는 전술한 방송 데이터 처리 장치 (L11010)의 대응되는 각 구성에 의해 수행될 수 있다.
도 14는 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치 (L14010)는 수신부 (L14020), 디코더 (L14030), 촬영부 (L14040), 디스플레이부 (L14050) 및/또는 오디오 재생부 (L14060)를 포함할 수 있다. 이에 대한 상세한 설명은 도 10에서 전술하였다.
수신부는 비디오 데이터, 오디오 데이터 및 권장되는 시청 위치의 3차원 좌표값을 나타내는 시그널링 정보를 수신할 수 있다.
디코더는 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩할 수 있다.
촬영부는 방송 데이터 처리 장치가 설치되어 있는 공간을 촬영할 수 있다. 여기서, 촬영부는 카메라를 나타낼 수 있다.
디스플레이부는 상기 촬영된 화면 및 상기 디코딩된 비디오 데이터를 디스플레이할 수 있다. 여기서, 상기 디스플레이부는 상기 시그널링 정보를 기반으로 상기 촬영된 화면에 권장되는 시청 위치를 표시할 수 있다.
오디오 재생부는 상기 디코딩된 오디오 데이터를 재생할 수 있다.
본 발명의 실시예들에 따른 모듈, 유닛 또는 블락은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서/하드웨어일 수 있다. 전술한 실시예에 기술된 각 단계 또는 방법들은 하드웨어/프로세서들에 의해 수행될 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 본 발명의 실시예들에 따른 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (15)

  1. 비디오 데이터 및 오디오 데이터를 수신하는 수신부;
    상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더;
    외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 인터페이스부;
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부; 및
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부;
    를 포함하는 방송 데이터 처리 장치.
  2. 제 1 항에 있어서,
    상기 특성 정보는 상기 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 디스플레이부는 상기 센서값 정보가 나타내는 비디오 데이터의 일부 영역을 디스플레이하는 방송 데이터 처리 장치.
  3. 제 1 항에 있어서, 상기 수신한 비디오 데이터가 3D 비디오 데이터인 경우,
    상기 특성 정보는 상기 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고,
    상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 뎁스를 조정하는 뎁스 처리부를 포함하고,
    상기 디스플레이부는 상기 조정된 뎁스를 갖는 비디오 데이터를 디스플레이하는 방송 데이터 처리 장치.
  4. 제 1 항에 있어서, 상기 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우,
    상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고,
    상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 화면 구성을 조정하는 화면 조정부를 포함하고,
    상기 디스플레이부는 상기 조정된 화면 구성을 갖는 멀티뷰 비디오 데이터를 디스플레이하는 방송 데이터 처리 장치.
  5. 제 1 항에 있어서, 상기 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 오브젝트 별 사운드를 갖는 오디오 데이터를 재생하는 방송 데이터 처리 장치.
  6. 제 1 항에 있어서, 상기 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 채널 별 사운드를 갖는 오디오 데이터를 재생하는 방송 데이터 처리 장치.
  7. 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 수신부;
    상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 센서부; 및
    상기 감지된 제어 정보를 상기 외부 장치로 전송하는 전송부;
    를 포함하는 방송 데이터 처리 장치.
  8. 제 7 항에 있어서,
    상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함하는 방송 데이터 처리 장치.
  9. 제 7 항에 있어서, 상기 외부 장치가 수신한 비디오 데이터가 3D 비디오 데이터인 경우,
    상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함하는 방송 데이터 처리 장치.
  10. 제 7 항에 있어서, 상기 외부 장치가 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우,
    상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함하는 방송 데이터 처리 장치.
  11. 제 7 항에 있어서, 상기 외부 장치가 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함하는 방송 데이터 처리 장치.
  12. 제 7 항에 있어서, 상기 외부 장치가 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함하는 방송 데이터 처리 장치.
  13. 비디오 데이터 및 오디오 데이터를 수신하는 단계;
    상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 단계;
    외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 단계;
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 단계; 및
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 단계;
    를 포함하는 방송 데이터 처리 방법.
  14. 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 단계;
    상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 단계; 및
    상기 감지된 제어 정보를 상기 외부 장치로 전송하는 단계;
    를 포함하는 방송 데이터 처리 방법.
  15. 비디오 데이터, 오디오 데이터 및 권장되는 시청 위치의 3차원 좌표값을 나타내는 시그널링 정보를 수신하는 수신부;
    상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더;
    방송 데이터 처리 장치가 설치되어 있는 공간을 촬영하는 촬영부;
    상기 촬영된 화면 및 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부,
    여기서, 상기 디스플레이부는 상기 시그널링 정보를 기반으로 상기 촬영된 화면에 권장되는 시청 위치를 표시하고;
    상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부;
    를 포함하는 방송 데이터 처리 장치.
KR1020167034028A 2014-07-01 2015-06-30 외부 장치를 이용한 방송 데이터 처리 방법 및 장치 KR101875669B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462019861P 2014-07-01 2014-07-01
US62/019,861 2014-07-01
PCT/KR2015/006711 WO2016003165A1 (ko) 2014-07-01 2015-06-30 외부 장치를 이용한 방송 데이터 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170007341A true KR20170007341A (ko) 2017-01-18
KR101875669B1 KR101875669B1 (ko) 2018-08-02

Family

ID=55019620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167034028A KR101875669B1 (ko) 2014-07-01 2015-06-30 외부 장치를 이용한 방송 데이터 처리 방법 및 장치

Country Status (3)

Country Link
US (1) US10070172B2 (ko)
KR (1) KR101875669B1 (ko)
WO (1) WO2016003165A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545717B2 (en) 2015-10-08 2020-01-28 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
US10666941B1 (en) * 2016-04-06 2020-05-26 Ambarella International Lp Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
EP3888352A2 (en) * 2018-11-30 2021-10-06 PCMS Holdings, Inc. Method for mirroring 3d objects to light field displays

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107142A (ko) * 2009-03-25 2010-10-05 주식회사 대우일렉트로닉스 디스플레이 기기의 화면 출력 제어 장치 및 방법
KR20120122042A (ko) * 2011-04-28 2012-11-07 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
KR20130119233A (ko) * 2012-04-23 2013-10-31 주식회사 브이터치 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
KR20130127344A (ko) * 2012-05-14 2013-11-22 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
KR20140001726A (ko) * 2012-06-27 2014-01-07 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136414A (ko) * 2010-06-15 2011-12-21 삼성전자주식회사 영상처리장치 및 그 제어방법
US9398322B2 (en) * 2011-04-27 2016-07-19 Time Warner Cable Enterprises Llc Multi-lingual audio streaming
WO2014003378A1 (ko) 2012-06-27 2014-01-03 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치
KR20140049834A (ko) * 2012-10-18 2014-04-28 삼성전자주식회사 방송 수신 장치 및 그 제어 방법, 사용자 단말 장치 및 그 화면 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107142A (ko) * 2009-03-25 2010-10-05 주식회사 대우일렉트로닉스 디스플레이 기기의 화면 출력 제어 장치 및 방법
KR20120122042A (ko) * 2011-04-28 2012-11-07 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
KR20130119233A (ko) * 2012-04-23 2013-10-31 주식회사 브이터치 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
KR20130127344A (ko) * 2012-05-14 2013-11-22 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
KR20140001726A (ko) * 2012-06-27 2014-01-07 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치

Also Published As

Publication number Publication date
WO2016003165A1 (ko) 2016-01-07
US20170111678A1 (en) 2017-04-20
US10070172B2 (en) 2018-09-04
KR101875669B1 (ko) 2018-08-02

Similar Documents

Publication Publication Date Title
KR101875669B1 (ko) 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
US10009603B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
KR101719980B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
US8694922B2 (en) Method for displaying a setting menu and corresponding device
KR102350933B1 (ko) 영상표시장치
KR101911250B1 (ko) 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
KR102155001B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20110018913A (ko) 카메라 자세와 움직임에 기초한 배경 대체의 변조
CN112673649B (zh) 空间音频增强
US20160330426A1 (en) Program guide graphics and video in window for 3dtv
US9118903B2 (en) Device and method for 2D to 3D conversion
KR20110116525A (ko) 3ｄ 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법
JP2023024471A (ja) 情報処理装置および情報処理方法
CN109792576B (zh) 图像显示设备
US20190294410A1 (en) Sound control apparatus, sound control method, and program
US20190373244A1 (en) Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method
KR20180006798A (ko) 디스플레이장치와, 기록매체
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR101783608B1 (ko) 전자 장치 및 입체감 조정 방법
KR20130010613A (ko) 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
CN111344744A (zh) 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统
CN102487447A (zh) 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置
EP4333423A1 (en) Video conference calls
EP3968143A1 (en) Audio processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant