KR101742993B1 - A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver - Google Patents

A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver Download PDF

Info

Publication number
KR101742993B1
KR101742993B1 KR1020100065149A KR20100065149A KR101742993B1 KR 101742993 B1 KR101742993 B1 KR 101742993B1 KR 1020100065149 A KR1020100065149 A KR 1020100065149A KR 20100065149 A KR20100065149 A KR 20100065149A KR 101742993 B1 KR101742993 B1 KR 101742993B1
Authority
KR
South Korea
Prior art keywords
configuration information
image
mode
format
camera
Prior art date
Application number
KR1020100065149A
Other languages
Korean (ko)
Other versions
KR20120004586A (en
Inventor
은진화
박석원
신병선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100065149A priority Critical patent/KR101742993B1/en
Publication of KR20120004586A publication Critical patent/KR20120004586A/en
Application granted granted Critical
Publication of KR101742993B1 publication Critical patent/KR101742993B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Abstract

본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 본 발명에 따라 디지털 방송 수신기에서 3D 오브젝트(3-Dimensional Object)가 포함된 애플리케이션(application)에 3D 효과를 제공하는 방법의 일 예는, 상기 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계; 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계; 상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글(camera angle)과 적어도 둘 이상의 뷰 포트(view port)를 설정하는 단계; 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하는 단계; 및 생성된 각 이미지들을 3D 포맷으로 렌더링(rendering)하는 단계;를 포함한다. 이때, 상기 제2 구성정보는, 상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함할 수 있다. 그리고 상기 제2 구성정보는, 상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함할 수 있다.The present invention relates to a method of providing a 3D effect in a digital broadcasting receiver and a digital broadcasting receiver, and a method of providing a 3D effect in an application including a 3-dimensional object in a digital broadcasting receiver One example includes extracting one or more 3D objects from the application and configuration information (first configuration information) for the 3D objects; Receiving configuration information (second configuration information) of the extracted 3D object from a user; Setting a camera angle and at least two viewports according to the second configuration information based on the first configuration information; Generating an image of a 3D object with a camera angle set through each viewport; And rendering each of the generated images in a 3D format. In this case, the second configuration information may include angle control information of the camera for capturing the 3D object. The second configuration information may further include at least one of distance control information between the camera and the 3D object, size control information about the 3D object, and resolution control information of the 3D object.

Description

디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법{A DIGITAL BROADCAST RECEIVER AND A METHOD FOR PROCESSING A 3-DIMENSIONAL EFFECT IN THE DIGITAL BROADCAST RECEIVER}TECHNICAL FIELD [0001] The present invention relates to a digital broadcasting receiver and a digital broadcasting receiver,

본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 더욱 상세하게는 일반 3D(dimensional) 컨텐츠를 별도의 장치 없이 영상 처리 장치의 플랫폼 내에서 3D 효과가 제공되도록 포맷으로 처리하는 방법 및 장치에 관한 것이다.The present invention relates to a method of providing a 3D effect in a digital broadcasting receiver and a digital broadcasting receiver, and more particularly, to a method of providing 3D effect in a digital broadcasting receiver and a digital broadcasting receiver, ≪ / RTI >

아날로그 TV에서 디지털 TV로의 전환이라는 큰 변혁이 이루어지고 있는 상황에서 최근에는 새롭게 3DTV가 대두되고 있다.3DTV is emerging in recent years with the transformation of analog TV to digital TV.

일반적으로 방송 컨텐츠는 평면적인 2D(dimensional) 컨텐츠가 주류를 이루고 있었다. 다만, 최근 헐리우드의 3D 영화가 전세계적으로 큰 반향을 일으키면서 종래 2D 컨테츠에 비해 보다 실재감있고 입체감을 주는 3D 컨텐츠에 대한 관심이 증폭되고 있다.In general, 2D content is the mainstream of broadcast content. However, recently, Hollywood's 3D movies have gained a worldwide renaissance, and more attention is being paid to 3D contents that are more realistic and stereoscopic than conventional 2D contents.

다만, 최근 3DTV의 출시가 이루어지고는 있으나, 3D 방송에 대한 표준화 작업이 이루어지지 않았고, 현실적으로 2D 컨텐츠에 비해 3D 컨텐츠의 경우 비용의 측면이나 시간의 측면에서 애로사항이 있어, 3D 컨텐츠가 절대적으로 부족한 것이 현실이다.However, 3DTV has not been standardized yet, and in reality, 3D content has difficulties in terms of cost and time in comparison with 2D content. Therefore, 3D content is absolutely What is lacking is reality.

본 발명에서는 상술한 환경에서 일반 3D 컨텐츠에 대한 3D 효과를 극대화할 수 있는 방법 및 장치를 제공하는 데 있다.The present invention provides a method and apparatus for maximizing the 3D effect on general 3D contents in the above-described environment.

본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 본 발명에 따라 디지털 방송 수신기에서 3D 오브젝트(3-Dimensional Object)가 포함된 애플리케이션(application)에 3D 효과를 제공하는 방법의 일 예는, 상기 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계; 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계; 상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글(camera angle)과 적어도 둘 이상의 뷰 포트(view port)를 설정하는 단계; 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하는 단계; 및 생성된 각 이미지들을 3D 포맷으로 렌더링(rendering)하는 단계;를 포함한다.The present invention relates to a method of providing a 3D effect in a digital broadcasting receiver and a digital broadcasting receiver, and a method of providing a 3D effect in an application including a 3-dimensional object in a digital broadcasting receiver One example includes extracting one or more 3D objects from the application and configuration information (first configuration information) for the 3D objects; Receiving configuration information (second configuration information) of the extracted 3D object from a user; Setting a camera angle and at least two viewports according to the second configuration information based on the first configuration information; Generating an image of a 3D object with a camera angle set through each viewport; And rendering each of the generated images in a 3D format.

이때, 상기 제2 구성정보는, 상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함할 수 있다.In this case, the second configuration information may include angle control information of the camera for capturing the 3D object.

그리고 상기 제2 구성정보는, 상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함할 수 있다.The second configuration information may further include at least one of distance control information between the camera and the 3D object, size control information about the 3D object, and resolution control information of the 3D object.

또한, 상기 3D 모드에는, 스테레오스코픽(stereoscopic) 모드와 다시점 영상(multi-view image) 모드 중 적어도 하나일 수 있다.In addition, the 3D mode may be at least one of a stereoscopic mode and a multi-view image mode.

그리고 렌더링 된 각 이미지로부터 3D 포맷의 프레임(frame)을 생성하는 단계;와 생성된 프레임을 믹싱(mixing)하는 단계;와 믹싱된 각 프레임을 디스플레이 주파수(display frequency)에 따라 출력하는 단계;를 더 포함할 수 있다.Generating a frame in 3D format from each rendered image; mixing the generated frame; and outputting each mixed frame according to a display frequency, .

본 발명에 따라 디지털 방송 수신기에서 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 방법의 다른 예는, 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계; 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계; 상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글과 좌안 뷰 포트(left view port)와 우안 뷰 포트(right view port)를 설정하는 단계; 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 좌영상 데이터(left image data)와 우영상 데이터(right image data)를 생성하는 단계; 및 생성된 좌영상 데이터와 우영상 데이터를 렌더링하는 단계;를 포함한다.Another example of a method for providing a 3D effect to an application including a 3D object in a digital broadcast receiver according to the present invention is to extract one or more 3D objects from the application and configuration information (first configuration information) for the 3D object ; Receiving configuration information (second configuration information) of the extracted 3D object from a user; Setting a camera angle, a left view port, and a right view port according to the second configuration information based on the first configuration information; Generating left image data and right image data for a 3D object with a camera angle set through each viewport; And rendering the generated left and right image data.

본 발명에 따른 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기의 일 예는, 상기 애플리케이션을 수신하는 기본 처리부; 상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고, 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 적어도 둘 이상 뷰 포트를 설정하고, 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하고 렌더링하는 제어부; 렌더링 된 3D 오브젝트에 대한 이미지를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및 재구성된 3D 오브젝트의 이미지를 포함한 애플리케이션을 출력하는 디스플레이 모듈;을 포함한다.One example of a digital broadcast receiver that provides a 3D effect to an application including a 3D object according to the present invention includes: a basic processing unit for receiving the application; (First configuration information) for the 3D object from one or more 3D objects from the called application, extracts configuration information (first configuration information) for the 3D object from the called application, (Second configuration information) for setting a camera angle and at least two view ports for the 3D object, and generating and rendering an image for the 3D object with the camera angle set through the respective view ports ; An output formatter for reconstructing an image of a rendered 3D object in a 3D format according to a display frequency; And a display module outputting an application including an image of the reconstructed 3D object.

이때, 상기 디지털 방송 수신기는, 사용자로부터 상기 제2 구성정보를 입력받기 위한 UI를 출력하도록 제어하는 UI 제어부;와 상기 UI를 통해 사용자의 설정을 입력받는 외부 입력 수신부;를 더 포함할 수 있다.The digital broadcasting receiver may further include a UI control unit for controlling the UI to receive the second configuration information from a user and an external input receiving unit for receiving a user's setting through the UI.

그리고 상기 제2 구성정보는, 상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함할 수 있다.The second configuration information may include angle control information of the camera for capturing the 3D object.

또한, 상기 제2 구성정보는, 상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함할 수 있다.The second configuration information may further include at least one of distance control information between the camera and the 3D object, size control information about the 3D object, and resolution control information of the 3D object.

그리고 상기 제어부는, 상기 선택된 모드에 따라 기설정된 카메라 앵글과 적어도 둘 이상의 뷰 포트를 상기 구성 정보에 따라 설정할 수 있다.The controller may set a predetermined camera angle and at least two viewports according to the configuration information according to the selected mode.

또한, 상기 3D 포맷에는, 스테레오스코픽과 다시점 영상 포맷 중 적어도 하나가 포함될 수 있다.In addition, the 3D format may include at least one of stereoscopic and multi-view video formats.

그리고 상기 디지털 방송 수신기는, 렌더링 된 각 이미지로부터 3D 포맷의 프레임을 생성하고, 생성된 각 프레임을 믹싱하는 믹싱부;를 더 포함할 수 있다.The digital broadcasting receiver may further include a mixing unit for generating a 3D formatted frame from each rendered image and mixing the generated frames.

본 발명에 따른 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기의 다른 예는, 상기 애플리케이션을 수신하는 기본 처리부; 상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고, 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 좌안 뷰 포트와 우안 뷰 포트를 설정하고, 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 좌영상 데이터와 우영상 데이터를 생성하고 렌더링하는 제어부; 렌더링된 좌영상 데이터와 우영상 데이터를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및 재구성된 좌영상 데이터와 우영상 데이터를 포함한 애플리케이션을 출력하는 디스플레이 모듈;을 포함한다.Another example of a digital broadcast receiver that provides a 3D effect to an application including a 3D object according to the present invention includes: a basic processing unit for receiving the application; (First configuration information) for the 3D object from one or more 3D objects from the called application, extracts configuration information (first configuration information) for the 3D object from the called application, Eye view port and the right eye view port for the 3D object according to the configuration information (second configuration information) for the 3D object, and sets the left image data and the right image data for the 3D object with the camera angle set through each viewport, A control unit for generating and rendering image data; An output formatter for reconstructing the rendered left image data and right image data in 3D format according to the display frequency; And a display module for outputting the application including the reconstructed left image data and right image data.

본 발명에 따르면,According to the present invention,

첫째, 일반 3D 컨텐츠에 대한 3D 효과를 극대화할 수 있는 효과가 있다.First, there is an effect of maximizing the 3D effect on general 3D contents.

둘째, 사용자별로 일반 3D 컨텐츠에 대한 3D 효과의 정도를 제어할 수 있도록 하여 사용자의 요구를 만족시키고 사용자의 편의성을 극대화할 수 있는 효과가 있다.Second, it is possible to control the degree of the 3D effect on the general 3D contents for each user, thereby satisfying the user's demand and maximizing the user's convenience.

셋째, 일반 3D 컨텐츠에 대한 3D 효과 부과를 위해 별도의 장비를 구비하지 않고도 TV 플랫폼 내에서 간단하게 처리할 수 있는 효과가 있다.Third, there is an effect that simple processing can be performed within the TV platform without additional equipment for imposing a 3D effect on general 3D contents.

도 1은 3D 원리와 관련하여, 좌영상 데이터와 우영상 데이터의 시차에 따라 사용자의 입체감을 느낄 수 있는 원근감을 설명하기 위해 도시한 것,
도 2는 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면,
도 3은 멀티 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면,
도 4는 본 발명에 따른 영상 처리 장치를 설명하기 위한 구성 블록도의 일 예,
도 5는 본 발명에 따라 모노 아이(Mono Eye)와 스테레오 뷰 포트(Stereo View Port)가 어떻게 나뉘는지 설명하기 위한 개념도,
도 6은 본 발명에 따라 3D 오브젝트를 포함한 애플리케이션이 호출된 경우에 3D 플랫폼의 동작 플로우를 설명하기 위해 도시한 순서도,
도 7과 8은 본 발명의 사용 시나리오의 일 예를 도시한 것,
도 9는 본 발명에 따라 사용자 구성 정보를 입력하기 위한 UI의 일 예를 도시한 것, 그리고
도 10은 본 발명에 따라 3D 출력 포맷을 선택받기 위한 UI의 일 예를 도시한 것이다.
FIG. 1 is a block diagram illustrating a perspective view of a 3D sense according to a time difference between a left image data and a right image data,
2 shows a stereoscopic image multiplexing format of a single video stream format,
Figure 3 illustrates a stereoscopic image multiplexing format of a multi-video stream format;
4 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
5 is a conceptual diagram for explaining how a mono eye and a stereo view port are divided according to the present invention;
6 is a flowchart illustrating an operation flow of a 3D platform when an application including a 3D object is called according to the present invention.
Figures 7 and 8 illustrate examples of usage scenarios of the present invention,
9 shows an example of a UI for inputting user configuration information according to the present invention, and
FIG. 10 illustrates an example of a UI for selecting a 3D output format according to the present invention.

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 설명되지만, 본 발명의 권리범위는 후술하는 실시예들에 의해 제한되거나 한정되는 것은 아니다.Other objects, features and advantages of the present invention will become apparent from the detailed description of the embodiments with reference to the attached drawings, but the scope of the present invention is not limited or limited by the following embodiments.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.As used herein, terms used in the present invention are selected from general terms that are widely used in the present invention while taking into account the functions of the present invention, but these may vary depending on the intention or custom of a person skilled in the art or the emergence of new technologies. In addition, in certain cases, there may be a term arbitrarily selected by the applicant, in which case the meaning thereof will be described in the description of the corresponding invention. Therefore, it is intended that the terminology used herein should be interpreted based on the meaning of the term rather than on the name of the term, and on the entire contents of the specification.

이하, 상기 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시 예가 첨부된 도면을 참조하여 설명된다.Hereinafter, preferred embodiments of the present invention in which the above objects can be specifically realized will be described with reference to the accompanying drawings.

이하 본 명세서에서 “애플리케이션”은, 적어도 하나 이상의 3D 오브젝트(object)를 포함한 데이터의 일 예로, 콘솔(console)이나 PC 등에서 처리되는 애플리케이션과 구분하여 영상 신호 처리 장치의 플랫폼(platform) 내에서 처리되는 애플리케이션을 의미한다. 이러한 애플리케이션에는 3D 컨텐츠와 함께 제공되는 3D 오브젝트가 포함된 UI(User Interface)도 포함된다.Hereinafter, an " application " is an example of data including at least one 3D object, which is processed in a platform of a video signal processing apparatus, separated from an application processed in a console or a PC Application. This application also includes a UI (User Interface) containing 3D objects provided with the 3D content.

본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 이하 본 명세서에서는 3D 오브젝트가 포함된 데이터를 TV 플래폼 내에서 3D 오브젝트에 대한 제어만으로 3D 컨텐츠 출력시와 동일 또는 유사한 효과를 제공하는 입체 영상 처리 방법 및 장치에 대해 설명하고자 한다. 이하 본 발명의 이해를 돕고 출원인의 설명의 편의를 위해 상기 3D 오브젝트가 포함된 데이터를 3D 오브젝트가 포함된 애플리케이션 또는 애플리케이션으로 지칭하여 설명한다.
The present invention relates to a method for providing a 3D effect in a digital broadcast receiver and a digital broadcast receiver, and in the following description, data including a 3D object is controlled by a 3D object in a TV platform, A stereoscopic image processing method and apparatus provided by the present invention will be described. Hereinafter, to facilitate understanding of the present invention and for convenience of applicants, data including the 3D object will be referred to as an application or an application including a 3D object.

3D 개념 및 포맷3D Concepts and Formats

우선 3D의 기본 원리 및 그 포맷에 대해 간략하게 설명하면, 다음과 같다.First, the basic principle of 3D and its format will be briefly described as follows.

일반적으로 3D 영상(또는 입체 영상)은, 인간의 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안이 각각 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
Generally, a 3D image (or a stereoscopic image) provides a stereoscopic feeling by using the stereoscopic principle of the human eyes. Since the human being feels the perspective through the binocular parallax due to the difference between the two eyes, that is, the distance between the two eyes about 65 mm away, the 3D image provides the image so that the left eye and the right eye are respectively associated with the plane image It is possible to provide three-dimensional feeling and perspective.

일반적으로 3D 영상(또는 입체 영상)은, 인간의 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안이 각각 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
Generally, a 3D image (or a stereoscopic image) provides a stereoscopic feeling by using the stereoscopic principle of the human eyes. Since the human being feels the perspective through the binocular parallax due to the difference between the two eyes, that is, the distance between the two eyes about 65 mm away, the 3D image provides the image so that the left eye and the right eye are respectively associated with the plane image It is possible to provide three-dimensional feeling and perspective.

도 1은 3D 원리와 관련하여, 좌영상 데이터와 우영상 데이터의 시차에 따라 사용자의 입체감을 느낄 수 있는 원근감을 설명하기 위해 도시한 것이다.FIG. 1 is a diagram for explaining a perspective view that allows a user to perceive a stereoscopic effect according to a time difference between a left image data and a right image data, in relation to the 3D principle.

도 1(a)는 우영상 데이터(101)와 좌영상 데이터(102)의 시차가 좁은 경우에 상기 양 데이터의 결합에 의해 맺히는 상의 위치(103)를 설명한다. 이에 반해, 도 1(b)는 우영상 데이터(111)와 좌영상 데이터(112)의 시차가 상대적으로 도 1(a)에 비해 넓은 경우에 상기 양 데이터의 결합에 의해 맺히는 상의 위치(113)를 설명한다. 도 1(a) 내지 1(b)를 참조하면, 좌/우 영상 데이터의 시차에 따라 좌안 및 우안으로부터 서로 다른 위치(또는 거리)에서 상이 맺히고, 이러한 상의 위치에 따라 사람의 눈은 원근감의 정도를 느낄 수가 있다.Fig. 1 (a) illustrates the position 103 of the image formed by the combination of the two data when the parallax between the right video data 101 and the left video data 102 is narrow. 1 (b) shows the position 113 of the image formed by the combination of the two data when the parallaxes of the right video data 111 and the left video data 112 are relatively wider than those of FIG. 1 (a) . 1 (a) to 1 (b), images are formed at different positions (or distances) from the left and right eyes according to the parallax of the left / right image data. I can feel it.

도 1(a)에서, 상(103)은 우안으로 우영상 데이터(101)의 일측과 다른 측을 바라보는 연장선(R1,R2)을 그리고, 좌안으로 좌영상 데이터(102)에 대해 동일한 방식으로 연장선(L1,L2)을 그릴 때, 상기 우영상 데이터에 대한 연장선(R1)과 좌영상 데이터에 대한 연장선(L1)이 우안 및 좌안으로부터 일정 거리(d1)에서 교차되는 지점에 맺힌다. 도 1(b)에서, 상(113)은 도 1(a)를 참조하면, 우영상 데이터에 대한 연장선(R3)과 좌영상 데이터에 대한 연장선(L3)이 우안 및 좌안으로부터 일정 거리(d2)에서 교차되는 지점에서 맺힌다. 여기서, 양안으로부터 상이 맺힌 위치(103,113)까지의 거리를 나타내는 d1(도 1(a))과 d2(도 1(b))를 비교하면, 상기 d1이 d2보다 양안으로부터의 거리가 더 멀다. 즉, 도 1(a)에서의 상이 도 1(b)에서의 상보다 양안으로부터 더 먼 거리에서 맺힌다. In Fig. 1 (a), an image 103 is formed by extending lines R1 and R2 for viewing one side and the other side of the right image data 101 to the right eye, and in the same manner for left image data 102 for the left eye An extension line R1 for the right image data and an extension line L1 for the left image data are formed at a point where they intersect at a certain distance d1 from the right eye and the left eye when the extension lines L1 and L2 are drawn. 1 (b), the image 113 includes an extension line R3 for the right image data and an extension line L3 for the left image data at a certain distance d2 from the right eye and left eye, At the intersection point. Here, when d1 (Fig. 1 (a)) and d2 (Fig. 1 (b)) showing distances from the binocular to the positions 103 and 113 are compared, the distance d1 is longer from both eyes than d2. That is, the image in Fig. 1 (a) is formed at a greater distance from the binocular than the image in Fig. 1 (b).

이는 좌/우영상 데이터의 간격(도면을 기준으로 횡 방향)에서 기인한다. 예를 들면, 도 1(a)에서의 우/좌영상 데이터(101/102)의 간격은, 도 1(b)에서의 우/좌영상 데이터(103/104)의 간격에 비하여 상대적으로 좁다. 그러므로, 도 1(a) 및 1(b)를 참조하면, 각 영상 데이터의 간격이 좁을수록 좌/우영상 데이터의 결합에 의해 맺히는 상은, 상대적으로 사람의 눈으로부터 먼 거리에서 형성되어 멀게 느껴진다.This is caused by the interval of the left / right image data (lateral direction with reference to the drawing). For example, the interval of the right / left image data 101/102 in FIG. 1 (a) is relatively narrow as compared with the interval of the right / left image data 103/104 in FIG. 1 (b). 1 (a) and 1 (b), the image formed by the combination of the left / right image data becomes relatively distant from the human eye and distant as the interval of each image data becomes narrower.

본 발명과 관련하여, 3D 영상 표현 방법은, 2 개의 시점을 고려하는 스테레오스코픽 영상 방식과 3 개 이상의 시점을 고려하는 다시점 영상(multiple view image) 방식이 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라 지칭된다.According to the present invention, there are a stereoscopic image method considering two viewpoints and a multiple view image method considering three or more viewpoints. In contrast, the conventional single view image method is referred to as a monoscopic image method.

스테레오스코픽 영상 방식은, 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다.In the stereoscopic image method, a pair of left and right images obtained by photographing the same object with the left camera and the right camera separated by a predetermined distance are used. The multi-view image uses three or more images acquired from three or more cameras having a certain distance or angle.

스테레오스코픽 영상 또는 다시점 영상은 MPEG(Moving Picture Experts Group)을 포함하여 여러 가지 방법으로 압축 부호화되어 전송될 수 있다. 예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때, 디지털 방송 수신기는, H.264/AVC 코딩 방식의 역으로 수신되는 영상을 복호하여 3D 영상을 얻을 수 있다. 또한, 스테레오스코픽 영상의 좌영상 데이터와 우영상 데이터 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(extended layer or enhanced layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽(mono-scopic) 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 여기서, 기본 계층 영상에 대한 압축 부호화 방식의 예로 JPEG(Joint Photographic Experts Group), MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있다. 또한, 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식이 사용될 수 있다. 본 명세서에서 상술한 압축 부호화 방식은 일 예로 든 것으로, 그 밖에 다른 압축 부호화 방식이 이용될 수 있음은 자명하다.The stereoscopic image or the multi-view image may be compression-coded and transmitted in various ways including MPEG (Moving Picture Experts Group). For example, a stereo image or a multi-view image may be compression-coded and transmitted by the H.264 / AVC (Advanced Video Coding) method. At this time, the digital broadcasting receiver can obtain a 3D image by decoding an image received inversely to the H.264 / AVC coding scheme. Also, one of the left image data and the right image data of the stereoscopic image or one of the multi-view images is allocated as a base layer image and the remaining image is assigned as an extended layer or enhanced layer image, The image of the base layer may be encoded in the same manner as the mono-scopic image, and the image of the enhancement layer may be encoded and transmitted only for the relationship information between the base layer and the enhancement layer. Here, JPEG (Joint Photographic Experts Group), MPEG-2, MPEG-4, H.264 / AVC, or the like can be used as an example of the compression encoding method for the base layer image. In addition, H.264 / MVC (Multi-view Video Coding) scheme can be used as a compression coding scheme for an image of an upper layer. The above-described compression encoding method is merely an example, and it is obvious that other compression encoding methods may be used.

또한, 스테레오스코픽 영상의 전송 포맷에는, 싱글 비디오 스트림 포맷(single video stream format)과 멀티 비디오 스트림 포맷(multi video stream format)이 있다. 상기 싱글 비디오 스트림 포맷은 2 시점의 비디오 데이터를 하나의 비디오 스트림에 멀티플렉싱(multiplexing)하여 전송하는 방식으로, 하나의 비디오 스트림에 비디오 데이터를 전송하므로 3D 방송 서비스를 제공함에 있어서 추가로 요구되는 대역폭(bandwidth)이 크지 않은 이점 이 있다. 상기 멀티 비디오 스트림 포맷은 복수의 비디오 데이터를 복수의 비디오 스트림으로 전송하는 방식으로, 대역폭은 증가하나 고용량의 데이터 전송이 가능하여 고화질의 비디오 데이터를 디스플레이할 수 있는 이점이 있다.
In addition, the transmission format of the stereoscopic image is a single video stream format and a multi video stream format. The single video stream format multiplexes video data of two viewpoints into one video stream and transmits the video data to one video stream. Therefore, the bandwidth required for providing a 3D broadcast service bandwidth is not large. The multi-video stream format is a scheme of transmitting a plurality of video data in a plurality of video streams, and has an advantage of displaying high-quality video data by enabling a high-capacity data transmission with an increased bandwidth.

도 2는 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.2 is a diagram illustrating a stereoscopic image multiplexing format of a single video stream format.

싱글 비디오 스트림 포맷에는, (a)의 사이드바이사이드(side-by-side), (b)의 탑/바텀(top/bottom), (c)의 인터레이스드(interlaced), (d)의 프레임 시퀀셜(frame sequential), (e)의 체커 보드(checker board), (f)의 애너글리프(anaglyph) 등이 있다.The single video stream format includes a side-by-side of (a), a top / bottom of (b), an interlaced of (c), a frame of a frame sequential, a checker board in (e), anaglyph in (f), and the like.

(a)의 사이드바이사이드 포맷은, 좌영상과 우영상을 각각 수평방향으로 1/2 다운샘플링(down-sampling)하고, 샘플링된 하나의 영상을 좌측에, 샘플링된 나머지 하나의 영상을 우측에 위치시켜 하나의 스테레오스코픽 영상을 구성한다. (b)의 탑/바텀 포맷은, 좌영상과 우영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링된 하나의 영상을 상부에, 샘플링된 나머지 하나의 영상을 하부에 위치시켜 하나의 스테레오스코픽 영상을 구성한다. (c)의 인터레이스드 포맷은, 좌영상과 우영상을 각각 수평방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하거나, 좌영상과 우영상을 각각 수직방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성한다. (d)의 프레임 시퀀셜 포맷은, 하나의 비디오 스트림에 좌영상과 우영상을 시간적으로 교차하여 구성한다. (e)의 체커보드 포맷은, 좌영상과 우영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성한다. (f)의 애너글리프 포맷은, 보색 대비를 이용하여 입체 효과를 내도록 영상을 구성한다.
The side by side format of (a) is a method in which the left image and the right image are down-sampled by 1/2 in the horizontal direction, and one sampled image is displayed on the left side and the other sampled image is displayed on the right side Thereby constructing one stereoscopic image. In the top / bottom format of (b), a left image and a right image are respectively down-sampled by 1/2 in the vertical direction, and one sampled image is placed on the upper side and the other sampled image is placed on the lower side, Construct a scopic image. The interlaced format of (c) is a format in which the left image and the right image are respectively down-sampled by 1/2 in the horizontal direction so as to cross each line, So that two images are composed as one image. The frame sequential format of (d) constitutes one video stream by temporally crossing the left video and the right video. In the checkerboard format of (e), two images are formed as one image by downsampling the left and right images so as to intersect in the vertical and horizontal directions, respectively. The anaglyph format of (f) constitutes an image so as to produce stereoscopic effects using complementary color contrast.

도 3은 멀티 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.3 is a diagram illustrating a stereoscopic image multiplexing format of a multi-video stream format.

(a)의 풀 좌/우(Full left/right) 포맷은 좌 영상과 우 영상을 순차적으로 각각 전송하는 경우이고, (b)의 풀 좌/하프 우(Full left/half right) 포맷은 좌영상은 그대로, 우영상은 수직 또는 수평 방향으로 1/2 서브-샘플링(sub-sampling)하여 전송하는 경우이다. (c)의 2D 비디오/깊이(2D video/depth) 포맷은 좌영상과 우영상 중 하나의 영상과 다른 하나의 영상을 만들어 내기 위한 깊이 정보를 함께 전송하는 경우이다.the full left / right format of (a) is a case of sequentially transmitting the left video and the right video, and the full left / half right format of (b) And the right image is transmitted by 1/2 sub-sampling in the vertical or horizontal direction. The 2D video / depth format of (c) is a case of transmitting one image of a left image and a right image together with depth information for generating another image.

수신 시스템에서 이러한 다양한 방식으로 전송된 비디오 데이터를 효율적으로 디멀티플렉싱(demultiplexing)하여 비디오 데이터를 처리하려면 상술한 멀티플렉싱 포맷에 대한 정보를 전송해 줄 필요가 있다.It is necessary for the receiving system to transmit information on the multiplexing format described above in order to efficiently demultiplex video data transmitted in these various ways to process the video data.

이상 본 발명과 관련하여, 3D 개념 및 포맷에 관해 간략하게 살펴보았다. 이하 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위해, 일반 3D 컨텐츠에 포함된 3D 오브젝트를 TV 플랫폼 내에 특정 API(Application Programming Interface)를 이용하여 뷰 포트(View Port)를 레프트 아이 뷰(left eye view)와 라이트 아이 뷰(right eye view)로 서로 다르게 설정하고, 이를 레프트 씬(left scene)과 라이트 씬(right scene)으로 나누어 렌더링(rendering)하여 3D 효과가 극대화되도록 지원하고자 한다. 이하에서는 스테레오스코픽을 일 예로 하여 설명하나, 본 발명이 이에 한정되는 것은 아니며 다시점 영상 등에도 적용 가능함은 자명하다할 것이다.
In the foregoing, we have briefly discussed the 3D concept and format. Hereinafter, in order to facilitate the understanding of the present invention and for the convenience of explanation, the present invention will be described herein with reference to a case where a 3D object included in general 3D contents is displayed in a TV platform using a specific API (Application Programming Interface) eye view and a right eye view, which are divided into a left scene and a right scene to render the 3D effect maximized. Hereinafter, stereoscopic is described as an example, but the present invention is not limited thereto, and it will be apparent that the present invention can also be applied to multi-view images.

입체 영상 처리 장치Stereoscopic image processing device

이하 하나 또는 그 이상의 3D 오브젝트가 포함된 애플리케이션을 처리하는 입체 영상 처리 장치에 대해 상세하게 설명한다. 여기서, 상기 3D 오브젝트가 포함된 애플리케이션은 다양한 방식으로 입체 영상 처리 장치에 수신될 수 있다. 상기 다양한 방식이라 함은 예를 들어, 애플리케이션이 데이터 방송 채널을 통해 데이터 방송 신호에 포함되어 전송되는 방식, USB(Universal Serial Bus)나 외장 하드(External HDD)와 같은 외부 저장 장치로부터 전송되는 방식 및 네트워크(network)를 통해 연결된 각종 서버(server)를 통해 전송되는 방식 등이 있을 수 있다.Hereinafter, a stereoscopic image processing apparatus for processing an application including one or more 3D objects will be described in detail. Here, the application including the 3D object may be received by the stereoscopic image processing apparatus in various ways. The various methods include, for example, a method in which an application is included in a data broadcasting signal through a data broadcasting channel, a method in which data is transmitted from an external storage device such as a USB (Universal Serial Bus) or an external HDD, Or may be transmitted through various servers connected through a network.

이에 따라 본 명세서에서는 설명의 편의상, 3D 오브젝트가 처리되는 부분인 제어부(402), 3D 컨텐츠와 동일 또는 유사한 효과를 나타내기 위해 3D 영상 출력 방법에 따른 영상을 디스플레이 모듈(404)의 출력 주파수에 따라 재구성하는 출력 포맷터부(403), 디스플레이 모듈(404)을 제외한 나머지 부분은 공통된 기능을 수행하나 각 방식에 따라 그 구성이 상이할 수 있어 기본 처리부(401)로 지칭하여 묶어서 설명하고자 한다.
Accordingly, in the present specification, for the sake of convenience of explanation, the control unit 402, which is a part in which a 3D object is processed, an image according to a 3D image output method in accordance with an output frequency of the display module 404 The rest of the components except for the output formatting unit 403 and the display module 404 perform a common function, but their configurations may be different according to each method, and will be referred to as a basic processing unit 401. FIG.

도 4는 본 발명에 따른 디지털 방송 수신기를 설명하기 위한 구성 블록도의 일 예이다.4 is a block diagram illustrating a digital broadcasting receiver according to the present invention.

디지털 방송 수신기는, 기본 처리부(401), 제어부(402), 출력 포맷터부(403) 및 디스플레이 모듈(404)을 포함하여 구성된다.The digital broadcasting receiver includes a basic processing unit 401, a control unit 402, an output formatter unit 403, and a display module 404.

제어부(402)는 내부에 미들웨어(M/W: MiddleWare) 계층을 포함하며, 상기 미들웨어 계층 상에 3D 오브젝트가 포함된 애플리케이션이 자리한다. 이하에서 상기 제어부(402)는 미들웨어(M/W)와 혼용되어 사용되는 경우도 있다.The control unit 402 includes a middleware layer (M / W), and an application including a 3D object is located on the middleware layer. Hereinafter, the control unit 402 may be used in combination with the middleware (M / W).

상술한 3D 오브젝트를 포함한 애플리케이션이 어떤 경로나 방식으로 전송되느냐에 따라 기본 처리부의 구성은 그에 따라 적절한 구성을 가질 수 있다.The configuration of the basic processing unit may have an appropriate configuration depending on the path or manner in which the application including the 3D object described above is transmitted.

예를 들어, 3D 오브젝트가 포함된 애플리케이션이 데이터 방송 신호의 형태로 전송된 경우에는, 기본 처리부(401)는 예를 들어, 튜너부, 복조부, 역다중화부, 시그널링 정보 처리부, 애플리케이션 제어부, 제어부, UI 제어부, 저장부 및 믹서부 중 적어도 하나 이상의 구성 블록을 포함하여 구성될 수 있다. 여기서, 튜너부는 특정 채널을 튜닝하여 3D 오브젝트가 포함된 애플리케이션을 전송하는 데이터 방송 신호를 수신한다. 복조부는 수신된 데이터 방송 신호의 변조 방식에 대응되는 복조 방식으로 복조를 수행한다. 역다중화부는 복조된 데이터 방송 신호로부터 3D 오브젝트가 포함된 애플리케이션과 그 밖에 정보로 역다중화한다. 시그널링 정보는 SI(System Information) 정보를 수신하여 처리한다. 애플리케이션 제어부는 SI 정보에 근거하여 채널 맵을 생성하도록 제어하는 채널 매니저와 채널 맵을 포함한다. 제어부는 시스템 전반의 모든 동작을 제어한다. UI 제어부는 3D 오브젝트가 포함된 애플리케이션의 실행과 함께 제공될 UI의 처리에 대한 동작들을 제어한다. 저장부는 입력되는 다양한 정보들을 저장한다. 믹서부는 필요에 따라 입력되는 신호 내지 데이터들을 적절하게 믹싱되도록 처리한다.For example, when an application including a 3D object is transmitted in the form of a data broadcasting signal, the basic processing unit 401 may include a tuner unit, a demodulator, a demultiplexer, a signaling information processor, an application controller, , A UI control unit, a storage unit, and a mixer unit. Here, the tuner unit receives a data broadcasting signal for tuning a specific channel and transmitting an application including the 3D object. The demodulator performs demodulation by a demodulation system corresponding to the modulation scheme of the received data broadcasting signal. The demultiplexer demultiplexes the demodulated data broadcast signal into an application including the 3D object and other information. The signaling information is received and processed in SI (System Information) information. The application control unit includes a channel manager and a channel map for controlling the generation of the channel map based on the SI information. The control unit controls all operations of the system. The UI control unit controls operations on the processing of the UI to be provided with execution of the application including the 3D object. The storage unit stores various information to be input. The mixer unit processes the input signal or data as needed to suitably mix.

또한, 인터넷 프로토콜을 통해 네트워크를 통해 3D 오브젝트를 포함한 애플리케이션을 수신하는 경우에는 상술한 구성에서 IP 패킷의 수신 및 처리를 위한 구성(예를 들어, IP 피지컬 인터페이스)들이 상술한 구성에서 더 추가되거나 일부 구성을 대체할 수 있다.Further, in the case of receiving an application including a 3D object through a network via an internet protocol, a configuration (for example, an IP physical interface) for receiving and processing an IP packet in the above-described configuration is further added in the above- Configuration can be substituted.

그 밖에 외부 저장 장치 등을 통해 수신되는 경우에는 상술한 구성에서 외부 입력 수신부 등이 더 포함될 수 있다.In addition, when the data is received through an external storage device or the like, an external input receiving unit and the like may be further included in the above-described configuration.

디지털 방송 수신기는 예를 들어, 디지털 텔레비전 수신기(digital television receiver)일 수 있다. 따라서, 디지털 방송 수신기는, 필요한 경우 도시된 구성 중 일부 구성이 제외되거나 반대로 도시된 구성 이외에 일부 구성이 더 추가될 수 있다. 또한, 상기 각 구성은 필요한 경우에 병합되어 하나의 구성으로 기능할 수도 있다. 그 밖에 상기 애플리케이션 제어부(405)는 채널 관련 채널 매니저(406)와 채널 맵(407)을 포함하고, 오디오/비디오 디코더(411/412), 스케일러(413) 및 비디오 프로세서(414)가 더 포함될 수 있다. 또한, 디지털 방송 수신기는, 본 발명에 따라 3D 오브젝트를 포함한 애플리케이션에 대한 3D 효과를 제어하기 위해 필요한 API들을 포함한다.The digital broadcast receiver may be, for example, a digital television receiver. Therefore, the digital broadcast receiver may be further added with some configurations other than the configurations shown, except for some of the configurations shown, or vice versa. Further, each of the above-described configurations may be merged if necessary to function as a single configuration. In addition, the application control unit 405 may include a channel-related channel manager 406 and a channel map 407, and may further include an audio / video decoder 411/412, a scaler 413, and a video processor 414 have. In addition, the digital broadcast receiver includes APIs necessary for controlling the 3D effect for the application including the 3D object according to the present invention.

도 4의 디지털 방송 수신기는 그 밖에 2D 컨텐츠와 전형적인 3D 컨텐츠도 처리할 수 있다. 예를 들어, 2D 컨텐츠가 입력되는 경우, 3D 컨텐츠 처리에 특화된 일부 구성 예를 들어, 출력 포맷터부(419)를 바이패스(by-pass)되도록 제어함으로써 무리없이 처리할 수 있다.The digital broadcast receiver of FIG. 4 may also process 2D content and typical 3D content. For example, when the 2D content is input, it is possible to perform unambiguously processing by controlling some configuration, for example, the output formatting unit 419, which is specialized for 3D content processing, by-pass.

이하에서는 본 발명과 관련하여, 제어부(402)의 역할 및 기능에 대해 보다 상세하게 설명하면, 다음과 같다.Hereinafter, the functions and functions of the control unit 402 will be described in more detail with reference to the present invention.

기본 처리부(401)에서 입력되는 3D 오브젝트를 포함한 애플리케이션이 수신되는 경우 이에 대한 1차 처리를 하고, 제어부(402)로 후속 처리를 요청한다.When an application including a 3D object input from the basic processing unit 401 is received, the primary processing unit 401 performs a primary processing on the received application, and requests the control unit 402 for subsequent processing.

제어부는(402)는 상기 요청에 따라 특정 API를 이용하여 상위 애플리케이션을 호출한다.The control unit 402 invokes the parent application using the specific API according to the request.

여기서, 제어부(402) 즉, 미들웨어(M/W)는 내부에 포함된 자바 버추얼 머신(JVM: Java Virtual Machine)(411)을 통해 호출된 애플리케이션을 분석한다. Here, the control unit 402, that is, the middleware (M / W) analyzes an application called through a Java Virtual Machine (JVM) 411 included therein.

제어부(402)는 상기 분석 결과에 따라 해당 애플리케이션에 포함된 3D 오브젝트들에 대하여 특정 API를 이용하여 기본 설정을 하고 렌더링한다. 여기서, 상기 기본 설정 및 렌더링을 위해 이용되는 API는 예를 들어, M3G(Mobile 3D Graphics) Camera API가 이용될 수 있다.The control unit 402 performs basic setting and rendering of the 3D objects included in the application using a specific API according to the analysis result. Here, the API used for the basic setting and rendering may be, for example, a Mobile 3D Graphics (M3G) Camera API.

즉, 제어부(402)는 애플리케이션 분석 결과에 따라 각 3D 오브젝트에 대한 뷰 포트(View Port)를 설정하여 3D 효과를 가지도록 렌더링한다. 본 발명에서는 설명의 편의를 위해 스테레오스코픽을 예시하나 이에 한정되는 것은 아니며, 상술한 도 1 내지 3에 예시된 다른 3D 디스플레이 방법에도 적용 가능함은 자명하다.That is, the control unit 402 sets the view port for each 3D object according to the result of the application analysis, and renders it so as to have a 3D effect. In the present invention, stereoscopic is illustrated for convenience of explanation, but it is not limited thereto, and it is obvious that the present invention can be applied to other 3D display methods illustrated in Figs.

본 발명에 따른 디지털 방송 수신기의 3D 플랫폼은 모노(Mono)와 스테레오스코픽 모드를 모두 지원할 수 있다. 따라서, 제어부(402)는 분석 결과에 기초하여 사용자 등이 선택하는 경우에는 런타임(Runtime)에 분석 결과에 기초하여 사용자의 구성 정보에 기초하여 카메라의 앵글(angle), 디스턴스(distance) 등을 조정하여 소프트웨어적으로 좌영상과 우영상을 생성하고 렌더링할 수 있다.The 3D platform of the digital broadcast receiver according to the present invention can support both mono and stereoscopic modes. Accordingly, when the user selects the camera based on the analysis result, the control unit 402 adjusts the angle, distance, etc. of the camera based on the user's configuration information based on the analysis result at runtime So that the left and right images can be generated and rendered in software.

또한, 본 발명에 따른 디지털 방송 수신기의 3D 플랫폼은 컨텐츠의 원본 크기와 해상도를 고려하여 분석 결과에 기초하여 사용자가 원하는 해상도와 입체감을 선택할 수 있도록 윈도우 사이즈(window size), 카메라 앵글, 디스턴스 등을 런타임에 수정할 수 있는 구성 정보(configuration)를 제공할 수도 있다.In addition, the 3D platform of the digital broadcasting receiver according to the present invention may include a window size, a camera angle, a distance, and the like so that a user can select a desired resolution and three-dimensional sensation based on the analysis result, It may provide configuration information that can be modified at runtime.

그 밖에 본 발명에 따른 디지털 방송 수신기의 3D 플랫폼은 3D 이미지를 디스플레이하기 위한 패시브(passive) 방식과 액티브(active) 방식을 모두 지원할 수 있다. 다만, 본 명세서에서는 설명의 편의상 주로 패시브 방식을 예로 하여 설명하나 이에 한정되는 것은 아니다. 패시브 방식으로는 일반적인 3D TV에서 제공하는 사이드바이사이드(Side-by-Side), 탑/바텀(Top/Bottom), 인터레이서드(interlaced), 프레임 시퀀셜 등 싱글 비디오 스트림 포맷과 듀얼 비디오 스트림 포맷 등이 모두 적용될 수 있으며, 상기 영상 신호 처리 장치의 해상도 등을 고려하여 적절한 방식을 선택함으로써 3D 효과를 더욱 높일 수도 있다.In addition, the 3D platform of the digital broadcast receiver according to the present invention can support both a passive mode and an active mode for displaying a 3D image. In the following description, the passive method will be described as an example for convenience of explanation, but the present invention is not limited thereto. In passive mode, there are single video stream formats such as side-by-side, top / bottom, interlaced and frame sequential formats and dual video stream formats And the 3D effect can be further enhanced by selecting an appropriate method in consideration of the resolution and the like of the video signal processing apparatus.

제어부(402)는 3D 효과를 부여하기 위해 애플리케이션을 분석하여 3D 오브젝트들을 추출한다. 제어부(402)는 이렇게 추출된 3D 오브젝트들에 대해 사용자의 구성 정보 등에 기초하여 씬 그래프(Scene Graph)를 생성한다. 여기서, 상기 씬 그래프는 예를 들어, 사용자가 선택하는 입력에 따라 모델링 된 오브젝트의 뷰 포트, 라이트(light), 메쉬(mesh), 텍스쳐(texture) 등을 관리 및 제어한다.The control unit 402 extracts 3D objects by analyzing the application to give a 3D effect. The control unit 402 generates a scene graph based on the user's configuration information and the like with respect to the extracted 3D objects. Here, the scene graph manages and controls a viewport, a light, a mesh, a texture, and the like of an object modeled according to an input selected by a user.

제어부(402)는 생성된 씬 그래프를 이용하여 설정된 뷰 포트를 읽어 들이고 렌더링 관련 하이 레벨 API를 이용하여 사용자가 선택한 모드에 따라 렌더링을 수행한다. 상기 모드에는 전술한 바와 같이, 모노 모드와 3D 모드가 포함될 수 있다. 상기 3D 모드의 경우에는 다양한 3D 포맷에 따라 보다 상세하게 정의될 수 있으나, 전술한 바와 같이 여기서는 설명의 편의를 위해 모노 모드와 구분하여 스테레오 모드를 예로 하여 이하에서 설명한다.
The control unit 402 reads the set view port using the generated scene graph and performs rendering according to the mode selected by the user using the high level API related to rendering. The above mode may include a mono mode and a 3D mode as described above. In the case of the 3D mode, the 3D mode can be defined in more detail according to various 3D formats. However, as described above, the stereoscopic mode will be described below for the sake of convenience of description.

도 5는 본 발명에 따라 모노 아이(Mono Eye)와 스테레오 뷰 포트(Stereo View Port)가 어떻게 나뉘는지 설명하기 위한 개념도이다.5 is a conceptual diagram for explaining how a mono eye and a stereo view port are divided according to the present invention.

예를 들어, 사용자가 모노를 선택하는 경우, 제어부(402)는 도 5에서 뷰 포트는 모노 아이로 설정한다. 이 경우 제어부(402)는 기존 컨텐츠가 가지는 뷰 앵글(view angle)에서만 뷰 포트를 잡아 하나의 화면에 렌더링을 함으로써, 상기 선택된 모노 모드에 동작을 마무리한다.For example, when the user selects mono, the control unit 402 sets the viewport as a mono eye in Fig. In this case, the control unit 402 finishes the operation in the selected mono mode by rendering the view port only on the view angle of the existing content and rendering it on one screen.

이와 달리, 사용자가 스테레오 모드를 선택하는 경우, 제어부(402)는 도 5에서 좌안과 우안 각각에 뷰 포트를 설정 즉, 2개의 뷰 포트를 설정하여 각 뷰 포트를 통한 이미지를 각각 좌안용 버퍼(left buffer)와 우안용 버퍼(righti buffer)에 렌더링한다. 즉, 스테레오 모드의 경우, 제어부(402)는 좌안용 뷰 포트를 통해 하나의 이미지를 생성하여 이를 좌영상 데이터와 같이 취급하고, 우안용 뷰 포트를 통해 하나의 이미지를 생성하여 이를 우영상 데이터와 같이 취급한다.
In contrast, when the user selects the stereo mode, the control unit 402 sets the view port in each of the left eye and the right eye in FIG. 5, that is, sets two view ports to transmit images through the respective view ports to the left eye buffer left buffer and righti buffer. That is, in the case of the stereo mode, the control unit 402 generates one image through the left eye view port and treats it as the left image data, generates one image through the right eye view port, Treat it like this.

도 6은 본 발명에 따라 3D 오브젝트를 포함한 애플리케이션이 호출된 경우에 3D 플랫폼의 동작 플로우를 설명하기 위해 도시한 순서도이다.6 is a flowchart illustrating an operation flow of a 3D platform when an application including a 3D object is called according to the present invention.

3D 플랫폼 내 미들웨어(M/W)에서는 기본 처리부(401)로부터 3D 오브젝트를 포함한 애플리케이션에 대한 제어 요청이 수신되면, 해당 애플리케이션을 특정 API를 이용하여 호출한다. 상기 호출에 따라 해당 애플리케이션은 실행된다(S601).In the middleware (M / W) in the 3D platform, when a control request for an application including a 3D object is received from the basic processing unit 401, the application is called by using a specific API. The application is executed according to the call (S601).

이렇게 호출된 애플리케이션이 실행되면, 미들웨어(M/W)는 자바 버추얼 머신(JVM)을 통해 해당 애플리케이션을 분석한다. 상기 분석이라 함은, 본 발명과 관련하여, 상기 애플리케이션에 포함된 하나 또는 그 이상의 3D 오브젝트들을 제어하기 위한 일련의 데이터를 추출하거나 정보를 수집하는 것을 의미한다.When the called application is executed, the middleware (M / W) analyzes the application through the Java Virtual Machine (JVM). In the context of the present invention, the analysis means extracting a series of data or collecting information for controlling one or more 3D objects included in the application.

미들웨어(M/W)는 분석 결과에 기초하여 애플리케이션으로부터 3D 오브젝트를 추출하여 초기화한다(S602).The middleware (M / W) extracts 3D objects from the application based on the analysis result and initializes them (S602).

미들웨어(M/W)는 분석 결과에 기초하여 추출된 3D 오브젝트(들)에 대해 초기 뷰 포트와 카메라 앵글 등을 설정한다(S603).The middleware (M / W) sets an initial view port and a camera angle for the 3D object (s) extracted based on the analysis result (S603).

상기 S603 단계에서 뷰 포트와 카메라가 설정이 되면, 미들웨어(M/W)는 본 발명에 따른 3D 효과를 부가하기 위해 렌더링을 위한 하이 레벨 API를 호출하여 씬을 렌더링한다(S604).In step S603, when the view port and the camera are set, the middleware M / W calls the high level API for rendering to add the 3D effect according to the present invention (S604).

미들웨어(M/W)는 호출된 하이 레벨 API를 통해 추출된 3D 오브젝트에 대한 제어를 위해 모드를 식별한다(S605). 상기 모드에는 전술한 바와 같이, 모노 모드와 3D 모드가 있고, 3D 모드에는 스테레오스코픽 모드와 다시점 모드 등이 있을 수 있다. 다만, 편의상 3D 모드로 스테레오스코픽 모드를 예로 하여 설명한다.The middleware (M / W) identifies a mode for controlling the 3D object extracted through the called high-level API (S605). As described above, the mode includes a mono mode and a 3D mode, and the 3D mode may include a stereoscopic mode and a multi-view mode. For the sake of convenience, the stereoscopic mode will be described as an example in the 3D mode.

미들웨어(M/W)에서 식별된 모드가 모노 모드이면, 상기 S603 단계에서 설정된 뷰 포트를 이용하여 바로 렌더링한다. 이와 달리 식별된 모드가 스테레오스코픽 모드이면, 사용자의 구성 정보를 참조하여 상기 설정된 뷰 포트를 기준으로 레프트 뷰 포트와 라이트 뷰 포트를 각각 설정하고, 설정된 각 뷰 포트를 이용하여 총 2번 렌더링을 한다.If the mode identified by the middleware (M / W) is in the mono mode, it is directly rendered using the view port set in step S603. Alternatively, if the identified mode is the stereoscopic mode, the left view port and the right view port are set based on the set view port with reference to the configuration information of the user, and rendering is performed twice using each set view port .

상술한 과정을 보다 상세하게 구분하면, 자바 버추얼 머신(JVM)은 렌더링을 위한 하이 레벨 API를 호출하여 사용자가 선택한 모드를 식별한다(S605).In more detail, the Java Virtual Machine (JVM) calls a high-level API for rendering to identify the mode selected by the user (S605).

상기 S605 단계에서 식별된 모드가 모노 모드라면, 상기 S603 단계에서 설정된 뷰 포트와 카메라를 기준으로 모노 아이 뷰 포트와 카메라 앵글(angle)을 각각 설정하고(S610), 추출된 3D 오브젝트에 대해 씬 그래프를 생성한다(S611).If the mode identified in step S605 is a mono mode, a mono eye view port and a camera angle are set on the basis of the view port and the camera set in step S603 (step S610), and the scene graph (S611).

이에 반해 상기 S605 단계에서 식별된 모드가 스테레오스코픽 모드라면, 사용자의 구성 정보를 기초로 카메라 앵글을 설정하고 좌안 뷰 포트를 설정하고(S606), 설정된 카메라 앵글에 따라 좌안 뷰 포트를 통해 생성되는 좌영상 데이터에 대해 씬 그래프(scene graph)를 생성한다(S607).On the other hand, if the mode identified in step S605 is the stereoscopic mode, the camera angle is set based on the user's configuration information, the left view port is set (S606), and the left A scene graph is generated for the image data (S607).

동일한 방식으로 사용자 구성 정보에 기초하여 카메라 앵글을 설정하고 우안 뷰 포트를 설정하고(S608), 설정된 카메라 앵글에 따라 우안 뷰 포트를 통해 생성되는 우영상 데이터에 대해 씬 그래프를 생성한다(S609). In the same manner, the camera angle is set based on the user configuration information, the right eye viewport is set (S608), and a scene graph is generated for the right image data generated through the right eye view port according to the set camera angle (S609).

상기에서, 씬 그래프는 사용자가 선택하는 입력에 따라 3D 효과를 최대화하기 위해 3D 오브젝트를 모델링하고, 모델링된 3D 오브젝트의 뷰 포트, 라이트(light), 메쉬(Mesh), 텍스쳐(texture) 등이 관리된다.In the above, the scene graph models a 3D object in order to maximize a 3D effect according to an input selected by a user, and controls a view port, a light, a mesh, a texture, do.

이렇게 생성된 각 씬 그래프는 최종적으로 해당 모드에 따라 적절하게 2D 또는 3D 효과를 가지도록 렌더링(rendering)한다(S612).Each generated scene graph is finally rendered to have a 2D or 3D effect according to the mode (S612).

상기 렌더링 후 해당 애플리케이션에 대한 제어가 종료하면(S613). 해당 애플리케이션의 실행을 종료시킨다(S614).
After the rendering is completed, control for the application is terminated (S613). The execution of the application is terminated (S614).

도 7과 8은 본 발명의 사용 시나리오의 일 예를 도시한 것이다.Figures 7 and 8 illustrate examples of usage scenarios of the present invention.

도 7(a)는 3D 오브젝트가 포함된 하나의 이미지이고, 도 7(b)는 상기 3D 오브젝트를 좌안 뷰 포트와 우안 뷰 포트를 이용하여 각각 생성한 이미지이고, 도 7(c)는 도 7(b)에서 생성한 각 뷰 포트 이미지를 3D 영상 디스플레이 포맷의 일 예로 렌더링한 이미지이다.7 (a) is an image including 3D objects, FIG. 7 (b) is an image generated by using the left view port and right eye view port of the 3D object, FIG. 7 (c) (b) are rendered as an example of the 3D image display format.

도 8(a)는 도 7(c)에서 렌더링된 이미지들을 믹싱한 이미지이고, 도 8(b)는 믹싱된 이미지들을 최종적인 3D 영상 디스플레이 포맷에 따라 구성한 이미지이다.FIG. 8 (a) is an image obtained by mixing the images rendered in FIG. 7 (c), and FIG. 8 (b) is an image formed by combining the mixed images in the final 3D image display format.

도 7(a)에서 도 8(b)는 본 발명에 따른 디지털 방송 수신기에서 순차적으로 수행되어 최종적으로 디스플레이 모듈(404)을 통해 출력되는 것으로, 편의상 구분한 것이다.7 (a) through 8 (b) are sequentially performed in the digital broadcast receiver according to the present invention, and finally outputted through the display module 404, for convenience.

이하 이를 순차적으로 설명하면, 다음과 같다.Hereinafter, this will be described in order.

도 7(a)를 참조하면, 하나의 3D 오브젝트가 영상에 포함되어 있다. 이 경우 제어부(402)는 자바 버추얼 머신(JVM)을 통해 분석하고, 분석 결과에 근거하여 해당 3D 오브젝트를 초기화한다.Referring to FIG. 7 (a), one 3D object is included in the image. In this case, the control unit 402 analyzes through the Java virtual machine (JVM) and initializes the corresponding 3D object based on the analysis result.

도 7(b)를 참조하면, 제어부(402)는 사용자가 스테레오스코픽 모드를 선택하면, 3D 오브젝트를 추출하고, 추출된 3D 오브젝트를 기준으로 카메라와 좌안 뷰 포트 및 우안 뷰 포트를 설정한다.Referring to FIG. 7B, when the user selects the stereoscopic mode, the controller 402 extracts the 3D object and sets the camera, the left eye view port, and the right eye view port based on the extracted 3D object.

제어부(402)는 3D 오브젝트에 대한 카메라와 좌안 뷰 포트 및 우안 뷰 포트가 설정되면, 상기 설정된 카메라를 통해 각 뷰 포트를 통해 3D 오브젝트에 대한 좌영상 데이터와 우영상 데이터를 생성하도록 제어한다. 여기서, 제어부(402)는 3D 오브젝트에 대하여 분석 결과에 기초하여 그대로 카메라 및 좌우안 뷰 포트를 통해 좌/우 영상 데이터를 생성할 수도 있고, 사용자가 구성 정보를 설정하는 경우에는 해당 구성 정보를 참조하여 좌/우 영상 데이터를 생성할 수 있다. When the camera for the 3D object, the left view port, and the right view port are set, the controller 402 controls the generated camera to generate left and right image data for the 3D object through the respective viewports. Here, the control unit 402 may generate the left / right image data through the camera and the left / right view port as it is based on the analysis result for the 3D object. If the user sets the configuration information, Thereby generating left / right image data.

이때, 상기에서 구성 정보 내지 분석 데이터에는 예를 들어, 3D 오브젝트에 대한 카메라 앵글 정보, 카메라와 피사체 사이의 거리(distance) 정보, 피사체 또는 3D 오브젝트에 대한 크기 정보, 해상도 정보 중 적어도 하나 이상이 포함될 수 있다.At this time, at least one of the camera angle information about the 3D object, the distance information between the camera and the subject, the size information about the subject or the 3D object, and the resolution information is included in the configuration information or analysis data, for example .

따라서, 제어부(402)는 상기에서 좌영상 데이터와 우영상 데이터를 생성함에 있어서, 상기 카메라와 좌안 뷰 포트 및 우안 뷰 포트를 설정함에 있어서, 상기 카메라 앵글 정보, 거리 정보, 크기 정보 및 해상도 정보들을 참조한다.Accordingly, in generating the left image data and the right image data, the controller 402 sets the camera angle information, the distance information, the size information, and the resolution information in the left eye view port and the right eye view port, .

도 7(b)에서는 구성 정보에 기초하여 카메라와 각 뷰 포트를 통해 생성한 좌영상 데이터와 우영상 데이터가 도시되었다.In Fig. 7 (b), the left image data and the right image data generated through the camera and each view port based on the configuration information are shown.

도 7(c)를 참조하면, 하나의 3D 오브젝트에 대해 생성된 좌영상 데이터와 우영상 데이터를 3D 효과를 주기 위한 포맷으로 렌더링한다. Referring to FIG. 7 (c), the left image data and the right image data generated for one 3D object are rendered in a format for giving a 3D effect.

도 7(c)에서는 3D 효과를 주기 위한 포맷으로 탑/바텀 포맷이 이용되었으나, 이에 한정되는 것은 아니다. 즉, 도 7(c)에서는 도 7(b)에서 생성된 각 뷰 포트 이미지를 묶어 전형적인 3D 포맷에서의 하나의 프레임과 같이 생성한다.
In FIG. 7C, a top / bottom format is used as a format for giving a 3D effect, but the present invention is not limited thereto. That is, in FIG. 7 (c), each viewport image generated in FIG. 7 (b) is combined and generated as one frame in a typical 3D format.

도 8(a)에서는 도 7(c)에서 생성된 프레임을 3D 포맷에 맞게 믹싱한다.In Fig. 8 (a), the frames generated in Fig. 7 (c) are mixed in conformity with the 3D format.

도 8(b)에서는 상기 믹싱된 이미지들이 예를 들어, 디스플레이 모듈의 주파수에 맞게 포맷팅된 후에 셔터 안경과 같은 장치를 이용하여 보는 경우 좌안을 위한 이미지와 우안을 위한 이미지가 해당 동기에 어떻게 출력되는지를 보여준다.
In FIG. 8 (b), when the mixed images are formatted according to the frequency of the display module, for example, and then viewed using a device such as a shutter glasses, images for the left eye and images for the right eye are output Lt; / RTI >

UIUI 제공 방법 Delivery method

도 9는 본 발명에 따라 디지털 방송 수신기에서 사용자 구성 정보를 입력하기 위한 UI의 일 예를 도시한 것이고, 도 10은 본 발명에 따라 디지털 방송 수신기에서 3D 출력 포맷을 선택받기 위한 UI의 일 예를 도시한 것이다.FIG. 9 shows an example of a UI for inputting user configuration information in a digital broadcast receiver according to the present invention, FIG. 10 shows an example of a UI for selecting a 3D output format in a digital broadcast receiver according to the present invention, Respectively.

도 9(a)는 본 발명에 따라 3D 효과를 부여하기 위한 사용자의 설정을 입력받기 위한 UI이고, 도 9(b)는 상기 도 9(a)에서 수동을 선택한 경우 즉, 사용자가 직접 원하는 정보를 입력할 수 있도록 하기 위해 3D 오브젝트에 대한 뷰 포트의 각도 조정을 위한 카메라 앵글, 카메라로부터 피사체까지의 거리, 3D 오브젝트의 크기 및 3D 오브젝트의 해상도를 조절할 수 있도록 하기 위한 것이다.9 (a) is a UI for receiving a setting of a user for giving a 3D effect according to the present invention. FIG. 9 (b) The camera angle for adjusting the angle of the viewport with respect to the 3D object, the distance from the camera to the object, the size of the 3D object, and the resolution of the 3D object.

도 9(c)의 경우에는 도 9(b)에서 특정 항목이 선택된 경우에 구체적이 설정 값을 입력받기 위한 UI가 연동되어 제공된다. 도 9(c)에서는 사용자가 카메라 앵글을 조정하고 싶은 경우에 앵글 각도를 직접 입력받을 수 있도록 구성한 것이다. 상기에서 사용자가 특정 값을 입력하는 것이 아니라, 일정 각도를 제시하고 이를 선택하도록 UI를 구성할 수도 있다.In the case of FIG. 9 (c), when a specific item is selected in FIG. 9 (b), a UI for inputting a specific set value is interlocked. In FIG. 9 (c), when the user wants to adjust the camera angle, the user can directly input the angle angle. In the above, the UI may be configured so that the user does not input a specific value but presents a certain angle and selects it.

또한, 본 발명에서는 사용자가 이러한 구성 정보를 미리 설정하는 것이 아니라, 3D 오브젝트에 대한 제어를 하는 동시에 이러한 정보에 대한 입력을 받도록 하여 영상 처리 장치에서 사용자의 입력에 따라 변화되는 이미지를 직접 보고 그 값을 결정할 수 있도록 제공될 수도 있다.In addition, in the present invention, the user does not set such configuration information in advance, but controls the 3D object and receives input of such information. The image processing apparatus directly reports the changed image according to the input of the user, May be provided.

도 10에서는 3D 효과를 표현하는 방법은 매우 다양한바, 사용자에게 원하는 3D 출력 포맷을 선택하도록 하는 것으로 예를 들어, 도 10(a)에서는 3가지 포맷을 제공하고 있다. 첫번째는 자동이고, 두 번째는 스테레오 스코픽 그리고 마지막은 다시점 영상이나 본 발명이 이에 한정되는 것은 아니다. 상기에서 예를 들어, 자동을 선택한 경우에는 영상 처리 장치에 미리 설정된 포맷 예를 들어, 스테레오스코픽 방식에서도 사이드바이사이드 포맷으로 바로 전환한다.In FIG. 10, there are a variety of methods for expressing the 3D effect. For example, in FIG. 10 (a), three formats are provided for the user to select a desired 3D output format. The first is automatic, the second is stereoscopic, and the last is multi-view image, but the present invention is not limited thereto. For example, when automatic is selected, the image processing apparatus switches directly to the side-by-side format in a format previously set in the image processing apparatus, for example, the stereoscopic method.

이와 달리, 만약 사용자가 도 10(a)에서 스테레오스코픽이나 다시점 영상 포맷을 선택한 경우에는 선택된 포맷에 상세 포맷에 대한 정보가 도 10(b)와 같이 제공될 수 있다. 도 10(b)에서는 특히 스테레오스코픽 포맷 중에서 특정 상세 포맷을 선택할 수 있도록 제공되는 UI의 일 예를 도시한 것이다.
Alternatively, if the user selects the stereoscopic image or the multi-view image format in FIG. 10 (a), information on the detailed format in the selected format may be provided as shown in FIG. 10 (b). FIG. 10B shows an example of a UI provided so that a specific detail format can be selected from among the stereo-scopic formats.

상술한 바와 같이, 본 발명에 따르면, 3D 오브젝트가 포함된 컨텐츠나 애플리케이션에 대해 종래 콘솔이나 PC와 같은 별도의 장비를 구비하지 않고도 간단하게 소프트웨어적으로 처리할 수 있을 뿐만 아니라, 종래에는 주로 송신 측에서 미리 설정된 포맷이나 값에 의해서 수동적으로 3D 영상을 시청하였다면, 본 발명에 따르면, 능동적으로 사용자의 취향 등에 따라 3D 효과를 적절하게 조절할 수도 있는 장점이 있다. 이러한 내용은 영상 처리 장치에 대한 사용자의 이용 편의를 제공하고 종래 영상 처리 장치와의 호환성에도 아무런 문제가 없다.As described above, according to the present invention, it is not only possible to easily process the contents or application including the 3D object in a software manner without providing a separate apparatus such as a conventional console or a PC, According to the present invention, the 3D effect can be appropriately adjusted according to the user's taste or the like if the 3D image is viewed manually by a preset format or value. Such a content provides a user's convenience to the image processing apparatus and compatibility with the conventional image processing apparatus.

이상 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다.Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative.

본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

401: 기본 처리부 402: 제어부
403: 출력 포맷터부 404: 디스플레이 모듈
401: basic processing unit 402:
403: output formatter 404: display module

Claims (14)

디지털 방송 수신기에서 3D 오브젝트(3Dimensional Object)가 포함된 애플리케이션(application)에 3D 효과를 제공하는 방법에 있어서,
상기 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계;
모노스코픽(monoscopic) 모드, 스테레오스코픽(stereoscopic) 모드, 다시점 영상(multi-view image) 모드 중 하나의 선택 신호를 수신하는 단계;
상기 모노스코픽 모드를 선택하는 신호를 수신한 경우, 상기 제1 구성정보에 기초하여 모노 아이(mono eye)로 뷰 포트(view port)를 설정하는 단계;
상기 스테레오스코픽 모드 또는 다시점 영상 모드 중 하나를 선택하는 신호를 수신한 경우, 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 수신하고, 상기 수신된 제2 구성정보 및 상기 추출된 제1 구성정보에 기초하여 카메라 앵글(camera angle)과 적어도 둘 이상의 뷰 포트(view port)를 설정하는 단계;
좌안 뷰와 우안 뷰를 서로 다르게 설정하는 상기 서로 다른 뷰 포트 설정 방식 중 어느 하나를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하는 단계; 및
생성된 각 이미지들을 3D 포맷으로 렌더링(rendering)하는 단계;
를 포함하는 3D 효과 제공 방법.
A method for providing a 3D effect to an application including a 3D object in a digital broadcast receiver,
Extracting one or more 3D objects from the application and configuration information (first configuration information) for the 3D objects;
Receiving a selection signal of one of a monoscopic mode, a stereoscopic mode, and a multi-view image mode;
Setting a view port in a mono eye based on the first configuration information when a signal for selecting the monoscopic mode is received;
(Second configuration information) for the extracted 3D object from a user when receiving a signal for selecting one of the stereoscopic mode or the multi-view image mode, and receiving the second configuration information and the second configuration information Setting a camera angle and at least two viewports based on the extracted first configuration information;
Creating an image for a 3D object with a camera angle set through any one of the different view port setting methods for setting left and right views differently; And
Rendering each of the generated images in a 3D format;
≪ / RTI >
제1항에 있어서,
상기 제2 구성정보는,
상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함하는 3D 효과 제공 방법.
The method according to claim 1,
Wherein the second configuration information comprises:
And angle control information of a camera for capturing the 3D object.
제2항에 있어서,
상기 제2 구성정보는,
상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함하는 3D 효과 제공 방법.
3. The method of claim 2,
Wherein the second configuration information comprises:
The distance control information between the camera and the 3D object, the size control information on the 3D object, and the resolution control information of the 3D object.
삭제delete 제1항에 있어서,
렌더링 된 각 이미지로부터 3D 포맷의 프레임(frame)을 생성하는 단계;와
생성된 프레임을 믹싱(mixing)하는 단계;와
믹싱된 각 프레임을 디스플레이 주파수(display frequency)에 따라 출력하는 단계;
를 더 포함하는 3D 효과 제공 방법.
The method according to claim 1,
Generating a frame in 3D format from each rendered image;
Mixing the generated frames; and
Outputting each mixed frame according to a display frequency;
≪ / RTI >
삭제delete 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기에 있어서,
상기 애플리케이션을 수신하는 기본 처리부;
상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고,
외부 입력 수신부를 통하여 모노스코픽(monoscopic) 모드, 스테레오스코픽(stereoscopic) 모드, 다시점 영상(multi-view image) 모드 중 하나의 선택 신호를 수신하고,
상기 선택된 모드에 따라 뷰 포트(view port)를 설정하고, 좌안 뷰와 우안 뷰를 서로 다르게 설정하는 상기 서로 다른 뷰 포트 설정 방식 중 어느 하나를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하고 렌더링 하는 제어부;
렌더링 된 3D 오브젝트에 대한 이미지를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및
재구성된 3D 오브젝트의 이미지를 포함한 애플리케이션을 출력하는 디스플레이 모듈;을 포함하고,
상기 제어부는,
상기 모노스코픽 모드를 선택하는 신호를 수신한 경우 상기 제1 구성정보에 기초하여 모노 아이(mono eye)로 뷰 포트를 설정하고, 상기 스테레오스코픽 모드 또는 다시점 영상 모드 중 하나를 선택하는 신호를 수신한 경우 상기 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 적어도 둘 이상의 뷰 포트를 설정하는 것을 특징으로 하는 디지털 방송 수신기.
A digital broadcast receiver for providing a 3D effect to an application including a 3D object,
A basic processing unit for receiving the application;
Invokes the application, extracts one or more 3D objects from the called application and configuration information (first configuration information) for the 3D object,
Receiving a selection signal of a monoscopic mode, a stereoscopic mode, or a multi-view image mode through an external input receiving unit,
An image for a 3D object is generated with a camera angle set through one of the different viewport setting methods for setting a viewport according to the selected mode and differently setting a left eye view and a right eye view, ;
An output formatter for reconstructing an image of a rendered 3D object in a 3D format according to a display frequency; And
And a display module outputting an application including an image of the reconstructed 3D object,
Wherein,
When receiving a signal for selecting the monoscopic mode, sets a view port to a mono eye based on the first configuration information, and receives a signal for selecting one of the stereoscopic mode or the multi-view video mode A camera angle for the 3D object and at least two viewports are set according to the configuration information (second configuration information) for the 3D object input from the user based on the extracted first configuration information. Digital broadcast receiver.
제7항에 있어서,
사용자로부터 상기 제2 구성정보를 입력받기 위한 UI를 출력하도록 제어하는 UI 제어부;와
상기 UI를 통해 사용자의 설정을 입력받는 외부 입력 수신부;를 더 포함하는 디지털 방송 수신기.
8. The method of claim 7,
A UI control unit for controlling the UI to output a UI for receiving the second configuration information from the user;
And an external input receiver for receiving user settings through the UI.
제8항에 있어서,
상기 제2 구성정보는,
상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함하는 디지털 방송 수신기.
9. The method of claim 8,
Wherein the second configuration information comprises:
And angle control information of the camera for capturing the 3D object.
제8항에 있어서,
상기 제2 구성정보는,
상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함하는 디지털 방송 수신기.
9. The method of claim 8,
Wherein the second configuration information comprises:
And at least one of distance control information between the camera and the 3D object, size control information for the 3D object, and resolution control information of the 3D object.
삭제delete 제9항에 있어서,
상기 3D 포맷에는,
스테레오스코픽과 다시점 영상 포맷 중 적어도 하나가 포함되는 디지털 방송 수신기.
10. The method of claim 9,
In the 3D format,
Wherein at least one of the stereoscopic and multi-view video formats is included.
제7항에 있어서,
렌더링 된 각 이미지로부터 3D 포맷의 프레임을 생성하고, 생성된 각 프레임을 믹싱하는 믹싱부;를 더 포함하는 디지털 방송 수신기.
8. The method of claim 7,
And a mixing unit for generating a frame in 3D format from each rendered image and mixing each generated frame.
삭제delete
KR1020100065149A 2010-07-07 2010-07-07 A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver KR101742993B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100065149A KR101742993B1 (en) 2010-07-07 2010-07-07 A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100065149A KR101742993B1 (en) 2010-07-07 2010-07-07 A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver

Publications (2)

Publication Number Publication Date
KR20120004586A KR20120004586A (en) 2012-01-13
KR101742993B1 true KR101742993B1 (en) 2017-06-02

Family

ID=45611023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100065149A KR101742993B1 (en) 2010-07-07 2010-07-07 A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver

Country Status (1)

Country Link
KR (1) KR101742993B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348929B1 (en) * 2012-08-20 2014-01-09 광운대학교 산학협력단 A multiview image generation method using control of layer-based depth image
KR101408719B1 (en) * 2012-09-11 2014-06-18 (주)리얼디스퀘어 An apparatus for converting scales in three-dimensional images and the method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (en) 2002-01-17 2003-07-25 Canon Inc Stereoscopic image generating method and recording medium
JP2005065162A (en) 2003-08-20 2005-03-10 Matsushita Electric Ind Co Ltd Display device, transmitting apparatus, transmitting/receiving system, transmitting/receiving method, display method, transmitting method, and remote controller

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (en) 2002-01-17 2003-07-25 Canon Inc Stereoscopic image generating method and recording medium
JP2005065162A (en) 2003-08-20 2005-03-10 Matsushita Electric Ind Co Ltd Display device, transmitting apparatus, transmitting/receiving system, transmitting/receiving method, display method, transmitting method, and remote controller

Also Published As

Publication number Publication date
KR20120004586A (en) 2012-01-13

Similar Documents

Publication Publication Date Title
Domański et al. Immersive visual media—MPEG-I: 360 video, virtual navigation and beyond
EP2332340B1 (en) A method of processing parallax information comprised in a signal
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
EP2537347B1 (en) Apparatus and method for processing video content
Smolic et al. Development of a new MPEG standard for advanced 3D video applications
KR20110129903A (en) Transferring of 3d viewer metadata
EP2334092A1 (en) Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3D image
EP2560396A2 (en) Method and apparatus for displaying images
US20140085435A1 (en) Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
RU2640357C2 (en) Method of encoding video data signal for use with multi-view stereoscopic display device
US20130229409A1 (en) Image processing method and image display device according to the method
KR101314601B1 (en) apparatus for transmitting contents, apparatus for outputting contents, method for transmitting contents and method for outputting contents
Gotchev Computer technologies for 3d video delivery for home entertainment
TW201415864A (en) Method for generating, transmitting and receiving stereoscopic images, and related devices
TW201138425A (en) Method and system for rendering 3D graphics based on 3D display capabilities
US9628769B2 (en) Apparatus and method for generating a disparity map in a receiving device
KR20100112940A (en) A method for processing data and a receiving system
KR101742993B1 (en) A digital broadcast receiver and a method for processing a 3-dimensional effect in the digital broadcast receiver
KR20110060763A (en) Added information insertion apparatus and method in broadcasting system
KR101733488B1 (en) Method for displaying 3 dimensional image and 3 dimensional image display device thereof
KR101674688B1 (en) A method for displaying a stereoscopic image and stereoscopic image playing device
EP2547109A1 (en) Automatic conversion in a 2D/3D compatible mode
KR101433082B1 (en) Video conversing and reproducing method to provide medium feeling of two-dimensional video and three-dimensional video

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
GRNT Written decision to grant