KR101783608B1 - Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image - Google Patents
Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image Download PDFInfo
- Publication number
- KR101783608B1 KR101783608B1 KR1020100122270A KR20100122270A KR101783608B1 KR 101783608 B1 KR101783608 B1 KR 101783608B1 KR 1020100122270 A KR1020100122270 A KR 1020100122270A KR 20100122270 A KR20100122270 A KR 20100122270A KR 101783608 B1 KR101783608 B1 KR 101783608B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- eye view
- image
- view image
- stereoscopic effect
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
전자 장치 및 입체감 조정 방법을 개시한다. 수신부는 좌안 시점 영상 데이터와 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신한다. 제어부는 입체감 설정 정보 및 영상 데이터의 장르를 기초로 입체감 조절값을 결정한다. 영상 가공부는 결정된 입체감 조절값에 따라 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성한다.An electronic device and a stereoscopic effect adjustment method are disclosed. The receiving unit receives image data including left eye view image data and right eye view image data. The controller determines the stereoscopic effect adjustment value based on the stereoscopic effect setting information and the genre of the image data. The image processing unit reconstructs the left eye view image data and the right eye view image data according to the determined stereoscopic effect adjustment value.
Description
본 발명은 전자 장치 및 입체감 조정 방법에 관한 것으로, 보다 상세하게는, 2안식 입체영상 기술 또는 다안식 입체영상 기술에 있어서 입체영상의 입체감을 조절할 수 있는 전자 장치 및 입체감 조정 방법에 관한 것이다.BACKGROUND OF THE
상용화된 3D 컨텐츠 및 3D 방송의 경우 양안시차(binocular disparity)를 이용한 방식이 주를 이룬다. 양안시차는 사람이 두 눈을 이용하여 하나의 피사체를 볼 때, 왼쪽 눈으로 보는 영상과 오른쪽 눈으로 보는 영상 사이에 두 눈의 간격에 해당하는 만큼 수평으로 존재하는 위치 차이를 말한다. 따라서 사람의 두 눈에 보이는 실제 영상과 동일한 영상을 두 눈에 입력할 수 있다면 영상을 입체적으로 느낄 수 있게 된다. 이에 따라, 실제 피사체를 양안 카메라로 찍어 영상을 얻거나 CG(Computer Graphic) 피사체의 경우 양안 카메라 형태로 사상하여 영상을 생성하고, 생성된 영상을 사용자의 양쪽 눈에 보여줌으로써 입체감을 제공할 수 있다.The commercialization of 3D content and 3D broadcasting are mainly based on binocular disparity. The binocular parallax is a positional difference between the image seen by the left eye and the image seen by the right eye when the person looks at a single object using two eyes. Therefore, if the same image as the actual image seen in two eyes of the person can be input into the two eyes, the image can be sensed in three dimensions. Accordingly, a stereoscopic effect can be provided by capturing an actual subject with a binocular camera to obtain an image, mapping the image to a binocular camera in the case of a CG (Computer Graphic) subject, and displaying the generated image to both eyes of the user .
본 발명이 이루고자 하는 기술적 과제는 입체영상 컨텐츠, 사용자 및 방송 디스플레이 환경에 따라 맞춤형 입체감을 제공할 수 있는 전자 장치 및 입체감 조정 방법을 제공하는 데 있다.An aspect of the present invention is to provide an electronic device and a stereoscopic effect adjusting method capable of providing a custom stereoscopic effect according to a stereoscopic image content, a user, and a broadcasting display environment.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체감 조정 방법은, 좌안 시점 영상 데이터와 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신하는 단계, 입체감 설정 정보 및 상기 영상 데이터의 장르를 기초로 입체감 조절값을 결정하는 단계 및 상기 결정된 입체감 조절값에 따라 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a stereoscopic effect adjustment method comprising: receiving image data including left eye view image data and right eye view image data; generating a stereoscopic effect image based on stereoscopic effect setting information and a genre of the image data; Determining the adjustment value, and reconstructing the left-eye view image data and the right-eye view image data according to the determined stereoscopic effect adjustment value.
상기 입체감 조절값을 결정하는 단계는, 상기 입체감 설정 정보에서 상기 영상 데이터의 장르와 연관된 입체감 조절값을 검색하는 단계를 포함할 수 있다.The step of determining the stereoscopic effect adjustment value may include a step of searching a stereoscopic effect adjustment value associated with the genre of the image data in the stereoscopic effect setting information.
상기 재구성하는 단계는, 상기 영상 데이터에 포함된 오브젝트의 변위값을 산출하는 단계, 상기 입체영상 조절값을 이용하여 상기 산출된 변위값을 변경하는 단계 및 상기 변경된 변위값에 따라 상기 오브젝트의 변위값이 변경되도록 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 단계를 포함할 수 있다.The reconstructing step may include calculating a displacement value of the object included in the image data, changing the calculated displacement value using the stereoscopic image adjustment value, and calculating a displacement value of the object according to the changed displacement value And reconstructing the left eye view image data and the right eye view image data so that the left eye view image data and the right eye view image data are changed.
상기 산출된 변위값을 변경하는 단계는, 상기 입체영상 조절값 및 상기 산출된 변위값의 제곱값을 기초로 상기 변경된 변위값을 산출하는 단계를 포함할 수 있다.The step of changing the calculated displacement value may include calculating the changed displacement value based on the stereoscopic image adjustment value and the squared value of the calculated displacement value.
상기 재구성하는 단계는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터에 어안렌즈 이펙트를 주는 단계를 더 포함할 수 있다.The reconstructing step may further include the step of providing a fisheye lens effect to the left eye view image data and the right eye view image data.
상기 입체감 조절 방법은, 수신된 방송 정보를 기초로 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 방법을 결정하는 단계를 포함할 수 있다.The stereoscopic effect adjustment method may include determining a method of reconstructing the left eye view image data and the right eye view image data based on the received broadcast information.
상기 입체감 조정 방법은, 상기 입체감 설정 정보를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지하는 단계 및 상기 사용자 조치의 감지에 응답하여, 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호를 생성하는 단계를 더 포함할 수 있다. 여기서 상기 화면은 상기 영상 데이터의 장르를 지시하는 표시를 더 디스플레이할 수 있다.The stereoscopic effect adjustment method may further include sensing a user action requesting a graphical user interface (GUI) for setting the stereoscopic effect setting information, and in response to detecting the user action, And generating a signal for displaying a screen including an interface (GUI: Graphical User Interface) and an area where the image data is displayed. Here, the screen may further display an indication indicating a genre of the image data.
상기 입체감 조정 방법은, 상기 GUI를 통해 설정된 입체감 설정 정보에 따라 상기 영상 데이터에 포함된 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 단계를 더 포함할 수 있다.The stereoscopic effect adjustment method may further comprise reconstructing the left-eye view image data and the right-eye view image data included in the image data according to the stereoscopic effect setting information set through the GUI.
상기 입체감 조정 방법은, 상기 GUI를 통해 설정된 입체감 설정 정보를 상기 영상 데이터의 장르를 지시하는 정보와 연관시켜 저장하는 단계를 더 포함할 수 있다.The stereoscopic effect adjustment method may further include storing stereoscopic effect setting information set through the GUI in association with information indicating a genre of the image data.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 전자 장치는, 좌안 시점 영상 데이터와 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신하는 수신부, 입체감 설정 정보 및 상기 영상 데이터의 장르를 기초로 입체감 조절값을 결정하는 제어부, 및 상기 결정된 입체감 조절값에 따라 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 영상 가공부를 포함할 수 있다.According to another aspect of the present invention, there is provided an electronic device including a receiving unit for receiving image data including left eye view image data and right eye view image data, three-dimensional sense setting information, And a video processing unit for reconstructing the left eye view image data and the right eye view image data according to the determined stereoscopic effect adjustment value.
상기 제어부는, 상기 입체감 설정 정보에서 상기 영상 데이터의 장르와 연관된 입체감 조절값을 검색할 수 있다.The control unit may retrieve a stereoscopic effect adjustment value associated with a genre of the image data from the stereoscopic effect setting information.
상기 영상 가공부는, 상기 영상 데이터에 포함된 오브젝트의 변위값을 산출하는 변위 산출부, 상기 입체영상 조절값을 이용하여 상기 산출된 변위값을 변경하는 변위 변경부, 및 상기 변경된 변위값에 따라 상기 오브젝트의 변위값이 변경되도록 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 영상 재구성부를 포함할 수 있다. 여기서, 상기 변위 변경부는, 상기 입체영상 조절값 및 상기 산출된 변위값의 제곱값을 기초로 상기 변경된 변위값을 산출할 수 있다.The image processing unit may further include a displacement calculating unit for calculating a displacement value of the object included in the image data, a displacement changing unit for changing the calculated displacement value using the stereoscopic image adjustment value, Eye view image data and the right-eye view image data so that the displacement value of the object is changed. Here, the displacement changing unit may calculate the changed displacement value based on the cubic image adjustment value and the squared value of the calculated displacement value.
상기 영상 가공부는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터에 어안렌즈 이펙트를 줄 수 있다.The image processing unit may give a fisheye lens effect to the left eye view image data and the right eye view image data.
상기 제어부는, 수신된 방송 정보를 기초로 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 방법을 결정할 수 있다.The control unit may determine a method of reconstructing the left eye view image data and the right eye view image data based on the received broadcast information.
상기 제어부는, 상기 입체감 설정 정보를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지하고, 상기 사용자 조치의 감지에 응답하여, 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호가 생성되도록 제어할 수 있다. 여기서, 상기 화면은 상기 영상 데이터의 장르를 지시하는 표시를 더 디스플레이할 수 있다.Wherein the control unit detects a user action requesting a graphical user interface (GUI) for setting the three-dimensional setting information, and in response to detecting the user action, : Graphical User Interface) and an area in which image data is displayed. Here, the screen may further display a display indicating a genre of the image data.
상기 영상 가공부는, 상기 GUI를 통해 설정된 입체감 설정 정보에 따라 상기 영상 데이터에 포함된 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성할 수 있다.The image processing unit may reconstruct left eye view image data and right eye view image data included in the image data according to the three-dimensional setting information set through the GUI.
상기 제어부는, 상기 GUI를 통해 설정된 입체감 설정 정보가 상기 영상 데이터의 장르를 지시하는 정보와 연관시켜 저장되도록 제어할 수 있다.The control unit may control the stereoscopic effect setting information set through the GUI to be stored in association with information indicating a genre of the image data.
본 발명에 따른 전자 장치 및 입체감 조정 방법에 의하면, 시청자는 설정 정보에 따라 입체감을 조절할 수 있어, 시청자 개개인의 편차에 따라 나타나는 입체 피로감(3D Fatigue)을 최소화할 수 있고, 또한 장르에 따라 입체감을 다르게 조절할 수 있어, 시청자에게 입체영상의 장르에 따라 맞춤형 입체감을 줄 수 있으며, 수신된 방송 정보를 이용하여 입체감을 조절할 수 있어, 입체영상의 종류에 따라 적절하게 입체감을 조절할 수 있다.According to the electronic device and the stereoscopic effect adjustment method of the present invention, the stereoscopic effect can be adjusted according to the setting information, thereby minimizing the stereoscopic effect (3D fatigue) caused by the variation of individual viewers. And the stereoscopic effect can be adjusted by using the received broadcast information, so that the stereoscopic effect can be appropriately adjusted according to the type of the stereoscopic image.
도 1은 본 발명에 따른 전자 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 3a 및 도 3b는 본 발명에 따른 입체감 조정 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도,
도 4는 양안시차 방식을 도시한 도면,
도 5는 양안시차의 크기에 따른 물체의 거리감을 도시한 도면,
도 6은 영상의 입체감을 크게 표현하는 방법의 일실시예를 설명하기 위한 도면,
도 7은 영상의 입체감을 작게 표현하는 방법의 일실시예를 설명하기 위한 도면,
도 8a 및 도 8b는 일실시예의 영상이 디스플레이된 화면을 도시한 도면,
도 9는 도 8a에 도시된 영상의 입체감을 크게 표현한 화면의 일실시예를 도시한 도면,
도 10은 도 8a에 도시된 영상의 입체감을 작게 표현한 화면의 일실시예를 도시한 도면,
도 11은 영상에 포함된 오브젝트의 좌표를 도시한 도면,
도 12는 도 11에 도시된 오브젝트의 변위가 변환된 후에 오브젝트의 좌표를 도시한 도면,
도 13은 다른 실시예의 영상이 디스플레이된 화면을 도시한 도면,
도 14는 입체감을 확대시키는 어안렌즈 이펙트를 도시한 도면,
도 15는 도 13에 도시된 영상에 도 14에 도시된 어안렌즈 이펙트가 적용된 화면을 도시한 도면,
도 16은 입체감을 축소시키는 어안렌즈 이펙트를 도시한 도면,
도 17은 도 13에 도시된 영상에 도 16에 도시된 어안렌즈 이펙트가 적용된 화면을 도시한 도면,
도 18a 내지 도 18c는 입체감 설정 정보를 조절하기 위한 화면의 일실시예를 도시된 도면,
도 19는 입체감 정보 디스크립터의 신택스의 일실시예를 도시한 도면,
도 20은 effect_status 필드가 갖는 값들의 일실시예를 도시한 테이블, 그리고
도 21은 rating 필드가 갖는 값들의 일실시예를 도시한 테이블이다.1 is a block diagram showing a configuration of a preferred embodiment of an electronic device according to the present invention;
2 is a block diagram showing a configuration of a preferred embodiment of a signal processing unit,
FIG. 3A and FIG. 3B are flowcharts showing a process of performing a preferred embodiment of a stereoscopic effect adjustment method according to the present invention,
4 is a diagram illustrating a binocular disparity system,
5 is a view showing a distance feeling of an object according to the size of a binocular parallax,
6 is a view for explaining an embodiment of a method of largely expressing a stereoscopic effect of an image,
7 is a view for explaining an embodiment of a method of rendering a three-dimensional sensation of a picture small,
FIGS. 8A and 8B are views showing a screen on which an image of an embodiment is displayed;
9 is a view showing an embodiment of a screen that largely represents the stereoscopic effect of the image shown in FIG. 8A,
FIG. 10 is a view showing an embodiment of a screen in which the three-dimensional effect of the image shown in FIG.
11 is a diagram showing coordinates of an object included in an image,
FIG. 12 is a diagram showing the coordinates of an object after the displacement of the object shown in FIG. 11 is transformed;
13 is a view showing a screen on which an image of another embodiment is displayed,
14 is a view showing a fisheye lens effect for enlarging a three-dimensional effect,
FIG. 15 is a view showing a screen to which the fisheye lens effect shown in FIG. 14 is applied to the image shown in FIG. 13,
16 is a view showing a fisheye lens effect for reducing stereoscopic effect,
FIG. 17 is a view showing a screen to which the fisheye lens effect shown in FIG. 16 is applied to the image shown in FIG. 13,
18A to 18C show an embodiment of a screen for adjusting three-dimensional setting information,
19 is a diagram showing an embodiment of the syntax of a three-dimensional information descriptor,
20 is a table showing one embodiment of the values of the effect_status field, and
FIG. 21 is a table showing one embodiment of the values held in the rating field.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. The structure and operation of the present invention shown in the drawings and described by the drawings are described as at least one embodiment, and the technical ideas and the core structure and operation of the present invention are not limited thereby.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.Although the terms used in the present invention have been selected in consideration of the functions of the present invention, it is possible to use general terms that are currently widely used, but this may vary depending on the intention or custom of a person skilled in the art or the emergence of new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.
도 1은 본 발명에 따른 전자 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.1 is a block diagram showing a configuration of a preferred embodiment of an electronic device according to the present invention.
도 1을 참조하면, 본 발명에 따른 전자 장치(100)는 수신부(101), 신호 처리부(140), 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180) 및 제어부(190)를 포함할 수 있다.1, an
수신부(101)는 좌안 시점 영상 데이터와 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신한다. 수신부(101)는 상기 영상 데이터에 대한 방송 정보를 더 수신할 수 있다. 영상 데이터는 스테레오 시점 영상 또는 다시점 영상일 수 있다. 즉 영상 데이터는 적어도 하나의 좌안 시점 영상 데이터 및 적어도 하나의 우안 시점 영상 데이터를 포함할 수 있다.The receiving
수신부(101)는 튜너부(110), 복조부(120), 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(130)를 포함할 수 있다.The receiving
튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.The
복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우에는, 복조부(120)는 8-VSB(8-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. The
또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.Also, the
복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.The
복조부(120)에서 출력한 스트림 신호는 신호처리부(140)로 입력될 수 있다. The stream signal output from the
이동통신부(115)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The
외부 신호 수신부(135)는 외부 장치와 전자 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미할 수 있고, USB 메모리 또는 USB 하드 디스크 등의 저장 장치일 수 있다. 전자 장치(100)는 외부 신호 수신부(135)로부터 수신된 영상 신호 및 음성 신호가 디스플레이되도록 제어할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다. The external
또한 외부 장치는 촬영 장치(90)일 수 있다. 촬영 장치(90)는 복수의 카메라를 포함할 수 있다. 촬영 장치(90)는 사람을 촬상할 수 있다. 촬영 장치(90)는 사람의 손 영역을 인식하여 손 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 여기서 촬상된 손 모양은 공간 제스처로 인식될 수 있다. 즉 제어부(190)는 촬상된 손 모양을 공간 제스처로 인식하고 인식된 공간 제스처와 연관된 동작들을 수행하는 명령어들을 실행할 수 있다. 여기서 공간 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 촬영 장치(90)로부터 수신되는 영상 프레임 또는 영상으로부터 인식되는 제스처로 정의될 수 있다. The external device may also be a photographing
촬영 장치(90)는 Depth 카메라일 수 있다. 촬영 장치(90)는 시청자의 위치를 촬상할 수 있고, 촬상한 시청자의 위치를 지시하는 정보를 제어부(190)로 전송할 수 있다. 제어부(190)는 수신된 시청자의 위치를 지시하는 정보를 기초로 입체감 조절값을 결정할 수 있다.The photographing
일부 실시예로, 전자 장치(100)는 촬영 장치(90)를 포함할 수 있다.In some embodiments, the
신호처리부(140)는 복조부(210)가 출력한 스트림 신호를 역다중화하고 역다중화된 신호에 신호 처리 등을 수행한 후, 디스플레이(150)에 영상을 출력하고, 음성 출력부(160)로 음향(161)을 출력한다. 또한 신호 처리부(140)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 영상 데이터, 음성 데이터 및 방송 데이터를 수신할 수 있다. The
신호 처리부(140)는 제어부(190)로부터 입체감 조절값 및 영상 데이터를 재구성하는 방법을 지시하는 신호를 수신할 수 있다. 그리고 신호 처리부(140)는 수신한 입체감 조절값에 따라 영상 데이터의 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있다. 여기서, 신호 처리부(140)는 제어부(190)가 결정한 방법으로 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있고, 직접 결정한 방법으로 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있다.The
일부 실시예로, 신호 처리부(140)는 영상 데이터에 포함된 오브젝트의 변위값을 산출하고, 입체영상 조절값을 이용하여 산출된 변위값을 변경할 수 있다. 그리고 신호 처리부(140)는 변경된 변위값에 따라 상기 오브젝트의 변위값이 변경되도록 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있다.In some embodiments, the
일부 실시예로, 신호 처리부(140)는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터에 어안렌즈 이펙트를 줄 수 있다.In some embodiments, the
디스플레이(150)는 영상(152)을 디스플레이한다. 여기서 영상(152)은 신호 처리부(140)가 재구성한 영상 데이터가 디스플레이되는 것일 수 있다.The
또한, 디스플레이(150)는 제어부(190)와 연결되어 동작할 수 있다. 디스플레이(150)는 전자 장치의 사용자와 운영 체제 또는 운영 체제 상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(153)를 디스플레이할 수 있다. GUI(153)는 프로그램, 파일, 및 동작 옵션들을 그래픽 이미지로 표현한다. 그래픽 이미지는 윈도우, 필드, 대화상자, 메뉴, 아이콘, 버튼, 커서 및 스크롤바 등을 포함할 수 있다. 이러한 이미지는 미리 정의된 레이아웃으로 정렬될 수 있거나, 사용자가 취하고 있는 특정의 조치를 돕기 위해 동적으로 생성될 수 있다. 동작 동안에, 사용자는 여러 가지 그래픽 이미지와 연관된 기능 및 작업을 제기하기 위해 그 이미지를 선택 및 활성화할 수 있다. 예로서, 사용자는 윈도우의 열기, 닫기, 최소화, 또는 최대화를 행하는 버튼, 또는 특정 프로그램을 가동시키는 아이콘을 선택할 수 있다.In addition, the
일부 실시예로, 디스플레이(150)는 입체감 설정 정보를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이할 수 있다. 여기서, 상기 화면은 상기 영상 데이터의 장르를 지시하는 표시를 더 디스플레이할 수 있다.In some embodiments, the
또한 디스플레이(150)는 상기 GUI를 통해 설정된 입체감 설정 정보에 따라 재구성된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 화면에 디스플레이할 수 있다.Also, the
음성 출력부(160)는 신호 처리부(140) 및 제어부(190)로부터 음성 데이터를 수신하고 수신한 음성 데이터가 재생된 음향(161)을 출력할 수 있다.The
입력장치(170)는 디스플레이(150) 상에 또는 그 전방에 배치되어 있는 터치 스크린일 수 있다. 터치 스크린은 디스플레이(150)와 일체로 되어 있거나 별개의 구성요소일 수 있다. 터치 스크린이 디스플레이(150)의 전방에 배치됨에 따라 사용자는 GUI(153)를 직접 조작할 수 있다. 예를 들어, 사용자는 단지 제어될 객체 상에 그의 손가락을 올려 놓을 수 있다. 터치패드에서는, 이것과 같은 일대일 관계가 없다.The
터치패드에 있어서, 터치패드는 디스플레이(150)로부터 떨어져 일반적으로 다른 평면에 놓여 있다. 예를 들어, 디스플레이(150)는 일반적으로 수직 평면에 위치해 있고, 터치패드는 일반적으로 수평 평면에 위치해 있다. 이것은 그의 사용을 덜 직관적이게 하며, 따라서 터치 스크린과 비교할 때 더 어렵다. 터치 스크린인 것에 부가하여, 입력장치(170)는 다중점 입력장치일 수 있다.In the touchpad, the touchpad is generally away from the
저장부(180)는 일반적으로 전자 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 전자 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다.The
저장부(180)는 입체감 설정 정보를 저장한다. 여기서 입체감 설정 정보는 컨텐츠의 장르를 지시하는 장르 정보, 상기 컨텐츠의 장르별로 설정된 입체감 조절값 및 상기 장르 정보와 입체감 조절값의 연관시키는 연관 정보를 포함할 수 있다. 여기서 연관 정보는 관계형 데이터베이스의 테이블명일 수 있다.The
또한 저장부(180)는 장르별로 영상 데이터를 저장한다. 여기서 영상 데이터는 스테레오 시점 영상 또는 다시점 영상일 수 있다. 즉 영상 데이터는 적어도 하나의 좌안 시점 영상 데이터 및 적어도 하나의 우안 시점 영상 데이터를 포함할 수 있다.In addition, the
제어부(190)는 명령어를 실행하고 전자 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 전자 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.The
제어부(190)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.The
제어부(190)는 사용자 조치(User Action)를 인식하고 인식한 사용자 조치에 기초하여 전자 장치(100)를 제어할 수 있다. 여기서 사용자 조치는 전자 장치 또는 리모컨의 물리적인 버튼의 선택, 터치 스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬상 장치로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 외부 신호 수신부(135)는 리모컨의 물리적인 버튼을 선택하는 사용자 조치에 대한 신호를 리모컨을 통해 수신할 수 있다.The
제스처는 터치 제스처와 공간 제스처를 포함할 수 있다. 터치 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 입력장치(170)와의 양식화된 상호작용으로서 정의될 수 있다. 터치 제스처는 여러 가지 손을 통해, 보다 상세하게는 손가락 움직임을 통해 행해질 수 있다. 다른 대안으로서 또는 그에 부가하여, 제스처는 스타일러스로 행해질 수 있다.Gestures can include touch gestures and space gestures. The touch gesture can be defined as a stylized interaction with the
입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.The
사용자가 하나 이상의 제스처를 행할 때, 입력장치(170)는 제스처 정보를 제어부(190)로 전달한다. 저장부(180)로부터의 명령어, 보다 상세하게는 제스처 작동 프로그램(181)을 사용하여, 제어부(190)는 제스처(171)를 해석하고 저장부(180), 디스플레이(150), 음성 출력부(160), 신호 처리부(140), 네트워크 인터페이스부(130) 및 입력장치(170) 등의 전자 장치(100)의 서로 다른 컴포넌트를 제어한다. 제스처(171)는 저장부(180)에 저장된 애플리케이션에서의 동작을 수행하고, 디스플레이(150) 상에 나타난 GUI 객체를 수정하며, 저장부(180)에 저장된 데이터를 수정하고, 네트워크 인터페이스부(130), 신호 처리부(140)에서의 동작을 수행하는 명령으로서 식별될 수 있다. 예로서, 이들 명령은 줌잉, 패닝, 스크롤링, 페이지 넘김, 회전, 크기조정, 영상 채널 변경, 컨텐츠 수신, 인터넷 접속 등과 연관되어 있을 수 있다. 추가의 예로서, 명령은 또한 특정의 프로그램을 기동시키는 것, 파일 또는 문서를 여는 것, 메뉴를 보는 것, 선택을 하는 것, 명령어를 실행하는 것, 인터넷 사이트 시스템에 로그온하는 것, 인가된 개인에게 컴퓨터 시스템의 제한된 영역에의 액세스를 허용하는 것, 바탕화면의 사용자 선호 배열과 연관된 사용자 프로파일을 로드하는 것, 및/또는 기타 등등과 연관되어 있을 수 있다.When the user performs one or more gestures, the
일부 실시예들에서, 손가락과 터치 스크린 디스플레이 간의 파라미터(예를 들어, 커패시턴스)의 크기에 따라, 이 파라미터가 미리 정해진 문턱값을 넘을 때, 다운 이벤트가 일어나고, 이 파라미터가 미리 정해진 문턱값을 넘고 있는 동안에 손가락의 대응하는 커서 위치가 위치 A로부터 위치 B로 이동할 때, 드래깅 이벤트가 일어나며, 이 파라미터가 문턱값 레벨 아래로 떨어질 때 업 이벤트가 일어난다.In some embodiments, depending on the magnitude of the parameter (e.g., capacitance) between the finger and the touch screen display, when the parameter exceeds a predetermined threshold, a down event occurs and the parameter exceeds a predetermined threshold A dragging event occurs when the corresponding cursor position of the finger moves from position A to position B and an up event occurs when this parameter falls below the threshold level.
제어부(190)는 입체감 조절값을 결정할 수 있다. 일부 실시예로, 제어부(190)는 입체감 설정 정보를 기초로 입체감 조절값을 결정할 수 있다. 여기서 입체감 설정 정보는 감지된 사용자 조치에 따라 설정될 수 있고, 수신된 방송 정보를 기초로 설정될 수 있다. 또한 입체감 설정 정보는 전자 장치(100)의 제작시에 디폴트로 설정될 수 있고, 전자 장치(100)의 소프트웨어 설치시 설정될 수 있으며, 전자 장치(100)의 소프트웨어 업데이트시에 업데이트될 수 있다.The
일부 실시예로, 제어부(190)는 입체감 설정 정보 및 영상 데이터의 장르를 기초로 입체감 조절값을 결정할 수 있다. 여기서, 제어부(190)는 상기 입체감 설정 정보에서 상기 영상 데이터의 장르와 연관된 입체감 조절값을 검색할 수 있다. 또한 제어부(190)는 연관 정보를 이용하여 상기 입체감 설정 정보에서 입체감 조절값을 검색할 수 있다.In some embodiments, the
일부 실시예로, 제어부(190)는 시청자의 위치를 기초로 입체감 조절값을 결정할 수 있다. 시청자의 위치가 근접한 경우에는, 제어부(190)는 입체감이 낮쳐 지도록 입체감 조절값을 결정할 수 있고, 시청자의 위치가 멀리 있는 경우에는, 제어부(190)는 입체감이 높아지도록 입체감 조절값을 결정할 수 있다.In some embodiments, the
일부 실시예로, 제어부(190)는 수신된 방송 정보를 기초로 입체감 조절값을 결정할 수 있다.In some embodiments, the
제어부(190)는 수신된 방송 정보를 기초로 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성하는 방법을 결정할 수 있다. 또는 제어부(190)는 사용자 명령을 기초로 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 방법을 결정할 수 있다. 여기서 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 방법은 오브젝트 변위 변경 방법 및 어안렌즈 이펙트 중의 하나일 수 있다.The
제어부(190)는 결정한 방법으로, 결정한 입체감 조절값에 따라 영상 데이터의 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있다. 또는 제어부(190)는 신호 처리부(140)로 하여금 결정한 방법으로 결정한 입체감 조절값에 따라 영상 데이터의 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성하도록 제어할 수 있다.The
또한 제어부(190)는 입체감 설정 정보를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지할 수 있다. 상기 사용자 조치의 감지에 응답하여, 제어부(190)는 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호가 생성되도록 제어할 수 있다. 여기서, 상기 화면은 상기 영상 데이터의 장르를 지시하는 표시를 더 디스플레이할 수 있다.Also, the
제어부(190)는 상기 GUI를 통해 설정된 입체감 설정 정보에 따라 상기 영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성하거나 신호 처리부(140)로 하여금 재구성하도록 제어할 수 있다.The
또한 제어부(190)는, 상기 GUI를 통해 설정된 입체감 설정 정보가 상기 영상 데이터의 장르를 지시하는 정보와 연관시켜 저장되도록 제어할 수 있다.Also, the
도 2는 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.2 is a block diagram showing a configuration of a preferred embodiment of the signal processing unit.
도 2를 참조하면, 신호 처리부(140)는 역다중화부(210), 오디오 디코더(220), 비디오 디코더(230), 영상 가공부(240), 스케일러(260), 믹서(270) 및 포맷터(280)를 포함할 수 있다.2, the
역다중화부(210)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 입력부(135)로부터 스트림 신호를 수신할 수 있고, 역다중화부(210)는 수신된 스트림 신호를 영상 데이터, 음성 데이터 및 데이터로 역다중화하여 각각 비디오 디코더(230), 오디오 디코더(220) 및 제어부(190)로 출력할 수 있다.The
오디오 디코더(220)는 역다중화부(210)로부터 음성 데이터를 수신하고, 수신된 음성 데이터를 복원하여 복원된 데이터를 스케일러(260) 또는 음성 출력부(160)로 출력할 수 있다.The
비디오 디코더(230)는 역다중화부(210)로부터 영상 데이터를 수신하고, 수신된 영상 데이터를 복원하여 영상 가공부(240)에 출력한다. 여기서 영상 신호는 입체영상 신호를 포함할 수 있다. 비디오 디코더(230) 및 영상 가공부(240)는 하나의 모듈로 구성될 수 있다. 영상 가공부(240)가 수행하는 역할을 제어부(190)가 대신 수행하는 경우에는, 비디오 디코더(230)는 복원한 영상 데이터를 제어부(190)로 출력할 수 있다.The
영상 가공부(240)는 입체감 조절값에 따라 복원된 영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있다. 영상 가공부(240)는 변위 산출부(245), 변위 변경부(250) 및 영상 재구성부(255)를 포함할 수 있다.The
변위 산출부(245)는 영상 데이터에 포함된 오브젝트의 변위값을 산출한다. The
변위 변경부(250)는 입체영상 조절값을 이용하여 변위 산출부(245)가 산출한 변위값을 변경한다. 여기서, 상기 변위 변경부는, 입체영상 조절값 및 산출된 변위값의 제곱값을 기초로 상기 변경된 변위값을 산출할 수 있다.The
영상 재구성부(255)는 변위 변경부(250)가 변경한 변위값에 따라 상기 오브젝트의 변위값이 변경되도록 영상 데이터의 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성할 수 있다. The
스케일러(260)는 비디오 디코더(230), 영상 가공부(240), 제어부(190) 및 오디오 디코더(220)에서 처리된 영상 데이터 및 음성 데이터를 디스플레이(150) 또는 스피커(미도시)를 통하여 출력하기 위한 적절한 크기의 신호로 크기 조절(스케일링: scaling)한다. 구체적으로, 스케일러(260)는 입체영상을 수신하여 디스플레이(150)의 해상도 또는 소정 화면비(aspect ratio)에 맞도록 스케일링(scaling)한다. 디스플레이(150)는 제품 사양 별로 소정 해상도, 예를 들어 720x480 포맷, 1024x768 등을 갖는 영상 화면을 출력하도록 제작될 수 있다. 그에 따라서, 스케일러(260)는 다양한 값으로 입력될 수 있는 입체영상의 해상도를 해당 디스플레이의 해상도에 맞춰 변환할 수 있다.The
또한, 스케일러(260)는 디스플레이되는 컨텐츠의 종류 또는 사용자 설정 등에 따라서, 입체영상의 화면비(aspect ratio)를 조절하여 출력한다. 화면비 값은 16:9, 4:3, 또는 3:2 등의 값이 될 수 있으며, 스케일러(260)는 가로 방향의 화면 길이 비와 세로 방향의 화면 길이 비가 특정 비율이 되도록 조절할 수도 있다. In addition, the
믹서(270)는 스케일러(260) 및 제어부(190)의 출력을 믹싱하여 출력한다.The
포맷터(280)는 입체영상을 구현하기 위하여 변환된 영상 데이터를 디스플레이(150)로 출력하고, 출력되는 입체영상 신호에 동기 신호(Sync signal)를 생성하여 안경(201)으로 전송할 수 있다. 포맷터(280)는 동기 신호의 전송을 위해 적외선 출력부(미도시)를 포함할 수 있다. 여기서, 동기 신호는 입체영상 신호에 따른 좌안 시점 영상 또는 우안 시점 영상의 디스플레이 시점과 셔터 안경(201)의 좌안 렌즈 또는 우안 렌즈의 개폐 시점을 동기시키기 위한 신호이다.The
도 3a 및 도 3b는 본 발명에 따른 입체감 조정 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도이다.FIGS. 3A and 3B are flowcharts illustrating a method of adjusting a stereoscopic effect according to an exemplary embodiment of the present invention.
도 3a 및 도 3b를 참조하면, 수신부(101)는 좌안 시점 영상 데이터와 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신한다(S100). 여기서 수신부(101)는 영상 데이터에 대한 방송 정보를 더 수신할 수 있다.Referring to FIGS. 3A and 3B, the receiving
제어부(190)는 입체감 조절값을 결정한다(S105). 여기서 제어부(190)는 입체감 설정 정보를 기초로 입체감 조절값을 결정할 수 있고, 입체감 설정 정보 및 상기 영상 데이터의 장르를 기초로 입체감 조절값을 결정할 수 있다. 또한 제어부(190)는 시청자의 위치를 기초로 입체감 조절값을 결정할 수 있고 수신된 방송 정보를 기초로 입체감 조절값을 결정할 수 있다.The
제어부(190)는 단계 S105에서, 입체감 설정 정보에서 상기 영상 데이터의 장르와 연관된 입체감 조절값을 검색하고, 검색한 입체감 조절값으로 입체감 조절값을 결정할 수 있다.In step S105, the
제어부(190)는 수신된 방송 정보를 기초로 수신부(101)가 수신한 영상 데이터의 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 재구성하는 방법을 결정한다(S110). 여기서 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 방법은 오브젝트 변위 변경 방법 및 어안렌즈 이펙트 중의 하나일 수 있다.The
상기 재구성 방법이 오브젝트 변위 변경 방법으로 결정된 경우에는, 신호 처리부(140)는 영상 데이터에 포함된 오브젝트의 변위값을 산출한다(S115).If the reconstruction method is determined by the object displacement changing method, the
신호 처리부(140)는 입체영상 조절값을 이용하여 산출한 변위값을 변경한다(S120). 여기서 신호 처리부(140)는 입체영상 조절값 및 산출된 변위값의 제곱값을 기초로 상기 변경된 변위값을 산출할 수 있다.The
신호 처리부(140)는 변경된 변위값에 따라 오브젝트의 변위값이 변경되도록 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성한다(S125).The
상기 재구성 방법이 어안렌즈 이펙트인 경우에는, 신호 처리부(140)는 영상 데이터에 포함된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터에 어안렌즈 이펙트를 준다(S130).If the reconstruction method is a fisheye lens effect, the
디스플레이(150)는 재구성된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 디스플레이한다(S135).The
제어부(190)는 상기 입체감 설정 정보를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지한다(S140).The
제어부(190)는 상기 사용자 조치의 감지에 응답하여, 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호가 생성되도록 제어한다(S145). 여기서 상기 화면은 상기 영상 데이터의 장르를 지시하는 표시를 더 디스플레이할 수 있다.In response to the detection of the user action, the
제어부(190)는 상기 입체감 설정 정보를 설정하기 위한 사용자 조치를 감지한다(S150). The
제어부(190)는 상기 감지된 사용자 조치에 응답하여, 상기 입체감 설정 정보를 설정한다(S155).In response to the detected user action, the
신호 처리부(140)는 제어부(190)가 설정한 입체감 설정 정보에 따라 상기 영상 데이터에 포함된 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성한다(S160).The
디스플레이(150)는 신호 처리부(140)가 재구성한 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 상기 영역에 디스플레이한다(S165).The
제어부(190)는 입체감 설정 정보의 설정 완료를 지시하는 사용자 조치를 감지한다(S170).The
제어부(190)는 상기 사용자 조치에 응답하여, 상기 GUI를 통해 설정된 입체감 설정 정보를 상기 영상 데이터의 장르를 지시하는 정보와 연관시켜 저장한다(S175).In response to the user action, the
도 4는 양안시차 방식을 도시한 도면이다.4 is a view showing a binocular disparity system.
도 4를 참조하면, 양안시차 방식은 양안 카메라 등으로 촬상된 적어도 좌안 시점 영상(401) 및 우안 시점 영상(402)을 시청자의 양 눈(411, 412)에 각각 보여줌으로써 공간감 또는 입체감을 제공하는 3차원 디스플레이 방식이다. 좌안 시점 영상(401) 및 우안 시점 영상(402)의 양안 시차에 따라 시청자에게 제공되는 공간감 또는 입체감이 달라진다. 좌안 시점 영상(401) 및 우안 시점 영상(402)의 간격이 좁을수록, 좌안(411) 및 우안(412)로부터 먼 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 작아질 수 있다. 좌안 시점 영상(401) 및 우안 시점 영상(402)의 간격이 넓을수록, 좌안(411) 및 우안(412)으로부터 가까운 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 커질 수 있다.4, the binocular disparity system provides at least a left
도 5는 물체의 거리에 따른 양안 시차의 차이를 도시한 도면이다.5 is a diagram showing the difference in binocular disparity according to the distance of an object.
도 5를 참조하면, 멀리 있는 물체(510)를 양안으로 볼 때 좌안에 맺히는 상(511) 및 우안에 맺히는 상(512)의 간격이 좁아짐으로, 멀리 있는 물체(510)를 볼 때의 양안 시차는 작다. 하지만, 가까이에 있는 물체(520)를 양안으로 볼 때 좌안에 맺히는 상(521) 및 우안에 맺히는 상(522)의 간격이 넓어짐으로, 가까이에 있는 물체(520)를 볼 때의 양안 시차는 크다. 즉 물체(520)의 양안 시차는 물체(510)의 양안 시차보다 크다.5, when the
본 발명에 언급되는 입체감은 멀리 있는 물체와 가까이 있는 물체를 표현할 때의 양안시차의 차이를 의미할 수 있다. 영상의 입체감이 크다는 것은 영상내의 가장 먼 물체를 표현하는 양안 시차와 영상내의 가장 가까운 물체를 표현하는 양안시차의 차이가 크다는 것을 의미할 수 있다. 반면에 영상의 입체감이 작다는 것은 영상내의 가장 먼 물체를 표현하는 양안 시차와 영상내의 가장 가까운 물체를 표현하는 양안 시차의 차이가 작다는 것을 의미할 수 있다.The three-dimensional feeling referred to in the present invention may mean a difference in binocular disparity when expressing an object close to a distant object. A large stereoscopic effect of the image may mean that there is a large difference between the binocular disparity expressing the farthest object in the image and the binocular disparity expressing the closest object in the image. On the other hand, the smaller dimensionality of the image may mean that the difference between the binocular parallax expressing the farthest object in the image and the binocular parallax expressing the closest object in the image is small.
도 6은 영상의 입체감을 크게 표현하는 방법의 일실시예를 설명하기 위한 도면이다.6 is a diagram for explaining an embodiment of a method of largely expressing a stereoscopic effect of an image.
도 6을 참조하면, 전자 장치(100)는 영상(600) 내의 멀리 있는 물체(610)의 양안 시차를 작게 하고 영상(600) 내의 가까이 있는 물체(620)의 양안 시차를 크게 하여 영상(600)의 입체감을 크게 할 수 있다. 즉 물체(610)의 양안 시차를 더욱 작게 조절하여 물체(610)를 원래의 거리보다 시청자에게 더욱 멀게 보이게 하고, 물체(620)의 양안 시차를 더욱 크게 조절하여 물체(620)를 원래의 거리보다 시청자에게 더욱 가깝게 보이게 함으로써, 영상(600)의 입체감을 크게 할 수 있다.6, the
도 7은 영상의 입체감을 작게 표현하는 방법의 일실시예를 설명하기 위한 도면이다.Fig. 7 is a diagram for explaining an embodiment of a method of representing a three-dimensional effect of a picture in a small size.
도 7을 참조하면, 전자 장치(100)는 영상(700) 내의 멀리 있는 물체(710)의 양안 시차를 크게하고 영상(700) 내의 가까이 있는 물체(720)의 양안 시차를 작게 하여 영상(700)의 입체감을 작게 할 수 있다. 즉 물체(710)의 양안 시차를 크게 조절하여 물체(710)를 원래의 거리보다 시청자에게 가깝게 보이게 하고, 물체(720)의 양안 시차를 작게 조절하여 물체(720)를 원래의 거리보다 시청자에게 멀게 보이게 함으로써, 영상(700)의 입체감을 작게 할 수 있다.7, the
영상(600)과 영상(700)이 동일한 원본 영상에서 재구성된 경우에는, 영상(600)의 입체감은 원본 영상의 입체감보다 커지고, 영상(700)의 입체감은 원본 영상의 입체감보다 작아진다.When the
도 8a 및 도 8b는 일실시예의 영상이 디스플레이된 화면을 도시한 도면이고, 도 9는 도 8a에 도시된 영상의 입체감을 크게 표현한 화면의 일실시예를 도시한 도면이며, 도 10은 도 8a에 도시된 영상의 입체감을 작게 표현한 화면의 일실시예를 도시한 도면이다.8A and 8B are views showing a screen in which an image of an embodiment is displayed, FIG. 9 is a view showing an embodiment of a screen in which a three-dimensional effect of the image shown in FIG. 8A is largely expressed, In which a stereoscopic effect of an image shown in FIG.
도 8a 내지 도 10을 참조하면, 영상(800)에서 오브젝트(810, 820, 830)는 오브젝트(840)는 보다 시청자에게 멀게 위치한다. 영상(900)에서 오브젝트(810, 820, 830)는 더욱 멀리 보이도록 디스플레이되고, 오브젝트(840)는 더욱 가깝게 보이도록 디스플레이된다. 이에 따라, 영상(900)은 영상(800) 보다 입체감이 더 크게 느껴진다는 것을 확인할 수 있다. 여기서 오브젝트는 영상에 포함된 피사체를 지시할 수 있다.8A to 10, in the
또한 영상(1000)에서 오브젝트(810, 820, 830)는 원래의 거리보다 가깝게 보이도록 디스플레이되고, 오브젝트(840)는 원래의 거리보다 멀게 보이도록 디스플레이된다. 이에 따라, 영상(1000)은 영상(800) 보다 입체감이 더 작게 느껴진다는 것을 확인할 수 있다.Also, in the
영상의 입체감은 입체 피로(3D Fatigue)와의 트레이드 오프 관계를 형성할 수 있다. 영상의 입체감이 커지면 더운 박진감 넘치는 영상을 볼 수 있지만 이는 시청자의 뇌에 시각 피로를 야기할 수 있다. 또한 영상의 입체감이 극단적으로 높아질 경우에는 영상에는 어안렌즈와 같은 효과가 나타나게 될 수 있다. 한편, 입체감을 낮추면 박진감 등은 줄어들지만 입체 피로는 감소될 수 있다. 따라서 본 발명에 따른 전자 장치는 영상의 입체감의 적절히 조절하므로써 입체감에 의한 입체 피로를 줄일 수 있고, 컨텐츠의 박진감을 고조시킬 수 있다.The stereoscopic effect of the image can form a trade-off relationship with stereoscopic fatigue. As the stereoscopic effect of the image becomes larger, the user can see a video full of hot feeling, but this can cause visual fatigue in the viewer's brain. In addition, when the stereoscopic effect of the image is extremely high, the effect of the fish-eye lens may appear on the image. On the other hand, lowering the stereoscopic effect reduces the feeling of motion but the stereoscopic fatigue can be reduced. Therefore, the electronic device according to the present invention can reduce the stereoscopic fatigue due to the stereoscopic effect by appropriately adjusting the stereoscopic effect of the image, and can enhance the feeling of the magnitude of the content.
또한 본 발명에 전자 장치는 장르에 따라 입체감을 조절하므써 영상의 입체감을 적절하게 조절할 수 있다. 스포츠 장르 또는 스포츠 장르 중에서 경기시간이 짧고 상대적으로 다이내믹한 공간감을 제공하는 스포츠(예를 들면, 복싱, 배드민턴, 탁구)의 영상인 경우에는, 본 발명에 따른 전자 장치는 영상의 입체감을 크게 하여 영상의 박진감을 넘치게 할 수 있다. 반면에, 사이클 경기처럼 다소 정적이면서 장시간 시청을 요하는 영상인 경우에는, 본 발명에 따른 전자 장치는 영상의 입체감을 작게 하여 입체 피로를 최소화할 수 있다.
Also, the electronic device according to the present invention adjusts the stereoscopic effect according to the genre, so that the stereoscopic effect of the image can be appropriately adjusted. In the case of a sport (for example, boxing, badminton, table tennis) that provides a relatively dynamic feeling of space and a short playing time among sports genres or sports genres, the electronic device according to the present invention increases the stereoscopic effect of the image, Can be overflowing. On the other hand, in the case of a video that is somewhat static, such as a cycle game, and requires a long time of viewing, the electronic device according to the present invention can minimize stereoscopic fatigue by reducing stereoscopic effect of an image.
영상 데이터 재구성 방법How to reconstruct video data
본 절에서는 영상의 입체감을 조절할 수 있는 영상 데이터 재구성 방법을 설명한다. 양안 시차 방식을 이용한 입체 영상에 대해 오리지널 영상의 양안 영상을 왜곡함으로써 입체감을 형성할 수 있다.In this section, we describe a reconstruction method of image data that can control the stereoscopic effect of the image. The stereoscopic effect can be formed by distorting the binocular image of the original image with respect to the stereoscopic image using the binocular disparity method.
왜곡 방법은 수신되는 영상의 특성에 따라 달라질 수 있다. 디지털 영상은 벡터 그래픽과 비트맵 그래픽으로 나뉜다. 전자는 영상내의 피사체의 좌표 정보를 가지고 있고, 이를 통해 영상을 표시하는 것이다. 후자는 일반적인 비트들의 연속으로 나타난다.The distortion method may vary depending on the characteristics of the received image. Digital images are divided into vector graphics and bitmap graphics. The former has the coordinate information of the subject in the image, and displays the image through it. The latter appears as a sequence of generic bits.
신호 처리부(140)는 영상의 특성에 따라 영상 데이터 재구성 방법을 결정하고, 결정한 영상 데이터 재구성 방법에 따라 영상 데이터를 재구성할 수 있다. 전술한 바와 같이, 신호 처리부(140)는 제어부(190)가 결정한 영상 데이터 재구성 방법에 따라 영상 데이터를 재구성할 수 있다.The
먼저, 영상 데이터 재구성 방법으로 오브젝트 변위 변경 방법에 대해 설명한다. 전자 장치(100)는 오브젝트 변위 변경 방법을 이용하여 입체영상의 양안 영상을 재구성하여 입체감을 조절할 수 있다.First, a method of changing an object displacement by a video data reconstruction method will be described. The
도 11은 영상에 포함된 오브젝트의 좌표를 도시한 도면이다.11 is a diagram showing coordinates of an object included in an image.
도 11을 참조하면, 입체영상이 피사체의 좌표를 알 수 있는 벡터 그래픽으로 들어올 경우에는, 피사체의 좌표는 수학식 1 및 수학식 2에 따라 표시될 수 있다.Referring to FIG. 11, when a stereoscopic image comes in as a vector graphic that indicates the coordinates of a subject, the coordinates of the subject can be expressed in accordance with Equations (1) and (2).
오브젝트 거리 는 오브젝트의 좌안 오브젝트의 위치와 상기 오브젝트의 우안 오브젝트의 위치의 차이를 의미하며, 오브젝트 간의 거리를 다음의 수학식 3으로 나타내질 수 있다. 여기서 좌안 오브젝트는 좌안 시점 영상 데이터에 포함된 오브젝트 또는 상기 오브젝트의 이미지를 표시하는 좌표를 의미하고, 우안 오브젝트는 우안 시점 영상 데이터에 포함된 오브젝트 또는 상기 오브젝트의 이미지를 표시하는 좌표를 의미한다. 즉 오브젝트(1110)의 좌안 오브젝트는 오브젝트(1111)이고 오브젝트(1110)의 우안 오브젝트는 우안 오브젝트(1112)이다.Object distance Means the difference between the position of the left eye object of the object and the position of the right eye object of the object, and the distance between the objects can be expressed by the following equation (3). Here, the left eye object refers to the object included in the left eye view image data or the coordinate for displaying the image of the object, and the right eye object refers to the object included in the right eye view image data or the image for displaying the image of the object. The left eye object of the
오브젝트(1110)의 오브젝트 거리는 1이고, 오브젝트(1120)의 오브젝트 거리는 2이며, 오브젝트(1130)의 오브젝트 거리는 3이다.The object distance of the
또한 오브젝트 거리의 집합 는 다음의 수학식 4로 나타낼 수 있다.Also, Can be expressed by the following equation (4).
오브젝트 거리는 다음의 수학식 5를 이용하여 변경할 수 있다.The object distance can be changed using the following equation (5).
여기서, 은 변경된 오브젝트 거리이다. a 는 입체감 정도를 나타내는 변수를 뜻하고, 변수 a의 값은 입체영상 조절값 또는 입체영상 조절값에 함수 관계를 갖는 값으로 설정될 수 있다.here, Is the changed object distance. a denotes a variable indicating the degree of cubic effect, and the value of the variable a can be set to a value having a function relationship with the stereoscopic image adjustment value or the stereoscopic image adjustment value.
양안 시차 방식에서 오브젝트 거리는 해당 오브젝트의 원근감을 듯하고, 해당 오브젝트의 양안 시차를 나타낸다고 볼 수 있다. 따라서, 수학식 5에서 변수 a가 O에 가까울수록 영상의 입체감은 커지고, 1에 가까울 수록 입체감이 줄어들 수 있다. 또한 오브젝트 거리가 제곱형태로 되면 오브젝트 거리가 클수록 값이 커지므로, 멀리 있는 물체는 가까이 있는 물체 보다 더 멀어지게 되어, 영상의 입체감이 커지게 된다.In the binocular parallax system, the object distance may be regarded as the perspective of the object, and may represent the binocular parallax of the object. Therefore, in equation (5), the closer the variable a is to O, the greater the stereoscopic effect of the image, and the closer to 1 the stereoscopic effect is. In addition, if the object distance is a square shape, the larger the object distance, the larger the distance becomes, and the far object becomes farther away from the closer object, resulting in a larger stereoscopic effect of the image.
또한 변경된 오브젝트 거리의 집합 는 다음의 수학식 6으로 나타낼 수 있다.Also, a set of changed object distances Can be expressed by the following equation (6).
도 12는 도 11에 도시된 오브젝트의 변위가 변환된 후에 오브젝트의 좌표를 도시한 도면이다.12 is a diagram showing the coordinates of an object after the displacement of the object shown in Fig. 11 is transformed. Fig.
도 12를 참조하면, 수학식 5에서 a가 0인 경우에는, 오브젝트(1110)의 오브젝트 거리는 1로 유지되고, 오브젝트(1120)의 오브젝트 거리는 2에서 4로 변경되고, 오브젝트(1130)의 오브젝트 거리는 3에서 9로 변경된다. 이에 따라, 오브젝트(1120) 및 오브젝트(1130)는 시청자에게 더 멀리 보이게 된다.12, when a is 0 in the equation (5), the object distance of the
영상 데이터 재구성 방법으로 어안렌즈 이펙트에 대해 설명한다. 전자 장치(100)는 어안렌즈 이펙트로 입체영상의 양안 영상을 재구성하여 입체감을 조절할 수 있다. 즉 전자 장치(100)는 좌안 시점 영상 데이터 및 우안 시점 영상 데이터에 대해 어안렌즈 이펙트를 주는 방식으로 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 가공하여 입체감 정도를 조절할 수 있다.The fisheye lens effect will be explained by the image data reconstruction method. The
도 13은 다른 실시예의 영상이 디스플레이된 화면을 도시한 도면이다.13 is a diagram showing a screen on which an image of another embodiment is displayed.
도 13을 참조하면, 영상(1300)의 중앙에 어안렌즈 필터를 적용하면 영상 중앙을 중심으로 입체감을 확대시킬 수 있고, 영상 중앙을 중심으로 입체감을 축소시킬 수 있다.13, when a fisheye lens filter is applied to the center of the
도 14는 입체감을 확대시키는 어안렌즈 이펙트를 도시한 도면이고, 도 15는 도 13에 도시된 영상에 도 14에 도시된 어안렌즈 이펙트가 적용된 화면을 도시한 도면이다.FIG. 14 is a view showing a fish-eye lens effect for enlarging the three-dimensional effect, and FIG. 15 is a view showing a screen to which the fish-eye lens effect shown in FIG. 14 is applied to the image shown in FIG.
도 14 및 도 15를 참조하면, 어안렌즈 이펙트(1400)는 입체감을 확대시키기 위한 어안렌즈 이펙트이다. 영상(1300)에 어안렌즈 이펙트(1400)가 적용되면 영상(1300)은 영상(1500)으로 가공된다. 영상(1500)은 선원근법적 투시효과로 인해 시청자의 입체감을 확대시킨다. 즉 영상(1300)의 중앙보다 영상(1500)의 중앙은 확대되고, 영상(1300)의 가장자리보다 영상(1500)의 가장자리는 조밀하게 되어, 영상(1500)의 중앙은 시청자에게 더 가깝게 보이고, 영상(1500)의 가장자리는 시청자에게 더 멀리 보이게 되어, 영상(1500)은 시청자의 입체감을 확대시킨다.Referring to Figs. 14 and 15, the
도 16은 입체감을 축소시키는 어안렌즈 이펙트를 도시한 도면이고, 도 17은 도 13에 도시된 영상에 도 16에 도시된 어안렌즈 이펙트가 적용된 화면을 도시한 도면이다.FIG. 16 is a view showing a fisheye lens effect for reducing a stereoscopic effect, and FIG. 17 is a view showing a screen to which the fisheye lens effect shown in FIG. 16 is applied to the image shown in FIG.
도 16 및 17을 참조하면, 어안렌즈 이펙트(1600)는 입체감을 축소시키기 위한 어안렌즈 이펙트이다. 영상(1300)에 어안렌즈 이펙트(1700)가 적용되면 영상(1300)은 영상(1700)으로 가공된다. 어안렌즈 이펙트(1700)가 적용됨으로써, 영상(1700)의 중앙은 영상(1300)의 중앙 보다 조밀해지고, 영상(1700)의 가장자리는 영상(1300)의 가장자리보다 확대된다. 어안렌즈 이펙트(1700)가 2차원 영상에 적용되면 입체감이 커질 수 있다. 하지만, 영상의 중앙 부분이 시청자에게 가깝게 보이는 입체영상에 어안렌즈 이펙트(1700)를 적용하면 상기 입체영상의 입체감이 축소된다. 그리고, 3차원 영상의 경우 중앙에서 앞으로 나오는 깊이값(Depth value)을 갖는 경우가 일반적이므로, 어안렌즈 이펙트(1700)를 입체영상에 적용하면 입체영상의 입체감이 축소된다고 볼 수 있다.16 and 17, the
어안렌즈 이펙트는 영상의 입체감을 변경시키기 위해 영상내의 피사체 개개의 좌표를 필요로 하지 않기 때문에, 영상이 비트맵 그래픽인 경우에는, 더욱 효과적으로 사용될 수 있다.
Since the fisheye lens effect does not require the individual coordinates of the subject in the image to change the stereoscopic effect of the image, it can be used more effectively when the image is a bitmap graphic.
입체감 조절값 설정 방법How to set stereoscopic adjustment value
본 절에서는 입체감 조절값 설정 방법에 대해 설명한다. 전자 장치(100)는 입체감 설정 정보를 기초로 입체감 조절값을 설정할 수 있다. 입체감 설정 정보는 초기값으로 설정되어 있을 수 있고, 사용자가 입체감 설정 정보를 설정 또는 변경할 수 있다.This section explains how to set the three-dimensional adjustment value. The
도 18a 내지 도 18c는 입체감 설정 정보를 조절하기 위한 화면의 일실시예를 도시된 도면이다.18A to 18C are views showing an embodiment of a screen for adjusting three-dimensional setting information.
도 18a 내지 도 18c를 참조하면, 디스플레이(150)는 화면(1810), 화면(1820) 및 화면(1830)을 디스플레이할 수 있다.18A-18C, the
화면(1810)은 입체감 설정 정보를 설정하기 위한 GUI(1811), 영상 데이터가 디스플레이되는 영역(1812) 및 영역(1812)에 디스플레이되는 영상의 장르를 지시하는 표시(1813)를 포함한다. 여기서 표시(1813)는 야구를 지시하고 있고, 영역(1812)은 야구 경기의 영상을 디스플레이한다. 또한 GUI(1811)의 슬라이드 바(1815)가 지시하는 값에 따라 영상(1812)의 입체감이 변경된다.The
화면(1820)은 입체감 설정 정보를 설정하기 위한 GUI(1821), 영상 데이터가 디스플레이되는 영역(1822) 및 영역(1822)에 디스플레이되는 영상의 장르를 지시하는 표시(1823)를 포함한다. 여기서 표시(1823)는 복싱을 지시하고 있고, 영역(1822)은 복싱 경기의 영상을 디스플레이한다. 또한 GUI(1821)의 슬라이드 바(1825)가 지시하는 값에 따라 영상(1822)의 입체감이 변경된다.The
화면(1830)은 입체감 설정 정보를 설정하기 위한 GUI(1831), 영상 데이터가 디스플레이되는 영역(1832) 및 영역(1832)에 디스플레이되는 영상의 장르를 지시하는 표시(1833)를 포함한다. 여기서 표시(1833)는 영화를 지시하고 있고, 영역(1832)은 영화를 디스플레이한다. 또한 GUI(1831)의 슬라이드 바(1835)가 지시하는 값에 따라 영상(1832)의 입체감이 변경된다.The
사용자는 입체감 설정 정보를 설정하고자 하는 장르를 선택하는 사용자 조치를 행할 수 있다. 제어부(190)는 사용자 조치가 선택한 장르의 대표 입체영상을 디스플레이하는 화면을 디스플레이할 수 있다. 예를 들면, 스포츠 장르 중에서 경기 시간이 짧지만 다이내믹한 입체감을 필요로 하는 장르인 경우에는, 제어부(190)는 화면(1810)이 디스플레이되도록 제어할 수 있다. 또한 스포츠 장르 중에서 경기 시간이 길어 장시간 시청을 필요로 하는 장르인 경우에는, 제어부(190)는 화면(1820)이 디스플레이되도록 제어할 수 있다. 그리고 서사가 중요시 되고 시청 시간이 매우 긴 편인 영화의 경우에는, 제어부(190)는 화면(1830)이 디스플레이되도록 할 수 있다.The user can perform a user action of selecting a genre to which the three-dimensional setting information is to be set. The
제어부(190)는 각 장르별로 디폴트로 설정된 입체감 설정 정보를 GUI(예를 들면 GUI(1811), GUI(1821), GUI(1831))에 표시할 수 있다. 사용자는 상기 GUI의 슬라이드 바(예를 들면, GUI(1815), GUI(1825), GUI(1835))를 통해 장르별로 사용자 개인 맞춤형으로 입체감 설정 정보를 설정할 수 있다.The
제어부(190)는 상기 GUI를 통해 설정된 입체감 설정 정보에 따라 화면에 디스플레이되는 영상(예를 들면, 영상(1813), 영상(1823), 영상(1833))의 좌안 시점 영상 및 우안 시점 영상이 재구성되어 디스플레이되도록 제어할 수 있다. 이에 따라 사용자는 설정된 입체감 설정 정보에 따라 재구성된 영상을 확인하면서, 입체감 설정 정보를 맞출 수 있다.The
수신부(101)는 입체감 설정 정보를 수신할 수 있다. 즉 튜너부(110), 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)는 입체감 설정 정보를 수신할 수 있다. 또한 입체감 설정 정보는 방송 정보에 포함되어 전송될 수 있다. 일예로, 입체감 설정 정보는 DVB SI 표준의 EIT(Event Information Table)에 포함되어 전송될 수 있고, BCG 디스커버리 레코드(Broadband Content Guide Discovery Record)에 포함되어 전송될 수 있다. The receiving
도 19는 입체감 정보 디스크립터의 신택스의 일실시예를 도시한 도면이다.19 is a diagram showing an embodiment of the syntax of a three-dimensional information descriptor.
도 19를 참조하면, 입체감 설정 정보는 입체감 정보 디스크립터(cubic_effect_information_descriptor())에 포함되어 전송될 수 있다. cubic_effect_information_descriptor()는 descriptor_tag 필드, descriptor_length 필드, effect_status 필드 및 type_of_filter 필드를 포함할 수 있다. 또한 cubic_effect_information_descriptor()는 N개의 country_code 필드, rating 필드 및 filter_weight 필드를 포함할 수 있다. cubic_effect_information_descriptor()는 EIT에 포함될 수 있고, BCG 디스커버리 레코드에 포함될 수 있다.Referring to FIG. 19, the cubic setting information may be transmitted in a cubic information descriptor (cubic_effect_information_descriptor ()). The cubic_effect_information_descriptor () may include a descriptor_tag field, a descriptor_length field, an effect_status field, and a type_of_filter field. The cubic_effect_information_descriptor () may include N country_code fields, a rating field, and a filter_weight field. The cubic_effect_information_descriptor () can be included in the EIT and included in the BCG discovery record.
descriptor_tag 필드는 cubic_effect_information_descriptor()를 식별하기 위한 태그 번호를 포함한다. cubic_effect_information_descriptor()가 EIT에 포함되는 경우에는, descriptor_tag는 0x80 및 OxFE의 사이의 태그 번호를 포함할 수 있다.The descriptor_tag field includes a tag number for identifying cubic_effect_information_descriptor (). When the cubic_effect_information_descriptor () is included in the EIT, the descriptor_tag may include a tag number between 0x80 and OxFE.
descriptor_tag 필드는 descriptor의 전체 길이를 지시하는 값을 포함한다. 상기 값을 통해 country_code 필드, rating 필드 및 filter_weight 필드의 개수를 알 수 있다.The descriptor_tag field contains a value indicating the total length of the descriptor. The number of the country_code field, the rating field, and the filter_weight field can be known through the above values.
도 20은 effect_status 필드가 갖는 값들의 일실시예를 도시한 테이블이다.FIG. 20 is a table showing one embodiment of the values of the effect_status field.
도 20을 참조하면, effect_status 필드는 현재 방송의 이팩트 상태(effect status)를 지시하는 정보를 포함한다. effect_status 필드는 8bit의 길이를 가질 수 있고, 상기 정보는 0에서 7사이의 값일 수 있다. 0의 값은 도 20에 도시된 테이블의 값이 적용되지 않는다는 것을 의미할 수 있다. 또한 1의 값은 영상 데이터 재구성 방법을 적용하지 않는다는 것을 지시할 수 있다. 그리고 2의 값은 영상 데이터 재구성 방법을 적용한다는 것을 지시할 수 있다. 3 내지 7의 값은 향후 사용을 위해 예비된 값일 수 있다.Referring to FIG. 20, the effect_status field includes information indicating an effect status of a current broadcast. The field effect_status may have a length of 8 bits, and the information may be a value between 0 and 7. A value of 0 may mean that the value of the table shown in FIG. 20 is not applied. A value of 1 may also indicate that the image data reconstruction method is not applied. And a value of 2 may indicate that the image data reconstruction method is applied. The value of 3 to 7 may be the value reserved for future use.
Type_of_filter 필드는 적용된 영상 데이터 재구성 방법을 지시하는 정보를 포함할 수 있고 8bit로 정의될 수 있다. 0값은 필터 효과를 적용하지 않는다는 것을 나타내고, 1값은 어안렌즈 효과를 나타내며, 2값은 오브젝트 변위 변경 방법을 나타낼 수 있다.The Type_of_filter field may contain information indicating the applied image data reconstruction method and may be defined as 8 bits. A value of 0 indicates that no filter effect is applied, a value of 1 indicates a fisheye lens effect, and a value of 2 indicates a method of changing an object displacement.
Country_code 필드는 국가 표시를 나타내는 정보를 포함할 수 있다. 상기 정보는 개별 국가별 방송법, 방송 제도 및 방송 환경에 따라 적용되는 영상 데이터 재구성 방법이 다를 수 있다는 것을 대비하기 위한 것이다. 상기 정보는 ISO 3166에 정의된 KOR, GER, FRA, GBR 등의 태그에 의해 정의될 수 있고, ISO 8859-1에 의해 인코딩 될 수 있다. 일예로, 상기 정보가 영국을 나타내는 "GBR"인 경우에는 "0100 0111 0100 0010 0101 0010"으로 인코딩될 수 있다.The Country_code field may contain information indicating a country indication. The above information is intended to prepare for the fact that the method of reconstructing video data to be applied may be different depending on the broadcasting system, broadcasting system and broadcasting environment of each country. The information may be defined by tags such as KOR, GER, FRA, GBR, etc. defined in ISO 3166 and may be encoded by ISO 8859-1. For example, the information may be encoded as "0100 0111 0100 0010 0101 0010" if the information is "GBR "
도 21은 rating 필드가 갖는 값들의 일실시예를 도시한 테이블이다.FIG. 21 is a table showing one embodiment of the values held in the rating field.
도 21을 참조하면, rating 필드는 영상 데이터 재구성 방법이 적용될 연령제한을 지시하는 정보를 포함할 수 있다. 상기 정보는 연령별로 추천되는 영상 데이터 재구성 방법을 지시할 수 있다. Ox00은 전 연령대 적용을 지시하고, 0x01부터 0x0F까지는 해당값 더하기 3을 해서 산출되는 연령을 표시하며, 그 이상 값은 개별 방송국이 자유롭게 정의해 쓸 수 있다.Referring to FIG. 21, the rating field may include information indicating age restriction to which the image data reconstruction method is applied. The information may indicate a video data reconstruction method recommended by age. Ox00 indicates all ages and 0x01 to 0x0F indicates the age calculated by adding the value of 3, and the above values can be freely defined and used by individual broadcasting stations.
filter_weight 필드는 입체감 조절값을 포함할 수 있다. 상기 입체감 조절값은 0x00에서 Oxff의 값을 가질 수 있고, 수학식 5의 a은 상기 입체감 조절값에 따라 설정될 수 있다.The filter_weight field may contain a cubic adjustment value. The stereoscopic effect adjustment value may have a value of 0x00 to Oxff, and a of Equation (5) may be set according to the stereoscopic effect adjustment value.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.
Claims (20)
입체감 설정 정보를 기초로 입체감 조절값을 결정하는 제어부; 및
상기 수신된 영상 데이터의 그래픽 타입을 판단하고, 상기 판단 결과에 기초하여 상기 영상 데이터를 재구성하는 방법을 결정하고, 상기 결정된 방법에 따라 상기 영상 데이터를 재구성하는 신호 처리부;를 포함하고,
상기 그래픽 타입은,
상기 영상 데이터 내의 피사체의 좌표 정보를 포함하는 벡터 그래픽 타입 또는 상기 좌표 정보를 포함하지 않는 비트맵 그래픽 타입 중 어느 하나인 것을 특징으로 하는 전자 장치.A receiving unit for receiving image data including left eye view image data and right eye view image data;
A controller for determining a stereoscopic effect adjustment value based on stereoscopic effect setting information; And
And a signal processing unit for determining a graphic type of the received image data, determining a method of reconstructing the image data based on the determination result, and reconstructing the image data according to the determined method,
The graphic type may include:
A vector graphics type including coordinate information of a subject in the image data, or a bitmap graphic type not including the coordinate information.
상기 제어부는,
상기 입체감 설정 정보에서 상기 영상 데이터의 장르와 연관된 입체감 조절값을 검색하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
Wherein,
And detects a stereoscopic effect adjustment value associated with a genre of the image data from the stereoscopic effect setting information.
상기 판단된 그래픽 타입이 벡터 그래픽 타입인 경우,
상기 신호 처리부는,
상기 결정된 입체감 조절값에 따라 상기 영상 데이터에 포함된 오브젝트의 변위값을 산출하고, 상기 입체감 조절값을 이용하여 상기 산출된 변위값을 변경하고, 상기 변경된 변위값에 따라 상기 오브젝트의 변위값이 변경되도록 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
If the determined graphic type is a vector graphic type,
The signal processing unit,
Calculating a displacement value of the object included in the image data according to the determined stereoscopic effect adjustment value, changing the calculated displacement value using the stereoscopic effect adjustment value, and changing the displacement value of the object according to the changed displacement value Eye view image data and the right-eye view image data so that the left-eye view image data and the right-eye view image data are reconstructed.
상기 신호 처리부는,
상기 입체감 조절값 및 상기 산출된 변위값의 제곱값을 기초로 상기 변경된 변위값을 산출하는 것을 특징으로 하는 전자 장치.14. The method of claim 13,
The signal processing unit,
And calculates the changed displacement value based on the cubic adjustment value and the squared value of the calculated displacement value.
상기 판단된 그래픽 타입이 비트맵 그래픽 타입인 경우,
상기 신호 처리부는,
상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터에 어안렌즈 이펙트를 주는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
If the determined graphic type is a bitmap graphic type,
The signal processing unit,
Eye view image data and the right-eye view image data to a fisheye lens effect.
상기 제어부는,
수신된 방송 정보를 기초로 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 방법을 결정하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
Wherein,
Eye view image data and the right-eye view image data based on the received broadcast information.
상기 제어부는,
상기 입체감 설정 정보를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지하고,
상기 사용자 조치의 감지에 응답하여, 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호가 생성되도록 제어하는 것을 특징으로 하는 전자 장치.12. The method of claim 11,
Wherein,
Detects a user action requesting a graphical user interface (GUI) for setting the three-dimensional setting information,
In response to the detection of the user action, controls to generate a signal for displaying a screen including the graphical user interface (GUI) and an area where the image data is displayed.
상기 신호 처리부는,
상기 GUI를 통해 설정된 입체감 설정 정보에 따라 상기 영상 데이터에 포함된 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 재구성하는 것을 특징으로 하는 전자 장치.18. The method of claim 17,
The signal processing unit,
And reconstructs the left-eye view image data and the right-eye view image data included in the image data according to the three-dimensional setting information set through the GUI.
상기 화면은 상기 영상 데이터의 장르를 지시하는 표시를 더 디스플레이하는 것을 특징으로 하는 전자 장치.18. The method of claim 17,
Wherein the screen further displays an indication indicating a genre of the image data.
상기 제어부는,
상기 GUI를 통해 설정된 입체감 설정 정보가 상기 영상 데이터의 장르를 지시하는 정보와 연관시켜 저장되도록 제어하는 것을 특징으로 하는 전자 장치.18. The method of claim 17,
Wherein,
And controls the stereoscopic effect setting information set through the GUI to be stored in association with information indicating a genre of the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100122270A KR101783608B1 (en) | 2010-12-02 | 2010-12-02 | Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100122270A KR101783608B1 (en) | 2010-12-02 | 2010-12-02 | Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120060657A KR20120060657A (en) | 2012-06-12 |
KR101783608B1 true KR101783608B1 (en) | 2017-10-10 |
Family
ID=46611521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100122270A KR101783608B1 (en) | 2010-12-02 | 2010-12-02 | Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101783608B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140111875A (en) * | 2013-03-12 | 2014-09-22 | 엘지전자 주식회사 | Video display terminal and video stream control method for the video display terminal |
US9998800B2 (en) * | 2013-03-12 | 2018-06-12 | Electronics And Telecommunications Research Institute | 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio |
CN112085770B (en) * | 2020-09-10 | 2024-07-05 | 上海创屹科技有限公司 | Binocular multi-target matching and screening method for table tennis track capture |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100812905B1 (en) * | 2002-03-27 | 2008-03-11 | 산요덴키가부시키가이샤 | 3-dimensional image processing method and device |
KR100818933B1 (en) * | 2005-12-02 | 2008-04-04 | 한국전자통신연구원 | Method for 3D Contents Service based Digital Broadcasting |
KR100873638B1 (en) * | 2007-01-16 | 2008-12-12 | 삼성전자주식회사 | Image processing method and apparatus |
-
2010
- 2010-12-02 KR KR1020100122270A patent/KR101783608B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100812905B1 (en) * | 2002-03-27 | 2008-03-11 | 산요덴키가부시키가이샤 | 3-dimensional image processing method and device |
KR100818933B1 (en) * | 2005-12-02 | 2008-04-04 | 한국전자통신연구원 | Method for 3D Contents Service based Digital Broadcasting |
KR100873638B1 (en) * | 2007-01-16 | 2008-12-12 | 삼성전자주식회사 | Image processing method and apparatus |
Non-Patent Citations (1)
Title |
---|
Paul Bourke, "Omni-directional Stereoscopic Fisheye Images for Immersive Hemispherical Dome Environments", Computer Games and Allied Technology(2009.05.)* |
Also Published As
Publication number | Publication date |
---|---|
KR20120060657A (en) | 2012-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9055258B2 (en) | Video display apparatus and video display method | |
CN102300109B (en) | Display device and method of outputting audio signal | |
US9741152B2 (en) | Image processing apparatus, image processing method, and computer program | |
KR101911250B1 (en) | Apparatus for processing a three-dimensional image and method for adjusting location of sweet spot for viewing multi-view image | |
US20120287235A1 (en) | Apparatus and method for processing 3-dimensional image | |
KR20130095655A (en) | Method and apparatus for customizing 3-dimensional effects of stereo content | |
US20130063576A1 (en) | Stereoscopic intensity adjustment device, stereoscopic intensity adjustment method, program, integrated circuit and recording medium | |
US20140362198A1 (en) | Stereoscopic Video Processor, Stereoscopic Video Processing Method and Stereoscopic Video Processing Program | |
EP2670149A2 (en) | Apparatus and method for providing image in terminal | |
KR101855939B1 (en) | Method for operating an Image display apparatus | |
CN102905141A (en) | Two-dimension to three-dimension conversion device and conversion method thereof | |
KR101783608B1 (en) | Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image | |
CN103609104A (en) | Interactive user interface for stereoscopic effect adjustment | |
KR101758274B1 (en) | A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image | |
KR101921176B1 (en) | Electronic device and method of providing virtual touch screen | |
KR20120126897A (en) | Electronic device and method for processing a 3-dimensional image | |
KR20130010613A (en) | Apparatus and method for converting 2 dimensional image into 3 dimensional image | |
KR101804912B1 (en) | An apparatus for displaying a 3-dimensional image and a method for displaying subtitles of a 3-dimensional image | |
US9547933B2 (en) | Display apparatus and display method thereof | |
JP7406166B2 (en) | Information processing device, information processing method, and program | |
KR101781850B1 (en) | Electronic device and method for displying stereo-view or multiview sequence image | |
KR101952174B1 (en) | Image display apparatus and method for displaying image thereof | |
KR101878808B1 (en) | Image display apparatus and method for operating the same | |
KR20140118063A (en) | Apparatus for visualization of multimedia contents and method thereof | |
KR20130068964A (en) | Method for operating an image display apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |