KR101291011B1 - Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof - Google Patents

Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof Download PDF

Info

Publication number
KR101291011B1
KR101291011B1 KR1020110142932A KR20110142932A KR101291011B1 KR 101291011 B1 KR101291011 B1 KR 101291011B1 KR 1020110142932 A KR1020110142932 A KR 1020110142932A KR 20110142932 A KR20110142932 A KR 20110142932A KR 101291011 B1 KR101291011 B1 KR 101291011B1
Authority
KR
South Korea
Prior art keywords
variation
distribution
disparity
image
maximum
Prior art date
Application number
KR1020110142932A
Other languages
Korean (ko)
Other versions
KR20130074864A (en
Inventor
손광훈
김동현
최성환
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110142932A priority Critical patent/KR101291011B1/en
Publication of KR20130074864A publication Critical patent/KR20130074864A/en
Application granted granted Critical
Publication of KR101291011B1 publication Critical patent/KR101291011B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/005Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 영상 입체감 조절 장치 및 방법과 이에 관한 기록매체가 개시된다. 개시된 3차원 영상 입체감 조절 장치는 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 변이 추출부; 및 기측정된 최대 변이 및 변이 분포별 시청자의 3차원 영상 인식 시간에 관한 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 변이 보정부를 포함한다. 본 발명에 따르면, 3차원 영상 시청에 따른 사용자의 시각 피로감을 효과적으로 감소시킬 수 있는 장점이 있다. 또한, 본 발명에 따르면, 실시간으로 3차원 영상의 깊이를 조절할 수 있는 장점이 있다.Disclosed are an apparatus and method for controlling 3D image depth and a recording medium related thereto. The disclosed 3D image control apparatus includes: a variation extracting unit configured to extract a maximum variation and a distribution of variation for each of a plurality of frames constituting the 3D image; And a disparity correcting unit configured to correct the extracted maximum disparity and disparity distribution based on information about a viewer's three-dimensional image recognition time according to the measured maximum disparity and disparity distribution. According to the present invention, there is an advantage that can effectively reduce the visual fatigue of the user according to the 3D image viewing. In addition, according to the present invention, there is an advantage that can adjust the depth of the three-dimensional image in real time.

Description

3차원 영상 입체감 조절 장치 및 방법과 이에 관한 기록매체{APPARATUS AND METHOD FOR ADJUSTING DEPTH OF STEREOSCOPIC IMAGE, RECORDING MEDIUM THEREOF}Apparatus and method for adjusting three-dimensional image depth and recording medium therefor {APPARATUS AND METHOD FOR ADJUSTING DEPTH OF STEREOSCOPIC IMAGE, RECORDING MEDIUM THEREOF}

본 발명의 실시예들은 3차원 영상 입체감 조절 장치 및 방법과 이에 관한 기록매체에 관한 것으로서, 더욱 상세하게는 3차원 영상 시청에 따른 피로감을 효과적으로 감소시킬 수 있는 3차원 영상 입체감 조절 장치 및 방법과 이에 관한 기록매체에 관한 것이다. Embodiments of the present invention relate to a three-dimensional image stereoscopic adjustment apparatus and method and a recording medium thereof, and more particularly, to a three-dimensional image stereoscopic adjustment apparatus and method that can effectively reduce the fatigue caused by viewing the three-dimensional image It relates to a recording medium.

3차원 영상은 인간이 두 눈을 사용하여 입체 공간을 인식하는 원리를 이용하는 기술로써 최근 많은 각광을 받고 있지만, 장시간 시청 시 발생하는 시각 피로감과 같은 문제 등으로 인하여 3차원 영상의 활성화에 어려움을 겪고 있다. 3D image is a technology that uses human eyes to recognize three-dimensional space using two eyes, but it has received a lot of attention recently, but it is difficult to activate 3D image due to problems such as visual fatigue caused by long time viewing. have.

시각 피로감은 주로 영상의 깊이가 사용자와 맞지 않는 경우에 발생하며, 동일한 영상의 깊이라 하더라도 사용자에 따라 느끼는 시각 피로감은 서로 다를 수 있다. Visual fatigue occurs mainly when the depth of the image does not match the user, and even if the depth of the same image, the visual fatigue felt by the user may be different.

이러한 문제점을 해결하기 위해, 대한민국 공개특허 제2009-0037270호(발명명칭: 3차원 영상 시청 시 발생하는 피로도 감소 방법 및 장치, 그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및 장치)는 3차원 영상의 변이 벡터를 획득하고, 변이 벡터가 변이 한계치보다 클 경우에 입체감을 조절하여 시각 피로감을 줄이는 방법을 개시한다. In order to solve this problem, Korean Patent Laid-Open Publication No. 2009-0037270 (Invention name: Fatigue reduction method and apparatus, and low fatigue fatigue three-dimensional image data stream generation method and apparatus for viewing a three-dimensional image) is a three-dimensional image Disclosed is a method of obtaining a disparity vector and reducing visual fatigue by adjusting stereoscopic effect when the disparity vector is larger than a disparity threshold.

즉, 3차원 영상의 변이 벡터의 범위가 시청자의 피로도를 유발하지 않도록 변이를 조절함으로써 피로도를 저감시키는 방법을 개시한다.That is, a method of reducing fatigue is disclosed by adjusting the variation so that the range of the disparity vector of the 3D image does not cause the viewer fatigue.

그러나, 이와 같은 종래의 연구는 변이 한계치를 결정함에 있어서, 미리 지정된 최대 변이 값만을 고려하는 등 사용자 측의 요소를 고려하지 않아 사용자는 여전히 시각 피로감을 느끼게 되는 문제점이 있으며, 변이 조절 결과 과도하게 입체감이 줄어드는 경우가 발생하였다.
However, such a conventional study has a problem that the user still feels visual fatigue because the user does not consider the factors of the user side such as considering only a predetermined maximum variation value in determining the variation limit value. This shrinking case occurred.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 3차원 영상 시청에 따른 피로감을 효과적으로 감소시킬 수 있는 3차원 영상 입체감 조절 장치 및 방법과 이에 관한 기록매체를 제안하고자 한다.In order to solve the problems of the prior art as described above, the present invention proposes a three-dimensional image stereoscopic control apparatus and method that can effectively reduce the fatigue caused by viewing a three-dimensional image and a recording medium related thereto.

본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the present invention may be derived by those skilled in the art through the following examples.

상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 변이 추출부; 및 기측정된 최대 변이 및 변이 분포별 시청자의 3차원 영상 인식 시간에 관한 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 변이 보정부를 포함하는 3차원 영상 입체감 조절 장치가 제공된다.According to a preferred embodiment of the present invention to achieve the above object, a variation extraction unit for extracting the maximum variation and the distribution of variation for each of a plurality of frames constituting a three-dimensional image; And a disparity correcting unit configured to correct the extracted maximum disparity and disparity distribution based on information about a viewer's three-dimensional image recognition time according to the measured maximum disparity and disparity distribution.

상기 변이 보정부는 상기 기측정된 3차원 영상 인식 시간 중에서 상기 추출된 최대 변이 및 변이 분포에 대응하는 3차원 영상 인식 시간이 미리 설정된 임계 시간 내에 존재하도록 상기 추출된 최대 변이 및 변이 분포를 보정할 수 있다. The disparity correcting unit may correct the extracted maximum disparity and disparity distribution such that a three-dimensional image recognition time corresponding to the extracted maximum disparity and disparity distribution exists within a preset threshold time among the measured three-dimensional image recognition time. have.

상기 미리 설정된 임계 시간은 사용자에 의해 설정될 수 있다. The preset threshold time may be set by a user.

상기 변이 추출부는 상기 다수의 프레임 각각에서 복수의 특징점을 추출하고, 상기 복수의 특징점별로 각도 변이(복수의 각도 변이)를 산출하는 각도 변이 산출부; 및 상기 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1(1 이상의 정수임)개의 각도 변이의 평균(최대 변이) 및 상기 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2(1 이상의 정수임)개의 각도 변이의 평균(최소 변이)을 연산하는 최대/최소 변이 연산부를 포함할 수 있다. The shift extracting unit extracts a plurality of feature points from each of the plurality of frames and calculates an angle shift (plural angle shifts) for each of the plurality of feature points; And an average (maximum shift) of the upper n 1 (an integer greater than or equal to) values having a larger angle shift among the plurality of angle shifts, and a lower n 2 (an integer greater than or equal to 1) having a smaller value among the plurality of angle shifts. And a maximum / minimum variation calculator for calculating an average (minimum variation) of the angular variations.

상기 변이 추출부는 하기의 수학식에 따라 상기 최대 변이 및 변이 분포를 추출할 수 있다.
The variation extracting unit may extract the maximum variation and variation distribution according to the following equation.

Figure 112011103683052-pat00001

Figure 112011103683052-pat00001

Figure 112011103683052-pat00002
Figure 112011103683052-pat00002

Figure 112011103683052-pat00003
Figure 112011103683052-pat00003

여기서, Dispa (f)는 복수의 특징점 별 각도 변이, fn은 복수의 특징점의 개수, f 1 f 2 는 상한과 하한의 범위(%), th a 는 임계값을 각각 의미함.Here, Dispa (f) is the angular shift for a plurality of feature points, fn is the number of feature points, f 1 and f 2 are the upper and lower ranges (%), and th a means a threshold value, respectively.

또한, 본 발명의 다른 실시예에 따르면, 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 단계; 및 기측정된 최대 변이 및 변이 분포에 따른 시청자의 3차원 영상 인식 시간 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 단계를 포함하는 3차원 영상 입체감 조절 방법이 제공된다.In addition, according to another embodiment of the present invention, the method comprises the steps of: extracting the maximum variation and variation distribution for each of the plurality of frames constituting the 3D image; And correcting the extracted maximum variance and variance distribution based on viewer's 3D image recognition time information according to the measured maximum variance and variance distribution.

상기 보정하는 단계는 상기 기측정된 3차원 영상 인식 시간 중에서 상기 추출된 최대 변이 및 변이 분포에 대응하는 3차원 영상 인식 시간이 미리 설정된 임계 시간 내에 존재하도록 상기 추출된 최대 변이 및 변이 분포를 보정할 수 있다. The correcting may include correcting the extracted maximum variance and variation distribution such that the 3D image recognition time corresponding to the extracted maximum variance and variation distribution exists within a preset threshold time among the measured 3D image recognition times. Can be.

상기 추출하는 단계는 상기 다수의 프레임 각각에서 복수의 특징점을 추출하고, 상기 복수의 특징점별로 각도 변이(복수의 각도 변이)를 산출하는 단계; 및 상기 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1(1 이상의 정수임)개의 각도 변이의 평균(최대 변이) 및 상기 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2(1 이상의 정수임)개의 각도 변이의 평균(최소 변이)을 연산하는 단계를 포함할 수 있다. The extracting may include extracting a plurality of feature points from each of the plurality of frames, and calculating an angle shift (a plurality of angle shifts) for each of the plurality of feature points; And an average (maximum shift) of the upper n 1 (an integer greater than or equal to) values having a larger angle shift among the plurality of angle shifts, and a lower n 2 (an integer greater than or equal to 1) having a smaller value among the plurality of angle shifts. Calculating an average (minimum shift) of the angular shifts.

또한, 본 발명의 다른 실시예에 따르면, 3차원 영상의 입체감을 조절하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 단계; 및 기측정된 최대 변이 및 변이 분포에 따른 시청자의 3차원 영상 인식 시간 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 단계를 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.In addition, according to another embodiment of the present invention, a program of instructions that can be executed by a digital processing apparatus for the three-dimensional image stereoscopic effect is tangibly embodied, and as a recording medium that can be read by the digital processing apparatus. Extracting a maximum variation and a distribution of variation for each of the plurality of frames constituting the 3D image; And correcting the extracted maximum variance and variance distribution based on the viewer's three-dimensional image recognition time information according to the measured maximum variance and variance distribution.

본 발명에 따르면, 3차원 영상 시청에 따른 사용자의 시각 피로감을 효과적으로 감소시킬 수 있는 장점이 있다. According to the present invention, there is an advantage that can effectively reduce the visual fatigue of the user according to the 3D image viewing.

또한, 본 발명에 따르면, 실시간으로 3차원 영상의 입체감을 조절할 수 있는 장점이 있다.In addition, according to the present invention, there is an advantage that can adjust the three-dimensional effect of the three-dimensional image in real time.

도 1은 본 발명에 따른 3차원 영상 입체감 조절 장치의 동작에 관한 블록도를 도시하는 도면이다.
도 2는 본 발명에 따른 3차원 영상 입체감 조절 장치의 상세한 구성을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 변이 추출부의 상세한 구성을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라, 각 프레임으로부터 각도 변이가 추출되는 과정을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 시청자의 3차원 영상 인식 시간에 관한 정보를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 변이 보정부에 의해 보정되는 3차원 입력 영상의 프레임의 최대 변이 및 변이 분포를 도시하는 도면이다.
도 7은 본 발명에 따른 3차원 영상 입체감 조절 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다.
1 is a block diagram showing the operation of the three-dimensional image stereoscopic adjustment apparatus according to the present invention.
2 is a view showing a detailed configuration of the three-dimensional image stereoscopic adjustment device according to the present invention.
3 is a diagram illustrating a detailed configuration of a variant extracting unit according to an embodiment of the present invention.
4 is a diagram illustrating a process of extracting an angle shift from each frame according to an embodiment of the present invention.
5 is a diagram illustrating information about a 3D image recognition time of a viewer according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a maximum variation and variation distribution of a frame of a 3D input image corrected by the variation correction unit according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating in detail the three-dimensional image stereoscopic adjustment method according to the present invention over time.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 3차원 영상 입체감 조절 장치(100)의 동작에 관한 블록도를 도시하는 도면이다.1 is a block diagram showing the operation of the three-dimensional image stereoscopic adjustment device 100 according to the present invention.

도 1에 도시된 바와 같이, 3차원 영상 입체감 조절 장치(100)는 3차원 영상과 시청자 영상으로부터 각도 변이(angular disparity)를 추출하고, 3차원 영상 인식 시간 정보에 기초하여 3차원 영상의 입체감을 조절할 수 있다.As shown in FIG. 1, the apparatus for adjusting 3D image depth 100 extracts an angular disparity from a 3D image and a viewer image, and displays a 3D image based on 3D image recognition time information. I can regulate it.

이때, 3차원 영상 입체감 조절 장치(100)는 3차원 TV와 같은 3차원 영상 디스플레이 장치의 내부에 모듈로 장착되어 입체감을 조절할 수 있으며, 본 발명에서는 설명의 편의를 위해 3차원 영상 입체감 조절 장치(100)가 디스플레이 장치의 내부 모듈인 것으로 가정하여 설명하기로 한다.At this time, the three-dimensional image stereoscopic adjusting device 100 may be mounted as a module inside the three-dimensional image display device such as a three-dimensional TV to adjust the three-dimensional image, in the present invention for the convenience of description three-dimensional image three-dimensional control device ( It is assumed that 100 is an internal module of the display apparatus.

시청자 영상은 디스플레이 장치에 전면으로 장착된 웹캠(Webcam)이 디스플레이 장치의 시청자를 촬상한 영상을 의미하며, 이하 설명하는 바와 같이 각도 변이의 추출을 위한 시청 거리의 산출에 이용된다. The viewer image refers to an image in which a webcam mounted on the front of the display device photographs the viewer of the display device. The viewer image is used to calculate a viewing distance for extracting the angular variation as described below.

3차원 영상은 스테레오스코픽(stereoscopic) 영상으로서 좌영상과 우영상을 통해 표현될 수 있으며, 3차원 영상에서의 변이는 한 영상(일례로, 좌영상)을 기준으로 다른 쪽 영상(일례로, 우영상)에서의 대응하는 픽셀, 또는 일정 크기의 블록 간의 차이를 의미한다.The 3D image is a stereoscopic image and can be expressed through a left image and a right image, and the variation in the 3D image is based on one image (eg, left image) and the other image (eg, right image). Image), or the difference between corresponding pixels or blocks of a certain size.

이때, 대응되는 대응요소를 찾기 위해서는 SSD(Sum of Squared Differences), SAD(Sum of Absolute Difference), SIFT(Scale Invariant Feature Transform), SURF(Speeded-Up Robust Feature) 등의 알고리즘이 사용될 수 있으며, 본 발명에서는 SURF 알고리즘을 적용하여 각도 변이를 추출하는 일례를 중심으로 설명하기로 한다. 그러나, 본 발명이 이에 한정되는 것은 아니다. In this case, algorithms such as Sum of Squared Differences (SSD), Sum of Absolute Difference (SAD), Scale Invariant Feature Transform (SIFT), and Speeded-Up Robust Feature (SURF) may be used to find corresponding elements. In the present invention, an example of extracting the angular shift by applying the SURF algorithm will be described. However, the present invention is not limited thereto.

그리고, 3차원 영상 인식 시간은 다양한 최대 변이(maximum disparity) 및 변이 분포(disparity distribution)를 갖는 테스트 영상별 시청자의 3차원 영상 인식에 소요되는 시간을 의미하는 것으로서, 그 시간이 길수록 사용자는 쉽게 시각 피로감을 느끼게 된다. In addition, the 3D image recognition time refers to a time required for 3D image recognition of a viewer for each test image having various maximum disparity and disparity distribution, and the longer the time, the easier the user can see. You will feel tired.

본 발명에 따른 3차원 영상 인식 시간에 관한 정보는 본 발명과는 별도의 과정에 의해 측정될 수 있으며, 저장매체에 저장되어 입체감 조절에 활용될 수 있다. 3차원 영상 인식 시간의 측정에 관하여는 도 5에서 상세하게 설명하기로 한다. The information about the 3D image recognition time according to the present invention may be measured by a separate process from the present invention, and may be stored in a storage medium and used to adjust the 3D effect. Measurement of the 3D image recognition time will be described in detail with reference to FIG. 5.

이와 같이, 본 발명에 따른 3차원 영상 입체감 조절 장치(100)는 시각 피로감을 줄이기 위한 입체감을 조절함에 있어서, 시청자의 3차원 영상 인식에 소요되는 시간을 고려하여 시청자에게 보다 편안한 3차원 영상을 제공할 수 있다. As described above, the three-dimensional image stereoscopic adjusting device 100 according to the present invention provides a more comfortable three-dimensional image to the viewer in consideration of the time required to recognize the three-dimensional image of the viewer in adjusting the three-dimensional image for reducing visual fatigue. can do.

이하, 도 2 내지 도 6을 참조하여 본 발명에 따른 3차원 영상 입체감 조절 장치(100)에 관하여 보다 상세하게 살펴보기로 한다.
Hereinafter, the 3D image stereoscopic adjusting device 100 according to the present invention will be described in detail with reference to FIGS. 2 to 6.

도 2는 본 발명에 따른 3차원 영상 입체감 조절 장치(100)의 상세한 구성을 도시하는 도면이다. 2 is a diagram showing the detailed configuration of the three-dimensional image stereoscopic adjustment device 100 according to the present invention.

도 2에 도시된 바와 같이, 3차원 영상 입체감 조절 장치(100)는 변이 추출부(110), 저장부(120) 및 변이 보정부(130)를 포함할 수 있다.As illustrated in FIG. 2, the 3D image adjusting apparatus 100 may include a disparity extracting unit 110, a storage unit 120, and a disparity correcting unit 130.

먼저, 본 발명의 일 실시예에 따른 변이 추출부(110)는 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출한다. First, the variation extracting unit 110 according to an embodiment of the present invention extracts the maximum variation and variation distribution for each of a plurality of frames constituting the 3D image.

보다 상세하게, 변이 추출부(110)는 도 3에 도시된 바와 같이, 각도 변이 산출부(112) 및 최대/최소 변이 연산부(114)를 포함할 수 있으며, 각도 변이로부터 연산된 최대 변이와 최소 변이를 이용하여 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출할 수 있다. In more detail, as shown in FIG. 3, the variation extracting unit 110 may include an angle variation calculator 112 and a maximum / minimum variation calculator 114, and the maximum variation and the minimum calculated from the angle variation. The maximum variation and variation distribution for each of a plurality of frames constituting the 3D image may be extracted using the variation.

먼저, 각도 변이 산출부(112)는 3차원 영상을 구성하는 다수의 프레임 각각에서 복수의 특징점을 추출하고, 복수의 특징점 별로 각도 변이를 산출한다. First, the angle shift calculator 112 extracts a plurality of feature points from each of a plurality of frames constituting the 3D image, and calculates an angle shift for each feature point.

각도 변이 산출부(112)는 다수의 프레임 각각에서 복수의 특징점의 추출을 위해, 특징점 추출을 위한 알고리즘을 이용할 수 있으며, 앞서 설명한 바와 같이, Speeded-up robust feature(SURF) 알고리즘을 이용할 수 있다. The angle shift calculator 112 may use an algorithm for feature point extraction to extract a plurality of feature points from each of a plurality of frames. As described above, the angle shift calculator 112 may use a speeded-up robust feature (SURF) algorithm.

SURF는 여러 개의 영상으로부터 크기(Scale), 조명(Illumination), 시점(Viewpoint) 등의 환경 변화를 고려하여 환경 변화에 불변하는 특징을 찾는 알고리즘 중 하나로서 우수한 성능을 보임과 동시에 속도를 크게 향상시킨 알고리즘이다. SURF is one of the algorithms to find features that are invariant to environmental changes by considering environmental changes such as scale, illumination, and viewpoint from multiple images. Algorithm

본 발명은 3차원 영상의 입체감 조절에 관한 것이며, 임의의 영상에서 특징점을 추출하는 구성은 널리 알려진 공지기술이므로, 본 실시예에서는 특징점을 추출하는 구성에 대해서는 별도로 설명하지 않으며, 특징점을 추출할 수 있는 다양한 알고리즘이 본 발명의 각도 변이 산출부(122)에 적용될 수 있을 것이다.The present invention relates to a three-dimensional image control of a three-dimensional image, and since the configuration of extracting feature points from an arbitrary image is a well-known technique, in this embodiment, a feature for extracting feature points is not described separately, and feature points can be extracted. Various algorithms may be applied to the angle shift calculator 122 of the present invention.

다음으로, 각도 변이 산출부(112)는 추출된 복수의 특징점별로 각도 변이를 산출한다. 각도 변이는 3차원 객체와 스크린의 폭주각의 차이를 의미하는 것으로서, 도 4에 도시된 바와 같이, 각도 α와 각도 β의 차에 해당한다.Next, the angle shift calculator 112 calculates the angle shift for each of the extracted feature points. The angular shift refers to the difference between the runaway angle of the 3D object and the screen, and as shown in FIG. 4, corresponds to the difference between the angle α and the angle β.

이때, 각도 β는 두 벡터의 내적으로부터 산출될 수 있다. 두 벡터 중 하나의 벡터는 좌안으로부터 스크린의 좌측 특징점에 이르는 벡터이며, 나머지 하나의 벡터는 우안으로부터 스크린의 우측 특징점에 이르는 벡터이다. At this time, the angle β may be calculated from the inner product of the two vectors. One of the two vectors is a vector from the left eye to the left feature point of the screen, and the other vector is a vector from the right eye to the right feature point of the screen.

한편, 각도 변이의 추출에 필요한 시청 거리는 웹캠에 의해 촬상된 시청자 영상을 분석함으로써 예측될 수 있다. On the other hand, the viewing distance required for the extraction of the angular variation can be predicted by analyzing the viewer image captured by the webcam.

즉, 웹캠에 의해 촬상된 시청자 영상에서 시청자의 얼굴 폭이 크게 표현되는 경우 시청거리가 짧다는 것을 의미하며, 얼굴 폭이 작게 표현되는 경우 시청거리가 길다는 것을 의미하므로, 웹캠의 초점 거리와 시야에 따른 시청 거리에 관한 룩업 테이블을 활용하면, 시청자 영상으로부터 시청 거리의 추측이 가능하다. 이를 위해, 본 발명에서는 시청자의 양안 거리가 일정한 것으로 가정한다. In other words, when a viewer's face is largely expressed in the viewer image captured by the webcam, the viewing distance is short, and when the face width is small, the viewing distance is long. By using the lookup table for viewing distance according to the above, it is possible to infer the viewing distance from the viewer image. To this end, in the present invention, it is assumed that the viewer's binocular distance is constant.

계속하여, 본 발명의 일 실시예에 따른 최대/최소 변이 연산부(114)는 각도 변이 산출부(112)에 의해 산출된 복수의 각도 변이로부터 최대 변이 및 최소 변이를 연산한다.Subsequently, the maximum / minimum shift calculator 114 calculates the maximum and minimum shifts from the plurality of angle shifts calculated by the angle shift calculator 112.

최대/최소 변이 연산부(114)는 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1(1 이상의 정수임)개의 각도 변이에 대한 평균으로부터 최대 변이를 연산하며, 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2(1 이상의 정수임)개의 각도 변이에 대한 평균으로부터 최소 변이를 연산한다. The maximum / minimum shift calculator 114 calculates a maximum shift from an average of upper n 1 (an integer greater than or equal to) angular shifts having a large angular shift among a plurality of angular shifts, and a value of an angular shift among a plurality of angular shifts. Compute the minimum shift from the mean of these small lower n 2 (which is an integer of 1 or more) angular shifts.

이때, 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1개의 각도 변이에 대한 평균은 복수의 각도 변이의 값을 오름차순으로 나열한 경우에 상위 m1(1 이상의 정수임)%에 해당하는 각도 변이의 평균값에 대응할 수 있으며, 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2개의 각도 변이에 대한 평균은 복수의 각도 변이의 값을 오름차순으로 나열한 경우에 하위 m2(1 이상의 정수임)%에 해당하는 각도 변이의 평균값에 대응할 수 있다.In this case, the average of the upper n 1 angular shifts having the larger angular shift among the plurality of angular shifts is that of the angular shift corresponding to the upper m 1 (an integer of 1 or more) when the values of the angular shift are arranged in ascending order. The average of the lower n 2 angle shifts, the smaller of which is the smaller of the angular shifts, corresponds to the lower m 2 (an integer greater than or equal to 1) when the values of the plurality of angular shifts are listed in ascending order. It can correspond to the average value of the angular variation.

일례로, 복수의 각도 변이의 값을 오름차순으로 나열한 경우에 누적된 복수의 각도 변이의 개수가 상위 10%에 해당하는 각도 변이의 값에 관한 평균값이 최대 변이, 누적된 복수의 각도 변이의 개수가 하위 10%에 해당하는 각도 변이의 값에 관한 평균값이 최소 변이가 될 수 있다.For example, when the values of the plurality of angular shifts are arranged in ascending order, the average value of the value of the angular shift corresponding to the top 10% is the maximum shift, and the number of the accumulated angular shifts is The average value of the value of the angular variation corresponding to the lower 10% may be the minimum variation.

그리고, 최대/최소 변이 연산부(114)는 복수의 각도 변이로부터 연산된 최대 변이와 최소 변이의 차로부터 변이 분포를 연산할 수 있다. In addition, the maximum / minimum variation calculator 114 may calculate a variation distribution from the difference between the maximum variation and the minimum variation calculated from the plurality of angular variations.

요컨대, 최대/최소 변이 연산부(114)는 하기의 수학식에 따라 최대 변이 및 변이 분포를 연산할 수 있다.
In other words, the maximum / minimum variation calculator 114 may calculate the maximum variation and variation distribution according to the following equation.

Figure 112011103683052-pat00004
Figure 112011103683052-pat00004

Figure 112011103683052-pat00005
Figure 112011103683052-pat00005

Figure 112011103683052-pat00006
Figure 112011103683052-pat00006

여기서, Dispa (f)는 복수의 특징점 별 각도 변이, fn은 복수의 특징점의 개수, f 1 f 2 는 상한과 하한의 범위(%), th a 는 임계값을 각각 의미하며, f 1 f 2 는 변이 추출에서 발생할 수 있는 오류를 줄이기 위한 변수에 해당한다. 그리고, 본 발명의 일 실시예에 따른 th a 는 0.3도일 수 있다. Here, Dispa (f) is the angular shift for each feature point, fn is the number of feature points, f 1 and f 2 are the upper and lower ranges (%), th a means a threshold value, respectively, f 1 and f 2 corresponds to a variable to reduce the errors that may occur in variant extraction. And th a according to an embodiment of the present invention may be 0.3 degrees.

상기와 같이 추출된 각 프레임별 최대 변이 및 변이 분포는 이하 설명하는 바와 같이, 시청자의 3차원 영상 인식 시간에 관한 정보에 기초하여 보정될 수 있다.
As described below, the maximum variation and variation distribution for each frame extracted as described above may be corrected based on information on a viewer's 3D image recognition time.

도 5는 본 발명의 일 실시예에 따른 시청자의 3차원 영상 인식 시간에 관한 정보를 도시하는 도면이다. 5 is a diagram illustrating information about a 3D image recognition time of a viewer according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 3차원 영상 인식 시간에 관한 정보는 최대 변이(가로축) 및 변이 분포(세로축)별 시청자의 3차원 영상 인식에 소요되는 시간(명암)에 관한 정보를 포함한다. 이때, 최대 변이 및 변이 분포의 단위는 degree, 시간의 단위는 msec로 표현되고 있다. As shown in FIG. 5, the information about the 3D image recognition time includes information about the time (contrast) required for the viewer to recognize the 3D image by the maximum shift (horizontal axis) and the distribution of the shift (vertical axis). At this time, the unit of the maximum variation and the distribution of variation is expressed in degrees, the unit of time is expressed in msec.

이와 같은 3차원 영상 인식에 관한 정보는 다양한 파라미터를 갖는 테스트 영상에 대한 시청자의 3차원 영상 인식에 소요되는 시간을 측정함으로써 획득될 수 있다.The information about the 3D image recognition may be obtained by measuring a time required for the viewer to recognize the 3D image for the test image having various parameters.

하기의 표는 본 발명의 일 실시예에 따른 테스트 영상에 대한 다양한 파라미터와 파라미터별 테스트 조건을 나타낸다.The following table shows various parameters and test conditions for each parameter of a test image according to an embodiment of the present invention.

Figure 112011103683052-pat00007
Figure 112011103683052-pat00007

표 1에 나타난 바와 같이, 다양한 파라미터를 갖는 테스트 영상에 대하여 시청자의 3차원 영상 인식에 소요되는 시간을 측정함으로써, 도 5에 도시된 바와 같은 3차원 영상 인식 시간 정보를 획득할 수 있으며, 이에 기초하여 입력 영상의 입체감이 조절될 수 있다. As shown in Table 1, by measuring the time required for the viewer to recognize the 3D image of the test image having various parameters, it is possible to obtain the 3D image recognition time information as shown in FIG. The stereoscopic effect of the input image can be adjusted.

상기와 같이 측정된 시청자의 3차원 영상 인식 시간에 관한 정보는 본 발명의 일 실시예에 따른 저장부(120)에 데이터베이스화되어 저장될 수 있다.Information about the 3D image recognition time of the viewer measured as described above may be stored in a database in the storage 120 according to an embodiment of the present invention.

한편, 본 발명에서는 3차원 영상을 인식하는 시청자의 군이 제한되지 않는 것으로 가정하여 설명하였으나, 본 발명의 다른 실시예에 따르면, 연령대별, 성별 등 특정 집단으로 분류 가능한 다양한 시청자군에 의해 획득되어 저장부(120)에 저장될 수 있으며, 시청자별로 3차원 영상 인식 시간에 관한 정보가 다르게 적용될 수도 있다.On the other hand, the present invention has been described on the assumption that the group of viewers for recognizing the 3D image is not limited, but according to another embodiment of the present invention, it is obtained by various viewer groups that can be classified into a specific group, such as age group, gender, etc. The information regarding the 3D image recognition time may be differently applied to each viewer.

계속하여, 본 발명의 일 실시예에 따른 변이 보정부(130)는 상기와 같이 기측정된 최대 변이 및 변이 분포별 시청자의 3차원 영상 인식 시간에 관한 정보에 기초하여 변이 추출부(110)에 의해 추출된 최대 변이 및 변이 분포를 보정한다.
Subsequently, the disparity correcting unit 130 according to an exemplary embodiment of the present invention transmits the disparity correcting unit 110 to the disparity extracting unit 110 based on the information about the 3D image recognition time of the viewer for each of the measured maximum disparity and the distribution of the disparity. The maximum variation and variation distribution extracted by the correction are corrected.

도 6은 본 발명의 일 실시예에 따른 변이 보정부(130)에 의해 보정되는 3차원 입력 영상의 프레임의 최대 변이 및 변이 분포를 도시하는 도면이다. FIG. 6 is a diagram illustrating the maximum variation and variation distribution of a frame of a 3D input image corrected by the variation correction unit 130 according to an embodiment of the present invention.

도 6을 참조하면, 변이 보정부(130)는 기측정된 3차원 영상 인식 시간 중에서 변이 추출부(110)에 의해 추출된 최대 변이 및 변이 분포에 대응하는 3차원 영상 인식 시간이 미리 설정된 임계 시간 내에 존재하도록 변이 추출부(110)에 의해 추출된 최대 변이 및 변이 분포를 보정한다. Referring to FIG. 6, the disparity correcting unit 130 may include a threshold time at which a three-dimensional image recognition time corresponding to the maximum disparity and variation distribution extracted by the disparity extracting unit 110 among preset three-dimensional image recognition times is set in advance. The maximum variation and variation distribution extracted by the variation extracting unit 110 are corrected so as to exist in the interior.

요컨대, 변이 보정부(130)는 입력 영상의 최대 변이 및 변이 분포가 미리 설정된 임계 시간 내에 존재하지 않는 경우, 입력 영상의 최대 변이 및 변이 분포가 임계 시간 내에 존재하도록 입력 영상의 최대 변이 및 변이 분포를 보정한다. In other words, when the maximum variance and the variance distribution of the input image do not exist within the preset threshold time, the variance correction unit 130 may determine the maximum variance and the variance distribution of the input image so that the maximum variance and the variance distribution of the input image exist within the threshold time. Calibrate

일례로, n번째 입력 영상의 프레임이 3차원 영상 인식 시간 정보상에서 미리 설정된 임계 시간 밖에 존재하므로, 변이 보정부(130)는 n번째 입력 영상의 프레임의 최대 변이와 변이 분포가 미리 설정된 임계 시간에 대응하는 최대 변이 및 변이 분포의 값을 갖도록 n번째 입력 영상을 수평 이동시킬 수 있다. For example, since the frame of the nth input image exists outside the preset threshold time on the 3D image recognition time information, the variation corrector 130 may determine the maximum variation and the distribution of the variation of the frame of the nth input image at the preset threshold time. The n-th input image may be horizontally shifted to have a corresponding maximum shift and shift distribution.

n+1번째 입력 영상의 프레임에 대해서도 동일하게 미리 설정된 임계 시간에 대응하는 최대 변이 및 변이 분포의 값을 갖도록 수평 이동시킬 수 있으며, n+2번째 입력 영상의 프레임은 미리 설정된 임계 시간 내에 존재하므로, 수평 이동을 수행하지 않을 수 있다.Similarly, the frame of the n + 1th input image may be horizontally shifted to have a value of the maximum variation and the variation distribution corresponding to the preset threshold time. Since the frame of the n + 2th input image exists within the preset threshold time, In this case, the horizontal movement may not be performed.

한편, 미리 설정된 임계 시간은 사용자에 의해 설정될 수 있다. 즉, 사용자에 따라 피로감을 느끼는 정도는 다르므로, 사용자는 자신에게 적합한 3차원 영상 인식 시간 내에 대응하는 최대 변이 및 변이 분포값을 갖도록 임계 시간을 설정할 수 있다. Meanwhile, the preset threshold time may be set by the user. That is, since the degree of feeling of fatigue is different for each user, the user may set the threshold time to have a corresponding maximum variation and variation distribution value within a 3D image recognition time suitable for the user.

이와 같이, 본 발명에 따른 3차원 영상 입체감 조절 장치(100)는 기존의 입체감 조절 방식과는 달리, 최대 변이의 값이 임계값을 초과하는지 여부뿐만 아니라, 변이 분포를 함께 고려하여 입체감을 조절하며, 또한 시청자의 피로감 특성을 반영할 수 있는 3차원 영상 인식에 소요되는 시간 정보를 활용한다. As described above, the three-dimensional image reduction apparatus 100 according to the present invention, unlike the conventional three-dimensional image adjustment method, adjusts the three-dimensional effect in consideration of the distribution of the variation as well as whether the value of the maximum variation exceeds the threshold. In addition, it utilizes the time information required for 3D image recognition to reflect the fatigue characteristics of the viewer.

또한, 미리 설정된 임계 시간에 대응하는 최대 변이 및 변이 분포의 값을 갖는지 여부로만 입력 영상의 입체감을 조절함으로써, 실시간 입체감 조절을 가능하여, 초당 적어도 수십 프레임이 디스플레이되는 영상에서 입체감 조절을 효율적으로 수행할 수 있다.
In addition, by controlling the stereoscopic effect of the input image only by having the maximum variation and the distribution of the variation corresponding to the preset threshold time, real-time stereoscopic adjustment is possible, so that the stereoscopic adjustment can be efficiently performed on an image displaying at least tens of frames per second. can do.

도 7은 본 발명에 따른 3차원 영상 입체감 조절 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다.7 is a flowchart illustrating in detail the three-dimensional image stereoscopic adjustment method according to the present invention over time.

도 7에 도시된 바와 같이, 3차원 영상 입체감 조절 방법은 최대 변이 및 변이 분포를 추출하는 단계(S710) 및 보정하는 단계(S720)를 포함한다.As shown in FIG. 7, the 3D image stereoscopic adjustment method includes extracting the maximum variance and the variance distribution (S710) and correcting (S720).

추출하는 단계(S710)에서는 3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출한다.In the extracting step (S710), the maximum variation and variation distribution for each of the plurality of frames constituting the 3D image are extracted.

이때, 단계(S710)는 다수의 프레임 각각에서 복수의 특징점을 추출하고, 복수의 특징점별로 각도 변이(복수의 각도 변이)를 산출하는 단계(S712)와 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1(1 이상의 정수임)개의 각도 변이의 평균(최대 변이) 및 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2(1 이상의 정수임)개의 각도 변이의 평균(최소 변이)을 연산하는 단계(S714)를 포함할 수 있다. In this case, step S710 may be performed by extracting a plurality of feature points from each of the plurality of frames, calculating an angle shift (a plurality of angle shifts) for each of the plurality of feature points, and a large value of the angle shift among the plurality of angle shifts. Computing the mean (maximum shift) of the upper n 1 (an integer greater than or equal to) angle shifts and the mean (minimum shift) of the lower n 2 (an integer greater than or equal to) angle shifts among the plurality of angular shifts having the smaller value It may include (S714).

그리고, 단계(S720)에서는 기측정된 최대 변이 및 변이 분포에 따른 시청자의 3차원 영상 인식 시간 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정한다.In operation S720, the extracted maximum variation and variation distribution are corrected based on the viewer's 3D image recognition time information according to the measured maximum variation and variation distribution.

지금까지 본 발명에 따른 3차원 영상 입체감 조절 방법의 실시예들에 대하여 설명하였고, 앞서 도 1 내지 도 6에서 설명한 3차원 영상 입체감 조절 장치(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.So far, embodiments of the 3D image stereoscopic adjusting method according to the present invention have been described, and the configuration of the 3D image stereoscopic adjusting device 100 described above with reference to FIGS. 1 to 6 may be applied to the present embodiment as it is. . Hereinafter, a detailed description will be omitted.

또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Examples of program instructions, such as magneto-optical and ROM, RAM, flash memory and the like, can be executed by a computer using an interpreter or the like, as well as machine code, Includes a high-level language code. The hardware devices described above may be configured to operate as at least one software module to perform operations of one embodiment of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art, various modifications and variations are possible from these descriptions. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

100 : 3차원 영상 입체감 조절 장치 110 : 변이 추출부
112 : 각도 변이 산출부 114 : 최대/최소 변이 연산부
120 : 저장부 130 : 변이 보정부
100: three-dimensional image control device 110: disparity extraction unit
112: angle shift calculator 114: maximum / minimum shift calculator
120: storage unit 130: disparity correction unit

Claims (9)

3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 변이 추출부; 및
기측정된 최대 변이 및 변이 분포별 시청자의 3차원 영상 인식 시간에 관한 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 변이 보정부
를 포함하되,
상기 변이 보정부는
상기 기측정된 3차원 영상 인식 시간 중에서 상기 추출된 최대 변이 및 변이 분포에 대응하는 3차원 영상 인식 시간이 미리 설정된 임계 시간 내에 존재하도록 상기 추출된 최대 변이 및 변이 분포를 보정하는 것을 특징으로 하는 3차원 영상 입체감 조절 장치.
A disparity extractor configured to extract a maximum disparity and a disparity distribution for each of a plurality of frames constituting the 3D image; And
A disparity correcting unit correcting the extracted maximum disparity and disparity distribution based on information about a viewer's three-dimensional image recognition time for each measured maximum disparity and disparity distribution
Including but not limited to:
The shift correction unit
Wherein the extracted maximum variance and variance distribution are corrected such that the three dimensional image recognition time corresponding to the extracted maximum variance and variance distribution exists within a preset threshold time among the measured 3D image recognition times. Dimensional Stereoscopic Control.
삭제delete 제1항에 있어서,
상기 미리 설정된 임계 시간은 사용자에 의해 설정되는 것을 특징으로 하는 3차원 영상 입체감 조절 장치.
The method of claim 1,
And the predetermined threshold time is set by a user.
제1항에 있어서,
상기 변이 추출부는
상기 다수의 프레임 각각에서 복수의 특징점을 추출하고, 상기 복수의 특징점별로 각도 변이(복수의 각도 변이)를 산출하는 각도 변이 산출부; 및
상기 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1(1 이상의 정수임)개의 각도 변이의 평균 및 상기 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2(1 이상의 정수임)개의 각도 변이의 평균을 연산하는 최대/최소 변이 연산부
를 포함하는 것을 특징으로 하는 3차원 영상 입체감 조절 장치.
The method of claim 1,
The mutation extraction unit
An angle shift calculator for extracting a plurality of feature points from each of the plurality of frames and calculating an angle shift (plural angle shifts) for each of the plurality of feature points; And
An average of the upper n 1 (an integer of 1 or more) angle shifts having a larger value of the angle shift among the plurality of angle shifts, and a lower n 2 (an integer of 1 or more) angle shift of a smaller value of the angle shift among the plurality of angle shifts Max / Min variance calculator for calculating average
Three-dimensional image stereoscopic control device comprising a.
제4항에 있어서,
상기 변이 추출부는 하기의 수학식에 따라 상기 최대 변이 및 변이 분포를 추출하는 것을 특징으로 하는 3차원 영상 입체감 조절 장치.

Figure 112011103683052-pat00008


Figure 112011103683052-pat00009

Figure 112011103683052-pat00010

여기서, Dispa (f)는 복수의 특징점 별 각도 변이, fn은 복수의 특징점의 개수, f 1 f 2 는 상한과 하한의 범위(%), th a 는 임계값을 각각 의미함.
5. The method of claim 4,
The disparity extracting unit extracts the maximum disparity and disparity distribution according to the following equation.

Figure 112011103683052-pat00008


Figure 112011103683052-pat00009

Figure 112011103683052-pat00010

Here, Dispa (f) is the angular shift for a plurality of feature points, fn is the number of feature points, f 1 and f 2 are the upper and lower ranges (%), and th a means a threshold value, respectively.
3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 단계; 및
기측정된 최대 변이 및 변이 분포에 따른 시청자의 3차원 영상 인식 시간 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 단계
를 포함하되,
상기 보정하는 단계는
상기 기측정된 3차원 영상 인식 시간 중에서 상기 추출된 최대 변이 및 변이 분포에 대응하는 3차원 영상 인식 시간이 미리 설정된 임계 시간 내에 존재하도록 상기 추출된 최대 변이 및 변이 분포를 보정하는 것을 특징으로 하는 3차원 영상 입체감 조절 방법.
Extracting maximum variation and variation distribution for each of the plurality of frames constituting the 3D image; And
Correcting the extracted maximum variation and variation distribution based on the viewer's 3D image recognition time information according to the measured maximum variation and variation distribution
Including but not limited to:
The step of correcting
Wherein the extracted maximum variance and variance distribution are corrected such that the three dimensional image recognition time corresponding to the extracted maximum variance and variance distribution exists within a preset threshold time among the measured 3D image recognition times. How to adjust 3D image depth.
삭제delete 제6항에 있어서,
상기 추출하는 단계는
상기 다수의 프레임 각각에서 복수의 특징점을 추출하고, 상기 복수의 특징점별로 각도 변이(복수의 각도 변이)를 산출하는 단계; 및
상기 복수의 각도 변이 중 각도 변이의 값이 큰 상위 n1(1 이상의 정수임)개의 각도 변이의 평균 및 상기 복수의 각도 변이 중 각도 변이의 값이 작은 하위 n2(1 이상의 정수임)개의 각도 변이의 평균을 연산하는 단계
를 포함하는 것을 특징으로 하는 3차원 영상 입체감 조절 방법.
The method according to claim 6,
The extracting step
Extracting a plurality of feature points from each of the plurality of frames and calculating an angle shift (plural angle shifts) for each of the plurality of feature points; And
An average of the upper n 1 (an integer greater than or equal to) angle shifts having a larger value of the angle shift among the plurality of angle shifts, and a lower n 2 (an integer greater than or equal to) angle shift among smaller angle shifts Step of calculating average
Three-dimensional image three-dimensional control method comprising a.
3차원 영상의 입체감을 조절하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
3차원 영상을 구성하는 다수의 프레임 각각에 대한 최대 변이 및 변이 분포를 추출하는 단계; 및
기측정된 최대 변이 및 변이 분포에 따른 시청자의 3차원 영상 인식 시간 정보에 기초하여 상기 추출된 최대 변이 및 변이 분포를 보정하는 단계를 수행하되,
상기 보정하는 단계는
상기 기측정된 3차원 영상 인식 시간 중에서 상기 추출된 최대 변이 및 변이 분포에 대응하는 3차원 영상 인식 시간이 미리 설정된 임계 시간 내에 존재하도록 상기 추출된 최대 변이 및 변이 분포를 보정하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
A program of instructions, which can be executed by a digital processing apparatus for controlling a three-dimensional image of a three-dimensional image, is tangibly embodied, and can be read by a digital processing apparatus.
Extracting maximum variation and variation distribution for each of the plurality of frames constituting the 3D image; And
Performing the step of correcting the extracted maximum variation and variation distribution based on the viewer's 3D image recognition time information according to the measured maximum variation and variation distribution,
The step of correcting
A computer on which a program for correcting the extracted maximum variance and variation distribution is recorded such that the 3D image recognition time corresponding to the extracted maximum variance and variation distribution is within a preset threshold time among the measured 3D image recognition times Readable record carrier.
KR1020110142932A 2011-12-27 2011-12-27 Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof KR101291011B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110142932A KR101291011B1 (en) 2011-12-27 2011-12-27 Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110142932A KR101291011B1 (en) 2011-12-27 2011-12-27 Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof

Publications (2)

Publication Number Publication Date
KR20130074864A KR20130074864A (en) 2013-07-05
KR101291011B1 true KR101291011B1 (en) 2013-07-30

Family

ID=48988845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110142932A KR101291011B1 (en) 2011-12-27 2011-12-27 Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof

Country Status (1)

Country Link
KR (1) KR101291011B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090037372A (en) * 2007-10-10 2009-04-15 삼성전자주식회사 Method and apparatus for reducing fatigue resulting from three dimensional display, and method and apparatus for generating data stream for low-fatigue three dimensional images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090037372A (en) * 2007-10-10 2009-04-15 삼성전자주식회사 Method and apparatus for reducing fatigue resulting from three dimensional display, and method and apparatus for generating data stream for low-fatigue three dimensional images

Also Published As

Publication number Publication date
KR20130074864A (en) 2013-07-05

Similar Documents

Publication Publication Date Title
TWI528781B (en) Method and apparatus for customizing 3-dimensional effects of stereo content
US8798160B2 (en) Method and apparatus for adjusting parallax in three-dimensional video
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
KR101975247B1 (en) Image processing apparatus and image processing method thereof
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
US10298905B2 (en) Method and apparatus for determining a depth map for an angle
US20130051659A1 (en) Stereoscopic image processing device and stereoscopic image processing method
US8982187B2 (en) System and method of rendering stereoscopic images
JP2011055421A5 (en)
US20120242655A1 (en) Image processing apparatus, image processing method, and program
US20120218393A1 (en) Generating 3D multi-view interweaved image(s) from stereoscopic pairs
EP2590418A1 (en) Dynamic depth image adjusting device and method thereof
US20130293533A1 (en) Image processing apparatus and image processing method
KR101720161B1 (en) Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that
TW201325204A (en) Stereoscopic image pickup and display quality estimation system and method applicable thereto
KR101220223B1 (en) Method and apparatus for visual discomfort metric of stereoscopic video, recordable medium which program for executing method is recorded
TWI491244B (en) Method and apparatus for adjusting 3d depth of an object, and method and apparatus for detecting 3d depth of an object
CN104982032B (en) The method and apparatus of 3D rendering data segmentation
EP3396949A1 (en) Apparatus and method for processing a depth map
KR101291011B1 (en) Apparatus and method for adjusting depth of stereoscopic image, recording medium thereof
KR101660808B1 (en) Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that
KR101850861B1 (en) 3D Display device and method for providing visual fatigue of 3D contents
US20220286658A1 (en) Stereo image generation method and electronic apparatus using the same
KR101150871B1 (en) Method and apparatus for calculating fatigue of stereoscopic image based on horizontal disparity and vertical disparity
CN102487447B (en) The method and apparatus of adjustment object three dimensional depth and the method and apparatus of detection object three dimensional depth

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160719

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee