KR20120074962A - Method and apparatus for generating stereoscopic image in the mobile environment - Google Patents

Method and apparatus for generating stereoscopic image in the mobile environment Download PDF

Info

Publication number
KR20120074962A
KR20120074962A KR1020100136961A KR20100136961A KR20120074962A KR 20120074962 A KR20120074962 A KR 20120074962A KR 1020100136961 A KR1020100136961 A KR 1020100136961A KR 20100136961 A KR20100136961 A KR 20100136961A KR 20120074962 A KR20120074962 A KR 20120074962A
Authority
KR
South Korea
Prior art keywords
depth
value
plane
standard deviation
equation
Prior art date
Application number
KR1020100136961A
Other languages
Korean (ko)
Other versions
KR101175196B1 (en
Inventor
김만배
정다운
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020100136961A priority Critical patent/KR101175196B1/en
Publication of KR20120074962A publication Critical patent/KR20120074962A/en
Application granted granted Critical
Publication of KR101175196B1 publication Critical patent/KR101175196B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A method for generating a 3D image under mobile environments and a device thereof are provided to readjust a depth map and convert the depth map into a depth map suitable for a mobile device with low resolution. CONSTITUTION: A depth map readjusting unit(30) calculates a standard deviation of the generated depth plane. The depth map readjusting unit reduces the range of the standard deviation. The depth map readjusting unit adjusts a depth range of a depth plane in the range of the reduced standard deviation. The depth map readjusting unit calculates a standard deviation of the entire depth map. The depth map readjusting unit obtains a final depth map.

Description

모바일 환경의 입체영상 생성방법 및 장치{METHOD AND APPARATUS FOR GENERATING STEREOSCOPIC IMAGE IN THE MOBILE ENVIRONMENT}Method and apparatus for generating stereoscopic image in mobile environment {METHOD AND APPARATUS FOR GENERATING STEREOSCOPIC IMAGE IN THE MOBILE ENVIRONMENT}

본 발명은 모바일 환경의 입체영상 생성방법 및 장치에 관한 것으로서, 구체적으로는 깊이맵을 재조정하여 해상도가 낮은 모바일 기기에 접합한 깊이맵으로 변환하여 3D 입체감을 향상시킬 수 있도록 한 모바일 환경의 입체영상 생성방법 및 장치에 관한 것이다.
The present invention relates to a method and apparatus for generating a stereoscopic image of a mobile environment. More specifically, a stereoscopic image of a mobile environment in which a depth map is re-adjusted and converted into a depth map bonded to a mobile device having a low resolution can improve 3D stereoscopic feeling. It relates to a production method and apparatus.

일반적으로 입체 영상은 관측자의 좌우 눈에 서로 다른 영상이 입력되어 시청자의 머리속에서 좌우 영상이 합성됨으로써 입체감을 느끼게 된다.In general, a stereoscopic image is inputted to a viewer's left and right eyes so that the left and right images are synthesized in the viewer's head to feel a 3D effect.

입체영상은 시청자에게 3D 깊이감을 제공함으로써 실제 환경과 유사하게 느끼게 하는 것으로, 지금까지는 영화나 3DTV 등의 대형 모니터에 사용하기 위하여 입체영상이 제작되어 왔다. The stereoscopic image is to make the viewer feel similar to the real environment by providing a sense of 3D depth, so far stereoscopic image has been produced for use in large monitors such as movies and 3DTV.

최근 3D 디스플레이가 스마트폰 등의 모바일 기기나 태블릿 PC와 같이 작은 디스플레이 사이즈와 해상도를 가지는 휴대용 기기들에도 적용되어 다양한 형태로 보급되어 보다 많은 관심을 받고 있다. 하지만 모바일 기기와 같이 디스플레이의 크기와 해상도가 작은 영상에서는 대화면 스크린의 영화나 고해상도 영상에서와 같은 3D 입체감을 느끼기 어려운 경우가 종종 발생한다. Recently, 3D displays have been applied to mobile devices such as smartphones and portable devices having a small display size and resolution, such as tablet PCs, and are being spread in various forms and are receiving more attention. However, in the case of a small display such as a mobile device, it is often difficult to feel the 3D stereoscopic feeling as in a large screen movie or a high resolution image.

이는 같은 깊이정보를 가지고 있다 하더라도 디스플레이와 영상의 해상도가 낮은 경우에는 양안시차가 디스플레이와 해상도가 큰 영상보다 상대적으로 작아지기 때문에 유사한 3D 입체감을 느끼기 힘들기 때문이다. 따라서 영상의 해상도나 재생되는 장치의 디스플레이 크기에 따라 각각 다른 입체감이 필요하다. This is because even if they have the same depth information, when the resolution of the display and the image is low, the binocular disparity is relatively smaller than that of the image having the large display and the resolution, so it is difficult to feel a similar 3D stereoscopic feeling. Therefore, different stereoscopic effects are required depending on the resolution of the image and the display size of the device to be reproduced.

사람이 작은 해상도의 3D디스플레이로 시청하게 되면, 높은 해상도와 비교하여, 많은 객체들이 다른 깊이로 복잡하게 구성되면, 입체영상으로 시청할 때에 쉽게 입체를 느끼지 못하고, 눈의 피로감을 느끼게 된다. 따라서 객체들의 깊이범위를 단순화하여 깊이 인식이 보다 수월하게 느껴지게 할 필요성이 있다.
When a person watches a 3D display with a small resolution, compared to a high resolution, when many objects are complicatedly composed at different depths, when a user views a 3D image, the user may not easily feel a 3D image and feel eye fatigue. Therefore, it is necessary to simplify the depth range of the objects to make the depth recognition easier.

본 발명은 상기와 같은 필요성을 감안하여 안출된 것으로, 구체적으로는 깊이맵을 재조정하여 해상도가 낮은 모바일 기기에 접합한 깊이맵으로 변환하여 3D 입체감을 향상시킬 수 있도록 한 모바일 환경의 입체영상 생성방법 및 장치를 제공함에 그 목적이 있다.The present invention has been made in view of the above necessity. Specifically, a method for generating a stereoscopic image of a mobile environment in which a depth map is re-adjusted and converted into a depth map bonded to a low resolution mobile device to improve 3D stereoscopic feeling And to provide a device.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 모바일 환경의 입체영상 생성방법은, 깊이맵(depth map)을 재조정하여 모바일 환경에서 입체감을 향상시키기 위한 모바일 환경의 입체영상 생성방법에 있어서, 깊이맵의 히스토그램을 처리하는 단계; 깊이맵의 히스토그램에 대한 특정개의 깊이 평면(depth plane)을 생성하는 단계; 및 생성된 깊이 평면의 표준편차를 연산하여 표준편차의 범위를 축소시킨 후, 축소된 표준편차의 범위에서 깊이 평면의 깊이범위를 조정하여 전체 깊이맵의 표준 편차를 계산하여 최종 깊이맵을 획득하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of generating a stereoscopic image of a mobile environment, in which a stereoscopic image generating method of a mobile environment is used to improve a three-dimensional effect in a mobile environment by readjusting a depth map. Processing the histogram of the depth map; Creating a particular depth plane for the histogram of the depth map; Calculating a standard deviation of the entire depth map by calculating the standard deviation of the generated depth plane and reducing the range of the standard deviation, and then adjusting the depth range of the depth plane within the reduced standard deviation to obtain the final depth map. Steps.

바람직하게, 상기 히스토그램을 처리하는 단계는, N×M 크기의 깊이맵에서 히스토그램 (histogram) H(i)는 깊이값이 i인 픽셀 개수이며, 아래의 수학식 1을 만족한다. 깊이값이 8 비트(bit)이면, i 값의 범위는 [0, 255]이다. 또한 아래의 수학식 2를 통해 i까지의 히스토그램을 더한 누적 히스토그램(cumulative histogram)을 획득한다.Preferably, the step of processing the histogram, the histogram H (i) in the depth map of size N × M is the number of pixels having a depth value of i, satisfies Equation 1 below. If the depth value is 8 bits, the range of i values is [0, 255]. In addition, a cumulative histogram obtained by adding a histogram up to i is obtained through Equation 2 below.

(수학식 1)(1)

Figure pat00001
Figure pat00001

(수학식 2)(Equation 2)

Figure pat00002
Figure pat00002

여기서, C(255)=N×M이다.Where C (255) = N × M.

바람직하게, 상기 깊이 평면(depth plane)을 생성하는 단계는, 깊이맵의 히스토그램의 노이즈를 제거하기 위해서 최소값 또는 최대값 필터링 중 적어도 하나 이상을 수행하는 저역대역필터링을 수행하여 노이즈를 제거하고, 얻어진 히스토그램에서 깊이 임계값들을 구하고, 이 깊이 임계값들을 이용하여 깊이맵을 특정개의 깊이평면 영역으로 분할한다.Preferably, the generating of the depth plane may include removing the noise by performing low-pass filtering that performs at least one of minimum and maximum filtering to remove noise of the histogram of the depth map. Depth thresholds are obtained from the histogram, and the depth thresholds are used to segment the depth map into specific depth plane regions.

바람직하게, 상기 최소값 필터링은, 히스트그램에서 깊이값이 i 이면, 주변 M개의 깊이값을 포함해서 아래의 수학식 3를 이용하여 (M+1)개의 깊이값에서 최소값을 얻는다.Preferably, in the minimum value filtering, if the depth value is i in the histogram, the minimum value is obtained from the (M + 1) depth values by using Equation 3 below including the surrounding M depth values.

(수학식 3)(Equation 3)

Figure pat00003
Figure pat00003

여기서, HMIN(i)는 현재 깊이값 i와 주변 M개의 깊이값중에서 최소 깊이값을 의미하고, MINi는 (M+1)개의 값중에서 최소값을 선택하는 것을 의미한다.Here, H MIN (i) means the minimum depth value among the current depth value i and the surrounding M depth values, and MINi means selecting the minimum value among the (M + 1) values.

바람직하게, 상기 최대값 필터링은, 아래의 수학식 4를 이용하여 (M+1)개의 깊이값에서 최대값을 얻는다.Preferably, the maximum filtering obtains a maximum value at (M + 1) depth values using Equation 4 below.

(수학식 4)(Equation 4)

Figure pat00004
Figure pat00004

여기서, HMAX(i)는 현재 깊이값 i와 주변 M개의 깊이값중에서 최대 깊이값이고, MAXi는 (M+1)개의 값중에서 최대값을 선택하는 것을 의미한다.Here, H MAX (i) is the maximum depth value among the current depth value i and the surrounding M depth values, and MAXi means selecting the maximum value among the (M + 1) values.

바람직하게, 상기 임계값은, 아래의 수학식 5를 만족하는 깊이값 I값이다. Preferably, the threshold value is a depth value I that satisfies Equation 5 below.

(수학식 5)(5)

Figure pat00005
Figure pat00005

여기서, C는 누적 히스토그램, k＞1인 정수를 의미하고, T는 C(i-k)와 C(i+k)의 차이의 절대값에 대한 임계치를 의미한다.Here, C means an cumulative histogram, an integer with k> 1, and T means a threshold for the absolute value of the difference between C (i-k) and C (i + k).

바람직하게, 상기 깊이 평면(depth plane)을 생성하는 단계는, 상기 수학식 5를 통해 i값이 획득된 후에 (L+1)개의 깊이값 i가 얻어지면, L개의 깊이 평면을 생성하되, 아래의 수학식 6과 같은 l번째 깊이 평면의 깊이 범위 Rl D를 갖는다.Preferably, the generating of the depth plane may include generating L depth planes when (L + 1) depth values i are obtained after i values are obtained through Equation 5 below. Equation 6 has a depth range R l D of the l-th depth plane.

(수학식 6) (6)

Figure pat00006
Figure pat00006

여기서 l은 깊이평면의 번호이고, 최대는 L이다. Dl min은 l번째 깊이평면의 최소 깊이값, Dl max는 l번째 깊이평면의 최대 깊이값을 의미한다. 또한 Dl min은 il-1이 할당되고, Dl max는 il 값이 할당된다. Where l is the number of depth planes and L is the maximum. D l min means the minimum depth value of the lth depth plane, and D l max means the maximum depth value of the lth depth plane. D l min is assigned i l-1 and D l max is assigned i l value.

바람직하게, 상기 최종 깊이맵을 획득하는 단계는, 아래의 수학식 7 및 수학식 8을 이용하여 각 깊이 평면의 표준편차를 연산한다.Preferably, the obtaining of the final depth map calculates the standard deviation of each depth plane by using Equations 7 and 8 below.

(수학식 7)(7)

Figure pat00007
Figure pat00007

(수학식 8)(Equation 8)

Figure pat00008
Figure pat00008

여기서, μl은 l번째 깊이평면의 평균깊이값이고, σl은 l번째 깊이평면의 표준편차 깊이값이고, Rl D는 l번째 깊이 평면의 깊이 범위를 의미한다.Where μ l is the average depth value of the l-th depth plane, σ l is the standard deviation depth value of the l-th depth plane, and R l D is the depth range of the l-th depth plane.

바람직하게, 상기 최종 깊이맵을 획득하는 단계는, 아래의 수학식 9를 이용하여 깊이 평면의 깊이범위를 축소하여 깊이 평면의 깊이범위를 조정한다.Preferably, in the obtaining of the final depth map, the depth range of the depth plane is adjusted by reducing the depth range of the depth plane by using Equation 9 below.

(수학식 9)(Equation 9)

Figure pat00009
Figure pat00009

여기서, El min은 축소된 l번째 깊이 평면의 최소값, El max은 축소된 l번째 깊이 평면의 최대값, Dl min은 l번째 깊이평면의 최소 깊이값, Dl max는 l번째 깊이평면의 최대 깊이값을 의미한다. λ는 1보다 작은 실수이다.Where E l min is the minimum value of the reduced lth depth plane, E l max is the maximum value of the reduced lth depth plane, D l min is the minimum depth value of the lth depth plane, and D l max is the lth depth plane. Means the maximum depth value. λ is a real number less than one.

바람직하게, 상기 최종 깊이맵을 획득하는 단계는, 기준 표준편차를 지정하는 단계를 더 포함하여, 아래의 수학식 10을 이용하여 획득되는 각 깊이 평면의 표준편차 합이 기준 표준편차보다 클때까지 영상 깊이맵의 복잡도를 줄여 깊이범위를 조정한 최종 깊이맵을 획득할 수 있다.Preferably, the obtaining of the final depth map further includes specifying a reference standard deviation, until the sum of the standard deviations of each depth plane obtained using Equation 10 below is greater than the reference standard deviation. By reducing the complexity of the depth map, it is possible to obtain a final depth map with adjusted depth range.

(수학식 10)(Equation 10)

Figure pat00010
Figure pat00010

여기서 σS는 L개의 깊이평면의 표준편차의 합이고, σl은 l번째 깊이평면의 표준편차 깊이값을 의미한다.Where σ S is the sum of the standard deviations of the L depth planes, and σ l is the standard deviation depth value of the lth depth plane.

바람직하게, 상기 최종 깊이맵을 획득하는 단계는, 아래의 수학식 11의 선형 변환식을 이용하여 깊이 평면의 깊이값을 변경하여 깊이범위를 조정한다.Preferably, in the obtaining of the final depth map, the depth range is adjusted by changing the depth value of the depth plane by using the linear transformation of Equation 11 below.

(수학식 11)(Equation 11)

Figure pat00011
Figure pat00011

여기서, El min은 축소된 l번째 깊이 평면의 최소값, El max은 축소된 l번째 깊이 평면의 최대값, Dl min은 l번째 깊이평면의 최소 깊이값,, Dl max는 l번째 깊이평면의 최대 깊이값을 의미한다. 깊이값 D는 새로운 깊이값 E로 조정된다.Where E l min is the minimum value of the reduced lth depth plane, E l max is the maximum value of the reduced lth depth plane, D l min is the minimum depth value of the lth depth plane, and D l max is the lth depth The maximum depth value of the plane. The depth value D is adjusted to the new depth value E.

본 발명의 다른 면에 따른 모바일 환경의 입체영상 생성장치는, 깊이맵을 재조정하여 모바일 환경에서 입체감을 향상시키기 위한 모바일 환경의 입체영상 생성장치에 있어서, 깊이맵의 히스토그램을 처리하는 히스토그램 처리부; 깊이맵의 히스토그램에 대한 특정개의 깊이 평면(depth plane)을 생성하는 깊이 평면 생성부; 및 생성된 깊이 평면의 표준편차를 연산하여 표준편차의 범위를 축소시킨 후, 축소된 표준편차의 범위에서 깊이 평면의 깊이범위를 조정하여 전체 깊이맵의 표준 편차를 계산하여 최종 깊이맵을 획득하는 깊이맵 재조정부를 포함한다.
In accordance with another aspect of the present invention, an apparatus for generating a stereoscopic image of a mobile environment, the apparatus for generating a stereoscopic image of a mobile environment to readjust a depth map to improve stereoscopic feeling in a mobile environment, the apparatus comprising: a histogram processor configured to process a histogram of a depth map; A depth plane generation unit generating a specific depth plane of the histogram of the depth map; Calculating a standard deviation of the entire depth map by calculating the standard deviation of the generated depth plane and reducing the range of the standard deviation, and then adjusting the depth range of the depth plane within the reduced standard deviation to obtain the final depth map. It includes a depth map readjustment unit.

전술한 과제해결 수단에 의해 본 발명은 깊이맵을 재조정하여 해상도가 낮은 모바일 기기에 접합한 깊이맵으로 변환하여 3D 입체감을 향상시킬 수 있는 효과가 있다.
According to the above-described problem solving means, the present invention has the effect of improving the 3D stereoscopic effect by readjusting the depth map and converting it into a depth map bonded to a low resolution mobile device.

도 1은 본 발명의 실시예에 따른 모바일 환경의 입체영상 생성장치의 구성도.
도 2는 깊이맵과 히스토그램을 보인 예시도.
도 3은 본 발명에 따라 깊이 평면의 구분에 대해 설명하기 위한 예시도.
도 4는 도 3에 있어, 구분되는 히스토그램 영역에 대응하는 깊이 평면을 보인 예시도.
도 5 내지 도 7은 본 발명의 실시예에 따른 모바일 환경의 입체영상 생성방법을 보인 흐름도.1 is a block diagram of a three-dimensional image generating apparatus of a mobile environment according to an embodiment of the present invention.
2 is an exemplary view showing a depth map and a histogram.
3 is an exemplary view for explaining the division of the depth plane according to the present invention.
FIG. 4 is an exemplary view showing a depth plane corresponding to a histogram region to be distinguished in FIG. 3. FIG.
5 to 7 is a flow chart showing a three-dimensional image generating method of a mobile environment according to an embodiment of the present invention.

입체영상은 일반적으로 2개의 좌우 카메라 센서로부터 얻은 좌영상과 우영상을 좌안과 우안에 디스플레이하는 방식과, 한 개의 카메라 센서에서 얻은 영상으로부터 깊이맵(depth map)을 구해 2D+Depth 방식으로 좌영상과 우영상을 제작하는 2개의 다른 방식이 있다. In general, stereoscopic images display left and right images obtained from two left and right camera sensors, and a depth map is obtained from images obtained from one camera sensor. There are two different ways of producing right and left images.

전자의 경우에는 제작된 입체영상을 새로 편집하는 것이 불가능하다. 이에, 모바일 환경에서 입체영상을 편집하는 것이 불가능하다.In the former case, it is impossible to newly edit the produced stereoscopic image. Therefore, it is impossible to edit a stereoscopic image in a mobile environment.

따라서, 본 발명에서는 후자의 2D+Depth 방식을 이용하여 깊이맵을 재조정함으로써 모바일 환경에서 입체감을 향상시킬 수 있는 방법을 제안한다.Accordingly, the present invention proposes a method of improving stereoscopic effect in a mobile environment by readjusting the depth map using the latter 2D + Depth method.

하기의 설명에서 본 발명의 모바일 환경의 입체영상 생성방법 및 장치의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.In the following description, specific details of the method and apparatus for generating a stereoscopic image of a mobile environment of the present invention are shown to provide a more general understanding of the present invention, and the present invention can be easily carried out without these specific details and by their modifications. It will be apparent to one of ordinary skill in the art.

하기의 설명에서 임계값은 영상의 객체(object)를 분리(구분)하는 기준이 되는 값(value)을 의미하는 바로 사용할 것이며, 수학적으로 국부최소(local minimum)에 해당된다.In the following description, the threshold value will be used immediately to mean a value that is a reference for separating (dividing) objects of an image, and mathematically corresponds to a local minimum.

이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in detail, focusing on the parts necessary to understand the operation and action according to the present invention.

도 1은 본 발명의 실시예에 따른 모바일 환경의 입체영상 생성 장치의 구성도이다. 1 is a block diagram of an apparatus for generating a stereoscopic image of a mobile environment according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 모바일 환경의 입체영상 생성 장치는 깊이맵의 히스토그램을 처리하는 히스토그램 처리부(10)와, 깊이맵의 히스토그램에 대한 특정개의 깊이 평면(depth plane)을 생성하는 깊이 평면 생성부(20)와, 생성된 깊이 평면의 표준편차를 연산하여 표준편차의 범위를 축소시킨 후, 축소된 표준편차의 범위에서 깊이 평면의 깊이범위를 조정하여 전체 깊이맵의 표준 편차를 계산하여 최종 깊이맵을 획득하는 깊이맵 재조정부(30) 등을 포함하여 구성되는 것으로, 이러한 구성에 대한 상세히 설명하도록 한다.
Referring to FIG. 1, the apparatus for generating a stereoscopic image of a mobile environment according to the present invention includes a histogram processor 10 for processing a histogram of a depth map, and a depth for generating a specific depth plane of a histogram of a depth map. After calculating the standard deviation of the generated depth plane and the plane generator 20 to reduce the range of the standard deviation, the standard deviation of the entire depth map is calculated by adjusting the depth range of the depth plane within the reduced standard deviation. By including a depth map readjuster 30 to obtain a final depth map, such a configuration will be described in detail.

1. 히스토그램 처리부(10)1. Histogram processing unit 10

우선 일반 영상의 히스토그램을 구하듯이, 깊이맵 (Depth map)의 히스토그램을 구한다.First, as in the histogram of the normal image, the histogram of the depth map is obtained.

도 2는 깊이맵과 히스토그램을 보여주는 도면으로서, 히스토그램 H는 N×M 입력영상에서 깊이값이 i인 픽셀의 개수이며, 아래의 수학식 1을 만족한다.FIG. 2 is a diagram illustrating a depth map and a histogram. The histogram H is a number of pixels having a depth value of i in an N × M input image, and satisfies Equation 1 below.

Figure pat00012
Figure pat00012

누적 히스토그램(cumulative histogram)은 i까지의 히스토그램을 더한 값이며 아래의 수학식 2를 통해 구해진다.Cumulative histogram is a sum of histograms up to i and is obtained through Equation 2 below.

Figure pat00013
Figure pat00013

여기서, C(255)= N×M이다.
Where C (255) = N × M.

2. 깊이 평면 생성부(20)2. Depth plane generator 20

첨부된 도 3과 같이 히스토그램을 참조부호 A와 같은 수직선을 통해 영역을 5개로 나누면 도 4와 같은 깊이평면들이 보여지게 된다. 이 영역을 구분하는 깊이 임계치는 수학적으로 국부최소(local minimum)에 해당된다.As shown in FIG. 3, when the histogram is divided into five regions through a vertical line such as the reference A, the depth planes shown in FIG. 4 are shown. The depth threshold that distinguishes this region is mathematically the local minimum.

참고적으로, 도 3의 A, B, C, D, E의 영역은 순서대로 도 4의 (a), (b), (c), (d), (e)에 대응된다.For reference, the regions of A, B, C, D, and E of FIG. 3 correspond to (a), (b), (c), (d), and (e) of FIG. 4 in order.

깊이 평면을 얻은 방법은 다음과 같다.The method of obtaining the depth plane is as follows.

히스토그램에서 특정 깊이값에서 상대적으로 큰 값이 있는 경우가 많기 때문에, 최소값 필터(min filter) 및 최대값 필터(max filter)를 적용한다. 최소값 필터는 아래의 수학식 3과 같이 (M+1)개의 깊이값에서 최소값을 얻는 것이다.Since the histogram often has a relatively large value at a certain depth value, the minimum filter and the maximum filter are applied. The minimum value filter is to obtain minimum values from (M + 1) depth values as shown in Equation 3 below.

Figure pat00014
Figure pat00014

여기서, HMIN(i)는 현재 깊이값 i와 주변 M개의 깊이값중에서 최소 깊이값을 의미하고, MINi는 (M+1)개의 값중에서 최소값을 선택하는 것을 의미한다.
Here, H MIN (i) means the minimum depth value among the current depth value i and the surrounding M depth values, and MINi means selecting the minimum value among the (M + 1) values.

최대값 필터는 아래의 수학식 4와 같이 (M+1)개의 깊이값에서 최대값을 얻는 것이다.The maximum filter is to obtain a maximum value from (M + 1) depth values as shown in Equation 4 below.

Figure pat00015
Figure pat00015

여기서, HMAX(i)는 현재 깊이값 i와 주변 M개의 깊이값중에서 최대 깊이값이고, MAXi는 (M+1)개의 값중에서 최대값을 선택하는 것을 의미한다.
Here, H MAX (i) is the maximum depth value among the current depth value i and the surrounding M depth values, and MAXi means selecting the maximum value among the (M + 1) values.

히스토그램 필터링시, 2개의 필터(최소값 필터와 최대값 필터)를 연속적으로 사용하면 깊이 평면을 얻는데 더욱 효과적이다.In histogram filtering, successive use of two filters (minimum filter and maximum filter) is more effective in obtaining the depth plane.

또한 출력 히스토그램에 M-tap 저역대역필터(low pass filter)를 적용하여 노이즈를 제거하는 것도 가능하다.It is also possible to remove noise by applying an M-tap low pass filter to the output histogram.

이후, 최소값 필터와 최대값 필터를 이용하여 필터링되어 얻어진 출력 히스토그램 데이터 G에서 누적 히스토그램 C는 상기 수학식 2를 이용하여 계산할 수 있다.Thereafter, the cumulative histogram C in the output histogram data G obtained by filtering using the minimum value filter and the maximum value filter may be calculated using Equation 2.

C는 단순 증가 (monotonic increasing) 함수이므로, 출력 히스토그램 데이터 G의 국부최소(local minimum) 값에서는 누적 히스토그램 C의 값이 증가하지 않는 특성이 있다. 따라서 다음과 같은 수학식 5를 만족하는 값들을 국부최소로 결정한다.Since C is a monotonic increasing function, the cumulative histogram C does not increase at the local minimum value of the output histogram data G. Therefore, values satisfying Equation 5 below are determined as local minimums.

Figure pat00016
Figure pat00016

여기서, k＞1인 정수이다.
Here, it is an integer of k> 1.

상기 수학식 5를 만족하는 i값을 구하는데, (L+1) 개의 i가 얻어지면, L개의 깊이 평면이 얻어진다. l번째 깊이 평면의 깊이 범위 RD l는 아래의 수학식 6으로 정의된다.An i value satisfying the above expression (5) is obtained. When (L + 1) i is obtained, L depth planes are obtained. The depth range R D l of the first depth plane is defined by Equation 6 below.

Figure pat00017
Figure pat00017

여기서 히스토그램의 값이 '0'이 아닌 최초 깊이값과 최종 깊이값도 국부최소에 포함된다.
In this case, the first depth value and the final depth value whose non-zero histogram value is not included in the local minimum are also included.

3. 깊이값 조절부(30)3. Depth adjustment unit 30

깊이값 조절부(30)는 아래와 같은 동작을 수행하여 깊이값을 조절한다.The depth value adjusting unit 30 adjusts the depth value by performing the following operation.

입력 깊이맵의 복잡도 값인 표준편차(standard deviation),

Figure pat00018
를 계산한다. Standard deviation, which is the complexity value of the input depth map,
Figure pat00018
.

각 깊이평면의 표준편차를 아래의 수학식 7을 통해 계산한다.The standard deviation of each depth plane is calculated by Equation 7 below.

Figure pat00019
Figure pat00019

여기서, μl은 l번째 깊이평면의 평균깊이값이고, σl은 l번째 깊이평면의 표준편차 깊이값이고, Rl D는 l번째 깊이 평면의 깊이 범위를 의미한다.
Where μ l is the average depth value of the l-th depth plane, σ l is the standard deviation depth value of the l-th depth plane, and R l D is the depth range of the l-th depth plane.

이후, μl로부터 표준편차 σl은 아래의 수학식 8에서 구해진다.Then, the standard deviation σ from μ l l is obtained from the equation (8) below.

Figure pat00020
Figure pat00020

여기서, σl은 l번째 깊이평면의 표준편차 깊이값이고, D(j)는 깊이값을 의미한다.
Here, σ l is the standard deviation depth value of the l-th depth plane, and D (j) means the depth value.

그러면, 입력 표준편차의 합은 아래의 수학식 9에 의해 구해진다.Then, the sum of input standard deviations is obtained by the following equation (9).

Figure pat00021
Figure pat00021

여기서 σS는 L개의 깊이평면의 표준편차의 합이고, σl은 l번째 깊이평면의 표준편차 깊이값을 의미한다.
Where σ S is the sum of the standard deviations of the L depth planes, and σ l is the standard deviation depth value of the lth depth plane.

이후, 사용자가 지정하는 출력 깊이맵의 기준 표준편차 σT를 지정하는데, 원하는 영상 깊이맵의 복잡도를 줄이기 위해서 아래의 수학식 10을 만족해야 한다.Subsequently, the reference standard deviation σ T of the output depth map specified by the user is specified, and the following Equation 10 must be satisfied to reduce the complexity of the desired image depth map.

Figure pat00022
Figure pat00022

여기서, σS는 입력 표준편차의 합을 의미한다.
Where S represents the sum of the input standard deviations.

L 개의 표준편차 σl을 크기값에 따라 크기가 큰 표준편차에서 작은 표준편차로 소팅(sorting)한다. The L standard deviations σ l are sorted from the larger standard deviation to the smaller standard deviation according to the magnitude value.

깊이 평면의 최소, 최대값에 λ를 곱해서 범위를 축소한다. The range is reduced by multiplying the minimum and maximum values of the depth plane by λ.

Figure pat00023
Figure pat00023

여기서, El min은 축소된 l번째 깊이 평면의 최소값, El max은 축소된 l번째 깊이 평면의 최대값, Dl min은 l번째 깊이평면의 최소 깊이값,, Dl max는 l번째 깊이평면의 최대 깊이값을 의미한다. λ는 1보다 작은 실수이다.Where E l min is the minimum value of the reduced lth depth plane, E l max is the maximum value of the reduced lth depth plane, D l min is the minimum depth value of the lth depth plane, and D l max is the lth depth The maximum depth value of the plane. λ is a real number less than one.

상기 수학식 11에 의해 새로운 깊이맵의 범위는 [El min, El max]가 된다.According to Equation 11, the range of the new depth map is [E l min, E l max ].

축소된 값이 얻어지면, 해당 깊이평면의 깊이값 D를 새로운 깊이값 E로 아래의 수학식 12의 선형 변환식을 이용하여 변경한다.When the reduced value is obtained, the depth value D of the corresponding depth plane is changed to the new depth value E using the linear transformation of Equation 12 below.

Figure pat00024
Figure pat00024

여기서, Dl min은 l번째 깊이평면의 최소 깊이값,, Dl max는 l번째 깊이평면의 최대 깊이값을 의미한다. 깊이값 D는 새로운 깊이값 E로 조정된다.Here, D l min means the minimum depth value of the l-th depth plane, and D l max means the maximum depth value of the l-th depth plane. The depth value D is adjusted to the new depth value E.

새로운 깊이맵의 표준 편차 σS를 상기 수학식 9를 이용하여 구한다.The standard deviation σ S of the new depth map is obtained using Equation 9 above.

그러면, 표준편차 σS가 σT보다 크면, 최종 깊이맵이 얻어지고 중단한다.Then, if the standard deviation σ S is greater than σ T , the final depth map is obtained and stops.

그렇지 않고, 표준편차 σS가 σT보다 작으면, l을 1씩 증가시키고 다음 깊이평면을 처리한다.
Otherwise, if the standard deviation σ S is less than σ T , increase l by 1 and process the next depth plane.

도 5 내지 도 7은 본 발명의 실시예에 따른 모바일 환경의 입체영상 생성방법을 보인 흐름도이다.5 to 7 are flowcharts illustrating a three-dimensional image generation method of a mobile environment according to an embodiment of the present invention.

도 5 내지 도 7을 참조하면, 우선 입력 깊이맵으로부터 깊이맵의 히스토그램을 처리한다(S510).5 to 7, first, a histogram of a depth map is processed from an input depth map (S510).

이후, 처리된 히스토그램을 이용하여 L개의 깊이 평면을 생성하고(S520), 생성된 깊이 평면의 깊이값의 범위를 조절한다(S530).Thereafter, L depth planes are generated using the processed histogram (S520), and a range of depth values of the generated depth planes is adjusted (S530).

전술한 과정을 통해 깊이맵을 재조정하여 3D 입체감이 보다 향상된 영상을 모바일 환경에서 서비스할 수 있다.Through the above-described process, the depth map may be readjusted to provide a 3D stereoscopic image in a mobile environment.

상기 520단계(S520) 내지 530단계(S530)를 좀더 상세히 설명하면 다음과 같다.The steps 520 to 530 (S530) will be described in more detail as follows.

520단계(S520)의 상세 단계는 도 6이 되고, 530단계(S530)의 상세 단계는 도 7이 된다.The detailed steps of step 520 (S520) become FIG. 6, and the detailed steps of step 530 (S530) become FIG. 7.

520단계(S520)는 510단계(S510)에서 처리된 히스토그램을 최소값 필터와 최대값 필터를 이용하여 필터링한다(S521~S523). 이에, 특정개(L개)의 깊이 평면을 생성할 수 있게 된다.In operation 520, the histogram processed in operation 510 is filtered using the minimum value filter and the maximum value filter (S521 to S523). Thus, it is possible to create a specific (L) depth plane.

이후, 깊이 평면의 깊이값의 범위를 조절하기 위해 531단계(S531)에서 전술한 상기 수학식 7과 수학식 8을 이용하여 깊이평면 표준 편차를 계산한다.Thereafter, the depth plane standard deviation is calculated by using Equation 7 and Equation 8 described above in step 531 to adjust the range of the depth value of the depth plane.

이후, 533단계(S533)에서 입력편차의 합 σS를 계산하고, S535단계(S535)에서 출력 깊이맵의 기준 표준편차 σT를 설정한다.Thereafter, the sum σ S of the input deviations is calculated in step S 533, and the reference standard deviation σ T of the output depth map is set in step S 535.

다음, 537단계(S537)에서 L개의 표준 편차 σS l를 크기값에 따라 크기가 큰 표준편차에서 작은 표준편차 순으로 소팅한다.Next, in step 537 (S537), the L standard deviations σ S l are sorted from the larger standard deviation to the smaller standard deviation according to the magnitude value.

이후, 539단계(S539)에서 l=0, λ=0.1로 설정하고, 541단계(S541)에서 깊이 평면의 깊이범위를 조정한다. 이때, 깊이범위를 조정하기 위해 깊이 평면의 최소, 최대값에 (1+λ), (1-λ)를 각각 곱해서 범위를 축소시키며, 이에 대한 수학식은 전술한 상기 수학식 11을 이용한다.Thereafter, in step 539 (S539), l = 0 and λ = 0.1 are set, and in step 541 (S541), the depth range of the depth plane is adjusted. In this case, in order to adjust the depth range, the range is reduced by multiplying the minimum and maximum values of the depth plane by (1 + λ) and (1-λ), respectively, and the above-described equation (11) is used.

상기 수학식 11을 이용하여 깊이 평면의 깊이범위가 획득되면, 543단계(S543)에서 상기 수학식 12를 이용하여 새로운 깊이값 E를 계산하여 전체 깊이맵의 표준편차 σS를 상기 수학식 9를 이용하여 계산한다.When the depth range of the depth plane is obtained using Equation 11, a new depth value E is calculated using Equation 12 in step 543 (S543), and the standard deviation σ S of the entire depth map is expressed by Equation 9 above. Calculate using

그러면 545단계(S545)에서 깊이범위가 조정된 새로운 깊이맵의 표준편차σS와 설정된 기준 표준편차 σT의 대소를 비교한다.Then, in step 545 (S545), the magnitude of the standard deviation σ S of the new depth map whose depth range is adjusted is compared with the magnitude of the set reference standard deviation σ T.

비교결과, 새로운 깊이맵의 표준편차σS가 기준 표준편차σT보다 크면, 최종 깊이맵이 얻어진다.As a result of the comparison, if the standard deviation σ S of the new depth map is larger than the reference standard deviation σ T , the final depth map is obtained.

그러나, 비교결과 새로운 깊이맵의 표준편차σS가 기준 표준편차σT보다 작으면, 547단계(S547) 내지 549단계(S547)를 통해 l을 1씩 증가시키고 다음 깊이 평면을 처리하여 깊이범위를 조정하는 541단계 내지 543단계를 새로운 깊이맵의 표준편차σS가 기준 표준편차σT보다 클때까지 반복수행하여 최종 깊이맵을 획득한다.However, as a result of the comparison, if the standard deviation σ S of the new depth map is smaller than the standard standard deviation σ T , the depth range is increased by increasing 1 by 1 and processing the next depth plane in steps 547 (S547) to 549 (S547). Steps 541 to 543 to be adjusted are repeated until the standard deviation σ S of the new depth map is greater than the reference standard deviation σ T to obtain a final depth map.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but is capable of various modifications within the scope of the invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the scope of the following claims, but also by the equivalents of the claims.

Claims (12)

깊이맵(depth map)을 재조정하여 모바일 환경에서 입체감을 향상시키기 위한 모바일 환경의 입체영상 생성방법에 있어서,
깊이맵의 히스토그램을 처리하는 단계;
깊이맵의 히스토그램에 대한 특정개의 깊이 평면(depth plane)을 생성하는 단계; 및
생성된 깊이 평면의 표준편차를 연산하여 표준편차의 범위를 축소시킨 후, 축소된 표준편차의 범위에서 깊이 평면의 깊이범위를 조정하여 전체 깊이맵의 표준 편차를 계산하여 최종 깊이맵을 획득하는 단계를 포함하는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
In the stereoscopic image generation method of the mobile environment for re-adjusting the depth map (depth map) to improve the three-dimensional effect in the mobile environment,
Processing the histogram of the depth map;
Creating a particular depth plane for the histogram of the depth map; And
Calculating the standard deviation of the entire depth map by calculating the standard deviation of the generated depth plane, reducing the range of the standard deviation, and then adjusting the depth range of the depth plane within the reduced standard deviation to obtain the final depth map. Stereoscopic image generation method of a mobile environment comprising a.
제1 항에 있어서, 상기 히스토그램을 처리하는 단계는,
N×M 크기의 깊이맵에서 히스토그램 H(i)는 깊이값이 I인 픽셀 개수이며, 아래의 수학식 1을 만족하고, 아래의 수학식 2를 통해 i까지의 히스토그램을 더한 누적 히스토그램을 획득하는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 1)
Figure pat00025

(수학식 2)
Figure pat00026

여기서, C(255)=N×M임.
The method of claim 1, wherein processing the histogram comprises:
In the depth map of size N × M, the histogram H (i) is the number of pixels having a depth value of I, which satisfies Equation 1 below, and obtains a cumulative histogram obtained by adding the histogram up to i through Equation 2 below. Stereoscopic image generation method characterized in that the mobile environment.
(Equation 1)
Figure pat00025

(2)
Figure pat00026

Where C (255) = N × M.
제1 항에 있어서, 상기 깊이 평면(depth plane)을 생성하는 단계는,
임계값을 이용하여 깊이 평면을 특정개의 영역으로 나누고, 나뉘어진 특정개의 영역별로 최소값 또는 최대값 필터링 중 적어도 하나 이상을 수행한 후, 저역대역필터링을 수행하여 노이즈를 제거하고, 얻어진 히스토그램에서 깊이 임계값을 구하고, 임계값을 이용하여 깊이맵을 특정개의 깊이 평면 영역으로 분할하는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
The method of claim 1, wherein generating the depth plane comprises:
Divide the depth plane into specific regions using thresholds, perform at least one or more of minimum or maximum filtering for each divided region, then perform low-pass filtering to remove noise, and use the depth threshold in the obtained histogram. Obtaining a value and dividing the depth map into specific depth plane regions by using a threshold value.
제3 항에 있어서, 상기 임계값은,
아래의 수학식 3을 만족하는 픽셀 i값인 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 3)
Figure pat00027

여기서, C는 누적 히스토그램, k＞1인 정수를 의마하고, T는 C(i-k)와 C(i+k)의 차이의 절대값에 대한 임계치를 의미함.
The method of claim 3, wherein the threshold value,
3. The stereoscopic image generation method of claim 1, wherein the pixel i value satisfies Equation 3 below.
(3)
Figure pat00027

Here, C means a cumulative histogram, an integer with k> 1, and T means a threshold for the absolute value of the difference between C (ik) and C (i + k).
제4 항에 있어서, 상기 깊이 평면(depth plane)을 생성하는 단계는,
상기 수학식 3을 통해 i값이 획득된 후에 (L+1)개의 깊이값 i가 얻어지면, L개의 깊이 평면을 생성하되, 아래의 수학식 4와 같은 l번째 깊이 평면의 깊이 범위 Rl D를 갖는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 4)
Figure pat00028

여기서 l은 깊이평면의 번호이고, 최대는 L이다. Dl min은 l번째 깊이평면의 최소 깊이값, Dl max는 l번째 깊이평면의 최대 깊이값을 의미함.
The method of claim 4, wherein generating the depth plane comprises:
When (L + 1) depth values i are obtained after i values are obtained through Equation 3, L depth planes are generated, but the depth range R l D of the l-th depth plane as shown in Equation 4 below. Stereoscopic image generation method characterized in that having a mobile environment.
(4)
Figure pat00028

Where l is the number of depth planes and L is the maximum. D l min means the minimum depth value of the lth depth plane, and D l max means the maximum depth value of the lth depth plane.
제3 항에 있어서, 상기 최소값 필터링은,
히스트그램에서 깊이값이 i 이면, 주변 M개의 깊이값을 포함해서 아래의 수학식 5를 이용하여 (M+1)개의 깊이값에서 최소값을 얻는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 5)
Figure pat00029

여기서, HMIN(i)는 현재 깊이값 i와 주변 M개의 깊이값중에서 최소 깊이값을 의미하고, MINi는 (M+1)개의 값중에서 최소값을 선택하는 것을 의미함.
The method of claim 3, wherein the minimum value filtering,
When the depth value is i in the histogram, a method of generating a stereoscopic image in a mobile environment, comprising obtaining the minimum value from (M + 1) depth values using Equation 5 below including the M depth values.
(5)
Figure pat00029

Here, H MIN (i) means the minimum depth value among the current depth value i and the surrounding M depth values, and MINi means to select the minimum value among (M + 1) values.
제3 항에 있어서, 상기 최대값 필터링은,
아래의 수학식 6을 이용하여 M+1개의 깊이값에서 최대값을 얻는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 6)
Figure pat00030

여기서, HMAX(i)는 현재 깊이값 i와 주변 M개의 깊이값중에서 최대 깊이값이고, MAXi는 (M+1)개의 값중에서 최대값을 선택하는 것을 의미함.
The method of claim 3, wherein the maximum value filtering,
Method of generating a stereoscopic image in a mobile environment, characterized in that by using the following equation (6) to obtain a maximum value from the depth of M +1.
(6)
Figure pat00030

Here, H MAX (i) is the maximum depth value among the current depth value i and the surrounding M depth values, and MAXi means selecting the maximum value among the (M + 1) values.
제1 항에 있어서, 상기 최종 깊이맵을 획득하는 단계는,
아래의 수학식 7 및 수학식 8을 이용하여 각 깊이 평면의 표준편차를 연산하는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 7)
Figure pat00031

(수학식 8)
Figure pat00032

여기서, μl은 l번째 깊이평면의 평균깊이값이고, σl은 l번째 깊이평면의 표준편차 깊이값이고, Rl D는 l번째 깊이 평면의 깊이 범위를 의미함.
The method of claim 1, wherein the obtaining of the final depth map comprises:
Method for generating a stereoscopic image of a mobile environment, characterized in that by calculating the standard deviation of each depth plane using the following equation (7) and (8).
(Equation 7)
Figure pat00031

(Equation 8)
Figure pat00032

Where μ l is the average depth value of the lth depth plane, σ l is the standard deviation depth value of the lth depth plane, and R l D is the depth range of the lth depth plane.
제1 항에 있어서, 상기 최종 깊이맵을 획득하는 단계는,
아래의 수학식 9를 이용하여 깊이 평면의 깊이범위를 축소하여 깊이 평면의 깊이범위를 조정하는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 9)
Figure pat00033

여기서, El min은 축소된 l번째 깊이 평면의 최소값, El max은 축소된 l번째 깊이 평면의 최대값, Dl min은 l번째 깊이평면의 최소 깊이값, Dl max는 l번째 깊이평면의 최대 깊이값을 의미한다. λ는 1보다 작은 실수를 의미함.
The method of claim 1, wherein the obtaining of the final depth map comprises:
Using the following equation 9 to reduce the depth range of the depth plane to generate a stereoscopic image of a mobile environment, characterized in that for adjusting the depth range of the depth plane.
(9)
Figure pat00033

Where E l min is the minimum value of the reduced lth depth plane, E l max is the maximum value of the reduced lth depth plane, D l min is the minimum depth value of the lth depth plane, and D l max is the lth depth plane. Means the maximum depth value. λ means real number less than 1.
제1 항에 있어서, 상기 최종 깊이맵을 획득하는 단계는,
기준 표준편차를 지정하는 단계를 더 포함하여, 아래의 수학식 10을 이용하여 획득되는 각 깊이 평면의 표준편차 합이 기준 표준편차보다 클때까지 영상 깊이맵의 복잡도를 줄여 깊이범위를 조정한 최종 깊이맵을 획득할 수 있는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 10)
Figure pat00034

여기서 σS는 L개의 깊이평면의 표준편차의 합이고, σl은 l번째 깊이평면의 표준편차 깊이값을 의미함.
The method of claim 1, wherein the obtaining of the final depth map comprises:
Further including specifying a reference standard deviation, and adjusting the depth range by reducing the complexity of the image depth map until the sum of the standard deviations of each depth plane obtained using Equation 10 below is greater than the reference standard deviation. 3D image generating method of a mobile environment, characterized in that to obtain a map.
(Equation 10)
Figure pat00034

Where σ S is the sum of the standard deviations of the L depth planes, and σ l is the standard deviation depth value of the lth depth plane.
제10 항에 있어서, 상기 최종 깊이맵을 획득하는 단계는,
아래의 수학식 11의 선형 변환식을 이용하여 깊이 평면의 깊이값을 변경하여 깊이범위를 조정하는 것을 특징으로 하는 모바일 환경의 입체영상 생성방법.
(수학식 11)
Figure pat00035

여기서, El min은 축소된 l번째 깊이 평면의 최소값, El max은 축소된 l번째 깊이 평면의 최대값, Dl min은 l번째 깊이평면의 최소 깊이값,, Dl max는 l번째 깊이평면의 최대 깊이값을 의미하며, 깊이값 D는 새로운 깊이값 E로 조정되는 것을 의미함.
The method of claim 10, wherein obtaining the final depth map comprises:
The method of generating a stereoscopic image in a mobile environment, wherein the depth range is adjusted by changing a depth value of a depth plane by using the linear transformation of Equation 11 below.
(Equation 11)
Figure pat00035

Where E l min is the minimum value of the reduced lth depth plane, E l max is the maximum value of the reduced lth depth plane, D l min is the minimum depth value of the lth depth plane, and D l max is the lth depth It means the maximum depth value of the plane, and the depth value D means the adjustment to the new depth value E.
깊이맵을 재조정하여 모바일 환경에서 입체감을 향상시키기 위한 모바일 환경의 입체영상 생성장치에 있어서,
깊이맵의 히스토그램을 처리하는 히스토그램 처리부;
깊이맵의 히스토그램에 대한 특정개의 깊이 평면(depth plane)을 생성하는 깊이 평면 생성부; 및
생성된 깊이 평면의 표준편차를 연산하여 표준편차의 범위를 축소시킨 후, 축소된 표준편차의 범위에서 깊이 평면의 깊이범위를 조정하여 전체 깊이맵의 표준 편차를 계산하여 최종 깊이맵을 획득하는 깊이맵 재조정부를 포함하는 것을 특징으로 하는 모바일 환경의 입체영상 생성장치.
In the three-dimensional image generating apparatus of the mobile environment to readjust the depth map to improve the three-dimensional effect in the mobile environment,
A histogram processor for processing a histogram of the depth map;
A depth plane generation unit generating a specific depth plane of the histogram of the depth map; And
After calculating the standard deviation of the created depth plane to reduce the range of standard deviation, adjust the depth range of the depth plane in the reduced standard deviation range to calculate the standard deviation of the entire depth map to obtain the final depth map. 3D image generating apparatus of a mobile environment, characterized in that it comprises a map readjustment unit.
KR1020100136961A 2010-12-28 2010-12-28 Method and apparatus for generating stereoscopic image in the mobile environment KR101175196B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100136961A KR101175196B1 (en) 2010-12-28 2010-12-28 Method and apparatus for generating stereoscopic image in the mobile environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100136961A KR101175196B1 (en) 2010-12-28 2010-12-28 Method and apparatus for generating stereoscopic image in the mobile environment

Publications (2)

Publication Number Publication Date
KR20120074962A true KR20120074962A (en) 2012-07-06
KR101175196B1 KR101175196B1 (en) 2012-08-20

Family

ID=46709016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100136961A KR101175196B1 (en) 2010-12-28 2010-12-28 Method and apparatus for generating stereoscopic image in the mobile environment

Country Status (1)

Country Link
KR (1) KR101175196B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064090A (en) * 2012-11-19 2014-05-28 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same
KR20160148577A (en) * 2015-05-11 2016-12-26 보에 테크놀로지 그룹 컴퍼니 리미티드 Method and apparatus for processing a depth image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214790A1 (en) * 2022-05-04 2023-11-09 한화비전 주식회사 Apparatus and method for image analysis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064090A (en) * 2012-11-19 2014-05-28 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same
KR20160148577A (en) * 2015-05-11 2016-12-26 보에 테크놀로지 그룹 컴퍼니 리미티드 Method and apparatus for processing a depth image

Also Published As

Publication number Publication date
KR101175196B1 (en) 2012-08-20

Similar Documents

Publication Publication Date Title
KR101656887B1 (en) Image processing apparatus, image processing method and computer readable recording medium storing program
US8638329B2 (en) Auto-stereoscopic interpolation
KR101803474B1 (en) Device for generating multi-view immersive contents and method thereof
JP5068391B2 (en) Image processing device
US9729845B2 (en) Stereoscopic view synthesis method and apparatus using the same
CN106504190B (en) A kind of three-dimensional video-frequency generation method based on 3D convolutional neural networks
US8977039B2 (en) Pulling keys from color segmented images
KR101198320B1 (en) Method and apparatus for converting 2d image into 3d image
JP2013005259A (en) Image processing apparatus, image processing method, and program
WO2012101719A1 (en) Three-dimensional imaging device and three-dimensional imaging method
JP2010136371A (en) Apparatus and method for estimating depth, and apparatus and method for stereoscopic (3d) video conversion
JP2011250059A (en) Image processing device, image display device and image pickup device
JP2011523323A (en) Video conversion method and apparatus
US20100246938A1 (en) Image Processing Method for Providing Depth Information and Image Processing System Using the Same
KR101175196B1 (en) Method and apparatus for generating stereoscopic image in the mobile environment
JP5521608B2 (en) Image processing apparatus, image processing method, and program
KR20080047673A (en) Apparatus for transforming 3d image and the method therefor
Lu et al. Foreground-object-protected depth map smoothing for DIBR
US20140079313A1 (en) Method and apparatus for adjusting image depth
KR101451236B1 (en) Method for converting three dimensional image and apparatus thereof
KR101633634B1 (en) Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas
KR101581586B1 (en) Compensation method for noise of depth image
KR101379879B1 (en) Convert method a three-dimensional image and converting method of thereof
KR20140098950A (en) Apparatus and Method for Creating 3-dimensional Video
US20160165207A1 (en) Electronic device, method, and computer program product

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170706

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 7