KR20160077550A - Multiple depth extraction method in integral imaging display - Google Patents

Multiple depth extraction method in integral imaging display Download PDF

Info

Publication number
KR20160077550A
KR20160077550A KR1020140187556A KR20140187556A KR20160077550A KR 20160077550 A KR20160077550 A KR 20160077550A KR 1020140187556 A KR1020140187556 A KR 1020140187556A KR 20140187556 A KR20140187556 A KR 20140187556A KR 20160077550 A KR20160077550 A KR 20160077550A
Authority
KR
South Korea
Prior art keywords
image
depth
lens
depth information
extracting
Prior art date
Application number
KR1020140187556A
Other languages
Korean (ko)
Other versions
KR101657373B1 (en
Inventor
김은수
장재영
조명진
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020140187556A priority Critical patent/KR101657373B1/en
Publication of KR20160077550A publication Critical patent/KR20160077550A/en
Application granted granted Critical
Publication of KR101657373B1 publication Critical patent/KR101657373B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

The present invention relates to a method for extracting multi-depth information from an integral imaging display. When multi-depth information for an object space is extracted from an integral imaging-based element image, a light ray which starts from a point object, passes through a lens arrangement, and finally passes through an optical center of a lens of an element image pickup device is represented as the following equation. Accordingly, the method for extracting multi-depth information from an integral imaging display according to the present invention can control a depth extraction range as desired, thereby enabling not only an element image corresponding to a single depth plane but also an element image corresponding to multiple depth planes to be extracted. Furthermore, there is an effect in which a comprehensive method for extraction of an element image corresponding to a depth can be provided.

Description

집적 영상 디스플레이에서 다중 깊이 정보 추출 방법{Multiple depth extraction method in integral imaging display}[0001] The present invention relates to a method of extracting multiple depth information from an integrated image display,

본 발명은 파동광학적 분석을 통하여 다양한 깊이 영역에 대한 요소영상추출 이론(Multi-CPPF)을 유도 하는 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에 관한 것이다.The present invention relates to a method for extracting multi-depth information in an integrated image display that induces elementary image extraction theory (Multi-CPPF) for various depth regions through wave optical analysis.

최근 3차원 영상과 영상 재생기술에 관한 연구들이 활발히 이뤄지고 전 세계적으로 많은 관심을 얻고 있다.Recently, researches on 3-D image and image reproduction technology have been actively conducted and attracted much attention worldwide.

영상기술이 첨단화되고 고도의 기술집적이 이루어지고 있다.The video technology is becoming advanced and the high technology integration is being done.

이에 따라 3차원 영상은 2차원 영상보다 실감 있고 자연스러우며 보다 인간에 가까워 3차원 영상에 대한 수요가 증가하고 있다.Accordingly, the 3D image is more realistic and natural than the 2D image, and is closer to the human, so that the demand for the 3D image is increasing.

3차원 영상 재생 기술은 관측자에게 평면 이미지가 아니라 입체감 있고 실감 있는 3차원 입체 영상을 느낄 수 있도록 입체로 표시하는 기술을 말한다.3D image reproduction technology refers to a technique of displaying stereoscopic images so that stereoscopic three-dimensional images can be sensed, not stereoscopic images, to viewers.

현재 3차원 입체영상을 재생하기 위한 방법에는 스테레오스코피(stereoscopy), 홀로그래피 (holography), 집적 영상(integral imaging)기법 등 여러 가지 기술이 연구 개발되고 있다.Currently, various techniques such as stereoscopy, holography, and integral imaging techniques are being researched and developed for a method for reproducing three-dimensional stereoscopic images.

이들 기술 중에서 집적 영상방식은 리프만(Lippmann)에 의해 1908년에 처음 제안되었다. 그 후, 집적 영상방식은 차세대 3차원 영상 재생 기술로 연구되어 왔다.Of these technologies, the integrated imaging method was first proposed in 1908 by Lippmann. Since then, the integrated image method has been studied as a next generation three-dimensional image reproduction technology.

이러한 3차원 집적 영상표시방법의 종래문헌으로는 등록특허 제0891160호에 요소 영상 압축 장치가 영역 분할 기법을 적용하여 요소 영상을 압축하는 방법에 있어서, (a) 3차원 객체로부터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소 영상을 획득하는 단계; (b) 상기 획득된 요소 영상을 유사 상관도에 따라 복수의 유사한 영상을 가진 유사 영역으로 분할하는 단계; (c) 상기 각각의 유사 영역에 포함된 영상을 1차원 요소 영상 배열로 재배열하는 단계; 및 (d) 상기 재배열되어 생성된 1차원 요소 영상 배열을 압축하는 단계를 포함하는 영역 분할 기법을 이용한 요소 영상 압축 방법이 기재되어 있다.As a conventional art of such a three-dimensional integrated image display method, a method of compressing an elemental image by applying an area segmentation technique to an elemental image compression apparatus in Japanese Patent No. 0891160 includes the steps of: (a) Acquiring an elemental image having another time difference; (b) dividing the acquired elemental image into similar regions having a plurality of similar images according to a similar degree of correlation; (c) rearranging the images included in each of the similar regions into one-dimensional element image arrays; And (d) compressing the one-dimensional element image array generated by the rearrangement.

또 다른 종래문헌의 실시 예로는 등록특허 제0942271호에 렌즈 어레이를 통해 픽업한 요소 영상을 이용하여 집적 영상을 복원하는 방법에 있어서, 상기 요소 영상을 미리 지정된 크기로 확대하고, 상기 확대된 각 요소 영상의 동일 좌표에 위치하는 픽셀을 합하여 복원 영상을 생성하는 단계; 상기 각 복원 영상의 블러 메트릭 값을 측정하는 단계; 초점 거리에 따른 상기 블러 메트릭 값의 변곡점에 상응하는 복원 영상을 포커스 영상으로 선정하는 단계; 상기 포커스 영상의 각 픽셀값에서 상응하는 침식 마스크의 각 픽셀값을 빼는 침식 연산을 통해 침식 영상을 생성하는 단계; 및 상기 복원 영상에 상기 침식 영상을 매핑하는 단계를 포함하는 집적 영상 복원 방법이 기재되어 있다.In another example of the prior art document, a method of restoring an integrated image using an elemental image picked up through a lens array is disclosed in Korean Patent No. 0942271, the elemental image is enlarged to a predetermined size, Generating a reconstructed image by summing pixels located at the same coordinates of the image; Measuring a blur metric value of each reconstructed image; Selecting a restored image corresponding to an inflection point of the blur metric value according to a focal distance as a focus image; Generating an eroded image through an erosion operation of subtracting each pixel value of a corresponding erosion mask from each pixel value of the focus image; And mapping the eroded image to the reconstructed image.

도 1은 집적 영상방식의 기본원리를 나타내 개요도이다.1 is a schematic diagram showing a basic principle of an integrated image method.

기본적으로 3차원 물체(110)를 3차원 영상(210)으로 재생하는 원리는 3차원 물체(110)가 렌즈배열(120)을 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와 영상획득단계(100)에 의해 수집된 요소영상(100)을 다시 렌즈배열(220)을 통해 공간상에 3차원 영상(210)로 재생하는 영상재생단계(200)로 구성된다.Basically, the principle of reproducing a three-dimensional object 110 as a three-dimensional image 210 includes an image acquisition step 100 for acquiring an elemental image 130 by allowing a three-dimensional object 110 to look through a lens array 120, And an image reproducing step 200 for reproducing the element image 100 collected by the image acquiring step 100 by using the lens array 220 as a three-dimensional image 210 on the space.

즉, 집적 영상 기술은 도 1에서와 같이 크게 영상획득단계(100)와 영상재생단계(200)로 나누어진다.That is, the integrated image technology is roughly divided into an image acquisition step 100 and an image reproduction step 200 as shown in FIG.

영상획득단계(100)는 이미지 센서와 같은 2차원 감지기와 렌즈배열(120)로 구성되며, 이때 3차원 물체(110)는 렌즈배열(120) 앞에 위치한다.The image acquisition step 100 includes a two-dimensional sensor such as an image sensor and a lens array 120, wherein the three-dimensional object 110 is positioned in front of the lens array 120.

그러면 3차원 물체(110)의 다양한 영상정보들이 렌즈배열(120)을 통과한 후 2차원 감지기에 저장된다.Then, various image information of the three-dimensional object 110 passes through the lens array 120 and is stored in the two-dimensional sensor.

이때 저장된 영상은 요소 영상(130)으로서 3차원 영상(210)의 재생을 위해 이용된다.At this time, the stored image is used as an element image 130 for reproducing the three-dimensional image 210. [

이후 집적 영상기술의 영상재생단계(200)는 영상획득단계(100)의 역 과정으로, 액정 표시 장치와 같은 영상재생장치와 렌즈 배열(220)로 구성된다.The image reproduction step 200 of the integrated image technology is an inverse process of the image acquisition step 100 and comprises an image reproduction device such as a liquid crystal display device and a lens array 220.

여기서, 영상획득단계(200)에서 얻은 요소 영상(230)은 영상재생장치에 표시되고, 요소 영상(230)의 영상정보는 렌즈 배열(220)을 통과하여 공간상에 3차원 영상(210)으로 재생되게 된다.The elemental image 230 obtained in the image acquiring step 200 is displayed on the image reproducing apparatus and the image information of the elemental image 230 passes through the lens array 220 to form a three- And is reproduced.

실질적으로 영상획득단계(100)의 요소 영상(130)과 영상재생단계(200)의 요소 영상(230)은 실질적으로 동일한 것으로 단지, 영상재생단계(200)의 요소 영상(230)은 영상획득단계(100)에서 획득한 요소 영상(120)을 2차원 감지기에 저장되어 3차원 영상을 재생하기 위해 사용하는 것으로서 편의상 영상획득단계(100)와 영상재생단계(200)를 구분하기 위하여 다른 도면부호로 도시하였다.The element image 130 of the image acquisition step 100 and the element image 230 of the image reproduction step 200 are substantially the same and only the element image 230 of the image reproduction step 200 is obtained The element image 120 acquired by the image sensor 100 is stored in a two-dimensional sensor and is used to reproduce a three-dimensional image. In order to easily distinguish the image acquisition step 100 from the image reproduction step 200, Respectively.

집적 영상방식은 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점이 있다.The integrated imaging method has the advantage of providing a full parallax and a continuous observation point like the holographic method.

집적 영상방식의 주요한 특징은 입체 영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수직, 수평 시차를 제공할 수 있다는 것이다.The main feature of the integrated imaging system is that it does not require glasses or other tools to observe stereoscopic images and can provide continuous vertical and horizontal parallax within a constant viewing angle, not a viewpoint.

또한, 집적 영상방식은 총 천연색 실시간 영상재생이 가능하며, 기존의 평면 영상 장치와 호환성이 뛰어나다.In addition, the integrated image method can reproduce full-color real-time image and is compatible with conventional planar imaging devices.

도 2는 깊이 우선 집적 영상방식을 나타낸 개요도이고, 도 3은 해상도 우선 집적 영상방식을 나타낸 개요도이다.FIG. 2 is a schematic diagram showing a depth priority integrated image method, and FIG. 3 is a schematic diagram showing a resolution priority integrated image method.

이러한 집적 영상 방식은 렌즈 배열(220)과 요소 영상표시장치 사이의 거리(g)에 따라서 2종류로 구분할 수 있다.Such an integrated imaging method can be classified into two types according to the distance (g) between the lens array 220 and the elementary image display device.

즉 거리 g가 렌즈 배열(220)의 기초렌즈의 초점거리 (f)와 동일한 경우와 그렇지 않은 경우로 나눌 수 있다.That is, the case where the distance g is equal to or different from the focal length f of the base lens of the lens array 220.

g=f인 경우는 도 2(a)와 같이 요소 영상(230)의 한 픽셀이 렌즈를 통하여 평행빔이 되어서 집적 빔이 만들어지게 된다.When g = f, one pixel of the element image 230 becomes a parallel beam through the lens as shown in FIG. 2A, and an integrated beam is produced.

이 경우를 깊이 우선 집적 영상 방식이라 부르며, 3차원 영상을 표시하는 깊이 영역을 최대로 만들 수 있지만 3차원 영상(210)의 해상도가 낮은 단점이 있다.This case is referred to as a depth-first integrated imaging method. Although the depth region for displaying a three-dimensional image can be maximized, the resolution of the three-dimensional image 210 is low.

이에 반해서 g가 f와 동일하지 않은 경우는 해상도 우선 집적 영상방식이라 부르며, 요소 영상(230)의 한 픽셀이 렌즈를 통하여 수렴빔이 되어서 집적 빔이 만들어지며, 이 경우에 3차원 영상(210)의 해상도를 증가시킬 수 있지만 깊이 영역이 급격히 줄어든다.On the other hand, when g is not equal to f, a resolution prioritized imaging method is used. One pixel of the element image 230 becomes a convergent beam through the lens to produce an integrated beam. In this case, But the depth region is sharply reduced.

그러나 종래의 집적 영상 디스플레이 시스템에서는 단일 깊이 정보에 대한 요소영상만을 추출가능하다는 단점이 있었다.However, the conventional integrated image display system has a disadvantage in that it can extract only the element image for single depth information.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 파동광학적 분석을 통하여 다양한 깊이 영역에 대한 요소영상을 추출할 수 있는 방법을 제시하는 데 그 목적이 있다.It is an object of the present invention to provide a method of extracting element images of various depth regions through wave optical analysis.

본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법은 집적영상 기반의 요소영상으로부터 물체공간에 대한 다중 깊이 정보를 추출할 때, 점 물체(Point object)로부터 시작하여 렌즈배열을 통과한 후 최종적으로 요소영상 획득 장치(Pickup device)의 렌즈의 광학적 중심점을 지나는 광선은In the method of extracting multi-depth information in the integrated image display of the present invention, when extracting multi-depth information about an object space from an elementary image based on an integrated image, it is necessary to pass through a lens array starting from a point object, The ray passing through the optical center of the lens of the pickup device

Figure pat00001
Figure pat00001

으로 표현되는 것이 특징이다..

따라서, 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에 의하면 깊이 추출 범위가 자유롭게 조정 가능함으로 단일 깊이면 뿐만 아니라 다중 깊이면에 대응하는 요소영상 추출이 가능하며, 또한, 깊이 대응 요소영상 추출에 대한 포괄적인 방법을 제공할 수 있다는 등의 현저한 효과가 있다.Therefore, according to the multi-depth information extraction method in the integrated image display of the present invention, it is possible to freely adjust the depth extraction range, so that it is possible to extract element images corresponding to multiple depth surfaces as well as single depth surfaces, And a comprehensive method can be provided.

도 1은 집적 영상방식의 기본원리를 나타내 개요도.
도 2는 깊이 우선 집적 영상방식을 나타낸 개요도.
도 3은 해상도 우선 집적 영상방식을 나타낸 개요도.
도 4는 점 물체와 렌즈배열 그리고 획득 장치 사이의 기하학적 관계를 나타낸 좌표계.
도 5는 실험을 위해 획득한 요소영상배열과 요소영상의 일부분을 확대한 이미지.
도 6은 요소영상 획득 시스템의 깊이해상도를 나타낸 그래프.
도 7은 종래의 단일 깊이에 대한 깊이 대응 요소영상 추출결과를 나타낸 필터링 영역과 필터링된 요소영상을 나타낸 이미지.
도 8은 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에 따른 요소영상 추출결과를 나타낸 필터링 영역과 필터링된 요소영상을 나타낸 이미지.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram showing the basic principle of an integrated image system.
2 is an outline view showing a depth-first integrated image method.
FIG. 3 is a schematic diagram showing a resolution prioritizing integrated image method; FIG.
Figure 4 is a coordinate system showing the geometric relationship between the point object, the lens arrangement and the acquisition device.
FIG. 5 is an enlarged view of an element image array acquired for an experiment and a part of an element image.
6 is a graph showing the depth resolution of the elementary image acquisition system.
FIG. 7 is an image showing a filtering region and a filtered element image showing a result of extracting a depth-corresponding element image according to a conventional single depth; FIG.
8 is an image showing a filtering area and a filtered element image showing the extraction result of an element image according to a method of extracting multi-depth information in the integrated image display of the present invention.

본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법은 집적영상 기반의 요소영상으로부터 물체공간에 대한 다중 깊이 정보를 추출할 때, 점 물체(Point object)로부터 시작하여 렌즈배열을 통과한 후 최종적으로 획득 장치(Pickup device)의 렌즈의 광학적 중심점을 지나는 광선은In the method of extracting multiple depth information in the integrated image display of the present invention, when extracting multi-depth information about an object space from an elementary image based on an integrated image, the method starts from a point object, passes through a lens array, The light rays passing through the optical center of the lens of the pickup device

Figure pat00002
Figure pat00002

으로 표시되는 것이다..

그리고 점 물체와 렌즈배열 그리고 획득장치를 좌표계로 표시할 경우 좌표계의 원점은 렌즈배열의 가장 아래쪽 렌즈의 가장자리에 위치하는 것이다.When the point object, the lens array, and the acquisition device are represented by the coordinate system, the origin of the coordinate system is located at the edge of the lens at the lowermost of the lens array.

또한, 요소영상배열의 획득된 물체의 깊이에 대한 공간주기를 계산할 수 있으며, 물체의 깊이에 대응하는 공간주기는 In addition, the spatial period for the depth of the acquired image of the elemental image array can be calculated, and the spatial period corresponding to the depth of the object

Figure pat00003
Figure pat00003

으로 표현되는 것이다..

또한, 요소영상으로부터 물체의 깊이에 대응하는 공간 필터링된 영상의 추출은 In addition, the extraction of the spatial filtered image corresponding to the depth of the object from the elemental image

Figure pat00004
Figure pat00004

으로 표현되는 것이다..

또한, 다중 깊이에 대응하는 요소영상은Further, the element image corresponding to the multiple depths

Figure pat00005
의 수식에 의해 추출되는 것이다.
Figure pat00005
Is extracted by the following equation.

또한, 요소영상 획득 시스템에 대응하는 깊이방향의 해상도는 z축 방향으로 구별가능한 두 개의 점으로 정의되며,Also, the resolution in the depth direction corresponding to the elementary image acquisition system is defined as two points that can be distinguished in the z-axis direction,

Figure pat00006
Figure pat00006

으로 표현되는 것이다.
.

이하, 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.Hereinafter, a method of extracting multi-depth information in the integrated image display of the present invention will be described in detail with reference to the accompanying drawings.

도 4는 점 물체와 렌즈배열 그리고 획득 장치 사이의 기하학적 관계를 나타낸 좌표계이다.4 is a coordinate system showing the geometric relationship between the point object, the lens arrangement and the acquiring device.

Multi-CPPF에 대한 이론적 분석에 선행하여 요소영상 획득시스템에 대한 기하학적 분석이 필요하며 이를 설명하기 위하여 도 4를 참고한다.Prior to the theoretical analysis of Multi-CPPF, a geometric analysis of the elementary image acquisition system is required and reference is made to FIG.

점 물체(Point object)로부터 시작하여 최종적으로 획득 장치(Pickup device)의 렌즈의 광학적 중심점을 지나는 광선을 수식적으로 표현하면 수식(1)과 같다.Equation (1) is expressed as a ray of light passing through the optical center point of the lens of the pickup device finally starting from a point object.

Figure pat00007
----(1)
Figure pat00007
----(One)

도 4와 수식(1)에서 좌표계의 원점은 렌즈배열의 가장 아래쪽 렌즈의 가장자리이다. In Fig. 4 and Equation (1), the origin of the coordinate system is the edge of the lowermost lens of the lens array.

또한, P는 렌즈배열내 요소렌즈의 직경을 나타내며 이는 이웃한 렌즈 사이의 거리와 동일하다. Further, P represents the diameter of the element lens in the lens array, which is the same as the distance between adjacent lenses.

f는 요소렌즈의 초점거리를 나타내며 x'En 은 n번째 렌즈 위의 점을 나타낸다. f represents the focal length of the element lens, and x ' En represents the point on the nth lens.

또한, d와 xd는 각각 광학적 중심점의 z 와 x 축 좌표를 나타낸다.Also, d and x d represent the z and x axis coordinates of the optical center, respectively.

수식(1)로부터 요소영상은 렌즈배열에 의해 획득된 물체의 깊이에 대한 공간주기를 계산할 수 있으며, 물체의 깊이에 대응하는 공간주기는 수식(2)로 표현된다.From the equation (1), the elemental image can calculate the spatial period for the depth of the object acquired by the lens array, and the spatial period corresponding to the depth of the object is expressed by the equation (2).

Figure pat00008
---(2)
Figure pat00008
---(2)

한편, 수식 (1)과 그림 1에서 획득 장치의 위치가 렌즈배열로부터 멀어질 경우 즉 d가 충분히 증가할 경우 수식 (1)은 다음과 같이 근사 된다On the other hand, if the position of the acquiring device moves away from the lens array in Equation (1) and Fig. 1, that is, when d increases sufficiently, Equation (1) is approximated as

Figure pat00009
--- (3)
Figure pat00009
--- (3)

이러한 조건에서 수식 (2)는 다음과 같이 근사 된다.Under these conditions, Eq. (2) is approximated as follows.

Figure pat00010
--- (4)
Figure pat00010
--- (4)

기하학적 관계를 이용하여 Multi-CPPF를 통해 생성되는 물체의 깊이에 대응하는 요소영상 추출 방법을 파동 광학적으로 분석하면 다음과 같다.The elemental image extraction method corresponding to the depth of an object generated through Multi-CPPF using the geometric relationship is analyzed by wave-optics as follows.

전통적으로 스크린에 투영되는 2차원영상의 빛의 세기는 세기응답(intensity impulse response)과 시스템의 배율을 고려한 물체의 세기 (scaled object intensity) 사이의 컨벌루젼(convolution)으로 표현될 수 있으며,

Figure pat00011
, xE는 요소영상면의 좌표를 의미하며,
Figure pat00012
는 세기 응답을 표현하고
Figure pat00013
는 시스템의 배율을 고려한 물체의 세기를 나타내고,
Figure pat00014
는 컨벌루젼을 의미한다.Traditionally, the intensity of light of a two-dimensional image projected on a screen can be expressed as a convolution between an intensity impulse response and scaled object intensities of the system,
Figure pat00011
, x E is the coordinate of the element image plane,
Figure pat00012
Expresses the intensity response
Figure pat00013
Represents the intensity of the object considering the magnification of the system,
Figure pat00014
Means a convolution.

그러나 3차원 물체를 표현하기 위해서는 와 같이 물체의 깊이 zo가 고려되어 져야 한다. However, the depth z o of an object must be taken into account, such as to represent a three-dimensional object.

zo의 값에 독립적인 영상의 세기(image intensity)는 다음과 같이 표현될 수 있다.The image intensity independent of the value of z o can be expressed as:

Figure pat00015
--- (5)
Figure pat00015
--- (5)

기하광학의 조건 즉

Figure pat00016
을 가정할 경우 세기응답(intensity impulse response)은
Figure pat00017
함수로 표현될 수 있으며 수식(3)과 수식(4)를 고려한 세기 응답은 다음과 같이 표현된다.The condition of geometrical optics
Figure pat00016
, The intensity impulse response is
Figure pat00017
And the intensity response considering Equation (3) and Equation (4) can be expressed as follows.

Figure pat00018
--- (6)
Figure pat00018
--- (6)

또한, 시스템의 배율을 고려한 물체의 세기(scaled object intensity)는 다음과 같이 표현된다.Also, the scaled object intensity considering the system magnification is expressed as follows.

Figure pat00019
--- (7)
Figure pat00019
--- (7)

따라서, 수식 (5)에 수식 (6)과 수식 (7)을 대입하여 요소영상을 파동광학적으로 표현하면 다음과 같은 수식으로 표현된다.Therefore, by expressing equations (6) and (7) in Eq. (5) and wave-optically expressing the elemental image, it can be expressed by the following equation.

Figure pat00020
--- (8)
Figure pat00020
--- (8)

요소영상으로부터 물체의 깊이에 대응하는 공간 필터링된 영상의 추출은 다음과 같은 수식으로 표현된다.The extraction of the spatial filtered image corresponding to the depth of the object from the elemental image is expressed by the following equation.

Figure pat00021
--- (9)
Figure pat00021
--- (9)

수식 (9)에서

Figure pat00022
과
Figure pat00023
는 요소영상으로부터 추출할 깊이 영역에 대응하는 범위를 의미한다.In Equation (9)
Figure pat00022
and
Figure pat00023
Represents a range corresponding to a depth region to be extracted from the element image.

수식(9)의 후반부는 다음과 같이 전개된다.The latter part of equation (9) is developed as follows.

Figure pat00024
--- (10)
Figure pat00024
--- (10)

따라서, 수식 (9)로부터 다중 깊이에 대응하는 요소영상의 추출은 다음 수식으로 표현된다.Therefore, the extraction of an element image corresponding to multiple depths from Expression (9) is expressed by the following equation.

Figure pat00025
--- (11)
Figure pat00025
--- (11)

요소영상 획득 시스템에 대응하는 깊이방향의 해상도는 z축 방향으로 구별가능한 두 개의 점으로 정의되며 다음과 같은 수식으로 표현된다.The resolution in the depth direction corresponding to the elementary image acquisition system is defined as two points that can be distinguished in the z-axis direction and expressed by the following equation.

Figure pat00026
--- (12)
Figure pat00026
--- (12)

수식(12)에서 N은 개별 요소렌즈에 대응하는 해상도이며, X는 물체의 깊이에 대응하는 공간 주기이다.In the equation (12), N is the resolution corresponding to the individual element lens, and X is the spatial period corresponding to the depth of the object.

지금까지 분석한 이론을 증명하기 위하여 실험을 수행하였으며, 도 5는 실험을 위해 획득한 요소영상배열과 요소영상의 일부분을 확대한 이미지이다.FIG. 5 is an enlarged view of an elemental image array acquired for the experiment and a part of the elemental image. FIG.

도 5의 오른편에서 확인할 수 있듯이 네 개의 물체, 알파벳 ‘Dog’ 와 ‘Cat’ 그리고 평면 물체 ‘개’와 ‘고양이’가 실험을 위한 테스트 물체로 사용되었다.As can be seen on the right hand side of FIG. 5, four objects, the letters 'Dog' and 'Cat', and the flat objects 'dog' and 'cat' were used as test objects for the experiment.

요소영상 획득시 렌즈배열은 5x5의 요소렌즈가 사용되었으며, 개별 요소렌즈의 초점거리는 30mm이고 직경은 10mm이다.For elemental image acquisition, a 5x5 element lens is used for the lens arrangement, and the focal length of the individual element lens is 30mm and the diameter is 10mm.

따라서, 획득된 요소영상배열은 5x5의 개별 요소영상으로 구성되며, 각 요소영상은 600x600 픽셀 이다.Thus, the obtained element image array is composed of 5x5 individual element images, and each element image is 600x600 pixels.

네 개의 테스트 물체 중 알파벳 ‘Dog’과 ‘Cat’는 각각 렌즈어레이로부터 -180mm와 -230mm에 위치한다. Among the four test objects, the letters 'Dog' and 'Cat' are located at -180 mm and -230 mm from the lens array, respectively.

그리고 두 개의 평면물체 ‘개’와 ‘고양이’는 각각 렌즈어레이로부터 -280mm와 -330mm에 위치한다.The two planar objects 'dog' and 'cat' are located at -280 mm and -330 mm from the lens array, respectively.

우선 실험에 사용된 획득 시스템의 깊이 해상도를 살펴보면 도 6과 같다.First, the depth resolution of the acquisition system used in the experiment is shown in FIG.

도 6은 요소영상 획득 시스템의 깊이해상도를 나타낸 그래프로서 도 6의 (a)전체영역에 대한 깊이해상도를 나타낸 것이며, (b),(c),(d)는 깊이에 따라 세분화한 영역에 대한 해상도를 나타낸 것이다.FIG. 6 is a graph showing the depth resolution of the elementary image acquisition system. FIG. 6 (a) shows the depth resolution for the entire region, and FIGS. 6 (b) Resolution.

본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법과 비교하기 위하여 종래의 단일 깊이에 대한 깊이 대응 요소영상 추출 결과를 살펴보면 도 7과 같다.FIG. 7 shows a conventional depth-corresponding element extraction result for a single depth in order to compare with the multi-depth information extraction method in the integrated image display of the present invention.

도 7은 종래의 단일 깊이에 대한 깊이 대응 요소영상 추출결과를 나타낸 필터링 영역과 필터링된 요소영상을 나타낸 이미지로서, (a)는 필터링 영역을 나타낸 것이며, (b)는 공간 필터링된 요소영상을 나타낸 것이다.FIG. 7 is a view showing a filtering region and a filtered element image showing a result of extracting a depth-corresponding element image according to a conventional single depth, wherein (a) shows a filtering region, and (b) will be.

한편, 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에서 제안하는 깊이 영역에 대한 다중 깊이 대응 요소영상 추출 결과를 살펴보면 도 8과 같다.Meanwhile, FIG. 8 shows a multi-depth correspondence image extraction result for the depth region proposed in the multi-depth information extraction method in the integrated image display of the present invention.

도 8은 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에 따른 요소영상 추출결과를 나타낸 필터링 영역과 필터링된 요소영상을 나타낸 이미지이다.8 is an image showing a filtering area and a filtered element image showing the extraction result of the element image according to the multi-depth information extraction method in the integrated image display of the present invention.

즉, 도 8의 (a)는 알파벳 ‘Dog’와 평면 오브젝트 ‘개’에 대한 공간 필터링 영역, (b)는 공간 필터링된 요소영상배열, (c)는 알파벳 ‘Cat’와 평면 오브젝트 ‘고양이’에 대한 공간 필터링 영역, (d)는 공간 필터링된 요소영상배열을 나타낸 것이다.FIG. 8A is a spatial filtering area for the alphabet 'Dog' and a plane object 'dog', FIG. 8B is a spatial filtered element image array, (D) shows a spatial filtered element image array.

도 8의 실험 결과에서 확인할 수 있듯이, 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에 따른 다중 깊이 영역에 대한 공간 필터링 방법을 이용할 경우 종래에는 단일 깊이에 한정된 깊이 대응 요소영상을 다중 깊이 영역에 대한 깊이 대응 요소영상이 추출이 가능하다.
8, when the spatial filtering method for multiple depth regions according to the multi-depth information extraction method is used in the integrated image display according to the present invention, the conventional depth- Depth corresponding element images can be extracted.

따라서, 본 발명 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법에 의하면 깊이 추출 범위가 자유롭게 조정 가능함으로 단일 깊이면 뿐만 아니라 다중 깊이면에 대응하는 요소영상 추출이 가능하며, 또한, 깊이 대응 요소영상 추출에 대한 포괄적인 방법을 제공할 수 있다는 등의 현저한 효과가 있다.Therefore, according to the multi-depth information extraction method in the integrated image display of the present invention, it is possible to freely adjust the depth extraction range, so that it is possible to extract element images corresponding to multiple depth surfaces as well as single depth surfaces, And a comprehensive method can be provided.

100. 영상획득단계 110. 3차원 물체 120. 렌즈배열
130. 요소 영상
200. 영상재생단계 210. 3차원 영상 220. 렌즈배열
230. 요소 영상 240. 마스크 241. 투과영역
242. 차단영역100. Image acquisition step 110. Three-dimensional object 120. Lens array
130. Element video
200. Image reproduction step 210. Three-dimensional image 220. Lens array
230. Element image 240. Mask 241. Transmission region
242. Blocking area

Claims (6)

집적영상 기반의 요소영상으로부터 물체공간에 대한 다중 깊이 정보를 추출할 때, 점 물체(Point object)로부터 시작하여 렌즈배열을 통과한 후 최종적으로 요소영상 획득 장치(Pickup device)의 렌즈의 광학적 중심점을 지나는 광선은
Figure pat00027

수식으로 표현되는 것이 특징인 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법.
(P ; 렌즈배열내 요소렌즈의 직경
f ; 요소렌즈의 초점거리
x'En ; n번째 렌즈 위의 점
d, xd ; 각각 광학적 중심점의 z와 x축 좌표)When extracting the multi-depth information about the object space from the elementary image based on the integrated image, after passing through the lens array starting from the point object, finally, the optical center point of the lens of the element image acquiring device The ray that passes
Figure pat00027

And extracting the depth information from the multi-depth information in the integrated image display.
(P: diameter of the element lens in the lens array
f; The focal length of the element lens
x 'En; Point on nth lens
d, x d ; The z and x coordinate of the optical center respectively) 제1항에 있어서,
상기 점 물체와 렌즈배열 그리고 획득장치를 좌표계로 표시할 경우 좌표계의 원점은 렌즈배열의 가장 아래쪽 렌즈의 가장자리에 위치하는 것이 특징인 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법.The method according to claim 1,
And the origin of the coordinate system is located at the edge of the lowermost lens of the lens array when the point object, the lens arrangement, and the acquisition apparatus are represented by a coordinate system. 제1항에 있어서,
상기 요소영상은 렌즈배열에 의해 획득된 물체의 깊이에 대한 공간주기를 계산할 수 있으며, 물체의 깊이에 대응하는 공간주기는
Figure pat00028

수식으로 표현되는 것이 특징인 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법.The method according to claim 1,
The elemental image can calculate the spatial period for the depth of the object obtained by the lens array, and the spatial period corresponding to the depth of the object is
Figure pat00028

And extracting the depth information from the multi-depth information in the integrated image display. 제1항에 있어서,
상기 요소영상으로부터 물체의 깊이에 대응하는 공간 필터링된 영상의 추출은
Figure pat00029

수식으로 표현되는 것이 특징인 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법.
(
Figure pat00030
,
Figure pat00031
; 요소영상으로부터 추출할 깊이 영역에 대응하는 범위.
xE ; 요소영상면의 좌표.
Figure pat00032
; 세기 응답.
Figure pat00033
; 시스템의 배율을 고려한 물체의 세기.
Figure pat00034
; 컨벌루젼)The method according to claim 1,
The extraction of the spatial filtered image corresponding to the depth of the object from the elemental image
Figure pat00029

And extracting the depth information from the multi-depth information in the integrated image display.
(
Figure pat00030
,
Figure pat00031
; The range corresponding to the depth area to be extracted from the element image.
x E ; Coordinates of element image plane.
Figure pat00032
; Century response.
Figure pat00033
; The strength of an object taking into account the magnification of the system.
Figure pat00034
; Convolution) 제1항에 있어서,
다중 깊이에 대응하는 상기 요소영상은
Figure pat00035
의 수식에 의해 추출되는 것이 특징인 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법.The method according to claim 1,
The elemental image corresponding to multiple depths
Figure pat00035
And extracting the multi-depth information in the integrated image display. 제1항에 있어서,
상기 요소영상 획득 장치에 대응하는 깊이방향의 해상도는 z축 방향으로 구별가능한 두 개의 점으로 정의되며,
Figure pat00036

수식으로 표현되는 것이 특징인 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법.
(N ; 개별 요소렌즈에 대응하는 해상도
X ; 물체의 깊이에 대응하는 공간 주기)
The method according to claim 1,
The resolution in the depth direction corresponding to the elementary image acquiring device is defined as two points that can be distinguished in the z-axis direction,
Figure pat00036

And extracting the depth information from the multi-depth information in the integrated image display.
(N: resolution corresponding to the individual element lens
X; A spatial period corresponding to the depth of the object)
KR1020140187556A 2014-12-23 2014-12-23 Multiple depth extraction method in integral imaging display KR101657373B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140187556A KR101657373B1 (en) 2014-12-23 2014-12-23 Multiple depth extraction method in integral imaging display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140187556A KR101657373B1 (en) 2014-12-23 2014-12-23 Multiple depth extraction method in integral imaging display

Publications (2)

Publication Number Publication Date
KR20160077550A true KR20160077550A (en) 2016-07-04
KR101657373B1 KR101657373B1 (en) 2016-09-19

Family

ID=56500982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187556A KR101657373B1 (en) 2014-12-23 2014-12-23 Multiple depth extraction method in integral imaging display

Country Status (1)

Country Link
KR (1) KR101657373B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959524A (en) * 2017-05-17 2017-07-18 上海天马微电子有限公司 Display panel, display device and lens coordinate determination method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101293576B1 (en) * 2013-01-08 2013-08-16 동서대학교산학협력단 System of depth control in three-dimensional integral imaging display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101293576B1 (en) * 2013-01-08 2013-08-16 동서대학교산학협력단 System of depth control in three-dimensional integral imaging display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1 *
논문2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959524A (en) * 2017-05-17 2017-07-18 上海天马微电子有限公司 Display panel, display device and lens coordinate determination method
CN106959524B (en) * 2017-05-17 2020-06-09 上海天马微电子有限公司 Display panel, display device and lens coordinate determination method

Also Published As

Publication number Publication date
KR101657373B1 (en) 2016-09-19

Similar Documents

Publication Publication Date Title
JP2008242658A (en) Three-dimensional object imaging apparatus
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
JP5852093B2 (en) Video processing apparatus, video processing method, and program
WO2012129252A1 (en) Digital 3d camera using periodic illumination
KR101600681B1 (en) Depth convertion method of 3D images interal imaging system
US10295525B2 (en) Image generation device, image generation method, recording medium, and processing method
JP2009175866A (en) Stereoscopic image generation device, its method, and its program
JP2023172882A (en) Three-dimensional representation method and representation apparatus
Yoo et al. Intermediate elemental image reconstruction for refocused three-dimensional images in integral imaging by convolution with δ-function sequences
JP2016225811A (en) Image processing apparatus, image processing method, and program
KR101293576B1 (en) System of depth control in three-dimensional integral imaging display
Piao et al. Three-dimensional reconstruction of far and large objects using synthetic aperture integral imaging
KR101657373B1 (en) Multiple depth extraction method in integral imaging display
KR101025785B1 (en) 3D Real Video Device
KR101614121B1 (en) Apparatus and method for displaying integrated image
KR101289008B1 (en) Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof
JP6846165B2 (en) Image generator, image display system and program
KR101275127B1 (en) 3-dimension camera using focus variable liquid lens applied and method of the same
JP5642561B2 (en) House change interpretation support device, house change interpretation support method, and house change interpretation support program
KR101733346B1 (en) Orthoscopic real image reconstruction in integral imaging method by using elemental image modification
Muniraj et al. Subpixel based defocused points removal in photon-limited volumetric dataset
KR101893769B1 (en) Apparatus and method of generating 3 dimension object image model based on used view of viewer
KR101121132B1 (en) Method and apparatus for reconstructing integral image
JP6768431B2 (en) Image generator and program
Cho et al. Depth resolution analysis of axially distributed stereo camera systems under fixed constrained resources

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant