WO2017052203A1 - 다수의 렌즈를 이용한 촬상장치 - Google Patents

다수의 렌즈를 이용한 촬상장치 Download PDF

Info

Publication number
WO2017052203A1
WO2017052203A1 PCT/KR2016/010547 KR2016010547W WO2017052203A1 WO 2017052203 A1 WO2017052203 A1 WO 2017052203A1 KR 2016010547 W KR2016010547 W KR 2016010547W WO 2017052203 A1 WO2017052203 A1 WO 2017052203A1
Authority
WO
WIPO (PCT)
Prior art keywords
lenses
image
measurement matrix
lens
angle
Prior art date
Application number
PCT/KR2016/010547
Other languages
English (en)
French (fr)
Inventor
이흥노
이웅비
장환철
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to US15/761,855 priority Critical patent/US10605962B2/en
Publication of WO2017052203A1 publication Critical patent/WO2017052203A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0266—Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/006—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element at least one element being a compound optical element, e.g. cemented elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image

Definitions

  • the present invention relates to an imaging device, and more particularly to an imaging device using a plurality of lenses.
  • Compound eyes are typically exemplified by insect eyes, where a plurality of single eyes are arranged in a three-dimensional curved surface to provide the compound eyes.
  • the compound eye is characterized by a wide field of view (FOV), infinite depth, and fast motion recognition. Thus, it acts as a factor in increasing the survival chance of insects from the enemy. Due to this feature, the compound eye is expected to be applied to surveillance cameras, high speed motion detection, image guided surgery, and surgical equipment of micro avionics equipment.
  • FOV field of view
  • the electronic eye which is introduced in the July 2013 issue of the monthly science and technology published by the Korea Federation of Science and Technology, can be referred to.
  • the introduction document there has been introduced a method of manufacturing artificial compound eyes that look like insect eyes.
  • insect eyes can be produced.
  • the present invention is proposed under the background described above, and proposes an image pickup apparatus using a plurality of lenses that can increase the resolution of an image while maximizing the advantages of the compound eye.
  • An imaging apparatus using a plurality of lenses includes: a compound eye in which a sensed image can be obtained by a plurality of lenses; A measurement matrix storage unit storing at least one measurement matrix; And a digital signal processing technique using sparse expression using the measurement matrix, wherein the image recovery unit recovers an image from the sensed image.
  • ⁇ is a sparsifying basis for estimating that the amount of light information x of a pixel in the recovered image has a small number of nonzero elements s, and ⁇ is Speaking of thresholds,
  • an image recovery unit for acquiring the restored image is included.
  • an imaging device capable of increasing the resolution of an image while utilizing the features of a wide viewing angle, infinite depth, and fast motion recognition obtained by using a double eye structure. Accordingly, it is possible to increase the discriminating power of the object by the compound eye, so that a human having a camera-type eye can obtain the image information by maximizing the advantage of the compound eye.
  • FIG 1 and 2 are views for explaining a brief configuration of an image pickup apparatus using a plurality of lenses in comparison with the prior art and the embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration of an imaging device using a plurality of lenses according to the embodiment
  • 4 and 5 are views for explaining the receiving angle and the angle between the lens in the image pickup device using a plurality of lenses compared with each other in the embodiment according to the prior art and the present invention.
  • 6 and 7 are views for explaining the viewing area in the image pickup device using a plurality of lenses in comparison with each other in the embodiment according to the prior art and the present invention.
  • FIG. 8 is a diagram illustrating a relationship between a viewing area and pixels.
  • 9 and 10 are diagrams for explaining the measurement matrix obtained in the image pickup device using a plurality of lenses by comparison with each other in the prior art and the embodiment.
  • FIG. 11 is a result of acquiring a sensed image without performing digital signal processing by setting the receiving angle equal to 2.25 degrees between lenses according to the prior art
  • FIG. 12 shows that the receiving angle is approximately 60 degrees compared to the angle between lenses according to an embodiment.
  • FIG. 13 is a view showing experimental results of an experiment for recovering an image according to various distances.
  • FIG. 1 and 2 show a simplified configuration of an image pickup apparatus using a plurality of lenses by comparing embodiments of the present invention with those of the prior art.
  • an image of an object is incident on a plurality of lenses 2 supported on a curved surface 1.
  • Each lens included in the plurality of lenses 2 faces a specific region in three-dimensional space. This particular area is hereinafter referred to as the viewing area corresponding to each lens.
  • the lens corresponding to the object placed in the field of view may be accepted as a change in the amount of light.
  • Each of the plurality of lenses 2 may be associated with a single photosensor 3.
  • the photosensor 3 may recognize the amount of light.
  • the photosensor 3 may recognize the amount of light, but may not recognize the distribution of the two-dimensional amount of light using any one photosensor.
  • the photosensor 3 corresponds to a single pixel on the image to provide a sensed image 4.
  • the curved surface 1 may be provided as a curved surface in one or two or three dimensions.
  • the sensed image 4 may provide pixels corresponding to the number of lenses 2. Therefore, when the number of lenses 2 is large, a high resolution image 4 can be obtained, and when the number of lenses 2 is small, only a low resolution image 4 can be obtained. However, it is difficult to increase the number of lenses 2 indefinitely, but one reason is that it is difficult to arrange the microelectronic elements and microoptical elements, especially the lens 2 on which the smoothness of the outer surface is important, on the curved surface 1. Because.
  • the photosensor 3 recognizes the form of the amount of light through the lens 2 disposed on the curved surface 1.
  • the receiving angle of the lens 2 is considerably larger than the angle between the lenses 2. Therefore, since the sensed image 4 sensed through each photosensor 3 overlaps a considerable amount for each pixel, it is impossible to obtain an image that can be substantially recognized by a human.
  • the sensed image 4 may obtain a recovered image 5 through digital signal processing (DSP), and the restored image 5 may be a sensed image according to the prior art. Compared to 4), the resolution of superior level can be obtained.
  • DSP digital signal processing
  • FIG. 3 is a block diagram showing a configuration of an imaging apparatus using a plurality of lenses according to an embodiment.
  • the sensing image 4 may be recognized through the compound eye 10, and the sensing image 4 may be restored through the image recovery unit 30.
  • the image recovery unit 30 uses a measurement matrix when restoring an image.
  • the compound eye 10 may refer to a configuration including the lens 2, the curved surface 1, and the photosensor 3 shown in FIG. 2.
  • a plurality of measurement matrices may be provided in advance, and may be stored in the measurement matrix storage unit 20.
  • a plurality of measurement matrices may be stored according to the distance between the lens 2 and the object. This is because the viewing area of the lens 2 is viewed in different directions in three dimensions, so the viewing area actually sensed in two dimensions depends on the distance between the object and the lens 2, that is, the object and the lens. This is because the shape and size of the viewing area vary depending on the distance between the two.
  • the receiving angle of the lens 2 is considerably larger than the angle between the lenses 2. Therefore, in the sensed image 4 detected through each photosensor 3, a considerable amount of pixels are superimposed on each pixel. Therefore, unlike the prior art, a point placed at a specific point can be detected by the plurality of lenses 2 and the photosensor 3 in duplicate.
  • the measurement matrix stored in the measurement matrix storage unit 20 may be provided by actually specifying various objects at a predetermined distance in front of the lens 2. For example, when a white paper is placed at a small point and a specific point of the white paper is observed and viewed through the compound eye of the embodiment, an object may be placed in a field of view where a plurality of lenses 2 can see. By placing the points at various locations, one complete measurement matrix can be obtained. This means that a point at a certain point can be detected as a complex amount of light through a plurality of lenses 2 to provide more information, and more information can be interpreted by compression sensing to recover a clearer image. do.
  • the compression sensing is a kind of digital signal processing technique and may recover an image through another digital signal processing technique. However, in the case of the embodiment, it is possible to perform more accurate and clear image recovery by using the compression sensing technique. The same applies to the following.
  • 4 and 5 are views for comparing the receiving angle and the angle between the lens in the image pickup device using a plurality of lenses in the prior art and the embodiment according to the present invention.
  • the angle 11 between the lenses 2 is ⁇ and the receiving angle 12 of the lens 2 is ⁇ , ⁇ ⁇
  • the angle 11 between the lenses is greater than or equal to the accommodation angle 12 of the lens.
  • the field of view information input through one lens 2 does not overlap or overlap with the information of the field of view input through the other lens 2 is minimized.
  • the information of the viewing area incident through the different lenses 2 is not preferable because it serves to increase the noise interference in the sensed image 4.
  • it may be different depending on the habitat of animals and insects. For example, in the case of a black fly (callipora), the reception angle of the single eye is 1.5 degrees, and the angle between the single eyes may be 1.02 degrees.
  • the angle ⁇ between the lenses is much smaller than the accommodation angle ⁇ of the lens.
  • the information of the field of view input through the one lens 2 overlaps with the information of the field of view input through the other lens 2.
  • any one point can be incident together into dozens of lenses 2. This is because the information of the viewing area incident through the different lenses 2 increases the interference on the sensed image 4, but analyzes it to perform the function of finding out the point at a specific point more accurately. to be. The analysis can possibly be performed because the measurement matrix can tell through which lens the point at a particular point of a particular distance is incident.
  • FIGS. 6 and 7 are views for comparing the viewing area in the image pickup apparatus using a plurality of lenses in the prior art and the embodiment according to the present invention.
  • the viewing area represents a two-dimensional area incident through one of the lenses 2.
  • FIG. 6 is a view illustrating a prior art field of view.
  • a field of view 6 corresponding to any one of the lenses is narrow in the middle and arranged outwardly on an array of the plurality of lenses 2. You can see it getting wider. This is because the lens is arranged in such a form, and the viewing area is arranged in two dimensions, whereas the point of view of the lens is arranged in three dimensions.
  • FIG. 7 is a view showing an embodiment of a viewing area, and referring to FIG. 7, the field of view 6, which corresponds to one lens, is arranged at the center portion of the array of the plurality of lenses 2, and the narrower it is, the more it goes outward. Widening may be the same as in the prior art. However, it can be seen that the size of any one viewing area 6 is quite large compared to the prior art. Thus, a specific point may be included in the field of view 6 corresponding to a large number of lenses 2.
  • FIG. 8 is a diagram illustrating a relationship between a viewing area and pixels.
  • each pixel 7 is shown in a rectangle. Since four pixels 7 at the center are included in all four viewing areas 6, information from four lenses can be obtained. In contrast, since only one viewing area 6 is included in the pixel at the outermost corner, information can be obtained from only one lens.
  • the pixel may be a pixel of the sensed image 4.
  • the relationship between the viewing area and the pixel provided in FIG. 8 illustrates a case where the viewing area is circular.
  • the viewing area has various aspects and shapes depending on the arrangement and number of lenses. Can have complex interrelationships
  • the measurement matrix may be regarded as obtaining a measurement matrix using the same object with the same distance between the lens and the object.
  • the measurement matrix may be defined as a measurement matrix for a point on a flat plane having the same rectilinear distance between the lens and the object. In other words, it is a measurement matrix in a flat plane perpendicular to the straight line drawn by the lens located at the vertex of the curved surface.
  • the signal is incident through more lenses 2 when there is a signal due to the image at any one point.
  • the measurement matrix obtained through the above process may be stored for each distance in the measurement matrix storage unit 20.
  • the image recovery unit 30 may restore an image by using the sensing image 4 and the measurement matrix stored in the measurement matrix storage unit 20 implementing the amount of light incident on the compound eyes 10. .
  • the sensing image 4 may be provided with pixels corresponding to the number of lenses 2, and a measurement matrix corresponding to a distance from the measurement matrix storage unit 20 to the object from the lens 2 is called up. Can be.
  • the distance from the lens to the object may be measured by using a separate distance measuring sensor, and a plurality of measurement matrices are used to repeatedly recover the image, and then select a measurement matrix that recovers the optimal image. May be
  • the light quantity information of the pixel in the sensed image 4, which may correspond to the viewing area of the lens 2, is y
  • the measurement matrix is A
  • the light quantity information of the pixel in the restored image 5 When x is x, the relationship of the following formula 1 is established.
  • N is the number of pixels in the restored image 5
  • M is the number of pixels in the sensed image 4
  • A is the measurement matrix
  • ⁇ is the light quantity information x of the pixels in the recovered image.
  • a ij which is an arbitrary element of the measurement matrix A, indicates that the amount of light of the j-th recovered pixel is affected by the field of view of the i-th lens. For example, if a ij is zero, the pixel of the j-th recovered image is outside the field of view of the i-th lens (6). If a ij is one, the pixel of the j-th recovered image is i-th. If the field of view of the lens is within (6), and a ij is greater than zero and less than one, it can be considered that the pixel of the jth recovered image is at the boundary of the field of view of the ith lens (6). .
  • Equation 1 is an underdetermined system given by N> M.
  • N the number of pixels in a wavelet domain
  • a domain such as a discrete cosine transform or a discrete Fourier transform.
  • the first condition is satisfied.
  • the field of view of a lens in the measurement matrix applies information only to a specific pixel of the recovered image, it can be said to be incoherent for all pixels.
  • the second condition is satisfied.
  • the embodiment uses compressed sensing using a sparse representation to solve the equation 1, and the embodiment is characterized by this.
  • Equation 1 may be solved by the linear equation in Equation 2.
  • ⁇ 1 represents the L1 norm
  • ⁇ is a threshold that can be preset, modified or selected.
  • Equation 2 was solved by an alternating direction method.
  • the alternative direction method is described in Yang, J. & Zhang, Y. Alternating direction algorithms for l1-problems in compressive sensing. SIAM J. Sci. Comput. 33 , 250-278 (2011).
  • an optimal solution can be obtained by using a simplex method, a steepest decent method, or a second derivative method.
  • the applicant of the present invention can obtain an optimal solution using the L1 norm optimization method proposed in Korean Patent Registration No. 10-1423964.
  • the light quantity information x of the pixels in the restored image may be obtained using Equation 3 below.
  • Equation 3 Can be thought of as light quantity information x of a pixel in the recovered image.
  • N given by the number of pixels is 25600 given by 160 ⁇ 160 as two-dimensional pixels
  • M given by lens 2 and photosensor 3 is given by 80 ⁇ 80. 6400 pieces were arranged in a spherical shape, the angle between the lenses 11 was 2.25 degrees, and the straight distance from the lens 2 to the object was 10 mm.
  • FIG. 11 is a result of acquiring a sensed image without compression sensing by setting the receiving angle equal to the lens angle between 2.25 degrees according to the prior art
  • FIG. 12 is approximately 27 degrees compared to the lens angle between 60 degrees according to an embodiment.
  • the detected image 4 is difficult to find out whether or not it is a tiger by obtaining a blurry image in the prior art.
  • the sensed image 4 cannot recognize the image at all. This is because a large amount of light enters through the lens because the receiving angle of the lens 2 is wide.
  • the image 5 recovered by using compressed sensing using sparse representation using the measurement matrix and the sensed image can recover an image having an improved resolution.
  • N given by the number of pixels is 25600 given by 160 ⁇ 160 as two-dimensional pixels
  • M given by lens 2 and photosensor 3 is given by 100 ⁇ 100.
  • 10000 pieces were arranged in a spherical shape, the angle between the lenses 11 was 1.8 degrees, the receiving angle was 60 degrees, and the simulation was performed by varying the direct distances from the lens 2 to the object at 5 mm, 10 mm, and 15 mm. .
  • the measurement matrix was obtained according to the direct distance from the lens to the object, and all of them were input to the measurement matrix storage unit 20 so that each measurement matrix was used.
  • Fig. 13 shows the experimental results of the second experiment, in which case it was confirmed that the images could be accurately recovered.
  • the experiment was performed using thousands of lenses, but the effect can be obtained through dozens of lenses. For example, using eight image sensors can achieve the effect.
  • the lens is disposed on the curved surface, but is not limited thereto.
  • the lens is arranged in a plane, there is no problem in the practice of the present invention.
  • the resolution of an image can be increased while using features of a wide viewing angle without distortion, infinite depth, and fast motion recognition obtained by using the compound eyes. Accordingly, it is possible to increase the discriminating power of the object by the compound eye, so that a human having a camera-type eye can obtain the image information by maximizing the advantage of the compound eye.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 다수의 렌즈를 이용한 촬상장치에는, 다수의 렌즈에 의해서 감지 이미지가 얻어질 수 있는 겹눈; 적어도 하나의 측정행렬이 저장되는 측정행렬저장부; 및 상기 측정행렬을 이용하여 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 이미지를 복구하는 이미지 복구부가 포함된다. 본 발명에 따르면, 겹눈 구조를 이용함으로써 얻을 수 있는 왜곡없는 넓은 시야각, 무한한 심도, 및 빠른 모션 인지의 특징을 살리면서도 이미지의 해상도를 높일 수 있는 촬상장치를 얻을 수 있다. 이에 따라서, 겹눈에 의한 물체의 식별력을 높일 수 있어서, 카메라 형태의 눈을 가진 인간이 겹눈의 장점을 극대화하여 이미지 정보를 획득할 수 있다.

Description

다수의 렌즈를 이용한 촬상장치
본 발명은 촬상장치에 관한 것으로, 더 상세하게는 다수의 렌즈를 이용하는 촬상장치에 관한 것이다.
겹눈은 곤충의 눈으로 대표적으로 예시되는 것으로서, 다수개의 홑눈이 삼차원 곡면으로 배열되어 겹눈을 제공한다.
상기 겹눈은 넓은 시야각(FOV:Field Of View), 무한한 심도, 및 빠른 모션 인지 등의 특징을 가진다. 따라서, 적으로부터의 곤충의 생존기회를 높이는 일 요인으로 작용한다. 이러한 특징으로 인하여, 상기 겹눈은 초소형 항공장비의 감시 카메라, 고속 모션 탐지, 영상유도수술, 및 수술장비 등으로의 적용이 기대된다.
상기 겹눈의 여러 장점에 대해서는 한국과학기술총연합회 발간 월간 과학과 기술 2013년 7월호 64페이지에 소개되는 전자눈을 참조할 수 있다. 상기 소개문헌에 따르면 곤충의 눈을 본 뜬 인공 겹눈을 제작하는 방법이 소개된 바가 있다. 상기 문헌에 따르면 곤충눈을 제작할 수 있음을 알 수 있다. 그러나, 겹눈에 제공되는 각각의 홑눈을 통하여 입사하는 광을 어떠한 방식으로 처리할 것인지에 대해서는 언급된 바가 없고, 예를 들어 각각의 홑눈에 입사하는 광량이 전체 이미지 중에서 어느 한 픽셀에 해당한다.
상기 문헌에 따르면 각각의 홑눈을 통하여 입사하는 빛을 단일의 픽셀로 인식하여 이미지를 처리하기 때문에, 각각의 홑눈에 해당하는 렌즈의 개수를 늘리지 않으면 높은 해상도의 이미지를 얻을 수 없다. 또한, 좁은 공간에 이미지의 해상도를 늘릴 수 있는 만큼 렌즈의 개수를 무한정 늘리는 것이 어려운 문제점이 있다.
본 발명은 상기되는 배경하에서 제안되는 것으로서, 겹눈의 장점을 극대화하면서도 이미지의 해상도를 높일 수 있는 다수의 렌즈를 이용한 촬상장치를 제안한다.
본 발명에 따른 다수의 렌즈를 이용한 촬상장치에는, 다수의 렌즈에 의해서 감지 이미지가 얻어질 수 있는 겹눈; 적어도 하나의 측정행렬이 저장되는 측정행렬저장부; 및 상기 측정행렬을 이용하여 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 이미지를 복구하는 이미지 복구부가 포함된다.
본 발명의 다른 측면에 따른 다수의 렌즈를 이용한 촬상장치에는, 렌즈 사이각이 렌즈 수용각보다 작게 배치되는 적어도 수십 개의 렌즈; 상기 수십 개의 렌즈 각각에 대응하여 입사하는 빛의 광량을 측정하는 적어도 수십 개의 포토센서; 적어도 하나의 측정행렬이 저장되는 측정행렬저장부; 및 상기 적어도 수십 개의 포토센서에서 측정되는 픽셀정보는 y이고, 상기 측정행렬은 A이고, 복구된 이미지의 픽셀정보는 x이고, 상기 복구된 이미지에서의 픽셀정보(x)라고 할 때 x=Ψs이고, Ψ는 상기 복구된 이미지에서의 픽셀의 광량정보(x)가 적은 수의 영이 아닌 값(small number of nonzero elements)(s)을 가지도록 추정하는 희소화 베이스(sparsifying basis)이고, ε은 임계치라고 할 때,
Figure PCTKR2016010547-appb-I000001
를 이용하여, 상기 복구된 이미지를 획득하는 이미지 복구부가 포함된다.
본 발명에 따르면, 겹눈 구조를 이용함으로써 얻을 수 있는 넓은 시야각, 무한한 심도, 및 빠른 모션 인지의 특징을 살리면서도 이미지의 해상도를 높일 수 있는 촬상장치를 얻을 수 있다. 이에 따라서, 겹눈에 의한 물체의 식별력을 높일 수 있어서, 카메라 형태의 눈을 가진 인간이 겹눈의 장점을 극대화하여 이미지 정보를 획득할 수 있다.
도 1과 도 2는 다수의 렌즈를 이용한 촬상장치의 간략한 구성을 종래기술과 본 발명의 실시예를 각각 비교하여 설명하는 도면.
도 3은 실시예에 따른 다수의 렌즈를 이용한 촬상장치의 구성을 보이는 블록도.
도 4와 도 5는 다수의 렌즈를 이용한 촬상장치에서 수용각과 렌즈 사이각을 종래기술과 본 발명에 따른 실시예에서 서로 비교하여 설명하는 도면.
도 6과 도 7은 다수의 렌즈를 이용한 촬상장치에서 시야영역을 종래기술과 본 발명에 따른 실시예에서 서로 비교하여 설명하는 도면.
도 8은 시야영역과 픽셀의 관계를 설명하는 도면.
도 9와 도 10은 다수의 렌즈를 이용한 촬상장치에서 얻은 측정행렬을 종래기술과 실시예 별로 서로 비교하여 설명하는 도면.
도 11은 종래 기술에 따라 수용각을 2.25도로 렌즈 사이각과 동일하게 하여 디지털신호처리를 하지 않고 감지 이미지를 획득한 결과이고, 도 12는 실시예에 따라서 수용각을 60도로 렌즈 사이각에 비하여 대략 27배 크게 하고 디지털신호처리를 수행하여 얻은 복구된 이미지를 나타내는 도면.
도 13은 다양한 거리에 따라서 이미지를 복구하는 실험의 실험결과를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. 또한, 첨부되는 도면은 발명의 사상을 이해하는 것에 주안점을 둔 것으로서 크기, 방향, 및 형태 등에 있어서 실제로 구현되는 것에 있어서는 차이가 있을 수 있다. 또한, 본 발명의 이해에 필요하지만 당업자에게 이미 널리 알려진 수학적인 처리 및 알고리즘에 있어서는 그 기술이 소개되는 부분을 제시하고 그 내용 전체가 본 발명의 명세서에 포함되는 것으로 하고 그 구체적인 기술은 생략하도록 한다. 또한, 이하의 설명에서 종래기술이라고 이름하는 기술은 상기 비특허문헌에 소개되는 기술을 말하는 것이고, 본 발명과의 대비되는 설명을 명확하게 하기 위하여 소개된다.
도 1과 도 2는 다수의 렌즈를 이용한 촬상장치의 간략한 구성을 종래기술과 본 발명의 실시예를 각각 비교하여 나타낸다.
도 1을 참조하면, 물체(object)의 이미지는 곡면(1)에 지지되는 다수의 렌즈(2)로 입사한다. 상기 다수의 렌즈(2)에 포함되는 각각의 렌즈는 삼차원 공간에서 특정의 영역을 바라보고 있다. 상기 특정의 영역을 이후로는 각각의 렌즈에 대응하는 시야 영역이라고 한다. 상기 시야 영역에 물체가 있는 경우에는 그 시야 영역에 놓이는 물체와 대응하는 렌즈가 광량의 변화 형태로 받아들일 수 있다. 상기 다수의 렌즈(2) 각각에는 단일의 포토센서(3)가 대응되어 있을 수 있다. 상기 포토센서(3)는 광량을 인식할 수 있다. 상기 포토센서(3)는 광량은 인식할 수 있으나, 어느 하나의 포토센서를 이용하여 이차원의 광량의 분포는 인식하지 못할 수 있다. 상기 포토센서(3)는 이미지 상에서 단일의 픽셀로 대응되어 감지 이미지(4)를 제공한다. 상기 곡면(1)은 일차원 또는 이차원 또는 삼차원으로 곡면으로 제공될 수 있다.
상기 감지 이미지(4)는 렌즈(2)의 개수에 대응하는 픽셀을 제공할 수 있다. 따라서, 렌즈(2)의 개수가 많은 경우에는 해상도가 높은 감지 이미지(4)를 얻을 수 있고, 렌즈(2)의 개수가 작은 경우에는 해상도가 낮은 감지 이미지(4)를 얻을 수 있을 뿐이다. 그러나, 렌즈(2)의 개수를 무한정 늘리는 것은 어려운데, 그 하나의 이유는, 미세전자소자 및 미세광학소자, 특히 외면의 매끄러움이 중요시되는 렌즈(2)를 곡면(1)에 배치하는 것은 어렵기 때문이다.
이에 반하는 본 발명의 실시예에 따른 촬상장치는, 곡면(1)에 배치되는 렌즈(2)를 통하여 포토센서(3)가 광량의 형태로 인식한다. 한편, 실시예에서는 렌즈(2)의 수용각이 렌즈(2)의 사이각에 비하여 상당히 크다. 따라서, 각각의 포토센서(3)를 통하여 감지되는 감지 이미지(4)는 픽셀별로 상당량이 중첩되므로 실질적으로 인간이 인식할 수 있는 수준의 이미지를 얻을 수 없다. 그러나, 실시예에서는 상기 감지 이미지(4)는 디지털신호처리(DSP: Digital Signal processing)를 통하여 복구된 이미지(5)를 얻을 수 있고, 상기 복구된 이미지(5)는 종래 기술에 따른 감지 이미지(4)에 비하여 월등한 수준의 해상도를 얻을 수 있다.
도 3은 실시예에 따른 다수의 렌즈를 이용한 촬상장치의 구성을 보이는 블록도이다.
도 3을 참조하면, 겹눈(10)을 통하여 감지 이미지(4)가 인식되고, 상기 감지 이미지(4)는 이미지 복구부(30)를 통하여 복구될 수 있다. 상기 이미지 복구부(30)는 이미지를 복구할 때 측정행렬을 이용한다. 여기서 겹눈(10)은 도 2에 제시되는 렌즈(2), 곡면(1), 및 포토센서(3)가 포함되는 구성을 지칭할 수 있다. 상기 측정행렬은 다수 개가 미리 제공되어 있을 수 있고, 측정행렬저장부(20)에 저장되어 있을 수 있다. 상기 측정행렬은 렌즈(2)와 물체 사이의 거리에 따라서 다수 개가 저장되어 있을 수 있다. 이는 상기 렌즈(2)가 바라보는 공간은 삼차원으로 서로 다른 방향을 바라보고 있기 때문에, 실제로 이차원으로 감지되는 시야 영역은 물제와 렌즈(2) 간의 거리에 따라서 달라지기 때문인데, 다시 말하면 물체와 렌즈(2) 사이의 거리에 따라서 시야 영역의 형태 및 크기가 달라지기 때문이다.
한편, 실시예에서는 렌즈(2)의 수용각이 렌즈(2)의 사이각에 비하여 상당히 크다. 따라서, 각각의 포토센서(3)를 통하여 감지되는 감지 이미지(4)에서는 픽셀 별로 상당량이 중첩된다. 그러므로, 종래기술과는 달리 특정 지점에 놓이는 점은 다수의 렌즈(2) 및 포토센서(3)에 의해서 중복하여 감지될 수 있다.
상기 측정행렬저장부(20)에 저장되는 측정행렬은, 렌즈(2) 앞의 일정 거리에 다양한 물체를 놓고서 실제로 특정함으로써 제공될 수 있다. 예를 들어, 어느 작은 지점에 백지를 놓고 그 백지의 특정 지점에 점을 찍고서 실시예의 겹눈을 통하여 관찰할 때, 다수의 렌즈(2)가 볼 수 있는 시야영역에 물체가 놓일 수 있다. 상기 점을 다양한 위치에 놓고서 완전한 어느 한 측정행렬을 구할 수 있을 것이다. 이는 어느 특정 지점의 점이 다수의 렌즈(2)를 통하여 복잡한 광량으로 감지되어 더 많은 정보를 제공할 수 있는 것을 의미하고, 보다 많은 정보는 압축센싱의 방법으로 해석함으로써 더 선명한 이미지를 복구할 수 있게 된다. 상기 압축센싱은 디지털 신호처리기법의 일종으로서 또 다른 디지털신호처리기법을 통해서도 이미지를 복구할 수 있을 것이다. 그러나 실시예의 경우에는 압축센싱기법을 이용함으로써 더욱 정확하고 선명한 이미지복구를 수행할 수 있다. 이하 마찬가지이다.
실시예에 따른 다수의 렌즈를 이용한 촬상장치의 작용에 대하여 이하에서 상세하게 설명한다.
도 4와 도 5는 다수의 렌즈를 이용한 촬상장치에서 수용각과 렌즈 사이각을 종래기술과 본 발명에 따른 실시예에서 서로 비교하여 설명하는 도면이다.
도 4는 종래기술을 설명하는 것으로서 도 4를 참조하면, 렌즈(2) 간의 사이각(11)이 △Φ이고, 렌즈(2)의 수용각(12)이 △φ일 때, △Φ≥△φ의 관계를 가져서, 렌즈 간의 사이각(11)이 렌즈의 수용각(12)보다 크거나 같다. 다시 말하면, 어느 하나의 렌즈(2)를 통해서 입력되는 시야정보는 다른 하나의 렌즈(2)를 통해서 입력되는 시야영역의 정보와 서로 겹치지 않거나 겹치는 영역이 최소화된다. 이는 서로 다른 렌즈(2)를 통해서 입사하는 시야영역의 정보는 감지 이미지(4)에 노이즈 간섭을 증가시키는 작용을 수행하여 바람직하지 않기 때문이다. 물론, 일반 자연계에 있어서는 동물 및 곤충들의 서식환경에 따라서 다른 경우도 있다. 예를 들어, 검정파리(callipora)의 경우에는 홑눈의 수용각이 1.5도이고, 홑눈 간의 사이각이 1.02도인 경우도 있다.
도 5는 실시예를 설명하는 것으로서 도 5를 참조하면, 도 4에 반하여 렌즈(2) 간의 사이각(11)이 △Φ이고, 렌즈(2)의 수용각(12)이 △φ일 때, △Φ≪△φ의 관계를 가져서, 렌즈 간의 사이각(△Φ)이 렌즈의 수용각(△φ)보다 훨씬 작다. 다시 말하면, 어느 하나의 렌즈(2)를 통해서 입력되는 시야영역의 정보는 다른 하나의 렌즈(2)를 통해서 입력되는 시야영역의 정보와 많이 겹친다. 예를 들어 비록 렌즈와 물체 간의 거리에는 의존적이지만, 어느 하나의 지점은 수십개의 렌즈(2)로 함께 입사할 수 있다. 이는 서로 다른 렌즈(2)를 통해서 입사하는 시야영역의 정보는 감지 이미지(4)에 간섭을 증가시키는 작용을 하기도 하지만, 이를 분석하여 특정 지점의 점을 더욱 정확하게 알아낼 수 있는 작용을 수행하도록 하기 때문이다. 상기 분석은 상기 측정행렬에 의해서 특정 거리의 특정 지점의 점이 어느 렌즈를 통하여 입사하는 지가 알려질 수 있기 때문에 가능하게 수행될 수 있다.
도 6과 도 7은 다수의 렌즈를 이용한 촬상장치에서 시야영역을 종래기술과 본 발명에 따른 실시예에서 서로 비교하여 설명하는 도면이다. 상기 시야영역은 어느 하나의 렌즈(2)를 통하여 입사하는 이차원 영역을 나타내는 것임은 이미 설명한 바와 같다.
도 6은 종래 기술의 시야영역을 나타내는 것으로서, 도 6을 참조하면, 어느 하나의 렌즈에 해당하는 시야영역(6)은 다수의 렌즈(2)의 배열 상에서 가운데 부분에 배열된 것은 좁고, 바깥으로 갈수록 넓어지는 것을 볼 수 있다. 이는 렌즈의 배열이 그와 같은 형태로 되어 있고, 또한, 상기 렌즈가 바라보는 지점이 삼차원으로 배열되는 것임에 반하여 시야영역은 이차원으로 배열되는 것이기 때문이다.
도 7은 실시예의 시야영역을 나타내는 것으로서, 도 7을 참조하면, 어느 하나의 렌즈에 해당하는 시야영역(6)이 다수의 렌즈(2)의 배열 상에서 가운데 부분에 배열된 것은 좁고, 바깥으로 갈수록 넓어지는 것은 종래기술과 동일할 수 있다. 그러나, 어느 하나의 시야영역(6)의 크기는 종래기술과 비교할 때 상당히 큰 것을 볼 수 있다. 따라서, 특정 지점은 크게는 수십 개의 렌즈(2)에 해당하는 시야영역(6)에 동시에 포함될 수 있다.
도 8은 시야영역과 픽셀의 관계를 설명하는 도면이다.
도 8을 참조하면, 어느 하나의 렌즈(2)의 시야영역(6)이 원형으로 예시되고, 각각의 픽셀(7)은 사각형으로 도시된다. 중심에 있는 네 개의 픽셀(7)에는 네 개의 시야영역(6)에 모두 포함되므로 네 개의 렌즈로부터의 정보를 획득할 수 있다. 이와 달리 최외각에 있는 모서리의 픽셀에는 어느 하나의 시야영역(6)에만 해당하므로 하나의 렌즈로부터만 정보가 획득될 수 있다. 여기서 픽셀은 감지 이미지(4)의 픽셀일 수 있다.
상기 도 8에 제공되는 시야영역과 픽셀의 상호 관계는 시야영역이 원형일 때를 도시한 것으로서, 실제로 상기 시야영역은 렌즈의 배치와 개수에 따라서 다양한 양상과 형태를 가지므로 시야영역과 픽셀은 더욱 복잡한 상호 관계를 가질 수 있다.
도 9와 도 10은 다수의 렌즈를 이용한 촬상장치에서 얻은 측정행렬을 종래기술과 실시예 별로 서로 비교하여 설명하는 도면이다. 여기서 측정행렬은 렌즈와 물체와의 거리가 동일하고 동일한 물체를 이용하여 측정행렬을 얻어내는 것이라고 할 수 있다.
도 10의 실시예의 경우에는 도 9의 종래기술과 비교할 때, 측정행렬에 더 많은 넌제로(non-zero) 성분이 존재하는 것을 볼 수 있다. 도 10에 있어서 특정 열은 어느 한 픽셀에 어느 렌즈로부터의 정보가 입사하는 지를 나타내고, 특정 행은 어느 한 렌즈로부터의 정보가 어느 픽셀에 입사하는 지를 나타내고 있다. 상기 측정행렬은 렌즈와 물체 사이의 직근 거리가 동일한 편평한 평면상의 지점에 대한 측정행렬이라고 정의할 수 있다. 다시 말하면 곡면의 꼭지점에 위치하는 렌즈에서 긋는 직선과 수직하는 편평한 평면에서의 측정행렬이라고 할 수 있다.
결국, 어느 한 지점에 이미지에 의한 신호가 있을 때 더욱 많은 렌즈(2)를 통하여 그 신호가 입사하는 것으로 이해할 수 있다. 이와 같은 방법을 반복으로 수행함으로써, 렌즈와 물체 사이의 다양한 직선거리에서의 편평한 평면에 대한 측정행렬을 얻어낼 수 있다.
이하에서는 상기 측정행렬을 이용하여 이미지를 복구하는 과정을 설명한다.
먼저, 상기되는 과정을 통하여 얻어진 측정행렬은 상기 측정행렬저장부(20) 부에 거리별로 저장되어 있을 수 있다. 상기 이미지 복구부(30)에서는 겹눈(10)별로 입사한 빛의 광량을 구현한 상기 감지 이미지(4)와 상기 측정행렬저장부(20)에 저장되는 측정행렬을 이용하여 이미지를 복구할 수 있다.
상기 감지 이미지(4)에는 렌즈(2)의 개수에 상응하는 픽셀이 제공될 수 있고, 상기 측정행렬저장부(20)로부터 상기 렌즈(2)로부터 상기 물체까지의 거리에 해당하는 측정행렬을 불러올 수 있다. 상기 렌즈로부터 상기 물체까지의 거리는 별도의 거리측정센서를 이용하여 측정할 수도 있고, 다수개의 측정행렬을 이용하여 반복하여 이미지를 복구한 다음에 최적의 이미지를 복구해 낸 측정행렬이 바람직한 행렬로 선택될 수도 있다.
상기 감지 이미지(4)에서의 픽셀의 광량정보-이것은 렌즈(2)의 시야영역과 대응할 수 있다-를 y라 하고, 측정행렬을 A라 하고, 복구된 이미지(5)에서의 픽셀의 광량정보를 x라고 할 때, 하기되는 수학식 1의 관계가 성립한다.
Figure PCTKR2016010547-appb-M000001
여기서,
Figure PCTKR2016010547-appb-I000002
이다.
여기서, N은 복구된 이미지(5)의 픽셀의 개수이고, M은 감지 이미지(4)의 픽셀의 개수이고, A는 측정행렬이고, Ψ는 상기 복구된 이미지에서의 픽셀의 광량정보(x)가, 적은 수의 영이 아닌 값들(small number of nonzero elements)(s)을 가지도록 추정하는 희소화 베이스(sparsifying basis)로 제공될 수 있다. 상기 측정행렬(A)의 임의의 원소인 aij는 j번째 복구된 픽셀의 광량이 i번째 렌즈의 시야영역의 영향을 받는 것을 나타낸다. 예를 들어, aij가 영인 경우에는 j번째 복구된 이미지의 픽셀이 i번째 렌즈의 시야영역이(6)의 바깥에 있는 것이고, aij가 일인 경우에는 j번째 복구된 이미지의 픽셀이 i번째 렌즈의 시야영역이(6)의 안에 있는 것이고, aij가 영보다 크고 일보다 작은 경우에는 j번째 복구된 이미지의 픽셀이 i번째 렌즈의 시야영역이(6)의 경계선에 있는 것으로 생각할 수 있다.
한편, 상기 수학식 1은 N>M으로 주어지는 비결정 시스템(underdetermined system)이다. 상기 비결정 시스템을 최적화 과정을 통하여 해를 구하기 위해서는, 첫째, 희소신호(sparse signal)로 표현할 수 있어야 하고, 둘째 상기 측정행렬은 서로 비간섭성(incoherent)으로 제공될 필요가 있다. 그런데, 자연계의 이미지는 웨이블릿 도메인(wavelet domain) 또는 이산코사인변환 또는 이산푸리에변환 등과 같은 도메인에서 희소신호로 표현된다는 것이 알려져 있다. 따라서, 상기 첫째 조건은 만족한다. 둘째, 상기 측정행렬에서 어느 렌즈의 시야영역은 복구된 이미지의 특정 픽셀에만 정보를 인가하므로 전체 픽셀에 대해서는 비간섭적이라고 할 수 있다. 따라서 상기 둘째 조건은 만족한다.
이에, 실시예에서는 상기 수학식 1의 해를 구하기 위하여 희소표현(sparse representation)을 이용하는 압축센싱(compressed sensing)을 이용하고, 실시예에서는 이를 일 특징으로 하고 있다.
상기 수학식 1의 x는 수학식 2의 선형방정식으로 풀어낼 수 있다.
Figure PCTKR2016010547-appb-M000002
∥∥1는 L1 놈(norm)을 나타내고, ε은 미리 설정되거나 수정되거나 선택될 수 있는 임계치이다.
실시예에서 상기 수학식 2는 대체방향방법(alternating direction method)으로 풀었다. 상기 대체방향방법은 Yang, J. & Zhang, Y. Alternating direction algorithms for l1-problems in compressive sensing. SIAM J. Sci. Comput. 33, 250-278 (2011)을 참조할 수 있다. 이 뿐만이 아니고, 심플렉스법(simplex methods) 또는 기울기하강법(steepest decent methods) 또는 이차미분법(second derivative methods)을 사용하여 최적의 해를 구할 수 있다. 또 다른 예로서 본 발명의 출원인이 대한민국특허등록번호 10-1423964에서 제안한 바가 있는 L1 놈 최적화 방법을 이용하여 최적의 해를 구할 수 있다.
L1 놈 최적화 방법에 의해서 상기 적은 수의 영이 아닌 값들(s)이 구하여지면, 하기 수학식 3을 이용하여 상기 복구된 이미지에서의 픽셀의 광량정보(x)를 얻어낼 수 있다.
Figure PCTKR2016010547-appb-M000003
상기 수학식 3에서
Figure PCTKR2016010547-appb-I000003
는 복구된 이미지에서의 픽셀의 광량정보(x)로 생각할 수 있다.
실시예에 따른 제 1 실험을 행함에 있어서, 픽셀의 갯수로 주어지는 N은 160×160으로 주어지는 25600개로 이차원 픽셀로 하고, 렌즈(2) 및 포토센서(3)로 주어지는 M은 80×80로 주어지는 6400개로 하여 구면으로 배치하고, 렌즈 사이각(11)은 2.25도로 하고, 렌즈(2)에서 물체까지의 직근거리는 10mm로 하여 시뮬레이션을 수행하였다.
도 11은 종래 기술에 따라 수용각을 2.25도로 렌즈 사이각과 동일하게 하여 압축센싱을 하지 않고 감지 이미지를 획득한 결과이고, 도 12는 실시예에 따라서 수용각을 60도로 렌즈 사이각에 비하여 대략 27배 크게 하고 압축센싱을 수행하여 얻은 복구된 이미지를 나타내는 도면이다.
도 11를 참조하면, 감지 이미지(4)는 종래기술의 경우에는 흐릿한 이미지를 얻어서 호랑이인지 아닌지를 알아내기 어려운 것을 알 수 있다. 도 12를 참조하면, 감지된 이미지(4)는 전혀 이미지를 알아낼 수가 없다. 이는 렌즈(2)의 수용각이 넓기 때문에 렌즈를 통해서는 다량의 광량이 입사하기 때문이다. 그러나, 측정행렬과 감지 이미지를 이용하여 희소표현(sparse representation)을 이용하는 압축센싱(compressed sensing)을 이용하여 복구된 이미지(5)는 해상도가 향상된 이미지를 복구할 수 있는 것을 알 수 있다.
실시예에 따른 제 2 실험을 행함에 있어서, 픽셀의 갯수로 주어지는 N은 160×160으로 주어지는 25600개로 이차원 픽셀로 하고, 렌즈(2) 및 포토센서(3)로 주어지는 M은 100×100로 주어지는 10000개로 하여 구면으로 배치하고, 렌즈 사이각(11)은 1.8도로 하고, 수용각은 60도로 하고, 렌즈(2)에서 물체까지의 직근거리를 5mm, 10mm, 및 15mm로 달리하여 시뮬레이션을 수행하였다. 이때 렌즈에서 물체까지의 직근거리에 따라서 측정행렬을 구하여 모두 상기 측정행렬저장부(20)에 입력하여 각각의 측정행렬이 사용되도록 하였다.
도 13은 상기 제 2 실험의 실험결과를 나타내는 도면으로서, 어느 경우에 있어서나 이미지를 정확하게 복구해 낼 수 있는 것을 확인할 수 있었다.
상기 실험에서는 수 천개의 렌즈를 이용하여 실험을 수행하였으나, 수십개를 통해서도 그 효과를 얻을 수 있다. 예를 들어 8개의 이미지 센서를 이용하더라도 그 효과를 얻을 수 있다.
본 발명의 다른 실시예를 소개한다. 먼저, 상기 실시예에서는 곡면에 렌즈가 배치되는 것으로 설명이 되어 있으나, 이에 제한되지 아니한다. 예를 들어, 렌즈가 평면에 배치되더라도 본 발명의 실시에는 문제가 없다. 그러나, 넓은 범위, 예를 들어, 180도를 넘어서는 범위의 이미지를 획득하기 위해서는 곡면으로 제공되는 것이 더욱 바람직하게 고려될 수 있는 것은 물론이다.
본 발명에 따르면, 겹눈을 이용함으로써 얻을 수 있는 왜곡없는 넓은 시야각, 무한한 심도, 및 빠른 모션 인지의 특징을 이용하면서도 이미지의 해상도를 높일 수 있다. 이에 따라서, 겹눈에 의한 물체의 식별력을 높일 수 있어서, 카메라 형태의 눈을 가진 인간이, 겹눈의 장점을 극대화하여 이미지 정보를 획득할 수 있다.
이에 따르면, 감시분야, 모션감지분야 등에 널리 활용될 수 있는 사용상의 장점이 크게 기대된다고 할 수 있다.

Claims (11)

  1. 다수의 렌즈에 의해서 감지 이미지가 얻어질 수 있는 겹눈;
    적어도 하나의 측정행렬이 저장되는 측정행렬저장부; 및
    상기 측정행렬을 이용하여 희소표현을 이용하는 디지털 신호처리기법으로, 상기 감지 이미지로부터 이미지를 복구하는 이미지 복구부가 포함되는 다수의 렌즈를 이용한 촬상장치.
  2. 제 1 항에 있어서,
    상기 겹눈에는,
    면(面); 및
    상기 면에 지지되는 다수의 렌즈; 및
    상기 다수의 렌즈와 각각 일대일 대응되는 다수의 포토센서가 포함되는 다수의 렌즈를 이용한 촬상장치.
  3. 제 2 항에 있어서,
    상기 다수의 렌즈 중의 적어도 일부의 렌즈는,
    렌즈 사이각이 렌즈의 수용각보다 작은 다수의 렌즈를 이용한 촬상장치.
  4. 제 3 항에 있어서,
    상기 다수의 렌즈는 그 모두가,
    렌즈 사이각이 렌즈의 수용각보다 작은 다수의 렌즈를 이용한 촬상장치.
  5. 제 3 항에 있어서,
    상기 다수의 렌즈 중의 적어도 일부의 렌즈는,
    렌즈 사이각이 렌즈의 수용각보다 수십 배 작은 다수의 렌즈를 이용한 촬상장치.
  6. 제 2 항에 있어서,
    상기 포토센서는 광량을 감지할 수 있는 다수의 렌즈를 이용한 촬상장치.
  7. 제 2 항에 있어서,
    상기 면은 곡면인 다수의 렌즈를 이용한 촬상장치.
  8. 제 1 항에 있어서,
    상기 측정행렬저장부에는,
    상기 겹눈과 물체 사이의 직근 거리에 따라서 적어도 두 개 이상의 측정행렬이 저장되는 다수의 렌즈를 이용한 촬상장치.
  9. 렌즈 사이각이 렌즈 수용각보다 작게 배치되는 적어도 수십 개의 렌즈;
    상기 수십 개의 렌즈 각각에 대응하여 입사하는 빛의 광량을 측정하는 적어도 수십 개의 포토센서;
    적어도 하나의 측정행렬이 저장되는 측정행렬저장부; 및
    상기 적어도 수십 개의 포토센서에서 측정되는 픽셀정보는 y이고, 상기 측정행렬은 A이고, 복구된 이미지의 픽셀정보는 x이고, 상기 복구된 이미지에서의 픽셀정보(x)라고 할 때 x=Ψs이고, Ψ는 상기 복구된 이미지에서의 픽셀의 광량정보(x)가 적은 수의 영이 아닌 값(small number of nonzero elements)(s)을 가지도록 추정하는 희소화 베이스(sparsifying basis)이고, ε은 임계치라고 할 때,
    Figure PCTKR2016010547-appb-I000004
    를 이용하여, 상기 복구된 이미지를 획득하는 이미지 복구부가 포함되는 다수의 렌즈를 이용한 촬상장치.
  10. 제 9 항에 있어서,
    상기 렌즈의 수용각이 상기 렌즈 사이각보다 수십 배 큰 다수의 렌즈를 이용한 촬상장치.
  11. 제 9 항에 있어서,
    상기 측정행렬은 렌즈와 물체 사이의 직근 거리가 동일한 편평한 평면상의 지점에 대한 측정행렬인 다수의 렌즈를 이용한 촬상장치.
PCT/KR2016/010547 2015-09-21 2016-09-21 다수의 렌즈를 이용한 촬상장치 WO2017052203A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/761,855 US10605962B2 (en) 2015-09-21 2016-09-21 Imaging device using plurality of lenses

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0132810 2015-09-21
KR1020150132810A KR101638022B1 (ko) 2015-09-21 2015-09-21 다수의 렌즈를 이용한 촬상장치

Publications (1)

Publication Number Publication Date
WO2017052203A1 true WO2017052203A1 (ko) 2017-03-30

Family

ID=56505318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/010547 WO2017052203A1 (ko) 2015-09-21 2016-09-21 다수의 렌즈를 이용한 촬상장치

Country Status (3)

Country Link
US (1) US10605962B2 (ko)
KR (1) KR101638022B1 (ko)
WO (1) WO2017052203A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865126B1 (ko) 2016-08-04 2018-06-08 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
KR102030735B1 (ko) * 2018-01-26 2019-10-11 광주과학기술원 분광장치 및 분광방법
CN111681605B (zh) * 2020-07-08 2021-12-07 深圳大学 光敏型光电器件驱动控制电路及显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307907A (ja) * 1995-04-19 1996-11-22 Nippon Hoso Kyokai <Nhk> 投写型立体画像表示装置
JP2006048659A (ja) * 2004-06-28 2006-02-16 Namco Ltd 画像生成装置、電子機器、印刷加工物、画像生成方法及びプログラム
KR20120045516A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 곤충 눈을 모사한 광 센서 및 광 센서의 제조 방법
KR101427854B1 (ko) * 2012-09-24 2014-08-07 재단법인대구경북과학기술원 단일 영상의 초고해상도 영상 복원 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741012B2 (ja) * 2011-01-26 2015-07-01 ソニー株式会社 固体撮像装置の製造方法
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
CN113256730B (zh) * 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
KR102297488B1 (ko) * 2015-02-17 2021-09-02 삼성전자주식회사 라이트 필드 카메라
KR101865126B1 (ko) * 2016-08-04 2018-06-08 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307907A (ja) * 1995-04-19 1996-11-22 Nippon Hoso Kyokai <Nhk> 投写型立体画像表示装置
JP2006048659A (ja) * 2004-06-28 2006-02-16 Namco Ltd 画像生成装置、電子機器、印刷加工物、画像生成方法及びプログラム
KR20120045516A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 곤충 눈을 모사한 광 센서 및 광 센서의 제조 방법
KR101427854B1 (ko) * 2012-09-24 2014-08-07 재단법인대구경북과학기술원 단일 영상의 초고해상도 영상 복원 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SONG, YOUNG MIN ET AL.: "Research on Optical Devices and Optical Imaging Systems Inspired by the Structure of an Insect's Eye", THE KOREAN PHYSICAL SOCIETY, PHYSICS & HIGH TECHNOLOGY, vol. 22, no. 9, September 2013 (2013-09-01), pages 25 - 29, Retrieved from the Internet <URL:http://oldkps.or.kr/storagelwebzine_uploadfiles/2046_article.pdf> *

Also Published As

Publication number Publication date
KR101638022B1 (ko) 2016-07-12
US10605962B2 (en) 2020-03-31
US20180267213A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
WO2016065541A1 (en) Rgb-d imaging system and method using ultrasonic depth sensing
WO2015016459A1 (en) Light field image capturing apparatus including shifted microlens array
WO2017052203A1 (ko) 다수의 렌즈를 이용한 촬상장치
US10348985B2 (en) Turbulence-free camera system and related method of image enhancement
WO2016095192A1 (en) Optical-flow imaging system and method using ultrasonic depth sensing
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
CN111145269B (zh) 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
JP6858415B2 (ja) 海面計測システム、海面計測方法および海面計測プログラム
CN101401443A (zh) 用于获得三维图像的cmos立体照相机
CN103905746B (zh) 亚像素级图像偏移定位及叠加方法和装置以及视频设备
Zheng et al. Joint image and depth estimation with mask-based lensless cameras
US11722641B2 (en) Digital image inference system with enhanced privacy protection
JP2015050494A (ja) 撮像装置
CN109509213A (zh) 一种应用于异步时域视觉传感器的Harris角点检测方法
KR101692428B1 (ko) 다수의 렌즈를 이용한 촬상장치
WO2019124731A1 (ko) 군집화와 딥러닝을 이용한 멀티플렉싱 신호 처리 장치 및 방법
EP3066508A1 (en) Method and system for creating a camera refocus effect
KR101865126B1 (ko) 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
US20180115766A1 (en) 3d image reconstruction based on lensless compressive image acquisition
WO2010087587A2 (en) Image data obtaining method and apparatus therefor
CN114119768B (zh) 一种基于多目视觉技术的刺参活性监测方法
CN113808070B (zh) 一种双目数字散斑图像相关的视差测量方法
WO2015026002A1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
CN215646974U (zh) 无人机
Taylor A scheme for calibrating smart camera networks using active lights

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848928

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15761855

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.07.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16848928

Country of ref document: EP

Kind code of ref document: A1