KR20120064477A - 3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof - Google Patents

3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof Download PDF

Info

Publication number
KR20120064477A
KR20120064477A KR1020100125733A KR20100125733A KR20120064477A KR 20120064477 A KR20120064477 A KR 20120064477A KR 1020100125733 A KR1020100125733 A KR 1020100125733A KR 20100125733 A KR20100125733 A KR 20100125733A KR 20120064477 A KR20120064477 A KR 20120064477A
Authority
KR
South Korea
Prior art keywords
depth information
focal length
lens
image
displacement
Prior art date
Application number
KR1020100125733A
Other languages
Korean (ko)
Other versions
KR101752799B1 (en
Inventor
서필기
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020100125733A priority Critical patent/KR101752799B1/en
Publication of KR20120064477A publication Critical patent/KR20120064477A/en
Application granted granted Critical
Publication of KR101752799B1 publication Critical patent/KR101752799B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

PURPOSE: A 3D camera capable of extracting depth information of an image is provided to remove the necessity of using a separate device for obtaining the depth information. CONSTITUTION: A 3D camera comprises the following: a focal distance information saving unit (10) for saving the focal distance value for each location of a lens(5); an image sensor(20) generating an object image for the movement displacement of the lens; a focal distance computation unit(30) obtaining the movement displacement corresponding to the highest resolution location of the lens; and a depth information computation unit(40) obtaining depth information of the object image corresponding to the block focal distance value per pixel block.

Description

영상의 깊이정보 추출이 가능한 3차원 카메라, 영상의 깊이정보 추출방법 및 그 추출방법의 기록매체{3D CAMERA CAPABLE OF ACQUIRING DEPTH INFORMATION, ACQUISITION METHOD OF DEPTH INFORMATION AND THE RECORDING MEDIUM THEREOF}3D camera capable of extracting depth information of image, method of extracting depth information of image, and recording medium of extraction method {3D CAMERA CAPABLE OF ACQUIRING DEPTH INFORMATION, ACQUISITION METHOD OF DEPTH INFORMATION AND THE RECORDING MEDIUM THEREOF}

본 발명은 입체영상을 위한 영상의 깊이정보 추출이 가능한 3차원 카메라 및 영상의 깊이정보 추출방법에 관한 것이다. 보다 상세하게는 3차원 카메라의 픽셀 블록별 초점거리를 이용하여 피사체의 깊이정보를 추출할 수 있는 영상의 깊이정보 추출이 가능한 3차원 카메라, 영상의 깊이정보 추출방법 및 그 추출방법의 기록매체에 관한 것이다.The present invention relates to a three-dimensional camera capable of extracting depth information of an image for a stereoscopic image and a method of extracting depth information of an image. More specifically, a three-dimensional camera capable of extracting depth information of an image capable of extracting depth information of a subject using a focal length for each pixel block of the three-dimensional camera, a depth information extraction method of an image, and a recording medium of the extraction method. It is about.

종래 3차원 입체영상 또는 홀로그래피 구현 방법은 거리 측정센서 및 레이저 등을 이용하여 거리맵을 구현하는 방식으로 행하여져 왔다. 구체적으로 레이저의 경우 다른 광원들에 비해 단색성과 직진성이 뛰어나고 밝기 또한 강하여 간섭을 최소화 할 수 있어 3차원 레이저 스캐너로 활용되고 있으며, 거리 측정센서는 시간 지연 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(TOF; Time Of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 방식으로 활용된다.The conventional three-dimensional stereoscopic image or holography implementation method has been performed by implementing a distance map using a distance sensor and a laser. Specifically, the laser is used as a 3D laser scanner because it has excellent monochromaticity and straightness compared to other light sources, and also has strong brightness, which minimizes interference. The time difference of arrival (TOF) is divided by the traveling speed of the ultrasonic wave, and converted into a distance to obtain 3D information.

그러나, 전술한 종래 기술은 적외선 센서, 초음파 센서, 레이저 등의 별도 소자가 필요한 단점이 있고, 이러한 별도 소자는 3차원 카메라의 크기를 키우는 요인이된다. 그리고, 피사체로부터 거리가 멀어질수록 추정치의 영역은 기하급수적으로 증가하게 되므로 피사체 영상의 전 영역 거리맵 구현에 한계가 있다.However, the above-described prior art has a disadvantage in that a separate element such as an infrared sensor, an ultrasonic sensor, a laser, etc. is required, and this separate element becomes a factor for increasing the size of the 3D camera. Further, as the distance from the subject increases, the area of the estimate increases exponentially, and thus there is a limit to the implementation of the entire area distance map of the subject image.

따라서, 3차원 카메라에 별도의 소자 등이 구비되지 않고도 피사체 영상을 토대로 피사체 영상의 깊이정보를 획득할 수 있는 장치 및 방법의 필요성이 대두된다.Accordingly, there is a need for an apparatus and method for acquiring depth information of a subject image based on the subject image without providing a separate device or the like in the three-dimensional camera.

본 발명은 3차원 카메라의 픽셀 블록별 초점거리를 이용하여 피사체 영상 전 영역의 깊이정보를 추출할 수 있는 영상의 깊이정보 추출이 가능한 3차원 카메라, 영상의 깊이정보 추출방법 및 그 추출방법의 기록매체를 제공하고자 한다.The present invention is a three-dimensional camera capable of extracting the depth information of the image that can extract the depth information of the entire area of the subject image using the focal length for each pixel block of the three-dimensional camera, recording the depth information extraction method of the image and its extraction method To provide a medium.

본 발명은 입체영상을 위한 영상의 깊이정보 추출이 가능한 3차원 카메라에 있어서, 피사체로부터 나온 광이 투과되는 렌즈; 렌즈의 위치별 초점거리 값이 저장되는 초점거리 정보 저장부; 광을 수신하여 렌즈의 이동변위에 따른 피사체 영상을 생성하는 이미지센서; 생성된 피사체 영상에서 픽셀 블록별로 최고 선명도 위치를 획득하고, 최고 선명도 위치에 대응하는 렌즈의 이동변위를 획득하는 초점거리 연산부; 및 렌즈의 위치별 초점거리 값 및 이동변위에 기반하여 픽셀 블록별 초점거리 값을 획득하고, 픽셀 블록별 초점거리 값에 대응하는 피사체 영상의 깊이정보를 획득하는 깊이정보 연산부;를 포함하는 영상의 깊이정보 추출이 가능한 3차원 카메라를 제공한다.The present invention provides a three-dimensional camera capable of extracting depth information of an image for a stereoscopic image, comprising: a lens through which light from a subject is transmitted; A focal length information storage unit for storing a focal length value for each position of the lens; An image sensor receiving light and generating a subject image according to a displacement of the lens; A focal length calculator configured to obtain a highest sharpness position for each pixel block in the generated subject image and to obtain a shift of a lens corresponding to the highest sharpness position; And a depth information calculator configured to obtain a focal length value for each pixel block based on the focal length value and movement displacement of each lens and obtain depth information of a subject image corresponding to the focal length value for each pixel block. Provides a 3D camera capable of extracting depth information.

최고 선명도 위치는 픽셀 블록에 대응되는 피사체 영상의 고주파 성분이 최고가 되는 렌즈의 위치일 수 있다.The highest sharpness position may be a position of the lens at which the high frequency component of the subject image corresponding to the pixel block becomes the highest.

렌즈의 위치별 초점거리 값은 렌즈의 최소 이동변위부터 최대 이동변위까지에 각 대응하는 초점거리 맵 정보일 수 있다.The focal length value for each position of the lens may be focal length map information corresponding to each of the lens from the minimum displacement to the maximum displacement.

피사체 영상의 깊이정보는 렌즈로부터 피사체까지의 거리정보일 수 있다.Depth information of the subject image may be distance information from the lens to the subject.

피사체 영상의 깊이정보는 피사체 영상을 구성하는 전체 픽셀 블록에 대응하는 초점거리 맵 정보일 수 있다.The depth information of the subject image may be focal length map information corresponding to all pixel blocks constituting the subject image.

초점거리 정보 저장부는 비휘발성 메모리를 포함할 수 있다.The focal length information storage unit may include a nonvolatile memory.

렌즈의 위치를 변화시키기 위해 렌즈에 변위 구동력을 전달하는 액추에이터를 더 포함할 수 있다.It may further include an actuator for transmitting a displacement driving force to the lens to change the position of the lens.

한편, 본 발명은 다른 카테고리로서, 입체영상을 위한 영상의 깊이정보 추출방법에 있어서, 초점거리 정보 저장부에 렌즈의 위치별 초점거리 값이 저장되는 단계(S10); 이미지센서가 렌즈의 이동변위에 따른 피사체 영상을 생성하는 단계(S20); 초점거리 연산부가 생성된 피사체 영상에서 픽셀 블록별로 최고 선명도 위치를 획득하는 단계(S30); 초점거리 연산부가 최고 선명도 위치에 대응하는 렌즈의 이동변위를 획득하는 단계(S40); 깊이정보 연산부가 렌즈의 위치별 초점거리 값 및 이동변위에 기반하여 픽셀 블록별 초점거리 값을 획득하는 단계(S50); 및 깊이정보 연산부가 픽셀 블록별 초점거리 값에 대응하는 피사체 영상의 깊이정보를 획득하는 단계(S60);를 포함하는 영상의 깊이정보 추출방법을 제공한다.In another aspect, the present invention provides a method for extracting depth information of an image for a stereoscopic image, comprising: storing focal length values for respective positions of lenses in a focal length information storage unit (S10); Generating, by the image sensor, a subject image according to the displacement of the lens (S20); Acquiring the highest sharpness position for each pixel block in the generated subject image in operation S30; Acquiring a displacement of the lens corresponding to the highest sharpness position by the focal length calculator (S40); Obtaining, by the depth information calculator, a focal length value for each pixel block based on a focal length value and a movement displacement of each lens (S50); And obtaining depth information of the subject image corresponding to the focal length value of each pixel block (S60) by the depth information calculator.

또한, 본 발명은 영상의 깊이정보 추출방법을 실행하기 위한 컴퓨터 판독가능한 프로그램이 기록된 기록매체를 제공한다.The present invention also provides a recording medium having a computer readable program recorded thereon for executing a method for extracting depth information of an image.

본 발명의 일 실시예에 의하면, 렌즈의 이동변위에 따라 이미지센서에서 생성된 피사체 영상을 그대로 이용하여 영상의 깊이정보를 획득할 수 있으므로 별도의 소자가 필요하지 않으므로 3차원 카메라의 부피 및 단가를 줄일 수 있다.According to an embodiment of the present invention, since the depth information of the image can be obtained by using the subject image generated by the image sensor according to the displacement of the lens, a separate element is not required and thus the volume and unit cost of the 3D camera can be determined. Can be reduced.

또한, 피사체 영상의 전 영역에 대한 깊이정보를 얻을 수 있다.In addition, depth information of the entire area of the subject image may be obtained.

도 1은 본 발명인 영상의 깊이정보 추출이 가능한 3차원 카메라 일 실시예의 구성을 나타낸 구성도,
도 2는 본 발명인 영상의 깊이정보 추출방법 일 실시예를 순차적으로 나타낸 순서도이다.1 is a block diagram showing the configuration of an embodiment of a three-dimensional camera capable of extracting depth information of the present inventors image,
2 is a flowchart sequentially illustrating an embodiment of a method for extracting depth information of an image of the present invention.

<영상의 깊이정보 추출이 가능한 3차원 카메라><3D camera capable of extracting depth information from images>

도 1은 본 발명인 영상의 깊이정보 추출이 가능한 3차원 카메라 일 실시예의 구성을 나타낸 구성도이다. 도 1에 도시된 바와 같이, 본 발명인 3차원 카메라 일 실시예는 렌즈(5), 초점거리 정보 저장부(10), 이미지센서(20), 초점거리 연산부(30) 및 깊이정보 연산부(40)를 포함한다.1 is a block diagram showing the configuration of an embodiment of a three-dimensional camera capable of extracting depth information of an image of the present invention. As shown in FIG. 1, in one embodiment of the present invention, the 3D camera includes a lens 5, a focal length information storage unit 10, an image sensor 20, a focal length calculator 30, and a depth information calculator 40. It includes.

본 발명인 3차원 카메라 일 실시예는 렌즈(5)를 통해 피사체로부터 나온 광을 수신한 이미지센서(20)가 렌즈(5)의 위치별 피사체 영상을 생성하고, 초점거리 연산부(30)가 렌즈(5)의 이동변위에 따른 피사체 영상의 픽셀 블록별 초점거리를 연산하면, 깊이정보 연산부(40)가 피사체 영상의 픽셀 블록별 초점거리에 대응하는 피사체 영상의 깊이정보를 획득하도록 작용한다.In one embodiment of the present invention, the three-dimensional camera generates an image of a subject for each position of the lens 5 by the image sensor 20 that receives the light from the subject through the lens 5, and the focal length calculator 30 includes the lens ( When the focal length of each pixel block of the subject image is calculated according to the displacement of 5), the depth information calculator 40 operates to acquire depth information of the subject image corresponding to the focal length of each pixel block of the subject image.

이하, 도 1을 참조하여 본 실시예 구성에 대해 상술한다.Hereinafter, with reference to FIG. 1, the structure of this embodiment is explained in full detail.

렌즈(5)는 피사체로부터 나온 광을 굴절시켜 투과되도록 하여 하기의 이미지센서(20)에 상을 맺도록 하는 역할을 한다. 이러한 렌즈(5)는 초점조절용 렌즈로서 이미지센서(20)에 대해 최소 변위부터 최대 변위까지 구동된다. 이러한 렌즈(5)의 구동을 위해 소정 구동신호를 입력받아 구동력을 렌즈(5)에 전달하는 액추에이터(50)가 더 포함될 수 있으며, 이러한 액추에이터(5)는 VCM(Voice Coil Motor) 액추에이터 또는 MEMS(Microelectromechanical Systems) 액추에이터일 수 있다.The lens 5 serves to form an image on the image sensor 20 to be transmitted by refracting the light from the subject. The lens 5 is driven from the minimum displacement to the maximum displacement with respect to the image sensor 20 as a focusing lens. The actuator 50 may further include an actuator 50 for receiving a predetermined driving signal for driving the lens 5, and transmitting a driving force to the lens 5. The actuator 5 may include a voice coil motor (VCM) actuator or a MEMS ( Microelectromechanical Systems) actuators.

초점거리 정보 저장부(10)는 렌즈(5)의 위치별 초점거리 값을 저장하는 역할을 한다. 렌즈(5)의 위치별 초점거리 값은 기 저장되어 피사체 영상의 깊이정보 연산에 활용될 수 있으며, 렌즈(5)의 최소 이동변위부터 최대 이동변위까지에 각 대응하는 초점거리 맵 정보로 저장될 수 있다. 이러한 초점거리 정보 저장부(10)는 비휘발성 기억 장치(non-volatile memory)를 포함하여 구성될 수 있다.The focal length information storage unit 10 stores a focal length value for each position of the lens 5. The focal length value of each position of the lens 5 may be stored and used to calculate depth information of the subject image, and may be stored as focal length map information corresponding to each of the minimum displacement and the maximum displacement of the lens 5. Can be. The focal length information storage unit 10 may include a non-volatile memory.

이미지센서(20)는 광을 수신하여 렌즈(5)의 이동변위에 따른 피사체 영상을 생성하는 역할을 한다. 이러한 이미지센서(20) CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서가 사용될 수 있다.The image sensor 20 receives light and generates a subject image according to the displacement of the lens 5. The image sensor 20 may be a Charge-Coupled Device (CCD) sensor or a Complementary Metal-Oxide-Semiconductor (CMOS) sensor.

초점거리 연산부(30)는 생성된 피사체 영상에서 픽셀 블록별로 최고 선명도 위치를 획득하고, 최고 선명도 위치에 대응하는 렌즈(5)의 이동변위를 획득하는 역할을 한다.The focal length calculator 30 acquires the highest sharpness position for each pixel block in the generated subject image, and acquires the displacement of the lens 5 corresponding to the highest sharpness position.

여기서, 최고 선명도 위치는 픽셀 블록에 대응되는 피사체 영상의 고주파 성분이 최고가 되는 렌즈(5)의 위치이며, 피사체 영상을 구성하는 각 씬(scene)의 에지 스코어(edge score)를 연산함으로써 최고 선명도를 판별할 수 있다. 피사체 영상을 구성하는 픽셀 블록마다 최고 선명도 위치가 개별적으로 획득되며, 이에 대응하는 액추에이터(50)의 구동변위 정보를 수신함으로써 렌즈(5)의 이동변위를 획득할 수 있다.Here, the highest sharpness position is the position of the lens 5 where the high frequency component of the subject image corresponding to the pixel block is the highest, and the highest sharpness is calculated by calculating an edge score of each scene constituting the subject image. Can be determined. The highest sharpness position is individually obtained for each pixel block constituting the subject image, and the movement displacement of the lens 5 may be acquired by receiving driving displacement information of the actuator 50 corresponding thereto.

깊이정보 연산부(40)는 렌즈(5)의 위치별 초점거리 값 및 이동변위에 기반하여 픽셀 블록별 초점거리 값을 연산하고, 픽셀 블록별 초점거리 값에 대응하는 피사체 영상의 깊이정보를 획득하는 역할을 한다. 이동변위는 소정 스텝 레인지(step range)를 갖는 DAC(Diagital AF Code) 코드로 나타낼 수 있다. 즉, 예를 들어, DAC 코드와 이동변위를 비례관계로 하여 이동변위를 DAC 코드로 나타내게 된다.The depth information calculator 40 calculates a focal length value for each pixel block based on the focal length value and movement displacement for each position of the lens 5 and obtains depth information of the subject image corresponding to the focal length value for each pixel block. Play a role. The movement displacement may be represented by a digital AF code (DAC) code having a predetermined step range. That is, for example, the displacement displacement is represented as a DAC code by a proportional relationship between the DAC code and the displacement.

여기서, 피사체 영상의 깊이정보는 렌즈(5)로부터 피사체까지의 거리정보로서 피사체 영상을 구성하는 전체 픽셀 블록에 대응하여 초점거리 맵 정보로 구해진다. 렌즈(5)의 위치별 초점거리 값은 피사체와 렌즈(5) 사이의 피사체 거리 정보를 포함하고 있으므로, 픽셀 블록별 초점거리 값은 결국 피사체 영상의 픽셀 블록별 깊이정보를 의미한다. 또한, 이러한 피사체 영상의 깊이정보도 전술한 이동변위와 같이 디지털 정보로 나타낼 수 있다.
Here, the depth information of the subject image is obtained as focal length map information corresponding to all pixel blocks constituting the subject image as distance information from the lens 5 to the subject. Since the focal length value of each position of the lens 5 includes subject distance information between the subject and the lens 5, the focal length value of each pixel block means depth information of each pixel block of the subject image. In addition, the depth information of the subject image may be represented as digital information as described above.

<영상의 깊이정보 추출방법><Image depth information extraction method>

도 2는 본 발명인 영상의 깊이정보 추출방법 일 실시예를 순차적으로 나타낸 순서도이다. 도 2에 도시된 바와 같이, 본 발명인 영상의 깊이정보 추출방법의 일 실시예는 우선, 초점거리 정보 저장부(10)에 렌즈(5)의 위치별 초점거리 값이 저장된다(S10). 렌즈(5)의 위치별 초점거리 값은 피사체 영상의 깊이정보를 획득하기 위해 필요한 정보로서, 룩업 테이블과 같은 형태로 피사체 촬영 전 비휘발성 기억장치 등에 저장되어 질 수 있다.2 is a flowchart sequentially illustrating an embodiment of a method for extracting depth information of an image of the present invention. As shown in FIG. 2, in an embodiment of the method of extracting depth information of an image of the present invention, first, a focal length value for each position of the lens 5 is stored in the focal length information storage unit 10 (S10). The focal length value for each position of the lens 5 is information necessary for obtaining depth information of a subject image, and may be stored in a nonvolatile memory device before photographing a subject in the form of a lookup table.

다음, 이미지센서가 렌즈(5)의 이동변위에 따른 피사체 영상을 생성한다(S20). 여기서 렌즈(5)의 이동변위는 최소 변위부터 최대 변위까지 이동하는 변위이며, DAC 코드와 같은 디지털 코드로 나타낼 수 있다.Next, the image sensor generates a subject image according to the displacement of the lens 5 (S20). Herein, the displacement of the lens 5 is a displacement moving from the minimum displacement to the maximum displacement, and may be represented by a digital code such as a DAC code.

다음, 초점거리 연산부(30)가 생성된 피사체 영상에서 픽셀 블록별로 최고 선명도 위치를 획득하는 한다(S30). 최고 선명도 위치는 각 픽셀 블록별로 다양하게 획득될 수 있으며, 그 최고 선명도 위치에서 해당 픽셀 블록의 초점거리가 형성됨을 의미한다.Next, the focal length calculator 30 acquires the highest sharpness position for each pixel block in the generated subject image (S30). The highest sharpness position may be obtained in various ways for each pixel block, which means that a focal length of the pixel block is formed at the highest sharpness position.

다음, 초점거리 연산부(30)가 최고 선명도 위치에 대응하는 렌즈(5)의 이동변위를 획득한다(S40). 렌즈(5)의 이동변위는 액추에이터(50)의 구동력에 의한 결과이므로 액추에이터(50)의 이동변위로부터 알 수 있으며, DAC 코드로 나타낼 수 있다.Next, the focal length calculator 30 acquires the displacement of the lens 5 corresponding to the highest sharpness position (S40). Since the displacement of the lens 5 is a result of the driving force of the actuator 50, it can be known from the displacement of the actuator 50 and can be represented by a DAC code.

다음, 깊이정보 연산부(40)가 렌즈(5)의 위치별 초점거리 값 및 이동변위에 기반하여 픽셀 블록별 초점거리 값을 획득한다(S50). 즉, 기 저장된 렌즈(5)의 위치별 초점거리 값을 참조하여 렌즈(5)의 이동변위를 토대로 각 픽셀 블록별 초점거리 값을 획득하게 되는 것이다.Next, the depth information calculator 40 obtains a focal length value for each pixel block based on the focal length value and the movement displacement of the lens 5 (S50). That is, the focal length value for each pixel block is obtained based on the displacement of the lens 5 with reference to the focal length value for each position of the lens 5 previously stored.

마지막으로, 깊이정보 연산부(40)가 픽셀 블록별 초점거리 값에 대응하는 피사체 영상의 깊이정보를 획득함으로써(S60) 피사체 영상의 깊이정보 추출방법의 일 실시예가 수행될 수 있다. 여기서, 피사체 영상의 깊이정보는 피사체로부터 렌즈(5)간의 거리정보이므로 픽셀 블록별 초점거리 값은 결국, 각 픽셀 블록마다의 깊이정보를 의미한다.Finally, the depth information calculator 40 may acquire depth information of the subject image corresponding to the focal length value of each pixel block (S60), and thus, an embodiment of the method of extracting depth information of the subject image may be performed. Here, since the depth information of the subject image is distance information between the lens 5 and the subject, the focal length value for each pixel block means depth information for each pixel block.

전술한, 피사체 영상의 깊이정보 추출방법은 컴퓨터 판독가능한 프로그램으로 작성되어 실행가능하므로 이러한 프로그램이 기록된 기록매체는 본 발명의 일 실시예에 포함될 수 있다.Since the above-described method of extracting depth information of a subject image is made and executable by a computer readable program, a recording medium on which such a program is recorded may be included in one embodiment of the present invention.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 한다. 아울러, 본 발명의 범위는 상기의 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어진다. 또한, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood that the invention may be practiced. Therefore, the embodiments described above are to be understood as illustrative and not restrictive in all aspects. In addition, the scope of the present invention is indicated by the appended claims rather than the detailed description above. Also, it is to be construed that all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts are included in the scope of the present invention.

5: 렌즈
10: 초점거리 정보 저장부
20: 이미지센서
30: 초점거리 연산부
40: 깊이정보 연산부
50: 액추에이터5: lens
10: focal length information storage unit
20: image sensor
30: focal length calculator
40: depth information calculator
50: actuator

Claims (9)

입체영상을 위한 영상의 깊이정보 추출이 가능한 3차원 카메라에 있어서,
피사체로부터 나온 광이 투과되는 렌즈;
상기 렌즈의 위치별 초점거리 값이 저장되는 초점거리 정보 저장부;
상기 광을 수신하여 상기 렌즈의 이동변위에 따른 피사체 영상을 생성하는 이미지센서;
상기 생성된 피사체 영상에서 픽셀 블록별로 최고 선명도 위치를 획득하고, 상기 최고 선명도 위치에 대응하는 상기 렌즈의 이동변위를 획득하는 초점거리 연산부; 및
상기 렌즈의 위치별 초점거리 값 및 상기 이동변위에 기반하여 상기 픽셀 블록별 초점거리 값을 획득하고, 상기 픽셀 블록별 초점거리 값에 대응하는 상기 피사체 영상의 깊이정보를 획득하는 깊이정보 연산부;를 포함하는 영상의 깊이정보 추출이 가능한 3차원 카메라.
In a three-dimensional camera capable of extracting depth information of an image for a stereoscopic image,
A lens through which light from the subject is transmitted;
A focal length information storage unit for storing a focal length value for each position of the lens;
An image sensor receiving the light and generating a subject image according to a displacement of the lens;
A focal length calculator configured to obtain the highest sharpness position for each pixel block in the generated subject image and to obtain a displacement of the lens corresponding to the highest sharpness position; And
A depth information calculator configured to obtain a focal length value for each pixel block based on the focal length value for each position of the lens and the movement displacement, and to obtain depth information of the subject image corresponding to the focal length value for each pixel block; Three-dimensional camera capable of extracting the depth information of the included image.
제 1항에 있어서,
상기 최고 선명도 위치는 상기 픽셀 블록에 대응되는 피사체 영상의 고주파 성분이 최고가 되는 상기 렌즈의 위치인 영상의 깊이정보 추출이 가능한 3차원 카메라.
The method of claim 1,
Wherein the highest sharpness position is a position of the lens at which a high frequency component of a subject image corresponding to the pixel block is the highest;
제 1항에 있어서,
상기 렌즈의 위치별 초점거리 값은 상기 렌즈의 최소 이동변위부터 최대 이동변위까지에 각 대응하는 초점거리 맵 정보인 영상의 깊이정보 추출이 가능한 3차원 카메라.
The method of claim 1,
The focal length value for each position of the lens is a three-dimensional camera capable of extracting depth information of an image, which is focal length map information corresponding to each of the minimum displacement and the maximum displacement.
제 1항에 있어서,
상기 피사체 영상의 깊이정보는 상기 렌즈로부터 상기 피사체까지의 거리정보인 영상의 깊이정보 추출이 가능한 3차원 카메라.
The method of claim 1,
The depth information of the subject image is a three-dimensional camera capable of extracting the depth information of the image that is the distance information from the lens to the subject.
제 1항에 있어서,
상기 피사체 영상의 깊이정보는 상기 피사체 영상을 구성하는 전체 픽셀 블록에 대응하는 초점거리 맵 정보인 영상의 깊이정보 추출이 가능한 3차원 카메라.
The method of claim 1,
The depth information of the subject image is a three-dimensional camera capable of extracting the depth information of the image that is the focal length map information corresponding to the entire pixel block constituting the subject image.
제 1항에 있어서,
상기 초점거리 정보 저장부는 비휘발성 메모리를 포함하는 영상의 깊이정보 추출이 가능한 3차원 카메라.
The method of claim 1,
The focal length information storage unit can extract depth information of an image including a nonvolatile memory.
제 1항에 있어서,
상기 렌즈의 위치를 변화시키기 위해 상기 렌즈에 변위 구동력을 전달하는 액추에이터를 더 포함하는 영상의 깊이정보 추출이 가능한 3차원 카메라.
The method of claim 1,
And an actuator for transmitting a displacement driving force to the lens to change the position of the lens. 3D camera capable of extracting depth information of an image.
입체영상을 위한 영상의 깊이정보 추출방법에 있어서,
초점거리 정보 저장부에 렌즈의 위치별 초점거리 값이 저장되는 단계(S10);
이미지센서가 상기 렌즈의 이동변위에 따른 피사체 영상을 생성하는 단계(S20);
초점거리 연산부가 상기 생성된 피사체 영상에서 픽셀 블록별로 최고 선명도 위치를 획득하는 단계(S30);
상기 초점거리 연산부가 상기 최고 선명도 위치에 대응하는 상기 렌즈의 이동변위를 획득하는 단계(S40);
깊이정보 연산부가 상기 렌즈의 위치별 초점거리 값 및 상기 이동변위에 기반하여 상기 픽셀 블록별 초점거리 값을 획득하는 단계(S50); 및
상기 깊이정보 연산부가 상기 픽셀 블록별 초점거리 값에 대응하는 상기 피사체 영상의 깊이정보를 획득하는 단계(S60);를 포함하는 영상의 깊이정보 추출방법.
In the depth information extraction method of an image for a stereoscopic image,
Storing focal length values of respective positions of the lens in the focal length information storage unit (S10);
Generating, by the image sensor, a subject image according to the displacement of the lens (S20);
Obtaining, by a focal length calculator, the highest sharpness position for each pixel block in the generated subject image (S30);
Acquiring, by the focal length calculator, a displacement of the lens corresponding to the highest sharpness position (S40);
Obtaining, by a depth information calculating unit, a focal length value for each pixel block based on the focal length value for each position of the lens and the movement displacement (S50); And
And obtaining, by the depth information calculator, depth information of the subject image corresponding to the focal length value of each pixel block (S60).
제 8항에 따른 영상의 깊이정보 추출방법을 실행하기 위한 컴퓨터 판독가능한 프로그램이 기록된 기록매체.A recording medium having recorded thereon a computer readable program for executing the depth information extraction method of claim 8.
KR1020100125733A 2010-12-09 2010-12-09 3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof KR101752799B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100125733A KR101752799B1 (en) 2010-12-09 2010-12-09 3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100125733A KR101752799B1 (en) 2010-12-09 2010-12-09 3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof

Publications (2)

Publication Number Publication Date
KR20120064477A true KR20120064477A (en) 2012-06-19
KR101752799B1 KR101752799B1 (en) 2017-06-30

Family

ID=46684579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125733A KR101752799B1 (en) 2010-12-09 2010-12-09 3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof

Country Status (1)

Country Link
KR (1) KR101752799B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126044A1 (en) * 2014-02-19 2015-08-27 삼성전자주식회사 Method for processing image and electronic apparatus therefor
KR20160038923A (en) * 2014-09-30 2016-04-08 전자부품연구원 Scanner for oral cavity having No-moving variable focus optics and Oral cavity scanning method thereof
CN107749938A (en) * 2017-10-20 2018-03-02 长安大学 A kind of monocular multi-focus stereo vision apparatus for robot three-dimensional environment sensing
WO2018074823A1 (en) * 2016-10-20 2018-04-26 (주)하이모 Portable scanner and scanning method thereof
CN113438388A (en) * 2021-07-06 2021-09-24 Oppo广东移动通信有限公司 Processing method, camera assembly, electronic device, processing device and medium

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126044A1 (en) * 2014-02-19 2015-08-27 삼성전자주식회사 Method for processing image and electronic apparatus therefor
US10674066B2 (en) 2014-02-19 2020-06-02 Samsung Electronics Co., Ltd. Method for processing image and electronic apparatus therefor
KR20160038923A (en) * 2014-09-30 2016-04-08 전자부품연구원 Scanner for oral cavity having No-moving variable focus optics and Oral cavity scanning method thereof
WO2018074823A1 (en) * 2016-10-20 2018-04-26 (주)하이모 Portable scanner and scanning method thereof
US10798263B2 (en) 2016-10-20 2020-10-06 Himo, Inc. Portable scanner and scanning method thereof
CN107749938A (en) * 2017-10-20 2018-03-02 长安大学 A kind of monocular multi-focus stereo vision apparatus for robot three-dimensional environment sensing
CN113438388A (en) * 2021-07-06 2021-09-24 Oppo广东移动通信有限公司 Processing method, camera assembly, electronic device, processing device and medium

Also Published As

Publication number Publication date
KR101752799B1 (en) 2017-06-30

Similar Documents

Publication Publication Date Title
KR102130756B1 (en) Auto focus adjusting method and auto focus adjusting apparatus
JP6415179B2 (en) Image processing apparatus, image processing method, imaging apparatus, and control method thereof
KR101888956B1 (en) Camera module and auto-focusing method thereof
JP2014168227A (en) Image processing apparatus, imaging apparatus, and image processing method
JP6518452B2 (en) Imaging apparatus and imaging method
CN106998413A (en) Image processing equipment, picture pick-up device and image processing method
JP2015094925A (en) Focus adjustment device, focus adjustment method and program, and imaging device having focus adjustment device
US20120257091A1 (en) Digital image photographing apparatus and method of controlling the same
KR20120064477A (en) 3d camera capable of acquiring depth information, acquisition method of depth information and the recording medium thereof
TW201541141A (en) Auto-focus system for multiple lens and method thereof
JP2018174502A (en) Imaging apparatus, image processing apparatus, control method of imaging apparatus, and program
CN110246188B (en) Internal reference calibration method and device for TOF camera and camera
JP2018074361A (en) Imaging apparatus, imaging method, and program
JP6395429B2 (en) Image processing apparatus, control method thereof, and storage medium
JP2015175982A (en) Image processor, image processing method, and program
JP6881909B2 (en) Image pickup device and its control method, and image processing device and method
JP6486453B2 (en) Image processing apparatus, image processing method, and program
JP5430077B2 (en) Imaging apparatus, control method therefor, and program
JP5001960B2 (en) 3D image display apparatus and method
JP2019168661A (en) Controller, imaging unit, method for control, program, and storage medium
JP2013118472A (en) Image processing apparatus, imaging apparatus and image processing program
JP5157673B2 (en) Imaging apparatus, focus position display method, and focus position display program
CN114514735B (en) Electronic apparatus and method of controlling the same
JP2007166442A (en) Imaging device
US20150262339A1 (en) Image processing apparatus, image processing system, and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant