KR102284673B1 - Sensor module and 3d image camera including the same - Google Patents

Sensor module and 3d image camera including the same Download PDF

Info

Publication number
KR102284673B1
KR102284673B1 KR1020200063037A KR20200063037A KR102284673B1 KR 102284673 B1 KR102284673 B1 KR 102284673B1 KR 1020200063037 A KR1020200063037 A KR 1020200063037A KR 20200063037 A KR20200063037 A KR 20200063037A KR 102284673 B1 KR102284673 B1 KR 102284673B1
Authority
KR
South Korea
Prior art keywords
light source
light
time period
frame
reflected
Prior art date
Application number
KR1020200063037A
Other languages
Korean (ko)
Other versions
KR20200064966A (en
Inventor
정성기
서은성
이기석
이명욱
이세규
한경하
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140011596A external-priority patent/KR102117561B1/en
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020200063037A priority Critical patent/KR102284673B1/en
Publication of KR20200064966A publication Critical patent/KR20200064966A/en
Priority to KR1020210098559A priority patent/KR102464830B1/en
Application granted granted Critical
Publication of KR102284673B1 publication Critical patent/KR102284673B1/en
Priority to KR1020220145152A priority patent/KR20220155242A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2256—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Holo Graphy (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 일 실시 예에 따르면 센서 모듈은, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터(actuator), 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다. According to an embodiment of the present invention, the sensor module includes a light source for irradiating light to an object, a holographic element disposed between the light source and the object, and adjusting an irradiation area of the light source, in the first and second frame periods. An actuator for driving the holographic element, a light receiving lens for receiving reflected light reflected by the object, and a light receiving lens to receive the reflected light through the light receiving lens so that the irradiation area of the holographic element is different, the first and and a sensor unit for outputting first and second image signals in synchronization with each of the second frame periods.

Description

센서 모듈 및 이를 포함하는 3차원 영상{SENSOR MODULE AND 3D IMAGE CAMERA INCLUDING THE SAME}Sensor module and three-dimensional image including the same {SENSOR MODULE AND 3D IMAGE CAMERA INCLUDING THE SAME}

본 발명은 센서 모듈 및 이를 포함하는 3차원 영상 카메라에 관한 것이다. The present invention relates to a sensor module and a three-dimensional image camera including the same.

비행시간(Time of Flight, TOF) 센서는 광원에서 방출되는 광이 물체에 의해 반사되어 돌아오는 것을 감지하는 센서이다. TOF 센서는 깊이 정보(depth image)를 생성하는 3차원 영상 카메라와 연결되어, 특정 물체까지의 거리를 산출하거나 물체의 움직임을 인식하기 위해 사용될 수 있다. A time of flight (TOF) sensor is a sensor that detects that light emitted from a light source is reflected back by an object. The TOF sensor may be used to calculate a distance to a specific object or recognize a motion of an object by being connected to a 3D image camera that generates depth image.

한편, 3차원 영상 카메라를 이용하여 물체의 움직임을 인식함에 있어, MOS(Minimum Object Size)는 중요한 요소로 작용한다. MOS는 센서로부터 추출한 깊이 영상(depth image)의 해상력에 따라서 달라질 수 있다. On the other hand, in recognizing the movement of an object using a 3D image camera, MOS (Minimum Object Size) acts as an important factor. The MOS may vary depending on the resolution of a depth image extracted from the sensor.

따라서, 움직임 인식 성능을 향상시키기 위해서는 깊이 영상의 해상력을 향상시킬 필요가 있다. Therefore, in order to improve the motion recognition performance, it is necessary to improve the resolution of the depth image.

한편, TOF 센서의 구동을 위해 사용하는 광원의 경우, 광의 발산각 조절이 어려워, 센서의 화각을 벗어나는 영역에도 광이 조사되고 이로 인해 광손실이 발생하는 문제가 있다. 또한, 필요한 광량을 얻기 위해 다수의 발광소자를 사용하고 있어 3차원 카메라의 전체적인 사이즈가 증가하는 문제가 있다. On the other hand, in the case of a light source used for driving a TOF sensor, it is difficult to control the angle of divergence of light, so there is a problem that light is irradiated even to an area outside the angle of view of the sensor, resulting in light loss. In addition, there is a problem in that the overall size of the 3D camera increases because a plurality of light emitting devices are used to obtain a required amount of light.

본 발명이 이루고자 하는 기술적 과제는, 해상도가 향상된 깊이 영상을 제공하기 위한 센서 모듈 및 이를 포함하는 3차원 영상 카메라를 제공하는 것이다. An object of the present invention is to provide a sensor module for providing a depth image with improved resolution and a three-dimensional image camera including the same.

본 발명의 일 실시 예에 따르면 센서 모듈은, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터(actuator), 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다. According to an embodiment of the present invention, the sensor module includes a light source for irradiating light to an object, a holographic element disposed between the light source and the object, and adjusting an irradiation area of the light source, in the first and second frame periods. An actuator for driving the holographic element, a light receiving lens for receiving reflected light reflected by the object, and a light receiving lens to receive the reflected light through the light receiving lens so that the irradiation area of the holographic element is different, the first and and a sensor unit for outputting first and second image signals in synchronization with each of the second frame periods.

본 발명의 다른 실시 예에 따르면 센서 모듈은, 서로 이격 배치되며, 물체로 광을 조사하는 제1 및 제2광원, 상기 제1 및 제2광원과 상기 물체 사이에 각각 배치되며, 상기 제1 및 제2광원의 조사영역이 서로 다르도록, 상기 제1 및 제2광원의 조사영역을 조절하는 제1 및 제2홀로그래픽 소자, 제1프레임주기에는 상기 제1광원이 발광하고, 제2프레임주기에는 상기 제2광원이 발광하도록, 상기 제1 및 제2광원의 점등을 제어하는 제어부, 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다. According to another embodiment of the present invention, the sensor module is spaced apart from each other, first and second light sources irradiating light to the object, respectively, disposed between the first and second light sources and the object, the first and second light sources First and second holographic elements for adjusting the irradiation area of the first and second light sources so that the irradiation area of the second light source is different from each other, the first light source emits light in a first frame period, and a second frame period A control unit for controlling lighting of the first and second light sources so that the second light source emits light, a light receiving lens for receiving reflected light reflected by the object, and a light receiving lens to receive the reflected light, and a sensor unit for outputting first and second image signals in synchronization with each of the first and second frame periods.

본 발명의 일 실시 예에 따른 3차원 영상 카메라는, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터, 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부, 상기 제1 및 제2영상신호를 신호처리하여 제1 및 제2프레임을 생성하는 신호처리부, 그리고 상기 제1 및 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서(De-interlacer)를 포함한다. A three-dimensional image camera according to an embodiment of the present invention includes a light source irradiating light to an object, a holographic element disposed between the light source and the object, and controlling an irradiation area of the light source, first and second frames An actuator for driving the holographic element, a light receiving lens for receiving reflected light reflected by the object, and a light receiving lens for receiving the reflected light through the light receiving lens so that the irradiation areas in the period are different from each other, the first and second A sensor unit for outputting first and second image signals in synchronization with each frame period, a signal processing unit for signal processing the first and second image signals to generate first and second frames, and the first and second frames It includes a de-interlacer that combines frames to generate a depth image.

본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 서로 이격 배치되며, 물체로 광을 조사하는 제1 및 제2광원, 상기 제1 및 제2의 광원과 상기 물체 사이에 각각 배치되며, 상기 제1 및 제2광원의 조사영역이 서로 다르도록, 상기 제1 및 제2광원의 조사영역을 조절하는 제1 및 제2홀로그래픽 소자, 제1프레임주기에는 상기 제1광원이 발광하고, 제2프레임주기에는 상기 제2광원이 발광하도록, 상기 제1 및 제2광원의 점등을 제어하는 제어부, 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부, 상기 제1 및 제2영상신호를 신호처리하여 제1 및 제2프레임을 생성하는 신호처리부, 그리고 상기 제1 및 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서를 포함한다.The three-dimensional image camera according to another embodiment of the present invention is spaced apart from each other, first and second light sources irradiating light to an object, respectively, disposed between the first and second light sources and the object, First and second holographic elements for adjusting the irradiation areas of the first and second light sources so that the irradiation areas of the first and second light sources are different from each other, the first light source emits light in a first frame period, and the second light source emits light. In the frame period, a control unit for controlling lighting of the first and second light sources so that the second light source emits light, a light receiving lens for receiving the reflected light reflected by the object, and the light receiving lens receive the reflected light, a sensor unit for outputting first and second image signals in synchronization with each of the first and second frame periods; a signal processing unit for signal processing the first and second image signals to generate first and second frames; and and a deinterlacer that generates a depth image by combining the first and second frames.

본 발명의 실시 예에 따르면, 홀로그래픽 소자를 사용하여 홀수 프레임주기와 짝수 프레임주기의 광원의 조사영역을 다르게 조절하고, 이에 따라 얻어지는 홀수 프레임과 짝수 프레임을 결합하여 하나의 깊이 영상을 생성함으로써 깊이 영상의 해상도를 향상시키는 효과가 있다. According to an embodiment of the present invention, by using a holographic element, the irradiation area of the light source of the odd frame cycle and the even frame cycle is differently controlled, and the odd frame and the even frame are combined to generate a single depth image. It has the effect of improving the resolution of the image.

또한, 홀로그래픽 소자를 이용하여 광 발산각을 조절함으로써, 광효율을 향상시키는 효과가 있다.In addition, by adjusting the light divergence angle using the holographic element, there is an effect of improving the light efficiency.

도 1은 본 발명의 일 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 홀로그래픽 소자에 의해 발산각 제어하는 일 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 3차원 영상 카메라의 깊이 영상 생성 방법을 도시한 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다.
도 7은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 깊이 영상을 획득하는 방법을 도시한 흐름도이다. 1 is a block diagram schematically illustrating a 3D video camera according to an embodiment of the present invention.
2 is a view for explaining an example of controlling a divergence angle by a holographic element according to an embodiment of the present invention.
3 is a diagram for explaining a method of generating a frame in synchronization with a frame period in a 3D video camera according to an embodiment of the present invention.
5 is a flowchart illustrating a method of generating a depth image of a 3D imaging camera according to an embodiment of the present invention.
6 is a block diagram schematically illustrating a 3D video camera according to another embodiment of the present invention.
7 is a diagram for explaining a method of generating a frame in synchronization with a frame period in a 3D video camera according to another embodiment of the present invention.
8 is a flowchart illustrating a method of acquiring a depth image in a 3D imaging camera according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Since the present invention may have various changes and may have various embodiments, specific embodiments will be illustrated and described in the drawings. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including an ordinal number such as second, first, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, the embodiment will be described in detail with reference to the accompanying drawings, but the same or corresponding components are given the same reference numerals regardless of reference numerals, and overlapping descriptions thereof will be omitted.

이하, 도 1 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 깊이 영상 생성방법 및 이를 수행하기 위한 센서 모듈 및 3차원 영상 카메라의 구성에 대하여 상세하게 설명하기로 한다. Hereinafter, with reference to FIGS. 1 to 5 , a method for generating a depth image according to an embodiment of the present invention, a sensor module for performing the same, and a configuration of a 3D image camera will be described in detail.

도 1은 본 발명의 일 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 홀로그래픽 소자에 의해 발산각 제어하는 일 예를 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다. 1 is a block diagram schematically illustrating a 3D video camera according to an embodiment of the present invention. 2 is a view for explaining an example of controlling a divergence angle by a holographic element according to an embodiment of the present invention. 3 is a diagram for explaining a method of generating a frame in synchronization with a frame period in a 3D video camera according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 3차원 영상 카메라는 깊이 센서 모듈(10), 신호처리부(31) 및 디인터레이서(De-interlacer, 32)를 포함할 수 있다. 도 1에 도시된 구성요소들은 필수적인 것은 아니어서, 본 발명의 일 실시 예에 따른 3차원 영상 카메라는 그 보다 더 많거나 더 적은 구성요소를 포함할 수 있다.Referring to FIG. 1 , a 3D image camera according to an embodiment of the present invention may include a depth sensor module 10 , a signal processing unit 31 , and a de-interlacer 32 . The components shown in FIG. 1 are not essential, so the 3D image camera according to an embodiment of the present invention may include more or fewer components.

깊이 센서 모듈(10)은 비행시간(Time Of Flight, TOF) 센서모듈로서, 발광부와 수광부를 포함할 수 있다. The depth sensor module 10 is a time of flight (TOF) sensor module, and may include a light emitting unit and a light receiving unit.

깊이 센서 모듈(10)의 발광부는 광원(11), 렌즈(12), 홀로그래픽(Holograhic) 소자(13), 액추에이터(actuator, 14) 및 제어부(15)를 포함할 수 있다. The light emitting unit of the depth sensor module 10 may include a light source 11 , a lens 12 , a holographic element 13 , an actuator 14 , and a controller 15 .

광원(11)은 발광소자를 포함하며, 발광소자를 구동하여 일정한 위상을 가지는 광을 물체(OB)로 조사하는 기능을 수행한다. 광원(11)은 기 설정된 프레임주기에 동기화하여 점멸을 반복하도록 동작할 수 있다. The light source 11 includes a light emitting device, and drives the light emitting device to emit light having a constant phase to the object OB. The light source 11 may operate to repeat blinking in synchronization with a preset frame period.

광원(11)에 포함되는 발광소자로는 레이저(Laser), 레이저 다이오드(Laser Diode) 등이 포함될 수 있으나, 그 외 다른 종류의 광원도 사용될 수 있다. The light emitting device included in the light source 11 may include a laser, a laser diode, or the like, but other types of light sources may also be used.

레이저 또는 레이저 다이오드로부터 조사되는 광은 발광 다이오드(Light Emitting Diode, LED)로부터 조사되는 광에 비해 상대적으로 지향성이 뛰어난 특성이 있다. 따라서, 레이저 또는 레이저 다이오드를 광원(11)으로 사용하는 경우, 발산각 및 조사영역 조절이 용이하다. Light irradiated from a laser or a laser diode has relatively superior directivity compared to light irradiated from a light emitting diode (LED). Therefore, when a laser or a laser diode is used as the light source 11, it is easy to control the divergence angle and the irradiation area.

광원(11)에서 조사되는 광의 파장은 적외선(Infrared Ray) 대역에 포함될 수있으나, 그 외 다른 파장 대역에 포함될 수도 있다. The wavelength of the light irradiated from the light source 11 may be included in an infrared (Infrared Ray) band, but may also be included in other wavelength bands.

렌즈(12)는 광원(11)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 광원(11)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. 레이저의 경우 지향성이 뛰어나나, 상대적으로 발산각이 작은 특성이 있다. 따라서, 깊이 영상을 획득하기 위해서는 물체(OB) 전체로 균일하게 광을 조사하도록 렌즈(12)를 사용할 수 있다. The lens 12 is disposed on the optical path of the light irradiated from the light source 11 , and performs a function of converting the light irradiated from the light source 11 , which is a point light source, into a surface light source. The laser has excellent directivity, but has a relatively small divergence angle. Accordingly, in order to acquire a depth image, the lens 12 may be used to uniformly irradiate light to the entire object OB.

홀로그래픽 소자(13)는 광원(11)과 물체(OB) 사이, 또는 렌즈(12)와 물체(OB) 사이에 배치되며, 광원(11)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다. The holographic element 13 is disposed between the light source 11 and the object OB or between the lens 12 and the object OB, and functions to control the divergence angle and irradiation area of the light irradiated from the light source 11 . carry out

도 2의 (a)는 광원(LED)으로부터 조사되는 광이 홀로그래픽 소자(13) 없이 물체(OB)로 조사되는 경우를 도시한 것이고, 도 2의 (b)는 광원(LD)으로부터 조사되는 광이 홀로그래픽 소자(13)에 의해 발산각이 조절되어 물체(OB)로 조사되는 경우를 도시한 것이다. Figure 2 (a) shows a case in which the light irradiated from the light source (LED) is irradiated to the object (OB) without the holographic element (13), (b) of Figure 2 is irradiated from the light source (LD) A case in which the divergence angle of light is adjusted by the holographic element 13 and irradiated to the object OB is illustrated.

도 2의 (a)를 보면, LED로부터 조사되는 광은 센서에 상이 맺히는 영역 외에 다른 영역(a1, a2)에도 조사되어, 광효율이 떨어진다. Referring to (a) of FIG. 2 , the light irradiated from the LED is irradiated to areas a1 and a2 other than the area where the image is formed on the sensor, so that the light efficiency is lowered.

반면에, 도 2의 (b)를 참조하면, LD로부터 조사되는 광은, 홀로그래픽 소자(13)에 의해 센서에 상이 맺히는 영역(화각)을 크게 벗어나지 않도록 발산각이 조절되어, 낭비되는 광이 최소화되고 광효율이 향상될 수 있다. On the other hand, referring to (b) of FIG. 2 , the divergence angle is adjusted so that the light irradiated from the LD does not largely deviate from the area (angle of view) where the image is formed on the sensor by the holographic element 13, so that wasted light is reduced. It can be minimized and the light efficiency can be improved.

한편, 렌즈(12)는 필수적인 것은 아니어서, 홀로그래픽 소자(13)에 의해 조도 균일도가 확보되는 경우에는 생략될 수도 있다. On the other hand, since the lens 12 is not essential, it may be omitted when illuminance uniformity is ensured by the holographic element 13 .

다시, 도 1을 보면, 홀로그래픽 소자(13)는 컴퓨터 홀로그램(Computer Generated Hologram, CGH) 방식으로 제조될 수 있다. 홀로그램(hologram)은 물체로부터 산란되는 정보가 담긴 물체파(signal wave)와 가간섭 참조파(reference wave)로부터 생기는 간섭패턴으로, CGH는 컴퓨터를 이용하여 이러한 간섭패턴을 수학적으로 계산하여 만드는 방식이다. Again, referring to FIG. 1 , the holographic element 13 may be manufactured using a computer generated hologram (CGH) method. A hologram is an interference pattern generated from a signal wave containing information scattered from an object and a coherent reference wave. .

홀로그래픽 소자(13)는 컴퓨터에 의해 계산된 간섭패턴을 기록매질에 기록하여 형성될 수 있다. The holographic element 13 may be formed by recording an interference pattern calculated by a computer on a recording medium.

홀로그래픽 소자(13)에서 간섭패턴이 기록되는 기록매질은 감광재료로 형성된 기판을 포함할 수 있다. 감광 재료로는 포토폴리머(photopolymer), UV 포토폴리머, 포토레지스트(photoresist), 실버 팔라이드 에멀젼(silver halide emulsion), 중크롬산 젤라틴(dichromated gelatin), 포토그래픽 에멀젼(photographic emulsion), 포토써모플라스틱(photothermoplastic), 광회절(photorefractive) 재료 등이 사용될 수 있다.The recording medium on which the interference pattern is recorded in the holographic element 13 may include a substrate formed of a photosensitive material. Examples of photosensitive materials include photopolymer, UV photopolymer, photoresist, silver halide emulsion, dichromated gelatin, photographic emulsion, and photothermoplastic. ), a photorefractive material, etc. may be used.

홀로그래픽 소자(13)는 체적 홀로그래픽(volume holographic) 소자 또는 표면 홀로그래픽(surface holographic) 소자일 수 있다. The holographic element 13 may be a volume holographic element or a surface holographic element.

체적 홀로그래픽 소자는 물체파와 참조파의 간섭으로 공간에 만들어져 있는 간섭패턴을 기록매질에 3차원적으로 기록한 홀로그래픽 광학소자이다. 반면에, 표면 홀로그래픽 소자는 물체파와 참조파의 간섭으로 공간에 만들어져 있는 간섭패턴을 기록매질의 표면에 기록한 홀로그래픽 광학소자이다. A volume holographic element is a holographic optical element that three-dimensionally records an interference pattern created in space by interference of an object wave and a reference wave on a recording medium. On the other hand, the surface holographic element is a holographic optical element in which an interference pattern created in space by interference of an object wave and a reference wave is recorded on the surface of a recording medium.

홀로그래픽 소자(13)가 표면 홀로그래픽 소자인 경우, 간섭패턴은 광원(11)으로부터 입사한 광이 출사하는 출사면에 형성될 수 있다. When the holographic element 13 is a surface holographic element, the interference pattern may be formed on the emitting surface from which the light incident from the light source 11 is emitted.

홀로그래픽 소자(13)는 액추에이터(14)에 연결되며, 액추에이터(14)에 의해 위치, 기울기(tilting) 등이 조절될 수 있다. The holographic element 13 is connected to the actuator 14 , and a position, tilting, etc. may be adjusted by the actuator 14 .

액추에이터(14)는 홀로그래픽 소자(13)를 구동하는 구동장치로서, 광원(11)의 광축(Optic Axis)을 기준으로 홀로그래픽 소자(13)의 위치, 기울기(tilting) 등을 조절할 수 있다. The actuator 14 is a driving device for driving the holographic element 13 , and may adjust a position, tilting, etc. of the holographic element 13 based on an optical axis of the light source 11 .

홀로그래픽 소자(13)의 위치, 기울기 등이 변경되면, 홀로그래픽 소자(13)를 통과한 광이 물체(OB)에 조사되는 조사영역이 이동(shift)하며, 이로 인해 물체(OB)에 의해 반사된 광이 센서부(22)의 각 셀에 맺히는 영역 또한 이동하게 된다. When the position, inclination, etc. of the holographic element 13 is changed, the irradiation area in which the light passing through the holographic element 13 is irradiated to the object OB is shifted, and thereby The area where the reflected light is focused on each cell of the sensor unit 22 also moves.

액추에이터(14)는 제어부(15)의 제어신호를 토대로, 홀로그래픽 소자(13)의조사영역이 스위칭되도록 홀로그래픽 소자(13)를 구동시킬 수 있다. 즉, 액추에이터(14)는 홀수번째 프레임주기에 홀로그래픽 소자(13)의 조사영역이, 짝수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역과 다르도록 홀로그래픽 소자(13)를 구동할 수 있다. The actuator 14 may drive the holographic element 13 so that the irradiation area of the holographic element 13 is switched based on the control signal of the controller 15 . That is, the actuator 14 drives the holographic element 13 so that the irradiation area of the holographic element 13 in the odd-numbered frame period is different from the irradiation area of the holographic element 13 in the even-numbered frame period. can

홀수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역은, 짝수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역에 비해, 센서부(22)의 한 셀에 매칭되는 영역만큼 위 또는 아래로 이동한 영역일 수 있다. 즉, 홀로그래픽 소자(13)의 조사영역은, 홀수번째 프레임주기에서의 센서부(22)의 셀에 맺히는 위치와, 짝수번째 프레임주기에서의 센서부(22)의 셀에 맺히는 위치가 하나의 셀만큼 차이나도록, 매 프레임주기마다 조절될 수 있다. 이에 따라, 동일한 지점에서 반사된 광이더라도 홀수번째 프레임주기에서 센서부(22)의 셀에 맺히는 위치와, 짝수번째 프레임주기에서 센서부(22)의 셀에 맺히는 위치가 하나의 셀만큼 차이날 수 있다.The irradiation area of the holographic element 13 in the odd-numbered frame period is higher than the irradiation area of the holographic element 13 in the even-numbered frame period by an area matching one cell of the sensor unit 22 or It may be an area moved down. That is, in the irradiation area of the holographic element 13, the position on the cell of the sensor unit 22 in the odd-numbered frame period and the position on the cell of the sensor unit 22 in the even-numbered frame period are one It can be adjusted every frame period to be different by a cell. Accordingly, even if light reflected from the same point, the position on the cell of the sensor unit 22 in the odd-numbered frame period and the position on the cell of the sensor unit 22 in the even-numbered frame period may differ by one cell. there is.

액추에이터(14)는 VCM(Voice Coil Moto) 액추에이터 또는 MEMS(Microelectromechanical Systems) 액추에이터일 수 있다.The actuator 14 may be a Voice Coil Moto (VCM) actuator or a Microelectromechanical Systems (MEMS) actuator.

제어부(15)는 기 설정된 프레임(frame)주기를 토대로 광원(11)의 온(On)/오프(Off)를 제어할 수 있다. The controller 15 may control the on/off of the light source 11 based on a preset frame cycle.

도 3을 예로 들면, 제어부(15)는 매 프레임주기마다 광원(11)이 점멸하도록, 광원(11)을 주기적으로 온(On)/오프(Off)할 수 있다. 즉, 제어부(15)는 프레임주기(T1, T2)가 시작되면 광원(11)을 온하여 광을 조사하고, 소정 시간이 흐르면 광원(11)을 오프하여 프레임주기(T1, T2)가 끝날때까지 광 조사를 중단하도록 제어하는 동작을, 매 프레임주기(T1, T2)마다 수행할 수 있다. Referring to FIG. 3 as an example, the controller 15 may periodically turn on/off the light source 11 so that the light source 11 flickers every frame period. That is, when the frame periods T1 and T2 start, the control unit 15 turns on the light source 11 to irradiate light, and when a predetermined time elapses, the control unit 15 turns off the light source 11 to end the frame periods T1 and T2. The operation of controlling to stop the light irradiation until , may be performed every frame period (T1, T2).

제어부(15)는 매 프레임주기마다 홀로그래픽 소자(13)의 조사영역이 스위칭되도록 액추에이터(14)를 제어할 수 있다. The controller 15 may control the actuator 14 so that the irradiation area of the holographic element 13 is switched every frame period.

깊이 센서 모듈(10)의 수광부는 수광렌즈(21) 및 센서부(22)를 포함할 수 있다. The light receiving unit of the depth sensor module 10 may include a light receiving lens 21 and a sensor unit 22 .

수광렌즈(21)는 물체(OB)와 센서부(22) 사이에 배치되며, 물체(OB)측으로부터 반사되는 반사광을 수광하여 센서부(22)로 입사시키는 기능을 수행한다. The light receiving lens 21 is disposed between the object OB and the sensor unit 22 , and performs a function of receiving reflected light reflected from the object OB and making it incident on the sensor unit 22 .

센서부(22)는 수광렌즈(21)를 통해 물체(OB)로부터 반사되는 반사광을 수광하고, 이를 전기신호로 변환하여 영상신호를 출력한다. The sensor unit 22 receives the reflected light reflected from the object OB through the light receiving lens 21 , converts it into an electric signal, and outputs an image signal.

센서부(22)는 복수의 셀로 이루어지며, 각 셀은 프레임을 구성하는 각 픽셀(pixel)에 대응될 수 있다. 센서부(22)는 셀 단위로 광을 수광하며, 셀 단위로 영상신호를 출력할 수 있다.The sensor unit 22 includes a plurality of cells, and each cell may correspond to each pixel constituting the frame. The sensor unit 22 may receive light in units of cells, and may output an image signal in units of cells.

센서부(22)를 구성하는 각 셀은, 광을 전기신호로 변환하는 소자를 포함할 수 있다. 각 셀은 이로 한정되는 것은 아니나, 금속산화물반도체(Metal-Oxide Semiconductor,MOS), 전하결합소자(Charge Coupled Device, CCD) 등을 포함할 수 있다.Each cell constituting the sensor unit 22 may include an element for converting light into an electrical signal. Each cell is not limited thereto, but may include a metal-oxide semiconductor (MOS), a charge coupled device (CCD), and the like.

센서부(22)는 기 설정된 프레임주기에 동기화하여 반사광을 수광하고, 이를 영상신호로 변환하여 출력할 수 있다. The sensor unit 22 may receive reflected light in synchronization with a preset frame period, convert it into an image signal, and output it.

한편, 홀로그래픽 소자(13)에 의해 매 프레임주기마다 조사영역이 스위칭됨에 따라, 센서부(22)에 상이 맺히는 위치 또한 매 프레임주기마다 스위칭될 수 있다. Meanwhile, as the irradiation area is switched at every frame period by the holographic element 13 , the position where the image is formed on the sensor unit 22 may also be switched at every frame period.

홀로그래픽 소자(13)는 엑추에이터(14)에 의해 홀수번째 프레임주기와 짝수번째 프레임주기에서 서로 다른 영역에 광을 조사한다. 이에 따라, 물체(OB)의 똑같은 위치에서 반사된 광이라도 홀수번째 프레임주기에서 센서부(22)에 상이 맺히는 위치와 짝수번째 프레임주기에서 센서부(22)에 상이 맺히는 위치가 다를 수 있다. The holographic element 13 irradiates light to different regions in the odd-numbered frame period and the even-numbered frame period by the actuator 14 . Accordingly, even in light reflected from the same position of the object OB, the position where the image is formed on the sensor unit 22 in the odd-numbered frame period and the position where the image is formed on the sensor unit 22 in the even-numbered frame period may be different.

홀수번째 프레임주기에 센서부(22)에 맺히는 상은 짝수번째 프레임주기에 센서부(22)에 맺히는 상에 비해, 한 셀만큼 위/아래로 이동하여 맺힐 수 있다. The image formed on the sensor unit 22 in the odd-numbered frame period may be formed by moving up/down by one cell compared to the image formed on the sensor unit 22 in the even-numbered frame period.

신호처리부(31)는 센서부(22)로부터 출력되는 영상신호에 대해 샘플링(sampling) 등의 신호처리를 수행하여 프레임을 생성한다. 여기서, 프레임은 복수의 픽셀을 포함하며, 각 픽셀의 픽셀값은 각 픽셀에 대응하는 영상신호로부터 획득할 수 있다. The signal processing unit 31 generates a frame by performing signal processing such as sampling on the image signal output from the sensor unit 22 . Here, the frame includes a plurality of pixels, and a pixel value of each pixel may be obtained from an image signal corresponding to each pixel.

신호처리부(31)는 프레임주기에 대응하여 센서부(22)로부터 출력되는 영상신호를 프레임으로 변환하여 출력할 수 있다. The signal processing unit 31 may convert the image signal output from the sensor unit 22 into a frame corresponding to the frame period and output the converted frame.

도 3을 예로 들면, 신호처리부(31)는 매 프레임주기마(T1, T2)다 영상신호를 프레임(5a, 5b)으로 변환하여 출력하며, 홀수번째 프레임주기(T1)와 짝수번째 프레임주기(T2)에 각각 동기화하여 홀수 프레임(5a)과 짝수 프레임(5b)을 출력할 수 있다. Taking Fig. 3 as an example, the signal processing unit 31 converts the image signal into frames 5a and 5b at every frame period T1 and T2 and outputs it, and outputs the odd-numbered frame period T1 and the even-numbered frame period (T1). It is possible to output the odd frame 5a and the even frame 5b in synchronization with each of T2).

신호처리부(31)는 센서부(22)의 각 셀을 통해 수광한 광과 광원(11)에 의해 조사된 광과의 위상차를 토대로 각 셀 즉, 각 픽셀에 대응하는 깊이정보를 산출할 수도 있다. 산출한 깊이정보는 프레임을 구성하는 각 픽셀에 대응하여 저장된다. The signal processing unit 31 may calculate depth information corresponding to each cell, that is, each pixel based on the phase difference between the light received through each cell of the sensor unit 22 and the light irradiated by the light source 11 . . The calculated depth information is stored corresponding to each pixel constituting the frame.

디인터레이서(32)는 신호처리부(31)로부터 홀수 프레임과 짝수 프레임을 각각 수신하고, 두 프레임을 결합하여 하나의 깊이 영상을 생성할 수 있다. The deinterlacer 32 may receive odd frames and even frames from the signal processing unit 31 , respectively, and combine the two frames to generate one depth image.

디인터레이서(32)는 신호처리부(31)에서 출력되는 홀수 프레임과 짝수 프레임을 행(line) 단위로 번갈아가며 삽입함으로써, 해상도가 센서부(22)의 해상도보다 2배로 증가한 깊이 영상을 생성할 수 있다. 도 4를 예로 들면, 홀수 프레임과 짝수 프레임은 각각 10(행)ㅧ10(열) 픽셀의 해상도를 가지고, 두 프레임을 행 단위로 교차 결합한 깊이 영상의 해상도는 20(행)ㅧ10(열) 픽셀로, 수직 방향 해상도가 센서부(22)의 해상도보다 2배 증가하였다. The deinterlacer 32 alternately inserts odd-numbered frames and even-numbered frames output from the signal processing unit 31 in line units, thereby generating a depth image whose resolution is doubled than that of the sensor unit 22 . . 4, the odd-numbered frame and the even-numbered frame each have a resolution of 10 (row) × 10 (column) pixels, and the resolution of the depth image obtained by cross-linking the two frames in row units is 20 (row) × 10 (column) In pixels, the vertical resolution is doubled as the resolution of the sensor unit 22 .

도 5는 본 발명의 일 실시 예에 따른 3차원 영상 카메라의 깊이 영상 생성 방법을 도시한 흐름도이다. 5 is a flowchart illustrating a method of generating a depth image of a 3D imaging camera according to an embodiment of the present invention.

도 5를 참조하면, 깊이 센서 모듈(10)은 홀수번째 프레임주기에 동기화하여 광을 조사하도록 광원(11)을 제어한다(S101). Referring to FIG. 5 , the depth sensor module 10 controls the light source 11 to irradiate light in synchronization with the odd-numbered frame period ( S101 ).

상기 S101 단계에서, 광원(11)에서 조사된 광은 홀로그래픽 소자(13)에 의해 조사 영역이 제어될 수 있다. In the step S101 , the irradiation area of the light irradiated from the light source 11 may be controlled by the holographic element 13 .

광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 홀수 프레임을 생성한다(S102). As the light irradiated from the light source 11 is reflected from the object and is incident on the sensor unit 22 , the sensor unit 22 generates an image signal corresponding thereto in units of pixels. In addition, the signal processing unit 31 generates odd frames by processing the image signal output from the sensor unit 22 ( S102 ).

홀수 프레임이 획득되면, 깊이 센서 모듈(10)은 홀로그래픽 소자(13)를 제어하여 물체에 광이 조사되는 조사영역을 이동시킨다(S103). When an odd number of frames is obtained, the depth sensor module 10 controls the holographic element 13 to move the irradiation area to which light is irradiated to the object (S103).

상기 S103 단계에서, 깊이 센서 모듈(10)은 액추에이터(14)를 제어하여 홀로그래픽 소자(13)의 기울기를 조절함으로써, 조사영역을 이동시킬 수 있다. In step S103 , the depth sensor module 10 controls the actuator 14 to adjust the inclination of the holographic element 13 to move the irradiation area.

짝수번째 프레임주기가 시작되면, 깊이 센서 모듈(10)은 이에 동기화하여 물체로 광을 조사하도록 광원(11)을 제어한다(S104). When the even-numbered frame period starts, the depth sensor module 10 controls the light source 11 to irradiate light to the object in synchronization with it (S104).

상기 S104 단계에서, 광원(11)에서 조사된 광은 홀로그래픽 소자(13)에 의해 짝수번째 프레임주기와 조사 영역이 다를 수 있다. In step S104 , the light irradiated from the light source 11 may have an even-numbered frame period and a different irradiation area by the holographic element 13 .

광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S105). As the light irradiated from the light source 11 is reflected from the object and is incident on the sensor unit 22 , the sensor unit 22 generates an image signal corresponding thereto in units of pixels. In addition, the signal processing unit 31 generates an even frame by processing the image signal output from the sensor unit 22 ( S105 ).

디인터레이서(32)는 프레임을 구성하는 픽셀 어레이의 행 단위로 홀수 프레임과 짝수 프레임을 결합하여 깊이 영상을 생성한다(S106). The deinterlacer 32 generates a depth image by combining odd frames and even frames in units of rows of the pixel array constituting the frame ( S106 ).

상기 S106 단계에서, 디인터레이서(32)는 홀수 프레임과 짝수 프레임의 픽셀 행을 순차적으로 교차 결합함으로써 깊이 영상을 생성할 수 있다.In step S106, the deinterlacer 32 may generate a depth image by sequentially cross-linking pixel rows of odd-numbered frames and even-numbered frames.

이하, 도 6 내지 도 8을 참조하여, 본 발명의 다른 실시 예에 따른 깊이 영상 생성방법 및 이를 수행하기 위한 센서 모듈 및 3차원 영상 카메라의 구성에 대하여 상세하게 설명하기로 한다. Hereinafter, with reference to FIGS. 6 to 8 , a method for generating a depth image, a sensor module for performing the same, and a 3D image camera according to another embodiment of the present invention will be described in detail.

도 6은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다. 도 7은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다. 6 is a block diagram schematically illustrating a 3D video camera according to another embodiment of the present invention. 7 is a diagram for explaining a method of generating a frame in synchronization with a frame period in a 3D video camera according to another embodiment of the present invention.

아래에서는, 중복 설명을 피하기 위해 도 1을 참조하여 설명한 본 발명의 일 실시 예에 따른 3차원 영상 카메라와 그 기능이 동일한 구성요소에 대해서는 상세한 설명을 생략한다. Hereinafter, in order to avoid overlapping descriptions, detailed descriptions of components having the same functions as those of the 3D image camera according to an embodiment of the present invention described with reference to FIG. 1 will be omitted.

도 6을 참조하면, 본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 깊이 센서 모듈(10), 신호처리부(31) 및 디인터레이서(32)를 포함할 수 있다. 도 6에 도시된 구성요소들은 필수적인 것은 아니어서, 본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 그 보다 더 많거나 더 적은 구성요소를 포함할 수 있다. Referring to FIG. 6 , a 3D image camera according to another embodiment of the present invention may include a depth sensor module 10 , a signal processing unit 31 , and a deinterlacer 32 . Since the components shown in FIG. 6 are not essential, the 3D image camera according to another embodiment of the present invention may include more or fewer components.

깊이 센서 모듈(10)은 TOF 센서모듈로서, 복수의 발광부와 수광부를 포함할 수 있다. The depth sensor module 10 is a TOF sensor module and may include a plurality of light emitting units and light receiving units.

깊이 센서 모듈(10)을 구성하는 복수의 발광부는, 광원(11a, 11b), 렌즈(12a, 12b) 및 홀로그래픽 소자(13a, 13b)를 각각 포함할 수 있다. 복수의 발광부는 또한 제어부(15)를 더 포함할 수 있다. The plurality of light emitting units constituting the depth sensor module 10 may include light sources 11a and 11b, lenses 12a and 12b, and holographic elements 13a and 13b, respectively. The plurality of light emitting units may further include a control unit 15 .

복수의 발광부(11a, 11b)는 서로 소정 간격 이격되어 배치될 수 있다. 복수의 발광부(11a, 11b) 사이에는 깊이 센서 모듈(10)의 센서부(22)가 배치될 수 있다. The plurality of light emitting units 11a and 11b may be disposed to be spaced apart from each other by a predetermined distance. The sensor unit 22 of the depth sensor module 10 may be disposed between the plurality of light emitting units 11a and 11b.

아래에서는 설명의 편의를 위해, 복수의 발광부를 각각 제1 및 제2발광부로 명명하여 사용하고, 제1발광부를 구성하는 구성요소들을 제1광원(11a), 제1렌즈(12a) 및 제1홀로그래픽 소자(13a)로 명명하여 사용한다. 또한, 제2발광부를 구성하는 구성요소들을 제2광원(11b), 제2렌즈(12b) 및 제2홀로그래픽 소자(13b)로 명명하여 사용한다. 그러나, 상기 구성요소들은 제1, 제2 등과 같이 서수를 포함하는 용어들에 의해 한정되지는 않는다.Hereinafter, for convenience of description, a plurality of light emitting units are named and used as first and second light emitting units, respectively, and the components constituting the first light emitting unit are the first light source 11a, the first lens 12a, and the first The holographic element 13a is named and used. In addition, the components constituting the second light emitting unit are named and used as the second light source 11b, the second lens 12b, and the second holographic element 13b. However, the elements are not limited by terms including ordinal numbers such as first, second, and the like.

제1 및 제2광원(11a, 11b)은 서로 소정 간격 이격되어 배치되며, 발광소자를 구동하여 일정한 위상을 가지는 광을 물체(OB)로 조사하는 기능을 수행한다. The first and second light sources 11a and 11b are disposed to be spaced apart from each other by a predetermined distance, and perform a function of irradiating light having a constant phase to the object OB by driving the light emitting device.

제1 및 제2광원(11a, 11b)에 포함되는 발광소자로는 레이저, 레이저 다이오드 등이 포함될 수 있으나, 그 외 다른 종류의 광원도 사용될 수 있다. 제1 및 제2광원(11a, 11b)에서 조사되는 광의 파장은 적외선 대역에 포함될 수 있으나, 그 외 다른 파장 대역에 포함될 수도 있다. The light emitting device included in the first and second light sources 11a and 11b may include a laser, a laser diode, or the like, but other types of light sources may also be used. The wavelength of the light irradiated from the first and second light sources 11a and 11b may be included in the infrared band, but may also be included in other wavelength bands.

제1 및 제2광원(11a, 11b)은 서로 다른 프레임주기에 발광하도록 점멸이 제어될 수 있다. 예를 들어, 제1광원(11a)은 홀수번째 프레임주기에 동기화하여 발광하고, 제2광원(11b)은 짝수번째 프레임주기에 동기화하여 발광할 수 있다. The blinking of the first and second light sources 11a and 11b may be controlled to emit light in different frame periods. For example, the first light source 11a may emit light in synchronization with an odd-numbered frame period, and the second light source 11b may emit light in synchronization with an even-numbered frame period.

제1렌즈(12a)는 제1광원(11a)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 제1광원(11a)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. 또한, 제2렌즈(12b)는 제2광원(12b)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 제2광원(11b)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. The first lens 12a is disposed on the optical path of the light irradiated from the first light source 11a, and performs a function of converting the light irradiated from the first light source 11a, which is a point light source, into a surface light source. In addition, the second lens 12b is disposed on the optical path of the light irradiated from the second light source 12b, and performs a function of converting the light irradiated from the second light source 11b, which is a point light source, into a surface light source.

제1홀로그래픽 소자(13a)는 제1광원(11a)과 물체(OB) 사이, 또는 제1렌즈(12a)와 물체(OB) 사이에 배치되며, 제1광원(11a)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다. 또한, 제2홀로그래픽 소자(13b)는 제2광원(11b)과 물체(OB) 사이, 또는 제2렌즈(12b)와 물체(OB) 사이에 배치되며, 제2광원(11b)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다. The first holographic element 13a is disposed between the first light source 11a and the object OB, or between the first lens 12a and the object OB, and emits light emitted from the first light source 11a. It functions to control angle and irradiation area. In addition, the second holographic element 13b is disposed between the second light source 11b and the object OB, or between the second lens 12b and the object OB, and is irradiated from the second light source 11b. It controls the divergence angle and irradiation area of light.

한편, 제1 및 제2렌즈(12a, 12b)는 필수적인 것은 아니어서, 제1 및 제2홀로그래픽 소자(13a, 13b)에 의해 조도 균일도가 확보되는 경우에는 생략될 수도 있다. Meanwhile, since the first and second lenses 12a and 12b are not essential, they may be omitted when illuminance uniformity is ensured by the first and second holographic elements 13a and 13b.

제1 및 제2홀로그래픽 소자(13a, 13b)는 CGH 방식으로 제조될 수 있다. The first and second holographic elements 13a and 13b may be manufactured by a CGH method.

제1 및 제2홀로그래픽 소자(13a, 13b)는 컴퓨터에 의해 계산된 간섭패턴을 기록매질에 기록하여 형성되며, 간섭패턴이 기록되는 기록매질은 포토폴리머, UV 포토폴리머, 포토레지스트, 실버 팔라이드 에멀젼, 중크롬산 젤라틴, 포토그래픽 에멀젼, 포토써모플라스틱, 광회절 재료 등 감광재료가 사용될 수 있다. The first and second holographic elements 13a and 13b are formed by recording an interference pattern calculated by a computer on a recording medium, and the recording medium on which the interference pattern is recorded is photopolymer, UV photopolymer, photoresist, silver arm. A photosensitive material such as a ride emulsion, dichromate gelatin, a photographic emulsion, a photothermoplastic, or a light diffractive material may be used.

제1 및 제2홀로그래픽 소자(13a, 13b)는 체적 홀로그래픽 소자 또는 표면 홀로그래픽 소자일 수 있다.The first and second holographic elements 13a and 13b may be volumetric holographic elements or surface holographic elements.

제1 및 제2홀로그래픽 소자(13a, 13b)에 기록되는 간섭패턴은, 제1광원(11a) 및 제2광원(11b)에 의해 조사된 광이 물체(OB)의 서로 다른 영역에 조사되도록 형성될 수 있다. The interference pattern recorded on the first and second holographic elements 13a and 13b is such that the light irradiated by the first light source 11a and the second light source 11b is irradiated to different areas of the object OB. can be formed.

예를 들어, 제1광원(11a)에서 출사되는 광이 조사되는 영역과, 제2광원(11b)에서 출사되는 광이 조사되는 영역이, 서로 센서부(22)의 한 셀에 매칭되는 영역만큼 차이가 나도록 제1홀로그래픽 소자(13a)와 제2홀로그래픽 소자(13b)의 간섭패턴이 형성될 수 있다. For example, the area to which the light emitted from the first light source 11a is irradiated and the area to which the light emitted from the second light source 11b is irradiated is as much as an area that matches one cell of the sensor unit 22 with each other. An interference pattern of the first holographic element 13a and the second holographic element 13b may be formed to be different.

제어부(15)는 기 설정된 프레임(frame)주기를 토대로 제1 및 제2광원(11a, 11b)의 온/오프를 제어할 수 있다. 도 7을 예로들면, 제어부(15)는 홀수번째 프레임주기(T1)에 동기화하여 제1광원(11a)이 발광하고, 짝수번째 프레임주기(T2)에 동기화하여 제2광원(11b)이 발광하도록 제1 및 제2광원(11a, 11b)의 온/오프를 제어할 수 있다. The controller 15 may control on/off of the first and second light sources 11a and 11b based on a preset frame period. Referring to FIG. 7 as an example, the controller 15 causes the first light source 11a to emit light in synchronization with the odd-numbered frame period T1, and the second light source 11b to emit light in synchronization with the even-numbered frame period T2. On/off of the first and second light sources 11a and 11b may be controlled.

이에 따라, 매 프레임주기마다 물체(OB)로 광을 조사하는 광원이 스위칭되고, 제1 및 제2홀로그래픽 소자(13a, 13b)에 의해 광이 조사되는 영역 또한 광원의 스위칭에 대응하여 스위칭될 수 있다. Accordingly, the light source irradiating light to the object OB is switched every frame period, and the region irradiated with light by the first and second holographic elements 13a and 13b is also switched in response to the switching of the light source. can

깊이 센서 모듈(10)의 수광부는 수광렌즈(21) 및 센서부(22)를 포함할 수 있다. The light receiving unit of the depth sensor module 10 may include a light receiving lens 21 and a sensor unit 22 .

수광렌즈(21)는 물체(OB)와 센서부(22) 사이에 배치되며, 물체(OB)측으로부터 반사되는 반사광을 수광하여 센서부(22)로 입사시키는 기능을 수행한다. The light receiving lens 21 is disposed between the object OB and the sensor unit 22 , and performs a function of receiving reflected light reflected from the object OB and making it incident on the sensor unit 22 .

센서부(22)는 복수의 셀로 이루어지며, 각 셀은 프레임을 구성하는 각 픽셀(pixel)에 대응될 수 있다. 센서부(22)는 셀 단위로 광을 수광하며, 셀 단위로 영상신호를 출력할 수 있다.The sensor unit 22 includes a plurality of cells, and each cell may correspond to each pixel constituting the frame. The sensor unit 22 may receive light in units of cells, and may output an image signal in units of cells.

센서부(22)를 구성하는 각 셀은, 이로 한정되는 것은 아니나, MOS, CCD 등을 포함할 수 있다. Each cell constituting the sensor unit 22 may include, but is not limited to, MOS, CCD, and the like.

센서부(22)는 기 설정된 프레임주기에 동기화하여 반사광을 수광하고, 이를 영상신호로 변환하여 출력할 수 있다. The sensor unit 22 may receive reflected light in synchronization with a preset frame period, convert it into an image signal, and output it.

매 프레임주기마다 물체(OB)로 광을 조사하는 광원이 스위칭됨에 따라, 센서부(22)에 상이 맺히는 위치 또한 매 프레임주기마다 스위칭될 수 있다. 즉, 광원의 스위칭으로, 홀수번째 프레임주기에서의 광 조사영역과 짝수번째 프레임주기에서의 광 조사영역이 서로 다르며, 이로 인해 홀수번째 프레임주기에 센서부(22)에 맺히는 상과 짝수번째 프레임주기에 센서부(22)에 맺히는 상은 약간의 위치 차이가 발생할 수 있다. 예를 들어, 홀수번째 프레임주기에 센서부(22)에 맺히는 상은, 짝수번째 프레임주기에 센서부(22)에 맺히는 상에 비해, 한 셀만큼 위/아래로 이동하여 맺힐 수 있다. As the light source irradiating light to the object OB is switched in every frame period, a position where an image is formed on the sensor unit 22 may also be switched in every frame period. That is, due to the switching of the light source, the light irradiation area in the odd-numbered frame period and the light irradiation area in the even-numbered frame period are different from each other. In the image formed on the sensor unit 22, a slight position difference may occur. For example, an image formed on the sensor unit 22 in an odd-numbered frame period may be formed by moving up/down by one cell compared to an image formed on the sensor unit 22 in an even-numbered frame period.

신호처리부(31)는 프레임주기에 대응하여 센서부(22)로부터 출력되는 영상신호를 프레임으로 변환하여 출력할 수 있다. The signal processing unit 31 may convert the image signal output from the sensor unit 22 into a frame corresponding to the frame period and output the converted frame.

도 7을 예로 들면, 신호처리부(31)는 매 프레임주기(T1, T2)마다 영상신호를 프레임(5a, 5b)으로 변환하여 출력하며, 홀수번째 프레임주기(T1)와 짝수번째 프레임주기(T2)에 각각 동기화하여 홀수 프레임(5a)과 짝수 프레임(5b)을 출력할 수 있다. Referring to FIG. 7 as an example, the signal processing unit 31 converts the image signal into frames 5a and 5b at every frame period T1 and T2 and outputs it, and outputs the odd-numbered frame period T1 and the even-numbered frame period T2. ) in synchronization with each other, the odd frame 5a and the even frame 5b may be output.

신호처리부(31)는 센서부(22)의 각 셀을 통해 수광한 광과 제1 및 제2광원(11a, 11b)에 의해 조사된 광과의 위상차를 토대로 각 셀 즉, 각 픽셀에 대응하는 깊이정보를 산출할 수도 있다. 산출한 깊이정보는 프레임을 구성하는 각 픽셀에 대응하여 저장된다. The signal processing unit 31 is configured to correspond to each cell, that is, each pixel based on the phase difference between the light received through each cell of the sensor unit 22 and the light irradiated by the first and second light sources 11a and 11b. Depth information can also be calculated. The calculated depth information is stored corresponding to each pixel constituting the frame.

디인터레이서(32)는 신호처리부(31)로부터 홀수 프레임과 짝수 프레임을 각각 수신하고, 두 프레임을 결합하여 하나의 깊이 영상을 생성할 수 있다. The deinterlacer 32 may receive odd frames and even frames from the signal processing unit 31 , respectively, and combine the two frames to generate one depth image.

디인터레이서(32)는 도 4에 도시된 바와 같이, 신호처리부(31)에서 출력되는 홀수 프레임과 짝수 프레임을 행 단위로 번갈아가며 삽입함으로써, 해상도가 센서부(22)의 해상도보다 2배로 증가한 깊이 영상을 생성할 수 있다. As shown in FIG. 4 , the deinterlacer 32 alternately inserts odd-numbered frames and even-numbered frames output from the signal processing unit 31 row by row, so that the resolution is doubled as the depth image of the sensor unit 22 . can create

도 8은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 깊이 영상을 획득하는 방법을 도시한 흐름도이다. 8 is a flowchart illustrating a method of acquiring a depth image in a 3D imaging camera according to another embodiment of the present invention.

도 8을 참조하면, 깊이 센서 모듈(10)은 홀수번째 프레임주기에 동기화하여 광을 조사하도록 제1광원(11a)을 제어한다(S201). Referring to FIG. 8 , the depth sensor module 10 controls the first light source 11a to irradiate light in synchronization with the odd-numbered frame period ( S201 ).

상기 S201 단계에서, 제1광원(11a)에서 조사된 광은 제1홀로그래픽 소자(13a)에 의해 조사 영역이 제어될 수 있다. In step S201 , the light irradiated from the first light source 11a may have an irradiation area controlled by the first holographic element 13a.

제1광원(11a)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 홀수 프레임을 생성한다(S202). As the light irradiated from the first light source 11a is reflected from the object and is incident on the sensor unit 22 , the sensor unit 22 generates an image signal corresponding thereto in units of pixels. Also, the signal processing unit 31 generates odd frames by signal processing the image signal output from the sensor unit 22 ( S202 ).

다음으로, 깊이 센서 모듈(10)은 짝수번째 프레임주기에 동기화하여 광을 조사하도록 제2광원(11b)을 제어한다(S203). Next, the depth sensor module 10 controls the second light source 11b to emit light in synchronization with the even-numbered frame period (S203).

상기 S203 단계에서, 제2광원(11b)에서 조사된 광은 제2홀로그래픽 소자(13b)에 의해 상기 S201 단계에서의 조사영역으로부터 위 또는 아래 방향으로 이동하여 조사될 수 있다. In step S203, the light irradiated from the second light source 11b may be irradiated by moving upward or downward from the irradiation area in step S201 by the second holographic element 13b.

제2광원(11b)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S204). As the light irradiated from the second light source 11b is reflected from the object and is incident on the sensor unit 22 , the sensor unit 22 generates an image signal corresponding thereto in units of pixels. In addition, the signal processing unit 31 generates an even frame by processing the image signal output from the sensor unit 22 ( S204 ).

광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S204). As the light irradiated from the light source 11 is reflected from the object and is incident on the sensor unit 22 , the sensor unit 22 generates an image signal corresponding thereto in units of pixels. In addition, the signal processing unit 31 generates an even frame by processing the image signal output from the sensor unit 22 (S204).

디인터레이서(32)는 프레임을 구성하는 픽셀 어레이의 행 단위로 홀수 프레임과 짝수 프레임을 결합하여 깊이 영상을 생성한다(S205). The deinterlacer 32 generates a depth image by combining odd-numbered frames and even-numbered frames in units of rows of the pixel array constituting the frame ( S205 ).

상기 S106 단계에서, 디인터레이서(32)는 홀수 프레임과 짝수 프레임의 픽셀 행을 순차적으로 교차 결합함으로써 깊이 영상을 생성할 수 있다.In step S106, the deinterlacer 32 may generate a depth image by sequentially cross-linking pixel rows of odd-numbered frames and even-numbered frames.

본 발명의 실시 예에 따르면, 홀로그래픽 소자를 사용하여 홀수 프레임주기와 짝수 프레임주기의 광원의 조사영역을 다르게 조절하고, 이에 따라 얻어지는 홀수 프레임과 짝수 프레임을 결합하여 하나의 깊이 영상을 생성함으로써 깊이 영상의 해상도를 향상시키는 효과가 있다. According to an embodiment of the present invention, by using a holographic element, the irradiation area of the light source of the odd frame cycle and the even frame cycle is differently controlled, and the odd frame and the even frame are combined to generate a single depth image. It has the effect of improving the resolution of the image.

또한, 홀로그래픽 소자를 이용하여 광 발산각을 조절함으로써, 광효율을 향상시키는 효과가 있다.In addition, by adjusting the light divergence angle using the holographic element, there is an effect of improving the light efficiency.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~ unit' used in this embodiment means software or a hardware component such as a field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~ unit' may be configured to reside on an addressable recording medium or may be configured to reproduce one or more processors. Thus, as an example, '~' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to the preferred embodiment of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

Claims (28)

물체를 향해 광을 조사하는 광원,
상기 광원 상에 배치되는 광학 소자,
시간구간의 변경에 따라 조사영역이 이동되도록, 상기 광학 소자의 위치 및 기울기 중 적어도 하나를 조절하는 액추에이터(actuator),
상기 물체로부터 반사된 광을 이용하여, 상기 시간구간의 제1 시간구간에서 제1 영상신호를 생성하고, 상기 시간구간의 제2 시간구간에서 제2 영상신호를 생성하는 센서부, 및
상기 제1 영상신호 및 상기 제2 영상신호를 처리하여 제1 프레임 및 제2 프레임을 생성하는 신호처리부를 포함하고,
상기 제1 프레임 및 상기 제2 프레임을 결합하여 깊이 영상을 생성하는 카메라 장치.A light source that irradiates light toward an object,
an optical element disposed on the light source;
an actuator for adjusting at least one of a position and a tilt of the optical element so that the irradiation area is moved according to a change in the time period;
a sensor unit that generates a first image signal in a first time period of the time period by using the light reflected from the object and generates a second image signal in a second time period of the time period; and
and a signal processing unit to process the first image signal and the second image signal to generate a first frame and a second frame,
A camera device for generating a depth image by combining the first frame and the second frame. 제1항에 있어서,
상기 액추에이터는 상기 제1 시간구간에서의 조사영역과 상기 제2 시간구간에서의 조사영역이 서로 다르도록 상기 광학 소자를 조절하는 카메라 장치. According to claim 1,
The actuator controls the optical element so that the irradiation area in the first time period and the irradiation area in the second time period are different from each other. 제1항에 있어서,
상기 제2 시간구간에서의 조사영역은 상기 제1 시간구간에서의 조사영역보다, 상기 센서부를 구성하는 하나의 셀에 대응하는 영역만큼 위 또는 아래로 이동하는 카메라 장치. According to claim 1,
The irradiation area in the second time period moves upward or downward by an area corresponding to one cell constituting the sensor unit, rather than the irradiation area in the first time period. 제1항에 있어서,
상기 광원과 상기 광학 소자 사이에 배치되는 렌즈를 더 포함하는 카메라 장치. According to claim 1,
The camera device further comprising a lens disposed between the light source and the optical element. 제1항에 있어서,
상기 광원은 레이저 또는 레이저 다이오드를 포함하는 카메라 장치. According to claim 1,
The light source is a camera device including a laser or a laser diode. 서로 이격 배치되는 제1 광원 및 제2광원,
상기 제1 광원 및 상기 제2광원과 물체 사이에 각각 배치되며, 상기 제1 광원의 조사영역과 상기 제2광원의 조사영역이 스위칭 되도록, 상기 제1 광원의 조사영역을 조절하는 제1 광학 소자 및 상기 제2광원의 조사영역을 조절하는 제2광학 소자,
제1 시간구간에는 상기 제1광원이 발광하고, 제2 시간구간에는 상기 제2광원이 발광하도록, 상기 제1광원 및 상기 제2광원의 점등을 제어하는 제어부, 그리고
상기 제1 시간구간에 상기 물체로부터 반사되는 반사광을 이용하여 제1 영상신호를 출력하고, 상기 제2 시간구간에 상기 물체로부터 반사되는 반사광을 이용하여 제2 영상신호를 출력하는 센서부
를 포함하는 센서 모듈.A first light source and a second light source spaced apart from each other,
A first optical element disposed between the first light source and the second light source and an object, respectively, and adjusting the irradiation area of the first light source so that the irradiation area of the first light source and the irradiation area of the second light source are switched and a second optical element for controlling the irradiation area of the second light source;
a control unit for controlling lighting of the first light source and the second light source so that the first light source emits light in a first time period and the second light source emits light in a second time period; and
The sensor unit outputs a first image signal using the reflected light reflected from the object in the first time period, and outputs a second image signal using the reflected light reflected from the object in the second time period.
A sensor module comprising a. 제6항에 있어서,
상기 제1광원의 조사영역은 상기 제2광원의 조사영역에 비해, 상기 센서부를 구성하는 하나의 셀에 대응하는 영역만큼 위 또는 아래로 이동하는 센서 모듈. 7. The method of claim 6,
The irradiation area of the first light source is moved up or down by an area corresponding to one cell constituting the sensor unit, compared to the irradiation area of the second light source. 제6항에 있어서,
상기 제1 및 제2광원은 레이저 또는 레이저 다이오드를 포함하는 센서 모듈. 7. The method of claim 6,
The first and second light sources are a sensor module including a laser or a laser diode. 광원,
상기 광원과 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 광학 소자,
제1 시간구간에서의 조사영역과 제2 시간구간에서의 조사영역이 스위칭 되도록, 상기 광학 소자를 구동하는 액추에이터(actuator), 그리고
상기 제1 시간구간에 상기 물체로부터 반사되는 반사광을 이용하여 제1 영상신호를 출력하고, 상기 제2 시간구간에 상기 물체로부터 반사되는 반사광을 이용하여 제2 영상신호를 출력하는 센서부,
상기 제1 영상신호 및 상기 제2영상신호를 신호처리하여 제1 프레임 및 제2프레임을 생성하는 신호처리부, 그리고
상기 제1 프레임 및 상기 제2 프레임을 결합하여 깊이 영상을 생성하는 디인터레이서(De-interlacer)
를 포함하는 3차원 영상 카메라.light source,
An optical element disposed between the light source and the object and controlling the irradiation area of the light source;
an actuator for driving the optical element so that the irradiation area in the first time period and the irradiation area in the second time period are switched; and
a sensor unit for outputting a first image signal using the reflected light reflected from the object in the first time period and outputting a second image signal using the reflected light reflected from the object in the second time period;
a signal processing unit for signal processing the first image signal and the second image signal to generate a first frame and a second frame; and
A de-interlacer for generating a depth image by combining the first frame and the second frame
A three-dimensional video camera comprising a. 제9항에 있어서,
상기 디인터레이서는 행(line) 단위로 상기 제1 프레임 및 상기 제2프레임을 구성하는 픽셀들을 교차 삽입하여 상기 깊이 영상을 생성하는 3차원 영상 카메라.10. The method of claim 9,
The deinterlacer generates the depth image by intersecting pixels constituting the first frame and the second frame in line units. 제9항에 있어서,
상기 신호처리부는 상기 광원으로부터 조사되는 광과 상기 반사광 간의 위상차를 토대로 깊이정보를 산출하는 3차원 영상 카메라.10. The method of claim 9,
The signal processor calculates depth information based on a phase difference between the light irradiated from the light source and the reflected light. 서로 이격 배치되는 제1 광원 및 제2광원,
상기 제1 광원 및 상기 제2광원과 물체 사이에 각각 배치되며, 상기 제1 광원의 조사영역 및 상기 제2광원의 조사영역이 스위칭 되도록, 상기 제1 광원의 조사영역을 조절하는 제1 광학 소자 및 상기 제2광원의 조사영역을 조절하는 제2광학 소자,
제1 시간구간에는 상기 제1광원이 발광하고, 제2 시간구간에는 상기 제2광원이 발광하도록, 상기 제1광원 및 상기 제2광원의 점등을 제어하는 제어부, 그리고
상기 제1 시간구간에 상기 물체로부터 반사되는 반사광을 이용하여 제1 영상신호를 출력하고, 상기 제2 시간구간에 상기 물체로부터 반사되는 반사광을 이용하여 제2 영상신호를 출력하는 센서부,
상기 제1 영상신호 및 상기 제2영상신호를 신호처리하여 제1 프레임 및 제2 프레임을 생성하는 신호처리부, 그리고
상기 제1 프레임 및 상기 제2프레임을 결합하여 깊이 영상을 생성하는 디인터레이서
를 포함하는 3차원 영상 측정 장치.A first light source and a second light source spaced apart from each other,
A first optical element disposed between the first light source and the second light source and an object, respectively, and controlling the irradiation area of the first light source so that the irradiation area of the first light source and the irradiation area of the second light source are switched and a second optical element for controlling the irradiation area of the second light source;
a control unit for controlling lighting of the first light source and the second light source so that the first light source emits light in a first time period and the second light source emits light in a second time period; and
a sensor unit for outputting a first image signal using the reflected light reflected from the object in the first time period and outputting a second image signal using the reflected light reflected from the object in the second time period;
a signal processing unit for signal processing the first image signal and the second image signal to generate a first frame and a second frame; and
A deinterlacer generating a depth image by combining the first frame and the second frame
A three-dimensional image measuring device comprising a. 제12항에 있어서,
상기 디인터레이서는 행 단위로 상기 제1프레임 및 상기 제2프레임을 구성하는 픽셀들을 교차 삽입하여 상기 깊이 영상을 생성하는 3차원 영상 측정 장치.13. The method of claim 12,
The deinterlacer is a three-dimensional image measuring apparatus for generating the depth image by interleaving pixels constituting the first frame and the second frame in a row unit. 제12항에 있어서,
상기 신호처리부는 상기 제1광원 및 상기 제2광원으로부터 조사되는 광과 상기 반사광 간의 위상차를 토대로 깊이정보를 산출하는 3차원 영상 측정 장치.13. The method of claim 12,
The signal processing unit calculates depth information based on a phase difference between the reflected light and the light irradiated from the first and second light sources. 제1항에 있어서,
상기 광원으로부터 조사된 후, 상기 물체로부터 반사되어 수광되는 광의 비행시간(Time of flight)을 이용하여 깊이 영상을 생성하는 카메라 장치.According to claim 1,
After being irradiated from the light source, a camera device for generating a depth image using a time of flight of light reflected from the object and received. 제1항에 있어서,
상기 광원으로부터 조사된 광과, 상기 물체로부터 반사되어 수광되는 광의 위상차를 이용하여 깊이 영상을 생성하는 카메라 장치.According to claim 1,
A camera device for generating a depth image by using a phase difference between the light irradiated from the light source and the light reflected from the object. 제1항에 있어서,
상기 광학소자는 홀로그래픽 소자를 포함하는 카메라 장치. According to claim 1,
The optical element is a camera device including a holographic element. 제1항에 있어서,
상기 제1 프레임과 상기 제2 프레임을 결합하여 해상도를 높이는 카메라 장치.According to claim 1,
A camera device for increasing resolution by combining the first frame and the second frame. 제1항에 있어서,
상기 제1 시간구간에 상기 센서부에 맺히는 상의 위치와 상기 제2 시간구간에 상기 센서부에 맺히는 상의 위치가 차이나는 카메라 장치.According to claim 1,
A camera device in which the position of the image formed on the sensor unit in the first time period is different from the position of the image formed on the sensor unit in the second time period. 제1항에 있어서,
상기 센서부는 상기 물체로부터 반사된 광의 비행시간을 이용하여 상기 제1 영상신호 및 상기 제2 영상신호를 생성하는 카메라 장치.According to claim 1,
The sensor unit generates the first image signal and the second image signal by using the flight time of the light reflected from the object. 제1항에 있어서,
상기 광학소자는 상기 광원의 발산각을 더 조절하는 카메라 장치.According to claim 1,
The optical element is a camera device for further adjusting the divergence angle of the light source. 제1항에 있어서,
상기 액추에이터는 상기 광원의 광축을 기준으로 상기 광학소자의 위치 및 기울기 중 적어도 하나를 조절하는 카메라 장치.According to claim 1,
The actuator is a camera device for adjusting at least one of a position and an inclination of the optical element with respect to an optical axis of the light source. 물체를 향해 광을 조사하는 광원;
상기 광원 상에 배치되는 광학소자; 및
상기 광학소자와 연결되는 액추에이터(actuator)를 포함하고,
상기 액추에이터는,
상기 물체로부터 반사된 광을 이용하여, 제1 시간구간에서 생성된 제1 프레임 및 제2 시간구간에서 생성된 제2 프레임을 결합하여 깊이 영상을 생성하기 위하여,
상기 제1 시간구간에서의 조사영역과 상기 제2 시간구간에서의 조사영역이 달라지도록, 상기 광학소자의 위치 및 기울기 중 적어도 하나를 조절하는 카메라 장치.a light source for irradiating light toward the object;
an optical element disposed on the light source; and
Including an actuator (actuator) connected to the optical element,
The actuator is
In order to generate a depth image by combining the first frame generated in the first time period and the second frame generated in the second time period using the light reflected from the object,
A camera device for adjusting at least one of a position and a tilt of the optical element so that the irradiation area in the first time period and the irradiation area in the second time period are different. 제23항에 있어서,
상기 물체로부터 반사된 광을 이용하여 영상신호를 생성하는 센서부를 더 포함하고,
상기 제1 시간구간에 상기 센서부에 맺히는 상의 위치와, 상기 제2 시간구간에 상기 센서부에 맺히는 상의 위치가 차이나는 카메라 장치.24. The method of claim 23,
Further comprising a sensor unit for generating an image signal using the light reflected from the object,
A camera device in which the position of the image formed on the sensor unit in the first time period is different from the position of the image formed on the sensor unit in the second time period. 물체를 향해 광을 조사하는 광원;
광학소자;
상기 광학소자와 연결되는 액추에이터(actuator); 및
상기 물체로부터 반사된 광을 이용하여 제1 시간구간에서 제1 영상신호를 생성하고, 제2 시간구간에서 제2 영상신호를 생성하는 센서부를 포함하고,
상기 액추에이터는,
상기 제1 영상신호를 이용하여 생성되는 제1 프레임과 상기 제2 영상신호를 이용하여 생성되는 제2 프레임을 결합하여 해상도를 향상시키기 위하여, 상기 제1 시간구간에서 맺히는 상의 위치와 상기 제2 시간구간에 맺히는 상의 위치가 차이나도록 상기 광학소자의 위치 및 기울기 중 적어도 하나를 조절하는 카메라 장치.a light source for irradiating light toward the object;
optical element;
an actuator connected to the optical element; and
and a sensor unit for generating a first image signal in a first time period using light reflected from the object and generating a second image signal in a second time period,
The actuator is
In order to improve resolution by combining a first frame generated using the first video signal and a second frame generated using the second video signal, the position of the image formed in the first time period and the second time period A camera device for adjusting at least one of the position and the inclination of the optical element so that the position of the image formed in the section is different. 제25항에 있어서,
상기 광원으로부터 조사되어, 상기 물체로부터 반사되어 수광되는 광의 비행시간(Time of flight)을 이용하여 깊이 영상을 생성하는 카메라 장치.26. The method of claim 25,
A camera device for generating a depth image using a time of flight of light irradiated from the light source, reflected from the object and received. 제25항에 있어서,
상기 광원으로부터 조사된 광과, 상기 물체로부터 반사되어 수광되는 광의 위상차를 이용하여 깊이 영상을 생성하는 카메라 장치.26. The method of claim 25,
A camera device for generating a depth image by using a phase difference between the light irradiated from the light source and the light reflected from the object. 제25항에 있어서,
상기 광원은 레이저 또는 레이저 다이오드를 포함하는 카메라 장치.26. The method of claim 25,
The light source is a camera device including a laser or a laser diode.
KR1020200063037A 2014-01-29 2020-05-26 Sensor module and 3d image camera including the same KR102284673B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200063037A KR102284673B1 (en) 2014-01-29 2020-05-26 Sensor module and 3d image camera including the same
KR1020210098559A KR102464830B1 (en) 2020-05-26 2021-07-27 Sensor module and 3d image camera including the same
KR1020220145152A KR20220155242A (en) 2020-05-26 2022-11-03 Sensor module and 3d image camera including the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140011596A KR102117561B1 (en) 2014-01-29 2014-01-29 Sensor module and 3d image camera including the same
KR1020200063037A KR102284673B1 (en) 2014-01-29 2020-05-26 Sensor module and 3d image camera including the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140011596A Division KR102117561B1 (en) 2014-01-29 2014-01-29 Sensor module and 3d image camera including the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210098559A Division KR102464830B1 (en) 2020-05-26 2021-07-27 Sensor module and 3d image camera including the same

Publications (2)

Publication Number Publication Date
KR20200064966A KR20200064966A (en) 2020-06-08
KR102284673B1 true KR102284673B1 (en) 2021-08-02

Family

ID=71089675

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020200063037A KR102284673B1 (en) 2014-01-29 2020-05-26 Sensor module and 3d image camera including the same
KR1020210098559A KR102464830B1 (en) 2020-05-26 2021-07-27 Sensor module and 3d image camera including the same
KR1020220145152A KR20220155242A (en) 2020-05-26 2022-11-03 Sensor module and 3d image camera including the same

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020210098559A KR102464830B1 (en) 2020-05-26 2021-07-27 Sensor module and 3d image camera including the same
KR1020220145152A KR20220155242A (en) 2020-05-26 2022-11-03 Sensor module and 3d image camera including the same

Country Status (1)

Country Link
KR (3) KR102284673B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024035157A1 (en) * 2022-08-11 2024-02-15 엘지이노텍 주식회사 Camera device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333204A (en) 1999-05-20 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional display system
JP2009204425A (en) * 2008-02-27 2009-09-10 Pulstec Industrial Co Ltd Three-dimensional shape measuring device and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10153653A (en) * 1996-11-25 1998-06-09 Honda Access Corp Vehicle-mounted laser radar device and hologram scanner applicable to the same
JP2008298480A (en) * 2007-05-29 2008-12-11 Beamsense Co Ltd Stereo fluoroscopic device, and stereo observation method using therefor
KR101020999B1 (en) * 2009-01-05 2011-03-09 엘지이노텍 주식회사 Image pickup apparatus and image control method thereof
KR101613133B1 (en) * 2009-05-14 2016-04-18 삼성전자주식회사 Method and apparatus for processing 3-dimensional image
KR20130098042A (en) * 2012-02-27 2013-09-04 삼성전자주식회사 Apparatus of generating depth information and photographing apparatus including the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333204A (en) 1999-05-20 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional display system
JP2009204425A (en) * 2008-02-27 2009-09-10 Pulstec Industrial Co Ltd Three-dimensional shape measuring device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map

Also Published As

Publication number Publication date
KR20210095842A (en) 2021-08-03
KR20220155242A (en) 2022-11-22
KR20200064966A (en) 2020-06-08
KR102464830B1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
JP7237114B2 (en) Depth information extractor
KR102117561B1 (en) Sensor module and 3d image camera including the same
KR102464830B1 (en) Sensor module and 3d image camera including the same
EP3407601B1 (en) Mobile terminal with 3d camera
CN106997603B (en) Depth camera based on VCSEL array light source
US9992474B2 (en) Stereo depth camera using VCSEL with spatially and temporally interleaved patterns
US10906246B2 (en) Optical shaping apparatus, manufacturing method, and storage medium
US9036246B2 (en) 3-dimensional image display apparatus
TW200600830A (en) Three-dimensional imaging device
US10466458B2 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US20180370149A1 (en) Additive manufacturing apparatus, manufacturing method of manufactured object, program and recording medium
JP2008158247A (en) Flash device for imaging apparatus and imaging apparatus
KR20160065742A (en) Apparatus and method for taking lightfield image
US7684097B2 (en) Recording apparatus and phase modulation device
WO2019116526A1 (en) Projection device, interface device, and projection method
JP2019190910A (en) Image data generator
US9883151B2 (en) Apparatus and method for capturing lightfield image
CN115628816B (en) Calibration system and method of laser parameter measuring device
CN115966144A (en) Background display device
TW202117385A (en) Tof camera
KR102411502B1 (en) Depth information extraction Apparatus and camera module includes thereof
CN112567286A (en) Scanning display with increased uniformity
KR20230027863A (en) Camera module
JP2009282129A (en) Hologram having three-dimensional motion

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant