WO2021256576A1 - 깊이 영상 생성 장치 및 그 동작방법 - Google Patents

깊이 영상 생성 장치 및 그 동작방법 Download PDF

Info

Publication number
WO2021256576A1
WO2021256576A1 PCT/KR2020/007749 KR2020007749W WO2021256576A1 WO 2021256576 A1 WO2021256576 A1 WO 2021256576A1 KR 2020007749 W KR2020007749 W KR 2020007749W WO 2021256576 A1 WO2021256576 A1 WO 2021256576A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
depth image
mode
distance
pattern
Prior art date
Application number
PCT/KR2020/007749
Other languages
English (en)
French (fr)
Inventor
정찬성
이상근
조용호
방형석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/007749 priority Critical patent/WO2021256576A1/ko
Publication of WO2021256576A1 publication Critical patent/WO2021256576A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the present invention relates to an apparatus for generating a depth image and an operating method thereof, and more particularly, to an apparatus for generating a depth image and an operating method thereof for easy recognition of objects located at a short distance or a short distance.
  • the motion detecting device may detect depth information of a short distance, that is, 1 m to 3 m. However, it is necessary to develop additional technology for detecting depth information from a long distance, that is, about 3 m to 5 m.
  • the TOF method is a method of measuring depth information of an object by irradiating light directly to an object and calculating the time of reflected light reflected from the object.
  • a depth image generating apparatus can detect depth information of an object located at a short distance or a distance.
  • Another object of the present invention is to provide an apparatus for generating a depth image capable of generating a depth image of an object located at a short distance or a distance by irradiating different patterns of light, and an operating method thereof.
  • the apparatus for generating a depth image includes a transmitter for irradiating a first light, a receiver for outputting a first depth image of the object based on a first reflected light reflected from an object by the first light;
  • the transmitter When operating in the first mode, the transmitter is controlled to emit the first light, and when it is determined that the distance of the object acquired based on the first depth image is out of the set reference distance, the first mode is set to the second mode. It may include a control unit for controlling the transmitter so that the second light having a pattern different from the first light is irradiated by switching to a mode.
  • the transmitter may include first and second light emitting arrays that are individually driven, a light conversion lens that converts light generated from the second light emitting array into parallel and parallel light, and the first light emitting array based on the light generated from the first light emitting array. It may include a pattern element that generates light or generates the second light based on the parallel light and irradiates the second light to the object.
  • the light conversion lens may be disposed between the second light emitting array and the pattern element.
  • the light conversion lens may be a collimator lens or a liquid lens.
  • the pattern element may include a first pattern unit generating the first light having a first pattern and a second pattern unit generating the second light having a second pattern different from the first pattern.
  • the first pattern may be in the form of a surface light source, and the second pattern may be in the form of a point light source.
  • the controller determines that the distance to the object does not deviate from the reference distance, and maintains the first mode.
  • the controller may determine that the distance of the object is out of the reference distance, and may convert the first mode to the second mode.
  • the controller may drive the second light emitting array to be irradiated with the second light.
  • the receiver may output a second depth image of the object to the controller based on a second reflected light reflected from the object by the second light.
  • the receiver may include a focus lens for receiving the first and second reflected lights, a filter for transmitting a specific wavelength of light transmitted from the focus lens, and a phase difference between one of the first and second lights and the light transmitted from the filter. It may include an image sensor that generates one of the first and second depth images.
  • the transmitter includes a light emitting array, a light conversion lens for converting the light generated in the light emitting array into parallel light, a lens moving member for moving the light conversion lens so that the light is incident, and the first light based on the light It may include a pattern element for generating or irradiating the second light to the object by generating the second light based on the parallel light.
  • the controller may control the lens moving member to prevent the light conversion lens from moving between the light emitting array and the pattern element.
  • the controller may control the lens moving member to move the light conversion lens between the light emitting array and the pattern element.
  • the method of operating an apparatus for generating a depth image includes the steps of irradiating a first light during operation in a first mode, and generating a second light of the object generated as a first reflected light reflected from an object by the first light. 1 Acquiring the distance of the object based on a depth image, determining whether the distance of the object is within a set reference distance, and determining that the distance of the object is out of the reference distance, setting the first mode to the second It may include switching to a mode and irradiating a second light having a pattern different from that of the first light.
  • the determining whether the distance is within the reference distance may include determining that the distance of the object does not deviate from the reference distance when the brightness of the first depth image is greater than a set threshold.
  • the determining whether the distance is within the reference distance may include determining that the distance of the object is out of the reference distance when the brightness of the first depth image is lower than the threshold value.
  • the method may further include maintaining the first mode when it is determined that the distance of the object does not deviate from the reference distance.
  • the apparatus for generating a depth image and an operating method thereof according to the present invention can increase the recognition rate of an object by irradiating light of different first and second patterns to recognize an object located at a short distance and a distance, and to generate a depth image of the object.
  • the TOF camera depth image generating apparatus and the operating method thereof according to the present invention have an advantage in that the application range is increased by recognizing gestures and motions of objects located in the near and far distances.
  • FIG. 1 is a control block diagram illustrating a control configuration of an apparatus for generating a depth image according to a first embodiment of the present invention.
  • FIG. 2 and 3 are exemplary views illustrating an operation of the apparatus for generating a depth image shown in FIG. 1 .
  • FIG. 4 is a flowchart illustrating an operating method of the apparatus for generating a depth image according to the first embodiment of the present invention.
  • FIG. 5 is a control block diagram illustrating a control configuration of an apparatus for generating a depth image according to a second embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an operating method of an apparatus for generating a depth image according to a second embodiment of the present invention.
  • FIG. 1 is a control block diagram illustrating a control configuration of an apparatus for generating a depth image according to a first embodiment of the present invention.
  • the apparatus 100 for generating a depth image may include a transmitter 110 , a receiver 120 , and a controller 130 .
  • the transmitter 110 may include first and second light emitting arrays 112 and 114 , a light conversion lens 116 , and a pattern element 118 .
  • the first and second light emitting arrays 112 and 114 may be vertical cavity surface emitting lasers (VCSELs).
  • VCSELs vertical cavity surface emitting lasers
  • the vertical resonance surface-emitting laser may be a semiconductor laser having a vertical active layer in which light is emitted vertically in the form of a circular beam on the wafer surface.
  • the first and second light emitting arrays 112 and 114 may be individually driven to each other under the control of the controller 130 to emit laser light, that is, light.
  • first and second light emitting arrays 112 and 114 have been described as separate structures, they consist of one light emitting array and can be individually driven by dividing the first and second light emitting arrays into groups of at least two or more, but the present invention is not limited thereto.
  • the light conversion lens 116 is disposed between the second light emitting array 114 and the pattern element 118 , and may convert light generated from the second light emitting array 114 into parallel and parallel light.
  • the light conversion lens 116 may be, for example, a collimator lens or a liquid lens.
  • the collimator lens may convert the incident light into parallel light and output the converted light to the pattern element 118 .
  • the liquid lens may control the current to change the radius of curvature of the lens to convert incident light into parallel light.
  • the pattern element 118 may include a diffractive optical element.
  • the pattern element 118 may generate light having various different patterns according to the pattern while diffracting light input by the pre-formed pattern structure.
  • the pattern element 118 generates the first light having the first pattern based on the light incident from the first light emitting array 112 or the second light based on the parallel light incident from the light conversion lens 116 .
  • a second light having a pattern may be generated.
  • the pattern element 116 may include a first pattern unit generating the first light and a second pattern unit generating the second light.
  • first and second pattern parts are separated from each other for convenience of description, but the present invention is not limited thereto.
  • the first pattern may be a surface light source type pattern
  • the second pattern may be a point light source type pattern
  • the receiver 120 may include a focus lens 122 , a filter 124 , and an image sensor 126 .
  • the focus lens 122 may receive the reflected light reflected from the object and output it to the filter 124 .
  • the focus lens 122 may receive the first reflected light or the second reflected light reflected from the object by the first light.
  • the filter 124 may transmit a specific wavelength of the first or second reflected light.
  • the image sensor 126 is a time of flight (TOF) sensor, and may generate one of the first and second depth images by using a phase difference between one of the first and second lights and the light transmitted from the filter 124 .
  • TOF time of flight
  • the controller 130 may control the transmitter 110 and the receiver 120 to recognize an object and generate a depth image according to an input command.
  • the controller 130 may operate in the first mode to check whether the object deviated from a set reference distance according to an input command.
  • the controller 130 may control the first light to be irradiated by operating the first light emitting array 112 .
  • the controller 130 may determine whether the distance of the object deviates from the reference distance based on the first depth image.
  • the controller 130 may determine that the distance of the object does not deviate from the reference distance.
  • the threshold value may be a brightness value corresponding to the reference distance.
  • the controller 130 may recognize that the object is located in a short distance and maintain the first mode.
  • the controller 130 may determine that the distance of the object deviates from the reference distance.
  • the controller 130 may recognize that the object is located at a long distance and convert the first mode to the second mode.
  • the controller 130 may stop the operation of the first light emitting array 112 and operate the second light emitting array 114 to irradiate the second light to the object.
  • the controller 130 may recognize the object based on the second depth image.
  • the apparatus for generating a depth image according to the present invention has an advantage in that it is easy to recognize an object by checking whether the location of the object is near or far and irradiating different first and second lights according to the location of the object.
  • FIG. 2 and 3 are exemplary views illustrating an operation of the apparatus for generating a depth image shown in FIG. 1 .
  • FIG. 2 shows a case where the object is located at a short distance
  • FIG. 3 shows a case where the object is located at a long distance.
  • the controller 130 of the apparatus 100 for generating a depth image may operate in a first mode to recognize an object OB.
  • the first mode may recognize the object OB and generate a first depth image of the object OB when the object OB is located in a short distance.
  • the controller 130 may operate the first light emitting array 112 included in the transmitter 110 to irradiate the first light having the first pattern.
  • the receiver 120 may generate a first depth image generated by receiving the first reflected light reflected from the object OB.
  • the controller 130 may determine whether the distance of the object OB deviates from a set reference distance based on the first depth image.
  • the controller 130 may determine that the reference distance is not deviated.
  • the threshold value may be a brightness value corresponding to the reference distance.
  • the reference distance may be a short distance, that is, 1 m to 3 m.
  • the controller 130 may maintain the first mode.
  • the apparatus 100 for generating a depth image may operate in a first mode to recognize an object OB.
  • the first mode may recognize the object OB and generate a first depth image of the object OB when the object OB is located in a short distance.
  • the controller 130 may operate the first light emitting array 112 included in the transmitter 110 to irradiate the first light having the first pattern.
  • the receiver 120 may generate a first depth image generated by receiving the first reflected light reflected from the object OB.
  • the controller 130 may determine whether the distance of the object OB deviates from a set reference distance based on the first depth image.
  • the controller 130 may determine that the reference distance is out of range.
  • the controller 130 may switch the first mode to the second mode.
  • the second mode may be a mode for recognizing an object OB located at a distance, that is, 3 m to 7 m.
  • the controller 130 may stop the operation of the first light emitting array 112 and operate the second light emitting array 114 .
  • the transmitting unit 110 converts the light generated from the second light emitting array 114 into parallel light through the light conversion lens 116 and uses the pattern element 118 to convert the second pattern having a second pattern different from the first pattern. 2
  • the light can be irradiated to the object OB.
  • the receiver 120 may generate a second depth image generated by receiving the second reflected light reflected from the object OB.
  • the apparatus 100 for generating a depth image according to the present invention transmits light of a pattern for recognizing the object OB according to the distance of the object OB, thereby facilitating recognition of the object OB. .
  • FIG. 4 is a flowchart illustrating an operating method of the apparatus for generating a depth image according to the first embodiment of the present invention.
  • the controller 130 of the apparatus 100 for generating a depth image may operate in the first mode to recognize an object according to an input command ( S110 ).
  • the controller 130 may control the transmitter 110 to emit the first light having the first pattern ( S120 ).
  • the controller 130 may operate the first light emitting array 112 to control that the first light is irradiated from the pattern element 118 .
  • the controller 130 may receive the first depth image generated by the receiver 120 (S130).
  • the receiver 120 may receive the first reflected light reflected from the object OB after the first light is irradiated, generate a first depth image, and transmit it to the controller 130 .
  • the controller 130 may determine whether the distance of the object deviates from the reference distance based on the first depth image ( S140 ).
  • the controller 130 may determine whether the distance of the object deviates from the reference distance by comparing the threshold value to which the brightness of the first depth image is set.
  • step (S140) if it is determined that the distance of the object does not deviate from the reference distance, the controller 130 may recognize that the object is located in a short distance and maintain the first mode (S150).
  • the controller 130 may determine that the distance of the object does not deviate from the reference distance and maintain the first mode.
  • step (S140) if it is determined that the distance of the object is out of the reference distance, the controller 130 may recognize that the object is located at a distant location and switch the first mode to the second mode (S160).
  • the controller 130 may determine that the distance of the object is out of the reference distance, and may switch the first mode to the second mode.
  • the controller 130 may control the transmitter 110 to transmit the second light having the second pattern ( S170 ).
  • the controller 130 stops the operation of the first light emitting array 112 , converts the light generated from the second light emitting array 114 into parallel light through the light conversion lens 116 , and generates the pattern element 118 .
  • the second light having a second pattern different from the first pattern may be controlled to be irradiated to the object OB.
  • the controller 130 may receive the second depth image generated by the receiver 120 (S180).
  • the receiver 120 may receive the second reflected light reflected from the object OB after the second light is irradiated, generate a second depth image, and transmit it to the controller 130 .
  • the controller 130 may recognize the object OB as the second depth image (S190).
  • FIG. 5 is a control block diagram illustrating a control configuration of an apparatus for generating a depth image according to a second embodiment of the present invention.
  • the apparatus 200 for generating a depth image may include a transmitter 210 , a receiver 220 , and a controller 230 .
  • the transmitter 210 may include a light emitting array 213 , a light conversion lens 215 , a lens moving member 217 , and a pattern element 219 .
  • the light emitting array 213 may be a vertical cavity surface emitting laser (VCSEL).
  • VCSEL vertical cavity surface emitting laser
  • the vertical resonance surface-emitting laser may be a semiconductor laser having a vertical active layer in which light is emitted vertically in the form of a circular beam on the wafer surface.
  • the light emitting arrays 213 may be driven to each other under the control of the controller 230 to emit lasers, that is, light.
  • the light conversion lens 215 is disposed between the light emitting array 213 and the pattern element 118 , and may convert light generated from the light emitting array 213 into parallel and parallel light.
  • the light conversion lens 215 may be, for example, a collimator lens or a liquid lens.
  • the collimator lens may convert the incident light into parallel light and output the converted light to the pattern element 219 .
  • the liquid lens may control the current to change the radius of curvature of the lens to convert incident light into parallel light.
  • the lens moving member 217 may move the light conversion lens 215 under the control of the controller 230 .
  • the lens moving member 217 may move the light conversion lens 215 between the light emitting array 213 and the pattern element 219 .
  • the pattern element 219 may include a diffractive optical element.
  • the pattern element 118 may generate light having various different patterns according to the pattern while diffracting light input by the pre-formed pattern structure.
  • the pattern element 219 generates a first light having a first pattern based on the light incident from the light emitting array 213 or generates a second pattern based on the parallel light incident from the light conversion lens 215 .
  • the branch may generate a second light.
  • the first pattern may be a surface light source type pattern
  • the second pattern may be a point light source type pattern
  • the receiver 220 may include a focus lens 222 , a filter 224 , and an image sensor 226 .
  • the focus lens 222 may receive the reflected light reflected from the object and output it to the filter 224 .
  • the focus lens 222 may receive the first reflected light or the second reflected light reflected from the object by the first or second light. .
  • the filter 224 may transmit a specific wavelength of the first or second reflected light.
  • the image sensor 226 is a time of flight (TOF) sensor, and may generate one of the first and second depth images by using a phase difference between one of the first and second lights and the light transmitted from the filter 224 .
  • TOF time of flight
  • the controller 230 may control the transmitter 210 and the receiver 220 to recognize an object and generate a depth image according to an input command.
  • the controller 230 may operate in the first mode to check whether the object deviated from a set reference distance according to an input command.
  • the controller 230 may control the light emitting array 213 to be irradiated with the first light having the first pattern through the pattern element 219 .
  • the controller 230 may determine whether the distance of the object deviates from the reference distance based on the first depth image.
  • the controller 230 may determine that the distance of the object does not deviate from the reference distance.
  • the threshold value may be a brightness value corresponding to the reference distance.
  • the controller 230 may recognize that the object is located in a short distance and maintain the first mode.
  • the controller 230 may determine that the distance of the object deviates from the reference distance.
  • the controller 230 may recognize that the object is located at a distant location and may convert the first mode to the second mode.
  • control unit 230 controls the lens moving member 217 such that the light conversion lens 215 is moved and disposed between the light emitting array 213 and the pattern element 219 during operation of the light emitting array 213 . ) can be controlled.
  • the transmitter 210 may irradiate the light having the second pattern through the pattern element 219 of the parallel light converted by the light conversion lens 215 to the object.
  • the controller 230 may recognize the object based on the second depth image.
  • the apparatus for generating a depth image according to the present invention has an advantage in that it is easy to recognize an object by checking whether the location of the object is near or far and irradiating different first and second lights according to the location of the object.
  • FIG. 6 is a flowchart illustrating an operating method of an apparatus for generating a depth image according to a second embodiment of the present invention.
  • the controller 230 of the depth image generating apparatus 200 may operate in the first mode to recognize an object according to an input command ( S210 ).
  • the controller 230 may control the transmitter 210 to emit the first light having the first pattern ( S220 ).
  • controller 230 may control the light emitting array 213 to be irradiated with the first light from the pattern element 219 .
  • the controller 230 may receive the first depth image generated by the receiver 220 (S230).
  • the receiver 220 may receive the first reflected light reflected from the object after the first light is irradiated, generate a first depth image, and transmit it to the controller 230 .
  • the controller 230 may determine whether the distance of the object deviates from the reference distance based on the first depth image ( S240 ).
  • the controller 230 may determine whether the distance of the object deviates from the reference distance by comparing the threshold value to which the brightness of the first depth image is set.
  • step (S240) if it is determined that the distance of the object does not deviate from the reference distance, the controller 230 may recognize that the object is located in a short distance and maintain the first mode (S250).
  • the controller 230 may determine that the distance of the object does not deviate from the reference distance and maintain the first mode.
  • step (S240) if it is determined that the distance of the object is out of the reference distance, the control unit 230 may recognize that the object is located at a distant location and switch the first mode to the second mode (S260).
  • the controller 230 may determine that the distance of the object is out of the reference distance, and may switch the first mode to the second mode.
  • the controller 230 When operating in the second mode, the controller 230 is a lens moving member so that the second light having the second pattern is irradiated and the light conversion lens 215 is moved between the light emitting array 213 and the pattern element 219 . (217) can be controlled (S270).
  • the controller 230 may control the lens moving member 217 so that the light conversion lens 215 is moved and disposed between the light emitting array 213 and the pattern element 219 during the operation of the light emitting array 213 . .
  • the transmitter 210 may irradiate the light having the second pattern through the pattern element 219 of the parallel light converted by the light conversion lens 215 to the object.
  • the controller 230 may receive the second depth image generated by the receiver 220 (S280).
  • the receiver 220 may receive the second reflected light reflected from the object after the second light is irradiated, generate a second depth image, and transmit it to the controller 230 .
  • the controller 230 may recognize the object as the second depth image (S290).

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 제1 광을 조사하는 송신부, 상기 제1 광에 의해 객체(Object)에서 반산된 제1 반사광을 기반으로 상기 객체에 대한 제1 깊이 영상을 출력하는 수신부 및 제1 모드 동작 시, 상기 제1 광이 조사되게 상기 송신부를 제어하고, 상기 제1 깊이 영상을 기반으로 획득한 상기 객체의 거리가 설정된 기준거리를 벗어난 것으로 판단하면, 상기 제1 모드를 제2 모드로 전환하여 상기 제1 광과 다른 패턴의 제2 광이 조사되게 상기 송신부를 제어하는 제어부를 포함하는 깊이 영상 생성 장치를 제공한다.

Description

깊이 영상 생성 장치 및 그 동작방법
본 발명은 깊이 영상 생성 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 근거리 및 원거리에 위치한 객체(Object)를 인식하기 용이한 깊이 영상 생성 장치 및 그 동작방법에 관한 것이다.
일반적으로, 3차원 영상처리에서는 정확한 깊이 정보를 얻어내는 것이 중요하며, 움직임 검출에 대한 관점과 검토가 현재 활발하게 이루어지고 있는 것에 수반하여, 3차원 깊이 정보를 정확하게 추출하는 기술 또한 각광받고 있다.
현재 움직임을 인식하여 온라인 게임에 반영하는 기기에서, 움직임 검출장치는 근거리, 즉 1m 내지 3m의 깊이 정보를 검출할 수 있다. 그러나, 원거리, 즉 3m ~ 5m 정도의 깊이 정보를 검출하기 위한 추가적인 기술개발이 필요하다.
객체의 길이정보를 측정하는 방법 중 하나로 TOF(Time of Flight) 방식이 있다. 상기 TOF 방식은 객체에 직접적으로 광을 조사하고, 객체로부터 반사되는 반사광의 시간을 계산함으로써, 그 객체의 깊이 정보를 측정하는 방식이다.
이동 단말기와 같은 기기에 적용되는 깊이 영상 생성 장치의 경우, 원거리에 위치한 객체의 깊이 정보를 인식하기 위하여 출력을 높여야 하는데, 이 경우 사용자의 운의 안전을 보장할 수 없는 문제가 있다.
최근들어, 깊이 영상 생성 장치가 근거리 및 원거리에 위치한 객체의 깊이 정보를 검출할 수 있는 연구를 진행하고 있다.
본 발명의 목적은, 근거리 및 원거리에 위치한 객체를 감지하기 용이한 깊이 영상 생성 장치 및 그 동작방법을 제공함에 있다.
또한, 본 발명의 목적은, 서로 다른 패턴의 광을 조사하여 근거리 및 원거리에 위치한 객체의 깊이 영상을 생성할 수 있는 깊이 영상 생성 장치 및 그 동작방법을 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 깊이 영상 생성 장치는, 제1 광을 조사하는 송신부, 상기 제1 광에 의해 객체(Object)에서 반산된 제1 반사광을 기반으로 상기 객체에 대한 제1 깊이 영상을 출력하는 수신부 및 제1 모드 동작 시, 상기 제1 광이 조사되게 상기 송신부를 제어하고, 상기 제1 깊이 영상을 기반으로 획득한 상기 객체의 거리가 설정된 기준거리를 벗어난 것으로 판단하면, 상기 제1 모드를 제2 모드로 전환하여 상기 제1 광과 다른 패턴의 제2 광이 조사되게 상기 송신부를 제어하는 제어부를 포함할 수 있다.
상기 송신부는, 개별 구동하는 제1, 2 발광 어레이, 상기 제2 발광 어레이에서 발생된 광을 평행한 평행광으로 변환하는 광변환 렌즈 및 상기 제1 발광 어레이에서 발생된 광을 기반으로 상기 제1 광을 생성하거나, 상기 평행광을 기반으로 상기 제2 광을 생성하여 상기 객체에 조사하는 패턴 소자를 포함할 수 있다.
상기 광변환 렌즈는, 상기 제2 발광 어레이 및 상기 패턴 소자 사이에 배치될 수 있다.
상기 광변환 렌즈는, 콜리메이터(Collimator) 렌즈 또는 액체 렌즈일 수 있다.
상기 패턴 소자는, 제1 패턴을 가지는 상기 제1 광을 생성하는 제1 패턴부 및 상기 제1 패턴과 다른 제2 패턴을 가지는 상기 제2 광을 생성하는 제2 패턴부를 포함할 수 있다.
상기 제1 패턴은, 면광원 형태이며, 상기 제2 패턴은, 점광원 형태일 수 있다.
상기 제어부는, 상기 제1 깊이 영상의 밝기가 설정된 임계값보다 크면 상기 객체의 거리가 상기 기준 거리를 벗어나지 않은 것으로 판단하여, 상기 제1 모드를 유지할 수 있다.
상기 제어부는, 상기 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 상기 객체의 거리가 상기 기준거리를 벗어난 것으로 판단하여, 상기 제1 모드를 상기 제2 모드로 전환할 수 있다.
상기 제2 모드로 전환하는 경우, 상기 제어부는, 상기 제2 광이 조사되게 상기 제2 발광 어레이를 구동시킬 수 있다.
상기 제2 광이 조사되는 경우, 상기 수신부는, 상기 제2 광에 의해 상기 객체에서 반사된 제2 반사광을 기반으로 상기 객체에 대한 제2 깊이 영상을 상기 제어부로 출력할 수 있다.
상기 수신부는, 상기 제1, 2 반사광을 수광하는 초점 렌즈, 상기 초점 렌즈에서 투과된 광의 특정 파장을 투과시키는 필터 및 상기 제1, 2 광 중 하나와 상기 필터에서 투과된 광의 위상차를 이용하여 상기 제1, 2 깊이 영상 중 하나를 생성하는 이미지 센서를 포함할 수 있다.
상기 송신부는, 발광 어레이, 상기 발광 어레이에서 발생된 광을 평행광으로 변환하는 광변환 렌즈, 상기 광이 입사되게 상기 광변환 렌즈를 이동시키는 렌즈 이동부재 및 상기 광을 기반으로 상기 제1 광을 생성하거나, 상기 평행광을 기반으로 상기 제2 광을 생성하여 상기 객체에 조사하는 패턴 소자를 포함할 수 있다.
상기 제1 모드로 동작하는 경우, 상기 제어부는, 상기 발광 어레이 및 상기 패턴 소자 사이에 상기 광변환 렌즈가 이동죄기 않게 상기 렌즈 이동부재를 제어할 수 있다.
상기 제2 모드로 동작하는 경우, 상기 제어부는, 상기 발광 어레이 및 상기 패턴 소자 사이에 상기 광변환 렌즈가 이동되게 상기 렌즈 이동부재를 제어할 수 있다.
본 발명에 따른 깊이 영상 생성 장치의 동작방법은, 제1 모드 동작 시, 제1 광을 조사하는 단계, 상기 제1 광에 의해 객체(Object)에서 반사된 제1 반사광으로 생성한 상기 객체의 제1 깊이 영상을 기반으로 상기 객체의 거리를 획득하는 단계, 상기 객체의 거리가 설정된 기준거리 내인지 판단하는 단계 및 상기 객체의 거리가 상기 기준거리를 벗어난 것으로 판단하면, 상기 제1 모드를 제2 모드로 전환하여 상기 제1 광과 다른 패턴의 제2 광을 조사하는 단계를 포함할 수 있다.
상기 기준거리 내인지 판단하는 단계는, 상기 제1 깊이 영상의 밝기가 설정된 임계값보다 크면 상기 객체의 거리가 상기 기준거리를 벗어나지 않은 것으로 판단할 수 있다.
상기 기준거리 내인지 판단하는 단계는, 상기 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 상기 객체의 거리가 상기 기준 거리를 벗어난 것으로 판단할 수 있다.
상기 객체의 거리가 상기 기준거리를 벗어나지 않은 것으로 판단하면, 상기 제1 모드를 유지하는 단계를 더 포함할 수 있다.
본 발명에 따른 깊이 영상 생성 장치 및 그 동작방법은, 서로 다른 제1, 2 패턴의 광을 조사함으로써, 근거리 및 원거리에 위치한 객체을 인식하고, 객체의 깊이 영상을 생성함으로써, 객체의 인식율을 높일 수 있는 이점이 있다.
본 발명에 따른 TOF 카메라깊이 영상 생성 장치 및 그 동작방법은, 근거리 및 원거리에 위치한 객체의 제스쳐 및 동작을 인식함으로써, 적용 범위가 증가되는 이점이 있다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1은 본 발명의 제1 실시예에 따른 깊이 영상 생성 장치의 제어 구성을 나타낸 제어블록도이다.
도 2 및 도 3은 도 1에 나타낸 깊이 영상 생성 장치의 동작을 나타낸 예시도이다.
도 4는 본 발명의 제1 실시예에 따른 깊이 영상 생성 장치의 동작방법을 나타낸 순서도이다.
도 5는 본 발명의 제2 실시예에 따른 깊이 영상 생성 장치의 제어 구성을 나타낸 제어블록도이다.
도 6은 본 발명의 제2 실시예에 따른 깊이 영상 생성 장치의 동작방법을 나타낸 순서도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 제1 실시예에 따른 깊이 영상 생성 장치의 제어 구성을 나타낸 제어블록도이다.
도 1을 참조하면, 깊이 영상 생성 장치(100)는 송신부(110), 수신부(120) 및 제어부(130)를 포함할 수 있다.
송신부(110)는 제1, 2 발광 어레이(112, 114), 광변환 렌즈(116) 및 패턴 소자(118)를 포함할 수 있다.
제1, 2 발광 어레이(112, 114)는 수직 공진형 표면 발광 레이저(VCSEL, Vertical Cavity Surface Emitting Laser)일 수 있다.
여기서, 상기 수직 공진형 표면 발광 레이저는 웨이퍼 표면에 원형빔 형태의 수직으로 빛이 나오는 수직 활성층을 갖는 반도체 레이저일 수 있다.
제1, 2 발광 어레이(112, 114)는 제어부(130)의 제어에 의해 서로 개별 구동하여 레이저, 즉 광을 방출할 수 있다.
또한, 제1, 2 발광 어레이(112, 114)는 서로 별도의 구성으로 설명하였으나, 하나의 발광 어레이로 이루어지고, 적어도 2이상의 그룹으로 분할하여 개별 구동할 수 있으며, 이에 한정을 두지 않는다.
광변환 렌즈(116)는 제2 발광 어레이(114) 및 패턴 소자(118) 사이에 배치되며, 제2 발광 어레이(114)에서 발생된 광을 평행한 평행광으로 변환할 수 있다.
여기서, 광변환 렌즈(116)는 예를 들어, 콜리메이터(Collimatior) 렌즈 또는 액체 렌즈일 수 있다.
상기 콜리메이터 렌즈는 제2 발광 어레이(114)에서 발생된 광이 좁은 슬릿을 통하여 입사되면, 입사된 광을 평행한 평행광으로 변환하여 패턴 소자(118)로 출력할 수 있다.
또한, 상기 액체 렌즈는 전류를 조절하여 렌즈의 곡률 반경을 변화시켜 입사된 광을 평행광으로 변환시킬 수 있다.
패턴 소자(118)는 회절성 광학 엘리먼트(Diffractive Optical Element)를 포함할 수 있다. 여기서, 패턴 소자(118)는 기 형성된 패턴 구조에 의해 입력된 광이 회절하면서 패턴에 따라 다양한 서로 다른 패턴을 가지는 광을 생성할 수 있다.
즉, 패턴 소자(118)는 제1 발광 어레이(112)에서 입사된 광을 기반으로 제1 패턴을 가지는 제1 광을 생성하거나, 광변환 렌즈(116)에서 입사된 평행광을 기반으로 제2 패턴을 가지는 제2 광을 생성할 수 있다.
또한, 패턴 소자(116)는 제1 광을 생성하는 제1 패턴부 및 제2 광을 생성하는 제2 패턴부를 포함할 수 있다.
실시예에서, 제1, 2 패턴부는 설명의 편의를 위하여 서로 구분하였으나, 이에 한정을 두지 않는다.
여기서, 제1 패턴은 면광원 형태의 패턴이며, 제2 패턴은 점광원 형태의 패턴일 수 있다.
수신부(120)는 초점렌즈(122), 필터(124) 및 이미지 센서(126)를 포함할 수 있다.
초점렌즈(122)는 객체(Object)에서 반사되는 반사광을 수광하여 필터(124)로 출사할 수 있다.
즉, 송신부(110)에서 제1 광 또는 제2 광이 발생되는 경우, 초점렌즈(122)는 제1 광에 의해 객체에서 반사되는 제1 반사광 또는 제2 반사광을 수광할 수 있다.
필터(124)는 제1 또는 제2 반사광의 특정 파장을 투과시킬 수 있다.
이미지 센서(126)는 TOF(Time of Flight) 센서로써, 제1, 2 광 중 하나와 필터(124)에서 투과된 광의 위상차를 이용하여 제1, 2 깊이 영상 중 하나를 생성할 수 있다.
제어부(130)는 입력된 명령에 따라 객체를 인식하고 깊이 영상이 생성되게 송신부(110) 및 수신부(120)를 제어할 수 있다.
먼저, 제어부(130)는 입력된 명령에 따라 객체가 설정된 기준거리를 벗어났는지 여부를 확인하기 위해 제1 모드로 동작할 수 있다.
제1 모드로 동작하는 경우, 제어부(130)는 제1 발광 어레이(112)를 동작시켜 제1 광이 조사되게 제어할 수 있다.
이때, 제1 광이 조사된 후 수신부(120)로부터 제1 깊이 영상이 입력되는 경우, 제어부(130)는 제1 깊이 영상을 기반으로 객체의 거리가 기준 거리를 벗어난 것인지 판단할 수 있다.
즉, 제어부(130)는 제1 깊이 영상의 밝기가 설정된 임계값보다 크면 상기 객체의 거리가 기준 거리를 벗어나지 않은 것으로 판단할 수 있다.
여기서, 상기 임계값은 상기 기준거리에 대응하는 밝기값일 수 있다.
이때, 객체의 거리가 기준거리를 벗어나지 않는 경우, 제어부(130)는 객체가 근거리에 위치하는 것으로 인식하고 제1 모드를 유지할 수 있다.
제어부(130)는 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 객체의 거리가 기준 거리를 벗어난 것으로 판단할 수 있다.
즉, 객체의 거리가 기준거리를 벗어난 경우, 제어부(130)는 객체가 원거리에 위치하는 것으로 인식하고 상기 제1 모드를 제2 모드로 전환할 수 있다.
제2 모드로 전환하는 경우, 제어부(130)는 제1 발광 어레이(112)의 동작을 멈추고, 제2 발광 어레이(114)를 동작시켜 제2 광이 객체에 조사시킬 수 있다.
이후, 제2 광이 조사된 후 수신부(120)로부터 제2 깊이 영상이 입력되는 경우, 제어부(130)는 제2 깊이 영상을 기반으로 객체를 인식할 수 있다.
본 발명에 따른 깊이 영상 생성 장치는 객체의 위치가 근거리 또는 원거리인지 확인하고, 객체의 위치에 따라 서로 다른 제1, 2 광이 조사되도록 함으로써, 객체를 인식하기 용이한 이점이 있다.
도 2 및 도 3은 도 1에 나타낸 깊이 영상 생성 장치의 동작을 나타낸 예시도이다.
도 2는 객체가 근거리에 위치한 경우를 나타내며, 도 3은 객체가 원거리에 위치한 경우를 나타낸다.
도 2를 참조하면, 깊이 영상 생성 장치(100)의 제어부(130)는 객체(OB)를 인식하기 위하여 제1 모드로 동작할 수 있다.
이때, 상기 제1 모드는 객체(OB)의 인식 및 객체(OB)가 근거리에 위치하는 경우 객체(OB)에 대한 제1 깊이 영상을 생성할 수 있다.
제1 모드로 동작하는 경우, 제어부(130)는 송신부(110)에 포함된 제1 발광 어레이(112)를 동작시켜 제1 패턴을 가지는 제1 광을 조사할 수 있다.
이때, 수신부(120)는 객체(OB)에서 반사된 제1 반사광을 수광하여 생성한 제1 깊이 영상을 생성할 수 있다.
제어부(130)는 제1 깊이 영상을 기반으로 객체(OB)의 거리가 설정된 기준 거리를 벗어난 것인지 판단할 수 있다.
즉, 제어부(130)는 제1 깊이 영상의 밝기값이 설정된 임계값보다 크면 기준 거리를 벗어나지 않은 것으로 판단할 수 있다.
여기서, 상기 임계값은 상기 기준거리에 대응하는 밝기값일 수 있다. 또한, 상기 기준 거리는 근거리, 즉 1m 내지 3m일 수 있다.
객체(OB)의 거리가 상기 기준 거리를 벗어나지 않은 것으로 판단하는 경우, 제어부(130)는 제1 모드를 유지할 수 있다.
도 3을 참조하면, 깊이 영상 생성 장치(100)의 객체(OB)를 인식하기 위하여 제1 모드로 동작할 수 있다.
이때, 상기 제1 모드는 객체(OB)의 인식 및 객체(OB)가 근거리에 위치하는 경우 객체(OB)에 대한 제1 깊이 영상을 생성할 수 있다.
제1 모드로 동작하는 경우, 제어부(130)는 송신부(110)에 포함된 제1 발광 어레이(112)를 동작시켜 제1 패턴을 가지는 제1 광을 조사할 수 있다.
이때, 수신부(120)는 객체(OB)에서 반사된 제1 반사광을 수광하여 생성한 제1 깊이 영상을 생성할 수 있다.
제어부(130)는 제1 깊이 영상을 기반으로 객체(OB)의 거리가 설정된 기준 거리를 벗어난 것인지 판단할 수 있다.
즉, 제어부(130)는 제1 깊이 영상의 밝기값이 설정된 임계값보다 낮으면 기준 거리를 벗어난 것으로 판단할 수 있다.
객체(OB)의 거리가 상기 기준 거리를 벗어난 것으로 판단하는 경우, 제어부(130)는 제1 모드를 제2 모드로 전환할 수 있다.
여기서, 제2 모드는 원거리, 즉 3m 내지 7m에 위치한 객체(OB)를 인식하기 위한 모드일 수 있다.
제2 모드로 전환하는 경우, 제어부(130)는 제1 발광 어레이(112)의 동작을 멈추고, 제2 발광 어레이(114)을 동작시킬 수 있다.
이때, 송신부(110)는 제2 발광 어레이(114)에서 발생된 광이 광변환 렌즈(116)를 통해 평행광으로 변환하고 패턴 소자(118)를 통해 제1 패턴과 다른 제2 패턴을 가지는 제2 광을 객체(OB)에 조사할 수 있다.
수신부(120)는 객체(OB)에서 반사된 제2 반사광을 수광하여 생성한 제2 깊이 영상을 생성할 수 있다.
이와 같이, 본 발명에 따른 깊이 영상 생성 장치(100)는 객체(OB)의 거리에 따라 객체(OB)을 인식하기 위한 패턴의 광을 송신함으로써, 객체(OB)의 인식이 용이한 이점이 있다.
도 4는 본 발명의 제1 실시예에 따른 깊이 영상 생성 장치의 동작방법을 나타낸 순서도이다.
도 4를 참조하면, 깊이 영상 생성 장치(100)의 제어부(130)는 입력된 명령에 따라 객체를 인식하기 위해 제1 모드로 동작할 수 있다(S110).
제1 모드로 동작하는 경우, 제어부(130)는 송신부(110)에서 제1 패턴을 가지는 제1 광이 조사되게 제어할 수 있다(S120).
즉, 제어부(130)는 제1 발광 어레이(112)를 동작시켜 패턴 소자(118)로부터 제1 광이 조사되게 제어할 수 있다.
제어부(130)는 수신부(120)에서 생성한 제1 깊이 영상을 수신할 수 있다(S130).
즉, 수신부(120)는 제1 광이 조사된 후 객체(OB)에서 반사되는 제1 반사광을 수신하여, 제1 깊이 영상을 생성하여 제어부(130)로 전달할 수 있다.
제어부(130)는 제1 깊이 영상을 기반으로 객체의 거리가 기준 거리를 벗어난 것인지 판단할 수 있다(S140).
즉, 제어부(130)는 제1 깊이 영상의 밝기가 설정된 임계값을 비교하여, 객체의 거리가 기준 거리를 벗어난 것인지 판단할 수 있다.
(S140) 단계에서, 객체의 거리가 기준 거리를 벗어나지 않은 것으로 판단한 경우, 제어부(130)는 객체가 근거리에 위치하는 것으로 인식하고 제1 모드를 유지할 수 있다(S150).
즉, 제어부(130)는 제1 깊이 영상의 밝기가 상기 임계값보다 크면 상기 객체의 거리가 기준 거리를 벗어나지 않은 것으로 판단하고, 제1 모드를 유지할 수 있다.
(S140) 단계에서, 객체의 거리가 기준 거리를 벗어난 것으로 판단한 경우, 제어부(130)는 객체가 원거리에 위치하는 것으로 인식하고 제1 모드를 제2 모드로 전환할 수 있다(S160).
즉, 제어부(130)는 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 객체의 거리가 기준 거리를 벗어난 것으로 판단하고, 제1 모드를 제2 모드로 전환할 수 있다.
제2 모드로 동작하는 경우, 제어부(130)는 송신부(110)에서 제2 패턴을 가지는 제2 광이 송신되게 제어할 수 있다(S170).
즉, 제어부(130)는 제1 발광 어레이(112)의 동작을 멈추고, 제2 발광 어레이(114)에서 발생된 광이 광변환 렌즈(116)를 통해 평행광으로 변환하고 패턴 소자(118)를 통해 제1 패턴과 다른 제2 패턴을 가지는 제2 광이 객체(OB)에 조사되게 제어할 수 있다.
제어부(130)는 수신부(120)에서 생성한 제2 깊이 영상을 수신할 수 있다(S180).
즉, 수신부(120)는 제2 광이 조사된 후 객체(OB)에서 반사되는 제2 반사광을 수신하여, 제2 깊이 영상을 생성하여 제어부(130)로 전달할 수 있다.
제어부(130)는 제2 깊이 영상으로 객체(OB)를 인식할 수 있다(S190).
도 5는 본 발명의 제2 실시예에 따른 깊이 영상 생성 장치의 제어 구성을 나타낸 제어블록도이다.
도 5를 참조하면, 깊이 영상 생성 장치(200)는 송신부(210), 수신부(220) 및 제어부(230)를 포함할 수 있다.
송신부(210)는 발광 어레이(213), 광변환 렌즈(215), 렌즈 이동부재(217) 및 패턴 소자(219)를 포함할 수 있다.
발광 어레이(213)는 수직 공진형 표면 발광 레이저(VCSEL, Vertical Cavity Surface Emitting Laser)일 수 있다.
여기서, 상기 수직 공진형 표면 발광 레이저는 웨이퍼 표면에 원형빔 형태의 수직으로 빛이 나오는 수직 활성층을 갖는 반도체 레이저일 수 있다.
발광 어레이(213)는 제어부(230)의 제어에 의해 서로 구동하여 레이저, 즉 광을 방출할 수 있다.
광변환 렌즈(215)는 발광 어레이(213) 및 패턴 소자(118) 사이에 배치되며, 발광 어레이(213)에서 발생된 광을 평행한 평행광으로 변환할 수 있다.
여기서, 광변환 렌즈(215)는 예를 들어, 콜리메이터(Collimatior) 렌즈 또는 액체 렌즈일 수 있다.
상기 콜리메이터 렌즈는 발광 어레이(215)에서 발생된 광이 좁은 슬릿을 통하여 입사되면, 입사된 광을 평행한 평행광으로 변환하여 패턴 소자(219)로 출력할 수 있다.
또한, 상기 액체 렌즈는 전류를 조절하여 렌즈의 곡률 반경을 변화시켜 입사된 광을 평행광으로 변환시킬 수 있다.
렌즈 이동부재(217)는 제어부(230)의 제어에 따라 광변환 렌즈(215)를 이동시킬 수 있다.
즉, 렌즈 이동부재(217)는 발광 어레이(213) 및 패턴 소자(219) 사이에 광변환 렌즈(215)를 이동시킬 수 있다.
패턴 소자(219)는 회절성 광학 엘리먼트(Diffractive Optical Element)를 포함할 수 있다. 여기서, 패턴 소자(118)는 기 형성된 패턴 구조에 의해 입력된 광이 회절하면서 패턴에 따라 다양한 서로 다른 패턴을 가지는 광을 생성할 수 있다.
즉, 패턴 소자(219)는 발광 어레이(213)에서 입사된 광을 기반으로 제1 패턴을 가지는 제1 광을 생성하거나, 광변환 렌즈(215)에서 입사된 평행광을 기반으로 제2 패턴을 가지는 제2 광을 생성할 수 있다.
여기서, 제1 패턴은 면광원 형태의 패턴이며, 제2 패턴은 점광원 형태의 패턴일 수 있다.
수신부(220)는 초점렌즈(222), 필터(224) 및 이미지 센서(226)를 포함할 수 있다.
초점렌즈(222)는 객체(Object)에서 반사되는 반사광을 수광하여 필터(224)로 출사할 수 있다.
즉, 송신부(210)에서 제1 광 또는 제2 광이 발생되는 경우, 초점렌즈(222)는 제1 광 또는 제2 광에 의해 객체에서 반사되는 제1 반사광 또는 제2 반사광을 수광할 수 있다.
필터(224)는 제1 또는 제2 반사광의 특정 파장을 투과시킬 수 있다.
이미지 센서(226)는 TOF(Time of Flight) 센서로써, 제1, 2 광 중 하나와 필터(224)에서 투과된 광의 위상차를 이용하여 제1, 2 깊이 영상 중 하나를 생성할 수 있다.
제어부(230)는 입력된 명령에 따라 객체를 인식하고 깊이 영상이 생성되게 송신부(210) 및 수신부(220)를 제어할 수 있다.
먼저, 제어부(230)는 입력된 명령에 따라 객체가 설정된 기준거리를 벗어났는지 여부를 확인하기 위해 제1 모드로 동작할 수 있다.
제1 모드로 동작하는 경우, 제어부(230)는 발광 어레이(213)를 동작시켜 패턴 소자(219)를 통해 제1 패턴을 가지는 제1 광이 조사되게 제어할 수 있다.
이때, 제1 광이 조사된 후 수신부(220)로부터 제1 깊이 영상이 입력되는 경우, 제어부(230)는 제1 깊이 영상을 기반으로 객체의 거리가 기준 거리를 벗어난 것인지 판단할 수 있다.
즉, 제어부(230)는 제1 깊이 영상의 밝기가 설정된 임계값보다 크면 상기 객체의 거리가 기준 거리를 벗어나지 않은 것으로 판단할 수 있다.
여기서, 상기 임계값은 상기 기준거리에 대응하는 밝기값일 수 있다.
이때, 객체의 거리가 기준거리를 벗어나지 않는 경우, 제어부(230)는 객체가 근거리에 위치하는 것으로 인식하고 제1 모드를 유지할 수 있다.
제어부(230)는 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 객체의 거리가 기준 거리를 벗어난 것으로 판단할 수 있다.
즉, 객체의 거리가 기준거리를 벗어난 경우, 제어부(230)는 객체가 원거리에 위치하는 것으로 인식하고 상기 제1 모드를 제2 모드로 전환할 수 있다.
제2 모드로 전환하는 경우, 제어부(230)는 발광 어레이(213)의 동작 중 광변환 렌즈(215)가 이동되어 발광 어레이(213) 및 패턴 소자(219) 사이에 배치되게 렌즈 이동부재(217)를 제어할 수 있다.
이때, 송신부(210)는 광변환 렌즈(215)에서 변환된 평행광이 패턴 소자(219)를 통하여 제2 패턴을 가지는 광을 객체에 조사할 수 있다.
이후, 제2 광이 조사된 후 수신부(220)로부터 제2 깊이 영상이 입력되는 경우, 제어부(230)는 제2 깊이 영상을 기반으로 객체를 인식할 수 있다.
본 발명에 따른 깊이 영상 생성 장치는 객체의 위치가 근거리 또는 원거리인지 확인하고, 객체의 위치에 따라 서로 다른 제1, 2 광이 조사되도록 함으로써, 객체를 인식하기 용이한 이점이 있다.
도 6은 본 발명의 제2 실시예에 따른 깊이 영상 생성 장치의 동작방법을 나타낸 순서도이다.
도 6을 참조하면, 깊이 영상 생성 장치(200)의 제어부(230)는 입력된 명령에 따라 객체를 인식하기 위해 제1 모드로 동작할 수 있다(S210).
제1 모드로 동작하는 경우, 제어부(230)는 송신부(210)에서 제1 패턴을 가지는 제1 광이 조사되게 제어할 수 있다(S220).
즉, 제어부(230)는 발광 어레이(213)를 동작시켜 패턴 소자(219)로부터 제1 광이 조사되게 제어할 수 있다.
제어부(230)는 수신부(220)에서 생성한 제1 깊이 영상을 수신할 수 있다(S230).
즉, 수신부(220)는 제1 광이 조사된 후 객체에서 반사되는 제1 반사광을 수신하여, 제1 깊이 영상을 생성하여 제어부(230)로 전달할 수 있다.
제어부(230)는 제1 깊이 영상을 기반으로 객체의 거리가 기준 거리를 벗어난 것인지 판단할 수 있다(S240).
즉, 제어부(230)는 제1 깊이 영상의 밝기가 설정된 임계값을 비교하여, 객체의 거리가 기준 거리를 벗어난 것인지 판단할 수 있다.
(S240) 단계에서, 객체의 거리가 기준 거리를 벗어나지 않은 것으로 판단한 경우, 제어부(230)는 객체가 근거리에 위치하는 것으로 인식하고 제1 모드를 유지할 수 있다(S250).
즉, 제어부(230)는 제1 깊이 영상의 밝기가 상기 임계값보다 크면 상기 객체의 거리가 기준 거리를 벗어나지 않은 것으로 판단하고, 제1 모드를 유지할 수 있다.
(S240) 단계에서, 객체의 거리가 기준 거리를 벗어난 것으로 판단한 경우, 제어부(230)는 객체가 원거리에 위치하는 것으로 인식하고 제1 모드를 제2 모드로 전환할 수 있다(S260).
즉, 제어부(230)는 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 객체의 거리가 기준 거리를 벗어난 것으로 판단하고, 제1 모드를 제2 모드로 전환할 수 있다.
제2 모드로 동작하는 경우, 제어부(230)는 제2 패턴을 가지는 제2 광이 조사되게, 발광 어레이(213)와 패턴 소자(219) 사이에 광변환 렌즈(215)가 이동되게 렌즈 이동부재(217)를 제어할 수 있다(S270).
즉, 제어부(230)는 발광 어레이(213)의 동작 중 광변환 렌즈(215)가 이동되어 발광 어레이(213) 및 패턴 소자(219) 사이에 배치되게 렌즈 이동부재(217)를 제어할 수 있다.
이때, 송신부(210)는 광변환 렌즈(215)에서 변환된 평행광이 패턴 소자(219)를 통하여 제2 패턴을 가지는 광을 객체에 조사할 수 있다.
제어부(230)는 수신부(220)에서 생성한 제2 깊이 영상을 수신할 수 있다(S280).
즉, 수신부(220)는 제2 광이 조사된 후 객체에서 반사되는 제2 반사광을 수신하여, 제2 깊이 영상을 생성하여 제어부(230)로 전달할 수 있다.
제어부(230)는 제2 깊이 영상으로 객체를 인식할 수 있다(S290).
이상에서 실시 예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 제1 광을 조사하는 송신부;
    상기 제1 광에 의해 객체(Object)에서 반산된 제1 반사광을 기반으로 상기 객체에 대한 제1 깊이 영상을 출력하는 수신부; 및
    제1 모드 동작 시, 상기 제1 광이 조사되게 상기 송신부를 제어하고, 상기 제1 깊이 영상을 기반으로 획득한 상기 객체의 거리가 설정된 기준거리를 벗어난 것으로 판단하면, 상기 제1 모드를 제2 모드로 전환하여 상기 제1 광과 다른 패턴의 제2 광이 조사되게 상기 송신부를 제어하는 제어부를 포함하는,
    깊이 영상 생성 장치.
  2. 제 1 항에 있어서,
    상기 송신부는,
    개별 구동하는 제1, 2 발광 어레이;
    상기 제2 발광 어레이에서 발생된 광을 평행한 평행광으로 변환하는 광변환 렌즈; 및
    상기 제1 발광 어레이에서 발생된 광을 기반으로 상기 제1 광을 생성하거나, 상기 평행광을 기반으로 상기 제2 광을 생성하여 상기 객체에 조사하는 패턴 소자를 포함하는,
    깊이 영상 생성 장치.
  3. 제 2 항에 있어서,
    상기 광변환 렌즈는,
    상기 제2 발광 어레이 및 상기 패턴 소자 사이에 배치된,
    깊이 영상 생성 장치.
  4. 제 2 항에 있어서,
    상기 광변환 렌즈는,
    콜리메이터(Collimator) 렌즈 또는 액체 렌즈인,
    깊이 영상 생성 장치.
  5. 제 2 항에 있어서,
    상기 패턴 소자는,
    제1 패턴을 가지는 상기 제1 광을 생성하는 제1 패턴부; 및
    상기 제1 패턴과 다른 제2 패턴을 가지는 상기 제2 광을 생성하는 제2 패턴부를 포함하는,
    깊이 영상 생성 장치.
  6. 제 5 항에 있어서,
    상기 제1 패턴은,
    면광원 형태이며,
    상기 제2 패턴은,
    점광원 형태인,
    깊이 영상 생성 장치.
  7. 제 2 항에 있어서,
    상기 제어부는,
    상기 제1 깊이 영상의 밝기가 설정된 임계값보다 크면 상기 객체의 거리가 상기 기준 거리를 벗어나지 않은 것으로 판단하여, 상기 제1 모드를 유지하는,
    깊이 영상 생성 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 상기 객체의 거리가 상기 기준거리를 벗어난 것으로 판단하여, 상기 제1 모드를 상기 제2 모드로 전환하는,
    깊이 영상 생성 장치.
  9. 제 2 항에 있어서,
    상기 제2 모드로 전환하는 경우,
    상기 제어부는,
    상기 제2 광이 조사되게 상기 제2 발광 어레이를 구동시키는,
    깊이 영상 생성 장치.
  10. 제 1 항에 있어서,
    상기 제2 광이 조사되는 경우,
    상기 수신부는,
    상기 제2 광에 의해 상기 객체에서 반사된 제2 반사광을 기반으로 상기 객체에 대한 제2 깊이 영상을 상기 제어부로 출력하는,
    깊이 영상 생성 장치.
  11. 제 2 항에 있어서,
    상기 수신부는,
    상기 제1, 2 반사광을 수광하는 초점 렌즈;
    상기 초점 렌즈에서 투과된 광의 특정 파장을 투과시키는 필터; 및
    상기 제1, 2 광 중 하나와 상기 필터에서 투과된 광의 위상차를 이용하여 상기 제1, 2 깊이 영상 중 하나를 생성하는 이미지 센서를 포함하는,
    깊이 영상 생성 장치.
  12. 제 1 항에 있어서,
    상기 송신부는,
    발광 어레이;
    상기 발광 어레이에서 발생된 광을 평행광으로 변환하는 광변환 렌즈;
    상기 광이 입사되게 상기 광변환 렌즈를 이동시키는 렌즈 이동부재; 및
    상기 광을 기반으로 상기 제1 광을 생성하거나, 상기 평행광을 기반으로 상기 제2 광을 생성하여 상기 객체에 조사하는 패턴 소자를 포함하는,
    깊이 영상 생성 장치.
  13. 제 12 항에 있어서,
    상기 제1 모드로 동작하는 경우,
    상기 제어부는,
    상기 발광 어레이 및 상기 패턴 소자 사이에 상기 광변환 렌즈가 이동죄기 않게 상기 렌즈 이동부재를 제어하는,
    깊이 영상 생성 장치.
  14. 제 12 항에 있어서,
    상기 제2 모드로 동작하는 경우,
    상기 제어부는,
    상기 발광 어레이 및 상기 패턴 소자 사이에 상기 광변환 렌즈가 이동되게 상기 렌즈 이동부재를 제어하는,
    깊이 영상 생성 장치.
  15. 제1 모드 동작 시, 제1 광을 조사하는 단계;
    상기 제1 광에 의해 객체(Object)에서 반사된 제1 반사광으로 생성한 상기 객체의 제1 깊이 영상을 기반으로 상기 객체의 거리를 획득하는 단계;
    상기 객체의 거리가 설정된 기준거리 내인지 판단하는 단계; 및
    상기 객체의 거리가 상기 기준거리를 벗어난 것으로 판단하면, 상기 제1 모드를 제2 모드로 전환하여 상기 제1 광과 다른 패턴의 제2 광을 조사하는 단계를 포함하는,
    깊이 영상 생성 장치의 동작방법.
  16. 제 15 항에 있어서,
    상기 기준거리 내인지 판단하는 단계는,
    상기 제1 깊이 영상의 밝기가 설정된 임계값보다 크면 상기 객체의 거리가 상기 기준거리를 벗어나지 않은 것으로 판단하는,
    깊이 영상 생성 장치의 동작방법.
  17. 제 16 항에 있어서,
    상기 기준거리 내인지 판단하는 단계는,
    상기 제1 깊이 영상의 밝기가 상기 임계값보다 낮으면 상기 객체의 거리가 상기 기준 거리를 벗어난 것으로 판단하는,
    깊이 영상 생성 장치의 동작방법.
  18. 제 15 항에 있어서,
    상기 객체의 거리가 상기 기준거리를 벗어나지 않은 것으로 판단하면, 상기 제1 모드를 유지하는 단계를 더 포함하는,
    깊이 영상 생성 장치의 동작방법.
PCT/KR2020/007749 2020-06-16 2020-06-16 깊이 영상 생성 장치 및 그 동작방법 WO2021256576A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/007749 WO2021256576A1 (ko) 2020-06-16 2020-06-16 깊이 영상 생성 장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/007749 WO2021256576A1 (ko) 2020-06-16 2020-06-16 깊이 영상 생성 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
WO2021256576A1 true WO2021256576A1 (ko) 2021-12-23

Family

ID=79268104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007749 WO2021256576A1 (ko) 2020-06-16 2020-06-16 깊이 영상 생성 장치 및 그 동작방법

Country Status (1)

Country Link
WO (1) WO2021256576A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140049610A1 (en) * 2012-08-14 2014-02-20 Microsoft Corporation Illumination light projection for a depth camera
KR20170005649A (ko) * 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
KR101976463B1 (ko) * 2012-08-29 2019-05-09 엘지전자 주식회사 3차원 영상 생성 장치 및 방법
KR20190104796A (ko) * 2018-03-02 2019-09-11 삼성전자주식회사 복수의 파장대역을 감지할 수 있는 카메라를 이용하여 복수의 정보를 생성하는 방법 및 이를 구현한 전자 장치
KR20200046861A (ko) * 2018-10-26 2020-05-07 엘지전자 주식회사 카메라, 및 이를 구비하는 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140049610A1 (en) * 2012-08-14 2014-02-20 Microsoft Corporation Illumination light projection for a depth camera
KR101976463B1 (ko) * 2012-08-29 2019-05-09 엘지전자 주식회사 3차원 영상 생성 장치 및 방법
KR20170005649A (ko) * 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
KR20190104796A (ko) * 2018-03-02 2019-09-11 삼성전자주식회사 복수의 파장대역을 감지할 수 있는 카메라를 이용하여 복수의 정보를 생성하는 방법 및 이를 구현한 전자 장치
KR20200046861A (ko) * 2018-10-26 2020-05-07 엘지전자 주식회사 카메라, 및 이를 구비하는 단말기

Similar Documents

Publication Publication Date Title
WO2015115797A1 (ko) 깊이 정보 추출 장치 및 방법
WO2017023107A1 (ko) 광파 탐지 및 거리 측정 장치
WO2017039171A1 (ko) 레이저 가공장치 및 레이저 가공방법
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2017217673A1 (en) Apparatus and method for measuring dust
WO2018135774A1 (ko) 무선전력 전송장치 및 방법
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2020242020A1 (ko) 무선 광 충전 시스템 및 그 충전 방법
WO2019240362A1 (ko) 안내 로봇
WO2019182305A1 (ko) 카메라 모듈 및 이를 포함하는 광학 기기
WO2014051362A1 (ko) 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
WO2016080716A1 (ko) 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
WO2021194037A1 (ko) 마이크로 광학소자 및 이를 포함하는 광전자 모듈
WO2014104765A1 (ko) 3차원 공간 측정 장치 및 동작 방법
WO2021002684A1 (en) Lidar apparatus and control method thereof
WO2013172566A1 (en) Camera module and method for auto focusing the same
WO2021256576A1 (ko) 깊이 영상 생성 장치 및 그 동작방법
WO2020231222A1 (ko) 카메라 모듈
WO2022035150A1 (ko) 청소 로봇 및 그 제어 방법
WO2017204459A1 (ko) 개선된 구조를 갖는 라이다 광학장치
WO2017116100A1 (ko) 인체 착용장치 및 이의 동작 방법
WO2019066527A2 (ko) 거리 측정 센서
WO2018101623A1 (ko) 광단층 영상을 이용한 비초점 광음향 영상 왜곡 보정 방법 및 장치
WO2021118279A1 (en) Electronic apparatus and method for controlling thereof
WO2021221333A1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20940500

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20940500

Country of ref document: EP

Kind code of ref document: A1