KR102302424B1 - Sensor device for detecting object - Google Patents

Sensor device for detecting object Download PDF

Info

Publication number
KR102302424B1
KR102302424B1 KR1020200139388A KR20200139388A KR102302424B1 KR 102302424 B1 KR102302424 B1 KR 102302424B1 KR 1020200139388 A KR1020200139388 A KR 1020200139388A KR 20200139388 A KR20200139388 A KR 20200139388A KR 102302424 B1 KR102302424 B1 KR 102302424B1
Authority
KR
South Korea
Prior art keywords
light
output unit
light output
camera
reflected
Prior art date
Application number
KR1020200139388A
Other languages
Korean (ko)
Inventor
이현민
Original Assignee
(주)시그봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)시그봇 filed Critical (주)시그봇
Priority to KR1020200139388A priority Critical patent/KR102302424B1/en
Application granted granted Critical
Publication of KR102302424B1 publication Critical patent/KR102302424B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

The present invention provides a sensor device capable of recognizing both two-dimensional and three-dimensional images by using a LiDAR sensor using time of flight (ToF). According to various embodiments of the present invention, the sensor device comprises: a first light output unit outputting light onto a plane including the propagation direction of light; a second light output unit outputting light at a prescribed vertical view angle and a horizontal view angle; a camera including a pixel array, and recognizing reflection light obtained as light outputted by the first light output unit and the second light output unit is reflected by an object; and a processor. The processor can include a processor set to control the first light output unit to output light at a first cycle, control the second light output unit to output light at a second cycle, receive two-dimensional information acquired by sensing reflection light of light outputted by the first light output unit from the camera, and receive three-dimensional information acquired as the camera senses reflection light of light outputted by the second light output unit.

Description

오브젝트 인식을 위한 센서 장치 {SENSOR DEVICE FOR DETECTING OBJECT}Sensor device for object recognition {SENSOR DEVICE FOR DETECTING OBJECT}

본 명세서는 센서 장치에 관한 것이며, 보다 상세하게는 광의 출력과 이미지 인식을 통해 오브젝트의 입체적 형상 및 오브젝트와의 거리를 인식할 수 있는 센서 장치에 관한 것이다.The present specification relates to a sensor device, and more particularly, to a sensor device capable of recognizing a three-dimensional shape of an object and a distance to the object through light output and image recognition.

현재 로봇이나 자율주행차량에서 주변을 인식하기 위한 LiDAR를 사용하는 사례가 늘어나고 있다. 기존의 2D LiDAR 센서에서 점차 많은 영역의 정보를 얻기 위한 3D LiDAR 센서가 보편화되고 있다.Currently, the use of LiDAR to perceive surroundings in robots and autonomous vehicles is increasing. A 3D LiDAR sensor for obtaining information in a larger area from the existing 2D LiDAR sensor is becoming more common.

기존의 LiDAR 센서는 포인트 빔(point beam)을 이용하여 오브젝트를 스캔하는 방식을 사용했다. 이 방식은 축을 중심으로 360도 회전하며 이미지를 얻는 방식이어서, 거울과 모터가 필수적이다. 그러나 이와 같이 상대적으로 복잡한 구조로 인해 LiDAR 센서의 하드웨어 가격이 높아질 수밖에 없고, 광원의 발열 문제 또한 존재하였다.The existing LiDAR sensor used a method of scanning an object using a point beam. This method rotates 360 degrees around an axis to obtain an image, so a mirror and a motor are essential. However, due to this relatively complex structure, the hardware price of the LiDAR sensor is inevitably high, and there is also a problem of heat generation of the light source.

본 발명의 다양한 실시예들은 ToF를 이용한 라이다 센서를 사용하여 2D 및 3D 이미지를 모두 인식할 수 있는 센서 장치를 구현하는 데에 있다.Various embodiments of the present invention are to implement a sensor device capable of recognizing both 2D and 3D images using a lidar sensor using ToF.

본 발명의 다양한 실시예에 따른 센서 장치에 있어서, 빛의 진행방향을 포함하는 평면 상에 광을 출력하는 제1광 출력부; 일정 수직화각 및 수평화각으로 광을 출력하는 제2광 출력부; 픽셀 어레이를 포함하고, 상기 제1광 출력부 및 상기 제2광 출력부에서 출력된 광이 오브젝트에 의해서 반사된 반사광을 인식하기 위한 카메라; 및 프로세서를 포함하고, 상기 프로세서는, 제1주기에 상기 제1광 출력부가 광을 출력하도록 제어하고, 제2주기에 상기 제2광 출력부가 광을 출력하도록 제어하고, 상기 카메라로부터 상기 제1광 출력부가 출력한 광의 반사광을 센싱하여 획득한 2차원 정보를 수신하고, 및 상기 카메라가 상기 제2광 출력부가 출력한 광의 반사광을 센싱하여 획득한 3차원 정보를 수신하도록 설정된 프로세서를 포함할 수 있다.In a sensor device according to various embodiments of the present disclosure, there is provided a sensor device comprising: a first light output unit configured to output light on a plane including a traveling direction of light; a second light output unit for outputting light at a predetermined vertical angle of view and a horizontal angle of view; a camera including a pixel array, the camera for recognizing reflected light reflected by an object from the light output from the first light output unit and the second light output unit; and a processor, wherein the processor controls the first light output unit to output light in a first period, controls the second light output unit to output light in a second period, and controls the first light output unit to output light from the camera A processor configured to receive the two-dimensional information obtained by sensing the reflected light of the light output by the light output unit, and the camera configured to receive the three-dimensional information obtained by sensing the reflected light of the light output by the second light output unit. have.

다양한 실시예에 따르면, 상기 프로세서는, 제 1주기에 상기 제1광 출력부에서 광을 출력하고, 수신되는 반사광의 위상 변화를 분석하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정될 수 있다.According to various embodiments, the processor may be configured to output light from the first light output unit in a first period and measure a distance between the camera and the object by analyzing a phase change of received reflected light. .

다양한 실시예에 따르면, 상기 프로세서는, 제 1주기에 상기 제1광 출력부에서 광을 출력한 시각부터, 상기 카메라가 반사광을 수신할 때까지의 시각을 측정하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정될 수 있다.According to various embodiments, the processor measures a time from when the light is output from the first light output unit in a first period until the camera receives the reflected light, and the distance between the camera and the object can be set to measure

다양한 실시예에 따르면, 상기 픽셀 어레이는, 상기 제1광 출력부에서 출력한 광의 반사광을 수신하며 하나 이상의 픽셀 라인으로 구성된 제 1 인식 영역 및 상기 제2광 출력부에서 출력한 광의 반사광을 수신하며 상기 제 1 인식 영역보다 많은 수의 픽셀 라인으로 구성된 제 2 인식 영역을 포함하며, 상기 제 1 인식 영역과 상기 제 2 인식 영역은 서로 겹치거나 독립적으로 구성될 수 있다.According to various embodiments, the pixel array receives the reflected light of the light output from the first light output unit, and receives the reflected light of the light output from the first recognition area and the second light output unit composed of one or more pixel lines, and a second recognition area configured with a greater number of pixel lines than the first recognition area, wherein the first recognition area and the second recognition area may overlap each other or may be configured independently.

다양한 실시예에 따르면, 상기 프로세서는, 오브젝트가 기준 거리 이내에서 감지되는 경우, 상기 제1광 출력부를 활성화 하여 상기 2차원 정보를 획득하고, 상기 제2광 출력부를 활성화 하여 상기 3차원 정보를 획득하고, 및 상기 3차원 정보를 활용하여 상기 2차원 정보를 보완하도록 설정될 수 있다.According to various embodiments, when an object is detected within a reference distance, the processor activates the first light output unit to obtain the 2D information, and activates the second light output unit to obtain the 3D information And, it may be set to supplement the 2D information by utilizing the 3D information.

상술한 본 발명의 다양한 실시예들은 간단한 구조로 소형 로봇에 적용해도 주변을 인식하기에 적합하며, 발열문제, 진동문제가 없고 2D 및 3D 이미지를 모두 획득할 수 있는 센서 장치를 제공할 수 있다.The various embodiments of the present invention described above have a simple structure and are suitable for recognizing the surroundings even when applied to a small robot, do not have a heat problem or a vibration problem, and can provide a sensor device capable of acquiring both 2D and 3D images.

도 1은 다양한 실시예에 따른 센서 장치의 블록도이다.
도 2는 다양한 실시예에 따른 센서 장치의 세부 구성을 도시한 것이다.
도 3은 다양한 실시예에 따른 카메라의 픽셀 어레이 센서를 도시한 것이다.
도 4a 및 4b는 다양한 실시예에 따라 Indirect ToF 방식 및 direct ToF 방식에 따라 오브젝트의 거리를 인식하는 예를 도시한 것이다.
도 5는 다양한 실시예에 따른 LiDAR 센서와 외부 장치의 데이터 송수신을 도시한 것이다.
도 6은 다양한 실시예에 따른 2D 및 3D 이미지가 외부 장치에 구현된 화면의 예를 도시한 것이다.1 is a block diagram of a sensor device according to various embodiments.
2 illustrates a detailed configuration of a sensor device according to various embodiments of the present disclosure.
3 illustrates a pixel array sensor of a camera according to various embodiments.
4A and 4B illustrate examples of recognizing an object distance according to an Indirect ToF method and a direct ToF method according to various embodiments.
5 is a diagram illustrating data transmission/reception between a LiDAR sensor and an external device according to various embodiments of the present disclosure;
6 illustrates an example of a screen in which 2D and 3D images are implemented in an external device according to various embodiments of the present disclosure.

이하, 본 명세서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present specification are described with reference to the accompanying drawings. However, it is not intended to limit the techniques described herein to specific embodiments, and it should be understood that the present disclosure includes various modifications, equivalents, and/or alternatives of the embodiments herein. . In connection with the description of the drawings, like reference numerals may be used for like components.

본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.The terms used herein are used only to describe specific embodiments, and may not be intended to limit the scope of other embodiments. The singular expression may include the plural expression unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meanings as commonly understood by one of ordinary skill in the art described herein. Among the terms used herein, terms defined in a general dictionary may be interpreted with the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in the present specification, have ideal or excessively formal meanings. is not interpreted as In some cases, even the terms defined in this specification cannot be construed to exclude the embodiments of the present specification.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 통상의 기술자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in this specification should be interpreted in the meaning generally understood by those of ordinary skill in the art to which the present invention belongs, unless otherwise defined in this specification, and excessively inclusive. It should not be construed in the meaning of a human being or in an excessively reduced meaning. In addition, when the technical terms used in this specification are incorrect technical terms that do not accurately express the spirit of the present invention, they should be understood by being replaced with technical terms that can be correctly understood by those of ordinary skill in the art. In addition, general terms used in the present invention should be interpreted as defined in advance or according to the context before and after, and should not be interpreted in an excessively reduced meaning.

도 1은 다양한 실시예에 따른 센서 장치(500)의 블록도이다.1 is a block diagram of a sensor device 500 according to various embodiments.

도 1을 참조하면, 센서 장치(500)는 제1광 출력부(200), 제2광 출력부(300), 카메라(400) 및 프로세서(100)를 포함할 수 있다. 도 1에 도시된 구성 중 적어도 일부가 생략 또는 치환 되더라도 다양한 실시예에 따른 센서 장치(500)를 구현할 수 있다. 도 1에 도시된 구성 중 적어도 일부가 생략 또는 치환 되더라도 다양한 실시예에 따른 센서 장치(500)를 구현할 수 있다. 도시된 각 구성은 하우징(미도시) 내에 배치되어 센서 장치(500)는 하나의 이동(또는 휴대) 가능한 장치로 구현될 수 있다. 다양한 실시예에 따르면, 센서 장치(500)는 LiDAR(light detection and ranging) 센서일 수 있다. LiDAR 센서는 광(예: 가시광 또는 레이저 광)을 출력하고, 출력된 광이 오브젝트에 의해 반사되는 반사광을 감지하여, 센서와 오브젝트 간의 거리를 측정하기 위한 장치이다.Referring to FIG. 1 , a sensor device 500 may include a first light output unit 200 , a second light output unit 300 , a camera 400 , and a processor 100 . Even if at least a part of the configuration shown in FIG. 1 is omitted or substituted, the sensor device 500 according to various embodiments may be implemented. Even if at least a part of the configuration shown in FIG. 1 is omitted or substituted, the sensor device 500 according to various embodiments may be implemented. Each of the illustrated components is disposed in a housing (not shown), so that the sensor device 500 may be implemented as a single movable (or portable) device. According to various embodiments, the sensor device 500 may be a light detection and ranging (LiDAR) sensor. The LiDAR sensor is a device for measuring the distance between the sensor and the object by outputting light (eg, visible light or laser light) and detecting the reflected light reflected by the object.

다양한 실시예에 따르면, 센서 장치(500)는 이동 로봇(예: 무인 자동차, 로봇 청소기 등)에 배치될 수 있다. 이동 로봇은 센서 장치(500)를 이용해 주변의 오브젝트를 실시간으로 인식하고, 이동 시 오브젝트와의 충돌을 회피할 수 있다.According to various embodiments, the sensor device 500 may be disposed in a mobile robot (eg, an unmanned vehicle, a robot cleaner, etc.). The mobile robot may recognize a surrounding object in real time using the sensor device 500 and avoid collision with the object when moving.

다양한 실시예에 따르면, 센서 장치(500)는 고정식 라이다(solid state LiDAR)일 수 있다. 고정식 라이다는 기존의 rotary LiDAR와 달리, 포인트 빔(point beam)을 360도로 회전시켜 순차적으로 스캔하는 방식이 아니기 때문에 거울이나 모터가 필요 없는 단순한 구조일 수 있다. 따라서 다양한 실시예에 따른 센서 장치(500)는 고정식 라이다를 이용해 보다 간단한 구조로 구성되어, 소형 로봇에 적용할 수 있으며, 진동과 발열에 강한 장점을 가질 수 있다. 고정식 라이다 방식을 채택하면 주변 환경에 강인한 로봇시스템을 구축할 수 있다.According to various embodiments, the sensor device 500 may be a solid state LiDAR. Unlike the conventional rotary LiDAR, the stationary lidar may have a simple structure that does not require a mirror or a motor because it does not sequentially scan a point beam by rotating it 360 degrees. Therefore, the sensor device 500 according to various embodiments has a simpler structure using a fixed lidar, can be applied to a small robot, and can have strong advantages in vibration and heat generation. By adopting the fixed lidar method, it is possible to build a robot system that is robust to the surrounding environment.

다양한 실시예에 따르면, 센서 장치(500)는 주변의 오브젝트의 입체적 형상을 인식할 수 있고, 오브젝트까지의 거리를 측정할 수 있다. 센서 장치(500)는 후술하는 바와 같이, 광을 오브젝트에 투사하고, 카메라(400)를 이용해 반사광을 인식하여 빛이 날아간 시간을 측정하는 ToF(time of flight) 방식으로 오브젝트의 입체적 형상 및 오브젝트까지의 거리를 측정할 수 있다.According to various embodiments, the sensor device 500 may recognize a three-dimensional shape of a surrounding object and measure a distance to the object. As will be described later, the sensor device 500 projects light onto an object, recognizes reflected light using the camera 400, and measures the time the light flies in a time of flight (ToF) method to the three-dimensional shape of the object and the object. distance can be measured.

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 가시광 및/또는 레이저 광(또는 레이저 빔)을 출력할 수 있다. 제1광 출력부(200) 및 제2광 출력부(300)는 복수의 광원으로 구성될 수 있으며, 제2광 출력부(300)는 3차원의 넓은 범위로 광을 출력하기 위해 제1광 출력부(200)보다 많은 수의 광원을 포함할 수 있다. 제1광 출력부(200) 및 제2광 출력부(300)의 광원은 점 광원일 수 있으며, 적어도 하나의 렌즈(예: 콜리메이터 렌즈(collimator lens) 및/또는 라인 렌즈(line lens))를 통해 분산되어 출력될 수 있다.According to various embodiments, the first light output unit 200 and the second light output unit 300 may output visible light and/or laser light (or laser beam). The first light output unit 200 and the second light output unit 300 may include a plurality of light sources, and the second light output unit 300 outputs the first light in a wide range of three dimensions. A greater number of light sources than the output unit 200 may be included. The light sources of the first light output unit 200 and the second light output unit 300 may be point light sources, and include at least one lens (eg, a collimator lens and/or a line lens). It can be distributed and output through

제1광 출력부(200) 및 제2광 출력부(300)는 고정된 위치(예: 카메라(400)의 상단 및 카메라(400)의 하단)에서 정해진 방향(예: 센서 장치(500)의 전면 방향)으로 광을 출력할 수 있다. 제1광 출력부(200) 및 제2광 출력부(300)의 출력 광은 일정한 주기로 연속적으로 파형이 변하는 연속 파(continuous wave) 또는 불연속적으로 파형이 변하는 펄스 파(pulse wave)일 수 있다.The first light output unit 200 and the second light output unit 300 are positioned at a fixed position (eg, at the top of the camera 400 and at the bottom of the camera 400 ) in a predetermined direction (eg, in a direction of the sensor device 500 ). light can be output in the front direction). The output light of the first light output unit 200 and the second light output unit 300 may be a continuous wave in which a waveform is continuously changed at a predetermined period or a pulse wave in which a waveform is discontinuously changed. .

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 동일한 파장의 광을 출력할 수 있다. 출력되는 광의 파장은 근적외선 영역의 파장(예: 850, 905, 940nm)일 수 있으며, 일 실시예에 따르면, 태양광과의 간섭을 피하기 위하여 940nm의 파장을 갖는 광을 출력할 수도 있다.According to various embodiments, the first light output unit 200 and the second light output unit 300 may output light having the same wavelength. The wavelength of the output light may be a wavelength in the near-infrared region (eg, 850, 905, 940 nm), and according to an embodiment, light having a wavelength of 940 nm may be output to avoid interference with sunlight.

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)의 동작 주파수는 서로 같을 수도 있고 다를 수도 있다. 추후 설명할 Indirect ToF 방식의 경우 위상차에 따라 거리를 계산하게 되는데, 먼 거리의 경우 높은 주파수는 위상이 180도 변화하여 주파수에 따라 측정거리 한계가 달라질 수 있다. 예를 들어, 동작주파수가 20MHz인 경우 7.5m 거리 측정 이후로는 위상이 180도 변하는데, 동작주파수가 10MHz인 경우 15m 거리 측정 이후로 위상이 180도 변할 수 있다. 따라서 오브젝트의 거리에 따라서 제1광 출력부(200) 및 제2광 출력부(300)의 동작주파수를 낮게 또는 높게 설정할 수 있다. 예를 들어, 프로세서(100)는 오브젝트의 거리를 실시간으로 감지하고, 오브젝트가 멀어질수록 동작주파수를 낮게 설정하도록 제어할 수 있다.According to various embodiments, the operating frequencies of the first light output unit 200 and the second light output unit 300 may be the same as or different from each other. In the case of the Indirect ToF method, which will be described later, the distance is calculated according to the phase difference. In the case of a long distance, the high frequency has a 180 degree phase change, so the measurement distance limit may vary depending on the frequency. For example, if the operating frequency is 20 MHz, the phase may change 180 degrees after 7.5 m distance measurement, but if the operating frequency is 10 MHz, the phase may change 180 degrees after 15 m distance measurement. Accordingly, the operating frequencies of the first light output unit 200 and the second light output unit 300 may be set low or high according to the distance of the object. For example, the processor 100 may detect the distance of the object in real time, and control the operating frequency to be set lower as the distance from the object is increased.

다양한 실시예에 따르면, 제1광 출력부(200)는 빛의 진행방향을 포함하는 평면으로 직선광(line beam)을 오브젝트에 투사할 수 있다. 제1광 출력부(200)는 특정한 수평화각을 갖는 광을 출력할 수 있다. 예를 들어, 제1광 출력부(200)는 센서 장치(500)의 전면에서 지면과 수평한 방향의 라인 광을 출력하여 지면으로부터 소정 높이에 있는 오브젝트에 투사할 수 있다.According to various embodiments, the first light output unit 200 may project a line beam onto an object in a plane including a traveling direction of the light. The first light output unit 200 may output light having a specific horizontal angle of view. For example, the first light output unit 200 may output line light in a direction parallel to the ground from the front of the sensor device 500 and project it onto an object at a predetermined height from the ground.

다양한 실시예에 따르면, 카메라(400)는 복수의 픽셀 라인을 포함하는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 CMOS (complementary metal-oxide semiconductor)센서로 구현될 수 있으나, 이에 한정되지 않고 CCD(charge coupled device) 센서 등 다른 종류의 이미지 센서가 사용될 수도 있다. 이미지 센서는 복수의 픽셀 라인을 구성하는 2차원 픽셀 어레이(pixel array)를 포함할 수 있으며, 일 실시예에 따르면, 픽셀 어레이는 제1광 출력부(200)의 제1반사광을 인식할 수 있는 제 1 인식 영역(420) 및 제2광 출력부(300)의 제2반사광을 인식할 수 있는 제 2 인식 영역(430)을 포함할 수 있다. 이미지 센서는 롤링 셔터 방식 또는 글로벌 셔터 방식으로 반사광에 기초한 이미지 데이터를 생성할 수 있다.According to various embodiments, the camera 400 may include an image sensor including a plurality of pixel lines. Here, the image sensor may be implemented as a complementary metal-oxide semiconductor (CMOS) sensor, but is not limited thereto, and other types of image sensors such as a charge coupled device (CCD) sensor may be used. The image sensor may include a two-dimensional pixel array constituting a plurality of pixel lines, and according to an embodiment, the pixel array may recognize the first reflected light from the first light output unit 200 . It may include a first recognition area 420 and a second recognition area 430 capable of recognizing the second reflected light from the second light output unit 300 . The image sensor may generate image data based on reflected light using a rolling shutter method or a global shutter method.

카메라(400)는 오브젝트에 반사되어 돌아온 반사광으로부터 2차원 정보를 획득할 수 있다. 예를 들어, 2차원 정보는 제1광 출력부(200)에서 출력되는 광의 진행 방향을 지시하는 x축 및 x축과 수직이고 지면과 평행한 y축의 좌표 정보를 포함할 수 있다.The camera 400 may acquire two-dimensional information from the reflected light that is reflected back to the object. For example, the 2D information may include coordinate information on an x-axis indicating a traveling direction of the light output from the first light output unit 200 and coordinate information on a y-axis perpendicular to the x-axis and parallel to the ground.

제1광 출력부(200)와 제2광 출력부(300)에 같은 출력 세기를 적용할 경우, 제1광 출력부(200)에서 출력된 광은 라인 광(또는 1차원 출력 광)으로써 후술할 제2광 출력부(300)에서 출력된 평면 광(또는 2차원 출력 광)보다 먼 거리까지 이동할 수 있기 때문에 3차원 정보를 획득한 거리보다 더 먼 거리까지의 2차원 정보를 획득할 수 있다.When the same output intensity is applied to the first light output unit 200 and the second light output unit 300 , the light output from the first light output unit 200 will be described later as line light (or one-dimensional output light). Since it can move to a greater distance than the planar light (or the two-dimensional output light) output from the second light output unit 300 to be used, 2D information can be obtained up to a distance greater than the distance at which the 3D information is obtained. .

다양한 실시예에 따르면, 제2광 출력부(300)는 일정 수직화각 및 수평화각으로 광을 오브젝트에 투사할 수 있다. 제2광 출력부(300)에서 출력하는 광은 제1광 출력부(200)에서 출력하는 광과 달리 1차원 상에서 출력되는 것이 아니라 2차원 적으로 투사될 수 있다. 즉, 제2광 출력부(300)에서 출력되는 광은 광의 출력 방향을 기준으로 특정 수평화각 및 수직화각을 가질 수 있다. 카메라(400)는 오브젝트에 반사되어 돌아온 반사광으로부터 3차원 정보를 획득할 수 있다. 예를 들어, 3차원 정보는 제2광 출력부(300)에서 출력되는 광의 진행 방향을 지시하는 x축 및 x축과 수직이고 지면과 평행한 y축 및 x축/y축과 평행한, 즉 센서 장치(500)의 전면과 평행한 z축을 포함하는 3차원 좌표 정보를 포함할 수 있다.According to various embodiments, the second light output unit 300 may project light to an object at a predetermined vertical angle of view and a horizontal angle of view. Unlike the light output from the first light output unit 200 , the light output from the second light output unit 300 may not be output in one dimension but may be projected in two dimensions. That is, the light output from the second light output unit 300 may have a specific horizontal angle of view and a specific vertical angle of view based on the light output direction. The camera 400 may obtain 3D information from the reflected light that is reflected back to the object. For example, the 3D information includes an x-axis indicating a traveling direction of the light output from the second light output unit 300 and a y-axis that is perpendicular to the x-axis and parallel to the ground and parallel to the x-axis/y-axis, that is, It may include 3D coordinate information including a z-axis parallel to the front surface of the sensor device 500 .

다양한 실시예에 따르면, 제2광 출력부(300)는 제1광 출력부(200)와 다른 방향에서 오브젝트를 향해 광을 투사할 수 있다. 이를 위해, 제1광 출력부(200) 및 제2광 출력부(300)는 소정 거리만큼 이격되어 배치될 수 있다. 예를 들어, 제1광 출력부(200)는 센서 장치(500)의 전면에서 카메라(400)의 하단에 배치되어 전면으로 광을 출력할 수 있으며, 제2광 출력부(300)는 카메라(400)의 상단에 배치되어 전면으로 광을 출력할 수 있다.According to various embodiments, the second light output unit 300 may project light toward the object in a direction different from that of the first light output unit 200 . To this end, the first light output unit 200 and the second light output unit 300 may be disposed to be spaced apart by a predetermined distance. For example, the first light output unit 200 may be disposed at the lower end of the camera 400 in the front of the sensor device 500 to output light to the front side, and the second light output unit 300 may include the camera ( 400) to output light to the front.

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 프로세서(100)의 제어 신호에 따라 동기되어 광을 출력할 수 있다. 프로세서(100)는 제1주기와 제2주기를 설정하여, 제1주기에 제1광 출력부(200)가 광을 출력하도록 제어하고, 제2주기에 제2광 출력부(300)가 광을 출력하도록 제어할 수 있다. 이를 통해 제1광 출력부(200)와 제2광 출력부(300)가 번갈아 가면서 광을 출력하도록 제어할 수 있고, 제1광 출력부(200)만 광을 출력하도록 제어하거나 제2광 출력부(300)만 광을 출력하도록 제어할 수도 있다.According to various embodiments, the first light output unit 200 and the second light output unit 300 may output light in synchronization according to a control signal of the processor 100 . The processor 100 sets the first period and the second period, controls the first light output unit 200 to output light in the first period, and controls the second light output unit 300 to output light in the second period. output can be controlled. Through this, the first light output unit 200 and the second light output unit 300 may be controlled to output light alternately, and only the first light output unit 200 may be controlled to output light or the second light output unit Only the unit 300 may be controlled to output light.

일 실시예에 따르면, 제1주기 및 제2주기는 카메라(400)의 셔터 속도에 따라 결정될 수 있다. 예를 들어, 카메라(400)의 셔터 주기가 1/30초인 경우, 제1주기 및 제2주기는 1/60초 이내의 시간으로 결정될 수 있다. 제1주기 및 제2주기는 동일한 시간 주기일 수 있으며, 일부 차이가 있을 수도 있다.According to an embodiment, the first period and the second period may be determined according to a shutter speed of the camera 400 . For example, when the shutter period of the camera 400 is 1/30 second, the first period and the second period may be determined to be within 1/60 second. The first period and the second period may be the same time period, and there may be some differences.

다양한 실시예에 따르면, 카메라(400)는 오브젝트에 반사되어 돌아온 반사광을 인식하여 2차원 정보 및 3차원 정보를 획득할 수 있다. 카메라(400)는 2차원 픽셀 어레이(pixel array)를 포함하며, 2차원 픽셀 어레이의 각각의 행은 픽셀 라인으로 정의될 수도 있다. 카메라(400)는 제1광 출력부(200)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하여 2차원 정보를 획득할 수 있고, 제2광 출력부(300)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하여 3차원 정보를 획득할 수 있다.According to various embodiments, the camera 400 may acquire 2D information and 3D information by recognizing the reflected light that is reflected back to the object. The camera 400 includes a two-dimensional pixel array, and each row of the two-dimensional pixel array may be defined as a pixel line. The camera 400 may acquire two-dimensional information by receiving the reflected light from which the light output from the first light output unit 200 is reflected by the object, and the light output from the second light output unit 300 is transmitted to the object. 3D information may be obtained by receiving the reflected reflected light.

다양한 실시예에 따르면, 카메라(400)는 제1광 출력부(200)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 1 인식 영역(420) 및 제2광 출력부(300)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 2 인식 영역(430)으로 이루어질 수 있다. 제 1 인식 영역(420)은 하나 이상의 픽셀 라인으로 구성되며, 제 2 인식 영역(430)은 제 1 인식 영역(420)보다 많은 수의 픽셀 라인을 포함하여 구성될 수 있다. 예를 들어, 제1광 출력부(200)에서 출력되는 광의 반사광은 라인 반사광이기 때문에, 제 1 인식 영역(420)은 라인 반사광을 인식할 수 있는 정도의 적은 수의 픽셀 라인으로 구성되고, 제 2 인식 영역(430) 은 평면 반사광을 인식하기 위해 보다 많은 수의 픽셀 라인으로 구성될 수 있다. 제 1 인식 영역(420)과 제 2 인식 영역(430)은 서로 겹칠 수도 있으며, 서로 독립되어 존재할 수 도 있다.According to various embodiments, the camera 400 outputs the light output from the first light output unit 200 to the first recognition area 420 and the second light output unit 300 to receive the reflected light reflected by the object. The received light may be formed as a second recognition area 430 that receives the reflected light reflected by the object. The first recognition area 420 may include one or more pixel lines, and the second recognition area 430 may include a larger number of pixel lines than the first recognition area 420 . For example, since the reflected light of the light output from the first light output unit 200 is line reflected light, the first recognition area 420 is composed of a small number of pixel lines capable of recognizing the line reflected light, 2 The recognition area 430 may be composed of a larger number of pixel lines in order to recognize the plane reflected light. The first recognition area 420 and the second recognition area 430 may overlap each other or may exist independently of each other.

댜앙한 실시예에 따르면, 프로세서(100)는 센서 장치(500)의 각 구성(예: 제1광 출력부(200), 제2광 출력부(300), 카메라(400) 등)을 제어하는 기능을 수행할 수 있다. 이를 위해, 프로세서(100)는 센서 장치(500)의 각 구성과 전기적 및/또는 기능적으로 연결될 수 있다.According to various embodiments, the processor 100 controls each component (eg, the first light output unit 200 , the second light output unit 300 , the camera 400 , etc.) of the sensor device 500 . function can be performed. To this end, the processor 100 may be electrically and/or functionally connected to each component of the sensor device 500 .

다양한 실시예에 따르면, 프로세서(100)는 후술할 indirect ToF 방식 혹은 direct ToF 방식을 사용하여, 카메라(400)에서 획득한 2차원 정보 및 3차원 정보로부터 오브젝트까지의 거리 및 오브젝트의 입체적 형상을 결정할 수 있다. 본 특징에 대해서는 도 4a 및 4b를 통해 상세히 후술하기로 한다.According to various embodiments, the processor 100 determines the distance to the object and the three-dimensional shape of the object from the 2D information and 3D information obtained from the camera 400 using an indirect ToF method or a direct ToF method, which will be described later. can This feature will be described later in detail with reference to FIGS. 4A and 4B .

다양한 실시예에 따르면, 근거리 오브젝트에 반사되어 돌아오는 빛이 saturation되어 측정 불가 영역이 생기는 것을 막기 위하여, 프로세서(100)는 기준거리 내의 오브젝트에 대해서는 획득한 3차원 정보를 활용하여 2차원 정보를 보정할 수 있다. 예를 들어, 기준거리가 5m인 경우, 5m내에 존재하는 오브젝트에 대해서는 2차원 정보보다는 3차원 정보에 더 의존하여 2차원 이미지를 생성할 수 있다.According to various embodiments, in order to prevent the non-measurable area from being generated due to the saturation of the light reflected back from the near object, the processor 100 corrects the two-dimensional information by using the three-dimensional information obtained for the object within the reference distance. can do. For example, when the reference distance is 5 m, a 2D image may be generated by relying more on 3D information rather than 2D information for an object existing within 5m.

일 실시예에 따르면, 프로세서(100)는 센서 장치(500)(또는 카메라(400))와 오브젝트 사이의 거리가 기준거리 이상인 경우, 제2광 출력부(300)를 비활성화 하고, 제1광 출력부(200)만 활성화 하여, 센서 장치(500)는 오브젝트의 2차원 정보만 획득할 수도 있다.According to an embodiment, when the distance between the sensor device 500 (or the camera 400 ) and the object is equal to or greater than the reference distance, the processor 100 deactivates the second light output unit 300 and outputs the first light. By activating only the unit 200, the sensor device 500 may acquire only 2D information of the object.

도 2는 다양한 실시예에 따른 센서 장치(500)의 세부 구성을 도시한 것이다.2 illustrates a detailed configuration of a sensor device 500 according to various embodiments.

도 2를 참조하면, 카메라(400)는 프로세서(100)가 제1광 출력부(200) 및 제2광 출력부(300)를 제어하여 출력한 광이 오브젝트에 반사된 반사광을 센싱하여 2차원 정보 및 3차원 정보를 획득할 수 있다. 빛의 진행방향을 포함하는 평면으로 광을 출력하는 제1광 출력부(200)에서 나온 광은 특정 수평화각을 가질 수 있다. 오브젝트에 반사된 반사광을 센싱하면 카메라(400)부터 오브젝트까지의 거리 정보를 포함하는 2차원 정보를 획득할 수 있다. 제2광 출력부(300)는 특정 수평화각 및 수직화각을 가지는 광을 출력할 수 있다. 제2광 출력부(300)에서 출력한 광의 반사광을 센싱하면 오브젝트의 입체적 형상에 대한 정보를 포함하는 3차원 정보를 획득할 수 있다. 이 때 카메라(400)가 반사광을 센싱하여 2차원 정보 및 3차원 정보를 획득하는 과정은 추후 도 4a 및 4b에서 자세히 기술하기로 한다.Referring to FIG. 2 , the camera 400 senses the light output by the processor 100 controlling the first light output unit 200 and the second light output unit 300 and the reflected light reflected by the object to be two-dimensional. Information and 3D information can be obtained. The light emitted from the first light output unit 200 that outputs light to a plane including the traveling direction of the light may have a specific horizontal angle of view. When the reflected light reflected by the object is sensed, two-dimensional information including distance information from the camera 400 to the object may be obtained. The second light output unit 300 may output light having specific horizontal and vertical angles of view. When the reflected light of the light output from the second light output unit 300 is sensed, 3D information including information on the three-dimensional shape of the object may be obtained. In this case, the process of obtaining 2D information and 3D information by sensing the reflected light by the camera 400 will be described in detail later with reference to FIGS. 4A and 4B .

도 2에서는 센서 장치(500)의 전면에서 제1광 출력부(200)가 하단에, 제2광 출력부(300)가 상단에, 카메라(400)가 그 중간에 배치된 것으로 도시되어 있으나, 이에 한정되지 않는다. 예를 들어, 제1광 출력부(200)가 상단에 제2광 출력부(300)가 하단에 배치될 수도 있고, 카메라(400)와의 배열이 상하로 서로 일렬이 아닐 수도 있으며, 같은 높이에서 평행한 위치에 좌우로 배치될 수도 있다.In FIG. 2 , the first light output unit 200 is at the bottom, the second light output unit 300 is at the top, and the camera 400 is disposed in the middle of the front of the sensor device 500, However, the present invention is not limited thereto. For example, the first light output unit 200 may be disposed at the top and the second light output unit 300 may be disposed at the bottom, and the arrangement with the camera 400 may not be aligned vertically with each other, and at the same height. They may be arranged left and right in parallel positions.

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 프로세서(100)의 제어에 따라 각각 독립적으로 작동할 수도 있으며, 소정 주기에 따라 번갈아 가면서 작동할 수도 있다. 예를 들어, 프로세서(100)는 제1 주기에 제1광 출력부(200)가 광을 출력하도록 제어하고, 제2 주기에 제2광 출력부(300)가 광을 출력하도록 제어할 수 있다. 제1주기와 제2주기의 길이는 서로 같을 수도 있고 다를 수도 있으며, 시간적으로 분리될 수도 있고 아닐 수도 있다. 예를 들어, 카메라(400)의 이미지 센서에서 제 1 인식 영역(420)과 제 2 인식 영역(430)이 독립적으로 존재하는 경우에는 제1 주기와 제2 주기가 시간적으로 분리되지 않을 수 있으며 카메라(400)는 제1광 출력부(200) 및 제2광 출력부(300)를 동시에 활성화 하여 2차원 정보 및 3차원 정보를 실질적으로 동시에 획득할 수 있다.According to various embodiments, the first light output unit 200 and the second light output unit 300 may each independently operate under the control of the processor 100, or may alternately operate according to a predetermined cycle. . For example, the processor 100 may control the first light output unit 200 to output light in a first period, and control the second light output unit 300 to output light in a second period. . The lengths of the first period and the second period may be the same as or different from each other, and may or may not be temporally separated. For example, when the first recognition area 420 and the second recognition area 430 independently exist in the image sensor of the camera 400 , the first period and the second period may not be temporally separated and the camera Reference numeral 400 simultaneously activates the first light output unit 200 and the second light output unit 300 to acquire 2D information and 3D information substantially simultaneously.

도 3은 다양한 실시예에 따른 카메라(400)의 픽셀 어레이 센서를 도시한 것이다.3 illustrates a pixel array sensor of a camera 400 according to various embodiments.

도 3을 참조하면, 카메라(400)는 픽셀 어레이 센서(pixel array sensor)를 포함한다. 픽셀 어레이 센서는 여러 개의 픽셀(410)로 이루어질 수 있다. 하나의 픽셀(410)은 동상 수신기(in-phase receptor)와 역상 수신기(out-of-phase receptor) 한 쌍으로 이루어질 수 있다.Referring to FIG. 3 , the camera 400 includes a pixel array sensor. The pixel array sensor may include a plurality of pixels 410 . One pixel 410 may include a pair of an in-phase receptor and an out-of-phase receptor.

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)에서 나와 오브젝트에 반사된 후 각 수신기에 수신된 반사광은 수신되는 시점에 따라서 동상 수신기 또는 역상 수신기 중 하나에 수신될 수 있다. 이 때 수신된 광량에 따라서 동상 수신기 및 역상 수신기의 전하 생성 비율이 달라질 수 있다. 전하 생성 비율을 계산하면 오브젝트의 거리를 측정할 수 있고, 오브젝트의 입체적 형상을 인식할 수 있다.According to various embodiments, the reflected light received by each receiver after being reflected on an object from the first light output unit 200 and the second light output unit 300 is transmitted to either the in-phase receiver or the in-phase receiver depending on the time of reception. can be received. At this time, charge generation rates of the in-phase receiver and the in-phase receiver may vary depending on the amount of received light. By calculating the charge generation rate, the distance of the object can be measured and the three-dimensional shape of the object can be recognized.

다양한 실시예에 따르면, 카메라(400)의 이미지 센서는 제1광 출력부(200)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 1 인식 영역(420) 및 제2광 출력부(300)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 2 인식 영역(430)을 포함할 수 있다. 제 1 인식 영역(420)은 하나 이상의 픽셀 라인으로 구성될 수 있으며, 제 2 인식 영역(430)은 제 1 인식 영역(420)보다 많은 수의 픽셀 라인으로 구성될 수 있다. 예를 들어, 제1광 출력부(200)에서 출력되는 광의 반사광은 라인 반사광이기 때문에, 제 1 인식 영역(420)은 라인 반사광을 인식할 수 있는 정도의 적은 수의 픽셀 라인으로 구성되고, 제 2 인식 영역(430)은 평면 반사광을 인식하기 위해 보다 많은 수의 픽셀 라인으로 구성될 수 있다.According to various embodiments of the present disclosure, the image sensor of the camera 400 includes a first recognition area 420 and a second light output unit 300 in which the light output from the first light output unit 200 receives the reflected light reflected by the object. ) may include a second recognition area 430 that receives the reflected light reflected by the object. The first recognition area 420 may include one or more pixel lines, and the second recognition area 430 may include a larger number of pixel lines than the first recognition area 420 . For example, since the reflected light of the light output from the first light output unit 200 is line reflected light, the first recognition area 420 is composed of a small number of pixel lines capable of recognizing the line reflected light, 2 The recognition area 430 may be composed of a larger number of pixel lines in order to recognize the plane reflected light.

다양한 실시예에 따르면, 프로세서(100)는 카메라(400)가 2차원 정보만을 획득하거나 3차원 정보만을 획득하도록 할 수 있다. 2차원 정보만을 획득하는 경우 카메라(400)의 픽셀 어레이 전체가 제 1 인식 영역(420)이 될 수 있으며, 3차원 정보만을 획득하는 경우 카메라(400)의 픽셀 어레이 전체가 제 2 인식 영역(430)이 될 수 있다.According to various embodiments, the processor 100 may cause the camera 400 to acquire only 2D information or only 3D information. When only 2D information is obtained, the entire pixel array of the camera 400 may be the first recognition area 420 , and when only 3D information is obtained, the entire pixel array of the camera 400 becomes the second recognition area 430 . ) can be

다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)의 작동 주파수는 다를 수 있고 오브젝트에 반사되어 돌아오는 시간도 다를 수 있으므로, 제1광 출력부(200)에서 출력한 광의 반사광 및 제2광 출력부(300)에서 출력한 광의 반사광이 카메라(400)에 수신되는 시간에 차이가 발생할 수 있다.According to various embodiments, since the operating frequencies of the first light output unit 200 and the second light output unit 300 may be different and the time to return after being reflected by the object may be different, the first light output unit 200 . A difference may occur in a time when the reflected light of the light output from the , and the reflected light of the light output from the second light output unit 300 are received by the camera 400 .

도 4a 및 4b는 다양한 실시예에 따라 Indirect ToF 방식 및 direct ToF 방식에 따라 오브젝트의 거리를 인식하는 예를 도시한 것이다.4A and 4B illustrate examples of recognizing an object distance according to an Indirect ToF method and a direct ToF method according to various embodiments.

센서 장치(500)는 ToF(time of flight) 방식에 의해 오브젝트를 인식할 수 있으며, 예를 들어, 센서 장치(500)는 Indirect ToF방식또는 Direct ToF방식을 이용할 수 있다.The sensor device 500 may recognize an object by a time of flight (ToF) method. For example, the sensor device 500 may use an indirect ToF method or a direct ToF method.

Indirect ToF 방식은 광원에서 나온 빛의 위상(20)을 파악하고, 광원에서 나온 빛이 오브젝트에 반사되어 카메라(400)로 들어온 반사광의 위상(21)과의 차이(phase shift)를 파악함으로써 오브젝트의 거리를 측정하는 방식이다. The Indirect ToF method detects the phase 20 of the light emitted from the light source, and the phase shift of the light emitted from the light source is reflected by the object and the phase 21 of the reflected light entering the camera 400 is determined. A way to measure distance.

도 4a를 참조 하면, 하나의 픽셀 센서는 한 쌍의 동상 수신기(in-phase receptor)와 역상 수신기(out-of-phase receptor)로 구성될 수 있다. 각 receptor는 포토 다이오드(photo diode)일 수 있다. 동상 수신기(in-phase receptor)와 역상 수신기(out-of-phase receptor)는 번갈아가며 광을 수신하며, 각 수신기에서는 광이 수신되는 경우 이를 전하로 변환하여 저장할 수 있다. 각 수신기에 저장된 전하의 양의 비율을 분석하여 오브젝트까지의 거리를 측정할 수 있다.Referring to FIG. 4A , one pixel sensor may include a pair of in-phase receptors and out-of-phase receptors. Each receptor may be a photo diode. An in-phase receptor and an out-of-phase receptor alternately receive light, and when light is received, each receiver may convert it into electric charge and store it. By analyzing the ratio of the amount of charge stored in each receiver, the distance to the object can be measured.

예를 들어, 오브젝트가 센서 장치(500)로부터 가까운 거리 d1에 위치한 경우, 동상 수신기에 80%의 전하가 저장되고, 역상 수신기에는 20%의 전하가 저장될 수 있다. 오브젝트가 d1보다 먼 d2에 위치한 경우, 광 출력부의 광 출력부터 반사광이 이미지 센서에 도달하는 시간이 길어지기 때문에, 동상 수신기에 40%의 전하가 저장되고, 역상 수신기에는 60%의 전하가 저장될 수 있다. 빛의 속도는 일정하기 때문에, 동상 수신기와 역상 수신기의 전하 저장 비율은 센서 장치(500)와 오브젝트 사이의 거리에 대응될 수 있다. 이와 같이, 센서 장치(500)는 동상 수신기와 역상 수신기에 저장된 전하의 양의 비율을 인식하는 경우, 센서 장치(500)와 오브젝트 간의 거리를 확인할 수 있다.For example, when the object is located at a short distance d1 from the sensor device 500 , 80% of the charge may be stored in the in-phase receiver and 20% of the charge may be stored in the in-phase receiver. If the object is located at d2, which is farther than d1, 40% of the charge is stored in the in-phase receiver and 60% of the charge is stored in the in-phase receiver because the time for the reflected light to reach the image sensor from the light output of the light output unit is longer. can Since the speed of light is constant, the charge storage ratio of the in-phase receiver and the in-phase receiver may correspond to the distance between the sensor device 500 and the object. As such, when the sensor device 500 recognizes the ratio of the amount of charges stored in the in-phase receiver and the in-phase receiver, the sensor device 500 may check the distance between the object and the sensor device 500 .

Direct ToF 방식은 광원에서 빛이 나온 후 오브젝트에 반사되어 다시 카메라(400)로 수신될 때까지의 시간을 측정하는 방식이다. 광 출력부에서 나온 광이 오브젝트의 거리 d을 왕복하는 동안 걸린 시간 t를 측정하면, 수학식

Figure 112020113456208-pat00001
(30)에 의하여 오브젝트의 거리를 측정할 수 있다.The Direct ToF method is a method of measuring the time until light is emitted from the light source and then reflected to the object and received by the camera 400 again. If the time t taken while the light emitted from the light output unit travels around the distance d of the object is measured, the equation
Figure 112020113456208-pat00001
By (30), the distance of the object can be measured.

다양한 실시예에 따르면, 센서 장치(500)는 ToF 방식을 사용하여 오브젝트의 거리를 측정하는데, indirect 방식과 direct 방식이 제한 없이 사용될 수 있다. 즉, indirect 방식의 경우에는 카메라(400)의 픽셀 어레이 구조를 통하여 오브젝트의 거리를 측정하고 오브젝트의 입체적 형상을 인식할 수 있으며, direct 방식의 경우에는 제1광 출력부(200) 및 제2광 출력부(300)에서 출력된 빛이 오브젝트에 반사되어 카메라(400)로 돌아오는 시간을 측정하여 오브젝트의 거리를 측정하고 오브젝트의 입체적 형상을 인식할 수 있다.According to various embodiments, the sensor device 500 measures the distance of an object using the ToF method, and an indirect method and a direct method may be used without limitation. That is, in the case of the indirect method, the distance of the object can be measured and the three-dimensional shape of the object can be recognized through the pixel array structure of the camera 400. In the case of the direct method, the first light output unit 200 and the second light By measuring the time it takes for the light output from the output unit 300 to be reflected by the object and return to the camera 400, the distance of the object can be measured and the three-dimensional shape of the object can be recognized.

일 실시예에 따르면, 센서 장치(500)는 2차원 정보 및 3차원 정보를 서로 다른 ToF 방식으로 획득할 수 있다. Direct ToF 방식은 Indirect ToF 방식과 달리 시간을 직접적으로 측정하는 방식이므로 더 정확하고 먼 거리를 측정할 수 있는 대신, 보다 높은 변조 주파수를 가지며 끊어진 단파장을 내보내기 때문에 광 출력부가 더 강한 빛을 출력할 필요가 있다. 이에 따라, 센서 장치(500)는 이미지 센서의 제 1 인식 영역(420)을 Direct ToF 방식으로 구성하여 제1광 출력부(200)의 광 출력을 통한 2차원 정보를 획득하고, 제 2 인식 영역(430)을 Indirect ToF 방식으로 구성하여 제2광 출력부(300)의 광 출력을 통한 3차원 정보를 획득할 수 있다.According to an embodiment, the sensor device 500 may acquire 2D information and 3D information using different ToF methods. Unlike the Indirect ToF method, the Direct ToF method directly measures time, so it can measure more accurately and longer distances. Instead, it has a higher modulation frequency and emits a shorter wavelength, so the light output unit needs to output stronger light. there is Accordingly, the sensor device 500 configures the first recognition area 420 of the image sensor in the Direct ToF method to obtain two-dimensional information through the light output of the first light output unit 200, and the second recognition area 3D information may be obtained through the light output of the second light output unit 300 by configuring the 430 in the Indirect ToF method.

도 5는 다양한 실시예에 따른 센서 장치(500)와 외부 장치(600)의 데이터 송수신을 도시한 것이다.5 illustrates data transmission/reception between the sensor device 500 and the external device 600 according to various embodiments of the present disclosure.

다양한 실시예에 따르면, 프로세서(100)는 카메라(400)를 통해 수신한 2차원 정보 및 3차원 정보를 활용하여 오브젝트의 입체적 형상 및 오브젝트의 거리에 대한 데이터를 생성하고, 외부 장치(600)와의 통신을 통해 데이터를 송수신할 수 있다. 송수신 방식은 하프 듀플렉스(half-duplex serial communication) 방식이 사용될 수 있다. 이를 통해서 외부 장치(600)가 센서 장치(500)에 데이터를 요청할 수 있다. 데이터 요청이 들어오면, 프로세서(100)는 상기 설명한 방식을 통해 오브젝트의 거리를 측정하고 오브젝트의 입체적 형상을 인식한 후 외부 장치(600)로 해당 데이터를 송신할 수 있다. 프로세서(100)는 외부 장치(600)의 요청에 따라 실시간으로 또는 주기적으로 거리를 측정하여 전송할 수 있다. 외부 장치(600)는 PC(personal computer), 라즈베리파이(RaspberryPi) 중 적어도 하나를 포함할 수 있다.According to various embodiments, the processor 100 generates data on the three-dimensional shape of the object and the distance of the object by using the two-dimensional information and the three-dimensional information received through the camera 400 , and communicates with the external device 600 . Data can be sent and received through communication. As the transmission/reception method, a half-duplex serial communication method may be used. Through this, the external device 600 may request data from the sensor device 500 . When a data request is received, the processor 100 may measure the distance of the object through the above-described method, recognize the three-dimensional shape of the object, and then transmit the corresponding data to the external device 600 . The processor 100 may measure and transmit the distance in real time or periodically according to the request of the external device 600 . The external device 600 may include at least one of a personal computer (PC) and a Raspberry Pi.

일 실시예에 따르면, 센서 장치(500)는 이동 로봇 상에 배치될 수 있으며, 이동 로봇의 프로세서(100)의 요청에 따라 오브젝트와의 거리를 측정하여 실시간으로 전송할 수 있다.According to an embodiment, the sensor device 500 may be disposed on the mobile robot, and may measure the distance to the object and transmit it in real time according to the request of the processor 100 of the mobile robot.

도 6은 다양한 실시예에 따른 2D 및 3D 이미지가 외부 장치(600)에 구현된 화면(601)의 예를 도시한 것이다.6 illustrates an example of a screen 601 in which 2D and 3D images are implemented in the external device 600 according to various embodiments.

다양한 실시예에 따르면, 외부 장치(600)로 송신된 데이터는 외부 장치(600)의 프로그램을 통해 도 6과 같이 나타날 수 있다. 도 6은 프로그램 상에서 카메라(400)가 2차원 정보 및 3차원 정보를 모두 획득하도록 설정한 경우의 화면(601)을 나타낸 것이다. 화면의 상단에 제1광 출력부(200)의 수평화각 범위 내에 존재하는 오브젝트의 거리가 점(dot)들의 집합으로 나타나며, 화면(610)의 하단에 제2광 출력부(300)의 수평화각 및 수직화각 범위 내에 존재하는 오브젝트의 입체적 형상이 점(dot)들의 집합 및 색(color)으로 표현될 수 있다. 다만, 실시예는 도 6의 화면 구성에 한정되지 않으며, 2차원 정보 및 3차원 정보를 시각적으로 표현할 수 있는 화면이 외부 장치(600)에 나타나게 된다.According to various embodiments, data transmitted to the external device 600 may appear as shown in FIG. 6 through a program of the external device 600 . 6 shows a screen 601 when the camera 400 is set to acquire both 2D information and 3D information on a program. The distance of an object existing within the horizontal angle of view range of the first light output unit 200 at the top of the screen is indicated as a set of dots, and the horizontal angle of view of the second light output unit 300 at the bottom of the screen 610 is displayed. and a three-dimensional shape of an object existing within a range of a vertical angle of view may be expressed as a set of dots and a color. However, the embodiment is not limited to the screen configuration of FIG. 6 , and a screen capable of visually expressing two-dimensional information and three-dimensional information appears on the external device 600 .

다양한 실시예에 따르면, 사용자는 카메라(400)가 2차원 정보만을 획득하거나, 3차원 정보만을 획득하도록 프로그램 상에서 설정할 수 있다. 카메라(400)가 2차원 정보만을 획득하는 경우에는 화면(610)에 3차원 정보는 표시되지 않을 수 있고, 카메라(400)가 3차원 정보만을 획득하는 경우에는 화면(610)에 2차원 정보는 표시되지 않을 수 있다.화면이 외부 장치(600)에 나타나게 된다.According to various embodiments, the user may set the camera 400 on a program to acquire only 2D information or only 3D information. When the camera 400 acquires only 2D information, the 3D information may not be displayed on the screen 610, and when the camera 400 acquires only 3D information, the 2D information is displayed on the screen 610 It may not be displayed. A screen is displayed on the external device 600 .

Claims (5)

전자 장치에 있어서,
빛의 진행방향을 포함하는 평면 상에 광을 출력하는 제1광 출력부;
일정 수직화각 및 수평화각으로 광을 출력하는 제2광 출력부;
픽셀 어레이를 포함하고, 상기 제1광 출력부 및 상기 제2광 출력부에서 출력된 광이 오브젝트에 의해서 반사된 반사광을 인식하기 위한 카메라; 및
프로세서를 포함하고,
상기 프로세서는,
상기 카메라는 상기 제1광 출력부에서 출력된 광의 반사광을 센싱하기 위한 제1개수의 픽셀 라인을 포함하는 제1인식 영역 및 상기 제2광 출력부에서 출력된 광의 반사광을 센싱하기 위한 제1개수보다 큰 제2개수의 픽셀 라인을 포함하는 제2인식 영역을 포함하고,
제1주기에 상기 제1광 출력부가 광을 출력하도록 제어하고,
제2주기에 상기 제2광 출력부가 광을 출력하도록 제어하고,
상기 제1광 출력부가 출력한 광의 반사광을 상기 카메라의 상기 제1인식 영역에서 센싱하여 2차원 정보를 획득하고, 상기 제2광 출력부가 출력한 광의 반사광을 상기 카메라의 상기 제2인식 영역에서 센싱하여 3차원 정보를 획득하되,
상기 카메라와 상기 오브젝트와의 거리가 기준 거리 이내인 경우, 상기 제1광 출력부를 비활성화하고,
상기 카메라와 상기 오브젝트와의 거리가 기준 거리보다 큰 경우, 상기 제2광 출력부를 비활성화하도록 설정된 전자 장치.
In an electronic device,
a first light output unit for outputting light on a plane including a traveling direction of light;
a second light output unit for outputting light at a predetermined vertical angle of view and a horizontal angle of view;
a camera including a pixel array, the camera for recognizing reflected light reflected by an object from the light output from the first light output unit and the second light output unit; and
including a processor;
The processor is
The camera includes a first recognition area including a first number of pixel lines for sensing the reflected light of the light output from the first light output unit, and a first number for sensing the reflected light of the light output from the second light output unit a second recognition area comprising a second greater number of pixel lines;
controlling the first light output unit to output light in a first period,
controlling the second light output unit to output light in a second period,
The reflected light of the light output by the first light output unit is sensed in the first recognition area of the camera to obtain two-dimensional information, and the reflected light of the light output by the second light output unit is sensed in the second recognition area of the camera to obtain 3D information,
When the distance between the camera and the object is within a reference distance, the first light output unit is deactivated,
An electronic device configured to deactivate the second light output unit when the distance between the camera and the object is greater than a reference distance.
 제 1항에 있어서,
상기 프로세서는,
제 1주기에 상기 제1광 출력부에서 광을 출력하고, 수신되는 반사광의 위상 변화를 분석하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정된 전자 장치.
The method of claim 1,
The processor is
An electronic device configured to output light from the first light output unit in a first period and measure a distance between the camera and the object by analyzing a phase change of received reflected light.
 제 1항에 있어서,
상기 프로세서는,
제 1주기에 상기 제1광 출력부에서 광을 출력한 시각부터, 상기 카메라가 반사광을 수신할 때까지의 시각을 측정하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정된 전자 장치.
The method of claim 1,
The processor is
An electronic device configured to measure a distance between the camera and the object by measuring a time from when light is output from the first light output unit to when the camera receives reflected light in a first period.
 제 1항에 있어서,
상기 픽셀 어레이는,
상기 제 1 인식 영역과 상기 제 2 인식 영역은 서로 겹치거나 독립적으로 구성되는 전자 장치.The method of claim 1,
The pixel array is
The first recognition area and the second recognition area overlap each other or are configured independently. 삭제delete
KR1020200139388A 2020-10-26 2020-10-26 Sensor device for detecting object KR102302424B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200139388A KR102302424B1 (en) 2020-10-26 2020-10-26 Sensor device for detecting object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139388A KR102302424B1 (en) 2020-10-26 2020-10-26 Sensor device for detecting object

Publications (1)

Publication Number Publication Date
KR102302424B1 true KR102302424B1 (en) 2021-09-16

Family

ID=77926659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139388A KR102302424B1 (en) 2020-10-26 2020-10-26 Sensor device for detecting object

Country Status (1)

Country Link
KR (1) KR102302424B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716033B1 (en) * 2005-09-29 2007-05-08 에프엠전자(주) Sensing System in a Traveling Railway Vehicle for Sensing a Human Body or an Obstacle on a Railway Track
KR20110085785A (en) * 2010-01-21 2011-07-27 삼성전자주식회사 Method of extractig depth information and optical apparatus employing the method
KR101500162B1 (en) * 2013-10-08 2015-03-06 현대자동차주식회사 Braking Control System for Vehicle and Method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716033B1 (en) * 2005-09-29 2007-05-08 에프엠전자(주) Sensing System in a Traveling Railway Vehicle for Sensing a Human Body or an Obstacle on a Railway Track
KR20110085785A (en) * 2010-01-21 2011-07-27 삼성전자주식회사 Method of extractig depth information and optical apparatus employing the method
KR101500162B1 (en) * 2013-10-08 2015-03-06 현대자동차주식회사 Braking Control System for Vehicle and Method thereof

Similar Documents

Publication Publication Date Title
US11693115B2 (en) Determining positional information of an object in space
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
US20110279648A1 (en) Scanned-beam depth mapping to 2d image
CN113538591A (en) Calibration method and device for distance measuring device and camera fusion system
EP2706377A1 (en) Object detection apparatus and method
US11644543B2 (en) LiDAR systems and methods that use a multi-facet mirror
EP3929626A1 (en) Optical scanning probe and apparatus for generating three-dimensional data using the same
JP6727539B2 (en) Distance sensor, running body, robot and three-dimensional measuring device
US20180356525A1 (en) Time of flight based 3d scanner
CN111458717A (en) TOF depth measuring device and method and electronic equipment
CN112799080A (en) Depth sensing device and method
CN112255639A (en) Depth perception sensor and depth perception sensing module for region of interest
US11879979B2 (en) Method and apparatus for dynamic reconfiguration of region of interest in integrated FMCW LIDAR
WO2019127977A1 (en) Multi-line laser distance measuring apparatus and robot
KR102302424B1 (en) Sensor device for detecting object
CN116520293B (en) Laser radar detection method and device and laser radar
Portugal-Zambrano et al. Robust range finder through a laser pointer and a webcam
KR102567502B1 (en) Time of flight apparatus
US11796643B2 (en) Adaptive LIDAR scanning methods
CN111510700A (en) Image acquisition device
WO2022195954A1 (en) Sensing system
CN212471510U (en) Mobile robot
CN112364741A (en) Monocular remote obstacle detection method and device for unmanned aerial vehicle and unmanned aerial vehicle
KR102068929B1 (en) 3d camera system
KR102660776B1 (en) Information processing devices and information processing methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant