KR102302424B1 - Sensor device for detecting object - Google Patents
Sensor device for detecting object Download PDFInfo
- Publication number
- KR102302424B1 KR102302424B1 KR1020200139388A KR20200139388A KR102302424B1 KR 102302424 B1 KR102302424 B1 KR 102302424B1 KR 1020200139388 A KR1020200139388 A KR 1020200139388A KR 20200139388 A KR20200139388 A KR 20200139388A KR 102302424 B1 KR102302424 B1 KR 102302424B1
- Authority
- KR
- South Korea
- Prior art keywords
- light
- output unit
- light output
- camera
- reflected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
본 명세서는 센서 장치에 관한 것이며, 보다 상세하게는 광의 출력과 이미지 인식을 통해 오브젝트의 입체적 형상 및 오브젝트와의 거리를 인식할 수 있는 센서 장치에 관한 것이다.The present specification relates to a sensor device, and more particularly, to a sensor device capable of recognizing a three-dimensional shape of an object and a distance to the object through light output and image recognition.
현재 로봇이나 자율주행차량에서 주변을 인식하기 위한 LiDAR를 사용하는 사례가 늘어나고 있다. 기존의 2D LiDAR 센서에서 점차 많은 영역의 정보를 얻기 위한 3D LiDAR 센서가 보편화되고 있다.Currently, the use of LiDAR to perceive surroundings in robots and autonomous vehicles is increasing. A 3D LiDAR sensor for obtaining information in a larger area from the existing 2D LiDAR sensor is becoming more common.
기존의 LiDAR 센서는 포인트 빔(point beam)을 이용하여 오브젝트를 스캔하는 방식을 사용했다. 이 방식은 축을 중심으로 360도 회전하며 이미지를 얻는 방식이어서, 거울과 모터가 필수적이다. 그러나 이와 같이 상대적으로 복잡한 구조로 인해 LiDAR 센서의 하드웨어 가격이 높아질 수밖에 없고, 광원의 발열 문제 또한 존재하였다.The existing LiDAR sensor used a method of scanning an object using a point beam. This method rotates 360 degrees around an axis to obtain an image, so a mirror and a motor are essential. However, due to this relatively complex structure, the hardware price of the LiDAR sensor is inevitably high, and there is also a problem of heat generation of the light source.
본 발명의 다양한 실시예들은 ToF를 이용한 라이다 센서를 사용하여 2D 및 3D 이미지를 모두 인식할 수 있는 센서 장치를 구현하는 데에 있다.Various embodiments of the present invention are to implement a sensor device capable of recognizing both 2D and 3D images using a lidar sensor using ToF.
본 발명의 다양한 실시예에 따른 센서 장치에 있어서, 빛의 진행방향을 포함하는 평면 상에 광을 출력하는 제1광 출력부; 일정 수직화각 및 수평화각으로 광을 출력하는 제2광 출력부; 픽셀 어레이를 포함하고, 상기 제1광 출력부 및 상기 제2광 출력부에서 출력된 광이 오브젝트에 의해서 반사된 반사광을 인식하기 위한 카메라; 및 프로세서를 포함하고, 상기 프로세서는, 제1주기에 상기 제1광 출력부가 광을 출력하도록 제어하고, 제2주기에 상기 제2광 출력부가 광을 출력하도록 제어하고, 상기 카메라로부터 상기 제1광 출력부가 출력한 광의 반사광을 센싱하여 획득한 2차원 정보를 수신하고, 및 상기 카메라가 상기 제2광 출력부가 출력한 광의 반사광을 센싱하여 획득한 3차원 정보를 수신하도록 설정된 프로세서를 포함할 수 있다.In a sensor device according to various embodiments of the present disclosure, there is provided a sensor device comprising: a first light output unit configured to output light on a plane including a traveling direction of light; a second light output unit for outputting light at a predetermined vertical angle of view and a horizontal angle of view; a camera including a pixel array, the camera for recognizing reflected light reflected by an object from the light output from the first light output unit and the second light output unit; and a processor, wherein the processor controls the first light output unit to output light in a first period, controls the second light output unit to output light in a second period, and controls the first light output unit to output light from the camera A processor configured to receive the two-dimensional information obtained by sensing the reflected light of the light output by the light output unit, and the camera configured to receive the three-dimensional information obtained by sensing the reflected light of the light output by the second light output unit. have.
다양한 실시예에 따르면, 상기 프로세서는, 제 1주기에 상기 제1광 출력부에서 광을 출력하고, 수신되는 반사광의 위상 변화를 분석하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정될 수 있다.According to various embodiments, the processor may be configured to output light from the first light output unit in a first period and measure a distance between the camera and the object by analyzing a phase change of received reflected light. .
다양한 실시예에 따르면, 상기 프로세서는, 제 1주기에 상기 제1광 출력부에서 광을 출력한 시각부터, 상기 카메라가 반사광을 수신할 때까지의 시각을 측정하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정될 수 있다.According to various embodiments, the processor measures a time from when the light is output from the first light output unit in a first period until the camera receives the reflected light, and the distance between the camera and the object can be set to measure
다양한 실시예에 따르면, 상기 픽셀 어레이는, 상기 제1광 출력부에서 출력한 광의 반사광을 수신하며 하나 이상의 픽셀 라인으로 구성된 제 1 인식 영역 및 상기 제2광 출력부에서 출력한 광의 반사광을 수신하며 상기 제 1 인식 영역보다 많은 수의 픽셀 라인으로 구성된 제 2 인식 영역을 포함하며, 상기 제 1 인식 영역과 상기 제 2 인식 영역은 서로 겹치거나 독립적으로 구성될 수 있다.According to various embodiments, the pixel array receives the reflected light of the light output from the first light output unit, and receives the reflected light of the light output from the first recognition area and the second light output unit composed of one or more pixel lines, and a second recognition area configured with a greater number of pixel lines than the first recognition area, wherein the first recognition area and the second recognition area may overlap each other or may be configured independently.
다양한 실시예에 따르면, 상기 프로세서는, 오브젝트가 기준 거리 이내에서 감지되는 경우, 상기 제1광 출력부를 활성화 하여 상기 2차원 정보를 획득하고, 상기 제2광 출력부를 활성화 하여 상기 3차원 정보를 획득하고, 및 상기 3차원 정보를 활용하여 상기 2차원 정보를 보완하도록 설정될 수 있다.According to various embodiments, when an object is detected within a reference distance, the processor activates the first light output unit to obtain the 2D information, and activates the second light output unit to obtain the 3D information And, it may be set to supplement the 2D information by utilizing the 3D information.
상술한 본 발명의 다양한 실시예들은 간단한 구조로 소형 로봇에 적용해도 주변을 인식하기에 적합하며, 발열문제, 진동문제가 없고 2D 및 3D 이미지를 모두 획득할 수 있는 센서 장치를 제공할 수 있다.The various embodiments of the present invention described above have a simple structure and are suitable for recognizing the surroundings even when applied to a small robot, do not have a heat problem or a vibration problem, and can provide a sensor device capable of acquiring both 2D and 3D images.
도 1은 다양한 실시예에 따른 센서 장치의 블록도이다.
도 2는 다양한 실시예에 따른 센서 장치의 세부 구성을 도시한 것이다.
도 3은 다양한 실시예에 따른 카메라의 픽셀 어레이 센서를 도시한 것이다.
도 4a 및 4b는 다양한 실시예에 따라 Indirect ToF 방식 및 direct ToF 방식에 따라 오브젝트의 거리를 인식하는 예를 도시한 것이다.
도 5는 다양한 실시예에 따른 LiDAR 센서와 외부 장치의 데이터 송수신을 도시한 것이다.
도 6은 다양한 실시예에 따른 2D 및 3D 이미지가 외부 장치에 구현된 화면의 예를 도시한 것이다.1 is a block diagram of a sensor device according to various embodiments.
2 illustrates a detailed configuration of a sensor device according to various embodiments of the present disclosure.
3 illustrates a pixel array sensor of a camera according to various embodiments.
4A and 4B illustrate examples of recognizing an object distance according to an Indirect ToF method and a direct ToF method according to various embodiments.
5 is a diagram illustrating data transmission/reception between a LiDAR sensor and an external device according to various embodiments of the present disclosure;
6 illustrates an example of a screen in which 2D and 3D images are implemented in an external device according to various embodiments of the present disclosure.
이하, 본 명세서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present specification are described with reference to the accompanying drawings. However, it is not intended to limit the techniques described herein to specific embodiments, and it should be understood that the present disclosure includes various modifications, equivalents, and/or alternatives of the embodiments herein. . In connection with the description of the drawings, like reference numerals may be used for like components.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.The terms used herein are used only to describe specific embodiments, and may not be intended to limit the scope of other embodiments. The singular expression may include the plural expression unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meanings as commonly understood by one of ordinary skill in the art described herein. Among the terms used herein, terms defined in a general dictionary may be interpreted with the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in the present specification, have ideal or excessively formal meanings. is not interpreted as In some cases, even the terms defined in this specification cannot be construed to exclude the embodiments of the present specification.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 통상의 기술자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in this specification should be interpreted in the meaning generally understood by those of ordinary skill in the art to which the present invention belongs, unless otherwise defined in this specification, and excessively inclusive. It should not be construed in the meaning of a human being or in an excessively reduced meaning. In addition, when the technical terms used in this specification are incorrect technical terms that do not accurately express the spirit of the present invention, they should be understood by being replaced with technical terms that can be correctly understood by those of ordinary skill in the art. In addition, general terms used in the present invention should be interpreted as defined in advance or according to the context before and after, and should not be interpreted in an excessively reduced meaning.
도 1은 다양한 실시예에 따른 센서 장치(500)의 블록도이다.1 is a block diagram of a
도 1을 참조하면, 센서 장치(500)는 제1광 출력부(200), 제2광 출력부(300), 카메라(400) 및 프로세서(100)를 포함할 수 있다. 도 1에 도시된 구성 중 적어도 일부가 생략 또는 치환 되더라도 다양한 실시예에 따른 센서 장치(500)를 구현할 수 있다. 도 1에 도시된 구성 중 적어도 일부가 생략 또는 치환 되더라도 다양한 실시예에 따른 센서 장치(500)를 구현할 수 있다. 도시된 각 구성은 하우징(미도시) 내에 배치되어 센서 장치(500)는 하나의 이동(또는 휴대) 가능한 장치로 구현될 수 있다. 다양한 실시예에 따르면, 센서 장치(500)는 LiDAR(light detection and ranging) 센서일 수 있다. LiDAR 센서는 광(예: 가시광 또는 레이저 광)을 출력하고, 출력된 광이 오브젝트에 의해 반사되는 반사광을 감지하여, 센서와 오브젝트 간의 거리를 측정하기 위한 장치이다.Referring to FIG. 1 , a
다양한 실시예에 따르면, 센서 장치(500)는 이동 로봇(예: 무인 자동차, 로봇 청소기 등)에 배치될 수 있다. 이동 로봇은 센서 장치(500)를 이용해 주변의 오브젝트를 실시간으로 인식하고, 이동 시 오브젝트와의 충돌을 회피할 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 센서 장치(500)는 고정식 라이다(solid state LiDAR)일 수 있다. 고정식 라이다는 기존의 rotary LiDAR와 달리, 포인트 빔(point beam)을 360도로 회전시켜 순차적으로 스캔하는 방식이 아니기 때문에 거울이나 모터가 필요 없는 단순한 구조일 수 있다. 따라서 다양한 실시예에 따른 센서 장치(500)는 고정식 라이다를 이용해 보다 간단한 구조로 구성되어, 소형 로봇에 적용할 수 있으며, 진동과 발열에 강한 장점을 가질 수 있다. 고정식 라이다 방식을 채택하면 주변 환경에 강인한 로봇시스템을 구축할 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 센서 장치(500)는 주변의 오브젝트의 입체적 형상을 인식할 수 있고, 오브젝트까지의 거리를 측정할 수 있다. 센서 장치(500)는 후술하는 바와 같이, 광을 오브젝트에 투사하고, 카메라(400)를 이용해 반사광을 인식하여 빛이 날아간 시간을 측정하는 ToF(time of flight) 방식으로 오브젝트의 입체적 형상 및 오브젝트까지의 거리를 측정할 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 가시광 및/또는 레이저 광(또는 레이저 빔)을 출력할 수 있다. 제1광 출력부(200) 및 제2광 출력부(300)는 복수의 광원으로 구성될 수 있으며, 제2광 출력부(300)는 3차원의 넓은 범위로 광을 출력하기 위해 제1광 출력부(200)보다 많은 수의 광원을 포함할 수 있다. 제1광 출력부(200) 및 제2광 출력부(300)의 광원은 점 광원일 수 있으며, 적어도 하나의 렌즈(예: 콜리메이터 렌즈(collimator lens) 및/또는 라인 렌즈(line lens))를 통해 분산되어 출력될 수 있다.According to various embodiments, the first
제1광 출력부(200) 및 제2광 출력부(300)는 고정된 위치(예: 카메라(400)의 상단 및 카메라(400)의 하단)에서 정해진 방향(예: 센서 장치(500)의 전면 방향)으로 광을 출력할 수 있다. 제1광 출력부(200) 및 제2광 출력부(300)의 출력 광은 일정한 주기로 연속적으로 파형이 변하는 연속 파(continuous wave) 또는 불연속적으로 파형이 변하는 펄스 파(pulse wave)일 수 있다.The first
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 동일한 파장의 광을 출력할 수 있다. 출력되는 광의 파장은 근적외선 영역의 파장(예: 850, 905, 940nm)일 수 있으며, 일 실시예에 따르면, 태양광과의 간섭을 피하기 위하여 940nm의 파장을 갖는 광을 출력할 수도 있다.According to various embodiments, the first
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)의 동작 주파수는 서로 같을 수도 있고 다를 수도 있다. 추후 설명할 Indirect ToF 방식의 경우 위상차에 따라 거리를 계산하게 되는데, 먼 거리의 경우 높은 주파수는 위상이 180도 변화하여 주파수에 따라 측정거리 한계가 달라질 수 있다. 예를 들어, 동작주파수가 20MHz인 경우 7.5m 거리 측정 이후로는 위상이 180도 변하는데, 동작주파수가 10MHz인 경우 15m 거리 측정 이후로 위상이 180도 변할 수 있다. 따라서 오브젝트의 거리에 따라서 제1광 출력부(200) 및 제2광 출력부(300)의 동작주파수를 낮게 또는 높게 설정할 수 있다. 예를 들어, 프로세서(100)는 오브젝트의 거리를 실시간으로 감지하고, 오브젝트가 멀어질수록 동작주파수를 낮게 설정하도록 제어할 수 있다.According to various embodiments, the operating frequencies of the first
다양한 실시예에 따르면, 제1광 출력부(200)는 빛의 진행방향을 포함하는 평면으로 직선광(line beam)을 오브젝트에 투사할 수 있다. 제1광 출력부(200)는 특정한 수평화각을 갖는 광을 출력할 수 있다. 예를 들어, 제1광 출력부(200)는 센서 장치(500)의 전면에서 지면과 수평한 방향의 라인 광을 출력하여 지면으로부터 소정 높이에 있는 오브젝트에 투사할 수 있다.According to various embodiments, the first
다양한 실시예에 따르면, 카메라(400)는 복수의 픽셀 라인을 포함하는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 CMOS (complementary metal-oxide semiconductor)센서로 구현될 수 있으나, 이에 한정되지 않고 CCD(charge coupled device) 센서 등 다른 종류의 이미지 센서가 사용될 수도 있다. 이미지 센서는 복수의 픽셀 라인을 구성하는 2차원 픽셀 어레이(pixel array)를 포함할 수 있으며, 일 실시예에 따르면, 픽셀 어레이는 제1광 출력부(200)의 제1반사광을 인식할 수 있는 제 1 인식 영역(420) 및 제2광 출력부(300)의 제2반사광을 인식할 수 있는 제 2 인식 영역(430)을 포함할 수 있다. 이미지 센서는 롤링 셔터 방식 또는 글로벌 셔터 방식으로 반사광에 기초한 이미지 데이터를 생성할 수 있다.According to various embodiments, the
카메라(400)는 오브젝트에 반사되어 돌아온 반사광으로부터 2차원 정보를 획득할 수 있다. 예를 들어, 2차원 정보는 제1광 출력부(200)에서 출력되는 광의 진행 방향을 지시하는 x축 및 x축과 수직이고 지면과 평행한 y축의 좌표 정보를 포함할 수 있다.The
제1광 출력부(200)와 제2광 출력부(300)에 같은 출력 세기를 적용할 경우, 제1광 출력부(200)에서 출력된 광은 라인 광(또는 1차원 출력 광)으로써 후술할 제2광 출력부(300)에서 출력된 평면 광(또는 2차원 출력 광)보다 먼 거리까지 이동할 수 있기 때문에 3차원 정보를 획득한 거리보다 더 먼 거리까지의 2차원 정보를 획득할 수 있다.When the same output intensity is applied to the first
다양한 실시예에 따르면, 제2광 출력부(300)는 일정 수직화각 및 수평화각으로 광을 오브젝트에 투사할 수 있다. 제2광 출력부(300)에서 출력하는 광은 제1광 출력부(200)에서 출력하는 광과 달리 1차원 상에서 출력되는 것이 아니라 2차원 적으로 투사될 수 있다. 즉, 제2광 출력부(300)에서 출력되는 광은 광의 출력 방향을 기준으로 특정 수평화각 및 수직화각을 가질 수 있다. 카메라(400)는 오브젝트에 반사되어 돌아온 반사광으로부터 3차원 정보를 획득할 수 있다. 예를 들어, 3차원 정보는 제2광 출력부(300)에서 출력되는 광의 진행 방향을 지시하는 x축 및 x축과 수직이고 지면과 평행한 y축 및 x축/y축과 평행한, 즉 센서 장치(500)의 전면과 평행한 z축을 포함하는 3차원 좌표 정보를 포함할 수 있다.According to various embodiments, the second
다양한 실시예에 따르면, 제2광 출력부(300)는 제1광 출력부(200)와 다른 방향에서 오브젝트를 향해 광을 투사할 수 있다. 이를 위해, 제1광 출력부(200) 및 제2광 출력부(300)는 소정 거리만큼 이격되어 배치될 수 있다. 예를 들어, 제1광 출력부(200)는 센서 장치(500)의 전면에서 카메라(400)의 하단에 배치되어 전면으로 광을 출력할 수 있으며, 제2광 출력부(300)는 카메라(400)의 상단에 배치되어 전면으로 광을 출력할 수 있다.According to various embodiments, the second
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 프로세서(100)의 제어 신호에 따라 동기되어 광을 출력할 수 있다. 프로세서(100)는 제1주기와 제2주기를 설정하여, 제1주기에 제1광 출력부(200)가 광을 출력하도록 제어하고, 제2주기에 제2광 출력부(300)가 광을 출력하도록 제어할 수 있다. 이를 통해 제1광 출력부(200)와 제2광 출력부(300)가 번갈아 가면서 광을 출력하도록 제어할 수 있고, 제1광 출력부(200)만 광을 출력하도록 제어하거나 제2광 출력부(300)만 광을 출력하도록 제어할 수도 있다.According to various embodiments, the first
일 실시예에 따르면, 제1주기 및 제2주기는 카메라(400)의 셔터 속도에 따라 결정될 수 있다. 예를 들어, 카메라(400)의 셔터 주기가 1/30초인 경우, 제1주기 및 제2주기는 1/60초 이내의 시간으로 결정될 수 있다. 제1주기 및 제2주기는 동일한 시간 주기일 수 있으며, 일부 차이가 있을 수도 있다.According to an embodiment, the first period and the second period may be determined according to a shutter speed of the
다양한 실시예에 따르면, 카메라(400)는 오브젝트에 반사되어 돌아온 반사광을 인식하여 2차원 정보 및 3차원 정보를 획득할 수 있다. 카메라(400)는 2차원 픽셀 어레이(pixel array)를 포함하며, 2차원 픽셀 어레이의 각각의 행은 픽셀 라인으로 정의될 수도 있다. 카메라(400)는 제1광 출력부(200)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하여 2차원 정보를 획득할 수 있고, 제2광 출력부(300)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하여 3차원 정보를 획득할 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 카메라(400)는 제1광 출력부(200)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 1 인식 영역(420) 및 제2광 출력부(300)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 2 인식 영역(430)으로 이루어질 수 있다. 제 1 인식 영역(420)은 하나 이상의 픽셀 라인으로 구성되며, 제 2 인식 영역(430)은 제 1 인식 영역(420)보다 많은 수의 픽셀 라인을 포함하여 구성될 수 있다. 예를 들어, 제1광 출력부(200)에서 출력되는 광의 반사광은 라인 반사광이기 때문에, 제 1 인식 영역(420)은 라인 반사광을 인식할 수 있는 정도의 적은 수의 픽셀 라인으로 구성되고, 제 2 인식 영역(430) 은 평면 반사광을 인식하기 위해 보다 많은 수의 픽셀 라인으로 구성될 수 있다. 제 1 인식 영역(420)과 제 2 인식 영역(430)은 서로 겹칠 수도 있으며, 서로 독립되어 존재할 수 도 있다.According to various embodiments, the
댜앙한 실시예에 따르면, 프로세서(100)는 센서 장치(500)의 각 구성(예: 제1광 출력부(200), 제2광 출력부(300), 카메라(400) 등)을 제어하는 기능을 수행할 수 있다. 이를 위해, 프로세서(100)는 센서 장치(500)의 각 구성과 전기적 및/또는 기능적으로 연결될 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 프로세서(100)는 후술할 indirect ToF 방식 혹은 direct ToF 방식을 사용하여, 카메라(400)에서 획득한 2차원 정보 및 3차원 정보로부터 오브젝트까지의 거리 및 오브젝트의 입체적 형상을 결정할 수 있다. 본 특징에 대해서는 도 4a 및 4b를 통해 상세히 후술하기로 한다.According to various embodiments, the
다양한 실시예에 따르면, 근거리 오브젝트에 반사되어 돌아오는 빛이 saturation되어 측정 불가 영역이 생기는 것을 막기 위하여, 프로세서(100)는 기준거리 내의 오브젝트에 대해서는 획득한 3차원 정보를 활용하여 2차원 정보를 보정할 수 있다. 예를 들어, 기준거리가 5m인 경우, 5m내에 존재하는 오브젝트에 대해서는 2차원 정보보다는 3차원 정보에 더 의존하여 2차원 이미지를 생성할 수 있다.According to various embodiments, in order to prevent the non-measurable area from being generated due to the saturation of the light reflected back from the near object, the
일 실시예에 따르면, 프로세서(100)는 센서 장치(500)(또는 카메라(400))와 오브젝트 사이의 거리가 기준거리 이상인 경우, 제2광 출력부(300)를 비활성화 하고, 제1광 출력부(200)만 활성화 하여, 센서 장치(500)는 오브젝트의 2차원 정보만 획득할 수도 있다.According to an embodiment, when the distance between the sensor device 500 (or the camera 400 ) and the object is equal to or greater than the reference distance, the
도 2는 다양한 실시예에 따른 센서 장치(500)의 세부 구성을 도시한 것이다.2 illustrates a detailed configuration of a
도 2를 참조하면, 카메라(400)는 프로세서(100)가 제1광 출력부(200) 및 제2광 출력부(300)를 제어하여 출력한 광이 오브젝트에 반사된 반사광을 센싱하여 2차원 정보 및 3차원 정보를 획득할 수 있다. 빛의 진행방향을 포함하는 평면으로 광을 출력하는 제1광 출력부(200)에서 나온 광은 특정 수평화각을 가질 수 있다. 오브젝트에 반사된 반사광을 센싱하면 카메라(400)부터 오브젝트까지의 거리 정보를 포함하는 2차원 정보를 획득할 수 있다. 제2광 출력부(300)는 특정 수평화각 및 수직화각을 가지는 광을 출력할 수 있다. 제2광 출력부(300)에서 출력한 광의 반사광을 센싱하면 오브젝트의 입체적 형상에 대한 정보를 포함하는 3차원 정보를 획득할 수 있다. 이 때 카메라(400)가 반사광을 센싱하여 2차원 정보 및 3차원 정보를 획득하는 과정은 추후 도 4a 및 4b에서 자세히 기술하기로 한다.Referring to FIG. 2 , the
도 2에서는 센서 장치(500)의 전면에서 제1광 출력부(200)가 하단에, 제2광 출력부(300)가 상단에, 카메라(400)가 그 중간에 배치된 것으로 도시되어 있으나, 이에 한정되지 않는다. 예를 들어, 제1광 출력부(200)가 상단에 제2광 출력부(300)가 하단에 배치될 수도 있고, 카메라(400)와의 배열이 상하로 서로 일렬이 아닐 수도 있으며, 같은 높이에서 평행한 위치에 좌우로 배치될 수도 있다.In FIG. 2 , the first
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)는 프로세서(100)의 제어에 따라 각각 독립적으로 작동할 수도 있으며, 소정 주기에 따라 번갈아 가면서 작동할 수도 있다. 예를 들어, 프로세서(100)는 제1 주기에 제1광 출력부(200)가 광을 출력하도록 제어하고, 제2 주기에 제2광 출력부(300)가 광을 출력하도록 제어할 수 있다. 제1주기와 제2주기의 길이는 서로 같을 수도 있고 다를 수도 있으며, 시간적으로 분리될 수도 있고 아닐 수도 있다. 예를 들어, 카메라(400)의 이미지 센서에서 제 1 인식 영역(420)과 제 2 인식 영역(430)이 독립적으로 존재하는 경우에는 제1 주기와 제2 주기가 시간적으로 분리되지 않을 수 있으며 카메라(400)는 제1광 출력부(200) 및 제2광 출력부(300)를 동시에 활성화 하여 2차원 정보 및 3차원 정보를 실질적으로 동시에 획득할 수 있다.According to various embodiments, the first
도 3은 다양한 실시예에 따른 카메라(400)의 픽셀 어레이 센서를 도시한 것이다.3 illustrates a pixel array sensor of a
도 3을 참조하면, 카메라(400)는 픽셀 어레이 센서(pixel array sensor)를 포함한다. 픽셀 어레이 센서는 여러 개의 픽셀(410)로 이루어질 수 있다. 하나의 픽셀(410)은 동상 수신기(in-phase receptor)와 역상 수신기(out-of-phase receptor) 한 쌍으로 이루어질 수 있다.Referring to FIG. 3 , the
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)에서 나와 오브젝트에 반사된 후 각 수신기에 수신된 반사광은 수신되는 시점에 따라서 동상 수신기 또는 역상 수신기 중 하나에 수신될 수 있다. 이 때 수신된 광량에 따라서 동상 수신기 및 역상 수신기의 전하 생성 비율이 달라질 수 있다. 전하 생성 비율을 계산하면 오브젝트의 거리를 측정할 수 있고, 오브젝트의 입체적 형상을 인식할 수 있다.According to various embodiments, the reflected light received by each receiver after being reflected on an object from the first
다양한 실시예에 따르면, 카메라(400)의 이미지 센서는 제1광 출력부(200)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 1 인식 영역(420) 및 제2광 출력부(300)에서 출력된 광이 오브젝트에 반사된 반사광을 수신하는 제 2 인식 영역(430)을 포함할 수 있다. 제 1 인식 영역(420)은 하나 이상의 픽셀 라인으로 구성될 수 있으며, 제 2 인식 영역(430)은 제 1 인식 영역(420)보다 많은 수의 픽셀 라인으로 구성될 수 있다. 예를 들어, 제1광 출력부(200)에서 출력되는 광의 반사광은 라인 반사광이기 때문에, 제 1 인식 영역(420)은 라인 반사광을 인식할 수 있는 정도의 적은 수의 픽셀 라인으로 구성되고, 제 2 인식 영역(430)은 평면 반사광을 인식하기 위해 보다 많은 수의 픽셀 라인으로 구성될 수 있다.According to various embodiments of the present disclosure, the image sensor of the
다양한 실시예에 따르면, 프로세서(100)는 카메라(400)가 2차원 정보만을 획득하거나 3차원 정보만을 획득하도록 할 수 있다. 2차원 정보만을 획득하는 경우 카메라(400)의 픽셀 어레이 전체가 제 1 인식 영역(420)이 될 수 있으며, 3차원 정보만을 획득하는 경우 카메라(400)의 픽셀 어레이 전체가 제 2 인식 영역(430)이 될 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 제1광 출력부(200) 및 제2광 출력부(300)의 작동 주파수는 다를 수 있고 오브젝트에 반사되어 돌아오는 시간도 다를 수 있으므로, 제1광 출력부(200)에서 출력한 광의 반사광 및 제2광 출력부(300)에서 출력한 광의 반사광이 카메라(400)에 수신되는 시간에 차이가 발생할 수 있다.According to various embodiments, since the operating frequencies of the first
도 4a 및 4b는 다양한 실시예에 따라 Indirect ToF 방식 및 direct ToF 방식에 따라 오브젝트의 거리를 인식하는 예를 도시한 것이다.4A and 4B illustrate examples of recognizing an object distance according to an Indirect ToF method and a direct ToF method according to various embodiments.
센서 장치(500)는 ToF(time of flight) 방식에 의해 오브젝트를 인식할 수 있으며, 예를 들어, 센서 장치(500)는 Indirect ToF방식또는 Direct ToF방식을 이용할 수 있다.The
Indirect ToF 방식은 광원에서 나온 빛의 위상(20)을 파악하고, 광원에서 나온 빛이 오브젝트에 반사되어 카메라(400)로 들어온 반사광의 위상(21)과의 차이(phase shift)를 파악함으로써 오브젝트의 거리를 측정하는 방식이다. The Indirect ToF method detects the
도 4a를 참조 하면, 하나의 픽셀 센서는 한 쌍의 동상 수신기(in-phase receptor)와 역상 수신기(out-of-phase receptor)로 구성될 수 있다. 각 receptor는 포토 다이오드(photo diode)일 수 있다. 동상 수신기(in-phase receptor)와 역상 수신기(out-of-phase receptor)는 번갈아가며 광을 수신하며, 각 수신기에서는 광이 수신되는 경우 이를 전하로 변환하여 저장할 수 있다. 각 수신기에 저장된 전하의 양의 비율을 분석하여 오브젝트까지의 거리를 측정할 수 있다.Referring to FIG. 4A , one pixel sensor may include a pair of in-phase receptors and out-of-phase receptors. Each receptor may be a photo diode. An in-phase receptor and an out-of-phase receptor alternately receive light, and when light is received, each receiver may convert it into electric charge and store it. By analyzing the ratio of the amount of charge stored in each receiver, the distance to the object can be measured.
예를 들어, 오브젝트가 센서 장치(500)로부터 가까운 거리 d1에 위치한 경우, 동상 수신기에 80%의 전하가 저장되고, 역상 수신기에는 20%의 전하가 저장될 수 있다. 오브젝트가 d1보다 먼 d2에 위치한 경우, 광 출력부의 광 출력부터 반사광이 이미지 센서에 도달하는 시간이 길어지기 때문에, 동상 수신기에 40%의 전하가 저장되고, 역상 수신기에는 60%의 전하가 저장될 수 있다. 빛의 속도는 일정하기 때문에, 동상 수신기와 역상 수신기의 전하 저장 비율은 센서 장치(500)와 오브젝트 사이의 거리에 대응될 수 있다. 이와 같이, 센서 장치(500)는 동상 수신기와 역상 수신기에 저장된 전하의 양의 비율을 인식하는 경우, 센서 장치(500)와 오브젝트 간의 거리를 확인할 수 있다.For example, when the object is located at a short distance d1 from the
Direct ToF 방식은 광원에서 빛이 나온 후 오브젝트에 반사되어 다시 카메라(400)로 수신될 때까지의 시간을 측정하는 방식이다. 광 출력부에서 나온 광이 오브젝트의 거리 d을 왕복하는 동안 걸린 시간 t를 측정하면, 수학식 (30)에 의하여 오브젝트의 거리를 측정할 수 있다.The Direct ToF method is a method of measuring the time until light is emitted from the light source and then reflected to the object and received by the
다양한 실시예에 따르면, 센서 장치(500)는 ToF 방식을 사용하여 오브젝트의 거리를 측정하는데, indirect 방식과 direct 방식이 제한 없이 사용될 수 있다. 즉, indirect 방식의 경우에는 카메라(400)의 픽셀 어레이 구조를 통하여 오브젝트의 거리를 측정하고 오브젝트의 입체적 형상을 인식할 수 있으며, direct 방식의 경우에는 제1광 출력부(200) 및 제2광 출력부(300)에서 출력된 빛이 오브젝트에 반사되어 카메라(400)로 돌아오는 시간을 측정하여 오브젝트의 거리를 측정하고 오브젝트의 입체적 형상을 인식할 수 있다.According to various embodiments, the
일 실시예에 따르면, 센서 장치(500)는 2차원 정보 및 3차원 정보를 서로 다른 ToF 방식으로 획득할 수 있다. Direct ToF 방식은 Indirect ToF 방식과 달리 시간을 직접적으로 측정하는 방식이므로 더 정확하고 먼 거리를 측정할 수 있는 대신, 보다 높은 변조 주파수를 가지며 끊어진 단파장을 내보내기 때문에 광 출력부가 더 강한 빛을 출력할 필요가 있다. 이에 따라, 센서 장치(500)는 이미지 센서의 제 1 인식 영역(420)을 Direct ToF 방식으로 구성하여 제1광 출력부(200)의 광 출력을 통한 2차원 정보를 획득하고, 제 2 인식 영역(430)을 Indirect ToF 방식으로 구성하여 제2광 출력부(300)의 광 출력을 통한 3차원 정보를 획득할 수 있다.According to an embodiment, the
도 5는 다양한 실시예에 따른 센서 장치(500)와 외부 장치(600)의 데이터 송수신을 도시한 것이다.5 illustrates data transmission/reception between the
다양한 실시예에 따르면, 프로세서(100)는 카메라(400)를 통해 수신한 2차원 정보 및 3차원 정보를 활용하여 오브젝트의 입체적 형상 및 오브젝트의 거리에 대한 데이터를 생성하고, 외부 장치(600)와의 통신을 통해 데이터를 송수신할 수 있다. 송수신 방식은 하프 듀플렉스(half-duplex serial communication) 방식이 사용될 수 있다. 이를 통해서 외부 장치(600)가 센서 장치(500)에 데이터를 요청할 수 있다. 데이터 요청이 들어오면, 프로세서(100)는 상기 설명한 방식을 통해 오브젝트의 거리를 측정하고 오브젝트의 입체적 형상을 인식한 후 외부 장치(600)로 해당 데이터를 송신할 수 있다. 프로세서(100)는 외부 장치(600)의 요청에 따라 실시간으로 또는 주기적으로 거리를 측정하여 전송할 수 있다. 외부 장치(600)는 PC(personal computer), 라즈베리파이(RaspberryPi) 중 적어도 하나를 포함할 수 있다.According to various embodiments, the
일 실시예에 따르면, 센서 장치(500)는 이동 로봇 상에 배치될 수 있으며, 이동 로봇의 프로세서(100)의 요청에 따라 오브젝트와의 거리를 측정하여 실시간으로 전송할 수 있다.According to an embodiment, the
도 6은 다양한 실시예에 따른 2D 및 3D 이미지가 외부 장치(600)에 구현된 화면(601)의 예를 도시한 것이다.6 illustrates an example of a
다양한 실시예에 따르면, 외부 장치(600)로 송신된 데이터는 외부 장치(600)의 프로그램을 통해 도 6과 같이 나타날 수 있다. 도 6은 프로그램 상에서 카메라(400)가 2차원 정보 및 3차원 정보를 모두 획득하도록 설정한 경우의 화면(601)을 나타낸 것이다. 화면의 상단에 제1광 출력부(200)의 수평화각 범위 내에 존재하는 오브젝트의 거리가 점(dot)들의 집합으로 나타나며, 화면(610)의 하단에 제2광 출력부(300)의 수평화각 및 수직화각 범위 내에 존재하는 오브젝트의 입체적 형상이 점(dot)들의 집합 및 색(color)으로 표현될 수 있다. 다만, 실시예는 도 6의 화면 구성에 한정되지 않으며, 2차원 정보 및 3차원 정보를 시각적으로 표현할 수 있는 화면이 외부 장치(600)에 나타나게 된다.According to various embodiments, data transmitted to the
다양한 실시예에 따르면, 사용자는 카메라(400)가 2차원 정보만을 획득하거나, 3차원 정보만을 획득하도록 프로그램 상에서 설정할 수 있다. 카메라(400)가 2차원 정보만을 획득하는 경우에는 화면(610)에 3차원 정보는 표시되지 않을 수 있고, 카메라(400)가 3차원 정보만을 획득하는 경우에는 화면(610)에 2차원 정보는 표시되지 않을 수 있다.화면이 외부 장치(600)에 나타나게 된다.According to various embodiments, the user may set the
Claims (5)
빛의 진행방향을 포함하는 평면 상에 광을 출력하는 제1광 출력부;
일정 수직화각 및 수평화각으로 광을 출력하는 제2광 출력부;
픽셀 어레이를 포함하고, 상기 제1광 출력부 및 상기 제2광 출력부에서 출력된 광이 오브젝트에 의해서 반사된 반사광을 인식하기 위한 카메라; 및
프로세서를 포함하고,
상기 프로세서는,
상기 카메라는 상기 제1광 출력부에서 출력된 광의 반사광을 센싱하기 위한 제1개수의 픽셀 라인을 포함하는 제1인식 영역 및 상기 제2광 출력부에서 출력된 광의 반사광을 센싱하기 위한 제1개수보다 큰 제2개수의 픽셀 라인을 포함하는 제2인식 영역을 포함하고,
제1주기에 상기 제1광 출력부가 광을 출력하도록 제어하고,
제2주기에 상기 제2광 출력부가 광을 출력하도록 제어하고,
상기 제1광 출력부가 출력한 광의 반사광을 상기 카메라의 상기 제1인식 영역에서 센싱하여 2차원 정보를 획득하고, 상기 제2광 출력부가 출력한 광의 반사광을 상기 카메라의 상기 제2인식 영역에서 센싱하여 3차원 정보를 획득하되,
상기 카메라와 상기 오브젝트와의 거리가 기준 거리 이내인 경우, 상기 제1광 출력부를 비활성화하고,
상기 카메라와 상기 오브젝트와의 거리가 기준 거리보다 큰 경우, 상기 제2광 출력부를 비활성화하도록 설정된 전자 장치.
In an electronic device,
a first light output unit for outputting light on a plane including a traveling direction of light;
a second light output unit for outputting light at a predetermined vertical angle of view and a horizontal angle of view;
a camera including a pixel array, the camera for recognizing reflected light reflected by an object from the light output from the first light output unit and the second light output unit; and
including a processor;
The processor is
The camera includes a first recognition area including a first number of pixel lines for sensing the reflected light of the light output from the first light output unit, and a first number for sensing the reflected light of the light output from the second light output unit a second recognition area comprising a second greater number of pixel lines;
controlling the first light output unit to output light in a first period,
controlling the second light output unit to output light in a second period,
The reflected light of the light output by the first light output unit is sensed in the first recognition area of the camera to obtain two-dimensional information, and the reflected light of the light output by the second light output unit is sensed in the second recognition area of the camera to obtain 3D information,
When the distance between the camera and the object is within a reference distance, the first light output unit is deactivated,
An electronic device configured to deactivate the second light output unit when the distance between the camera and the object is greater than a reference distance.
상기 프로세서는,
제 1주기에 상기 제1광 출력부에서 광을 출력하고, 수신되는 반사광의 위상 변화를 분석하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정된 전자 장치.
The method of claim 1,
The processor is
An electronic device configured to output light from the first light output unit in a first period and measure a distance between the camera and the object by analyzing a phase change of received reflected light.
상기 프로세서는,
제 1주기에 상기 제1광 출력부에서 광을 출력한 시각부터, 상기 카메라가 반사광을 수신할 때까지의 시각을 측정하여 상기 카메라와 상기 오브젝트 사이의 거리를 측정하도록 설정된 전자 장치.
The method of claim 1,
The processor is
An electronic device configured to measure a distance between the camera and the object by measuring a time from when light is output from the first light output unit to when the camera receives reflected light in a first period.
상기 픽셀 어레이는,
상기 제 1 인식 영역과 상기 제 2 인식 영역은 서로 겹치거나 독립적으로 구성되는 전자 장치.The method of claim 1,
The pixel array is
The first recognition area and the second recognition area overlap each other or are configured independently.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200139388A KR102302424B1 (en) | 2020-10-26 | 2020-10-26 | Sensor device for detecting object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200139388A KR102302424B1 (en) | 2020-10-26 | 2020-10-26 | Sensor device for detecting object |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102302424B1 true KR102302424B1 (en) | 2021-09-16 |
Family
ID=77926659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200139388A KR102302424B1 (en) | 2020-10-26 | 2020-10-26 | Sensor device for detecting object |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102302424B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100716033B1 (en) * | 2005-09-29 | 2007-05-08 | 에프엠전자(주) | Sensing System in a Traveling Railway Vehicle for Sensing a Human Body or an Obstacle on a Railway Track |
KR20110085785A (en) * | 2010-01-21 | 2011-07-27 | 삼성전자주식회사 | Method of extractig depth information and optical apparatus employing the method |
KR101500162B1 (en) * | 2013-10-08 | 2015-03-06 | 현대자동차주식회사 | Braking Control System for Vehicle and Method thereof |
-
2020
- 2020-10-26 KR KR1020200139388A patent/KR102302424B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100716033B1 (en) * | 2005-09-29 | 2007-05-08 | 에프엠전자(주) | Sensing System in a Traveling Railway Vehicle for Sensing a Human Body or an Obstacle on a Railway Track |
KR20110085785A (en) * | 2010-01-21 | 2011-07-27 | 삼성전자주식회사 | Method of extractig depth information and optical apparatus employing the method |
KR101500162B1 (en) * | 2013-10-08 | 2015-03-06 | 현대자동차주식회사 | Braking Control System for Vehicle and Method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693115B2 (en) | Determining positional information of an object in space | |
US11328446B2 (en) | Combining light-field data with active depth data for depth map generation | |
US8330804B2 (en) | Scanned-beam depth mapping to 2D image | |
CN113538591A (en) | Calibration method and device for distance measuring device and camera fusion system | |
EP2706377A1 (en) | Object detection apparatus and method | |
CN110325879A (en) | System and method for compress three-dimensional depth sense | |
US11644543B2 (en) | LiDAR systems and methods that use a multi-facet mirror | |
EP3929626A1 (en) | Optical scanning probe and apparatus for generating three-dimensional data using the same | |
CN111458717A (en) | TOF depth measuring device and method and electronic equipment | |
JP2017156306A (en) | Distance sensor, travelling body and three-dimensional measurement device | |
CN112799080A (en) | Depth sensing device and method | |
CN112255639A (en) | Depth perception sensor and depth perception sensing module for region of interest | |
US11879979B2 (en) | Method and apparatus for dynamic reconfiguration of region of interest in integrated FMCW LIDAR | |
WO2019127977A1 (en) | Multi-line laser distance measuring apparatus and robot | |
KR102302424B1 (en) | Sensor device for detecting object | |
CN116520293B (en) | Laser radar detection method and device and laser radar | |
Portugal-Zambrano et al. | Robust range finder through a laser pointer and a webcam | |
KR102567502B1 (en) | Time of flight apparatus | |
US11796643B2 (en) | Adaptive LIDAR scanning methods | |
CN111510700A (en) | Image acquisition device | |
WO2022195954A1 (en) | Sensing system | |
CN212471510U (en) | Mobile robot | |
WO2022228461A1 (en) | Three-dimensional ultrasonic imaging method and system based on laser radar | |
CN112364741A (en) | Monocular remote obstacle detection method and device for unmanned aerial vehicle and unmanned aerial vehicle | |
KR102068929B1 (en) | 3d camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |