KR102111957B1 - Object realization device for avoiding collision - Google Patents

Object realization device for avoiding collision Download PDF

Info

Publication number
KR102111957B1
KR102111957B1 KR1020180036735A KR20180036735A KR102111957B1 KR 102111957 B1 KR102111957 B1 KR 102111957B1 KR 1020180036735 A KR1020180036735 A KR 1020180036735A KR 20180036735 A KR20180036735 A KR 20180036735A KR 102111957 B1 KR102111957 B1 KR 102111957B1
Authority
KR
South Korea
Prior art keywords
congestion
obstacle
signal
image pixel
distance
Prior art date
Application number
KR1020180036735A
Other languages
Korean (ko)
Other versions
KR20190119197A (en
Inventor
황태규
Original Assignee
주식회사 호서텔넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 호서텔넷 filed Critical 주식회사 호서텔넷
Priority to KR1020180036735A priority Critical patent/KR102111957B1/en
Publication of KR20190119197A publication Critical patent/KR20190119197A/en
Application granted granted Critical
Publication of KR102111957B1 publication Critical patent/KR102111957B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06K9/00201—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Ocean & Marine Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

사물 인식 장치가 개시된다. 상기 사물 인식 장치는 전방에 있는 사물을 촬영하여 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈과, 상기 사물로 제1 UWB 신호를 출력하고, 상기 사물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3 UWB 신호를 생성하는 UWB 모듈과, 상기 스테레오 스코픽 데이터를 이용하여 상기 사물의 제1정체를 판단하고, 상기 깊이 데이터를 이용하여 상기 사물 인식 장치와 상기 사물과의 제1거리를 계산하고, 상기 제3UWB 신호를 이용하여 상기 사물의 제2정체를 판단하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때 상기 제1정체를 상기 제2정체로 보정하고, 보정된 제2정체에 해당하는 판단 신호를 출력하는 CPU를 포함한다.An object recognition device is disclosed. The object recognition apparatus photographs an object in front and outputs a first UWB signal to the object, a camera module that generates stereoscopic data and depth data, and receives and processes a second UWB signal reflected from the object A UWB module generating a third UWB signal, and determining the first identity of the object using the stereoscopic data, and calculating the first distance between the object recognition device and the object using the depth data, Determine the second identity of the object using the 3UWB signal, determine whether the first identity and the second identity are the same, and determine the first identity when the first identity and the second identity are different. And a CPU that corrects the second congestion and outputs a determination signal corresponding to the corrected second congestion.

Description

충돌 회피를 위한 사물 인식 장치{OBJECT REALIZATION DEVICE FOR AVOIDING COLLISION} Object recognition device for collision avoidance {OBJECT REALIZATION DEVICE FOR AVOIDING COLLISION}

본 발명은 충돌 회피를 위한 사물 인식 장치에 관한 것으로, 특히 사물로부터 반사된 UWB(ultra wide band) 신호를 분석하고, 카메라의 사물 인식 능력을 상기 분석 결과에 따라 향상(또는 보완)할 수 있는 충돌 회피를 위한 사물 인식 장치와 이를 이용한 방법에 관한 것이다.The present invention relates to an object recognition device for collision avoidance, and in particular, analyzes an UWB (ultra wide band) signal reflected from an object and collides to improve (or supplement) object recognition capabilities of the camera according to the analysis result. An object recognition device for avoidance and a method using the same.

고성능 카메라는 사물 인식을 위해 사용된다. 사물 인식에 고성능 카메라를 이용하더라도, 배경의 색과 동일한 색을 갖는 사물이 존재할 때, 상기 고성능 카메라는 상기 사물을 정확하게 구별하지 못할 수 있다. 예컨대, 고성능 카메라를 이용하더라도, 흰색을 갖는 사물과 하늘을 구별하지 못하는 경우가 발생할 수 있다. High-performance cameras are used for object recognition. Even if a high-performance camera is used for object recognition, when an object having the same color as the background color exists, the high-performance camera may not accurately distinguish the object. For example, even if a high-performance camera is used, there may be a case in which it is not possible to distinguish an object having white from the sky.

등록특허공보: 등록번호 10-0893658 (2009년 04월 17일 공고)Registered Patent Publication: Registration No. 10-0893658 (announced April 17, 2009) 등록특허공보: 등록번호 10-1371714 (2014년 03월 07일 공고)Registered Patent Publication: Registration No. 10-1371714 (announced on March 7, 2014)

본 발명이 이루고자 하는 기술적인 과제는, 듀얼 카메라를 이용하여 전방에 존재하는 사물의 제1정체를 1차적으로 판단하고, 상기 사물로부터 반사되는 UWB 신호를 이용하여 상기 사물의 제2정체를 2차적으로 판단하고, 인공 지능을 이용하여 1차적 판단 결과와 2차적 판단 결과를 분석하고, 상기 2차적 판단 결과를 이용하여 상기 1차적 판단 결과의 에러를 보완할 수 있는 충돌 회피를 위한 사물 인식 장치를 제공하는 것이다.The technical problem to be achieved by the present invention is to primarily determine the first congestion of an object present in front of the object using a dual camera, and to secondly identify the second congestion of the object using a UWB signal reflected from the object. , And analyzes the primary and secondary judgment results using artificial intelligence, and an object recognition device for collision avoidance that can compensate for errors in the primary judgment results using the secondary judgment results. Is to provide.

본 발명의 실시 예에 따른 사물 인식 장치는 전방에 있는 사물을 촬영하여 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈과, 상기 사물로 제1 UWB 신호를 출력하고, 상기 사물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3 UWB 신호를 생성하는 UWB 모듈과, 상기 스테레오 스코픽 데이터를 이용하여 상기 사물의 제1정체를 판단하고, 상기 깊이 데이터를 이용하여 상기 사물 인식 장치와 상기 사물과의 제1거리를 계산하고, 상기 제3UWB 신호를 이용하여 상기 사물의 제2정체를 판단하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때 상기 제1정체를 상기 제2정체로 보정하고, 보정된 제2정체에 해당하는 판단 신호를 출력하는 CPU를 포함한다.The object recognition apparatus according to an embodiment of the present invention captures an object in front and generates a stereoscopic data and depth data, a camera module, and outputs a first UWB signal to the object, and a second UWB reflected from the object A UWB module that receives and processes a signal to generate a third UWB signal, and determines the first identity of the object using the stereoscopic data, and uses the depth data to remove the object recognition device from the object. Calculate one distance, determine the second identity of the object using the 3UWB signal, determine whether the first identity and the second identity are the same, and the first identity and the second identity are different from each other And a CPU that corrects the first congestion to the second congestion and outputs a determination signal corresponding to the corrected second congestion.

본 발명의 실시 예에 따른 충돌 방지 시스템은 상기 충돌 방지 시스템의 전방에 있는 장애물을 촬영하여 상기 장애물에 대한 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈과, 상기 장애물로 제1 UWB 신호를 출력하고, 상기 장애물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3UWB 신호를 생성하는 UWB 모듈과, 상기 스테레오 스코픽 데이터, 상기 깊이 데이터, 및 상기 제3 UWB 신호를 수신하고, 상기 스테레오 스코픽 데이터를 이용하여 상기 장애물의 제1정체를 판단하고, 상기 깊이 데이터를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제1거리를 계산하고, 상기 제3 UWB 신호를 이용하여 상기 장애물의 제2정체를 판단하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때 상기 제1정체를 상기 제2정체로 보정하고 보정된 제2정체에 해당하는 판단 신호를 출력하는 CPU와, 상기 판단 신호에 기초하여 상기 장애물과의 충돌 가능성을 판단하고, 상기 장애물과 충돌 가능성이 있을 때 충돌 회피를 위한 제어 신호를 생성하는 충돌 방지 제어 회로를 포함한다.The collision avoidance system according to an embodiment of the present invention outputs a first UWB signal to the obstacle and a camera module that generates stereoscopic data and depth data for the obstacle by photographing an obstacle in front of the collision avoidance system and , UWB module that receives and processes the second UWB signal reflected from the obstacle to generate a third UWB signal, and receives the stereoscopic data, the depth data, and the third UWB signal, and uses the stereoscopic data To determine the first congestion of the obstacle, calculate the first distance between the collision prevention system and the obstacle using the depth data, and determine the second congestion of the obstacle using the third UWB signal , It is determined whether the first congestion and the second congestion are the same, and when the first congestion and the second congestion are different from each other, the A CPU for correcting a first congestion with the second congestion and outputting a determination signal corresponding to the corrected second congestion, and determining a possibility of collision with the obstacle based on the determination signal, and possibly having a collision with the obstacle And an anti-collision control circuit that generates control signals for collision avoidance.

본 발명의 실시 예에 따른 충돌 방지 시스템은 상기 충돌 방지 시스템의 전방에 있는 장애물을 촬영하여 상기 장애물에 대한 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈과, 상기 장애물로 제1 UWB 신호를 출력하고, 상기 장애물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3UWB 신호를 생성하는 UWB 모듈과, 상기 스테레오 스코픽 데이터, 상기 깊이 데이터, 및 상기 제3 UWB 신호를 수신하고, 상기 스테레오 스코픽 데이터를 이용하여 상기 장애물의 제1정체를 판단하고, 상기 깊이 데이터를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제1거리를 계산하고, 상기 제3 UWB 신호를 이용하여 상기 장애물의 제2정체를 판단하고, 상기 제3UWB 신호를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제2거리를 계산하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때 상기 제1거리와 상기 제2거리 중에서 적어도 하나에 기초하여 활성화된 판단 신호를 출력하는 CPU와, 상기 활성화된 판단 신호에 기초하여 상기 충돌 방지 시스템과 상기 장애물과의 충돌을 회피하기 위한 제어 신호를 생성하는 충돌 방지 제어 회로를 포함한다.The collision avoidance system according to an embodiment of the present invention outputs a first UWB signal to the obstacle and a camera module that generates stereoscopic data and depth data for the obstacle by photographing an obstacle in front of the collision avoidance system and , UWB module that receives and processes the second UWB signal reflected from the obstacle to generate a third UWB signal, and receives the stereoscopic data, the depth data, and the third UWB signal, and uses the stereoscopic data To determine the first congestion of the obstacle, calculate the first distance between the collision prevention system and the obstacle using the depth data, and determine the second congestion of the obstacle using the third UWB signal , Calculate a second distance between the collision prevention system and the obstacle using the 3UWB signal, and the first tablet And a CPU that determines whether and the second congestion is the same, and outputs an determination signal activated based on at least one of the first distance and the second distance when the first congestion and the second congestion are different from each other. And a collision prevention control circuit that generates a control signal for avoiding collision between the collision prevention system and the obstacle based on the activated determination signal.

본 발명의 실시 예에 따른 충돌 회피를 위한 사물 인식 장치는 듀얼 카메라를 이용하여 전방에 존재하는 사물의 제1정체를 1차적으로 판단하고, 상기 사물로부터 반사되는 UWB 신호를 이용하여 상기 사물의 제2정체를 2차적으로 판단하고, 인공 지능을 이용하여 1차적 판단 결과와 2차적 판단 결과를 분석하고, 상기 2차적 판단 결과를 이용하여 상기 1차적 판단 결과의 에러를 보완할 수 있는 효과가 있다.The object recognition device for collision avoidance according to an embodiment of the present invention primarily determines a first identity of an object in front using a dual camera and uses the UWB signal reflected from the object to remove the object. It has the effect of determining the second identity secondarily, analyzing the primary judgment result and the secondary judgment result using artificial intelligence, and compensating for errors in the primary judgment result using the secondary judgment result. .

상기 사물 인식 장치는 레이더 대신에 UWB 신호를 출력하는 UWB 모듈을 포함하므로, 상기 사물 인식 장치의 전력 소모를 줄이고 상기 사물 인식 장치를 경박단소하게 제조할 수 있는 효과가 있다.Since the object recognition device includes a UWB module that outputs a UWB signal instead of a radar, there is an effect of reducing power consumption of the object recognition device and manufacturing the object recognition device lightly and compactly.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 사물 인식 장치의 블록도이다.
도 2는 도 1의 사물 인식 장치의 CPU에 포함된 인공 지능 모듈의 작동을 설명하기 위한 플로우 차트이다.
도 3은 도 1에 도시된 카메라 모듈의 실시 예를 나타낸다.
도 4는 도 1에 도시된 카메라 모듈의 다른 실시 예를 나타낸다.
도 5는 도 3 또는 도 4에 도시된 신호 처리 회로가 깊이 데이터를 생성하는 과정을 설명하기 위한 표이다.In order to better understand the drawings cited in the detailed description of the present invention, detailed description of each drawing is provided.
1 is a block diagram of an object recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a flow chart for explaining the operation of the artificial intelligence module included in the CPU of the object recognition device of FIG. 1.
FIG. 3 shows an embodiment of the camera module illustrated in FIG. 1.
4 shows another embodiment of the camera module illustrated in FIG. 1.
FIG. 5 is a table for explaining a process in which the signal processing circuit shown in FIG. 3 or 4 generates depth data.

도 1은 본 발명의 실시 예에 따른 사물 인식 장치의 블록도이다. 도 1을 참조하면, 충돌 회피(또는 충돌 방지)를 위한 사물 인식 장치 (또는 충돌 방지 시스템; 100)은 카메라 모듈(110), UWB(ultra wide band) 모듈(150), CPU(central processing unit; 170), 충돌 방지 제어 회로(180), 액추에이터(185), 및 배터리 (190)를 포함한다. 사물 인식 장치 (또는 충돌 방지 시스템; 100)은 표시 장치 (187)를 더 포함할 수 있고, 표시 장치(187)는 스피커 또는 디스플레이 장치일 수 있다.1 is a block diagram of an object recognition apparatus according to an embodiment of the present invention. Referring to FIG. 1, an object recognition device (or a collision prevention system; 100) for collision avoidance (or collision avoidance) includes a camera module 110, an ultra wide band (UWB) module 150, and a central processing unit (CPU); 170), an anti-collision control circuit 180, an actuator 185, and a battery 190. The object recognition device (or anti-collision system) 100 may further include a display device 187, and the display device 187 may be a speaker or a display device.

배터리(190)는 각 구성 요소(110, 150, 170, 180, 및 185, 실시 예에 따라 187을 더 포함)의 작동에 필요한 작동 전압을 생성할 수 있다. The battery 190 may generate an operating voltage required for the operation of each component (110, 150, 170, 180, and 185, further including 187 according to an embodiment).

충돌 회피 (또는 충돌 방지)를 위한 사물 인식 장치(100)는 차량, 선박, 무인 비행기, 또는 드론일 수 있으나 이에 한정되는 것은 아니다.The object recognition device 100 for collision avoidance (or collision avoidance) may be a vehicle, a ship, a drone, or a drone, but is not limited thereto.

카메라 모듈(110)은 움직일 수 있는 사물 인식 장치(100)의 전방에 있는 (또는 위치하는) 사물(130)을 촬영(또는 캡쳐)하여 스테레오 스코픽 데이터(또는 3차원 입체 영상 데이터; SDATA)와 깊이 데이터(또는 거리 데이터; DDATA)를 생성한다. 카메라 모듈(110)은 도 3과 도 4를 참조하여 설명될 하드웨어들을 포함한다. 스테레오 스코픽 데이터(SDATA)는 카메라 모듈(110)에 포함된 픽셀들 각각의 좌표 정보와 상기 픽셀들 각각에 의해 생성된 픽셀 신호에 해당하는 컬러 데이터를 포함한다.The camera module 110 photographs (or captures) the object 130 located in front of the movable object recognition device 100 (or is located), thereby stereoscopic data (or 3D stereoscopic image data; SDATA) and depth. Data (or distance data; DDATA) is generated. The camera module 110 includes hardware to be described with reference to FIGS. 3 and 4. The stereoscopic data SDATA includes coordinate information of each pixel included in the camera module 110 and color data corresponding to a pixel signal generated by each of the pixels.

사물(130)은 정지해 있는 사물 또는 움직이는 사물을 포함하고, 사물(130)은 물체 또는 동물(사람을 포함)을 의미하고, 사물(130)은 하나의 사물 또는 복수의 사물들을 총칭한다. 경우에 따라 사물(130)은 장애물이라고 불릴 수 있다.The object 130 includes a stationary object or a moving object, the object 130 means an object or an animal (including a person), and the object 130 collectively refers to one object or a plurality of objects. In some cases, the object 130 may be called an obstacle.

UWB 모듈(150)은 사물(130)로 제1 UWB 신호(UWB1)를 출력하고, 사물(130)로부터 반사된 제2 UWB 신호(UWB2)를 수신하고, 제2 UWB 신호(UWB2)를 처리(예컨대, 제2 UWB 신호(UWB2)가 수신되는지의 여부)하여 제3 UWB 신호(UWB3)를 생성하는 하드웨어를 의미한다. 사물(130)이 존재할 때, 제2 UWB 신호(UWB2)는 수신된다. 그러나 사물(130)이 존재하지 않을 때 제2 UWB 신호(UWB2)는 수신되지 않는다.The UWB module 150 outputs the first UWB signal UWB1 to the object 130, receives the second UWB signal UWB2 reflected from the object 130, and processes the second UWB signal UWB2 ( For example, it means hardware that generates the third UWB signal UWB3 by performing the second UWB signal UWB2. When the object 130 is present, the second UWB signal UWB2 is received. However, when the object 130 does not exist, the second UWB signal UWB2 is not received.

본 명세서에는 각 UWB 신호(UWB1, UWB2, 및 UWB3)로 표현되어 있으나, 각 UWB 신호(UWB1, UWB2, 및 UWB3)는 하나의 신호뿐만 아니라 복수의 신호들까지 총칭한다. 상기 복수의 신호들은 연속적으로 출력될 수 있다.Although each UWB signal (UWB1, UWB2, and UWB3) is expressed in this specification, each UWB signal (UWB1, UWB2, and UWB3) collectively refers to a plurality of signals as well as one signal. The plurality of signals may be continuously output.

사물 인식을 위해 종래에 사용된 레이더는 먼 거리에 있는 사물까지 판단할 수 있으나, 상기 레이더는 많은 전력을 소모하고 소형의 시스템에는 적용되기 어렵다.The radar used in the prior art for object recognition can determine objects at a long distance, but the radar consumes a lot of power and is difficult to apply to a small system.

본 발명에 따른 사물 인식 장치(100)는 레이더의 단점들을 보완하기 위해 상기 레이더 대신에 UWB 모듈(150)을 포함한다. UWB 모듈(150)은 전방의 사물(130)로부터 반사된 UWB 신호(UWB2)에 기초하여 상기 전방에 사물(130)이 있는지를 정확하게 판단할 수 있고, 사물(130)의 움직임까지 판단할 수 있을 뿐만 아니라 레이더에 비해 전력 소모가 작아서 사물 인식 장치(100)에 포함된 배터리(190)로부터 출력된 작동 전압을 이용하여 작동할 수 있다.The object recognition apparatus 100 according to the present invention includes a UWB module 150 instead of the radar to compensate for the disadvantages of the radar. The UWB module 150 can accurately determine whether there is an object 130 in the front or the motion of the object 130 based on the UWB signal UWB2 reflected from the object 130 in the front. In addition, the power consumption is smaller than that of the radar, so it can operate using the operating voltage output from the battery 190 included in the object recognition device 100.

도 2는 도 1의 사물 인식 장치의 CPU에 포함된 인공 지능 모듈의 작동을 설명하기 위한 플로우 차트이다. 도 1과 도 2를 참조하면, CPU(170)는 스테레오 스코픽 데이터(SDATA), 깊이 데이터(DDATA), 및 제3 UWB 신호(UWB3)를 수신하고, 스테레오 스코픽 데이터(SDATA)를 이용하여 사물(130)의 제1정체를 판단하고(S110), 깊이 데이터(DDATA)를 이용하여 사물 인식 장치(100)와 사물(130)과의 제1거리(D1)를 계산하고(S120), 제3 UWB 신호(UWB3)를 이용하여 사물(130)의 제2정체를 판단한다 (S130). 실시 예에 따라, CPU(170)는 제3 UWB 신호(UWB3)를 이용하여 사물 인식 장치(100)와 사물(130)과의 제2거리(D2)를 계산할 수 있다(S130).FIG. 2 is a flow chart for explaining the operation of the artificial intelligence module included in the CPU of the object recognition device of FIG. 1. 1 and 2, the CPU 170 receives stereoscopic data (SDATA), depth data (DDATA), and a third UWB signal (UWB3), and uses stereoscopic data (SDATA) as objects ( The first identity of 130 is determined (S110), the first distance D1 between the object recognition device 100 and the object 130 is calculated using depth data DDATA (S120), and the third UWB The second identity of the object 130 is determined using the signal UWB3 (S130). According to an embodiment, the CPU 170 may calculate a second distance D2 between the object recognition device 100 and the object 130 using the third UWB signal UWB3 (S130).

예컨대, CPU(170)는 제1UWB 신호(UWB1)의 송신 시각과 제3UWB 신호(UWB3)의 수신 시각의 차이를 이용하여 제2거리(D2)를 계산할 수 있다. 또한, 실시 예들에 따라, CPU(170)는 제3UWB 신호(UWB3)의 파형을 학습하고, 학습 결과에 따라 사물 (130)의 재질(예를 들면, 콘크리트, 금속, 또는 나무)을 판단할 수 있다. 실시 예들에 따라, CPU(170)는 학습된 기준 UWB 파형들(예컨대, CPU(170)에 의해 액세스 가능한 메모리 장치에 저장되어 있을 수 있음)을 참조하여 제3UWB 신호(UWB3)의 파형을 분석하고, 분석 결과에 따라 사물(130)의 재질을 판단할 수 있다. CPU(170)는 구성 요소들(110, 150, 180, 185, 187, 및/또는 190)의 작동을 제어할 수 있는 컨트롤러를 총칭한다.For example, the CPU 170 may calculate the second distance D2 using the difference between the transmission time of the first UWB signal UWB1 and the reception time of the third UWB signal UWB3. Further, according to embodiments, the CPU 170 may learn the waveform of the 3UWB signal UWB3 and determine the material (eg, concrete, metal, or wood) of the object 130 according to the learning result. have. According to embodiments, the CPU 170 analyzes the waveform of the third UWB signal UWB3 with reference to the learned reference UWB waveforms (eg, may be stored in a memory device accessible by the CPU 170) , The material of the object 130 may be determined according to the analysis result. The CPU 170 collectively refers to a controller capable of controlling the operation of the components 110, 150, 180, 185, 187, and / or 190.

CPU(170)는 상기 제1정체와 상기 제2정체가 동일한지를 판단하고(S140), 상기 제1정체와 상기 제2정체가 동일할 때(S140의 YES) 1차적 분석이 정확하다고 판단한다(S145).The CPU 170 determines whether the first congestion and the second congestion are the same (S140), and determines that the primary analysis is correct when the first congestion and the second congestion are the same (YES in S140) ( S145).

그러나 상기 제1정체와 상기 제2정체가 서로 동일하지 않을 때(S140의 NO), 1차적 분석에 에러가 있다고 판단하고, 상기 제1정체를 상기 제2정체로 보정한다 (S150).However, when the first congestion and the second congestion are not the same (NO in S140), it is determined that there is an error in the primary analysis, and the first congestion is corrected to the second congestion (S150).

여기서 제1정체는 전방에 사물(130)이 있는지 여부, 사물(130)의 3차원 형상, 사물(130)의 컬러(또는 컬러들), 및/또는 사물(130)의 움직임과 속도를 의미한다.Here, the first congestion means whether there is an object 130 in the front, a three-dimensional shape of the object 130, a color (or colors) of the object 130, and / or a movement and speed of the object 130 .

제1거리(D1)는 사물 인식 장치(100)와 사물(130)이 얼마만큼 떨어져 있는지를 나타낸다. 즉, CPU(170)는 스테레오 스코픽 데이터(SDATA)와 깊이 데이터 (DDATA)를 이용하여 전방에 있는 사물(130)을 구별하고, 사물(130)의 움직임을 분석한다. 이를 "1차적 분석"이라 한다.The first distance D1 represents how far apart the object recognition device 100 and the object 130 are. That is, the CPU 170 distinguishes the object 130 in front using the stereoscopic data SDATA and the depth data DDATA, and analyzes the movement of the object 130. This is called "primary analysis".

1차적인 분석과 순차적으로 또는 병렬적으로, CPU(170)는 제2 UWB 신호 (UWB2)에 관련된(또는 제2 UWB 신호(UWB2)에 기초하여 생성된) 제3 UWB 신호 (UWB3)를 이용하여 사물(130)의 제2정체를 판단(또는 분석)한다. 이를 "2차적 분석"이라 한다. 여기서 제2정체는 전방에 사물(130)이 있는지 여부, 사물 인식 장치 (100)와 사물(130)과의 제2거리(D2), 및/또는 사물(130)의 움직임과 속도를 의미한다.In sequence or in parallel with the primary analysis, the CPU 170 uses a third UWB signal (UWB3) related to (or generated based on the second UWB signal UWB2) the second UWB signal UWB2. To determine (or analyze) the second identity of the object 130. This is called "secondary analysis". Here, the second congestion means whether there is an object 130 in the front, a second distance D2 between the object recognition device 100 and the object 130, and / or movement and speed of the object 130.

CPU(170)는 상기 제1정체와 상기 제2정체가 동일한지를 판단하고(S140), 상기 제1정체와 상기 제2정체가 동일할 때(S140의 YES) 1차적 분석이 정확함을 나타내는 판단 신호(DTS)를 출력한다. 판단 신호(DTS)는 복수의 비트들을 포함하는 디지털 신호들일 수 있다.The CPU 170 determines whether the first congestion and the second congestion are the same (S140), and when the first congestion and the second congestion are the same (YES in S140), a determination signal indicating that the primary analysis is correct (DTS) is output. The determination signal DTS may be digital signals including a plurality of bits.

예컨대, 상기 제1정체와 상기 제2정체 각각이 전방에 사물(130)이 "있음"을 의미할 때, CPU(170)는 단계(S170)를 수행하고, 상기 제1정체와 상기 제2정체 각각이 전방에 사물(130)이 "없음"을 의미할 때, CPU(170)는 단계(S110)를 수행하기 위해 대기한다.For example, when each of the first congestion and the second congestion means that there is an object 130 in front, the CPU 170 performs step S170, and the first congestion and the second congestion When each of the objects 130 in the front means "none", the CPU 170 waits to perform step S110.

CPU(170)는 그 안에 포함된(또는 내장된) 인공 지능 모듈(172)을 이용하여 1차적 분석과 2차적 분석을 순차적으로 또는 병렬적으로 수행한다. 본 명세서에서는 1차적 분석이 수행된 후 2차적 분석이 수행되는 실시 예를 설명하고 있으나, 실시 예들에 따라 상기 2차적 분석이 먼저 수행된 후 상기 1차적 분석이 수행될 수 있다.The CPU 170 performs the primary analysis and the secondary analysis sequentially or in parallel using the artificial intelligence module 172 included therein (or embedded). Although the present specification describes an embodiment in which the secondary analysis is performed after the primary analysis is performed, the secondary analysis may be performed first and then the primary analysis may be performed according to embodiments.

CPU(170)의 인공 지능 모듈(172)은 이미지 분석 알고리즘(172-1)을 이용해 1차적 분석을 수행하고, 제3 UWB 신호(UWB3)를 이용하는 UWB3 분석 알고리즘(172-3)을 이용해 2차적 분석을 수행하고, 인공 지능(AI) 정보수집 알고리즘(172-5)을 이용하여 상기 1차적 분석과 상기 2차적 분석을 통해 필요한 정보를 수집하고, 충돌 회피 알고리즘(172-7)을 이용해 충돌 회피를 위한 판단 신호(DTS)를 출력한다.The artificial intelligence module 172 of the CPU 170 performs primary analysis using the image analysis algorithm 172-1, and secondary using the UWB3 analysis algorithm 172-3 using the third UWB signal UWB3. Perform analysis, collect necessary information through the primary analysis and the secondary analysis using artificial intelligence (AI) information collection algorithm 172-5, and avoid collision using collision avoidance algorithm 172-7 The determination signal DTS for output is output.

각 알고리즘은 컴퓨터 프로그램으로 작성되고 CPU(170)에 의해 실행될 수 있다. 상기 1차적 분석과 상기 2차적 분석을 수행할 수 있는 인공 지능 모듈(172)은 하드웨어 또는 상기 하드웨어에 의해 실행되는 컴퓨터 프로그램으로 작성되고 CPU (170)에 의해 실행될 수 있다. Each algorithm can be written in a computer program and executed by the CPU 170. The artificial intelligence module 172 capable of performing the primary analysis and the secondary analysis may be written in hardware or a computer program executed by the hardware and executed by the CPU 170.

CPU(170)의 인공 지능 모듈(172)은, 학습 가능한 인공 지능을 이용해, 카메라 모듈(110)로부터 출력된 데이터(SDATA와 DDATA)를 수집하고 분석하고(즉, 데이터(SDATA와 DDATA)에 해당하는 영상을 스스로 학습하고), 분석(또는 학습) 결과에 따라 사물(130)을 식별하고 사물(130)의 움직임을 판단할 수 있다.The artificial intelligence module 172 of the CPU 170 collects and analyzes data SDATA and DDATA output from the camera module 110 using the learnable artificial intelligence (ie, corresponds to the data SDATA and DDATA). You can learn the images by yourself), identify the objects 130 according to the analysis (or learning) results, and determine the movement of the objects 130.

CPU(170)의 인공 지능 모듈(172)은, 사물(130)의 식별과 사물(130)의 움직임에 대한 판단 오류를 제거하기 위해, 제3 UWB 신호(UWB3)를 이용하여 사물(130)의 제2정체를 다시 판단하고, 카메라 모듈(110)로부터 출력된 데이터(SDATA와 DDATA)에 기초하여 판단된 제1정체와, UWB 모듈(150)로부터 출력된 제3 UWB 신호(UWB3)에 기초하여 판단된 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 동일하지 않을 때(S140의 NO), 상기 제1정체를 상기 제2정체로 보정하고, 보정된 제2정체에 해당하는 판단 신호(DTS)를 출력한다.The artificial intelligence module 172 of the CPU 170 uses the third UWB signal UWB3 to remove the error of the identification of the object 130 and the determination of the movement of the object 130. The second congestion is determined again, and the first congestion determined based on the data SDATA and DDATA output from the camera module 110 and the third UWB signal UWB3 output from the UWB module 150. When it is determined whether the determined second congestion is the same, and when the first congestion and the second congestion are not the same (NO in S140), the first congestion is corrected to the second congestion, and the corrected second congestion The determination signal DTS corresponding to is output.

예를 들면, 사물(130)이 "흰색 트럭"이고 사물(130) 주위의 배경이 "하늘"일 때, CPU(170)의 인공 지능 모듈(172)은 카메라 모듈(210)로부터 출력된 데이터 (SDATA와 DDATA)에 기초하여 사물(130)의 제1정체로서 전방에 사물(130)이 "없음"으로 판단하고, UWB 모듈(150)로부터 출력된 제3 UWB 신호(UWB3)에 기초하여 사물 (130)의 제2정체로서 전방에 사물(130)이 "있음"으로 판단한다고 가정한다(S140의 NO).For example, when the object 130 is a "white truck" and the background around the object 130 is "the sky," the artificial intelligence module 172 of the CPU 170 outputs the data output from the camera module 210 ( Based on the SDATA and DDATA), it is determined that the object 130 is "none" in the front as the first identity of the object 130, and the object is based on the third UWB signal UWB3 output from the UWB module 150 ( Assume that it is determined that the object 130 is "in front" as the second congestion of 130 (NO in S140).

따라서 CPU(170)의 인공 지능 모듈(172)은 상기 제1정체와 상기 제2정체가 다름에 따라 상기 제1정체(예컨대, 사물(130)이 "없음")를 상기 제2정체(예컨대, 사물(130)이 "있음")로 보정하고(S150), 보정된 제2정체에 따라 전방에 사물(130)이 "있음"을 지시하는 판단 신호(DTS)를 출력한다.Therefore, the artificial intelligence module 172 of the CPU 170, the first congestion (for example, the object 130 is "none") as the first congestion and the second congestion are different from the second congestion (eg, The object 130 is corrected to "Yes" (S150), and a determination signal DTS indicating that the object 130 is "Yes" is output according to the corrected second identity.

이 경우, CPU(170)의 인공 지능 모듈(172)은 1차적 분석의 에러(예를 들면, 전방에 사물(130)이 있는데도 불구하고 "없음"으로 판단한 에러)를 2차적 분석의 결과(예를 들면, 전방에 사물(130)이 "있음")에 기초하여 상기 제1정체를 상기 제2정체로 보정 또는 보완할 수 있다.In this case, the artificial intelligence module 172 of the CPU 170 analyzes the primary analysis error (for example, an error determined as "none" despite the presence of the object 130 in the front) as a result of the secondary analysis (eg For example, the first congestion may be corrected or supplemented with the second congestion based on the object 130 in the front.

또한, CPU(170)의 인공 지능 모듈(172)은 카메라 모듈(210)로부터 출력된 데이터(SDATA와 DDATA)에 기초하여 사물(130)의 제1정체로서 전방에 사물(130)이 "있음"으로 판단하고, UWB 모듈(150)로부터 출력된 제3 UWB 신호(UWB3)에 기초하여 사물(130)의 제2정체로서 전방에 사물(130)이 "없음"으로 판단한다고 가정한다. In addition, the artificial intelligence module 172 of the CPU 170 is the first congestion of the object 130 based on the data SDATA and DDATA output from the camera module 210, and the object 130 is "in front". It is assumed that the object 130 is determined to be "none" as the second congestion of the object 130 based on the third UWB signal UWB3 output from the UWB module 150.

따라서 CPU(170)의 인공 지능 모듈(172)은 상기 제1정체와 상기 제2정체가 다름에 따라 상기 제1정체(예컨대, 사물(130)이 "있음")를 상기 제2정체(예컨대, 사물(130)이 "없음")로 보정하고(S150), 보정된 제2정체에 따라 전방에 사물(130)이 "없음"을 지시하는 판단 신호(DTS)를 출력한다.Therefore, the artificial intelligence module 172 of the CPU 170, the first congestion (e.g., the object 130 "is") according to the difference between the first congestion and the second congestion, the second congestion (eg, The object 130 is corrected to "none" (S150), and according to the corrected second identity, the object 130 outputs a determination signal DTS indicating "none".

이 경우, CPU(170)의 인공 지능 모듈(172)은 1차적 분석의 에러(예를 들면, 전방에 사물(130)이 없는데도 불구하고 "있음"으로 판단한 에러)를 2차적 분석의 결과(예를 들면, 전방에 사물(130)이 "없음")에 기초하여 상기 제1정체를 상기 제2정체로 보정 또는 보완할 수 있다.In this case, the artificial intelligence module 172 of the CPU 170 determines the error of the primary analysis (for example, an error judged to be "in spite of the absence of the object 130 in the front") as a result of the secondary analysis (eg For example, the first congestion may be corrected or supplemented with the second congestion based on the object 130 having “no” in the front.

CPU(170)의 인공 지능 모듈(172)은 단계들(S120과 S130)에서 계산된 제1거리 (D1)와 제2거리(D2) 중에서 적어도 하나와 기준 거리(Dref)를 비교한다(S155).The artificial intelligence module 172 of the CPU 170 compares at least one of the first distance D1 and the second distance D2 calculated in steps S120 and S130 with a reference distance Dref (S155). .

제1거리(D1)와 제2거리(D2) 중에서 적어도 하나가 기준 거리(Dref)보다 작거나 짧으면(S155의 YES), 사물 인식 장치(100)로부터 멀지 않은 거리에 사물(130)이 존재함을 의미하므로, CPU(170)의 인공 지능 모듈(172)은 충돌 회피 제어를 위한 판단 신호(DTS)를 충돌 방지 제어 회로(180)로 출력한다(S170).If at least one of the first distance D1 and the second distance D2 is less than or shorter than the reference distance Dref (YES in S155), the object 130 exists at a distance not far from the object recognition device 100. Because it means, the artificial intelligence module 172 of the CPU 170 outputs a determination signal DTS for collision avoidance control to the collision prevention control circuit 180 (S170).

충돌 방지 제어 회로(180)는 판단 신호(DTS)에 기초하여 제어 신호(CTR)를 생성하고, 제어 신호(CTR)를 액추에이터(185)로 전송한다. 액추에이터(185)는 브레이크, 핸들, 엔진, 방행타, 프로펠러, 또는 날개를 제어할 수 있는 제어 장치를 의미한다.The collision avoidance control circuit 180 generates a control signal CTR based on the determination signal DTS, and transmits the control signal CTR to the actuator 185. The actuator 185 means a control device capable of controlling a brake, a handle, an engine, a rudder, a propeller, or a wing.

사물 인식 장치(또는 충돌 방지 시스템; 100)가 차량일 때, 액추에이터(185)는 상기 차량의 속도 및/또는 진행 방향을 조절할 수 있는 브레이크 및/핸들일 수 있으나 이에 한정되는 것은 아니다.When the object recognition device (or collision avoidance system; 100) is a vehicle, the actuator 185 may be a brake and / or a steering wheel that can adjust the speed and / or the traveling direction of the vehicle, but is not limited thereto.

사물 인식 장치(또는 충돌 방지 시스템; 100)가 선박일 때, 액추에이터(185)는 상기 선박의 속도 및/또는 진행 방향을 조절할 수 있는 엔진, 방행타, 및/또는 프로펠러일 수 있으나 이에 한정되는 것은 아니다.When the object recognition device (or collision avoidance system) 100 is a ship, the actuator 185 may be an engine, a rudder, and / or a propeller capable of adjusting the speed and / or direction of travel of the ship, but is not limited thereto. no.

사물 인식 장치(또는 충돌 방지 시스템; 100)가 드론일 때, 액추에이터(185)는 상기 드론의 속도 및/또는 진행 방향을 조절할 수 있는 엔진, 및/또는 프로펠러일 수 있으나 이에 한정되는 것은 아니다.When the object recognition device (or collision avoidance system) 100 is a drone, the actuator 185 may be an engine and / or a propeller capable of adjusting the speed and / or direction of the drone, but is not limited thereto.

제1거리(D1)와 제2거리(D2) 중에서 적어도 하나가 기준 거리(Dref)보다 작거나 짧지 않으면(S155의 NO), 사물 인식 장치(100)로부터 먼 거리에 사물(130)이 존재함을 의미하므로, CPU(170)의 인공 지능 모듈(172)은 표시 장치(187), 예컨대 디스플레이 장치 또는 스피커를 통해 주의 메시지를 출력할 수 있다(S160). CPU(170)의 인공 지능 모듈(172)은 단계(S155)를 지속적으로 수행한다.If at least one of the first distance D1 and the second distance D2 is not smaller than or shorter than the reference distance Dref (NO in S155), the object 130 exists at a distance from the object recognition device 100 Because it means, the artificial intelligence module 172 of the CPU 170 may output a caution message through the display device 187, for example, a display device or a speaker (S160). The artificial intelligence module 172 of the CPU 170 continuously performs step S155.

도 3은 도 1에 도시된 카메라 모듈의 실시 예를 나타낸다. 도 1부터 도 3을 참조하면, 도 1에 도시된 카메라 모듈(110)의 실시 예에 따른 카메라 모듈(110A)은 3차원 이미지 데이터를 생성하기 위한 듀얼 카메라(112와 114)와 신호 처리 회로 (116)를 포함한다.FIG. 3 shows an embodiment of the camera module illustrated in FIG. 1. 1 to 3, the camera module 110A according to the embodiment of the camera module 110 shown in FIG. 1 includes dual cameras 112 and 114 and a signal processing circuit for generating 3D image data ( 116).

제1카메라(112)는 사물(130)을 촬영하여 왼쪽 이미지 픽셀 신호들(LIPS)을 출력하고, 제2카메라(114)는 사물(130)을 촬영하여 오른쪽 이미지 픽셀 신호들 (RIPS)을 출력한다.The first camera 112 photographs the object 130 and outputs left image pixel signals (LIPS), and the second camera 114 photographs the object 130 and outputs right image pixel signals (RIPS). do.

신호 처리 회로(116)는 컬러 신호 처리 회로(116-1), 깊이 신호 처리 회로(116-2), 및 동기 회로(116-3)를 포함한다. The signal processing circuit 116 includes a color signal processing circuit 116-1, a depth signal processing circuit 116-2, and a synchronization circuit 116-3.

컬러 신호 처리 회로(116-1)는 제1카메라(112)로부터 출력된 왼쪽 이미지 픽셀 신호들(LIPS)과 제2카메라(114)로부터 출력된 오른쪽 이미지 픽셀 신호들(RIPS)을 이용하여 스테레오 스코픽 데이터(SDATA)를 생성한다.The color signal processing circuit 116-1 uses stereoscopic images using the left image pixel signals LIPS output from the first camera 112 and the right image pixel signals RIPS output from the second camera 114. Create data (SDATA).

깊이 신호 처리 회로(116-2)는 왼쪽 이미지 픽셀 신호들(LIPS)과 오른쪽 이미지 픽셀 신호들(RIPS)과의 디스패리티(disparity)를 계산하여 깊이 데이터 (DDATA)를 생성한다.The depth signal processing circuit 116-2 calculates disparity between the left image pixel signals LIPS and the right image pixel signals RIPS to generate depth data DDATA.

동기 회로(116-3)는 컬러 신호 처리 회로(116-1)로부터 출력된 스테레오 스코픽 데이터(SDATA)의 출력 타이밍과 깊이 신호 처리 회로(116-2)로부터 출력된 깊이 데이터(DDATA)의 출력 타이밍을 시간적으로 동기시켜 출력한다. 동기 회로(116-3)는 스테레오 스코픽 데이터(SDATA)에 동기된 깊이 데이터(DDATA)를 출력한다.The synchronization circuit 116-3 outputs the timing of the stereoscopic data SDATA output from the color signal processing circuit 116-1 and the output timing of the depth data DDATA output from the depth signal processing circuit 116-2. Output in synchronous with time. The synchronization circuit 116-3 outputs the depth data DDATA synchronized with the stereoscopic data SDATA.

도 4는 도 1에 도시된 카메라 모듈의 다른 실시 예를 나타낸다. 도 1과 도 4를 참조하면, 도 1에 도시된 카메라 모듈(110)의 실시 예에 따른 카메라 모듈 (110B)은 3차원 이미지 데이터를 생성하기 위한 이미지 센서(113)와 신호 처리 회로(117)를 포함한다.4 shows another embodiment of the camera module illustrated in FIG. 1. 1 and 4, the camera module 110B according to the embodiment of the camera module 110 shown in FIG. 1 includes an image sensor 113 and a signal processing circuit 117 for generating 3D image data. It includes.

이미지 센서(113)는 2차원으로 배열된 픽셀들(PS1~PSn, n은 2 이상의 자연수)을 포함하고, 픽셀들(PS1~PS2) 각각은 사물(130)을 촬영하여 왼쪽 이미지 픽셀 신호들(LIPS1~LIPSn) 각각과 오른쪽 이미지 픽셀 신호들(RIPS1~RISPn) 각각을 생성한다. 예컨대, 제1픽셀(PS1)은 제1왼쪽 이미지 픽셀 신호(LIPS1)와 제1오른쪽 이미지 픽셀 신호(RIPS1)를 생성하고, 제n픽셀(PSn)은 제n왼쪽 이미지 픽셀 신호(LIPSn)와 제n오른쪽 이미지 픽셀 신호(RIPSn)를 생성한다.The image sensor 113 includes pixels (PS1 to PSn, n is a natural number greater than or equal to 2) arranged in two dimensions, and each of the pixels PS1 to PS2 photographs the object 130 to generate the left image pixel signals ( LIPS1 to LIPSn) and right image pixel signals RIPS1 to RISPn, respectively. For example, the first pixel PS1 generates the first left image pixel signal LIPS1 and the first right image pixel signal RIPS1, and the nth pixel PSn is the nth left image pixel signal LIPSn. The right image pixel signal RIPSn is generated.

신호 처리 회로(117)는 컬러 신호 처리 회로(117-1), 깊이 신호 처리 회로(117-2), 및 동기 회로(117-3)를 포함한다. The signal processing circuit 117 includes a color signal processing circuit 117-1, a depth signal processing circuit 117-2, and a synchronization circuit 117-3.

컬러 신호 처리 회로(117-1)는 왼쪽 이미지 픽셀 신호들(LIPS1~LIPSn)과 오른쪽 이미지 픽셀 신호들(RIPS1~RIPSn)을 이용하여 픽셀들(PS1~PSn)에 해당하는 스테레오 스코픽 데이터(SDATA)를 생성한다.The color signal processing circuit 117-1 uses the left image pixel signals LIPS1 to LIPSn and the right image pixel signals RIPS1 to RIPSn to stereoscopic data SDATA corresponding to the pixels PS1 to PSn. Produces

깊이 신호 처리 회로(117-2)는 왼쪽 이미지 픽셀 신호들(LIPS1~LIPSn)과 오른쪽 이미지 픽셀 신호들(RIPS1~RIPSn)과의 디스패리티들(DIS1~DISn)을 계산하여 깊이 데이터(DDATA)를 생성한다. The depth signal processing circuit 117-2 calculates the depth data DDATA by calculating disparities DIS1 to DISn between the left image pixel signals LIPS1 to LIPSn and the right image pixel signals RIPS1 to RIPSn. To create.

동기 회로(117-3)는 컬러 신호 처리 회로(117-1)로부터 출력된 스테레오 스코픽 데이터(SDATA)의 출력 타이밍과 깊이 신호 처리 회로(117-2)로부터 출력된 깊이 데이터(DDATA)의 출력 타이밍을 시간적으로 동기시켜 출력한다. 동기 회로(117-3)는 스테레오 스코픽 데이터(SDATA)에 동기된 깊이 데이터(DDATA)를 출력한다.The synchronization circuit 117-3 outputs the timing of the output of the stereoscopic data SDATA output from the color signal processing circuit 117-1 and the output timing of the depth data DDATA output from the depth signal processing circuit 117-2. Output in synchronous with time. The synchronization circuit 117-3 outputs the depth data DDATA synchronized with the stereoscopic data SDATA.

픽셀들(PS1~PSn) 각각은 하나의 마이크로렌즈의 하부에 배치된 복수의 포토다이오드들을 포함한다. 예컨대, 제1픽셀(PS1)은 제1마이크로렌즈의 하부에 배치된 2개의 포토다이오드들을 포함하고, 제n픽셀(PSn)은 제n마이크로렌즈의 하부에 배치된 2개의 포토다이오드들을 포함한다고 가정한다.Each of the pixels PS1 to PSn includes a plurality of photodiodes disposed under one microlens. For example, it is assumed that the first pixel PS1 includes two photodiodes disposed under the first microlens, and the n-pixel PSn includes two photodiodes disposed under the n-microlens. do.

각 픽셀(PS1~PSn)에 포함된 두 개의 포토다이오드들 중에서 어느 하나는 왼쪽 이미지 픽셀 신호들(LIPS1~LIPSn) 중에서 어느 하나에 해당하는 왼쪽 이미지 픽셀 신호를 출력하고, 각 픽셀(PS1~PSn)에 포함된 상기 두 개의 포토다이오드들 중에서 다른 하나는 오른쪽 이미지 픽셀 신호들 중에서 어느 하나에 해당하는 오른쪽 이미지 픽셀 신호를 출력한다.One of the two photodiodes included in each pixel PS1 to PSn outputs a left image pixel signal corresponding to any one of the left image pixel signals LIPS1 to LIPSn, and each pixel PS1 to PSn The other of the two photodiodes included in outputs a right image pixel signal corresponding to any one of right image pixel signals.

도 5는 도 3 또는 도 4에 도시된 신호 처리 회로가 깊이 데이터를 생성하는 과정을 설명하기 위한 표이다. 도 1, 도 4와 도 5를 참조하면, 제1픽셀(PS1)로부터 출력된 이미지 픽셀 신호들(LIPS1과 RIPS1)의 차이(또는 디스패리티)가 제1디스패리티(DIS1)이고, 제2픽셀(PS2)로부터 출력된 이미지 픽셀 신호들(LIPS2과 RIPS2)의 차이(또는 디스패리티)가 제2디스패리티(DIS2)이고, 제n픽셀(PSn)로부터 출력된 이미지 픽셀 신호들(LIPSn과 RIPSn)의 차이(또는 디스패리티)가 제n디스패리티(DISn)라고 가정한다.FIG. 5 is a table for explaining a process in which the signal processing circuit shown in FIG. 3 or 4 generates depth data. 1, 4 and 5, the difference (or disparity) between the image pixel signals LIPS1 and RIPS1 output from the first pixel PS1 is the first disparity DIS1 and the second pixel The difference (or disparity) between the image pixel signals LIPS2 and RIPS2 output from (PS2) is the second disparity DIS2, and the image pixel signals LIPSn and RIPSn output from the nth pixel PSn It is assumed that the difference (or disparity) of is n-disparity (DISn).

깊이 신호 처리 회로(117-2)는 왼쪽 이미지 픽셀 신호들(LIPS1~LIPSn)과 오른쪽 이미지 픽셀 신호들(RIPS1~RIPSn)과의 디스패리티들(DIS1~DISn)을 계산하고, 디스패리티들(DIS1~DISn) 각각에 해당하는 거리값들(DV1~DVn) 각각을 생성한다. 거리값들(DV1~DVn)은 깊이 맵(depth map)을 형성할 수 있다. 예를 들면, 깊이 신호 처리 회로(116-2 또는 117-2)는 픽셀별로 쌍을 이루는 왼쪽 이미지 픽셀 신호와 오른쪽 이미지 픽셀 신호와의 차이(또는 디스패리티)를 이용하여 제1거리(D1)를 계산할 수 있다. The depth signal processing circuit 117-2 calculates disparities DIS1 to DISn between the left image pixel signals LIPS1 to LIPSn and the right image pixel signals RIPS1 to RIPSn, and the disparities DIS1 ~ DISn) Each of the distance values DV1 to DVn corresponding to each is generated. The distance values DV1 to DVn may form a depth map. For example, the depth signal processing circuit 116-2 or 117-2 uses the difference (or disparity) between the left image pixel signal and the right image pixel signal paired for each pixel to determine the first distance D1. Can be calculated.

왼쪽 이미지 픽셀 신호(LIPSi, 1≤i≤n)와 오른쪽 이미지 픽셀 신호(RIPSi)와의 차이가 작을수록 디스패리티(DISi)는 작아지고, 거리 값(DVi)도 작아진다. 왼쪽 이미지 픽셀 신호(LIPSi, 1≤i≤n)와 오른쪽 이미지 픽셀 신호(RIPSi)와의 차이가 클수록 디스패리티(DISi)는 커지고, 거리 값(DVi)도 커진다. 여기서 이미지 픽셀 신호는 아날로그 신호 또는 디지털 신호를 의미할 수 있다.The smaller the difference between the left image pixel signal LIPSi and 1≤i≤n and the right image pixel signal RIPSi, the smaller the disparity DISi and the smaller the distance value DV. The greater the difference between the left image pixel signal LIPSi and 1≤i≤n and the right image pixel signal RIPSi, the greater the disparity DISi and the greater the distance value DV. Here, the image pixel signal may mean an analog signal or a digital signal.

도 3의 왼쪽 이미지 픽셀 신호들(LIPS)은 왼쪽 이미지 픽셀 신호들 (LIPS1~LIPSn)의 집합에 해당하고, 도 3의 오른쪽 이미지 픽셀 신호들(RIPS)은 오른쪽 이미지 픽셀 신호들(RIPS1~RIPSn)의 집합에 해당한다.The left image pixel signals LIPS of FIG. 3 correspond to a set of left image pixel signals LIPS1 to LIPSn, and the right image pixel signals RIPS of FIG. 3 are right image pixel signals RIPS1 to RIPSn. Corresponds to the set of

도 3의 제1카메라(112)는 도 4의 왼쪽 이미지 픽셀 신호들(LIPS1~LIPSn)에 해당하는 픽셀 신호들의 집합(LIPS)을 생성하는 픽셀들을 포함하고, 도 3의 제2카메라(114)는 도 4의 오른쪽 이미지 픽셀 신호들(RIPS1~RIPSn)에 해당하는 픽셀 신호들의 집합(RIPS)을 생성하는 픽셀들을 포함한다.The first camera 112 of FIG. 3 includes pixels generating a set of pixel signals LIPS corresponding to the left image pixel signals LIPS1 to LIPSn of FIG. 4, and the second camera 114 of FIG. 3 Includes pixels that generate a set of pixel signals RIPS corresponding to the right image pixel signals RIPS1 to RIPSn in FIG. 4.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 사물 인식 장치 또는 충돌 방지 시스템
110: 카메라 모듈
112: 제1카메라
113: 이미지 센서
114: 제2카메라
116, 117: 신호 처리 회로
116-1, 117-1: 컬러 신호 처리 회로
116-2, 117-2: 깊이 신호 처리 회로
116-3, 117-3: 동기 회로
130: 사물
150: UWB 모듈
170: CPU
172: 인공 지능 모듈
180: 충돌 방지 제어 회로
185: 액추에이터
187: 표시 장치
190: 배터리100: object recognition device or collision avoidance system
110: camera module
112: first camera
113: image sensor
114: second camera
116, 117: signal processing circuit
116-1, 117-1: Color signal processing circuit
116-2, 117-2: Depth signal processing circuit
116-3, 117-3: Synchronous circuit
130: things
150: UWB module
170: CPU
172: artificial intelligence module
180: anti-collision control circuit
185: actuator
187: display device
190: battery

Claims (14)

사물 인식 장치에 있어서,
전방에 있는 사물을 촬영하여 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈;
상기 사물로 제1 UWB 신호를 출력하고, 상기 사물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3 UWB 신호를 생성하는 UWB 모듈; 및
상기 스테레오 스코픽 데이터와 상기 깊이 데이터를 이용하여 상기 사물의 제1정체를 판단하기 위해 상기 전방에 상기 사물이 있는지 여부를 판단하는 1차적 분석을 수행하고, 상기 제3UWB 신호를 이용하여 상기 사물의 제2정체를 판단하기 위해 상기 전방에 상기 사물이 있는지 여부를 판단하는 2차적 분석을 수행하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때에 발생하는 상기 1차적 분석의 에러에 해당하는 상기 제1정체를 상기 2차적 분석의 결과에 기초하여 상기 제2정체로 보정하고, 보정된 제2정체에 해당하는 판단 신호를 출력하는 CPU를 포함하고,
상기 1차적 분석의 에러는 상기 전방에 상기 사물이 있음에도 불구하고 없음으로 판단한 에러와 상기 전방에 상기 사물이 없음에도 불구하고 있음으로 판단한 에러를 포함하는 사물 인식 장치.In the object recognition device,
A camera module that photographs an object in front to generate stereoscopic data and depth data;
A UWB module that outputs a first UWB signal to the object, receives and processes a second UWB signal reflected from the object, and generates a third UWB signal; And
In order to determine the first congestion of the object using the stereoscopic data and the depth data, a primary analysis is performed to determine whether the object is in the front, and the third UWB signal is used to remove the object. In order to determine the congestion, a secondary analysis is performed to determine whether the object is in the front, the first congestion and the second congestion are determined to be identical, and the first congestion and the second congestion each other A CPU that corrects the first congestion corresponding to the error of the primary analysis occurring at different times to the second congestion based on the result of the secondary analysis, and outputs a judgment signal corresponding to the corrected second congestion. Including,
The primary analysis error is an object recognition device including an error determined to be absent despite the presence of the object in the front and an error determined to be present despite the absence of the object in the front. 제1항에 있어서,
상기 판단 신호에 기초하여 상기 사물과의 충돌 가능성을 판단하고, 상기 사물과 충돌 가능성이 있을 때 충돌 회피를 위한 제어 신호를 생성하는 충돌 방지 제어 회로; 및
상기 제어 신호에 기초하여 작동하는 액추에이터를 더 포함하는 사물 인식 장치.According to claim 1,
A collision prevention control circuit for determining a possibility of collision with the object based on the determination signal and generating a control signal for collision avoidance when there is a possibility of collision with the object; And
And an actuator that operates based on the control signal. 제1항에 있어서,
상기 CPU는 학습 가능한 인공 지능 모듈을 내장하고,
상기 학습 가능한 인공 지능 모듈은,
상기 사물의 제1정체에 대한 판단,
상기 깊이 데이터를 이용하여 상기 사물 인식 장치와 상기 사물과의 제1거리에 대한 계산,
상기 사물의 제2정체에 대한 판단,
상기 제1정체와 상기 제2정체의 비교,
상기 제1정체를 상기 제2정체로 보정하고 상기 보정된 제2정체에 해당하는 상기 판단 신호를 출력하고,
상기 제1정체는 상기 전방에 상기 사물이 있는지 여부, 상기 사물의 3차원 형상, 및 상기 사물의 움직임과 속도를 포함하고,
상기 제2정체는 상기 전방에 상기 사물이 있는지 여부, 상기 사물 인식 장치와 상기 사물과의 제2거리, 및 상기 사물의 움직임과 속도를 포함하는 사물 인식 장치.According to claim 1,
The CPU has a built-in learning AI module,
The learnable artificial intelligence module,
Judgment on the first identity of the object,
Calculation of a first distance between the object recognition device and the object using the depth data,
Judgment on the second identity of the object,
Comparison of the first congestion and the second congestion,
Correcting the first congestion to the second congestion and outputting the determination signal corresponding to the corrected second congestion,
The first congestion includes whether the object is in the front, a three-dimensional shape of the object, and movement and speed of the object,
The second congestion includes an object recognition device including whether the object exists in the front, a second distance between the object recognition device and the object, and movement and speed of the object. 제3항에 있어서, 상기 학습 가능한 인공 지능 모듈은,
상기 깊이 데이터를 이용하여 상기 사물의 움직임을 계산하고, 상기 제3UWB 신호를 이용하여 상기 제2거리와 상기 사물의 상기 속도를 더 계산하고,
상기 제1정체와 상기 제2정체가 서로 다르고, 계산된 제1거리와 계산된 제2거리 중에서 적어도 하나가 기준 거리보다 작을 때 충돌 회피를 위한 상기 판단 신호를 출력하는 사물 인식 장치.The method of claim 3, wherein the learnable artificial intelligence module,
Calculate the movement of the object using the depth data, further calculate the second distance and the speed of the object using the 3UWB signal,
The object recognition apparatus for outputting the determination signal for collision avoidance when the first congestion and the second congestion are different and at least one of the calculated first distance and the calculated second distance is less than a reference distance. 제1항에 있어서, 상기 카메라 모듈은.
상기 사물을 촬영하여 왼쪽 이미지 픽셀 신호들을 출력하는 제1카메라;
상기 사물을 촬영하여 오른쪽 이미지 픽셀 신호들을 출력하는 제2카메라; 및
상기 왼쪽 이미지 픽셀 신호들과 상기 오른쪽 이미지 픽셀 신호들을 이용하여 상기 스테레오 스코픽 데이터를 생성하고, 상기 왼쪽 이미지 픽셀 신호들과 상기 오른쪽 이미지 픽셀 신호들과의 디스패리티를 계산하여 계산된 디스패리티에 해당하는 상기 깊이 데이터를 생성하는 신호 처리 회로를 포함하는 사물 인식 장치.The method of claim 1, wherein the camera module.
A first camera that photographs the object and outputs left image pixel signals;
A second camera that photographs the object and outputs right image pixel signals; And
The left image pixel signals and the right image pixel signals are used to generate the stereoscopic data, and the disparity between the left image pixel signals and the right image pixel signals is calculated to correspond to the calculated disparity. And a signal processing circuit that generates the depth data. 제5항에 있어서, 상기 신호 처리 회로는,
상기 스테레오 스코픽 데이터의 출력 타이밍과 상기 깊이 데이터의 출력 타이밍을 시간적으로 동기시켜, 상기 스테레오 스코픽 데이터에 동기된 상기 깊이 데이터를 출력하는 동기 회로를 포함하는 사물 인식 장치.The signal processing circuit according to claim 5,
And a synchronization circuit that temporally synchronizes the output timing of the stereoscopic data and the output timing of the depth data to output the depth data synchronized to the stereoscopic data. 제1항에 있어서, 상기 카메라 모듈은.
상기 사물을 촬영하여 왼쪽 이미지 픽셀 신호들과 오른쪽 이미지 픽셀 신호들을 생성하는 픽셀들을 포함하는 이미지 센서; 및
상기 왼쪽 이미지 픽셀 신호들과 상기 오른쪽 이미지 픽셀 신호들을 이용하여 상기 픽셀들에 해당하는 상기 스테레오 스코픽 데이터를 생성하고, 상기 왼쪽 이미지 픽셀 신호들과 상기 오른쪽 이미지 픽셀 신호들과의 디스패리티들를 계산하고, 계산된 디스패리티에 해당하는 상기 깊이 데이터를 생성하는 신호 처리 회로를 포함하는 사물 인식 장치.The method of claim 1, wherein the camera module.
An image sensor that captures the object and includes pixels that generate left image pixel signals and right image pixel signals; And
Generating the stereoscopic data corresponding to the pixels by using the left image pixel signals and the right image pixel signals, calculating disparities between the left image pixel signals and the right image pixel signals, And a signal processing circuit that generates the depth data corresponding to the calculated disparity. 제7항에 있어서,
상기 픽셀들 각각은 하나의 마이크로렌즈의 하부에 배치된 복수의 포토다이오드들을 포함하고,
상기 복수의 포토다이오드들 중에서 어느 하나는 상기 왼쪽 이미지 픽셀 신호들 중에서 어느 하나에 해당하는 왼쪽 이미지 픽셀 신호를 출력하고,
상기 복수의 포토다이오드들 중에서 다른 하나는 상기 오른쪽 이미지 픽셀 신호들 중에서 어느 하나에 해당하는 오른쪽 이미지 픽셀 신호를 출력하는 사물 인식 장치.The method of claim 7,
Each of the pixels includes a plurality of photodiodes disposed under one microlens,
Any one of the plurality of photodiodes outputs a left image pixel signal corresponding to any one of the left image pixel signals,
The other of the plurality of photodiodes, the object recognition device outputs a right image pixel signal corresponding to any one of the right image pixel signals. 충돌 방지 시스템에 있어서,
상기 충돌 방지 시스템의 전방에 있는 장애물을 촬영하여 상기 장애물에 대한 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈;
상기 장애물로 제1 UWB 신호를 출력하고, 상기 장애물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3UWB 신호를 생성하는 UWB 모듈;
상기 스테레오 스코픽 데이터, 상기 깊이 데이터, 및 상기 제3 UWB 신호를 수신하고, 상기 스테레오 스코픽 데이터와 상기 깊이 데이터를 이용하여 상기 장애물의 제1정체를 판단하기 위해 상기 전방에 상기 장애물이 있는지 여부를 판단하는 1차적 분석을 수행하고, 상기 제3UWB 신호를 이용하여 상기 장애물의 제2정체를 판단하기 위해 상기 전방에 상기 장애물이 있는지 여부를 판단하는 2차적 분석을 수행하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때에 발생하는 상기 1차적 분석의 에러에 해당하는 상기 제1정체를 상기 2차적 분석의 결과에 기초하여 상기 제2정체로 보정하고, 보정된 제2정체에 해당하는 판단 신호를 출력하는 CPU; 및
상기 판단 신호에 기초하여 상기 장애물과의 충돌 가능성을 판단하고, 상기 장애물과 충돌 가능성이 있을 때 충돌 회피를 위한 제어 신호를 생성하는 충돌 방지 제어 회로를 포함하고,
상기 1차적 분석의 에러는 상기 전방에 상기 장애물이 있음에도 불구하고 없음으로 판단한 에러와 상기 전방에 상기 장애물이 없음에도 불구하고 있음으로 판단한 에러를 포함하는 충돌 방지 시스템.In the collision prevention system,
A camera module that photographs an obstacle in front of the collision prevention system and generates stereoscopic data and depth data for the obstacle;
A UWB module that outputs a first UWB signal to the obstacle, and receives and processes a second UWB signal reflected from the obstacle to generate a third UWB signal;
Receive the stereoscopic data, the depth data, and the third UWB signal, and determine whether there is an obstacle in the front to determine the first congestion of the obstacle using the stereoscopic data and the depth data Performing the primary analysis, and performing a secondary analysis to determine whether there is an obstacle in the front to determine the second congestion of the obstacle using the 3UWB signal, and performing the first congestion and the first congestion The second congestion is determined based on the result of the secondary analysis by determining whether the two congestions are the same, and the first congestion corresponding to the error of the primary analysis occurring when the first congestion and the second congestion are different. CPU for correcting to and outputting a determination signal corresponding to the corrected second congestion; And
And a collision prevention control circuit for determining a possibility of collision with the obstacle based on the determination signal, and generating a control signal for collision avoidance when there is a possibility of collision with the obstacle,
The error of the primary analysis is an anti-collision system including an error determined to be absent despite the obstacle in the front and an error determined to be despite the absence of the obstacle in the front. 제9항에 있어서,
상기 CPU는 학습 가능한 인공 지능 모듈을 내장하고,
상기 학습 가능한 인공 지능 모듈은,
상기 장애물의 제1정체에 대한 판단과,
상기 깊이 데이터를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제1거리에 대한 계산과,
상기 장애물의 제2정체에 대한 판단,
상기 제1정체와 상기 제2정체의 비교,
상기 제1정체를 상기 제2정체로 보정하고, 계산된 제1거리가 기준 거리보다 작을 때 상기 충돌 회피를 위한 상기 판단 신호를 출력하는 충돌 방지 시스템.The method of claim 9,
The CPU has a built-in learning AI module,
The learnable artificial intelligence module,
Judgment on the first identity of the obstacle,
Calculating the first distance between the collision prevention system and the obstacle using the depth data,
Judgment on the second congestion of the obstacle,
Comparison of the first congestion and the second congestion,
A collision prevention system that corrects the first congestion with the second congestion and outputs the determination signal for collision avoidance when the calculated first distance is smaller than a reference distance. 제10항에 있어서, 상기 학습 가능한 인공 지능 모듈은,
상기 제3 UWB 신호를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제2거리를 더 계산하고,
상기 제1정체와 상기 제2정체가 서로 다르고, 계산된 제1거리와 계산된 제2거리 중에서 적어도 하나가 상기 기준 거리보다 작을 때 상기 충돌 회피를 위한 상기 판단 신호를 출력하는 충돌 방지 시스템.The method of claim 10, wherein the learnable artificial intelligence module,
A second distance between the collision prevention system and the obstacle is further calculated using the third UWB signal,
A collision prevention system that outputs the determination signal for collision avoidance when the first congestion and the second congestion are different and at least one of the calculated first distance and the calculated second distance is less than the reference distance. 충돌 방지 시스템에 있어서,
상기 충돌 방지 시스템의 전방에 있는 장애물을 촬영하여 상기 장애물에 대한 스테레오 스코픽 데이터와 깊이 데이터를 생성하는 카메라 모듈;
상기 장애물로 제1 UWB 신호를 출력하고, 상기 장애물로부터 반사된 제2 UWB 신호를 수신하고 처리하여 제3UWB 신호를 생성하는 UWB 모듈;
상기 스테레오 스코픽 데이터, 상기 깊이 데이터, 및 상기 제3 UWB 신호를 수신하고, 상기 스테레오 스코픽 데이터와 상기 깊이 데이터를 이용하여 상기 장애물의 제1정체를 판단하기 위해 상기 전방에 상기 장애물이 있는지 여부를 판단하는 1차적 분석을 수행하고, 상기 깊이 데이터를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제1거리를 계산하고, 상기 제3 UWB 신호를 이용하여 상기 장애물의 제2정체를 판단하기 위해 상기 전방에 상기 장애물이 있는지 여부를 판단하는 2차적 분석을 수행하고, 상기 제3UWB 신호를 이용하여 상기 충돌 방지 시스템과 상기 장애물과의 제2거리를 계산하고, 상기 제1정체와 상기 제2정체가 동일한지를 판단하고, 상기 제1정체와 상기 제2정체가 서로 다를 때의 상기 제1거리, 상기 제2거리, 및 보정된 제2정체 중에서 어느 하나에 해당하는 판단 신호를 출력하는 CPU; 및
상기 판단 신호에 기초하여 상기 충돌 방지 시스템과 상기 장애물과의 충돌을 회피하기 위한 제어 신호를 생성하는 충돌 방지 제어 회로를 포함하고,
상기 CPU는 상기 제1정체와 상기 제2정체가 서로 다를 때에 발생하는 상기 1차적 분석의 에러에 해당하는 상기 제1정체를 상기 2차적 분석의 결과에 기초하여 상기 제2정체로 보정하고, 보정된 상기 제2정체에 해당하는 상기 판단 신호를 출력하고,
상기 1차적 분석의 에러는 상기 전방에 상기 장애물이 있음에도 불구하고 없음으로 판단한 에러와 상기 전방에 상기 장애물이 없음에도 불구하고 있음으로 판단한 에러를 포함하는 충돌 방지 시스템.In the collision prevention system,
A camera module that photographs an obstacle in front of the collision prevention system and generates stereoscopic data and depth data for the obstacle;
A UWB module that outputs a first UWB signal to the obstacle, and receives and processes a second UWB signal reflected from the obstacle to generate a third UWB signal;
Receive the stereoscopic data, the depth data, and the third UWB signal, and determine whether there is an obstacle in the front to determine the first congestion of the obstacle using the stereoscopic data and the depth data To perform the primary analysis, calculate the first distance between the collision prevention system and the obstacle using the depth data, and determine the second congestion of the obstacle using the third UWB signal Performs a secondary analysis to determine whether there is an obstacle, calculates a second distance between the collision prevention system and the obstacle using the 3UWB signal, and the first congestion and the second congestion are the same. The first distance, the second distance, and the corrected second congestion when the first congestion and the second congestion are different from each other A CPU outputting a determination signal corresponding to any one; And
And a collision prevention control circuit for generating a control signal for avoiding collision between the collision prevention system and the obstacle based on the determination signal,
The CPU corrects the first congestion corresponding to an error of the primary analysis that occurs when the first congestion and the second congestion are different from the second congestion, and corrects the second congestion based on the result of the secondary analysis. Outputs the determination signal corresponding to the second congestion,
The error of the primary analysis is an anti-collision system including an error determined to be absent despite the obstacle in the front and an error determined to be despite the absence of the obstacle in the front. 제12항에 있어서,
상기 충돌 방지 시스템이 차량일 때, 상기 제어 신호에 기초하여 상기 차량의 속도와 방향을 조절하는 액추에이터를 더 포함하는 충돌 방지 시스템.The method of claim 12,
When the collision prevention system is a vehicle, the collision prevention system further comprises an actuator for adjusting the speed and direction of the vehicle based on the control signal. 제12항에 있어서,
상기 충돌 방지 시스템이 선박일 때, 상기 제어 신호에 기초하여 상기 선박의 속도와 방향을 조절하는 액추에이터를 더 포함하는 충돌 방지 시스템.The method of claim 12,
When the collision prevention system is a ship, the collision prevention system further comprises an actuator for adjusting the speed and direction of the ship based on the control signal.
KR1020180036735A 2018-03-29 2018-03-29 Object realization device for avoiding collision KR102111957B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036735A KR102111957B1 (en) 2018-03-29 2018-03-29 Object realization device for avoiding collision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036735A KR102111957B1 (en) 2018-03-29 2018-03-29 Object realization device for avoiding collision

Publications (2)

Publication Number Publication Date
KR20190119197A KR20190119197A (en) 2019-10-22
KR102111957B1 true KR102111957B1 (en) 2020-05-18

Family

ID=68420179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036735A KR102111957B1 (en) 2018-03-29 2018-03-29 Object realization device for avoiding collision

Country Status (1)

Country Link
KR (1) KR102111957B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519875B1 (en) * 2020-12-14 2023-04-11 소프트온넷(주) Collision warning system for industrial site

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305421A (en) * 2004-01-28 2008-12-18 Toyota Motor Corp Travel supporting device for vehicle
KR101149800B1 (en) * 2011-12-01 2012-06-08 국방과학연구소 Detection apparatus and the method for concealed obstacle using uwb radar and stereo cameras
JP2018031753A (en) * 2016-08-26 2018-03-01 株式会社Ｚｍｐ Object detection method and apparatus for the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893658B1 (en) 2008-05-22 2009-04-17 유재길 Camera apparatus of sensor one-body
KR101371714B1 (en) 2008-06-25 2014-03-07 현대자동차(주) A collision damage mitigation system using both a lader and a camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305421A (en) * 2004-01-28 2008-12-18 Toyota Motor Corp Travel supporting device for vehicle
KR101149800B1 (en) * 2011-12-01 2012-06-08 국방과학연구소 Detection apparatus and the method for concealed obstacle using uwb radar and stereo cameras
JP2018031753A (en) * 2016-08-26 2018-03-01 株式会社Ｚｍｐ Object detection method and apparatus for the same

Also Published As

Publication number Publication date
KR20190119197A (en) 2019-10-22

Similar Documents

Publication Publication Date Title
JP5054008B2 (en) Method and circuit for tracking and real-time detection of multiple observer eyes
US10194135B2 (en) Three-dimensional depth perception apparatus and method
US20180089501A1 (en) Computer implemented method of detecting the distance of an object from an image sensor
US11650052B2 (en) Imaging device
US9747690B2 (en) Image processing device, image processing method, and program
US20200364892A1 (en) Advanced driver assist systems and methods of detecting objects in the same
US11143879B2 (en) Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
KR101932547B1 (en) Camera system and Method of image registration thereof
WO2015088044A1 (en) Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program
US20170318279A1 (en) Stereo camera apparatus and vehicle comprising the same
JP2016197795A (en) Imaging device
KR102111957B1 (en) Object realization device for avoiding collision
US10247551B2 (en) Vehicle image processing device for environment recognition
KR20070063063A (en) Stereo vision system
US10060740B2 (en) Distance detection device
WO2005004060A1 (en) Contour extracting device, contour extracting method, and contour extracting program
WO2020122143A1 (en) Measuring system, measuring method, and measuring program
Benamar et al. Time to contact estimation on paracatadioptric cameras
CN117156300B (en) Video stream synthesis method and device based on image sensor, equipment and medium
JP4555635B2 (en) Image processing apparatus and image processing method
JP6731020B2 (en) Exterior environment recognition device and exterior environment recognition method
CN109325962B (en) Information processing method, device, equipment and computer readable storage medium
Gadagkar et al. A Novel Monocular Camera Obstacle Perception Algorithm for Real-Time Assist in Autonomous Vehicles
JP5981857B2 (en) Outside environment recognition device and outside environment recognition method
US9467678B2 (en) Image synchronization method and system thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant