WO2021182728A1 - 인공지능에 대응한 라이다 시스템 - Google Patents

인공지능에 대응한 라이다 시스템 Download PDF

Info

Publication number
WO2021182728A1
WO2021182728A1 PCT/KR2020/018496 KR2020018496W WO2021182728A1 WO 2021182728 A1 WO2021182728 A1 WO 2021182728A1 KR 2020018496 W KR2020018496 W KR 2020018496W WO 2021182728 A1 WO2021182728 A1 WO 2021182728A1
Authority
WO
WIPO (PCT)
Prior art keywords
scan
area
data
detection
specific
Prior art date
Application number
PCT/KR2020/018496
Other languages
English (en)
French (fr)
Inventor
유수엽
Original Assignee
주식회사 자오스모터스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 자오스모터스 filed Critical 주식회사 자오스모터스
Publication of WO2021182728A1 publication Critical patent/WO2021182728A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present invention relates to a lidar system corresponding to artificial intelligence, and in particular, after detecting data of the entire detection region of lidar, precisely detects only a specific region or precisely detects only necessary data, so that the requirements for artificial intelligence It is about a lidar system that responds to artificial intelligence that is suitable for
  • a LiDAR system is a detection device that sequentially scans a laser for a short time, and detects the distance between the subject and the LiDAR body by measuring the time the scanned laser pulse is reflected from the subject and returned to the device.
  • This device that measures the delay time of light scans multiple laser pulses at various angles to measure the distance to all objects in front of the lidar. This measuring process is called "scan", and at this time, the subject is detected using the round trip time of light reflected within a certain time within a specified distance. Acquire and detect an object in front.
  • the device is put to practical use.
  • ⁇ Patent Document 1> two front lidar sensors are used to stop an emergency situation, and a rotating lidar sensor is mounted in the center of the vehicle to obtain 360-degree environmental information through the 360-degree rotating lidar sensor. It is used to detect obstacles, and it is used for lane recognition and tracking through a web cam camera installed in front of the vehicle.
  • this prior art also obtains environmental information using a rotating lidar sensor and analyzes it to detect obstacles, but since the lidar looks and detects the entire area, it is possible to compare almost similar screens measured every time. It wastes resources by continuously removing duplicate data and comparing unnecessary duplicated things, such as removing duplicate data.
  • An object of the present invention is to provide a lidar system corresponding to artificial intelligence and a control method thereof, which is adapted to the requirements of artificial intelligence by accurately detecting only data.
  • Another object of the present invention is to respond to artificial intelligence that allows more precise distance and speed, moving direction, and overall size of the object to be monitored by paying attention to the moving objects in the sensor when an object moving differently from the background screen is detected in the entire detection area It is to provide a lidar system and a control method thereof.
  • the "lidar system corresponding to artificial intelligence" includes a light generating device for generating a laser pulse light for detecting a subject; a MEMS mirror unit for reflecting the laser pulse light generated by the light generating device at the azimuth and latitude set by the controller within the range of the azimuth and latitude of the preset measurement area; a lens that focuses the laser pulse light reflected through the MEMS mirror unit and scans the subject, and focuses and outputs the received light reflected from the subject; an optical receiver that converts the received light focused through the lens into an electrical signal to generate a detection signal, amplifies and converts the generated detection signal into a digital signal, and outputs a measurement signal; a control unit that stores the measurement signal output from the optical receiver as scan data, detects the presence or absence of an object and a physical quantity based on the scan data, and controls to transmit the scan data to an upper control stage; and a communication unit for transmitting scan data to an upper control unit in cooperation with the control unit
  • control unit controls the transmission of laser pulse light for detecting the subject, measures the presence or absence of an object and the distance to the object using the detection time of the measurement signal reflected back from the subject, and transmits a plurality of laser pulses at the same angle. Detects the speed as a physical quantity by detecting the amount of change per unit time of the measurement signal, detects the movement direction and size of an object as a physical quantity by changing the scanning angle of laser pulse light, and tracks a specific object by changing the scanning angle characterized.
  • the "lidar system corresponding to artificial intelligence" includes a region setting unit that transmits a specific region setting value set by a user to the controller,
  • the control unit sets a specific scan area in the entire scan area according to the area setting value set by the area setting unit, and acquires and stores only the detected data of the set specific scan area or transmits it to the upper control stage.
  • the control unit When receiving the scan area setting value from the upper control terminal through the communication unit, the control unit sets a specific scan area from the entire scan area based on the received scan area setting value, and obtains only the detection data of the set specific scan area. It is characterized in that it is stored and transmitted to the upper control stage.
  • the control unit scans a set basic scan area to acquire and store scan data, analyzes the stored scan data to create a detection list when object detection occurs, and MEMS when a detailed detection object requiring precise tracking from the detection object exists
  • the scanning area of the laser pulse light By controlling the scanning area of the laser pulse light through mirror control, only the detailed detection object is tracked through only a specific scanning area, the list of detailed detection objects and the scan data are stored, and the physical quantity of the scan data of the detailed detection object is analyzed and judged as an abnormal object If it is, it is characterized in that the report is performed on the abnormal object to the upper control stage.
  • the present invention after detecting the data of the entire detection area of Lidar, it is possible to precisely detect only a specific area or to accurately detect only necessary data, thereby minimizing the consumption of resources and providing a lidar system suitable for the requirements of artificial intelligence. effect that can be provided.
  • the present invention when a specific object moving differently from the background screen is detected in the entire detection area, it is possible to monitor the more precise distance and speed, the moving direction, and the overall size of the object by paying attention to the moving objects in the sensor. It has the effect of tracking and monitoring objects independently of the lidar system without using
  • the present invention it is possible to intensively monitor the objects to be noted among the objects in the entire scan area, so that it can be used as a sensor for driving a car, and a time margin to cope with a predicted situation that may occur in advance is provided.
  • it can be used as an artificial intelligence system that can help.
  • the amount of data transmitted and received can be reduced, thereby preventing wastage of resources, and also processing speed of transmitted and received data by reducing the amount of data. can also be improved.
  • FIG. 1 is an exemplary structural diagram of a lidar system corresponding to artificial intelligence according to the present invention
  • FIG. 2 is a block diagram of a lidar system corresponding to artificial intelligence according to the present invention.
  • FIG. 3 is a conceptual diagram of setting a scan area in the present invention.
  • FIG. 5 is a flowchart for controlling a scan area through communication with an upper control stage in the present invention
  • FIG. 6 is a flowchart of an operation of independently setting a scan area and tracking an object in the lidar system in the present invention
  • FIG. 7 is an exemplary diagram of a data packet during communication between a lidar system and an upper control stage in the present invention.
  • FIG. 1 is a structural diagram of a lidar system corresponding to artificial intelligence according to a preferred embodiment of the present invention
  • FIG. 2 is a configuration diagram of a lidar system corresponding to artificial intelligence according to the present invention, a light generating device 101; It may include a micro-electromechanical system (MEMS) mirror unit 105 , a lens 102 , a light receiving device 106 , a control unit 108 , a region setting unit 110 , and a communication unit 111 .
  • MEMS micro-electromechanical system
  • reference numeral 10 denotes a subject to be detected
  • reference numeral 103 denotes laser pulse light scanned on the subject
  • reference numeral 104 denotes reflected light reflected from the subject.
  • the light generator 101 serves to generate laser pulse light for object detection under the control of the control unit 108, and an output unit for driving a laser diode and a laser beam emitting laser pulse light in conjunction with the output unit It may be composed of a diode and a collimator that converts laser light emitted from the laser diode into parallel light.
  • the MEMS mirror unit 105 determines the azimuth and latitude of the laser pulse light generated by the light generating device 101 according to the angle control of the controller 108 to reflect the laser pulse light.
  • the MEMS mirror unit 105 includes a MEMS mirror that reflects a laser pulse and a mirror controller that controls the MEMS mirror, and precise angle control is possible by the mirror controller.
  • the lens 102 focuses the laser pulse light transmitted through the MEMS mirror unit 105 and scans the subject 10 , and the received light reflected from the subject 10 is focused and delivered to the light receiving device 106 . plays a role It is possible to expand and focus the laser pulse light through this lens 102 .
  • the light receiving device 106 converts the received light focused through the lens 102 into an electrical signal to generate a detection signal, amplifies and converts the generated detection signal into a digital signal, and converts the generated detection signal into a measurement signal as a measurement signal. ) to transmit.
  • the light receiving device 106 may include a receiving diode that converts the received optical signal into an electrical signal.
  • the control unit 108 stores the measurement signal output from the optical receiver 106 as scan data, detects the presence or absence of an object and physical quantity based on the scan data, and controls to transmit the scan data to the upper control stage.
  • the control unit 108 includes a memory for storing scan data therein, a data analyzer for detecting the presence and absence of an object from the detected data and a physical quantity, a communication control of the scan data storage control and the detected scan data, and a MEMS mirror unit ( 105) may include a control module for controlling the laser pulse scanning angle.
  • the communication unit 111 works with the control unit 108 to transmit scan data to the upper control stage, and serves to interface the scan area setting command transmitted from the upper control stage to the control unit 108 .
  • the lidar system corresponding to artificial intelligence transmits a specific region setting value set by a user to the control unit 108 or transmits reference information of a detection target that the user wants to detect to the control unit 108 It may further include a region setting unit 110 for
  • the area setting unit 110 is an optional option. That is, it may not be used when the control unit 108 sets the scan area according to the scan area setting command through the communication unit 111 or when the control unit 108 sets the scan area by itself and automatically tracks the object. .
  • the laser pulse light for object detection generated from the light generating device 101 is reflected at a desired angle by the MEMS mirror unit 105 , and the reflected laser pulse light is transmitted through the lens 102 at a desired angle.
  • the laser pulse light 103 is emitted in a focused form so as not to spread.
  • the laser pulsed light 103 is scanned onto the subject 10, and the scanned light is reflected and partially returned.
  • the returned received light 104 is again focused through the lens 102 and then input to the light receiving device 106, and the weak optical signal detected by the light receiving device 106, which is a detector, is converted into an electrical received signal.
  • the converted, converted received signal is converted into an amplified and digital measurement signal through an appropriate amplifier and digital circuit, and transmitted to the control unit 108 .
  • the MEMS mirror unit 105 is configured as a mirror having a high-speed response characteristic, it can send or receive a laser signal at an arbitrary angle. Accordingly, if the software prepared in the control unit 108 gives a command to the sensor to pay attention to the area in which the selected object is detected, the given area can be more precisely tracked and monitored according to the command.
  • the laser scans this limited area more precisely, so that the movement of the target can be observed.
  • the entire system is operated by an embedded system with a large number of small threads, and each thread organically performs communication with a higher-level device, MEMS mirror control of the device, and laser scan to track and monitor the subject.
  • the control unit 108 controls the transmission of laser pulse light for detecting the subject, and measures the presence or absence of the object and the distance to the object by using the detection time of the measurement signal (scan data) reflected from the subject 10 and returned. .
  • a plurality of laser pulses are transmitted at the same angle, and the amount of change per unit time of the measurement signal is detected to detect the speed as a physical quantity.
  • the scanning angle of the laser pulse light by changing the scanning angle of the laser pulse light, the moving direction and size of the object can be detected as a physical quantity. If a specific object moving differently from the background screen is detected in the entire detection area, it is also possible to track the specific object by changing the scanning angle of the laser pulse light.
  • the operation of the lidar system of FIG. 2 may be understood through the figure of FIG. 3 .
  • LiDAR scans the entire field of view (FOV) area and sends this data to the higher level controller/signal processor.
  • This signal processor may request the rider's control unit 108 to detect a specific area based on the scanned data. For example, in FIG. 3 , by requesting more detailed detection of the object 201 moving close to or at a close distance, scanned data or measured physical data required to extract necessary physical data such as the moving speed and direction of the subject may be requested.
  • the upper-level controller outside the rider via the communication unit 111 of FIG. 2 exchanges packet data in the data form of FIG. 7 with the rider to control the operation of the rider or exchange measurement data.
  • the present invention detects a target of special interest, such as an object 204 , 205 , etc., which is far from the lidar device, but is in motion, or an object 202 that is slow or stationary in motion. If you want to, you can request a partial scan of that area from a higher-level controller, and it has the feature of being able to perform a partial scan operation function in accordance with this request.
  • a target of special interest such as an object 204 , 205 , etc.
  • the lidar system of the present invention may operate in three operating modes.
  • the user sets the scan target area through the area setting unit 110 or scans a specific scan area set according to the specification of the target to be tracked, and scan as the second operation mode
  • the upper control end sees the scan data and specifies a target to be tracked (scan area designation), then the specified specific scan area is scanned, the default area as the third operation mode
  • it selects a detailed detection object that requires its own attention, that is, a specific object, according to the object detection standard, tracks the selected detailed detection object, that is, a specific object, acquires physical data, and reports it to the upper control unit. .
  • the control unit 108 sets a specific scan area in the entire scan area according to the area setting value set by the area setting unit 110 , and sets a specific scan area. It acquires and stores only the detection data of
  • the user sets a specific scan area having an object to be tracked or a specific scan area to be scanned in the basic scan area through the area setting unit 110 , or inputs reference information for scanning the specific scan area.
  • the control unit 108 checks whether the user has set the specific area as the scan area in step S11, and if the user does not set the specific area as the scan area, moves to step S12 to scan the default scan area set by default,
  • the scan data of the basic scan area acquired in S13 is stored.
  • the stored scan data may be transmitted to the upper control stage as it is.
  • step S14 when the user sets a specific scan area as in step S14, the process moves to step S15 to scan only the specific area set by the user. Scanning for a specific area can be simply implemented by controlling the azimuth and latitude of the MEMS mirror unit 105 in the controller 108, and since the azimuth and latitude control of the MEMS mirror unit 105 is a general method, a detailed description thereof is to be omitted.
  • step S16 to store the scan data of a specific area in the internal memory
  • step S17 to the basic scan device setting step.
  • the scan data may include object presence information, distance information, speed information, size information, movement direction information, and the like.
  • step S21 it is checked whether a scan area limitation has occurred from the upper control end through the communication unit 111, and if a specific scan area is not set from the upper control end, the process moves to step S22 and scans the basically set basic area. and stores the scanned data in the internal memory, and also moves to step S23 and transmits the stored scan data to the upper control terminal through the communication unit 111 .
  • a specific scan area is set by the upper control stage as in step S24, only the specific area set by the upper control stage is scanned. Scanning for a specific area can be simply implemented by controlling the azimuth and latitude of the MEMS mirror unit 105 in the control unit 108, and control of the azimuth and latitude of the MEMS mirror unit 105 is a general method related to MEMS control. Therefore, a detailed description thereof will be omitted.
  • the process moves to step S25 to store the scan data of the specific area in the internal memory, and transmit the stored scan data of the specific area to the upper control terminal through the communication unit 111 . Therefore, the upper control stage precisely scans only an object requiring special movement or attention in the entire scan area, thereby improving the accuracy of object detection.
  • the scan data may include object presence information, distance information, speed information, size information, movement direction information, and the like.
  • the entire basic data area is determined and transmitted as scan data, and when the data type is partial data (specific area scan), the extracted data field ( physical quantity data, velocity data, size data, movement direction data, etc.), and may implement a packet including a data verification field and a data end field.
  • the lidar system sets its own scan area and tracks the object.
  • the controller 108 scans the basic scan area set as in step S31 to acquire and store scan data, and analyzes the scan data stored in step S32 to create a detection list when object detection occurs.
  • step S33 it is checked whether there is an object requiring attention from the detection object using the reference set by the user or the object tracking reference information set by the upper control stage.
  • the object requiring attention may be a moving object as shown in FIG. 3 in the entire scan data. That is, in the entire scan data, it may be determined that a moving subject, excluding a fixed subject, is an object requiring attention.
  • step S34 controls the laser beam scanning area as the scanning area of the detailed detection object through MEMS mirror control to detect detailed detection through only a specific scanning area It tracks only the object and stores the detailed detection object list and scan data.
  • step S36 analyzes the physical quantity of the scan data of the detailed detection object to determine whether there is an abnormal object.
  • the criterion for determining the presence or absence of an abnormal object may be preset, for example, a moving object that approaches, an object that is too close to the lidar system, or an object that approaches quickly.
  • step S36 If it is determined in step S36 that an abnormal object exists among the detailed objects, the process moves to step S38 and reports the abnormal object to the upper control stage.
  • the report form for the abnormal object may be implemented in the form of a packet as shown in FIG. 7 .
  • the upper control stage may request the necessary data to the lidar system by analyzing the contents of the abnormal data reported from the lidar system. It can be implemented by changing the packet type or adding a new field.
  • the device using it can be used as a device to more actively manage objects that need attention among various objects.
  • this lidar system is used as a sensor device for driving a vehicle, it is necessary to have enough time to cope with a predicted situation that may occur in advance.
  • a safe driving environment can be promoted, and even when applied to an air vehicle, it can be utilized as an artificial intelligence system that can detect unforeseen safety accidents in advance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

라이다(Lidar)의 전체 검출 영역의 데이터를 검출한 후, 특정 영역만을 정밀 검출하거나 필요한 데이터만을 정확하게 검출하도록 하여 인공지능의 요구 사항에 적합하도록 한 인공지능에 대응한 라이다 시스템에 관한 것으로서, 수신 신호를 스캔 데이터로 저장하고, 스캔 데이터를 기초로 물체의 유무와 물리량을 검출하며, 스캔 데이터를 상위 제어단에 전송하도록 제어하는 제어부를 구비하고, 제어부는 사용자가 스캔 대상 영역을 설정하거나, 추적할 대상의 기준을 지정하는 것에 따라 설정된 특정 스캔 영역을 스캔하는 모드, 상위 제어단에서 스캔 데이터를 보고 추적할 대상을 지정(스캔 영역 지정)하면 지정된 특정 스캔 영역을 스캔하는 모드, 기본 영역을 스캔한 후 물체 검출 기준에 따라 독자적으로 주의를 요하는 상세 검출 물체를 선택하고, 선택한 상세 검출 물체를 추적하여 물리적인 데이터를 획득하여 상위 제어단에 보고하는 모드와 같이 인공지능에 대응하는 시스템으로 동작한다.

Description

인공지능에 대응한 라이다 시스템
본 발명은 인공지능에 대응한 라이다 시스템에 관한 것으로, 특히 라이다(Lidar)의 전체 검출 영역의 데이터를 검출한 후, 특정 영역만을 정밀 검출하거나 필요한 데이터만을 정확하게 검출하도록 하여 인공지능의 요구 사항에 적합하도록 한 인공지능에 대응한 라이다 시스템에 관한 것이다.
일반적으로, 라이다 시스템은 레이저를 짧은 시간 순차적으로 주사하고, 그 주사된 레이저펄스가 피사체에서 반사되어 기기로 되돌아오는 시간을 측정하여 피사체와 라이다 본체와의 거리를 검출하는 검출기기이다. 이 빛의 지연 시간을 측정하는 장치는 다수개의 레이저 펄스를 여러 각도로 주사하여, 라이다 전면에 있는 모든 사물과의 거리를 측정한다. 이 측정하는 과정을 "스캔"이라고 하며, 이때 특정된 거리 내의 일정 시간 내로 반사되어 오는 빛의 왕복시간을 이용하여 피사체를 검출하며, 검출은 고속 촬영을 이용하여 마치 영화의 필름과 같은 스프라이트 이미지를 획득하여 전방의 물체를 검출한다.
그 결과 실제 라이다가 관측 범위 내의 획득한 데이터는 중복되거나 반복되는 데이터가 대부분이고, 이를 각 스캔된 데이터의 중복 데이터를 비교하여 제거하는 방식이므로, 중복된 데이터 처리에 대부분의 컴퓨터 자원을 낭비하고 있다.
주기적으로 전체 영역을 스캔하여 전방의 기기들을 검출하는 방식으로 단일의 TX/RX와 미러, 회전체로 전체 영역을 스캔하거나, 복수의 TX/RX와 회전체, 거울, 렌즈로 전체 영역을 검출하는 장치가 실용화되어 있다.
이 기술은 자율주행차량의 운용에 적용하는 초기에 있으나, 현장에 적용하기에 필요한 기능이 부족하여 여러 보조 센서를 이용해야 한다. 특히, 라이다가 전체 영역을 주시 검출하므로, 매 측정된 거의 유사한 화면을 비교하여 중복된 데이터를 제거하는 등 불필요한 중복된 사물에 대한 주시로 라이다 및 부속 컴퓨터 등의 자원을 낭비하는 단점이 있다.
또한, 라이다 시스템을 이용하여 피사체를 검출하는 선행기술이 하기의 <특허문헌 1> 에 개시되어 있다.
<특허문헌 1> 에 개시된 선행기술은 전면 2개의 라이다 센서는 비상상황의 정지를 위하여 사용되며, 차량 중앙에 회전 라이다 센서를 탑재하여 360도 회전 라이다 센서를 통하여 360도 환경 정보를 얻어 장애물 감지하는데 사용되며, 차량 전방에 설치된 웹 캠(Web Cam) 카메라를 통하여 차선 인식 및 추적을 위하여 사용하여, 비상정지 상황, 장애물 감지, 차선 인식 및 추적을 진행하여 이를 통하여 안전하게 차량을 자율주행하기 위한 카메라 및 라이다 센서를 이용한 차량 자율주행방법을 제공한다.
그러나 이러한 선행기술도 회전 라이다 센서를 이용하여 환경 정보를 획득하고, 이를 분석하여 장애물을 감지하는 데 사용할 수는 있으나, 라이다가 전체 영역을 주시 검출하므로, 매 측정된 거의 유사한 화면을 비교하여 중복된 데이터를 제거하는 등 불필요한 중복된 사물에 대해 비교 및 중복된 데이터를 지속적으로 제거하는 자원 낭비를 한다.
따라서 본 발명은 상기와 같은 일반적인 라이다 시스템 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 라이다(Lidar)의 전체 검출 영역의 데이터를 검출한 후, 특정 영역만을 정밀 검출하거나 필요한 데이터만을 정확하게 검출하도록 하여 인공지능의 요구사항에 적합하도록 한 인공지능에 대응한 라이다 시스템 및 그의 제어방법을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 전체 검출 영역에서 배경화면과는 다르게 움직이는 물체를 검출하면 센서에 움직이는 물체들을 주목하여 물체의 더욱 정밀한 거리 및 속도, 움직이는 방향, 전체 크기를 감시할 수 있도록 한 인공지능에 대응한 라이다 시스템 및 그의 제어방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "인공지능에 대응한 라이다 시스템"은, 피사체 검출용 레이저 펄스 광을 발생하는 광 발생장치; 기설정된 측정영역의 방위각과 위도 범위 내에서 제어부로부터 설정되는 방위각과 위도로 상기 광 발생장치에서 발생한 레이저 펄스 광을 반사시키는 MEMS 미러부; 상기 MEMS 미러부를 통해 반사된 레이저 펄스 광을 집속하여 피사체에 주사하고, 피사체로부터 반사된 수신 광은 집속하여 출력하는 렌즈; 상기 렌즈를 통해 집속된 수신 광을 전기적인 신호로 변환하여 검출 신호를 생성하며, 생성한 검출 신호를 증폭 및 디지털 신호로 변환하여 측정 신호로 출력하는 광 수신장치; 상기 광 수신장치에서 출력되는 측정 신호를 스캔 데이터로 저장하고, 스캔 데이터를 기초로 물체의 유무와 물리량을 검출하며, 스캔 데이터를 상위 제어단에 전송하도록 제어하는 제어부; 및 상기 제어부와 연동하여 스캔 데이터를 상위 제어단에 전송하는 통신부를 포함하는 것을 특징으로 한다.
상기에서 제어부는 피사체 검출을 위한 레이저 펄스 광의 발신을 제어하며, 피사체로부터 반사되어 되돌아 오는 측정 신호의 검출 시간을 이용하여 물체의 유무와 물체와의 거리를 측정하며, 복수의 레이저 펄스 광을 동일 각도로 송출하고 측정 신호의 단위 시간당 변화량을 검출하여 속도를 물리량으로 검출하며, 레이저 펄스 광의 주사 각도를 변경하여 물체의 이동 방향 및 크기를 물리량으로 검출하며, 주사 각도 변경을 통해 특정 물체를 추적하는 것을 특징으로 한다.
또한, 본 발명에 따른 "인공지능에 대응한 라이다 시스템"은, 사용자가 설정하는 특정영역 설정 값을 상기 제어기에 전달하는 영역 설정부를 포함하고,
상기 제어부는 상기 영역 설정부에 의해 설정된 영역 설정 값에 따라 전체 스캔 영역에서 특정 스캔 영역을 설정하고, 설정한 특정 스캔 영역의 검출 데이터만을 획득하여 저장하거나 상위 제어단에 전송하는 것을 특징으로 한다.
상기 제어부는 상기 통신부를 통해 상위 제어단으로부터 스캔 영역 설정 값을 수신하면, 수신한 스캔 영역 설정 값을 기초로 전체 스캔 영역으로부터 특정 스캔 영역을 설정하고, 설정한 특정 스캔 영역의 검출 데이터만을 획득하여 저장하고, 상기 상위 제어단에 전송하는 것을 특징으로 한다.
상기 제어부는 설정된 기본 스캔 영역을 스캔하여 스캔 데이터를 획득 및 저장하고, 저장한 스캔 데이터를 분석하여 물체 검출이 발생하면 검출 목록을 작성하고, 검출 물체로부터 정밀 추적이 필요한 상세 검출 물체가 존재하면 MEMS 미러 제어를 통해 레이저 펄스 광의 주사 영역을 제어하여 특정 스캔 영역만을 통해 상세 검출 물체만을 추적하여 상세 검출 물체의 목록 및 스캔 데이터를 저장하고, 상세 검출 물체의 스캔 데이터의 물리량을 분석하여 이상 물체로 판단되면 상기 상위 제어단에 이상 물체에 대해 보고를 수행하는 것을 특징으로 한다.
본 발명에 따르면 라이다(Lidar)의 전체 검출 영역의 데이터를 검출한 후, 특정 영역만을 정밀 검출하거나 필요한 데이터만을 정확하게 검출하도록 하여 자원의 소모를 최소화하면서도 인공지능의 요구사항에 적합한 라이다 시스템을 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면 전체 검출 영역에서 배경화면과는 다르게 움직이는 특정 물체를 검출하면 센서에 움직이는 물체들을 주목하여 물체의 더욱 정밀한 거리 및 속도, 움직이는 방향, 전체 크기를 감시할 수 있어, 부가적인 센서를 사용하지 않으면서도 라이다 시스템 독자적으로 물체를 추적 감시할 수 있는 효과가 있다.
또한, 본 발명에 따르면 전체 스캔 영역 내의 사물들 중 주의해야 할 물체들을 중점적으로 감시할 수 있어, 자동차의 주행을 위한 센서로 활용할 수 있으며, 미리 발생할지도 모르는 예측되는 상황에 대처할 수 있는 시간적 여유를 도모해 주는 인공지능 시스템으로 활용할 수 있는 장점도 있다.
특히, 전체 스캔 영역 중 특정 스캔 영역의 데이터만을 상위 제어단에 보고하는 형태일 경우, 송수신되는 데이터양을 줄일 수 있어, 자원 낭비를 방지할 수 있으며, 아울러 데이터양의 감소로 송수신 데이터의 처리 속도도 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 인공지능에 대응한 라이다 시스템의 구조 예시도,
도 2는 본 발명에 따른 인공지능에 대응한 라이다 시스템의 구성도,
도 3은 본 발명에서 스캔 영역을 설정하는 개념도,
도 4는 본 발명에 따른 라이다 시스템의 스캔 동작 흐름도,
도 5는 본 발명에서 상위 제어단과 통신을 통해 스캔 영역을 제어하는 흐름도,
도 6은 본 발명에서 라이다 시스템에서 독자적으로 스캔 영역을 설정하고, 물체를 추적하는 동작 흐름도,
도 7은 본 발명에서 라이다 시스템과 상위 제어단과의 통신시 데이터 패킷의 예시도이다.
이하 본 발명의 바람직한 실시 예에 따른 인공지능에 대응한 라이다 시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 인공지능에 대응한 라이다 시스템의 구조도이고, 도 2는 본 발명에 따른 인공지능에 대응한 라이다 시스템의 구성도로서, 광 발생장치(101), MEMS(micro-electromechanical system)미러부(105), 렌즈(102), 광 수신장치(106), 제어부(108), 영역 설정부(110) 및 통신부(111)를 포함할 수 있다.
도 2에서 참조부호 10은 검출 대상인 피사체를 나타내고, 참조부호 103은 피사체에 주사되는 레이저 펄스 광을 나타내며, 참조부호 104는 피사체로부터 반사되는 반사 광을 나타낸다.
광 발생장치(101)는 제어부(108)의 제어에 따라 피사체 검출용 레이저 펄스 광을 발생하는 역할을 하는 것으로서, 레이저 다이오드를 구동하는 출력부와 상기 출력부와 연동하여 레이저 펄스 광을 발사하는 레이저 다이오드와 레이저 다이오드로부터 발사된 레이저 광을 평행 광으로 변환하는 시준기(collimator) 등으로 구성될 수 있다.
MEMS 미러부(105)는 상기 제어부(108)의 각도 제어에 따라 상기 광 발생장치(101)에서 발생한 레이저 펄스 광의 방위각과 위도를 결정하여 레이저 펄스 광을 반사하는 역할을 한다. 이러한 MEMS 미러부(105)는 레이저 펄스를 반사하는 MEMS 미러와 MEMS 미러를 제어하는 미러 제어기를 포함하며, 미러 제어기에 의해 정밀한 각도제어가 가능하다.
렌즈(102)는 상기 MEMS 미러부(105)를 통해 송출된 레이저 펄스 광을 집속하여 피사체(10)에 주사하고, 피사체(10)로부터 반사된 수신 광은 집속하여 광 수신장치(106)에 전달하는 역할을 한다. 이러한 렌즈(102)를 통해 레이저 펄스 광을 확장하고 집속할 수 있다.
광 수신장치(106)는 상기 렌즈(102)를 통해 집속된 수신 광을 전기적인 신호로 변환하여 검출 신호를 생성하며, 생성한 검출 신호를 증폭 및 디지털 신호로 변환하여 측정 신호로 상기 제어부(108)에 전달하는 역할을 한다. 이러한 광 수신장치(106)는 수신된 광신호를 전기적인 신호로 변환하는 수신 다이오드를 포함할 수 있다.
제어부(108)는 상기 광 수신장치(106)에서 출력되는 측정 신호를 스캔 데이터로 저장하고, 스캔 데이터를 기초로 물체의 유무와 물리량을 검출하며, 스캔 데이터를 상위 제어단에 전송하도록 제어하는 역할을 한다. 이를 위해 제어부(108)는 내부에 스캔 데이터를 저장하는 메모리, 검출 데이터로부터 물체 유무와 물리량 검출을 위한 데이터 분석기, 스캔 데이터 저장 제어와 검출한 스캔 데이터의 통신 제어, 스캔 영역에 따른 MEMS 미러부(105)의 레이저 펄스 주사 각을 제어하는 제어모듈을 포함할 수 있다.
통신부(111)는 상기 제어부(108)와 연동하여 스캔 데이터를 상위 제어단에 전송하며, 상기 상위 제어단으로부터 전송된 스캔 영역 설정 명령을 상기 제어부(108)에 인터페이스 하는 역할을 한다.
또한, 본 발명에 따른 인공지능에 대응한 라이다 시스템은 사용자가 설정하는 특정영역 설정 값을 상기 제어부(108)에 전달하거나 사용자가 검출하고자 하는 검출 대상의 기준 정보를 상기 제어부(108)에 전달하기 위한 영역 설정부(110)를 더 포함할 수 있다.
여기서 영역 설정부(110)는 선택 사양이다. 즉, 통신부(111)를 통해 스캔 영역 설정 명령에 따라 제어부(108)가 스캔 영역을 설정할 경우나 제어부(108)에서 자체적으로 스캔 영역을 설정하고 물체를 자동으로 추적하는 경우에는 사용하지 않을 수 있다.
이와 같이 구성된 본 발명에 따른 인공지능에 대응한 라이다 시스템의 동작을 첨부한 도면 도 1 내지 도 7을 참조하여 구체적으로 설명하면 다음과 같다.
먼저, 광 발생장치(101)로부터 발생된 피사체 검출용 레이저 펄스 광은 MEMS 미러부(105)에서 원하는 각도로 반사되며, 이 반사된 레이저 펄스 광은 렌즈(102)를 통하여 원하는 각도로 레이저 빔이 퍼지지 않도록 집속된 형태의 레이저 펄스 광(103)으로 송출된다.
이 레이저 펄스 광(103)은 피사체(10)에 주사되고, 이 주사된 빛이 난 반사되어 일부가 되돌아오게 된다. 이 되돌아오는 수신 광(104)은 다시 렌즈(102)를 통하여 집속된 후 광 수신장치(106)에 입력되며, 검출기인 광 수신장치(106)에서 검출된 미약한 광신호는 전기적인 수신신호로 변환되고, 변환된 수신신호는 적절한 증폭기와 디지털 회로를 통해 증폭과 디지털 측정신호로 변환되어 제어부(108)에 전달된다.
이때, MEMS 미러부(105)가 고속의 응답 특성이 있는 형태의 미러로 구성되면, 임의의 각도로 레이저 신호를 보내거나 받을 수 있다. 따라서 제어부(108) 내의 준비된 소프트웨어가 선택된 물체를 검출하는 영역에 주목하도록 센서에 명령을 주면, 이 명령에 따라 주어진 영역을 더욱 세밀하게 추적 및 감시할 수 있다.
이 제한된 영역을 레이저는 보다 정밀하게 주사하여, 목표물의 움직임을 주시할 수 있다. 전체 시스템은 작은 다수개의 스레드를 가진 임베디드 시스템에 의하여 동작하며, 각 스레드는 상위 개념의 기기와 통신, 기기의 MEMS 미러 제어 및 레이저 스캔을 유기적으로 수행하여, 피사체를 추적 및 감시한다.
제어부(108)는 피사체 검출을 위한 레이저 펄스 광의 발신을 제어하며, 피사체(10)로부터 반사되어 되돌아오는 측정 신호(스캔 데이터)의 검출 시간을 이용하여 물체의 존재 유무와 물체와의 거리를 측정한다. 아울러 복수의 레이저 펄스 광을 동일 각도로 송출하고 측정 신호의 단위 시간당 변화량을 검출하여 속도를 물리량으로 검출한다. 또한, 레이저 펄스 광의 주사 각도를 변경하여 물체의 이동 방향 및 크기를 물리량으로 검출할 수 있다. 전체 검출 영역에서 배경화면과는 다르게 움직이는 특정 물체를 검출하면 레이저 펄스 광의 주사 각도 변경을 통해 특정 물체를 추적하는 것도 가능하다.
도 2의 라이다 시스템의 동작은 도 3의 그림을 통하여 이해될 수 있다.
라이다는 전체 영역인 FOV(field of View) 영역을 스캔하고, 이 데이터를 상위의 제어기/신호 처리기에 보낸다. 이 신호 처리기는 스캔한 데이터를 바탕으로 라이더의 제어부(108)에서 특정영역을 검출하도록 요구할 수 있다. 가령 도 3에서 근접하거나 가까운 거리에서 움직이는 물체(201)에 대하여 보다 자세하게 검출을 요구하여 피사체의 움직이는 속도, 방향 등 필요한 물리적 데이터 추출에 필요한 스캔한 데이터나, 측정한 물리적 데이터 요구할 수 있다.
이러한 동작은 도 2의 통신부(111)를 거쳐 라이더 외부의 상위개념 제어기에서 도 7의 데이터 형태의 패킷 데이터를 라이더와 주고받아, 라이더의 동작을 제어하거나 측정 데이터를 주고받는다.
이러한 본 발명은 도 3에 도시한 바와 같이, 물체(204)(205) 등은 라이더 기기에서 멀리 있지만 움직임이 있는 경우나, 움직임이 둔하거나 정지한 물체(202) 등 특별히 주목하고 싶은 목표물을 검출하고 싶은 경우, 상위개념의 제어기에서 부분적으로 그 영역의 스캔을 요구할 수 있고, 이 요구에 걸맞게 부분적인 부분의 스캔 동작기능을 수행할 수 있는 특징이 있다.
여기서 본 발명의 라이다 시스템은 3가지의 동작 모드로 동작할 수 있다.
예컨대, 첫 번째 동작 모드로서, 사용자가 영역 설정부(110)를 통해 스캔 대상 영역을 설정하거나, 추적할 대상의 기준을 지정하는 것에 따라 설정된 특정 스캔 영역을 스캔하는 것, 두 번째 동작 모드로서 스캔 데이터를 통신부(111)를 통해 상위 제어단으로 전송하고, 상위 제어단에서 스캔 데이터를 보고 추적할 대상을 지정(스캔 영역 지정)하면 지정된 특정 스캔 영역을 스캔하는 것, 세 번째 동작 모드로서 기본 영역을 스캔한 후 물체 검출 기준에 따라 자체적으로 주의를 요하는 상세 검출 물체, 즉 특정 물체를 선택하고, 선택한 상세 검출 물체, 즉 특정 물체를 추적하여 물리적인 데이터를 획득하여 상위 제어단에 보고하는 것이다.
각각의 모드를 좀 더 구체적으로 설명하면 다음과 같다.
먼저, 첫 번째 모드는 도 4에 도시한 바와 같이, 제어부(108)에서 상기 영역 설정부(110)에 의해 설정된 영역 설정 값에 따라 전체 스캔 영역에서 특정 스캔 영역을 설정하고, 설정한 특정 스캔 영역의 검출 데이터만을 획득하여 저장하거나 상위 제어단에 전송하는 것이다.
예컨대, 사용자는 영역 설정부(110)를 통해 기본 스캔 영역에서 추적하고자 하는 물체가 있는 특정 스캔 영역 또는 스캔하고자 하는 특정 스캔 영역을 설정하거나, 특정 스캔 영역을 스캔할 수 있는 기준 정보를 입력한다.
제어부(108)는 단계 S11에서 사용자가 특정 영역을 스캔 영역으로 설정했는지를 확인하여, 사용자가 특정 영역을 스캔 영역으로 설정하지 않았으면 단계 S12로 이동하여 기본적으로 설정된 기본 스캔 영역을 스캔하고, 단계 S13에서 획득한 기본 스캔 영역의 스캔 데이터를 저장한다. 이렇게 저장한 스캔 데이터는 상위 제어단에 그대로 전송될 수 있다.
이와는 달리 단계 S14와 같이 사용자가 특정 스캔 영역을 설정한 경우에는, 단계 S15로 이동하여 사용자가 설정한 특정 영역에 대해서만 스캔을 한다. 특정 영역에 대한 스캔은 제어부(108)에서 MEMS 미러부(105)의 방위각과 위도를 제어하는 것으로 간단하게 구현할 수 있으며, MEMS 미러부(105)의 방위각 및 위도 제어는 일반적인 방식이므로 그에 대한 구체적인 설명은 생략하기로 한다.
이어, 단계 S16으로 이동하여 특정 영역의 스캔 데이터를 내부 메모리에 저장하고, 단계 S17에서 기본 스캔 기기 설정 단계로 이동한다.
여기서 스캔 데이터는 물체 유무 정보, 거리 정보, 속도 정보, 크기 정보, 이동 방향 정보 등을 포함할 수 있다.
이렇게 사용자가 설정한 특정 영역만을 스캔하면, 감시하고자 하는 특정 대상만을 스캔하면 되므로, 기존과 같이 전체 스캔 데이터에서 특정 스캔 데이터를 제외하고 나머지를 삭제하는 자원 소모를 방지할 수 있으며, 아울러 특정 영역의 물체만을 직관적으로 스캔하게 되므로 특정 물체를 관찰하는데 소요되는 시간을 단축할 수 있게 되는 것이다.
두 번째 모드는 도 5에 도시한 바와 같이, 통신부(111)를 통해 상위 제어단으로부터 스캔 영역 설정 값을 수신하면, 수신한 스캔 영역 설정 값을 기초로 전체 스캔 영역으로부터 특정 스캔 영역을 설정하고, 설정한 특정 스캔 영역의 검출 데이터만을 획득하여 저장하고, 검출 데이터를 상기 상위 제어단에 전송하는 방식이다.
즉, 단계 S21에서 통신부(111)를 통해 상위 제어단으로부터 스캔 영역의 제한이 발생했는지를 확인하여, 상위 제어단으로부터 특정 스캔 영역이 설정되지 않았으면 단계 S22로 이동하여 기본적으로 설정된 기본 영역을 스캔하고, 스캔한 데이터를 내부 메모리에 저장하고, 아울러 단계 S23으로 이동하여 통신부(111)를 통해 저장한 스캔 데이터를 상위 제어단에 전송한다.
이와는 달리 단계 S24와 같이 상위 제어단에서 특정 스캔 영역을 설정한 경우에는, 상위 제어단에서 설정한 특정 영역에 대해서만 스캔을 한다. 특정 영역에 대한 스캔은 제어부(108)에서 MEMS 미러부(105)의 방위각과 위도를 제어하는 것으로 간단하게 구현할 수 있으며, MEMS 미러부(105)의 방위각 및 위도 제어는 MEMS의 제어에 관한 일반적인 방식이므로 그에 대한 구체적인 설명은 생략하기로 한다.
이어, 단계 S25로 이동하여 특정 영역의 스캔 데이터를 내부 메모리에 저장하고, 저장한 특정 영역의 스캔 데이터를 통신부(111)를 통해 상위 제어단에 전송한다. 따라서 상위 제어단에서는 전체 스캔 영역에서 특이한 움직임이나 주의를 요하는 물체에 대해서만 정밀하게 스캔을 함으로써, 물체 감지에 정확성을 도모할 수 있게 된다. 여기서 스캔 데이터는 물체 유무 정보, 거리 정보, 속도 정보, 크기 정보, 이동 방향 정보 등을 포함할 수 있다.
도 7은 상위 제어단과 통신시 통신 데이터 패킷의 예시이다.
데이터 형태가 전체 스캔 데이터일 경우, 기본 데이터 영역 전체를 스캔 데이터로 결정하여 전송하며, 데이터 형태가 일부 데이터(특정 영역 스캔)일 경우 설정된 특정 데이터 영역(2,23,32,100)의 추출 데이터 필드(물리량 데이터, 속도 데이터, 크기 데이터, 이동 방향 데이터, 기타)를 포함하고, 데이터 검증 필드와 데이터 종료 필드를 포함하여 패킷을 구현할 수 있다.
이렇게 상위 제어단에서 설정한 특정 영역만을 스캔하면, 감시하고자 하는 특정 대상만을 스캔하면 되므로, 기존과 같이 전체 스캔 데이터에서 특정 스캔 데이터를 제외하고 나머지를 삭제하는 자원 소모를 방지할 수 있으며, 아울러 특정 영역의 물체만을 직관적으로 스캔하게 되므로 특정 물체를 관찰하는데 소요되는 시간을 단축할 수 있게 되는 것이다.
세 번째 모드는 도 6에 도시한 바와 같이, 라이다 시스템에서 자체적으로 스캔 영역을 설정하고, 물체를 추적하는 것이다.
이를 위해 제어부(108)는 단계 S31과 같이 설정된 기본 스캔 영역을 스캔하여 스캔 데이터를 획득 및 저장하고, 단계 S32에서 저장한 스캔 데이터를 분석하여 물체 검출이 발생하면 검출 목록을 작성한다.
이어, 단계 S33에서 사용자가 설정한 기준이나 상위 제어단에서 설정한 물체 추적 기준 정보를 이용하여 검출 물체로부터 주의를 요하는 물체가 존재하는지를 확인한다. 여기서 주의를 요하는 물체는 전체 스캔 데이터에서 도 3에 도시한 바와 같이, 움직이는 피사체가 될 수 있다. 즉, 전체 스캔 데이터는 고정된 피사체를 제외하고 움직임이 있는 피사체를 주의를 요하는 물체라고 판단할 수 있다.
상기 단계 S33의 확인 결과 정밀 추적이 필요한 상세 검출 물체가 존재하면, 단계 S34으로 이동하여 MEMS 미러 제어를 통해 레이저 빔의 주사 영역을 상기 상세 검출 물체의 스캔 영역으로 제어하여 특정 스캔 영역만을 통해 상세 검출 물체만을 추적하여 상세 검출 물체의 목록 및 스캔 데이터를 저장한다. 이러한 과정을 통해 전체 스캔 데이터에서 상세 검출 물체에 대한 스캔이 종료되면(S35), 단계 S36으로 이동하여 상세 검출 물체의 스캔 데이터의 물리량을 분석하여 이상 물체 유무를 판단한다. 여기서 이상 물체 유무의 판단 기준은 미리 설정할 수 있으며, 예를 들어, 근접하는 이동 물체이거나, 라이다 시스템에 너무 근접하게 있는 물체이거나, 빠르게 접근하는 물체일 수 있다. 이 밖에도 다양한 설정 기준을 통해 이상 물체 유무를 판단할 수 있다.
상기 단계 S36의 판단 결과 상세 물체 중 이상 물체가 존재하면, 단계 S38로 이동하여 상기 상위 제어단에 이상 물체에 대해 보고를 수행한다. 여기서 이상 물체에 대한 보고 형태는 도 7과 같은 패킷 형태로 구현될 수 있다.
상위 제어단에서는 라이다 시스템에서 보고되는 이상 데이터에 대한 내용을 분석하여 필요한 데이터를 상기 라이다 시스템으로 요구할 수 있으며, 이렇게 추가 요구하거나 추가로 요구하는 데이터에 대해서는 정해진 통신 규약의 범위 내에서 도7과 같은 패킷 형태를 변경하거나 새로운 필드를 추가하여 구현할 수 있다.
이렇게 라이다 시스템에서 독자적으로 특정한 지점들을 중점적으로 관리함으로써, 이를 사용하는 기기에서는 더욱 능동적으로 여러 사물 중에 주의해야 하는 물체들을 중점 관리하는 장비로 활용할 수 있다. 특히, 자동차의 주행에 센서 장비로 본 라이다 시스템을 활용할 경우, 미리 발생할지도 모르는 예측되는 상황에 대처할 수 있는 시간의 여유를 갖도록 한다. 이는 결과적으로 안전한 주행환경을 도모할 수 있으며, 비행체에 적용할 경우에도 언제 발생할지 모르는 안전사고를 미리 검출할 수 있는 인공지능 시스템으로 활용할 수 있는 것이다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.

Claims (5)

  1. 피사체 검출용 레이저 펄스 광을 발생하는 광 발생장치;
    기설정된 측정영역의 방위각과 위도 범위 내에서 제어부로부터 설정되는 방위각과 위도로 상기 광 발생장치에서 발생한 레이저 펄스 광을 반사시키는 MEMS 미러부;
    상기 MEMS 미러부를 통해 반사된 레이저 펄스 광을 집속하여 피사체에 주사하고, 피사체로부터 반사된 수신 광은 집속하여 출력하는 렌즈;
    상기 렌즈를 통해 집속된 수신 광을 전기적인 신호로 변환하여 검출 신호를 생성하며, 생성한 검출 신호를 증폭 및 디지털 신호로 변환하여 측정 신호로 출력하는 광 수신장치;
    상기 광 수신장치에서 출력되는 측정 신호를 스캔 데이터로 저장하고, 스캔 데이터를 기초로 물체의 유무와 물리량을 검출하며, 스캔 데이터를 상위 제어단에 전송하도록 제어하는 제어부; 및
    상기 제어부와 연동하여 스캔 데이터를 상위 제어단에 전송하는 통신부를 포함하는 것을 특징으로 하는 인공지능에 대응한 라이다 시스템.
  2. 청구항 1에서, 상기 제어부는 피사체 검출을 위한 레이저 펄스 광의 발신을 제어하며, 피사체로부터 반사되어 되돌아오는 측정 신호의 검출 시간을 이용하여 물체의 유무와 물체와의 거리를 측정하며, 복수의 레이저 펄스 광을 동일 각도로 송출하고 측정 신호의 단위 시간당 변화량을 검출하여 속도를 물리량으로 검출하며, 레이저 펄스 광의 주사 각도를 변경하여 물체의 이동 방향 및 크기를 물리량으로 검출하며, 전체 검출 영역에서 배경화면과는 다르게 움직이는 특정 물체를 검출하면 레이저 펄스 광의 주사 각도의 변경을 통해 특정 물체를 추적하는 것을 특징으로 하는 인공지능에 대응한 라이다 시스템.
  3. 청구항 1에서, 사용자가 설정하는 특정영역 설정 값을 상기 제어부에 전달하거나 사용자가 검출하고자 하는 검출 대상의 기준 정보를 상기 제어부에 전달하는 영역 설정부를; 더 포함하고,
    상기 제어부는 상기 영역 설정부에 의해 설정된 영역 설정 값에 따라 전체 스캔 영역에서 특정 스캔 영역을 설정하고, 설정한 특정 스캔 영역의 검출 데이터만을 획득하여 저장하거나 상위 제어단에 전송하는 것을 특징으로 하는 인공지능에 대응한 라이다 시스템.
  4. 청구항 1에서, 상기 제어부는 상기 통신부를 통해 상위 제어단으로부터 스캔 영역 설정 값을 수신하면, 수신한 스캔 영역 설정 값을 기초로 전체 스캔 영역으로부터 특정 스캔 영역을 설정하고, 설정한 특정 스캔 영역의 검출 데이터만을 획득하여 저장하고, 상기 상위 제어단에 전송하는 것을 특징으로 하는 인공지능에 대응한 라이다 시스템.
  5. 청구항 1에서, 상기 제어부는 설정된 기본 스캔 영역을 스캔하여 스캔 데이터를 획득 및 저장하고, 저장한 스캔 데이터를 분석하여 물체 검출이 발생하면 검출 목록을 작성하고, 검출 물체로부터 정밀 추적이 필요한 상세 검출 물체가 존재하면 MEMS 미러부 제어를 통해 레이저 빔의 주사 영역을 제어하여 특정 스캔 영역만을 통해 상세 검출 물체만을 추적하여 상세 검출 물체의 목록 및 스캔 데이터를 저장하고, 상세 검출 물체의 스캔 데이터의 물리량을 분석하여 이상 물체로 판단되면 상기 상위 제어단에 이상 물체이상 물체보고를 수행하는 것을 특징으로 하는 인공지능에 대응한 라이다 시스템.
PCT/KR2020/018496 2020-03-13 2020-12-17 인공지능에 대응한 라이다 시스템 WO2021182728A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0031251 2020-03-13
KR1020200031251A KR102186830B1 (ko) 2020-03-13 2020-03-13 인공지능에 대응한 라이다 시스템

Publications (1)

Publication Number Publication Date
WO2021182728A1 true WO2021182728A1 (ko) 2021-09-16

Family

ID=73776930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018496 WO2021182728A1 (ko) 2020-03-13 2020-12-17 인공지능에 대응한 라이다 시스템

Country Status (2)

Country Link
KR (1) KR102186830B1 (ko)
WO (1) WO2021182728A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244153A (ja) * 1994-03-01 1995-09-19 Nikon Corp 距離測定装置
JP2008298652A (ja) * 2007-05-31 2008-12-11 Sanyo Electric Co Ltd ビーム照射装置およびレーザレーダ
KR20180071776A (ko) * 2016-12-20 2018-06-28 엘지전자 주식회사 자율 주행 차량
KR101998298B1 (ko) * 2018-12-14 2019-07-09 위고코리아 주식회사 카메라 및 라이다 센서를 이용한 차량 자율주행방법
JP2019535014A (ja) * 2016-09-20 2019-12-05 イノヴィズ テクノロジーズ リミテッド Ｌｉｄａｒシステム及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106323269B (zh) * 2015-12-10 2019-06-07 上海思岚科技有限公司 自主定位导航设备、定位导航方法及自主定位导航系统
KR101873202B1 (ko) * 2018-05-24 2018-07-02 주식회사 싸인텔레콤 Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244153A (ja) * 1994-03-01 1995-09-19 Nikon Corp 距離測定装置
JP2008298652A (ja) * 2007-05-31 2008-12-11 Sanyo Electric Co Ltd ビーム照射装置およびレーザレーダ
JP2019535014A (ja) * 2016-09-20 2019-12-05 イノヴィズ テクノロジーズ リミテッド Ｌｉｄａｒシステム及び方法
KR20180071776A (ko) * 2016-12-20 2018-06-28 엘지전자 주식회사 자율 주행 차량
KR101998298B1 (ko) * 2018-12-14 2019-07-09 위고코리아 주식회사 카메라 및 라이다 센서를 이용한 차량 자율주행방법

Also Published As

Publication number Publication date
KR102186830B1 (ko) 2020-12-04

Similar Documents

Publication Publication Date Title
US11619939B2 (en) Self-driving vehicle positioning method, apparatus and storage medium
CA2884160C (en) Room occupancy sensing apparatus and method
WO2017051986A1 (ko) 라이다 센서 장치
US20040227057A1 (en) Wireless power transmission
US20050222691A1 (en) Method for the automated control of a technical installation and process control system for carrying out said method
WO2019112164A1 (ko) 3차원 라이다 장치 및 거리측정 방법
CN111759216A (zh) 一种自动门开合控制方法
WO2019022304A1 (ko) 하이브리드 라이다 스캐너
WO2019088335A1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
WO2021096328A2 (ko) 타겟의 초기 위치 감지 기능을 구비한 레이저 추적 장치 및 추적 방법
WO2017171140A1 (ko) 오목 반사 미러를 가지는 스캐닝 라이다
US20230134642A1 (en) Lidar system capable of setting sensingn area
WO2021182728A1 (ko) 인공지능에 대응한 라이다 시스템
WO2017111201A1 (ko) 야간 영상표시 장치 및 그 영상처리 방법
WO2023120818A1 (ko) 자율주행차량이 혼재된 교통흐름 제어를 위한 교통흐름 제어 장치 및 이를 이용하는 방법
WO2018079921A1 (ko) 광 송수광 장치 및 방법
WO2022139027A1 (ko) 인공지능 기반의 선박 과속 판정 장치, 방법 및 그 시스템
WO2021167312A1 (ko) 라이다 센서를 구비한 터치 인식 방법 및 장치
WO2019017692A1 (ko) Tof 모듈 및 그 tof 모듈을 이용한 피사체 인식장치
US4701625A (en) Separation type detector with addressed selection
WO2022196884A1 (ko) 스테레오 카메라 및 레이더를 이용한 차량 감지 시스템 및 차량 감지 방법
WO2022080586A1 (ko) 전력 소비를 감소시키는 라이다 시스템 및 이의 구동 방법
CN215298410U (zh) 一种入侵识别系统
WO2017119547A1 (ko) 신호간섭검출장치 및 방법
WO2023191429A1 (ko) 카메라 교환렌즈 제어장치 및 그를 포함하는 카메라

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924913

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/01/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20924913

Country of ref document: EP

Kind code of ref document: A1