KR20140123270A - Apparatus, method and system for detecting objects using radar device and image mapping - Google Patents

Apparatus, method and system for detecting objects using radar device and image mapping Download PDF

Info

Publication number
KR20140123270A
KR20140123270A KR20130040359A KR20130040359A KR20140123270A KR 20140123270 A KR20140123270 A KR 20140123270A KR 20130040359 A KR20130040359 A KR 20130040359A KR 20130040359 A KR20130040359 A KR 20130040359A KR 20140123270 A KR20140123270 A KR 20140123270A
Authority
KR
South Korea
Prior art keywords
image
sensing information
reflected
radio signal
antenna devices
Prior art date
Application number
KR20130040359A
Other languages
Korean (ko)
Other versions
KR101480992B1 (en
Inventor
조풍연
Original Assignee
메타빌드주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타빌드주식회사 filed Critical 메타빌드주식회사
Priority to KR20130040359A priority Critical patent/KR101480992B1/en
Publication of KR20140123270A publication Critical patent/KR20140123270A/en
Application granted granted Critical
Publication of KR101480992B1 publication Critical patent/KR101480992B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a radar device, and a device, a method and a system for detecting an object using image mapping. According to the present invention, the device for detecting an object comprises: a radar sensor unit to receive radio signals reflected by one or more objects using an antenna; an image processing unit to generate an image on certain space including one or more objects; and a calculating unit to detect one or more objects from the reflected radio signals by giving an intrinsic identifier (ID) to each of one or more objects, wherein the calculating unit generates detection information on one or more objects by mapping one or more objects detected from the reflected radio signals with the image based on the intrinsic ID.

Description

레이더 장치 및 영상 맵핑을 이용한 물체 감지 장치, 방법 및 시스템{APPARATUS, METHOD AND SYSTEM FOR DETECTING OBJECTS USING RADAR DEVICE AND IMAGE MAPPING}TECHNICAL FIELD [0001] The present invention relates to an object detecting apparatus, a method, and a system using a radar apparatus and an image mapping,

본 발명은 레이더 장치를 이용하여 하나 이상의 물체를 검출하고, 검출한 물체 각각에 부여된 고유의 식별자(ID)를 이용하여 검출한 물체를 레이더 장치의 커버 영역에 대한 영상과 맵핑(mapping)함으로써 도로, 교차로 등에서 차량과 보행자, 기타 물체의 위치를 정확히 감지할 수 있는 무선 신호를 이용한 물체 감지 장치, 방법, 및 시스템에 관한 것이다.The present invention detects one or more objects by using a radar device and maps the detected object by using a unique identifier (ID) assigned to each of the detected objects to an image of a cover area of the radar device, The present invention relates to an object detecting apparatus, a method, and a system using a wireless signal capable of accurately detecting a position of a vehicle, a pedestrian, and other objects at an intersection.

차량 및 사람이 이용하는 도로 교통에서는 항상 사고 가능성이 잠재되어 있으며, 실제로 전국적으로 하루에도 수많은 교통 사고 및 위험 상황이 발생한다. 특히 고속도로와 같은 초고속 주행 환경 또는 야간에는 운전자의 주변 상황 인지능력이 현저히 저하될 가능성이 크고, 이는 곧 대형 교통 사고로 이어질 수 있다.There is always potential for accidents in the road traffic used by vehicles and people, and in fact, many traffic accidents and dangerous situations occur throughout the country day by day. Especially, in a high-speed driving environment such as a highway or at night, there is a great possibility that the ability of the driver to perceive the surrounding situation is significantly deteriorated, which may lead to a large traffic accident.

도로 상의 상황을 감지하기 위한 다양한 기술들이 제안되고 있지만, 종래에는 도로 또는 차량에 설치된 적외선 카메라를 이용하여 전방의 물체를 감지하고 이를 통보하는 기술에 국한되어 있고, 이러한 방식은 감지 효율이 떨어지는 단점이 있다. 실제로 도로 상에는 운행 차량과 보행자를 포함하여 예기치 못한 원인에 의한 낙하물, 고장 차량 등이 다양하게 존재할 수 있는데 이들 각각의 경우를 서로 구별하여 정확하게 감지할 필요성이 있다.Various technologies for detecting a situation on the road have been proposed. However, in the related art, it is limited to a technology for detecting an object ahead and using an infrared camera installed on a road or a vehicle, have. Actually, on the road, there may be various kinds of falling objects, such as a moving vehicle and a pedestrian, due to an unexpected cause, a broken vehicle, etc. It is necessary to distinguish each of these cases accurately.

한국등록특허 제10-0987177호Korean Patent No. 10-0987177

본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 레이더 장치를 이용하여 검출한 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하고, 검출한 하나 이상의 물체와 레이더 장치의 커버 영역에 대한 영상을, 물체에 부여된 고유의 식별자에 기초하여 서로 맵핑(mapping)함으로써 물체의 감지 정보를 정확하게 감지할 수 있는 물체 감지 장치, 방법, 및 시스템을 제공하는데 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide an ID (unique ID) to each of at least one object detected using a radar device, A method, apparatus, and system for detecting an object by detecting an image of the object based on a unique identifier assigned to the object.

본 발명의 제1 기술적인 측면에 따르면, 안테나를 이용하여 하나 이상의 물체에 의해 반사되는 무선 신호를 수신하는 레이더 센서부, 상기 하나 이상의 물체가 포함되는 소정의 공간에 대한 영상을 생성하는 영상 처리부, 및 상기 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하여 상기 반사되는 무선 신호로부터 상기 하나 이상의 물체를 검출하는 연산부를 포함하고, 상기 연산부는 상기 반사되는 무선 신호로부터 검출한 상기 하나 이상의 물체를 상기 고유의 식별자에 기초하여 상기 영상과 맵핑(mapping)함으로서 상기 하나 이상의 물체에 대한 감지 정보를 생성하는 물체 감지 장치를 제안한다.According to a first technical aspect of the present invention, there is provided an image processing apparatus including a radar sensor unit for receiving a radio signal reflected by at least one object using an antenna, an image processing unit for generating an image for a predetermined space including the at least one object, And an arithmetic unit for assigning a unique identifier (ID) to each of the at least one object to detect the at least one object from the reflected radio signal, and the arithmetic unit calculates the at least one object detected from the reflected radio signal And generates sensing information on the at least one object by mapping the sensed image with the image based on the unique identifier.

또한, 상기 감지 정보는, 상기 하나 이상의 물체 각각의 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나를 포함하는 물체 감지 장치를 제안한다.The sensing information may include at least one of a position, a moving speed, a moving direction, a size, and a shape of each of the at least one object.

또한, 상기 센서부는 복수의 안테나를 포함하고, 상기 연산부는 상기 복수의 안테나 장치와 연결되는 복수의 고주파 스위치의 온/오프를 결정하여 상기 복수의 안테나 장치 각각의 커버 영역 사이에서 핸드 오버(hand-over)를 제어하는 물체 감지 장치를 제안한다.Also, the sensor unit may include a plurality of antennas, and the computing unit may determine on / off of a plurality of high-frequency switches connected to the plurality of antenna devices, and perform a hand- over of the object.

또한, 상기 연산부는, 상기 하나 이상의 물체 중 적어도 하나가 상기 복수의 안테나 장치 각각의 커버 영역 사이에서 이동하면, 상기 복수의 안테나 장치의 커버 영역 사이에서 핸드 오버를 적용하여 상기 이동하는 물체를 연속적으로 추적(tracking)하는 물체 감지 장치를 제안한다.In addition, when at least one of the at least one object moves between the cover areas of each of the plurality of antenna devices, the calculation unit may apply the handover between the cover areas of the plurality of antenna devices to continuously move the moving object We propose an object tracking system for tracking.

또한, 상기 연산부는, 상기 감지 정보에 기초하여 상기 하나 이상의 물체의 정지 여부를 판단하고, 이동하는 것으로 판단된 상기 하나 이상의 물체에 대해 이동 속도 및 이동 방향 중 적어도 하나를 감지하는 물체 감지 장치를 제안한다.The operation unit may further include an object sensing device that determines whether the at least one object is stopped based on the sensing information and senses at least one of a moving speed and a moving direction of the at least one object determined to be moved do.

또한, 상기 연산부는, 상기 센서부와 통신 가능하도록 연결되는 외부 단말기 또는 차량에 상기 감지 정보를 전송하는 물체 감지 장치를 제안한다.Also, the operation unit proposes an object sensing apparatus for transmitting the sensing information to an external terminal or a vehicle connected to the sensor unit so as to communicate with the sensor unit.

또한, 상기 연산부는, 상기 감지 정보에 기초하여 상기 하나 이상의 물체가 위치한 공간을 촬영할 수 있는 추적 카메라의 동작을 제어하는 물체 감지 장치를 제안한다.The operation unit may control an operation of a tracking camera capable of capturing a space in which the at least one object is located based on the sensing information.

또한, 상기 연산부는, 상기 레이더 센서부가 수신하는 무선 신호에 기초하여 상기 하나 이상의 물체에 대한 감지 정보를 나타내는 2차원 또는 3차원 지도를 구성하고, 상기 고유의 식별자에 기초하여 상기 2차원 또는 3차원 지도를 상기 영상과 맵핑하는 물체 감지 장치를 제안한다.
The arithmetic unit may be configured to construct a two-dimensional or three-dimensional map indicating sensing information on the at least one object based on a radio signal received by the radar sensor unit, And an object detecting device for mapping the map with the image.

한편, 본 발명의 제2 기술적인 측면에 따르면, 복수의 안테나를 포함하는 레이더 장치와 연동되어 하나 이상의 물체에 의해 반사되는 무선 신호를 수신하는 단계, 상기 반사되는 무선 신호로부터 감지한 상기 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하는 단계, 상기 고유의 식별자(ID)에 기초하여 상기 반사되는 무선 신호로부터 감지한 상기 하나 이상의 물체를, 상기 하나 이상의 물체가 포함되는 공간의 영상에 맵핑(mapping)하는 단계, 및 상기 하나 이상의 물체에 대한 감지 정보를 생성하는 단계를 포함하는 물체 감지 방법을 제안한다.According to a second technical aspect of the present invention, there is provided a wireless communication method including receiving a radio signal reflected by at least one object in cooperation with a radar device including a plurality of antennas, Mapping the at least one object sensed from the reflected wireless signal to an image of a space containing the at least one object based on the unique identifier (ID) (step < RTI ID = 0.0 > mapping one or more objects, and generating sensing information for the one or more objects.

또한, 복수의 안테나를 통해 상기 하나 이상의 물체에 상기 무선 신호를 송출하는 단계를 더 포함하는 물체 감지 방법을 제안한다.The method may further include sending the radio signal to the at least one object through a plurality of antennas.

또한, 상기 감지 정보에 기초하여 상기 하나 이상의 물체 각각의 정지 여부를 판단하는 단계, 및 이동하는 것으로 판단된 상기 하나 이상의 물체에 대하여 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나의 정보를 산출하는 단계를 더 포함하는 물체 감지 방법을 제안한다.Determining whether each of the at least one object is stopped based on the sensing information, determining at least one of the position, the moving speed, the moving direction, the size, and the shape information for the at least one object determined to be moving The method further comprising the step of calculating the information.

또한, 통신 가능하도록 연결된 외부 단말기 또는 차량에 상기 감지 정보를 전송하는 단계를 더 포함하는 물체 감지 방법을 제안한다.The method further includes transmitting the sensing information to an external terminal or a vehicle connected to be communicable.

또한, 상기 감지 정보에 기초하여 상기 하나 이상의 물체가 위치한 공간을 촬영할 수 있는 추적 카메라의 동작을 제어하는 단계를 더 포함하는 물체 감지 방법을 제안한다.
The method may further include controlling an operation of a tracking camera capable of capturing a space in which the at least one object is located based on the sensing information.

한편, 본 발명의 제3 기술적인 측면에 따르면, 복수의 안테나를 통해 소정의 공간에 무선 신호를 송출하고, 하나 이상의 물체에 의해 반사되는 상기 무선 신호를 수신하는 레이더 장치, 상기 공간에 대한 영상을 촬영하는 영상 촬영 장치, 및 상기 레이더 장치 및 상기 영상 촬영 장치와 통신 가능하도록 연결되며, 상기 반사되는 무선 신호로부터 검출되는 상기 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하는 제어 장치를 포함하고, 상기 제어 장치는 상기 반사되는 무선 신호로부터 검출한 상기 하나 이상의 물체를 상기 고유의 식별자에 기초하여 상기 영상과 맵핑(mapping)함으로서 상기 하나 이상의 물체에 대한 감지 정보를 생성하는 물체 감지 시스템을 제안한다.According to a third aspect of the present invention, there is provided a radar device for transmitting a radio signal to a predetermined space through a plurality of antennas and receiving the radio signal reflected by at least one object, And a control device connected to be capable of communicating with the radar device and the image photographing device and giving an identifier (ID) unique to each of the at least one object detected from the reflected wireless signal, , The controller proposes an object detection system for generating detection information on the at least one object by mapping the at least one object detected from the reflected wireless signal to the image based on the unique identifier .

또한, 상기 하나 이상의 물체를 촬영하는 추적 카메라를 더 포함하고, 상기 제어 장치는 상기 감지 정보에 기초하여 상기 추적 카메라의 동작을 제어하는 물체 감지 시스템을 제안한다.Further, the apparatus further includes a tracking camera for photographing the at least one object, and the control device proposes an object sensing system for controlling the operation of the tracking camera based on the sensing information.

또한, 상기 감지 정보는, 상기 하나 이상의 물체 각각의 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나를 포함하는 물체 감지 시스템을 제안한다.Also, the sensing information may include at least one of a position, a moving speed, a moving direction, a size, and a shape information of each of the at least one object.

또한, 상기 레이더 장치는 복수의 안테나 장치, 상기 복수의 안테나 장치 각각의 동작을 제어하는 복수의 고주파 스위치, 및 상기 반사되는 무선 신호를 수신하기 위한 수신 회로를 포함하고, 상기 제어 장치는 상기 복수의 고주파 스위치 각각의 온/오프를 결정하여 상기 복수의 안테나 장치가 형성하는 커버 영역 사이의 핸드 오버(hand-over)를 제어하는 물체 감지 시스템을 제안한다.Further, the radar device includes a plurality of antenna devices, a plurality of high-frequency switches for controlling the operation of each of the plurality of antenna devices, and a receiving circuit for receiving the reflected radio signal, And controls the hand-over between the cover areas formed by the plurality of antenna devices by determining ON / OFF of each of the high-frequency switches.

또한, 상기 하나 이상의 물체 중 적어도 하나가 상기 복수의 안테나 장치 각각의 영역 사이에서 이동하면, 상기 복수의 안테나 장치의 영역 사이에서 핸드 오버를 적용하여 상기 이동하는 물체를 연속적으로 추적(tracking)하는 물체 감지 시스템을 제안한다.Also, when at least one of the at least one object moves between regions of each of the plurality of antenna devices, applying an handover between regions of the plurality of antenna devices to continuously track the moving object Detection system.

또한, 상기 제어 장치는, 통신 가능하도록 연결되는 외부 단말기 또는 차량에 상기 감지 정보를 전송하는 물체 감지 시스템을 제안한다.Also, the control device proposes an object detection system for transmitting the sensing information to an external terminal or a vehicle connected to be communicable.

본 발명에 따르면, 레이더 장치를 이용하여 하나 이상의 물체를 검출하고, 검출한 물체에 고유의 식별자(ID)를 부여한다. 검출한 물체와, 레이더 장치의 커버 영역을 촬영한 영상을 물체에 부여한 고유의 식별자(ID)를 이용하여 맵핑하고, 그로부터 물체의 위치 및 이동 정보 등을 산출함으로써, 보행자, 이동 차량은 물론 낙하물, 고장 차량 등과 같은 다양한 돌발 상황에서도 복수의 물체를 정확히 감지할 수 있다.According to the present invention, one or more objects are detected using a radar device, and a unique identifier (ID) is given to the detected object. The detected object and the image of the cover area of the radar device are mapped by using a unique identifier (ID) given to the object, and the position and movement information of the object are calculated therefrom. Thus, It is possible to accurately detect a plurality of objects even in various unexpected situations such as a broken vehicle.

도 1은 본 발명의 실시예에 따른 물체 감지 장치를 간단하게 나타낸 블록도이다.
도 2 및 도 3은 본 발명의 실시예에 따른 물체 감지 시스템을 설명하기 위해 제공되는 도이다.
도 4는 본 발명의 실시예에 따른 물체 감지 방법을 설명하는 데에 제공되는 흐름도이다.1 is a block diagram briefly showing an object sensing apparatus according to an embodiment of the present invention.
FIG. 2 and FIG. 3 are diagrams for explaining an object detection system according to an embodiment of the present invention.
4 is a flowchart illustrating an object detection method according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.

도 1은 본 발명의 실시예에 따른 물체 감지 장치를 간단하게 나타낸 블록도이다.1 is a block diagram briefly showing an object sensing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 물체 감지 장치(100)는 레이더 센서부(110), 영상 처리부(120), 연산부(130), 및 카메라(140) 등을 포함할 수 있다. 도 1에는 물체 감지 장치(100)가 4개의 모듈로 구성되는 것으로 도시하였으나, 반드시 이와 같은 형태로 한정되는 것은 아니며, 필요에 따라 추가적인 모듈이 포함될 수도 있다.Referring to FIG. 1, an object sensing apparatus 100 according to an embodiment of the present invention may include a radar sensor unit 110, an image processing unit 120, an operation unit 130, and a camera 140. Although the object sensing apparatus 100 is shown in FIG. 1 as being composed of four modules, it is not necessarily limited to such an embodiment, and additional modules may be included if necessary.

도 1에 도시한 물체 감지 장치(100)는 레이더 센서부(110)를 통해 복수의 물체를 동시에 감지할 수 있다. 이때, 레이더 센서부(110)는 특정 영역(예를 들어, 자동차가 운행하는 도로, 교차로 등)의 상황을 감지하기 위해 물체 감지 장치(100)에 포함될 수 있다. 물체 감지 장치(100)의 연산부(130)는 레이더 센서부(110)가 외부로 송출 및 외부로부터 수신하는 무선 신호로부터 레이더 센서부(110)가 무선 신호를 송출하는 지역에 포함되는 하나 이상의 물체에 대한 감지 정보를 생성한다. 또한, 연산부(130)는 생성한 감지 정보로부터, 레이더 센서부(110)가 무선 신호를 송출하는 지역에 대한 2차원 또는 3차원 지도를 구성할 수 있다. The object detecting apparatus 100 shown in FIG. 1 can simultaneously detect a plurality of objects through the radar sensor unit 110. At this time, the radar sensor unit 110 may be included in the object sensing apparatus 100 to detect a situation of a specific region (for example, a road or an intersection on which the automobile travels). The calculation unit 130 of the object sensing apparatus 100 calculates the distance from the radar sensor unit 110 to at least one object included in an area where the radar sensor unit 110 transmits a radio signal, And generates sensing information for the sensor. Also, the operation unit 130 can construct a two-dimensional or three-dimensional map of an area where the radar sensor unit 110 transmits the radio signal from the generated sensing information.

레이더 센서부(110)는 외부로 송출되거나 외부로부터 수신되는 무선 신호를 처리하는 모듈로서, 신호 처리를 위한 고주파 스위치 회로, A/D 또는 D/A 컨버터 회로, 무선 신호 생성 회로 등을 포함할 수 있다. 레이더 센서부(110)는 하나 이상의 안테나를 포함할 수 있으며, 하나 이상의 안테나가 외부로 방사하는 무선 신호를 조절하거나, 물체에 반사되어 되돌아오는 무선 신호를 수신하여 디지털 형태의 데이터로 변환하고, 이를 연산부(130)에 전달할 수 있다. 무선 신호를 외부로 송출하고 물체에서 반사되어 되돌아오는 무선 신호를 수신하기 위해 레이더 센서부(110)에 포함되는 안테나는 특정한 방향으로 신호를 방사하는 지향성 안테나일 수 있다. 또한 연산부(130)는 사용자의 단말기, 차량에 마련된 통신 가능한 기기(네비게이션, GPS 장치 등)와 데이터 통신망 등을 통해 연결될 수 있다.The radar sensor unit 110 may include a high frequency switch circuit for processing signals, an A / D or D / A converter circuit, a wireless signal generating circuit, and the like for processing wireless signals transmitted to the outside or received from the outside have. The radar sensor unit 110 may include one or more antennas, and the at least one antenna may adjust a radio signal radiated to the outside, receive a wireless signal reflected back from the object, convert the received radio signal into digital form data, To the arithmetic operation unit (130). The antenna included in the radar sensor unit 110 may be a directional antenna that emits a signal in a specific direction in order to transmit the wireless signal to the outside and receive the wireless signal reflected from the object and returned. The operation unit 130 may be connected to a user's terminal, a communicable device (navigation device, GPS device, etc.) provided in the vehicle, and the like through a data communication network.

영상 처리부(120)는 CCTV 등과 같이 외부에 설치되는 영상 촬영 장치로부터 특정 공간에 대한 영상을 생성한다. 본 실시예에서는 레이더 센서부(110)가 무선 신호를 송출하고, 송출한 무선 신호의 반사 신호를 수신하여 물체의 존재 여부를 감지할 수 있는 영역(이하, 레이더 센서부(110)의 "커버 영역"이라 함)을 촬영하는 영상 촬영 장치가 영상 처리부(120)와 연동될 수 있다. 즉, 레이더 센서부(110)의 커버 영역을 촬영하는 CCTV 등의 장치와 영상 처리부(120)가 연결되고, 영상 처리부(120)는 레이더 센서부(110)의 커버 영역을 촬영한 영상을 생성할 수 있다.The image processing unit 120 generates an image for a specific space from a video photographing apparatus installed outside, such as CCTV. In the present embodiment, the radar sensor unit 110 transmits a radio signal, receives a reflected signal of the transmitted radio signal, and detects a presence or absence of an object (hereinafter referred to as a &Quot;) may be interlocked with the image processing unit 120. The image processing unit 120 may be a microprocessor. That is, an apparatus such as a CCTV for photographing a cover area of the radar sensor unit 110 is connected to an image processing unit 120, and the image processing unit 120 generates an image of a cover area of the radar sensor unit 110 .

하나 이상의 물체에 대해 송출 및 반사하는 무선 신호로부터 레이더 센서부(110)가 생성하는 감지 데이터와, 영상 촬영 장치로부터 영상 처리부(120)가 생성하는 영상 데이터는 연산부(130)로 전송된다. 연산부(130)는 감지 데이터와 영상 데이터를 분석하여 감지 데이터에 포함된 물체가 영상 데이터에도 포함되어 있는지 여부 등을 결정하고, 그로부터 레이더 센서부(110)의 커버 영역에 대한 차량 운행 정보, 보행자 유무, 돌발 상황의 발생 여부 등을 판단할 수 있다. 이때, 연산부(130)는 레이더 센서부(110)로부터 수집한 감지 데이터를 이용하여 2차원 또는 3차원 지도를 구성할 수 있으며, 해당 지도에는 레이더 센서부(110)가 송출한 무선 신호를 반사시킨 물체에 대한 감지 정보가 포함될 수 있다.The sensing data generated by the radar sensor unit 110 from the wireless signal transmitted and reflected to one or more objects and the image data generated by the image processing unit 120 from the image sensing apparatus are transmitted to the computing unit 130. The calculation unit 130 analyzes the sensing data and the image data to determine whether or not an object included in the sensing data is also included in the image data, and then calculates vehicle driving information for the cover area of the radar sensor unit 110, , Whether or not an unexpected situation has occurred, and the like. At this time, the calculation unit 130 may construct a two-dimensional or three-dimensional map using the sensed data collected from the radar sensor unit 110. The map may include a reflection signal, which reflects the radio signal transmitted by the radar sensor unit 110 Sensing information for an object may be included.

레이더 센서부(110)가 송출 및 수신하는 무선 신호에 기초하여 하나 이상의 물체에 대해 생성되는 감지 정보는, 해당 물체의 위치, 이동 방향, 속도, 크기 및 대략적인 형상 정보 등이 포함될 수 있다. 연산부(130)는 무선 신호로부터 물체 각각의 대략적인 윤곽선과 경계 등을 판단하고, GPS 기반으로 위치를 파악함으로써, 물체 각각에 대한 감지 정보를 다양하게 생성할 수 있다.The sensing information generated for one or more objects based on the radio signals transmitted and received by the radar sensor unit 110 may include the position, movement direction, speed, size, and approximate shape information of the object. The calculation unit 130 can generate various sensing information for each object by determining rough outlines and boundaries of each object from the wireless signal and grasping the position based on the GPS.

돌발 상황 발생 여부를 판단하기 위해, 연산부(130)는 레이더 센서부(110)가 생성한 데이터로부터 검출되는 하나 이상의 물체에 각각 고유의 식별자(ID)를 부여하고, 부여한 식별자(ID)에 기초하여 감지 데이터와 영상 데이터를 맵핑(mapping)할 수 있다. 예를 들어, 운행 중인 차량에 고유의 식별자들 부여하고, 부여한 식별자에 따라 2차원 도로 상에서 무선 신호에 의해 검출된 차량을 촬영한 영상에 맵핑한다. 단순히 영상만으로 운행 중인 차량을 구분하거나, 무선 신호를 이용한 감지 데이터만으로 운행 중인 차량을 구분하지 않고, 레이더 센서부(110)를 이용하여 구성한 2차원 또는 3차원 지도와, 영상 처리부(120)가 생성한 영상을 모두 이용하여 도로 위의 상황을 종합적으로 분석함으로써, 더욱 정확하게 운행 상황 및 돌발 상황 등을 판단할 수 있다.In order to determine whether or not an unexpected event has occurred, the operation unit 130 assigns a unique identifier (ID) to each of at least one object detected from the data generated by the radar sensor unit 110, The sensing data and the image data can be mapped. For example, unique identifiers are assigned to the vehicle in operation, and the vehicle detected by the wireless signal on the two-dimensional road is mapped to the photographed image according to the assigned identifier. A two-dimensional or three-dimensional map configured by using the radar sensor unit 110 and a two-dimensional or three-dimensional map formed by the image processing unit 120 By analyzing the situation on the road using all the images, it is possible to more accurately determine the driving situation and the unexpected situation.

한편, 넓은 지역의 커버 영역을 생성하기 위해, 레이더 센서부(110)는 복수의 안테나를 포함할 수 있다. 각 안테나는 별도의 고주파 스위치와 믹서에 의해 동작할 수 있으며, 연산부(130)는 각 고주파 스위치와 믹서의 동작을 제어함으로써 복수의 안테나 각각이 커버하는 영역 사이의 핸드 오버(hand-over)를 조절한다. 따라서, 복수의 안테나에 의해 하나의 안테나를 사용할 때보다 넓은 공간을 커버 영역으로 설정할 수 있을 뿐 아니라, 복수의 안테나 각각이 감지할 수 있는 영역 사이에서 이동하는 물체를 끊김없이 연속적으로 추적(tracking)할 수 있다. 이때, 레이더 센서부(110)에 포함되는 복수의 안테나가 지향성 안테나인 경우, 복수의 안테나 중 일부 또는 전부를 그룹으로 구성하여 특정 방향을 커버하도록 배치함으로써, 물체의 감지 영역을 효율적으로 넓힐 수 있다.On the other hand, in order to create a coverage area of a large area, the radar sensor unit 110 may include a plurality of antennas. Each antenna can be operated by a separate high-frequency switch and a mixer, and the calculator 130 controls the operation of each high-frequency switch and the mixer, thereby controlling a hand-over between areas covered by the plurality of antennas do. Therefore, not only can a space larger than when using one antenna by a plurality of antennas can be set as a cover area, but an object moving between regions that can be detected by each of the plurality of antennas can be continuously tracked seamlessly. can do. In this case, when a plurality of antennas included in the radar sensor unit 110 is a directional antenna, a part or all of the plurality of antennas may be grouped so as to cover a specific direction, .

연산부(130)가 감지 데이터와 영상 데이터를 조합하여 레이더 센서부(110)의 커버 영역 내의 상황을 판단한 결과, 커버 영역 내에서 돌발 상황이 발생한 경우로 판단되면 카메라(140)를 이용하여 해당 돌발 상황을 촬영하고 이를 차량의 운전자 또는 보행자 등의 단말기나, 차량에 마련된 통신 가능한 전자 기기, 및 도로 상황을 관리하는 교통 관제 센터 등에 전송할 수 있다. 연산부(130)가 돌발 상황이라고 판단하는 경우는 도로에 낙하물이 갑자기 떨어진 경우, 고장차량 등이 운행을 멈추고 갓길에 정차한 경우, 또는 횡단보도가 아닌 곳에서 보행자가 도로를 건너는 경우 등일 수 있다. 보행자는 이동 속도 및 영상 데이터에서 검출되는 객체의 크기 등으로부터 운행 중인 차량과 구분 가능하며, 고장차량은 주변에 운행중인 다른 차량과의 속도 비교 등으로부터 구분할 수 있다. When the operation unit 130 determines that an unexpected situation has occurred in the cover area as a result of determining the situation in the cover area of the radar sensor unit 110 by combining the sensed data and the image data, And can transmit it to a terminal such as a driver or a pedestrian of the vehicle, a communicable electronic device provided in the vehicle, and a traffic control center for managing the road situation. When the operation unit 130 determines that the operation unit 130 is in an unexpected state, it may be a case where a falling object suddenly falls on a road, a broken vehicle stops its operation and stops on a shoulder, or a pedestrian crosses a road other than a crosswalk. The pedestrian can be distinguished from the moving vehicle based on the moving speed and the size of the object detected from the image data, and the faulted vehicle can be distinguished from the speed comparison with other vehicles in the vicinity.

이때, 연산부(130)에 의해 돌발 상황을 촬영하는 카메라(140)는 추적 카메라일 수 있다. 연산부(130)는 추적 카메라를 이용하여 해당 돌발 상황을 촬영하고, 물체 감지 장치(100)와 연결된 외부 이동통신망을 통해 운전자 또는 보행자의 단말기에 해당 상황을 알림으로써 사고를 미연에 방지할 수 있다.
At this time, the camera 140 photographing the unexpected state by the operation unit 130 may be a tracking camera. The operation unit 130 may photograph the corresponding incident situation using a tracking camera and notify the driver or pedestrian terminal of the situation through an external mobile communication network connected to the object sensing apparatus 100 to prevent an accident in advance.

도 2 및 도 3은 본 발명의 실시예에 따른 물체 감지 시스템을 설명하기 위해 제공되는 도이다.FIG. 2 and FIG. 3 are diagrams for explaining an object detection system according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예에 따른 물체 감지 시스템(200)은 복수의 안테나를 포함하는 레이더 장치(210), 레이더 장치(210)의 커버 영역에 대한 영상을 촬영하는 영상 촬영 장치(220), 추적 카메라(230), 및 제어 장치(240)를 포함할 수 있다. 레이더 장치(210)와 영상 촬영 장치(220), 및 추적 카메라(230)의 동작을 제어하여 관제 센터로 기능하는 제어 장치(240)가 도 2에는 레이더 장치(210) 등과 별도로 마련되는 것으로 도시되어 있으나, 반드시 이와 같은 형태로 한정되는 것은 아니다. 즉, 제어 장치(240)가 레이더 장치(210), 영상 촬영 장치(220), 추적 카메라(230) 등의 다른 모듈 등과 함께 하나의 장치로 구현되는 것도 가능하다.2, the object detection system 200 according to the present embodiment includes a radar device 210 including a plurality of antennas, a video image capturing device 220 capturing an image of a cover area of the radar device 210, A tracking camera 230, and a control device 240. [ A control device 240 functioning as a control center by controlling the operation of the radar device 210, the image pickup device 220 and the tracking camera 230 is shown separately from the radar device 210 and the like in FIG. 2 However, it is not necessarily limited to such a form. That is, the control device 240 may be implemented as a single device together with other modules such as the radar device 210, the image capturing device 220, and the tracking camera 230.

앞서 설명한 바와 같이 레이더 장치(210)는 무선 신호를 송출, 수신하는 복수의 안테나와, 각 안테나의 동작을 제어하는 고주파 스위치, 믹서 등을 포함할 수 있다. 복수의 안테나는 각각 무선 신호를 일정 공간으로 송출하고, 해당 공간에 포함되는 물체로부터 반사되는 무신 신호를 수신하여 일정한 영역을 형성하게 된다. 안테나 각각이 무선 신호를 송출, 수신하는 영역 사이의 핸드 오버를 통해 복수의 안테나 각각이 형성하는 영역 사이에서 이동하는 물체를 끊김 없이 검출할 수 있다. 이하 도 3을 참조하여 더욱 자세히 설명한다.As described above, the radar device 210 may include a plurality of antennas for transmitting and receiving radio signals, a high-frequency switch for controlling the operation of each antenna, a mixer, and the like. Each of the plurality of antennas transmits a wireless signal to a certain space, and receives a wireless signal reflected from an object included in the space to form a predetermined area. It is possible to seamlessly detect an object moving between areas formed by a plurality of antennas through handover between areas where antennas transmit and receive radio signals. This will be described in more detail with reference to FIG.

도 3은 본 발명의 실시예에 따른 물체 감지 시스템(200)에 포함되는 레이더 장치(210)를 나타낸 블록도이다. 도 3을 참조하면, 레이더 장치(210)는 복수의 안테나를 포함하는 안테나부(213), 안테나부(213)가 송출, 수신하는 무선 신호를 전달하는 송수신 회로(215), 및 무선 신호를 생성하는 신호 처리기(217) 등을 포함할 수 있다. 송수신 회로(215)는 안테나부(213)에 포함되는 복수의 안테나와 연결되는 고주파 스위치, 및 믹서를 포함할 수 있다. 3 is a block diagram illustrating a radar device 210 included in the object detection system 200 according to an embodiment of the present invention. 3, the radar apparatus 210 includes an antenna unit 213 including a plurality of antennas, a transmitting / receiving circuit 215 transmitting a radio signal transmitted / received by the antenna unit 213, A signal processor 217, and the like. The transmission / reception circuit 215 may include a high frequency switch connected to a plurality of antennas included in the antenna unit 213, and a mixer.

신호 처리기(217)는 각 안테나가 송출하는 무선 신호를 생성하거나, 반사되어 돌아온 무선 신호를 디지털 데이터 형태로 변환하는 회로를 포함할 수 있다. 신호 처리기는 통신 모듈과 연결되며, 물체로부터 반사되어 돌아온 무선 신호에 기초한 데이터를 제어 장치(240)에 전달할 수 있다.
The signal processor 217 may include a circuit for generating a radio signal transmitted by each antenna or converting a reflected and returned radio signal into a digital data form. The signal processor is connected to the communication module and can transmit data based on the wireless signal reflected back from the object to the controller 240.

영상 촬영 장치(220)는 CCTV와 같은 동영상 촬영 장치일 수 있으며, 촬영 범위는 레이더 장치(210)가 무선 신호를 송출, 수신하여 하나 이상의 물체를 검출할 수 있는 레이더 장치(210)의 커버 영역을 포함할 수 있다. 영상 촬영 장치(220)가 촬영한 영상과, 레이더 장치(210)가 수신한 무선 신호로부터 생성되는 감지 데이터는 제어 장치(240)로 전송되어 도로 위의 운행 상황 및 돌발 상황 발생 여부 등을 판단하는 데에 이용된다. The image capturing apparatus 220 may be a moving image capturing apparatus such as a CCTV and the capturing range may be a range of a cover area of the radar apparatus 210 capable of detecting one or more objects by emitting and receiving a radio signal from the radar apparatus 210 . The sensed data generated from the image photographed by the image sensing device 220 and the wireless signal received by the radar device 210 is transmitted to the control device 240 to determine the driving situation on the road and whether or not an unexpected situation has occurred .

추적 카메라(230)는 돌발 상황 발생시 제어 장치(240)로부터 전달되는 명령에 의해 도로 상황을 촬영한다. 제어 장치(240)는 추적 카메라(230)가 촬영한 영상을 통신망을 통해 연결된 사용자들의 단말기에 전달할 수 있으며, 운전자 및 보행자는 돌발 상황 발생 여부를 영상 또는 음성 등을 통해 실시간으로 안내 받을 수 있다. 추적 카메라(230)는 영상 촬영 장치(220)와 별개로 구비될 수도 있지만, 영상 촬영 장치(220)와 동일한 하나의 장치로 구현하는 것도 가능하다.
The tracking camera 230 takes a picture of the road situation by a command transmitted from the control device 240 when an unexpected situation occurs. The control device 240 can transmit the image captured by the tracking camera 230 to terminals of users connected through a communication network. The driver and the pedestrian can receive guidance on real-time whether an unexpected event occurs through video or voice. The tracking camera 230 may be provided separately from the image capturing apparatus 220, but may be implemented by the same device as the image capturing apparatus 220.

제어 장치(240)는 연산 모듈, 저장 모듈, 통신 모듈 등을 포함할 수 있으며, 레이더 장치(210)로부터 수신한 감지 데이터와, 영상 촬영 장치(220)가 촬영한 영상 데이터를 조합하여 도로의 운행 상황 등을 판단한다. 레이더 장치(210)가 특정 공간에 송출한 무선 신호는 운행 중인 차량, 보행자, 정차 중인 차량 등에 의해 반사되어 다시 레이더 장치(210)로 돌아오며, 반사되는 무선 신호로부터 생성된 감지 데이터가 제어 장치(240)에 전송된다. 제어 장치(240)는 감지 데이터로부터 레이더 장치(210)의 커버 영역에 존재하는 물체의 크기, 이동 여부, 이동 방향, 속도 등을 판단하고, 운행 중인 차량에는 각각 고유의 식별자(ID)를 부여할 수 있다.The control device 240 may include a computing module, a storage module, a communication module, and the like. The control device 240 combines the sensing data received from the radar device 210 and the image data captured by the image sensing device 220, And so on. The radio signal transmitted to the specific space by the radar device 210 is reflected by the vehicle, the pedestrian, the vehicle being stopped, etc., and returns to the radar device 210. The sensing data generated from the reflected wireless signal is transmitted to the control device 240). The control device 240 judges the size of the object existing in the cover area of the radar device 210, the moving direction, the moving direction, the speed, etc. from the sensed data, and assigns a unique identifier (ID) .

영상 촬영 장치(220)로부터 레이더 장치(210)의 커버 영역에 대한 촬영 영상을 수신하면, 제어 장치(240)는 각 차량에 부여된 고유의 식별자(ID)를 이용하여 2차원 도로 상에서 운행 중인 차량(250)을 영상에 맵핑(mapping)한다. 이때 운행 중인 차량(250)이 복수의 안테나 각각이 커버할 수 있는 영역 사이를 이동할 때, 레이더 장치(210)는 각각의 안테나 사이의 경계 영역에서 핸드 오버(hand-over)를 적용하여 끊김 없이 운행 중인 차량(250)을 추적할 수 있다.
Upon receiving the photographed image of the cover area of the radar device 210 from the image capturing device 220, the control device 240 uses the unique identifier (ID) assigned to each vehicle, (250) to the image. At this time, when the moving vehicle 250 moves between the areas that each of the plurality of antennas can cover, the radar device 210 applies a hand-over in the boundary area between the respective antennas, The vehicle 250 in operation.

레이더 장치(210)가 무선 신호를 송출하고, 송출한 무선 신호가 운행 중인 차량(250) 등으로부터 반사되어 되돌아오면, 레이더 장치(210)가 수신한 반사 신호에 기초하여 제어 장치(240)는 운행 중인 차량(250)을 포함한 각 물체까지의 거리를 산출한다. 또한 제어 장치(240)는 반사된 신호의 패턴을 분석하여 무선 신호를 반사한 물체의 대략적인 특성을 분석하고, 그로부터 지도를 구성한다. 일례로, 제어 장치(240)는 레이더 장치(210)의 커버 영역에 포함되는 복수의 물체의 대략적인 형상과 크기 및, 복수의 물체 각각과 레이더 장치(210) 사이의 거리 정보 등을 포함하는 3차원 또는 2차원 지도를 생성할 수 있다.When the radar device 210 transmits a radio signal and the transmitted radio signal is reflected and returned from the vehicle 250 or the like in operation, the control device 240, based on the reflection signal received by the radar device 210, And calculates the distance to each object including the vehicle 250 in question. The controller 240 analyzes the pattern of the reflected signal, analyzes the rough characteristic of the object reflecting the wireless signal, and forms a map therefrom. For example, the control device 240 may be configured to determine the approximate shape and size of a plurality of objects included in the cover area of the radar device 210, the distance information between each of the plurality of objects and the radar device 210, Dimensional or two-dimensional map.

한편, 제어 장치(240)는 영상 촬영 장치(220)가 촬영한 영상을 분석하여 영상 내에 포함된 복수의 물체를 분석한다. 영상 촬영 장치(220)가 촬영한 영상에서 이동중인 물체와 정지한 물체를 구분함으로써, 보행자 및 차량과, 정지 상태인 장애물(예를 들면, 가로수, 중앙 분리대, 가로등)을 구분하여 인식할 수 있다. 또한, 제어 장치(240)는 레이더 장치로부터 구성한 지도에 포함되는 각 물체의 형상 및 크기 정보에 기초하여 레이더 장치로부터 구성한 지도 내에서 각 물체의 종류를 구분하여 파악할 수 있다.On the other hand, the control device 240 analyzes the image captured by the image capturing device 220 and analyzes a plurality of objects included in the image. The pedestrian and the vehicle and the obstacles in the stationary state (for example, a row of trees, a median separator, and a street lamp) can be distinguished from each other by distinguishing the moving object from the moving object in the image photographed by the image photographing apparatus 220 . Further, the control device 240 can classify and recognize the types of objects within the map formed by the radar device based on the shape and size information of each object included in the map formed by the radar device.

제어 장치(240)는 레이더 장치(210)로부터 수신한 반사 신호를 이용하여 구성한 3차원 지도와, 영상 촬영 장치(220)가 촬영하는 영상에서 구분한 이동 중인 물체를 서로 비교하고, 그로부터 이동중인 물체와 장애물, 특히 도로 중앙에 돌발 상황 등으로 인해 정지한 물체를 효율적으로 구분할 수 있다. 예를 들어, 고장 차량이 도로에 정차해 있는 경우, 레이더 장치(210)로부터 구성한 3차원 지도에서는 특정 물체가 차도로 인식되는 영역에서 다른 물체와 달리 정지한 것으로 나타나며, 영상 촬영 장치(220)에서는 이동중인 다른 물체와 비슷한 윤곽 및 크기로 인식되는 특정 물체가 정지한 것으로 나타난다.The control device 240 compares the three-dimensional map constructed by using the reflection signal received from the radar device 210 with moving objects separated from the image captured by the image capturing device 220, And obstacles, especially objects stopped due to unexpected situations in the middle of the road, can be efficiently distinguished. For example, in a case where a faulty vehicle is stopped on a road, a three-dimensional map constructed by the radar device 210 shows that a specific object is stopped in a region recognized as a roadway, unlike other objects. Certain objects that are recognized as similar in outline and size to other moving objects appear to be frozen.

즉, 레이더 장치(210)로부터 구성한 3차원 지도와, 영상 촬영 장치(220)가 촬영한 영상으로부터 분석한 데이터를 종합적으로 고려하여 교통 상황을 판단함으로써, 판단 미스를 줄일 수 있다. 레이더 장치(210)의 오작동 등으로 인해 고장 차량을 제대로 인식하지 못 하는 경우에도 영상 촬영 장치(220)가 촬영한 영상으로부터 고장 차량을 감지하고, 그로부터 사용자에게 정확한 교통 상황을 전달해 줄 수 있다. That is, a judgment mistake can be reduced by comprehensively considering the three-dimensional map constructed by the radar device 210 and the data analyzed from the image taken by the image photographing device 220 to determine the traffic situation. Even if the faulty vehicle is not properly recognized due to a malfunction of the radar device 210 or the like, the image photographing device 220 can detect a faulty vehicle from the photographed image and deliver the accurate traffic situation to the user.

효율적인 맵핑을 위해, 영상 촬영 장치(220)는 GPS 모듈을 포함할 수 있다. 영상 촬영 장치(220)가 설치된 곳의 좌표와, 영상 촬영 장치(220)가 촬영할 수 있는 화각에 대한 를 기준으로 촬영한 영상과 레이더 장치(210)로부터 구성한 3차원 지도를 맵핑함으로써, 물체 식별의 정확도를 높일 수 있다.
For efficient mapping, the imaging device 220 may include a GPS module. By mapping the photographed image and the three-dimensional map constructed by the radar device 210 on the basis of the coordinates of the place where the image capturing device 220 is installed and the angle of view that the image capturing device 220 can capture, Accuracy can be increased.

도 4는 본 발명의 실시예에 따른 물체 감지 방법을 설명하는 데에 제공되는 흐름도이다.4 is a flowchart illustrating an object detection method according to an embodiment of the present invention.

도 4를 참조하면, 본 실시예에 따른 물체 감지 방법은, 무선 신호를 송출하는 것으로 시작된다(S40). 무선 신호는 복수의 안테나를 포함하는 레이더 장치(210)로부터 송출될 수 있으며, 송출된 무선 신호는 차량, 보행자 등과 같은 물체에 의해 반사된다. 반사된 신호는 레이더 장치(210)에 의해 수신되고(S41), 레이더 장치(210)로부터 무선 신호 수신 데이터를 받으면, 제어 장치(240)는 검출된 각 물체에 고유의 식별자(ID)를 부여한다(S42).Referring to FIG. 4, the object sensing method according to the present embodiment starts with transmitting a wireless signal (S40). The radio signal can be transmitted from the radar device 210 including a plurality of antennas, and the transmitted radio signal is reflected by an object such as a vehicle, a pedestrian, or the like. The reflected signal is received by the radar device 210 (S41), and upon receiving the wireless signal reception data from the radar device 210, the control device 240 gives an identifier (ID) unique to each detected object (S42).

한편, 영상 촬영 장치(220)는 레이더 장치(210)가 무선 신호를 송출하는 커버 영역에 대해 영상을 촬영하고, 이를 제어 장치(240)에 전송한다. 제어 장치(240)는 각 물체에 부여된 식별자(ID)를 영상 촬영 장치(220)가 촬영한 영상에 맵핑하고(S43), 운행 중인 차량과 보행자 등을 실시간으로 감지하여 돌발 상황이 발생하는지 여부를 감시한다(S44).On the other hand, the image capturing apparatus 220 captures an image of a cover area where the radar apparatus 210 transmits a radio signal, and transmits the captured image to the control apparatus 240. The control device 240 maps an identifier (ID) assigned to each object to an image photographed by the image capturing device 220 (S43), and detects whether an unexpected situation occurs in real time by detecting a vehicle and a pedestrian in operation (S44).

돌발 상황이 발생한 것으로 판단되면, 제어 장치(240)는 추적 카메라(230)를 이용하여 도로에 발생한 돌발 상황을 추적한다(S45). 앞서 설명한 바와 같이 추적 카메라(230)는 영상 촬영 장치(220)와 별도로 구비되거나 또는 하나의 촬영 장치 모듈로 구비될 수도 있다. If it is determined that an unexpected situation has occurred, the control device 240 tracks the unexpected situation occurring on the road using the tracking camera 230 (S45). As described above, the tracking camera 230 may be provided separately from the image capturing apparatus 220 or may be provided as one photographing apparatus module.

추적 카메라(230)와 제어 장치(240)에 의해 수집된 돌발 상황 정보는 차량 또는 사용자의 통신 기기, 관제센터에 전송되고(S46), 특히 돌발 상황이 발생한 경우에는 이를 음성 또는 영상에 의한 경고 메시지로 알림으로써 돌발 상황에 따른 사고를 미리 방지할 수 있다. 반면, S44 단계의 판단 결과, 돌발 상황이 발생하지 않은 것으로 판단되면, 레이더 장치(210)로부터 구성한 지도와 영상 촬영 장치(220)로부터 촬영한 영상을 이용하여 지속적으로 교통 및 돌발 상황을 모니터링하고, 관제센터에 모니터한 정보(예, 영상 정보)를 전송한다(S47).
The unexpected situation information collected by the tracking camera 230 and the control device 240 is transmitted to the communication device or the control center of the vehicle or the user (S46). In particular, when an unexpected situation occurs, The accident can be prevented in advance. On the other hand, if it is determined in step S44 that the unexpected situation has not occurred, the traffic and the unexpected situation are continuously monitored using the map constructed by the radar device 210 and the image taken from the image capturing device 220, And transmits monitored information (e.g., image information) to the control center (S47).

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

210 : 레이더 장치
220 : 영상 촬영 장치
230 : 추적 카메라
240 : 제어 장치210: Radar device
220:
230: Tracking camera
240: Control device

Claims (19)

안테나를 이용하여 하나 이상의 물체에 의해 반사되는 무선 신호를 수신하는 레이더 센서부;
상기 하나 이상의 물체가 포함되는 소정의 공간에 대한 영상을 생성하는 영상 처리부; 및
상기 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하여 상기 반사되는 무선 신호로부터 상기 하나 이상의 물체를 검출하는 연산부를 포함하고,
상기 연산부는 상기 반사되는 무선 신호로부터 검출한 상기 하나 이상의 물체를 상기 고유의 식별자에 기초하여 상기 영상과 맵핑(mapping)함으로서 상기 하나 이상의 물체에 대한 감지 정보를 생성하는 물체 감지 장치.A radar sensor unit receiving a radio signal reflected by at least one object using an antenna;
An image processing unit for generating an image of a predetermined space including the at least one object; And
And an arithmetic unit for assigning a unique identifier (ID) to each of the at least one object to detect the at least one object from the reflected radio signal,
Wherein the operation unit generates detection information on the at least one object by mapping the at least one object detected from the reflected wireless signal to the image based on the unique identifier. 제1항에 있어서,
상기 감지 정보는, 상기 하나 이상의 물체 각각의 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나를 포함하는 물체 감지 장치.The method according to claim 1,
Wherein the sensing information includes at least one of a position, a moving speed, a moving direction, a size, and shape information of each of the at least one object. 제1항에 있어서,
상기 센서부는 복수의 안테나를 포함하고,
상기 연산부는 상기 복수의 안테나 장치와 연결되는 복수의 고주파 스위치의 온/오프를 결정하여 상기 복수의 안테나 장치 각각의 커버 영역 사이에서 핸드 오버(hand-over)를 제어하는 물체 감지 장치.The method according to claim 1,
Wherein the sensor unit includes a plurality of antennas,
Wherein the calculating unit determines on / off of a plurality of high-frequency switches connected to the plurality of antenna devices, and controls hand-over between the cover areas of the plurality of antenna devices. 제3항에 있어서, 상기 연산부는,
상기 하나 이상의 물체 중 적어도 하나가 상기 복수의 안테나 장치 각각의 커버 영역 사이에서 이동하면, 상기 복수의 안테나 장치의 커버 영역 사이에서 핸드 오버를 적용하여 상기 이동하는 물체를 연속적으로 추적(tracking)하는 물체 감지 장치.The image processing apparatus according to claim 3,
Wherein at least one of the at least one object moves between cover areas of each of the plurality of antenna devices, applying a handover between the cover areas of the plurality of antenna devices to continuously track the moving object Sensing device. 제1항에 있어서, 상기 연산부는,
상기 감지 정보에 기초하여 상기 하나 이상의 물체의 정지 여부를 판단하고,
이동하는 것으로 판단된 상기 하나 이상의 물체에 대해 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나를 감지하는 물체 감지 장치.The apparatus according to claim 1,
Determining whether the one or more objects are stopped based on the sensing information,
And detects at least one of the position, the moving speed, the moving direction, the size, and the shape information for the at least one object judged to be moving. 제1항에 있어서, 상기 연산부는,
통신 가능하도록 연결되는 외부 단말기 또는 차량에 상기 감지 정보를 전송하는 물체 감지 장치.The apparatus according to claim 1,
And transmits the sensing information to an external terminal or a vehicle connected to be communicable. 제1항에 있어서, 상기 연산부는,
상기 감지 정보에 기초하여 상기 하나 이상의 물체가 위치한 공간을 촬영할 수 있는 추적 카메라의 동작을 제어하는 물체 감지 장치.The apparatus according to claim 1,
And controls an operation of a tracking camera capable of photographing a space in which the at least one object is located based on the sensing information. 제1항에 있어서, 상기 연산부는,
상기 레이더 센서부가 수신하는 무선 신호에 기초하여 상기 하나 이상의 물체에 대한 감지 정보를 나타내는 2차원 또는 3차원 지도를 구성하고,
상기 고유의 식별자에 기초하여 상기 2차원 또는 3차원 지도를 상기 영상과 맵핑하는 물체 감지 장치.The apparatus according to claim 1,
Dimensional or three-dimensional map representing sensing information on the at least one object based on a radio signal received by the radar sensor unit,
And maps the two-dimensional or three-dimensional map with the image based on the unique identifier. 복수의 안테나를 포함하는 레이더 장치를 이용하여 하나 이상의 물체에 의해 반사되는 무선 신호를 수신하는 단계;
상기 반사되는 무선 신호로부터 감지한 상기 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하는 단계;
상기 고유의 식별자(ID)에 기초하여 상기 반사되는 무선 신호로부터 감지한 상기 하나 이상의 물체를, 상기 하나 이상의 물체가 포함되는 공간의 영상에 맵핑(mapping)하는 단계; 및
상기 하나 이상의 물체에 대한 감지 정보를 생성하는 단계를 포함하는 물체 감지 방법.The method comprising: receiving a radio signal reflected by at least one object using a radar device including a plurality of antennas;
Providing an identifier (ID) unique to each of the at least one object detected from the reflected wireless signal;
Mapping the at least one object sensed from the reflected wireless signal to an image of a space containing the at least one object based on the unique identifier (ID); And
And generating sensing information for the at least one object. 제9항에 있어서,
복수의 안테나를 통해 상기 하나 이상의 물체에 상기 무선 신호를 송출하는 단계를 더 포함하는 물체 감지 방법.10. The method of claim 9,
And transmitting the radio signal to the at least one object via a plurality of antennas. 제9항에 있어서,
상기 감지 정보에 기초하여 상기 하나 이상의 물체 각각의 정지 여부를 판단하는 단계; 및
이동하는 것으로 판단된 상기 하나 이상의 물체에 대하여 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나의 정보를 산출하는 단계를 더 포함하는 물체 감지 방법.10. The method of claim 9,
Determining whether each of the one or more objects is stopped based on the sensing information; And
Further comprising the step of calculating at least one of the position, the moving speed, the moving direction, the size, and the shape information for the at least one object judged to be moving. 제9항에 있어서,
통신 가능하도록 연결된 외부 단말기 또는 차량에 상기 감지 정보를 전송하는 단계를 더 포함하는 물체 감지 방법.10. The method of claim 9,
And transmitting the sensing information to an external terminal or a vehicle connected to be communicable. 제9항에 있어서,
상기 감지 정보에 기초하여 상기 하나 이상의 물체가 위치한 공간을 촬영할 수 있는 추적 카메라의 동작을 제어하는 단계를 더 포함하는 물체 감지 방법.10. The method of claim 9,
And controlling an operation of a tracking camera capable of capturing a space in which the at least one object is located based on the sensing information. 복수의 안테나를 통해 소정의 공간에 무선 신호를 송출하고, 하나 이상의 물체에 의해 반사되는 상기 무선 신호를 수신하는 레이더 장치;
상기 공간에 대한 영상을 촬영하는 영상 촬영 장치; 및
상기 레이더 장치 및 상기 영상 촬영 장치와 통신 가능하도록 연결되며, 상기 반사되는 무선 신호로부터 검출되는 상기 하나 이상의 물체 각각에 고유의 식별자(ID)를 부여하는 제어 장치를 포함하고,
상기 제어 장치는 상기 반사되는 무선 신호로부터 검출한 상기 하나 이상의 물체를 상기 고유의 식별자에 기초하여 상기 영상과 맵핑(mapping)함으로서 상기 하나 이상의 물체에 대한 감지 정보를 생성하는 물체 감지 시스템.A radar device for transmitting a radio signal to a predetermined space through a plurality of antennas and receiving the radio signal reflected by at least one object;
An image capturing device for capturing an image of the space; And
And a control device connected to the radar device and the image capturing device so as to communicate with each other and giving a unique ID to each of the at least one object detected from the reflected wireless signal,
Wherein the controller generates sensing information for the at least one object by mapping the at least one object detected from the reflected wireless signal to the image based on the unique identifier. 제14항에 있어서,
상기 하나 이상의 물체를 촬영하는 추적 카메라를 더 포함하고,
상기 제어 장치는 상기 감지 정보에 기초하여 상기 추적 카메라의 동작을 제어하는 물체 감지 시스템.15. The method of claim 14,
Further comprising a tracking camera for photographing said at least one object,
Wherein the control device controls the operation of the tracking camera based on the sensing information. 제14항에 있어서,
상기 감지 정보는, 상기 하나 이상의 물체 각각의 위치, 이동 속도, 이동 방향, 크기, 및 형상 정보 중 적어도 하나를 포함하는 물체 감지 시스템.15. The method of claim 14,
Wherein the sensing information includes at least one of a position, a moving speed, a moving direction, a size, and a shape information of each of the at least one object. 제14항에 있어서,
상기 레이더 장치는 복수의 안테나 장치, 상기 복수의 안테나 장치 각각의 동작을 제어하는 복수의 고주파 스위치, 및 상기 반사되는 무선 신호를 수신하기 위한 수신 회로를 포함하고,
상기 제어 장치는 상기 복수의 고주파 스위치 각각의 온/오프를 결정하여 상기 복수의 안테나 장치가 형성하는 영역 사이의 핸드 오버(hand-over)를 제어하는 물체 감지 시스템.15. The method of claim 14,
Wherein the radar device includes a plurality of antenna devices, a plurality of high-frequency switches for controlling the operation of each of the plurality of antenna devices, and a receiving circuit for receiving the reflected radio signals,
Wherein the control device determines ON / OFF of each of the plurality of high-frequency switches and controls hand-over between areas formed by the plurality of antenna devices. 제17항에 있어서,
상기 하나 이상의 물체 중 적어도 하나가 상기 복수의 안테나 장치 각각의 영역 사이에서 이동하면, 상기 복수의 안테나 장치의 커버 영역 사이에서 핸드 오버를 적용하여 상기 이동하는 물체를 연속적으로 추적(tracking)하는 물체 감지 시스템.18. The method of claim 17,
Wherein at least one of the at least one object moves between areas of each of the plurality of antenna devices, applying a handover between the cover areas of the plurality of antenna devices to continuously track the moving object system. 제14항에 있어서, 상기 제어 장치는,
통신 가능하도록 연결되는 외부 단말기 또는 차량에 상기 감지 정보를 전송하는 물체 감지 시스템.15. The control apparatus according to claim 14,
And transmits the detection information to an external terminal or a vehicle connected to be communicable.
KR20130040359A 2013-04-12 2013-04-12 Apparatus, method and system for detecting objects using radar device and image mapping KR101480992B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130040359A KR101480992B1 (en) 2013-04-12 2013-04-12 Apparatus, method and system for detecting objects using radar device and image mapping

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130040359A KR101480992B1 (en) 2013-04-12 2013-04-12 Apparatus, method and system for detecting objects using radar device and image mapping

Publications (2)

Publication Number Publication Date
KR20140123270A true KR20140123270A (en) 2014-10-22
KR101480992B1 KR101480992B1 (en) 2015-01-14

Family

ID=51994023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130040359A KR101480992B1 (en) 2013-04-12 2013-04-12 Apparatus, method and system for detecting objects using radar device and image mapping

Country Status (1)

Country Link
KR (1) KR101480992B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652798B1 (en) * 2015-04-27 2016-09-01 메타빌드주식회사 Unexpected incident detecting method
KR101708378B1 (en) * 2016-01-07 2017-02-21 메타빌드주식회사 Unexpected incident detecting method using multi radar pulse
KR20170095005A (en) 2016-02-12 2017-08-22 주식회사 만도 Image Sensor Apparatus using Sensor Fusion and Control Method thereof
WO2018093192A1 (en) * 2016-11-21 2018-05-24 엘지전자 주식회사 Vehicle radar device and vehicle
KR20180066668A (en) * 2016-12-09 2018-06-19 동의대학교 산학협력단 Apparatus and method constructing driving environment of unmanned vehicle
WO2018111011A1 (en) * 2016-12-15 2018-06-21 (주)더블유알티랩 Moving object detection system and method
KR101878427B1 (en) * 2017-01-06 2018-07-16 주식회사 바이다 Traffic radar device, traffic management server, traffic management system, and method of tracking object move traces
KR102105162B1 (en) * 2019-10-17 2020-04-28 주식회사 유니시큐 A smart overspeeding vehicle oversee apparatus for analyzing vehicle speed, vehicle location and traffic volume using radar, for detecting vehicles that violate the rules, and for storing information on them as videos and images, a smart traffic signal violation vehicle oversee apparatus for the same, and a smart city solution apparatus for the same
KR102276041B1 (en) * 2020-04-16 2021-07-14 송인의 Vehicle identification method and apparatus through image and wireless signal analysis
KR20230007021A (en) * 2021-07-05 2023-01-12 주식회사 액손시스 Vehicle identification method and apparatus through data and wireless signal analysis

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060784A (en) 2016-11-29 2018-06-07 삼성전자주식회사 Method and apparatus for determining abnormal object
KR102104351B1 (en) 2019-11-20 2020-05-29 주식회사 플랜비 Cctv camera for detecting moving object using radar module and cctv system including thereof
KR102118581B1 (en) 2019-11-20 2020-06-03 주식회사 플랜비 Image processing method of cctv camera with radar module and image processing method of cctv system including thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776860B1 (en) * 2000-09-08 2007-11-16 레이던 컴퍼니 Path prediction system and method
KR100898820B1 (en) * 2007-10-08 2009-05-22 벽산정보통신(주) An airport runway surface movement guidance system and its guidance method
JP2012220377A (en) * 2011-04-11 2012-11-12 Denso Corp Object identification apparatus and object identification program
KR101247960B1 (en) * 2011-10-18 2013-04-03 메타빌드주식회사 Method for detecting obstacle of multi mode using radar and apparatus thereof

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652798B1 (en) * 2015-04-27 2016-09-01 메타빌드주식회사 Unexpected incident detecting method
KR101708378B1 (en) * 2016-01-07 2017-02-21 메타빌드주식회사 Unexpected incident detecting method using multi radar pulse
KR20170095005A (en) 2016-02-12 2017-08-22 주식회사 만도 Image Sensor Apparatus using Sensor Fusion and Control Method thereof
WO2018093192A1 (en) * 2016-11-21 2018-05-24 엘지전자 주식회사 Vehicle radar device and vehicle
KR20180066668A (en) * 2016-12-09 2018-06-19 동의대학교 산학협력단 Apparatus and method constructing driving environment of unmanned vehicle
US11435469B2 (en) 2016-12-15 2022-09-06 Wrt Lab Co., Ltd. Moving object detection system and method
WO2018111011A1 (en) * 2016-12-15 2018-06-21 (주)더블유알티랩 Moving object detection system and method
KR101878427B1 (en) * 2017-01-06 2018-07-16 주식회사 바이다 Traffic radar device, traffic management server, traffic management system, and method of tracking object move traces
KR102105162B1 (en) * 2019-10-17 2020-04-28 주식회사 유니시큐 A smart overspeeding vehicle oversee apparatus for analyzing vehicle speed, vehicle location and traffic volume using radar, for detecting vehicles that violate the rules, and for storing information on them as videos and images, a smart traffic signal violation vehicle oversee apparatus for the same, and a smart city solution apparatus for the same
KR102276041B1 (en) * 2020-04-16 2021-07-14 송인의 Vehicle identification method and apparatus through image and wireless signal analysis
WO2021210864A1 (en) * 2020-04-16 2021-10-21 주식회사 액손시스 Method and device for identifying vehicle through image and wireless signal analysis
KR20210128329A (en) * 2020-04-16 2021-10-26 송인의 Vehicle identification method and apparatus through image and wireless signal analysis
KR20230007021A (en) * 2021-07-05 2023-01-12 주식회사 액손시스 Vehicle identification method and apparatus through data and wireless signal analysis
WO2023282533A1 (en) * 2021-07-05 2023-01-12 주식회사 액손시스 Method and device for identifying vehicle through data and wireless signal analysis

Also Published As

Publication number Publication date
KR101480992B1 (en) 2015-01-14

Similar Documents

Publication Publication Date Title
KR101480992B1 (en) Apparatus, method and system for detecting objects using radar device and image mapping
CN107727106B (en) Dynamic map construction method, dynamic map construction system and mobile terminal
US11366477B2 (en) Information processing device, information processing method, and computer readable medium
RU2656933C2 (en) Method and device for early warning during meeting at curves
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US11315420B2 (en) Moving object and driving support system for moving object
KR102166512B1 (en) Method, device, map management device and system for precise location tracking of automobiles in the surrounding environment
KR101457137B1 (en) Integrated System for Monitering Vehicles Using Radar Sensor on Spot
KR101517150B1 (en) Apparatus, method and system for detecting objects using hand-over between antennas of radar device
CN109421730B (en) Cross traffic detection using cameras
JP4816009B2 (en) Approach notification device
US10755435B2 (en) Micromechanical sensor and method for manufacturing a micromechanical sensor
JP2001195698A (en) Device for detecting pedestrian
CN111615643B (en) Method for operating a vehicle guidance system of a motor vehicle designed for fully automatic guidance of the motor vehicle, and motor vehicle
KR20150055278A (en) System and method for collecting traffic information using vehicle radar
JP2008052399A (en) Surround monitor system
US10958846B2 (en) Method, device and system for configuration of a sensor on a moving object
JP7083768B2 (en) Recognition device, vehicle control device, recognition method, and program
JP7449206B2 (en) Communication control device, vehicle, program, and communication control method
US20220371597A1 (en) Driving support system
EP4212902A1 (en) Positioning system and calibration method of object location
WO2023145494A1 (en) Information processing device and information processing method
WO2021106509A1 (en) Apparatus and method for controlling mobile body
Nisula Obstacle Detection in Railway Environment: Filtering the output of an on-board detection system using railway maps
KR20240062380A (en) Method for providing collision risk prediction information and apparatus and system therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6