KR20170135288A - 비전기반의 융합형 물체 감지 장치 및 방법 - Google Patents

비전기반의 융합형 물체 감지 장치 및 방법 Download PDF

Info

Publication number
KR20170135288A
KR20170135288A KR1020160066996A KR20160066996A KR20170135288A KR 20170135288 A KR20170135288 A KR 20170135288A KR 1020160066996 A KR1020160066996 A KR 1020160066996A KR 20160066996 A KR20160066996 A KR 20160066996A KR 20170135288 A KR20170135288 A KR 20170135288A
Authority
KR
South Korea
Prior art keywords
vision
information
sensing
detection
area
Prior art date
Application number
KR1020160066996A
Other languages
English (en)
Other versions
KR102535598B1 (ko
Inventor
김기석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160066996A priority Critical patent/KR102535598B1/ko
Publication of KR20170135288A publication Critical patent/KR20170135288A/ko
Application granted granted Critical
Publication of KR102535598B1 publication Critical patent/KR102535598B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 목적은 레이더장치와 같은 기타감지장치로부터 감지된 기타감지정보와, 비전감지장치로부터 감지된 비전감지정보를 비교하여, 비전감지장치의 감지조건을 변경시킬 수 있는, 비전기반의 융합형 물체 감지 장치 및 방법을 제공하는 것이다. 이를 위해, 본 발명에 따른 비전기반의 융합형 물체 감지 장치는, 영상을 이용하여 물체를 감지하는 비전감지장치; 영상 이외의 방법을 이용하여 물체를 감지하는 기타감지장치; 및 상기 비전감지장치로부터 수신되는 1차비전감지정보와 상기 기타감지장치로부터 수신되는 기타감지정보를 분석하여, 물체감지여부에 대한 정보를 출력하는 융합제어장치를 포함하고, 상기 융합제어장치는, 상기 분석결과, 상기 감지된 물체의 위치를 이용하여 상기 기타감지장치도 물체가 있다고 감지하고 상기 비전감지장치도 물체가 있다고 감지한 영역과, 상기 기타감지장치는 물체가 있다고 감지하고 상기 비전감지장치는 물체가 없다고 감지한 영역을 구분하여 공간정보를 생성하고, 상기 공간정보를 상기 비전감지장치에 제공하여 상기 비전감지장치를 재 동작시켜 2차비전감지정보를 수신한 후 상기 분석과정을 재 수행하여 물체감지여부에 대한 정보를 출력하는 것을 특징으로 한다.

Description

비전기반의 융합형 물체 감지 장치 및 방법{VISION BASED OBSTACLE DETECTION APPARATUS AND METHOD USING RADAR AND CAMERA}
본 발명은 자동차의 상황인지를 위해 차량주변의 물체를 감지하기 위한 장치에 관한 것으로써, 특히, 비전기반의 융합(FUSION)형 물체 감지 장치 및 방법에 관한 것이다.
최근에는, 차량에 운전자 보조 시스템인 ADAS(Advanced Driver Assisted System)가 장착되는 경우가 늘고 있으며, ADAS를 활용하여 AEB(Automatic Emergency Break) 또는 BSD(Blind Spot Detection) 등의 서비스가 차량에 제공되고 있다.
이러한 ADAS는 차량주변의 차량 또는 보행자를 감지하는 기능이 차량의 기본 요구 사항에 포함된다. 이 경우, 차량은 레이더장치, 비전감지장치, 라이다(Lidar)장치 등의 다양한 센서장치를 이용하여 감지기능을 수행한다.
예를 들어, 차량은 운전자가 인지 못하는 순간에도 레이더장치 또는 카메라장치 등의 센서장치를 이용하여 주변 차량과 보행자를 감지하여 사고 위험성을 판단한다. 판단 결과 위험성이 고조되는 경우, 차량은 운전자에게 경고신호를 제공하거나, 브레이크장치 또는 조향장치를 제어함으로써 충돌사고 등을 예방 할 수 있다.
차량 주변의 물체를 감지함에 있어서, 레이더장치는 장거리에 있는 물체를 감지할 수 있으며 다양한 환경요인에서 잘 동작할 수 있는 강인성을 갖지만, 물체를 정확히 식별하지 못하는 단점을 가지고 있다.
또한, 카메라를 이용한 비전감지장치는 물체를 정확히 식별할 수는 있지만, 환경요인에 따라 성능의 차이가 많이 발생하기 때문에 신뢰성이 보장될 수 없다.
상기한 바와 같은 단일장치의 단점을 극복하기 위하여 최근에는 비전감지장치와 레이더장치를 결합시킨 융합장치가 많이 출시되고 있다. 이 경우, 레이더장치에서 감지된 감지정보가 비전감지장치로 제공되며, 비전감지장치는 감지정보를 기반으로 물체를 식별한다.
그러나, 이러한 융합장치에서도, 환경요인에 따라 카메라 감지 성능의 저하가 발생될 수 있으며, 따라서, 감지 관련 신뢰성에 한계가 있다.
따라서, 본 발명의 목적은 레이더장치와 같은 기타감지장치로부터 감지된 기타감지정보와, 비전감지장치로부터 감지된 비전감지정보를 비교하여, 비전감지장치의 감지조건을 변경시킬 수 있는, 비전기반의 융합형 물체 감지 장치 및 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명에 따른 비전기반의 융합형 물체 감지 장치는, 영상을 이용하여 물체를 감지하는 비전감지장치; 영상 이외의 방법을 이용하여 물체를 감지하는 기타감지장치; 및 상기 비전감지장치로부터 수신되는 1차비전감지정보와 상기 기타감지장치로부터 수신되는 기타감지정보를 분석하여, 물체감지여부에 대한 정보를 출력하는 융합제어장치를 포함하고, 상기 융합제어장치는, 상기 분석결과, 상기 감지된 물체의 위치를 이용하여 상기 기타감지장치도 물체가 있다고 감지하고 상기 비전감지장치도 물체가 있다고 감지한 영역과, 상기 기타감지장치는 물체가 있다고 감지하고 상기 비전감지장치는 물체가 없다고 감지한 영역을 구분하여 공간정보를 생성하고, 상기 공간정보를 상기 비전감지장치에 제공하여 상기 비전감지장치를 재 동작시켜 2차비전감지정보를 수신한 후 상기 분석과정을 재 수행하여 물체감지여부에 대한 정보를 출력하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명에 따른 비전기반의 융합형 물체 감지 방법은, 영상을 이용하여 물체를 감지하는 비전감지장치로부터 1차비전감지정보를 수신하는 단계; 영상 이외의 방법을 이용하여 물체를 감지하는 기타감지장치로부터 기타감지정보를 수신하는 단계; 상기 1차비전감지정보와 상기 기타감지정보를 분석하는 단계; 및 상기 분석결과에 따라 물체감지정보를 출력하는 단계를 포함하고, 상기 분석결과에 따라 물체감지정보를 출력하는 단계는, 상기 분석결과, 동일한 물체에 대하여 상기 기타감지정보에는 물체가 있으나 상기 1차비전감지정보에는 물체가 없다고 판단되면, 상기 판단된 영역에 대한 영역정보를 설정하는 단계; 상기 영역정보를 상기 비전감지장치에 제공하여 상기 비전감지장치가 2차비전감지정보를 수신한 후 상기 분석과정을 재 수행하는 단계; 및 상기 2차비전감지정보를 분석한 결과 새로운 물체가 감지된 경우 분석결과에 따라 물체감지정보를 다시 출력하는 단계를 포함한다.
본 발명에 따르면, 자동차의 상황인지를 위한 물체 감지장치의 성능이 향상될 수 있으며, 이에 따라, 자동차의 상황인지에 대한 신뢰성이 확보될 수 있다.
따라서, 본 발명에 의하면, 사용자는 보다 더 안전한 상황에서 운전을 할 수 있다.
도 1은 본 발명에 따른 비전기반의 융합형 물체 감지 장치의 구성을 나타낸 일실시예 구성도.
도 2는 본 발명에 따른 비전기반의 융합형 물체 감지 장치가 감지한 물체의 위치를 나타낸 다양한 예시도들.
도 3은 본 발명에 따른 비전기반의 융합형 물체 감지 장치가 비전감지장치가 감지한 물체의 영역과 비전감지장치가 감지하지 못한 영역을 분할하는 방법을 나타낸 다양한 예시도들.
도 4는 본 발명에 따른 비전기반의 융합형 물체 감지 방법을 나타낸 일실시예 흐름도.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1은 본 발명에 따른 비전기반의 융합형 물체 감지 장치의 구성을 나타낸 일실시예 구성도이다.
본 발명에 따른 비전기반의 융합형 물체 감지 장치(100)는, 도 1에 도시된 바와 같이, 영상을 이용하여 물체를 감지하는 비전감지장치(10), 영상 이외의 방법을 이용하여 물체를 감지하는 기타감지장치(20) 및 상기 비전감지장치(10)로부터 수신되는 1차비전감지정보와 상기 기타감지장치(20)로부터 수신되는 기타감지정보를 분석하여, 물체감지정보를 출력하는 융합제어장치(30)를 포함한다.
본 발명에 따른 비전기반의 융합형 물체 감지 장치(100)는, 차량에 장착되어 있으며 각종 경고 정보를 출력하는 경고장치(50) 및 상기 융합제어장치(30)로부터 전송되어온 정보에 따라 상기 경고장치(50)를 제어하는 차량제어장치(40)를 포함한다.
첫째, 상기 비전감지장치(10)는, 카메라를 이용하여 차량 주변의 또 다른 차량 또는 보행자 등을 감지하여 비전감지정보를 제공한다. 비전감지정보는 감지한 물체의 위치를 포함하고 거리 등의 정보를 포함할 수 있으며, 감지한 물체가 보행자인지 차량인지를 식별할 수 있는 정보도 포함할 수 있다.
둘째, 상기 기타감지장치(20)는, 차량 주변의 또 다른 차량 또는 보행자 등을 감지하여 상기 기타감지정보를 출력한다. 상기 기타감지정보에는 기본적으로 감지한 물체의 위치가 포함되고, 차량으로부터 물체까지의 거리, 크기, 각도 등이 포함될 수 있다. 또한, 상기 기타감지정보에는 이동성 또는 반사신호 감도 등이 포함될 수 있고, 식별정보를 포함할 수 있다.
상기 기타감지장치(20)는 레이더장치, 라이다(Lidar)장치, 초음파장치, 적외선장치 중 적어도 어느 하나가 될 수 있다. 특히, 상기 레이더장치는 전파를 이용하여 차량 주변의 또 다른 차량 또는 보행자 등을 감지할 수 있다. 또한, 상기 라이다장치는 레이저파를 이용하여 차량 주변의 또 다른 차량 또는 보행자 등을 감지 및 식별할 수 있다.
따라서, 본 발명에서는, 상기 비전감지장치(10)와 상기 레이더장치가 적용될 수도 있고, 상기 비전감지장치(10)와 상기 라이다장치가 이용될 수도 있고, 상기 비전감지장치(10)와 상기 초음파장치가 이용될 수도 있고, 상기 비전감지장치(10)와 상기 적외선장치가 이용될 수도 있으며, 상기 레이더장치, 상기 라이다장치, 상기 초음파장치, 상기 적외선장치 중 적어도 어느 하나와 상기 비전감지장치(10)가 이용될 수도 있다.
상기 기타감지장치(20)로 이용되는 장치들 각각은, 자신 또는 상대방 장치의 감지 기준영역정보를 포함하고 있어야 한다. 예를 들어, 상기 레이더장치는 자신의 감지 기준영역정보와 상기 비전감지장치(10)의 감지 기준영역 정보를 포함하고 있어야 한다. 또한, 감지영역에는 공통영역이 있으며 본 발명에 따르면 공통영역의 융합에 의해 성능향상이 가능하다.
셋째, 상기 융합제어장치(30)는, 상기 비전감지장치(10)로부터 수신되는 1차비전감지정보와 상기 기타감지장치(20)로부터 수신되는 기타감지정보를 분석하여, 물체감지정보를 상기 차량제어장치(40)로 출력한다.
예를 들어, 상기 융합제어장치(30)는, 상기 분석결과, 동일한 물체에 대하여 두 장치가 모두 물체가 감지되었다고 판단되면 상기 차량제어장치(40)로 물체감지정보를 출력한다. 또한 물체에 대하여 하나의 장치만 감지된 경우에도 물체감지 정보에 포함하여 제공 할 수 있다.
융합제어장치(30)는 분석결과 일부 영역의 동일한 물체에 대하여 기타감지정보에는 물체가 있으나 1차비전감지정보에는 물체가 없다고 판단되면, 비전감지장치(10)와 기타감지장치(20) 모두 물체가 있다고 감지된 영역과, 두 장치 중 한 장치만 물체가 있다고 감지된 영역을 구별하여 영역정보를 생성하여 물체를 감지하지 못한 장치에 제공하고, 영역정보를 활용하며 비전감지장치(10)를 재동작시켜 2차비전감지정보를 다시 획득하고 상기 분석과정을 재수행한다.
비전감지장치(10)는 상기 영역정보를 이용하여 영역별 공간특성을 파악하고, 필요한 경우 공간특성을 이용하여 비전감지장치(10)를 재설정하여 영상을 획득하고 감지를 수행시키고 2차비전감지정보를 설정할 수 있다. 공간특성을 이용하여 기존의 저장되어 있던 영상을 변형하여 감지를 수행할 수 있다.
융합제어장치(30)는 필요에 따라서는 비전감지장치(10)를 제어하여, 기본설정에 따른 촬영과 공간특성에 특화된 설정에 따른 촬영을 동시에 수행하여 다양한 영상을 확보하고, 공간정보와 다양한 영상을 활용한 감지 결과를 비전감지장치(10)로부터 획득할 수도 있다.
종래에는, 레이더장치의 감지정보를 비전감지장치로 제공하고, 비전감지장치에서는 레이더장치의 감지정보를 기반으로 감지 및 식별을 수행하였다. 그러나, 이런 경우 환경요인에 따라 비전감지장치가 누락한 물체는 재 감지 또한 도움이 되지 않는 경우가 대부분이다.
따라서, 본 발명은, 이런 경우에도 비전장치의 감지 성능을 높이고 신뢰성 있는 감지정보를 제공할 수 있는 물체 감지 장치 및 방법을 제공한다.
넷째, 상기 차량제어장치(40)는 상기 융합제어장치(30)로부터 전송된 감지정보를 이용하여 위험성을 판단하고, 위험성 수준이 일정 수준 이상인 경우에는 상기 경고장치(50)를 이용하여 운전자에게 위험 상황을 통보하고, 필요에 따라서는 차량의 조향장치를 직접 제어하거나, 브레이크장치에 제어신호를 제공한다.
다섯째, 상기 경고장치(50)는 스피커가 될 수도 있고, 램프가 될 수도 있고, 디스플레이가 될 수도 있고, 브레이크 장치가 될 수도 있고, 차량의 조명장치가 될 수도 있으며, 기타 차량에 장착되어 차량의 기능을 제어하거나 사용자에게 각종 정보를 출력할 수 있는 다양한 장치가 될 수도 있다.
또한, 경고장치(50)는 스스로 제어하기 위한 조향장치 또는 브레이크장치, 가속장치 등이 될 수 있다.
융합제어장치, 레이더장치, 비전장치는 물체의 위치를 표현함에 있어 다른 좌표계를 이용하며, 융합제어장치(자차)를 기준으로 한다. 서로 다른 좌표계를 사용할때는 좌표변환과정을 통하여 좌표변환자를 이용하여 좌표변환 후 이용할 수 있으며, 공간적으로 좌표변환자를 설정하는 것을 캘리브레이션이라 한다. 이종 장치간의 공간적 동기화 및 좌표변환을 위한 캘리브레이션 과정은 생략하며, 각 장치에 적합한 좌표로 변환 된다고 가정 한다.
이하에서는, 상기 레이더장치가 상기 기타감지장치(20)의 예로서 설명된다. 따라서, 이하에서는, 상기 레이더장치가 도면부호 20으로 표현된다. 그러나, 상기한 바와 같이, 상기 기타감지장치로는 다양한 장치들이 이용될 수 있다.
도 2는 본 발명에 따른 비전기반의 융합형 물체 감지 장치가 감지한 물체의 위치를 나타낸 다양한 예시도들이며, 도 3은 본 발명에 따른 비전기반의 융합형 물체 감지 장치가 비전감지장치가 감지한 물체의 영역과 비전감지장치가 감지하지 못한 영역을 분할하는 방법을 나타낸 다양한 예시도들이다.
도 2 및 도 3에서, RADAR_object는 레이더장치가 감지한 물체를 나타내며, VISION_object는 비전감지장치가 감지한 물체를 나타낸다.
도 2 및 도 3은 비전장치의 관점에서 비전장치가 탐지하는 3차원의 영역을 화면상의 2차원으로 표현하였다.
상기 기타감지장치의 하나인 상기 레이더장치는 일정한 주기로 감지 기준영역을 탐지(스캔)하여, 차량 주변의 물체를 감지한다.
상기 레이더장치는 감지한 물체에 대한 기타감지정보를 생성하여 상기 융합제어장치(30)로 전송한다. 감지정보에는 위치와 거리를 포함할 수 있으며, 반사감도 및 식별정보도 포함할 수 있다.
상기 비전감지장치(10)는 카메라를 이용하여, 일정한 주기로 감지 기준영역에 대한 영상화면을 획득하고, 획득한 영상화면(비전감지정보)에서 보행자 또는 차량을 감지하고 비전감지정보를 생성하여 상기 융합제어장치(30)로 전송한다. 비전감지정보에는 위치를 포함하며 거리를 포함할 수 있으며, 식별정보 또한 포함할 수 있다.
상기 융합제어장치(30)는 상기 레이더장치로부터 전송된 상기 기타감지정보와 상기 비전감지장치(10)로부터 전송된 상기 비전감지정보를 분석하여, 물체의 유무를 판단하고, 물체의 위치를 비교하여, 상기 비전감지장치(10)에서 감지된 물체와 상기 레이더장치에서 감지된 물체가 동일한 물체인지를 판단한다.
예를 들어, 상기 융합제어장치(30)는 도 2의 (a)에 도시된 바와 같이, 상기 기타감지정보를 이용하여 7개의 물체가 있음을 확인할 수 있으며, 또한 상기 비전감지정보를 이용하여 4개의 물체가 있음을 확인할 수 있다.
또 다른 예로서, 상기 융합제어장치(30)는 도 2의 (b)에 도시된 바와 같이, 상기 기타감지정보를 이용하여 3개의 물체가 있음을 확인할 수 있으며, 또한, 상기 비전감지정보를 이용하여 2개의 물체가 있음을 확인할 수 있다.
이상의 예와 같이 공통된 공간에서 위치를 비교함으로써 동일한 물체인지를 판단할 수 있다.
도 2의 (a)에서 오른쪽 4개의 물체나 도 2의 (b)에서 오른쪽 2개의 물체는 오차범위내에서 동일한 위치에 있는 경우로 동일한 물체로 판단된 경우를 도시한다.
즉, 융합제어장치(30)는 공통된 공간에서 비전감지장치(10)와 기타감지장치(20)가 모두 물체를 감지했는지 판단하는데, 도 2의 (a)에서 오른쪽 4개의 물체는 두 장치가 모두 물체를 감지한 경우이고, 도 2의 (a)에서 왼쪽 3개의 물체는 기타감지장치(20)는 감지하였으나 비전감지장치(10)는 감지하지 못한 경우를 도시한다.
이와 같이, 상기 융합제어장치(30)는 상기 비전감지정보와 상기 기타감지정보를 이용하여, 상기 기타감지장치(20)가 감지한 물체를 기준으로, 도 3의 (a)에 도시된 바와 같이, 상기 기타감지장치(20)와 상기 비전감지장치(10)가 감지한 영역B(B-zone)와, 상기 기타감지장치(20)는 감지하였으나 비전감지장치(10)는 감지 못한 영역A(A_zone)로 분할하여 공간정보를 생성한다.
공간정보의 예는 A_zone = {x1, y1, x2, y2}로 나타낼 수 있고, 여기에서 x1, x2, y1, y2는 화면상의 좌표를 나타낸다. 공간정보는 비전장치가 활용하기 쉬운 2차원 좌표를 활용 할 수 있으며, 필요에 따라서는 3차원 공간좌표를 활용할 수 있다.
결국 도 3에서 영역 A는 상기 레이더장치(20)가 감지 했지만, 상기 비전감지장치(10)는 감지 못한 영역이고, 상기 영역 B는 상기 레이더장치(20)도 감지하고, 상기 비전감지장치(10)도 감지한 영역이 된다.
융합제어장치(30)는 공간정보를 비전감지장치(10)로 제공한다.
상기 융합제어장치(30)는 상기한 바와 같은 분석결과, 상기 비전감지정보로부터 감지된 물체와, 상기 기타감지정보로부터 감지된 물체가 동일한 물체라고 판단되면, 감지정보 X정보를 생성하여, 상기 차량제어장치(40)로 전송한다. 융합제어장치(30)는 하나의 장치만 감지한 물체의 정보도 X정보에 포함하여 전송할 수 있다. 전송시점은 가변적으로 설정할 수 있으며, X정보가 생성될때마다 전송하거나, 일정한 주기로 통합하여 전송할 수 있다.
상기 비전감지장치(10)는 공간정보를 이용하여 공간별 특성을 파악한다. 영역 A(A_zone)와 영역 B(B_zone)의 화면 특성을 파악하고, 화면 특성에 따른 영역 A에 적합한 설정으로 변경하여 감지기능을 한번 더 수행한다. 감지수행 결과에 따른 2차비전감지정보가 생성되면, 융합제어장치(30)로 전송된다.
적합한 설정으로 변경을 하는 예로, 저장된 영상의 화면의 밝기 또는 콘트라스트 등을 A_zone에 특화되도록 변경한 후 감지 알고리즘을 수행한다.
적합한 설정으로 변경을 하는 두 번째 예로, A_zone에 특화되도록 조리게 크기 또는 조리게 개방 시간을 변경한 후 화면을 다시 저장(캡쳐) 한 후 A-zone에 대하여 다시 감지 알고리즘을 수행한다.
적합한 설정으로 변경을 하는 세 번째 예로, 다수개의 비전장치 또는 화면 저장 장치가 있다면 하나의 A-zone 특화된 화면 저장장치의 조리개 개방 정도 또는 조리개 개방 시간의 특화된 설정으로 계속 촬영하여, A-zone에 대한 감지 알고리즘을 수행하고, 또 다른 장치는 B-zone에 특화된 장치로 조리개 개방 정도 또는 조리개 개방 시간의 특화된 설정으로 계속 촬영하여, B-zone에 대한 감지 알고리즘을 수행하여 비전감지정보를 생성하여 융합제어장치(30)로 전송할 수 있다.
위와 같은 방법외에도 다양한 방법으로 공간별 화면의 특성을 파악하고, A-zone에 특화된 최적화된 방법으로 감지 기능을 수행하여 2차비전감지정보를 획득한다.
상기 융합제어장치(30)는 상기 기타감지정보와 2차비전감지정보를 이용하여 물체감지여부를 다시 분석하고 판단하여, 추가로 감지된 물체 X정보를 생성하여 차량제어장치(40)로 전송한다.
추가적으로, 상기 융합제어장치(30)는 상기 기타감지정보와 비전감지정보를 이용하여 비전감지정보에 포함된 식별정보를 이용하여 기타감지장치의 오경보(FLASE ALARM)에 해당하는 경우, 공간정보를 생성하여 기타감지장치에 제공할 수 있다.
비전감지장치는 적합한 설정을 유지하며 감지를 수행함에 상기 과정들은 매 프레임 단위(1주기)로 동작할 수도 있고, 미리 설정된 특정 주기동안 적합한 설정을 유지하며 동작하도록 할 수도 있다.
이하에서는, 본 발명에 따른 비전기반의 융합형 물체 감지 방법이 도 1 내지 도 4를 참조하여 상세히 설명된다.
도 4는 본 발명에 따른 비전기반의 융합형 물체 감지 방법을 나타낸 일실시예 흐름도이다.
본 발명에 따른 비전기반의 융합형 물체 감지 방법은, 도 4에 도시된 바와 같이, 영상을 이용하여 물체를 감지하는 상기 비전감지장치(10)로부터 1차비전감지정보를 수신하는 단계(402), 영상 이외의 방법을 이용하여 물체를 감지하는 상기 기타감지장치(20)로부터 기타감지정보를 수신하는 단계(404), 상기 1차비전감지정보와 상기 기타감지정보를 분석하는 단계(406) 및 상기 분석결과에 따라 물체감지정보를 출력하는 단계(500)를 포함한다. 정보를 출력하는 단계(500)는 변경된 특성을 적용하여 다시 물체감지정보를 출력하는 단계(502)와 통합 할 수 있다. 상기 기능은 상기 융합제어장치(30)에서 수행될 수 있다.
융합제어장치(30)는 동일한 물체에 대하여 기타감지장치(20)는 물체를 감지하였으나 비전감지장치(10)는 감지를 하지 못한 경우를 판단한다(408).
판단결과 기타감지장치(20)는 물체를 감지하였으나 비전감지장치(10)가 감지를 못한 경우에는, 두 장치가 동일하게 물체를 감지한 영역과, 비전감지장치(10)만 감지를 못한 영역을 구분하여 영역정보를 설정하고(410), 영역정보를 비전감지장치로 제공한다(412).
영역정보를 제공받은 비전감지장치(10)는 영역별 특성을 분석하고(414), 비전감지장치(10)의 설정을 영역별 특성에 맞추어 변경하고(416) 감지를 다시 수행하고 감지정보를 제공한다(418).
융합제어장치(30)는 비전감지장치(10)로부터 비전감지정보를 다시 수신하고 수신한 정보를 이용하여 분석하는 상기 과정을 다시 수행한다(420),
변경된 특성을 적용하여 물체가 감지된 경우에는 다시 물체감지정보를 출력한다(502).
상기 융합제어장치(30)로부터 상기 물체감지여부에 대한 정보를 상기 차량제어장치(40)로 제공하고 차량제어장치(40)는 위험성을 판단하고 위험상황으로 판단되면 상기 경고장치(50)를 통해 위험상황을 차량의 운전자에게 경고하거나 차량을 제어할 수 있다.
예를 들어, 판단 결과, 위험성이 고조되는 경우, 상기 차량제어장치(40)는, 운전자에게 경고 신호를 제공하거나, 브레이크장치 또는 조향장치를 제어함으로써, 충돌사고 등을 예방 할 수 있다.
상기 영역정보를 기반으로 비전감지장치가 2차 비전감지를 수행하는 구체적인 방법은 다음과 같다.
제1예로써, 비전감지장치(10)는 영역정보를 분석하여 영역 A 및 영역 B에 대한 화면의 특성을 분석한다.
예를 들어, 비전감지장치(10)는 영역간의 밝기 차이가 많은 경우, 즉, 상기 영역 B 대비 상기 영역 A가 밝은 경우, 융합제어장치(30)는 상기 비전감지장치(10)가 화면 전체 또는 상기 영역 A의 밝기를 하향 조정하도록 설정하고 감지기능을 수행하도록 하여 2차비전감지정보를 생성한다.
제2 예로써, 상기 비전감지장치(10)에 구비된 렌즈의 노출특성을 영역 A에 적합하게 조정한 후 재 촬영 하여 영상을 취득한 후 감지기능을 수행 한다
제3 예로써, 상기 비전감지장치(10)에 구비된 영역 B, 영역 A에 적합한 특성(예: 노출)으로 설정하고 재 촬영 하여 영상을 취득한 후 공간별로 감지기능을 수행 하여 감지정보를 획득하여 제공한다.
상기 비전감지장치(10)는, 새로운 화면을 취득하여 감지 기능을 수행 한 후 상기 2차비전감지정보를 생성한다.
상기 융합제어장치(30)는 상기 비전감지장치(10)로부터 수신된 상기 2차비전감지정보를 재 분석한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 영상을 이용하여 물체를 감지하는 비전감지장치;
    영상 이외의 방법을 이용하여 물체를 감지하는 기타감지장치; 및
    상기 비전감지장치로부터 수신되는 1차비전감지정보와 상기 기타감지장치로부터 수신되는 기타감지정보를 분석하여, 물체감지여부에 대한 정보를 출력하는 융합제어장치를 포함하고,
    상기 융합제어장치는, 상기 분석결과,
    상기 감지된 물체의 위치를 이용하여 상기 기타감지장치도 물체가 있다고 감지하고 상기 비전감지장치도 물체가 있다고 감지한 영역과, 상기 기타감지장치는 물체가 있다고 감지하고 상기 비전감지장치는 물체가 없다고 감지한 영역을 구분하여 공간정보를 생성하고,
    상기 공간정보를 상기 비전감지장치에 제공하여 상기 비전감지장치를 재 동작시켜 2차비전감지정보를 수신한 후 상기 분석과정을 재 수행하여 물체감지여부에 대한 정보를 출력하는 것인
    비전기반의 융합형 물체 감지 장치.
  2. 제1항에 있어서, 상기 비전감지장치는
    상기 공간정보를 이용하여 상기 공간의 특성을 파악하고, 상기 공간의 특성을 고려하여 영상을 재설정하거나, 적합한 설정으로 변경 후 영상을 재 취득하여 영상에 대한 감지 기능을 수행하여 상기 2차비전감지정보를 생성하는 것
    인 비전기반의 융합형 물체 감지 장치.
  3. 제 1 항에 있어서,
    상기 기타감지장치는,
    레이더장치, 라이다(Lidar)장치, 초음파장치, 적외선장치 중 적어도 어느 하나인 비전기반의 융합형 물체 감지 장치.
  4. 제 1 항에 있어서,
    상기 융합제어장치는,
    동일한 물체에 대하여 상기 기타감지정보와 상기 1차비전감지정보 모두에 의해 물체가 있다고 감지된 영역B와, 상기 기타감지정보에 의해서는 물체가 있다고 판단되었으나 상기 비전감지장치에 의해서는 물체가 없다고 판단된 영역A로 구분하는 영역정보를 구성하며,
    상기 영역정보를 상기 비전감지장치로 제공하는 비전기반의 융합형 물체 감지 장치.
  5. 제4항에 있어서, 상기 융합제어장치는
    상기 영역정보를 구성함에 있어서, 상기 기타감지장치로부터 기타감지정보를 수신하는 매 주기마다 또는 기설정된 일정한 주기마다 상기 영역정보를 구성하여 상기 비전감지장치로 제공하는 것
    인 비전기반의 융합형 물체 감지 장치.
  6. 제 4 항에 있어서,
    상기 비전감지장치는, 상기 영역정보를 이용하여 상기 영역간의 특성을 파악하고, 상기 영역간의 특성을 이용하여 상기 영상에서 영역 A의 특성을 변형하여 저장하고 상기 영역 A에 대한 물체를 다시 감지하는 감지기능을 수행하는 것인 비전기반의 융합형 물체 감지 장치.
  7. 제 4 항에 있어서,
    상기 비전제어장치는,
    상기 영역정보를 이용하여 상기 영역간의 특성을 파악하고, 그 특성의 차이에 적합하도록 상기 비전감지장치에 포함된 카메라를 설정하여 영상을 다시 획득하고 상기 영상을 이용하여 물체를 다시 감지하는 것
    인 비전기반의 융합형 물체 감지 장치.
  8. 제 4 항에 있어서,
    상기 비전감지장치는,
    상기 영역정보를 이용하여 상기 영역간의 특성을 파악하고, 상기 특성의 차이에 적합하도록 상기 비전감지장치에 포함된 복수개의 카메라를 다양하게 설정하여 각각의 특성을 고려한 복수의 영상을 획득하고 상기 복수의 영상을 이용하여 물체를 다시 감지하는 것
    비전기반의 융합형 물체 감지 장치.
  9. 제4항에 있어서,
    상기 영역정보를 이용하여 상기 영역간의 특성을 파악하고, 각 영역의 특성에 따라 상기 비전감지장치를 설정하는 것은 기설정된 주기 간격으로 수행하는 것
    인 비전기반의 융합형 물체 감지 장치.
  10. 영상을 이용하여 물체를 감지하는 비전감지장치로부터 1차비전감지정보를 수신하는 단계;
    영상 이외의 방법을 이용하여 물체를 감지하는 기타감지장치로부터 기타감지정보를 수신하는 단계;
    상기 1차비전감지정보와 상기 기타감지정보를 분석하는 단계; 및
    상기 분석결과에 따라 물체감지정보를 출력하는 단계를 포함하고,
    상기 분석결과에 따라 물체감지정보를 출력하는 단계는,
    상기 분석결과, 동일한 물체에 대하여 상기 기타감지정보에는 물체가 있으나 상기 1차비전감지정보에는 물체가 없다고 판단되면, 상기 판단된 영역에 대한 영역정보를 설정하는 단계;
    상기 영역정보를 상기 비전감지장치에 제공하여 상기 비전감지장치가 2차비전감지정보를 수신한 후 상기 분석과정을 재 수행하는 단계; 및
    상기 2차비전감지정보를 분석한 결과 새로운 물체가 감지된 경우 분석결과에 따라 물체감지정보를 다시 출력하는 단계;를 포함하는 비전기반의 융합형 물체 감지 방법.
  11. 제 10 항에 있어서,
    상기 영역정보를 설정하는 단계는, 동일한 물체에 대하여 상기 기타감지정보와 상기 1차비전감지정보 모두에 의해 물체가 있다고 감지된 영역 B와, 상기 기타감지정보에 의해서는 물체가 있다고 판단되었으나 상기 비전감지장치에 의해서는 물체가 없다고 판단된 영역 A로 구분하여 설정하여 비전감지장치로 제공하는 것
    인 비전기반의 융합형 물체 감지 방법.

KR1020160066996A 2016-05-31 2016-05-31 비전기반의 융합형 물체 감지 장치 및 방법 KR102535598B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160066996A KR102535598B1 (ko) 2016-05-31 2016-05-31 비전기반의 융합형 물체 감지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160066996A KR102535598B1 (ko) 2016-05-31 2016-05-31 비전기반의 융합형 물체 감지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170135288A true KR20170135288A (ko) 2017-12-08
KR102535598B1 KR102535598B1 (ko) 2023-05-23

Family

ID=60919919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160066996A KR102535598B1 (ko) 2016-05-31 2016-05-31 비전기반의 융합형 물체 감지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102535598B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173639A (zh) * 2023-11-01 2023-12-05 伊特拉姆成都能源科技有限公司 基于多源设备的行为分析及安全预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343198A (ja) * 2005-06-08 2006-12-21 Hiroshi Murase 車両用画像処理装置、運転支援装置
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2012154731A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 測位情報形成装置、検出装置、及び測位情報形成方法
JP2012185669A (ja) * 2011-03-04 2012-09-27 Toyota Motor Corp 車両検知装置及びこれを用いる車両配光制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343198A (ja) * 2005-06-08 2006-12-21 Hiroshi Murase 車両用画像処理装置、運転支援装置
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2012154731A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 測位情報形成装置、検出装置、及び測位情報形成方法
JP2012185669A (ja) * 2011-03-04 2012-09-27 Toyota Motor Corp 車両検知装置及びこれを用いる車両配光制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173639A (zh) * 2023-11-01 2023-12-05 伊特拉姆成都能源科技有限公司 基于多源设备的行为分析及安全预警方法及系统
CN117173639B (zh) * 2023-11-01 2024-02-06 伊特拉姆成都能源科技有限公司 基于多源设备的行为分析及安全预警方法及系统

Also Published As

Publication number Publication date
KR102535598B1 (ko) 2023-05-23

Similar Documents

Publication Publication Date Title
US9274213B2 (en) Method for calibrating a plurality of environment sensors in a vehicle
US10422871B2 (en) Object recognition apparatus using a plurality of object detecting means
KR20140098598A (ko) 차량 속도 적응형 장애물 검출 장치 및 방법
JP2018022234A (ja) 画像処理装置、外界認識装置
KR20140137577A (ko) 차량의 주변환경 정보를 제공하는 장치 및 그 방법
KR20160013736A (ko) 자동차의 통합센서 시스템
US20060280336A1 (en) System and method for discriminating passenger attitude in vehicle using stereo image junction
KR102535618B1 (ko) 융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법
KR20140076415A (ko) 차량의 사각지대 정보 제공 장치 및 방법
KR20210064591A (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
JP2019159380A (ja) 物体検知装置、物体検知方法およびプログラム
WO2017208601A1 (ja) 画像処理装置、外界認識装置
KR102506642B1 (ko) 차량용 융합 시스템 및 이 시스템의 정보 처리 방법
JP2006352368A (ja) 車両周囲監視装置及び車両周囲監視方法
JP2009276906A (ja) 走行情報提供装置
KR20170135288A (ko) 비전기반의 융합형 물체 감지 장치 및 방법
CN115428043A (zh) 图像识别装置及图像识别方法
JP5049027B2 (ja) 警戒センサ
KR101798756B1 (ko) 재귀 반사체를 이용한 침입 감지 시스템 및 방법
JP2006160193A (ja) 車両運転支援装置
KR20160017400A (ko) 레이더와 레이저를 이용한 정밀촬영장치
JP7006678B2 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
KR102502155B1 (ko) 음성 안내를 위한 보행 안내 장치 및 이의 동작 방법
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법
KR101438921B1 (ko) 차량 주변의 이동체 경보 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant