KR20200103579A - 이동 객체 탐지 방법 및 장치 - Google Patents

이동 객체 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20200103579A
KR20200103579A KR1020200103223A KR20200103223A KR20200103579A KR 20200103579 A KR20200103579 A KR 20200103579A KR 1020200103223 A KR1020200103223 A KR 1020200103223A KR 20200103223 A KR20200103223 A KR 20200103223A KR 20200103579 A KR20200103579 A KR 20200103579A
Authority
KR
South Korea
Prior art keywords
moving object
vehicle
optical flow
processor
steering
Prior art date
Application number
KR1020200103223A
Other languages
English (en)
Inventor
이윤기
정형구
정여빈
Original Assignee
주식회사 에프에스솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프에스솔루션 filed Critical 주식회사 에프에스솔루션
Priority to KR1020200103223A priority Critical patent/KR20200103579A/ko
Publication of KR20200103579A publication Critical patent/KR20200103579A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이동 객체 탐지 방법 및 장치를 개시한다. 본 발명에 따르면, 차량 주변의 이동 객체 탐지 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 상기 차량 내에 설치된 카메라를 통해 입력된 영상에서 그리드 형태의 옵티컬 플로우 정보를 추출하고, 상기 차량의 조향 및 전/후진 속도에 따라 미리 저장된 벡터 분포 모형과 현재 차량의 조향 및 전/후진 속도에 상응하는 상기 옵티컬 플로우 정보를 이용하여 상기 영상 내에 이동 객체가 존재하는지 판단하고, 상기 이동 객체가 존재하는 프레임의 누적 횟수를 카운팅하고, 상기 누적 횟수가 미리 설정된 횟수 이상이고, 상기 이동 객체가 미리 설정된 거리 이내에 있는 경우 알람을 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 이동 객체 탐지 장치가 제공된다.

Description

이동 객체 탐지 방법 및 장치{Moving object detection method and apparatus}
본 발명은 이동 객체 탐지 방법 및 장치에 관한 것으로서, 보다 상세하게는 저속으로 이동하는 카메라를 통해 획득된 영상에서 이동 객체를 탐지하는 방법 및 장치에 관한 것이다.
차량의 운행 시 운전자의 부주의나 시계의 불량, 후방 차량의 전방 주시 의무 위반 등으로 교통사고가 빈번하게 발생하고 있다.
이를 방지하기 위해 최근 차량에 지능형 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이 장착되고 있다.
지능형 운전자 보조 시스템은 첨단 감지 센서와 GPS, 통신, 지능형 영상 장비 등을 이용하여 주행 중 일부 상황을 차량 스스로 인지하여 상황을 판단, 자동차를 제어하거나 운전자가 미리 위험요소를 감지할 수 있도록 소리, 불빛, 진동 등으로 알려주는 운전자 보조 시스템이다.
이 중 이동 객체 탐지(Moving Object Detection: MOD) 시스템은 차량 주변의 이동하는 객체를 탐지하여 이를 운전자에게 알려주는 시스템이다.
이동 객체 탐지 시스템은 주차 상황 또는 주차장에서 이동하는 상황과 같이 저속 상황에서 차량 주변에 보행자 등의 객체가 존재하는지 여부를 판단하여 알람을 제공한다.
이동 객체 탐지는 차량 내부에 설치된 카메라 기반으로 이루어지는데, 차량의 움직임에 따라 카메라도 움직이기 때문에 이동 객체를 정확하게 탐지하지 못하는 문제점이 있다.
등록특허 10-1912453
상기한 종래기술의 문제점을 해결하기 위해, 복잡도는 낮추면서 주행 중에서 이동 객체를 정확히 탐지할 수 있는 이동 객체 탐지 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 차량 주변의 이동 객체 탐지 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 상기 차량 내에 설치된 카메라를 통해 입력된 영상에서 그리드 형태의 옵티컬 플로우 정보를 추출하고, 상기 차량의 조향 및 전/후진 속도에 따라 미리 저장된 벡터 분포 모형과 현재 차량의 조향 및 전/후진 속도에 상응하는 상기 옵티컬 플로우 정보를 이용하여 상기 영상 내에 이동 객체가 존재하는지 판단하고, 상기 이동 객체가 존재하는 프레임의 누적 횟수를 카운팅하고, 상기 누적 횟수가 미리 설정된 횟수 이상이고, 상기 이동 객체가 미리 설정된 거리 이내에 있는 경우 알람을 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 이동 객체 탐지 장치가 제공된다.
상기 그리드 형태의 옵티컬 플로우 정보는 상기 영상의 미리 설정된 관심 영역 내에서 서로 이격되어 배치된 복수의 픽셀에 대한 모션 벡터의 집합으로 정의될 수 있다.
상기 프로그램 명령어들은, 상기 카메라를 통해 입력된 영상에서 상기 복수의 픽셀의 모션 벡터에 대한 수직성분 및 수평성분을 이용하여 회전각 및 상대적인 전/후진 속도를 산출하고, 상기 산출된 회전각 및 상대적인 전/후진 속도에 따른 상기 복수의 픽셀의 모션 벡터 집합을 상기 벡터 분포 모형으로 저장할 수 있다.
상기 프로그램 명령어들은, 현재 차량의 조향 및 전/후진 속도에서 복수의 픽셀의 모션 벡터의 수직성분 및 수평성분이 상기 벡터 분포 모형에 포함된 복수의 픽셀의 모션 벡터의 수직성분 및 수평성분과 미리 설정된 임계치 이상 차이 나는 픽셀의 집합을 이동 객체로 추정할 수 있다.
상기 그리드 형태는 사각형상, 십자형상 및 H 형상 중 적어도 하나의 형상을 가질 수 있다.
본 발명의 다른 측면에 따르면, 차량 주변의 이동 객체 탐지 방법으로서, 상기 차량 내에 설치된 카메라를 통해 입력된 영상에서 그리드 형태의 옵티컬 플로우 정보를 추출하는 단계; 상기 차량의 조향 및 전/후진 속도에 따라 미리 저장된 벡터 분포 모형과 현재 차량의 조향 및 전/후진 속도에 상응하는 상기 옵티컬 플로우 정보를 이용하여 상기 영상 내에 이동 객체가 존재하는지 판단하는 단계; 상기 이동 객체가 존재하는 프레임의 누적 횟수를 카운팅하는 단계; 및 상기 누적 횟수가 미리 설정된 횟수 이상이고, 상기 이동 객체가 미리 설정된 거리 이내에 있는 경우 알람을 생성하는 단계를 포함하는 이동 객체 탐지 방법이 제공된다.
본 발명에 따르면, 카메라의 이동에 따른 옵티컬 플로우의 벡터 분포 모형을 이용하여 차량 주변의 이동 객체를 빠르고 쉽게 탐지할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 이동 객체 탐지 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 이동 객체 탐지 과정을 도시한 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 사각 형상의 그리드 기반 옵티컬 플로우를 나타낸 도면이다.
도 4은 본 실시예에 따른 십자 형태의 옵티컬 플로우를 도시한 도면이다.
도 5는 차량의 조향 및 전/후진 속도 산출을 위한 지평선을 도시한 도면이다.
도 6은 차량의 조향을 산출하기 위한 과정을 설명하는 도면이다.
도 7은 본 실시예에 따른 이동 객체가 존재하는 상태에서의 옵티컬 플로우 정보를 나타낸 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 이동 객체 탐지 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 이동 객체 탐지 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.
프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(102)에는 프로세서(100)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 실시예에 따른 프로그램 명령어들을 통해 이동 객체 탐지 장치는, 도 2와 같은 과정으로 이동 객체 탐지를 수행한다.
도 2는 본 실시예에 따른 이동 객체 탐지 과정을 도시한 도면이다.
도 2를 참조하면, 이동 객체 탐지 장치는 카메라를 통해 촬영된 영상을 획득한다(단계 200).
여기서, 카메라는 차량의 전방, 측방 및 후방 등에 설치될 수 있고, 차량이 아닌 저속 주행 중 주변 객체를 탐지해야 하는 장치라면 제한없이 적용될 수 있다.
이동 객체 탐지 장치는 단계 200에서 획득된 영상의 관심 영역 내의 그리드(grid) 형태의 옵티컬 플로우 정보를 추출한다(단계 202).
옵티컬 플로우는 시간 상에서 연속된 두 영상(프레임)을 비교하여 소정 픽셀의 시간적인 변위 벡터(모션 벡터)를 추정하는 기술로, 모션 추정이나 영상 압축 등에 널리 사용되는 컴퓨터 비전 기술이다.
본 실시예에 따른 옵티컬 플로우 정보는 영상의 관심 영역 내에 소정 형상으로 서로 이격되어 배치된 복수의 픽셀에 대한 모션 벡터에 관한 정보로서, 복수의 픽셀들의 모션 벡터의 집합으로 정의될 수 있다.
움직이는 카메라에서 획득된 영상에서 이동중인 객체를 탐지하는 것은 쉽지 않다.
차량용 카메라의 경우 카메라가 차량에 고정 장착되어 위치가 유지되기 때문에 카메라가 만들 수 있는 이동 상태 공간은 차량의 움직임만으로 제할될 수 밖에 없다.
본 발명의 일 실시예는, 상기한 특성을 이용하여 카메라를 통해 획득된 영상에서 차량과 카메라의 움직임 정보를 획득하여 이를 통해 이동 객체를 탐지하는 기법을 제안한다.
차량의 움직임은 스로틀과 브레이킹에 의해 전/후진 및 스티어링에 따른 회전과 같이 2개의 움직임으로 제한되기 때문에 차량에 고정된 카메라의 움직임도 전/후진 및 회전 2가지로 제한된다.
상기한 제한을 고려하여 본 발명의 일 실시예에 따른 이동 객체 탐지 장치는 그리드 형태의 옵티컬 플로우 정보를 이용하여 이동 객체를 탐지한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 사각 형상의 그리드 기반 옵티컬 플로우를 나타낸 도면이다.
도 3을 참조하면, 이동 객체 탐지 장치는 복수의 픽셀들에 대한 옵티컬 플로우를 기반으로 영상 내에서 이동 객체를 탐지한다.
여기서, 복수의 픽셀이 그리드 형태로 배치된다는 것은 서로 인접하지 않은 픽셀들이 사각 형상, 십자가 형상, H 형상 등으로 배치된다는 것을 의미한다.
전술한 바와 같이, 옵티컬 플로우 정보를 위한 복수의 픽셀은 소정 관심 영역 내에 포함된 픽셀로 제한될 수 있다. 이는 픽셀의 개수가 증가할수록 정확도는 높아지지만 옵티컬 플로우의 연산량이 증가하기 때문이다. 이때 관심 영역은 카메라의 설치 위치 및 각도에 따라 달라질 수 있다.
도 3에서는 사각 형상으로 복수의 픽셀을 배치하는 것으로 도시하였으나, 에 한정됨이 없이 십자가 형상, H 형상, 상하 및 좌우 대칭 형상으로 복수의 픽셀을 배치할 수도 있다.
도 4은 본 실시예에 따른 십자 형태의 옵티컬 플로우를 도시한 도면이다.
이동 객체 탐지 장치는 차량의 조향 및 전/후진 속도에 따른 벡터 분포 모형을 미리 생성하여 저장하고 있으며, 단계 202에서 추출된 옵티컬 플로우 정보에서 차량의 현재 조향 및 전/후진 속도에 상응하는 벡터 분포 모형을 벗어나는 영역을 탐색한다(단계 204).
이후, 연속된 프레임에서 벡터 분포 모형을 벗어나는 영역이 소정 프레임이 이상 나타나고, 이동 객체가 차량으로부터 미리 설정된 거리 내에 위치하는 경우 알람을 생성한다(단계 206).
차량의 조향 및 전/후진 속도는 차량 내부에 설치된 MCU 또는 옵티컬 플로우 정보를 이용하여 계산될 수 있다.
이하에서는 카메라를 통해 촬영된 영상을 이용하여 차량의 조향(카메라의 회전각) 및 속도(상대적인 전/후진 속도)를 산출하는 것을 중심으로 설명한다.
도 5는 차량의 조향 및 전/후진 속도 산출을 위한 지평선을 도시한 도면이다.
도 5를 참조하면, 지평선(500)을 기준으로 차량이 전진하는 경우 카메라의 영상 특성에 의해 지평선(500)의 픽셀들은 지평선(500)의 최단 거리에 비례하여 위쪽을 향하고, 지평선(500) 아래의 픽셀들은 지평선(500)의 최단 거리에 비례하여 아래쪽을 향하게 된다.
옵티컬 플로우를 위한 복수의 픽셀의 모션 벡터에 대해 수직성분만을 추출하고, 이들 수직성분의 표준편차를 구하면 각각의 상대 정보는 소멸된 차량의 전/후진 속도 변화와 비례하는 상대 속도 정보가 추출된다.
수직성분만 추출하는 이유는 수평성분은 차량 조향을 물론이고 이동 객체들이 만드는 추가적인 움직임에 의해 영향을 받기 때문이다.
반면 수평성분만 이용할 경우, 차량의 조향과 무관하게 속도 정보를 얻을 수 있는 장점이 있다. 수직성분의 경우 차량이 언덕이나 과속방지턱을 넘을 경우 오차가 발생할 수 있으나 이는 매우 예외적이다.
본 실시예에서 조향(회전) 및 속도를 카메라를 통해 입력된 영상에서 추출하는 것은 조향 및 전/후진 속도 산출을 위한 MCU가 없는 장치에 유용할 수 있다.
도 6은 차량의 조향을 산출하기 위한 과정을 설명하는 도면이다.
도 6을 참조하면, 카메라의 회전은 조향각 및 차량의 속도에 비례하므로 위에 얻은 벡터 집합의 결과를 수평성분만 합산하여 평균을 구하고, 이를 속도로 나누어 주면 차량의 조향 정보를 산출할 수 있다.
수평성분 또한 중심에서 멀어질수록 비례하여 크기가 커지지만 영상 중심에 소실점이 존재하고 좌우 균등하게 그리드 벡터가 배치된 경우 매우 저렴한 연산인 평균 계산으로 해당 정보는 소멸되고 순수한 조향 정보만 남게 된다.
영상을 통해 차량의 조향과 속도를 얻게 되면 카메라의 상태가 전진 또는 후진인지 알 수 있으며 차량의 움직임 정보와 일치하는 벡터 분포 모형을 생성할 수 있다.
여기서, 벡터 분포 모형은 카메라가 장착된 차량의 움직임(조향/속도)에 따른 각 픽셀의 모션 벡터의 집합으로 정의할 수 있다.
도 7은 본 실시예에 따른 이동 객체가 존재하는 상태에서의 옵티컬 플로우 정보를 나타낸 것이다.
도 7은 차량이 중심에서 확산(전진)중이며 그 상대 크기는 1.7이며 조향은 우로 30도 일 때의 벡터 분포 모형에 상응하는 옵티컬 플로우를 나타낸 것이다.
이동 객체 탐지 장치는 상기한 차량 조향 및 전/후진 속도에 따른 벡터 분포 모형을 저장하고 현재 차량의 조향 및 전/후진 속도에서 미리 저장된 벡터 분포 모형에서 벗어나는 영역이 존재하는지 여부를 판단하여 이동 객체를 탐지한다.
여기서, 미리 정의된 벡터 분포 모형을 벗어나는 영역은 도 7의 소정 박스(700)와 같이 현재 차량의 조향 및 전/후진 속도에서 복수의 픽셀의 모션 벡터의 수직성분 및 수평성분이 상기 벡터 분포 모형에 포함된 복수의 픽셀의 모션 벡터의 수직성분 및 수평성분과 미리 설정된 임계치 이상 차이 나는 픽셀의 집합으로 정의될 수 있다.
이처럼 벡터 분포 모형을 벗어나는 픽셀의 집합이 탐색되면, 이동 객체 탐지 장치는 이동 객체가 소정 개수의 프레임에서 연속적으로 존재하고 소정 거리 이내에 위치하는 경우 알람을 생성한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (1)

  1. 차량 주변의 이동 객체 탐지 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    상기 차량 내에 설치된 카메라를 통해 입력된 영상에서 사각형상, 십자형상 및 H 형상 중 적어도 하나의 형상을 갖는 그리드 형태의 옵티컬 플로우 정보를 추출하고,
    상기 차량의 조향각 및 전/후진 속도에 따라 미리 저장된 벡터 분포 모형과 현재 차량의 조향각 및 전/후진 속도에 상응하는 상기 그리드 형태의 옵티컬 플로우 정보를 이용하여 상기 영상 내에 이동 객체가 존재하는지 판단하고,
    상기 이동 객체가 존재하는 프레임의 누적 횟수를 카운팅하고,
    상기 누적 횟수가 미리 설정된 횟수 이상이고, 상기 이동 객체가 미리 설정된 거리 이내에 있는 경우 알람을 생성하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하며,
    상기 그리드 형태의 옵티컬 플로우 정보는 상기 영상의 미리 설정된 관심 영역 내에서 서로 이격되어 배치된 복수의 픽셀에 대한 모션 벡터 집합으로 정의되고,
    상기 프로그램 명령어들은,
    상기 모션 벡터 집합에 대한 수직성분을 이용하여 현재 차량의 전/후진 속도를 산출하고, 상기 모션 벡터 집합에 대한 수평성분을 이용하여 현재 차량의 조향각을 산출하며,
    상기 산출된 조향각 및 상대적인 전/후진 속도에 따른 상기 모션 벡터 집합의 수직성분 및 수평성분이 상기 벡터 분포 모형에 포함된 모션 벡터 집합의 수직성분 및 수평성분과 미리 설정된 임계치 이상 차이가 나는 픽셀의 집합을 이동 객체로 추정하는 이동 객체 탐지 장치.


KR1020200103223A 2020-08-18 2020-08-18 이동 객체 탐지 방법 및 장치 KR20200103579A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200103223A KR20200103579A (ko) 2020-08-18 2020-08-18 이동 객체 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200103223A KR20200103579A (ko) 2020-08-18 2020-08-18 이동 객체 탐지 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010048 Division 2019-01-25

Publications (1)

Publication Number Publication Date
KR20200103579A true KR20200103579A (ko) 2020-09-02

Family

ID=72449823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200103223A KR20200103579A (ko) 2020-08-18 2020-08-18 이동 객체 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200103579A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912453B1 (ko) 2012-02-17 2018-10-26 현대모비스 주식회사 장애물 검출 및 충돌 경보 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912453B1 (ko) 2012-02-17 2018-10-26 현대모비스 주식회사 장애물 검출 및 충돌 경보 장치 및 방법

Similar Documents

Publication Publication Date Title
JP7025912B2 (ja) 車載環境認識装置
US10627228B2 (en) Object detection device
US9721460B2 (en) In-vehicle surrounding environment recognition device
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
US10860869B2 (en) Time to collision using a camera
WO2017090410A1 (ja) ステレオカメラ装置
EP2928178B1 (en) On-board control device
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
KR102507248B1 (ko) 에고모션 추정 시스템 및 방법
JP2013225295A5 (ko)
JP6722084B2 (ja) 物体検出装置
US20180012068A1 (en) Moving object detection device, image processing device, moving object detection method, and integrated circuit
US20180012368A1 (en) Moving object detection device, image processing device, moving object detection method, and integrated circuit
KR20200103579A (ko) 이동 객체 탐지 방법 및 장치
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
EP3438933A1 (en) Environment recognition device
KR101958605B1 (ko) 전방 차량 검출 장치 및 방법
KR102161905B1 (ko) 후방 차량 검출 장치 및 방법
JP4847303B2 (ja) 障害物検出方法、障害物検出プログラムおよび障害物検出装置
JP6868996B2 (ja) 障害物検知システム及び建設機械
US20190156512A1 (en) Estimation method, estimation apparatus, and non-transitory computer-readable storage medium
JP3931885B2 (ja) 障害物検知装置
WO2023095403A1 (ja) 外界認識装置
JP2018078479A (ja) 駐車枠認識装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application