KR101808937B1 - 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치 - Google Patents

그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치 Download PDF

Info

Publication number
KR101808937B1
KR101808937B1 KR1020160024210A KR20160024210A KR101808937B1 KR 101808937 B1 KR101808937 B1 KR 101808937B1 KR 1020160024210 A KR1020160024210 A KR 1020160024210A KR 20160024210 A KR20160024210 A KR 20160024210A KR 101808937 B1 KR101808937 B1 KR 101808937B1
Authority
KR
South Korea
Prior art keywords
pattern
state diagram
gradient histogram
hog
vehicle
Prior art date
Application number
KR1020160024210A
Other languages
English (en)
Other versions
KR20170101544A (ko
Inventor
정경훈
이강
Original Assignee
국민대학교산학협력단
한동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단, 한동대학교 산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020160024210A priority Critical patent/KR101808937B1/ko
Publication of KR20170101544A publication Critical patent/KR20170101544A/ko
Application granted granted Critical
Publication of KR101808937B1 publication Critical patent/KR101808937B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 오브젝트 주행 패턴 검출 방법은 오브젝트 주행 패턴을 검출하기 위한 관심 영역을 설정하는 단계; 상기 관심 영역에 대해 획득된 영상에 대한 그래디언트 히스토그램(HOG) 특징을 추출하는 단계; 상기 추출된 그래디언트 히스토그램 특징을 이용하여 순차적인 시간의 흐름에 따른 그래디언트 히스토그램(HOG) 상태도를 구성하는 단계; 및 상기 구성된 그래디언트 히스토그램 상태도에 기초하여 상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계를 포함한다.

Description

그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치{Method for Detecting Driving Pattern of Object Using Histogram of Gradients and Apparatus Therefor}
본 발명은 오브젝트 주행 패턴을 영상정보에 기반하여 검출하는 기술에 관한 것으로서, 보다 상세하게는 그래디언트 히스토그램(HOG; Histogram of Gradients)을 이용하여 오브젝트 예를 들어, 차량의 전방 또는 후방 또는 측면에서 주행 중인 차량의 주행 패턴을 검출할 수 있는 오브젝트 주행 패턴 검출 방법 및 장치에 관한 것이다.
지능형 차량을 구현하기 위해 비전 센서를 사용한 운전보조 시스템(ADAS; advanced driver assistance systems) 기술이 발전하고 있다. 다양한 ADAS 요소기술 가운데 차량 검출은 핵심 기능 가운데 하나이며 영상의 HOG(Histogram of Gradients) 특징은 차량 검출을 위해 사용되는 대표적인 특징이다.
일반적으로 HOG 특징과 서포트 벡터 머신(SVM; Support Vector Machine), 뉴럴 네트워크(Neural Network) 등의 분류기를 결합하여 해당 프레임에서 차량을 검출한다.
이러한 HOG 특징은 밝기 변화에 강인하며 하나의 프레임에서 차량의 유무를 판단하는 유용한 특징이지만 이를 통해 차량의 주행 패턴을 파악하는 용도로는 활용되지 못하고 있다.
따라서, HOG 특징을 이용하여 차량과 같은 오브젝트의 주행 패턴을 검출할 수 있는 방법의 필요성이 대두된다.
본 발명의 실시예들은, HOG 특징을 이용하여 오브젝트 예를 들어, 차량의 전방 또는 후방 또는 측면에서 주행 중인 차량의 주행 패턴을 검출할 수 있는 오브젝트 주행 패턴 검출 방법 및 장치를 제공한다.
구체적으로, 본 발명의 실시예들은, 관심 영역에 대해 추출된 HOG 특징을 이용한 HOG 상태도를 구성하고, 구성된 HOG 상태도의 패턴 변화를 통해 관심 영역에 포함된 오브젝트의 주행 패턴을 검출할 수 있는 오브젝트 주행 패턴 검출 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 오브젝트 주행 패턴 검출 방법은 오브젝트 주행 패턴을 검출하기 위한 관심 영역을 설정하는 단계; 상기 관심 영역에 대해 획득된 영상에 대한 그래디언트 히스토그램(HOG) 특징을 추출하는 단계; 상기 추출된 그래디언트 히스토그램 특징을 이용하여 순차적인 시간의 흐름에 따른 그래디언트 히스토그램(HOG) 상태도를 구성하는 단계; 및 상기 구성된 그래디언트 히스토그램 상태도에 기초하여 상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계를 포함한다.
상기 그래디언트 히스토그램 상태도를 구성하는 단계는 상기 추출된 그래디언트 히스토그램 특징 벡터를 순차적인 시간의 흐름에 따라 배열함으로써, 상기 그래디언트 히스토그램 상태도를 구성할 수 있다.
상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계는 상기 그래디언트 히스토그램 상태도 패턴의 변화를 통해 상기 오브젝트의 존재 여부를 검출할 수 있다.
상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계는 상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화가 진행되는 셀의 순서에 기초하여 상기 오브젝트의 접근 또는 멀어짐에 대한 진행 방향을 검출할 수 있다.
상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계는 상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화 지속시간에 기초하여 상기 오브젝트와의 속도 차이를 검출할 수 있다.
본 발명의 일 실시예에 따른 오브젝트 주행 패턴 검출 장치는 오브젝트 주행 패턴을 검출하기 위한 관심 영역을 설정하는 설정부; 상기 관심 영역에 대해 획득된 영상에 대한 그래디언트 히스토그램(HOG) 특징을 추출하는 추출부; 상기 추출된 그래디언트 히스토그램 특징을 이용하여 순차적인 시간의 흐름에 따른 그래디언트 히스토그램(HOG) 상태도를 구성하는 구성부; 및 상기 구성된 그래디언트 히스토그램 상태도에 기초하여 상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 검출부를 포함한다.
상기 구성부는 상기 추출된 그래디언트 히스토그램 특징 벡터를 순차적인 시간의 흐름에 따라 배열함으로써, 상기 그래디언트 히스토그램 상태도를 구성할 수 있다.
상기 검출부는 상기 그래디언트 히스토그램 상태도 패턴의 변화를 통해 상기 오브젝트의 존재 여부를 검출할 수 있다.
상기 검출부는 상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화가 진행되는 셀의 순서에 기초하여 상기 오브젝트의 접근 또는 멀어짐에 대한 진행 방향을 검출할 수 있다.
상기 검출부는 상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화 지속시간에 기초하여 상기 오브젝트와의 속도 차이를 검출할 수 있다.
본 발명의 실시예들에 따르면, 관심 영역 예를 들어, 차량의 전방 또는 후방 또는 측면에서 획득된 영상에 대한 HOG 특징을 추출하고, 추출된 HOG 특징을 이용한 HOG 상태도를 구성하며, 구성된 HOG 상태도의 패턴 변화를 통해 관심 영역에 포함된 오브젝트의 주행 패턴을 검출할 수 있다.
본 발명의 실시예들에 따르면, HOG 상태도의 패턴 변화를 통해 관심 영역에 차량과 같은 오브젝트의 존재 유무, 오브젝트가 해당 차량에 접근하는지 멀어지는지와 같은 오브젝트의 진행 방향 그리고 오브젝트와 해당 차량의 상대적인 속도 차이 등을 검출할 수 있다.
본 발명의 실시예들에 따르면, 관심영역에 대한 HOG 상태도 분석을 통해 관심영역에 존재하는 주변 상황을 용이하게 검출할 수 있다.
도 1은 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템을 설명하기 위한 도면을 나타낸 것이다.
도 2는 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 과정을 설명하기 위해 후방 카메라로부터 획득되는 이미지에 대한 도면을 나타낸 것이다.
도 3은 차량의 후방 좌우 옆 차선 영역을 구분한 도면을 나타낸 것이다.
도 4는 HOG 상태도를 설명하기 위한 예시도를 나타낸 것이다.
도 5는 관심영역에서의 오브젝트 이동과 이에 대한 HOG 상태도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 방법에 대한 동작 흐름도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 장치에 대한 구성을 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
HOG 특징은 밝기 변화에 강인하며 하나의 프레임에서 차량과 같은 오브젝트의 유무를 판단하는 유용한 특징이지만 이를 통해 차량의 주행 패턴을 파악하는 용도로는 활용되지 못하고 있다.
본 발명의 실시예들은, 특정 윈도우 예컨대, 관심 영역 내의 HOG 특징을 시간에 따라 기록한 HOG 상태도를 구성한 후, HOG 상태도를 분석함으로써, 관심 영역에 포함된 차량과 같은 오브젝트와 배경을 구분하고 차량의 이동 방향 및 속도 등 주행 패턴 정보를 검출하는 것을 그 요지로 한다.
이하, 본 발명에 대한 설명의 편의를 위하여 오브젝트가 차량인 것으로 가정하여 설명한다.
도 1은 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템을 설명하기 위한 도면을 나타낸 것으로, 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 장치는 차량용 영상 모니터링 시스템에 설치될 수도 있다.
도 1을 참조하면, 차량용 영상 모니터링 시스템은 차량(110)의 내부에 설치될 수 있다. 여기서, 차량용 영상 모니터링 시스템은 전방 카메라(120), 후방 카메라(130), 메모리 및 컨트롤러를 포함할 수 있다. 도면에는 메모리 및 컨트롤러가 전방 카메라(120) 또는 후방 카메라(130) 중 어느 하나와 결합되어 구성되도록, 별도로 도시되지 않았으나, 이에 제한되거나 한정되지 않고, 전방 카메라(120) 및 후방 카메라(130)와 별도의 장치로 구비될 수도 있다. 또한, 차량용 영상 모니터링 시스템에 후방 카메라(130)는 반드시 포함되나, 전방 카메라(120)는 선택적으로 포함될 수 있다. 이 때, 후방 카메라(130)는 단안 카메라일 수 있다.
전방 카메라(120)은 차량(110)의 전방을 향해 미리 설정된 각도에 따른 시야(121)의 이미지를 획득한다. 이 때, 전방 카메라(120)는 컨트롤러의 모드에 따라, 고화질의 이미지 또는 저화질의 이미지를 선택적으로 획득할 수 있다.
또한, 후방 카메라(130)는 차량(110)의 후방을 향해 미리 설정된 각도에 따른 시야(131)의 이미지를 획득한다. 이 때, 후방 카메라(130) 역시, 컨트롤러의 모드에 따라, 고화질의 이미지 또는 저화질의 이미지를 선택적으로 획득할 수 있다.
예를 들어, 전방 카메라(120) 및 후방 카메라(130)는 컨트롤러가 주행 모드로 설정된 경우, 미리 설정된 화질 이상의 고화질 이미지를 획득할 수 있고, 컨트롤러가 주차 모드로 설정된 경우, 미리 설정된 화질 미만의 저화질 이미지를 획득할 수 있다. 따라서, 전방 카메라(120) 및 후방 카메라(130)는 획득하는 이미지의 화질을 선택적으로 조절함으로써, 이미지를 획득하는 과정에서의 전력 소모를 최소화할 수 있다. 이와 같이, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지는 메모리에 저장될 수 있다.
컨트롤러는 본 발명의 실시예에 따른 차량 주행 패턴 검출 장치에 대응하는 구성으로, 차량(110)이 주행하는지 여부를 기초로, 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 관심영역에 포함된 차량과 같은 오브젝트의 주행 패턴을 검출한다.
일반적으로 차량(110)에 설치된 룸미러(140)를 이용한 운전자의 시야(141) 및 사이드미러(150)를 이용한 운전자의 시야(151)만으로는 차량의 후방 좌우 옆 차선 영역에 대한 사각 지대(160)가 존재하게 된다. 따라서, 차량용 영상 모니터링 시스템은 컨트롤러의 모드가 주행 모드로 설정되는 경우, 차량(110)이 주행하는 동안, 후방 카메라(120)로부터 획득되는 이미지에서 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 HOG 특징을 이용하여 검출함으로써, 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역을 확인할 수 있다.
즉, 본 발명의 실시예에 따른 차량 주행 패턴 검출 장치(여기서는, 컨트롤러)는 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역을 관심영역으로 설정하고, 설정된 관심영역에 대해 촬영된 또는 획득된 영상에 대한 HOG 특징을 추출한 후 추출된 HOG 특징을 이용하여 순차적인 시간의 흐름에 따른 HOG 상태도를 구성하며, 구성된 HOG 상태도에 기초하여 관심영역에 포함된 오브젝트 예를 들어, 차량의 주행 패턴을 검출하는 것으로, 오브젝트의 주행 패턴은 오브젝트의 존재 여부, 오브젝트가 존재하는 경우 오브젝트의 진행 방향, 해당 차량과 오브젝트 간의 상대적인 속도 차이 등을 포함할 수 있다.
여기서, HOG 상태도는 도 4에 도시된 일 예와 같이, 관심영역에 대한 이미지 또는 영상의 특징 추출 과정에서 생성된 HOG 특징 벡터를 시간의 흐름에 따라 배열하여 구성한 것으로, 하나의 열이 하나의 프레임 해당 윈도우로부터 얻은 HOG 특징을 의미하고, 가로축의 크기는 HOG 특징의 차원과 같다. 가로축을 따라서 표시된 숫자는 HOG 특징을 셀(cell) 단위로 구분한 것이고, 세로축은 동영상 시퀀스에서의 시간(또는 프레임)의 진행을 의미한다.
도 2는 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 과정을 설명하기 위해 후방 카메라로부터 획득되는 이미지에 대한 도면을 나타낸 것이다.
도 2를 참조하면, 차량용 영상 모니터링 시스템에 포함되는 후방 카메라는 주행 모드로 설정된 컨트롤러의 제어에 따라, 차량의 후방을 향해 미리 설정된 각도에 따른 시야 즉, 관심영역의 이미지(210, 220)를 획득할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 차량이 주행하는 동안에 후방 카메라로부터 획득되는 이미지(210, 220) 즉, 관심영역에 대해 획득된 이미지(210, 220)로부터 HOG 특징을 추출하고, 추출된 HOG 특징 벡터를 순차적인 시간의 흐름에 따라 배열함으로써, 관심영역에 대한 HOG 상태도를 구성하며, 구성된 HOG 상태도 패턴 변화에 기초하여 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지, 또는 진행 방향이 가까워지는지 멀어지는지, 또는 차량과 오브젝트(230, 240) 간의 상대적인 속도 차이 등의 주행 패턴을 검출한다.
이 때, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)의 주행 패턴을 검출하기 위하여, 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)에 대응하는 관심영역(250)에 대한 감지 기능을 활성화할 수 있다.
여기서, 관심영역(250)은 차량의 후방 좌우 옆 차선 영역(211, 221) 중 적어도 일부에 대해 고정된 영역으로서, 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보에 기초하여 설정될 수 있다.
예를 들어, 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보 및 후방 카메라로부터 획득되는 이미지(210, 220)에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대가 계산되고, 계산된 사각지대를 포함한 영역이 관심영역(250)으로 설정될 수 있다. 또한, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 오브젝트(230, 240)의 그림자 정보를 이용하여 결정될 수 있다.
더 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 오브젝트의 그림자가 탐색되지 않는 경우, 관심영역(250)을 아예 설정하지 않을 수 있고, 오브젝트의 그림자의 형태 및 밝기 분포에 따라 관심영역(250)의 크기를 최소한의 크기로 설정하거나, 관심영역(250)의 위치를 오브젝트를 정확히 감지하도록 동적으로 결정할 수 있다.
주행 모드로 설정된 컨트롤러는 관심영역(250)에 대한 감지 기능을 활성화하여 관심영역(250)에서의 오브젝트(230, 240) 존재 유무와 오브젝트(230, 240)가 존재하는 경우 오브젝트(230, 240)의 주행 패턴을 검출할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221) 중 적어도 일부에 대해 고정된 영역인 관심영역(250)에서만 오브젝트(230, 240)를 감지하기 때문에, 후방 좌우 옆 차선 영역(211, 221) 전체에 대해 오브젝트(230, 240)를 추적하여 감지하는 기술에 비해 오브젝트(230, 240) 감지 계산량을 현저하게 감소시킬 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대하여 HOG 기법을 적용하여 관심영역(250)에 대한 HOG 특징으로 추출하고, 추출된 HOG 특징 벡터를 순차적인 시간의 흐름에 따라 배열함으로써, 관심영역에 대한 HOG 상태도를 구성하며, 구성된 HOG 상태도 패턴 변화에 기초하여 관심영역에 오브젝트(230, 240)가 존재하는지, 진행 방향이 가까워지는지 멀어지는지, 차량과 오브젝트(230, 240) 간의 상대적인 속도 차이 중 적어도 하나를 포함하는 주행 패턴을 검출한다.
예를 들어, 도 5a에 도시된 바와 같이, 관심영역에 오브젝트가 진입하고 시간이 지남에 따라 해당 차량과 가까워지는 경우 관심영역에 대해 HOG 특징으로 추출하며, 추출된 HOG 특징 벡터를 도 5b와 같이 배열함으로써, 관심영역에 대한 HOG 상태도를 구성할 수 있다. 도 5b는 도 5a에 도시된 관심영역에서 획득된 영상에 대하여, 시간의 흐름에 따라 HOG 특징을 배열한 것으로, 오브젝트가 관심영역으로 진입함에 따라 HOG 상태도의 패턴이 순차적으로 변하는 것을 알 수 있다.
즉, 컨트롤러는 이러한 HOG 상태도의 패턴 변화 여부를 통해 관심영역에 오브젝트가 존재하는지 검출할 수 있고, HOG 상태도 패턴의 변화가 진행되는 셀의 순서를 통해 오브젝트가 멀어지는지 가까워지는지의 진행 방향을 검출할 수 있으며, HOG 상태도 패턴의 변화 지속시간을 통해 해당 차량과 오브젝트 간의 상대적인 속도차이를 검출할 수 있다. 물론, 컨트롤러는 해당 차량의 속도를 알 수 있는 경우 HOG 상태도 패턴의 변화 지속시간을 통해 오브젝트의 속도를 검출할 수도 있다.
물론, 이러한 HOG 상태도 패턴 변화를 분석하여 관심영역에 포함된 오브젝트의 주행 패턴을 검출하는 것은 순차적인 시간의 흐름에 따라 배열된 HOG 특징 벡터를 분석함으로써, 이루어질 수 있다.
예를 들어, 도 2a와 같이, 후방 카메라로부터 획득되는 이미지(210, 220) 중 이전 프레임에 대한 이미지(210)에서 관심영역(250)에 오브젝트(230, 240)가 위치하지 않다가, 도 2b와 같이, 현재 프레임에 대한 이미지(220)에서 관심영역(250)에 오브젝트(230, 240)가 위치한 경우, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 대한 HOG 상태도 패턴 변화를 통해 관심영역(250)에 오브젝트(230, 240)가 존재한다는 것을 검출할 수 있다.
보다 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 제1 관심영역(251)과 제1 관심영역(252) 각각에 대한 HOG 상태도 패턴을 분석하여 제1 관심영역(251)의 상태도 패턴에 변화가 발생하면 제1 관심영역(251)에 제1 오브젝트(230)가 존재하는 것으로 감지 또는 검출하고, 제2 관심영역(252)의 상태도 패턴에 변화가 발생하면 제2 관심영역(252)에 제2 오브젝트(240)가 존재하는 것으로 감지 또는 검출할 수 있다.
물론, 컨트롤러는 제1 관심영역(251)과 제1 관심영역(252) 각각에 대한 HOG 상태도 패턴의 변화가 진행되는 셀의 순서를 통해 제1 오브젝트(230)와 제2 오브젝트(240)가 멀어지는지 가까워지는지의 진행 방향을 검출할 수 있으며, 제1 관심영역(251)과 제1 관심영역(252) 각각에 대한 HOG 상태도 패턴의 변화 지속시간을 통해 제1 오브젝트(230)와의 상대적인 속도 차이, 제2 오브젝트(240)와 상대적인 속도 차이를 검출할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 오브젝트(230, 240)를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 최적화하도록 설정함으로써(오브젝트(230, 240)의 대칭성, 오브젝트(230, 240)에 대한 에지의 각도 분포 특성 및 오브젝트(230, 240)의 외양 특성이 집중적으로 분포하는 구간 등의 파라미터들을 설정함), HOG 기법의 연산 속도를 향상시켜 관심영역의 HOG 특징을 빠르게 추출할 수 있다.
상술된 오브젝트(230, 240)의 외양 정보는 오브젝트(230, 240)의 종류 및 크기와 관련된 외양 정보(전면 외양 정보 또는 측면 외양 정보)와 오브젝트(230, 240)가 주행함에 따른 오브젝트(230, 240)의 자세와 관련된 정보를 포함할 수 있다. 이하, 오브젝트(230, 240)는 차량인 경우로 설명하지만, 이에 제한되거나 한정되지 않고, 사람, 오토바이, 자전거 또는 표지판 등과 같이 차량이 주행함에 있어, 충돌의 여지가 있는 모든 물체일 수 있다.
관심영역(250)은 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)을 탐색하기 위한 이미지(210, 220) 상의 특정 영역으로서, 주행 모드로 설정된 컨트롤러에 의해 적응적으로 조절될 수 있다.
예를 들어, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보, 후방 카메라로부터 획득되는 이미지(210, 220)에서 소실점의 위치 정보 또는 후방 카메라로부터 획득되는 이미지(210, 220)에 위치하는 오브젝트(230, 240)의 외양 정보 중 적어도 어느 하나에 기초하여 설정될 수 있다.
더 구체적인 예를 들면, 관심영역(250)은 후방 카메라로부터 획득되는 이미지(210, 220)에 위치하는 오브젝트(230, 240)의 외양 정보에 따라 좌우로 넙적한 직사각의 형태나 위 아래로 긴 직사각 형태를 가질 수 있다. 여기서, 오브젝트(230, 240)의 외양 정보는 오브젝트(230, 240)가 생성하는 그림자에 대한 정보를 포함할 수도 있다.
또한, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 주행 모드로 설정된 컨트롤러의 연산 속도 또는 주행 모드로 설정된 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다.
예를 들어, 컨트롤러는 HOG 기법을 적용하기 위하여, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 설정할 수 있다.
더 구체적인 예를 들면, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 주행 모드로 설정된 컨트롤러가 HOG 기법을 적용하는 연산 속도가 최소화되도록 설정될 수 있다.
이 때, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 설정됨에 따라, 차량의 후방 좌우 옆 차선 영역(211, 221) 모두를 감지하는 대신에, 차량으로부터 미리 설정된 거리 이내의 후방 좌우 옆 차선 영역(211, 221)만을 감지할 수 있다. 따라서, 주행 모드로 설정된 컨트롤러는 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 설정함으로써, 관심영역(250)에 대한 오브젝트의 주행 패턴을 검출하는데 소모되는 전력을 조절할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 주행 모드로 설정된 컨트롤러 즉, 차량 주행 패턴 검출 장치는 관심영역에 대한 HOG 상태도 패턴에 기초하여 관심영역에 오브젝트가 존재하는지, 오브젝트가 존재하는 경우 오브젝트가 멀어지는지 가까워지는지의 진행 방향, 해당 차량과 오브젝트 간의 상대적인 속도차이 등 오브젝트의 주행 패턴을 검출할 수 있다.
나아가, 본 발명에 따른 차량 주행 패턴 검출 장치는 검출 결과를 차량의 운전자에게 알람으로 통지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 오브젝트의 주행 패턴 검출 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 관심영역(250)에 오브젝트(230, 240)가 위치하지 않거나, 벗어나는 것을 감지한 경우, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치하지 않거나, 벗어남을 알람으로 차량의 운전자에게 알릴 수 있다.
또한, 이러한 통지 동작은 차량의 운전자로부터 미리 입력 받은 설정에 따라 선택적으로 수행되지 않을 수도 있다(예컨대, 설정에 따라, 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하지 않음을 차량의 운전자에게 알리는 동작은 수행되지 않을 수 있음).
또한, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역(211, 221)에 대응하는 관심영역(250)을 복수 개의 영역들로 구분하여 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 HOG 상태도 패턴에 기초하여 검출하고, 검출 결과를 운전자에게 알람으로 통지할 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 차량의 후방 좌우 옆 차선 영역을 구분한 도면을 나타낸 것이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역을 복수 개의 영역들로 구분하여, 복수 개로 구분된 영역들 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 또는 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보 중 적어도 어느 하나에 기초하여, 후방 카메라로부터 획득되는 이미지의 관심영역 상에서 차량의 후방 좌우 옆 차선 영역을 제1 영역(310), 제2 영역(320) 및 제3 영역(330)으로 구분할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 관심영역에서, 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역(310), 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역(320) 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 제3 영역(330) 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 HOG 상태도 패턴을 이용하여 검출할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 제1 영역(310), 제2 영역(320) 및 제3 영역(330) 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 검출하는 과정에서, 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 또는 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보 중 적어도 어느 하나를 이용할 수 있다. 더 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여, 오브젝트가 관심영역 내에서 미리 설정된 거리 이상인지 또는 미만인지를 판단할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 대한 오브젝트의 주행 패턴 검출 기능을 활성화함으로써, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 또는 진입하는지 등의 오브젝트에 대한 주행 패턴을 검출할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 각 영역에 대한 HOG 상태도 패턴 변화에 기초하여 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 진입하는지 또는 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에서 차량과 동일한 속도로 주행하는지 여부를 검출할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 제1 영역(310), 제2 영역(320) 및 제3 영역(330) 중 오브젝트가 위치하거나 진입하는 영역에 따라, 구별되는 알람으로 운전자에게 통지할 수 있다. 예를 들어, 오브젝트가 제3 영역(330)에 진입하는 것으로 감지된 경우, 주행 모드로 설정된 컨트롤러는 오브젝트가 제1 영역(310) 또는 제2 영역(320)에 위치하거나 진입하는 경우보다 긴급하고 큰 알람 소리로 운전자에게 감지 결과를 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트가 제3 영역(330)에 진입함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역(330)에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 오브젝트가 제3 영역(330)에 진입함을 감지하여 운전자에게 알람으로 통지한 후, 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역(330)에서 벗어남을 감지하는 경우, 운전자에게 통지되던 알람을 해제할 수 있다
이와 같이, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역을 제1 영역(310), 제2 영역(320) 및 제3 영역(330)으로 구분하여, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 또는 진입하는지 여부를 감지함으로써, 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 위치하는 오브젝트에 대한 감지 결과를 위험도에 따라 알람으로 운전자에게 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트가 차량보다 빠른 속도로 차량의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트를 감지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 차량이 오브젝트보다 빠른 속도로 주행함에 따라, 오브젝트가 차량의 후방 좌우 옆 차선 영역의 관심영역에 위치하거나 진입하게 되는 경우에는 오브젝트를 감지하여 감지 결과를 알람으로 운전자에게 통지하는 것을 수행하지 않을 수 있다.
상술한 도 1 내지 도 3은 본 발명을 설명하기 위한 일 예들을 도시한 것으로, 본 발명의 적용 범위가 도 1 내지 도 3에 한정되지 않으며, 본 발명은 본 발명을 적용할 수 있는 더 넓은 범위에서 적용 가능하다.
도 6은 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 방법에 대한 동작 흐름도를 나타낸 것으로, 상술한 주행 모드로 설정된 컨트롤러에서의 동작 흐름도를 나타낸 것이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 방법은 차량과 같은 오브젝트의 주행 패턴을 검출하기 위한 관심영역을 설정한다(S610).
이 때, 단계 S610에서 설정된 관심영역은 차량의 후방 좌우 옆 차선 영역 중 적어도 일부에 대해 고정된 영역으로서, 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 설정될 수 있다.
이 때, 단계 S610은 설정되는 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 오브젝트의 그림자 정보를 이용하여 결정할 수 있다.
단계 S610에 의해 관심영역이 설정되면 설정된 관심영역에 대해 획득된 영상에 대한 HOG 특징을 추출한다(S620).
이 때, 단계 S620은 미리 설정된 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 최적화하도록 설정함으로써, HOG 기법의 연산 속도를 향상시켜 관심영역의 HOG 특징을 빠르게 추출할 수 있다.
단계 S620에 의해 추출된 HOG 특징을 이용하여 관심영역에 대하여 순차적인 시간의 흐름에 따른 HOG 상태도를 구성한다(S630).
여기서, 단계 S630에 의해 구성된 HOG 상태도는 관심영역에 대한 이미지 또는 영상의 특징 추출 과정에서 생성된 HOG 특징 벡터를 시간의 흐름에 따라 배열하여 구성한 것으로, 하나의 열이 하나의 프레임 해당 윈도우로부터 얻은 HOG 특징을 의미하고, 가로축의 크기는 HOG 특징의 차원과 같을 수 있다.
단계 S630에 의해 관심영역에 대한 HOG 상태도가 구성되면 구성된 HOG 상태도에 기초하여 관심영역에 포함된 차량과 같은 오브젝트의 주행 패턴을 검출한다(S640).
이 때, 단계 S640은 단계 S630에 의해 구성된 관심영역에 대한 HOG 상태도 패턴 변화에 기초하여 관심영역에 차량과 같은 오브젝트가 존재하는지, 진행 방향이 가까워지는지 멀어지는지, 해당 차량과 오브젝트 간의 상대적인 속도 차이 중 적어도 하나를 포함하는 주행 패턴을 검출할 수 있다. 구체적으로, 단계 S640은 HOG 상태도의 패턴 변화 여부를 통해 관심영역에 오브젝트가 존재하는지 검출할 수 있고, HOG 상태도 패턴의 변화가 진행되는 셀의 순서를 통해 오브젝트가 멀어지는지 가까워지는지의 진행 방향을 검출할 수 있으며, HOG 상태도 패턴의 변화 지속시간을 통해 해당 차량과 오브젝트 간의 상대적인 속도차이를 검출할 수 있다.
또한, 비록 도 6에서 도시하지 않았지만, 도 6에 의해 검출된 주행 패턴 결과를 해당 차량의 운전자에게 알람으로 통지할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 장치에 대한 구성을 나타낸 것으로, 상술한 컨트롤러에 포함된 구성일 수 있으며, 상술한 모니터링 시스템 이외의 별도로 구성된 장치에 대한 구성을 나타낸 것일 수도 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 차량 주행 패턴 검출 장치(700)는 설정부(710), 추출부(720), 구성부(730) 및 검출부(740)를 포함한다.
설정부(710)는 차량과 같은 오브젝트의 주행 패턴을 검출하기 위한 관심영역을 설정한다.
이 때, 설정부(710)는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 적어도 일부를 관심영역으로 설정할 수 있다.
나아가, 설정부(710)는 오브젝트의 그림자 정보를 이용하여 설정되는 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다.
추출부(720)는 설정된 관심영역에 대해 획득된 영상에 대한 HOG 특징을 추출한다.
이 때, 추출부(720)는 미리 설정된 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 최적화하도록 설정함으로써, HOG 기법의 연산 속도를 향상시켜 관심영역의 HOG 특징을 빠르게 추출할 수 있다.
구성부(730)는 추출된 HOG 특징을 이용하여 관심영역에 대하여 순차적인 시간의 흐름에 따른 HOG 상태도를 구성한다.
이 때, 구성부(730)에 의해 구성되는 HOG 상태도는 관심영역에 대한 이미지 또는 영상의 특징 추출 과정에서 생성된 HOG 특징 벡터를 시간의 흐름에 따라 배열하여 구성한 것으로, 하나의 열이 하나의 프레임 해당 윈도우로부터 얻은 HOG 특징을 의미하고, 가로축의 크기는 HOG 특징의 차원과 같을 수 있다.
검출부(740)는 구성된 HOG 상태도에 기초하여 관심영역에 포함된 차량과 같은 오브젝트의 주행 패턴을 검출한다.
이 때, 검출부(740)는 관심영역에 대한 HOG 상태도 패턴 변화에 기초하여 관심영역에 차량과 같은 오브젝트가 존재하는지, 진행 방향이 가까워지는지 멀어지는지, 해당 차량과 오브젝트 간의 상대적인 속도 차이 중 적어도 하나를 포함하는 주행 패턴을 검출할 수 있다. 구체적으로, 검출부(740)는 HOG 상태도의 패턴 변화 여부를 통해 관심영역에 오브젝트가 존재하는지 검출할 수 있고, HOG 상태도 패턴의 변화가 진행되는 셀의 순서를 통해 오브젝트가 멀어지는지 가까워지는지의 진행 방향을 검출할 수 있으며, HOG 상태도 패턴의 변화 지속시간을 통해 해당 차량과 오브젝트 간의 상대적인 속도차이를 검출할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 차량 주행 패턴 검출 기술은 특정 프레임에서 차량을 검출하는 학습기반의 차량검출 방법과 달리, 주변 차량의 상태를 시간의 흐름에 따라 기록하여 구성된 HOG 상태도를 분석함으로써, 차량의 관심영역에 존재하는 주변 상황 예를 들어, 차량과 같은 오브젝트의 주행 패턴 등을 검출할 수 있다.
비록, 도 6과 도 7에서 HOG 상태도 분석을 통해 관심영역에 존재하는 오브젝트의 주행 패턴을 검출하는 것만 설명하였지만, 이에 한정하지 않으며 도 1 내지 도 5에서 설명한 다양한 기능 또한 수행할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 오브젝트 주행 패턴을 검출하기 위한 관심 영역을 설정하는 단계;
    상기 관심 영역에 대해 획득된 영상에 대한 그래디언트 히스토그램(HOG) 특징을 추출하는 단계;
    상기 추출된 그래디언트 히스토그램 특징을 이용하여 순차적인 시간의 흐름에 따른 그래디언트 히스토그램(HOG) 상태도를 구성하는 단계; 및
    상기 구성된 그래디언트 히스토그램 상태도에 기초하여 상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계
    를 포함하고,
    상기 그래디언트 히스토그램 상태도를 구성하는 단계는
    상기 추출된 그래디언트 히스토그램 특징 벡터를 순차적인 시간의 흐름에 따라 배열함으로써, 상기 그래디언트 히스토그램 상태도를 구성하며,
    상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계는
    상기 그래디언트 히스토그램 상태도 패턴의 변화를 통해 상기 오브젝트의 존재 여부를 검출하는 것을 특징으로 하는 오브젝트 주행 패턴 검출 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계는
    상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화가 진행되는 셀의 순서에 기초하여 상기 오브젝트의 접근 또는 멀어짐에 대한 진행 방향을 검출하는 것을 특징으로 하는 오브젝트 주행 패턴 검출 방법.
  5. 제1항에 있어서,
    상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 단계는
    상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화 지속시간에 기초하여 상기 오브젝트와의 속도 차이를 검출하는 것을 특징으로 하는 오브젝트 주행 패턴 검출 방법.
  6. 오브젝트 주행 패턴을 검출하기 위한 관심 영역을 설정하는 설정부;
    상기 관심 영역에 대해 획득된 영상에 대한 그래디언트 히스토그램(HOG) 특징을 추출하는 추출부;
    상기 추출된 그래디언트 히스토그램 특징을 이용하여 순차적인 시간의 흐름에 따른 그래디언트 히스토그램(HOG) 상태도를 구성하는 구성부; 및
    상기 구성된 그래디언트 히스토그램 상태도에 기초하여 상기 관심 영역에 포함된 오브젝트의 주행 패턴을 검출하는 검출부
    를 포함하고,
    상기 구성부는
    상기 추출된 그래디언트 히스토그램 특징 벡터를 순차적인 시간의 흐름에 따라 배열함으로써, 상기 그래디언트 히스토그램 상태도를 구성하며,
    상기 검출부는
    상기 그래디언트 히스토그램 상태도 패턴의 변화를 통해 상기 오브젝트의 존재 여부를 검출하는 것을 특징으로 하는 오브젝트 주행 패턴 검출 장치.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 검출부는
    상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화가 진행되는 셀의 순서에 기초하여 상기 오브젝트의 접근 또는 멀어짐에 대한 진행 방향을 검출하는 것을 특징으로 하는 오브젝트 주행 패턴 검출 장치.
  10. 제6항에 있어서,
    상기 검출부는
    상기 그래디언트 히스토그램 상태도 패턴의 변화가 존재하는 경우 상기 패턴의 변화 지속시간에 기초하여 상기 오브젝트와의 속도 차이를 검출하는 것을 특징으로 하는 오브젝트 주행 패턴 검출 장치.
KR1020160024210A 2016-02-29 2016-02-29 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치 KR101808937B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160024210A KR101808937B1 (ko) 2016-02-29 2016-02-29 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160024210A KR101808937B1 (ko) 2016-02-29 2016-02-29 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170101544A KR20170101544A (ko) 2017-09-06
KR101808937B1 true KR101808937B1 (ko) 2017-12-13

Family

ID=59925503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160024210A KR101808937B1 (ko) 2016-02-29 2016-02-29 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101808937B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5467300B2 (ja) * 2010-06-23 2014-04-09 国立大学法人大阪大学 移動物体検出装置
JP2015092302A (ja) * 2012-01-30 2015-05-14 日本電気株式会社 映像処理システム、映像処理方法、映像処理装置およびその制御方法と制御プログラム
JP5780307B2 (ja) * 2011-09-20 2015-09-16 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5467300B2 (ja) * 2010-06-23 2014-04-09 国立大学法人大阪大学 移動物体検出装置
JP5780307B2 (ja) * 2011-09-20 2015-09-16 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法
JP2015092302A (ja) * 2012-01-30 2015-05-14 日本電気株式会社 映像処理システム、映像処理方法、映像処理装置およびその制御方法と制御プログラム

Also Published As

Publication number Publication date
KR20170101544A (ko) 2017-09-06

Similar Documents

Publication Publication Date Title
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
EP3462377B1 (en) Method and apparatus for identifying driving lane
KR101692628B1 (ko) 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
US20180075748A1 (en) Pedestrian recognition apparatus and method
KR20190095592A (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
JP6092527B2 (ja) ユーザ凝視データに基づいた時空間データのセグメント化
KR20130118116A (ko) 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
US20160176345A1 (en) Vehicle system for detecting object and operation method thereof
KR20130094997A (ko) 장애물 검출 및 충돌 경보 장치 및 방법
JP2009033743A (ja) 物体を認識するための方法
EP2741234B1 (en) Object localization using vertical symmetry
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
KR20200028679A (ko) 차선을 검출하는 방법 및 장치
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
JP2023511454A (ja) 車両走行路内のデブリの検出
KR102510122B1 (ko) 전방 추돌 경보를 위한 영상 기반 실시간 차량 검출과 추적 방법, 및 그 장치
KR101808937B1 (ko) 그래디언트 히스토그램을 이용한 오브젝트 주행 패턴 검출 방법 및 장치
KR101730348B1 (ko) 차량 속도를 이용한 지능형 운전자 보조 시스템의 제어 방법
KR101748497B1 (ko) 소리 정보에 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 시스템
KR20210081887A (ko) 차량 측후방에 대한 촬영 영상을 이용한 위험 감지 출력 장치 및 출력 방법
KR20200072714A (ko) 시차맵과 보행자 상하단 인식을 이용한 정밀한 보행자 검출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant