KR102060267B1 - 물체 추적 방법 및 물체 추적 장치 - Google Patents

물체 추적 방법 및 물체 추적 장치 Download PDF

Info

Publication number
KR102060267B1
KR102060267B1 KR1020187036169A KR20187036169A KR102060267B1 KR 102060267 B1 KR102060267 B1 KR 102060267B1 KR 1020187036169 A KR1020187036169 A KR 1020187036169A KR 20187036169 A KR20187036169 A KR 20187036169A KR 102060267 B1 KR102060267 B1 KR 102060267B1
Authority
KR
South Korea
Prior art keywords
host vehicle
pedestrians
pedestrian
objects
movement
Prior art date
Application number
KR1020187036169A
Other languages
English (en)
Other versions
KR20190008324A (ko
Inventor
팡 팡
구니아키 노다
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20190008324A publication Critical patent/KR20190008324A/ko
Application granted granted Critical
Publication of KR102060267B1 publication Critical patent/KR102060267B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

물체 추적 장치는, 자차(7)의 주위의 물체(8)를 검출하는 물체 검출 센서(10)를 사용하여, 물체(8)를 시계열로 추적한다. 복수의 물체(8)가 검출된 경우, 물체(8)의 위치에 의한 자차(7)의 이동(9)에 미치는 영향도에 기초하여, 복수의 물체(8)를 그룹(G)으로 나눈다. 각각의 그룹(G)을 하나의 물체로서 시계열로 추적한다.

Description

물체 추적 방법 및 물체 추적 장치
본 발명은, 물체 추적 방법 및 물체 추적 장치에 관한 것이다.
종래부터, 횡단 대기나 횡단 중인 보행자의 존재 상황을 검출하는 보행자 검출 장치가 알려져 있다(특허문헌 1 참조). 특허문헌 1의 보행자 검출 장치는, 스테레오 카메라를 사용하여 교차점 부근의 보행자를 검출하고, 보행자마다의 존재 좌표를 시계열로 추적한 보행자의 추적 결과에 기초하여, 보행자 관리 테이블을 갱신한다.
일본 특허 공개 제2002-024986호 공보
그러나 다수의 보행자가 존재하는 경우, 시계열로 처리할 데이터양이 증대되어, 계산 부하가 증가될 우려가 있다.
본 발명은, 상기 과제에 비추어 이루어진 것이며, 그 목적은, 복수의 물체를 시계열로 추적할 때의 계산 부하를 삭감할 수 있는 물체 추적 방법 및 물체 추적 장치를 제공하는 것이다.
본 발명의 일 태양에 관한 물체 추적 방법은, 복수의 물체가 검출된 경우, 자차와 물체의 위치 관계에 의한 자차의 이동에 미치는 영향도에 기초하여, 복수의 물체를 그룹으로 나누고, 각각의 그룹을 하나의 물체로서 시계열로 추적한다.
본 발명의 일 태양에 관한 물체 추적 방법에 의하면, 복수의 물체를 시계열로 추적할 때의 계산 부하를 삭감할 수 있다.
도 1은 실시 형태에 관한 물체 추적 장치의 구성을 나타내는 블록도이다.
도 2는 도 1의 물체 추적 장치를 사용한 물체 추적 방법의 일례를 나타내는 흐름도이다.
도 3은 네 갈래길의 교차점을 나타내는 평면도이다.
도 4는 도 2의 제1 처리(스텝 S170)의 상세한 순서를 나타내는 흐름도이다.
도 5a는 제1 처리를 설명하기 위한 도면이며, 교차점 내에 있는 보행자(8a 내지 8d)를 나타낸다.
도 5b는 제1 처리를 설명하기 위한 도면이며, 주행 루트(9) 상에 있는 보행자(8c, 8d)를 나타낸다.
도 5c는 제1 처리를 설명하기 위한 도면이며, 주행 루트(9) 상에 있지 않은 보행자(8a, 8b)를 나타낸다.
도 5d는 제1 처리를 설명하기 위한 도면이며, 횡단보도(1c) 상에 있지 않은 보행자(8e, 8f)를 나타낸다.
도 6은 도 2의 제2 처리(스텝 S180)의 상세한 순서를 나타내는 흐름도이다.
도 7a는 제2 처리를 설명하기 위한 도면이며, 보도 영역(2A)에 있는 보행자(8g, 8h)를 나타낸다.
도 7b는 제2 처리를 설명하기 위한 도면이며, 보도 영역(2A)에 있는 보행자(8g, 8h)의 이동 방향을 나타낸다.
도 7c는 제2 처리를 설명하기 위한 도면이며, 보행자(8g, 8h)의 진입 가능한 경로(L1, L2)를 나타낸다.
도 7d는 제2 처리를 설명하기 위한 도면이며, 보도 영역(2B)에 있는 보행자(8i, 8j)의 이동 방향을 나타낸다.
도 7e는 제2 처리를 설명하기 위한 도면이며, 보행자(8i, 8j)의 진입 가능한 경로(L3, L4)를 나타낸다.
도 8은 그룹(G)의 대표 위치 RP 및 크기를 나타내는 개념도이다.
도 9a는 물체의 추적 처리를 나타내는 개념도이며, 최초의 프레임만으로 실행하는 처리를 나타낸다.
도 9b는 물체의 추적 처리를 나타내는 개념도이며, 추적 마크(13)가 부여된 보행자의 위치를 예측하는 처리를 나타낸다.
도 9c는 물체의 추적 처리를 나타내는 개념도이며, 신규로 추적 마크(13')를 생성하는 처리를 나타낸다.
도 9d는 물체의 추적 처리를 나타내는 개념도이며, 추적 마크(13)를 삭제하는 처리를 나타낸다.
도 10은 도 3의 제3 처리(스텝 S220)의 상세한 순서를 나타내는 흐름도이다.
도 11a는 보도를 동일한 방향으로 이동하고 있는 4명의 보행자(8k, 8m, 8n, 8p)를 나타내는 평면도이다.
도 11b는 4명의 보행자(8k, 8m, 8n, 8p)를 하나의 그룹(G9)으로 분류하는 예를 나타내는 평면도이다.
도 11c는 이동 속도에 기초하여, 4명의 보행자(8k, 8m, 8n, 8p)를 두 그룹(G10, G11)으로 분류하는 예를 나타내는 평면도이다.
도 11d는 보행자(8k)가 다른 보행자(8m, 8n, 8p)에 따라붙은 상태를 나타내는 평면도이다.
도 11e는 보행자(8k)가 다른 보행자(8m, 8n, 8p)를 앞지른 상태를 나타내는 평면도이다.
도 12a는 자차(7)의 이동과 보행자(8k, 8m, 8n, 8p)의 이동의 관계를 나타내는 평면도이다.
도 12b는 자차(7)의 이동과 보행자(8k, 8m, 8n, 8p)의 이동의 관계를 나타내는 평면도이다.
도 13a는 보행자(8k, 8m, 8n, 8p)의 위치가 자차(7)의 이동에 영향을 미치지 않는 예를 나타내는 평면도이다.
도 13b는 보행자(8k, 8m, 8n, 8p)의 위치가 자차(7)의 이동에 영향을 미치는 예를 나타내는 평면도이다.
도 13c는 보행자(8k)와 보행자(8m) 사이를 자차(7)가 통과할 수 없는 예를 나타내는 평면도이다.
도 13d는 보행자(8k)와 보행자(8m) 사이를 자차(7)가 통과할 수 있는 예를 나타내는 평면도이다.
도면을 참조하여, 실시 형태를 설명한다. 도면의 기재에 있어서 동일 부분에는 동일 부호를 붙여 설명을 생략한다.
도 1을 참조하여, 실시 형태에 관한 물체 추적 장치의 구성을 설명한다. 물체 추적 장치는, 자차의 주위의 물체를 검출하는 물체 검출 센서(10)와, 물체 검출 센서(10)에 의해 검출된 물체를 시계열로 추적하는 연산 회로(80)를 구비한다. 연산 회로(80)는, 물체 검출 센서(10)에 의해 검출된 물체로부터 보행자를 추출하는 보행자 추출 회로(20)와, 자차의 주위의 지도 정보를 취득하는 지도 정보 취득 회로(30)와, 자차에 관한 정보를 취득하는 자차 정보 취득 회로(40)와, 그룹 결정 회로(60)와, 각 물체를 시계열로 추적하는 추적 회로(70)를 구비한다.
연산 회로(80)는, CPU(중앙 처리 장치), 메모리 및 입출력부를 구비하는 마이크로컴퓨터를 사용하여 실현 가능하다. 마이크로컴퓨터를 연산 회로(80)로서 기능시키기 위한 컴퓨터 프로그램을, 마이크로컴퓨터에 인스톨하여 실행한다. 이에 의해, 마이크로컴퓨터는, 연산 회로(80)로서 기능한다. 또한, 여기서는, 소프트웨어에 의해 연산 회로(80)를 실현하는 예를 나타내지만, 물론, 이하에 나타내는 각 정보 처리를 실행하기 위한 전용 하드웨어를 준비하여, 연산 회로(80)를 구성하는 것도 가능하다. 또한, 연산 회로(80)에 포함되는 복수의 회로(20, 30, 40, 60, 70)를 개별의 하드웨어에 의해 구성해도 된다. 또한, 연산 회로(80)는, 자차에 관한 다른 제어에 사용하는 전자 제어 유닛(ECU)과 겸용해도 된다.
그룹 결정 회로(60)는, 물체 검출 센서(10)에 의해 복수의 물체가 동시에 검출된 경우, 물체의 위치에 의한 자차의 이동에 미치는 영향도에 기초하여, 복수의 물체를 그룹으로 나눈다. 물체의 위치에 의한 자차의 이동에 미치는 영향도가 크면, 보다 세밀하게 그룹을 나누고, 영향도가 작으면, 대략적으로 그룹을 나눈다. 바꾸어 말하면, 물체의 위치에 의한 영역이 자차의 이동에 미치는 영향도가 클수록, 좁은 영역에 위치하는 물체를 하나의 그룹으로 나누고, 물체의 위치에 의한 자차의 이동에 미치는 영향도가 작을수록, 넓은 영역에 위치하는 물체를 하나의 그룹으로 나눈다.
추적 회로(70)는, 각각의 그룹을 하나의 물체로서 시계열로 추적한다. 추적 회로(70)는, 복수의 물체가 물체 검출 센서(10)에 의해 동시에 검출된 경우, 물체 각각을 추적하는 대신, 그룹으로 분류된 물체를 하나의 물체로서 추적한다. 이에 의해, 추적 대상 물체의 수가 감소하여, 연산 회로(80)의 처리 부담이 경감된다.
물체 검출 센서(10)는, 적어도 자차와 물체의 상대 위치, 상대 속도, 물체의 속성을 검출할 수 있다. 물체 검출 센서(10)는, 물체의 속성으로서는, 예를 들어 물체가 차, 보행자, 자전거 중 어느 것인지, 혹은 알 수 없는 것인지 등을 검출한다. 예를 들어, 물체 검출 센서(10)는, 자차에 탑재된 단안 혹은 복안의 스테레오 카메라를 사용하여 자차의 주위를 촬상한다. 그리고 물체 검출 센서(10)는, 촬상된 화상으로부터, 삼각 측량의 원리에 기초하는 스테레오 화상 처리를 행함으로써, 화상 중의 물체의 삼차원 좌표를 구한다. 이 이외에도, 물체 검출 센서(10)는, 예를 들어 카메라 대신에, 혹은 카메라와 조합하여 레이저 레인지 파인더(LRF)를 사용하여 물체의 삼차원 좌표를 구해도 된다.
보행자 추출 회로(20)는, 물체 검출 센서(10)에 의해 검출된 물체의 면적, 지상 높이, 이동 속도, 형상 등에 기초하여, 물체 중에서 보행자를 추출한다. 보행자의 속성 정보(면적, 지상 높이, 이동 속도, 형상 등을 포함함)를 사용하여 보행자를 추출하고, 보행자의 정보를 메모리에 보존한다. 속성 정보는, 물체의 형상이나 이동량, 카메라 화상을 사용하는 경우에는, 얼굴이나 복장 등의 특징으로부터 부여할 수 있다. 물론, 그 밖의 방법을 사용해도 된다.
또한, 본 실시 형태에서는, 물체 추적 장치의 일례로서, 물체 검출 센서(10)에 의해 검출된 물체 중에서 추출된 보행자를 추적하는 보행자 추적 장치에 대해 설명한다.
지도 정보 취득 회로(30)는, 미리 준비된 자차의 위치 정보에 기초하여, 자차의 주위의 지도 정보를 취득한다. 자차가 주행 가능한 도로의 모든 지도 정보는, 지도 데이터로서 반도체 메모리로 이루어지는 데이터 기억 유닛에 미리 저장되어 있다. 지도 정보 취득 회로(30)는, 자차의 위치 정보에서 지도 데이터를 검색하여, 자차의 주위의 지도 정보를 지도 데이터로부터 추출한다. 자차의 주위의 지도 정보에는, 적어도 자차 주변의 차선 정보, 보도의 폭이나 형상, 교통 규칙에 관한 정보가 포함된다.
지도 정보 취득 회로(30)는, 자차에 탑재된 데이터 기억 유닛을 자차의 위치 정보에서 검색하여, 자차의 주위의 지도 정보를 취득해도 되고, 자차로부터 무선 통신을 통해 접속 가능한 데이터베이스에 액세스하여, 자차의 주위의 지도 정보를 클라우드상의 데이터베이스로부터 취득해도 상관없다. 즉, 지도 정보 취득 회로(30)는, 물체 추적 장치의 내외에 존재하는 데이터 기억부로부터 자차의 주위의 지도 정보를 취득하면 된다. 여기서, 「자차의 주위」라 함은, 자차를 중심으로 하여 일정 범위, 예를 들어 물체 검출 센서(10)의 검출 범위를 포함하는 영역을 나타낸다.
자차 정보 취득 회로(40)는, 적어도 자차의 속도, 가속도, 조타각, 주행 루트에 관한 정보를 자차 정보로서 취득한다. 자차의 속도 및 가속도는, 자차의 차륜에 마련된, 차륜속 센서로부터 출력되는 차륜의 회전 속도를 나타내는 신호로부터 구할 수 있다. 또한, 조타각은, 스티어링 샤프트에 장착된 전타각 센서로부터 출력되는 조타의 방향, 중립 위치 및 전타각을 나타내는 신호로부터 구할 수 있다. 주행 루트는, 미리 설정된 목적지까지 자차가 주행할 예정인 루트이다. 주행 루트는, 예를 들어 내비게이션 시스템에 의해 검색되고, 운전자에게 승인함으로써 결정된다. 물론, 이 이외의 기존의 방법을 사용하여 주행 루트를 취득해도 상관없다.
그룹 결정 회로(60)는, 물체 검출 센서(10)에 의해 복수의 물체가 동시에 검출되고, 또한 보행자 추출 회로(20)에 의해 복수의 보행자가 동시에 추출된 경우, 보행자의 위치에 의한 자차의 이동에 미치는 영향도에 기초하여, 보행자를 그룹으로 나눈다. 구체적으로는, 그룹 결정 회로(60)는 먼저, 보행자를 그 이동 방향별로 초기 그루핑을 행한다. 그리고 보행자의 위치에 의한 자차의 이동에 미치는 영향도에 기초하여, 동일한 방향으로 이동하고 있는 복수의 보행자에 대해 더욱 상세한 그루핑을 행한다. 그룹 결정 회로(60)는, 자차의 지도상의 위치, 이동 방향, 이동 속도, 자차의 주행 루트, 자차에 대한 각 보행자의 상대 위치, 상대 속도, 이동 방향, 자차의 주위의 지도 정보, 자차 정보 중 적어도 어느 하나를 사용하여, 자차의 이동에 미치는 영향도를 계산한다. 물론, 그룹 결정 회로(60)는, 상기 이외의 정보를 사용하여, 자차의 이동에 미치는 영향도를 계산해도 상관없다.
예를 들어, 보행자의 위치가, 자차의 지도상의 위치 및 자차의 주행 루트로부터 멀수록, 자차의 존재 및 이동이 보행자의 안전성에 미치는 영향도는 작다고 할 수 있다. 그래서 그룹 결정 회로(60)는, 예를 들어 보행자의 위치가 자차의 지도상의 위치 및 자차의 주행 루트로부터 멀수록, 자차의 이동에 미치는 영향도를 작게 평가하고, 보다 넓은 영역에 위치하는 보행자를 하나의 그룹으로 나눈다. 이에 의해, 보행자 및 자차의 안전한 이동을 확보한 후, 그룹의 수를 삭감할 수 있다. 따라서 보행자의 안전성을 충분히 확보하고, 또한 보행자 추적의 계산 부하를 삭감할 수 있다. 또한, 보행자의 위치가, 자차의 지도상의 현재 위치 또는 자차의 주행 루트 중 어느 한쪽만으로부터 먼 경우에, 자차의 이동에 미치는 영향도를 작게 평가해도 상관없다.
그룹 결정 회로(60)는, 각 그룹의 지도상의 대표 위치, 크기, 형상, 이동 방향, 상대 속도를 산출하고, 기억한다.
추적 회로(70)는, 각각의 그룹을 1명의 보행자로서 시계열로 추적한다. 추적 회로(70)는, 복수의 보행자가 물체 검출 센서(10)에 의해 동시에 검출된 경우, 보행자 각각을 추적하는 대신, 그루핑된 복수의 보행자를 1명의 보행자로서 시계열로 추적할 수 있다.
도 2를 참조하여, 도 1의 물체 추적 장치를 사용한 물체 추적 방법의 일례를 설명한다.
먼저, 스텝 S110에서, 자차에 장착한 물체 검출 센서(10)는, 자차의 주위의 물체를 검출한다. 스텝 S120으로 진행하여, 보행자 추출 회로(20)는, 검출된 물체 중에서, 속성이 보행자인 물체를 추출하고, 추출한 보행자의 정보를 메모리에 보존한다. 보행자의 정보에는, 자차에 대한 각 보행자의 상대 위치, 상대 속도, 이동 방향이 포함된다.
스텝 S130으로 진행하여, 그룹 결정 회로(60)는, 동시에 추출된 복수의 보행자에 대해, 그 속도 벡터 또는 이동 방향에 기초하여 초기 그루핑한다. 예를 들어, 도 3의 동일한 보도 영역(2A 내지 2H) 또는 동일한 횡단보도(1a 내지 1d)를 동일한 방향으로 이동하는 복수의 보행자를 하나의 초기 그룹으로 분류한다.
스텝 S140으로 진행하여, 지도 정보 취득 회로(30)는, 미리 준비된 자차의 위치 정보에 기초하여, 자차의 주위의 지도 정보를 취득한다.
다음으로, 스텝 S150 및 S160에 있어서, 그룹 결정 회로(60)는, 추출된 보행자의 위치가, 교차점 부근인지 여부, 교차점 내인지 여부를 각각 판단한다. 여기서, 「교차점 부근」과 「교차점 내」에 대해 도 3을 참조하여 설명한다.
도 3에 나타낸 바와 같은 네 갈래길의 교차점에 있어서, 「교차점 내(1)」라 함은, 도로가 교차하는 영역, 교차점에 마련된 4개의 횡단보도(1a 내지 1d)를 포함하고, 또한 4개의 횡단보도(1a 내지 1d)의 외측 단부로부터 거리 d1까지 넓힌 영역을 나타낸다. 거리 d1은, 물체 검출 센서(10)의 검출 오차를 고려한 값, 예를 들어 0.5m로 한다. 「교차점 부근(2)」이라 함은, 교차점 내(1)를 포함하고, 또한 교차점의 중심으로부터 거리 d2(예를 들어, 30m)까지 넓힌 영역을 나타낸다. 교차점 부근(2)에는, 4개의 횡단보도(1a 내지 1d)에 연결되는 8개의 보도 영역(2A 내지 2H)이 포함된다.
스텝 S150에 있어서, 그룹 결정 회로(60)는, 추출된 보행자가 교차점 부근(2)에 위치하는지 여부를 판단한다. 교차점 부근(2)에 위치하는 경우(S150에서 "예") 스텝 S160으로 진행하고, 교차점 부근(2)의 외측에 위치하는 경우(S150에서 "아니오") 스텝 S220으로 진행하여, 그룹 결정 회로(60)는 제3 처리를 실행한다.
스텝 S160에 있어서, 그룹 결정 회로(60)는, 스텝 S140에서 취득된 자차의 주위의 지도 정보에 기초하여, 추출된 보행자가 교차점 내(1)에 위치하는지 여부를 판단한다. 교차점 내(1)에 위치하는 경우(S160에서 "예"), 스텝 S170으로 진행하여, 그룹 결정 회로(60)는 제1 처리를 실행한다. 교차점 내(1)의 외측에 위치하는 경우(S160에서 "아니오"), 스텝 S180으로 진행하여, 그룹 결정 회로(60)는 제2 처리를 실행한다. 또한, 복수의 보행자가, 교차점 내(1), 교차점 부근(2), 교차점 부근(2)의 외측의 각각에 검출된 경우, 그룹 결정 회로(60)는, 보행자가 위치하는 도 3에 나타낸 영역마다, 보행자를 그루핑하는 제1 처리 내지 제3 처리를 실시한다.
그 후, 스텝 S190으로 진행하여, 분류된 각 그룹을 1명의 보행자로서 추적하기 위해, 추적 회로(70)는, 각 그룹의 대표 위치 및 크기를 산출한다. 예를 들어, 도 8에 나타낸 바와 같이, 5명의 보행자(8)가 하나의 그룹(G)으로 분류된 경우를 생각해보자. 추적 회로(70)는, 그룹(G)에 포함되는 모든 보행자(8)를 망라하는 세로 Lg 및 가로 Wi의 사변형을 그룹의 크기로서 설정한다. 그리고 추적 회로(70)는, 이 세로 Lg 및 가로 Wi의 사변형의 중심 위치 RP(X,Y)를 그룹(G)의 대표 위치로서 설정한다.
스텝 200으로 진행하여, 추적 회로(70)는, 각 그룹을 1명의 보행자로서 시계열로 추적한다. 예를 들어, 추적 회로(70)는, 도 9a 내지 도 9d에 나타내고 있는 바와 같이 4개의 스테이지에서 검출된 물체에 대해 시계열로 추적 처리한다. 도 9a는, 최초의 프레임만으로 실행하는 처리를 나타낸다. 첫 번째로, 추적 회로(70)는, 검출된 모든 보행자(8)에 대해 추적 마크(13)(트래커)를 각각 부여한다. 두 번째로, 추적 회로(70)는, 도 9b에 나타낸 바와 같이, 추적 마크(13)가 부여된 보행자의 위치를 예측한다. 모든 추적 마크(13)에 대해, 보행자의 이동 방향 및 이동 속도, 위치를 참조하여, 다음 시각(T+1)에 있어서의 보행자(8)의 위치를 예측하고, 예측한 위치(11)로 추적 마크(13)를 천이시킨다. 세 번째로, 추적 회로(70)는, 시각(T+1)에서 검출한 보행자(8)의 위치(검출 위치)와, 도 9b에 나타낸 예측 위치(11)를 비교한다. 추적 회로(70)는, 도 9c에 나타낸 바와 같이, 검출 위치(8')로부터 일정 거리(예를 들어, 6m) 이내에 대응하는 예측 위치(11)를 발견하지 못하는 경우, 검출 위치(8')에 신규로 추적 마크(13')를 생성한다. 반대로, 네 번째로, 추적 회로(70)는, 도 9d에 나타낸 바와 같이, 예측 위치(11)로부터 일정 거리(예를 들어, 6m) 이내에 대응하는 검출 위치를 발견하지 못하는 경우, 추적 마크(13)를 삭제한다.
스텝 210에서는, 이그니션 스위치(IGN)가 오프되었는지 여부를 판단한다. 오프된 경우(S210에서 "예"), 도 2에 나타낸 처리를 종료한다. 한편, 오프되지 않았으면(S210에서 "아니오"), 스텝 S110으로 되돌아간다. IGN이 오프될 때까지, 도 2에 나타낸 흐름도를 소정의 주기로 반복하여 실행한다.
(제1 처리)
도 4를 참조하여, 제1 처리(도 2의 스텝 S170)의 상세한 순서를 설명한다. 스텝 S510에 있어서, 도 2의 횡단보도(1a 내지 1d)마다, 동일한 횡단보도 영역에 위치하는 복수의 보행자를 하나의 그룹으로 분류한다. 또한, 「횡단보도 영역」이라 함은, 도 5a에 나타낸 바와 같이, 각 횡단보도(1a 내지 1d)를 포함하고, 또한 각 횡단보도(1a 내지 1d)의 외주연으로부터 교차점의 내측 및 외측으로 각각 소정 거리만큼 넓힌 영역이다. 4개의 횡단보도(1a 내지 1d)에 대응하여, 4개의 횡단보도 영역(1A 내지 1D)이 설정된다. 예를 들어, 횡단보도 영역(1A)에 위치하는 5명의 보행자(8a, 8b)가 하나의 그룹으로서 분류되고, 횡단보도 영역(1C)에 위치하는 6명의 보행자(8c, 8d)가 다른 하나의 그룹으로서 분류된다.
스텝 S520으로 진행하여, 자차(7)에 대한 각 보행자의 상대 위치로부터, 동일한 그룹에 속하는 보행자간의 거리를 산출한다. 스텝 S530으로 진행하여, 자차 정보 취득 회로(40)에 의해 취득된 주행 루트(9)를 판독한다.
스텝 S540으로 진행하여, 스텝 S510에서 그루핑된 보행자가 주행 루트(9) 상에 있는지 여부를 판단한다. 예를 들어, 도 5a에 나타낸 바와 같이, 자차(7)가 교차점에서 우회전하는 경우, 횡단보도 영역(1C)이 주행 루트(9) 상에 있다(S540에서 "예"). 따라서 횡단보도 영역(1C)에 있는 보행자는, 주행 루트(9) 상에 있다고 판단할 수 있다. 이 경우, 횡단보도 영역(1C)에 위치하는 6명의 보행자(8c, 8d)가 자차의 이동에 미치는 영향도는 크다. 이 때문에, 횡단보도 영역(1C)에 위치하는 6명의 보행자(8c, 8d)를 보다 상세하게 분류하여 추적하는 것이 바람직하다. 바꾸어 말하면, 보다 좁은 영역에 위치하는 보행자끼리 그룹으로 나누는 것이 바람직하다. 그래서 스텝 S550으로 진행한다.
스텝 S550에서는, 먼저, 6명의 보행자(8c, 8d) 각각에 대해, 횡단보도(1c) 상에 있는지 여부를 판단한다. 횡단보도(1c) 상에 있는 경우(S550에서 "예"), 스텝 S560으로 진행하여, 보행자간의 거리와 소정의 역치(D1)를 비교한다. 그리고 스텝 S570에서는, 보행자간의 거리가 역치(D1)보다 작은 보행자를 하나의 그룹으로 분류한다. 예를 들어, 도 5b에 나타낸 바와 같이, 3명의 보행자(8c)를 하나의 그룹(G1)으로 분류한다. 한편, 보행자(8d)는 3명의 보행자(8c)로부터 거리 d3만큼 떨어져 있다. 거리 d3은 역치(D1)보다 크다. 이 경우, 보행자(8d)는, 그룹(G1)과는 상이한 그룹(G2)으로 분류된다.
한편, 예를 들어 도 5d에 나타낸 바와 같이, 보행자(8e, 8f)가 횡단보도(1c) 상에 있지 않은 경우(S550에서 "아니오"), 스텝 S590으로 진행한다. S590에 있어서, 횡단보도(1c) 상에 있지 않은 각 보행자(8e, 8f)로부터 횡단보도(1c)까지의 거리와 소정의 역치(D3)를 비교한다. 보행자(8e)로부터 횡단보도(1c)까지의 거리는 역치(D3)보다 작다. 이 경우, 보행자(8e)는, 횡단보도(1c) 상에 있는 3명의 보행자(8c)와 동일한 그룹(G1)으로 분류해도 된다. 역치(D3)는, 예를 들어 물체 검출 센서(10)에 의해 검출된 물체의 상대 위치에 포함되는 오차와 동일한 값으로 설정하면 된다.
한편, 보행자(8f)로부터 횡단보도(1c)까지의 거리는 역치(D3) 이상이다. 이 경우, 보행자(8f)는, 측정 오차 이상으로 횡단보도(1c)로부터 벗어나 있기 때문에, 교통 규칙을 지키고 있지 않다고 판단할 수 있다. 이 때문에, 보행자(8f)는, 횡단보도(1c) 상에 있는 3명의 보행자(8c)와는 상이한 그룹(G4)으로 분류된다. 이와 같이 하여, 물체의 위치의 통행 룰을 따르고 있는 정도에 기초하여, 복수의 물체를 그룹으로 나눈다.
또한, 스텝 S590에서는 거리를 기준으로 판단하고 있지만, 거리 대신, 혹은 거리 외에도, 보행자의 이동 방향을 기준으로 판단해도 된다. 예를 들어, 보행자의 이동 방향이 횡단보도의 연장 방향을 따르고 있으면, 차도를 횡단하고 있다고 판단할 수 있다. 그러나 이동 방향이 횡단보도의 연장 방향을 따르고 있지 않으면, 교통 규칙을 지키고 있다고는 할 수 없고, 자차의 이동에 미치는 영향은 크다고 판단할 수 있다. 그래서 스텝 S590에서는, 거리 및 이동 방향의 양쪽 혹은 어느 한쪽의 조건을 만족시키지 못한 경우, 횡단보도(1c) 상에 있는 3명의 보행자(8c)와는 상이한 그룹(G4)으로 분류해도 된다.
한편, 도 5a에 나타낸 바와 같이, 횡단보도 영역(1A)이 주행 루트(9) 상에 있지 않기 때문에, 스텝 S510에서 그루핑된 보행자(8a, 8b)는 주행 루트(9) 상에 있지 않다고 판단할 수 있다. 이 경우(S540에서 "아니오"), 횡단보도 영역(1A)에 위치하는 5명의 보행자(8a, 8b)가 자차의 이동에 미치는 영향도를 작게 평가해도 된다. 그래서 스텝 S580으로 진행하여, 보행자간의 거리와 소정의 역치(D2)를 비교한다. 그리고 스텝 S570에서는, 보행자간의 거리가 역치(D2)보다 작은 보행자를 하나의 그룹으로 분류한다. 역치(D2)는, 역치(D1)보다 크다. 예를 들어, 역치(D2)는 횡단보도의 길이, 즉 차도의 폭과 동일하게 한다. 이에 의해, 도 5c에 나타낸 바와 같이, 횡단보도 영역(1A) 내에서, 서로 떨어져 있는 5명의 보행자(8a, 8b)는 하나의 그룹(G3)으로 분류된다.
이상과 같이, 제1 처리에서는, 교차점 내(1)에 위치하는 보행자에 대해, 보행자간의 거리, 이동 방향 및 자차의 주행 루트(9)와 보행자의 위치의 관계에 기초하여, 그루핑을 실시할 수 있다.
(제2 처리)
도 6을 참조하여, 제2 처리(스텝 S180)의 상세한 순서를 설명한다. 스텝 S710에 있어서, 도 3의 보도 영역(2A 내지 2H)마다, 보도 영역에 위치하는 보행자를 추출한다. 예를 들어, 도 7a에 나타낸 바와 같이, 보도 영역(2A)에 위치하는 4명의 보행자(8g, 8h)를 추출한다.
스텝 S720으로 진행하여, 자차(7)에 대한 각 보행자의 상대 위치로부터, 동일한 보도 영역에 위치하는 보행자간의 거리를 산출한다. 스텝 S730으로 진행하여, 보행자간의 거리와 소정의 역치(D4)를 비교하여, 보행자간의 거리가 역치(D4)보다 작은 보행자를 하나의 그룹으로 분류한다. 예를 들어, 도 7b에 나타낸 바와 같이, 4명의 보행자(8g, 8h)간의 거리는 역치(D4)보다 작기 때문에, 하나의 그룹(G5)으로 분류된다. 역치(D4)는, 예를 들어 역치(D2)의 2배이다. 보행자간의 거리가 역치(D4) 이상이면, 상이한 그룹으로 분류한다.
스텝 S740으로 진행하여, 분류된 각 그룹이, 교차점 내(1)로 진입할 것 같은지 여부를 판단한다. 예를 들어, 각 그룹의 이동 속도, 이동 방향, 교차점 내(1)까지의 거리에 기초하여, 각 그룹이 소정 시간 이내에 교차점 내(1)로 진입할지 여부를 판단한다.
교차점 내(1)로 진입할 것 같은 경우(S740에서 "예"), 스텝 S750으로 진행하여, 교통 규칙에 기초하여, 동일한 그룹에 속하는 보행자(8g, 8h)가 갈 수 있는 경로를 취득한다. 예를 들어, 도 7c에 나타낸 그룹(G5)에 속하는 보행자(8g, 8h)는, 교차점 내(1)로 진입할 것 같다고 판단되었기 때문에, 교차점 내(1)에서, 횡단보도(1a, 1b)를 건너는 경로(L1, L2)를 취득한다.
스텝 S760으로 진행하여, 자차 정보 취득 회로(40)에 의해 취득된 주행 루트(9)를 판독한다. 예를 들어, 교차점에서 우회전하는 주행 루트(9)를 판독한다. 스텝 S770으로 진행하여, 경로(L1, L2) 및 주행 루트(9)에 기초하여, 보행자(8g, 8h)가 주행 루트(9) 상에 들어올 가능성이 있는지 여부를 판단한다. 예를 들어, 도 7c에 나타낸 바와 같이, 주행 루트(9)가 어느 경로(L1, L2)와 교차하지 않는 경우, 보행자(8g, 8h)가 주행 루트(9) 상에 들어올 가능성이 없다고 판단한다.
주행 루트(9) 상에 들어올 가능성이 없는 경우(S770에서 "아니오"), 보행자가 자차(7)의 이동에 미치는 영향은 작다고 판단할 수 있다. 이 때문에, 보다 상세한 그루핑은 행하지 않고, 스텝 S790으로 진행하여, S730에서 처리된 그룹을 그대로 유지한다. 예를 들어, 도 7c에 나타낸 4명의 보행자(8g, 8h)를 포함하는 그룹(G5)은, 그대로 유지된다.
한편, 주행 루트(9) 상에 들어올 가능성이 있는 경우(S770에서 "예"), 보행자가 자차의 이동에 미치는 영향은 크다고 판단할 수 있다. 그래서, S730보다 상세하게 보행자를 그루핑하기 위해, 스텝 S780으로 진행하여, 역치(D4)보다 작은 역치(D1)에 따라서, 다시 그루핑을 행한다.
예를 들어, 도 7d에 나타낸 바와 같이, 보도 영역(2B)에 위치하는 4명의 보행자(8i, 8j)는, S730에서, 하나의 그룹(G6)으로 분류된다. 그룹(G6)이 교차점 내(1)로 진입할 것 같은 경우(S740에서 "예"), 도 7e에 나타낸 바와 같이, 그룹(G6)에 속하는 보행자(8i, 8j)가 갈 수 있는 경로(L3, L4)가 취득된다. 경로(L3, L4) 중 어느 것이 주행 루트(9)와 교차하기 때문에(S770에서 "예"), 스텝 S780로 진행한다. 보행자(8i, 8j)간의 거리가 역치(D1)보다 크다고 판단된 경우, 도 7e에 나타낸 바와 같이, 보행자(8i) 및 보행자(8j)는, 상이한 그룹(G7, G8)으로 분류된다. 즉, 보도 영역(2B)에 위치하는 4명의 보행자(8i, 8j)는, S730보다 더 좁은 영역에서 다시 그루핑된다.
또한, 여기서는, 주행 루트(9)와 경로(L3, L4)의 관계로부터, 보행자가 자차(7)의 이동에 미치는 영향을 판단하였지만, 이것에 한정되는 것은 아니다. 예를 들어, 자차(7)의 현재 위치와 경로(L3, L4)의 관계를 사용하여 판단해도 된다. 구체적으로는, 자차(7)의 현재 위치와 보행자(8i, 8j)가 갈 수 있는 경로(L3, L4)의 거리가 멀수록, 보다 넓은 영역을 하나의 그룹으로 분류해도 된다.
한편, 스텝 740에 있어서, 그룹이 교차점 내(1)로 진입할 것 같지 않다고 판단된 경우(S740에서 "아니오"), 그룹에 속하는 보행자가 자차(7)의 이동에 미치는 영향은 작다고 판단할 수 있다. 따라서, 스텝 S790으로 진행하여, S730에서 처리된 그룹을 유지한다.
이상과 같이, 제2 처리에서는, 도 3에 나타낸 교차점 내(1)의 외측, 또한 교차점 부근(2)의 내측에 위치하는 보행자에 대해, 보행자간의 거리, 이동 방향 및 자차의 주행 루트(9)와 보행자의 위치의 관계에 기초하여, 그루핑을 실시할 수 있다.
(제3 처리)
도 10을 참조하여, 제3 처리(스텝 S220)의 상세한 순서를 설명한다. 제3 처리에서는, 교차점 부근(2)의 외측에 위치하는 보행자에 대해 그루핑을 실시한다.
먼저, 스텝 S910에 있어서, 동시에 추출된 복수의 보행자를, 이동 속도에 기초하여 그루핑한다. 구체적으로는, 그룹 결정 회로(60)는, 도 2의 스텝 S130에서 추출된 이동 방향이 동일한 복수의 보행자간의 속도차(ΔV)를 산출한다. 속도차(ΔV)가 소정값 이하인 보행자를 하나의 그룹으로 분류한다.
예를 들어, 도 11a에 나타낸 바와 같이, 물체 추적 장치는, 보도를 동일한 방향으로 이동하고 있는 4명의 보행자(8k, 8m, 8n, 8p)를 추출하였다. 4명의 보행자(8k, 8m, 8n, 8p)간의 속도차(ΔV)가 모두 소정값 이하인 경우, 도 11b에 나타낸 바와 같이, 4명의 보행자(8k, 8m, 8n, 8p)를 하나의 그룹(G9)으로 분류한다.
한편, 4명의 보행자(8k, 8m, 8n, 8p) 중, 보행자(8k)의 이동 속도가 다른 보행자(8m, 8n, 8p)보다 소정값 이상 빠르다. 그리고 다른 보행자(8m, 8n, 8p)간의 속도차(ΔV)는 모두 소정값 이하이다. 이 경우, 보행자(8k)와, 다른 보행자(8m, 8n, 8p)는, 서로 다른 그룹(G11, G10)으로 분류된다. 이에 의해, 예를 들어 빠른 보행자(8k)가 느린 보행자(8m, 8n, 8p)에 가까워지거나(도 11c, 도 11d), 멀어져 가거나(도 11e) 하는 경우라도, 그룹의 수나 그룹의 크기의 변동을 적게 할 수 있다. 속도차(ΔV)의 소정값은, 예를 들어 자차(7)가 검출 가능한 기간에 있어서, 빠른 보행자(8k)가, 느린 보행자(8m, 8n, 8p)를 앞지를 수 있는지 여부에 기초하여 정해진다.
예를 들어, 도 12a에 나타낸 바와 같이, 자차(7)에 탑재된 물체 검출 센서(10)가 4명의 보행자(8k, 8m, 8n, 8p)를 검출하였다. 보행자(8m, 8n, 8p)의 이동 속도는 느리고(예를 들어, 매시 4㎞), 보행자(8k)의 이동 속도는 빠르다(예를 들어, 매시 15㎞). 물체 검출 센서(10)는, 자차(7)의 후단부로부터 40m 떨어진 범위까지 물체를 검출 가능하다. 자차(7)가 매시 30㎞의 속도로 주행한 경우, 도 12a의 위치로부터 40m 주행하는 데에는 4.8초 걸린다. 이 동안에, 보행자(8m, 8n, 8p)는 5.3m 진행하고, 보행자(8k)는 20m를 진행하여, 도 12b에 나타낸 위치 관계가 된다. 보행자(8k)는, 전방의 보행자(8n, 8p)에 따라붙고, 또한 멀어져 간다. 이러한 상황에서, 보행자(8k)를 보행자(8m, 8n, 8p)와는 상이한 그룹으로 나눈다. 반대로, 보행자(8m)와, 전방의 2명의 보행자(8n, 8p)의 속도차(ΔV)는 소정값 이하이고, 도 12a와 도 12b에서는, 보행자(8m, 8n, 8p)간의 위치 관계에 변화가 없다. 이러한 상황에서, 보행자(8m)와 그 전방의 2명의 보행자(8n, 8p)를 동일한 그룹으로 분류한다.
다음으로, 스텝 S920으로 진행하여, 자차 정보 취득 회로(40)에 의해 취득된 주행 루트(9)를 판독한다. 스텝 S930으로 진행하여, 주행 루트(9)에 기초하여, 보행자의 위치가 자차(7)의 이동에 영향을 미치는지 여부를 판단한다. 구체적으로는, 제1 및 제2 처리와 마찬가지로 하여, 보행자의 위치가 주행 루트(9) 상에 들어올 가능성이 있는지 여부를 판단한다.
예를 들어, 도 13a에 나타낸 바와 같이, 주행 루트(9)가 차도의 직진을 나타내고 있는 경우, 보행자(8k, 8m, 8n, 8p)의 위치가 주행 루트(9) 상에 들어올 가능성은 없다. 따라서, 보행자(8k, 8m, 8n, 8p)의 위치가 자차(7)의 이동에 영향을 미치지 않는다고(S930에서 "아니오") 판단하여, 스텝 940으로 진행한다. 한편, 도 13b에 나타낸 바와 같이, 주행 루트(9)가 도로에 면한 주차장(12)으로 진입하는 루트를 나타내고 있는 경우, 보행자(8k, 8m, 8n, 8p)의 위치가 주행 루트(9) 상에 들어올 가능성이 있다. 따라서, 보행자(8k, 8m, 8n, 8p)의 위치는 자차(7)의 이동에 영향을 미친다고(S930에서 "예") 판단하여, 스텝 960으로 진행한다.
스텝 S940에 있어서, 보행자간의 거리와 역치(D5)를 비교한다. 그리고 스텝 S950에서는, 보행자간의 거리가 역치(D5)보다 작은 보행자를 하나의 그룹으로 분류한다. 예를 들어, 역치(D5)를 무한대로 설정하고, 도 13a에 나타낸 바와 같이, 동일한 측의 보도를 동일한 방향으로 이동하는 4명의 보행자(8k, 8m, 8n, 8p)를 모두 하나의 그룹(G12)으로 분류한다.
한편, 스텝 S960에 있어서, 보행자간의 거리 및 상대 속도, 자차(7)의 속도를 고려하여, 역치(D6)를 설정한다. 스텝 S970으로 진행하여, 보행자간의 거리와 역치(D6)를 비교한다. 예를 들어, 도 13b에 나타낸 바와 같이, 보행자(8k)와 자차(7)의 충돌 포인트(Pa)까지의 도달 시간차를 산출하여, 당해 시간차가 소정 시간(예를 들어, 2 내지 3초간) 이상이면, 보행자(8k)와 보행자(8m) 사이를 통과할 수 있다. 바꾸어 말하면, 도 13d에 나타낸 바와 같이, 보행자(8k)와 보행자(8m)의 거리가, 보행자(8k)의 이동 속도에 소정 시간(2 내지 3초간)을 곱한 거리 이상이면, 자차(7)는 보행자(8k)와 보행자(8m) 사이를 통과할 수 있다. 이 경우, 스텝 950에 있어서, 보행자(8k)와 다른 3명의 보행자(8m, 8n, 8p)를 상이한 그룹(G14, G15)으로 분류한다.
반대로, 도 13c에 나타낸 바와 같이, 보행자(8k)와 보행자(8m)의 거리가, 보행자(8k)의 이동 속도에 소정 시간(2 내지 3초간)을 곱한 거리 미만이면, 자차(7)는 보행자(8k)와 보행자(8m) 사이를 통과할 수 없다. 이 경우, 스텝 950에 있어서, 보행자(8k)와 다른 3명의 보행자(8m, 8n, 8p)를 동일한 그룹(G13)으로 분류한다.
또한, 실시 형태에서는, 물체의 일례로서 보행자에 대해 설명하였지만, 이것에 한정되는 것은 아니다. 예를 들어, 보행자 추출 회로(20)가, 보행자뿐만 아니라, 자전거도 추출하여 추적의 대상에 포함해도 된다. 또한, 보행자 중에, 매시 4㎞ 정도로 걷고 있는 사람뿐만 아니라, 그 이상의 속도로 이동하고 있는, 소위, 달리고 있는 사람이 포함되는 것은 물론이다.
이상 설명한 바와 같이, 실시 형태에 따르면, 이하의 작용 효과가 얻어진다.
복수의 물체가 검출된 경우, 물체의 위치, 예를 들어 횡단보도 위, 자전거 레인 위의 위치가, 자차의 이동에 미치는 영향도, 예를 들어 자차의 이동 방향과의 교차 상황, 또는 자차와의 상대 거리를 접근 속도로 나눈 시간에 기초하여, 복수의 물체를 그룹으로 나눈다. 그리고 각각의 그룹을 하나의 물체로서 시계열로 추적한다. 이에 의해, 동일한 그룹으로 나뉜 2개 이상의 물체를 하나의 물체로서 시계열로 추적할 수 있다. 따라서, 시계열로 추적하는 물체의 수를 저감시킬 수 있으므로, 복수의 물체를 시계열로 추적할 때의 계산 부하를 저감시킬 수 있다.
물체의 위치가 자차의 이동에 미치는 영향도가 작을수록, 넓은 영역에 위치하는 복수의 물체를 하나의 그룹으로 나눈다. 이에 의해, 자차의 안전한 이동을 확보한 후, 그룹의 수를 삭감할 수 있으므로, 자차의 안전한 이동을 확보하면서, 계산 부하를 저감시킬 수 있다.
물체의 위치가 자차의 주행 루트(9)로부터 멀수록, 자차의 이동에 미치는 영향도가 작다고 판단한다. 이에 의해, 상대 거리가 가까워도 주행 루트로부터 벗어난 물체에 대해, 넓은 영역으로 그루핑할 수 있다. 따라서, 추적 대상 물체의 수가 감소하여, 시스템의 계산 부하가 경감된다. 또한, 자차의 주행 루트에 가까울수록, 자차의 이동에 미치는 영향도가 크다고 판단한다. 이에 의해, 상대 거리가 멀지만 자차의 주행 루트에 접근해 오는 물체에 대해, 좁은 영역으로 그루핑할 수 있기 때문에, 자차의 보다 안전한 이동을 확보할 수 있다.
또한, 물체의 위치가 자차로부터 멀수록, 자차의 이동에 미치는 영향도가 작다고 판단해도 된다. 이에 의해, 자차로부터 먼 물체에 대해 넓은 영역으로 그루핑할 수 있기 때문에, 자차로부터 먼 물체에 대한 센서의 검출 오차를 허용할 수 있어, 그룹의 수를 적게 할 수 있다.
제3 처리(도 10, 도 11a 내지 도 11e)에서 설명한 바와 같이, 물체의 이동량(이동 속도, 이동 방향을 포함함)에 기초하여, 복수의 물체를 그룹으로 나눈다. 이에 의해, 그룹의 수, 그룹의 크기나 중심 위치의 변화가 적어, 보다 안정적인 검출 결과를 얻을 수 있다.
도 5d 및 도 4의 스텝 S590에서 나타낸 바와 같이, 물체의 위치의 통행 룰을 따르고 있는 정도에 기초하여, 복수의 물체를 그룹으로 나눈다. 이에 의해, 교통 규칙을 지키고 있지 않은 물체를 지키고 있는 물체와는 상이한 별도 그룹으로서 추적할 수 있기 때문에, 자차가 보다 안전한 행동을 취할 수 있다.
상기한 바와 같이, 본 발명의 실시 형태를 기재하였지만, 이 개시의 일부를 이루는 논술 및 도면은 본 발명을 한정하는 것이라고 이해해서는 안 된다. 이 개시로부터 당업자에게는 다양한 대체 실시 형태, 실시예 및 운용 기술이 명확해질 것이다.
예를 들어, 물체의 위치가 자차의 이동에 미치는 영향을, 자차의 주행 루트와 물체의 지도상의 위치의 교차 상황, 혹은 자차의 주행 루트와 물체의 이동 방향의 교차 상황에 따라서 평가하는 경우를 나타냈지만, 이것에 한정되는 것은 아니다. 예를 들어, 자차와 물체의 상대 거리 또는 자차에 대한 물체의 접근 속도에 따라서 평가해도 된다. 구체적으로는, 자차와 물체의 상대 거리가 짧을수록, 혹은 자차에 대한 물체의 접근 속도가 빠를수록, 물체의 위치가 자차의 이동에 미치는 영향을 크게 평가해도 된다. 또한, 상대 거리를 접근 속도로 나눈 충돌 시간(TTC)이 짧을수록, 물체의 위치가 자차의 이동에 미치는 영향을 크게 평가해도 된다.
자차와 물체의 상대 거리는, 자차 및 물체의 현재 위치간의 거리여도 되고, 자차의 주행 루트와 물체의 현재 위치의 거리여도 된다. 또한, 자차와 물체의 상대 거리는, 자차 및 물체의 지도상의 위치 및 이동 방향 및 이동 속도에 기초하여 예측된, 소정 시간 후의 자차 및 물체의 예측 위치간의 거리여도 된다. 또한, 소정 시간 후의 자차의 예측 위치는, 주행 루트로부터 산출 가능하다.
자차에 대한 물체의 접근 속도는, 현재의 접근 속도여도 되고, 소정 시간 후의 접근 속도여도 된다. 소정 시간 후의 접근 속도는, 자차의 주행 루트, 물체의 지도상의 위치 및 물체의 이동 방향 및 이동 속도에 기초하여 추정하면 된다. 소정 시간 후의 자차의 이동 방향 및 이동 속도는, 자차의 주행 루트로부터 산출 가능하다. 또한, 소정 시간 후의 물체의 이동 방향 및 이동 속도는, 물체의 지도상의 현재 위치, 현재의 이동 방향 및 이동 속도로부터 예측 가능하다.
그루핑 판단 시에 있어서의 물체간의 거리의 역치가 커질수록, 하나의 그룹에 포함되는 물체가 넓은 범위에 분포될 수 있으므로, 그루핑되는 영역은 넓어진다. 물체의 위치가 자차의 이동에 미치는 영향을 작게 평가하는 경우, 물체간의 거리의 역치를 크게 함으로써, 그루핑되는 영역을 넓게 할 수 있다.
자차의 주위에 존재하는 물체가 자차의 주행에 미치는 영향은 물체마다 상이하다. 예를 들어, 자차에 대해 자동 운전 제어를 행하는 경우, 미리 목적지 및 목적지까지의 주행 루트가 설정되어 있다. 이 경우, 물체가 자차의 주행에 미치는 영향은, 자차의 지도상의 위치 및 주행 루트, 물체의 지도상의 위치에 따라서 변화된다. 따라서, 자차의 주위의 모든 물체를 개별로 추적하는 기술적인 의의는 없고, 물체가 자차의 주행에 미치는 영향이 작으면, 복수의 물체를 하나로 통합하여 추적해도 지장은 없다. 특히, 교차점 부근(2)에서 다수의 보행자가 검출된 경우, 본 실시 형태에 따르면, 자차의 안전한 주행을 확보하면서, 자동 운전 시스템의 계산 부하의 증대를 억제할 수 있다. 나아가, 자동 운전 시스템의 처리 속도의 저하를 억제할 수 있다.
상술한 각 실시 형태에서 나타낸 각 기능은, 하나 또는 복수의 처리 회로에 의해 실장될 수 있다. 처리 회로는, 전기 회로를 포함하는 처리 장치 등의 프로그램된 처리 장치를 포함한다. 처리 장치는 또한, 실시 형태에 기재된 기능을 실행하도록 어레인지된 특정 용도용 집적 회로(ASIC)나 종래형 회로 부품과 같은 장치를 포함한다.
1a 내지 1d: 횡단보도
1A 내지 1D: 횡단보도 영역
2A 내지 2H: 보도 영역
8a 내지 8p: 보행자
9: 주행 루트
10: 물체 검출 센서
20: 보행자 추출 회로
30: 지도 정보 취득 회로
40: 자차 정보 취득 회로
60: 그룹 결정 회로
70: 추적 회로
80: 연산 회로
L1 내지 L4: 경로
D1 내지 D6: 역치

Claims (7)

  1. 자차의 주위의 물체를 검출하는 센서를 사용하여, 상기 물체를 시계열로 추적하는 물체 추적 방법에 있어서,
    복수의 물체가 검출된 경우, 상기 자차와 상기 복수의 물체 각각의 상대 위치 관계를 산출하고,
    상기 상대 위치 관계로부터, 상기 복수의 물체 각각의 상기 자차의 이동에 미치는 영향도를 산출하며,
    상기 영향도에 기초하여, 상기 복수의 물체를 물체의 수보다 적은 수의 그룹으로 나누고,
    각각의 그룹을 하나의 물체로서 시계열로 추적하는 것을 특징으로 하는 물체 추적 방법.
  2. 제1항에 있어서,
    상기 자차와 상기 물체의 상대 위치 관계에 의한 상기 자차의 이동에 미치는 영향도가 작을수록, 넓은 영역에 위치하는 상기 복수의 물체를 하나의 그룹으로 나누는 것을 특징으로 하는 물체 추적 방법.
  3. 제2항에 있어서,
    상기 물체의 위치가 상기 자차의 주행 루트로부터 멀수록, 상기 자차의 이동에 미치는 영향도가 작다고 판단하는 것을 특징으로 하는 물체 추적 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 물체의 위치가 상기 자차로부터 멀수록, 상기 자차의 이동에 미치는 영향도가 작다고 판단하는 것을 특징으로 하는 물체 추적 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 복수의 물체가 검출된 경우, 상기 자차와 상기 물체의 상대 위치 관계에 의한 상기 자차의 이동에 미치는 영향도 및 각 물체의 이동량에 기초하여, 상기 복수의 물체를 그룹으로 나누는 것을 특징으로 하는 물체 추적 방법.
  6. 제1항 내지 제3항 어느 한 항에 있어서,
    상기 복수의 물체가 검출된 경우, 상기 자차와 상기 물체의 상대 위치 관계에 의한 상기 자차의 이동에 미치는 영향도 및 상기 물체의 위치의 통행 규칙을 따르고 있는 정도에 기초하여, 상기 복수의 물체를 그룹으로 나누는 것을 특징으로 하는 물체 추적 방법.
  7. 자차의 주위의 물체를 검출하는 센서와, 상기 물체를 시계열로 추적하는 연산 회로를 구비하는 물체 추적 장치에 있어서,
    상기 연산 회로는, 복수의 물체가 검출된 경우, 상기 자차와 상기 복수의 물체 각각의 상대 위치 관계를 산출하고, 상기 상대 위치 관계로부터 상기 복수의 물체 각각의 상기 자차의 이동에 미치는 영향도를 산출하며, 상기 영향도에 기초하여 상기 복수 물체를 물체의 수보가 적은 수의 그룹으로 나누고, 각각의 그룹을 하나의 물체로서 시계열로 추적하는 것을 특징으로 하는 물체 추적 장치.
KR1020187036169A 2016-06-27 2016-06-27 물체 추적 방법 및 물체 추적 장치 KR102060267B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068978 WO2018002985A1 (ja) 2016-06-27 2016-06-27 物体追跡方法及び物体追跡装置

Publications (2)

Publication Number Publication Date
KR20190008324A KR20190008324A (ko) 2019-01-23
KR102060267B1 true KR102060267B1 (ko) 2019-12-27

Family

ID=60786114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187036169A KR102060267B1 (ko) 2016-06-27 2016-06-27 물체 추적 방법 및 물체 추적 장치

Country Status (10)

Country Link
US (1) US10510257B2 (ko)
EP (1) EP3477615B1 (ko)
JP (1) JP6597899B2 (ko)
KR (1) KR102060267B1 (ko)
CN (1) CN109328376B (ko)
BR (1) BR112018077145A2 (ko)
CA (1) CA3029163A1 (ko)
MX (1) MX2018015813A (ko)
RU (1) RU2714091C1 (ko)
WO (1) WO2018002985A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6979366B2 (ja) * 2018-02-07 2021-12-15 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7000202B2 (ja) * 2018-02-27 2022-01-19 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
WO2020080139A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 センサ装置、パラメータ設定方法
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
JP7139902B2 (ja) * 2018-11-14 2022-09-21 トヨタ自動車株式会社 報知装置
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
RU2750118C1 (ru) 2019-12-25 2021-06-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и процессоры для управления работой беспилотного автомобиля
JP7198232B2 (ja) * 2020-01-28 2022-12-28 株式会社デンソー 物体検出装置
EP4036892A1 (en) * 2021-02-02 2022-08-03 Aptiv Technologies Limited Detection system for predicting information on pedestrian
JP7273896B2 (ja) * 2021-06-18 2023-05-15 本田技研工業株式会社 警告制御装置、移動体、警告制御方法、及びプログラム
JP7250070B2 (ja) * 2021-06-18 2023-03-31 本田技研工業株式会社 警告制御装置、移動体、警告制御方法、及びプログラム
KR102583171B1 (ko) * 2022-06-30 2023-09-27 웨이즈원 주식회사 보행자 위험 상황 예측 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2011081567A (ja) * 2009-10-06 2011-04-21 Tokyo Institute Of Technology 撮像システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2126174C1 (ru) * 1997-10-22 1999-02-10 Саломатин Андрей Аркадьевич Способ определения координат подвижного объекта, способ идентификации абонентов и определения их местоположения и система радиосвязи абонентов с центральной станцией с идентификацией абонентов и определением их местоположения
JP2002024986A (ja) 2000-07-06 2002-01-25 Nippon Signal Co Ltd:The 歩行者検出装置
JP2002157697A (ja) * 2000-11-21 2002-05-31 Mazda Motor Corp 車両の制御装置
JP4561346B2 (ja) * 2004-12-08 2010-10-13 株式会社豊田中央研究所 車両運動推定装置及び移動体検出装置
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法
WO2012164804A1 (ja) * 2011-06-02 2012-12-06 パナソニック株式会社 物体検出装置、物体検出方法および物体検出プログラム
EP2749468B1 (en) * 2011-08-25 2019-02-27 Nissan Motor Co., Ltd Autonomous driving control system for vehicle
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
US10444346B2 (en) 2014-07-25 2019-10-15 Robert Bosch Gmbh Method for migrating radar sensor limitations with video camera input for active braking for pedestrians
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
US9494439B1 (en) * 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2011081567A (ja) * 2009-10-06 2011-04-21 Tokyo Institute Of Technology 撮像システム

Also Published As

Publication number Publication date
EP3477615A4 (en) 2019-07-17
CN109328376A (zh) 2019-02-12
US10510257B2 (en) 2019-12-17
CA3029163A1 (en) 2018-01-04
EP3477615A1 (en) 2019-05-01
WO2018002985A1 (ja) 2018-01-04
JPWO2018002985A1 (ja) 2019-04-18
KR20190008324A (ko) 2019-01-23
CN109328376B (zh) 2021-06-15
JP6597899B2 (ja) 2019-11-06
EP3477615B1 (en) 2022-03-09
US20190236958A1 (en) 2019-08-01
RU2714091C1 (ru) 2020-02-11
MX2018015813A (es) 2019-04-29
BR112018077145A2 (pt) 2019-04-30

Similar Documents

Publication Publication Date Title
KR102060267B1 (ko) 물체 추적 방법 및 물체 추적 장치
CN109313856B (zh) 物体检测方法及物体检测装置
JP6838248B2 (ja) 情報処理装置
EP2600328B1 (en) Driving assistance device
EP2767927B1 (en) Road surface information detection apparatus, vehicle device control system employing road surface information detection apparatus, and carrier medium of road surface information detection program
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
JP6171499B2 (ja) 危険度判定装置及び危険度判定方法
JP2018180735A (ja) 動作範囲決定装置
CN114248801A (zh) 用于控制车辆的自动驾驶的装置和方法
KR102564856B1 (ko) 차선을 검출하는 방법 및 장치
CN112513955A (zh) 行驶轨道生成方法及行驶轨道生成装置
JP2019101854A (ja) 軌跡設定装置
JP6699728B2 (ja) 車間距離推定方法及び車間距離推定装置
JP7259939B2 (ja) 挙動予測方法及び挙動予測装置並びに車両制御装置
JP2022146256A (ja) 走路推定方法及び走路推定装置
JP2020148601A (ja) 認識装置、車両制御装置、認識方法、およびプログラム
JP2020160027A (ja) ナビゲーション装置、ナビゲーション方法、およびプログラム
JP7149171B2 (ja) 物体認識方法及び物体認識装置
WO2023175741A1 (ja) 外界認識装置
JP7458743B2 (ja) 車両制御方法及び車両制御装置
JP2023151308A (ja) 先行車両判定方法及び先行車両判定装置
JP2023151311A (ja) 走行制御方法及び走行制御装置
JP2020121614A (ja) 走行支援方法及び走行支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right