KR100201739B1 - 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치 - Google Patents

물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치 Download PDF

Info

Publication number
KR100201739B1
KR100201739B1 KR1019960017635A KR19960017635A KR100201739B1 KR 100201739 B1 KR100201739 B1 KR 100201739B1 KR 1019960017635 A KR1019960017635 A KR 1019960017635A KR 19960017635 A KR19960017635 A KR 19960017635A KR 100201739 B1 KR100201739 B1 KR 100201739B1
Authority
KR
South Korea
Prior art keywords
projection
dimensional
point
vehicle
image
Prior art date
Application number
KR1019960017635A
Other languages
English (en)
Other versions
KR960042482A (ko
Inventor
가쭈미 오하시
마사토시 기마치
Original Assignee
타테이시 요시오
오무론 가부시기가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 타테이시 요시오, 오무론 가부시기가이샤 filed Critical 타테이시 요시오
Publication of KR960042482A publication Critical patent/KR960042482A/ko
Application granted granted Critical
Publication of KR100201739B1 publication Critical patent/KR100201739B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

[목적]
목적으로 하는 물체를 높은 정밀도로 관측한다.
[구성]
2대의 카메라(3a, 3b)를, 광축을 도로(1)를 향하여 평행으로 한 상태에서, 도로(1)상에 종 방향으로 나란히 구비한다. 각 카메라(3a, 3b)로 동시에 촬상된 화상은, 제어 처리 장치(4)에 입력된다. 제어 처리 장치(4)는 각 카메라로부터의 화상에 대해 수평 방향의 엣지 성분을 추출한 후, 각 엣지 구성점에 대해서 화상간의 대응화 처리를 하고, 이 대응화 결과로부터 각 엣지 구성점에 대응하는 3차원 좌표를 산출한다. 다시, 제어 처리 장치(4)는, 각 차도를 따라 가상 수직 평면을 설정하고, 상기의 각 3차원 좌표점을 이 가상 수직 평면상에 투영한다. 이 투영 결과는, 내부의 메모리에 기억된 측면 형상 모델과 비교되고, 그 비교 결과로부터 차도상의 차량의 차종, 위치등이 판별된다.

Description

물체 관측 방법 및 그 방법을 이용한 물체 관측 장치와, 이 장치를 이용한 교통 흐름 계측 장치 및 주차장 관측 장치
제1도는 본 발명의 제1 실시예에 관한 교통 계측 장치의 설치예를 나타내는 설명도.
제2도는 2대의 카메라 설치예를 나타내는 사시도.
제3도는 카메라의 다른 설치예를 나타내는 사시도.
제4도는 카메라를 일체화한 예를 나타내는 사시도.
제5도는 교통 계측 장치의 전기적 구성을 나타내는 블럭도.
제6도는 각 카메라의 입력 화상의 예를 나타내는 설명도.
제7도는 라플라시안(laplacean) 필터를 나타내는 설명도.
제8도는 화상의 추출예를 나타내는 설명도.
제9도는 대응화 처리의 방법을 나타내는 설명도.
제10도는 대응화 처리를 위한 상위도 연산의 결과를 나타내는 설명도.
제11도는 3각 계량의 원리를 나타내는 설명도.
제12도는 3차원 좌표의 투영 방법을 나타내는 설명도.
제13도는 가상 수직 평면에 대한 투영 결과를 예시하는 설명도.
제14도는 측면 형상 모델을 나타내는 설명도.
제15도는 모델의 다른 설정예를 나타내는 설명도.
제16도는 비교 판별 처리 결과를 나타내는 설명도.
제17도는 처리 결과 기억부의 데이터 구성을 나타내는 설명도.
제18도는 각 처리 시점에서의 차량 단위의 검출치를 대응화한 결과를 나타내는 설명도.
제19도는 제2 실시예에 관한 교통 흐름 계측 장치의 구성을 나타내는 블럭도.
제20도는 특징 선택의 결과를 나타내는 설명도.
제21도는 대표점의 결과를 나타내는 설명도.
제22도는 대표점에 대한 3차원 좌표의 산출 결과를 나타내는 설명도.
제23도는 제22도의 3차원 좌표에 대한 분류 처리의 결과를 나타내는 설명도.
제24도는 각 그룹별로 3차원 좌표를 투영한 결과를 나타내는 설명도.
제25도는 중점 부여 범위의 설정 방법을 나타내는 설명도.
제26도는 모델의 주사 범위를 나타내는 설명도.
제27도는 중점을 부여한 비교 처리 방법의 원리를 나타내는 설명도.
제28도는 각 투영점의 평가치의 개념을 나타내는 설명도.
제29도는 비교 판별 처리 결과를 나타내는 설명도.
제30도는 제3 실시예에 관한 교통 흐름 계측 장치의 구성을 나타내는 블럭도.
제31도는 각 카메라로부터의 입력 화상의 예를 나타내는 설명도.
제32도는 각 카메라로부터의 입력 화상의 예를 나타내는 설명도.
제33도는 제31도의 각 입력 화상을 2 수치화 처리한 결과를 나타내는 설명도.
제34도는 제32도의 각 입력 화상을 2 수치화 처리한 결과를 나타내는 설명도.
제35도는 특징점의 3차원 좌표를 산출한 결과를 나타내는 설명도.
제36도는 특징점의 3차원 좌표를 산출한 결과를 나타내는 설명도.
제37도는 제4 실시예에 관한 주차장 관측 장치의 설치예를 나타내는 설명도.
제38도는 주차장 관측 장치의 구성을 나타내는 블럭도.
제39도는 각 카메라로부터의 입력 화상의 예를 나타내는 설명도.
제40도는 엣지 화상의 추출예를 나타내는 설명도.
제41도는 3차원 좌표의 산출 결과와 투영 결과의 관계를 나타내는 설명도.
제42도는 투영 처리 결과를 나타내는 설명도.
제43도는 모델의 형상을 나타내는 설명도.
제44도는 제5 실시예에 관한 주차장 관측 장치의 구성을 나타내는 블럭도.
제45도는 3차원 좌표를 그룹 분류한 결과를 나타내는 설명도.
* 도면의 주요부분에 대한 부호의 설명
3a, 3b : 카메라 4 : 제어 처리 장치
13 : 엣지 추출부 14 : 대응화 처리부
15 : 3차원 좌표 산출부 17 : 투영 처리부
19 : 모델 데이터 기억부 20 : 비교 판정부
31 : 대표점 추출부 34 : 중점 부여 범위 설정부
35 : 2 수치화 처리부 45 : 주차 유무 판정부
[산업상의 이용분야]
본 발명은, 소정의 관측 위치에 있어서 대상물을 관측하기 위한 방법 및 장치와 관련하며, 또한 본 발명은 도로상의 차량을 관측하고 그 관측 결과의 시간적인 추이에 의해, 차량의 통과 대수, 차량 속도, 차종 등의 데이터(이하, 「교통 흐름 데이터」라 총칭한다.)를 계측하는 교통 흐름 계측 장치, 및 주차 공간내에 주차하는 차량을 관측하는 주차장 관측 장치에 관한 것이다.
[종래의 기술]
종래, 교통 흐름 데이터를 계측하는 것으로써, 도로의 위쪽에 카메라를 설치하여 도로상의 소정 위치를 촬상하고, 얻어진 화상의 시간적인 추이로부터 도로상에서의 차량의 흐름을 계측하는 장치가 계발되었다.
이 장치에서는 미리 배경 기술로써 도로상에 대상물이 존재하지 않는 화상을 기억하고 있고, 상기 카메라로부터의 화상과 이 배경 화상과의 차이만큼을 차량에 관한 화상으로써 추출하고, 그 추출 결과를 순차 추적함으로써 도로상의 차량의 흐름을 계측하도록 하고 있다(전기 학회 기술 보고 제512호, 제80∼81쪽).
또 배경 화상을 기억하는 대신에, 1단계 전에 도입한 화상을 기억해 두고, 그 직전의 화상을 최신의 화상으로부터 제거함으로써, 차량 위치의 변화만을 추출하는 방법도 제안되고 있다.
또한 최근, 카메라로부터의 입력 화상을 시간별로 축적한 시공간 화상을 작성하여 교통 흐름 데이터를 관측하는 기술(DTT법)이 발표되었다(전자정보 통신학회 논문지Vol.J77-D-II No.10 p2019-2026, 1994). 이 방법에 의하면, 각 시간 마다의 화상으로부터 차량의 윤곽 등의 특징량 데이터가 추출된 후, 이 특징부 데이터를 차량의 이동 방향으로 평행한 방향축으로 투영한 1차원-데이터가 작성된다. 이 1차원 데이터는 다시 시 계열로 늘어 세워져 방향축-시간축으로 이루어지는 2차원 화상(DDT화상)이 작성되고, 이 DDT화상으로부터 소정 방향으로 이동하는 물체가 추출된다.
또, 주차장의 각 주차 지역이 비어 있는지의 여부를 판별하는 경우에는, 일반적으로 상기 제1 또는 제2의 방법, 즉 관측 위치를 촬상하여 얻어진 입력 화상과 배경 화상과의 차이, 또는 입력 화상과 1단계 전에 도입한 화상의 차이에 의해 주차 지역에 차량이 주차되어 있는지의 여부를 판별하도록 하고 있다.
[발명이 해결하고자 하는 과제]
교통 흐름의 계측에 입력 화상과 배경 화상의 차이를 이용하는 경우, 주야, 청천시, 우천시등 여러 가지 환경에 따른 배경 화상을 기억할 필요가 있는데, 필요한 환경을 상정하거나, 환경의 변화에 따른 배경 화상의 갱신을 하기에는 한계가 있고, 차량을 고정밀도로 추출하는 것은 바랄 수 없다. 또 상기 각각 제1, 제2, 제3방법의 경우, 차량의 그림자나 바람으로 흔들리는 나무 그림자 등의 노면상에서 움직이는 그림자. 혹은 야간의 라이트의 반사광이나 젖은 노면에 비친 차량등, 차량 이외의 움직임을 차량으로써 오검출해 버린다는 문제점이 발생한다.
더욱이 종래 각 방법의 경우, 노상에 대형 차량이 존재하거나, 체증이 생긴 경우, 화면상으로는 각 차량을 구별할 수 없게 되고, 복수대의 차량이 한 대로 오검출될 우려가 있다. 또, 대형 차량의 그림자의 화상이 옆 차선으로 까지 미쳐 후방에 있는 소형 차량과 겹쳐지면, 이 그림자나 소형 차량을 대형 차량으로 오검출하는 등, 도로상의 차량의 대수나 차종을 정확하게 판별하기는 도저히 불가능하다.
상기의 문제점은 주차장의 관측 장치에 대해서도 마찬가지로써, 관측 위치에 있어서의 조도의 변화에 의해 판별 정도가 저하되거나, 옆 지역의 차량등의 그림자를 오검출하거나 할 우려가 있다.
덧붙여 이들 종래의 방법으로는, 여러 가지 배경 화상이나 시간별의 화상을 축적하기 위한 메모리나, 각 화상의 감산이나 누적 가산등의 연산 처리를 하기 위한 하드 구성이 필요해지기 때문에, 장치의 구성이 대규모가 되어, 제작 비용이 높아진다고 하는 문제도 존재한다.
본 발명은, 상기 문제에 착안하여 이루어진 것으로, 복수대의 카메라에 의해 관측 위치를 촬상하고, 얻어진 각 화상 중의 특징 부분에 대해서 3차원 계측을 하고, 그 높이 데이터를 이용하여 대상물을 판별함으로써. 목적으로 하는 물체를 고정밀도로 관측하는 것을 목적으로 한다.
또한 본 발명은, 상기 각 카메라로부터 얻어진 화상 중의 특징 부분인 3차원 좌표를, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면에 투영시킴으로써, 대상물의 형상을 추출하고, 관측 위치에서의 대상물의 존재, 개수, 종별 등을 정확히 파악하는 것을 목적으로 한다.
또 본 발명은, 상기의 목적을 이용하여 도로상이나 주차 스페이스내를 관측하고, 그 관측 결과를 근거로, 고정도의 교통 흐름 계측이나 차량 판별하는 것을 목적으로 한다.
[과제를 해결하기 위한 수단]
청구항 1의 발명은, 대상물을 관측하는 방법에 있어서, 2대 이상의 촬상 장치를 소정의 관측 위치를 향하여 동시에 촬상을 하고, 얻어진 각 화상중의 특징 부분을 화상별로 추출하는 제1 단계와,상기 추출된 각 화상의 특징 부분에 대해서 화상간에서의 대응화를 하는 제2 단계와, 대응화된 각 특징 부분에 대해서 3차원 계측을 하여 각 특징 부분의 3차원 좌표를 추출하는 제3 단계와, 추출된 각 특징 부분의 3차원 좌표를, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면상에 투영하는 제4 단계와, 이 투영 데이터를 소정의 2차원 모델 데이터와 비교함으로써 상기 대상물을 판별하는제5 단계를 일련으로 실시하는 것을 특징으로 한다.
청구항 2의 발명에서는 상기 제4 단계의 투영 처리로써, 각 특징 부분의 3차원 좌표를 상기 대상물이 접하는 평면상의 위치 관계를 기초로 그룹 분류한 후, 각 그룹별로 그 그룹내에 포함되는 3차원 좌표를 상기 가상 수직 평면에 투영한다.
청구항 3의 발명에서는 상기 제5 단계의 비교 처리로써, 상기 제4 단계의 투영 처리에 의해 가상 수직 평면상에 생성된 각 투영점에 대하여, 각각 그 투영점을 포함하는 소정 범위를 설정함과 함께, 이 범위내의 각 점에 대해서 상기 투영점과의 위치 관계에 근거하여 중점을 두어 상기 2차원 데이터와의 비교를 행한다.
청구항 4의 물체 관측 방법에서는 청구항 1과 같은 제1의 단계와, 추출된 각 화상의 특징 부분에 대해서, 각각 그 대표적인 특징을 나타내는 점을 특정하는 제2 단계와, 상기 특정된 각 대표점에 대하여 화상간에서의 대응화를 행하는 제3단계와, 대응화된 각 대표점별로 3차원 계측을 하여 각 대표점의 3차원 좌표를 추출하는 제4 단계와, 추출된 각 대표점의 3차원 좌표를, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면에 투영하는 제5 단계와, 이 촬상 데이터를 소정의 2차원 모델 데이터와 비교함으로써 상기 대상물을 판별하는제6 단계를 일련으로 실시하는 것을 특징으로 한다.
청구항 5의 발명에서는 상기 투영 처리로써 청구항 2와 같은 처리가, 청구항 6의 발명에서는 상기 비교 처리로써 청구항 3과 같은 처리가, 각각 실시된다.
청구항 7의 발명의 물체 관측 장치는 관측 위치를 향하여 구비되는 2대 이상의 촬상 장치와, 각 촬상 장치에 의해 동시에 도입된 각 화상으로부터 추출하는 특징 추출 수단과, 상기 추출 수단에 의해 추출된 각 화상의 특징 부분에 대해서 화상간에서의 대응화를 하는 대응화 수단과, 상기 대응화 수단에 의해 대응화된 각 특징 부분에 대해서 3차원 계측을 행하여 각 특징 부분의 3차원 좌표를 추출하는 좌표 추출 수단과, 대상물인 2차원 모델 데이터를 기억하는 기억 수단과, 대상물이 접하는 평면에 대하여 수직으로 위치하도록 가상 수직 평면을 설정하고, 이 가상 주식 평면상에 상기 좌표 추출 수단에 의해 추출된 각 특징 부분의 3차원 좌표를 투영하는 투영 수단과, 상기 투영 수단에 의한 투영 결과를 상기 기억 수단에 기억된 2차원 모델 데이터와 비교하는 비교 수단을 구비하고 있다.
청구항 10의 발명인 물체 관측 장치는 청구항 7과 같은 2대 이상의 촬상 장치 및 특징 추출 수단과, 상기 추출 수단에 의해 추출된 각 화상의 특징 부분에 대해서, 각각 그 대표적인 특징을 나타내는 점을 특정하는 대표점 특정 수단과, 상기 대표점 특정 수단에 의해 특정된 각 대표점에 대해서 화상간에서의 대응화를 하는 대응화 수단과, 상기 대응화 수단에 의해 대응화된 각 대표점별로 3차원 계측을 하여 각 대표점의 3차원 좌표를 추출하는 좌표 추출 수단과, 대상물의 2차원 모델 데이터를 기억하는 기억 수단과, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면을 설정하고, 이 가상 수직 평면상에 상기 좌표 추출 수단에 의해 추출된 각 대표점의 3차원 좌표를 투영하는 투영 수단과, 상기 투영 수단에 의한 투영 결과를 상기 기억 수단에 기억된 2차원 모델 데이터와 비교하는 비교 수단을 구비하고 있다.
청구항 8 및 11의 발명에서는 상기 좌표 투영 수단과, 상기 좌표 추출 수단에 의해 추출된 각 3차원 좌표를 상기 대상물이 접하는 평면상의 위치 관계를 기초로 그룹 분류한 후, 각 그룹별로 그 그룹내에 포함되는 3차원 좌표를 상기 가상 수직 평면에 투영하도록 구성하고 있다.
청구항 9 및 12의 발명에서는 상기 투영 수단을 상기 투영 수단에 의한 투영 처리에 의해 가상 수직 평면상에 생성된 각 투영점에 대하여, 각각 그 투영점을 포함하는 소정 범위를 설정함과 함께, 이 범위내의 각 점에 대해서 상기 투영점과의 위치 관계에 근거하여 중점을 두어 상기 2차원 데이터와의 비교를 하도록 구성하고 있다.
청구항 13 및 14의 발명은 도로상에서의 차량의 흐름을 관측하고, 그 관측 결과의 시간적인 추이에 의해 도로상에서의 교통 흐름 데이터를 계측하는 장치에 관한 것이다.
청구항 13의 발명에 관한 교통 흐름 계측 장치는 도로의 위쪽에 도로상의 관측 위치를 향하여 구비된 2대 이상의 촬상 장치와, 소정의 시간별로 각 촬상 장치에 의해 동시에 도입한 각 화상으로부터 각각 특징 부분을 추출하는 특징 추출 수단과, 상기 특징 추출 수단에 의해 추출된 각 화상의 특징 부분에 대해서 화상간에서의 대응화를 하는 대응화 수단과, 상기 대응화 수단에 의해 대응화된 각 특징 부분에 대해서 3차원 계측을 하여 각 특징 부분의 3차원 좌표를 추출하는 좌표 추출 수단과 도로에 따른 가상 수직 평면을 설정하여, 이 가상 수직 평면상에 상기 좌표 추출 수단에 의해 추출된 각 특징 부분의 3차원 좌표를 투영하는 투영 수단과, 복수 종류의 차량에 대해서, 각 차량의 측면의 형상 모델을 기억하는 기억 수단과, 상기 투영 수단에 의한 투영 결과를 상기 기억 수단에 기억된 각 모델과 비교함으로써 도로상의 차량을 판별하는 차량 판별 수단과, 상기 차량 판별 수단에 의한 편별 결과를 순차 추적하여 도로상에서의 차량의 흐름을 관측하는 관측 수단을 구비하고 있다.
청구항 14의 발명에 관한 교통 흐름 계측 장치는 상기와 같은 촬상 장치, 특징 추출 수단, 대응화 수단, 좌표 추출 수단을 구비하는 이외에, 상기 좌표 추출 수단에 의해 추출된 각 특징 부분의 3차원 좌표 중, 소정의 높이 조건을 만족하는 3차원 좌표의 상대 위치 관계를 이용하여 도로상의 차량을 판별하는 차량 판별 수단과, 상기 차량 판별 수단에 의한 판별 결과를 순차 추적하여 도로상에서의 차량의 흐름을 관측하는 관측 수단을 구비하고 있다.
청구항의 발명은 소정 형상의 지역내에, 주차하는 차량을 관측하기 위한 장치에 관한 것이다.
청구항 15의 발명에 관한 주차장 관측 장치는 상기 지역의 위쪽에 지역을 향하여 구비된 2대 이상의 촬상 장치와, 각 촬상 장치에 의해 동시에 도입된 각 화상으로부터 각각 특징 부분을 추출하는 특징 추출 수단과, 상기 특징 추출 수단에 의해 추출된 각 화상의 특징 부분에 대해서 화상간에서의 대응화를 하는 대응화 수단과, 상기 대응화 수단에 의해 대응화된 각 특징 부분에 대해서 3차원 계측을 하여 각 특징 부분의 3차원 좌표를 추출하는 좌표 추출 수단과, 상기 지역의 차량의 설정면에 대하여 수직으로 위치하는 가상 수직 평면을 설정하고, 이 가상 수직 평면상에 상기 좌표 추출 수단에 의해 추출된 각 특징 부분의 3차원 좌표를 투영하는 투영 수단과, 복수 종류의 차량에 대해서, 각 차량의 측면의 형상 모델을 기억하는 기억 수단과, 상기 투영 수단에 의한 투영 결과를 상기 기억 수단에 기억된 각 모델과 비교함으로써 상기 지역내의 차량을 판별하는 판별 수단을 구비하고 있다.
[작용]
청구항 1 및 7의 발명에서는, 2대 이상의 촬상 장치에 의해 관측 위치를 촬상하여 얻어진 화상으로부터 각 화상의 특징 부분이 추출되고, 다시 이들 특징 부분의 화상간의 대응 관계로부터 각 특징 부분의 3차원 좌표가 추출된 후, 이 추출된 3차원 좌표를 대상물과 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면상에 투영함으로써, 대상물의 형상이 추출된다.
따라서, 이 추출 결과를 대상물의 모델 데이터와 비교함으로써, 관측 위치에서의 대상물의 종별, 위치, 개수등이 파악되게 된다.
청구항 4 및 10의 발명에서는, 상기와 같은 방식으로 2대 이상의 촬상장치에 의한 화상으로부터 각각 특징 부분이 추출되면, 다시 각 특징 부분에 대하여, 대표적인 특징을 나타내는 점(예를 들면 특징 부분의 중심점)이 특정된다. 이 특정된 각 대표점에 대해서, 상기와 마찬가지로, 3차원 좌표가 추출되고, 이 추출 결과를 가상 수직 평면상에 투영하여 얻어지는 결과에 의해, 대상물의 판별이 이루어진다.
청구항 2, 5, 8, 11의 각 발명에서는, 추출된 3차원 좌표를, 대상물이 접하는 평면상의 위치 관계에 근거하여 그룹 분류한 후, 각 그룹별로 상기 가상 수직 평면에 투영 처리를 하도록 했기 때문에, 복수의 대상물이 존재하는 경우에도 그 위치 관계에 따라 개별로 판별할 수가 있다.
청구항 3, 6, 9, 12의 각 발명에서는, 가상 수직 평면상의 각 투영점별로, 그 투영점을 포함하는 소정의 범위내의 각 점에 대하여, 투영점과의 거리에 근거하여 중점을 두어 상기 2차원 데이터와 비교함으로써, 3차원 계측시에 생기 오차가 제거된다.
청구항 13의 발명에서는, 도로의 위쪽에 2대 이상의 촬상 장치를 구비하고 관측 위치를 촬상하여 얻어지는 화상을 소정의 시간별로 도입하고, 상기와 같은 방법으로 각 화상 중의 특징 부분의 3차원 좌표를 추출한 후, 이 추출 결과를 도로에 따른 가상 수직 평면상에 투영한다. 이에 따라, 가상 수직 평면에는 도로상에 위치하는 물체의 측면 형상이 투영되게 된다. 한편, 기억 수단에는 복수종의 차량의 측면 형상 모델이 기억되고 있으므로, 이들 모델과 상기 투영 결과를 비교함으로써 도로상의 차량의 종별, 대수 및 위치를 판별할 수가 있다.
청구항 14의 발명에서는, 도로의 위쪽에 구비된 2대 이상의 촬상 장치를 소정 형상의 지역을 향하여 구비하고 동시에 촬상하여 얻어진 각 화상에 대해 상기와 같은 방법으로 특징 부분의 3차원 좌표를 추출한다. 그 후, 청구항 15의 발명에서는, 추출된 각 3차원 좌표를 지역의 차량의 설치면에 수직으로 위치하는 가상 수직 평면상에 투영하고, 그 투영 결과와 여러 가지 차량의 형상 모델을 비교하도록 했기 때문에, 지역내에 주차하는 차량의 차종까지 판별하는 것이 가능해 진다.
[발명의 실시 형태]
이하에 본 발명에 관한 각종의 형태로써, 다섯가지의 실시예를 나타낸다.
각 실시예 모두, 2대의 카메라(3a, 3b)를 관측 대상이 되는 도로 또는 주차 지역을 향하여 동시에 촬상을 하는 것으로, 각 카메라의 입력 화상으로부터 엣지 구성점 등의 특징 부분을 추출한 후, 이들 특징 부분에 대해서, 각 화상간에서의 대응화가 이루어지고 특징 부분의 3차원 좌표가 산출된다. 다시 이 3차원 좌표를 가상 수직 평면상에 투영, 또는 그 소정의 높이 데이터를 갖는 좌표점을 추출하고, 그 처리 결과를 이용하여 대상물(이 경우 차량)의 관측 처리가 실시된다.
[실시예]
제1도는, 본 발명의 한 실시예에 관한 교통 흐름 계측 장치의 설치예를 나타낸다.
이 교통 흐름 계측 장치는, 도로(1)의 옆에 F자 형상의 지주(2)를 구비하고, 이 지주(2)에 2대의 카메라(3a, 3b)와 제어 처리 장치(4)를 설치하여 구성되는 것으로, 각 카메라(3a, 3b)에 의해 도로(1)를 위쪽에서 촬상하여 얻어진 화상을 제어 처리 장치(4)에서 처리함으로써, 도로(1)의 각 차도별 통과 차량의 대수나, 차종의 판별, 특정 차량의 통과 속도의 계측, 위법 주차중인 차량의 검출등이 이루어진다.
상기 지주(2)는 그 가로대 부분을 도로상에 돌출시켜서 구비되어 있고, 각 카메라(3a, 3b)는, 각 가로대 간에 고정 구비된 수직봉(6)에 세로로 늘어세워 설치되어 있다. 또, 제어 처리부(4)는, 보수, 점검 등의 필요로 인해 지주(2)의 기저부 부근에 부착된다.
제2도는, 상기 카메라(3a, 3b)의 설치예를 나타낸다.
상기 카메라(3a, 3b)는 초점 거리를 갖게 하는 렌즈를 갖는 것으로, 상기 수직봉(6)에 대해서 소정 각도 경사시켜서 부착된 장척의 지지판(7, 7)에 의해 각 측면이 지지되고 있다. 이 때 각 카메라(3a, 3b)의 광축은 지지판(7)의 길이 방향으로 직교하는 방향, 즉 도로의 방향을 향하여 평행 배치됨과 함께, 각 촬상면은, 동일 평면상에 위치하도록, 각 카메라(3a, 3b)의 설치 위치가 조정된다.
또한, 상기 지지판(7)의 카메라(3a)의 지지 위치와 카메라(3b)의 지지 위치 사이에는 단착의 보강판(8)이 연결되어 있고, 이 보강판(8)의 타단부를 수직봉(6)에 고정시킴으로써, 지지판(7)의 기울기가 유지된다.
제3도는, 상기 카메라(3a, 3b)의 다른 실시예를 나타낸다.
본 실시예에 있어서, 각 카메라(3a, 3b)는 상기 수직봉(6)과 직교시켜서 설치된 2장의 지지판(7a, 7b)에 의해 수평 방향으로 유지됨으로써, 카메라(3a, 3b)의 위치가 안정화되어 있다. 이 경우도 각 카메라(3a, 3b)는 각각의 광축이 도로의 방향을 향하여 서로 수평이 되도록 그 위치의 조정이 이루어진다.
또 이예의 경우, 위쪽의 카메라(3a)의 촬상면은 아래쪽의 카메라(3b)의 촬상면 보다도 후퇴한 위치에 구비되므로, 후술하는 화상 처리 전에, 카메라(3a)의 화상을 그 후퇴 거리에 따라서 확대 처리할 필요가 있다.
또, 카메라(3a, 3b)의 설치예는 상기에 한하지 않고, 제4도에 나타내는 바와 같이, 각 카메라(3a, 3b)가 상자형 유니트(25)내에 수납된 일체화형의 장치를 작성하고, 이것을 지지판(7)이나 보강판(8)에 의해 지지되도록 해도 좋다.
또 본 실시예에서는, 2대의 카메라에 의해 도로를 촬상하고 있는데, 이에 한하지 않고, 3대 이상의 카메라를 이용해도 좋다. 또 카메라를 설치하는 지주도, 상기의 F자형 지주(2)에 한하지 않고, 기존의 전신주나 조명 기둥을 개량하여 이용해도 좋다.
제5도는, 상기의 교통 흐름 계측 장치의 전기적 구성을 나타낸다.
상기 제어 처리부(4)는, A/D 변환부(10a, 10b), 화상 메모리(11a, 11b), 엣지 화상 메모리(12a, 12b), 엣지 추출부(13), 대응화 처리부(14), 3차원 좌표 산출부(15), 카메라 파라메터 기억부(16), 투영 처리부(17), 차선 데이터 기억부(18), 모델 데이터 기억부(19), 비교 판정부(20), 처리 결과 기억부(21), 추적 처리부(22) 등을 그 구성으로써 포함하고 있다.
상기 A/D 변환부(10a, 10b)는, 각각 상기 카메라(3a, 3b)로부터의 아날로그 양의 비디오 신호를 농담 화상 신호로 변환하기 위한 것으로, 변환후의 화상 신호는, 각각 화상 메모리(11a, 11b)로 격납된다.
또한 이하의 설명에서는, 화상 메모리(11a)에 격납된 카메라(3a)의 화상을 「제1화상」, 화상 메모리(11b)에 격납된 카메라(3b)의 화상을 「제2화상」이라 부르기로 한다.
제6도의 (a)(b)는, 각각 제1화상, 제2화상의 구체예로써, 각각 도로상의 차선, 차량, 차량 그림자 등의 화상을 포함하는 화상 데이터가 생성되어 있다.
상기 엣지 추출부(13)는, 각 화상 메모리(11a, 11b)가 각각 제1화상, 제2화상을 꺼내고 엣지 화상을 생성하기 위한 것으로, 각 화상별로 제7도에 나타내는 바와 같은 라플라시안 필터를 주사하여 제로 크로싱점을 추출한다. 또한, 엣지 추출부(13)는, 상기 제로 크로싱점의 좌표를 산출하여 이 좌표 위치의 화상을 흑 화상, 다른 화상을 백 화상로 한 2가의 화상을 생성한다.
또한, 상기의 엣지 추출 처리는 라플라시안 필터에 한하지 않고, 소우벨 필터등의 엣지 추출 필터를 이용해도 좋다.
제1화상에 대해서 생성된 엣지 화상(이하「제1 엣지 화상」이라 한다)은 제1의 엣지 화상 메모리(12a)에, 제2 화상에 대해서 생성된 엣지 화상(이하「제2 엣지 화상」이라 한다)은 제2의 엣지 화상 메모리(12b)에 각각 격납된다.
제8도 (a)(b)는, 상기 제6도(a)(b)에 나타낸 제1, 2화상에 대해서 각각 상기의 엣지 추출 처리를 한 결과를 나타내는 것으로,각각 차량이나, 차량 그림자의 윤곽에 상당하는 엣지 성분이 추출되어 있다.
상기의 엣지 화상의 생성 및 엣지 화상 메모리(12a, 12b)에 대한 격납처리가 종료하면, 다음의 대응화 처리부(14)에 의해 각 엣지 화상내의 엣지 구성점을 대응화하는 처리가 이루어지고, 이어서 3차원 좌표 산출부(15)에 의해 대응화된 각 엣지 구성점에 대한 3차원 좌표의 산출 처리가 이루어진다.
제9도(a) 내지 (d)는, 상기 대응화 처리부(14)의 대응화 처리의 구체예를 나타내는 것으로, 이하, 각 도면을 이용하여 대응화 처리부(14)의 처리의 상세를 설명하겠다.
우선, 대응화 처리부(14)는, 상기 엣지 화상 메모리(12a)의 제1 엣지 화상 E1(제9도 (a)에 나타낸다)으로부터 소정의 엣지 구성점(p)을 추출한다. 대응화 처리부(14)는, 상기 엣지 화상 메모리(12b)의 제2 엣지 화상 E2(제9도 (b)에 나타낸다)에 착안하고, 이 엣지 화상 E2 내에서 상기 엣지 구성점(p)의 에피폴라 라인 L상에 위치하는 엣지 구성점(q1, q2, q3, q4, q5)을, 엣지 구성점(p)의 대응 후보점으로써 추출한다.
또한 이 경우, 카메라(3a, 3b)는, 상기한 바와 같이 세로로 늘어서 구비되어 있으므로, 에피폴라 라인 L은 y축으로 수직이 되고, 대응 후보점을 용이하게 추출할 수가 있다.
다음으로, 대응화 처리부(14)는, 제1의 화상 메모리(11a)내의 제1화상 G1(제9도 (c)에 나타낸다)상에 상기 엣지 구성점(p)과 같은 좌표(x, yU)상에 위치하는 점(0)을 중심으로 하는 소정의 크기의 윈도우(Wu)를 설정한다. 또, 대응화 처리부(14)는, 제2의 화상 메모리(11b)내의 제2화상 G2(제9도 (d)에 나타낸다)상에서도, 상기 대응 후보점(q1∼q3)과 같은 좌표 (x, y1), (x, y2), (x, y3) (x, y4) (x, y5)상에 각각 위치하는 점(Q1∼Q5)을 추출하고, 이들 점(Q1∼Q5)을 중심으로 하며 상기 윈도우(Wu)와 같은 크기를 갖는 윈도우(W1∼W5)를 화상 G2 상에 설정한다.
각 윈도우가 설정되면, 대응화 처리부(14)는, 제2화상 상의 각 윈도우(W1∼W5)에 대해서 각각 다음의 (1)식을 실행하고, 각 윈도우와 제1 화상상의 윈도우(Wu)와의 상위도 C를 산출한다.
또한, 다음 식에서 gU(x,y)는 윈도우(Wu)내의 소정의 화상의 휘도값을, 또 gL(x,y)는 윈도우 WL(L=1∼5)내의 소정의 화상의 휘도치를, 또, i, j는 각각의 크기에 따라 변동하는 변수이다.
대응화 처리부(14)는, 각 윈도우(W1∼W5)에 대해서 구해진 Wu와의 상위도 C를 비교하고, 상위도가 가장 작아지는 윈도우를 윈도우 Wu에 대응하는 것으로써 판별한다. 그리고, 그 윈도우의 중심점 QL과 같은 좌표(x,yL)상에 있는 제2 엣지 화상상의 점(qL)을 상기 제1 엣지 화상의 엣지 구성점(p)의 대응점으로써 결정한다.
제10도는, 상기 각 윈도우(W1∼W5)에 대해서 윈도우 WU와의 상위도를 산출한 결과를 나타낸다.
이 비교예에서는, 제2의 윈도우(W2)에서의 상위도가 가장 작아져 있고, 따라서 상기 엣지 구성점(p)에 대한 제2 엣지 화상 중에서의 대응점을 q2라고 간주된다.
또한, 상기의 상위점 대신에, 각 윈도우(W1∼W5)별로 윈도우 Wu와의 사이의 정규화 상호 연산을 하고, 가장 높은 상관치가 얻어진 윈도우를 윈도우 Wu에 대응하는 것과 판별하도록 해도 좋다.
상기의 대응화 처리가, 양 엣지 화상내의 모든 엣지 구성점에 대해서 이루어지면, 3차원 좌표 산출부(15)는, 각 엣지 화상 E1, E2 간의 대응하는 엣지 구성점(p, q)의 좌표 (x,yu) , (x,yL)과 카메라 파라메타 기억부(16)에 기억된 카메라(3a, 3b)의 파라메타를 이용하여, 삼각 계측의 원리를 기초로, 각 엣지 구성점에 대응하는 3차원 좌표를 산출한다.
제11도는, 상기의 삼각 계측의 원리를 나타낸다.
도면 중 p는, 차도상의 대상물(23)(이 경우 차량)상의 소정의 특징점을 나타내는 것으로, 상기 제1 화상 G1, 제2 화상 G2상에는 이 특정점 p의 물점 상(Pu, PL)이 나타나 있다.
또한 도면중 U는 카메라(3a)의 초점을, L은 카메라(3b)의 초점을, 각각 나타낸다.
상기의 대응하는 물점 상(Pu, PL)에 대응하는 3차원 좌표(X, Y, Z)는, 특징점 P의 공간 위치에 상당한다. 따라서, 이 대상물(23)의 모든 특징점에 대해서 상기의 방법을 실행하면 대상물(23)의 입체 형상을 파악할 수가 있다.
이 원리를 기초로, 3차원 좌표 산출부(15)는, 다음의 (2)∼(4)식을 실행하여 각 엣지 구성점에 대응하는 3차원 좌표를 산출한다.
단, 상기의 각 식에서, B는 각 카메라의 기선 길이를, F는 각 카메라의 렌즈의 초점 거리를, H는 제2의 카메라(3b)의 높이의 데이터를, θ는 카메라의 부각을 각각 나타낸다.
모든 엣지 구성점에 대응하는 3차원 좌표가 산출되면, 투영 처리부(7)는 도로의 길이 방향을 따라 가상 수직 평면을 설정하고, 상기 3차원 좌표 산출부에 의해 산출된 3차원 좌표를 이 가상 수직 평면상에 투영한다.
제12도는, 투영 처리의 일례를 나타낸다. 도면 중, X, Y, Z는, 각 3차원 좌표점을 기정하기 위한 공간 좌표축으로써, 상기 가상 수직 평면(도면중 R로 나타낸다)은 도로에 따르는 위치에 있어서 Z축으로 평행하는 수평축H와, Y축에 평행하는 수직축 V에 의해 특정된다.
상기 가상 수직 평면 R에는, 각 3차원 좌표점의 높이 데이터(y좌표)와, 촬상된 화상의 정면에서 본 경우의 안 길이 데이커(z 좌표)를 반영한 점이 투영된다. 따라서, 이 가상 수직 평면 R을 정면에서 보면, 제13도에 나나내는 바와 같이, 상기 각 엣지 성분을 도로의 옆에서 본 상태가 추출되고 있다.
또한, 상기 차선 데이터 기억부(18)에는, 관측 위치에서 본 도로상의 각 차선의 위치 관계를 나타내는 데이터(즉 x 좌표 및 z 좌표)가 기억되고 있고, 이 기억 데이터를 참조하여 투영 처리를 하도록 하면, 각 3차원 좌표를 차선별로 투영할 수가 있다. 또 이 차선 데이터 기억부(18) 대신에, 3차원 좌표 산출부(15)와 투영 처리부(17) 사이에 후술하는 분류 처리부(32)를 구비하고 각 3차원 좌표를 도로폭 방향의 위치 관계를 근거로 그룹화한 후, 각 그룹별로 투영 처리를 하도록 구성해도 좋다.
상기 모델 데이터 기억부(19)에는, 제14도(a) 내지 (c)에 나타내는 바와 같이, 보통 자동차, 트럭, 버스 등 복수 종류의 차량에 대해서, 각각 측면 형상의 모델을 나타내는 2차원 데이터 MD1, MD2, MD3…이 기억되고 있다. 비교 판정부는 상기 가상 수직 평면 R에 대하여, 이들의 측면 형상 모델(이하 단순히 「모델」이라 한다.)을 순차 조사시킴으로써, 가상 수직 평면 R상으로 나타내어지는 투영점이 무엇을 나타내고 있는지를 판별한다.
또한, 각 차량의 모델은, 반드시 측면 형상 전체를 나타내는 것에 한하지 않고, 제15도 (a) 내지 (c)에 나타낸 바와 같이, 상기 각 모델의 일부의 형상을 나타내는 2차원 데이터(도면 중 실선으로 나타내는 부분)를 모델로 해도 좋다.
제16도는, 상기 제13도에 나타낸 투영 결과에 대하여, 제14도 (a)의 모델 MD1을 이용하여 비교 처리를 한 예를 나타낸다.
비교 판정부(20)는, 가상 수직 평면 R의 원점(0)을 초기 위치로 하여, 상기 모델 MD1을 순차 H축 방향으로 주사하고, 각 주사 위치에서 모델 MD1에 포함되는 투영점의 수(n)를 계수하고, 이 투영점 수(n)가 소정의 역치 TH 이상이었을 때, 다음의 (5)식을 실행하여, 이 모델 MD1과 서로 겹쳐지는 투영부분의 평가치(Ehi)를 산출한다.
또한 (5)식에 있어서, hk, vk는 가상 수직 평면 R상의 점을 좌표로 나타내고, hi는 모델의 좌단점의 H 좌표, LN은 모델의 H축 방향의 길이, V(h)는 좌표 h(0hLN)에서의 모델의 높이를 나타내는 함수를 각각 나타낸다. 또 S 는 후술하는 (6)식에 의해 나타내어진다.
한편, 모델과 겹치는 투영점의 수 n이 상기 역치 이하일 경우는 비교 판정부(20)는, 그 주사 위치에서의 평가치에 최대치 MAX를 설정한다.
비교 판정부(20)는, 모든 모델에 의해 가상 수식 평면(R)상을 주사하여 각 주사 위치에서의 평가치를 산출하고, 얻어진 결과 중에서 극소의 평가치가 얻어진 모델의 차종을 투영 분류의 차종으로 판정하고, 다시 그 극소의 평가치가 얻어진 시점에서의 좌표(h0)(제16도에 나타낸다.)를 그 차량의 선두 위치로써 결정한다.
상기의 판정 결과는 처리 결과 기억부(21)로 격납된다. 이하 소정 시간마다 같은 처리가 실행되고, 그 처리 결과는, 순차, 처리 결과 기억부(21)에 축적된다.
처리 결과 기억부(21)는, 제17도에 나타낸 바와 같이, 각 차선별로 추출된 차량의 선두 위치(상기 제16도의 좌표h0)를 기억하기 위한 테이블 TB(이하「처리 결과 기억 테이블 TB」라 한다)를 갖는 것으로, 각각의 처리시각(t1, t2, t3…)별로 추출된 차량의 선두 위치를 나타내는 수치가 순차 기억된다.
추적 처리부(22)는, 상기의 처리 결과 기억 테이블 TB로부터, 각 처리 시각별로 검출된 차량의 위치를 추출하고, 각각 1단계 전의 처리 시각에서의 어느 검출치와 대응화함으로써, 차량의 시간적인 위치 변화를 판별한다.
지금 어느 처리 시각(ti)에 있어서 J대의 차량이 검출된 것으로 하고, 이 중 j번째(1≤j≤J)로 검출된 차량의 선두 위치를 hi(ti)로 했을 때, 추적 처리부(22)는, 다음의 처리 시각 ti+1의 시점에서의 각 검출 결과 중, 상기hi(ti)와의 차이가 소정의 역치 이하가 되는 것 중에서 다시 hi(ti)와의 거리가 최소가 되는 검출 결과를 추출하고, 이것을 처리 시각 ti+1에서의 j번째의 차량의 선두 위치 hi(ti+1)로 인식한다.
또한, 이 대응화 처리는, 상기의 조건을 만족하는 데이터가 소정의 검출 라인 Det(제18도 (a)(b)에 나타낸다)를 넘는 시점에서 종료한다. 또 처리 시각 ti+1에서, 상기의 조건을 만족하는 데이터가 존재하지 않았을 때에는, 추적 처리부(21)는 이후의 대응화 처리를 중지한다.
제18도 (a)(b)는, 상기 대응화 처리를 근거로 판별된 각 차량의 위치 변화를 나타낸다.
식 중, X표는 각 처리 시간 마다의 검출 결과를 플롯한 것으로, 각 파선으로 나타내는 궤적은, 대응화된 검출 결과, 즉 개개의 차량의 위치 변화를 나타내고 있다.
검출 라인 Det는, 도로상의 소정의 수평 라인에 대응하는 것으로, 추적 처리부(21)는, 각 궤적이 이 검출 라인Det를 초월하는 시점(제18도(a)중, t1, t2, t3으로 나타낸다)에서, 통과 차량의 계수 처리를 실행함과 함께, 이 통과 직후의 검출값 및 그 직전의 수회분의 검출 결과를 샘플링하여, 이러한 검출 결과를 이용하여 차량의 통과 속도를 산출한다.
지금 u번째의 궤적(u=1, 2, 3…)에 대해서. N개의 검출치를 샘플링하고, 이 중 n번째(1≤n≤N)에 샘플링한 검출치의 좌표를 (tun, hun)으로 하면, 이 궤적에 의해 나타내어지는 차량의 통과 속도 Vu는 다음의 (7)식으로 나타내어진다.
또한, 각 차량이 원활하게 진행되고 있는 상태에서는, 제18도 (a)에 나타내는 바와 같은 궤적이 얻어지는데, 신호 대기나 체증 등에 걸려 있는 경우에는 제18도 (b)에 나타낸 바와 같이, 각 처리 시간에서의 검출치가 거의 변화하지 않는 결과를 얻을 수 있다.
상기 방법에 의하며, 차량의 그림자 등의 평면적인 데이터를 차량으로서 오검출할 우려가 없어지고, 차량을 정확히 판별한 고정밀도의 계측 처리를 할 수가 있다.
또, 이동중인 차량의 속도 외에, 차도상에 정차하고 있는 차량이나 물체도 검출할 수가 있기 때문에, 체증 상황의 파악이나. 위법 주차, 장해물 등의 검출을 정확히 할 수가 있다.
제19도는, 교통 흐름 계측 장치의 다른 구성예를 나타낸다.
이 실시예도, 상기와 마찬가지로 2대의 카메라(3a, 3b)에 의해 동시에 도입된 화상으로부터 도로상의 각 차선을 주행하는 차량을 판별하고, 그 판별 결과의 시간적 추이로부터 교통 흐름의 계측을 하는 것인데, 여기에서는 상기 제5도의 구성에 부가하여, 제어 처리 장치(4)의 구성에, 특징 선택부(30), 대표점 추출부(31), 분류 처리부(32), 좌표 선택부(33), 중점 부여 범위 설정부(34) 등을 구성으로 하여 부가함으로써, 처리 시간을 삭감하며, 고정밀도의 계측 처리를 하도록 하고 있다.
특징 선택부(30)는, 엣지 화상 메모리(12a, 12b)에 격납된 각 엣지 화상으로부터 처리 대상 후보가 되는 특징 부분을 선택하기 위한 것으로, 여기에서는 각 엣지 화상별로, 엣지 구성점이 소정수 이상 연결하고 있는 부분을 특징 부분으로써 추출하도록 하고 있다.
대표점 추출부(30)는, 이들 선택된 특징 부분에 대해, 그 특징 부분을 대표하는 1점으로 하여, 각 특징 부분의 중심점에 상당하는 엣지 구성점을 추출한다.
제20도 (a)(b)는, 상기 제8도 (a)(b)에 나타낸 엣지 화상에 대하여, 특징 선택 처리를 한 예를 나타내고, 다시 제21도는, 상기 제20도(b)중의 파선으로 둘러싸여진 영역내의 화상에 있어서 대표점(도면중, X표로 나타낸다)을 추출한 결과를 나타낸다.
이하의 처리에서는, 이들 대표점만이 처리 대상이 되므로, 처리 속도를 크게 향상시킬 수가 있다.
대응화 처리부(14)는, 추출된 각 대표점에 대하여, 각 엣지 화상간에서의 대응화 처리를 실행하고, 3차원 좌표 산출부(15)는, 이 대응화 결과를 이용하여 각 대표점에 대해 3차원 좌표를 산출한다. 분류 처리부(32)는, 산출된 각 3차원 좌표에 대하여, 각각의 x 좌표를 이용한 클래스타링 처리를 실행하고, 그 처리 결과에 따라, 각 대표점을 그룹 분류한다.
제22도는, 각 대표점에 대한 3차원 좌표의 산출 결과의 일례를 나타내는 것으로, 차선 L1과 L2의 경계 근방의 공간내, 및 제1의 차선 L1에 관한 XZ 평면상에, 각각 복수개의 대표점이 추출되어 있다.
제23도는, 상기 제22도의 각 대표점을 그룹 분류한 결과를 나타내는 것으로, 차선 L1과 L2의 경계 근방에 위치하는 각 대표점은 제1의 그룹 G1으로, 또 XZ 평면상에 위치하는 각 대표점은 제2의 그룹 G2로, 각각 분류된다.
이 그룹 분류 처리가 종료하면, 투영 처리부(17)는, 각 그룹에 포함되는 대표점의 3차원 좌표에 대하여, 그룹별로 투영 처리를 실행한다.
좌표 선택부(33)는, 각 그룹의 투영 처리 결과로부터 최종적인 처리 대상이 되는 대표점을 선택한다. 이 실시예에서는, 차량의 범퍼 위치에 상당하는 y좌표를 역치로 하고 있고, 좌표 선택부(33)는 상기 가상 수직 평면 R상에 투영된 각 대표점 중에서 이 역치를 상회하는 높이 데이터를 갖는 점을 차량의 구성점 후보로서 선택한다.
제24도 (a)(b)는, 각각 상기 G1, G2에 대해서, 상기의 좌표 선택 처리를 한 후의 투영 결과를 나타내는 것으로, 그룹 G2의 각 투영점은 노이즈로써 제거되어 있다.
상기의 처리에 의해, 차량의 그림자 등, 도로 평면상에 위치하는 대상물에 관한 투영점이 제거되는 것으로, 남겨진 투영점에는 이하에 언급하는 바와 같이 중점 부여 범위 설정부(34)에 의해 중점 부여 범위의 설정 처리가 이루어지고, 이하, 비교 처리부(20)에 의해 이 설정 범위에 포함되는 각 점과 모델 데이터 기억부(19)에 기억된 각 모델의 비교 처리가 순차 실행된다.
다음으로, 제25도 내지 제29도를 이용하여, 상기 중점 부여 범위의 설정 처리와 비교 처리의 상세를 설명하겠다.
중점 부여 범위 설정부(34)는 각 투영점에 대해 제25도에 나타내는 바와 같이 상기 3차원 좌표의 계측시에 생긴 오차의 폭에 상당하는 범위로써, 이 투영점을 중심 카메라 파라메타에 근거하는 방향으로 소정 길이 만큼 확장한 선 만큼 WL을 설정한다. 지금 i번째의 투영점 Wi의 HV 평면상에서의 좌표를 (hi, vi)로 하고, 카메라(3a, 3b)에 의해 얻어지는 각 입력 화상상에서 상기 투영점 Wi에 대응하는 점의 y좌표를 각각 yui, yLi라 하면, 투영점 Wi를 중심적으로 하는 확장선분 WL의 각단점 Wi +, Wi -의 좌표(hi+, vi+), (hi-, vi-)는, 각각 다음의 (8) 내지 (11)식에 의해 구할 수 있다.
또한, 이하의 식에 있어서, B, F, H, θ는, 상기 (2) 내지 (4)식에서 이용한 것과 같은 카메라 파라메타를 나타낸다. 또 각 식중, e는 입력 화상상의 1화상에 의해 나타내어지는 현실의 길이를 나타낸다.
비교판정부(20)는, 모델 데이터 기억부(19)의 각 모델 M을 순차 판독하고, 제26도에 나타내는 바와 같이, 모델 M의 폭 r의 범위내에 2점 이상의 투영점이 포함되는 범위 SR을 모델의 주사 범위로써 설정한다.
그 후, 비교 판정부(20)는, 제27도 (a)(b)에 나타내는 바와 같이, 상기 주사 범위 R 내에서의 모델 M의 각 주사 위치 hi마다, 상기 확장선분 WL과 M과의 교점 Zi의 좌표를 구함과 함께, 이 교점 Zi와 투영점 Wi의 거리 Di및 이 교점 Zi측에 위치하는 끝점 Wi +(또는 Wi -)와 투영점 Wi까지의 거리 Ei를 산출한다. 다시 비교 판정부(20)는 상기 투영점 Wi에 대해서 산출된 Di, Ei의 비율을 다음의 (12)식에 적용시킴으로써, 이 교점 Zi의 위치에 실제로 모델 M이 존재하는 확률 spi(제28도에 나타낸다)를, 투영점 Wi의 평가치로써 산출한 후, 이들 평가치 spi의 합계 Spi를, 상기 주사 위치 hi에서의 투영 데이터의 모델과의 적합도로써 산출한다.
또한 상기 식에서, ε는 자연 정수의 최저를 의미하며, σ는 2 또는 3의 값을 갖는 것으로 한다.
상기 방법에 의해, 모델 M과 각 확장선분 WL과의 사이에서, 각 교점 Zi와 투영점 Wi의 거리에 따른 중점을 부여한 비교가 이루어지게 되어 3차원 좌표 산출시의 오차를 제거할 수가 있다.
또, 이 중점을 부여한 비교에 관한 구성은, 제1의 실시예의 장치에도 적용하는 것이 가능하다.
제29도는, 상기 주사 범위 SR에서의 비교 처리의 결과를 나타내는 것으로, 비교 판정부(20)는 상기 평가치 SPi가 최대치가 되는 주사 위치 h0에 모델 M에 상당하는 차종의 선두 부분이 위치하는 것으로 판단한다.
이 판별 결과는, 처리 결과 기억부(21)에 격납되고, 이하 제1의 실시예와 마찬가지로, 추적 처리부(22)에 의해, 각 차량의 시간적인 위치 변화나 속도 계측 등의 처리가 실행된다.
상기 두 가지의 실시예는 모두 각 카메라((3a, 3b)로부터 엣지 구성점을 추출하고, 그 추출 결과를 근거로, 화상의 특징 부분을 도로에 따른 가상 수직 평면에 투영하여 차량의 판별을 하도록 하고 있는데, 야간등, 차량의 특징인 천정이나 프론트 글래스 등의 화상 부분을 추출하기 어려운 상태하에서는, 각 입력 화상을 2 수치화 처리하여 차량의 라이트의 화상을 특징 부분으로써 추출하고, 그 추출 결과를 이용하여 교차 흐름을 계측하는 방법이 유효해 진다.
제30도는, 야간시의 처리에 대응하는 교통 흐름 계측 장치의 구성예를 나타낸 것으로, 제어 처리부(4)는 상기 제1의 실시예의 엣지 추출부(13), 엣지 화상 메모리(12a, 12b)대신에 2 수치화 처리부(35), 2가 화상 메모리(36a, 36b)를 구성으로써 포함하고 있다.
제31도 (a)(b) 및 제32도 (a)(b)는, 각각 카메라(3a, 3b)에 의해 얻어진 입력 화상의 예를 나타낸다. 또한 어떠한 예도, (a)을 첨부한 도면은 제1의 화상 메모리(11a)내에 격납되는 제1 입력 화상을 나타내며, (b)를 첨부한 도면은 제2의 화상 메모리(11b)에 격납되는 제2 입력 화상을 나타낸다.
2 수치화 처리부(35)는, 각 화상 메모리(11a, 11b)내의 입력 화상에 대하여, 각각 휘도값이 소정의 역치를 넘는 화상을 흑 화상로 변환하는 처리를 하고, 그 결과 얻어진 2가 화상을, 2가 화상 메모리(36a, 36b)에 격납한다.
제33도 (a)(b)는 상기 제31도 (a)(b)의 각 입력 화상을 2 수치화 처리하여 얻어진 화상을, 제34도 (a)(b)는 상기 제32도 (a)(b)의 각 입력 화상을 2 수치화 처리하여 얻어진 화상을 각각 타나내는 것으로, 어떠한 2 수치 화상도 차량의 라이트의 부분이 흑 화상로써 추출되어 있다.
대응화 처리부(14)는, 각 2가 화상중의 흑 화상에 대하여, 상기와 마찬가지로, 화상간의 대응화 처리를 하는 것으로, 3차원 좌표 산출부(15)는 그 대응화된 각 화상에 대해 3차원 좌표의 산출 처리를 실행한다. 그 결과, 각 입력 화상상에 포함되는 라이트 부분의 위치가 검출되고, 비교 판정부(20)로 출력된다.
모델 데이터 기록부(19)에는 보통 차량, 자전거, 대형 차량 등의 차량별 라이트의 수나 설치 위치에 관한 데이터가 기억되어 있고, 비교 판정부(20)는, 이 기억 데이터와 상기 3차원 좌표 산출부(15)에 의한 산출 결과를 비교함으로써, 어떤 위치에 어느 종류의 차량이 위치하고 있는지를 판별한다.
제35도는 상기 제33도 (a)(b)의 2가 화상을 이용한 3차원 좌표의 산출 결과를, 제36도는 상기 제33도 (a)(b)의 2가 화상을 이용한 3차원 좌표의 산출 결과를 각각 나타낸다.
식 중 표는 추출된 각 특징 부분의 중심점에 상당하는 점(이하「특징점」이라 한다)을 나타낸다. 비교 판정부(20)는 표준적인 범퍼의 높이 위치에 상당하는 y좌표로부터 소정의 높이 위치까지를 확인 범위로 하고, y좌표치가 이 인식 범위내에 포함되는 특징점을 차량의 라이트를 나타내는 특징점 후보로서 추출한다. 또한 비교 판정부(20)는 추출된 각 특징점의 위치 관계를 상기 모델 데이터 기억부(19)내의 기억 데이터와 비교함으로써 도로상의 차량의 차종이나 위치를 판별한다.
또한 각 도면 중, 점선 부분은 차선 데이터 기억부 (18)내의 위치 정보를 근거로 차선의 경계선을 나타내는 것으로, 이 위치 정보에 의해 판별된 차종이 어느 차선에 위치하고 있는지가 인식된다.
예를 들면, 범퍼의 가장 위쪽 위치에 상당하는 위치에 있으며 보통 주차장의 라이트의 간격에 상당하는 간격을 두고 도로의 폭 방향으로 평행으로 위치하는 특징점의 조(예를 들면, 제35도중의 특징점 o1, o2, 및 o3,o4의 각조)가 존재하는 경우, 비교 판정부(20)는 이들 특징점의 위치를 보통 승차용의 선두 위치로써 인식한다. 또, 범퍼의 가장 위쪽 위치에 상당하는 높이 데이터를 갖는 단독의 특징점(예를 들면 제35도 중의 o5)이 있으면, 비교 판정부(20)는 이 특징점의 위치에 자전거가 위치한다고 판별한다. 또 라이트에 상당하는 특징점의 조의 간격이 보통 승용차의 라이트의 간격보다 크며 이 특징점의 조의 근방에 다수의 특징점이 위치하는 경우, (제36도 중의 각 특징점)에는, 비교 판정부(20)는 이 특징점 군이 대형 차량을 나타내는 것이라고 판단하고, 다시 각 특징점의 위치 관계로부터 그 차종(트럭, 밴, 버스 등)을 판별한다.
한편, 강우시 등에 도로상에 라이트의 그림자가 옮겨가거나 도로 옆의 야간등이나 표식의 화상이 특징점으로써 추출된 경우에는, 이들 특징점의 y좌표는 상기 인식 범위밖에 있으므로 차량을 반영하는 특징점이 아니라고 판별된다. 이에 따라, 차량 이외의 물체를 차량으로써 오검출할 우려가 없어지고, 야간에도 차량을 고정밀도로 식별할 수가 있다.
상기 비교 판정부(20)의 판정 결과는 처리 결과 기억부(21)에 순차 격납되고, 이하 추적 처리부(22)에 의해 상기 제1, 제2의 실시예와 같은 처리가 실시된다.
지금까지의 각 실시예는 모두 교통 흐름 계측 장치에 관한 것인데, 상기한 차량 관측 방법은 주행 중인 차량에 한정되지 않고, 주차장의 차량에 적용하는 것도 가능하다.
제37도는, 본 발명을 주차장 관측 장치에 적용한 예를 나타낸다.
이 주차장 관측 장치는, 복수의 주차 구획(도시예에서는 2구획)으로 이루어지는 주차장의 근방 위치에서, 차량이 주차 상황을 판별하기 위한 것으로, 소정 간격을 두고 구비되는 주차 구획(40, 40)은 각각 길이 방향(도면중 화살표 A로 나타내는 방향)으로 4구획, 폭 방향으로 2구획으로 구획함으로써, 합계 8개의 주차 지역 AR이 마련되어 있다.
상기 실시예에서는 각 주차 구획(40)마다 그 주차 구획 (40)내의 각 주차 지역 AR를 관측하도록 하고 있고, 각각 주차 구획(40)의 길이 방향 A의 연장상에, 카메라(3a, 3b) 및 제어 처리 장치(4')로 이루어지는 관측 장치가 구비되어 있다.
또 상기 실시예에서는, 각 카메라(3a, 3b)는 조명용의 지주(41)에, 상기와 같은 위치 관계로써 부착된다.
또, 각 제어처리 장치(4')에 의한 결과는 도시하지 않은 관리 센터의 컴퓨터로 전송되어 주차장 전체의 사용 상황이 파악된다.
제38도는 상기 관측 장치의 전기적 구성을 타나낸다.
제어처리 장치(4')는 상기 제5도와 마찬가지로 A/D변환기(10a, 10b), 화상 메모리(11a, 11b), 엣지 화상 메모리(12a, 12b), 엣지 추출부(13), 대응화 처리부(14), 3차원 좌표 산출부(15), 카메라 파라메타 기억부(16), 투영 처리부(17), 모델 데이터 기억부(19), 비교 판정부(20)를 구비하는 외에, 각 주차 지역 AR의 위치 정보(예를 들면 지역 AR의 각 정점의 좌표 등)를 기억하기 위한 지역 데이터 기억부(42)를 포함하도록 구성되어 있다.
화상 메모리(11a, 11b)에 각각 제39도 (a)(b)에 나타내는 바와 같은 입력 화상이 격납되면, 엣지 추출부(13)는 이들 입력 화상에 대해서 상기 제1, 제2의 실시예와 같은 방식으로 수평 방향의 엣지 구성점을 추출한다. 이 결과, 제40도 (a)(b)에 나타내는 바와 같은 엣지 화상이 생성되고, 엣지 화상 메모리(12a, 12b)에 격납된다.
다음으로, 대응화 처리부(14) 및 3차원 좌표 산출부(15)에 의해, 상기 각 실시예와 같은 방법으로, 각 엣지 구성점의 화상간에서의 대응화 처리 및 대응화된 각 점의 3차원 좌표의 산출 처리가 이루어진다.
투영 처리부(17)는 주차 구획의 길이 방향 A, 즉 각 주차 지역 AR의 폭 방향에 따라 가상 수직 평면 R'를 설정하고, 산출된 각 3차원 좌표를 이 가상 수직 평면 R'상에 투영한다.
또, 상기 투영 처리는 상기 지역 데이터 기억부(42)내의 기억 데이터를 근거로 차량 구획(40)의 각 열 별로 이루어진다.
제41도는 상기 투영 처리의 일례를, 제42도는 이 투영 처리가 이루어진 가상 수직 평면 R'를 정면에서 본 상태를 각각 나타내는 것으로, 각 주차 지역 내의 차량의 정면 또는 배면의 형상을 나타내는 투영 데이터가 분리되어 추출하고 있다.
모델 데이터 기억부(19)에는, 제43도 (a)(b)에 나타내는 바와 같이, 각종의 차량별의 정면 또는 배면의 형상을 나타내는 모델이 기억되어 있고, 비교 판정부(20)는 상기 제1의 실시예와 같은 수법으로 가상 수직 평면 R'상에 각 모델을 순차 주사하여 차량의 판별을 행한다.
이 경우, 비교 판정부(20)는 어떤 모델에 상당하는 차량이 존재하는 위치를 판별하면, 다시 상기 지역 기억부 (42)내를 조회하고, 그 판별된 위치가 어느 주차장 지역에 해당하는지를 인식하고, 최종적으로 관리 센터에 대하여, 어느 주차 지역에 어떠한 차종의 차량이 주차하고 있는지를 나타내는 정보를 전송한다.
또한 상기의 실시예에서는 주차 지역의 폭방향으로 가상 수직 평면 R'를 설정하고, 각 차량의 정면 형상을 투영하도록 하고 있으나, 이에 한정되지 않으며, 주차 지역의 길이 방향으로 가상 수직 평면을 설정하고 각 차량의 측면 형상을 투영해도 좋다. 또, 상기 실시예에서는 같은 열에 늘어선 차량 지역에 대한 투영 처리를 동시에 행하고 있는데, 주차 지역 마다 별개로 투영 처리를 행하도록 해도 좋다.
또한 상기 주차장 관측 처리에 덧붙여, 각 주차장 구획(40) 주변의 통로를 주행하는 차량을 상기 제1, 제2의 실시예를 이용하여 판별하도록 하면, 주차하고자 하는 차량이나 주차장에서 나가는 차량의 판별도 가능해지고, 주차장 전체를 통합적으로 관리할 수가 있다.
상기 주차장 관측 장치는 3차원 좌표의 투영 처리를 근거로 한 차량 판별을 하고 있는데, 이에 대신하여 산출된 각 3차원 좌표에 의해 나타나는 높이 데이터를 근거로 차량을 판별하도록 구성해도 좋다.
제44도는 그와 같은 경우의 장치 구성예를 나타낸 것으로, 제어 처리 장치(4')는 산출된 각 3차원 좌표와 각 주차 지역의 위치 정보를 근거로 각 주차 지역내에 차량이 주차하고 있는지의 여부를 판별하기 위한 주차 유무 판별부(45)를 구비하고 있다.
또한, 그 밖에, 각 실시예와 동일한 구성에 대해서는 같은 부호를 붙임으로써 상세한 설명을 생략한다.
주차 유무 판별부(45)는 지역 데이터 기억부(42)에 기억된 각 주차 지역 AR의 위치 정보를 기초로 산출된 각 3차원 좌표를 주차 지역 별로 그룹 분류한다.
예를 들면, 상기 제41도에 도시된 3차원 좌표의 산출 결과를 그룹 분류하면 제45도 (a)(b)에 나타내는 바와 같은 결과가 된다.
또한, 주차 유무 판별부(45)는, m번째로 분류된 그룹 gm에 대해서, 그룹내에 포함되는 3차원 좌표점의 개수 PTm및 이들 좌표점의 높이 데이터의 평균치 ADm을 산출하고 이 산출된 PTm, ADm을 각각 소정의 역치와 비교함으로써, 이 그룹 gm에 해당하는 주차 지역 AR내에 차량이 존재하는지의 여부를 판별한다.
상기 3차원 좌표점의 개수 PTm은 차량의 엣지 구성점의 평균적인 수에 상당하는 값으로 설정된 역치 TH1과 비교된다. 또 높이 평균치 ADm은 2종류의 역치 TH2,TH3와 비교되는 것으로, 이 중 역치 TH2에는 보통 승용차의 평균적인 높이에 상당하는 값이, 역치 TH3에는 대형 차량의 평균적인 높이에 상당하는 값이 각각 설정된다.
상기 그룹 gm에 있어서, 상기 PTm이 역치 TH1을 상회하며 ADm이 역치 TH2와 역치 TH3사이에 있을 때, 주차 유무 판별부(45)는 이 그룹 gm에 해당하는 주차 지역 AR에 보통 승용차가 존재하는 것이라고 판별한다. 또, PTm이 역치 TH1을 상회하며 ADm이 역치 TH2이상의 값을 취할 때에는, 이 그룹 gm에 해당하는 주차 지역 AR에는 대형 차량이 존재하는 것으로 판별된다.
또, PTm이 역치 TH1이하의 값을 취하는 경우, 또는 ADm이 역치 TH2이상의 값을 취하는 경우에는, 해당하는 주차 지역에는 차량이 존재하는 것으로 판별된다.
또한 상기의 각 실시예는 도로상 또는 주차 지역내의 차량을 판별하는 것인데, 차량에 한정되지 않고, 각종 대상물을 판별하거나, 그 대상물의 시간적인 위치 변화를 측정할 때에도 같은 수법을 적용할 수 있다는 것은 말할 나위도 없다.
[발명의 효과]
청구항 1 및 7의 발명에서는, 2대 이상의 촬상 장치에 의해 관측 위치를 촬상하여 얻어진 화상으로부터 각 화상의 특징 부분을 추출하고, 다시 이들 특징 부분의 화상간의 대응 관계로부터 각 특징 부분의 3차원 좌표가 추출된 후, 추출된 3차원 좌표를 대상물과 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면상에 투영하고, 그 투영 결과를 대상물의 모델 데이터와 비교하여 대상물을 판별하도록 했다.
이에 따라, 관측 위에에서의 대상물의 종별, 위치, 개수 등을 정확히 파악하며, 대상물의 그림자 등 평면적인 데이터를 대상물이라고 오인식하는 일이 없어지기 때문에 관측 정도가 크게 향상된다.
청구항 4 및 10의 발명에서는, 상기와 마찬가지로 하여 2대 이상의 촬상 장치에 의해 하상으로부터 각각 특징 부분을 추출한 후, 각 특징 부분에 대해서 대표적인 특징을 나타내는 점을 특정하고, 설정된 각 대표점의 3차원 좌표에 대하여 상기와 같은 투영 처리 비교 판별 처리를 하도록 했으므로, 처리 속도를 크게 단축시킬 수 있다.
청구항 2, 5, 8, 11의 각 발명에서는, 추출된 3차원 좌표를 대상물이 접하는 평면상의 위치 관계에 근거하여 그룹 분류한 후, 각 그룹별로 상기 가상 수직 평면에 투영 처리를 하도록 했기 때문에, 복수의 대상물이 존재하는 경우에도 그 위치 관계에 따라 개별로 판별할 수가 있다.
청구항 3, 6, 9, 12의 각 발명에서는, 가상 수직 평면상의 각 투영점별로 그 투영점을 포함하는 소정의 범위내의 각 점에 대하여 투영점과의 거리에 근거하여 중점을 두어 상기 2차원 데이터와의 비교를 함으로써, 3차원 계측시에 생긴 오차가 제거되고, 대상물의 판별 정도를 향상시킬 수 있다.
청구항 13의 발명에서는, 도로의 위쪽에 2대 이상의 촬상 장치를 구비하고 관측 위치를 촬상하여 얻어지는 화상을 소정의 시간별로 도입하고, 상기와 같은 방법으로 각 화상 중의 특징 부분의 3차원 좌표를 추출한 후, 이 추출 결과를 도로에 따른 가상 수직 평면상에 투영하고, 그 투영 결과를 복수종의 차량의 측면 형상 모델과 비교하므로서, 도로상의 차량의 종별, 대수 및 위치를 판별하여 교통 흐름을 정확히 계측할 수가 있다. 또, 상기의 비교처리에 의하면, 교통 체증 등 차량이 많은 경우에도 정밀도가 좋은 차량 추출이 가능해 진다. 또한 이 비교 처리는 2차원 평면상에서 이루어지므로, 하드 구성을 작게할 수 있을 뿐만 아니라 처리 속도를 고속화할 수가 있고, 고정밀도의 교통 흐름 계측 장치를 저가에 제공할 수 있다.
청구항 14의 발명에서는, 도로의 위쪽에 구비된 2대 이상의 촬상 장치로부터 얻어진 화상으로부터 특징 부분을 추출한 후, 각 특징 부분에 대해서 상기와 마찬가지로 대응화, 3차원 계측을 실행한 후, 소정의 높이 조건을 만족하는 3차원 좌표를 이용하여 도로상의 차량을 판별하므로, 야간시에도 차량의 라이트 부분의 위치 관계를 기초로 고정밀도의 교통 흐름 계측을 행할 수가 있다.
청구항 15의 발명에서는, 2대 이상의 촬상 장치를 소정 형상의 지역을 향하여 구비하여 동시에 촬상하여 얻어진 각 화상에 대해 상기와 같은 방법으로 특정 부분인 3차원 좌표를 추출하고 추출된 각 3차원의 좌표를 지역 차량의 설정면에 대하여 수직으로 위치하는 가상 수직 평면을 설정하고, 그 투영 결과와 여러 가지 차랴의 형상 모델을 비교하도록 하므로서 지역내의 차량을 정확히 판별할 수가 있다.
또한, 청구항 15의 발명에서는 하드 웨어 구성의 삭감이나 처리 속도의 고속화를 실현할 수 있고, 주차장 계측에서의 종래의 여러 문제점들이 한꺼번에 해결된다.

Claims (15)

  1. 대상물을 관측하는 방법에 있어서, 2대 이상의 촬상 장치(3a, 3b)를 소정의 관측 위치를 향하여 동시에 촬상을 하고, 얻어진 각 촬상중의 특징 부분을 화상 별로 추출하는 제1 단계와, 상기 추출된 각각의 화상 특징 부분에 대해서 화상간에서의 대응화를 하는 제2 단계와, 대응화된 각각의 특징 부분에 대해서 3차원 계측을 하고 각각의 특징부분의 3차원 좌표를 추출하는 제3 단계와, 추출된 각각의 특징 부분의 3차원 좌표를, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면상에 투영하는 제4 단계 및, 상기 촬상 데이터를 소정의 2차원 모델 데이터와 비교함으로써 상기 대상물을 판별하는 제5 단계를 일련으로 실시하는 것을 특징으로 하는 물체 관측 방법.
  2. 제1항에 있어서, 상기 제4 단계의 투영 처리는, 각각의 특징 부분의 3차원 좌표를 상기 대상물이 접하는 평면상의 위치 관계에 근거하여 그룹 분류한 후, 각 그룹별로 그 그룹내에 포함되는 3차원 좌표를 상기 가상 수직 평면에 투영하는 처리인 것을 특징으로 하는 물체 관측 방법.
  3. 제1항 또는 2항에 있어서, 상기 제5 단계의 비교 처리는 상기 제4 단계의 투영 처리에 의해 가상 수직 평면상에 생성된 각 투영점에 대하여 각각 그 투영점을 포함하는 소정 범위를 설정함과 함께, 그 범위내의 각각의 점에 대해서 상기 투영점과의 위치 관계에 근거하여 중점을 두어 상기 2차원 데이터와 비교하는 처리인 것을 특징으로 하는 물체 관측 방법.
  4. 대상물을 관측하는 방법에 있어서, 2대 이상의 촬상 장치(3a, 3b)를 소정의 관측 위치를 향하여 동시에 촬상을 하고, 얻어진 각각의 촬상중의 특징 부분을 화상별로 추출하는 제1 단계와, 상기 추출된 각각의 화상 특징 부분에 대해서 각각 대표적인 특징을 나타내는 점을 특정하는 제2 단계와, 상기 특정된 각각의 대표점에 대하여 화상간에서의 대응화를 하는 제3 단계와, 대응화된 각각의 대표점 마다에 3차원 계측을 하여 각각의 대표점의 3차원 좌표를 추출하는 제4 단계와, 추출된 각각의 대표점의 3차원 좌표를, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면에 투영하는 제5 단계 및, 상기 촬상 데이터를 소정의 2차원 모델 데이터와 비교함으로써 상기 대상물을 판별하는 제6 단계를 일련으로 실시하는 것을 특징으로 하는 물체 관측 방법.
  5. 제4항에 있어서, 상기 제5 단계의 투영 처리는 각각 대표점의 3차원 좌표를 상기 대상물이 접하는 평면상의 위치 관계를 근거로 그룹 분류한 후, 각 그룹별로 그 그룹내에 포함되는 3차원 좌표를 상기 가상 수직 평면상에 투영하는 처리인 것을 특징으로 하는 물체 관측 방법.
  6. 제4항 또는 5항에 있어서, 상기 제6 단계의 비교 처리는 상기 제5 단계의 투영 처리에 의해 가상 수직 평면상에 생성된 각각의 투영점에 대하여, 각각 그 투영점을 포함하는 소정 범위를 설정함과 함께, 그 범위내의 각각의 점에 대해서 상기 투영점과의 위치 관계에 근거하여 중점을 두어 상기 2차원 데이터와 비교하는 처리인 것을 특징으로 하는 물체 관측 방법.
  7. 대상물을 관측하기 위한 장치에 있어서, 관측 위치를 향하여 구비된 2대 이상의 촬상 장치(3a, 3b)와, 각각의 촬상 장치에 의해 동시에 도입된 각 화상으로부터 각각 특징부분을 추출하는 엣지 추출부(13)와, 상기 엣지 추출부에 의해 추출된 각각의 화상 특징 부분에 대해서 화상간에서의 대응화를 하는 대응화 처리부(14)와, 상기 대응화 처리부에 의해 대응화된 각각의 특징 부분에 대해서 3차원 계측을 하여 각각의 특징 부분의 3차원 좌표를 추출하는 3차원 좌표 산출부(15)와, 대상물의 2차원 모델 데이터를 기억하는 모델 데이터 기억부(19)와, 대상물이 접하는 평면에 대하여 수직으로 위치하도록 가상 수직 평면을 설정하고, 이 가상 수직 평면상에 상기 3차원 좌표 산출식에 의해 추출된 각각의 특징 부분의 3차원 좌표를 투영하는 투영 처리부(17) 및, 상기 투영 처리부에 의한 투영 결과를 상기 모델 데이터 기억부에 기억된 2차원 모델 데이터와 비교하는 비교 판정부(20)를 구비하는 것을 특징으로 하는 물체 관측 장치.
  8. 제7항에 있어서, 상기 투영 처리부는 상기 좌표 산출부에 의해 추출된 각각의 특징 부분의 3차원 좌표를 상기 대상물이 접하는 평면상의 위치 관계를 근거로 그룹 분류한 후, 각 그룹별로 그 그룹내에 포함되는 3차원 좌표를 상기 가상 수직 평면상에 투영하는 것을 특징으로 하는 물체 관측 장치.
  9. 제7항 또는 8항에 있어서, 상기 비교 판정부는, 상기 투영 처리부에 의해 가상 수직 평면상에 생성된 각각의 투영점에 대하여 각각 그 투영점을 포함하는 소정 범위를 설정함과 함께, 그 범위내의 각각의 점에 대해서 상기 투영점과의 위치 관계에 근거하여 중점을 두어 상기 2차원 데이터와 비교하는 것을 특징으로 하는 물체 관측 장치.
  10. 대상물을 관측하기 위한 장치에 있어서, 관측 위치를 향하여 구비된 2대 이상의 촬상 장치(3a, 3b)와, 각 촬상 장치에 의해 동시에 도입된 각각의 화상으로부터 각각 특징부분을 추출하는 엣지 추출부(13)와, 상기 엣지 추출부에 의해 추출된 각각의 화상 특징 부분에 대해서, 각각의 대표적인 특징을 나타내는 점을 특정하는 대표점 추출부(31)와, 상기 대표점 추출부에 의해 특정된 각각의 대표점에 대해서 화상간에서의 대응화를 행하는 대응화 처리부(14)와, 상기 대응화 처리부에 의해 대응화된 각각의 대표점 별로 3차원 계측을 하여 각각의 대표점의 3차원 좌표를 추출하는 3차원 좌표 산출부(15)와, 대상물의 2차원 모델 데이터를 기억하는 모델 데이터 기억부(19)와, 대상물이 접하는 평면에 대하여 수직으로 위치하는 가상 수직 평면을 설정하고, 이 가상 수직 평면상에 상기 3차원 좌표 산출부에 의해 추출된 각각의 대표점의 3차원 좌표를 투영하는 투영 처리부(17) 및, 상기 투영 처리부에 의한 투영 결과를 상기 모델 데이터 기억부에 기억된 2차원 모델 데이터와 비교하는 비교 판정부(20)를 구비한 것을 특징으로 하는 물체 관측 장치.
  11. 제10항에 있어서, 상기 투영 처리부는, 상기 좌표 산출부에 의해 추출된 각각의 대표점의 3차원 좌표를 상기 대상물이 접하는 평면상의 위치 관계를 근거로 그룹 분류한 후, 각 그룹별로 그 그룹내에 포함되는 3차원 좌표를 상기 가상 수직 평면상에 투영하는 것을 특징으로 하는 물체 관측 장치.
  12. 제10항 또는 11항에 있어서, 상기 비교 판정부는, 상기 투영 처리부에 의한 투영 처리에 의해 가상 수직 평면상에 생성된 각각의 투영점에 대하여, 각각 그 투영점을 포함하는 소정 범위를 설정함과 함께, 그 범위내의 각각의 점에 대해 상기 투영점과의 위치 관계에 근거하여 중점을 두어 상기 2차원 데이터와 비교하는 것을 특징으로 하는 물체 관측 장치.
  13. 도로상에서의 차량의 흐름을 관측하고, 그 관측 결과의 시간적인 추이에 의해 도로상에서의 교통 흐름 데이터를 계측하는 장치에 있어서, 도로의 위쪽에 도로상의 관측 위치를 향하여 구비된 2대 이상의 촬상 장치(3a, 3b)와, 소정의 시간별로 각각의 촬상 장치에 의해 동시에 도입한 각 화상으로부터 각각 특징 부분을 추출하는 엣지 추출부(13)와, 상기 엣지 추출부에 의해 추출된 각각의 화상 특징 부분에 대해서 화상간에서의 대응화를 행하는 대응화 처리부(14)와, 상기 대응화 처리부에 의해 대응화된 각각의 특징 부분에 대해서 3차원 계측을 하여 각각의 특징 부분의 3차원 좌표를 추출하는 3차원 좌표 산출부(15)과, 도로에 따른 가상 수직 평면을 설정하여, 그 가상 수직 평면상에 상기 3차원 좌표 산출부에 의해 추출된 각각의 특징 부분의 3차원 좌표를 투영하는 투영 처리부(17)와, 복수 종류의 차량에 대해서, 각각의 차량의 측면 형상 모델을 기억하는 모델 데이터 기억부(19)와, 상기 투영 처리부에 의한 투영 결과를 상기 모델 데이터 기억부에 기억된 각각의 모델과 비교함으로써 도로상의 차량을 판별하는 차량 비교 판정부(20) 및, 상기 차량 비교 판정부에 의한 판별 결과를 순차 추적하여 도로상에서의 차량의 흐름을 관측하는 추적 처리부(22)를 구비하는 것을 특징으로 하는 교통 흐름 계측 장치.
  14. 도로상에서의 차량의 흐름을 관측하고, 그 관측 결과의 시간적인 추이에 의해 도로상에서의 교통 흐름 데이터를 계측하는 장치에 있어서, 도로의 위쪽에 도로상의 관측 위치를 향하여 구비된 2대 이상의 촬상 장치(3a, 3b)와, 소정의 시간별로 각각의 촬상 장치에 의해 동시에 도입한 각 화상으로부터 각각 특징 부분을 추출하는 엣지 추출부(13)와, 상기 엣지 추출부에 의해 추출된 각 화상의 특징 부분에 대해서 화상간에서의 대응화를 행하는 대응화 처리부(14)와, 상기 대응화 처리부에 의해 대응화된 각각의 특징 부분에 대해서 3차원 계측을 하여 각각의 특징 부분의 3차원 좌표를 추출하는 3차원 산출부(15)와, 상기 3차원 좌표 산출부에 의해 추출된 각각의 특징 부분의 3차원 좌표 중, 소정의 높이 조건을 만족하는 3차원 좌표의 상대 위치 관계를 이용하여 도로상의 차량을 판별하는 비교 판정부(20) 및, 상기 비교 판정부에 의한 판별 결과를 순차 추적하여 도로상에서의 차량의 흐름을 관측하는 추적 처리부(22)를 구비하는 것을 특징으로 하는 교통 흐름 계측 장치.
  15. 소정 형상의 지역내에 주차하는 차량을 관측하기 위한 장치에 있어서, 상기 지역의 위쪽에 지역을 향하여 구비된 2대 이상의 촬상 장치 (3a, 3b)와, 각각의 촬상 장치에 의해 동시에 도입된 각 화상으로부터 각각 특징 부분을 추출하는 엣지 추출부(13)와, 상기 엣지 추출부에 의해 추출된 각각의 화상 특징 부분에 대해서 화상간에서의 대응화를 행하는 대응화 처리부(14)와, 상기 대응화 처리부에 의해 대응화된 각각의 특징 부분에 대해서 3차원 계측을 하여 각각의 특징 부분의 3차원 좌표를 추출하는 3차원 좌표 산출부(15)와, 상기 지역의 차량 설치면에 대해 수직으로 위치하는 가상 수직 평면을 설정하고, 그 가상 수직 평면상에 상기 3차원 좌표 산출부에 의해 추출된 복수의 특징 부분의 3차원 좌표를 투영하는 투영 처리부(17)와, 복수 종류의 차량에 대해서 각각의 차량 형상 모델을 기억하는 모델 데이터 기억부(19) 및, 상기 투영 처리부에 의한 투영 결과를 상기 모델 데이터 기억부에 기억된 각 모델과 비교함으로써 상기 지역내의 차량의 종류를 판별하는 비교 판정부(20)를 구비하는 것을 특징으로 하는 주차장 관측 장치.
KR1019960017635A 1995-05-18 1996-05-17 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치 KR100201739B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP95-145546 1995-05-18
JP14554695 1995-05-18

Publications (2)

Publication Number Publication Date
KR960042482A KR960042482A (ko) 1996-12-21
KR100201739B1 true KR100201739B1 (ko) 1999-06-15

Family

ID=15387687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960017635A KR100201739B1 (ko) 1995-05-18 1996-05-17 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치

Country Status (5)

Country Link
US (1) US5910817A (ko)
EP (1) EP0747870B1 (ko)
KR (1) KR100201739B1 (ko)
CN (1) CN1080911C (ko)
DE (1) DE69624980T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102240638B1 (ko) * 2019-11-01 2021-04-15 주식회사 누리콘 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2292605B (en) * 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
EP0877341B1 (en) * 1997-05-09 2007-02-07 Honda Giken Kogyo Kabushiki Kaisha Vehicle rental system
JP3420504B2 (ja) * 1998-06-30 2003-06-23 キヤノン株式会社 情報処理方法
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3243234B2 (ja) * 1999-07-23 2002-01-07 松下電器産業株式会社 混雑度計測方法、計測装置、およびそれを用いたシステム
EP1089214A3 (en) * 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image recognition
US7123166B1 (en) * 2000-11-17 2006-10-17 Haynes Michael N Method for managing a parking lot
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
GB2377332A (en) * 2001-07-04 2003-01-08 Hewlett Packard Co Simulating a moving image from static cameras along a route
US7552008B2 (en) * 2001-07-18 2009-06-23 Regents Of The University Of Minnesota Populating geospatial database for onboard intelligent vehicle applications
US20030076417A1 (en) * 2001-08-07 2003-04-24 Patrick Thomas Autonomous monitoring and tracking of vehicles in a parking lot to enforce payment rights
WO2003029046A1 (en) * 2001-10-03 2003-04-10 Maryann Winter Apparatus and method for sensing the occupancy status of parking spaces in a parking lot
JP3788400B2 (ja) * 2002-07-19 2006-06-21 住友電気工業株式会社 画像処理装置、画像処理方法及び車両監視システム
WO2005038716A1 (ja) * 2003-10-21 2005-04-28 Nec Corporation 画像照合システム及び画像照合方法
US20070046779A1 (en) * 2003-11-11 2007-03-01 David Sourlier An installation for recording travel and/or traffic
DE102004023322A1 (de) * 2004-05-07 2005-11-24 Daimlerchrysler Ag Lage- und Positionsvermessung von Objekten mittels Bildverarbeitungsverfahren
JP2006221603A (ja) * 2004-08-09 2006-08-24 Toshiba Corp ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム
KR20060023714A (ko) 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법
WO2006064172A1 (en) * 2004-12-14 2006-06-22 Roger Hal Kennedy Integrated traffic management system
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
ITTO20060214A1 (it) * 2006-03-22 2007-09-23 Kria S R L Sistema di rilevamento di veicoli
US7570179B2 (en) * 2007-01-05 2009-08-04 International Business Machines Corporation System and method of locating vehicles with keylock signals
US7912320B1 (en) 2007-01-16 2011-03-22 Paul Minor Method and apparatus for photographic measurement
JP5146446B2 (ja) * 2007-03-22 2013-02-20 日本電気株式会社 移動体検知装置および移動体検知プログラムと移動体検知方法
CN101414411B (zh) * 2007-10-17 2010-08-25 财团法人工业技术研究院 影像式的空位侦测系统与方法
US20090228172A1 (en) * 2008-03-05 2009-09-10 Gm Global Technology Operations, Inc. Vehicle-to-vehicle position awareness system and related operating method
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
WO2010006361A1 (en) * 2008-07-14 2010-01-21 National Ict Australia Limited Detection of vehicles in images of a night time scene
CN102301201B (zh) * 2009-02-18 2013-02-27 旭硝子株式会社 矩形板状物的外形形状测量方法以及摄像单元的相对位置的校正方法
US20110153266A1 (en) * 2009-12-23 2011-06-23 Regents Of The University Of Minnesota Augmented vehicle location system
TWI410880B (zh) * 2010-03-29 2013-10-01 Anmo Electronics Corp 與數位影像分析相關的電腦程式產品
CN102213591B (zh) * 2010-04-01 2013-10-23 安鹏科技股份有限公司 数字影像分析装置
TW201136313A (en) * 2010-04-08 2011-10-16 Hon Hai Prec Ind Co Ltd 3D image monitor system and method
CN107092856A (zh) * 2011-03-14 2017-08-25 加州大学评议会 用于车辆分类的方法和系统
EP2543960A1 (de) * 2011-07-05 2013-01-09 Hexagon Technology Center GmbH Verfahren zum Bereitstellen von Zielpunktkandidaten zur Auswahl eines Zielpunkts
JP5942771B2 (ja) * 2012-10-18 2016-06-29 富士通株式会社 画像処理装置及び画像処理方法
MA36097B1 (fr) * 2013-07-08 2016-01-29 Mascir Morrocan Foundation For Advanced Science Innovation & Res Système mono-caméra d'estimation de vitesse de véhicule par traitement vidéo avec calibration multi-caméra par effet stéréoscopique
DE102013213748A1 (de) * 2013-07-15 2015-01-15 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Überwachung einer Parkberechtigung eines Kraftfahrzeugs
CN103700265B (zh) * 2013-12-16 2016-01-06 青岛海信网络科技股份有限公司 基于出行起点与终点获取路网流量信息的方法
JP6455921B2 (ja) * 2014-11-13 2019-01-23 エムケー精工株式会社 駐車検出装置
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
US10008115B2 (en) * 2016-02-29 2018-06-26 Analog Devices Global Visual vehicle parking occupancy sensor
DE102016223118A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223094A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223171A1 (de) 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
CN107767687B (zh) * 2017-09-26 2020-09-01 中国科学院长春光学精密机械与物理研究所 基于双目立体视觉的空闲停车位检测方法及系统
CN108961785B (zh) * 2018-07-10 2020-10-02 杭州利艾智能科技有限公司 一种调整交通控制信号的系统及方法
CN110826357B (zh) * 2018-08-07 2022-07-26 北京市商汤科技开发有限公司 对象三维检测及智能驾驶控制的方法、装置、介质及设备
US11967229B1 (en) * 2019-04-19 2024-04-23 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for monitoring vehicular traffic
CN110196638B (zh) * 2019-05-17 2023-10-13 中电海康集团有限公司 基于目标检测和空间投影的移动端增强现实方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3391405B2 (ja) * 1992-05-29 2003-03-31 株式会社エフ・エフ・シー カメラ映像内の物体同定方法
JPH08503316A (ja) * 1992-11-10 1996-04-09 シーメンス アクチエンゲゼルシヤフト 複数のディジタルイメージのシーケンスにおける移動物体の影の検出および識別のための方法
DE4300651A1 (de) * 1993-01-08 1994-07-14 Refit Ev Verfahren zur Ermittlung von Verkehrsdaten
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JP3384033B2 (ja) * 1993-05-06 2003-03-10 住友電気工業株式会社 駐車場空きスペ−ス監視方法
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
US5687307A (en) * 1993-09-21 1997-11-11 Canon Kabushiki Kaisha Computer graphic animation in which texture animation is independently performed on a plurality of objects in three-dimensional space
JP3064759B2 (ja) * 1993-09-28 2000-07-12 株式会社日立製作所 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置
JP2989744B2 (ja) * 1994-06-13 1999-12-13 株式会社東芝 測定面抽出装置及びその方法
JP3603285B2 (ja) * 1994-07-21 2004-12-22 株式会社セガ 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102240638B1 (ko) * 2019-11-01 2021-04-15 주식회사 누리콘 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템

Also Published As

Publication number Publication date
US5910817A (en) 1999-06-08
KR960042482A (ko) 1996-12-21
EP0747870B1 (en) 2002-11-27
DE69624980T2 (de) 2003-07-17
EP0747870A1 (en) 1996-12-11
DE69624980D1 (de) 2003-01-09
CN1144328A (zh) 1997-03-05
CN1080911C (zh) 2002-03-13

Similar Documents

Publication Publication Date Title
KR100201739B1 (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치
JP6773540B2 (ja) 車載用画像処理装置
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
JP2917661B2 (ja) 交通流計測処理方法及び装置
EP0567059B1 (en) Object recognition system using image processing
JP4118452B2 (ja) 物体認識装置
JP3456339B2 (ja) 物体観測方法およびその方法を用いた物体観測装置、ならびにこの装置を用いた交通流計測装置および駐車場観測装置
JPH05265547A (ja) 車輌用車外監視装置
JPH06266828A (ja) 車輌用車外監視装置
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
JPH10124683A (ja) 立体画像−物体検出方法
JP2001004368A (ja) 物体認識装置
JP2006184276A (ja) 視覚検知による全天候障害物衝突防止装置とその方法
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN111742235A (zh) 用于识别针对车辆适合的空停车位的方法和系统
JPH08156723A (ja) 車両用障害物検出装置
JP2002334330A (ja) 車両認識装置
JP2018055597A (ja) 車種判別装置および車種判別方法
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
JP3465531B2 (ja) 物体認識方法およびその装置
KR100532058B1 (ko) 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
JPH11175883A (ja) 交通量計測装置および信号機制御装置
JP3475700B2 (ja) 物体認識方法、物体認識装置、および車輌認識装置
JP4106163B2 (ja) 障害物検出装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19960517

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 19980921

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19981228

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19990316

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19990317

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20020202

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20030120

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20040310

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20050309

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20060313

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20070313

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20080310

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20090311

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20100310

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20110223

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20120223

Start annual number: 14

End annual number: 14

FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 15

PR1001 Payment of annual fee

Payment date: 20130227

Start annual number: 15

End annual number: 15

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 16

PR1001 Payment of annual fee

Payment date: 20140220

Start annual number: 16

End annual number: 16

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20160209