KR101828558B1 - 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법 - Google Patents

자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법 Download PDF

Info

Publication number
KR101828558B1
KR101828558B1 KR1020170079163A KR20170079163A KR101828558B1 KR 101828558 B1 KR101828558 B1 KR 101828558B1 KR 1020170079163 A KR1020170079163 A KR 1020170079163A KR 20170079163 A KR20170079163 A KR 20170079163A KR 101828558 B1 KR101828558 B1 KR 101828558B1
Authority
KR
South Korea
Prior art keywords
cameras
detecting
license plate
information
vehicle
Prior art date
Application number
KR1020170079163A
Other languages
English (en)
Inventor
김영모
안종필
박수인
Original Assignee
주식회사 디아이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디아이랩 filed Critical 주식회사 디아이랩
Priority to KR1020170079163A priority Critical patent/KR101828558B1/ko
Application granted granted Critical
Publication of KR101828558B1 publication Critical patent/KR101828558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치는, 스테레오 촬상을 이행하는 제1 및 제2카메라; 및 상기 스테레오 촬상을 이행하는 제1 및 제2카메라 각각으로부터 촬상정보를 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하고, 상기 촬상정보 각각에 대해 차량번호판의 일부 영역의 크기가 동일하게 되도록 상기 제1 및 제2카메라의 줌을 조정하고, 상기 제1 및 제2카메라 각각으로부터 촬상정보 중 미리 정해둔 시간 간격의 촬상정보를 다수 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하고, 상기 촬상정보 각각에 대해 차량번호판의 일부 영역에서 추출한 특징점 사이의 상대거리가 동일하게 되도록 렌즈왜곡을 보정하는 캘리브레이션 파라메터를 생성하고, 상기 캘리브레이션 파라메터로 상기 제1 및 제2카메라의 렌즈왜곡을 보정하고, 상기 차량번호판의 일부 영역을 이용하여 대상 차량의 속도를 검출하는 제어기;를 구비함을 특징으로 한다.

Description

자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법{vehicle velocity detector and method using stereo camera having auto calibration function}
본 발명은 차량 속도를 검출하는 기술에 관한 것으로, 더욱 상세하게는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법에 관한 것이다.
종래 차량 속도 검출 장치는 고정형의 레이저나 루프 코일 방식 혹은 이동형의 레이저 기술방식을 이용하여 차량의 위치정보를 얻고 이를 이용하여 시간과 거리를 계산하여 차량 속도를 검출하였다.
이러한 루프 검지 방식은 교통 관제 등에 필요한 정보의 수집 또는 과속 차량의 단속 등을 위해 널리 사용되고 있기는 하나, 아스팔트 또는 콘크리트 포장 도로 상에 루프 코일 등의 매설을 요구하므로, 설치 환경이나 연결 전선의 길이, 그리고 그 길이에 따른 임피던스의 차이 등을 야기하였으며, 이는 루프 코일의 감도를 변화시키는 원인이 되었다. 이와 같이 루프 코일의 감도가 변화되는 것은 차량의 속도나 위치, 점유율 등의 검지에 대한 정확도가 저하시켜 루프 검지 방식에 대한 신뢰도를 저하시키는 문제를 야기하였다.
이러한 문제를 해소하고자 본 출원인은 대한민국 특허청에 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법을 명칭으로 하여 특허공개된 제10-2014-0000403호를 제안하였다. 이는 제1영역을 촬상하는 제1카메라 장치; 상기 제1영역을 포함하는 제2영역을 촬상하는 제2카메라 장치; 상기 제1카메라 장치로부터의 촬상정보로부터 차량을 검지하고, 상기 차량이 검지되면, 상기 제1카메라 장치와 상기 제2카메라 장치로부터의 촬상정보 중 동일영역에 대한 영상정보를 결합하여 차량에 대한 3차원 영상정보를 생성하고, 상기 차량에 대한 3차원 영상정보에서 차량의 특징점들 중 어느 하나를 선택하고, 그 선택된 특징점에 대한 높이를 검출하고, 그 높이와 특징점의 이동거리와 소요시간을 토대로 차량의 속도를 검출하는 제어장치;를 구비하는 차량속도 검출장치를 개시하고 있다.
종래의 기술에 따라 고정식 스테레오 카메라를 제작후 설치전 캘리브레이션을 수행하였더라도, 이동 및 설치 과정에서의 변형과 현장에 맞도록 변경함으로써 불가피하게 현장에서 캘리브레이션 과정을 다시 수행해야 하는 번거로움이 있었다.
현장에서 캘리브레이션을 수행하기 위해서는 체스보드 등의 기준장비체가 보일 수 있는 주간에 수행을 해야 하며, 정확한 파라메터 획득을 위해서는 다양한 위치에서 다수의 이미지를 확보해야 함으로써, 많은 처리 시간이 요구됨은 물론이고 도로 현장에서의 작업에 대한 위험 등의 문제가 내재되어 있었다.
이러한 과정을 통해서 캘리브레이션을 성공적으로 수행하여 변경 없이 사용할 것으로 기대하였으나, 상기한 차량속고 검줄장치는 도로상에 설치되므로 다양한 외부환경, 예를들어 차량에 진동이나 강풍 등에 의해 검지환경이 변형되어 캘리브레이션이 다시 요구되기도 하였다.
더욱이 상기한 종래 기술은 고정설치된 스테레오 카메라로써, 고정된 현장에서 단속을 하기 때문에 변수가 많이 없지만, 이동식 스테레오 카메라에 적용하는 경우에는 현장에서 체스보드 이용하여 캘리브레이션하는 것은 매우 번거로울뿐더러 부정확성이 높았다.
이러한 종래 기술들이 가진 문제를 해소하기 위해 스테레오 카메라를 자동으로 캘리브레이션함과 아울러 캘리브레이션 상태를 지속적으로 유지할 수 있는 기술의 개발이 절실하게 요구되었다.
대한민국 특허공개 제10-2005-0020349호 대한민국 특허공개 제10-2014-0000403호
본 발명은 단속차량에 설치된 차량 속도 검출 장치에 구비된 스테레오 카메라의 캘리브레이션을 자동으로 이행하여 차량 속도 검출 장치의 성능을 지속적으로 유지할 수 있게 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명의 다른 목적은 스테레오 카메라의 캘리브레이션시에 촬상 정보에 포함된 차량 번호판을 이용하여 캘리브레이션을 위한 사용자 조작을 요구하지 않는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치는, 스테레오 촬상을 이행하는 제1 및 제2카메라; 및 상기 스테레오 촬상을 이행하는 제1 및 제2카메라 각각으로부터 촬상정보를 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하고, 상기 촬상정보 각각에 대해 차량번호판의 일부 영역의 크기가 동일하게 되도록 상기 제1 및 제2카메라의 줌을 조정하고, 상기 제1 및 제2카메라 각각으로부터 촬상정보 중 미리 정해둔 시간 간격의 촬상정보를 다수 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하고, 상기 촬상정보 각각에 대해 차량번호판의 일부 영역에서 추출한 특징점 사이의 상대거리가 동일하게 되도록 렌즈왜곡을 보정하는 캘리브레이션 파라메터를 생성하고, 상기 캘리브레이션 파라메터로 상기 제1 및 제2카메라의 렌즈왜곡을 보정하고, 상기 차량번호판의 일부 영역을 이용하여 대상 차량의 속도를 검출하는 제어기;를 구비함을 특징으로 한다.
상기한 본 발명은 단속차량에 설치된 차량 속도 검출 장치에 구비된 스테레오 카메라의 캘리브레이션을 자동으로 이행하여 차량 속도 검출 장치의 성능을 지속적으로 유지할 수 있게 하는 효과를 야기한다.
또한 본 발명은 스테레오 카메라의 캘리브레이션시에 촬상 정보에 포함된 차량 번호판을 이용하여 캘리브레이션을 위한 사용자 조작을 요구하지 않아 사용상의 편이성을 향상시킬 수 있는 효과를 야기한다.
도 1은 본 발명의 바람직한 실시예에 따르는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치의 구성도.
도 2 내지 도 4는 본 발명의 바람직한 실시예에 따르는 차량 속도 검출 장치의 외관을 예시한 도면.
도 5는 본 발명의 바람직한 실시예에 따르는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법의 흐름도.
도 6 내지 도 8은 본 발명의 바람직한 실시예에 따르는 캘리브레이션 과정을 예시한 도면.
도 9 및 도 10은 본 발명의 바람직한 실시예에 따르는 차량번호 인식영역을 예시한 도면.
도 11은 본 발명의 바람직한 실시예에 따르는 깊이 정보 산출예를 도시한 도면.
도 12는 본 발명의 바람직한 실시예에 따르는 속도 산출 과정을 예시한 도면.
도 13 및 도 14는 본 발명에 따르는 검지정보 표시예를 도시한 도면.
본 발명은 단속차량에 설치된 차량 속도 검출 장치에 구비된 스테레오 카메라의 캘리브레이션을 자동으로 이행하여 차량 속도 검출 장치의 성능을 지속적으로 유지할 수 있게 한다.
또한 본 발명은 스테레오 카메라의 캘리브레이션시에 촬상 정보에 포함된 차량 번호판을 이용하여 캘리브레이션을 위한 사용자 조작을 요구하지 않아 사용상의 편이성을 향상시킬 수 있다.
<자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치의 구성>
상기한 본 발명의 바람직한 실시예에 따르는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치의 구성을 도 1을 참조하여 상세히 설명한다.
상기 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치는 크게 촬상장치(100)와 제어기(200)와 전원부(300)로 구성된다.
상기 촬상장치(100)는 스테레오 카메라인 제1 및 제2카메라(102,104)와 조명부(106)와 동기화신호 송출기(108)와 인터페이스 보드(110)로 구성된다. 상기 인터페이스 보드(110)는 상기 제어기(200)와 상기 촬상장치(100)의 각부 사이의 인터페이스를 담당한다. 상기 동기화신호 송출기(108)는 상기 인터페이스 보드(110)를 통한 제어기(200)로부터의 동기화명령에 따라 동기화신호를 생성하여 제1 및 제2카메라(102,104)와 조명부(106)로 제공한다. 상기 제1 및 제2카메라(102,104)는 상기 동기화신호 송출기(108)가 제공하는 동기화신호와 인터페이스 보드(110)를 통한 제어기(200)로부터의 촬상명령에 따라 스테레오 촬상을 이행하고 그에 따른 스테레오 촬상정보를 상기 인터페이스 보드(110)를 통해 상기 제어기(200)로 제공한다. 또한 상기 제1 및 제2카메라(102,104) 각각은 상기 제어기(200)로부터 캘리브레이션 제어명령을 제공받아 줌(zoom)을 이행하여 두 카메라 사이의 캘리브레이션을 이행한다. 상기 조명부(106)는 상기 동기화신호에 따라 구동하여 상기 제1 내지 제2카메라(102,104)의 촬상에 요구되는 조명을 제공한다.
상기 전원부(300)는 상기 촬상장치(100)와 제어기(200)의 각부에 구동전원을 공급한다.
상기한 촬상장치(100)와 전원부(300)는 하나의 하우징내에 구성될 수 있으며, 이를 예시한 것이 도 2 내지 4이다. 상기 도 2는 상기 촬상장치(100)와 전원부(300)를 내장하는 하우징의 전면을 도시한 것이고, 도 3은 상기 촬상장치(100)와 전원부(300)를 내장하는 하우징의 후면을 도시한 것이고, 도 4는 상기 촬상장치(100)와 전원부(300)를 내장하는 하우징의 내부를 도시한 것이다. 상기한 도 2 내지 도 4에 도시한 차량 속도 검출 장치는 제1 및 제2카메라(102,104)가 좌우 각각에 배치된 예만을 도시하였으나, 상기 제1 및 제2카메라(102,104)는 상하 각각에 배치될 수도 있으며, 이는 본 발명에 의해 당업자에게 자명하다.
상기 제어기(200)는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치의 각부를 전반적으로 제어하여, 영상수신부(202), 차량번호 인식부(204), 캘리브레이션부(206), 3차원정보 획득부(208), 속도 계산부(210), GUI 표출부(212) 및 메모리부(214)로 구성된다. 상기 영상수신부(202)는 상기 제1 및 제2카메라(102,104)로부터 제공되는 스테레오 촬상정보를 제공받아 차량번호 인식부(204)와 캘리브레이션부(206)와 3차원정보 획득부(208)로 제공한다. 상기 차량번호 인식부(204)는 상기 영상수신부(202)를 통해 제공되는 스테레오 촬상정보로부터 차량번호판 영역을 검출하여 차량번호를 인식한다. 상기 캘리브레이션부(206)는 상기 영상수신부(202)를 통해 제공되는 스테레오 촬상정보로부터 차량번호판 영역에 위치하는 특징점들을 검출하고, 스테레오 촬상정보에서의 특징점들의 크기와 위치가 서로 일치되도록 제1 및 제2카메라(102,104) 각각에 대한 줌(ZOOM)을 제어하는 하는 캘리브레이션 제어명령을 상기 촬상장치(100)로 제공한다. 상기 3차원정보 획득부(208)는 상기 영상수신부(202)를 통해 제공되는 스테레오 촬상정보로부터 인식된 차량번호판의 3차원정보를 검출하여 해당 차량과의 상대 위치를 검출한다. 상기 속도 계산부(210)는 상기 3차원정보 획득부(208)에 검출된 차량과의 상대 위치에 대한 시간당 변화량과 자차의 속도를 토대로 해당 차량의 속도를 산출한다. 상기 GUI 표출부(212)는 상기 산출된 차량의 속도, 차량번호, 시각정보 등의 차량속도 검출정보 등을 미도시된 사용자 인터페이스를 통해 출력하여 사용자에게 안내한다. 상기 메모리부(214)는 상기 산출된 차량의 속도, 차량번호, 시각정보 등의 차량속도검출정보를 저장한다.
<자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법의 절차>
이제 상기한 바와 같이 구성되는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치에 적용되는 차량 속도 검출 방법을 도 5를 참조하여 상세히 설명한다.
상기 제어기(200)는 동기화 신호 및 촬상 명령을 상기 촬상장치(100)에 제공하며, 상기 촬상장치(100)는 상기 동기화 신호에 동기되어 조명부(106) 및 제1 및 제2카메라(102,104)를 구동하여 스테레오 촬상을 이행한다(400단계). 상기 제어기(200)는 상기 촬상장치(100)로부터 스테레오 촬상정보, 즉 제1 및 제2카메라(102,104)가 각각 제공하는 촬상정보들을 제공받는다. 상기 스테레오 촬상정보가 제공되면(402단계), 상기 제어기(100)는 이전에 캘리브레이션이 수행되었음에 따라 미리 생성된 캘리브레이션 파라메터, 즉 줌 및 포커싱 조정값이 저장되었는지를 체크한다(404단계). 상기 캘리브레이션 파라메터가 저장되어 있지 않다면, 상기 제어기(200)는 상기 제1 및 제2카메라(102,104)에 대한 초기 캘리브레이션을 수행한다(406단계).
상기 제1 및 제2카메라(102,104)의 초기 캘리브레이션에 대해 좀더 설명한다.
일반적으로 스테레오 카메라에 대한 캘리브레이션은 체스보드를 촬상하여 수행하나, 본 발명은 차량번호판을 이용하여 캘리브레이션을 수행함으로써 도로상의 주행시 촬상한 촬상정보를 이용하여 캘리브레이션할 수 있게 한다.
그리고 본 발명에 따르는 캘리브레이션을 위해 제어기(200)는 도 7에 예시한 바와 같이 차량번호판 영역에 대한 기준크기 정보인 기준값(가로, 세로 크기)을 미리 설정받아 저장한다.
먼저 제어기(200)는 초기 캘리브레이션을 위해 제1 및 제2카메라(102,104)로부터 촬상된 촬상정보들로부터 차량번호판 영역 및 차량번호를 인식하여, 차량번호판의 종류를 판단한다. 여기서 상기 차량번호판에는 구형과 신형 등이 포함될 수 있다.
이후 상기 제어기(200)는 차량번호판의 오브젝트별 영역을 추출한다. 여기서 오브젝트는 차량번호를 구성하는 숫자 또는 문자 등이다. 상기 오브젝트 영역이 추출되면, 그 오브젝트의 의미를 인식한 후에, 차량번호 중 숫자 4자리의 영역을 검출한다. 이후 상기 숫자 4자리의 사각영역 및 그 사각영역의 중심점을 캘리브레이션을 위한 특징정보로 결정한다. 여기서, 도 6의 예를 참조하면, 차량번호판 영역 중에서 인식된 오브젝트별 영역은 도 6의 (a)와 같다. 상기 오브젝트별 영역별로 숫자 또는 문자를 인식함으로써 제어기(200)는 차량번호 뒷숫자 4자리를 검출할 수 있다. 상기 제어기(200)는 차량번호판 영역 중 숫자 4자리 부분의 사각 영역을 검출하고, 사각 영역의 가로 중심선을 추가하여 영역 분할을 수행하여 상기 사각 영역의 중심점을 획득한다. 여기서, 상기 숫자 4자리 부분의 사각 영역은 도 6의 (b)에 도시한 바와 같다.
이후 상기 제어기(200)는 제1 및 제2카메라(102,104)로부터 촬상된 촬상정보들로부터 미리 정의된 기준 위치에서 차량번호판 영역을 검출하고, 그 차량번호판 영역이 상기 기준크기 정보에 대응되도록 하는 제1 및 제2카메라(102,104)의 줌(Zoom)을 조정하는 캘리브레이션 파라메터를 생성하고, 그에 따라 상기 제1 및 제2카메라(102,104)의 줌을 변경하여 캘리브레이션을 이행한다. 상기 캘리브레이션 파라메터는 메모리부(214)에 저장된다. 여기서, 상기 기준값 및 기준 위치는 도 7에 예시한 바와 같이 결정될 수 있다.
이러한 과정을 거쳐 초기 캘리브레이션이 이행되었거나 이미 초기 캘리브레이션이 이행된 상태이라면, 상기 제어기(200)는 상기 스테레오 촬상정보로부터 차량번호를 인식한다(408단계). 상기 차량번호 인식은 도 9에 예시한 바와 같이 스테레오 촬상정보인 제1 및 제2카메라(102,104)로부터의 촬상정보들에서 각각 이루어져, 차량번호 인식영역은 2개가 존재하여야 한다.
상기 제어기(200)는 상기 스테레오 촬상정보로부터 인식해낸 차량번호 인식영역이 2개인지를 체크한다(410단계). 상기 차량번호 인식영역이 2개가 아니면, 상기 제어기(200)는 차량번호가 인식되지 않은 촬상정보에서 차량번호 인식영역으로 가정할 후보영역을 결정한다.
상기 후보영역은 도 10에 예시한 바와 같이 결정될 수 있다. 먼저 제어기(200)는 차량번호가 인식된 촬상정보에서 차량번호판이 포함되는 임의의 후보영역 서치영역을 결정함과 아울러 차량번호판의 뒷숫자 4자리 영역을 검출하고, 그 뒷숫자 4자리 영역에 대한 특징점을 검출한다. 이후 상기 제어기(200)는 차량번호가 인식되지 않은 촬상정보에서의 후보 서치영역에서 상기 뒷숫자 4자리 영역에 대한 특징점을 가지는 후보영역을 검출한다. 이러한 후보영역의 검출은 특징점 매칭 알고리즘(SIFT)을 이용하여 검출될 수 있다.
상기한 바와 같이 후보영역이 결정되면, 상기 제어기(200)는 상기 2개의 차량번호 인식영역 또는 하나의 차량번호 인식영역과 후보영역을 기준으로 해당 차량의 3차원 깊이정보를 산출한다.
특히 상기 제어기(200)는 도 11에 예시한 바와 같이 상기 차량번호 인식영역 또는 후보영역 중, 뒷숫자 4자리 영역의 중심점을 특징점으로 결정하고, 이 특징점을 기준으로 3차원 깊이정보를 산출함으로써 처리속도 및 정확도를 향상시킨다.
상기 3차원 깊이정보 산출식은 수학식 1에 따른다.
Figure 112017060017613-pat00001
상기 수학식 1에서, X,Y,Z는 한점의 월드(World) 좌표계에서의 해당 특징점의 실제위치를 나타내고, Tx는 베이스라인(baseline)이고, f는 촛점거리(focal length)이고, xl,yl,xr,yr은 제1 및 제2카메라(102,104)로부터 획득된 촬상정보에서의 특징점의 위치를 나타내고, Z는 단속차량과 대상차량 사이의 거리이고, d는 제1카메라 특징점(xl,yl)과 제2카메라 특징점(xr,yr) 사이의 차이이다.
상기의 캘리브레이션 과정을 통해서 획득된 f(Focal Length), Tx(제1 및 제2카메라 사이의 거리)의 파라메터와 제1 및 제2카메라(102,104)로부터 획득된 촬상정보에서의 특징점인 번호판 중심점,(xl,yl,kr,yr)을 이용하면 거리정보 Z를 구할 수 있다. 상기 수학식 1에서 제1카메라(102)로부터 획득된 특징점(xl,yl)과 제2카메라(104)로부터 획득된 특징점(xr,yr)의 차이 (d)를 구하면 (Xl-Xr)이 되고, 이것은 X-Tx와 동일하다. 즉, 거리 정보 Z는 제1카메라 특징점(xl,yl)과 제2카메라 특징점(xr,yr) 사이의 차이가 클수록 짧아지게 된다. 또한 본 발명은 특징점에 대해서만 계산함으로써, 속도 향상 및 정확도를 높일 수 있다.
이후 상기 제어기(200)는 캘리브레이션의 재수행이 요구되는지를 체크한다(416단계). 여기서 상기 캘리브레이션의 재수행 요구는 미리 정해둔 주기가 도래하였거나 사용자 요청시 발생될 수 있다.
상기 캘리브레이션의 재수행이 요구되면, 상기 제어기(200)는 본 발명의 바람직한 실시예에 따라 캘리브레이션을 재수행한다.
상기 캘리브레이션 재수행을 위해 제어기(200)는 도 8에 예시한 바와 같이 미리 정해둔 시간간격마다의 스테레오 촬상정보들 중 미리 정해둔 다수개(N)의 스테레오 촬상정보들을 추출하고, 이 추출된 다수개의 스테레오 촬상정보 각각에 대해 어느 한 차량에 대한 차량번호판의 뒷숫자 4자리의 사각영역들 및 그 사각영역들을 분할하여 특징점들을 생성하고, 시간 경과에 따라 변화되는 상기 특징점들 사이의 상대거리가 제1 및 제2카메라(102,104)에서 동일하게 발생되도록 제1 및 제2카메라(102,104)의 줌 및 렌즈왜곡을 보정하는 캘리브레이션 파라메터를 생성하고, 이에 따라 상기 제1 및 제2카메라(102,104)의 줌 및 렌즈왜곡을 보정하는 캘리브레이션을 이행한다. 상기 캘리브레이션 파라메터는 메모리부(214)에 저장된다.
이후 상기 제어기(200)는 주요 특징점(번호판 중심점)을 이용하여 단속차량의 속도와 상기 거리변화량을 토대로 대상차량의 속도를 계산한다. 이는 도 12에 예시한 바와 같다.
상기 제어기(200)는 상기 대상차량에 대한 검지정보를 미도시된 사용자 인터페이스를 통해 표시함으로써 사용자에게 대상차량에 대한 검지정보를 안내한다(424단계). 상기 검지정보는 도 13에 예시한 바와 같이 차량 외형, 번호영역 촬상정보, 특징점 표식, 차량번호, 속도, 거리, 특징점 좌표 등으로 구성될 수 있다. 또한 상기 제어기(200)는 규정속도를 벗어난 차량에 대한 식인을 높이기 위해 규정속도를 지키는 차량에 대해서는 긍정적인 색상, 예를 들어 녹색 등의 표식을 부가할 수 있고, 규정속도를 지키지 않는 차량에 대해서는 부정적인 색상, 예를 들어 적색 등의 표식을 부가할 수 있으며, 이러한 표식은 일정시간이 경과하면 삭제할 수도 있다.
또한 상기 제어기(200)는 상기 검지정보를 내부 메모리부에 저장하거나 외부로 전송하여 원격 모니터링을 가능하게 할 수도 있다(426단계).
상기한 본 발명의 바람직한 실시예에서는 단속차량에 부착된 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치에 대해서만 기술하였으나, 상기 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치는 차량의 진출입구에 설치된 구조물에 고정설치될 수도 있다.
이와 같이 고정설치된 경우에는 도 14에 도시한 바와 같이 차량의 진입방향 및 이탈방향에서 도로상의 차량을 스테레오 촬상하여 속도를 측정하고, 그에 따른 단속정보를 생성하여 미도시된 사용자 인터페이스를 통해 출력하여 사용자에게 안내할 수 있다.
또한 본 발명에 따르는 스테레오 촬상정보는 메모리부에 저장되어 백 트레킹(back tracking) 방식으로 규정속도를 지키지 않는 차량에 대해 재검증을 이행하고, 재검증한 차량에 대해서만 단속대상으로 결정하여 단속의 정확도를 높일 수 있다.
100 : 촬상장치
102 : 제1카메라
104 : 제2카메라
106 : 조명부
108 : 동기화신호 송출기
110 : 인터페이스 보드
200 : 제어기
202 : 영상수신부
204 : 차량번호 인식부
206 : 캘리브레이션부
208 : 3차원정보 획득부
210 : 속도계산부
212 : GUI 표출부
214 : 메모리부
300 : 전원부

Claims (10)

  1. 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치에 있어서,
    스테레오 촬상을 이행하는 제1 및 제2카메라; 및
    상기 스테레오 촬상을 이행하는 제1 및 제2카메라 각각으로부터 촬상정보를 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하고,
    상기 촬상정보 각각에 대해 차량번호판의 일부 영역의 크기가 동일하게 되도록 상기 제1 및 제2카메라의 줌을 조정하고
    상기 제1 및 제2카메라 각각으로부터 촬상정보 중 미리 정해둔 시간 간격의 촬상정보를 다수 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하고,
    상기 촬상정보 각각에 대해 차량번호판의 일부 영역에서 추출한 특징점 사이의 상대거리가 동일하게 되도록 렌즈왜곡을 보정하는 캘리브레이션 파라메터를 생성하고, 상기 캘리브레이션 파라메터로 상기 제1 및 제2카메라의 렌즈왜곡을 보정하고,
    상기 차량번호판의 일부 영역을 이용하여 대상 차량의 속도를 검출하는 제어기;를 구비하며,
    상기 제어기는,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보 중 어느 하나로부터만 차량번호 인식영역이 검출되면,
    상기 차량번호 인식영역을 포함하는 후보 서치영역을 결정하고,
    상기 차량번호 인식영역이 검출되지 않은 촬상정보의 후보 서치영역에서 상기 차량번호 인식영역 중 일부 숫자 영역과 매칭되는 후보영역을 서치하고,
    상기 차량번호 인식영역 중 일부 숫자 영역의 중심점과 상기 후보영역의 중심점을 검출하여 대상 차량의 3차원 깊이 정보를 산출하고, 상기 3차원 깊이 정보를 이용하여 대상 차량의 속도를 검출함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치.
  2. 제1항에 있어서,
    상기 제어기가,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보에서 상기 차량번호판의 일부 숫자영역의 크기와 중심점이 동일하게 되도록 상기 제1 및 제2카메라의 줌을 이행함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치.
  3. 제1항에 있어서,
    상기 제어기가,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보에서 상기 차량번호판의 일부 숫자영역의 크기가 미리 정해둔 크기가 되도록 상기 제1 및 제2카메라의 줌을 조정하는 캘리브레이션을 이행함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치.
  4. 제1항에 있어서,
    상기 제어기는,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보에서 차량번호 인식영역이 각각 검출되면,
    상기 차량번호 인식영역들 각각에 대해 중 일부 숫자 영역의 중심점을 검출하여 대상 차량의 3차원 깊이 정보를 산출하고, 상기 3차원 깊이 정보를 이용하여 대상 차량의 속도를 검출함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치.
  5. 삭제
  6. 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법에 있어서,
    제어기가, 스테레오 촬상을 이행하는 제1 및 제2카메라 각각으로부터 촬상정보를 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하는 단계;
    상기 촬상정보 각각에 대해 차량번호판의 일부 영역의 크기가 동일하게 되도록 상기 제1 및 제2카메라의 줌을 조정하는 단계;
    상기 제1 및 제2카메라 각각으로부터 촬상정보 중 미리 정해둔 시간 간격의 촬상정보를 다수 입력받아, 상기 촬상정보 각각에 포함된 차량번호판의 일부 영역을 검출하는 단계;
    상기 촬상정보 각각에 대해 차량번호판의 일부 영역에서 추출한 특징점 사이의 상대거리가 동일하게 되도록 렌즈왜곡을 보정하는 캘리브레이션 파라메터를 생성하고, 상기 캘리브레이션 파라메터로 상기 제1 및 제2카메라의 렌즈왜곡을 보정하는 단계;
    상기 차량번호판의 일부 영역을 이용하여 대상 차량의 속도를 검출하는 단계; 및
    상기 제1 및 제2카메라 각각으로부터의 촬상정보 중 어느 하나로부터만 차량번호 인식영역이 검출되면,
    상기 차량번호 인식영역을 포함하는 후보 서치영역을 결정하고,
    상기 차량번호 인식영역이 검출되지 않은 촬상정보의 후보 서치영역에서 상기 차량번호 인식영역 중 일부 숫자 영역과 매칭되는 후보영역을 서치하고,
    상기 차량번호 인식영역 중 일부 숫자 영역의 중심점과 상기 후보영역의 중심점을 검출하여 대상 차량의 3차원 깊이 정보를 산출하고, 상기 3차원 깊이 정보를 이용하여 대상 차량의 속도를 검출하는 단계;를 구비함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법.
  7. 제6항에 있어서,
    상기 제어기가,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보에서 상기 차량번호판의 일부 숫자영역의 크기와 중심점이 동일하게 되도록 상기 제1 및 제2카메라의 줌을 이행함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법.
  8. 제6항에 있어서,
    상기 제어기가,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보에서 상기 차량번호판의 일부 숫자영역의 크기가 미리 정해둔 크기가 되도록 상기 제1 및 제2카메라의 줌을 조정하는 캘리브레이션을 이행함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법.
  9. 제6항에 있어서,
    상기 제어기는,
    상기 제1 및 제2카메라 각각으로부터의 촬상정보에서 차량번호 인식영역이 각각 검출되면,
    상기 차량번호 인식영역들 각각에 대해 중 일부 숫자 영역의 중심점을 검출하여 대상 차량의 3차원 깊이 정보를 산출하고, 상기 3차원 깊이 정보를 이용하여 대상 차량의 속도를 검출함을 특징으로 하는 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 방법.
  10. 삭제
KR1020170079163A 2017-06-22 2017-06-22 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법 KR101828558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170079163A KR101828558B1 (ko) 2017-06-22 2017-06-22 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170079163A KR101828558B1 (ko) 2017-06-22 2017-06-22 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101828558B1 true KR101828558B1 (ko) 2018-02-14

Family

ID=61229618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170079163A KR101828558B1 (ko) 2017-06-22 2017-06-22 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101828558B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004548A1 (zh) * 2019-07-08 2021-01-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
WO2021077205A1 (en) 2019-10-26 2021-04-29 Genetec Inc. Automated license plate recognition system and related method
US11367267B2 (en) 2018-02-08 2022-06-21 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009085651A (ja) 2007-09-28 2009-04-23 Hitachi Ltd 画像処理システム
JP6035620B2 (ja) * 2013-07-29 2016-11-30 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009085651A (ja) 2007-09-28 2009-04-23 Hitachi Ltd 画像処理システム
JP6035620B2 (ja) * 2013-07-29 2016-11-30 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367267B2 (en) 2018-02-08 2022-06-21 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image
US11830256B2 (en) 2018-02-08 2023-11-28 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image
WO2021004548A1 (zh) * 2019-07-08 2021-01-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
WO2021077205A1 (en) 2019-10-26 2021-04-29 Genetec Inc. Automated license plate recognition system and related method
US11188776B2 (en) 2019-10-26 2021-11-30 Genetec Inc. Automated license plate recognition system and related method
EP4022590A4 (en) * 2019-10-26 2022-12-28 Genetec Inc. AUTOMATED LICENSE PLATE RECOGNITION SYSTEM AND ASSOCIATED METHOD

Similar Documents

Publication Publication Date Title
JP4461091B2 (ja) 位置検出装置及びその補正方法
JP5615441B2 (ja) 画像処理装置及び画像処理方法
TWI689870B (zh) 相對於一固定攝影機來校準另一水平移動、俯仰、變焦攝影機之方向之方法及用來執行所述校準之系統
KR101828558B1 (ko) 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
EP2624575A1 (en) Image processing device and image capturing device using same
JP5371725B2 (ja) 物体検出装置
JP4957134B2 (ja) 距離計測装置
JP2005310140A (ja) オブジェクトの認識及び／又は追跡方法
CN104215179B (zh) 使用激光位移传感器动态测量钢坯宽度的方法
KR101984414B1 (ko) 과금 위치 평가용 정보 제공 시스템
US11468691B2 (en) Traveling lane recognition apparatus and traveling lane recognition method
JP2012068935A (ja) 車両用対象物認識装置
KR20140123302A (ko) 영상 처리 장치 및 그 제어방법
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11233961B2 (en) Image processing system for measuring depth and operating method of the same
JP2013161190A (ja) 物体認識装置
JP2003061075A (ja) 物体追跡装置、物体追跡方法および侵入者監視システム
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
KR101798988B1 (ko) 차량 하부 모니터링 시스템
KR101465236B1 (ko) 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
JP4032052B2 (ja) 位置検出装置及びその補正方法
JP3491029B2 (ja) 自動監視装置
JP4224449B2 (ja) 画像抽出装置
JP6734994B2 (ja) ステレオ計測装置及びシステム
CN105929819B (zh) 一种控制电子设备的方法及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration