KR102003387B1 - 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 - Google Patents

조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR102003387B1
KR102003387B1 KR1020180121171A KR20180121171A KR102003387B1 KR 102003387 B1 KR102003387 B1 KR 102003387B1 KR 1020180121171 A KR1020180121171 A KR 1020180121171A KR 20180121171 A KR20180121171 A KR 20180121171A KR 102003387 B1 KR102003387 B1 KR 102003387B1
Authority
KR
South Korea
Prior art keywords
vehicle
bird
obstacle
detecting
view image
Prior art date
Application number
KR1020180121171A
Other languages
English (en)
Inventor
금동석
김영석
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180121171A priority Critical patent/KR102003387B1/ko
Application granted granted Critical
Publication of KR102003387B1 publication Critical patent/KR102003387B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06K9/00805—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법은, 차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받는 단계; 상기 카메라의 위치 및 촬영 각도 정보에 따라 산출되는 원근 행렬을 산출하는 단계; 상기 원근 행렬에 의해 상기 정면도 이미지를 조감도 이미지로 변환하는 단계; 상기 조감도 이미지에서, 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상을 검출하는 단계; 및 상기 장애물 특징 형상에 기초하여, 상기 조감도 이미지 상에서 장애물의 위치, 차량의 위치 및 선수각을 산출하는 단계를 포함한다. 이에 의하면, 차량을 포함하는 장애물에 대한 검출 및 위치 특정이 신속하고 정확하게 수행될 수 있다.

Description

조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체{METHOD FOR DETECTING AND LOCATING TRAFFIC PARTICIPANTS USING BIRD'S-EYE VIEW IMAGE, COMPUTER-READERBLE RECORDING MEDIUM STORING TRAFFIC PARTICIPANTS DETECTING AND LOCATING PROGRAM}
본 발명은 차량 또는 구조물에 장착된 카메라에서 촬영되는 이미지를 이용하여 교통 장애물을 검출하고 위치를 특정하는 기술에 관한 것이다.
현재, 자동차의 첨단 운전자 보조 시스템(advanced driver assistance system, ADAS)과 자율주행 기술은 빠르게 시장이 확장되고 있다. 이에 따라 활발한 연구가 진행되고 있고, 전통적인 자동차 제조업체뿐만 아니라 IT 기업, 부품 제조사 등이 시장에 참여하고 있다. 또한, CCTV(closed-circuit television) 등을 이용하여 차량 등을 감시하는 기술 분야도 인공 지능 기술의 발전에 따라 적용 분야가 확대되고 기술 수준이 향상되고 있다.
이러한 기술 구현에 있어서는, 카메라에서 촬영되는 이미지 등의 시각 정보를 분석하여 차량 및 장애물을 검출하고 거리를 측정하는 것이 주요 과제가 되며, 특히 첨단 운전자 보조 시스템이나 자율주행 기술에 있어서는 신속하고 정확한 정보 처리가 요구된다.
구체적으로, 첨단 운전자 보조 시스템 및 자율주행에 있어서는 차량 또는 장애물을 검출하는 것은 물론 위치를 3차원 공간에서 정확히 측정하는 것이 중요하다. 그러나, 기존 컴퓨터 비전 기술들은 이미지 뷰에서 bounding box를 정확히 검출하는 문제에 집중하여, 이러한 3D 위치 측정 기술로는 적합하지 못하고, 따라서 이미지 상에서 검출 후 별도의 3D 위치 측정기술이 필요하다.
이와 관련하여, 종래 기술로서 스테레오 영상에 기반한 차량 검출 기술인 특허문헌 1이 개시된 바 있다. 구체적으로, 특허문헌 1은 차선 검출, 유효 탐색 영역 설정 및 유효 탐색 영역 내 장애물 검출의 단계를 포함한다. 다만, 특허문헌 1은 두 대의 카메라 이미지를 기반으로 시차맵을 생성하는 구성을 필수적으로 포함하고 차선 정보에 기반한 유효 영역을 검출하는 복잡한 단계를 거친다는 문제점과, 유효 영역에서 물체를 검출할 때 물체의 크기가 거리에 따라 달라져 컴퓨터 자원의 소모가 크다는 문제점 등이 있다. 또한, 스테레오 영상에 의한 히스토그램 정보만을 이용한다는 점에서 정확도가 떨어질 수 있고 물체의 방향을 검출하는 것은 불가능하다.
이에, 촬영된 이미지에 기초하여 차량이나 장애물을 검출하고 그 위치를 정확히 특정하는 정보 처리 방법에 있어서, 그 정확도와 처리 속도를 높일 수 있는 기술이 요구된다.
KR 10-1716973 B1 (2007.03.09. 등록)
본 발명의 일 목적은 촬영되어 입력되는 정면도 이미지를 조감도 이미지로 변환하고, 그 조감도 이미지를 이용하여 교통 장애물을 검출함으로써 그 위치를 동시에 측정할 수 있는 교통 장애물의 검출 및 거리 측정 방법을 제공하기 위한 것이다.
본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법은, 차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받는 단계; 상기 카메라의 위치 및 촬영 각도 정보에 기초하여 산출되는 원근 행렬(perspective matrix)을 산출하는 단계; 상기 원근 행렬에 의해 상기 정면도 이미지를 조감도 이미지로 변환하는 단계; 상기 조감도 이미지에서, 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상을 검출하는 단계; 및 상기 장애물 특징 형상에 기초하여, 상기 조감도 이미지 상에서 장애물의 위치, 차량의 위치 및 선수각(heading angle)을 산출하는 단계를 포함한다.
상기 원근 행렬을 산출하는 단계에서는 상기 카메라가 장착된 차량의 피치(pitch) 정보를 입력 받아 상기 원근 행렬이 보정될 수 있다.
상기 차량의 피치 정보는 상기 카메라가 장착된 차량에 설치된 관성 측정 유닛(inertial measurement unit, IMU) 센서에서 감지되는 측정값에 의해 산출될 수 있다.
상기 차량의 피치 정보는 상기 정면도 이미지로부터 주변 특징 형상을 검출하는 컴퓨터 비전(computer vision) 기법에 의해 산출될 수 있다.
상기 장애물 특징 형상의 검출은 서포트 벡터 머신(support vector machine, SVM) 방법에 기초하거나, 컨볼루션 신경망 네트워크(convolution neural network, CNN)를 포함하는 딥러닝 방법에 기초하여 수행될 수 있다.
상기 차량의 가장자리 특징 형상은, 상기 조감도 이미지에서 상기 카메라가 장착된 차량의 진행 방향으로의 거리를 변수로 하여 변화되는 형상으로 검출될 수 있다.
상기 장애물 특징 형상은, 상기 조감도 이미지에서 검출되는 회피 대상 이미지를 포함할 수 있다.
상기 조감도 이미지 상에서 장애물의 위치와 차량의 위치는 실제 장애물 또는 차량이 존재하는 위치와 선형 관계를 가질 수 있다.
상기 선수각의 산출은 상기 차량의 가장자리 특징 형상의 외곽선의 각도를 측정하여 산출될 수 있다.
상기 장애물 특징 형상을 검출하는 단계와, 상기 조감도 이미지 상에서 장애물의 위치와 차량의 위치 및 선수각을 산출하는 단계는 동시에 수행될 수 있다.
한편, 본 발명에 따른 컴퓨터 판독가능 기록매체는, 조감도 이미지를 이용하여 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 것으로서, 상기 장애물을 검출하고 거리를 측정하는 프로그램은, 차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받고, 상기 카메라의 위치 및 촬영 각도 정보에 따라 산출되는 원근 행렬(perspective matrix)에 의해 상기 정면도 이미지를 조감도 이미지로 변환하고, 상기 조감도 이미지에서, 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상을 검출하여, 상기 장애물 특징 형상에 기초하여, 상기 조감도 이미지 상에서 장애물의 위치, 차량의 위치 및 선수각(heading angle)을 검출하도록 이루어진다.
본 발명에 의하면, 조감도 이미지 상에서 교통 장애물의 존재 유무의 검출 및 그 위치 특정이 한꺼번에 이루어짐으로써, 단순하고 신속한 검출 및 정확한 거리 측정이 구현될 수 있다. 구체적으로, 조감도 이미지 상에서는, 차량이 존재하는 것으로 파악되는 차량의 가장자리 특징 형상이 정면도 이미지에서보다 간결한 모양을 갖고 대체로 일정한 크기를 갖게 되므로, 컴퓨터 자원이 절약되고 동작 시간이 단축될 수 있다. 아울러, 정면도 이미지에서 차량을 검출 할 경우 실제 3D 공간상에서 차량 위치 계산을 위해 별도의 알고리즘을 사용해야만 가능한 것과는 달리, 조감도 이미지에 기초하므로 차량의 위치와 함께 진행 방향이 확인될 수 있는 이점이 있다.
도 1은 본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법의 순서도이다.
도 2는 본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법을 요약하여 보인 도면이다.
도 3은 본 발명에 따라 원근 행렬에 의해 정면도 이미지를 조감도 이미지로 변환한 일 예를 보인 도면이다.
도 4는 본 발명에 따라 변환된 조감도 이미지에서 검출되는 차량의 가장자리 특징 형상과 조감도 이미지에서 검출된 차량 가장자리 박스의 일 예를 보인 도면이다.
도 5는 본 발명에 따라 교통 장애물을 조감도 이미지 상에서 검출한 결과의 일 예를 보인 도면이다.
도 6은 본 발명에 따라 교통 장애물을 조감도 이미지 상에서 검출하고 시각화를 위해 정면도 이미지 상에 표현한 일 예를 보인 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 따른 교통 장애물의 검출 및 거리 측정 방법은 카메라에 의해 촬영되는 이미지(정면도 이미지)를 지면을 좌표 평면으로 하는 조감도 이미지로 변환하고, 조감도 이미지 상에서 차량을 포함하는 교통 장애물을 검출하고 위치를 특정하도록 구성된다.
도 1은 본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법의 순서도이고, 도 2는 본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법을 요약하여 보인 도면이다. 또한, 도 3은 본 발명에 따라 원근 행렬에 의해 정면도 이미지를 조감도 이미지로 변환한 일 예를 보인 도면이고, 도 4는 본 발명에 따라 변환된 조감도 이미지에서 검출되는 차량의 가장자리 특징 형상의 일 예를 보인 도면이며, 도 5는 본 발명에 따라 교통 장애물을 검출한 결과의 일 예를 보인 도면이다.
도 1을 참조하면, 본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법은, 정면도 이미지를 입력 받는 단계(S10)와, 원근 행렬을 산출하는 단계(S20)와, 정면도 이미지를 조감도 이미지로 변환하는 단계(S30)와, 장애물 특징 형상을 검출하는 단계(S40)와, 장애물의 위치와 차량의 위치 및 선수각을 산출하는 단계(S50)를 포함한다.
정면도 이미지를 입력 받는 단계(S10)에서는, 차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받는다. 운행하는 차량에 장착된 카메라에서 촬영되는 정면도 이미지는 첨단 운전자 보조 시스템이나 자율주행을 위한 정보로 이용되는 것일 수 있고, 정지된 구조물에 장착된 카메라에서 촬영되는 정면도 이미지는 보안이나 차량 감시 등에 사용되는 것일 수 있다.
여기서, 정면도 이미지는 지평선이 중심 부분에 위치되도록 촬영되는 이미지일 수 있다. 다만, 소실점(vanishing point)이 반드시 이미지의 정중앙에 위치되는 이미지에 한하는 것은 아니다. 차량에 장착된 카메라에서 촬영된 정면도 이미지의 경우, 차량이 진행되는 전방 영역을 향하여 촬영한 이미지가 될 수 있다. 또한, 차량의 경우, 정면도 이미지는 차량에 장착되어 있는 블랙박스 등의 녹화 장치로부터 전송 받은 이미지일 수 있다.
원근 행렬을 산출하는 단계(S20)에서는, 정면도 이미지를 촬영하는 카메라의 위치 및 촬영 각도에 기초하여 원근 행렬(perspective matrix)이 산출된다. 원근 행렬은 정면도 이미지를 후술하는 조감도 이미지로 변환하기 위한 것으로, 정면도 이미지가 촬영된 카메라의 위치(예를 들면, 지면으로부터의 높이)와, 카메라의 촬영 각도에 기초하여 산출될 수 있다. 본 발명에서의 원근 행렬은 2차원 이미지인 정면도 이미지로부터 3차원 공간의 정보를 도출해내도록 구성될 수 있다.
다음으로, 산출된 원근 행렬에 의해 정면도 이미지가 조감도 이미지(bird's-eye view image)로 변환된다. 도 2 및 3을 참조하면, 본 발명에 의해 변환되는 조감도 이미지의 예를 확인할 수 있다. 도시된 것과 같이, 조감도 이미지는 카메라에 의해 촬영된 공간을 상측에서 내려다 본 이미지일 수 있다. 즉, 정면도 이미지의 지면은 2차원 조감도 이미지의 좌표 평면(xy 평면)이 될 수 있다. 운행 중인 차량에 장착된 카메라에서 촬영되는 정면도 이미지로부터 변환되는 조감도 이미지는, 운행 중인 차량의 전방 영역에 대한 이미지일 수 있다.
장애물 특징 형상을 검출하는 단계(S40)에서는, 앞서 산출된 조감도 이미지에서 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상이 검출될 수 있다. 본 발명에서, 장애물 특징 형상은 조감도 이미지에서 검출되는 형상으로서, 도 4에 보인 것과 같이 실제 모습(정면도 이미지에서 보이는 형상)과는 상이한 형상일 수 있다.
또한, 본 발명에서 검출되는 장애물 특징 형상은 차량의 가장자리 특징 형상을 포함할 수 있다. 도시된 것과 같이, 차량의 가장자리 특징 형상은 조감도 이미지에서 검출되는 형상으로, 조감도 이미지 상에서 차량으로 인식될 수 있는 형상을 의미한다. 구체적으로, 차량의 가장자리 특징 형상은 지면에서 이동되는 차량의 하부 또는 지면에 형성되는 차량의 그림자를 포함하는 영역일 것일 수 있다.
나아가, 본 발명에서 검출되는 장애물 특징 형상은 회피 대상 이미지를 포함할 수 있다. 회피 대상 이미지는 조감도 이미지에서 검출되는 이미지로서, 예를 들면, 도로 상에 존재하는 보행자, 자전거, 낙하된 물체 등 차량의 운행 시 회피하여야 하는 물체를 포함할 수 있다.
아울러, 본 발명에서는, 장애물 특징 형상에 기초하여 장애물의 위치와 차량의 위치 및 선수각(heading angle)이 산출될 수 있다(S50). 즉, 각 장애물 특징 형상의 조감도 이미지 상에서의 위치가 특정될 수 있다. 조감도 이미지 상에서의 위치가 정량적으로 산출됨으로써, 조감도 이미지에서 하단 중앙 부분에 위치하는 카메라가 장착된 차량(운행 차량)과의 거리에 대한 정보가 확보될 수 있다.
또한, 차량의 가장자리 특징 형상에 대한 정보로부터, 그 차량의 위치뿐만 아니라 선수각이 산출될 수 있어, 장애물이 될 수 있는 차량의 진행 방향에 대한 정보가 얻어질 수 있게 된다. 선수각의 산출은, 예를 들면, 차량의 가장자리 특징 형상의 외곽선의 각도를 측정하여 산출될 수 있다. 결과적으로, 도 4에 보인 것과 같이, 조감도 이미지 상에서 일정 영역을 차지하는 차량의 위치와 각도를 나타내는 차량 가장자리 박스가 산출될 수 있다. 도시된 것과 같이, 차량 가장자리 박스는 조감도 이미지 상에서 차량의 크기 및 진행 방향에 대한 정보를 포함할 수 있다.
나아가, 본 발명에서는, 도 2 및 5에 보인 것과 같이, 조감도 이미지에서 차량(장애물)의 존재가 검출되므로, 장애물이 되는 차량의 존재 여부에 대한 검출(S40)과 구체적인 위치(운행 차량과의 거리) 측정(S50)이 동시에 이루어질 수 있다.
본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법은, 종래 차선을 감지하여 유효 영상을 형성하는 방법과 비교하여, 간단하고 단순한 단계들로 이루어진다. 또한, 조감도 이미지에서 검출되는 차량의 가장자리 특징 형상은 가장자리가 xy 평면 상에서 수직 또는 수평선으로 표시될 수 있어, 차량의 외곽이 효율적으로 검출될 수 있다.
본 발명에 따른 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법은, 조감도 이미지에서 검출된 장애물의 위치가 실제 장애물이 존재하는 위치와 선형 관계를 가진다. 따라서 정면도 이미지에서 장애물의 위치를 검출하는 것과 달리 추가적인 프로세스나 센서 없이 장애물까지의 거리를 추정할 수 있다.
나아가, 조감도 이미지에서는 운행 차량과의 진행 방향으로의 거리(y좌표)에 따라 장애물 특징 형상(이미지)의 크기가 대체로 일정하게 확보될 수 있다. 이에 따라, 차량 검출 동작 시 사용되는 컴퓨터 자원의 절약 및 동작 시간 단축이 구현될 수 있다.
또한, 종래 차량에 장착되는 장애물(차량) 검출 및 위치 측정 방법은 레이더, 라이다, 초음파 센서 등 추가적인 액티브 센서에 의해 정보가 감지되도록 구성된다. 그러나, 본 발명의 방법에 따르면, 차량에 블랙박스 용도 등으로 장착되는 카메라에 연동되어 정면도 이미지를 전송 받아 이용하도록 이루어질 수 있으므로, 구성이 단순하고 경제적이다.
한편, 본 발명에 따라 원근 행렬을 산출하는 단계(S20)에서는 카메라가 장착된 차량의 피치(pitch) 정보가 반영되어 원근 행렬이 보정될 수 있다. 정면도 이미지를 촬영하는 카메라가 차량에 장착되어 있는 경우, 차량이 운행되는 도로의 지형(요철 또는 경사도)에 따라 정면도 이미지가 변화될 수 있다.
구체적으로, 차량의 피치 정보는 카메라가 장착된 운행 차량에 설치된 관성 측정 유닛(inertial measurement unit, IMU) 센서에서 감지되는 측정값에 의해 산출될 수 있다. 또는, 차량의 피치 정보는 정면도 이미지로부터 주변 특징 형상을 검출하는 컴퓨터 비전 기법에 의해 산출될 수 있다. 주변 특징 형상은 정면도 이미지에서 상대적으로 움직임이 적은(정지된) 기준점으로 인식되는 형상을 의미할 수 있다. 이러한 주변 특징 형상이 인식되어 설정되면, 이에 기초하여 운행 차량의 가변되는 피치에 대한 정보가 산출될 수 있다.
이와 같이, 본 발명에서는 차량이 운행되는 방향으로의 지면의 경사각에 의해 형성되는 차량의 피치 정보(각도)가 원근 행렬의 산출에 반영될 수 있다. 피치 값의 변화를 반영함으로써, 차량의 자세 변화에 따라 카메라의 촬영 각도가 변화되어 발생될 수 있는 오차가 감소될 수 있다.
다른 한편으로, 본 발명에서 차량의 가장자리 특징 형상의 검출 알고리즘은 서포트 벡터 머신(support vector machine, SVM) 방법에 기초한 것일 수 있다. 또는 본 발명에서 차량의 가장자리 특징 형상의 검출 알고리즘은 컨볼루션 신경망 네트워크(convolution neural network, CNN)을 포함하는 딥러닝 방법에 기초한 것일 수 있다. 이러한 방법에 의해, 조감도 이미지 상에서 차량의 가장자리 특징 형상은 세부적으로 다양하게 분류되어 확보될 수 있다. 특히, 차량의 가장자리 특징 형상은 조감도 이미지 상에서 운행 차량의 진행 방향으로의 거리(y좌표)를 변수로 하여 변화되는 형상으로 데이터 베이스화될 수 있고, 각 거리(y좌표)에서 특징적인 차량의 가장자리 특징 형상이 검출될 수 있다.
이와 같은 방법에 의하여 차량의 가장자리 특징 형상이 검출됨으로써, 기존에 스테레오 영상으로 얻어진 히스토그램을 사용하여 물체를 검출하는 것과는 달리, 장애물이 되는 차량의 진행 방향까지 검출될 수 있다. 또한, 주행 상황에서 감지되는 다양한 교통 장애물과 다양한 종류의 차량들이 서로 구분될 수 있게 정보가 얻어질 수 있어, 차량 및 장애물이 검출되는 정확도가 향상될 수 있다.
도 6은 본 발명에 따라 교통 장애물을 조감도 이미지 상에서 검출하고 시각화를 위해 정면도 이미지 상에 표현한 일 예를 보인 도면이다. 본 발명에 의해 조감도 이미지에서 위치가 특정된 교통 장애물에 대한 정보는, 원근 행렬에 의해 변환되어 정면도 이미지 상에 표현될 수 있다. 예를 들면, 실제 정면도 이미지에 본 발명에 의해 산출되는 교통 장애물 정보가 중첩되거나, 가상의 정면도 이미지 뷰에 교통 장애물 정보가 반영되어 디스플레이 됨으로써, 운전자 등에게 시각 정보가 제공될 수 있다.
한편, 본 발명은 조감도 이미지를 이용하여 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체일 수 있다. 여기서, 장애물을 검출하고 거리를 측정하는 프로그램은, 차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받고, 카메라의 위치 및 촬영 각도 정보에 따라 산출되는 원근 행렬에 의해 정면도 이미지를 조감도 이미지로 변환하고, 조감도 이미지에서, 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상을 검출하여, 장애물 특징 형상에 기초하여 상기 조감도 이미지 상에서 장애물의 위치, 차량의 위치 및 선수각을 검출하도록 이루어질 수 있다.
본 발명의 컴퓨터 판독가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들면, 하드 디스크, 플렉시블 디스크, 컴팩트 디스크, 마그넷 옵티컬 디스크, 메모리 카드 등이 될 수 있다.
이상에서 설명한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
또한, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
S10: 정면도 이미지를 입력 받는 단계
S20: 원근 행렬을 산출하는 단계
S30: 정면도 이미지를 조감도 이미지로 변환하는 단계
S40: 장애물 특징 형상을 검출하는 단계
S50: 장애물의 위치와 차량의 위치 및 선수각을 산출하는 단계

Claims (11)

  1. 차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받는 단계;
    상기 카메라의 위치 및 촬영 각도 정보에 따라 산출되는 원근 행렬(perspective matrix)을 산출하는 단계;
    상기 원근 행렬에 의해 상기 정면도 이미지를 조감도 이미지로 변환하는 단계;
    서포트 벡터 머신(support vector machine, SVM) 방법에 기초하거나 컨볼루션 신경망 네트워크(convolution neural network, CNN)를 포함하는 딥러닝 방법에 기초하여, 상기 조감도 이미지에서 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상을 검출하는 단계; 및
    상기 장애물 특징 형상에 기초하여, 상기 조감도 이미지 상에서 장애물의 위치와 차량의 위치 및 선수각(heading angle)을 산출하는 단계를 포함하며,
    상기 장애물 특징 형상을 검출하는 단계와, 상기 조감도 이미지 상에서 장애물의 위치와 차량의 위치 및 선수각을 산출하는 단계는 동시에 수행되고,
    상기 원근 행렬을 산출하는 단계에서는 상기 카메라가 장착된 차량의 피치(pitch) 정보를 입력 받아 상기 원근 행렬이 보정되고,
    상기 차량의 가장자리 특징 형상은 상기 조감도 이미지 상에서 지면에서 이동되는 차량의 하부 또는 그림자를 포함하는 영역이고,
    상기 차량의 위치 및 선수각의 산출은 상기 조감도 이미지 상에서 일정 영역을 차지하는 차량의 위치와 각도를 나타내는 차량 가장자리 박스에 기초하여 산출되는 것을 특징으로 하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 차량의 피치 정보는 상기 카메라가 장착된 차량에 설치된 관성 측정 유닛(inertial measurement unit, IMU) 센서에서 감지되는 측정값에 의해 산출되는 것을 특징으로 하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  4. 제 1 항에 있어서,
    상기 차량의 피치 정보는 상기 정면도 이미지로부터 주변 특징 형상을 검출하는 컴퓨터 비전(computer vision) 기법에 의해 산출되는 것을 특징으로 하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 차량의 가장자리 특징 형상은, 상기 조감도 이미지에서 상기 카메라가 장착된 차량의 진행 방향으로의 거리를 변수로 하여 변화되는 형상으로 검출되는 것을 특징으로 하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  7. 제 1 항에 있어서,
    상기 장애물 특징 형상은, 상기 조감도 이미지에서 검출되는 회피 대상 이미지를 포함하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  8. 제 1 항에 있어서,
    상기 조감도 이미지 상에서 장애물의 위치와 차량의 위치는 실제 장애물 또는 차량이 존재하는 위치와 선형 관계를 갖는 것을 특징으로 하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  9. 제 1 항에 있어서,
    상기 선수각의 산출은 상기 차량의 가장자리 특징 형상의 외곽선의 각도를 측정하여 산출되는 것을 특징으로 하는, 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법.
  10. 삭제
  11. 조감도 이미지를 이용하여 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체로서,
    상기 장애물을 검출하고 거리를 측정하는 프로그램은,
    차량 또는 구조물에 장착된 카메라에서 촬영되는 정면도 이미지를 입력 받고,
    상기 카메라의 위치 및 촬영 각도 정보에 따라 산출되는 원근 행렬(perspective matrix)에 의해 상기 정면도 이미지를 조감도 이미지로 변환하고,
    서포트 벡터 머신(support vector machine, SVM) 방법에 기초하거나 컨볼루션 신경망 네트워크(convolution neural network, CNN)를 포함하는 딥러닝 방법에 기초하여, 상기 조감도 이미지에서 차량의 가장자리 특징 형상을 포함하는 장애물 특징 형상을 검출하고,
    상기 장애물 특징 형상에 기초하여, 상기 조감도 이미지 상에서 장애물의 위치, 차량의 위치 및 선수각(heading angle)을 산출하도록 이루어지며,
    상기 장애물 특징 형상의 검출과, 상기 조감도 이미지 상에서의 장애물의 위치, 차량의 위치 및 선수각의 산출은 동시에 수행되고,
    상기 카메라가 장착된 차량의 피치(pitch) 정보를 입력 받아 상기 원근 행렬이 보정되고,
    상기 차량의 가장자리 특징 형상은 상기 조감도 이미지 상에서 지면에서 이동되는 차량의 하부 또는 그림자를 포함하는 영역이고,
    상기 차량의 위치 및 선수각의 산출은 상기 조감도 이미지 상에서 일정 영역을 차지하는 차량의 위치와 각도를 나타내는 차량 가장자리 박스에 기초하여 산출되는 것을 특징으로 하는 컴퓨터 판독가능 기록매체.
KR1020180121171A 2018-10-11 2018-10-11 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 KR102003387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180121171A KR102003387B1 (ko) 2018-10-11 2018-10-11 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121171A KR102003387B1 (ko) 2018-10-11 2018-10-11 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR102003387B1 true KR102003387B1 (ko) 2019-07-24

Family

ID=67481237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121171A KR102003387B1 (ko) 2018-10-11 2018-10-11 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체

Country Status (1)

Country Link
KR (1) KR102003387B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097673B1 (ko) * 2019-04-29 2020-04-06 주식회사에스에이티 차량의 측면 영상을 이용한 차량 정보 획득 시스템 및 방법
KR102270009B1 (ko) 2020-03-20 2021-06-28 주식회사 인포웍스 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009265783A (ja) * 2008-04-23 2009-11-12 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2011254128A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 平面図生成装置及び平面図生成方法
KR101716973B1 (ko) 2015-11-23 2017-03-15 (주)베라시스 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
KR20180058624A (ko) * 2016-11-24 2018-06-01 고려대학교 산학협력단 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009265783A (ja) * 2008-04-23 2009-11-12 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2011254128A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 平面図生成装置及び平面図生成方法
KR101716973B1 (ko) 2015-11-23 2017-03-15 (주)베라시스 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
KR20180058624A (ko) * 2016-11-24 2018-06-01 고려대학교 산학협력단 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097673B1 (ko) * 2019-04-29 2020-04-06 주식회사에스에이티 차량의 측면 영상을 이용한 차량 정보 획득 시스템 및 방법
KR102270009B1 (ko) 2020-03-20 2021-06-28 주식회사 인포웍스 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
CN108647638B (zh) 一种车辆位置检测方法及装置
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN111024040B (zh) 距离估计方法和设备
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP5089545B2 (ja) 道路境界検出判断装置
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US11430228B2 (en) Dynamic driving metric output generation using computer vision methods
CN113673282A (zh) 目标检测方法和装置
CN110555407B (zh) 路面车辆空间识别方法及电子设备
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
US11200432B2 (en) Method and apparatus for determining driving information
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2018048949A (ja) 物体識別装置
CN111046719A (zh) 用于转换图像的设备和方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Leu et al. High speed stereo vision based automotive collision warning system
Xiong et al. A 3d estimation of structural road surface based on lane-line information

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant