KR20090014124A - 이미지 평가 방법 및 장치 - Google Patents

이미지 평가 방법 및 장치 Download PDF

Info

Publication number
KR20090014124A
KR20090014124A KR1020080076011A KR20080076011A KR20090014124A KR 20090014124 A KR20090014124 A KR 20090014124A KR 1020080076011 A KR1020080076011 A KR 1020080076011A KR 20080076011 A KR20080076011 A KR 20080076011A KR 20090014124 A KR20090014124 A KR 20090014124A
Authority
KR
South Korea
Prior art keywords
image
image data
distance
camera
additional
Prior art date
Application number
KR1020080076011A
Other languages
English (en)
Inventor
스테판 마르틴
베르크만 스테판
Original Assignee
하만 베커 오토모티브 시스템즈 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만 베커 오토모티브 시스템즈 게엠베하 filed Critical 하만 베커 오토모티브 시스템즈 게엠베하
Publication of KR20090014124A publication Critical patent/KR20090014124A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

이미지 평가 방법 및 장치가 제공된다. 이미지 평가 장치는 이미지를 표현하는 이미지 데이터를 수신하는 입력부(4)와 이미지의 이미지 면에 대한 대상물의 거리에 대한 거리 정보를 수신하는 추가의 입력부(5)를 구비하는 처리 장치(3)를 포함한다. 거리 정보는 3D 카메라 장치(7)를 사용하여 캡처되는 깊이 정보를 포함하는 3차원 이미지를 기초로 결정될 수 있다. 처리 장치(3)는 거리 정보와 미리 결정된 기준 거리를 기초로 이미지 데이터의 적어도 일부를 재추출함으로써 재추출 이미지 데이터를 생성하도록 구성되며, 재추출 대상의 이미지 데이터의 일부는 대상물의 적어도 일부를 표현한다.

Description

이미지 평가 방법 및 장치{METHOD AND APPARATUS FOR EVALUATING AN IMAGE}
본 발명은 이미지 평가 방법 및 장치에 관한 것이다. 특히, 본 발명은 차량에 탑재된 운전자 보조 시스템이나 감시 시스템에서와 같은 다양한 환경에서 목적물 인식을 위해 채용될 수 있는 이미지 평가 방법 및 장치에 관한 것이다.
오늘날, 차량은 복수의 운전자 보조 기능을 제공하여 운전자가 차량을 제어하는 것을 보조하고 및/또는 운전 안전을 향상시킨다. 이러한 운전자 보조 기능의 예를 들면, 주차 지원, 충돌 예측 기능, 그리고 제어 로직에 따라 작동될 수 있는 에어백이나 시트 벨트 리트랙터를 포함하는 안전 기능이 있다. 이들 운전자 보조 기능 중 일부는 예컨대 접근하는 장애물을 감지하기 위해 자동 평가되는 이미지 데이터의 형태의 차량 주변에 관한 정보에 의존하거나 적어도 활용할 수 있다. 일부 운전자 보조 기능에서, 차량에 근접한 대상물의 존재는 물론, 차량이나 보행자와 같이 그 "종류"나 "등급"이 자동으로 결정되어 그 결정된 대상물의 등급을 기초로 적절한 동작을 취할 수 있다. 이것은 차량 주변의 일부에 대응하는 시야를 갖는 이미지를 캡처한 후, 그 이미지를 표현하는 이미지 데이터를 평가하여, 기준 데이터와 비교될 수 있는 이미지 데이터에 의해 표현되는 대상물의 특징적인 기하학적 특성이나 크기 등을 기초로 대상물을 검출하고 그 각각의 대상물의 등급을 결정하는 것으로 달성될 수 있다. 이미지 평가에 대한 이러한 종래의 접근 방식은 그와 관련하여 결점을 갖는 경우가 많다. 예를 들면, 이미지 데이터를 기준 데이터에 직접 비교시, 대상물 분류의 신뢰성은 운전자 보조 기능을 탑재한 차량에 대한 대상물의 거리에 의존할 수 있다. 예를 들면, 차량과 멀리 떨어진 화물차는 화물차의 측방 크기가 큰데 기인하여 차량과의 거리가 짧은 차량으로서 부정확하게 식별되거나 그 반대로 될 수 있다.
공공 장소나 사유지에 설치된 감시 카메라 시스템과 같이 이미지에서 대상물을 자동 식별하는 것이 바람직한 다른 경우에도 유사한 문제가 존재한다.
그러므로, 개선된 이미지 평가 방법 및 장치에 대한 요구가 관련 분야에 존재한다. 특히, 평가 대상 이미지를 캡처하는 카메라에 대한 대상물의 상대 거리 변화로 인한 에러 발생이 적은 개선된 이미지 평가 방법 및 장치에 대한 요구가 있다.
본 발명에 따르면, 이 요구는 독립 청구항에 의해 정의된 방법 및 장치에 의해 처리된다. 종속 청구항은 바람직하거나 유리한 실시예를 한정한다.
본 발명의 일 측면에 따르면, 이미지 평가 방법이 제공되며, 이 이미지 평가 방법은 대상물의 적어도 일부를 표현하고 이미지를 표현하는 이미지 데이터를 검색하는 단계와, 이미지의 이미지 면에 대한 대상물의 상대 거리에 관한 거리 정보를 검색하는 단계와, 상기 거리 정보와 미리 결정된 기준 거리를 기초로 상기 이미지 데이터의 적어도 일부를 재추출하는 것에 의해 재추출 이미지 데이터를 생성하는 단계를 포함하고, 재추출되는 상기 이미지 데이터의 일부는 대상물의 적어도 일부를 표현하는 것을 특징으로 한다. 여기에 사용되는 바와 같이, "이미지 면"은 평가 대상의 이미지가 그 이미지를 캡처하는 광학 시스템에 의해 매핑되는 (통상 가상의) 면을 말한다. 이 방법에 따르면, 관심 대상의 대상물을 표현하는 이미지 데이터의 일부가 상기 이미지 면에 대한 대상물의 상대 거리와 상기 미리 결정된 기 준 거리 양자를 기초로 재추출(resampled)된다. 그러므로, 재추출 이미지 데이터에 대한 후속하는 분석은 이미지 면에 대한 대상물의 상대 거리에 의해 덜 영향을 받게 되는데, 이는 상기 방법의 경우 이미지 데이터의 재추출을 통해 거리-관련 효과를 적어도 부분적으로 고려하도록 하기 때문이다.
일 실시예에서, 이미지 데이터의 일부를 재추출하도록 하는 재추출 인자는 대상물의 거리와 기준 거리의 비교를 기초로 결정될 수 있다. 예를 들면, 이미지 데이터의 일부는 대상물의 거리가 상기 기준 거리와 같거나 그보다 큰 미리 결정된 임계치를 초과하는 경우 상방 추출될(upsampled) 수 있거나, 및/또는 이미지 데이터의 일부는 대상물의 거리가 상기 기준 거리와 같거나 그보다 작은 미리 결정된 추가의 임계치보다 작은 경우 하방 추출될(downsampled) 수 있다. 상기 미리 결정된 임계치와 미리 결정된 추가의 임계치는 모두 상기 기준 거리와 거의 동일하도록 선택될 수 있다. 예를 들면, 하나의 예시적 실시예에서, 대상물의 거리가 기준 거리보다 작은 경우, 이미지 데이터의 일부는 대상물의 거리로 나눈 기준 거리와 대략 동일한 하방 추출 인자에 의해 하방 추출될 수 있으며, 대상물의 거리가 기준 거리보다 큰 경우, 이미지 데이터의 일부는 기준 거리로 나눈 대상물의 거리와 대략 동일한 상방 추출 인자에 의해 상방 추출될 수 있다. 대상물의 거리와 기준 거리의 비교를 기초로 재추출 인자를 선택하는 것에 의해, 대상물을 표현하는 이미지 데이터의 일부는 대상물 거리의 함수로서 대상물 이미지의 크기 변화를 적어도 부분적으로 수용하도록 크기가 증감될 수 있다. 예를 들면, 이미지 데이터의 일부는 재추출 이미지 데이터의 화소가 이미지 면으로부터의 기준 거리에 위치된 대상물의 이미지 데이터에서의 화소 당 폭과 거의 동일한 대상물 폭에 대응하도록 재추출됨으로써, 대상물 이미지는 대상물이 기준 거리에 이미지화될 때 가졌을 크기와 유사한 크기를 갖도록 재-비율 조정될 수 있다.
상기 방법은 3차원 이미지를 표현하고 깊이 정보를 구비하는 추가의 이미지 데이터를 얻는 단계를 더 포함하는데, 상기 3차원 이미지의 시야는 상기 이미지의 시야와 중첩된다. 3차원 이미지를 표현하는 추가의 이미지 데이터를 활용하는 것에 의해, 대상물을 표현하는 이미지 데이터의 일부는 편리하게 식별될 수 있으며, 이미지 면에 대한 대상물의 상대 거리도 상기 추가의 이미지 데이터로부터 결정될 수 있다. 이 방식으로, 이미지는 이미지 데이터와 추가의 이미지 데이터를 이용하는 것에 의해, 즉 2차원(2D) 이미지와 3차원(3D) 이미지의 정보를 조합하는 것에 의해 평가될 수 있다. 여기에 사용되는 바와 같이, "깊이 정보" 용어는 3차원 이미지의 화소에 의해 표현되는 복수의 시야 방향(viewing direction)을 따라 위치된 대상물의 거리에 대한 정보를 말한다.
상기 방법은 깊이 정보를 기초로 대상물의 적어도 일부를 표현하는 추가의 이미지 데이터의 일부를 식별하는 단계를 포함한다. 예를 들면, 대상물의 적어도 일부를 표현하는 추가의 이미지 데이터의 일부에는 거의 동일하거나 적어도 유사한 깊이 값에 대응하는 추가의 이미지 데이터의 많은 화소가 할당될 수 있다. 일 실 시예에서, 복수의 대상물이 이 방식으로 추가의 이미지 데이터에서 식별되어 다양한 대상물에 대한 위치와 깊이 정보를 포함하는 대상물 리스트를 생성할 수 있다. 예컨대, 비교 가능한 깊이 값을 갖는 화소의 형태 및/또는 대칭도를 평가하는 것에 의해 추가의 논리 함수를 채용하여 추가의 이미지 데이터에서 대상물을 식별할 수 있다. 예를 들면, 이미지 데이터에서 차량을 식별하고자 하는 경우, 추가의 처리를 위해 사각형 또는 사다리꼴 형상의 추가의 이미지 데이터에서 오직 화소의 구조만을 선택할 수 있다. 이 방식에서, 이미지 데이터의 평가는 이미지 데이터의 관련 부분으로 제한될 수 있으므로 처리 속도를 향상시킨다.
재추출될 이미지 데이터의 일부를 선택함에 있어서 추가의 이미지 데이터의 일부가 활용될 수 있다. 즉, 재추출될 이미지 데이터의 일부는 추가의 이미지 데이터에서 식별되는 대상물을 기초로 선택될 수 있다. 이것은 대상물의 일부를 표현하는 추가의 이미지 데이터의 일부로 이루어지는 추가의 이미지 데이터의 화소에 대응하는 이미지 데이터의 화소를 식별하는 단계, 즉 추가의 이미지 데이터로부터 이미지 데이터까지 화소의 매핑을 행하는 것에 의한 단계를 포함할 수 있다.
3차원 이미지는 예컨대 PMD(Photonic Mixer Device) 카메라를 사용하여 광 펄스의 전파 시간을 기초로 한 기법을 활용하여 캡처할 수 있다. 3차원 이미지는 스테레오 카메라를 사용하여 캡처할 수도 있다. 상기 이미지는 CMOS 또는 CCD 카메라와 같은 2D 카메라를 사용하여 캡처할 수 있다.
재추출 이미지 데이터는 추가로 분석되어 예컨대, 대상물을 분류할 수 있다. 여기에 사용되는 바와 같이, 대상물의 "분류"는 차량, 화물차, 오토바이, 신호등 및/또는 보행자와 같이 수많은 주어진 대상물의 종류 또는 등급 중 하나에 대상물이 속하는지 여부를 결정하는 과정을 지칭하는데 사용된다. 본 방법은 복수의 대상물 종류를 표현하는 복수의 기준 대상물에 대한 기준 데이터를 검색하는 단계와, 상기 기준 데이터를 기초로 재추출 이미지 데이터를 분석하는 것에 의해 대상물을 분류하는 단계를 포함할 수 있다. 상기 기준 데이터는 다양한 형태를 가질 수 있으며, 상기 분석 과정은 그에 대응하여 다양한 방식으로 수행될 수 있다. 예를 들면, 소위 알고리즘 학습을 채용하여 재추출 이미지 데이터를 분석함으로써 재추출 이미지 데이터는 주어진 대상물 종류의 유효하거나 양호한 복수의 대상물에 대해 학습되어 그 대상물 종류의 대상물을 후속으로 식별할 수 있다. 이 경우, 기준 데이터는 학습 알고리즘의 교육을 통해 얻어진 재추출 이미지 데이터의 분석을 위한 파라미터를 포함할 수 있다. 기준 데이터는 또한 특정 대상물 종류에 대한 특징적 형태 및/또는 색깔에 대한 정보를 포함할 수 있고, 재추출 이미지 데이터는 이러한 특징적 형태 및/또는 색깔을 식별하여 대상물을 대상물 종류에 매칭하는 것에 의해 분석된다. 기준 데이터는 또한 주어진 대상물 종류의 단일 또는 복수의 대상물에 대한 이미지 데이터, 예컨대, 몇몇 상이한 차량 또는 몇몇 상이한 화물차를 표현하는 이미지 데이터를 포함할 수 있으며, 재추출 이미지 데이터는 이 기준 데이터와 비교되어 대상물을 대상물 종류에 매칭시킨다.
분석 단계에 대한 특정 실시에 무관하게, 기준 데이터는 기준 거리와 대략 동일한 이미지 면으로부터의 거리에 위치된 기준 대상물 중 적어도 하나의 이미지를 기초로 생성될 수 있다. 분석 단계는 거리-의존적 재추출에 의해 교육된 재추출 이미지 데이터를 기초로 대상물을 분류하는데 잘 적용된다.
본 방법은 이미지 데이터에 의해 표현되는 다수 대상물을 분류하기 위해 채용될 수 있다. 예를 들면, 복수의 대상물과 그 각각의 거리를 포함하는 대상물 리스트는 3차원 이미지를 표현하는 추가의 이미지 데이터를 기초로 생성될 수 있으며, 거리 정보 검색 단계, 재추출 단계 및 분석 단계는 복수의 대상물 각각에 대해 개별 수행될 수 있다.
분석 단계의 결과는 운전자 보조 시스템으로 출력될 수 있다. 예를 들면, 보행자, 차량 또는 화물차 등의 접근하는 대상물의 대상물 종류에 대한 정보는 운전자 보조 시스템으로 출력되고 그 보조 시스템은 대상물 종류에 대한 정보를 기초로 안전 장치를 작동시키거나 및/또는 경고 신호를 출력할 수 있다.
본 발명의 다른 측면에 따르면, 전자 계산 기기의 프로세서에 의해 실행시 그 계산 기기에 대해 본 발명의 소정 실시예에 따른 방법을 수행하도록 하는 명령을 저장하고 있는 데이터 저장 매체가 제공된다. 상기 전자 계산 기기는 이미지 데이터와 추가의 이미지 데이터를 수신하는 입력부를 갖는 범용 프로세서로서 구성 될 수 있다. 상기 전자 계산 기기는 프로세서, CMOS 또는 CCD 카메라 및 PMD 카메라를 또한 구비할 수 있는데, 상기 프로세서는 상기 CMOS 또는 CCD 카메라로부터 이미지 데이터를, 그리고 상기 PMD 카메라로부터 추가의 이미지 데이터를 검색한다.
본 발명의 다른 측면에 따르면, 이미지 평가 장치가 제공되며, 이 이미지 평가 장치는 대상물의 적어도 일부를 표현하는 이미지를 표현하는 이미지 데이터를 수신하는 입력부와 이미지의 이미지 면에 대한 대상물의 상대 거리에 대한 거리 정보를 수신하는 추가의 입력부를 구비하는 처리 장치를 포함한다. 상기 처리 장치는 상기 거리 정보와 미리 결정된 기준 거리 양자를 기초로 상기 이미지 데이터의 적어도 일부를 재추출하는 것에 의해 재추출 이미지 데이터를 생성하도록 구성되는데, 상기 재추출될 이미지 데이터의 적어도 일부는 대상물의 적어도 일부를 표현한다. 본 장치에서, 이미지 면에 대한 대상물의 상대 거리와 상기 미리 결정된 기준 거리 양자를 기초로 관심 대상의 대상물을 표현하는 이미지 데이터의 일부를 재추출하는 것에 의해, 대상물 분류와 같은 재추출 이미지 데이터의 분석 이전에 거리-관련 효과를 적어도 부분적으로 고려할 수 있다.
상기 장치는 3차원 이미지를 표현하고 깊이 정보를 포함하는 추가의 이미지 데이터를 캡처하도록 상기 추가 입력부에 연결된 3D 카메라 장치를 포함할 수 있는데, 상기 3차원 이미지의 시야는 상기 이미지의 시야와 중첩된다. 상기 3D 카메라 장치는 PMD 카메라 또는 스테레오 카메라를 구비할 수 있다. 상기 3D 카메라는 추가의 이미지 데이터를 기초로 대상물과 그 각각의 거리를 식별하도록 된 대상물 식별 장치를 더 포함할 수 있다. 상기 대상물 식별 장치는 또한 상기 추가 이미지 데이터를 기초로 거리 정보를 결정하고 그 거리 정보를 처리 장치에 제공하도록 구성될 수 있다. 이러한 구성의 3D 카메라 장치에 의해, 대상물의 존재와 이미지 면에 대한 각각의 대상물의 상대 거리가 추가의 이미지 데이터를 기초로 식별될 수 있다. 예를 들면, 상기 3D 카메라 장치는 대상물의 위치와 거리에 대한 정보를 포함하는 대상물 리스트를 처리 장치에 제공할 수 있다.
상기 3D 카메라 장치는 대상물의 적어도 일부를 표현하는 추가의 이미지 데이터의 일부에 대한 정보를 처리 장치로 제공하도록 구성될 수 있고, 상기 처리 장치는 다시 상기 추가 이미지 데이터의 일부에 대한 정보를 기초로 이미지 데이터의 일부를 선택하도록 구성될 수 있다. 이 방식으로, 재추출될 이미지 데이터의 일부가 상기 추가의 이미지 데이터로부터 얻어진 대상물의 위치에 대한 정보를 기초로 선택될 수 있다.
본 장치는 처리 장치의 입력부에 연결되어 이미지를 캡처하는 2D 카메라를 더 포함할 수 있다. 상기 2D 카메라는 CCD 카메라 또는 CMOS 카메라를 구비할 수 있다.
처리 장치는 대상물의 거리와 기준 거리의 비교를 기초로 결정되는 재추출 인자에 의해 이미지 데이터의 일부를 재추출하도록 구성될 수 있다. 대상물의 거리와 기준 거리의 비교를 기초로, 상기 재추출 단계는 상방 추출 또는 하방 추출을 포함할 수 있다. 특히, 처리 장치는 재추출 이미지 데이터의 화소가 이미지 면으로부터의 기준 거리에 위치된 대상물의 이미지 데이터에서 화소 당 폭과 대략 동일한 대상물 폭에 대응하도록 이미지 데이터의 일부를 재추출하도록 구성될 수 있다. 이 방식으로, 이미지에서 대상물의 표현은 재-비율 조정되어 추가의 이미지 평가를 용이하게 할 수 있다.
본 장치는 또한 복수의 대상물 종류를 표현하는 복수의 기준 대상물에 대한 기준 데이터를 저장하고 있는 저장 장치를 포함할 수 있다. 처리 장치는 상기 저장 장치에 연결되어 상기 기준 데이터를 검색할 수 있으며, 상기 기준 데이터를 기초로 재추출 이미지 데이터를 분석하여 대상물을 복수의 대상물 종류 중 하나로 분류하도록 구성될 수 있다. 상기 기준 데이터는 상기 기준 거리와 대략 동일한 이미지 면으로부터의 거리에 있는 기준 대상물 중 적어도 하나의 이미지를 기초로 생성될 수 있다. 대상물의 거리와 기준 거리 양자를 기초로 이미지 데이터의 일부가 재추출되므로, 상기 기준 데이터를 활용하여 재추출 이미지 데이터를 분석하는 것에 의해, 이미지화된 대상물에서 거리-의존적 변화에 의해 야기되는 효과를 줄일 수 있다.
본 장치는 운전자 보조 시스템에 구비될 수 있다. 운전자 보조 시스템은 본 장치에 의해 수행된 이미지 평가의 결과를 기초로, 광학, 음향, 또는 접촉 출력 신호 중 적어도 하나를 제공하는 출력 유닛을 더 구비할 수 있다. 상기 운전자 보조 시스템은 이미지 평가 결과를 기초로 예컨대 경고 신호를 출력할 수 있다. 추가로 또는 선택적으로, 운전자 보조 시스템은 본 장치에 연결되고 본 장치에 의해 수행된 이미지 평가의 결과를 기초로 작동되도록 된 탑승자 및/또는 보행자 보호 시스템을 구비할 수 있다. 예를 들면, 상기 보호 시스템은 이미지 평가 결과를 기초로 차량과의 충돌 발생 예측시 작동되는 탑승자 에어백과 보행자와의 충돌 발생 예측시 작동되는 보행자 에어백을 구비할 수 있다.
본 발명의 적용 분야 중 하나는 차량에 탑재된 운전자 보조 시스템일 것이라는 것을 예측할 수 있다. 그러나, 본 발명의 다양한 실시예들은 이러한 특정의 적용례에 한정되지 않으며, 공공 장소의 감시와 같은 보안 관련 적용례에서 캡처된 이미지의 평가와 같은 다양한 분야에 적용될 수 있다.
본 발명에 따르면, 평가 대상 이미지를 캡처하는 카메라에 대한 대상물의 상대 거리 변화로 인한 에러 발생이 적은 개선된 이미지 평가 방법 및 장치가 제공된다.
이하, 본 발명의 예시적 실시예들을 도면을 참고로 설명한다. 이하의 설명은 단지 본 발명을 잘 설명하기 위한 목적으로 주어지며 한정적인 의미로 취급되지 않음을 이해할 것이다. 또한, 특정하여 달리 언급하지 않으면, 하기 설명되는 다양한 실시예의 특징들은 서로 결합될 수 있음을 이해할 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 평가 장치(2)와 보조 장치(12)를 포함하는 운전자 보조 시스템(1)의 개략적 블록도이다. 본 장치(2)는 평가 대상 이미지를 표현하는 이미지 데이터를 수신하는 입력부(4)와 이미지 면에 대한 대상물의 상대 거리에 대한 거리 정보를 수신하는 추가의 입력부(5)를 갖는 처리 장치(3)를 포함한다. 처리 장치(3)는 대상물 분류를 위한 기준 데이터를 저장하고 있는 저장 장치(10)에도 연결된다.
처리 장치(3)의 입력부(4)는 이미지를 캡처하고 그 이미지를 표현하는 이미지 데이터를 처리 장치(3)에 제공하는 2D 카메라(6)에 연결된다. 2D 카메라(6)는 예컨대, CMOS 또는 CCD 카메라로서 구성될 수 있고, 처리 장치(3)로의 출력 이전에 이미지 데이터를 처리하는 부가 회로를 포함할 수 있다. 예를 들면, 이미지 데이터는 처리 장치(3)로의 출력 이전에 필터링되거나 적절히 인코딩될 수 있다.
처리 장치(3)의 추가의 입력부(5)는 3D 카메라(8)와 그 3D 카메라(8)에 연결된 대상물 식별 장치(9)를 포함하는 3D 카메라 장치(7)에 연결된다. 3D 카메라(8) 는 복수의 시야 방향에 대한 깊이 정보, 즉 복수의 시야 방향 중 하나의 시야 선상을 따라 위치된 최단 거리의 장애물의 거리에 대한 정보를 포함하는 3차원 이미지를 표현하는 추가의 이미지 데이터를 캡처한다. 대상물 식별 장치(9)는 3D 카메라(8)로부터 상기 3차원 이미지를 표현하는 상기 추가의 이미지 데이터를 수신하고 3D 카메라(8)의 시야 내에서 대상물의 측방 위치와 상기 깊이 정보를 기초로 한 각각의 거리를 결정한다. 대상물 식별 장치(9)는 3D 카메라로부터의 비교 가능한 거리를 가지는 인접 화소가 일 대상물에 속하도록 지정되는 분할(segmentation) 알고리즘을 수행하도록 구성될 수 있다. 대상물 식별 장치(9)에는 부가적 논리 함수가 포함될 수 있다. 예를 들면, 이미지 데이터에서 차량만이 식별되어 진다면, 사각형 또는 사다리꼴 형상과 유사한 형태를 갖는 추가의 이미지 데이터에서 오직 화소의 영역만이 식별됨으로써, 통상적으로 보여지는 차량의 형태를 갖지 않는 대상물은 이미지 데이터의 평가시 고려되지 않는다. 대상물 식별 장치(9)는 추가의 이미지 데이터에서 관심 대상의 모든 대상물의 측방 위치, 즉 대상물이 위치된 영역의 좌표를 식별할 수 있고, 3D 카메라(8)에 대한 각 대상물의 상대 거리를 결정할 수 있다. 이후 "대상물 리스트"로도 지칭되는 이 데이터는 처리 장치(3)로 제공된다.
2D 카메라(6)와 3D 카메라 장치(7)의 3D 카메라(8)는 2D 카메라의 시야가 3D 카메라(8)의 시야에 중첩되도록 배열 및 구성된다. 일 실시예에서, 상기 시야는 필연적으로 일치한다. 간결성을 위해, 2D 카메라(6)와 3D 카메라(8)는 3D 카메라에 의해 캡처된 깊이 정보가 2D 카메라(6)의 이미지 면으로부터 각 대상물의 상대 거리에 대한 양호한 근사치도 제공하도록 서로 충분히 가깝게 배치되는 것으로 가정한다. 다른 실시예에서, 2D 카메라(6)와 3D 카메라(8)는 또한 서로 멀리 배치될 수 있고, 이 경우, 2D 카메라(6)에 대한 3D 카메라(8)의 상대 위치를 알고 있을 때, 3D 카메라(8)에 의해 캡처된 깊이 정보로부터 2D 카메라(6)의 이미지 면으로부터의 대상물의 상대 거리를 유도할 수 있음을 알 것이다.
처리 장치(3)는 2D 카메라(6)에 의해 캡처된 이미지로 표현되는 통상 복수 개인 적어도 하나의 대상물에 대한 거리 정보를 포함하는 대상물 리스트를 3D 카메라 장치(7)로부터 수신한다. 하기의 도 2 및 도 3을 참조로 보다 상세히 설명되는 바와 같이, 처리 장치(3)는 이미지 데이터에 의해 표현되는 대상물에 대한 거리 정보와 미리 결정된 기준 거리를 기초로 이미지 데이터의 적어도 일부를 재추출함으로써 이후 추가로 평가되는 재추출 이미지 데이터를 생성한다.
본 장치(2)는 버스(11)를 통해 보조 장치(12)에 연결되어 이미지 평가 결과를 그에 제공한다. 보조 장치(12)는 제어 장치(13)와, 그 제어 장치(13)에 연결되는 경고 장치(14) 및 탑승자 및/또는 보행자 보호 장치(15)를 포함한다. 버스(11)를 통해 본 장치(2)로부터 수신되는 신호를 기초로 제어 장치(13)는 경고 장치(14)와 보호 장치(15) 중 하나 또는 양자 모두를 작동시킨다.
도 2는 본 장치(2)의 처리 장치(3)에 의해 수행될 수 있는 방법(20)의 흐름 도이다. 21 단계에서, 이미지를 표현하는 이미지 데이터를 수신한다. 이미지 데이터는 2D 카메라(6)와 같은 카메라 또는 저장 매체로부터 바로 수신될 수 있다. 22 단계에서, 이미지 면으로부터 대상물의 상대 거리에 대한 거리 정보를 수신한다. 거리 정보는 단일의 수치 값일 수 있지만, 하나 또는 복수의 대상물에 대한 측방 위치와 거리에 대한 정보를 포함하는 대상물 리스트의 형태와 같이 소정의 다른 적절한 형태로 제공될 수 있다. 23 단계에서, 재추출될 이미지 데이터의 일부를 선택한다. 재추출될 이미지 데이터의 일부는 다양한 방식으로 선택될 수 있다. 3D 이미지를 표현하는 추가의 이미지 데이터로부터 거리 정보가 얻어지면, 23 단계는 대상물의 적어도 일부를 표현하는 추가의 (3D) 이미지 데이터의 일부에 대응하는 이미지 데이터의 일부를 식별하여 이미지 데이터와 추가의 이미지 데이터를 매칭하는 것을 포함할 수 있다. 24 단계에서, 23 단계에서 선택된 부분을 거리 정보와 미리 결정된 기준 거리 양자를 기초로 재추출한다. 일 실시예에서, 재추출 인자는 거리 정보와 기준 거리 양자를 기초로 선택된다. 아래의 도 4를 참조로 보다 상세히 설명되는 바와 같이, 재추출 인자는 재추출 이미지 데이터에서 화소가 이미지 면으로부터 기준 거리에 위치시 이미지화된 대상물에 대한 화소 당 폭에 대략 일치하는 이미지화 데이터의 폭에 대응하도록 선택될 수 있다. 이 방식으로, 이미지 면에 대한 거리-변화에 의해 영향을 받는 대상물의 크기 변화가 적어도 부분적으로 고려될 수 있다. 25 단계에서, 재추출 이미지 데이터는 추가로 분석될 수 있다.
간결성을 이유로, 상기 방법(20)은 오직 하나의 관심 대상물만이 이미지 데이터에 의해 표현되는 경우를 참조로 상술되었다. 복수의 관심 대상물이 이미지에서 보일 때, 22-25 단계는 각각의 대상물에 대해 또는 대략 사각형이나 사다리꼴 경계를 갖지 않는 대상물을 버리는 것에 의해 예컨대 관심 대상물의 종류를 기초로 선택될 수 있는 대상물의 서브세트에 대해 수행될 수 있다. 22 단계에서 검색된 거리 정보는 상이한 대상물마다 변할 수 있고, 24 단계에서 수행된 재추출은 이미지 면에 대한 상대 거리가 다른 것에 따라 대응하여 변할 수 있음을 알 것이다. 이미지 데이터가 여러 대상물을 표현할 때, 모든 대상물에 대해 22-25 단계가 연속적으로 수행되거나, 각각의 대상물에 22 단계가 먼저 수행된 후 대상물 각각에 대해 23 단계가 수행될 수 있다.
25 단계에서 재추출 이미지 데이터의 추가 분석은 예컨대, 재추출 이미지 데이터를 기준 데이터와 비교함으로써 대상물을 분류하는 것을 포함할 수 있다. 재추출 이미지 데이터의 추가 분석은 이미지화된 대상물의 데이터베이스를 구축하거나 이미지 인식 알고리즘을 학습시키거나, 그와 유사한 실시를 위해 재추출 이미지 데이터를 활용하는 것도 포함할 수 있다.
일 실시예에서, 25 단계에서의 분석은 대상물을 분류, 즉 대상물을 복수의 대상물 종류 또는 등급 중 하나로 지정하는 것을 포함한다. 도 1을 참조하면, 본 장치(2)는 대상물의 분류를 위해 검색되는 기준 데이터를 저장하는 저장 장치(10) 를 포함한다. 기준 데이터는 차량, 화물차, 오토바이, 보행자, 신호등 또는 그 유사물로 이루어진 그룹 중에서 선택되는 복수의 상이한 대상물 종류에 대한 정보를 포함한다. 이들 대상물 종류 중 어느 한 종류의 경우, 미리 결정된 기준 거리와 대략 동일하게 2D 카메라(6)의 이미지 면으로부터 거리에 위치시, 차량 등의 대상물 종류를 갖는 대상물의 이미지를 캡처하는 것에 의해 기준 데이터가 생성된다. 이 방식으로, 기준 데이터는 이미지 면으로부터 미리 결정된 기준 거리에 위치된 기준 대상물의 이미지로서 대략 동일한 크기를 갖는 대상물의 인식 이미지에 맞춰진다.
저장 장치(10)에 저장된 기준 데이터는 25 단계에서의 분석의 특정 실시에 따라 다양한 형태를 가질 수 있다. 예를 들면, 25 단계에서의 분석은 특정 대상물 종류를 인식하도록 교육되는 학습 알고리즘을 기초로 할 수 있다. 이 경우, 기준 데이터는 학습 알고리즘의 동작을 제어하고 이미지 면으로부터 기준 거리에 위치된 기준 대상물의 이미지를 이용하여 교육된 파라미터 세트일 수 있다. 다른 실시예에서, 25 단계에서의 분석은 재추출 이미지 데이터에 의해 표현되는 대상물이 기준 데이터에 의해 특정될 수 있는 특정 기하학적 특성, 색깔, 색깔 패턴, 또는 크기를 가지는지 여부를 결정하는 것을 포함할 수 있다. 다른 실시예에서, 25 단계에서의 분석은 기준 대상물이 이미지 면으로부터 대략 기준 거리에 위치될 때 취하는 다양한 대상물 종류의 기준 대상물의 복수의 이미지와 상기 재추출 이미지 데이터를 비트-기준으로 비교하는 것을 포함할 수 있다.
24 단계에서 이미지의 일부가 재추출되는 것을 기초로 22 단계에서 검색된 거리 정보는 소정의 적절한 방식으로 얻을 수 있다. 도 1의 장치에서, 거리 정보는 깊이 정보를 포함하는 3D 이미지를 캡처링하고 평가하는 것으로 얻어진다. 그러므로, 본 장치(2)는 2D 카메라와 3D 카메라 장치(7)의 센서 융합을 기초로 한 2D 카메라(6)에 의해 캡처된 이미지를 평가한다.
도 3은 본 장치(2)에 의해 수행될 수 있는 방법(30)의 흐름도이다. 31 단계에서, 이미지 데이터에 의해 표현되는 2D 이미지가 캡처된다. 32 단계에서, 추가의 이미지 데이터에 의해 표현되는 3D 이미지가 캡처된다. 33 단계에서, 추가의 이미지 데이터는 평가를 통해 추가 이미지 데이터의 부분, 즉 각각 이미지를 표현하는 3D 이미지에서의 영역을 식별함으로써, 대상물의 거리에 대한 거리 정보를 각각 포함하는 대상물 리스트를 생성한다. 대상물 리스트는 대상물의 대칭 또는 크기를 기초로 할 수 있는 부가적 논리 함수를 선택적으로 채용하는 동안 길이 정보를 기초로 분할 알고리즘을 활용하여 생성될 수 있다. 거리 정보는 3D 이미지의 깊이 정보로부터 추정할 수 있다. 31 단계에서 2D 이미지의 캡처링과 32 단계에서 3D 이미지의 캡처링은 동시 수행되거나, 2D 이미지와 3D 이미지로 이미지화된 대상물의 동작이 작게 유지되기에 충분히 짧은 시간 지연 간격으로 연속으로 수행될 수 있다.
34 단계에서, 추가의 이미지 데이터를 기초로 이미지 데이터의 일부를 선택한다. 33 단계에서 생성된 대상물 리스트는 대상물을 표현하는 추가 이미지 데이터에서 화소 또는 화소 영역에 대한 정보를 포함한다. 이미지 데이터의 일부는 대상물 리스트에 의해 특정되는 추가 이미지 데이터에서의 화소 또는 화소 영역에 대응하는 이미지 데이터에서의 화소를 식별하는 것에 의해 선택된다. 2D 이미지와 3D 이미지가 동일 해상도와 동일 시야를 갖는다면, 이미지 데이터에서의 화소와 추가 이미지 데이터에서의 화소 간에는 1:1 대응이 존재한다. 그러나, 3D 이미지가 2D 이미지보다 낮은 해상도를 가지면, 이미지 데이터의 여러 화소가 추가 이미지 데이터의 하나의 화소에 대응한다.
35 단계에서, 상기 방법(20)의 단계(24)를 참조로 전술한 바와 같이, 대상물 리스트에 포함된 거리 정보와 미리 결정된 기준 거리를 기초로, 23 단계에서 선택된 이미지의 일부를 재추출함으로써 재추출 이미지 데이터를 생성한다. 36 단계에서, 재추출 이미지 데이터는 분석을 통해 재추출되는 이미지의 일부에 의해 표현되는 대상물을 분류한다.
이미지 면으로부터 다양한 거리를 갖는 여러 대상물이 추가 이미지 데이터에서 식별될 때, 대상물 중 하나를 표현하는 이미지 데이터의 각 일부는 각각의 거리 정보와 미리 결정된 기준 거리를 기초로 재추출된다.
다음의 도 4를 참조로 설명되는 바와 같이, 대상물 중 하나를 표현하는 이미지 데이터의 일부를 재추출하는 것에 의해, 거리 변화에 의해 영향을 받는 대상물 이미지의 크기 변화가 이미지 평가에 있어 적어도 부분적으로 고려될 수 있다. 도 4(a)는 도로(41)를 나타내는 2D 이미지(40)를 도시한다. 지평선은 42로 개략 지시되어 있다. 차량 등의 4개의 대상물(43-46)은 이미지 면으로부터 4개의 다른 거리 위치의 도로상에 위치되며, 대상물 이미지의 크기가 그에 따라 변화된다. 이미지 면으로부터 거리가 대상물(44)과 대략 동일한 거리로서 기준 거리를 형성하는 거리에 위치된 기준 대상물에 대해 교육된 학습 알고리즘은 대상물(44)의 분류에 양호한 결과를 제공할 수 있지만, 거리에 따른 크기 차이에 기인하여 대상물(43, 45, 46)의 분류에 있어 불리한 결과를 야기할 수 있다.
도 4(b)에 개략 도시된 바와 같이, 대상물(43)을 표현하는 이미지(40)의 일부를 하방 추출하는 것에 의해, 역시 도 4(b)에 54로서 개략 도시된 대상물(44)을 표현하는 이미지(40)의 일부와 크기 비교 가능한 재추출 이미지 데이터(53)가 생성된다. 유사하게, 대상물(45, 46)을 표현하는 이미지(40)의 일부를 상방 추출하는 것에 의해, 대상물(44)을 표현하는 이미지(40)의 일부와 크기 비교 가능한 재추출 이미지 데이터(55, 56)가 생성된다. 따라서, 이미지 면에 대한 대상물의 거리와 기준 거리를 기초로 이미지 데이터의 일부를 적절하게 상방 추출하거나 하방 추출하는 것에 의해, 대상물이 이미지 면으로부터 미리 결정된 기준 거리에 위치될 때 원시 이미지 데이터에 의해 표현되는 대상물 중 하나와 대략 동일한 대상물 폭에 하나의 화소가 대응하는 재추출 이미지 데이터가 생성될 수 있다. 그러므로, 이미지 면으로부터 거리가 그리 크지 않아서 대상물이 소수의 원시 이미지 데이터의 화소만으로 표현된다면 대상물이 이미지 면으로부터 가변 거리에서 이미지화되는 경우에도, 대상물은 화소로 측정시 재추출 이미지 데이터에서 대략 동일한 크기를 가질 수 있다. 그에 따라, 대상물은 대상물(53-56)이 이미지 면으로부터 기준 거리에 실질적으로 위치된 도 4(b)에 개략적으로 도시된 바와 같이 동일한 대상물 면에 실질적으로 나타낼 수 있다. 재추출 이미지 데이터는 새로운 이미지 형성을 위해 데이터의 나머지 부분과 조합되어야 하는 것이 아니지만 개별적으로 평가될 수 있기 때문에, 도 4(b)는 단지 개략적으로 도시된 것임을 알 것이다.
3D 이미지를 기초로 대상물을 표현하는 이미지 데이터의 일부를 재추출하는 것을 다음의 도 5-8을 참조로 보다 상세히 설명한다.
도 5는 레인 마커(64, 65)에 의해 경계지워진 3개의 레인(61-63)을 갖는 도로의 개략적 상면도(60)이다. 차량(66)은 중앙 레인(62) 위에 위치되어 있고, 차량 위에는 도 1에 도시된 장치(2)로서 구성될 수 있는 장치(67)가 설치되어 있다. 상기 장치(67)는 이미지 면(71)을 갖는 적어도 2D 카메라와 3D 카메라를 포함한다. 다른 3개의 차량(68-70)은 차량(66)의 후방으로 차량(66)으로부터 각각 3개의 다른 거리(DA, DB, DC)에 위치된다. 상기 거리(DA, DB, DC)는 차량(68-70)의 최전방부에 대응하는 대상물 면(72-74)과 이미지 면(71) 사이의 거리로서 각각 정의된다. 차량(69)과 관련된 대상물 면(73)과 이미지 면(71) 사이의 거리(DB)는 기준 거리(dref)와 동일한데, 즉 차량(69)은 기준 거리와 동일한 이미지 면으로부터의 거리에 위치된다.
도 6은 상기 장치(67)의 2D 카메라를 사용하여 캡처된 이미지 데이터(80)의 개략적 표현이다. 이미지 데이터는 차량(68)의 이미지(82)를 표현하는 부분(81)과, 차량(69)의 이미지(84)를 표혐하는 부분(83)과, 차량(70)의 이미지(86)를 표현하는 부분(85)을 포함한다. 2D 카메라의 유한 화소 해상도에 기인한 이미지 데이터의 화소는 개략적으로 지시되어 있다. 차량(68-70)을 표현하는 이미지(82, 84, 86)의 크기는 이미지 면으로부터 차량의 거리 증가에 따라 감소된다. 이미지 면으로부터의 거리에 따른 차량 이미지의 크기 변화는 장치(67)의 2D 카메라의 특정 광학 특성에 의존한다. 도시를 위해, 차량 이미지(82, 84, 86)의 크기는 이미지 면(71)으로부터 거리(DA, DB, DC)에 대략 반비례한다. 예시적 이미지 데이터에서, 계단형 외형(91), 전조등(92), 번호판(93) 및 타이어(94)와 같은 차량(69)의 특징적 특성은 이미지 면으로부터 기준 거리에 위치된 차량(69)의 이미지(84)에서 식별될 수 있다. 이들 특성 모두는 차량(68)을 표현하는 이미지(82)에서도 관찰 가능하다. 그러나, 그 크기가 작고 이미지 데이터(80)의 유한한 화소 해상도에 기인하여, 차량(70)을 표현하는 이미지(86)에서는 이들 특성 모두가 식별될 수는 없다. 예를 들면, 계단형 외형과 번호판은 이미지(86)에 의해 표현되지 않는다. 전조등(95)과 타이어(96) 같은 다른 특성은 유한한 화소 해상도에 기인하여 왜곡된다.
도 7은 장치(67)의 3D 카메라를 사용하여 캡처된 추가 이미지 데이터(110)의 개략적 표현이다. 이미지 데이터는 차량(68)의 이미지(112)를 표현하는 부분(111)과, 차량(69)의 이미지(114)를 표혐하는 부분(113)과, 차량(70)의 이미지(116)를 표현하는 부분(115)을 포함한다. 3D 카메라의 유한 화소 해상도에 기인한 이미지 데이터의 화소는 개략적으로 지시되어 있다. 예시적 실례에서, 3D 카메라의 화소 해상도는 2D 카메라의 화소 해상도보다 작은데, 3D 이미지의 1 화소는 2D 이미지의 4화소의 4배에 대응한다. 또한, 도시된 예에서, 3D 카메라의 시야(field of view)는 3D 카메라의 그것과 같다. 추가 이미지 데이터는 깊이 정보, 즉 복수의 시야 방향을 따라 위치된 장애물의 거리에 대한 정보를 포함한다. 상이한 깊이는 도 7에서 다른 패턴으로 개략적으로 도시되어 있다. 예를 들면, 차량(68)의 이미지(112)에서, 차량(68)의 탑승실과 타이어를 표현하는 부분(121, 122)은 3D 카메라에 대한 상대 거리가 차량(68)의 보닛을 표현하는 부분(123)의 거리보다 크다. 차량(68)의 이미지(111)를 통한 거리 값의 변화에도 불구하고 그 거리 변화가 차량의 특징적 길이 규격 내에 존재하는 한, 분할 알고리즘은 추가 이미지 데이터의 부분(111)을 하나의 차량으로 지정할 수 있다. 유사하게, 각각 탑승실과 보닛을 표현하는 부분(124, 125)이 차량(69)의 이미지(114)에서 이미지 면으로부터의 거리가 다르더라도, 추가 이미지 데이터의 부분(113)은 다시 하나의 차량으로 지정될 수 있다. 이미지(112)에 비해 다른 패턴의 이미지(114)에 의해 개략적으로 지시된 바와 같이, 추가 이미지 데이터의 깊이 정보는 차량(69)이 차량(68)보다 더 멀리 위치된 것으로 지시한다. 유사하게, 상기 부분(116)에 대한 화소 값은 이미지(116)에 의해 표현되는 차량(70)이 상기 차량(69)보다 더 멀리 위치된 것을 지시한다.
추가 이미지 데이터를 기초로, 분할 알고리즘은 부분(111, 113, 115)을 식별하고 그들을 대상물 리스트의 다른 대상물로 지정한다. 대상물 각각의 경우, 거리 값은 예컨대, 이미지(112, 114, 116) 중 하나에서의 최소 거리 값으로서, 또는 각 이미지에서 가중 평균의 거리 값으로서 결정된다.
간명성을 위해 도 7에는 도시되어 있지 않지만, 추가 이미지 데이터는 차량(68-70) 이외의 대상물을 나타내는 깊이 정보, 예컨대, 차량이 위치된 도로, 도로 측면의 나무 등을 나타내는 깊이 정보도 포함할 것임을 이해하여야 한다. 이러한 배경 신호는 예컨대, 차량의 특징적 형태를 기초로 하거나, 차량은 다수의 인접 화소를 통해 비교 가능한 거리 값을 형성하는 수직 연장부를 빈번하게 포함한다는 사실을 기초로, 차량을 나타내는 신호와 구별될 수 있다.
추가 이미지 데이터(110)에서의 부분(111, 113, 115)의 측방 위치를 기초로 도 6의 이미지 데이터(80)에서의 대응 부분은 재추출된다. 재추출은 추가 이미지 데이터의 부분(111, 113, 115)에서의 각 화소에 대해 이미지 데이터(80)에서의 대 응하는 화소를 식별함으로써 재추출될 이미지 데이터(80)의 부분을 결정하는 것을 포함한다. 도시된 예에서, 이미지 데이터의 이들 부분은 각각 부분(81, 83, 85)에 대응한다. 이미지 데이터의 이들 부분 각각에 대해 재추출될 것인지 여부가 결정된다. 어떤 부분이 재추출될 것이면, 각각의 대상물의 거리와 미리 결정된 기준 거리를 기초로 재추출 인자가 결정된다.
일 실시예에서, 대상물을 표현하는 이미지 데이터의 부분은 대상물이 미리 결정된 기준 거리(dref)보다 큰 이미지 면으로부터의 거리(d)에 위치될 때 상방 추출되는데, 그 상방 추출 인자는 다음과 같다:
sfup=d/dref (1)
또한, 이미지 데이터의 부분은 대상물이 미리 결정된 기준 거리(dref)보다 작은 이미지 면으로부터의 거리(d)에 위치될 때 하방 추출되는데, 그 하방 추출 인자는 다음과 같다:
sfdown=dref/d (2)
일 실시예에서, 상방 추출 인자 또는 하방 추출 인자를 결정하기 위해, 상기 수학식 (1)과 (2)의 우측변의 분수는 분자와 분모의 수치값이 너무 크지 않은 유리수로 근사되거나, 우측변은 정수로 근사될 수 있다.
다른 실시예에서, 상방 추출 인자(sfup)와 하방 추출 인자(sfdown) 각각은 다른 방식으로 결정될 수 있다. 예를 들면, 2D 카메라의 초점 길이를 고려하여 대상물 거리에 따른 이미지 크기의 변화를 모델링할 수 있고, 재추출 인자는 이미지 면으로부터 기준 거리에 위치된 대상물에 대해 얻어질 수 있는 화소의 이미지 크기를 실제 대상물 거리의 경우에 얻어지는 화소의 이미지 크기로 나누는 것에 의해 결정될 수 있다.
도 5-7의 예로 돌아가면, 이미지 데이터(80)의 부분(81)은 sfdown=dref/dA=2에 의해 하방 추출되는 반면, 이미지 데이터(80)의 부분(85)은 sfup=dC/dref=2에 의해 상방 추출된다. 정수 상방 추출 인자(n)에 의한 이미지 데이터(80)의 부분의 상방 추출은 우선 그 부분의 모든 열(row)을 n-1번 카피하여 중간 이미지를 생성한 후, 그 중간 이미지의 모든 칼럼을 n-1번 카피하는 것에 의해 실행될 수 있다. 유사하게, 정수 상방 추출 인자(n)에 의한 하방 추출은 그 부분의 모든 n 번째 열(row)만을 보유하여 중간 이미지를 생성한 후, 그 중간 이미지의 모든 n 번째 칼럼만을 보유하여 재추출 이미지 데이터를 생성하는 것에 의해 실행될 수 있다. p와 q가 정수인 분수형 추출 인자 sf=p/q에 의한 상방 추출은 추출 인자 p에 의한 상방 추출과 이에 후속하여 추출 인자 q에 의한 하방 추출에 의해 실행될 수 있다. 분수형 추출 인자에 의한 하방 추출은 대응하는 방식으로 실행될 수 있다.
도 8은 이미지 데이터(80)의 부분(81, 85)을 재추출하는 것에 의해 얻어지는 재추출 이미지 데이터를 개략적으로 도시한다. 도 8(a)는 sfdown=2에 의한 이미지 데이터의 부분(81)의 하방 추출로 얻어지는 재추출 이미지 데이터(131)를 도시한다. 얻어지는 이미지(132)는 차량(68)이 기준 거리에 위치된 차량(69)의 이미지(84)와 대략 동일한 수준의 상세도와 대략 동일한 크기를 갖는 것으로 도시된다. 전술한 바와 같이, 재추출 이미지 데이터(131)는 부분(81)으로부터 모든 2번째 화소 열과 화소 칼럼을 제거하는 것에 의해 얻어진다. 예를 들면, 재추출 이미지 데이터(131)의 칼럼(141)은 칼럼의 모든 2번째 화소가 제거된 상태로 상기 부분(81)의 칼럼(101)에 대응한다.
도 8(c)는 sfup=2에 의한 이미지 데이터의 부분(85)의 상방 추출로 얻어지는 재추출 이미지 데이터(135)를 도시한다. 상방 추출된 이미지 데이터에서, 상기 부분(85)의 모든 화소는 2개 화소의 2배로 카피된다. 예를 들면, 재추출 이미지 데이터(135)의 칼럼(142)은 상기 부분(85)의 칼럼(105)의 모든 화소를 수직으로 인접한 화소에 카피하는 것에 의해 형성되며, 칼럼(143)은 칼럼(142)의 카피이다. 유사하게, 재추출 이미지 데이터의 칼럼(144, 145)은 상기 부분(85)의 칼럼(106)으로부터 얻어진다. 얻어지는 차량(70)의 이미지(136)가 원시 이미지 데이터에서의 이미지(86)에 비해 추가의 상세를 포함하고 있지 않지만, 차량 이미지(136)의 전체 크기와 전조등(146)과 타이어(147) 같은 특정 특성부의 전체 크기는 이미지 면에 대해 기준 거리에 위치된 차량(69)의 이미지(84)의 크기와 비교 가능하게 된다.
도 8(b)는 차량(69)의 이미지(84)를 도시한다. 차량(69)이 기준 거리에 위치되어 있으므로 일 부분(83)은 재추출될 필요가 없다.
도 8(a) 및 도 8(c)에서 볼 수 있는 바와 같이, 이미지 데이터의 부분을 재추출하는 것에 의해, 차량(68, 70)의 이미지(132, 136)은 차량이 이미지 면으로부터 기준 거리에 실질적으로 나타나도록 크기 조정될 수 있다. 차량이 기준 거리에 있을 때 캡처되는 기준 데이터에 의존하는 이미지 데이터에 대한 추가 분석 또는 평가는 재추출에 의해 용이하게 된다. 예를 들면, 이미지 인식에 대한 학습 알고리즘이 차량의 이미지(84)에 대해 훈련될 때, 학습 알고리즘이 이미지 데이터에서 이미지(82, 86)를 바르게 식별하는 것이 어려운 반면, 재추출 이미지 데이터에서 이미지(132, 136)는 차량으로서 쉽게 분류될 수 있다.
이미지 데이터의 일부의 상방 추출 및 하방 추출은 전술한 방식과 달리 수행될 수 있다. 예를 들면, 하방 추출에서, 차량이 이미지 면에서 더 멀리 위치됨에 따라 변화하는 해상도를 모델링하는 필터를 채용할 수 있다. 그에 따라, 재추출 이미지 데이터에서 여전히 인식될 수 있는 세밀도의 수준을 보다 정확하게 제어할 수 있다. 상방 추출도 역시 예컨대, 보다 많은 화소를 추가시 화소 색채 값을 보간하도록 보간 함수(interpolation function)를 이용하는 것에 의해 수행될 수 있 다. 상방 추출은 상방 추출 대상의 부분이 위치된 시야의 새로운 이미지를 캡처링하는 것에 의해, 즉 2D 카메라를 사용하여 상기 시야 내로 주밍함으로써(zooming) 새로운 고 해상도의 이미지를 캡처링하는 것에 의해 수행될 수도 있다.
도 9는 도 1의 장치(2) 또는 도 5의 장치(67)에 의해 수행될 수 있는 방법(150)의 흐름도이다. 상기 방법(150) 중 151-153 단계에서, 2D 및 3D 이미지를 캡처링하고, 3D 이미지를 기초로 대상물 리스트를 생성하는 단계가 수행된다. 이들 단계는 전술한 도 3을 참조로 설명된 바와 같이 실행될 수 있다.
154 단계에서, 대상물 리스트로부터 대상물을 선택하고, 이미지 면에 대한 그 상대 거리를 검색한다. 155 단계에서, 대상물의 적어도 일부를 포함하고 2D 이미지를 표현하는 이미지 데이터의 부분을 결정한다. 155 단계에서의 결정은 예컨대, 3D 이미지의 화소를 2D 이미지의 대응하는 화소에 매핑하는 것에 의해 2D 이미지 및 3D 이미지를 매칭하는 것을 포함할 수 있다.
156 단계에서, 대상물 리스트로부터 검색된 거리(d)를 기준 거리(dref)와 비교한다. d가 dref보다 작거나 같으면, 157 단계에서, 예컨대 전술한 수학식 (1)과 관련하여 설명된 바와 같이 결정될 수 있는 상방 추출 인자 sfup에 의해 이미지 데이터의 부분을 상방 추출한다. d가 dref보다 크면, 156 단계에서, 예컨대 전술한 수학식 (2)과 관련하여 설명된 바와 같이 결정될 수 있는 하방 추출 인자 sfdown에 의해 이미지 데이터의 부분을 하방 추출한다.
150 단계에서, 재추출 이미지 데이터를 기초로 대상물을 분류한다. 대상물 분류는 도 3에서 36 단계와 관련하여 설명된 바와 같이 수행될 수 있다.
160 단계에서, 대상물 리스트로부터 새로운 대상물을 결정하고 그 거리 정보를 검색하며, 155-159 단계가 반복된다.
본 방법(150)은 일정한 시간 간격으로 반복될 수 있다. 예를 들면, 장치(2)가 차량에 탑재 설치될 때, 상기 방법(150)은 초당 여러 번 반복되어 차량의 주변을 준-연속 방식으로 감시한다.
도 1에 도시된 이미지의 평가를 위한 장치(2)의 구성은 단지 예시적인 것이고, 다양한 다른 구성이 다른 실시 형태로 구현될 수 있음을 이해하여야 한다.
도 10은 다른 실시예에 따른 이미지 평가 장치(172)와 보조 장치(12)를 포함하는 운전자 보조 시스템의 개략적 블록도이다. 버스(181)를 통해 상기 장치(172)에 연결되는 보조 장치(12)는 전술한 도 1을 참조로 설명된 바와 같이 구성될 수 있다.
상기 장치(172)는 평가 대상 이미지를 표현하는 이미지 데이터를 수신하는 입력부(174)와 이미지 면에 대한 대상물의 상대 거리에 대한 거리 정보를 수신하는 추가의 입력부(175)를 갖는 처리 장치(173)를 포함한다. 처리 장치(173)는 대상물 분류를 위한 기준 데이터를 저장하고 있는 저장 장치(180)에도 연결된다.
상기 장치(172)는 스테레오 카메라와 같은 3D 카메라(177), 대상물 식별 장치(179) 및 이미지 프로세서(178)를 포함하는 3D 카메라 장치(176)를 더 포함한다. 대상물 식별 장치(179)는 3D 카메라(177)에 연결되어, 예컨대 스테레오 카메라에 의해 얻어진 2개 이미지와 같이, 3D 카메라(177)에 의해 얻어진 3D 이미지로 대상물과 3D 카메라(177)의 이미지 면에 대한 그 상대 위치를 식별하고, 또한 그 정보를 처리 장치(173)의 입력부(175)로 제공한다. 이미지 프로세서(178)는 3D 카메라(177)에 연결되어, 3D 카메라(177)에 의해 얻어진 3D 이미지를 기초로 2D 이미지를 표현하는 이미지 데이터를 생성한다. 예를 들면, 3D 카메라가 스테레오 카메라인 경우, 이미지 프로세서(178)는 스테레오 카메라에 의해 캡처된 2개 이미지로부터 데이터를 합치는 것에 의해 2D 이미지를 형성할 수 있거나, 2D 이미지는 상기 스테레오 카메라에 의해 캡처된 2개 이미지 중 하나와 동일한 것으로 설정될 수 있다. 2D 이미지를 표현하는 이미지 데이터는 처리 장치(173)의 입력부(175)로 제공된다.
처리 장치(173)는 입력부(175)에서 거리 정보를 수신하고 입력부(174)에서 이미지 데이터를 수신하며, 거리 정보와 미리 결정된 기준 거리를 기초로 이미지 데이터의 일부를 재추출한다. 처리 장치(173)는 전술한 도 2-9를 참조로 설명된 방법 중 어느 하나에 따라 작동할 수 있다.
도 11은 도 10의 장치(171)에 의해 수행될 수 있는 방법(190)의 흐름도이다. 191 단계에서, 3D 이미지 데이터에 의해 표현되는 3D 이미지를 캡처한다. 192 단계에서, 이미지에 의해 표현되는 대상물에 대한 거리 정보를 포함하는 대상물 리스트를 3D 이미지 데이터를 기초로 생성한다. 193 단계에서, 3D 이미지 데이터를 기촐호 2D 이미지 데이터를 표현하는 이미지 데이터를 생성한다. 194 단계에서, 대상물 리스트를 기초로, 즉 3D 이미지 데이터의 분석을 기초로 이미지 데이터의 부분을 선택한다. 195 단계에서, 거리 정보와 미리 결정된 기준 거리를 기초로 이미지 데이터의 적어도 일부를 재추출하여 재추출 이미지 데이터를 생성한다. 196 단계에서, 예컨대, 대상물 분류를 통해 재추출 이미지 데이터를 평가한다.
전술한 실시예의 설명은 한정을 위한 것이 아닌 예시의 목적이며, 다양한 변형이 다른 실시예로써 구현될 수 있음을 이해하여야 한다. 예를 들면, 장치(2)의 대상물 식별 장치(9)와 다른 장치(172)의 대상물 식별 장치(179)는 3D 카메라 장치(7, 176)에 의해 구성되는 것으로 도시되었지만, 대상물 식별 장치는 처리 장 치(7, 173)에 일체로 형성될 수도 있는데, 즉 대상물 리스트는 처리 장치에 의해 형성될 수 있다.
상기 장치에 있어서 2D 카메라, 3D 카메라, 처리 장치, 대상물 식별 장치 및 저장 장치와 같은 다양한 물리적 존재는 소정의 적절한 하드웨어, 소프트웨어 또는 그 조합을 통해 구현될 수 있다. 예를 들면, 2 카메라는 CMOS 카메라, CCD 카메라 또는 소정의 다른 카메라나 이미지 데이터를 제공하는 광학 성분의 조합일 수 있다. 유사하게, 3D 카메라는 PMD 카메라, 스테레오 카메라, 또는 깊이 정보를 캡처하기에 적합한 소정의 다른 장치로 구성될 수 있다. 처리 장치는 적절히 프로그래밍된 특별 목적의 회로 또는 범용 프로세서일 수 있다.
또한, 도 1 및 도 10에 도시된 장치 또는 전술한 소정의 실시예의 다양한 성분은 일체로 형성되거나 합체되어, 예상되는 응용에 적합한 장치를 형성할 수 있다. 예를 들면, 하나의 예시적 실시예에서, 도 1의 처리 장치(3)와 저장 장치(10)가 운전자 보조 시스템(12)에 구성될 수 있거나, 도 10의 처리 장치(173)와 저장 장치(180)가 운전자 보조 시스템(12)에 구성될 수 있다. 또한, 대상물 식별 장치(9)가 운전자 보조 장치(12)에 구성될 수 있다. 처리 장치(3, 173)는 운전자 보조 장치(12)의 제어 유닛(13) 또는 프로세서에 일체로 형성될 수 있어서, 운전자 보조 장치(12)에 제공되는 하나의 프로세서는 경고 및/또는 보호 장치(14, 15)의 동작을 제어할 수 있고 소정의 실시예에 따라 이미지 평가 방법을 수행할 수 있다. 또한, 운전자 보조 장치의 대상물 식별 장치, 처리 장치 및 제어 장치는 일체로 형성될 수 있다. 다양한 성분이 소정의 다른 적절한 방식으로 배열 및 연결된 다른 실시예로 다른 변형이 실시될 수 있음을 알 것이다.
운전자 보조 시스템에 적용되는 것을 참고로 본 발명의 실시예가 설명되었지만, 본 발명은 그러한 적용에 한정되지 않으며, 이미지 평가가 행해지는 소정의 적용례에 용이하게 적용될 수 있다. 예를 들면, 본 발명의 실시예는 공공 장소의 감시, 또는 생물학적, 의학적 또는 기타 특정 용례의 이미지 분석에 채용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 평가 장치를 포함하는 운전자 보조 시스템의 개략적 블록도이다.
도 2는 본 발명의 일 실시예에 따른 방법의 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 방법의 흐름도이다.
도 4(a)는 2D 이미지의 개략도이고, 도 4(b)는 도 4(a)의 이미지의 일부를 재추출하는 것을 보여주는 개략도이다.
도 5는 본 발명의 실시예에 따른 방법의 설명을 참조로 도로 세그먼트를 보여주는 개략적 상면도이다.
도 6은 도 5의 도로 세그먼트의 2D 이미지의 개략도이다.
도 7은 도 5의 도로 세그먼트의 3D 이미지의 개략도이다.
도 8은 도 6의 2D 이미지의 재추출 부분에 대한 개략도이다.
도 9는 본 발명의 다른 실시예에 따른 방법의 흐름도이다.
도 10은 본 발명의 다른 실시예에 따른 이미지 평가 장치를 포함하는 운전자 보조 시스템의 개략적 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 방법의 흐름도이다.

Claims (40)

  1. 이미지 평가 방법으로서:
    대상물(43-46; 68-70)의 적어도 일부를 표현하고 이미지를 표현하는 이미지 데이터(40; 80)를 검색하는 단계와,
    상기 이미지의 이미지 면(71)에 대한 대상물(43-46; 68-70)의 거리(dA, dB, dC)에 관한 거리 정보를 검색하는 단계와,
    상기 거리 정보와 미리 결정된 기준 거리(dref)를 기초로 상기 이미지 데이터(40; 80)의 적어도 일부(43, 45, 46; 81, 85)를 재추출하는 것에 의해 재추출 이미지 데이터(53, 55, 56; 131, 135)를 생성하는 단계를 포함하고, 재추출되는 상기 이미지 데이터(40; 80)의 상기 부분(43, 45, 46; 81, 85)은 상기 대상물(43, 45, 46; 68, 70)의 적어도 일부를 표현하는 것을 특징으로 하는 이미지 평가 방법.
  2. 제1항에 있어서, 상기 이미지 데이터(40; 80)의 상기 일부는 상기 대상물(43, 45, 46; 68, 70)의 상기 거리(dA, dB, dC)와 상기 기준 거리(dref)의 비교를 기초로 결정되는 재추출 인자에 의해 재추출되는 것을 특징으로 하는 이미지 평가 방법.
  3. 제1항 또는 제2항에 있어서, 상기 이미지 데이터(40; 80)의 상기 일부는 상 기 대상물(45, 46; 70)의 상기 거리(dC)가 상기 기준 거리(dref)와 같거나 그보다 큰 미리 결정된 임계치를 초과하는 경우 상방 추출(upsampled)되는 것을 특징으로 하는 이미지 평가 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 이미지 데이터(40; 80)의 상기 일부는 상기 대상물(43; 68)의 상기 거리(dA)가 상기 기준 거리(dref)와 같거나 그보다 작은 미리 결정된 추가의 임계치보다 작은 경우 하방 추출(downsampled)되는 것을 특징으로 하는 이미지 평가 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 재추출 이미지 데이터(53, 55, 56; 131, 135)의 화소가 상기 이미지 면(71)으로부터의 상기 기준 거리(dref)에 위치된 대상물(44; 69)의 상기 이미지 데이터(40; 80)에서의 화소 당 폭과 거의 동일한 대상물 폭에 대응하는 것을 특징으로 하는 이미지 평가 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 3차원 이미지를 표현하고 깊이 정보를 구비하는 추가의 이미지 데이터를 얻는 단계를 포함하고, 상기 3차원 이미지의 시야는 상기 이미지의 시야와 중첩되는 것을 특징으로 하는 이미지 평가 방법.
  7. 제6항에 있어서, 상기 깊이 정보를 기초로 상기 대상물(68-70)의 적어도 일부를 표현하는 상기 추가의 이미지 데이터(110)의 부분(111, 113, 115)을 식별하는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  8. 제7항에 있어서, 상기 추가의 이미지 데이터(110)의 상기 식별된 부분(111, 113, 115)을 기초로 재추출될 상기 이미지 데이터(40; 80)의 상기 부분(43, 45, 46; 81, 85)을 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  9. 제8항에 있어서, 상기 이미지 데이터(40; 80)의 상기 부분(43, 45, 46; 81, 85)을 선택하는 단계는 상기 추가의 이미지 데이터(110)의 상기 부분(111, 113, 115)에 의해 구성되는 상기 추가의 이미지 데이터(110)의 화소에 대응하는 상기 이미지 데이터(40; 80)의 적어도 하나의 화소를 식별하는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서, 상기 추가 이미지 데이터(110)를 기초로 상기 거리 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  11. 제6항 내지 제10항 중 어느 한 항에 있어서, PMD(Photonic Mixer Device) 카메라(8) 또는 스테레오 카메라(177)를 사용하여 상기 3차원 이미지를 캡처하는 단 계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 2D 카메라(6; 177, 178)를 사용하여 상기 이미지를 캡처라는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    복수의 대상물 종류를 표현하는 복수의 기준 대상물에 대한 기준 데이터를 검색하는 단계와,
    상기 기준 데이터를 기초로 상기 재추출 이미지 데이터(53, 55, 56; 131, 135)를 분석하는 것에 의해 상기 대상물을 상기 복수의 대상물 종류로 분류하는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  14. 제13항에 있어서, 상기 복수의 대상물 종류는 차량, 화물차, 오토바이, 신호등 및 보행자로 이루어진 그룹 중에서 선택되는 것을 특징으로 하는 이미지 평가 방법.
  15. 제13항 또는 제14항에 있어서, 상기 기준 데이터는 상기 기준 거리(dref)와 대략 동일한 상기 이미지 면(71)으로부터의 거리에 위치된 상기 기준 대상물 중 적 어도 하나의 이미지를 기초로 생성되는 것을 특징으로 하는 이미지 평가 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 거리 정보 검색 단계, 상기 재추출 단계 및 상기 분석 단계는 상기 이미지 데이터(40; 80)에 의해 표현되는 복수의 대상물(43, 45, 46; 68, 70) 각각에 대해 개별 수행되는 것을 특징으로 하는 이미지 평가 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서, 상기 분석의 결과를 운전자 보조 장치(12)에 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 평가 방법.
  18. 전자 계산 기기(2; 172)의 프로세서(3; 173)에 의해 실행시 그 계산 기기(2; 172)에 대해 제1항 내지 제17항 중 어느 한 방법을 수행하도록 하는 명령을 저장하고 있는 것을 특징으로 하는 데이터 저장 매체.
  19. 이미지 평가 장치로서:
    대상물(43-46; 68-70)의 적어도 일부를 표현하는 이미지를 표현하는 이미지 데이터(40; 80)를 수신하는 입력부(4; 174)와 상기 이미지의 이미지 면(71)에 대한 상기 대상물(43-46; 68-70)의 거리(dA, dB, dC)에 대한 거리 정보를 수신하는 추가의 입력부(5; 175)를 구비하는 처리 장치(3; 173)를 포함하고,
    상기 처리 장치(3; 173)는 상기 거리 정보와 미리 결정된 기준 거리(dref) 양자를 기초로 상기 이미지 데이터(40; 80)의 적어도 일부(43, 45, 46; 81, 85)를 재추출하는 것에 의해 재추출 이미지 데이터(53, 55, 56; 131, 135)를 생성하도록 구성되며, 상기 재추출될 이미지 데이터(40; 80)의 상기 부분은 상기 대상물(43, 45, 46; 68, 70)의 적어도 일부를 표현하는 것을 특징으로 하는 이미지 평가 장치.
  20. 제19항에 있어서, 상기 추가의 입력부에 연결되어, 3차원 이미지를 표현하고 깊이 정보를 포함하는 추가의 이미지 데이터(110)를 캡처하도록 된 3D 카메라 장치(7; 176)를 포함하고, 상기 3차원 이미지의 시야는 상기 이미지의 시야와 중첩되는 것을 특징으로 하는 이미지 평가 장치.
  21. 제20항에 있어서, 상기 3D 카메라 장치(7; 176)는 PMD(Photonic Mixer Device) 카메라(8) 또는 스테레오 카메라(177)를 구비하는 것을 특징으로 하는 이미지 평가 장치.
  22. 제20항 또는 제21항에 있어서, 상기 3D 카메라(7; 176)는 상기 추가의 이미지 데이터(110)를 기초로 대상물(43-46; 68-70)과 그 각각의 거리(dA, dB, dC)를 식별하도록 된 대상물 식별 장치(9; 179)를 포함하는 것을 특징으로 하는 이미지 평가 장치.
  23. 제22항에 있어서, 상기 대상물 식별 장치(9; 179)는 상기 추가 이미지 데이터(110)를 기초로 상기 거리 정보를 결정하고 그 거리 정보를 상기 처리 장치(3; 173)에 제공하도록 된 것을 특징으로 하는 이미지 평가 장치.
  24. 제20항 내지 제23항 중 어느 한 항에 있어서, 상기 3D 카메라 장치(7; 176)는 상기 대상물의 적어도 일부를 표현하는 상기 추가의 이미지 데이터(110)의 일부(111, 113, 115)에 대한 정보를 상기 처리 장치(3; 173)로 제공하도록 된 것을 특징으로 하는 이미지 평가 장치.
  25. 제24항에 있어서, 상기 처리 장치(3; 173)는 상기 추가 이미지 데이터(110)의 상기 부분(111, 113, 115)에 대한 상기 정보를 기초로 상기 이미지 데이터(40; 80)의 상기 부분(43, 45, 46; 81, 85)을 선택하도록 된 것을 특징으로 하는 이미지 평가 장치.
  26. 제19항 내지 제25항 중 어느 한 항에 있어서, 상기 처리 장치(3; 173)의 상기 입력부에 연결되어 상기 이미지를 캡처하도록 된 2D 카메라(6; 177, 178)를 포함하는 것을 특징으로 하는 이미지 평가 장치.
  27. 제26항에 있어서, 상기 2D 카메라(6)는 CCD 카메라 또는 CMOS 카메라를 구비 하는 것을 특징으로 하는 이미지 평가 장치.
  28. 제19항 내지 제27항 중 어느 한 항에 있어서, 상기 처리 장치(3; 173)는 상기 대상물의 상기 거리(dA, dB, dC)와 상기 기준 거리(dref)의 비교를 기초로 결정되는 재추출 인자에 의해 상기 이미지 데이터(40; 80)의 상기 부분(43, 45, 46; 81, 85)을 재추출하도록 된 것을 특징으로 하는 이미지 평가 장치.
  29. 제19항 내지 제28항 중 어느 한 항에 있어서, 상기 처리 장치(3; 173)는 상기 대상물(45, 46; 70)의 상기 거리(dC)가 상기 기준 거리(dref)와 같거나 그보다 큰 미리 결정된 임계치를 초과하는 경우 상기 이미지 데이터(40; 80)의 상기 부분(45, 46; 85)을 상방 추출(upsampled)하고, 상기 대상물(43; 68)의 상기 거리(dA)가 상기 기준 거리(dref)와 같거나 그보다 작은 미리 결정된 추가의 임계치보다 작은 경우 상기 이미지 데이터(40; 80)의 상기 부분(46; 81)을 하방 추출(downsampled)하도록 된 것을 특징으로 하는 이미지 평가 장치.
  30. 제19항 내지 제29항 중 어느 한 항에 있어서, 상기 처리 장치(3; 173)는 상기 재추출 이미지 데이터(53, 55, 56; 131, 135)의 화소가 상기 이미지 면(71)으로부터의 상기 기준 거리(dref)에 위치된 대상물(44; 69)의 상기 이미지 데이터(40; 80)에서의 화소 당 폭과 거의 동일한 대상물 폭에 대응하도록 상기 이미지 데이터(40; 80)의 상기 부분(43, 45, 46; 81, 85)을 재추출하도록 된 것을 특징으로 하는 이미지 평가 장치.
  31. 제19항 내지 제30항 중 어느 한 항에 있어서, 복수의 대상물 종류를 표현하는 복수의 기준 대상물에 대한 기준 데이터를 저장하고 있는 저장 장치(10; 180)를 포함하고, 상기 처리 장치(3; 173)는 상기 저장 장치(10; 180)에 연결되어 상기 기준 데이터를 검색하고, 상기 기준 데이터를 기초로 상기 재추출 이미지 데이터(53, 55, 56; 131, 135)를 분석하여 상기 대상물(43-46; 68-70)을 상기 복수의 대상물 종류 중 하나로 분류하도록 된 것을 특징으로 하는 이미지 평가 장치.
  32. 제31항에 있어서, 상기 복수의 대상물 종류는 차량, 화물차, 오토바이, 신호등 및 보행자로 이루어진 그룹 중에서 선택되는 것을 특징으로 하는 이미지 평가 장치.
  33. 제31항 또는 제32항에 있어서, 상기 기준 데이터는 상기 기준 거리(dref)와 대략 동일한 상기 이미지 면(71)으로부터의 거리에 있는 상기 기준 대상물 중 적어도 하나의 이미지를 기초로 생성되는 것을 특징으로 하는 이미지 평가 장치.
  34. 제19항 내지 제33항 중 어느 한 항에 따른 장치(2; 172)를 포함하는 것을 특징으로 하는 운전자 보조 시스템.
  35. 제34항에 있어서, 상기 장치(2; 172)에 의해 수행된 이미지 평가의 결과를 기초로, 광학, 음향, 또는 접촉 출력 신호 중 적어도 하나를 제공하는 출력 유닛(14)을 포함하는 것을 특징으로 하는 운전자 보조 시스템.
  36. 제34항 또는 제35항에 있어서, 상기 장치(2; 172)에 연결되고 상기 장치(2; 172)에 의해 수행된 이미지 평가의 결과를 기초로 작동되도록 된 탑승자 및/또는 보행자 보호 시스템(15)을 포함하는 것을 특징으로 하는 운전자 보조 시스템.
  37. 이미지 평가 방법으로서,
    이미지를 캡처하는 단계와,
    깊이 정보를 포함하는 3차원 이미지를 캡처하는 단계와,
    상기 3차원 이미지를 기초로 상기 이미지의 적어도 일부를 재추출하는 단계를 포함하고, 상기 3차원 이미지의 시야는 상기 이미지의 시야와 중첩되는 것을 특징으로 하는 이미지 평가 방법.
  38. 제37항에 있어서, 상기 3차원 이미지는 PMD(Photonic Mixer Device) 카메라를 사용하여 캡처되는 것을 특징으로 하는 이미지 평가 방법.
  39. 이미지 평가 장치로서,
    이미지를 캡처하도록 된 카메라 장치와,
    깊이 정보를 포함하는 3차원 이미지를 캡처하도록 된 3D 카메라 장치와,
    상기 카메라 장치에 연결되어 상기 카메라 장치로부터 상기 이미지를 표현하는 이미지 데이터를 수신하고, 상기 3D 카메라 장치에 연결되어 상기 3D 카메라 장치로부터 상기 3차원 이미지를 표현하는 추가의 이미지 데이터를 수신하며, 상기 추가의 이미지 데이터를 기초로 상기 이미지 데이터의 적어도 일부를 재추출하도록 된 처리 장치를 포함하고,
    상기 3차원 이미지의 시야는 상기 이미지의 시야와 중첩되는 것을 특징으로 하는 이미지 평가 장치.
  40. 제39항에 있어서, 상기 3D 카메라 장치는 PMD(Photonic Mixer Device) 카메라를 구비하는 것을 특징으로 하는 이미지 평가 장치.
KR1020080076011A 2007-08-03 2008-08-04 이미지 평가 방법 및 장치 KR20090014124A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07015282A EP2026246A1 (en) 2007-08-03 2007-08-03 Method and apparatus for evaluating an image
EP07015282.2 2007-08-03

Publications (1)

Publication Number Publication Date
KR20090014124A true KR20090014124A (ko) 2009-02-06

Family

ID=38754745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080076011A KR20090014124A (ko) 2007-08-03 2008-08-04 이미지 평가 방법 및 장치

Country Status (6)

Country Link
US (1) US20090060273A1 (ko)
EP (1) EP2026246A1 (ko)
JP (1) JP2009037622A (ko)
KR (1) KR20090014124A (ko)
CN (1) CN101388072B (ko)
CA (1) CA2638416A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8294809B2 (en) 2005-05-10 2012-10-23 Advanced Scientific Concepts, Inc. Dimensioning system
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
US8854428B2 (en) * 2009-03-19 2014-10-07 Lg Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
SE534188C2 (sv) * 2009-06-10 2011-05-24 Scania Cv Ab Metod och modul för bestämning av börvärden till ett fordons styrsystem
DE102009031319A1 (de) * 2009-06-30 2011-01-05 Siemens Aktiengesellschaft Verfahren und System zur Bestimmung einer Fahrzeugklasse
US7929852B1 (en) * 2009-10-13 2011-04-19 Vincent Pace Integrated 2D/3D camera
US8090251B2 (en) * 2009-10-13 2012-01-03 James Cameron Frame linked 2D/3D camera system
KR101675112B1 (ko) * 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR20110097690A (ko) * 2010-02-23 2011-08-31 삼성전자주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
EP2389004B1 (en) * 2010-05-20 2013-07-24 Sony Computer Entertainment Europe Ltd. 3D camera and imaging method
EP2393295A1 (en) * 2010-06-07 2011-12-07 Harman Becker Automotive Systems GmbH Method and device for identifying driving situations
EP2402226B1 (en) * 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
US9071738B2 (en) 2010-10-08 2015-06-30 Vincent Pace Integrated broadcast and auxiliary camera system
US8879902B2 (en) 2010-10-08 2014-11-04 Vincent Pace & James Cameron Integrated 2D/3D camera with fixed imaging parameters
LU91745B1 (en) * 2010-10-15 2012-04-16 Iee Sarl Range image pixel matching method
TW201224994A (en) * 2010-12-13 2012-06-16 Nat Univ Chung Cheng Three-dimensional information representation method featuring non-uniform sampling
WO2012133105A1 (ja) * 2011-03-25 2012-10-04 富士フイルム株式会社 レンズ制御装置及びレンズ制御方法
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
DE102011076112A1 (de) 2011-05-19 2012-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes
WO2013148675A1 (en) * 2012-03-26 2013-10-03 Robert Bosch Gmbh Multi-surface model-based tracking
EP2654027B1 (de) * 2012-04-16 2018-08-29 Preh Car Connect GmbH Verfahren zum Ausgeben einer Warnung vor einem Überholvorgang
US10659763B2 (en) 2012-10-09 2020-05-19 Cameron Pace Group Llc Stereo camera system with wide and narrow interocular distance cameras
KR101401399B1 (ko) * 2012-10-12 2014-05-30 현대모비스 주식회사 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템
CN102883175B (zh) * 2012-10-23 2015-06-17 青岛海信信芯科技有限公司 深度图提取、判断视频场景切换及深度图边缘优化方法
CN105026955B (zh) * 2012-12-28 2018-12-18 诺基亚技术有限公司 用于对来自距离感应相机的数据进行降噪的方法和装置
US9214138B2 (en) 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
US9135742B2 (en) * 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
US9110169B2 (en) 2013-03-08 2015-08-18 Advanced Scientific Concepts, Inc. LADAR enabled impact mitigation system
EP2806414B1 (en) * 2013-05-23 2016-07-06 Harman Becker Automotive Systems GmbH Driver assistance in passing a narrow thoroughfare
US20150003669A1 (en) * 2013-06-28 2015-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. 3d object shape and pose estimation and tracking method and apparatus
CN104346829A (zh) * 2013-07-29 2015-02-11 中国农业机械化科学研究院 基于pmd相机和摄像头的彩色三维重建系统及其方法
DE102013217915A1 (de) * 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
KR102399601B1 (ko) 2015-07-20 2022-05-18 삼성전자주식회사 효율적인 제약 조건 처리를 위한 입자 기반 모델링 방법 및 장치
US10474907B2 (en) * 2016-03-10 2019-11-12 Panasonic Intellectual Property Corporation Of America Apparatus that presents result of recognition of recognition target
CN106170797A (zh) * 2016-06-02 2016-11-30 深圳市锐明技术股份有限公司 车辆人员的统计方法及装置
KR20180060784A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 비정상 객체 판단 방법 및 장치
US10261515B2 (en) * 2017-01-24 2019-04-16 Wipro Limited System and method for controlling navigation of a vehicle
US10311704B1 (en) 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
CN110497910B (zh) * 2018-05-16 2022-10-28 奥迪股份公司 驾驶辅助系统和方法
US11430084B2 (en) * 2018-09-05 2022-08-30 Toyota Research Institute, Inc. Systems and methods for saliency-based sampling layer for neural networks
US11004216B2 (en) * 2019-04-24 2021-05-11 The Boeing Company Machine learning based object range detection
EP3789794A1 (de) * 2019-09-04 2021-03-10 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur distanzmessung
US11210571B2 (en) 2020-03-13 2021-12-28 Argo AI, LLC Using rasterization to identify traffic signal devices
DE102020205470A1 (de) 2020-04-30 2021-11-04 Zf Friedrichshafen Ag Verfahren zum Verarbeiten optischer Sensordaten
US11704912B2 (en) 2020-06-16 2023-07-18 Ford Global Technologies, Llc Label-free performance evaluator for traffic light classifier system
WO2022208664A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 画像処理装置、画像処理方法、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3367170B2 (ja) * 1993-11-05 2003-01-14 株式会社豊田中央研究所 障害物検出装置
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP2002123829A (ja) * 2000-10-13 2002-04-26 Matsushita Electric Ind Co Ltd 画像変形装置および対象物拡大表示方法
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
JP4678110B2 (ja) * 2001-09-12 2011-04-27 株式会社豊田中央研究所 環境危険度演算装置
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
JP4317465B2 (ja) * 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
JP4246691B2 (ja) * 2004-11-30 2009-04-02 本田技研工業株式会社 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置

Also Published As

Publication number Publication date
CA2638416A1 (en) 2009-02-03
EP2026246A1 (en) 2009-02-18
US20090060273A1 (en) 2009-03-05
CN101388072B (zh) 2014-04-23
JP2009037622A (ja) 2009-02-19
CN101388072A (zh) 2009-03-18

Similar Documents

Publication Publication Date Title
KR20090014124A (ko) 이미지 평가 방법 및 장치
US10984509B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
CN108082037B (zh) 制动灯检测
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US8670592B2 (en) Clear path detection using segmentation-based method
KR101982298B1 (ko) 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US9042639B2 (en) Method for representing surroundings
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
RU2568777C2 (ru) Устройство обнаружения движущихся тел и система обнаружения движущихся тел
JP6705496B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
KR102001002B1 (ko) 딥러닝 기반 번호 인식 시스템
KR102031503B1 (ko) 다중 객체 검출 시스템 및 방법
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
JP2007249841A (ja) 画像認識装置
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
KR101787292B1 (ko) 영상을 이용한 차선 인식 성능 향상 방법
JP4826355B2 (ja) 車両周囲表示装置
JP5073700B2 (ja) 物体検出装置
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
Hsieh et al. Vision based obstacle warning system for on-road driving

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application