KR102117313B1 - 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템 - Google Patents

그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템 Download PDF

Info

Publication number
KR102117313B1
KR102117313B1 KR1020180107761A KR20180107761A KR102117313B1 KR 102117313 B1 KR102117313 B1 KR 102117313B1 KR 1020180107761 A KR1020180107761 A KR 1020180107761A KR 20180107761 A KR20180107761 A KR 20180107761A KR 102117313 B1 KR102117313 B1 KR 102117313B1
Authority
KR
South Korea
Prior art keywords
pixel
image
gradient
processors
extracting
Prior art date
Application number
KR1020180107761A
Other languages
English (en)
Other versions
KR20190068409A (ko
Inventor
츠요시 다사키
다쿠야 미야모토
다카유키 스기우라
Original Assignee
가부시끼가이샤 도시바
도시바 디바이스 앤 스토리지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바, 도시바 디바이스 앤 스토리지 가부시키가이샤 filed Critical 가부시끼가이샤 도시바
Publication of KR20190068409A publication Critical patent/KR20190068409A/ko
Application granted granted Critical
Publication of KR102117313B1 publication Critical patent/KR102117313B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

일 실시예에 따르면, 그래디언트 추정 장치는 하나 이상의 프로세서를 포함한다. 프로세서들은 오브젝트의 표면을 촬영하는 것에 의해 획득되는 제1 화상 및 제2 화상을 취득한다. 프로세서들은 제1 화상으로부터 표면의 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 제1 화소를 추출하고, 제2 화상로부터 제1 화소에 대응하는 제2 화소를 추출한다. 프로세서들은 제1 화소와 제2 화소 사이의 일치도가 증가되도록 제1 화상 및 제2 화상 중 적어도 하나를 변환시킴으로써 표면의 그래디언트 크기를 산출한다.

Description

그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템 {GRADIENT ESTIMATION DEVICE, GRADIENT ESTIMATION METHOD, COMPUTER PROGRAM, AND CONTROLLING SYSTEM}
관련 출원에 대한 상호 참조
본 출원은 2017년 12월 8일자로 출원된 일본 특허 출원 제2017-235717호에 기초하여 우선권을 주장하고, 이것의 전체 내용은 본 명세서에 참조에 의해 통합된다.
본 명세서에 기술된 실시예들은 일반적으로 그래디언트(gradient) 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 제품 및 제어 시스템에 관한 것이다.
복수의 화상을 이용하여 노면 등의 평면의 그래디언트를 추정하는 기술이 알려져 있다. 예를 들어, 설정한 노면 후보 영역에서 2개의 화상 사이의 휘도 차가 없어지도록 2개의 화상 중 하나를 변환하는 변환 파라미터로부터 그래디언트를 추정하는 기술이 제안되어 있다.
그러나, 종래 기술에서는, 그래디언트 추정 정밀도가 저하되는 경우가 있을 수 있다. 예를 들어, 2개의 화상을 취득한 촬영 장치(카메라)의 위치 및 자세에 오차가 있는 상황에서는, 노면의 그래디언트 방향으로 연장되는 백선의 영향이 강해져서, 그래디언트의 추정 정밀도가 크게 감소하는 경우가 있을 수 있다.
실시예의 목적은 그래디언트 추정 정확도를 향상시킬 수 있는 그래디언트 추정 장치, 그래디언트 추정 방법, 및 컴퓨터 프로그램 제품을 제공하는 것이다.
일 실시예에 따르면, 그래디언트 추정 장치는 하나 이상의 프로세서를 포함한다. 프로세서들은 오브젝트의 표면을 촬영하는 것에 의해 획득되는 제1 화상 및 제2 화상을 취득한다. 프로세서들은 제1 화상으로부터 표면의 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 제1 화소를 추출하고, 제2 화상로부터 제1 화소에 대응하는 제2 화소를 추출한다. 프로세서들은 제1 화소와 제2 화소 사이의 일치도가 증가되도록 제1 화상 및 제2 화상 중 적어도 하나를 변환시킴으로써 표면의 그래디언트 크기를 산출한다.
전술한 반도체 장치에 따르면, 그래디언트 추정 정밀도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 예시적 이동체를 도시하는 뷰이다.
도 2는 제1 실시예에 따른 이동체의 예시적 기능 구성을 도시하는 도면이다.
도 3은 예시적으로 획득된 화상의 뷰이다.
도 4는 평면의 그래디언트 방향을 결정하는 방법을 설명하는 뷰이다.
도 5는 평면의 그래디언트 방향을 결정하는 방법을 설명하는 뷰이다.
도 6은 평면의 그래디언트 방향을 결정하는 방법을 설명하는 뷰이다.
도 7은 추출되는 예시적 화소들을 도시하는 뷰이다.
도 8은 예시적인 화상 변환을 도시하는 뷰이다.
도 9는 예시적인 화상 변환을 도시하는 뷰이다.
도 10은 제1 실시예에 따른 그래디언트 추정 처리의 흐름도이다.
도 11은 제2 실시예에 따른 이동체의 예시적 기능 구성을 도시하는 도면이다.
도 12는 설정될 예시적 후보 영역을 도시하는 뷰이다.
도 13은 설정될 예시적 후보 영역을 도시하는 뷰이다.
도 14는 설정될 예시적 후보 영역을 도시하는 뷰이다.
도 15는 설정될 예시적 후보 영역을 도시하는 뷰이다.
도 16은 설정될 예시적 후보 영역을 도시하는 뷰이다.
도 17은 복수의 후보 영역의 설정 예를 도시하는 뷰이다.
도 18은 제2 실시예에 따른 그래디언트 추정 처리의 흐름도이다.
도 19는 제1 또는 제2 실시예에 따른 그래디언트 추정 장치의 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 그래디언트 추정 장치의 바람직한 실시예를 상세히 설명한다. 이하에서, 이동체가 그래디언트 추정 장치를 포함하는 예를 설명하지만, 적용가능한 예들은 이에 한정되는 것은 아니다.
제1 실시예
제1 실시예에 따른 그래디언트 추정 장치는, 평면을 촬영한 2개의 화상으로부터 평면의 그래디언트 방향과 상이한 방향으로 정렬되는 화소들을 추출하고, 추출된 화소들이 보다 일치하도록 화상들을 변환함으로써, 평면(오브젝트의 표면)의 그래디언트(그래디언트 크기)를 추정한다. 결과적으로, 그래디언트 방향으로 연장되는 백선의 영향이 감소될 수 있고, 예를 들어, 그래디언트 추정 정확도가 개선될 수 있다.
도 1은 본 실시예에 따른 예시적 이동체(10)를 도시한 뷰이다.
이동체(10)는 그래디언트 추정 장치(20), 출력부(10A), 센서(10B), 입력 장치(10C), 동력 제어부(10G), 및 동력부(10H)를 포함한다.
그래디언트 추정 장치(20)는 화상에서 촬영된 평면의 그래디언트를 추정한다. 평면은 예를 들어 이동체(10)의 이동 방향에 존재하는 노면, 지면, 수면, 바닥면, 벽면, 천장면 등을 포함한다. 그래디언트 추정 장치(20)는 예를 들어 전용 또는 범용 컴퓨터이다. 본 실시예에서는, 그래디언트 추정 장치(20)가 이동체(10)상에 장착되는 예시적 경우가 설명된다.
이동체(10)는 이동 가능한 물체이다. 이동체(10)는, 예를 들어, 차량(오토바이, 자동 4륜 차량, 자전거), 캐리지, 로봇, 선박, 또는 비행체(예를 들어, 비행기 또는 무인 항공기(UAV))이다. 이동체(10)는, 예를 들어, 사람에 의한 운전 조작으로 주행하는 이동체이거나, 사람에 의한 운전 조작을 수반하지 않고 자동적으로 주행(자율 주행) 가능한 이동체이다. 자동 주행할 수 있는 이동체는, 예를 들어, 자동 운전 차량이다. 본 실시예의 이동체(10)가 자율 주행을 수행할 수 있는 차량인 예에 대하여 설명이 제공된다.
그래디언트 추정 장치(20)는 이동체(10)에 탑재되는 형태에만 한정되지 않는다는 것을 유의하라. 그래디언트 추정 장치(20)는 고정 물체 상에 장착될 수 있다. 고정 물체는 움직일 수 없는 물체 또는 땅에 대하여 정지 상태에 있는 물체이다. 고정 물체는 예를 들어 가드레일, 기둥, 주차된 차량, 도로 표지 등을 포함한다. 또한, 그래디언트 추정 장치(20)는 클라우드상에서 처리를 실행하는 클라우드 서버상에 탑재될 수도 있다.
출력부(10A)는 각종 정보를 출력한다. 예를 들어, 출력부(10A)는 각종 처리로부터의 출력 정보를 출력한다.
출력부(10A)는, 예를 들어, 출력 정보를 송신하는 통신 기능, 출력 정보를 표시하는 표시 기능, 출력 정보를 나타내는 소리를 출력하는 음성 출력 기능 등을 포함한다. 예를 들어, 출력부(10A)는 통신부(10D), 디스플레이(10E), 및 스피커(10F)를 포함한다.
통신부(10D)는 외부 디바이스와 통신한다. 통신부(10D)는 VICS(등록 상표) 통신 회로 또는 동적 맵 통신 회로이다. 통신부(10D)는 출력 정보를 외부 장치에 송신한다. 추가적으로, 통신부(10D)는 외부 장치로부터 도로 정보 등을 수신한다. 도로 정보는 신호, 표지, 주변 건물, 각 차선의 도로 폭, 차선 중심선 등을 포함한다. 도로 정보는 기억부(20B)에 저장될 수 있다.
디스플레이(10E)는 출력 정보를 표시한다. 디스플레이(10E)는, 예를 들어, 공지된 액정 디스플레이(LCD), 투영 장치, 또는 라이트 등이다. 스피커(10F)는 출력 정보를 나타내는 소리를 출력한다.
센서(10B)는 이동체(10)의 주행 환경을 취득하기 위한 센서이다. 예를 들어, 주행 환경은, 예를 들어, 이동체(10)의 관측 정보와 이동체(10)의 주변 정보를 포함한다. 센서(10B)는, 예를 들어 외부 센서 또는 내부 센서이다.
내부 센서는 관측 정보를 관측하는 센서이다. 관측 정보는, 예를 들어, 이동체(10)의 가속도, 이동체(10)의 속력 및 이동체(10)의 각속도를 포함한다.
내부 센서는, 예를 들어, 관성 측정 유닛(IMU), 가속도 센서, 속력 센서, 로터리 엔코더 등이다. IMU는 이동체(10)의 3축 가속도 및 3축 각속도를 포함하는 관측 정보를 관측한다.
외부 센서는 이동체(10)의 주변 정보를 관측한다. 외부 센서는 이동체(10) 상에 탑재될 수도 있고, 이동체(10)의 외부(예를 들어, 다른 이동체, 외부 장치 등)에 탑재될 수도 있다.
주변 정보는 이동체(10)의 주위의 상황을 나타내는 정보이다. 이동체(10)의 주위는 이동체(10)로부터 미리 결정된 범위 내의 영역이다. 범위는 외부 센서가 관측할 수 있는 범위이다. 범위는 미리 설정될 수 있다.
주위 정보는, 예를 들어 이동체(10)의 주변의 촬영 화상 및 거리 정보를 포함한다. 주위 정보는 이동체(10)의 위치 정보를 포함할 수 있다는 것을 유의하라. 촬영된 화상은 촬영에 의해 획득된 촬영된 화상 데이터(이하 간단히 촬영 화상이라고 지칭함)이다. 거리 정보는 이동체(10)로부터 물체까지의 거리를 나타내는 정보이다. 물체는 외부 세계에서 외부 센서에 의해 관찰될 수 있는 개소이다. 위치 정보는 상대 위치 또는 절대 위치일 수 있다.
외부 센서는, 예를 들어, 촬영에 의한 촬영 화상을 획득하는 촬영 디바이스, 거리 센서(밀리미터파 레이다, 레이저 센서, 거리 화상 센서), 위치 센서(GNSS(Global Navigation Satellite System), GPS(global positioning system), 또는 무선 통신 디바이스) 등을 포함할 수 있다.
촬영 화상은, 화소마다 화소 값이 정의된 디지털 화상 데이터, 센서(10B)로부터의 거리가 화소마다 정의된 깊이 맵 등을 포함한다. 레이저 센서는, 예를 들어, 수평면에 대하여 평행하게 설치된 2차원 LIDAR(Laser Imaging Detection and Ranging) 센서나, 3차원 LIDAR 센서이다.
입력 장치(10C)는 사용자로부터 입력되는 다양한 종류의 명령 및 정보를 수신한다. 입력 장치(10C)는, 예를 들어, 마우스, 트랙볼 등의 포인팅 디바이스, 또는 키보드 등의 입력 디바이스이다. 추가적으로, 입력 장치(10C)는 디스플레이(10E)와 일체로 제공된 터치 패널상의 입력 기능일 수 있다.
동력 제어부(10G)는 동력부(10H)를 제어한다. 동력부(10H)는 이동체(10)에 장착되어 운전에 사용되는 장치이다. 동력부(10H)는 예를 들어 엔진, 모터, 바퀴 등을 포함한다.
동력부(10H)는 동력 제어부(10G)의 제어 하에 구동된다. 예를 들어, 동력 제어부(10G)는, 그래디언트 추정 장치(20)에 의해 생성된 출력 정보나 센서(10B)로부터 획득된 정보 등에 기초하여, 주위 상황을 판단하여, 가속량, 제동량, 조향각 등의 제어를 행한다. 예를 들어, 동력 제어부(10G)는, 이동체(10)가 원하는 속도에서 이동하도록, 그래디언트 추정 장치(20)에 의해 추정된 그래디언트의 크기에 따라서 가속량 및 제동량을 조정한다.
다음에, 이동체(10)의 전기적 구성에 대하여 상세하게 설명한다. 도 2는 이동체(10)의 예시적 구성을 도시하는 블록도이다.
이동체(10)는 그래디언트 추정 장치(20), 출력부(10A), 센서(10B), 입력 장치(10C), 동력 제어부(10G) 및 동력부(10H)를 포함한다. 전술한 바와 같이, 출력부(10A)는 통신부(10D), 디스플레이(10E), 및 스피커(10F)를 포함한다.
그래디언트 추정 장치(20), 출력부(10A), 센서(10B), 입력 장치(10C), 및 동력 제어부(10G)는 버스(10I)를 통해 접속된다. 동력부(10H)는 동력 제어부(10G)에 접속되어 있다.
그래디언트 추정 장치(20)는 기억부(20B) 및 프로세서(200)를 포함한다. 환언하면, 출력부(10A), 센서(10B), 입력 장치(10C), 동력 제어부(10G), 프로세서(200), 및 기억부(20B)는 버스(10I)를 통해 접속된다.
한편, 기억부(20B), 출력부(10A) (통신부(10D), 디스플레이(10E), 스피커(10F)), 센서(10B), 입력 장치(10C), 및 동력 제어부(10G) 중 적어도 하나는, 유선 또는 무선으로 프로세서(200)에 접속된다. 추가적으로, 기억부(20B), 출력부(10A)(통신부(10D), 디스플레이(10E), 스피커(10F)), 센서(10B), 입력 장치(10C), 및 동력 제어부(10G) 중 적어도 하나가 프로세서(200)에 네트워크를 통해서 접속된다.
기억부(20B)는 각종 데이터를 기억한다. 기억부(20B)는, 예를 들어, RAM(random access memory), 플래시 메모리 등의 반도체 메모리 디바이스, 하드 디스크, 광 디스크 등이다. 기억부(20B)는 그래디언트 추정 장치(20)의 외부에 제공될 수도 있다는 것을 유의하라. 추가적으로, 기억부(20B)는 이동체(10)의 외부에 제공될 수도 있다. 예를 들어, 기억부(20B)는 클라우드상에 설치된 서버 장치에 배치될 수도 있다.
또한, 기억부(20B)는 기억 매체일 수도 있다. 구체적으로는, 기억 매체는 LAN(Local Area Network)이나 인터넷 등을 통해 프로그램과 각종 정보를 다운로드하거나 또는 일시적으로 저장하는 것일 수 있다. 또한, 기억부(20B)는 복수의 기억 매체로 구성될 수 있다.
프로세서(200)는 취득부(201), 결정부(202), 추출부(203) 및 산출부(204)를 포함한다.
프로세서(200)에서의 각각의 처리 기능은 컴퓨터에 의해 실행될 수 있는 프로그램의 형태로 기억부(20B)에 저장된다. 프로세서(200)는 기억부(20B)로부터 프로그램을 판독 및 실행하는 것에 의해 각각의 프로그램에 대응하는 기능 유닛을 구현하는 프로세서이다.
각각의 프로그램을 판독한 프로세서(200)는 도 2의 프로세서(200)에 도시된 기능 유닛들 각각을 갖는다. 도 2에서, 취득부(201), 결정부(202), 추출부(203), 및 산출부(204)는 단일 프로세서(200)에 의해 구현되는 것으로 가정하여 설명이 제공될 것이다.
프로세서(200)는 각각의 기능을 구현하기 위해 복수의 독립 프로세서를 조합하는 것에 의해 형성될 수 있음을 유의한다. 이 경우, 각각의 프로세서는 프로그램을 실행하여 각각의 기능을 구현한다. 추가적으로, 각각의 처리 기능이 프로그램으로서 구성되어, 1개의 처리 회로가 각각의 프로그램을 실행하는 경우가 있을 수 있고, 또는 특정한 기능이 전용의 독립적 프로그램 실행 회로에 설치될 경우가 있을 수 있다.
본 실시예에 있어서 사용하는 "프로세서"라는 용어는, 예를 들어 CPU(Central Processing Unit), GPU(Graphical Processing Unit), ASIC(Application Specific Integrated Circuit), 프로그래머블 논리 디바이스(예를 들어, 단순 프로그래머블 논리 디바이스(Simple Programmable Logic Device: SPLD), 복합 프로그래머블 논리 디바이스(Complex Programmable Logic Device: CPLD), 및 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array: FPGA)의 회로를 나타낸다.
프로세서는 기억부(20B)에 저장되는 프로그램을 판독 및 실행하는 것에 의해 기능을 구현한다. 기억부(20B)에 프로그램을 저장하는 대신에, 프로그램을 프로세서 회로 내에 직접 통합되는 것도 가능하다는 것을 유의한다. 이 경우, 프로세서는 회로 내에 통합된 프로그램을 판독하고 실행하는 것에 의해 기능을 구현한다.
취득부(201)는 평면을 촬영하여 획득된 화상들(제1 화상 및 제2 화상)을 취득한다. 예를 들어, 취득부(201)는, 그래디언트를 측정하는 영역의 평면을 촬영하여 획득된 적어도 2개 이상의 화상을 취득하고, 화상들을 촬영한 촬영 디바이스(카메라)의 위치 및 자세가 화상들에 각각 부여된다. 취득부(201)는 카메라로부터 카메라에 의해 촬영된 화상을 직접 취득하거나, 기억 매체 등에 저장된 화상을 취득할 수 있다. 한편, 예를 들어 화상을 해석하여 촬영 디바이스의 위치 및 자세가 산출(추정)될 수 있는 경우에는, 취득부(201)는 촬영 디바이스의 위치 및 자세가 부여되지 않은 화상을 취득할 수 있다.
도 3은 예시적인 획득된 화상를 도시하는 도면이다. 도 3은, 자동차(이동체(10)의 일례)의 앞유리에 전방을 향하는 방식으로 카메라를 설치하는 한편, 그래디언트를 추정하는 영역(421)을 촬영하여 획득된 예시적 화상들을 도시한다. 화상(411)은, 예를 들어 시각 (t-1)에 자동차(401)로부터 촬영된 화상을 나타낸다. 화상(412)은, 예를 들어, 시간 t에서 자동차(402)로부터 촬영된 화상을 나타낸다. 자동차(402)는, 예를 들어, 크기 423을 갖는 그래디언트가 있는 것으로 이동된 자동차(401)에 대응한다. 화상(412)은 그래디언트가 추정되는 영역(421)에 대응하는 영역(422)을 포함한다.
한편, 도 3의 예에서, 상이한 시간에 촬영된 두 개의 화상이 사용되지만, 처리될 두 개의 화상은 이에 제한되지는 않는다. 동일한 평면을 촬영하여 두 개의 화상를 얻는 한, 어떤 화상이라도 사용될 수 있다. 예를 들어, 스테레오 카메라 등으로 동시에 촬영된 2개의 화상이 이용될 수도 있다.
도 2로 돌아가면, 결정부(202)는 획득된 화상 상의 평면의 그래디언트 방향을 결정한다. 도 4는 평면의 그래디언트 방향을 결정하는 방법을 설명하기 위한 뷰이다. 예를 들어, 도 4에 도시된 바와 같이, 결정부(202)는, 화상 취득 위치에서 실 세계의 삼차원 공간 상에서의 그래디언트를 추정하는 영역(421)을 향하는 직선의 방향(501)을 화상 상에 투영함으로써 획득된 방향(502)을 화상 상에서의 평면의 그래디언트 방향으로서 결정한다.
평면의 그래디언트 방향을 결정하는 방법은 이에 한정되지 않고, 임의의 방법이 사용될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 결정부(202)는 화상의 일측(예를 들어, 화상의 하단부)으로부터 소실점(601)을 향하는 방향(602)을 평면의 그래디언트 방향으로서 결정할 수 있다. 도 6에 도시된 바와 같이, 결정부(202)는 화상 상의 이동체(10)의 진행 방향을 평면의 그래디언트 방향으로서 결정할 수 있다. 카메라가 설치되어 있는 대면 방향을 미리 알고 있는 경우에는, 평면의 그래디언트 방향은 사전에 고정되어 설정될 수도 있다. 예를 들어, 촬영 방향이 평면과 평행하게 이동체(10)의 이동 방향에 맞추어지도록 카메라가 설치되어 있는 경우에는, 결정부(202)는, 화상 하부 측으로부터 상부 측으로 향하는 방향을 그래디언트 방향으로서 미리 설정할 수 있다.
추출부(203)는 결정된 그래디언트 방향과는 상이한 방향에서 화소들(화소 열)을 화상으로부터 추출한다. 예를 들어, 추출부(203)는, 2개의 화상 중 하나(제1 화상)로부터, 이 화상 내에 촬영된 오브젝트의 경계 중 평면의 그래디언트 방향과 상이한 방향의 경계를 나타내는 화소들(제1 화소들)을 추출한다. 추가적으로, 추출부(203)는 2개의 화상 중 다른 하나(제2 화상)로부터 제1 화소에 대응하는 화소들(제2 화소들)을 추출한다. 예를 들어, 추출부(203)는, 제2 화상으로부터, 이 화상 내에 촬영된 오브젝트의 경계 중 평면의 그래디언트 방향과 상이한 방향의 경계를 나타내는 화소들(제2 화소들)을 추출할 수 있다.
추출부(203)는, 제1 화소의 좌표와 동일한 좌표에 위치하고 제2 화상의 좌표상에 존재하는 화소를 제3 화소로서 추출하고 제3 화소 주변을 탐색 함으로써, 제1 화소와 일치하는 제2 화소를 대응하는 화소로서 추출할 수 있다. 구체적으로는, 제1 화소의 주변의 화소를 이용한 블록 매칭과 같은 방법으로 검색이 이뤄질 수 있다. 게다가, 추출부(203)는, 제2 화상 상에서, 휘도 변화가 큰 점을 특징점으로서 추출하고, 제1 화소 주변의 특징량과 가장 유사한 특징점의 중심 화소를, 제1 화소에 대응하는 제2 화소로서 추출할 수 있다,
그래디언트 방향과 상이한 방향은, 예를 들어, 그래디언트 추정 정밀도에 영향을 미치는 화소가 제외될 수 있는 범위의 방향으로서 미리 설정될 수 있다. 예를 들어, 그래디언트 방향에 수직한 방향으로부터의 미리 설정된 범위 내의 방향은 그래디언트 방향과 상이한 방향으로 설정될 수 있다. 결과적으로, 노면 상의 진행 방향에서의 노면 상에 그려진 백선과 같이, 그래디언트 방향(또는 그래디언트 방향에 가까운 방향)으로 연장되는 경계를 배제할 수 있다. 추가적으로, 이러한 배제 대신에, 영향을 적게 하기 위해서, 수직 방향에 가까울수록 후술하는 일치도에 대한 영향이 강해지도록 가중치를 부가할 수 있다. 예를 들어, 가중치의 최대값 및 최소값을 미리 설정하여 각도에 따라 선형으로 가중치를 부가하고, 그래디언트 방향에 수직인 경우에 최대값을 가산하고, 그래디언트 방향에 평행한 경우에 최소값을 가산한다.
그래디언트 방향과 상이한 방향의 오브젝트 경계는, 예를 들어 노면 상로 발생한 갈라진 금, 진행 방향을 나타내는 선 이외의 선(정지 선 등), 및 진행 방향에 그려진 파선(파선의 센터 라인 등)과 같이 오브젝트의 경계 중, 진행 방향과 상이한 방향의 경계이다.
예를 들어, 에지 검출 처리에 의해 오브젝트의 경계를 검출할 수 있다. 다시 말하면, 추출부(203)는, 그래디언트 방향과는 상이한 방향의 화소로서, 그래디언트 방향과는 상이한 방향에서의 에지 상에 위치하는 화소를 추출한다. 에지 검출 처리에 의해, 그래디언트 방향에서 휘도 변화가 강한 화소를 추출할 수 있다.
도 7은 추출되는 예시적 화소들을 도시하는 뷰이다. 도 7은, 그래디언트 방향이 화상의 수직 방향일 경우에 추출된, 휘도 변화가 강한 예시적 화소(에지)(801 내지 804)들을 나타낸다. 화소들(801 및 802)은, 파선의 센터라인 부분들에 대응하는 오브젝트의 경계로서 검출되는 예시적 화소들이다. 화소들(803 및 804)은 노면 상에 생긴 갈라짐 금에 대응하는 오브젝트의 경계로서 검출되는 예시적 화소들이다. 따라서, 추출되는 화소들(화소 열)의 수는 복수일 수도 있고 1일 수도 있다.
그래디언트 방향이 화상의 수직 방향인 경우, 수직 방향에 수직인 횡 방향에서의 에지상의 화소들은 보다 강한 휘도 변화를 갖는 화소들이다. 수직 방향이 그래디언트 방향일 경우, 추출부(203)는, 수평 방향 에지를 검출하는 소벨(Sobel) 필터 등의 에지 검출 필터를 사용하여, 임계값보다 커지는 수평 방향 에지를 검출하고, 에지 상의 화소를 그래디언트 방향과 상이한 방향의 화소로서 추출한다.
한편, 그래디언트 방향과 상이한 방향의 화소를 추출하는 방법은 이에 한정되지는 않는다. 예를 들어, 차선 검출 기능(레인 검출 기능)이 구비되어 있는 경우라면, 추출부(203)는, 화상으로부터 검출되는에지 중 차선 검출 기능에서 검출된 차선에 대응하는 백선 이외의 에지를, 그래디언트 방향과 상이한 방향의 화소로서 추출한다. 또한, 입력된 화상으로부터 그래디언트 방향과 상이한 방향의 화소를 추출해서 출력하기 위해 사전에 학습된 학습 모델을 사용하여, 취득된 화상으로부터, 그래디언트 방향과 상이한 방향의 화소가 획득될 수 있다. 학습 모델은 신경망 모델과 같은 임의의 유형의 모델일 수 있다.
도 2로 돌아가면, 산출부(204)는 추출된 화소들을 이용하여 평면의 그래디언트 크기(그래디언트 각)를 산출한다. 예를 들어 산출부(204)는, 2개의 화상 중 한 쪽(제1 화상)으로부터 추출된 화소(제1 화소)와, 다른 쪽(제2 화상)으로부터 추출된 화소(제2 화소) 사이의 일치도가 변환 전의 것보다 커지도록 2개의 화상 중 적어도 한쪽을 변환한다. 산출부(204)는, 일치도가 더 높을 때의 평면의 그래디언트 크기를 그래디언트의 크기의 추정치로서 출력한다.
이하, 그래디언트 크기 추정 방법(산출 방법)의 구체적인 예를 설명한다. 이하에서는, 2개의 화상 중 하나가 변환되고 다른 화상과의 일치도가 결정되는 예시적인 경우가 설명된다.
산출부(204)는 다음으로부터 계산될 수 있는 호모그래피 행렬 H(p)를 이용하여 두 개의 화상 중 하나를 변환한다: 특정 그래디언트 각도 p; 화상 사이의 상대적 위치 변화를 나타내는 병진 벡터(translation vector) T; 및 자세 변화를 나타내는 회전 행렬 R. 산출부(204)는, 변환 화상과 다른 화상 사이의 일치도가 더 커지는 그래디언드 각도 p를 그래디언트 각도(그래디언트 크기)로서 추정한다.
호모그래피 행렬 H(p)는, 예를 들어, 스기모토 시게키 등,“스테레오 화상을 사용한 효율적 평면 파라미터 추정법”, 일본정보처리학회 논문지, Vol. 48, No. SIG 1, pp. 24-34, 2007년 2월(비 특허 문헌)의 호모그래피 행렬 P(수학식 (1))와 유사하게 표현될 수 있다. 비 특허 문헌의 평면 상의 법선 벡터 n, 회전 행렬 R, 및 병진 벡터 t는 본 실시예의 그래디언트 각도 p, 회전 행렬 R, 및 병진 벡터 T에 대응한다. 회전 행렬 R 및 병진 벡터 T는 예를 들어 화상에 부여된 촬영 장치의 위치 및 자세로부터 취득될 수 있다. 예를 들어, 평면까지의 거리는 촬영 장치의 설치 높이에 따라 고정된 값으로 설정될 수 있다.
도 8 및 도 9는 예시적인 화상 변환을 도시하는 뷰들이다. 도 8은 도 3의 화상(411) 및 화상(412) 중의 화상(411)이 화상(912)를 생성하도록 변환되는 경우의 예를 도시한다. 또한, 도 8은 병진 벡터(T) 및 회전 행렬(R)에 오차가 없고 추정 그래디언트 각도 p가 참 값과 동등한 예를 도시한다. 추정 평면의 위치 및 자세(병진 벡터 T 및 회전 행렬 R)에 오차가 없는 경우, 추정된 평면 영역의 화상들(예를 들어, 변환 후의 화상(412)의 영역(422) 및 화상(912)의 영역(922))이 일치한다.
도 9는 병진 벡터(T) 및 회전 행렬(R)에 오차가 있고 추정 그래디언트 각도 p가 참 값과 동등하지 않은 예를 도시한다. 화상(1012-1)의 실선은, 그래디언트 각도 p의 참 값과 상이한 p1로부터 계산된 호모그래피 행렬 H(p1)에 의해 변환된 화상을 나타낸다. 파선은 매칭 결과를 용이하게 보기 위해 표시된 화상(412)을 나타낸다. 비교될 화상(412)이 도 9에서 중첩 방식으로 또한 표시된다는 것을 유의하라. 화살표들(1021-1)의 각각은 화상(1012-1)의 그래디언트 방향과는 상이한 방향의 화소와 화상(412)의 그래디언트 방향과는 상이한 방향의 화소 사이의 매칭 결과를 나타낸다. 화상(1012-2)은 그래디언트 각도 p의 참 값에 가까운 p2로부터 계산된 호모그래피 행렬 H(p2)에 의해 변환된 화상을 나타낸다. 화살표들(1021-2)의 각각은 화상(1012-2)의 그래디언트 방향과 상이한 방향의 화소와 화상(412)의 그래디언트 방향과 상이한 방향의 화소 사이의 매칭 결과를 나타낸다.
따라서, 산출부(204)는 일치도를 산출하기 위해서 화상들 사이의 그래디언트 방향과 상이한 방향으로 화소에 대한 매칭을 수행한다. 예를 들어, 산출부(204)는 화상 상의 화소 주위에서 유사한 특징량들을 갖는 영역들 사이의 매칭을 수행한다. 화소의 주위는 예를 들어 화소를 포함하는 미리 결정된 범위의 영역이다.
특징량은 화상의 휘도일 수도 있고, 화소 주위의 휘도 배열로부터 계산된 ZNCC(zero-mean normalized cross-correlation), 또는 가속된 KAZE(AKAZE)와 같은 특징량일 수 있다.
도 9에 도시된 바와 같이, 보통은 병진 벡터 T 및 회전 행렬 R에는 오차가 생기고, 따라서 그래디언트 각도 p를 p1 및 p2와 같이 변경한 경우에도 화소들이 완전히 일치하지는 않는다. 예를 들어, 산출부(204)는, 그래디언트 각도 p를 변화시키고, 매칭되는 화소들의 화상 상에서의 거리의 합계가 가장 짧아지는 그래디언트 각도 p에 의해 변환을 수행한 화상을, 가장 일치도가 큰 화상으로서 결정한다. 산출부(204)는 가장 큰 일치도를 갖는 화상으로 변환하는 그래디언트 각도 p를 그래디언트 크기의 추정값으로서 출력한다. 이와 같이, 산출부(204)는, 그래디언트 각도(그래디언트의 크기)를 나타내는 복수의 추정값을 사용해서 한 쪽의 화상을 변환하고, 다른 쪽 화상과의 일치도를 산출한다. 산출부(204)는 복수의 추정값으로부터 다른 추정값들보다 높은 일치도를 갖는 추정값을 출력한다.
그래디언트 크기 추정 방법은 이에 한정되지는 않는다. 방법이 변환된 화상과 비교 화상 사이의 일치도가 높아지는 그래디언트 크기를 산출할 수 있는 한, 어떠한 방법이라도 적용할 수 있다.
예를 들어, 화상상의 총 거리를 산출할 때, 산출부(204)는, 매칭에 사용하는 특징량인 거리가 짧아질수록(특징량들 간의 유사도가 높아질수록), 거리가 더 짧아지도록 거리에 가중치를 더할 수 있다. 또한, 산출부(204)는, 매칭될 화소들 사이의 특징량의 유사도가 높을수록 그 값이 커지는 일치도를 이용할 수도있다. 비 특허 문헌에 개시된 바와 같이, 산출부(204)는 화상 변환을 위한 변환 파라미터(호모그래피 행렬 H(p))를 구한 후에 변환 파라미터를 분해하여 평면 파라미터를 계산하는 방법을 사용할 수 있다.
도 9의 예에서는, 그래디언트 각 p1을 추정값으로 설정하는 경우, 특징량인 거리 및 화상 상에서의 매칭 위치의 거리(화살표(1021-1)의 길이)가 길어진다. 반면, 그래디언트 각 p2를 추정값으로 설정하는 경우, 특징량인 거리 및 화상 상에서의 매칭 위치의 거리(화살표(1021-2)의 길이)가 그래디언트 각도 p1을 추정값으로 설정한 경우의 것보다 짧아진다. 산출부(204)는, 예를 들어, 일치도가 높아지는 그래디언트 각 p2를 그래디언트 크기의 추정값으로서 출력한다.
다음으로, 제1 실시예에 따라 구성되는 그래디언트 추정 장치(20)에 의해 수행되는 그래디언트 추정 처리가 도 10을 참조하여 설명될 것이다. 도 10은 제1 실시예에 따른 예시적 그래디언트 추정 처리의 도시하는 흐름도이다.
우선, 취득부(201)는 평면을 촬영하여 획득된 2개의 화상을 취득한다(단계 S101). 결정부(202)는 취득된 화상에 대해서 평면의 그래디언트 방향을 결정한다(단계 S102). 추출부(203)는, 2개의 화상 각각으로부터, 결정된 그래디언트 방향과 상이한 방향의 화소들을 추출한다(단계 S103). 예를 들어, 추출부(203)는 화상들의 각각의 그래디언트 방향과는 상이한 방향으로 연장되는 에지를 추출한다. 산출부(204)는 두 개의 화상 중 적어도 하나를 변환한다(단계 S104). 산출부(204)는 다른 화상과의 일치도가 높은 화상에 기초하여 그래디언트 크기를 산출한다(단계 S105).
추정된 그래디언트 크기는 예를 들어 이동체(10)의 이동을 제어하기 위해 사용될 수 있다. 예를 들어, 동력 제어부(10G)는 그래디언트 크기에 따라 이동체(10)의 가속도 등을 제어한다. 촬영된 화상에 기초한 상이한 기능이 제공되는 경우, 기능의 동작은 추정된 그래디언트 크기에 따라 제어될 수도 있다. 예를 들어, 평면 상의 장애물을 검출하는 기능(장애물 검출 기능)이 제공되는 경우, 장애물 검출 기능을 적용할지는 추정된 그래디언트 크기에 따라 결정될 수 있다.
따라서, 제1 실시예에 따른 그래디언트 추정 장치에서, 평면의 그래디언트 방향과 상이한 방향으로 정렬된 화소들 사이의 일치도를 결정하는 것에 의해 평면의 그래디언트 크기가 추정된다. 결과적으로, 그래디언트 방향으로 연장되는 백선의 영향이 감소될 수 있고, 예를 들어, 그래디언트 추정 정확도가 개선될 수 있다.
제2 실시예
제2 실시예에 따른 그래디언트 추정 장치는 그래디언트 크기를 추정하기 위해 사용되는 화상에서의 영역에 대한 설정을 가능하게 한다.
도 11은 제2 실시예에 따른 이동체(10-2)의 예시적 구성을 도시하는 블록도이다. 이동체(10-2)는 그래디언트 추정 장치(20-2), 출력부(10A), 센서(10B), 입력 장치(10C), 동력 제어부(10G) 및 동력부(10H)를 포함한다. 그래디언트 추정 장치(20-2)는 기억부(20B) 및 프로세서(200-2)를 포함한다.
제2 실시예는 설정부(205-2)가 프로세서(200-2)에 추가되고 추출부(203-2)의 기능이 상이하다는 점이 제1 실시예와 다르다. 기타의 구성 및 기능은, 제1 실시예에 따른 그래디언트 추정 장치(20)의 블록도인 도 1의 것들과 유사하므로, 동일 참조 부호가 부여되고, 여기에서의 설명은 생략된다.
설정부(205-2)는 화상에 영역을 설정한다. 설정될 영역은, 예를 들어, 평면을 포함하는 영역에 대한 후보가 되는 후보 영역이다. 설정될 후보 영역의 수는 1 또는 복수일 수 있다. 예를 들어, 설정부(205-2)는 후보 영역들로서 그래디언트 방향으로 정렬된 복수의 영역을 설정할 수 있다. 설정부(205-2)는 설정된 후보 영역들을 추출부(203-2)에 출력한다.
설정부(205-2)는 화상 상의 미리 설정된 영역을 후보 영역으로 설정하거나, 또는 원하는 평면의 후보 위치가 변경된 경우 변경된 후보 위치에 후보 영역을 설정할 수 있다. 예를 들어, 이동체(10-2)이 이동하는 속도에 따라, 그래디언트를 취득하고 싶은 위치까지의 거리를 변경하는 동시에, 화상 상에서의 후보 영역의 위치를 수직으로 이동시킬 수 있다. 도 12 및 도 13은 설정될 예시적 후보 영역들을 도시하는 뷰들이다. 도 12는 이동체(10-2)에 더 가까운 위치의 그래디언트를 추정하기 위해, 후보 영역(1201)을 화상의 하부에 설정한 예를 도시한다. 도 13은 도 12에서보다 더 떨어진 위치의 그래디언트를 추정하기 위해 후보 영역(1301)을 화상의 상측으로 이동시킨 예를 도시한다.
설정부(205-2)는 후보 영역을 확대 또는 축소하여 후보 영역을 설정할 수 있다. 도 14는 후보 영역을 축소하여 설정된 예시적 후보 영역(1401)을 도시한 도면이다. 도 14에 도시된 바와 같이, 설정부(205-2)는, 후보 영역을 그래디언트의 상향 방향으로 이동시키는 경우에, 후보 영역을 축소하여 후보 영역을 설정할 수 있다.
설정부(205-2)는 노면의 패턴과 대조하는 방법 등에 의해 화상으로부터 노면을 검출하고, 검출한 노면 내에 한정해서 후보 영역을 설정할 수 있다. 도 15 및 도 16은 각각 노면에 설정된 예시적 후보 영역을 도시하는 뷰이다. 도 15의 후보 영역(1501)은, 이동체(10-2)에 더 가까운 위치의 그래디언트를 추정하기 위해서, 화상의 하부에 노면 형상을 따라서 사다리꼴 형상으로 설정된 예시적 후보 영역을 도시한다. 도 16의 후보 영역(1601)은, 도 15에서의 것보다 더 먼 위치의 그래디언트를 추정하기 위해서, 화상의 상측 방향으로 이동되어 노면 형상을 따라서 사다리꼴 형상으로 설정된 예시적 후보 영역을 도시한다.
도 17은 복수의 후보 영역의 설정 예를 도시하는 뷰이다. 도 17은 2개의 후보 영역(1701, 1702)이 설정된 예를 도시한다.
도 11로 돌아가면, 추출부(203-2)는, 설정부(205-2)에 의해 설정된 각각의 화상 내의 영역으로부터 그래디언트 방향과 상이한 방향의 화소를 추출한다는 점에서 제1 실시예의 추출부(203)와 상이하다.
다음으로, 제2 실시예에 따라 구성되는 그래디언트 추정 장치(20-2)에 의한 그래디언트 추정 처리가 도 18을 참조하여 설명될 것이다. 도 18은 제2 실시예에 따른 예시적 그래디언트 추정 처리를 도시하는 흐름도이다.
단계 S201 내지 S202의 처리는 제1 실시예에 따른 그래디언트 추정 장치(20)의 단계 S101 내지 S102의 처리와 유사하기 때문에, 그 설명은 생략한다.
설정부(205-2)는 취득된 화상에 평면의 후보 영역을 설정한다(단계 S203). 추출부(203-2)는 설정된 후보 영역을 대상으로 하여 에지 추출 처리를 수행한다(단계 S204).
단계 S205 내지 S206의 처리는 제1 실시예에 따른 그래디언트 추정 장치(20)의 S104 내지 S105의 처리와 유사하기 때문에, 그 설명은 생략한다.
복수의 후보 영역이 설정되는 경우에, 산출부(204)는 각각의 영역에 대한 그래디언트 크기를 추정하고, 각각의 추정값을 출력한다는 점을 유의하라. 예를 들어, 산출부(204)는 각각의 영역에 대해 추정된 그래디언트 크기를 변경 없이 출력한다. 산출부(204)는, 제각기 영역들 사이의 그래디언트 크기의 차를 산출하고(그래디언트 크기에서의 변화), 그 차가 임계값보다 큰 경우 산출부(204)는 그래디언트 크기의 변화점이 있다는 것을 나타내는 출력 정보를 출력한다. 또한, 화상 상의 이러한 변화점을 갖는 영역의 위치로부터 변화점까지의 거리가 출력될 수 있다.
따라서, 제2 실시예에 따른 그래디언트 추정 장치에서, 그래디언트 크기를 추정하기 위해 사용되는 화상의 영역이 설정된다. 결과적으로, 평면의 그래디언트 크기에 대한 추정 정확도가 더 향상될 수 있다.
한편, 전술한 각각의 실시예에서는, 카메라가 전방을 향하는 방식으로 평면에 대하여 수평으로 설치되어 있다고 가정한다. 카메라의 설치 방향이 상이한 경우, 설치 방향에 따라 수평 방향, 수직 방향, 상하 방향, 또는 측 방향이 변경될 수 있다.
전술한 바와 같이, 제1 및 제2 실시예들에 따르면, 평면의 그래디언트 방향과 상이한 방향의 화소를 매칭하는 화상 변환 결과를 이용함으로써, 그래디언트 방향에서의 특징적인 부위들이 일치될 수 있다. 결과적으로, 평면의 그래디언트 크기에 대한 추정 정확도가 향상될 수 있고, 그래디언트 추정이 강건하게 실행될 수 있다.
다음으로, 제1 또는 제2 실시예들에 따른 그래디언트 추정 장치의 하드웨어 구성에 관해서 도 19를 참조하여 설명한다. 도 19는 제1 또는 제2 실시예들에 따른 그래디언트 추정 장치들의 예시적 하드웨어 구성을 도시하는 설명도이다.
제1 또는 제2 실시예들에 따른 그래디언트 추정 장치는 CPU(Central Processing Unit)(51) 등의 제어 장치와, ROM(Read Only Memory)(52)이나 RAM(Random Access Memory)(53) 등의 기억 장치와, 네트워크에 접속되어 통신을 수행하는 통신 I/F(54)와, 각각의 부를 접속하는 버스(61)을 포함한다.
제1 또는 제2 실시예들에 따른 그래디언트 추정 장치에 의해 실행되는 프로그램은 ROM(52) 등에 미리 내장되어 제공된다.
제1 또는 제2 실시예들에 따른 그래디언트 추정 장치로 실행되는 프로그램은, 인스톨가능한 포맷 또는 실행 가능한 포맷으로, CD-ROM(Compact Disk Read Only Memory), 플렉시블 디스크(FD), CD-R(Compact Disk Recordable), DVD(Digital Versatile Disk) 등의 컴퓨터 판독 가능 저장 매체에서 파일로 기록될 수 있고, 컴퓨터 프로그램 제품으로서 제공될 수 있다.
또한, 제1 또는 제2 실시예들에 따른 그래디언트 추정 장치에 의해 실행되는 프로그램은, 인터넷 등의 네트워크에 접속된 컴퓨터에 저장되어, 네트워크를 통해 다운로드되어 제공될 수 있다. 또한, 제1 또는 제2 실시예들에 따른 그래디언트 추정 장치에 의해 실행되는 프로그램은 인터넷과 같은 네트워크를 통해 제공되거나 배포될 수 있다.
제1 또는 제2 실시예들에 따른 그래디언트 추정 장치에 의해 실행되는 프로그램은 컴퓨터로 하여금 전술한 그래디언트 추정 장치의 각각의 부로서 기능하도록 야기할 수 있다. 컴퓨터는 CPU(51)가 컴퓨터 판독 가능 저장 매체로부터 주 기억 장치상의 프로그램을 판독 및 실행할 수 있게할 수 있다.
특정 실시예가 설명되었지만, 이들 실시예는 단지 예로서 제시된 것이고, 본 발명의 범위를 제한하려는 것은 아니다. 실제로, 본 명세서에 설명된 새로운 실시예는 다양한 다른 형태로 구현될 수 있다. 또한, 본 발명의 사상을 벗어나지 않고서, 본 명세서에 설명된 실시예 형태에서의 다양한 생략, 치환 및 변경이 이뤄질 수 있다. 첨부된 특허 청구 범위 및 그 등가물은 본 발명의 범위 및 사상 내에 드는 그러한 형태 또는 수정을 포괄하도록 의도된다.

Claims (13)

  1. 그래디언트 추정 장치로서:
    하나 이상의 프로세서 - 상기 하나 이상의 프로세서는:
    오브젝트의 표면을 촬영하여 획득되는 제1 화상 및 제2 화상을 취득하고,
    상기 제1 화상으로부터 상기 표면의 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 제1 화소를 추출하고, 상기 제2 화상으로부터 상기 제1 화소에 대응하는 제2 화소를 추출하고, 및
    상기 제1 화소와 상기 제2 화소 사이의 일치도가 증가되도록 상기 제1 화상 및 상기 제2 화상 중 적어도 하나를 변환함으로써 상기 표면의 그래디언트 크기를 산출하도록 구성됨 - 를 포함하는 그래디언트 추정 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는, 상기 제1 화소로서, 상기 그래디언트 방향과 상이한 방향에서 에지 상의 화소를 추출하는 그래디언트 추정 장치.
  3. 제1항에 있어서,
    상기 하나 이상의 프로세서는 상기 제1 화소를 포함하는 영역의 특징량과 상기 제2 화소를 포함하는 영역의 특징량 사이의 유사도에 기초하여 상기 제1 화소와 상기 제2 화소 사이의 일치도를 결정하는 그래디언트 추정 장치.
  4. 제3항에 있어서,
    상기 하나 이상의 프로세서는, 유사도에 기초하여, 서로 유사한 상기 제1 화소과 상기 제2 화소 사이의 매칭을 수행하고, 매칭되는 상기 제1 화소과 상기 제2 화소 사이의 화상 상의 거리가 더 짧아질 때 더 높아지는 일치도를 결정하는 그래디언트 추정 장치.
  5. 제3항에 있어서,
    상기 하나 이상의 프로세서는 유사도가 더 높을 때 더 커지는 값을 갖는 일치도를 결정하는 그래디언트 추정 장치.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서는 각각이 상기 표면의 그래디언트 크기를 나타내는 복수의 추정값을 이용하여 상기 제1 화상을 변환하고, 상기 표면의 그래디언트 크기로서 상기 복수의 추정값 중 다른 추정값들보다 상기 일치도가 높은 추정값을 산출하는 그래디언트 추정 장치.
  7. 제1항에 있어서,
    상기 하나 이상의 프로세서는 상기 제1 화소와 상기 제2 화소 사이의 일치도가 더 높아지도록 상기 제1 화상를 변환하는 변환 파라미터를 취득하고, 상기 변환 파라미터로부터 상기 표면의 그래디언트 크기를 산출하는 그래디언트 추정 장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는 화상에 영역을 설정하도록 추가로 구성되고,
    상기 하나 이상의 프로세서는 상기 설정된 영역에 대응하는 상기 제1 화상의 영역으로부터 상기 제1 화소를 추출하고, 상기 설정된 영역에 대응하는 상기 제2 화상의 영역으로부터 상기 제2 화소를 추출하는 그래디언트 추정 장치.
  9. 제8항에 있어서,
    상기 하나 이상의 프로세서는 상기 그래디언트 방향으로 정렬된 복수의 영역을 설정하고,
    상기 하나 이상의 프로세서는 상기 복수의 영역 각각에 대한 상기 그래디언트 크기를 산출하고, 상기 복수의 영역에 대해 산출된 복수의 그래디언트 크기 피스들 사이의 상기 그래디언트 크기의 변화를 추가로 산출하는 그래디언트 추정 장치.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는 상기 표면의 그래디언트 방향을 결정하도록 추가로 구성되고,
    상기 하나 이상의 프로세서는 상기 결정된 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 상기 제1 화소을 추출하는 그래디언트 추정 장치.
  11. 그래디언트 추정 방법으로서:
    오브젝트의 표면을 촬영하는 것에 의해 획득되는 제1 화상 및 제2 화상을 취득하는 단계;
    상기 제1 화상으로부터 상기 표면의 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 제1 화소을 추출하고, 상기 제2 화상으로부터 상기 제1 화소에 대응하는 제2 화소를 추출하는 단계; 및
    상기 제1 화소와 상기 제2 화소 사이의 일치도가 증가되도록 상기 제1 화상 및 상기 제2 화상 중 적어도 하나를 변환함으로써 상기 표면의 그래디언트 크기를 산출하는 단계를 포함하는 그래디언트 추정 방법.
  12. 프로그래밍된 명령어들을 포함하는 비일시적 컴퓨터 판독 가능 기록 매체에 저장된 컴퓨터 프로그램으로서, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금:
    오브젝트의 표면을 촬영하는 것에 의해 획득되는 제1 화상 및 제2 화상을 취득하는 것;
    상기 제1 화상으로부터 상기 표면의 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 제1 화소을 추출하고, 상기 제2 화상으로부터 상기 제1 화소에 대응하는 제2 화소를 추출하는 것; 및
    상기 제1 화소와 상기 제2 화소 사이의 일치도가 증가되도록 상기 제1 화상 및 상기 제2 화상 중 적어도 하나를 변환함으로써 상기 표면의 그래디언트 크기를 산출하는 것을 수행하도록 야기하는, 비일시적 컴퓨터 판독 가능 기록 매체에 저장된 컴퓨터 프로그램.
  13. 제어 시스템으로서:
    하나 이상의 프로세서 - 상기 하나 이상의 프로세서는:
    오브젝트의 표면을 촬영하여 획득되는 제1 화상 및 제2 화상을 취득하고,
    상기 제1 화상으로부터 상기 표면의 그래디언트 방향과 상이한 방향에서 오브젝트의 경계를 나타내는 제1 화소를 추출하고, 상기 제2 화상으로부터 상기 제1 화소에 대응하는 제2 화소를 추출하고,
    상기 제1 화소와 상기 제2 화소 사이의 일치도가 증가되도록 상기 제1 화상 및 상기 제2 화상 중 적어도 하나를 변환함으로써 상기 표면의 그래디언트 크기를 산출하고, 및
    상기 그래디언트 크기에 따라 이동체의 이동을 제어하도록 구성됨 - 를 포함하는 제어 시스템.
KR1020180107761A 2017-12-08 2018-09-10 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템 KR102117313B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017235717A JP6901386B2 (ja) 2017-12-08 2017-12-08 勾配推定装置、勾配推定方法、プログラムおよび制御システム
JPJP-P-2017-235717 2017-12-08

Publications (2)

Publication Number Publication Date
KR20190068409A KR20190068409A (ko) 2019-06-18
KR102117313B1 true KR102117313B1 (ko) 2020-06-01

Family

ID=63528600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180107761A KR102117313B1 (ko) 2017-12-08 2018-09-10 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템

Country Status (5)

Country Link
US (1) US11087145B2 (ko)
EP (1) EP3496040A1 (ko)
JP (1) JP6901386B2 (ko)
KR (1) KR102117313B1 (ko)
CN (1) CN109900245B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217005A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verfahren zum Ermitteln der Steigung einer Fahrbahn
CN112184792B (zh) * 2020-08-28 2023-05-26 辽宁石油化工大学 一种基于视觉的道路坡度计算方法及装置
CN114155304A (zh) * 2020-09-04 2022-03-08 株式会社理光 空间平面图像比较方法、装置和计算机可读存储介质
CN112660125B (zh) * 2020-12-26 2023-04-07 江铃汽车股份有限公司 一种车辆巡航控制方法、装置、存储介质及车辆
JP2022153857A (ja) * 2021-03-30 2022-10-13 キヤノン株式会社 画像処理装置、画像処理方法、移動装置、及びコンピュータプログラム
CN117532624B (zh) * 2024-01-10 2024-03-26 南京东奇智能制造研究院有限公司 一种护栏板安装自动定位调准方法及系统

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550937A (en) * 1992-11-23 1996-08-27 Harris Corporation Mechanism for registering digital images obtained from multiple sensors having diverse image collection geometries
US6408109B1 (en) * 1996-10-07 2002-06-18 Cognex Corporation Apparatus and method for detecting and sub-pixel location of edges in a digital image
JPH11328408A (ja) * 1998-05-12 1999-11-30 Advantest Corp データ処理装置および方法、情報記憶媒体
US6519372B1 (en) * 1999-08-31 2003-02-11 Lockheed Martin Corporation Normalized crosscorrelation of complex gradients for image autoregistration
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
US7636455B2 (en) * 2002-06-04 2009-12-22 Raytheon Company Digital image edge detection and road network tracking method and system
KR20090037967A (ko) * 2004-03-03 2009-04-16 닛본 덴끼 가부시끼가이샤 자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
JP4637618B2 (ja) * 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
US20070070365A1 (en) * 2005-09-26 2007-03-29 Honeywell International Inc. Content-based image retrieval based on color difference and gradient information
JP2007140684A (ja) * 2005-11-15 2007-06-07 Toshiba Corp 画像処理装置、方法、プログラム
EP1881454A1 (en) * 2006-07-17 2008-01-23 Mitsubishi Electric Information Technology Centre Europe B.V. Image processing for change detection
US7680303B2 (en) * 2006-09-11 2010-03-16 Mitsubishi Electric Research Laboratories, Inc. Image registration using joint spatial gradient maximization
JP4727615B2 (ja) * 2007-03-30 2011-07-20 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
CN102336242A (zh) 2007-08-10 2012-02-01 爱考斯研究株式会社 车辆
US8260048B2 (en) * 2007-11-14 2012-09-04 Exelis Inc. Segmentation-based image processing system
CN101894262B (zh) * 2009-05-20 2014-07-09 索尼株式会社 对图像进行分类的方法和设备
US8489287B2 (en) * 2010-12-31 2013-07-16 Automotive Research & Test Center Vehicle roll over prevention safety driving system and method
JP5287914B2 (ja) * 2011-03-22 2013-09-11 株式会社デンソー 車両存在通報装置
DE102011076795A1 (de) 2011-05-31 2012-09-20 Robert Bosch Gmbh Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
JP2013097675A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 勾配推定装置、勾配推定方法、及び勾配推定プログラム
JP5894426B2 (ja) 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
US9868323B2 (en) * 2013-05-16 2018-01-16 Anden Co., Ltd. Vehicle approach alert device
US9349189B2 (en) * 2013-07-01 2016-05-24 Here Global B.V. Occlusion resistant image template matching using distance transform
JP2015056057A (ja) * 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット
JP6455164B2 (ja) 2014-02-28 2019-01-23 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
EP3023907A1 (en) * 2014-11-20 2016-05-25 Autoliv Development AB Gradient detection based on perspective-transformed image
WO2016086023A1 (en) * 2014-11-24 2016-06-02 Massachusetts Institute Of Technology Systems, apparatus, and methods for analyzing blood cell dynamics
JP6744226B2 (ja) 2015-01-14 2020-08-19 株式会社小糸製作所 車両用灯具の制御装置及び車両用灯具システム
US10142613B2 (en) * 2015-09-03 2018-11-27 Kabushiki Kaisha Toshiba Image processing apparatus, image processing system, and image processing method
KR101679279B1 (ko) * 2015-09-10 2016-11-24 한국과학기술원 카메라 노출 조절 장치 및 방법
JP6515039B2 (ja) * 2016-01-08 2019-05-15 Kddi株式会社 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
EP3199403B1 (en) * 2016-01-28 2022-06-22 Harman Becker Automotive Systems GmbH System and method for external sound synthesis of a vehicle
JP6986683B2 (ja) * 2018-01-05 2021-12-22 パナソニックＩｐマネジメント株式会社 視差値算出装置、視差値算出方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Westerhoff et al. Development and comparison of homography based estimation techniques for camera to road surface orientation. IEEE IV, 2016년 6월, pp. 1034-1040. 1부.*
Zhou & Li. Homography-based ground detection for a mobile robot platform using a single camera. IEEE ICRA, 2006년 5월, pp. 4100-4105. 1부.*

Also Published As

Publication number Publication date
EP3496040A1 (en) 2019-06-12
KR20190068409A (ko) 2019-06-18
US20190180116A1 (en) 2019-06-13
US11087145B2 (en) 2021-08-10
JP2019102007A (ja) 2019-06-24
JP6901386B2 (ja) 2021-07-14
CN109900245A (zh) 2019-06-18
CN109900245B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
KR102117313B1 (ko) 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
TWI695181B (zh) 用於產生彩色點雲的方法和系統
CN109313031B (zh) 车载处理装置
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US10024965B2 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US10825186B2 (en) Information processing device, information processing method, and computer program product
JP5109691B2 (ja) 解析装置
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
JP6804991B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20160104047A1 (en) Image recognition system for a vehicle and corresponding method
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
US11200432B2 (en) Method and apparatus for determining driving information
US20210365038A1 (en) Local sensing based autonomous navigation, and associated systems and methods
US20170344021A1 (en) Information processing apparatus, vehicle, and information processing method
JP2018048949A (ja) 物体識別装置
CN114746894A (zh) 图像处理装置、图像处理方法以及图像处理程序
KR20190134303A (ko) 영상 인식 장치 및 그 방법
EP3795952A1 (en) Estimation device, estimation method, and computer program product
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
US20190279384A1 (en) Image processing apparatus, image processing method, and driving support system
AU2018102199A4 (en) Methods and systems for color point cloud generation
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant