KR101106547B1 - 이미지 기반의 차량 조작 보조 방법 및 그 시스템 - Google Patents

이미지 기반의 차량 조작 보조 방법 및 그 시스템 Download PDF

Info

Publication number
KR101106547B1
KR101106547B1 KR1020090005961A KR20090005961A KR101106547B1 KR 101106547 B1 KR101106547 B1 KR 101106547B1 KR 1020090005961 A KR1020090005961 A KR 1020090005961A KR 20090005961 A KR20090005961 A KR 20090005961A KR 101106547 B1 KR101106547 B1 KR 101106547B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
area
distance
images
Prior art date
Application number
KR1020090005961A
Other languages
English (en)
Other versions
KR20100039190A (ko
Inventor
정궈샹
창옌수
리웨이민
렁산??
전룽다이
Original Assignee
인더스트리얼 테크놀로지 리서치 인스티튜트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인더스트리얼 테크놀로지 리서치 인스티튜트 filed Critical 인더스트리얼 테크놀로지 리서치 인스티튜트
Publication of KR20100039190A publication Critical patent/KR20100039190A/ko
Application granted granted Critical
Publication of KR101106547B1 publication Critical patent/KR101106547B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에서는, 이미지 기반의 차량 조작 보조 방법 및 시스템이 제공되며, 여기서, 이미지 센싱 장치에 의해 캡쳐된 이미지들은, 운송수단이 조종되는 동안 완전한 보조 이미지-정보를 제공하기 위해 이미지 처리 및 인식과 이미지 공간에서의 거리 평가가 가능한 컨트롤러에 의해 시간에 따른 변화를 결정하도록 처리된다. 본 발명의 방법에 의하여, 본 시스템은 거리평가를 수행하기 위해, 운송수단의 경로 생성, 뷰 포인트 전환 및 이미지상에서의 특정 물체의 인식이 가능하다. 본 발명은, 운송수단 조종 안내의 문제점을 해결하고, 운송수단의 진로 변경, 주차 보조 및 사각 탐지를 보조하기 위해, 다양한 타입의 운송수단에 사용되고 적용될 수 있다.
이미지, 장애물, 컨트롤러, 이동 경로

Description

이미지 기반의 차량 조작 보조 방법 및 그 시스템{Image-based vehicle maneuvering assistant method and system}
본 발명은 차량의 조작을 보조하는 방법에 관한 것으로, 보다 상세하게는, 차량의 조작을 보조하는 안내 정보를 생성하기 위한 기초로 사용되는 차량의 이동 경로, 장애물 및 교통신호의 인식에 대하여 차량과 관련된 이미지들에 이미지 인식 기술을 적용할 수 있는 이미지 기반의 차량 조작 보조 방법 및 시스템에 관한 것이다.
일반적으로, 대부분의 운전자들은, 운행 안전을 향상시키기 위해 운전자의 차량의 이동 경로 상에 있는 모든 장애물을 인식할 수 있다면 매우 감사하게 될 것이며, 특히 운전자가 주차 또는 좁은 도로 구역을 통과하기 위하여 운전자의 사각 지점에서 차량을 조작하는 경우에는 더욱 그러할 것이다. 최근에는, 전자 기술의 급속한 발달 덕택에 많은 자동차 제조사들이 전자 센서들을 그들의 제품에 장착하기 시작함으로써 그러한 욕구에 부응하고 있다. 두 가지 종류의 센서들이 가장 일반적으로 이용되고 있는데, 하나는 초음파 센서들, 적외선 센서들, 밀리미터파 센서들 및 레이더 센서들과 같은 거리 센서로 불리는 것이며, 다른 하나는 CCD 및 CMOS와 같은 이미지 센서로 불리는 것이다. 거리 센서는 그것이 장착된 차량의 이동 경로를 막는 장애물이 있다는 상태를 경고하기 위한 경고를 발생시키는 단방향 장애물 탐지기에 흔히 적용되며, 적응성 순항 제어 시스템, 차량 후진 레이더 보조 시스템 등등에서 가장 많이 볼 수 있다. 또한, 이미지 센서들은 차선/차량 인식 시스템 내의 광-폭 시계 보조장치, 후미 시각 카메라 시스템, 또는 사각 탐지 시스템, 등등에서 사용된다. 만약 차량 보조 시스템이 운전자에게 차량의 동적 이동 경로 및 차량의 이동 경로에 있는 장애물과 차량 사이의 측정된 거리에 대한 충분한 정보를 제공해 줄 수 있다면, 운전자는 최소한의 충돌 가능성으로 차량 조작 시스템의 안내에 따라 안전하게 운전할 수 있다는 것은 분명하다.
이미 많은 운전 보조 방법들이 사용중에 있다. 이들 중 하나는 중국특허등록번호 제CN179378호에 개시된 주차 보조장치이다. 상기 주차 보조장치는 다음과 같은 장점이 있다. 주차공간을 신속하고 정확하게 인식하고, 주차와 관련된 운전자의 고통을 경감시키는데 도움을 준다. 상기 주차 보조장치는 먼저 후방 카메라를 이용하여 운전자가 주차하고자하는 주차공간의 이미지를 캡쳐한다. 다음으로, 시스템은 캡쳐된 이미지상에서 주차지역을 인식하고, 이를 주차 경로를 계획하는데 이용하여 운전자를 보조한다. 구체적으로, 상기 주차 보조장치는, 차량의 이동과 관련된 정보를 탐지할 수 있는 탐지 유닛, 차량의 탐지된 이동 내력과 관련된 정보를 저장하기 위한 저장 유닛, 가상-목표 주차 공간들을 얻기 위하여 저장 유닛 상에 저장된 차량의 탐지된 이동 내력과 관련된 정보에 따라 검색을 실시할 수 있는 주차 공간 평가 유닛 및 가상-목표 주차 공간들로부터 주차 지역을 인식하기 위한 주차 공간 인식 유닛을 포함한다.
다른 선행-기술 방법은 미국특허등록번호 제7,006,127호에 개시된 운전 보조 시스템으로, 차량의 운전자 좌석으로부터 볼 수 있는 위치에 배치된 디스플레이부, 차량의 후미 부분에 대한 적어도 일부를 포함하는 차량의 후방 이미지를 얻기 위한 이미지 취득부 및 디스플레이부를 이미지 취득부에 의하여 취득된 이미지를 이미지-처리하여 얻어진 통합 이미지로 표시하기 위한 이미지 가공부를 포함한다. 이동 차량의 이미지에 부가된 소유 차량의 장애물 이미지(Hitch image)와 방향 커플러의 이미지(Destination coupler image)는 디스플레이부의 스크린에 표시된다. 그 결과, 장애물(Hitch)과 방향 커플러(Destination coupler) 상호 간의 상대적인 위치 관계가 스크린상에 표시되므로 이에 따라 장애물 연결 작업을 용이하게 할 수 있다.
본 발명의 목적은 이미지 기반의 차량 조작 보조 방법을 제공하는 것으로, 이동용 운송수단과 관련된 일련의 이미지들에 대한 인식 프로세스를 수행하여 운송수단의 이동경로를 얻을 수 있다. 그리고, 그 인식 프로세스를 진행하는 동안, 차량 이동 안내에 사용되도록 이미지들에서 인식된 특징과 차량 상호 간의 거리들을 얻을 수 있다. 본 발명의 방법은 다양한 운송수단에 적용가능한데, 특히 운전자에게 보이지 않는 사각 영역을 많이 갖고 있어 운행 안전이 항상 문제가 되는 대형 운송장비들에 적용될 수 있을 것이다. 따라서, 본 발명에 의하여 제공되는 이미지 기반의 차량 조작 보조 방법의 도움에 의하여, 본 방법을 이용하는 운송수단의 운전 안전이 향상될 뿐만 아니라 동일한 도로를 사용하는 다른 운송수단들과 보행자들의 안전도 함께 보장된다.
본 발명의 다른 목적은 이미지 기반의 차량 조작 보조 시스템을 제공하는 것으로, 본 발명의 시스템은, 오버룩(Overlook) 이미지들을 차량의 조작을 안내하는데 사용되도록 단일 카메라에 의해 일반 시야각으로 캡쳐된 이미지들과 오버룩 이미지들을 이용할 수 있으며, 이때 상기 안내는, 캡쳐된 이미지들에서 탐지된 주차 공간으로 운송수단의 주차를 안내하기 위한 완전한 주차 경로를 제공하는 단계 및 운송수단의 이동 경로 상의 장애물들과 교통 신호들을 인식하며 동시에 충돌신호의 발생 여부를 판단하기 위해 그들 상호 간의 거리를 측정하는 단계를 포함한다.
또한, 본 발명의 또 다른 목적은 이미지 기반의 차량 조작 보조 시스템을 제공하는 것으로, 상기 시스템은 종래의 운전 안내 시스템에서 사용되었던 적어도 하나의 카메라 및 적어도 하나의 조향 각도 센서의 도움이 없더라도 운송수단의 조작을 안내할 수 있는, 즉, 단일 카메라 및 단일 카메라에 내장된 연산 알고리즘에 의하여 운송수단의 조작을 안내할 수 있으며, 이에 따라, 연결을 요하는 부가적인 차량용 센서들이 일반 차량 편의 시스템과 같이 설치가 쉽고, 그 결과 본 발명의 시스템은 비용이 저렴하며, 쉽게 설치할 수 있고 사용에 있어 유연성이 있다.
일 실시예에서, 본 발명은, 제1 시점에서의 운송수단의 주변 환경에 대한 제1 이미지를 얻는 단계, 상기 제1 이미지로부터 데이터 영역을 선택하는 단계, 제2 시점에서의 운송수단의 주변 환경에 대한 제2 이미지를 얻는 단계, 상기 제2 이미지에서 상기 제1 이미지의 상기 데이터 영역에 대응하는 비교 영역을 찾기 위해 상기 제2 이미지에서 검색을 수행하여 상기 비교 영역과 상기 데이터 영역 사이의 모션 벡터 측도를 획득하는 단계 및 상기 모션 벡터에 따라 상기 운송수단의 이동 경로를 판단하는 단계를 포함하는 이미지 기반의 이동수단 조작 보조방법을 제공한다.
다른 실시예에서, 본 발명은, (a) 서로 다른 시점들에서의 운송수단의 주변 환경에 대한 일련의 이미지들을 획득하고 상기 운송수단의 이동 상태를 판단하기 위해 상기 이미지들로부터 선택된 특정 영역의 모션 벡터를 시간에 관한 상기 이미지들의 상기 특정 영역의 변화에 기초하여 연산하는 단계, (b) 상기 이동 상태에 따라 상기 운송수단의 이동 경로를 판단하는 단계, (c) 상기 일련의 이미지들에서 적어도 하나의 특징을 탐지하는 단계 및 (d) 상기 적어도 하나의 특징의 타입에 대응하는 보조 절차를 선택하여 수행하기 위해 상기 적어도 하나의 특징을 인식하는 단계를 포함하는 이미지 기반의 이동수단 조작 보조 방법을 제공한다.
또한, 또 다른 실시예에서, 본 발명은, 운송수단에 배치되어 상기 운송수단의 주변 환경에 대한 이미지들을 캡쳐하는 이미지 센싱 장치, 상기 이미지 센싱 장치에 연결되며 상기 운송수단의 이동 상태를 판단하기 위해 상기 이미지들로부터 선택된 특정 영역의 모션 벡터를 시간에 관한 상기 이미지들의 상기 특정 영역의 변화에 기초하여 연산하도록 상기 이미지 센싱 장치로부터의 상기 이미지들을 이용할 수 있고 상기 이동 상태에 따라 상기 운송수단의 이동 경로를 판단할 수 있는 컨트롤러 및 상기 컨트롤러에 연결되어 상기 이미지 센싱 장치로부터의 상기 이미지들과 상기 컨트롤러로부터의 상기 운송수단의 상기 이동 경로를 디스플레이하는 디스플레이 유닛을 포함하는 이미지 기반의 이동수단 조작 보조 시스템을 제공하며, 여기서, 상기 컨트롤러는, 상기 운송수단과 상기 탐지된 특징 상호 간의 거리가 미리 판단된 거리보다 작은 경우 상기 이미지 감지 수단에 의하여 캡쳐된 상기 이미지들을 오버룩(Overlook) 이미지들로 변환하고 이에 따라 오버룩(Overlook) 이미지 신호를 상기 디스플레이 유닛으로 제공하도록 구성된다.
본 발명의 더 구체적인 적용 범위는, 전술한 그리고 후술할 상세한 설명으로부터 더욱 분명해질 것이다. 그러나, 본 발명의 바람직한 실시예들을 제시하는 상세한 설명과 구체적인 예들은, 단지 설명을 위한 것일 뿐이고, 본 발명의 기술적 사상과 범위 내에 있는 다양한 변경과 변형은 본 상세한 설명으로부터 당업자에게 명백하다 할 것이다.
본 발명에 따르면 차량의 운전 안전을 향상시킬 수 있을 뿐만 아니라, 동일한 도로를 사용하는 다른 운송수단들과 보행자들의 안전을 향상시킬 수 있다.
이하 본 발명의 충분한 기능들과 구조적인 특성들이 이해되도록, 몇 가지 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반의 차량 조작 보조 방법의 단계들을 나타내는 흐름도이다. 본 실시예에 있어서, 본 발명의 방법은 서로 다른 시점들에서 캡쳐된 일련의 이미지들에서 특정 특징들을 탐지하고, 특정 특징들의 이동 특성들을 인식하여 운송수단의 이동 상태를 결정하기 위해 사용되는 특정 특징들에 관한 이동 경로를 획득한다. 그 다음, 운송수단이 회전하는 것과 같은 운송수단의 이동 상태에 따라 운송수단의 이동 경로가 산출되어 운송수단의 운전자에게 디스플레이될 수 있다. 도 1의 흐름은 단계 20으로부터 시작된다. 단계 20에서, 운송수단의 주변 환경에 대한 제1 이미지가 제1 시점에서 획득되고, 흐름은 단계 21로 진행한다. 본 실시예에서, 제1 이미지는 운송수단의 후방 주변 환경을 캡쳐한 이미지이지만, 이에 한정되지는 않는다. 제1 이미지는 CCD 또는 CMOS와 같은 종래의 이미지 장치를 사용하여 캡쳐될 수 있으며, 그런 이미지 장치는 운송수단의 후방-시각 이미지들을 캡쳐하기 위하여 운송수단의 후미에 쉽게 장착될 수 있다. 이때, 운송수단은 자동차, 트럭, 콘테이너와 같은 바퀴형 차량이거나, 비행수단 또는 심지어 보트일 수 있으나, 이에 한정되지 않는다.
단계 21에서, 제1 이미지로부터 데이터 영역이 선택된다. 그 다음 흐름은, 단계 22로 진행한다. 도 2A에 도시된 제1 이미지(9a)에 있어서, 먼저 제1 이미지(9a)에서 탐지 영역(90)이 지정되고 다음으로 탐지 영역(90) 내에 있는 특정 구역이 데이터 영역(901)로 선택된다. 이때, 탐지 영역(90)의 크기 및 범위는 특별한 제한 없이 실제 필요에 따라 결정되며 데이터 영역도 또한 그렇다. 단계 22에서, 도 2B에 도시된 바와 같이, 운송수단의 주변 환경에 대한 제2 이미지가 제2 시점에서 선택되고, 흐름은 단계 23으로 진행한다. 이때, 제2 시점에서 캡쳐된 운송수단의 제2 이미지가, 후진과 같은, 운송수단의 이동중에 취득되면, 제1 이미지와 제2 이미지의 차이는 이미지 프로세싱(image processing)에 의하여 탐지되어 운송수단의 이동을 인식하기 위해 사용될 수 있다.
단계 23에 있어서, 비교 영역과 데이터 영역(901) 사이의 모션 벡터 측도를 획득하기 위하여 제2 이미지(9b)에서 제1 이미지(9a)의 데이터 영역(901)에 대응하는 비교 영역을 찾기 위한 검색이 수행된다. 도 2A에 도시된 제1 이미지(9a)와 마찬가지로, 탐지 영역(91)이 제2 이미지(9b)에서 먼저 지정되고 다음으로 탐지 윈도우(911)이 제1 이미지(9a)의 데이터 영역(901)과 동일한 크기로 탐지 영역(91)에 좌측에서 우측으로 그리고 상측에서 하측으로 이동되는 방법에 따라 형성되며, 데이터 영역(901)에 대응하는 비교 영역이 이미지(9b)에서 인식되고 다른 위치로 이동할 때마다 자료 영역(901)과 비교된다. 도 2B에 도시된 바와 같이, 최초 비교는 탐지 윈도우(911)이 제2 이미지(9b)에서 좌-상단 코너에 위치하는 경우 수행된다. 본 실시예에 있어서, 탐지 윈도우(911)은 3 × 3 픽셀 블록이지만, 이에 제한되는 것은 아니다. 탐지 윈도우(911)의 크기는 제1 이미지(9a)에서 선택된 데이터 영역(901)의 크기에 기초하여 결정되므로 탐지 윈도우(911)의 크기는 데이터 영역(901)의 크기가 변경되는 경우 변경된다. 도 2B에 있어서, 탐지 윈도우(911)에 의하여 커버되는 영역 내에 있는 특징의 특성은 다음과 같은 공식에 따라 얻을 수 있다.
Figure 112009004674239-pat00001
여기서, I (t-1,X,Y ) 는 제1 시점 (t-1)에 있어 제1 이미지(9a)에서 정의된 이미지 공간에서 위치(X, Y)의 특성값을 나타내는데, 즉 데이터 영역(901)의 중심에 관련된 특성값을 나타낸다. 본 실시예에서, 특성값은 그레이 레벨 값이다. 또한, I (t,X,Y )는 제2 시점(t)에 있어서 제2 이미지(9b)에서 정의된 이미지 공간에서 위치(X, Y)의 그레이 레벨 값을 나타내는데, 즉 탐지 윈도우(911)의 중심에 관련된 그레이 레벨 값을 나타낸다. Ai 는 ith 위치로 이동됨에 따라 탐지 윈도우 911에 의하여 제2 이미지에서 정의된 이미지 영역이다. SAD i (p,q)는 이미지 공간에서 ith 탐지 윈도우(911)와 데이터 영역(901) 사이의 변위가 (p,q)일 때, ith 탐지 윈도우(911)과 데이터 영역(901) 사이의 절대차의 합(SAD)이다. minp ,q SAD i (p,q)는 탐지 윈도우(911)의 이동 중에 얻어진 모든 SAD들의 최소값이다. 그리고 imv i 는 최소 SAD를 야기시키는 ith 탐지 윈도우(911)의 로컬 모션 벡터(LVM, Local motion vector)를 나타낸다.
도 2B에 도시된 바와 같이, 먼저 하나의 SAD 값은 그것의 처음 위치에서의 탐지 윈도우(911)에 의하여 커버되는 영역을 비교하여 획득되며, 다음으로, 탐지 윈도우(911)은 영역(912)를 덮기 위하여 한 픽셀씩 오른쪽으로 이동하고, 다른 SAD 값은 동일한 비교에 의하여 공식 (1)을 사용하여 얻어진다. 탐지 윈도우(911)이 좌측에서 우측으로 그리고 상측에서 하측으로 이미지(9b)에서 이동함에 따라, 복수의 SAD 값들이 얻어진다. 그 후로, 공식 (2)에 의하여, 최소 SAD는 복수의 SAD 값들로부터 찾게 된다. 도 2C에 도시된 바와 같이, 영역(913)이 최소 SAD를 포함한 영역인 경우, 데이터 영역(901)은 제2 이미지(9b)가 캡쳐될 때 제2 시점 (t)에서 제2 이미지(9b)에 존재해야 하는 위치로 지정된다. 이에 따라, 도 2C에 도시된 바와 같이, 제1 시점에서의 데이터 영역(901)과 최소 SAD를 포함하는 탐지 윈도우(911) 상호 간의 거리 (p,q)는 제1 시점 (t-1) 및 제2 시점 (t)를 형성하는 모션 벡터로 이용될 수 있다.
계속해서 도 1을 참조하면, 단계 24는 모션 벡터를 얻은 이후 진행된다. 단계 24에 있어서, 운송수단의 이동 경로는 모션 벡터에 따라 판단된다. 단계 24를 수행하는 동안, 두 개의 다른 시점에서 캡쳐된 두 개의 이미지들의 변화에 따른 모션 벡터는 운송수단의 이동 상태를 판단하기 위하여 이용된다. 예컨대, 운송수단이 특정 조향 각도로 후진할 때, 단위 시간당 후진 거리 및 조향 각도를 알고 있으므로 그 이동 경로는 사전에 평가될 수 있다. 그러므로, 이동 경로를 재구축하기 위하여, 운송수단의 이동 상태에 따른 이동 경로에 대한 경로 데이터베이스는 사전에 구축될 수 있으며, 이때 경로 데이터베이스에는 운송수단 조향 각도, 속도에 따른 운송수단의 이동 경로와 높이, 시야각, 오버룩 각도(Overlook angle)를 포함하는 이미지를 캡쳐하기 위해 운송수단에 배치된 이미지 센싱 장치의 파라미터들 사이의 관계가 구축된다. 이에 따라, 단계 23에서 얻어진 모션 벡터에 의하여, 운송수단의 조향 각도에 관련한 운송수단의 이동 상태를 알 수 있으며 그 이동 상태는 대응하는 이동경로를 찾도록 경로 데이터베이스를 검색하기 위한 기초로서 이미지를 캡쳐하기 위해 운송수단에 배치되는 이미지 센싱 장치의 파라미터들에 결합되어 사용되고, 참조로서 운송수단의 운전자에게 디스플레이된다. 일반적으로, 운송수단에 장착된 이미지 센싱 장치에 의하여 캡쳐된 이미지들은 단지 운송수단의 조향에 따라 변화하더라도 참조용으로만 운송수단의 운전자에게 디스플레이된다. 하지만, 운전자에게 표시되는 운전 보조 정보로서의 이동 경로가 존재하지 않으며 이에 따라 운송수단의 운전자는 이미지 센싱 장치에 형성되는 이미지들로부터 직접 어떤 위험을 인식하지 못한다. 그러나, 참조용으로 운전자에게 표시되는 단계 24로부터 얻어진 이동 경로에 의하여, 운전자는 즉각 그리고 직접적으로 운송수단이 장애물과 충돌하게 되는지 또는 페이브먼트 마커(Pavement marker)상에서 운전하는지 여부를 알아차릴 수 있다.
도 3은 본 발명의 다른 실시예에 따른 이미지 기반의 차량 조작 보조 방법의 단계들을 나타내는 흐름도이다. 본 실시예에 있어서, 다른 이미지 기반의 차량 조작 보조 방법은 이미지 특징 인식, 거리 평가, 시야각 변환 그리고 경고 발생뿐만 아니라 전술한 실시예에서의 모든 동작을 종합하는 방법이 제공된다. 이미지 기반의 차량 조작 보조 방법 3은 단계 30으로부터 시작한다. 단계 30에 있어서, 본 발명의 운송수단을 위한 보조 시스템은 하위단계 301이 본 시스템을 시작하도록 판단 하는 평가가 수행되기 전까지, 하위단계 300과 같이 대기 상태로 놓인다. 단계 301에 있어서, 본 시스템은 운송수단의 기어 위치 또는 시동 버튼의 누름에 의하여 시작되나, 이에 의하여 제한되지 않는다. 본 실시예에 있어서, 본 시스템은 운전자가 후진 기어를 넣는 경우 즉시 시작된다.
본 시스템이 시작된 후에는, 본 방법은 단계 31로 진행한다. 단계 31에 있어서, 운송수단의 이동 상태를 판단하기 위해 서로 다른 시점에서 운송수단의 주변 환경에 대한 일련의 이미지들로부터 특정 영역의 모션 벡터를 연산하는 이미지 벡터 평가 프로세스가 수행된다. 이후 단계 32로 진행한다. 단계 32에 있어서, 그 이동 상태에 따라 보조 경로가 생성된다. 이후 단계 33으로 진행한다. 단계 31과 단계 32에서 수행된, 이동 경로뿐 아니라, 이동 상태의 판단은 도 1의 실시예에서 상술된 것과 유사하므로, 이에 따라 이하에서 더 이상 설명하지 않는다. 단계 33에 있어서, 적어도 하나의 특징을 탐지하기 위한 이미지 특징 탐지 프로세스가 수행된다. 이후 단계 34로 진행한다. 본 실시예에 있어서, 그 특징은 장애물 또는 페이브먼트 마커(Pavement marker)일 수 있으나, 이에 의하여 제한되지 않으며, 특징 탐지를 위한 기술은 그러한 기술분야에서 알려진 것이므로 이하에서는 더 이상 설명되지 않는다. 단계 34에 있어서, 적어도 하나의 특징이 탐지 되었는지 여부를 판단하기 위한 평가가 수행된다. 만약 그렇다면, 단계 35로 진행한다. 그렇지 않다면, 단계 38로 진행한다. 단계 35에 있어서, 탐지된 적어도 하나의 특징의 타입을 인식하여 인식된 적어도 하나의 특징의 타입과 대응하는 보조 절차를 선택하여 수행한다.
본 실시예에 있어서, 두 가지 보조 절차들이 존재하는데, 하나는 장애물 조종 절차 36이고 다른 하나는 페이브먼트 마커(Pavement marker) 조종 절차 37이다. 이에 따라, 단계 35에서 탐지된 특징이 장애물로 인식되면, 장애물 조종 절차 36을 수행하도록 진행한다. 다른 한편으로, 그 탐지된 특징이 페이브먼트 마커(Pavement marker)로 인식되면, 페이브먼트 마커(Pavement marker) 조종 절차 37을 수행하도록 진행한다. 장애물 조종 절차 36이 선택될 때, 단계 360으로 진행한다. 단계 360에 있어서, 장애물과 운송수단 사이의 거리는, 탐지된 이미지들 내의 적어도 하나의 특징의 위치들을 정의하기 위하여 사용되는 좌표를 현실의 거리들로 변형하기 위한 공식을 미리 생성하는 단계 및 인식된 특징까지의 거리를 획득하기 위해 인식된 특징의 좌표를 이용하는 단계를 포함하는 수단에 의하여 평가된다. 이후 단계 361로 진행한다. 도 4A와 도 4B는, 본 발명에 따라 이미지 공간과 현실의 공간에서 측정된 거리를 나타내는 개략도이다. 도 4A에 있어서, 이미지(9c)는 운송수단에 장착된 이미지 센싱 장치에 의하여 운송수단의 주변 환경에 대해 캡쳐된 이미지이다. 이미지 센싱 장치의 시야각, 하강의 각도 및 상승 각도뿐만 아니라, 이미지 센싱 장치가 운송수단의 어디에 장착되었는가와 관련된 위치 및 높이를 알고 있기 때문에, 현실의 공간과 이미지 센싱 장치의 이미지 공간 사이의 관계는 미리 확립될 수 있다. 소위 이미지 공간은 이미지 센싱 장치에 의하여 캡쳐된 이미지(9c)에서 각 픽셀의 위치들을 정의하기 위한 데카르트 좌표(Cartesian coordinate system)이다. 현실의 공간은 운송수단이 위치한 환경을 말하며, 도 4A에 도시된 것과 같이 측정 가능한 이미지(9c)의 각 픽셀의 좌표는 그에 대응하는 현실의 공간의 위치의 좌표 로 맵핑(mapping)될 수 있다. 다만 본 실시예에서는 해상 유닛으로 하나의 픽셀이 사용되지만, 현실의 공간과 이미지 공간 사이의 관계를 나타내는 룩업 테이블(lookup table)의 확립을 위하여 해상 유닛으로 두 개 이상의 픽셀을 포함할 수 있다.
도 4A에 도시된 것과 같이, 도 4A의 이미지 공간의 좌표를 도 4B의 현실의 공간의 거리들로 변환하기 위한 공식을 연산함으로써, 이미지(9c)의 이미지 공간의 픽셀들 (x1, y1), (x2, y2) 및 (x3, y3)은 각각 (X1, Y1), (X2, Y2) 및 (X3, Y3) 위치들로 맵핑된다. 계속하는 도 3을 참조하면, 이미지 공간과 현실의 공간 사이의 미리 확립된 관계의 사용에 의하여 탐지된 장애물까지의 거리를 얻은 후에는 현실의 공간의 장애물의 위치가 지정되고, 단계 361로 진행한다. 단계 361에 있어서, 그 평가된 거리가 운송수단의 L-배 길이와 같은 특정 거리보다 작은 거리인지 여부를 판단하기 위한 평가가 수행된다. 만약 그렇다면 단계 362로 진행한다. 그렇지 않다면, 단계 38로 진행한다. 단계 362에 있어서, 경고 신호가 발생된다. 그리고, 단계 38로 진행한다. 단계 38에 있어서, 단계 32에 의하여 연산된 그 이동 경로가 디스플레이된다.
한편, 탐지된 특징이 페이브먼트 마커로 인식되어 장애물 조종 절차 36이 선택된 경우, 단계 370으로 진행한다. 단계 370에 있어서, 페이브먼트 마커(Pavement marker)와 운송수단 상호 간의 거리는 단계 361과 유사한 방법으로 평가되므로 이하에서 상술하지 않는다. 그리고 단계 371로 진행한다. 단계 371에 있어서, 평가된 거리가 특정 거리보다 작은지 여부를 판단하기 위한 평가가 수행된다. 만약 그렇다 면, 단계 372로 진행한다. 그렇지 않다면, 단계 38로 진행한다. 본 실시예에 있어서, 특정 거리는 운송수단의 K-배와 같이 정의되나, 반드시 이에 한정되는 것은 아니다. 단계 372에 있어서, 보통의 시야각에 의한 이미지들을 운송수단의 운전자가 페이브먼트 마커(Pavement marker)와 표시된 이미지에 의한 운송 수단 상호 간의 거리를 인식하도록 용이하게 하기 위한 오버룩(Overlook) 이미지들로 변환하는 시야각 스위칭 프로세스가 수행된다. 도 5A에 도시된 것과 같이, 이미지 변환은 역 원근 매핑 알고리즘(inverse perspective mapping algorithm) 및 이미지 영상 왜곡 교정(Image distortion calibration) 기술에 의하여 평균적 시야각에 의하여 캡쳐된 이미지 9d를 오버룩 이미지 9e로 변환하는 이미지 기하 변환(Image geometrical transformation)에 의하여 수행된다.
앞서 말한 이미지 변환은 운송수단이 편평한 도로를 이동한다는 가정에 기초하며, 그러므로 역 원근 매핑으로부터 발생하는 거리 에러는 무시되어 질 수 있다. 도 5B 및 도 5C는, 본 발명의 이미지 센싱 장치에 의하여 캡쳐된 이미지를 오버룩(Overlook) 이미지로 변환하는 방법과 관련된 개략적 다이어그램들이다. 이미지 변환은 현실 공간 좌표에서 방정식 Z=0에 의해 정의되는 평면상에서 이동한다는 가정하에 수행되는데, (0, 0, h)에 있는 카메라의 광학 축과 상기 평면 사이의 사이각 θ가 형성되고, 카메라의 광학 축과 현실 공간 좌표 시스템의 X축 사이에 사이각
Figure 112011047814516-pat00002
가 형성된다. 본 실시예에 있어서, 각도
Figure 112011047814516-pat00003
는 0도로 지정되지만, 그러나 반드시 이에 제한되는 것은 아니다. 2Ψ의 시야각 그리고 n × m의 해상도로 구성되는 카메라를 가정하면, 현실 공간에서 좌표가 (x, y, 0)인 지점은 다음과 같은 공식에 의하여 이미지 공간상에서 지점(α, β)으로 변환된다.
Figure 112009004674239-pat00004
여기서,
Figure 112009004674239-pat00005
이에 의하여, 2Ψ의 시야각에서 카메라에 의하여 캡쳐된 원본 이미지에 대응하는 오버룩(Overlook) 이미지를 얻을 수 있다. 즉, 도 5A의 이미지(9d)에서 픽셀 (α, β, 0)는 이미지(9e)에서 픽셀 (x, y, 0)로 변환된다.
도 6은, 본 발명의 일 실시예에 따른 이미지 기반의 차량 조작 보조 시스템의 블록 다이어그램이다. 도 6에 도시된 본 실시예에 있어서, 이미지 기반의 차량 조작 보조 시스템(4)은, 이미지 센싱 장치(40), 컨트롤러(41) 및 디스플레이 유닛(42)을 포함한다. 이미지 센싱 장치(40)는 운송수단의 주변 환경과 관련한 이미지들을 캡쳐하기 위하여 운송수단에 배치되는데, 이러한 이미지 센싱 장치(40)는 CCD 또는 CMOS일 수 있으나, 이에 한정되지 않는다. 이미지 센싱 장치(40)는 단지 실제 이미지 요건을 제외한 다른 제한 없이 운송수단의 어떠한 위치에도 배치될 수 있다. 본 실시예에 있어서, 이미지 센싱 장치(40)는 운송수단의 후방 이미지를 캡쳐하기 위하여 그 운송수단의 후미에 배치되고, 60도 내지 190도의 평균 시계 범위, 15 ~ 30 프레임/초 이미지 주파수 및 15 ~ 20 프레임/초 출력속도를 갖도록 구성된다. 이미지 센싱 장치(40)의 상세사항뿐만 아니라 그 시야각은 그것이 장착된 운송수단의 타입과 위치에 따라 변화할 수 있다.
컨트롤러(41)는 이미지 입력 인터페이스(411)에 의하여 이미지 센싱 장치(40)에 연결되며, 중앙 처리 유닛(410), 메모리 모듈(411), 이미지 입력 인터페이스(412), 차량 신호 통신 인터페이스(414) 및 전원 인터페이스(415)를 더 포함한다. 중앙 처리 유닛(410)은 도 1 그리고 도 3에 예시된 것과 같은 이미지 처리, 이미지 인식, 거리 평가, 장애물 탐지, 이미지 입력/출력, 차량 신호 입력, 경고 신호 발생, 기타 등등을 포함하는 동작을 수행하기 위하여 이미지 입력 인터페이스(412)로부터 수신되는 이미지 신호를 사용할 수 있다. 이때, 경고 신호의 발생과 관련한 동작은 운송수단의 이동 경로 상에 장애물이 있으며 그에 따라 장애물에 운송수단이 충돌하는 것을 방지하도록 운송수단의 운전자에게 상기시키기 위한 경고를 발생하기 위하여 경고 모듈(43)을 활성화한다. 이미지 출력 인터페이스는 중앙 처리 유닛(410)의 처리 결과를 디스플레이하는 디스플레이 유닛(42)에 연결된다. 예컨대, 디스플레이 유닛(42)은 운송수단의 이동 경로, 이미지 센싱 장치(40)에 의하여 캡쳐된 이미지들, 시야각 변환 후의 이미지들 등을 디스플레이할 수 있다. 메모리 모듈(411)은 하나의 메모리(4110) 및 플래시 메모리(4111)로 구성된다. 본 실시예에 있어서, 그 메모리는 32 메가바이트의 SDRAM이고, 플레시 메모리(4111)는 본 시스템의 작업을 버퍼링하는 임시 기억 장소로서의 16 메가바이트의 플레시 메모리이다. 다만, 메모리 모듈(411)의 용량은 앞서 말한 실시예에 의하여 제한되지 않는다.
차량 신호 통신 인터페이스(414)는 본 시스템(4)을 활성화하기 위한 운송수단으로부터 생성되는 신호를 수신하도록 구성된다. 따라서, 시스템(4)은 운송수단의 기어 위치에 따라 또는 시동 버튼의 누름에 의하여 시작될 수 있으나, 이에 제한되지 않는다. 예컨대, 본 시스템은 운송수단이 후진 기어 또는 다른 특정 기어 상태에 있을 때 즉시 시작된다. 또한, 컨트롤러(41)는 전원 인터페이스(415)를 통하여 전원에 연결된다.
안내를 제공하기 위하여 적어도 두 종류 이상의 센서들을 요구하는 종래의 운전 안내 시스템과 비교할 때, 본 발명의 시스템은 단일 셍서를 이용하여 운송수단의 조작 안내가 가능하여, 부가적인 차량 센서들이 필요없기 때문에 일반적인 차량 편의 시스템과 마찬가지로 설치가 쉽고, 그 결과 본 발명의 본 시스템은 비용이 저렴하고, 설치가 쉬우며, 사용에 유연성을 갖는다. 또한, 본 발명의 이미지 기반의 차량 조작 보조 시스템 및 방법은 변환 및 왜곡 보정 알고리즘을 이용하여 일반 시야각으로부터 캡쳐된 이미지로부터 오버룩(Overlook) 이미지를 생성시킬 수 있고, 본 발명은 운송수단이 이미지에서 탐색된 주차 공간으로 주차하도록 안내하기 위한 완전한 주차 경로뿐만 아니라 운송수단의 이동 경로상에 있는 장애물들과 교통 신호들을 인식할 수 있으며 그리고 동시에 충돌 신호를 발생시켜야 하는지 아닌지를 판단하는데 사용되는 상호 간의 거리를 측정할 수 있다. 본 발명의 시스템은 서로 다른 제조사들의 임의의 타입의 운송수단들뿐만 아니라 모든 타입의 카메라에 채용되는 소프트웨어에 의하여 쉽게 구성될 수 있는데, 이는 자동차 전자부품의 판매-후 서비스 시장에서 상업적인 경쟁력을 제공한다.
아울러, 본 발명의 방법은, 내부 변수 및 설치 방법과 관련하여 서로 다른 카메라들에 채용되도록 쉽게 프로그래밍될 수 있으므로, 본 발명의 방법은 운송수단에 이미 장착된 카메라들을 통해 설치되고 작동될 수 있다.
본 발명의 방법과 시스템은 다양한 운송수단에 적용가능한데, 특히 운전자에게 보이지 않는 사각 영역을 많이 갖고 있어 운행 안전이 항상 문제가 되는 대형 운송장비들에 적용될 수 있을 것이다. 그러므로, 대형 이동 장비들에 장착된 본 발명의 이미지 기반의 차량 조작 보조 시스템을 설치함으로써, 본 발명의 시스템을 이용하는 대형 이동 장비의 운전 안전이 향상될 뿐만 아니라, 동일한 도로를 사용하는 다른 운송수단들 및 보행자들의 안전 또한 보장받게 된다.
이에 설명된 본 발명은, 다양한 방법으로 변형될 수 있다는 것이 자명하다. 그러한 변형들은 본 발명의 사상 그리고 범위로부터 벗어나는 것으로 취급되지 않으며, 본 발명의 기술분야에서 통상의 기술자에게 모든 그러한 변형들은 이하의 청 구항들의 범위 내에 포함되는 것이다.
본 발명은 이하에서 주어지는 발명의 상세한 설명과 단지 도시되는 방법에 따라 함께 수반되는 도면들에 의하여 충분히 이해될 수 있고, 이에 따라 본 발명이 제한되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반의 차량 조작 보조 방법의 단계들을 묘사하는 플로우차트이다.
도 2A는 도 1에서 얻어지는 제1 이미지의 개략도이다.
도 2B는 도 1에서 얻어지는 제2 이미지의 개략도이다.
도 2C는 본 발명에 있어서 어떻게 모션 벡터를 얻는가를 나타낸 개략적인 다이어그램이다.
도 3은 본 발명의 다른 실시예에 따른 이미지 기반의 차량 조작 보조 방법의 단계들을 묘사하는 플로우차트이다.
도 4A와 도 4B는 본 발명에 따라 이미지 공간과 실제 공간의 측정 거리를 나타내는 개략적인 다이어그램들이다.
도 5A 내지 도 5C는 이미지 감지 수단에 의하여 캡쳐된 이미지를 오버룩(Overlook) 이미지로 변환하는 방법과 관련된 개략적인 다이어그램들이다.
도 6은 본 발명의 일 실시예에 따른 이미지 기반의 차량 조작 보조 시스템의 블록 다이어그램이다.

Claims (25)

  1. 제1 시점에서 운송수단의 주변 환경에 대한 제1 이미지를 얻는 단계;
    상기 제1 이미지로부터 데이터 영역을 선택하는 단계;
    제2 시점에서 운송수단의 주변 환경에 대한 제2 이미지를 얻는 단계;
    상기 제2 이미지에서 상기 제1 이미지의 상기 데이터 영역에 대응하는 비교 영역을 찾기 위해 상기 제2 이미지에서 검색을 수행하여 상기 비교 영역과 상기 데이터 영역 사이의 모션 벡터 측도를 획득하는 단계; 및
    상기 모션 벡터에 따라 상기 운송수단의 이동 경로를 판단하는 단계를 포함하며,
    상기 제2 이미지에서 상기 데이터 영역에 대응하는 비교 영역을 찾기 위한 검색은,
    상기 데이터 영역에 대한 제1 특성값을 연산하는 단계; 및
    상기 비교 영역이 될 절대차의 합(SAD, sum of absolute differences)이 최소인 일 영역을 검색 및 선택하기 위해 상기 제1 특성값에 대하여 상기 데이터 영역과 상기 제2 이미지의 모든 영역을 비교하는 단계를 더 포함하며,
    상기 제1 특성값은 그레이 레벨 값(Value of gray level)이며, 상기 절대차의 합은 상기 데이터 영역과 상기 비교 영역 사이의 그레이 레벨 차(grey level difference)인 이미지 기반의 차량 조작 보조 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 비교 영역으로 사용될 절대차의 합(SAD)이 최소인 상기 일 영역을 검색하는 단계는,
    (a) 탐지 영역이 될 상기 제2 이미지의 일 영역을 지정하는 단계;
    (b) 상기 탐지 영역의 제2 특성값과 상기 제1 특성값 사이의 절대차의 합(SAD)을 연산하는 단계;
    (c) 탐지 영역이 될 상기 제2 이미지의 다른 영역을 지정하는 단계;
    (d) 복수 개의 SAD들을 획득하기 위해 상기 (b)단계 내지 상기 (c)단계를 반복하는 단계;
    (e) 상기 복수 개의 SAD들로부터 최소값을 선택하는 단계를 더 포함하며,
    상기 제2 특성값은 그레이 레벨 값(value of grey level)인 이미지 기반의 차량 조작 보조 방법.
  5. 제4항에 있어서,
    상기 SAD를 연산하는 단계는 하기의 공식에 의해 진행되며,
    Figure 112011047814516-pat00006
    상기 복수 개의 SAD들의 최소값은 하기의 공식에 따라 선택되는 이미지 기반의 차량 조작 보조 방법.
    Figure 112011047814516-pat00007
    여기서, 상기 I(t-1,X,Y)에서 (X,Y)는 상기 제1 이미지에서 데이터 영역의 중심을 나타내고, 상기 I(t,X+p,Y+q)에서 (X,Y)는 탐지 영역의 중심을 나타내며, t는 시점을 나타내고, (p,q)는 상기 제2 이미지에서 ith 탐지 영역과 상기 제1 이미지에서 데이터 영역 사이의 변위이며, I는 그레이 레벨 값이고, Ai 는 ith 위치로 이동됨에 따라 정의된 이미지 영역을 나타낸다.
  6. 제1항에 있어서,
    상기 운송수단의 상기 이동 경로를 판단하는 단계는,
    상기 모션 벡터에 따라 상기 운송수단의 이동 방향을 판단하는 단계; 및
    상기 운송수단의 이동 경로로서 이동 경로를 찾기 위해 미리 구축된 경로 데이터 베이스를 검색하도록 상기 이동 방향을 이용하는 단계를 포함하는 이미지 기반의 차량 조작 보조 방법.
  7. (a1) 제1 시점에서 상기 운송수단의 주변 환경에 대한 제1 이미지를 획득하는 단계와, (a2) 상기 제1 이미지로부터 데이터 영역을 선택하는 단계와, (a3) 제2 시점에서 상기 운송수단의 주변 환경에 대한 제2 이미지를 획득하는 단계와, (a4) 상기 제2 이미지에서 상기 제1 이미지의 상기 데이터 영역에 대응하는 비교 영역과 상기 데이터 영역 사이의 이미지 공간 거리를 획득하기 위해 상기 제2 이미지에서 상기 비교 영역을 찾기 위한 검색을 수행하는 단계와, (a5) 최소 SAD를 갖는 상기 비교영역과 상기 데이터 영역에 따라 모션 벡터를 연산하여 이동 상태를 결정하는 단계를 포함하는 (a) 단계;
    (b) 상기 이동 상태에 따라 상기 운송수단의 이동 경로를 판단하는 단계;
    (c) 상기 일련의 이미지들에서 적어도 하나의 특징을 탐지하는 단계; 및
    (d) 상기 적어도 하나의 특징의 타입에 대응하는 보조 절차를 선택하여 수행하기 위해 상기 적어도 하나의 특징을 인식하는 단계를 포함하며,
    상기 (a4) 단계의 상기 제2 이미지에서 상기 데이터 영역에 대응하는 비교 영역을 찾기 위한 검색은,
    상기 데이터 영역에 대한 제1 특성값을 연산하는 단계; 및
    상기 비교 영역이 될 절대차의 합(SAD, sum of absolute differences)이 최소인 일 영역을 검색 및 선택하기 위해 상기 제1 특성값에 관하여 상기 데이터 영역과 상기 제2 이미지의 모든 영역을 비교하는 단계를 더 포함하며,
    상기 제1 특성값은 그레이 레벨 값(Value of gray level)이며, 상기 절대차의 합은 상기 데이터 영역과 상기 비교 영역 사이의 그레이 레벨 차(grey level difference)인 이미지 기반의 차량 조작 보조 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제7항에 있어서,
    상기 비교 영역으로 사용될 절대차의 합(SAD)이 최소인 상기 일 영역을 검색하는 단계는,
    (a11) 탐지 영역이 될 상기 제2 이미지의 일 영역을 지정하는 단계;
    (a12) 상기 탐지 영역의 제2 특성값과 상기 제1 특성값 사이의 절대차의 합(SAD)을 연산하며,
    상기 제2 특성값은 그레이 레벨 값(value of gray level)인 단계;
    (a13) 탐지 영역이 될 상기 제2 이미지의 다른 영역을 지정하는 단계;
    (a14) 복수 개의 SAD들을 획득하기 위해 상기 (a12) 단계 내지 상기 (a13) 단계를 반복하는 단계; 및
    (a15) 상기 복수 개의 SAD들로부터 최소값을 선택하는 단계를 더 포함하는 이미지 기반의 차량 조작 보조 방법.
  12. 제7항에 있어서,
    상기 운송수단의 상기 이동 경로를 판단하는 단계는,
    상기 이미지 공간 거리에 따라 상기 운송수단의 이동 방향을 판단하는 단계; 및
    상기 운송수단의 이동 경로로서 이동 경로를 찾기 위해 미리 구축된 경로 데이터 베이스를 검색하도록 상기 이동 방향을 이용하는 단계를 포함하는 이미지 기반의 차량 조작 보조 방법.
  13. 제7항에 있어서,
    상기 (d) 단계는,
    상기 인식된 특징이 페이브먼트 마커(Pavement marker)인 경우 상기 인식된 특징까지의 거리를 평가하는 단계; 및
    상기 거리가 특정 거리보다 작은 경우 시야각 스위칭 프로세스를 수행하는 단계를 더 포함하는 이미지 기반의 차량 조작 보조 방법.
  14. 제13항에 있어서,
    상기 인식된 특징까지의 거리를 평가하는 단계는,
    상기 이미지들에서 탐지된 특징들의 위치들을 정의하기 위하여 사용되는 좌표를 현실의 거리들로 변환하기 위한 공식을 미리 생성하는 단계; 및
    상기 인식된 특징까지의 거리를 획득하기 위해 상기 인식된 특징의 좌표를 이용하는 단계를 포함하는 것을 특징으로 하는 이미지 기반의 차량 조작 보조 방법.
  15. 제13항에 있어서,
    상기 시야각 스위칭 프로세스를 수행하는 단계는,
    일반 시야각으로 캡쳐된 상기 이미지들을 오버룩(Overlook) 이미지들로 변환하는 이미지 기반의 차량 조작 보조 방법.
  16. 제15항에 있어서,
    상기 시야각 스위칭 프로세스는 하기의 공식에 의해 현실의 좌표(x,y,0)를 이미지 공간의 다른 좌표(
    Figure 112011047814516-pat00008
    ,
    Figure 112011047814516-pat00009
    )로 변환하도록, 수행되는 이미지 기반의 차량 조작 보조 방법.
    Figure 112011047814516-pat00010
    여기서,
    Figure 112011047814516-pat00011
    이고, h는 상기 이미지들을 생성하는 이미지 센싱 장치의 높이이고, n×m은 이미지 해상도이며, θ는 (0, 0, h)에 있는 상기 이미지 센싱 장치의 광학 축과 상기 운송수단이 이동하는 평면과의 제1 사이각이며,
    Figure 112011047814516-pat00023
    는 (0, 0, h)에 있는 상기 이미지 센싱 장치의 광학 축과 현실 공간 좌표 시스템의 X축 사이의 제2 사이각이고, Ψ는 상기 이미지 센싱 장치의 시야각의 반(1/2)이다.
  17. 제13항에 있어서,
    상기 (d) 단계는,
    상기 인식된 특징이 장애물인 경우 상기 인식된 특징까지의 거리를 평가하는 단계; 및
    상기 거리가 특정 거리보다 작은 경우에 경고 신호를 발생하는 단계를 더 포함하는 이미지 기반의 차량 조작 보조 방법.
  18. 제7항에 있어서,
    상기 (d) 단계는,
    상기 인식된 특징이 장애물인 경우 상기 인식된 특징까지의 거리를 평가하는 단계; 및
    상기 거리가 특정 거리보다 작은 경우에 경고 신호를 발생하는 단계를 더 포함하는 것을 특징으로 하는 이미지 기반의 차량 조작 보조 방법.
  19. 운송수단에 배치되어 상기 운송수단의 주변 환경에 대한 이미지들을 캡쳐하는 이미지 센싱 장치;
    상기 이미지 센싱 장치에 연결되며 상기 운송수단의 이동 상태를 판단하기 위해 상기 이미지들로부터 선택된 특정 영역의 모션 벡터를 시간에 관한 상기 이미지들의 상기 특정 영역의 변화에 기초하여 연산하도록 상기 이미지 센싱 장치로부터의 상기 이미지들을 이용할 수 있고 상기 이동 상태에 따라 상기 운송수단의 이동 경로를 판단할 수 있는 컨트롤러; 및
    상기 컨트롤러에 연결되어 상기 이미지 센싱 장치로부터의 상기 이미지들과 상기 컨트롤러로부터의 상기 운송수단의 상기 이동 경로를 디스플레이하는 디스플레이 유닛을 포함하며,
    상기 컨트롤러는,
    제1 시점에서 상기 운송수단의 주변 환경에 대한 제1 이미지로부터 데이터 영역을 선택하여 상기 모션 벡터를 산출하고, 제2 시점에서 상기 운송수단의 주변 환경에 대한 제2 이미지를 획득하고, 상기 제2 이미지에서 상기 제1 이미지의 상기 데이터 영역에 대응되는 비교 영역을 찾기 위해 상기 제2 이미지에서 검색을 수행하여 상기 비교 영역과 상기 데이터 영역 사이의 모션 벡터 측도를 획득하며,
    상기 제2 이미지에서 상기 데이터 영역에 대응하는 비교 영역을 찾기 위한 검색은, 상기 데이터 영역에 대한 제1 특성값을 연산하고, 상기 비교 영역이 될 절대차의 합(SAD, sum of absolute differences)이 최소인 일 영역을 검색 및 선택하기 위해 상기 제1 특성값에 대하여 상기 데이터 영역과 상기 제2 이미지의 모든 영역을 비교함으로써 수행되며,
    상기 제1 특성값은 그레이 레벨 값(Value of gray level)이며, 상기 절대차의 합은 상기 데이터 영역과 상기 비교 영역 사이의 그레이 레벨 차(grey level difference)인 이미지 기반의 차량 조작 보조 시스템.
  20. 제19항에 있어서,
    상기 컨트롤러는 상기 이미지 센싱 장치의 상기 이미지들로부터 적어도 하나의 특징을 인식할 수 있는 이미지 기반의 차량 조작 보조 시스템.
  21. 제20항에 있어서,
    상기 적어도 하나의 특징은 장애물인 것인 이미지 기반의 차량 조작 보조 시스템.
  22. 제20항에 있어서,
    상기 적어도 하나의 특징은 페이브먼트 마커(Pavement marker)인 것인 이미지 기반의 차량 조작 보조 시스템.
  23. 제20항에 있어서,
    상기 컨트롤러는 상기 운송수단과 상기 적어도 하나의 특징 사이의 거리를 평가할 수 있는 이미지 기반의 차량 조작 보조 시스템.
  24. 제20항에 있어서,
    상기 운송수단과 상기 적어도 하나의 특징 사이의 거리가 특정 거리보다 작은 경우에 경고를 발생할 수 있는 경고 유닛을 더 포함하는 이미지 기반의 차량 조작 보조 시스템.
  25. 제20항에 있어서,
    상기 컨트롤러는,
    상기 운송수단과 상기 이미지들 내에서 탐지된 상기 특징 사이의 거리가 미리 판단된 거리보다 작은 경우 상기 이미지 센싱 장치에 의하여 캡쳐된 상기 이미지들을 오버룩(Overlook) 이미지들로 변환하고 상기 디스플레이 유닛에 오버룩 이미지 신호를 제공하도록 구성되는 이미지 기반의 차량 조작 보조 시스템.
KR1020090005961A 2008-10-07 2009-01-23 이미지 기반의 차량 조작 보조 방법 및 그 시스템 KR101106547B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW097138499 2008-10-07
TW097138499A TWI334393B (en) 2008-10-07 2008-10-07 Image-based vehicle maneuvering assistant method and system

Publications (2)

Publication Number Publication Date
KR20100039190A KR20100039190A (ko) 2010-04-15
KR101106547B1 true KR101106547B1 (ko) 2012-01-20

Family

ID=42075497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090005961A KR101106547B1 (ko) 2008-10-07 2009-01-23 이미지 기반의 차량 조작 보조 방법 및 그 시스템

Country Status (3)

Country Link
US (2) US8330818B2 (ko)
KR (1) KR101106547B1 (ko)
TW (1) TWI334393B (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009024083A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
KR20120057692A (ko) * 2010-08-12 2012-06-07 삼성전자주식회사 디스플레이장치 및 영상표시방법
JP5269024B2 (ja) * 2010-09-29 2013-08-21 株式会社日立製作所 路面状況推定装置および路面状況推定方法
DE102011009106A1 (de) * 2011-01-21 2012-07-26 Audi Ag Verfahren zum Betrieb eines eine auf einen Überholvorgang bezogene Empfehlung ausgebenden Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
DE102011014699B4 (de) * 2011-03-22 2015-10-29 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen und Kraftfahrzeug
DE102011077555A1 (de) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
CN102901968B (zh) * 2011-07-29 2014-10-08 财团法人车辆研究测试中心 停车空间侦测方法及其装置
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
KR102163566B1 (ko) * 2011-09-30 2020-10-08 지멘스 모빌리티 에스에이에스 안내식 차량을 위한 레인의 가용성을 결정하기 위한 방법 및 시스템
KR20130044727A (ko) * 2011-10-24 2013-05-03 현대모비스 주식회사 전동식 동력 조향장치를 이용한 차륜 정렬장치의 요구명령 생성방법
WO2013107525A1 (en) * 2012-01-20 2013-07-25 Sick Ivp Ab Impact time from image sensing
US20130265419A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation System and method for available parking space estimation for multispace on-street parking
TWI501889B (zh) * 2012-06-06 2015-10-01 Mitac Int Corp 駕駛中提示危險的警報裝置及其方法
KR101916467B1 (ko) 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
US9377781B1 (en) 2014-12-29 2016-06-28 Automotive Research & Test Center Automatic driving system able to make driving decisions and method thereof
US9934572B2 (en) * 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
DE102017217528A1 (de) 2016-10-04 2018-04-05 Ford Global Technologies, Llc Fahrzeugrangiersystem
TWI653885B (zh) 2017-03-03 2019-03-11 宏碁股份有限公司 影像輸出方法及影像擷取裝置
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学（武汉） 一种车辆前向防撞预警方法及系统
CN108022404A (zh) * 2017-10-18 2018-05-11 广州市果豆科技有限责任公司 一种基于多摄像头的停车报警方法及系统
US20210048506A1 (en) * 2018-02-12 2021-02-18 Cad.42 Services Methods and system for generating and detecting at least one danger zone
JP7129201B2 (ja) * 2018-04-18 2022-09-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
TWI670646B (zh) * 2018-06-15 2019-09-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統
CN109018810B (zh) 2018-10-18 2020-02-21 北京极智嘉科技有限公司 对接货物容器的方法、装置、机器人和存储介质
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
TWI784172B (zh) * 2019-06-06 2022-11-21 先進光電科技股份有限公司 行動載具輔助系統及其停車輔助方法
JP2022184109A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 撮像システム、移動装置、制御方法およびプログラム
CN113569648A (zh) * 2021-06-29 2021-10-29 深圳市捷顺科技实业股份有限公司 一种车辆挪位记录的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3483143B2 (ja) * 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
CN2600787Y (zh) 2002-08-21 2004-01-21 张拥军 利用数字图像识别技术测量车辆起步时运动轨迹的装置
DE102004048400A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren für die Erfassung einer optischen Struktur
JP2007206785A (ja) 2006-01-31 2007-08-16 Sumitomo Electric Ind Ltd 車両追跡システムとこれに使用する画像処理装置、中央装置及び車載装置、並びに、車両追跡方法
TW200736090A (en) 2006-03-31 2007-10-01 Automotive Res & Testing Ct Method for assisting tracking paths for backing up vehicles
TWI320547B (en) 2006-11-30 2010-02-11 Ind Tech Res Inst Method for adjusting and calibrating region of interest for imaging processing and vehicle safety warning system using thereof
TWI305829B (en) 2006-11-30 2009-02-01 Ind Tech Res Inst Method for auto-detecting the location of an imaging acquiring apparatus and a vehicle collision warning system using thereof
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置

Also Published As

Publication number Publication date
TWI334393B (en) 2010-12-11
US20100085427A1 (en) 2010-04-08
US8330818B2 (en) 2012-12-11
US20130120576A1 (en) 2013-05-16
TW201014730A (en) 2010-04-16
US8670036B2 (en) 2014-03-11
KR20100039190A (ko) 2010-04-15

Similar Documents

Publication Publication Date Title
KR101106547B1 (ko) 이미지 기반의 차량 조작 보조 방법 및 그 시스템
US8320628B2 (en) Method and system for assisting driver
US8559674B2 (en) Moving state estimating device
US9863775B2 (en) Vehicle localization system
JP5124351B2 (ja) 車両操作システム
US9151626B1 (en) Vehicle position estimation system
JP3494434B2 (ja) 駐車支援装置
TWI401175B (zh) Dual vision front vehicle safety warning device and method thereof
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
CN102059978B (zh) 驾驶辅助方法与系统
US20110169957A1 (en) Vehicle Image Processing Method
CN101727756B (zh) 交通工具移动图像辅助导引方法与系统
KR20150051735A (ko) 주차 보조 시스템 및 그 방법
US10854084B2 (en) Parking control method and parking control device
JP2008033750A (ja) 物体傾き検出装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP5056861B2 (ja) 測距装置
JP4256992B2 (ja) 障害物検出装置
JP2009186301A (ja) 車両用物体検出装置
WO2010113253A1 (ja) ３次元情報表示装置および３次元情報表示方法
JP4768499B2 (ja) 車載周辺他車検出装置
JP2006072757A (ja) 物体検出装置
JP4106163B2 (ja) 障害物検出装置及びその方法
JP3951734B2 (ja) 車両用外界認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191226

Year of fee payment: 9