KR20160044523A - 에고 모션 검출을 구비한 촬상 시스템 및 방법 - Google Patents

에고 모션 검출을 구비한 촬상 시스템 및 방법 Download PDF

Info

Publication number
KR20160044523A
KR20160044523A KR1020167006698A KR20167006698A KR20160044523A KR 20160044523 A KR20160044523 A KR 20160044523A KR 1020167006698 A KR1020167006698 A KR 1020167006698A KR 20167006698 A KR20167006698 A KR 20167006698A KR 20160044523 A KR20160044523 A KR 20160044523A
Authority
KR
South Korea
Prior art keywords
vehicle
motion
vertical position
image
interest
Prior art date
Application number
KR1020167006698A
Other languages
English (en)
Other versions
KR101738995B1 (ko
Inventor
데이비드 제이. 라이트
데이비드 엠. 팔브
Original Assignee
젠텍스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 젠텍스 코포레이션 filed Critical 젠텍스 코포레이션
Publication of KR20160044523A publication Critical patent/KR20160044523A/ko
Application granted granted Critical
Publication of KR101738995B1 publication Critical patent/KR101738995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H04N5/23251—
    • G06K9/00825—
    • G06T7/204—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량용 촬상 시스템 및 방법이 제공되며, 차량의 외부 및 전방 장면을 촬상하고 획득된 이미지에 대응하는 이미지 데이터를 생성하도록 구성된 촬상 장치를 포함한다. 제어 장치는 이미지 데이터를 수신하고 연속하는 이미지 프레임들 간의 광 흐름을 분석해서 촬상 장치와 촬상된 장면 간의 상대적 움직임을 연산하도록 구성되고, 여기서 광 흐름은 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임의 패턴을 포함한다.

Description

에고 모션 검출을 구비한 촬상 시스템 및 방법{IMAGING SYSTEM AND METHOD WITH EGO MOTION DETECTION}
본 발명은 일반적으로 촬상 시스템에 관한 것으로, 보다 구체적으로 차량에 사용하기 위한 촬상 시스템에 관한 것이다.
본 발명의 일 측면에 따르면, 차량용 촬상 시스템(imaging system)이 제공된다. 상기 시스템은 상기 차량의 외부 및 전방 장면을 촬상하고, 획득된 이미지에 대응하는 이미지 데이터를 생성하도록 구성된 촬상 장치(imager)를 포함한다. 제어 장치는 상기 이미지 데이터를 수신하고 연속하는 이미지 프레임들 간의 광 흐름(optical flow)을 분석해서 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임(relative motion)을 연산하도록 구성되고, 여기서 상기 광 흐름은 상기 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임(apparent motion)의 패턴을 포함한다.
본 발명의 다른 측면에 따르면, 차량용 촬상 방법이 제공된다. 상기 방법은, 제어된 차량의 외부 및 전방 장면을 촬상하고, 획득된 이미지에 대응하는 이미지 데이터를 생성하기 위한 촬상 장치를 제공하는 단계; 상기 이미지 데이터를 수신하고 분석하기 위한 제어 장치(controller)를 제공하는 단계; 그리고 연속하는 이미지 프레임들 간의 광 흐름(optical flow)에 기초해서 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임(relative motion)을 연산하는 단계를 포함하고, 여기서 상기 광 흐름은 상기 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임(apparent motion)의 패턴을 포함한다.
본 발명의 다른 측면에 따르면, 비일시적인 컴퓨터 판독가능 매체(non-transitory computer-readable medium)가 제공된다. 상기 비일시적인 판독가능 매체는, 제어 장치에 의해 실행되었을 때, 촬상 장치를 사용해서 제어된 차량의 외부 및 전방 장면을 촬상하고, 획득된 이미지에 대응하는 이미지 데이터를 생성하는 단계; 제어 장치에서 상기 이미지 데이터를 수신하고 분석하는 단계; 그리고 연속하는 이미지 프레임들 간의 광 흐름(optical flow)에 기초해서 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임(relative motion)을 연산하는 단계를 포함하고, 여기서 상기 광 흐름은 상기 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임(apparent motion)의 패턴을 포함하는, 소프트웨어 명령어들이 내부에 저장되어 있다.
본 발명의 이들 및 다른 특징들, 이점들, 및 목적들은 다음의 발명의 상세한 설명, 특허청구범위, 및 첨부된 도면을 참조하여 당 기술분야에 숙련된 자에 의해 더욱 이해되고 인정될 것이다.
본 발명은 상세한 설명 및 첨부 도면들로부터 보다 완전하게 이해될 것이다, 여기서:
도 1은 본 발명의 일 실시예에 따라 구성된 제어된 차량의 촬상 시스템의 블록도이고;
도 2는 도 1에 도시된 실시예에 따른 촬상 시스템을 포함하는 백미러 조립체의 부분 단면도이고;
도 3은 도 1 및 도 2에 도시된 실시예에 따른 촬상 시스템에 사용된 촬상 시스템의 에고 모션을 연산하기 위한 루틴(routine)을 설명하는 흐름도이고;
도 4는 연속하는 이미지 프레임들 간의 광 흐름(optical flow)을 그림으로 나타낸 것으로, 여기서 상기 이미지 프레임들은 수직 위치 값의 연산을 설명하는 데 도움을 주도록 중첩되어 있고; 그리고
도 5는 도 4에 도시된 바와 같이 그림으로 나타낸 것이지만, 그 대신 수직 운동 값의 연산을 설명한다.
이제 첨부된 도면들에 도시되어 있는 예들을 참조하여, 본 발명의 바람직한 실시예에 대하여 상세하게 설명할 것이다. 가능하다면, 도면들 전반에 걸쳐서 동일한 참조 부호들을 사용하여 동일 또는 유사 부분들을 지칭할 것이다. 도면들에서, 묘사된 구성 요소들은 실제 크기가 아니며, 소정의 구성 부품들이 강조 및 이해의 목적을 위해 다른 구성 부품들에 비해서 확대된다.
본원에서 설명되는 실시예들은 차량의 전방 장면에 있는 물체들을 검출하고 선택적으로 분류(categorizing)하는 데 사용될 수도 있는 차량용 촬상 시스템에 관한 것이다. 이들 실시예의 적용 이해를 돕기 위해서, 차량의 전방 이미지를 포착하는 이미지 센서로부터 획득된 이미지 데이터에 반응하여 제어된 차량의 실외등을 제어하기 위한 실외등 제어 시스템에서 촬상 시스템을 사용하는 것에 관한 예들이 제공된다. 자동차의 앞에 있는 광 빔 조명을 제어하는 자동 상향 빔(AHB) 및 대안적인 방법들은 다가오고 선행하는 차량을 식별하고 상향 빔 조명 패턴을 자동적으로 제어함으로써 야간에 상향 빔의 사용을 최대화한다. 이는 다른 차량에 대한 눈부심을 방지하지만, 또한 상향 빔 광 분포를 유지해서 다른 차량에 의해 점유되지 않은 영역을 조명한다. 차량의 전방에서 포착된 이미지에 반응하여 차량 실외등을 제어하기 위한 종래의 시스템들이 알려져 있다. 이러한 종래의 시스템들에서, 제어 장치는 포착된 이미지를 분석하고, 임의의 선행하거나 다가오는 차량이 상기 시스템을 사용하는 차량의 앞에 있는 눈부심 영역(glare area)에 존재하는지를 결정했을 것이다. 이러한 "눈부심 영역"은, 실외등이 상향 빔 상태(또는 하향 빔(low-beam) 상태 외의 몇몇 상태)에 있는 경우에 운전자에게 과도한 눈부심을 야기하게 될 영역이었다. 차량이 눈부심 영역에 존재한 경우, 제어 장치는 실외등의 상태를 변경해서 다른 운전자(들)에게 눈부심을 야기하지 않도록 함으로써 반응했을 것이다. 이러한 시스템들의 예들은 미국 특허 제5,837,994호, 제5,990,469호, 제6,008,486호, 제6,049,171호, 제6,130,421호, 제6,130,448호, 제6,166,698호, 제6,255,639호, 제6,379,013, 제6,403,942호, 제6,587,573호, 제6,593,698호, 제6,611,610호, 제6,631,316호, 제6,653,614호, 제6,728,393호, 제6,774,988, 제6,861,809호, 제6,906,467호, 제6,947,577호, 제7,321,112호, 제7,417,221호, 제7,565,006호, 제7,567,291호, 제7,653,215호, 제7,683,326호, 제7,881,839호, 제8,045,760호, 제8,120,652호, 및 제8,543,254호에 설명되어 있고, 이들 문헌의 전체 개시내용이 참고로 본 명세서에 원용된다.
자동차의 앞에 있는 광 빔 조명을 제어하는 AHB 또는 대안적인 방법들을 사용하는 종래의 시스템들 중 일부에서, 촬상 시스템은 전방 장면을 촬상할 것이고, 제어 장치는 포착된 이미지를 분석해서 충분히 조명되는 마을(또는 타운) 안에 자동차가 있거나 진입하고 있는지의 여부를 검출했을 것이다. 그런 다음, 제어 장치는 통상적으로 실외등을 하향 빔 상태로 놓거나 이와 달리 상향 빔 전조등의 작동을 억제했을 것이다. 그런 다음, 상향 빔 또는 대안적인 빔 조명은 마을 영역을 빠져 나갔을 때에 재활성화된다. 마을에 진입할 때에 가로등을 검출하거나 주변 밝기를 측정해서, 상향 빔 전조등을 활성화 또는 재활성할 것인지의 여부를 결정하는 것을 포함하는 다양한 방법이 사용된다. 이러한 시스템의 예들은 미국 특허 제6,861,809호, 제7,565,006호, 및 제8,045,760호, 및 미국 특허출원공개 제US 20130320193 A1호에도 설명되어 있고, 이들의 전체 개시 내용이 참고로 본 명세서에 원용된다.
상기한 종래의 시스템은 변하는 운전 상태에 반응하여 제어된 차량의 실외등이 제어될 수도 있는 단지 소수의 방식만을 예시하고 있다. 종종, 이들 및 다른 유사한 시스템의 적절한 작동은 촬상된 장면에서 하나 이상의 관심 대상 물체의 정확한 검출을 필요로 한다. 적용 용도에 따라, 이들 관심 대상 물체는 정지 물체, 예컨대, 가로등, 차선 표지, 표지판, 및/또는 기타 주행 차량의 전조등 또는 후미등과 같은 움직이는 물체일 수도 있다. 관심 대상 물체들의 적절한 검출은, 본원에서 "에고 모션(ego motion)"이라고 부르는, 촬상된 장면에 대해 상대적인 촬상 시스템의 움직임이 알려져 있지 않은 경우에 영향을 받을 수 있다. 일상적인 운전 상황 동안에는, 촬상된 장면에 대해 상대적인 촬상 시스템의 움직임을 변경할 수도 있는 다수의 흔한 조건, 예를 들어 울퉁불퉁한 도로, 갑작스런 회전, 오르막길/내리막길 등이 존재한다. 이 조건들은 관심 대상 정지 물체들이 연속하는 이미지 프레임들에서 겉보기 움직임을 갖도록 야기할 수도 있다. 따라서, 촬상 시스템의 에고 모션이 확인되지 않는 경우에는, 물체들이 실제로 움직이고 있는지 그리고 단지 촬상 시스템의 에고 모션, 및 유사한 정도로는, 제어된 차량의 에고 모션의 결과로서 물체들이 움직이는 것처럼 보여지는 것인지 시스템이 결정할 수 없기 때문에 촬상 시스템이 다양한 촬상 동작을 수행하는 것이 어려울 수도 있다. 따라서, 상기의 관점에서, 제어된 차량의 촬상 시스템이 유리하게 본원에서 제공되며, 촬상된 물체의 겉보기 움직임에 대해 보정하기 위해서 연속하는 이미지 프레임들 간의 광 흐름을 분석해서 그의 촬상 시스템의 에고 모션을 추정하도록 구성된다. 본원에서 사용되는 바와 같이, "광 흐름(optical flow)"은 촬상 시스템과 촬상 중인 장면 간의 상대적 움직임에 의해 야기된 연속하는 이미지 프레임들 내의 관심 대상 물체들의 겉보기 움직임의 패턴으로서 정의된다.
촬상 시스템(10)의 제1 실시예가 도 1에 도시되어 있다. 촬상 시스템(10)은 실외등(80) 및 선택적으로, 제어된 차량의 다른 장비(50, 62)를 제어하기 위해 제공될 수 있다. 시스템(10)은 촬상 장치(20) 및 제어 장치(30)를 포함한다. 촬상 장치(20)는 제어된 차량의 외부 및 전방 장면을 촬상하고 획득된 이미지에 대응하는 이미지 데이터를 생성하도록 구성되는 이미지 센서(201, 도 2)를 포함한다. 제어 장치(30)는 이미지 데이터를 수신하고 분석하고 실외등(80)을 제어하는 데에 사용될 수 있는 실외등 제어 신호를 생성하고, 임의의 추가 장비(50, 62)를 제어하는 제어 신호를 생성할 수도 있다. 이들 제어 신호는 상기 이미지 데이터의 분석에 반응하여 생성될 수 있다.
촬상 시스템(10)이 차량 장비 제어 시스템에서 사용되는 경우, 제어 장치(30)는 제어 중인 장비(50)에 직접 연결해서 생성된 제어 신호가 장비를 직접 제어하도록 구성될 수 있다. 대안적으로, 제어 장치(30)는, 결과적으로 제어 중인 장비(62 및 80)에 연결되는 장비 제어부(60 및 70)에 연결되어 제어 장치(30)에 의해 생성된 제어 신호가 상기 장비를 간접적으로만 제어하도록 구성될 수 있다. 예를 들면, 장비가 실외등(80)인 경우에서, 제어 장치(30)는 촬상 장치(20)로부터의 이미지 데이터를 분석해서 실외등(80)을 제어할 때에 사용하기 위해 실외등 제어부(70)를 위한 추천(recommendation)에 가까운 제어 신호를 생성할 수 있다. 따라서, 제어 신호가 장비를 제어하는 데에 사용된다고 말할 수 있다. 제어 신호는 추천 사항일 뿐만 아니라, 추천의 근거를 나타내는 코드도 더 포함할 수 있어 장비 제어부(60 및 70)가 추천 사항을 무효화(override)할지의 여부를 결정할 수 있다.
도 1에 도시된 바와 같이, 이미지 데이터를 분석하거나 추천 또는 유도 제어 신호를 형성하는 것을 고려할 수 있는 다양한 입력(예를 들어 입력(21-24))이 제어 장치(30)에 제공될 수 있다. 일부 경우에서는, 그 대신에 이러한 입력이 장비 제어부(60 및 70)에 제공될 수 있다. 예를 들면, 수동 스위치로부터의 입력이 장비 제어부(60 및 70)에 제공될 수 있으며, 장비 제어부(60 및 70)가 제어 장치(30)로부터의 추천을 무효화할 수 있게 한다. 제어 장치(30)와 장비 제어부(60 및 70) 사이에 다양한 수준의 상호작용 및 협동이 존재할 수 있음이 인정될 것이다. 제어 기능을 분리하는 것에 대한 하나의 이유는, 촬상 장치(20)가, 제어되어야 하고 차량 버스(25)에 대한 통신을 허용하는 장비로부터의 거리일 수 있는, 이미지를 얻기 위한 차량 내의 최적의 장소에 위치될 수 있게 하기 위함이다.
일 실시예에 따르면, 시스템(10)이 제어할 수 있는 장비는 하나 이상의 실외등(80)을 포함할 수 있고, 제어 장치(30)에 의해 생성된 제어 신호는 실외등 제어 신호일 수 있다. 이 실시예에서, 실외등(80)은 제어 장치(30)에 의해 또는 제어 장치(30)로부터 제어 신호를 수신하는 실외등 제어부(70)에 의해 직접 제어될 수 있다. 본원에서 사용되는 바와 같이, "실외등(exterior light)"은 광범위하게 차량 상에 있는 임의의 실외 조명을 포함한다. 이러한 실외등은 전조등(서로 분리된 경우 하향 및 상향 빔 양쪽 모두), 후미등, 악천후등, 예컨대 안개등, 제동등, 중앙-장착형 정지등(center-mounted stop light: CHMSL), 방향변경 지시등, 후진등 등을 포함할 수 있다. 실외등은 종래의 하향 빔 및 상향 빔 상태를 비롯한 수개의 다른 모드로 작동될 수 있다. 그들은 또한 주간 주행등으로서, 그리고 추가적으로 허용되는 해당 국가에서 초고도 밝기 상향 빔(super-bright high beam)으로서 작동될 수 있다.
실외등 밝기는 또한 저(low), 고(high), 및 초고도(super-high) 상태 사이에서 지속적으로 가변될 수도 있다. 분리형 광은 각각의 이러한 실외등 상태를 얻기 위해 제공될 수 있거나, 또는 실외등의 실제 밝기가 가변되어 이러한 상이한 실외등 상태를 제공할 수 있다. 어느 경우에는, 실외등의 "인지된 밝기(perceived brightness)" 또는 조명 패턴이 가변된다. 본원에서 사용되는 바와 같이, 용어 "인지된 밝기"는 차량 외측에서 관찰자에 의해 인지되는 실외등의 밝기를 의미한다. 가장 통상적으로, 이러한 관찰자는 선행하는 차량 내부 또는 반대 방향으로 동일한 도로(street)를 따라 주행하는 차량 내부에 있는 운전자 또는 탑승객일 것이다. 이상적으로, 실외등은, 관찰자가 차량에 대하여 "눈부심 영역"(즉, 관찰자가 과도한 눈부심을 일으키는 실외등의 밝기를 인지할 수 있는 영역) 이내의 차량 안에 위치하는 경우, 빔 조명 패턴이 가변되어 관찰자가 더 이상 눈부심 영역 안에 있지 않도록 제어된다. 실외등의 인지된 밝기 및/또는 눈부심 영역은, 하나 이상의 등을 조향(steering)해서 하나 이상의 실외등의 목표를 변경하는 것, 일부 또는 전부의 실외등을 선택적으로 차단하거나 달리 활성화하거나 또는 불활성화하는 것, 차량 전방의 조명 패턴을 변경하는 것, 또는 상기의 조합에 의해, 하나 이상의 실외등의 조명 출력을 변화시킴으로써 가변될 수 있다.
촬상 장치(20)는 임의의 통상적인 촬상 장치일 수 있다. 적절한 촬상 장치의 예들은, 공개된 미국 특허출원공개 제US 20080192132 A1호 및 제US 20120072080 A1호, 및 Jon H. Bechtel 등에 의해 2011년 6월 23일자로 출원된 발명의 명칭이 "MEDIAN FILTER"인 미국 가출원 제61/500,418호; Jon H. Bechtel 등에 의해 2011년 10월 7일자로 출원된 발명의 명칭이 "MEDIAN FILTER"인 미국 가출원 제61/544,315호; Jon H. Bechtel 등에 의해 2011년 11월 8일자로 출원된 발명의 명칭이 "HIGH DYNAMIC RANGE CAMERA LOW LIGHT LEVEL FILTERING"인 미국 가출원 제61/556,864호에 개시되어 있고, 이들의 전체 개시 내용이 참고로 본 명세서에 원용된다.
촬상 시스템(10)은 물체를 검출하고 선택적으로 분류하거나 또는 실외등에 더하여 차량 장비를 선택적으로 제어하기 위해서 나중에 디스플레이 및/또는 분석될 수 있는 이미지를 포착하는 이미지 센서(201, 도 2) 또는 카메라를 포함할 수도 있다. 예를 들면, 이러한 촬상 장치는 차선 이탈 경고 시스템, 전방 충돌 경고 시스템, 적응형 순항 제어 시스템, 보행자 검출 시스템, 야간 시력(night vision) 시스템, 지형 검출(terrain detection) 시스템, 주차 보조 시스템, 교통 신호 인식 시스템, 후방 카메라 디스플레이 시스템용으로 사용되고 있다. 이러한 목적을 위해 촬상 장치를 사용하는 시스템의 예들은, 미국 특허 제5,837,994호, 제5,990,469호, 제6,008,486호, 제6,049,171호, 제6,130,421호, 제6,130,448호, 제6,166,698호, 제6,379,013호, 제6,403,942호, 제6,587,573호, 제6,611,610호, 제6,631,316호, 제6,774,988호, 제6,861,809호, 제7,321,112호, 제7,417,221호, 제7,565,006호, 제7,567,291호, 제7,653,215호, 제7,683,326호, 제7,881,839호, 제8,045,760호, 및 제8,120,652호, 그리고 함께 미국 특허출원공개 제US 20130028473 A1호에 대응하는, Brock R. Rycenga 등에 의해 2011년 7월 27일자로 출원된 발명의 명칭이 "RAISED LANE MARKER DETECTION SYSEM AND METHOD THEREOF"인 미국 가출원 제61/512,213호, 및 Brock R. Rycenga 등에 의해 2011년 7월 27일자로 출원된 발명의 명칭이 "COLLISION WARNING SYSTEM AND METHOD THEREOF"인 미국 가출원 제61/512,158호에 개시되어 있고, 이들의 전체 개시 내용이 참고로 본 명세서에 원용된다.
도 1에 도시된 예에서, 촬상 장치(20)는 제어 장치(30)에 의해 제어될 수 있다. 촬상 시스템 파라미터 뿐만 아니라 이미지 데이터의 통신은, 양방향 직렬 버스, 병렬 버스, 양쪽의 조합, 또는 그 외의 적절한 수단일 수 있는 통신 버스(40)를 통해 이루어진다. 제어 장치(30)는, 촬상 장치(20)로부터 이미지를 분석하고, 그러한 이미지 내에서 검출된 정보에 기초하여 장비(또는 실외등) 상태를 결정하며, 결정된 장비(또는 실외등) 상태를, 차량 버스(25), CAN 버스, LIN 버스 또는 임의의 다른 적절한 통신 링크일 수 있는 버스(42)를 통해 장비(50), 장비 제어부(60), 또는 실외등 제어부(70)에 전달함으로써 장비 제어 기능을 수행하는 역할을 한다. 제어 장치(30)는 상이한 노출 시간 및 상이한 판독 창을 가지고 수개의 상이한 모드에서 활성화되도록 촬상 장치(20)를 제어할 수 있다. 제어 장치(30)는 장비 또는 실외등 제어 기능을 수행하는 것과 촬상 장치(20)의 파라미터를 제어하는 것 양쪽 모두에 사용될 수 있다.
제어 장치(30)는 또한 실외등(80)의 작동에 대해 결정함에 있어서 별개 연결부들을 통해 또는 차량 버스(25)를 통해 통신되는 신호(예를 들어 차량 속도, 스티어링 휠 각도, 피치, 롤, 및 요(yaw))의 유용성을 활용할 수 있다. 특히, 속도 입력(21)은 차량 속도 정보를 제어 장치(30)에 제공하며, 상기 속도가 실외등(80) 또는 그 외의 장비를 위한 제어 상태를 결정할 때의 인자일 수 있다. 역방향 신호(22)는 차량이 역방향으로 있음을 제어 장치(30)에 통지하고, 이에 반응하여 제어 장치(30)가 광 센서로부터 출력된 신호에 상관 없이 전기 변색성 미러 요소(electrochromic mirror element)를 밝게 할 수 있다. 자동 ON/OFF 스위치 입력(23)은 2개의 상태를 갖는 스위치에 연결되어 차량 실외등(80)이 자동으로 또는 수동으로 제어되어야 하는지의 여부를 제어 장치(30)에 지시한다. ON/OFF 스위치 입력(23)에 연결된 자동 ON/OFF 스위치(도시하지 않음)는 전통적으로 차량 대시보드 상에 장착되거나 스티어링 휠 컬럼 레벨에 합체되는 전조등 스위치와 합체될 수 있다. 수동 조광(dimmer) 스위치 입력(24)은 수동 활성화 스위치(도시하지 않음)에 연결되어 실외등 제어 상태에 대한 수동 무효화 신호를 제공한다. 일부 또는 모든 입력(21, 22, 23, 24) 및 출력(42a, 42b, 및 42c)뿐만 아니라 임의의 다른 가능한 입력 또는 출력, 예를 들어 스트어링 휠 입력이 선택적으로 도 1에 나타낸 차량 버스(25)를 통해 제공될 수 있다. 대안적으로, 이들 입력(21-24)은 장비 제어부(60) 또는 실외등 제어부(70)에 제공될 수 있다.
제어 장치(30)는 차량 버스(42)를 통해 제어 장치(30)에 연결되는 차량 내부의 다른 장비(50)를 적어도 부분적으로 제어할 수 있다. 구체적으로, 제어 장치(30)에 의해 제어될 수 있는 하나 이상의 장비(50)의 일부예는 다음과 같다: 실외등(80), 레인 센서, 나침반, 정보 디스플레이, 앞유리 와이퍼, 히터, 서리제거장치(defroster), 김서림방지장치(defogger), 에어컨, 전화 시스템, 내비게이션 시스템, 보안 시스템, 타이어 압력 모니터링 시스템, 차고문 개방 송신기, 열쇠가 없는 원격 출입 시스템(remote keyless entry system), 텔레매틱스 시스템(telematics system), 디지털 신호 제어 장치 기반 음성 작동 시스템과 같은 음성 인식 시스템, 차량 속도 제어부, 실내등, 백미러, 오디오 시스템, 엔진 제어 시스템, 및 차량 전반에 걸쳐서 위치할 수 있는 다양한 다른 스위치 및 디스플레이 장치.
또한, 제어 장치(30)는 적어도 부분적으로 차량의 백미러 조립체 내부에 위치할 수 있거나, 차량 내부의 다른 장소에 위치할 수 있다. 제어 장치(30)는, 백미러 조립체 내에 또는 차량 내의 다른 장소에 위치해서 소정의 종류의 장비(62)를 제어할 수 있는 제2 제어 장치(또는 제어 장치들), 장비 제어부(60)도 사용할 수 있다. 장비 제어부(60)는 제어 장치(30)에 의해 생성된 신호를 차량 버스(42)를 통해 수신하도록 연결될 수 있다. 그 후에, 장비 제어부(60)가 버스(61)를 통해 장비(62)와 통신해서 그를 제어한다. 예를 들면, 장비 제어부(60)는 앞유리 와이퍼 장비를 제어해서 이 장비를 턴 온(ON) 또는 오프(OFF)로 만드는 앞유리 와이퍼 제어 유닛일 수 있다. 장비 제어부는 또한 전기변색성 제어 유닛일 수 있고, 여기서 제어 장치(30)는 전기변색성 제어 유닛과 통신해서 전기변색성 제어 유닛이 주변 광 센서(ambient light sensor), 눈부심 센서 뿐만 아니라, 제어 장치에 결합된 임의의 다른 구성요소로부터 얻어진 정보에 반응하여 전기변색성 미러(들)의 반사율을 변경하도록 프로그래밍되어 있다. 구체적으로, 제어 장치(30)와 통신하는 장비 제어 유닛(60)은 다음의 장비를 제어할 수 있다: 실외등, 레인 센서, 나침반, 정보 디스플레이, 앞유리 와이퍼, 히터, 서리제거장치, 김서림방지장치, 에어컨,전화 시스템, 내비게이션 시스템, 보안 시스템, 타이어 압력 모니터링 시스템, 차고문 개방 송신기, 열쇠가 없는 원격 출입 시스템, 텔레메트리 시스템(telemetry system), 디지털 신호 제어 장치 기반 음성 작동 시스템과 같은 음성 인식 시스템, 차량 속도, 실내등, 백미러, 오디오 시스템, 공조부, 엔진 제어부, 및 차량 전반에 걸쳐서 위치할 수 있는 다양한 다른 스위치 및 다른 디스플레이 장치.
시스템(10)의 일부는 유리하게는 도 2에 도시된 바와 같이 백미러 조립체(200)에 통합될 수 있고, 여기서 촬상 장치(20)가 백미러 조립체(200)의 장착부(203)에 통합된다. 이러한 위치는 차량의 앞유리 와이퍼(도시하지 않음)에 의해 통상적으로 세정되는 차량의 앞유리(202)의 영역을 통해 방해받지 않는 전방 관찰을 제공한다. 추가적으로, 백미러 조립체(200) 내에 촬상 장치(20)의 이미지 센서(201)를 장착하는 것은 전원, 마이크로컨트롤러 및 광 센서와 같은 회로의 공유를 허용한다.
도 2를 참조하면, 이미지 센서(201)는 차량 앞유리(202)에 장착되는 백미러 장착부(203) 내부에 장착된다. 백미러 장착부(203)는 광이 전방 외부 장면으로부터 수신되는 천공부를 제외하고는 이미지 센서를 위한 불투명 엔클로저(opaque enclosure)를 제공한다.
도 1의 제어 장치(30)는 도 2에 도시된 바와 같이 주 회로 기판(215) 상에 제공되고 백미러 하우징(204) 내에 장착될 수 있다. 상기에서 논의한 바와 같이, 제어 장치(30)는 버스(40) 또는 다른 수단에 의해 촬상 장치(20)에 연결될 수 있다. 주 회로 기판(215)은 종래의 수단에 의해 백미러 하우징(204) 내부에 장착될 수 있다. 실외등(80)(도 1)을 포함하는 차량 전기 시스템과의 전력 및 통신 링크(42)가 차량 와이어링 하니스(wiring harness)(217)(도 2)를 통해 제공된다.
백미러 조립체(200)는 후방 시야를 디스플레이하는 미러 요소 또는 디스플레이를 포함할 수 있다. 미러 요소는 프리즘 요소 또는 전기 광학 요소, 예를 들어 전기변색성 요소일 수 있다.
시스템(10)이 백미러 조립체(200)에 통합될 수 있는 방식의 추가적인 세부사항이 미국 특허 제6,611,610호에 설명되어 있고, 이의 전체 개시 내용이 참고로 본 명세서에 원용된다. 촬상 시스템을 구현하는 데에 사용되는 대안적인 백미러 조립체 구성이 미국 특허 제6,587,573호에 설명되어 있고, 이의 전체 개시 내용이 참고로 본 명세서에 원용된다.
이제 에고 모션을 연산하고 보정하기 위한 방법이 설명될 것이며 앞서 설명한 촬상 시스템(10)에서 사용될 수도 있다. 설명하기 위해, 상기 방법은 촬상 장치(20)로부터 수신된 이미지 데이터를 사용하여 제어 장치(30)에 의해 구현되는 것으로 이하에서 설명된다. 상기 방법은 임의의 제어 장치에 의해 실행되는 서브루틴(subroutine)일 수 있고, 따라서 상기 방법은, 제어 장치에 의해 실행되었을 때, 제어 장치가 후술하는 방법의 단계를 실행함으로써, 제어된 차량의 장비를 제어하게 하는 소프트웨어 명령어가 저장된 비일시적인 컴퓨터 판독가능 매체로 구현될 수 있다. 즉, 본 발명의 방법의 측면은 비일시적인 컴퓨터 판독가능 매체 상에 저장된 소프트웨어 또는 비일시적인 컴퓨터 판독가능 매체에 상주하는 기존의 소프트웨어에 대한 소프트웨어 변경 또는 갱신에 의해 달성될 수 있다. 이러한 소프트웨어 또는 소프트웨어 갱신은 제1 비일시적인 컴퓨터 판독가능 매체(32)로부터 멀리 위치한 제2 비일시적인 컴퓨터 판독가능 매체(90)로부터, 통상적으로 차량에 설치되기 전에 제어 장치(30)의 (또는 제어 장치(30) 또는 일부의 다른 제어 장치와 국부적으로 연관된) 제1 비일시적인 컴퓨터 판독가능 매체(32) 내로 다운로드될 수 있다(도 1 참조). 제2 일시적인 컴퓨터 판독가능 매체(90)는, 적어도 부분적으로 인터넷 또는 근거리 또는 광역 유선 또는 무선 네트워크를 포함할 수 있는 임의의 적절한 수단에 의해 제1 일시적인 컴퓨터 판독가능 매체(32)와 통신할 수 있다.
하나의 구현예에 따르면, 촬상 시스템(10)의 에고 모션을 연산하기 위한 방법은, 촬상 장치(20)와, 수평 X 방향 및 수직 Y 방향 양쪽으로 촬상된 장면 간의 상대적 움직임을 연산하는 것을 포함하고, 이것이 이제 도 3을 참조하여 더욱 상세히 설명될 것이다.
도 3은 제어 장치(30)에 의해 실행될 다양한 단계를 설명하는 흐름도를 나타내고 있다. 단계 1000에서 시작해서, 제어 장치(30)는 에고 모션 연산 및 보정 방법을 개시한다. 상기 방법은 제어 장치가 이미지 데이터에서 하나 이상의 관심 대상 물체를 검출할 때에 개시될 수 있다. 상술한 바와 같이, 관심 대상 물체들은 정지 물체, 예를 들어 가로등, 차선 표지, 표지판, 및/또는 움직이는 물체, 예를 들어 다른 주행 차량의 전조등 또는 후미등을 포함할 수 있다. 그런 다음, 제어 장치(30)는 병렬로 수행될 수 있는 단계 1100 및 1200으로 진행한다. 단계 1100에서, 제어 장치(30)는 에고 모션의 Y 성분에 대하여 연산 및 보정하기 위한 에고 Y 공정을 시작하는 반면에, 단계 1200에서, 제어 장치(30)는 에고 모션의 X 성분에 대하여 연산 및 보정하기 위한 에고 X 공정을 시작한다.
먼저 제어 장치(30)가, 병렬로 수행될 수 있는 단계 1300 및 1400으로 진행되는 단계 1100을 살펴본다. 단계 1300에서, 제어 장치(30)는, 연속하는 이미지 프레임들에서 보여지는 다수의 검출된 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 위치 값을 연산하고, 이것이 도 4를 참조하여 더욱 상세히 설명될 것이다.
도 4는 현재 프레임(250) 및 이전 프레임(252)으로서 정의된 2개의 연속하는 이미지 프레임의 시퀀스에서 물체 A, B, C, 및 D의 광 흐름을 예시적으로 나타내고 있다. 도시의 목적을 위해, 현재 프레임 및 이전 프레임은 그들 사이의 광 흐름을 더욱 양호하게 도시하도록 도 4에서 중첩되어 있다. 현재 프레임(250)에 대하여, 물체 A, B, C, 및 D가 대응하는 위치(300, 302, 304, 및 306)에서 촬상되어 있는 한편, 이전 프레임(252)에서는, 물체 A, B, C, 및 D가 대응하는 위치(400, 402, 404, 및 406)에서 촬상되어 있는 것이 도시되어 있다. 차량 위치 값을 결정하기 위해서, 현재 및 이전 프레임(250, 252) 내의 물체 A-D의 평균 수직 위치가 단계 1500에서 연산되고, 도 4에 대응하는 선(1 및 2)으로 도시되어 있다. 다음으로, 단계 1600에서, 제어 장치(30)는 현재 프레임(250) 의 평균 수직 위치(선(1))와 이전 프레임(252)의 평균 수직 위치(선(2)) 간의 차를 연산한다. 상기 차가 단계 1700에서 수직 위치 값으로서 출력되어, 단계 1300의 종료를 디스플레이한다.
재차 단계 1400을 참조하면, 제어 장치(30)는 수직 움직임 값을 연산한다. 수직 움직임 값은 연속하는 이미지 프레임에서 보여지고 수직 방향으로 공통의 겉보기 움직임을 갖는 해당 관심 대상 검출 물체들만의 수직 위치의 변화에 기초한다. 수직 움직임 값의 연산은, 이전에 도 4에 나타낸 물체 A-D의 광 흐름도 도시하고 있는 도 5를 참조하여 더욱 상세히 설명될 것이다. 수직 움직임 값을 결정하기 위해서, 제어 장치(30)는 단계 1800에서 현재와 이전 프레임(250, 252) 간의 각 물체 A-D의 수직 위치의 변화를 연산하고, 이것이 도 5에 물체 A에 대한 델타 A, 물체 B에 대한 델타 B, 물체 C에 대한 델타 C, 및 물체 D에 대한 델타 D로서 도시되어 있다. 다음으로, 단계 1900에서, 제어 장치(30)는 수직 위치의 공통 변화를 갖는 임의의 물체, 예를 들어 물체 A, B, 및 C를 식별하는데, 이는 이미지 프레임들 간의 그들의 움직임이 실제보다도 분명하게 될 가능성이 더 많은 것을 나타낸다. 수직 위치의 공통 변화를 갖는 물체가 식별되면, 제어 장치(30)는, 수직 위치에서의 그들 각각의 변화(델타 A, 델타 B, 및 델타 C)를 합산하고 단계 2000에서 평균 값을 취하고, 이것이 단계 2100에서 수직 움직임 값으로서 출력되어, 단계 1400의 종료를 신호를 보낸다. 하나의 구현예에 따르면, 수직 위치의 공통 변화를 갖지 않는 물체들(예를 들어, 물체 D)은 수직 움직임 값을 연산할 때에 고려되지 않는다.
단계 1300 및 1400이 완료되면, 제어 장치(30)는 단계 2200에서 수직 위치 값과 수직 움직임 값 간의 가중 평균(weighted average)을 연산한다. 가중 평균은 수직 방향에서의 촬상 장치(20)와 촬상된 장면 간의 상대적 움직임을 나타낸한다. 따라서, 가중 평균은 수직 방향으로 촬상 장치(20)의 에고 모션에 의해 야기된 겉보기 움직임에 대해 보정하는 데에 사용될 수 있다. 보정이 이루어지면, 제어 장치(30)는 단계 2400에서 에고 Y 공정을 종료하고, 단계 1100으로 되돌아가서 관심 대상 물체들이 후속하는 이미지 프레임들에 존재하는 한 에고 Y 공정을 반복할 수 있다.
이제 단계 1200에서 시작하는 에고 X 공정으로 돌아가서 논의한다. 단계 2500에서, 제어 장치(30)는 차량의 요(yaw) 신호를 획득하고 이미지 도메인으로 변환한다. 변환된 요 신호에 기초하여, 제어 장치(30)는 단계 2600에서 차량 진로를 연산한다. 그런 다음 제어 장치(30)는 수평 방향에서의 촬상 장치(20) 및 촬상된 장면 간의 상대적 움직임을 나타내는 것인, 단계 2700에서 차량 진로의 시간 평균을 취하고, 그에 따라 단계 2800에서 사용되어서 카메라(20)의 에고 모션에 의해 야기된 수평 방향의 겉보기 움직임을 보정할 수도 있다. 보정이 완료되면, 제어 장치(30)는 단계 2400에서 에고 X 공정을 종료한다. 그런 다음 제어 장치(30)는 단계 1200로 되돌아가서 관심 대상 물체가 후속하는 이미지 프레임들에 존재하는 한 에고 X 공정을 반복한다.
상기 설명은 바람직한 실시예들만을 고려한 것이다. 본 발명의 변형들이 당 기술분야에 숙련된 자 및 본 발명을 만들고 사용하는 자에게 생길 것이다. 따라서, 도면들에 나타내고 상술한 실시예들이 단지 예시할 목적일 뿐, 균등론을 포함하는 특허법의 원리들에 따라 해석되는 청구항들에 의해 규정되는 본 발명의 범주를 한정하려는 것이 아님이 이해될 것이다.

Claims (20)

  1. 차량용 촬상 시스템으로,
    상기 차량의 외부 및 전방 장면을 촬상하고 획득된 이미지에 대응하는 이미지 데이터를 생성하도록 구성된 촬상 장치; 및
    상기 이미지 데이터를 수신하고 연속하는 이미지 프레임들 간의 광 흐름을 분석해서 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임을 연산하도록 구성된 제어 장치를 포함하고, 여기서 상기 광 흐름은 상기 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임의 패턴을 포함하는, 촬상 시스템.
  2. 제1항에 있어서, 상기 제어 장치는, 상기 연속하는 이미지 프레임들에서 보여지는 다수의 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 위치 값을 연산하도록 구성된, 촬상 시스템.
  3. 제2항에 있어서, 상기 제어 장치는 상기 연속하는 이미지 프레임들에서 보여지고 공통의 겉보기 움직임을 갖는 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 움직임 값을 연산하도록 구성된, 촬상 시스템.
  4. 제3항에 있어서, 상기 제어 장치는 상기 수직 위치 값과 상기 수직 움직임 값 간의 가중 평균을 연산하도록 구성되고, 여기서 상기 가중 평균은 수직 방향에서의 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임을 나타내는, 촬상 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제어 장치는 상기 차량의 요 신호에 기초하여 차량 진로를 연산하도록 구성된, 촬상 시스템.
  6. 제5항에 있어서, 상기 제어 장치는 상기 차량 진로의 시간 평균을 취해서, 수평 방향에서의 상기 촬상 장치 및 상기 촬상된 장면 간의 상대적 움직임을 결정하는, 촬상 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 백미러 조립체에 통합된, 촬상 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 관심 대상 물체는 정지 물체 및/또는 움직이는 물체를 포함하는, 촬상 시스템.
  9. 차량용 촬상 방법으로,
    제어된 차량의 외부 및 전방 장면을 촬상하고 획득된 이미지에 대응하는 이미지 데이터를 생성하도록 구성된 촬상 장치를 제공하는 단계;
    상기 이미지 데이터를 수신하고 분석하도록 구성된 제어 장치를 제공하는 단계; 그리고
    연속하는 이미지 프레임들 간의 광 흐름에 기초해서 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임을 연산하는 단계를 포함하고, 여기서 상기 광 흐름은 상기 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임의 패턴을 포함하는, 촬상 방법.
  10. 제9항에 있어서, 상기 연산하는 단계는, 상기 연속하는 이미지 프레임들에서 보여지는 다수의 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 위치 값을 연산하는 것을 포함하는, 촬상 방법.
  11. 제10항에 있어서, 상기 연산하는 단계는, 상기 연속하는 이미지 프레임들에서 보여지고 공통의 겉보기 움직임을 갖는 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 움직임 값을 연산하는 것을 포함하는, 촬상 방법.
  12. 제11항에 있어서, 상기 연산하는 단계는, 상기 수직 위치 값과 상기 수직 움직임 값 간의 가중 평균을 연산하는 것을 포함하고, 여기서 상기 가중 평균은 수직 방향에서의 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임을 나타내는, 촬상 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서, 상기 차량의 요 신호에 기초하여 차량 진로를 연산하는 단계를 더 포함하는, 촬상 방법.
  14. 제13항에 있어서, 상기 차량 진로의 시간 평균을 취해서, 수평 방향에서의 상기 촬상 장치 및 상기 촬상된 장면 간의 상대적 움직임을 결정하는 단계를 더 포함하는, 촬상 방법.
  15. 제어 장치에 의해 실행되었을 때,
    촬상 장치를 사용해서 제어된 차량의 외부 및 전방 장면을 촬상하고 획득된 이미지에 대응하는 이미지 데이터를 생성하는 단계;
    제어 장치에서 상기 이미지 데이터를 수신하고 분석하는 단계; 그리고
    연속하는 이미지 프레임들 간의 광 흐름에 기초해서 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임을 연산하는 단계를 포함하고, 여기서 상기 광 흐름은 상기 연속하는 이미지 프레임들에서 관심 대상 물체들의 겉보기 움직임의 패턴을 포함하는, 소프트웨어 명령어들이 내부에 저장된, 비일시적인 컴퓨터 판독가능 매체.
  16. 제15항에 있어서, 상기 연산하는 단계는, 상기 연속하는 이미지 프레임들에서 보여지는 다수의 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 위치 값을 연산하는 것을 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  17. 제16항에 있어서, 상기 연산하는 단계는, 상기 연속하는 이미지 프레임들에서 보여지고 공통의 겉보기 움직임을 갖는 관심 대상 물체에 대한 수직 위치의 변화에 기초해서 수직 움직임 값을 연산하는 것을 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  18. 제17항에 있어서, 상기 연산하는 단계는, 상기 수직 위치 값과 상기 수직 움직임 값 간의 가중 평균을 연산하는 것을 포함하고, 여기서 상기 가중 평균은 수직 방향에서의 상기 촬상 장치와 상기 촬상된 장면 간의 상대적 움직임을 나타내는, 비일시적인 컴퓨터 판독가능 매체.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 소프트웨어 명령어들은 상기 차량의 요 신호에 기초하여 차량 진로를 연산하는 단계를 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  20. 제19항에 있어서, 상기 소프트웨어 명령어들은 상기 차량 진로의 시간 평균을 취해서, 수평 방향에서의 상기 촬상 장치 및 상기 촬상된 장면 간의 상대적 움직임을 결정하는 단계를 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
KR1020167006698A 2013-08-19 2014-08-19 에고 모션 검출을 구비한 촬상 시스템 및 방법 KR101738995B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361867379P 2013-08-19 2013-08-19
US61/867,379 2013-08-19
PCT/US2014/051676 WO2015026817A1 (en) 2013-08-19 2014-08-19 Imaging system and method with ego motion detection

Publications (2)

Publication Number Publication Date
KR20160044523A true KR20160044523A (ko) 2016-04-25
KR101738995B1 KR101738995B1 (ko) 2017-05-23

Family

ID=52466565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167006698A KR101738995B1 (ko) 2013-08-19 2014-08-19 에고 모션 검출을 구비한 촬상 시스템 및 방법

Country Status (5)

Country Link
US (2) US9721172B2 (ko)
EP (1) EP3036131B1 (ko)
KR (1) KR101738995B1 (ko)
CN (1) CN105579289B (ko)
WO (1) WO2015026817A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
US9889790B2 (en) * 2016-06-24 2018-02-13 Gentex Corporation Imaging system with adaptive high beam control
CN109283856B (zh) * 2017-07-21 2021-10-22 长城汽车股份有限公司 一种行车记录仪及其拍摄角度调节装置和方法
US10594940B1 (en) * 2018-01-12 2020-03-17 Vulcan Inc. Reduction of temporal and spatial jitter in high-precision motion quantification systems
US11044404B1 (en) 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10872400B1 (en) 2018-11-28 2020-12-22 Vulcan Inc. Spectral selection and transformation of image frames
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
US11390209B2 (en) * 2020-03-18 2022-07-19 Grote Industries, Llc System and method for adaptive driving beam headlamp
DE102020120713A1 (de) 2020-08-05 2022-02-10 Ford Global Technologies Llc Verfahren zum Betreiben eines Fernlichtassistenzsystems eines Kraftwagens sowie Kraftwagen

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6130421A (en) 1998-06-09 2000-10-10 Gentex Corporation Imaging system for vehicle headlamp control
US6631316B2 (en) 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
US7653215B2 (en) 1997-04-02 2010-01-26 Gentex Corporation System for controlling exterior vehicle lights
US6049171A (en) 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
US5837994C1 (en) 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
US6611610B1 (en) 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
US5990469A (en) 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
US6774988B2 (en) 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
US6861809B2 (en) 1998-09-18 2005-03-01 Gentex Corporation Headlamp control to prevent glare
AU1947899A (en) 1997-12-31 1999-07-19 Gentex Corporation Vehicle vision system
US6008486A (en) 1997-12-31 1999-12-28 Gentex Corporation Wide dynamic range optical sensor
US6130448A (en) 1998-08-21 2000-10-10 Gentex Corporation Optical sensor package and method of making same
AU2628800A (en) 1999-01-25 2000-08-07 Gentex Corporation Vehicle equipment control with semiconductor light sensors
US6166698A (en) 1999-02-16 2000-12-26 Gentex Corporation Rearview mirror with integrated microwave receiver
US6403942B1 (en) 2000-03-20 2002-06-11 Gentex Corporation Automatic headlamp control system utilizing radar and an optical sensor
JP2002200936A (ja) * 2000-11-06 2002-07-16 Semiconductor Energy Lab Co Ltd 表示装置及び車両
JP2003150941A (ja) * 2001-11-19 2003-05-23 Daihatsu Motor Co Ltd 移動物体の認識装置及び認識方法
US7683326B2 (en) 2002-07-09 2010-03-23 Gentex Corporation Vehicle vision system with high dynamic range
US7565006B2 (en) 2002-08-21 2009-07-21 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
JP3791490B2 (ja) * 2002-12-18 2006-06-28 トヨタ自動車株式会社 運転補助システム及び装置
US8045760B2 (en) 2003-02-21 2011-10-25 Gentex Corporation Automatic vehicle exterior light control systems
EP1683174B1 (en) 2003-08-18 2013-10-23 Gentex Corporation Optical elements related manufacturing methods and assemblies incorporating optical elements
US7881839B2 (en) 2004-11-18 2011-02-01 Gentex Corporation Image acquisition and processing systems for vehicle equipment control
US7417221B2 (en) 2005-09-08 2008-08-26 Gentex Corporation Automotive vehicle image sensor
JP4367475B2 (ja) * 2006-10-06 2009-11-18 アイシン精機株式会社 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
JP5410730B2 (ja) 2008-10-09 2014-02-05 日立オートモティブシステムズ株式会社 自動車の外界認識装置
US8004425B2 (en) 2009-09-30 2011-08-23 Gentex Corporation Blind spot detection system and method using preexisting vehicular imaging devices
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
US8543254B1 (en) 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
US8983135B2 (en) 2012-06-01 2015-03-17 Gentex Corporation System and method for controlling vehicle equipment responsive to a multi-stage village detection
CN102999759B (zh) * 2012-11-07 2015-10-07 东南大学 一种基于光流的车辆运动状态估计方法
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
CN104969238B (zh) * 2013-01-15 2019-06-18 移动眼视力科技有限公司 车辆和用于车辆的成像系统

Also Published As

Publication number Publication date
WO2015026817A1 (en) 2015-02-26
US20170357865A1 (en) 2017-12-14
CN105579289A (zh) 2016-05-11
US20150049198A1 (en) 2015-02-19
CN105579289B (zh) 2018-01-19
US9721172B2 (en) 2017-08-01
KR101738995B1 (ko) 2017-05-23
US9892331B2 (en) 2018-02-13
EP3036131A1 (en) 2016-06-29
EP3036131B1 (en) 2021-04-07
EP3036131A4 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
KR101738995B1 (ko) 에고 모션 검출을 구비한 촬상 시스템 및 방법
KR101805585B1 (ko) 자동차도로 상에서 실외 차량 등을 제어하기 위한 시스템 및 방법
US9185363B2 (en) Vehicle imaging system and method for categorizing objects using relative motion analysis
US9514373B2 (en) Imaging system and method for fog detection
US9317758B2 (en) Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
CN104583012B (zh) 用于响应于对小型卡车的检测来控制外部车辆灯的系统和方法
US20140198213A1 (en) Imaging system and method for detecting fog conditions
KR101848451B1 (ko) 차량 후미등과 점멸 적색 정지등을 구별하기 위한 차량 촬상 시스템 및 방법
JP6165851B2 (ja) 多段式集落検出に応答する車両装置を制御するためのシステムおよび方法
JP6330244B2 (ja) 明るい都市条件を検出するための画像化システムおよび方法
EP3068647B1 (en) Imaging system including dynamic compensation for color attenuation for vehicle windscreens
US20140153782A1 (en) Imaging system and method for detecting a winding road

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant