KR102087588B1 - 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 - Google Patents

카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 Download PDF

Info

Publication number
KR102087588B1
KR102087588B1 KR1020177026953A KR20177026953A KR102087588B1 KR 102087588 B1 KR102087588 B1 KR 102087588B1 KR 1020177026953 A KR1020177026953 A KR 1020177026953A KR 20177026953 A KR20177026953 A KR 20177026953A KR 102087588 B1 KR102087588 B1 KR 102087588B1
Authority
KR
South Korea
Prior art keywords
image data
controller
view
desired view
vehicle
Prior art date
Application number
KR1020177026953A
Other languages
English (en)
Other versions
KR20170120665A (ko
Inventor
톰 비. 셔먼
다니엘 지. 맥밀런
그레고리 에스. 부쉬
Original Assignee
젠텍스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 젠텍스 코포레이션 filed Critical 젠텍스 코포레이션
Publication of KR20170120665A publication Critical patent/KR20170120665A/ko
Application granted granted Critical
Publication of KR102087588B1 publication Critical patent/KR102087588B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G06K9/00791—
    • G06K9/4604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H04N5/2259—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

차량용 디스플레이 시스템이 개시된다. 시스템은 차량에 대한 후방 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저를 포함한다. 시스템은 디스플레이 장치 및 제어기를 더 포함한다. 디스플레이 장치는 차량의 승객실에 배치되는 스크린을 포함한다. 제어기는 이미저와 디스플레이 장치와 통신한다. 제어기는 적어도 하나의 특징을 식별하기 위해서 이미지 데이터를 처리하도록 작동할 수 있다. 이미지 데이터의 적어도 하나의 특징에 대한 위치 또는 배향에 기초하여, 제어기는 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정한다.

Description

카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱
본 개시는 일반적으로, 차량용 디스플레이 시스템에 관한 것이고, 더 구체적으로는 차량에 대한 후방 뷰(view)를 제공하는 디스플레이 시스템에 관한 것이다.
본 개시의 일 양태에 따라서, 차량용 디스플레이 시스템이 개시된다. 시스템은 차량에 대한 후방 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저를 포함한다. 시스템은 디스플레이 장치 및 제어기를 더 포함한다. 디스플레이 장치는 차량의 승객실에 배치되는 스크린을 포함한다. 제어기는 이미저와 디스플레이 장치와 통신한다. 제어기는 적어도 하나의 특징을 식별하기 위해서 이미지 데이터를 처리하도록 작동할 수 있다. 이미지 데이터의 적어도 하나의 특징에 대한 위치 또는 배향에 기초하여, 제어기는 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정한다.
본 개시의 다른 양태에 따라서, 차량에 대한 후방 지향 시야를 표시하기 위한 방법이 개시된다. 상기 방법은 시야에서 이미지 데이터를 캡쳐하는 단계 및 적어도 하나의 특징을 식별하도록 이미지 데이터를 처리하는 단계를 포함한다. 상기 방법은 이미지 데이터의 적어도 하나의 특징에 대한 위치 또는 배향에 응답하여 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정하는 단계를 더 포함한다. 원하는 뷰가 차량의 후방 디스플레이에 표시된다.
본 개시의 또 다른 양태에 따라서, 차량에 대한 후방 지향 시야를 표시하기 위한 장치가 개시된다. 상기 장치는 차량의 승객실에 배치되는 스크린을 포함하는 디스플레이 장치를 포함한다. 상기 장치는 디스플레이 장치와 통신하는 제어기 및 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저를 더 포함한다. 제어기는 수평선과 도로의 소실점 중 적어도 하나를 식별하도록 이미지 데이터를 처리하도록 작동할 수 있다. 수평선과 소실점 중 적어도 하나의 위치 또는 배향에 기초하여, 제어기는 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정하도록 작동할 수 있다.
본 개시의 이들 및 다른 특징들, 장점들, 및 목적들은 다음의 상세한 설명, 청구범위, 및 첨부된 도면을 참조하여 당업자에 의해 더 잘 이해되고 인정될 것이다.
본 개시는 상세한 설명 및 첨부 도면으로부터 더 완전하게 이해될 것이다:
도 1은 디스플레이 시스템을 포함하는 차량을 설명하는 도면이며;
도 2는 디스플레이 시스템을 포함하는 차량을 설명하는 도면이며;
도 3은 디스플레이 시스템의 이미저에 의해 캡쳐된 스크린에 대응하는 이미지 데이터에 대한 도면이며;
도 4는 이미지 데이터의 원하는 뷰 또는 최적 뷰를 표시하기 위해서 이미저에 의해 캡쳐된 이미지 데이터를 조정하도록 구성되는 디스플레이 장치의 정면도이며;
도 5는 디스플레이 시스템에 의해 디스플레이하기 위한 이미지 데이터를 조정하는 방법을 설명하는 공정 도표이며;
도 6은 본 개시에 따른 디스플레이 시스템의 블록 선도이다.
본 발명에서 예시되는 실시예는 주로 이미지 센서 시스템과 그의 방법에 관한 방법 단계와 장치 구성 요소의 조합에 속한다. 따라서, 장치 구성 요소들 및 방법 단계들은 본 발명의 실시예들을 이해하는 데에 적합한 그들의 특정 상세들만을 나타내는 도면들에서, 통상의 부호들에 의해 적절한 곳에서 제시됨으로써, 본 명세서에서의 설명의 혜택을 갖는 당 기술분야의 숙련된 자들에게 용이하게 보여질 상세들을 갖는 개시내용을 모호하게 하지 않게 한다. 또한, 설명 및 도면에서의 유사한 번호는 유사한 요소를 표현한다.
본 문헌에서, 관계 용어들, 예를 들면 제1 및 제2, 상부 및 하부 등은 이러한 명칭들 또는 동작들 간에 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 시사함이 없이, 하나의 실체 또는 동작을 다른 실체 또는 동작과 구별하는 데에만 사용된다. 용어 "포함하다", "포함하는" 또는 그의 임의의 다른 변형은 요소의 목록을 포함하는 공정, 방법, 물품, 또는 장치가 이들 요소를 포함할 뿐만 아니라 이러한 공정, 방법, 물품, 또는 장치에 대하여 명확히 열거되거나 고유하지 않은 다른 요소를 포함할 수 있도록, 비배타적인 포함을 포괄하도록 의도된다.
도 1 및 도 2를 참조하면, 디스플레이 시스템(12)을 갖춘 차량(10)이 도시된다. 디스플레이 시스템(12)은 장면(18)에 대응하는 시야(16)를 캡쳐하도록 구성되는 이미저(14)를 포함한다. 시야(16)는 수직 구성 요소(16A) 및 수평 구성 요소(16B)을 포함한다. 이미저(14)는 시야(16)에 대응하는 이미지 데이터를 캡쳐하고 디스플레이 장치(22)에 이미지 데이터를 표시하도록 구성된다. 디스플레이 장치(22)는 뷰가 디스플레이 장치(22)의 스크린에 표시될 때 이미지 데이터의 원하는 뷰(24)나 최적 뷰를 조정하도록 작동할 수 있다. 원하는 뷰(24)는 적어도 하나의 이미지 분석 기법에 기초하여 디스플레이 시스템(12)의 제어기에 의해 식별될 수 있고, 몇몇 실시 예에서 디스플레이 장치(22)에 표시하기 위한 이미지 데이터를 최적화하도록 사용자 선호도를 더 포함할 수 있다. 원하는 뷰(24)는 디스플레이 장치에 표시될 이미지 데이터의 재배치, 스케일링, 자르기 및/또는 비례 조정된 뷰에 대응할 수 있다.
디스플레이 장치(22)는 차량(10)에 대한 후방 지향 뷰를 제공하도록 구성되는 후방 디스플레이 장치에 대응할 수 있다. 이러한 구성에서, 디스플레이 시스템(12)은 차량(10) 뒤의 장면에 대응하게 캡쳐된 일련의 이미지를 표시하도록 작동할 수 있다. 이미저(14)는 제어기와 통신하며 픽셀 정보의 형태로 이미지 데이터를 캡쳐하도록 구성되는 픽셀 어레이를 포함한다. 본 명세서에서 논의되는 다양한 구현예에서, 디스플레이 시스템(12)은 이미저(14)에 의해 캡쳐된 이미지 데이터를 처리하고 적어도 하나의 이미지 분석 기술을 적용하여 원하는 뷰(24)를 식별하고 표시하도록 구성된다.
도 1을 참조하면, 시야(16)의 수직 구성 요소(16A)을 예시하는 차량(10)의 측면도가 도시된다. 원하는 뷰(24)의 수직 구성 요소(24A)는 시야(16)의 수직 구성 요소(16A)의 일부분에 대응하게 도시된다. 원하는 뷰(24)는 이미저(14)의 시야(16)의 중앙 초점(28)으로부터 각도 오프셋된 것으로 설명되는 수직 오프셋(26)을 포함할 수 있다. 중앙 초점(28)은 시야(16)의 수직 구성 요소(16A) 및 수평 구성 요소(16B)의 중앙에 대응할 수 있다.
도 2를 참조하면, 시야(16)의 수평 구성 요소(16B)를 예시하는 차량(10)의 평면도가 도시된다. 원하는 뷰(24)의 수평 구성 요소(24B)는 수평 구성 요소(16B)의 일부분에 대응하게 도시된다. 수평 오프셋(30)은 시야(16)의 중앙 초점(28)으로부터 각도 오프셋된 것으로 설명된다.
도 1 및 도 2에 설명된 바와 같이, 수직 및 수평 오프셋(26 및 30)은 사용자 선호도와 이에 응답하여 이미지 데이터에서 식별되는 하나 이상의 특징 중 적어도 하나에 기초하여 적용될 수 있다. 일 예로서, 이미지 데이터가 이미지 데이터의 수직 기준을 참조하여 일관되게 표시되도록 이미지 데이터를 수직 방향으로 오프셋시키는 수직 오프셋(26)이 도시된다. 이와 같은 경우에, 오프셋은 차량(10)의 후방 부분을 무겁게 누르는 트레일러(31)로 인해 이미저(14)의 각도를 보정하도록 적어도 부분적으로 적용될 수 있다. 수평 오프셋은 이미지 데이터에서 식별되는 도로(32)의 소실점 및/또는 수평선 및 사용자 선호도 중 적어도 하나에 기초하여 적용될 수 있다. 또한, 제어기는 본 명세서에서 추가로 논의되는 바와 같이 원하는 뷰(24)를 표시하기 위해서 회전 오프셋을 식별하고 이를 이미지 데이터에 적용하도록 작동할 수 있다.
몇몇 실시예에서, 원하는 뷰(24)의 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)에서의 변화는 도로(32) 표면의 변동 또는 편차(예를 들어, 높낮이(undulation), 포트홀(pothole), 과속방지턱 등)로 인해 초래될 수 있다. 이와 같은 상황 하에서, 제어기는 이미지 데이터의 적어도 하나의 특징을 식별 및/또는 추적하도록 구성될 수 있다. 적어도 하나의 특징에 기초하여, 제어기는 이미지 데이터에서 원하는 뷰(24)의 외관을 안정화하도록 원하는 뷰(24)에 대한 위치 및/또는 배향을 조정할 수 있다. 예를 들어, 제어기가 제1 프레임으로부터 제2 프레임으로 이미지 데이터에서 적어도 하나의 특징의 움직임을 식별하면, 제어기는 적어도 하나의 특징의 움직임을 고려하여 수직 오프셋(26) 및/또는 수평 오프셋(30)을 조정할 수 있다.
이제 도 3 및 도 4를 참조하면, 이미저(14)에 의해 캡쳐된 이미지 데이터의 시야(16) 및 원하는 뷰(24)가 도시된다. 도 3은 시야(16)에 대응하게 캡쳐된 이미지 데이터를 설명한다. 원하는 뷰(24)는 도 3에 표시된 이미지 데이터의 일부분으로서 도시된다. 원하는 뷰는 또한 디스플레이 장치(22)의 스크린(42)에 표시되는 도 4에 도시된다.
이미지 데이터(48)에서 식별되는 검출된 소실점(46)과 관련하여 중앙 기준점(44)을 가지는 원하는 뷰(24)가 도시된다. 중앙 기준점은 시야(16)의 중앙 초점(28)에 대응할 수 있다. 원하는 뷰(24) 및 중앙 기준점(44)은 디스플레이 장치(22)의 인터페이스(50)로의 입력을 통해 정의될 수 있다. 중앙 기준점(44)은 디스플레이 중앙점(54)에 대한 디스플레이 오프셋으로서 제어기의 메모리에 저장될 수 있는 사용자 선호도로서 정의될 수 있다. 이와 같은 구성에서, 차량(10)의 운전자는 원하는 뷰(24)를 정의하는 적어도 하나의 사용자 선호도를 설정할 수 있다. 원하는 뷰(24)는 도로(56)의 소실점(46), 수평선(62), 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징을 참조하여 원하는 뷰(24)의 상대적인 수평 위치, 수직 위치 및 회전으로서 정의될 수 있다. 인터페이스(50)는 디스플레이 장치(22)에 로컬되고/로컬되거나 디스플레이 장치(22)의 제어기와 통신될 수 있는 다양한 사용자 입력 및/또는 제어에 의해 실시될 수 있다. 예를 들어, 디스플레이 시스템(12) 및 인터페이스(50)는 그 전체가 원용에 의해 본 명세서에 포함되고, 2015년 3월 18일자로 출원 된 발명의 명칭이 "카메라용 근접 제어 장치"인 미국 가 특허 출원 번호 62/134,814호에서 논의된 요소 또는 특징 중 어느 하나를 실시하거나 구현할 수 있다.
예를 들어, 제어기는 이미지 데이터(48)에서 소실점(46)의 수평 위치를 이용하여 소실점(46)의 수평 위치에서의 이동을 식별할 수 있다. 이미지 데이터(48)의 현재 프레임에서 소실점(46)의 수평 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰의 수평 오프셋(64)을 결정하기 위해서 원하는 뷰(24)에서 소실점(46)의 수평 위치와 비교될 수 있다. 도로(56)의 대략 중앙(66)의 위치, 도로(56)의 중앙선(70), 도로(56)의 적어도 하나의 측면(56A 및 56B) 등과 같은 추가의 특징이 제어기에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 수평 오프셋(64)을 결정할 수 있다.
제어기는 수평선(62)의 수직 위치에서의 이동을 식별하기 위해서 이미지 데이터(48)에서 식별된 수평선(62)의 수직 위치를 이용할 수 있다. 이미지 데이터(48)의 현재 프레임에서 수평선(62)의 수직 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰(24)의 수직 오프셋(74)을 결정하기 위해서 원하는 뷰(24)에서 수평선(62)의 수직 위치와 비교될 수 있다. 소실점(46) 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징과 같은 추가 특징은 원하는 뷰(24)를 달성하기 위해서 이미지 데이터(48)의 수직 오프셋(74)을 결정하는데 제어기에 의해 유사하게 이용될 수 있다.
제어기는 또한, 수평선(62)의 회전 이동을 식별하기 위해서 이미지 데이터(48)에서 식별 된 수평선(62)의 상대 각도 또는 기울기를 이용할 수 있다. 수평선(62)의 회전 이동은 원하는 뷰(24)의 회전 오프셋(76)을 결정하기 위해서 원하는 뷰(24)에 대한 수평선(62)의 회전 위치 또는 배향과 비교될 수 있다. 도로(56)의 중앙선(70)의 위치, 도로(56)의 적어도 하나의 측면(56A, 56B) 등과 같은 추가 특징이 원하는 뷰(24)를 달성하기 위한 이미지 데이터(48)의 회전 오프셋(76)을 결정하도록 제어기에 의해 유사하게 이용될 수 있다.
제어기는 이미지 데이터의 특징을 식별하기 위해서 다양한 알고리즘 및 방법을 이용하도록 구성될 수 있다. 예를 들어, 제어기는 적응 에지 검출 공정을 이용하여 소실점(46)을 식별하기 위해서 도로(56)의 차선 및 부분을 식별하도록 구성될 수 있다. 또한, 제어기는 경계 대비 알고리즘을 이용하여 이미지 데이터(48)의 일련의 픽셀 값의 구배 임계값을 검출함으로써 수평선(62)을 검출하도록 구성될 수 있다. 특정 이미지 처리 방법이 본 명세서에서 논의되지만, 그 방법은 한정을 위해서가 아닌 설명을 위해서 도입된다. 그 때문에, 본 개시는 달리 명시적으로 언급되지 않는 한 이와 같은 예시적인 실시예에 한정되지 않아야 한다.
적응 에지 검출 공정은 에지 검출 마스크를 이용하여 이미지 데이터 내의 픽셀 위치에서 구배를 근사치화할 수 있다. 픽셀이 강도 값 및 구배 임계값에 대한 미리 결정된 기준을 만족시키는 경우에, 제어기는 픽셀을 후보 차선 픽셀로서 식별할 수 있다. 이미저(14)에 의해 캡쳐된 현재 프레임에 대응하는 이미지 데이터가 처리될 때, 후보 차선 픽셀은 도로(56)의 차선을 모델화하기 위한 최적합 다항식을 생성하는 데 이용된다. 몇몇 실시예에서, 최적합 다항식은 3차 다항식에 대응할 수 있다. 이와 같은 방식으로, 후보 차선 픽셀은 도로(56)의 측면에 대응할 수 있는 좌측 차선 모델(56A) 및 우측 차선 모델(56B)을 생성하는 데 이용될 수 있다. 좌측 차선 모델(56A) 및 우측 차선 모델(56B) 모델은 이미지 데이터의 소실점(46)에 대응할 수 있는 도로(56)의 측면의 교차점을 결정하는 데 이용될 수 있다.
제어기는 수평선(62)을 식별하기 위해서 이미지 데이터 내의 픽셀의 그룹을 검출하도록 수평선 경계 대비 알고리즘을 이용할 수 있다. 각각의 픽셀 그룹은 이미지 데이터(48)의 하늘 부분(82)과 지면 부분(84) 사이의 경계를 함유하는 이미지 데이터(48) 내의 인접한 픽셀의 부분 또는 패치에 대응할 수 있다. 수평 경계 대비 알고리즘은 하늘 부분(82)과 지면 부분 사이의 대비를 분석하여 수평선(62)의 위치를 결정할 수 있다. 대비는 수직 구배를 결정하기 위해서 이미지 데이터에서 수직으로 픽셀 강도를 계산함으로써 분석될 수 있다. 수직 구배는 하늘 부분(82)에 대응하는 픽셀 및 지면 부분(84)에 대응하는 픽셀의 강도 또는 픽셀 값의 차이를 캡쳐한다. 하늘 부분(82)과 지면 부분(84)의 경계를 식별함으로써, 제어기는 이미지 데이터(48)에서 수평선(62)을 식별하도록 작동할 수 있다.
몇몇 실시예에서, 제어기는 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)의 위치에서의 변형을 안정화하고/안정화하거나 제한하기 위해서 이미지 데이터의 다양한 특징을 식별할 수 있다. 예를 들어, 제어기는 이미지 데이터 내의 하나 이상의 특징(85) 또는 물체를 검출하도록 구성될 수 있다. 특징은 수평선(62), 소실점(46), 나무(86), 거리 표지판, 차량(88) 및 이미지 데이터의 복수의 이미지 프레임에서 제어기에 의해 검출될 수 있는 임의의 형태의 물체에 대응할 수 있다. 이와 같은 방식으로, 제어기는 원하는 뷰의 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)에서의 변화를 조정하기 위해서 이미지 데이터 내의 다양한 물체를 검출하도록 구성될 수 있다. 이와 같은 변화는 시야(16)에 대한 장면(18)의 신속 또는 점진적인 변화에 응답할 수 있다.
몇몇 실시예에서, 원하는 뷰(24)의 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)에서의 변화는 도로(32) 표면의 변동(예를 들어, 높낮이, 포트홀, 과속방지턱 등)로 인해 초래될 수 있다. 이와 같은 상황 하에서, 제어기는 제1 프레임으로부터 후자 프레임으로의 이미지 데이터에서 적어도 하나의 특징을 식별 및/또는 추적하도록 구성될 수 있다. 적어도 하나의 특징에 기초하여, 제어기는 이미지 데이터에서 원하는 뷰(24)의 외관을 안정화하도록 원하는 뷰(24)에 대한 위치 및/또는 배향을 조정할 수 있다. 예시적인 실시예에서, 제어기는 적어도 하나의 물체의 움직임을 고려하여 수직 오프셋(26) 및/또는 수평 오프셋(30)을 결정하고 조정하기 위해서 하나 이상의 물체(예를 들어, 나무(86), 차량(88) 등)를 검출하도록 작동할 수 있다. 이와 같은 실시예에서, 하나 이상의 물체는 이미지 데이터에서 검출될 수 없는 소실점(46)과 수평선(62) 중 하나 이상에 응답하여 원하는 뷰(24)를 오프셋시키기 위해서 제어기에 의해 선택적으로 이용될 수 있다.
디스플레이 시스템(12)에서 실시될 수 있는 다양한 검출 기법을 설명하는 시스템은 Steven G. Hoek 등에 의해 2013년 7월 11일자로 출원된 발명의 명칭이 "STAND ALONE BLIND SPOT DETECTION SYSTEM"인 미국 공개 번호 US 2014/0015972 A1호; 미국 특허. Oliver M. Jeromin 등에 의해 2011년 10월 17일자로 출원된 발명의 명칭이 "Image acquisition and processing system for vehicle equipment control"인 제8,924,078호; 미국 특허. Jeremy C. Andrus 등에 의해 2010년 2월 1일자로 출원된 발명의 명칭이 "DIGITAL IMAGE PROCESSING AND SYSTEMS INCORPORATING THE SAME"인 제8,577,169호; 미국 특허. Joseph S. Stam 등에 의해 2011년 1월 31일자로 출원된 발명의 명칭이 "IMAGE ACQUISITION AND PROCESSING SYSTEMS FOR VEHICLE EQUIPMENT CONTROL"인 제8,065,053 B2호; 미국 특허. Jeremy A. Schut 등에 의해 2012년 3월 28일자로 출원된 발명의 명칭이 "VEHICULAR IMAGING SYSTEM AND METHOD FOR DETERMINING ROADWAY WIDTH"인 제8,543,254 B1호에서 상세히 추가로 논의되며, 이들 문헌은 그 전체가 본 명세서에 원용에 의해 포함된다.
이제 도 5를 참조하면, 디스플레이 시스템(12)에 의한 표시를 위해 이미지 데이터(48)를 조정하는 방법을 설명하는 흐름도(90)가 도시된다. 그 방법은 이미저(14)를 통해 이미지 데이터(48)를 캡쳐하고 이미지 데이터(48)를 제어기와 통신함으로써 시작될 수 있다. 제어기의 적어도 하나의 프로세서는 소실점(46), 수평선(62), 또는 이미지 데이터(48)에서 식별될 수 있는 임의의 다른 특징을 결정하기 위해서 이미지 데이터(48)에 하나 이상의 이미지 처리 단계(92)를 완료하도록 구성될 수 있다. 이미지 데이터(48)에서 식별된 특징은 원하는 뷰(24)의 수평 오프셋(64), 수직 오프셋(74) 및 회전 오프셋(76) 중 적어도 하나를 식별하기 위해서 프로세서에 의해 이용될 수 있다.
하나 이상의 이미지 처리 단계(92)는 수평선 검출 단계(94), 롤 검출 단계(96) 및 소실점 검출 단계(98)를 포함할 수 있다. 이미지 처리 단계(92)에서 프로세서에 의해 식별된 특징에 기초하여, 프로세서는 이미지 데이터의 배향이 원하는 뷰(24)와 정렬되도록 하나 이상의 이미지 보정 단계(102)에서 이미지 데이터를 보정하도록 추가로 작동할 수 있다. 하나 이상의 프로세서는 이미지 보정 단계(102)를 처리하도록 구성되는 하나 이상의 모듈을 포함할 수 있다. 모듈은 틸트 모듈(104), 회전 모듈(106) 및 팬 모듈(108)을 포함할 수 있다.
수평선 검출 단계(94)는 이미지 데이터(48)의 수평선(62)을 검출하도록 구성될 수 있다. 적어도 하나의 프로세서의 틸트 모듈(104)은 이미지 데이터(48)의 현재 프레임에서 수평선(62)의 수직 위치의 이동을 적용하기 위해서 이미지 데이터(48)에서 식별된 수평선(62)의 수직 위치를 이용할 수 있다. 수평선(62)의 수직 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰(24)의 수직 오프셋(74)을 결정하기 위해서 원하는 뷰(24)에서 수평선(62)의 수직 위치와 비교될 수 있다. 소실점(46), 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징과 같은 추가 특징이 제어기에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 수직 오프셋(74)을 결정할 수 있다.
롤 검출 단계(96)는 시야(16)의 회전 이동을 식별하기 위해서 이미지 데이터(48)에서 수평선(62)의 상대 각도를 식별하도록 구성될 수 있다. 따라서 하나 이상의 프로세서의 회전 모듈(106)은 원하는 뷰(24)의 회전 오프셋(76)을 결정하기 위해서 원하는 뷰(24)에서의 수평선(62)의 회전 위치를 비교함으로써 수평선(62)의 회전 이동을 식별할 수 있다. 도로(56)의 중앙선(70)의 위치, 도로(56)의 적어도 하나의 측면(56A, 56B) 등과 같은 추가의 특징이 하나 이상의 프로세서에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 회전 오프셋(76)을 결정할 수 있다.
소실점 검출 단계(98)는 이미지 데이터를 처리하여 이미지 데이터(48)에서 소실점(46)의 적어도 수평 위치를 결정할 수 있다. 따라서 하나 이상의 프로세서의 팬 모듈(108)은 이미지 데이터(48)의 현재 프레임에서 소실점(46)의 수평 위치에서의 이동을 식별할 수 있다. 소실점(46)의 수평 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰(24)의 수평 오프셋(64)을 결정하기 위해서 원하는 뷰(24)에서 소실점(46)의 수평 위치와 비교될 수 있다. 도로(56)의 대략적인 중앙(66), 도로(56)의 중앙선(70), 도로(56)의 적어도 하나의 측면(56A, 56B) 등과 같은 추가의 특징이 하나 이상의 프로세서에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 수평 오프셋(64)을 결정할 수 있다.
이미지 보정 단계(102)가 완료된 이후에, 제어기는 이미지 데이터(48)의 최적 또는 원하는 뷰(24)를 디스플레이 장치(22)로 출력할 수 있다. 이전에 논의된 바와 같이, 디스플레이 장치(22)는 사용자 입력 단계(110)에서 원하는 뷰(24) 및/또는 중앙 기준점(44)의 위치 및 스케일을 구성하기 위해서 적어도 하나의 입력을 수신하도록 구성되는 인터페이스(50)를 포함할 수 있다. 원하는 뷰(24) 및 기준점(44)은 디스플레이 중앙점(54)에 대한 이미지 데이터의 비율 및 디스플레이 오프셋의 비율로서 제어기의 메모리에 저장될 수 있는 사용자 선호도로서 정의될 수 있다. 이와 같은 구성에서, 차량(10)의 운전자는 원하는 뷰(24)를 정의하는 적어도 하나의 사용자 선호도를 설정할 수 있다. 원하는 뷰(24)는 도로(56)의 소실점(46), 수평선(62), 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징을 참조하여 원하는 뷰(24)의 상대적인 수평 위치, 수직 위치 및 회전으로서 정의될 수 있다.
이제 도 6을 참조하면, 디스플레이 시스템(12)의 블록 선도가 도시된다. 이미저(14)는 제어기(112)와 통신하게 도시되어 있다. 이미저(14)의 픽셀 어레이는 CMOS 이미지 센서, 예를 들어 CMOS 능동-픽셀 센서(APS) 또는 전하 결합 소자(CCD)에 대응할 수 있다. 픽셀 어레이의 각각의 픽셀은 광-센서, 광-센서의 어레이, 또는 광을 캡쳐하도록 구성되는 임의의 그룹의 센서에 대응할 수 있다. 제어기(112)는 이미저(14)로부터 아날로그 또는 디지털 형태로 공급되는 것과 같은 이미지 데이터(48)를 처리하도록 작동할 수 있는 프로세서(114)를 포함할 수 있다. 예를 들어, 제어기(112)는 복수의 프로세서, 멀티코어 프로세서, 또는 프로세서, 회로 및 주변 처리 장치의 임의의 조합으로서 실시될 수 있다. 프로세서는 이미지 데이터(48)를 처리하고/처리하거나 보정하도록 구성되는 복수의 모듈을 포함할 수 있다. 모듈은 틸트 모듈(104), 회전 모듈(106) 및 팬 모듈(108)을 포함할 수 있다.
제어기(112)는 메모리(116)를 더 포함할 수 있다. 메모리(116)는 다양한 형태의 메모리, 예를 들어 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM) 및 디지털 정보를 저장하도록 구성되는 다른 형태의 메모리를 포함할 수 있다. 메모리(116)는 처리를 위한 이미지 데이터(48)를 저장하도록 구성될 수 있다. 이미지 데이터(48)를 처리하는 것은 이미지 데이터가 디스플레이 장치(22)의 스크린으로 출력될 때 이미지 데이터(48)의 위치 및 겉보기 크기를 조정하기 위해서 이미지 데이터(48)를 스케일링 및 크로핑(cropping)하는 것을 포함할 수 있다. 디스플레이 장치(22)는 원하는 뷰(24)를 표시하도록 작동할 수 있는 스크린을 포함한다. 스크린은 임의의 형태의 디스플레이, 예를 들어 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 유기 LED(OLED) 디스플레이 등에 대응할 수 있다. 몇몇 실시예에서, 메모리(116)는 복수의 원하는 뷰에 대응하는 복수의 사용자 프로파일을 저장하도록 추가로 구성될 수 있다. 각각의 원하는 뷰는 차량(10)의 특정 운전자와 관련하여 제어기(112)에 의해 리콜될 수 있는 특정 수직 오프셋, 수평 오프셋, 및 회전 오프셋을 포함할 수 있다.
제어기(112)는 복수의 입력, 예를 들어 속도 입력(118) 및 차량 버스(120)와 통신할 수 있다. 속도 입력(118)은 차량(10)의 속도에 대응하는 데이터를 측정하고 통신하도록 작동할 수 있는 속도계 또는 임의의 장치를 통해 차량(10)의 속도와 통신하는 신호를 제공한다. 차량 버스(120)는 제어기 영역 네트워크(CAN) 버스와 같은 임의의 적합한 표준 통신 버스를 이용하여 실시될 수 있다. 차량 버스(120)는 제어기(112)에 다양한 추가 정보를 제공하도록 구성될 수 있다.
본 명세서에 설명된 개시의 실시예는 본 명세서에서 설명된 바와 같이, 이미지 센서 시스템 및 그 방법의 기능의 일부, 대부분, 또는 전부를 특정 비-프로세서 회로와 함께 실시하기 위한 하나 이상의 종래 프로세서 및 하나 이상의 프로세서를 제어하는 독특한 저장된 프로그램 명령어로 구성될 수 있음이 인정될 것이다. 비-프로세서 회로로는 신호 드라이버, 클록 회로, 전원 회로, 및/또는 사용자 입력 장치를 포함할 수도 있지만 이에 한정되지 않는다. 대안적으로, 일부 또는 모든 기능은 저장된 프로그램 명령어가 없는 상태 기계(state machine)에 의해, 또는 하나 이상의 주문형 집적 회로(ASIC)에서 구현될 수 있을 것인데, 여기서 각각의 기능 또는 기능의 일부 조합이 주문형 로직(custom logic)으로서 구현된다. 물론, 그 두 가지 방법의 조합도 사용될 수 있다. 따라서, 이들 기능을 위한 방법 및 수단은 본 명세서에서 설명되었다. 또한, 본 명세서에 개시된 개념들 및 원리들에 의해 안내될 때, 예를 들면 가용 시간, 현재 기술, 및 경제적인 고려사항들에 의해 동기 부여된 가능한 한 상당한 노력 및 많은 디자인 선택에도 불구하고, 당 기술분야의 숙련된 자는 최소한의 실험으로 이러한 소프트웨어 명령어들 및 프로그램들 및 IC들을 쉽게 생성할 수 있을 것으로 예상된다.
전술한 구성요소는 본 명세서에서 명시적으로 설명되지 않은 부가 또는 대안 방식으로 조합될 수 있다는 점이 당업자에 의해 인정되어야 한다. 본 개시의 다양한 실시예의 수정이 당업자 및 본 개시의 교시를 적용하는 자에게 일어날 것이다. 따라서, 도면에 도시되고 전술한 실시예는 단지 예시의 목적을 위한 것이며 본 개시의 범주를 제한하려는 것이 아님을 이해해야 하며, 본 개시의 범주는 균등론을 포함한 특허법의 원칙에 따라 해석되는 대로의 다음 청구범위에 의해 정해진다.

Claims (21)

  1. 차량용 디스플레이 시스템으로서:
    차량에 대한 후방 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저;
    차량의 승객실에 배치되는 스크린을 포함하는 디스플레이 장치;
    이미저와 디스플레이 장치와 통신하는 제어기를 포함하며, 상기 제어기는:
    적어도 하나의 특징을 식별하도록 이미지 데이터를 처리하고;
    복수의 이미지 프레임들에 걸쳐 상기 이미지 데이터에서 상기 적어도 하나의 특징을 추적하고;
    상기 복수의 이미지 프레임들에 걸쳐 상기 적어도 하나의 특징의 위치에서의 변화를 식별하고;
    상기 위치에서의 변화를 보정하는 오프셋을 적용함으로써 상기 이미지 데이터를 조정하고, 그에 의해 안정화된 이미지 데이터를 생성하며; 그리고
    상기 스크린에 표시하기 위한 상기 안정화된 이미지 데이터를 표시하도록 작동할 수 있는, 차량용 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 디스플레이 장치는 후방 디스플레이 장치에 대응하는, 차량용 디스플레이 시스템.
  3. 제2항에 있어서,
    상기 제어기는 원하는 뷰를 표시하기 위해 상기 이미지 데이터를 조정하도록 추가로 구성되고, 상기 원하는 뷰는 후방 디스플레이 장치용 이미지 데이터의 각도 오프셋을 포함하는, 차량용 디스플레이 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 특징은 이미지 데이터에서 식별된 도로의 소실점과 수평선 중 적어도 하나를 포함하는, 차량용 디스플레이 시스템.
  5. 제4항에 있어서,
    상기 소실점은 이미지 데이터의 원하는 뷰에 대한 수평 위치와 수직 위치 중 적어도 하나를 오프셋하는 데 이용되는, 차량용 디스플레이 시스템.
  6. 제4항에 있어서,
    상기 적어도 하나의 특징은 이미지 데이터의 원하는 뷰에 대한 수직 위치와 회전 방위 중 적어도 하나를 오프셋하는 데 이용되는, 차량용 디스플레이 시스템.
  7. 제1항에 있어서,
    상기 제어기는 제어기의 메모리에 저장된 적어도 하나의 사용자 선호도에 기초하여 이미지 데이터의 스케일을 조정하도록 추가로 작동할 수 있는, 차량용 디스플레이 시스템.
  8. 제1항에 있어서,
    상기 원하는 뷰는 이미지 데이터의 수직 구성 요소와 수평 구성 요소의 오프셋에 대응하는, 차량용 디스플레이 시스템.
  9. 차량에 대한 후방 지향 시야를 표시하는 방법으로서:
    시야에서 이미지 데이터를 캡쳐하는 단계;
    적어도 하나의 특징을 식별하도록 이미지 데이터를 처리하는 단계,
    상기 이미지 데이터의 제1 이미지 프레임으로부터 제2 이미지 프레임으로 상기 적어도 하나의 특징을 추적하는 단계;
    상기 제1 이미지 프레임에서의 위치를 상기 제2 이미지 프레임에서의 위치와 비교함으로써 상기 제2 이미지 프레임에서의 상기 적어도 하나의 특징의 위치에서의 변화를 식별하는 단계;
    안정화된 이미지 데이터를 생성하는 위치에서의 상기 변화에 기초하여 표시하기 위해 상기 이미지 데이터의 일부분을 조정하는 단계 ― 상기 안정화된 이미지는 상기 위치에서의 변화를 원인으로 조정됨 ―; 및
    상기 차량의 후방 디스플레이에 상기 제2 이미지 프레임의 상기 안정화된 이미지 데이터를 표시하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  10. 제9항에 있어서,
    표시하기 위한 상기 이미지 데이터의 일부분은 원하는 뷰를 포함하고,
    상기 방법은 입력을 수신하고 상기 입력에 응답하여 상기 이미지 데이터의 원하는 뷰를 조정하는 단계를 더 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 적어도 하나의 특징은 이미지 데이터에서 식별된 도로의 소실점과 수평선 중 적어도 하나를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  12. 제11항에 있어서,
    상기 조정하는 단계는 이미지 데이터에서의 소실점의 위치에 기초하여 원하는 뷰의 수평 위치와 수직 위치 중 적어도 하나를 오프셋하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  13. 제11항에 있어서,
    상기 조정하는 단계는 이미지 데이터에서의 상기 수평선의 위치에 기초하여 원하는 뷰의 수직 위치를 오프셋하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  14. 제11항에 있어서,
    상기 조정하는 단계는 이미지 데이터의 수평선의 각도에 기초하여 원하는 뷰의 회전 배향을 오프셋하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  15. 제11항에 있어서,
    사용자 선호도에 기초하여 이미지 데이터의 스케일을 조정하는 단계를 더 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법.
  16. 차량에 대한 후방 지향 시야를 표시하는 장치로서:
    차량의 승객실에 배치되는 스크린을 포함하는 디스플레이 장치;
    시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저 및 디스플레이 장치와 통신하는 제어기를 포함하며, 상기 제어기는:
    수평선과 도로의 소실점 중 적어도 하나를 식별하도록 이미지 테이터를 처리하고;
    복수의 이미지 프레임들에 걸쳐 상기 수평선과 상기 도로의 소실점 중 적어도 하나의 위치를 모니터링(monitor)하고;
    상기 복수의 이미지 프레임들에 걸쳐 상기 위치에서의 변화를 식별하고;
    상기 이미지 데이터의 잘려진(cropped) 부분을 포함하는 원하는 뷰를 생성하며; 그리고
    상기 이미지 프레임들 중 하나에서 상기 위치에서의 변화에 응답하여 상기 스크린에 표시하기 위한 상기 이미지 데이터의 상기 원하는 뷰의 위치와 방위 중 적어도 하나를 조정하고, 그에 의해 상기 복수의 이미지 프레임들에 걸쳐 상기 원하는 뷰를 안정화시키도록 작동할 수 있는, 차량에 대한 후방 지향 시야를 표시하는 장치.
  17. 제16항에 있어서,
    상기 제어기는 이미지 데이터에서의 수평선의 기울기에 기초하여 원하는 뷰에 대한 각도 배향을 조정하도록 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치.
  18. 제16항 또는 제17항에 있어서,
    상기 제어기는 소실점의 위치에 기초하여 원하는 뷰에 대한 직선 위치를 조정하도록 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치.
  19. 제16항에 있어서,
    상기 제어기는 입력에 응답하여 시야의 중앙 초점에 대한 이미지 데이터의 원하는 뷰를 조정하도록 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치.
  20. 삭제
  21. 제1항에 있어서,
    상기 적어도 하나의 특징의 상기 위치에서의 변화는 동작 표면에서의 변동을 겪는 상기 차량으로부터 초래되는, 차량용 디스플레이 시스템.
KR1020177026953A 2015-03-19 2016-03-17 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 KR102087588B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562135417P 2015-03-19 2015-03-19
US62/135,417 2015-03-19
PCT/US2016/022905 WO2016149514A1 (en) 2015-03-19 2016-03-17 Image processing for camera based display system

Publications (2)

Publication Number Publication Date
KR20170120665A KR20170120665A (ko) 2017-10-31
KR102087588B1 true KR102087588B1 (ko) 2020-03-11

Family

ID=56919409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177026953A KR102087588B1 (ko) 2015-03-19 2016-03-17 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱

Country Status (6)

Country Link
US (1) US11412123B2 (ko)
EP (1) EP3272113B1 (ko)
JP (1) JP6824186B2 (ko)
KR (1) KR102087588B1 (ko)
CN (1) CN107409188B (ko)
WO (1) WO2016149514A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
KR102351496B1 (ko) * 2015-07-24 2022-01-14 삼성전자주식회사 영상 처리 장치 및 그 동작 방법
WO2018226825A1 (en) 2017-06-08 2018-12-13 Gentex Corporation Display device with level correction
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
CN111284325B (zh) * 2018-12-10 2022-04-15 博泰车联网科技(上海)股份有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
WO2021127199A1 (en) * 2019-12-17 2021-06-24 Gentex Corporation System and method for capturing and displaying images from a vehicle/trailer camera
EP4138388A1 (en) * 2021-08-20 2023-02-22 Arlo Technologies, Inc. Modification of camera functionality based on orientation
US11580690B1 (en) * 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US20100201814A1 (en) * 2009-02-06 2010-08-12 Gm Global Technology Operations, Inc. Camera auto-calibration by horizon estimation
US20130321629A1 (en) * 2012-05-31 2013-12-05 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3045760A (en) 1958-11-17 1962-07-24 Camco Inc Storm choke
JPS5918669B2 (ja) * 1978-10-03 1984-04-28 三菱電機株式会社 相関追尾装置
JPH06321011A (ja) 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JP4252252B2 (ja) 2002-03-29 2009-04-08 三菱電機株式会社 撮像装置
JP2005534246A (ja) 2002-07-25 2005-11-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビューシステム
US7565006B2 (en) 2002-08-21 2009-07-21 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
US8326483B2 (en) 2003-02-21 2012-12-04 Gentex Corporation Monitoring and automatic equipment control systems
JP3722485B1 (ja) 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
US20070263301A1 (en) 2004-06-17 2007-11-15 Zohar Agrest System and Method for Automatic Adjustment of Mirrors for a Vehicle
US7881839B2 (en) 2004-11-18 2011-02-01 Gentex Corporation Image acquisition and processing systems for vehicle equipment control
JP2006217447A (ja) * 2005-02-07 2006-08-17 Yazaki Corp 車両用表示装置
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
WO2010080610A1 (en) * 2008-12-19 2010-07-15 Delphi Technologies, Inc. Electronic side view display system
JP5398408B2 (ja) * 2009-08-07 2014-01-29 オリンパスイメージング株式会社 カメラ、カメラの制御方法、表示制御装置、および表示制御方法
JP5321540B2 (ja) * 2010-06-25 2013-10-23 株式会社Ｊｖｃケンウッド 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム
US8588550B2 (en) * 2010-10-04 2013-11-19 Sony Corporation Virtual level for a digital camera
US9491450B2 (en) 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
WO2013030932A1 (ja) * 2011-08-29 2013-03-07 パイオニア株式会社 ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法
CN104508595B (zh) 2012-06-12 2017-07-18 金泰克斯公司 提供多级对准稳定性指示的车辆成像系统
US9177360B2 (en) * 2012-09-11 2015-11-03 Apple Inc. Automatic image orientation and straightening through image analysis
US9445011B2 (en) 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
US10322672B2 (en) * 2013-02-28 2019-06-18 Aisin Seiki Kabushiki Kaisha Vehicle control apparatus and program with rotational control of captured image data
US9758099B2 (en) * 2013-03-15 2017-09-12 Gentex Corporation Display system and method thereof
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US9073493B1 (en) 2014-04-10 2015-07-07 Qualcomm Incorporated Method and apparatus for adjusting view mirror in vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US20100201814A1 (en) * 2009-02-06 2010-08-12 Gm Global Technology Operations, Inc. Camera auto-calibration by horizon estimation
US20130321629A1 (en) * 2012-05-31 2013-12-05 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping

Also Published As

Publication number Publication date
EP3272113A1 (en) 2018-01-24
US11412123B2 (en) 2022-08-09
CN107409188B (zh) 2021-06-11
JP6824186B2 (ja) 2021-02-03
US20160277651A1 (en) 2016-09-22
CN107409188A (zh) 2017-11-28
JP2018514122A (ja) 2018-05-31
EP3272113B1 (en) 2022-05-04
KR20170120665A (ko) 2017-10-31
WO2016149514A1 (en) 2016-09-22
EP3272113A4 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
KR102087588B1 (ko) 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱
US10625660B2 (en) Camera based headlight control system
US11535154B2 (en) Method for calibrating a vehicular vision system
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP5012718B2 (ja) 画像処理装置
US20140071240A1 (en) Free space detection system and method for a vehicle using stereo vision
JP5435307B2 (ja) 車載カメラ装置
US20170372444A1 (en) Image processing device, image processing method, program, and system
JP2009157087A (ja) 露出制御装置及び露出制御プログラム
JP2013005234A5 (ko)
US20160180158A1 (en) Vehicle vision system with pedestrian detection
EP3634809B1 (en) Display device with level correction
CN109074480B (zh) 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆
EP2770478A2 (en) Image processing unit, imaging device, and vehicle control system and program
JP2014154898A (ja) 物体検知装置
KR101635831B1 (ko) 차량 위치 인식 장치 및 방법
US20170300765A1 (en) Freespace Detection Apparatus and Freespace Detection Method
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
US20230186506A1 (en) Object Detection Device and Object Detection Method
EP3349201A1 (en) Parking assist method and vehicle parking assist system
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
TW201439982A (zh) 全周影像感測系統與感測方法
KR102564134B1 (ko) 이미지 처리 방법
JP2018116620A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP5098982B2 (ja) 顔部位検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant