KR20170120665A - 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 - Google Patents
카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 Download PDFInfo
- Publication number
- KR20170120665A KR20170120665A KR1020177026953A KR20177026953A KR20170120665A KR 20170120665 A KR20170120665 A KR 20170120665A KR 1020177026953 A KR1020177026953 A KR 1020177026953A KR 20177026953 A KR20177026953 A KR 20177026953A KR 20170120665 A KR20170120665 A KR 20170120665A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- controller
- desired view
- view
- display device
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G06K9/00791—
-
- G06K9/4604—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H04N5/2259—
-
- H04N5/23293—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
Abstract
차량용 디스플레이 시스템이 개시된다. 시스템은 차량에 대한 후방 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저를 포함한다. 시스템은 디스플레이 장치 및 제어기를 더 포함한다. 디스플레이 장치는 차량의 승객실에 배치되는 스크린을 포함한다. 제어기는 이미저와 디스플레이 장치와 통신한다. 제어기는 적어도 하나의 특징을 식별하기 위해서 이미지 데이터를 처리하도록 작동할 수 있다. 이미지 데이터의 적어도 하나의 특징에 대한 위치 또는 배향에 기초하여, 제어기는 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정한다.
Description
본 개시는 일반적으로, 차량용 디스플레이 시스템에 관한 것이고, 더 구체적으로는 차량에 대한 후방 뷰(view)를 제공하는 디스플레이 시스템에 관한 것이다.
본 개시의 일 양태에 따라서, 차량용 디스플레이 시스템이 개시된다. 시스템은 차량에 대한 후방 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저를 포함한다. 시스템은 디스플레이 장치 및 제어기를 더 포함한다. 디스플레이 장치는 차량의 승객실에 배치되는 스크린을 포함한다. 제어기는 이미저와 디스플레이 장치와 통신한다. 제어기는 적어도 하나의 특징을 식별하기 위해서 이미지 데이터를 처리하도록 작동할 수 있다. 이미지 데이터의 적어도 하나의 특징에 대한 위치 또는 배향에 기초하여, 제어기는 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정한다.
본 개시의 다른 양태에 따라서, 차량에 대한 후방 지향 시야를 표시하기 위한 방법이 개시된다. 상기 방법은 시야에서 이미지 데이터를 캡쳐하는 단계 및 적어도 하나의 특징을 식별하도록 이미지 데이터를 처리하는 단계를 포함한다. 상기 방법은 이미지 데이터의 적어도 하나의 특징에 대한 위치 또는 배향에 응답하여 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정하는 단계를 더 포함한다. 원하는 뷰가 차량의 후방 디스플레이에 표시된다.
본 개시의 또 다른 양태에 따라서, 차량에 대한 후방 지향 시야를 표시하기 위한 장치가 개시된다. 상기 장치는 차량의 승객실에 배치되는 스크린을 포함하는 디스플레이 장치를 포함한다. 상기 장치는 디스플레이 장치와 통신하는 제어기 및 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저를 더 포함한다. 제어기는 수평선과 도로의 소실점 중 적어도 하나를 식별하도록 이미지 데이터를 처리하도록 작동할 수 있다. 수평선과 소실점 중 적어도 하나의 위치 또는 배향에 기초하여, 제어기는 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정하도록 작동할 수 있다.
본 개시의 이들 및 다른 특징들, 장점들, 및 목적들은 다음의 상세한 설명, 청구범위, 및 첨부된 도면을 참조하여 당업자에 의해 더 잘 이해되고 인정될 것이다.
본 개시는 상세한 설명 및 첨부 도면으로부터 더 완전하게 이해될 것이다:
도 1은 디스플레이 시스템을 포함하는 차량을 설명하는 도면이며;
도 2는 디스플레이 시스템을 포함하는 차량을 설명하는 도면이며;
도 3은 디스플레이 시스템의 이미저에 의해 캡쳐된 스크린에 대응하는 이미지 데이터에 대한 도면이며;
도 4는 이미지 데이터의 원하는 뷰 또는 최적 뷰를 표시하기 위해서 이미저에 의해 캡쳐된 이미지 데이터를 조정하도록 구성되는 디스플레이 장치의 정면도이며;
도 5는 디스플레이 시스템에 의해 디스플레이하기 위한 이미지 데이터를 조정하는 방법을 설명하는 공정 도표이며;
도 6은 본 개시에 따른 디스플레이 시스템의 블록 선도이다.
도 1은 디스플레이 시스템을 포함하는 차량을 설명하는 도면이며;
도 2는 디스플레이 시스템을 포함하는 차량을 설명하는 도면이며;
도 3은 디스플레이 시스템의 이미저에 의해 캡쳐된 스크린에 대응하는 이미지 데이터에 대한 도면이며;
도 4는 이미지 데이터의 원하는 뷰 또는 최적 뷰를 표시하기 위해서 이미저에 의해 캡쳐된 이미지 데이터를 조정하도록 구성되는 디스플레이 장치의 정면도이며;
도 5는 디스플레이 시스템에 의해 디스플레이하기 위한 이미지 데이터를 조정하는 방법을 설명하는 공정 도표이며;
도 6은 본 개시에 따른 디스플레이 시스템의 블록 선도이다.
본 발명에서 예시되는 실시예는 주로 이미지 센서 시스템과 그의 방법에 관한 방법 단계와 장치 구성 요소의 조합에 속한다. 따라서, 장치 구성 요소들 및 방법 단계들은 본 발명의 실시예들을 이해하는 데에 적합한 그들의 특정 상세들만을 나타내는 도면들에서, 통상의 부호들에 의해 적절한 곳에서 제시됨으로써, 본 명세서에서의 설명의 혜택을 갖는 당 기술분야의 숙련된 자들에게 용이하게 보여질 상세들을 갖는 개시내용을 모호하게 하지 않게 한다. 또한, 설명 및 도면에서의 유사한 번호는 유사한 요소를 표현한다.
본 문헌에서, 관계 용어들, 예를 들면 제1 및 제2, 상부 및 하부 등은 이러한 명칭들 또는 동작들 간에 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 시사함이 없이, 하나의 실체 또는 동작을 다른 실체 또는 동작과 구별하는 데에만 사용된다. 용어 "포함하다", "포함하는" 또는 그의 임의의 다른 변형은 요소의 목록을 포함하는 공정, 방법, 물품, 또는 장치가 이들 요소를 포함할 뿐만 아니라 이러한 공정, 방법, 물품, 또는 장치에 대하여 명확히 열거되거나 고유하지 않은 다른 요소를 포함할 수 있도록, 비배타적인 포함을 포괄하도록 의도된다.
도 1 및 도 2를 참조하면, 디스플레이 시스템(12)을 갖춘 차량(10)이 도시된다. 디스플레이 시스템(12)은 장면(18)에 대응하는 시야(16)를 캡쳐하도록 구성되는 이미저(14)를 포함한다. 시야(16)는 수직 구성 요소(16A) 및 수평 구성 요소(16B)을 포함한다. 이미저(14)는 시야(16)에 대응하는 이미지 데이터를 캡쳐하고 디스플레이 장치(22)에 이미지 데이터를 표시하도록 구성된다. 디스플레이 장치(22)는 뷰가 디스플레이 장치(22)의 스크린에 표시될 때 이미지 데이터의 원하는 뷰(24)나 최적 뷰를 조정하도록 작동할 수 있다. 원하는 뷰(24)는 적어도 하나의 이미지 분석 기법에 기초하여 디스플레이 시스템(12)의 제어기에 의해 식별될 수 있고, 몇몇 실시 예에서 디스플레이 장치(22)에 표시하기 위한 이미지 데이터를 최적화하도록 사용자 선호도를 더 포함할 수 있다. 원하는 뷰(24)는 디스플레이 장치에 표시될 이미지 데이터의 재배치, 스케일링, 자르기 및/또는 비례 조정된 뷰에 대응할 수 있다.
디스플레이 장치(22)는 차량(10)에 대한 후방 지향 뷰를 제공하도록 구성되는 후방 디스플레이 장치에 대응할 수 있다. 이러한 구성에서, 디스플레이 시스템(12)은 차량(10) 뒤의 장면에 대응하게 캡쳐된 일련의 이미지를 표시하도록 작동할 수 있다. 이미저(14)는 제어기와 통신하며 픽셀 정보의 형태로 이미지 데이터를 캡쳐하도록 구성되는 픽셀 어레이를 포함한다. 본 명세서에서 논의되는 다양한 구현예에서, 디스플레이 시스템(12)은 이미저(14)에 의해 캡쳐된 이미지 데이터를 처리하고 적어도 하나의 이미지 분석 기술을 적용하여 원하는 뷰(24)를 식별하고 표시하도록 구성된다.
도 1을 참조하면, 시야(16)의 수직 구성 요소(16A)을 예시하는 차량(10)의 측면도가 도시된다. 원하는 뷰(24)의 수직 구성 요소(24A)는 시야(16)의 수직 구성 요소(16A)의 일부분에 대응하게 도시된다. 원하는 뷰(24)는 이미저(14)의 시야(16)의 중앙 초점(28)으로부터 각도 오프셋된 것으로 설명되는 수직 오프셋(26)을 포함할 수 있다. 중앙 초점(28)은 시야(16)의 수직 구성 요소(16A) 및 수평 구성 요소(16B)의 중앙에 대응할 수 있다.
도 2를 참조하면, 시야(16)의 수평 구성 요소(16B)를 예시하는 차량(10)의 평면도가 도시된다. 원하는 뷰(24)의 수평 구성 요소(24B)는 수평 구성 요소(16B)의 일부분에 대응하게 도시된다. 수평 오프셋(30)은 시야(16)의 중앙 초점(28)으로부터 각도 오프셋된 것으로 설명된다.
도 1 및 도 2에 설명된 바와 같이, 수직 및 수평 오프셋(26 및 30)은 사용자 선호도와 이에 응답하여 이미지 데이터에서 식별되는 하나 이상의 특징 중 적어도 하나에 기초하여 적용될 수 있다. 일 예로서, 이미지 데이터가 이미지 데이터의 수직 기준을 참조하여 일관되게 표시되도록 이미지 데이터를 수직 방향으로 오프셋시키는 수직 오프셋(26)이 도시된다. 이와 같은 경우에, 오프셋은 차량(10)의 후방 부분을 무겁게 누르는 트레일러(31)로 인해 이미저(14)의 각도를 보정하도록 적어도 부분적으로 적용될 수 있다. 수평 오프셋은 이미지 데이터에서 식별되는 도로(32)의 소실점 및/또는 수평선 및 사용자 선호도 중 적어도 하나에 기초하여 적용될 수 있다. 또한, 제어기는 본 명세서에서 추가로 논의되는 바와 같이 원하는 뷰(24)를 표시하기 위해서 회전 오프셋을 식별하고 이를 이미지 데이터에 적용하도록 작동할 수 있다.
몇몇 실시예에서, 원하는 뷰(24)의 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)에서의 변화는 도로(32) 표면의 변동 또는 편차(예를 들어, 높낮이(undulation), 포트홀(pothole), 과속방지턱 등)로 인해 초래될 수 있다. 이와 같은 상황 하에서, 제어기는 이미지 데이터의 적어도 하나의 특징을 식별 및/또는 추적하도록 구성될 수 있다. 적어도 하나의 특징에 기초하여, 제어기는 이미지 데이터에서 원하는 뷰(24)의 외관을 안정화하도록 원하는 뷰(24)에 대한 위치 및/또는 배향을 조정할 수 있다. 예를 들어, 제어기가 제1 프레임으로부터 제2 프레임으로 이미지 데이터에서 적어도 하나의 특징의 움직임을 식별하면, 제어기는 적어도 하나의 특징의 움직임을 고려하여 수직 오프셋(26) 및/또는 수평 오프셋(30)을 조정할 수 있다.
이제 도 3 및 도 4를 참조하면, 이미저(14)에 의해 캡쳐된 이미지 데이터의 시야(16) 및 원하는 뷰(24)가 도시된다. 도 3은 시야(16)에 대응하게 캡쳐된 이미지 데이터를 설명한다. 원하는 뷰(24)는 도 3에 표시된 이미지 데이터의 일부분으로서 도시된다. 원하는 뷰는 또한 디스플레이 장치(22)의 스크린(42)에 표시되는 도 4에 도시된다.
이미지 데이터(48)에서 식별되는 검출된 소실점(46)과 관련하여 중앙 기준점(44)을 가지는 원하는 뷰(24)가 도시된다. 중앙 기준점은 시야(16)의 중앙 초점(28)에 대응할 수 있다. 원하는 뷰(24) 및 중앙 기준점(44)은 디스플레이 장치(22)의 인터페이스(50)로의 입력을 통해 정의될 수 있다. 중앙 기준점(44)은 디스플레이 중앙점(54)에 대한 디스플레이 오프셋으로서 제어기의 메모리에 저장될 수 있는 사용자 선호도로서 정의될 수 있다. 이와 같은 구성에서, 차량(10)의 운전자는 원하는 뷰(24)를 정의하는 적어도 하나의 사용자 선호도를 설정할 수 있다. 원하는 뷰(24)는 도로(56)의 소실점(46), 수평선(62), 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징을 참조하여 원하는 뷰(24)의 상대적인 수평 위치, 수직 위치 및 회전으로서 정의될 수 있다. 인터페이스(50)는 디스플레이 장치(22)에 로컬되고/로컬되거나 디스플레이 장치(22)의 제어기와 통신될 수 있는 다양한 사용자 입력 및/또는 제어에 의해 실시될 수 있다. 예를 들어, 디스플레이 시스템(12) 및 인터페이스(50)는 그 전체가 원용에 의해 본 명세서에 포함되고, 2015년 3월 18일자로 출원 된 발명의 명칭이 "카메라용 근접 제어 장치"인 미국 가 특허 출원 번호 62/134,814호에서 논의된 요소 또는 특징 중 어느 하나를 실시하거나 구현할 수 있다.
예를 들어, 제어기는 이미지 데이터(48)에서 소실점(46)의 수평 위치를 이용하여 소실점(46)의 수평 위치에서의 이동을 식별할 수 있다. 이미지 데이터(48)의 현재 프레임에서 소실점(46)의 수평 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰의 수평 오프셋(64)을 결정하기 위해서 원하는 뷰(24)에서 소실점(46)의 수평 위치와 비교될 수 있다. 도로(56)의 대략 중앙(66)의 위치, 도로(56)의 중앙선(70), 도로(56)의 적어도 하나의 측면(56A 및 56B) 등과 같은 추가의 특징이 제어기에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 수평 오프셋(64)을 결정할 수 있다.
제어기는 수평선(62)의 수직 위치에서의 이동을 식별하기 위해서 이미지 데이터(48)에서 식별된 수평선(62)의 수직 위치를 이용할 수 있다. 이미지 데이터(48)의 현재 프레임에서 수평선(62)의 수직 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰(24)의 수직 오프셋(74)을 결정하기 위해서 원하는 뷰(24)에서 수평선(62)의 수직 위치와 비교될 수 있다. 소실점(46) 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징과 같은 추가 특징은 원하는 뷰(24)를 달성하기 위해서 이미지 데이터(48)의 수직 오프셋(74)을 결정하는데 제어기에 의해 유사하게 이용될 수 있다.
제어기는 또한, 수평선(62)의 회전 이동을 식별하기 위해서 이미지 데이터(48)에서 식별 된 수평선(62)의 상대 각도 또는 기울기를 이용할 수 있다. 수평선(62)의 회전 이동은 원하는 뷰(24)의 회전 오프셋(76)을 결정하기 위해서 원하는 뷰(24)에 대한 수평선(62)의 회전 위치 또는 배향과 비교될 수 있다. 도로(56)의 중앙선(70)의 위치, 도로(56)의 적어도 하나의 측면(56A, 56B) 등과 같은 추가 특징이 원하는 뷰(24)를 달성하기 위한 이미지 데이터(48)의 회전 오프셋(76)을 결정하도록 제어기에 의해 유사하게 이용될 수 있다.
제어기는 이미지 데이터의 특징을 식별하기 위해서 다양한 알고리즘 및 방법을 이용하도록 구성될 수 있다. 예를 들어, 제어기는 적응 에지 검출 공정을 이용하여 소실점(46)을 식별하기 위해서 도로(56)의 차선 및 부분을 식별하도록 구성될 수 있다. 또한, 제어기는 경계 대비 알고리즘을 이용하여 이미지 데이터(48)의 일련의 픽셀 값의 구배 임계값을 검출함으로써 수평선(62)을 검출하도록 구성될 수 있다. 특정 이미지 처리 방법이 본 명세서에서 논의되지만, 그 방법은 한정을 위해서가 아닌 설명을 위해서 도입된다. 그 때문에, 본 개시는 달리 명시적으로 언급되지 않는 한 이와 같은 예시적인 실시예에 한정되지 않아야 한다.
적응 에지 검출 공정은 에지 검출 마스크를 이용하여 이미지 데이터 내의 픽셀 위치에서 구배를 근사치화할 수 있다. 픽셀이 강도 값 및 구배 임계값에 대한 미리 결정된 기준을 만족시키는 경우에, 제어기는 픽셀을 후보 차선 픽셀로서 식별할 수 있다. 이미저(14)에 의해 캡쳐된 현재 프레임에 대응하는 이미지 데이터가 처리될 때, 후보 차선 픽셀은 도로(56)의 차선을 모델화하기 위한 최적합 다항식을 생성하는 데 이용된다. 몇몇 실시예에서, 최적합 다항식은 3차 다항식에 대응할 수 있다. 이와 같은 방식으로, 후보 차선 픽셀은 도로(56)의 측면에 대응할 수 있는 좌측 차선 모델(56A) 및 우측 차선 모델(56B)을 생성하는 데 이용될 수 있다. 좌측 차선 모델(56A) 및 우측 차선 모델(56B) 모델은 이미지 데이터의 소실점(46)에 대응할 수 있는 도로(56)의 측면의 교차점을 결정하는 데 이용될 수 있다.
제어기는 수평선(62)을 식별하기 위해서 이미지 데이터 내의 픽셀의 그룹을 검출하도록 수평선 경계 대비 알고리즘을 이용할 수 있다. 각각의 픽셀 그룹은 이미지 데이터(48)의 하늘 부분(82)과 지면 부분(84) 사이의 경계를 함유하는 이미지 데이터(48) 내의 인접한 픽셀의 부분 또는 패치에 대응할 수 있다. 수평 경계 대비 알고리즘은 하늘 부분(82)과 지면 부분 사이의 대비를 분석하여 수평선(62)의 위치를 결정할 수 있다. 대비는 수직 구배를 결정하기 위해서 이미지 데이터에서 수직으로 픽셀 강도를 계산함으로써 분석될 수 있다. 수직 구배는 하늘 부분(82)에 대응하는 픽셀 및 지면 부분(84)에 대응하는 픽셀의 강도 또는 픽셀 값의 차이를 캡쳐한다. 하늘 부분(82)과 지면 부분(84)의 경계를 식별함으로써, 제어기는 이미지 데이터(48)에서 수평선(62)을 식별하도록 작동할 수 있다.
몇몇 실시예에서, 제어기는 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)의 위치에서의 변형을 안정화하고/안정화하거나 제한하기 위해서 이미지 데이터의 다양한 특징을 식별할 수 있다. 예를 들어, 제어기는 이미지 데이터 내의 하나 이상의 특징(85) 또는 물체를 검출하도록 구성될 수 있다. 특징은 수평선(62), 소실점(46), 나무(86), 거리 표지판, 차량(88) 및 이미지 데이터의 복수의 이미지 프레임에서 제어기에 의해 검출될 수 있는 임의의 형태의 물체에 대응할 수 있다. 이와 같은 방식으로, 제어기는 원하는 뷰의 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)에서의 변화를 조정하기 위해서 이미지 데이터 내의 다양한 물체를 검출하도록 구성될 수 있다. 이와 같은 변화는 시야(16)에 대한 장면(18)의 신속 또는 점진적인 변화에 응답할 수 있다.
몇몇 실시예에서, 원하는 뷰(24)의 수직 구성 요소(24A) 및/또는 수평 구성 요소(24B)에서의 변화는 도로(32) 표면의 변동(예를 들어, 높낮이, 포트홀, 과속방지턱 등)로 인해 초래될 수 있다. 이와 같은 상황 하에서, 제어기는 제1 프레임으로부터 후자 프레임으로의 이미지 데이터에서 적어도 하나의 특징을 식별 및/또는 추적하도록 구성될 수 있다. 적어도 하나의 특징에 기초하여, 제어기는 이미지 데이터에서 원하는 뷰(24)의 외관을 안정화하도록 원하는 뷰(24)에 대한 위치 및/또는 배향을 조정할 수 있다. 예시적인 실시예에서, 제어기는 적어도 하나의 물체의 움직임을 고려하여 수직 오프셋(26) 및/또는 수평 오프셋(30)을 결정하고 조정하기 위해서 하나 이상의 물체(예를 들어, 나무(86), 차량(88) 등)를 검출하도록 작동할 수 있다. 이와 같은 실시예에서, 하나 이상의 물체는 이미지 데이터에서 검출될 수 없는 소실점(46)과 수평선(62) 중 하나 이상에 응답하여 원하는 뷰(24)를 오프셋시키기 위해서 제어기에 의해 선택적으로 이용될 수 있다.
디스플레이 시스템(12)에서 실시될 수 있는 다양한 검출 기법을 설명하는 시스템은 Steven G. Hoek 등에 의해 2013년 7월 11일자로 출원된 발명의 명칭이 "STAND ALONE BLIND SPOT DETECTION SYSTEM"인 미국 공개 번호 US 2014/0015972 A1호; 미국 특허. Oliver M. Jeromin 등에 의해 2011년 10월 17일자로 출원된 발명의 명칭이 "Image acquisition and processing system for vehicle equipment control"인 제8,924,078호; 미국 특허. Jeremy C. Andrus 등에 의해 2010년 2월 1일자로 출원된 발명의 명칭이 "DIGITAL IMAGE PROCESSING AND SYSTEMS INCORPORATING THE SAME"인 제8,577,169호; 미국 특허. Joseph S. Stam 등에 의해 2011년 1월 31일자로 출원된 발명의 명칭이 "IMAGE ACQUISITION AND PROCESSING SYSTEMS FOR VEHICLE EQUIPMENT CONTROL"인 제8,065,053 B2호; 미국 특허. Jeremy A. Schut 등에 의해 2012년 3월 28일자로 출원된 발명의 명칭이 "VEHICULAR IMAGING SYSTEM AND METHOD FOR DETERMINING ROADWAY WIDTH"인 제8,543,254 B1호에서 상세히 추가로 논의되며, 이들 문헌은 그 전체가 본 명세서에 원용에 의해 포함된다.
이제 도 5를 참조하면, 디스플레이 시스템(12)에 의한 표시를 위해 이미지 데이터(48)를 조정하는 방법을 설명하는 흐름도(90)가 도시된다. 그 방법은 이미저(14)를 통해 이미지 데이터(48)를 캡쳐하고 이미지 데이터(48)를 제어기와 통신함으로써 시작될 수 있다. 제어기의 적어도 하나의 프로세서는 소실점(46), 수평선(62), 또는 이미지 데이터(48)에서 식별될 수 있는 임의의 다른 특징을 결정하기 위해서 이미지 데이터(48)에 하나 이상의 이미지 처리 단계(92)를 완료하도록 구성될 수 있다. 이미지 데이터(48)에서 식별된 특징은 원하는 뷰(24)의 수평 오프셋(64), 수직 오프셋(74) 및 회전 오프셋(76) 중 적어도 하나를 식별하기 위해서 프로세서에 의해 이용될 수 있다.
하나 이상의 이미지 처리 단계(92)는 수평선 검출 단계(94), 롤 검출 단계(96) 및 소실점 검출 단계(98)를 포함할 수 있다. 이미지 처리 단계(92)에서 프로세서에 의해 식별된 특징에 기초하여, 프로세서는 이미지 데이터의 배향이 원하는 뷰(24)와 정렬되도록 하나 이상의 이미지 보정 단계(102)에서 이미지 데이터를 보정하도록 추가로 작동할 수 있다. 하나 이상의 프로세서는 이미지 보정 단계(102)를 처리하도록 구성되는 하나 이상의 모듈을 포함할 수 있다. 모듈은 틸트 모듈(104), 회전 모듈(106) 및 팬 모듈(108)을 포함할 수 있다.
수평선 검출 단계(94)는 이미지 데이터(48)의 수평선(62)을 검출하도록 구성될 수 있다. 적어도 하나의 프로세서의 틸트 모듈(104)은 이미지 데이터(48)의 현재 프레임에서 수평선(62)의 수직 위치의 이동을 적용하기 위해서 이미지 데이터(48)에서 식별된 수평선(62)의 수직 위치를 이용할 수 있다. 수평선(62)의 수직 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰(24)의 수직 오프셋(74)을 결정하기 위해서 원하는 뷰(24)에서 수평선(62)의 수직 위치와 비교될 수 있다. 소실점(46), 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징과 같은 추가 특징이 제어기에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 수직 오프셋(74)을 결정할 수 있다.
롤 검출 단계(96)는 시야(16)의 회전 이동을 식별하기 위해서 이미지 데이터(48)에서 수평선(62)의 상대 각도를 식별하도록 구성될 수 있다. 따라서 하나 이상의 프로세서의 회전 모듈(106)은 원하는 뷰(24)의 회전 오프셋(76)을 결정하기 위해서 원하는 뷰(24)에서의 수평선(62)의 회전 위치를 비교함으로써 수평선(62)의 회전 이동을 식별할 수 있다. 도로(56)의 중앙선(70)의 위치, 도로(56)의 적어도 하나의 측면(56A, 56B) 등과 같은 추가의 특징이 하나 이상의 프로세서에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 회전 오프셋(76)을 결정할 수 있다.
소실점 검출 단계(98)는 이미지 데이터를 처리하여 이미지 데이터(48)에서 소실점(46)의 적어도 수평 위치를 결정할 수 있다. 따라서 하나 이상의 프로세서의 팬 모듈(108)은 이미지 데이터(48)의 현재 프레임에서 소실점(46)의 수평 위치에서의 이동을 식별할 수 있다. 소실점(46)의 수평 위치에서의 이동은 중앙 기준점(44)에 대한 원하는 뷰(24)의 수평 오프셋(64)을 결정하기 위해서 원하는 뷰(24)에서 소실점(46)의 수평 위치와 비교될 수 있다. 도로(56)의 대략적인 중앙(66), 도로(56)의 중앙선(70), 도로(56)의 적어도 하나의 측면(56A, 56B) 등과 같은 추가의 특징이 하나 이상의 프로세서에 의해 유사하게 이용되어 원하는 뷰(24)를 달성하기 위한 이미지 데이터의 수평 오프셋(64)을 결정할 수 있다.
이미지 보정 단계(102)가 완료된 이후에, 제어기는 이미지 데이터(48)의 최적 또는 원하는 뷰(24)를 디스플레이 장치(22)로 출력할 수 있다. 이전에 논의된 바와 같이, 디스플레이 장치(22)는 사용자 입력 단계(110)에서 원하는 뷰(24) 및/또는 중앙 기준점(44)의 위치 및 스케일을 구성하기 위해서 적어도 하나의 입력을 수신하도록 구성되는 인터페이스(50)를 포함할 수 있다. 원하는 뷰(24) 및 기준점(44)은 디스플레이 중앙점(54)에 대한 이미지 데이터의 비율 및 디스플레이 오프셋의 비율로서 제어기의 메모리에 저장될 수 있는 사용자 선호도로서 정의될 수 있다. 이와 같은 구성에서, 차량(10)의 운전자는 원하는 뷰(24)를 정의하는 적어도 하나의 사용자 선호도를 설정할 수 있다. 원하는 뷰(24)는 도로(56)의 소실점(46), 수평선(62), 및 이미지 데이터(48)에서 식별될 수 있는 다양한 특징을 참조하여 원하는 뷰(24)의 상대적인 수평 위치, 수직 위치 및 회전으로서 정의될 수 있다.
이제 도 6을 참조하면, 디스플레이 시스템(12)의 블록 선도가 도시된다. 이미저(14)는 제어기(112)와 통신하게 도시되어 있다. 이미저(14)의 픽셀 어레이는 CMOS 이미지 센서, 예를 들어 CMOS 능동-픽셀 센서(APS) 또는 전하 결합 소자(CCD)에 대응할 수 있다. 픽셀 어레이의 각각의 픽셀은 광-센서, 광-센서의 어레이, 또는 광을 캡쳐하도록 구성되는 임의의 그룹의 센서에 대응할 수 있다. 제어기(112)는 이미저(14)로부터 아날로그 또는 디지털 형태로 공급되는 것과 같은 이미지 데이터(48)를 처리하도록 작동할 수 있는 프로세서(114)를 포함할 수 있다. 예를 들어, 제어기(112)는 복수의 프로세서, 멀티코어 프로세서, 또는 프로세서, 회로 및 주변 처리 장치의 임의의 조합으로서 실시될 수 있다. 프로세서는 이미지 데이터(48)를 처리하고/처리하거나 보정하도록 구성되는 복수의 모듈을 포함할 수 있다. 모듈은 틸트 모듈(104), 회전 모듈(106) 및 팬 모듈(108)을 포함할 수 있다.
제어기(112)는 메모리(116)를 더 포함할 수 있다. 메모리(116)는 다양한 형태의 메모리, 예를 들어 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM) 및 디지털 정보를 저장하도록 구성되는 다른 형태의 메모리를 포함할 수 있다. 메모리(116)는 처리를 위한 이미지 데이터(48)를 저장하도록 구성될 수 있다. 이미지 데이터(48)를 처리하는 것은 이미지 데이터가 디스플레이 장치(22)의 스크린으로 출력될 때 이미지 데이터(48)의 위치 및 겉보기 크기를 조정하기 위해서 이미지 데이터(48)를 스케일링 및 크로핑(cropping)하는 것을 포함할 수 있다. 디스플레이 장치(22)는 원하는 뷰(24)를 표시하도록 작동할 수 있는 스크린을 포함한다. 스크린은 임의의 형태의 디스플레이, 예를 들어 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 유기 LED(OLED) 디스플레이 등에 대응할 수 있다. 몇몇 실시예에서, 메모리(116)는 복수의 원하는 뷰에 대응하는 복수의 사용자 프로파일을 저장하도록 추가로 구성될 수 있다. 각각의 원하는 뷰는 차량(10)의 특정 운전자와 관련하여 제어기(112)에 의해 리콜될 수 있는 특정 수직 오프셋, 수평 오프셋, 및 회전 오프셋을 포함할 수 있다.
제어기(112)는 복수의 입력, 예를 들어 속도 입력(118) 및 차량 버스(120)와 통신할 수 있다. 속도 입력(118)은 차량(10)의 속도에 대응하는 데이터를 측정하고 통신하도록 작동할 수 있는 속도계 또는 임의의 장치를 통해 차량(10)의 속도와 통신하는 신호를 제공한다. 차량 버스(120)는 제어기 영역 네트워크(CAN) 버스와 같은 임의의 적합한 표준 통신 버스를 이용하여 실시될 수 있다. 차량 버스(120)는 제어기(112)에 다양한 추가 정보를 제공하도록 구성될 수 있다.
본 명세서에 설명된 개시의 실시예는 본 명세서에서 설명된 바와 같이, 이미지 센서 시스템 및 그 방법의 기능의 일부, 대부분, 또는 전부를 특정 비-프로세서 회로와 함께 실시하기 위한 하나 이상의 종래 프로세서 및 하나 이상의 프로세서를 제어하는 독특한 저장된 프로그램 명령어로 구성될 수 있음이 인정될 것이다. 비-프로세서 회로로는 신호 드라이버, 클록 회로, 전원 회로, 및/또는 사용자 입력 장치를 포함할 수도 있지만 이에 한정되지 않는다. 대안적으로, 일부 또는 모든 기능은 저장된 프로그램 명령어가 없는 상태 기계(state machine)에 의해, 또는 하나 이상의 주문형 집적 회로(ASIC)에서 구현될 수 있을 것인데, 여기서 각각의 기능 또는 기능의 일부 조합이 주문형 로직(custom logic)으로서 구현된다. 물론, 그 두 가지 방법의 조합도 사용될 수 있다. 따라서, 이들 기능을 위한 방법 및 수단은 본 명세서에서 설명되었다. 또한, 본 명세서에 개시된 개념들 및 원리들에 의해 안내될 때, 예를 들면 가용 시간, 현재 기술, 및 경제적인 고려사항들에 의해 동기 부여된 가능한 한 상당한 노력 및 많은 디자인 선택에도 불구하고, 당 기술분야의 숙련된 자는 최소한의 실험으로 이러한 소프트웨어 명령어들 및 프로그램들 및 IC들을 쉽게 생성할 수 있을 것으로 예상된다.
전술한 구성요소는 본 명세서에서 명시적으로 설명되지 않은 부가 또는 대안 방식으로 조합될 수 있다는 점이 당업자에 의해 인정되어야 한다. 본 개시의 다양한 실시예의 수정이 당업자 및 본 개시의 교시를 적용하는 자에게 일어날 것이다. 따라서, 도면에 도시되고 전술한 실시예는 단지 예시의 목적을 위한 것이며 본 개시의 범주를 제한하려는 것이 아님을 이해해야 하며, 본 개시의 범주는 균등론을 포함한 특허법의 원칙에 따라 해석되는 대로의 다음 청구범위에 의해 정해진다.
Claims (20)
- 차량용 디스플레이 시스템으로서:
차량에 대한 후방 시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저;
차량의 승객실에 배치되는 스크린을 포함하는 디스플레이 장치;
이미저와 디스플레이 장치와 통신하는 제어기를 포함하며, 상기 제어기는:
적어도 하나의 특징을 식별하도록 이미지 테이터를 처리하고;
이미지 데이터에서의 적어도 하나의 특징에 대한 위치와 배향에 응답하여 스크린에 표시하기 위한 이미지 데이터의 원하는 뷰에 대한 위치와 배향 중 적어도 하나를 조정하도록 작동할 수 있는, 차량용 디스플레이 시스템. - 제1항에 있어서,
상기 디스플레이 장치는 후방 디스플레이 장치에 대응하는, 차량용 디스플레이 시스템. - 제2항에 있어서,
상기 원하는 뷰는 후방 디스플레이 장치용 이미지 데이터의 각도 오프셋에 대응하는, 차량용 디스플레이 시스템. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 적어도 하나의 특징은 이미지 데이터에서 식별된 도로의 소실점과 수평선 중 적어도 하나를 포함하는, 차량용 디스플레이 시스템. - 제4항에 있어서,
상기 소실점은 이미지 데이터의 원하는 뷰에 대한 수평 위치와 수직 위치 중 적어도 하나를 오프셋하는 데 이용되는, 차량용 디스플레이 시스템. - 제4항에 있어서,
상기 적어도 하나의 특징은 이미지 데이터의 원하는 뷰에 대한 수직 위치와 회전 방위 중 적어도 하나를 오프셋하는 데 이용되는, 차량용 디스플레이 시스템. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제어기는 제어기의 메모리에 저장된 적어도 하나의 사용자 선호도에 기초하여 이미지 데이터의 스케일을 조정하도록 추가로 작동할 수 있는, 차량용 디스플레이 시스템. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 원하는 뷰는 이미지 데이터의 수직 구성 요소와 수평 구성 요소의 오프셋에 대응하는, 차량용 디스플레이 시스템. - 차량에 대한 후방 지향 시야를 표시하는 방법으로서:
시야에서 이미지 데이터를 캡쳐하는 단계;
적어도 하나의 특징을 식별하도록 이미지 데이터를 처리하는 단계,
이미지 데이터의 적어도 하나의 특징의 위치 또는 배향에 응답하여 이미지 데이터에 대한 원하는 뷰의 위치와 배향 중 적어도 하나를 조정하는 단계; 및
차량의 후방 디스플레이에 원하는 뷰를 표시하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 제9항에 있어서,
입력을 수신하고 상기 입력에 응답하여 이미지 데이터에 대한 원하는 뷰를 조정하는 단계를 더 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 제9항 또는 제10항에 있어서,
상기 적어도 하나의 특징은 이미지 데이터에서 식별된 도로의 소실점과 수평선 중 적어도 하나를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 제11항에 있어서,
상기 조정하는 단계는 이미지 데이터에서의 소실점의 위치에 기초하여 원하는 뷰의 수평 위치와 수직 위치 중 적어도 하나를 오프셋하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 제11항에 있어서,
상기 조정하는 단계는 이미지 데이터에서의 수평 위치에 기초하여 원하는 뷰의 수직 위치를 오프셋하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 제11항에 있어서,
상기 조정하는 단계는 이미지 데이터의 수평선의 각도에 기초하여 원하는 뷰의 회전 배향을 오프셋하는 단계를 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 제9항 내지 제14항 중 어느 한 항에 있어서,
사용자 선호도에 기초하여 이미지 데이터의 스케일을 조정하는 단계를 더 포함하는, 차량에 대한 후방 지향 시야를 표시하는 방법. - 차량에 대한 후방 지향 시야를 표시하는 장치로서:
차량의 승객실에 배치되는 스크린을 포함하는 디스플레이 장치;
시야에서 이미지 데이터를 캡쳐하도록 구성되는 이미저 및 디스플레이 장치와 통신하는 제어기를 포함하며, 상기 제어기는:
수평선과 도로의 소실점 중 적어도 하나를 식별하도록 이미지 테이터를 처리하고;
수평선과 소실점 중 적어도 하나에 대한 위치와 배향에 응답하여 스크린에 표시하기 위해 이미지 데이터에 대한 원하는 뷰의 위치와 방위 중 적어도 하나를 조정하도록 작동할 수 있는, 차량에 대한 후방 지향 시야를 표시하는 장치. - 제16항에 있어서,
상기 제어기는 이미지 데이터에서의 수평선의 기울기에 기초하여 원하는 뷰에 대한 각도 배향을 조정하도록 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치. - 제16항 또는 제17항에 있어서,
상기 제어기는 소실점의 위치에 기초하여 원하는 뷰에 대한 직선 위치를 조정하도록 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치. - 제16항 내지 제18항 중 어느 한 항에 있어서,
상기 제어기는 입력에 응답하여 시야의 중앙 초점에 대한 이미지 데이터의 원하는 뷰를 조정하도록 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치. - 제19항에 있어서,
상기 제어기는 입력에 기초하여 원하는 뷰를 정의하기 위해 이미지 데이터를 크롭하도록 추가로 구성되는, 차량에 대한 후방 지향 시야를 표시하는 장치.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562135417P | 2015-03-19 | 2015-03-19 | |
US62/135,417 | 2015-03-19 | ||
PCT/US2016/022905 WO2016149514A1 (en) | 2015-03-19 | 2016-03-17 | Image processing for camera based display system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170120665A true KR20170120665A (ko) | 2017-10-31 |
KR102087588B1 KR102087588B1 (ko) | 2020-03-11 |
Family
ID=56919409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177026953A KR102087588B1 (ko) | 2015-03-19 | 2016-03-17 | 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11412123B2 (ko) |
EP (1) | EP3272113B1 (ko) |
JP (1) | JP6824186B2 (ko) |
KR (1) | KR102087588B1 (ko) |
CN (1) | CN107409188B (ko) |
WO (1) | WO2016149514A1 (ko) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10582125B1 (en) * | 2015-06-01 | 2020-03-03 | Amazon Technologies, Inc. | Panoramic image generation from video |
KR102351496B1 (ko) * | 2015-07-24 | 2022-01-14 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작 방법 |
WO2018226825A1 (en) | 2017-06-08 | 2018-12-13 | Gentex Corporation | Display device with level correction |
JP6958147B2 (ja) * | 2017-09-07 | 2021-11-02 | トヨタ自動車株式会社 | 画像表示装置 |
CN111284325B (zh) * | 2018-12-10 | 2022-04-15 | 博泰车联网科技(上海)股份有限公司 | 车辆、车机设备及其车辆沿途对象详尽信息显示方法 |
US11594036B2 (en) * | 2019-08-21 | 2023-02-28 | Micron Technology, Inc. | Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection |
WO2021127199A1 (en) * | 2019-12-17 | 2021-06-24 | Gentex Corporation | System and method for capturing and displaying images from a vehicle/trailer camera |
EP4138388A1 (en) * | 2021-08-20 | 2023-02-22 | Arlo Technologies, Inc. | Modification of camera functionality based on orientation |
US11580690B1 (en) * | 2021-08-31 | 2023-02-14 | Raytheon Company | Horizon-based navigation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050237385A1 (en) * | 2003-05-29 | 2005-10-27 | Olympus Corporation | Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system |
US20100201814A1 (en) * | 2009-02-06 | 2010-08-12 | Gm Global Technology Operations, Inc. | Camera auto-calibration by horizon estimation |
US20130321629A1 (en) * | 2012-05-31 | 2013-12-05 | GM Global Technology Operations LLC | Dynamic guideline overlay with image cropping |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3045760A (en) | 1958-11-17 | 1962-07-24 | Camco Inc | Storm choke |
JPS5918669B2 (ja) * | 1978-10-03 | 1984-04-28 | 三菱電機株式会社 | 相関追尾装置 |
JPH06321011A (ja) | 1993-05-17 | 1994-11-22 | Mitsubishi Electric Corp | 周辺視野表示装置 |
JPH0952555A (ja) * | 1995-08-11 | 1997-02-25 | Mitsubishi Electric Corp | 周辺監視装置 |
JP4252252B2 (ja) | 2002-03-29 | 2009-04-08 | 三菱電機株式会社 | 撮像装置 |
JP2005534246A (ja) | 2002-07-25 | 2005-11-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビューシステム |
US7565006B2 (en) | 2002-08-21 | 2009-07-21 | Gentex Corporation | Image acquisition and processing methods for automatic vehicular exterior lighting control |
US8326483B2 (en) | 2003-02-21 | 2012-12-04 | Gentex Corporation | Monitoring and automatic equipment control systems |
JP3722485B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
US20070263301A1 (en) | 2004-06-17 | 2007-11-15 | Zohar Agrest | System and Method for Automatic Adjustment of Mirrors for a Vehicle |
US7881839B2 (en) | 2004-11-18 | 2011-02-01 | Gentex Corporation | Image acquisition and processing systems for vehicle equipment control |
JP2006217447A (ja) * | 2005-02-07 | 2006-08-17 | Yazaki Corp | 車両用表示装置 |
JP4453775B2 (ja) * | 2008-06-27 | 2010-04-21 | トヨタ自動車株式会社 | 物体検出装置 |
WO2010080610A1 (en) * | 2008-12-19 | 2010-07-15 | Delphi Technologies, Inc. | Electronic side view display system |
JP5398408B2 (ja) * | 2009-08-07 | 2014-01-29 | オリンパスイメージング株式会社 | カメラ、カメラの制御方法、表示制御装置、および表示制御方法 |
JP5321540B2 (ja) * | 2010-06-25 | 2013-10-23 | 株式会社Jvcケンウッド | 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム |
US8588550B2 (en) * | 2010-10-04 | 2013-11-19 | Sony Corporation | Virtual level for a digital camera |
US9491450B2 (en) | 2011-08-01 | 2016-11-08 | Magna Electronic Inc. | Vehicle camera alignment system |
WO2013030932A1 (ja) * | 2011-08-29 | 2013-03-07 | パイオニア株式会社 | ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法 |
CN104508595B (zh) | 2012-06-12 | 2017-07-18 | 金泰克斯公司 | 提供多级对准稳定性指示的车辆成像系统 |
US9177360B2 (en) * | 2012-09-11 | 2015-11-03 | Apple Inc. | Automatic image orientation and straightening through image analysis |
US9445011B2 (en) | 2012-10-22 | 2016-09-13 | GM Global Technology Operations LLC | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation |
US10322672B2 (en) * | 2013-02-28 | 2019-06-18 | Aisin Seiki Kabushiki Kaisha | Vehicle control apparatus and program with rotational control of captured image data |
US9758099B2 (en) * | 2013-03-15 | 2017-09-12 | Gentex Corporation | Display system and method thereof |
US9674490B2 (en) * | 2013-04-18 | 2017-06-06 | Magna Electronics Inc. | Vision system for vehicle with adjustable cameras |
US9073493B1 (en) | 2014-04-10 | 2015-07-07 | Qualcomm Incorporated | Method and apparatus for adjusting view mirror in vehicle |
-
2016
- 2016-03-17 EP EP16765757.6A patent/EP3272113B1/en active Active
- 2016-03-17 JP JP2017549230A patent/JP6824186B2/ja active Active
- 2016-03-17 WO PCT/US2016/022905 patent/WO2016149514A1/en active Application Filing
- 2016-03-17 US US15/072,775 patent/US11412123B2/en active Active
- 2016-03-17 CN CN201680016205.6A patent/CN107409188B/zh active Active
- 2016-03-17 KR KR1020177026953A patent/KR102087588B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050237385A1 (en) * | 2003-05-29 | 2005-10-27 | Olympus Corporation | Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system |
US20100201814A1 (en) * | 2009-02-06 | 2010-08-12 | Gm Global Technology Operations, Inc. | Camera auto-calibration by horizon estimation |
US20130321629A1 (en) * | 2012-05-31 | 2013-12-05 | GM Global Technology Operations LLC | Dynamic guideline overlay with image cropping |
Also Published As
Publication number | Publication date |
---|---|
EP3272113A1 (en) | 2018-01-24 |
US11412123B2 (en) | 2022-08-09 |
CN107409188B (zh) | 2021-06-11 |
JP6824186B2 (ja) | 2021-02-03 |
US20160277651A1 (en) | 2016-09-22 |
KR102087588B1 (ko) | 2020-03-11 |
CN107409188A (zh) | 2017-11-28 |
JP2018514122A (ja) | 2018-05-31 |
EP3272113B1 (en) | 2022-05-04 |
WO2016149514A1 (en) | 2016-09-22 |
EP3272113A4 (en) | 2018-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102087588B1 (ko) | 카메라 기반 디스플레이 시스템을 위한 이미지 프로세싱 | |
US10625660B2 (en) | Camera based headlight control system | |
US20210001774A1 (en) | Method for determining misalignment of a vehicular camera | |
US11535154B2 (en) | Method for calibrating a vehicular vision system | |
US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
JP4389999B2 (ja) | 露出制御装置及び露出制御プログラム | |
US10187590B2 (en) | Multi-camera vehicle vision system with image gap fill | |
JP5435307B2 (ja) | 車載カメラ装置 | |
US20060188130A1 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
EP2770478B1 (en) | Image processing unit, imaging device, and vehicle control system and program | |
JP2013005234A5 (ko) | ||
US20140152825A1 (en) | Vehicle vision system utilizing corner detection | |
EP3634809B1 (en) | Display device with level correction | |
US10540756B2 (en) | Vehicle vision system with lens shading correction | |
JP5865726B2 (ja) | 映像表示装置 | |
EP3595931A1 (en) | Dual display reverse camera system | |
US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
TW201439982A (zh) | 全周影像感測系統與感測方法 | |
US11182626B2 (en) | Attached object detection apparatus | |
JP2018116620A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
KR20170076387A (ko) | 스마트 폰 기반 차량 번호판 인식 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |