KR20140079907A - Hud 시스템의 외부 영상 보정 장치 및 방법 - Google Patents
Hud 시스템의 외부 영상 보정 장치 및 방법 Download PDFInfo
- Publication number
- KR20140079907A KR20140079907A KR1020120149085A KR20120149085A KR20140079907A KR 20140079907 A KR20140079907 A KR 20140079907A KR 1020120149085 A KR1020120149085 A KR 1020120149085A KR 20120149085 A KR20120149085 A KR 20120149085A KR 20140079907 A KR20140079907 A KR 20140079907A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- brightness
- external image
- unit
- correction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000003702 image correction Methods 0.000 claims abstract description 32
- 238000010191 image analysis Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000004297 night vision Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
- G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Instrument Panels (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
HUD 시스템의 외부 영상 보정 장치 및 방법이 제공된다. 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 장치는, 차량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템의 외부 영상 보정 장치에 있어서, 차량의 외부를 촬영하여 외부 영상을 획득하는 영상 획득부; 상기 외부 영상의 밝기를 분석하는 영상 분석부; 상기 외부 영상의 밝기 보정이 필요한지를 판단하는 보정 판단부; 및 상기 외부 영상의 밝기를 보정하는 영상 보정부를 포함한다.
Description
본 발명은 HUD 시스템의 외부 영상 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 어두우면 어두울수록 외부 영상이 검은색으로 디스플레이됨에 따라 허상으로 표시되는 HUD 영상은 투명하게 표현되는 것을 방지하기 위해 외부 영상의 밝기 등을 보정하는 HUD 시스템의 외부 영상 보정 장치 및 방법에 관한 것이다.
일반적으로, 자동차는 첨단 기술이 적용되어 그 기동성과 유용성이 향상됨으로써 현대사회에서 필수적인 제품이 되었다. 최근에는, 운전자의 눈에 정보를 투영하기 위해 헤드업 디스플레이(HUD, Head-Up Display)가 사용되고 있다.
헤드업 디스플레이(HUD, Head Up Display)는 차량의 속도, 유량 등의 차량 정보나 나이트 비전 영상, 후방 감시 카메라 영상 등의 외부 영상 정보를 렌즈에 의해 확대한 상태로 거울을 이용하여 계기판 등이 아닌 차량의 전면 유리창에 투사시켜 운전자가 정면을 주시하면서도 쉽게 인식할 수 있어 안전성을 확보하도록 한 것이다.
일반적으로, 약 100km/h의 속도로 운전하는 경우, 운전자가 시야를 계기판에 두었다가 도로로 시야를 옮기는 시간(대략 2초)에 차량은 약 55m 정도 이동하기 때문에, 차량 사고의 위험이 존재한다. 이러한 위험을 줄이는 방법의 하나로 차량용 헤드업 디스플레이(HUD) 기술이 제안되었고, 이에 관한 연구 개발이 활발히 이루어지고 있다.
이러한 차량용 헤드업 디스플레이 장치는 차량의 전면 유리창(wind shield)의 운전자의 주시야 선에 주행 정보, 영상 정보 등 각종 정보를 나타나게 하여 운전자가 운전 중에도 쉽게 차량에 관련된 정보를 파약할 수 있도록 한다. 이로써 운전자는 도로로부터 눈을 떼지 않고도 차량에 관련된 여러 정보를 인지함으로써 안전 운행을 할 수 있는 것이다.
그런데, 나이트 비전, 후방 카메라 등으로부터 입력되어 헤드업 디스플레이되는 영상의 경우, 외부 영상이 어두우면 어두울수록 디스플레이 장치는 검은색으로 표현됨에 따라 허상으로 표시되는 HUD(헤드업 디스플레이) 영상은 투명하게 표현되어 운전자에게 왜곡된 정보를 전달할 수 있다.
도 1a는 차량 정보를 디스플레이 장치로 표시한 디스플레이 영상을 도시한 도면이며, 도 1b는 도 1a의 디스플레이 영상을 헤드업 디스플레이 장치로 표시한 HUD 영상을 도시한 도면이다.
도 1a 및 도 1b에 도시된 바와 같이, 차량의 속도, 유량 등의 차량 정보를 일반 디스플레이 장치에 표시하였을 때 검은색으로 표시되는 일반 영상(11)의 경우, 헤드업 디스플레이 장치의 렌즈에 의해 확대한 상태로 거울을 이용하여 차량의 윈드 실드에 투사시키게 되면, 허상인 HUD 영상(12)은 투명하게 표시됨을 알 수 있다.
도 2a는 차량의 전방을 나이트 비전 장치로 촬영하여 표시한 나이트 비전 영상을 도시한 도면이며, 도 2b는 차량의 후방을 후방 카메라로 촬영하여 표시한 후방 카메라 영상을 도시한 도면이다.
도 2a 및 도 2b에 도시된 바와 같이, 나이트 비전 영상(16)은 야간에 촬영하게 되어 검게 디스플레이된다. 또한, 후방 카메라 영상(17)도 야간에 촬영되는 경우에는 검게 디스플레이되고, 주간에 촬영하더라도 해상도가 낮은 경우가 많아 검게 디스플레이되는 경우가 많이 발생한다. 이렇게 검은색으로 디스플레이되는 나이트 비전 영상(16)이나 후방 카메라 영상(17) 등의 외부 영상을 헤드업 디스플레이 장치에 의해 HUD 영상으로 디스플레이하게 되면, 상술한 바와 같이 HUD 영상이 투명하게 표현되게 된다.
그러므로, 어두운 부분을 투명하게 표현하여 왜곡된 정보를 전달할 위험이 있는 HUD 영상의 출력을 방지하기 위해, 외부 영상의 밝기 등을 미리 보정할 필요가 있다.
본 발명은 상기 문제점을 해결하기 위한 것으로, HUD 시스템에 입력되는 외부 영상의 밝기 등을 분석하고 보정하여 상기 보정된 영상을 기초로 HUD 영상을 디스플레이하는 HUD 시스템의 외부 영상 보정 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 장치는, 차량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템의 외부 영상 보정 장치에 있어서, 차량의 외부를 촬영하여 외부 영상을 획득하는 영상 획득부; 상기 외부 영상의 밝기를 분석하는 영상 분석부; 상기 외부 영상의 밝기 보정이 필요한지를 판단하는 보정 판단부; 및 상기 외부 영상의 밝기를 보정하는 영상 보정부를 포함한다.
상기 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 HUD 시스템의 외부 영상 보정 방법은, 량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템의 외부 영상 보정 방법에 있어서, 차량의 외부를 촬영하여 외부 영상을 획득하는 단계; 상기 외부 영상의 밝기를 분석하는 단계; 상기 외부 영상의 보정이 필요한지를 판단하는 단계; 및 보정이 필요한 경우, 감마테이블을 보상하여 상기 외부 영상을 보정하는 단계를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, HUD 시스템에 입력되는 외부 영상의 밝기 등을 분석하고 보정하여 상기 보정된 영상을 기초로 HUD 영상을 디스플레이함으로써, 상기 HUD 영상이 투명하게 표현되는 것을 방지할 수 있다.
또한, HUD 영상을 보다 정확하게 디스플레이함으로써, 왜곡된 정보가 아닌 정확한 정보를 전달하고, 이에 따라 차량 사고 등의 위험을 미연에 방지할 수 있다.
도 1a는 차량 정보를 디스플레이 장치로 표시한 디스플레이 영상을 도시한 도면이다.
도 1b는 도 1a의 디스플레이 영상을 헤드업 디스플레이 장치로 표시한 HUD 영상을 도시한 도면이다.
도 2a는 차량의 전방을 나이트 비전 장치로 촬영하여 표시한 나이트 비전 영상을 도시한 도면이다.
도 2b는 차량의 후방을 후방 카메라로 촬영하여 표시한 후방 카메라 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 장치의 구성도이다.
도 4a는 HUD 일반모드에서의 감마 커브 곡선을 도시한 도면이다.
도 4b는 HUD 일반모드 및 HUD 외부영상모드에서의 감마 커브 곡선을 함께 도시한 도면이다.
도 5는 도 3의 HUD 시스템의 외부 영상 보정 장치가 적용된 외부 영상의 단위 영역의 일례를 도시한 도면이다.
도 6은 도 3의 의 HUD 시스템의 외부 영상 보정 장치에 의한 외부 영상의 보정을 도시한 도면이다.
도 7은 도 3의 의 HUD 시스템의 외부 영상 보정 장치에 의한 외부 영상의 여러 밝기 분석에 기초한 영상 보정을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 방법의 순서도이다.
도 9는 도 8의 HUD 시스템의 외부 영상 보정 방법의 상세 순서도이다.
도 1b는 도 1a의 디스플레이 영상을 헤드업 디스플레이 장치로 표시한 HUD 영상을 도시한 도면이다.
도 2a는 차량의 전방을 나이트 비전 장치로 촬영하여 표시한 나이트 비전 영상을 도시한 도면이다.
도 2b는 차량의 후방을 후방 카메라로 촬영하여 표시한 후방 카메라 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 장치의 구성도이다.
도 4a는 HUD 일반모드에서의 감마 커브 곡선을 도시한 도면이다.
도 4b는 HUD 일반모드 및 HUD 외부영상모드에서의 감마 커브 곡선을 함께 도시한 도면이다.
도 5는 도 3의 HUD 시스템의 외부 영상 보정 장치가 적용된 외부 영상의 단위 영역의 일례를 도시한 도면이다.
도 6은 도 3의 의 HUD 시스템의 외부 영상 보정 장치에 의한 외부 영상의 보정을 도시한 도면이다.
도 7은 도 3의 의 HUD 시스템의 외부 영상 보정 장치에 의한 외부 영상의 여러 밝기 분석에 기초한 영상 보정을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 방법의 순서도이다.
도 9는 도 8의 HUD 시스템의 외부 영상 보정 방법의 상세 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 장치의 구성도이다. 또한, 도 4a는 HUD 일반모드에서의 감마 커브 곡선을 도시한 도면이고, 도 4b는 HUD 일반모드 및 HUD 외부영상모드에서의 감마 커브 곡선을 함께 도시한 도면이다. 그리고, 도 5는 도 3의 HUD 시스템의 외부 영상 보정 장치가 적용된 외부 영상의 단위 영역의 일례를 도시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 HUD 시스템(200)의 외부 영상 보정 장치(100)는, 차량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템(200)의 외부 영상을 보정하는 장치이다. 구체적으로, HUD 시스템(200)의 외부 영상 보정 장치(100)는 영상 획득부(110), 영상 분석부(120), 보정 판단부(130) 및 영상 보정부(140)를 포함하며, 영상 분할부(150)를 더 포함할 수 있다.
영상 획득부(110)는 차량의 외부를 촬영하여 외부 영상을 획득한다. 영상 획득부(110)는 카메라 모듈일 수 있다. 여기에서, CCD(Charge Coupled Device) 모듈 또는 CMOS(Complementary Metal Oxide Semiconductor) 모듈 중 적어도 하나를 이미지 센서로 사용할 수 있다. 카메라 모듈을 통하여 생성된 영상에 대한 일련의 영상 처리가 영상 획득부(110)에서 수행된다.
영상 처리된 결과를 운전자에게 차량 내부에 설치된 일반 디스플레이 장치(미도시)를 통해 알려 줄 수도 있다. 이러한 디스플레이 장치는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 영상 표시 수단이 구비된 모듈로서 전달 받은 영상 정보를 디스플레이하는 역할을 한다.
영상 획득부(110)는 차량의 주행 방향 전방의 영상 또는 후방의 영상, 즉 외부 영상을 획득하여 영상 분석부(120) 또는 영상 분할부(150)로 송출하는 역할을 수행할 수 있다. 영상 획득부(110)는 획득된 외부 영상을 이미지 데이터 형태로 변환하여 영상 분석부(120) 또는 영상 분할부(150)로 전송할 수 있다.
또한, 영상 획득부(110)는 데이터 전송이 용이하도록 영상을 압축한 압축 포맷 형태로 변환할 수 있다. 압축 포맷 형태의 이미지 데이터는 MPEG(Moving Picture Experts Group)-1 또는 MPEG-4 등의 다양한 포맷을 가질 수 있다.
영상 획득부(110)를 구성하는 카메라 모듈은 야간에 정확한 차량의 전방 상황을 감지할 수 있도록 야간 촬영이 가능한 카메라일 수 있다. 즉, 적외선을 감지하는 적외선 센서모듈을 포함하는 카메라 모듈일 수 있다. 특히, 상기 적외선 센서 모듈은 근적외선을 감지하는 근적외선 센서 모듈인 것이 바람직하나, 이에만 한정되지 아니하며, 원적외선을 감지하는 원적외선 센서 모듈일 수도 있음은 당연하다 할 것이다.
영상 분석부(120)는 영상 획득부(110)에 의해 획득되어 전달되는 외부 영상의 밝기를 분석한다. 특히, 영상 분석부(120)는 소정 구간에서 외부 영상의 각 픽셀이 갖는 휘도값을 검출하여 상기 외부 영상의 밝기를 분석할 수 있다. 예를 들어, 8bit에서 각 픽셀의 픽셀값은 0~255 사이로 표현될 수 있고, 이러한 픽셀값을 기초로 외부 영상의 밝기를 분석하게 된다.
여기에서, 획득된 외부 영상이 RGB 방식으로 표현되면, YCbCr 방식으로 변환하여 외부 영상의 밝기를 분석하는 것이 바람직하다. 이를 위해, RGB 방식을 YCbCr 방식으로 변환하는 변환 매트릭스(Transform Matrix)가 사용될 수 있다. 이러한 변환 매트릭스는 다음의 수학식 1과 같이 표현될 수 있다.
보정 판단부(130)는 외부 영상의 밝기 보정이 필요한지를 판단한다. 구체적으로, 보정 판단부(130)는 외부 영상의 밝기가 미리 설정된 기준 밝기보다 어두운 경우 상기 밝기 보정이 필요한 것으로 판단할 수 있다. 예를 들어, 외부 영상의 전체 픽셀의 휘도 평균을 구한 평균값이 기준 휘도값보다 낮은 경우, 보정이 필요한 경우로 판단할 수 있다. 또는, 외부 영상을 여러 영역으로 분할하여 영역 간의 평균 휘도값 차이가 미리 설정된 기준이 되는 기준 차이값 이상인 경우, 외부 영상의 밝기 보정이 필요한 경우로 판단할 수도 있다. 이외에도, 영상의 밝기 보정이 필요한 경우를 판단하는 여러 알고리즘을 사용할 수 있으며, 본 명세서에 기재되지 않은 여러 알고리즘을 적용할 수 있음은 당업자에게 자명하다 할 것이다.
영상 보정부(140)는 보정 판단부(130)에 의해 외부 영상의 밝기 보정이 필요한 것으로 판단된 경우, 외부 영상의 밝기를 보정한다. 예를 들어, 영상 보정부(140)는 감마테이블을 보상하여 외부 영상의 밝기를 보정할 수 있다. 이러한 감마테이블의 보상에 따른 영상의 밝기 보정이 이루어지는 과정을 도 4a 및 도 4b를 참조하여 살펴 보도록 한다.
도 4a에 도시한 바와 같이, 디스플레이되지 전의 이미지 센서에서 획득된 영상은 입력 밝기와 출력 밝기가 정확히 선형적인 커브를 이룰 수 있다. 그러나, 도 4b에 도시한 바와 같이, 디스플레이 장치에서 디스플레이되는 영상은 선형 관계가 아니라 곡선인 고차 함수 관계가 된다. 사람의 눈은 밝기를 완벽하게 선형적으로 인지할수 없으며, 어두운 부분에서의 밝기 변화는 실제 변화보다 더 많이 변화했다고 인지하며 밝은 부분에서의 밝기 변화는 실제 변화보다 적게 변화했다고 인지하는 것이다. 도 4b에서 위쪽의 커브 곡선이 밝기(예를 들어, 0~255) 범위 내에서의 인지 민감도를 나타낸다. 즉 영상의 이미지는 사람의 눈으로 볼때는 기울기 1인 아래쪽의 실제 커브와 달리 위쪽의 커브 곡선처럼 위로 휘어진 이미지처럼 보여진다.
그리하여, 입력의 어두운 쪽이 약간만 밝기가 변해도 출력은 그 차이보다 더 많이 밝아지는 것으로 해석되며, 반대로 밝은쪽으로 가면 실제 차이보다 많이 변해야만 출력의 밝기가 변하는 것을 알 수 있다. 이에 따라, 영상의 밝기 조정은 도 4b에 도시된 위쪽 커브 곡선의 왼쪽 끝의 값을 바꿔, 검은색으로 표시되는 영상을 밝게 보정할 수 있다. 즉, 감마값을 조정하는 경우, 블랙 레벨(black level)의 밝기가 더 영향을 받아 어두운 부분의 밝기 변화를 밝은 부분의 밝기 변화보다 더욱 민감하게 받아들이게 된다. 그러므로, 영상 보정부(140)가 감마테이블을 보상하여 어두운 외부 영상을 보다 밝게 보정할 수 있게 된다.
영상 분할부(150)는 영상 획득부(110)가 획득한 외부 영상을 복수의 단위 영역으로 분할한다. 외부 영상의 밝기를 분석하여 보정함에 있어, 외부 영상의 전체 영역을 샘플링하여 분석할 수도 있으나, 외부 영상의 밝기는 소정 영역별로 그룹화할 수도 있으므로, 외부 영상의 특정 영역을 샘플링하여 분석할 수도 있다. 일례로, 야간에 촬영되는 차량의 외부 영상은 차량의 램프에 의해 조사되는 빛의 영향으로 아랫 부분이 윗 부분보다 더 어둡게 보일 수 있다. 그리하여, 외부 영상을 복수의 단위 영역으로 분할하여 각 영역별 밝기를 분석하는 것이 유리할 수 있다.
영상 분할부(120)에 의해 외부 영상은 MXN의 단위 영역으로 분할될 수 있다. 예를 들어, 가로와 세로의 단위 영역의 수가 다르게 분할할 수도 있으나, 가로와 세로의 단위 영역의 수가 동일하게 분할될 수도 있다. 바람직하게는, 도 5에 도시한 바와 같이, 영상 분할부(150)가 외부 영상을 8X8 크기의 단위 영역으로 분할할 수 있다. 이는 영상 압축의 표준인 JPEG(Joint Picture Expert Group)과 MPEG과 관련된 것이며, 경험적으로 가장 최적화된 분할 방법이기 때문이다. 또한, 각 단위 영역은 일정한 화소 크기를 가지며, 바람직하게는 각 단위 영역은 영상 분할부(150)에 의해 16X16의 화소 크기를 가지도록 분할될 수 있다. 물론, 상기 화소 크기에만 한정되어 분할되는 것은 아니며, 192X128 등 여러 화소 크기로 분할될 수 있음은 당연하다 할 것이다.
영상 분할부(120)에 의해 외부 영상이 복수의 단위 영역으로 분할된 경우, 영상 분석부(120)는 단위 영역 각각의 밝기를 분석할 수 있다. 차량의 외부 영상은 차량의 헤드라이트 등에 의한 영향으로 아래쪽의 밝기가 상대적으로 어두우므로, 단위 영역 각각의 밝기차가 상대적으로 어두운 단위 영역만 밝기 보정을 하여 전체적으로 외부 영상의 밝기차를 줄일 수 있다. 이를 위해, 영상 보정부(140)는 각 단위 영역 중에서 미리 설정된 기준 밝기보다 어두운 단위 영역에만 감마테이블을 보상하여 밝기를 보정할 수 있다.
도 6은 도 3의 의 HUD 시스템의 외부 영상 보정 장치에 의한 외부 영상의 보정을 도시한 도면이며, 도 7은 도 3의 의 HUD 시스템의 외부 영상 보정 장치에 의한 외부 영상의 여러 밝기 분석에 기초한 영상 보정을 도시한 도면이다.
도 6을 참조하면, 촬영되어 획득된 외부 영상(A10)은 영상 보정 장치(100)에 의해 영상의 밝기가 분석되고, 밝기 보정이 필요하면 밝기 보정을 한 후에, 보정 영상(A20)이 HUD 시스템(200)에 입력되어 HUD 영상으로 디스플레이된다. 외부 영상(A10)은 밝기 보정에 의해 전체적으로 밝기가 향상되어 검은색의 블랙 레벨 영역이 줄어들게 되며, 이에 따라 HUD 영상이 투명하지 않고 더 진하게 표시되게 된다.
도 7을 참조하면, 촬영되어 획득된 외부 영상(A10)은 영상 보정 장치(100)에 의해 영상의 밝기가 분석됨에 있어, 여러 분석 기법을 이용할 수 있다. 외부 영상(A10)을 복수의 단위 영역으로 일정하게 분할하여 각 단위 영역의 중심 부분의 밝기를 분석하거나(A11), 외부 영상(A10)의 가장자리 네 영역의 밝기를 분석하거나(A12), 외부 영상(A10)을 전체 영역의 밝기를 분석하거나(A13) 할 수 있다. 이러한 여러 분석 기법에 의해 외부 영상(A10)의 밝기를 분석한 후에, 밝기 보정이 필요 시 감마테이블을 보상하여 보정 영상(A20)을 생성하게 된다.
도 6 및 도 7에서, 외부 영상(A10)의 밝기를 분석하여 감마테이블을 보상하여 밝기를 보정함에 따라 보정 영상(A20)의 밝기가 향상된 것을 알 수 있다. 이러한 보정 영상(A20)이 HUD 시스템(200)이 입력됨에 따라 HUD 영상의 투명도를 낮춰 더욱 정확한 정보가 운전자에게 전달되는 것이다.
도 8은 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 방법의 순서도이며, 도 9는 도 8의 HUD 시스템의 외부 영상 보정 방법의 상세 순서도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 방법은, 차량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템의 외부 영상을 보정하는 방법이다. 즉, 외부 영상의 밝기를 보정하는 경우, 사람의 눈에 인지되는 영상은 어두운쪽이 약간만 밝기가 변해도 출력은 그 차이보다 더 많이 밝아지고, 반대로 밝은쪽은 실제 차이보다 많이 변해야만 출력의 밝기가 변하게 되므로, 감마테이블을 보상하여 전체적으로 영상의 밝기를 향상시킬 수 있다.
이를 위해, HUD 시스템의 외부 영상 보정 방법은, 차량의 외부를 촬영하여 외부 영상을 획득하고(S10), 상기 외부 영상의 밝기를 분석하여(S20), 상기 외부 영상의 보정이 필요한지를 판단하며(S30), 보정이 필요한 경우, 감마테이블을 보상하여 상기 외부 영상을 보정한다(S40). 이를 통해, 외부 영상(나이트 비전 영상, 후방 카메라 영상 등)이 어두우면 어두울수록 헤드 업 디스플레이 표시 장치에 검은색으로 표현됨으로써 실제 디스플레이되는 HUD 영상은 허상이어서 투명하게 표현되어 운전자에게 왜곡된 정보를 알려주는 것을 방지할 수 있다.
이때 외부 영상의 보정이 필요한지를 판단하기 위해(S30), 외부 영상을 이진화하여 이진화 영상을 획득하고(S27), 상기 이진화 영상에서 흑으로 표현되는 픽셀이 미리 설정된 기준 개수를 초과하는 경우, 상기 외부 영상의 보정이 필요한 것으로 판단할 수 있다(S29). 여기에서, 이진화(binarization) 영상의 모든 픽셀은 오직 흑과 백으로만 표현된다. 이를 위한 기준으로 소정 임계값을 기초로 낮은 값을 가지는 픽셀은 흑으로 높은 값을 가지는 픽셀은 백으로 표현할 수 있다. 상기 소정 임계값은, 모든 픽셀들의 밝기 값의 평균을 이용하거나 iterative selection, two peak 방법 등 여러 가지 방법을 사용할 수 있다. 또는 사용자가 직접 임계값을 정하여 사용할 수도 있다. 이진화 영상으로 표현함으로써, 상대적으로 어두운 부분으로 이루어진 영역을 빠르게 찾을 수 있고, 흑으로 표현되는 영역의 크기가 큰 부분만 밝기 보정을 할 수 있다.
이러한 HUD 시스템의 외부 영상 보정 방법에 의해, 운전자에게 보다 정확한 HUD 영상을 제공하여 운전자가 안전하게 주행이 가능하도록 할 수 있다.
한편, 본 발명의 일 실시예에 따른 HUD 시스템의 외부 영상 보정 방법은 소프트웨어 및 하드웨어에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 롬(ROM), 플로피 디스크, 하드 디스크 등의 자기적 매체, CD, DVD 등의 광학적 매체 및 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 형태로 구현된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네크워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: HUD 시스템의 외부 영상 보정 장치
110: 영상 획득부
120: 영상 분석부
130: 보정 판단부
140: 영상 보정부
150: 영상 분할부
200: HUD 시스템
110: 영상 획득부
120: 영상 분석부
130: 보정 판단부
140: 영상 보정부
150: 영상 분할부
200: HUD 시스템
Claims (12)
- 차량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템의 외부 영상 보정 장치에 있어서,
차량의 외부를 촬영하여 외부 영상을 획득하는 영상 획득부;
상기 외부 영상의 밝기를 분석하는 영상 분석부;
상기 외부 영상의 밝기 보정이 필요한지를 판단하는 보정 판단부; 및
상기 외부 영상의 밝기를 보정하는 영상 보정부를 포함하는, HUD 시스템의 외부 영상 보정 장치. - 제 1항에 있어서,
상기 영상 획득부는, CCD 및 CMOS 중에서 선택된 어느 하나를 이미지 센서로 사용하는, HUD 시스템의 외부 영상 보정 장치. - 제 2항에 있어서,
상기 영상 획득부는, 근적외선 센서를 구비하는, HUD 시스템의 외부 영상 보정 장치. - 제 1항에 있어서,
상기 영상 분석부는, 소정 구간에서 상기 외부 영상의 각 픽셀이 갖는 휘도값을 검출하여 상기 외부 영상의 밝기를 분석하는, HUD 시스템의 외부 영상 보정 장치. - 제 1항에 있어서,
상기 보정 판단부는, 상기 외부 영상의 밝기가 미리 설정된 기준 밝기보다 어두운 경우 상기 밝기 보정이 필요한 것으로 판단하는, HUD 시스템의 외부 영상 보정 장치. - 제 1항에 있어서,
상기 영상 보정부는, 감마테이블을 보상하여 상기 외부 영상의 밝기를 보정하는, HUD 시스템의 외부 영상 보정 장치. - 제 1항에 있어서,
상기 외부 영상을 복수의 단위 영역으로 분할하는, 영상 분할부를 더 포함하는, HUD 시스템의 외부 영상 보정 장치. - 제 7항에 있어서,
상기 영상 분할부는, 상기 외부 영상을 8X8 크기의 단위 영역으로 분할하는, HUD 시스템의 외부 영상 보정 장치. - 제 7항에 있어서,
상기 영상 분석부는, 상기 단위 영역 각각의 밝기를 분석하는, HUD 시스템의 외부 영상 보정 장치. - 제 9항에 있어서,
상기 영상 보정부는, 상기 각 단위 영역 중에서 미리 설정된 기준 밝기보다 어두운 단위 영역에만 감마테이블을 보상하여 밝기를 보정하는, HUD 시스템의 외부 영상 보정 장치. - 차량 외부의 영상을 운전자의 전방에 허상을 만들어 헤드업 디스플레이하는 HUD 시스템의 외부 영상 보정 방법에 있어서,
차량의 외부를 촬영하여 외부 영상을 획득하는 단계;
상기 외부 영상의 밝기를 분석하는 단계;
상기 외부 영상의 보정이 필요한지를 판단하는 단계; 및
보정이 필요한 경우, 감마테이블을 보상하여 상기 외부 영상을 보정하는 단계를 포함하는, HUD 시스템의 외부 영상 보정 방법. - 제 11항에 있어서,
상기 외부 영상의 보정이 필요한지를 판단하는 단계는,
상기 외부 영상을 이진화하여 이진화 영상을 획득하는 단계; 및
상기 이진화 영상에서 흑으로 표현되는 픽셀이 미리 설정된 기준 개수를 초과하는 경우, 상기 외부 영상의 보정이 필요한 것으로 판단하는 단계를 포함하는, HUD 시스템의 외부 영상 보정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120149085A KR101979569B1 (ko) | 2012-12-20 | 2012-12-20 | Hud 시스템의 외부 영상 보정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120149085A KR101979569B1 (ko) | 2012-12-20 | 2012-12-20 | Hud 시스템의 외부 영상 보정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140079907A true KR20140079907A (ko) | 2014-06-30 |
| KR101979569B1 KR101979569B1 (ko) | 2019-05-17 |
Family
ID=51130753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120149085A KR101979569B1 (ko) | 2012-12-20 | 2012-12-20 | Hud 시스템의 외부 영상 보정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101979569B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9630477B2 (en) | 2015-05-20 | 2017-04-25 | Hyundai Motor Company | Device for preventing head lamp glare and method for preventing glare using the same |
| WO2023210681A1 (ja) * | 2022-04-27 | 2023-11-02 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050039313A (ko) * | 2003-10-24 | 2005-04-29 | 현대자동차주식회사 | 차량의 나이트 비전 시스템 및 이의 헤드업 디스플레이표시화면 제어방법 |
| JP2006030713A (ja) * | 2004-07-16 | 2006-02-02 | Alpine Electronics Inc | 表示装置 |
| JP2007050757A (ja) * | 2005-08-17 | 2007-03-01 | Denso Corp | 車両用表示制御装置 |
-
2012
- 2012-12-20 KR KR1020120149085A patent/KR101979569B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050039313A (ko) * | 2003-10-24 | 2005-04-29 | 현대자동차주식회사 | 차량의 나이트 비전 시스템 및 이의 헤드업 디스플레이표시화면 제어방법 |
| JP2006030713A (ja) * | 2004-07-16 | 2006-02-02 | Alpine Electronics Inc | 表示装置 |
| JP2007050757A (ja) * | 2005-08-17 | 2007-03-01 | Denso Corp | 車両用表示制御装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9630477B2 (en) | 2015-05-20 | 2017-04-25 | Hyundai Motor Company | Device for preventing head lamp glare and method for preventing glare using the same |
| WO2023210681A1 (ja) * | 2022-04-27 | 2023-11-02 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101979569B1 (ko) | 2019-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101367637B1 (ko) | 감시장치 | |
| US10176543B2 (en) | Image processing based on imaging condition to obtain color image | |
| US20150213586A1 (en) | Image processing apparatus, image processing method, display apparatus, and control method for display apparatus | |
| JP2014116756A (ja) | 周辺監視システム | |
| US20180332207A1 (en) | Information processing device, information processing method, and program | |
| US20110134328A1 (en) | Video processing apparatus and video processing method | |
| US20120162425A1 (en) | Device and method for securing visibility for driver | |
| US11172173B2 (en) | Image processing device, image processing method, program, and imaging device | |
| EP2109061B1 (en) | Image processing apparatus for vehicle | |
| JP2014015127A (ja) | 情報表示装置、情報表示方法およびプログラム | |
| US10810970B1 (en) | Display device | |
| US20230142989A1 (en) | Electronic device and imaging device | |
| KR101341584B1 (ko) | 차량용 디스플레이 보정 시스템 | |
| KR102393751B1 (ko) | Hud 컨텐츠 시인성 강화 방법 및 장치 | |
| KR101259159B1 (ko) | 신호등 인식을 통한 차량 경고 장치 및 그 방법 | |
| KR101979569B1 (ko) | Hud 시스템의 외부 영상 보정 장치 및 방법 | |
| KR20150079004A (ko) | 차량용 표시 장치 및 그 제어 방법 | |
| US9064158B2 (en) | Vehicle surroundings monitoring device | |
| KR20120055824A (ko) | 차량용 카메라 시스템의 영상 획득 방법 | |
| De Locht et al. | Complementary metal-oxide-semiconductor (CMOS) image sensors for automotive applications | |
| US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
| US20150029204A1 (en) | Dynamic localized contrast enhancement method for image and computer readable medium of the same | |
| JP2001084497A (ja) | 位置検出装置 | |
| WO2015141860A1 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| KR20180095251A (ko) | 카메라 모니터링 시스템 및 이의 영상 보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |