KR20150042478A - System and Method of Displaying Virtual Image - Google Patents
System and Method of Displaying Virtual Image Download PDFInfo
- Publication number
- KR20150042478A KR20150042478A KR20130121180A KR20130121180A KR20150042478A KR 20150042478 A KR20150042478 A KR 20150042478A KR 20130121180 A KR20130121180 A KR 20130121180A KR 20130121180 A KR20130121180 A KR 20130121180A KR 20150042478 A KR20150042478 A KR 20150042478A
- Authority
- KR
- South Korea
- Prior art keywords
- color
- virtual image
- background
- vehicle
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Abstract
Description
본 발명은 가상이미지 출력 장치 및 그 방법에 관한 것으로서, 구체적으로 차량에 장착된 전방 카메라의 영상에서 추출한 이미지 정보를 이용하여 운전자에게 명시성이 높은 차량 HUD 가상 이미지를 제공하는 시스템 및 그 방법에 관한 것이다. The present invention relates to a virtual image output apparatus and a method thereof, and more particularly, to a system and method for providing a vehicle HUD virtual image with high clearness to a driver by using image information extracted from an image of a front camera mounted on a vehicle will be.
최근 출시되는 자동차에는 운전자의 편의를 위해, 조도에 따라 라이트를 자동으로 온/오프 하는 오토라이트 장치 및 차량 주행중의 운행 정보가 자동차 전면의 유리에 나타나도록 하는 HUD 장치가 탑재되고 있다.Recently, automobiles are equipped with an auto light device that automatically turns on / off the light according to the illuminance for the convenience of the driver, and a HUD device that displays driving information on the front glass of the vehicle.
차량의 이동에 따른 차량의 주행 정보, 단문 메시지등과 같은 운전자의 안전운행 및 편의를 위해 필요한 차량 정보를 HUD(Head-Up Display) 또는 프로젝터를 통해 차량의 앞유리(Windshield)에 표시함으로써 운전자가 편리하고, 안전하게 주행할 수 있도록 하는 정보 표시 장치 및 그 방법에 관한 기술이 공개공보 2004-0019453 등에 개시되어 있다. By displaying the vehicle information necessary for safe operation and convenience of the driver, such as the driving information of the vehicle and the short message according to the movement of the vehicle, on the windshield of the vehicle through the HUD (Head-Up Display) or projector, Open No. 2004-0019453 and the like disclose an information display apparatus and a method for the information display apparatus that enable convenient and safe driving.
도 1은 종래기술에 따른 정보 표시 장치의 구성을 나타낸 도면이다. 도1에 도시된 바와 같이, 종래의 HUD 에 의해 생성된 디스플레이 영상은 앞유리에 반사되어 운전자의 눈에 영상이 보이도록 한다.1 is a view showing a configuration of an information display apparatus according to the related art. As shown in FIG. 1, the display image generated by the conventional HUD is reflected on the windshield so that an image is seen on the driver's eyes.
이러한 반사영상의 색은, 운전자가 이미지를 인식할 수 있도록 하는데 매우 중요한 요소 중 하나이며, 인식 성능을 향상 시키기 위한 유저 인터페이스와 관련된 많은 연구를 통해 운전자가 최적으로 이미지를 인식할 수 있도록 선정된다. The color of the reflection image is one of the most important factors for the driver to recognize the image and is selected so that the driver can recognize the image optimally through a lot of studies related to the user interface for improving the recognition performance.
하지만, 최적의 색을 선정하더라도 외부 환경(예컨대, 날씨, 장소)에 따라 HUD 디스플레이 영상의 사용자 인식에 문제가 발생할 수 있다. 예컨대, 흰색의 이미지는 눈이 내린 도로환경에서 인식이 힘들게 되고, 숲이 우거진 장소에서 녹색의 이미지는 운전자가 인식하기 어려워 안전한 주행에 방해가 된다는 문제점이 있다.
However, even if the optimum color is selected, there may be a problem in recognizing the user of the HUD display image according to the external environment (e.g., weather, place). For example, a white image becomes difficult to recognize in a snowy road environment, and a green image is difficult to recognize by a driver in a forested place, which hinders safe driving.
본 발명은 전술한 문제점을 해결하기 위하여, HUD 영상에서 표현되는 이미지의 색(Color)을 환경변화(날씨, 장소)에도 최적의 인식성능을 유지할 수 있도록 전방카메라의 영상에서 추출한 색 정보에 맞추어 최적의 HUD 이미지의 색으로 변경하여 출력하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.
In order to solve the above-described problems, the present invention provides an image processing method and an image processing method in which the color of an image expressed in an HUD image is optimized in accordance with color information extracted from an image of a front camera, And outputting the converted HUD image.
본 발명의 일면에 따른 차량 HUD 가상 이미지 출력 장치는 사용자로부터 가상 이미지의 색변경 명령을 입력 받으면, 차량에 장착된 카메라로부터 가상 이미지 배경 색을 추출하여, 추출된 배경색의 보색으로 가상 이미지의 출력색을 선정하는 제어모듈을 포함한다. A vehicle HUD virtual image output apparatus according to an embodiment of the present invention extracts a virtual image background color from a camera mounted on a vehicle when receiving a color change command of a virtual image from a user, And a control module for selecting the control module.
본 발명의 제어모듈은 차량 사용자로부터 가상 이미지 색 변경 명령을 입력 받는 버튼 인식부, 사용자의 색 변경 명령을 획득하면, 차량에 장착된 카메라로부터 가상 이미지의 배경 정보를 획득하는 입력부, 배경 정보에서 색정보를 추출하여, 가상 이미지와 상기 배경색을 비교하는 컬러 비교부, 배경색의 보색으로 가상 이미지의 색을 선택하는 컬러 선정부 및 컬러 선정부에 의해 선택된 색으로 가상 이미지를 출력하는 디스플레이부를 포함한다. The control module of the present invention includes a button recognition unit for receiving a virtual image color change command from a vehicle user, an input unit for acquiring background information of a virtual image from a camera mounted on the vehicle, A color comparison unit for extracting information and comparing the virtual image with the background color, a color selection unit for selecting the color of the virtual image as a complementary color of the background color, and a display unit for outputting the virtual image with the color selected by the color selection unit.
본 발명의 컬러 선정부는 배경색의 보색 및/또는 명시도가 높은 색이나, 사용자에 의해 임의로 지정된 색으로 가상 이미지의 색을 선정하고, 여러 주행상황에서 가상 이미지의 명시성을 고려한 상기 가상 이미지의 최적 명도를 선정한다.The color selection unit of the present invention can select the color of the virtual image with a color complementary to the background color and / or a color with a high degree of clarity or with a color arbitrarily designated by the user, and determine a color of the virtual image considering the clarity of the virtual image in various driving situations Select brightness.
본 발명의 다른 일면에 따른 차량 HUD 가상 이미지 출력 방법은 사용자로부터 가상 이미지의 색 변경 명령을 수신하는 단계, 차량에 장착된 카메라로부터 가상 이미지 배경을 획득하는 단계, 획득한 가상 이미지 배경의 보색으로 차량의 앞 유리에 출력되는 가상 이미지의 색을 변경하는 단계를 포함한다. In accordance with another aspect of the present invention, there is provided a vehicle HUD virtual image output method comprising: receiving a virtual image color change command from a user; acquiring a virtual image background from a camera mounted on the vehicle; And changing the color of the virtual image output to the windshield of the vehicle.
본 발명의 차량에 장착된 카메라로부터 가상 이미지 배경을 획득하는 단계는Obtaining a virtual image background from a camera mounted on the vehicle of the present invention
가상 이미지 배경색을 추출하는 단계, 추출된 가상 이미지의 배경색과 가상 이미지 색을 비교하는 단계 및 가상 이미지 배경색의 보색을 도출하는 단계를 포함한다. Extracting a virtual image background color, comparing the background color of the extracted virtual image with a virtual image color, and deriving a complementary color of the virtual image background color.
본 발명의 가상 이미지 배경색의 보색을 도출하는 단계는 배경색의 보색 및/또는 명시도가 높은 색이나, 사용자에 의해 임의로 지정된 색으로 가상 이미지의 색을 선정하는 단계 및 가상 이미지의 명시성을 고려한 최적 명도를 선정하는 단계를 더 포함한다.
The step of deriving the complementary color of the virtual image background color of the present invention may include a step of selecting a color of the virtual image with a color complementary to the background color and / or a color having a high degree of clarity, or a color arbitrarily designated by the user, And a step of selecting brightness.
본 발명은 차량 주행 중 환경변화 (예컨대, 날씨, 장소 등)에 관계없이 전방 카메라의 영상에서 추출한 가상 이미지의 배경색을 인식하여 사용자에게 명시성이 높은 최적의 HUD 가상 이미지를 제공하여 HUD 이미지 인식 성능을 극대화 하여 주행 안정성 및 운전자 편의성을 향상시키는 이점을 제공한다.
The present invention recognizes a background color of a virtual image extracted from an image of a front camera regardless of environmental changes (for example, weather, place, etc.) during driving to provide an optimal HUD virtual image with high clarity to a user, Thereby enhancing the driving stability and the driver's convenience.
도 1은 본 발명의 종래기술에 따른 HUD 이미지 출력 장치 구성도.
도 2는 본 발명의 일실시예에 따른 가상 이미지 출력 동작 실시예를 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 가상 이미지 출력 장치 블록도.
도 4는 본 발명의 일실시예에 따른 가상 이미지 출력 동작 흐름도.
도 5는 본 발명의 일실시예에 따른 가상이미지 색 선정을 위한 색 대비 표.1 is a block diagram of a conventional HUD image output apparatus according to the present invention.
2 is a diagram illustrating an embodiment of a virtual image output operation according to an embodiment of the present invention.
3 is a block diagram of a virtual image output apparatus according to an embodiment of the present invention.
4 is a flowchart of a virtual image output operation according to an embodiment of the present invention;
5 is a color contrast chart for selecting a virtual image color according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is defined by the scope of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. &Quot; comprises " and / or "comprising" when used in this specification is taken to specify the presence or absence of one or more other components, steps, operations and / Or add-ons. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 일실시예에 따른 차량의 HUD 가상 이미지 출력 실시예를 나타낸 도면이다. 도 2a 에 도시된 바와 같이, HUD 가상 이미지는 디스플레이 장치의 비구면 미러와 앞유리(Windshield)에 반사된 이미지의 초점이 운전자가 인식할 수 있는 위치에 형성되어, 차량의 주행 정보, 단문 메시지 와 같은 안전운행과 운전자 편의를 위해 필요한 차량 정보를 주행 중 앞유리를 통해 편리하게 인식할 수 있도록 하는 것이다.2 is a view showing an embodiment of HUD virtual image output of a vehicle according to an embodiment of the present invention. As shown in FIG. 2A, the HUD virtual image is formed at a position where the focus of the aspheric mirror of the display device and the image reflected by the windshield can be recognized by the driver, so that the driving information of the vehicle, The vehicle information necessary for safe driving and driver convenience can be conveniently recognized through the windshield while driving.
본 발명에 따른 일실시예에서는 도 2b에 도시된 바와 같이, 예컨대, 눈이 내린 상황에서는 가상이미지 배경색이 흰색인 점을 고려하여 흰색에서 명시성이 가장 높은 붉은색, 녹색 등으로 이미지를 출력하여 운전자에게 제공한다.In an embodiment according to the present invention, as shown in FIG. 2B, for example, in a situation in which snow falls, an image is output in red, green, or the like having the highest clearness in white Provide to the driver.
도 2c 및 2d 에 도시된 바와 같은, 비가 오는 상황에서도 배경색과의 대비와 이미지의 명도를 고려하여 운전자 명시성을 최대화한 가상 이미지를 제공한다. As shown in FIGS. 2C and 2D, a virtual image maximizing the driver's explicitness is provided in consideration of the contrast with the background color and the brightness of the image even in a rainy state.
도 3은 본 발명의 일실시예에 따른 가상 이미지 출력장치의 블록도를 나타낸 도면이다. 3 is a block diagram of a virtual image output apparatus according to an embodiment of the present invention.
본 발명에 따른 차량 HUD 가상 이미지 출력 장치는 사용자로부터 가상 이미지의 색변경 명령을 입력 받으면, 차량에 장착된 카메라로부터 가상 이미지 배경 색을 추출하여, 추출된 배경색의 보색으로 상기 가상 이미지의 출력색을 선정하는 제어모듈(310)을 포함한다. The vehicle HUD virtual image output apparatus according to the present invention extracts a virtual image background color from a camera mounted on a vehicle and outputs an output color of the virtual image to a complementary color of the extracted background color, And a
본 발명의 제어모듈(310)은 차량 사용자로부터 가상 이미지 색 변경 명령을 입력 받는 버튼 인식부(311), 사용자의 색 변경 명령을 획득하면, 차량에 장착된 카메라로부터 가상 이미지의 배경 정보를 획득하는 입력부(312), 배경 정보에서 색정보를 추출하여, 가상 이미지와 상기 배경색을 비교하는 컬러 비교부(313), 배경색의 보색으로 가상 이미지의 색을 선택하는 컬러 선정부(314) 및 컬러 선정부에 의해 선택된 색으로 가상 이미지를 출력하는 디스플레이부(320)를 포함한다.The
컬러 비교부(313)의 HUD 가상 이미지 형성 원리는 도 2에 도시된 바와 같이, HUD 디스플레이 장치의 비구면 윈드실드(Windshield)에 반사된 이미지의 초점이 운전자가 인식할 수 있는 곳에 형성된다. 이와 같이 형성된 이미지는 멀리 있는 것처럼 보여 가상 이미지라고 한다. The HUD virtual image forming principle of the color comparator 313 is formed at a position where the focus of the image reflected on the aspherical windshield of the HUD display device can be recognized by the driver, as shown in FIG. The image thus formed appears to be far away and is called a virtual image.
기존 HUD의 가상이미지는 입력된 기호와 색으로 표현되어 도1c와 같이 주행 환경 변화 때문에 의해 이미지를 명확히 인식하기 어려운 상황이 발생할 수 있다.The virtual image of the existing HUD is represented by the input symbols and colors, and it may be difficult to clearly recognize the image due to the change of the traveling environment as shown in FIG. 1c.
인식이 어려운 상황은 예컨대, 흰색 가상 이미지인 경우 눈이 내려 인식이 어렵거나, 주행 도로가 아스팔트에서 시멘트로 바뀌어 이미지 배경의 색이 변하는 상황이 있을 수 있고, 가상 이미지가 어두운 색 이라면, 야간이 되었을 때 인식이 어려울 수 있다. For example, in the case of a white virtual image, there may be a situation in which the eyes are hard to recognize, the road is changed from asphalt to cement, and the color of the image background changes. If the virtual image is dark, Recognition can be difficult at times.
본 발명의 컬러 선정부 비교부(313) 및/또는 컬러 선정부(314)는 외부 환경의 밝기 변화에 따라 이미지의 밝기를 조정하고, 이에 더해 이미지 색을 명시성이 더 높은 색으로 변경하여 인식 성능을 최적화 한다.The color line comparison unit 313 and / or the
본 발명의 일실시예에 따른 컬러 선정부(314)는 인식된 배경색의 보색 및/또는 명시도가 높은 색이나, 사용자에 의해 임의로 지정된 색으로 가상 이미지의 색을 선정하고, 여러 주행상황에서 상기 가상이미지의 명시성을 고려한 가상 이미지의 최적 명도를 선정한다.The
도 4는 본 발명의 일실시예에 따른 가상 이미지 출력 동작 흐름도이다. 4 is a flowchart of a virtual image output operation according to an embodiment of the present invention.
본 발명은 차량 HUD 가상 이미지 출력 방법으로서, 사용자가 색변경 버튼을 누르면, 가상 이미지의 색 변경 명령을 수신하는 단계(S410), 차량에 장착된 카메라로부터 가상 이미지 배경을 획득하는 단계(S420), 획득한 가상 이미지 배경 의 보색으로 차량의 앞 유리에 출력되는 가상 이미지의 색을 변경하는 단계(S450)를 포함한다.A method for outputting a virtual HUD image of a vehicle, the method comprising: receiving a color change command of a virtual image when the user presses a color change button (S410); acquiring a virtual image background from a camera mounted on the vehicle (S420) And changing the color of the virtual image output to the windshield of the vehicle from the complementary color of the acquired virtual image background (S450).
차량에 장착된 카메라로부터 가상 이미지 배경을 획득하는 단계(S420)는, 차량 전방 카메라를 이용하여 차량 전방 영상을 획득하고, 운전자의 눈과 HUD 이미지 표출 위치를 고려하여, HUD 이미지가 표출되는 주변의 위치를 계산하고, 미리 획득한 전방 영상에서 해당 영역을 산출하여 그 영역의 색상을 식별 하도록 구성할 수 있다.The step S420 of acquiring the virtual image background from the camera mounted on the vehicle acquires the vehicle front image using the vehicle front camera and calculates the background image of the surrounding area in which the HUD image is displayed The position is calculated, and the corresponding region is calculated from the pre-acquired forward image to identify the color of the region.
이때, 운전자의 눈 위치는 평균치를 미리 정하여 둘 수도 있고, 운전자가 설정토록 할 수 있음은 물론이다. 또는, 차량 내부 카메라를 통하여 운전자의 얼굴을 인식하여 눈 위치를 얻도록 구성할 수도 있다. At this time, it is needless to say that the average position of the driver's eye position can be predetermined or set by the driver. Alternatively, the driver's face may be recognized through the in-vehicle camera to obtain the eye position.
가상 이미지가 위치하는 곳의 배경을 획득하면(S420), 가상 이미지의 배경색을 추출하여, 추출된 가상 이미지의 배경색과 가상 이미지 색을 비교하고 (S430), 가상 이미지 배경색의 보색을 도출한다(S440).If the background of the virtual image is located (S420), the background color of the virtual image is extracted, and the background color of the extracted virtual image is compared with the virtual image color (S430) ).
보색 및 명시성이 높은 최적의 색을 도출하기 위해, 본 발명에서는 도 5에 도시되어 있는 보색 대비표의 색을 기준으로 가장 명시성이 높은 가상 이미지의 색을 도출한다. In order to derive an optimum color having high complementary colors and high clarity, in the present invention, the color of the virtual image having the highest clearness is derived based on the color of the complementary color table shown in FIG.
예컨대, 눈이 내리는 상황에서는 이미지의 배경색이 흰색이므로, 흰색에서 명시성이 가장 높은 초록색으로 가상 이미지를 출력하거나, 도로 아스팔트를 주행할 때는, 이미지의 배경색이 회색이므로, 회색에서 명시성이 가장 높은 노란색으로 가상 이미지를 출력하게 된다. For example, since the background color of the image is white in the case of snow, the background color of the image is gray when the virtual image is outputted from the white to the green with the highest specificity or when driving on the road asphalt, And outputs a virtual image in yellow.
뿐만 아니라 본 발명에서는 배경색의 보색 및/또는 명시도가 높은 색으로 In addition, in the present invention, a complementary color of the background color and /
가상이미지를 출력하거나, 사용자가 임의로 지정한 색으로 가상 이미지의 색을 선정하여 출력할 수 있다. 아울러 본 발명에서는 가상 이미지의 명시성을 고려한 최적 명도로 이미지를 자동 출력하거나, 사용자가 의해 임의로 지정한 명도로 가상 이미지를 출력 할 수 있다. A virtual image can be output or a color of a virtual image can be selected and output with a user-designated color. In addition, according to the present invention, an image can be automatically output with an optimum brightness in consideration of the clarity of a virtual image, or a virtual image can be output with a brightness arbitrarily designated by a user.
본 발명에 따른 일실시예에서는 사용자가 임의로 지정한 이미지 출력 색이 예컨대, 회색 아스팔트 도로에서 가장 명시성이 뛰어난 노란색일 경우, 눈이 오거나, 백색의 시멘트 도로를 주행하게 되어 이미지의 배경색이 흰색으로 변화 하였을 때, 흰색 배경에서는 노란색의 명시성이 가장 낮으므로, 사용자가 임의로 이미지 출력색을 선정하였더라도, 주행 환경 변화에 따른 이미지 배경색 변화를 자동으로 고려하여, 주행 상황에서의 명시성이 높은 색 (예컨대, 초록색 및 빨강색)으로 이미지가 출력 될 수 있다. In an embodiment according to the present invention, when the image output color arbitrarily designated by the user is, for example, yellow which is the most clear on the gray asphalt road, snow or white cement road is driven, , Even if the user selects the image output color arbitrarily, the change of the image background color due to the change of the driving environment is automatically considered, and the color with high clarity in the driving situation (for example, Green, and red colors).
앞서 전술한 바와 같이, 본 발명은 차량의 주행 중 환경변화 (예컨대, 날씨, 장소)에 관계없이 전방 카메라의 영상에서 추출한 가상 이미지 배경색을 인식하여 사용자에게 명시성이 높은 최적의 HUD 가상 이미지를 제공하여 HUD 이미지의 인식 성능을 최대화 하여 주행 안정성 및 운전자 편의성을 향상시킨다. As described above, the present invention recognizes the virtual image background color extracted from the image of the forward camera regardless of the environment change (for example, weather, place) of the vehicle while driving to provide an optimal HUD virtual image with high clarity to the user Thereby maximizing recognition performance of the HUD image, thereby improving driving stability and driver convenience.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the scope of the present invention, but are intended to be illustrative, and the scope of the present invention is not limited by these embodiments. It is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents, which fall within the scope of the present invention as claimed.
Claims (6)
사용자로부터 상기 가상 이미지의 색변경 명령을 입력 받으면,
상기 차량에 장착된 카메라로부터 상기 가상 이미지 배경 색을 추출하여, 상기 추출된 배경색의 보색으로 상기 가상 이미지의 출력색을 선정하는 제어모듈;
을 포함하는 가상 이미지 출력 장치.
A vehicle HUD virtual image output device,
Upon receipt of a color change command of the virtual image from a user,
A control module for extracting the virtual image background color from a camera mounted on the vehicle and selecting an output color of the virtual image with a complementary color of the extracted background color;
And a virtual image output device.
상기 차량 사용자로부터 상기 가상 이미지 색 변경 명령을 입력 받는 버튼 인식부;
상기 사용자의 색 변경 명령을 획득하면, 상기 차량에 장착된 카메라로부터 상기 가상 이미지의 배경 정보를 획득하는 입력부;
상기 배경 정보에서 색정보를 추출하여, 상기 가상 이미지와 상기 배경색을 비교하는 컬러 비교부;
상기 배경색의 보색으로 상기 가상 이미지의 색을 선택하는 컬러 선정부; 및
상기 컬러 선정부에 의해 선택된 색으로 상기 가상 이미지를 출력하는 디스플레이부; 를 포함하는 가상 이미지 출력 장치.
2. The apparatus of claim 1, wherein the control module
A button recognition unit for receiving the virtual image color change command from the vehicle user;
An input unit for acquiring background information of the virtual image from a camera mounted on the vehicle when the color change command of the user is acquired;
A color comparator for extracting color information from the background information and comparing the virtual image with the background color;
A color selection unit for selecting a color of the virtual image with a complementary color of the background color; And
A display unit for outputting the virtual image with a color selected by the color selection unit; And a virtual image output device.
상기 배경색의 보색 및/또는 명시도가 높은 색이나, 사용자에 의해 임의로 지정된 색으로 상기 가상 이미지의 색을 선정하고,
여러 주행상황에서 상기 가상이미지의 명시성을 고려한 상기 가상 이미지의 최적 명도를 선정하는 것
인 가상 이미지 출력 장치.
3. The apparatus of claim 2, wherein the color selecting unit
Selecting a color of the virtual image with a complementary color of the background color and / or a color having a high degree of clarity or a color arbitrarily designated by the user,
The optimum brightness of the virtual image is selected in consideration of the clarity of the virtual image in various driving situations
In virtual image output device.
사용자로부터 상기 가상 이미지의 색 변경 명령을 수신하는 단계;
상기 차량에 장착된 카메라로부터 상기 가상 이미지 배경을 획득하는 단계;
상기 획득한 가상 이미지 배경의 보색으로 상기 차량의 앞 유리에 출력되는 가상 이미지의 색을 변경하는 단계; 를 포함하는 가상 이미지 출력 방법.
A vehicle HUD virtual image output method,
Receiving a color change command of the virtual image from a user;
Obtaining the virtual image background from a camera mounted on the vehicle;
Changing the color of the virtual image output to the windshield of the vehicle by the complementary color of the acquired virtual image background; And outputting the virtual image.
상기 가상이미지 배경색을 추출하는 단계;
상기 추출된 가상 이미지의 배경색과 상기 가상 이미지 색을 비교하는 단계; 및
상기 가상 이미지 배경색의 보색을 도출하는 단계; 를 포함하는 것
인 가상 이미지 출력 방법.
5. The method of claim 4, wherein obtaining the virtual image background from a camera mounted on the vehicle
Extracting the virtual image background color;
Comparing the background color of the extracted virtual image with the virtual image color; And
Deriving a complementary color of the virtual image background color; Including
In virtual image output method.
상기 배경색의 보색 및/또는 명시도가 높은 색이나, 사용자에 의해 임의로 지정된 색으로 상기 가상 이미지의 색을 선정하는 단계; 및
상기 가상 이미지의 명시성을 고려한 최적 명도를 선정하는 단계; 를 더 포함하는 것
인 가상 이미지 출력 방법. 6. The method of claim 5, wherein deriving complementary colors of the virtual image background color comprises:
Selecting a color of the virtual image with a complementary color of the background color and / or a color having a high degree of clarity or a color arbitrarily designated by a user; And
Selecting an optimal brightness considering the clarity of the virtual image; Further comprising
In virtual image output method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130121180A KR102069736B1 (en) | 2013-10-11 | 2013-10-11 | System and Method of Displaying Virtual Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130121180A KR102069736B1 (en) | 2013-10-11 | 2013-10-11 | System and Method of Displaying Virtual Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150042478A true KR20150042478A (en) | 2015-04-21 |
| KR102069736B1 KR102069736B1 (en) | 2020-01-23 |
Family
ID=53035524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130121180A KR102069736B1 (en) | 2013-10-11 | 2013-10-11 | System and Method of Displaying Virtual Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102069736B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105966244A (en) * | 2016-04-27 | 2016-09-28 | 广州英倍信息技术有限公司 | Intelligent projection type head up display HUD navigation |
| CN106101667A (en) * | 2016-06-30 | 2016-11-09 | 京东方科技集团股份有限公司 | HUD and HUD display packing, mobile devices |
| CN106571011A (en) * | 2016-11-08 | 2017-04-19 | Tcl数码科技（深圳）有限责任公司 | Method and system for automatic alarming of emergency situation |
| CN108290521A (en) * | 2015-12-31 | 2018-07-17 | 华为技术有限公司 | A kind of image information processing method and augmented reality AR equipment |
| KR20180120470A (en) * | 2017-04-27 | 2018-11-06 | 현대모비스 주식회사 | Method and appratus for enhancing visibility of HUD contents |
| CN109960036A (en) * | 2017-12-14 | 2019-07-02 | 现代自动车株式会社 | For controlling the device and method and Vehicular system of the display of vehicle |
| CN111619343A (en) * | 2019-02-28 | 2020-09-04 | 北京新能源汽车股份有限公司 | Mode control method, system and equipment of head-up display and automobile |
| CN114609780A (en) * | 2020-12-09 | 2022-06-10 | 博泰车联网科技(上海)股份有限公司 | HUD display method, HUD display device, vehicle and medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005138801A (en) * | 2003-11-10 | 2005-06-02 | Calsonic Kansei Corp | Head up display device |
| JP2006036166A (en) * | 2004-07-30 | 2006-02-09 | Nippon Seiki Co Ltd | Vehicle display device |
| JP2009274542A (en) * | 2008-05-14 | 2009-11-26 | Honda Motor Co Ltd | Head up display device |
| JP2010149734A (en) * | 2008-12-25 | 2010-07-08 | Yazaki Corp | Head-up display |
| JP2012063918A (en) * | 2010-09-15 | 2012-03-29 | Toyota Motor Corp | Vehicle periphery image display device and method |
-
2013
- 2013-10-11 KR KR1020130121180A patent/KR102069736B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005138801A (en) * | 2003-11-10 | 2005-06-02 | Calsonic Kansei Corp | Head up display device |
| JP2006036166A (en) * | 2004-07-30 | 2006-02-09 | Nippon Seiki Co Ltd | Vehicle display device |
| JP2009274542A (en) * | 2008-05-14 | 2009-11-26 | Honda Motor Co Ltd | Head up display device |
| JP2010149734A (en) * | 2008-12-25 | 2010-07-08 | Yazaki Corp | Head-up display |
| JP2012063918A (en) * | 2010-09-15 | 2012-03-29 | Toyota Motor Corp | Vehicle periphery image display device and method |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10712556B2 (en) | 2015-12-31 | 2020-07-14 | Huawei Technologies Co., Ltd. | Image information processing method and augmented reality AR device |
| CN108290521A (en) * | 2015-12-31 | 2018-07-17 | 华为技术有限公司 | A kind of image information processing method and augmented reality AR equipment |
| CN105966244A (en) * | 2016-04-27 | 2016-09-28 | 广州英倍信息技术有限公司 | Intelligent projection type head up display HUD navigation |
| CN105966244B (en) * | 2016-04-27 | 2019-05-24 | 江苏朗禾控制系统有限公司 | Intelligent projection, which comes back, shows HUD navigation |
| CN106101667A (en) * | 2016-06-30 | 2016-11-09 | 京东方科技集团股份有限公司 | HUD and HUD display packing, mobile devices |
| US10578863B2 (en) | 2016-06-30 | 2020-03-03 | Boe Technology Group Co., Ltd. | Heads up display, heads up display method, and traveling apparatus |
| CN106571011A (en) * | 2016-11-08 | 2017-04-19 | Tcl数码科技（深圳）有限责任公司 | Method and system for automatic alarming of emergency situation |
| KR20180120470A (en) * | 2017-04-27 | 2018-11-06 | 현대모비스 주식회사 | Method and appratus for enhancing visibility of HUD contents |
| US10635278B2 (en) | 2017-12-14 | 2020-04-28 | Hyundai Motor Company | Apparatus and method for controlling display of vehicle, and vehicle system |
| CN109960036A (en) * | 2017-12-14 | 2019-07-02 | 现代自动车株式会社 | For controlling the device and method and Vehicular system of the display of vehicle |
| CN109960036B (en) * | 2017-12-14 | 2022-05-13 | 现代自动车株式会社 | Apparatus and method for controlling display of vehicle, and vehicle system |
| CN111619343A (en) * | 2019-02-28 | 2020-09-04 | 北京新能源汽车股份有限公司 | Mode control method, system and equipment of head-up display and automobile |
| CN111619343B (en) * | 2019-02-28 | 2022-02-25 | 北京新能源汽车股份有限公司 | Mode control method, system and equipment of head-up display and automobile |
| CN114609780A (en) * | 2020-12-09 | 2022-06-10 | 博泰车联网科技(上海)股份有限公司 | HUD display method, HUD display device, vehicle and medium |
| CN114609780B (en) * | 2020-12-09 | 2023-09-29 | 博泰车联网科技(上海)股份有限公司 | HUD display method and display device, vehicle and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102069736B1 (en) | 2020-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150042478A (en) | System and Method of Displaying Virtual Image | |
| JP6707666B2 (en) | Head up display device | |
| US10013951B2 (en) | Display control device, display device, display control program, display control method, and recording medium | |
| RU2675719C1 (en) | Vehicle displaying device and method | |
| JP5197349B2 (en) | Head-up display device | |
| JP6409337B2 (en) | Display device | |
| US9639990B2 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
| EP3296696A1 (en) | On-board projection method and system | |
| JP6287406B2 (en) | Head-up display device | |
| JP5948170B2 (en) | Information display device, information display method, and program | |
| EP3395601A1 (en) | Vehicular head-up display system | |
| JP2005138801A (en) | Head up display device | |
| US9826206B2 (en) | Display control device, projection device, and non-transitory storage medium | |
| US9827854B2 (en) | Driving control system of vehicle and method for changing speed setting mode using the same | |
| JP2015090483A (en) | Information display device | |
| JP2016101771A (en) | Head-up display device for vehicle | |
| US20210122388A1 (en) | Vehicle display enhancement | |
| KR102393751B1 (en) | Method and appratus for enhancing visibility of HUD contents | |
| JPWO2019123976A1 (en) | Display control method, display control device and head-up display device | |
| JP2019001226A (en) | Electronic mirror device | |
| CN110799375B (en) | Virtual image display device, virtual image display method, and storage medium | |
| US20190161010A1 (en) | High visibility head up display (hud) | |
| US11345364B2 (en) | Attention calling device and attention calling method | |
| JP2023067533A (en) | Vehicle display control device | |
| JP2017087897A (en) | Head-up display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| G170 | Publication of correction |