KR102582092B1 - 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법 - Google Patents
차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법 Download PDFInfo
- Publication number
- KR102582092B1 KR102582092B1 KR1020160049560A KR20160049560A KR102582092B1 KR 102582092 B1 KR102582092 B1 KR 102582092B1 KR 1020160049560 A KR1020160049560 A KR 1020160049560A KR 20160049560 A KR20160049560 A KR 20160049560A KR 102582092 B1 KR102582092 B1 KR 102582092B1
- Authority
- KR
- South Korea
- Prior art keywords
- head
- display
- coordinates
- projection transformation
- image
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims description 41
- 230000001131 transforming effect Effects 0.000 title claims description 6
- 230000009466 transformation Effects 0.000 claims abstract description 252
- 238000006243 chemical reaction Methods 0.000 claims abstract description 73
- 239000000284 extract Substances 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000009434 installation Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Chemical & Material Sciences (AREA)
- Mechanical Engineering (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Geometry (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 명세서는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치에 관한 것으로서, 더욱 상세하게는 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 제1 투영변환식 생성부, 상기 운전자 기준시점 카메라로부터 입력된 제2 운전자 기준시점 영상으로부터 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성부 및 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환부를 포함한다.
Description
본 명세서는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차량의 운전석 전면에 장착된 헤드업디스플레이를 통해 차량 전방의 운전상황을 증강현실로 표현하기 위하여 전방인식카메라로부터 인식된 인식객체의 인식좌표를 헤드업디스플레이의 좌표로 변환하기 위한, 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법에 관한 것이다.
요즘은 전자장치의 발달로 차량의 성능이나 안전에 대한 기능이 발전함과 더불어 운전자의 편의를 위한 장치들도 개발되고 있으며, 특히 차량의 헤드업 디스플레이(Head Up Display, HUD)에 관한 관심이 높아지고 있다.
헤드업 디스플레이 장치는 운행 정보가 차량이나 비행기의 전면 유리에 나타나도록 설계된 장치로서, 초기에는 비행기 조종사의 전방 시야를 확보해 주기 위해 도입되었으나, 최근에는 사고 감소를 위해 차량에도 도입되고 있다.
차량용 헤드업 디스플레이는 내비게이션과 연동하여 경로 변경을 안내하는 화살표 정보, 속도 등을 나타내는 텍스트 정보 등의 다양한 차량 정보를 윈드실드 글래스(Windshield Glass) 상에 표시함으로써, 주행 중에 운전자의 시선이 분산되는 것을 방지한다.
즉, 차량 정보를 확인하기 위해서 운전자는 해당 정보를 제공하는 단말기 방향으로 시선을 옮길 필요가 없고, 헤드업 디스플레이 영상이 출력된 전방을 바라보면서 주행할 수 있기 때문에 운전자의 안전에 도움이 된다.
또한, 운전자의 편의를 위한 장치들이 차량에 부가되면서 늘어나는 차량 정보를 나타낼 수 있는 별도의 표시 수단이 필요해짐에 따라서, 이러한 수단들을 개별적으로 설치할 수 있는 공간 확보가 요구됨에 따라 헤드업 디스플레이에 대한 관심이 더욱 높아지고 있는 추세이다.
최근에는 헤드업 디스플레이 기술에서 더 나아가 윈드실드 글래스 너머에 증강현실(Augmented Reality) 형태로 헤드업 디스플레이 영상을 출력하는 기술이 개발되고 있다.
증강현실은 실존하는 현실 영상에 3차원의 가상 영상을 겹쳐서 출력하는 기술로서, 헤드업 디스플레이에 적용된 증강현실은 차량 전방의 도로에 표지판이나 안전 속도를 겹쳐서 출력하는 형태로 구현되고 있다.
이와 같이, 최근 차량에 장착되고 있는 헤드업디스플레이를 이용하여 차량 전방에 존재하는 차량, 보행자, 차선 등의 객체를 다양한 센서(예컨대, 카메라, 레이더 등)를 통해 인식한 후 운전자의 시선과 일치하는 헤드업디스플레이의 위치에 그래픽 이미지로 디스플레이함으로써 현실세계의 객체와 중첩되는 증강현실정보를 제공하고자 하는 차량 헤드업디스플레이 기반 증강현실 정보제공 시스템에 대한 개발이 이루어지고 있다.
차량 헤드업디스플레이 기반 증강현실 정보제공 시스템에서 다양한 센서로부터 인식된 객체정보를 운전자의 시선과 일치하는 헤드업디스플레이의 위치에 변환하기 위해서는 센서, 운전자 시선, 헤드업디스플레이 간의 좌표 변환이 필요하다.
본 명세서의 실시 예들은 차량 헤드업디스플레이 기반 증강현실정보를 제공하기 위해, 센서로부터 인식된 객체정보의 좌표를 운전자 시선에 맞추어 헤드업디스플레이의 좌표로 변환하기 위한, 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법을 제공하고자 한다.
또한, 본 명세서의 실시 예들은 차량 전방의 차량, 보행자 등을 인식하기 위해 차량의 전방을 향하도록 고정된 위치에 설치된 전방인식카메라로부터 획득한 전방인식 영상으로부터 인식한 차량, 보행자, 차선 등의 인식객체의 인식좌표를 운전자 전방에 설치한 헤드업디스플레이의 증강현실정보의 좌표로 변환할 수 있도록 하는, 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법을 제공하고자 한다.
본 명세서의 제1 측면에 따르면, 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 제1 투영변환식 생성부, 상기 운전자 기준시점 카메라로부터 입력된 제2 운전자 기준시점 영상으로부터 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성부 및 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환부를 포함하고, 상기 제1 투영변환식 생성부는 상기 제1 투영변환식을 이용하여 상기 전방인식 영상의 최대 크기의 좌표를 변환한 결과를 표시하는 것인 차량용 헤드업 디스플레이의 증강현실정보 변환 장치가 제공될 수 있다.
본 명세서의 제2 측면에 따르면, 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 제1 투영변환식 생성부, 상기 운전자 기준시점 카메라로부터 입력된 제2 운전자 기준시점 영상으로부터 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성부 및 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환부를 포함하되, 상기 제1 투영변환식 생성부는 상기 추출된 제1 및 제2 특징점에 대해 지면에 위치한 특징점만을 이용하는 필터를 적용하고 상기 필터가 적용된 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 것인 차량용 헤드업 디스플레이의 증강현실정보 변환 장치가 제공될 수 있다.
상기 제1 투영변환식 생성부는, 전방인식카메라로부터 차량의 전방인식 영상을 입력받는 전방인식 영상 입력부; 상기 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 제1 운전자 기준시점 영상을 입력받는 제1 운전자 기준시점 영상 입력부; 상기 입력된 전방인식 영상의 제1 특징점 및 상기 입력된 제1 운전자 기준시점 영상의 제2 특징점을 추출하고, 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 공액점 추출부; 상기 추출된 공액점을 최소제곱법의 인자로 이용하여 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성하는 제1 투영변환식 계산부; 및 상기 생성된 제1 투영변환식을 저장하는 제1 투영변환식 저장부를 포함할 수 있다.
상기 공액점 추출부는 상기 추출된 특징점의 갯수가 최소 특징점 갯수 이상인지를 확인하고, 상기 추출된 특징점의 갯수가 최소 특징점 갯수 이상인 경우에 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출할 수 있다.
상기 제1 투영변환식 계산부는 상기 생성된 제1 투영변환식에서 변환된 공액점의 제곱근 오차평균(RMSE: Root Mean Square Error)으로 투영오차를 계산하고 상기 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는 경우 공액점들 중 과대오차를 발생시키는 공액점을 제거한 후 제1 투영변환식을 재계산할 수 있다.
삭제
상기 제2 투영변환식 생성부는, 미리 정의된 헤드업 디스플레이 좌표를 입력받는 헤드업 디스플레이 좌표 입력부; 운전자 기준시점 카메라로부터 제2 운전자 기준시점 영상을 입력받는 제2 운전자 기준시점 영상 입력부; 상기 입력된 헤드업 디스플레이 좌표를 기준으로 상기 입력된 제2 운전자 기준시점 영상으로부터 복수의 직선을 추출하고 상기 추출된 복수의 직선으로부터 제2 운전자 기준시점 영상의 직선 교차점을 추출하는 직선교차점 추출부; 및 상기 추출된 제2 운전자 기준시점 영상의 직선 교차점과 상기 입력된 헤드업 디스플레이 좌표를 이용하여 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성하는 제2 투영변환식 계산부를 포함할 수 있다.
상기 직선교차점 추출부는 상기 입력된 제2 운전자 기준시점 영상으로부터 허프 변환을 이용하여 복수의 직선을 추출할 수 있다.
상기 제2 투영변환식 계산부는 미리 정의된 헤드업 디스플레이 좌표와 상기 추출된 제2 운전자 기준시점 영상의 직선 교차점을 매칭된 공액점으로 설정하고 호모그래피 변환식을 이용하여 제2 투영변환식을 생성할 수 있다.
상기 증강현실정보 변환부는 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 입력받는 전방 객체 인식부; 상기 입력된 인식좌표를 상기 생성된 제1 투영변환식을 통해 1차 변환좌표로 계산하고 상기 계산된 1차 변환좌표를 상기 생성된 제2 투영변환식을 통해 2차 인식좌표로 계산하는 투영변환부; 및 상기 계산된 2차 인식좌표를 상기 헤드업디스플레이에 렌더링하는 증강현실 디스플레이부를 포함할 수 있다.
한편, 본 명세서의 제3 측면에 따르면, 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 단계, 상기 운전자 기준시점 카메라로부터의 제2 운전자 기준시점 영상에서 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성 단계, 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환 단계 및 상기 생성된 제1 투영변환식을 이용하여 상기 전방인식 영상의 최대 크기의 좌표를 변환한 결과를 표시하는 단계를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법이 제공될 수 있다.
한편, 본 명세서의 제4 측면에 따르면, 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 단계, 상기 운전자 기준시점 카메라로부터의 제2 운전자 기준시점 영상에서 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성 단계, 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환 단계 및 상기 추출된 제1 및 제2 특징점에 대해 지면에 위치한 특징점만을 이용하는 필터를 적용하는 단계를 포함하고, 상기 공액점을 추출하는 단계는 상기 필터가 적용된 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 단계를 포함하는 것인 차량용 헤드업 디스플레이의 증강현실정보 변환 방법이 제공될 수 있다.
상기 제1 투영변환식을 생성하는 단계는, 전방인식카메라로부터 차량의 전방인식 영상을 입력받는 단계; 상기 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 제1 운전자 기준시점 영상을 입력받는 단계; 상기 입력된 전방인식 영상의 제1 특징점을 추출하는 단계; 상기 입력된 제1 운전자 기준시점 영상의 제2 특징점을 추출하는 단계; 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 단계; 및 상기 추출된 공액점을 최소제곱법의 인자로 이용하여 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성하는 단계를 포함할 수 있다.
상기 방법은, 상기 추출된 특징점의 갯수가 최소 특징점 갯수 이상인지를 확인하는 단계를 더 포함하고, 상기 공액점을 추출하는 단계는 최소 특징점 갯수 이상인 경우에 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출할 수 있다.
상기 방법은, 상기 제1 투영변환식을 생성하는 단계 이후, 상기 생성된 제1 투영변환식에서 변환된 공액점의 제곱근 오차평균(RMSE: Root Mean Square Error)으로 투영오차를 계산하는 단계; 및 상기 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는 경우 공액점들 중 과대오차를 발생시키는 공액점을 제거한 후 제1 투영변환식을 재계산하는 단계를 더 포함할 수 있다.
삭제
상기 제2 투영변환식 생성 단계는, 헤드업디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 입력받는 단계; 운전자 기준시점 카메라로부터 제2 운전자 기준시점 영상을 입력받는 단계; 상기 입력된 헤드업 디스플레이 좌표를 기준으로 상기 입력된 제2 운전자 기준시점 영상으로부터 복수의 직선을 추출하는 단계; 상기 추출된 복수의 직선으로부터 제2 운전자 기준시점 영상의 직선 교차점을 추출하는 단계; 및 상기 추출된 제2 운전자 기준시점 영상의 직선 교차점과 상기 입력된 헤드업 디스플레이 좌표를 이용하여 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성하는 단계를 포함할 수 있다.
상기 복수의 직선을 추출하는 단계는 상기 입력된 제2 운전자 기준시점 영상으로부터 허프 변환을 이용하여 복수의 직선을 추출할 수 있다.
상기 제2 투영변환식을 생성하는 단계는 미리 정의된 헤드업 디스플레이 좌표와 상기 추출된 제2 운전자 기준시점 영상의 직선 교차점을 매칭된 공액점으로 설정하고 호모그래피 변환식을 이용하여 제2 투영변환식을 생성할 수 있다.
상기 증강현실정보 변환 단계는 상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 입력받는 단계; 상기 입력된 인식좌표를 상기 생성된 제1 투영변환식을 통해 1차 변환좌표로 계산하는 단계; 상기 계산된 1차 변환좌표를 상기 생성된 제2 투영변환식을 통해 2차 인식좌표로 계산하는 단계; 및 상기 계산된 2차 인식좌표를 상기 헤드업디스플레이에 렌더링하는 단계를 포함할 수 있다.
본 명세서의 실시 예들은 차량 전방의 차량, 보행자 등을 인식하는 목적으로 차량의 전방을 향하도록 고정된 위치에 설치된 전방인식카메라로부터 획득한 전방인식 영상으로부터 인식한 차량, 보행자, 차선 등의 인식객체의 인식좌표를 운전자 전방에 설치한 헤드업디스플레이의 증강현실정보로 변환할 수 있다.
따라서, 본 명세서의 실시 예들은 운전자가 헤드업디스플레이를 통해 전방을 주시하는 경우 전방의 실제 차량, 보행자, 차선 등에 가상의 그래픽정보를 중첩하여 확인할 수 있다.
도 1은 본 명세서의 실시 예에 따른 차량용 헤드업 디스플레이의 증강현실정보 변환 장치의 구성도이다.
도 2는 본 명세서의 실시 예에 따른 전방인식카메라로부터 획득한 제1 전방인식 영상의 예시도이다.
도 3은 본 명세서의 실시 예에 따른 운전자 기준시점 카메라로부터 획득한 제1 운전자 기준시점 영상의 예시도이다.
도 4는 본 명세서의 실시 예에 따른 제1 전방인식 영상으로부터 추출한 제1 특징점에 대한 예시도이다.
도 5는 본 명세서의 실시 예에 따른 제1 운전자 기준시점 영상으로부터 추출한 제2 특징점에 대한 예시도이다.
도 6은 본 명세서의 실시 예에 따른 제1 투영변환식을 계산한 결과를 반영한 좌표변환결과에 대한 예시도이다.
도 7은 본 명세서의 실시 예에 따른 헤드업디스플레이에 다수의 직선을 디스플레이한 후 획득한 제2 운전자 기준시점 영상의 예시도이다.
도 8은 본 명세서의 실시 예에 따른 제2 운전자 기준시점 영상으로부터 추출한 직선과 교차점의 예시도이다.
도 9는 본 명세서의 실시 예에 따른 제1 전방인식 영상으로부터 실시간 인식한 전방 객체의 예시도이다.
도 10은 본 명세서의 실시 예에 따른 전방 객체의 인식 좌표를 제1 및 제2 투영변환식을 순차적으로 적용한 결과에 대한 예시도이다.
도 11은 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식 생성 과정에 대한 흐름도이다.
도 12는 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식 생성 과정에 대한 흐름도이다.
도 13은 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 증강현실정보 변환 과정에 대한 흐름도이다.
도 2는 본 명세서의 실시 예에 따른 전방인식카메라로부터 획득한 제1 전방인식 영상의 예시도이다.
도 3은 본 명세서의 실시 예에 따른 운전자 기준시점 카메라로부터 획득한 제1 운전자 기준시점 영상의 예시도이다.
도 4는 본 명세서의 실시 예에 따른 제1 전방인식 영상으로부터 추출한 제1 특징점에 대한 예시도이다.
도 5는 본 명세서의 실시 예에 따른 제1 운전자 기준시점 영상으로부터 추출한 제2 특징점에 대한 예시도이다.
도 6은 본 명세서의 실시 예에 따른 제1 투영변환식을 계산한 결과를 반영한 좌표변환결과에 대한 예시도이다.
도 7은 본 명세서의 실시 예에 따른 헤드업디스플레이에 다수의 직선을 디스플레이한 후 획득한 제2 운전자 기준시점 영상의 예시도이다.
도 8은 본 명세서의 실시 예에 따른 제2 운전자 기준시점 영상으로부터 추출한 직선과 교차점의 예시도이다.
도 9는 본 명세서의 실시 예에 따른 제1 전방인식 영상으로부터 실시간 인식한 전방 객체의 예시도이다.
도 10은 본 명세서의 실시 예에 따른 전방 객체의 인식 좌표를 제1 및 제2 투영변환식을 순차적으로 적용한 결과에 대한 예시도이다.
도 11은 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식 생성 과정에 대한 흐름도이다.
도 12는 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식 생성 과정에 대한 흐름도이다.
도 13은 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 증강현실정보 변환 과정에 대한 흐름도이다.
이하, 본 명세서의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 명세서에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 명세서의 실시 예를 설명하면서, 본 명세서가 속하는 기술 분야에 익히 알려졌고 본 명세서와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 명세서의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 명세서의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 1은 본 명세서의 실시 예에 따른 차량용 헤드업 디스플레이의 증강현실정보 변환 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 명세서의 실시 예에 따른 차량용 헤드업 디스플레이의 증강현실정보 변환 장치(100)는 제1 투영변환식 생성부(110), 제2 투영변환식 생성부(120) 및 증강현실정보 변환부(130)를 포함한다.
이하, 도 1의 차량용 헤드업 디스플레이의 증강현실정보 변환 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
제1 투영변환식 생성부(110)는 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성하기 위한 것이다. 여기서, 제1 전방인식 영상은 차량 전방의 차량, 보행자 등을 인식하는 목적으로 차량의 전방을 향하도록 고정된 위치에 설치된 전방인식카메라로부터 획득한 영상이다. 또한, 제1 운전자 기준시점 영상은 헤드업디스플레이의 그래픽을 운전자가 확인할 수 있는 운전석 헤드레스트의 기준 위치에 설치된 운전자 기준시점 카메라로부터 획득한 영상이다.
일반적으로 전방인식카메라와 운전자 기준시점 카메라의 설치위치가 상이함에 따라 동일한 방향을 촬영하더라도 제1 전방인식 영상과 제1 운전자 기준시점 영상은 서로 상이한 시야 범위를 가진다. 따라서, 제1 투영변환식 생성부(110)는 특정객체에 대한 제1 전방인식 영상의 좌표를 제1 운전자 기준시점 영상의 해당 객체에 해당하는 좌표로 변환한다.
이를 위해, 제1 투영변환식 생성부(110)는 전방인식카메라로부터 입력된 차량의 전방인식 영상의 특징점 및 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 입력된 제1 운전자 기준시점 영상의 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하여 제1 투영변환식을 생성한다.
제1 투영변환식 생성부(110)는 그 생성된 제1 투영변환식을 이용하여 전방인식 영상의 최대 크기의 좌표를 변환한 결과를 표시한다.
도 1에 도시된 바와 같이, 본 명세서의 실시 예에 따른 제1 투영변환식 생성부(110)는 전방인식 영상 입력부(111), 제1 운전자 기준시점 영상 입력부(112), 공액점 추출부(113), 제1 투영변환식 계산부(114) 및 제1 투영변환식 저장부(115)를 포함한다.
전방인식 영상 입력부(111)는 전방인식카메라로부터 차량의 전방인식 영상을 입력받는다.
제1 운전자 기준시점 영상 입력부(112)는 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 제1 운전자 기준시점 영상을 입력받는다.
공액점 추출부(113)는 전방인식 영상 입력부(111)에서 입력된 전방인식 영상의 제1 특징점 및 제1 운전자 기준시점 영상 입력부(112)에서 입력된 제1 운전자 기준시점 영상의 제2 특징점을 추출하고, 그 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출한다. 즉, 공액점 추출부(113)는 제1 전방인식 영상과 제1 운전자 기준시점 영상에 대해 각각 특징점을 추출하고, 그 추출한 특징점에 대해 특징점 매칭을 수행함으로써 제1 투영변환식을 계산할 수 있는 공액점을 추출한다.
여기서, 공액점 추출부(113)는 추출된 특징점의 갯수가 최소 특징점 갯수 이상인지를 확인하고, 그 추출된 특징점의 갯수가 최소 특징점 갯수 이상인 경우에 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출할 수 있다.
여기서, 공액점 추출부(113)는 추출된 제1 및 제2 특징점에 대해 지면에 위치한 특징점만을 이용하는 필터를 적용하고 그 필터가 적용된 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출할 수 있다.
제1 투영변환식 계산부(114)는 공액점 추출부(113)에서 추출된 공액점을 최소제곱법의 인자로 이용하여 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성한다. 즉, 제1 투영변환식 계산부(114)는 추출한 공액점을 인자로 이용하여 제1 투영변환식을 계산함으로써 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 좌표변환식을 생성한다.
여기서, 제1 투영변환식 계산부(114)는 생성된 제1 투영변환식에서 변환된 공액점의 제곱근 오차평균(RMSE: Root Mean Square Error)으로 투영오차를 계산한다. 이어서, 제1 투영변환식 계산부(114)는 그 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는 경우 공액점들 중 과대오차를 발생시키는 공액점을 제거한다. 이후, 제1 투영변환식 계산부(114)는 과대오차를 발생시키는 공액점을 제거한 후 제1 투영변환식을 재계산할 수 있다.
제1 투영변환식 저장부(115)는 제1 투영변환식 계산부(114)에서 생성된 제1 투영변환식을 저장할 수 있다.
한편, 제2 투영변환식 생성부(120)는 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성하기 위한 것이다. 여기서, 헤드업 디스플레이 좌표는 차량정보, 주행정보, 인식정보 등을 디스플레이하는 목적으로 운전자기준시점 전방의 특정거리에 그래픽을 생성하는 장치의 최대해상도를 나타낸다. 또한, 제2 운전자 기준시점 영상은 헤드업 디스플레이 좌표를 기준으로 헤드업디스플레이에 다수의 직선을 디스플레이한 후 획득한 영상이다.
제2 투영변환식 생성부(120)는 미리 정의한 헤드업 디스플레이 좌표와 제2 운전자 기준시점 영상에 헤드업 디스플레이 좌표에 따라 디스플레이된 직선들의 교차점을 추출하여 공액점으로 이용한다. 제2 투영변환식 생성부(120)는 추출한 공액점을 인자로 이용하여 제2 투영변환식을 계산함으로써 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 좌표변환식을 생성한다.
이를 위해, 제2 투영변환식 생성부(120)는 운전자 기준시점 카메라로부터 입력된 제2 운전자 기준시점 영상으로부터 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성한다.
도 1에 도시된 바와 같이, 본 명세서의 실시 예에 따른 제2 투영변환식 생성부(120)는, 헤드업 디스플레이 좌표 입력부(121), 제2 운전자 기준시점 영상 입력부(122), 직선교차점 추출부(123), 제2 투영변환식 계산부(124) 및 제2 투영변환식 저장부(125)를 포함한다.
헤드업 디스플레이 좌표 입력부(121)는 미리 정의된 헤드업 디스플레이 좌표를 입력받는다.
제2 운전자 기준시점 영상 입력부(122)는 운전자 기준시점 카메라로부터 제2 운전자 기준시점 영상을 입력받는다.
직선교차점 추출부(123)는 헤드업 디스플레이 좌표 입력부(121)에서 입력된 헤드업 디스플레이 좌표를 기준으로 제2 운전자 기준시점 영상 입력부(122)에서 입력된 제2 운전자 기준시점 영상으로부터 복수의 직선을 추출하고 그 추출된 복수의 직선으로부터 제2 운전자 기준시점 영상의 직선 교차점을 추출한다.
여기서, 직선교차점 추출부(123)는 제2 운전자 기준시점 영상 입력부(122)에서 입력된 제2 운전자 기준시점 영상으로부터 허프 변환을 이용하여 복수의 직선을 추출할 수 있다.
제2 투영변환식 계산부(124)는 직선교차점 추출부(123)에서 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이 좌표 입력부(121)에서 입력된 헤드업 디스플레이 좌표를 이용하여 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성할 수 있다.
여기서, 제2 투영변환식 계산부(124)는 미리 정의된 헤드업 디스플레이 좌표와 추출된 제2 운전자 기준시점 영상의 직선 교차점을 매칭된 공액점으로 설정하고 호모그래피 변환식을 이용하여 제2 투영변환식을 생성할 수 있다.
한편, 제1 투영변환식 생성부(110)에 의한 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식 생성 과정과, 제2 투영변환식 생성부(120)에 의한 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식 생성 과정은 차량의 실시간 운행 전에 실행하여 각 투영변환식들을 생성할 수 있다.
증강현실정보 변환부(130)는 실시간으로 획득한 제1 전방인식 영상으로부터 인식한 전방 객체의 좌표값을 운전자가 바라보는 현실세계의 객체와 정합되는 헤드업디스플레이에 표현하기 위해서는 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식과 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 순차적으로 적용하여 증강현실로 표현할 수 있다.
이를 위해, 증강현실정보 변환부(130)는 제1 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 제1 투영변환식 생성부(110) 및 제2 투영변환식 생성부(120)에서 각각 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업디스플레이에 렌더링한다.
도 1에 도시된 바와 같이, 본 명세서의 실시 예에 따른 상기 증강현실정보 변환부(130)는 전방 객체 인식부(131), 투영변환부(132) 및 증강현실 디스플레이부(133)를 포함한다.
전방 객체 인식부(131)는 제1 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 입력받는다.
투영변환부(132)는 전방 객체 인식부(131)에서 입력된 인식좌표를 제1 투영변환식 생성부(110)에서 생성된 제1 투영변환식을 통해 1차 변환좌표로 계산한다. 이어서, 투영변환부(132)는 그 계산된 1차 변환좌표를 제2 투영변환식 생성부(120)에서 생성된 제2 투영변환식을 통해 2차 인식좌표로 계산할 수 있다.
그리고 증강현실 디스플레이부(133)는 투영변환부(132)에서 계산된 2차 인식좌표를 헤드업디스플레이에 렌더링할 수 있다.
도 2는 본 명세서의 실시 예에 따른 전방인식카메라로부터 획득한 제1 전방인식 영상의 예시도이다.
전방인식카메라로부터 획득한 차량의 제1 전방인식 영상이 도 2에 도시되어 있다.
도 3은 본 명세서의 실시 예에 따른 운전자 기준시점 카메라로부터 획득한 제1 운전자 기준시점 영상의 예시도이다.
운전자 기준시점 카메라로부터 획득한 제1 운전자 기준시점 영상이 도 3에 도시되어 있다.
도 2 및 도 3을 비교하여 살펴보면, 동일한 방향을 촬영하더라도 제1 전방인식 영상과 제1 운전자 기준시점 영상은 서로 상이한 시야 범위를 가지고 있다. 전술된 바와 같이, 이러한 상이한 시야 범위는 전방인식카메라와 운전자 기준시점 카메라의 설치위치가 상이하기 때문이다.
도 4는 본 명세서의 실시 예에 따른 제1 전방인식 영상으로부터 추출한 제1 특징점에 대한 예시도이다.
제1 전방인식 영상으로부터 추출한 제1 특징점(401)이 도 4에 도시되어 있다.
도 5는 본 명세서의 실시 예에 따른 제1 운전자 기준시점 영상으로부터 추출한 제2 특징점에 대한 예시도이다.
제1 운전자 기준시점 영상으로부터 추출한 제2 특징점(501)이 도 5에 도시되어 있다.
도 6은 본 명세서의 실시 예에 따른 제1 투영변환식을 계산한 결과를 반영한 좌표변환결과에 대한 예시도이다.
도 6에 도시된 바와 같이, 제1 투영변환식 생성부(110)는 제1 전방인식 영상의 제1 특징점과 제1 운전자 기준시점 영상의 제2 특징점을 매칭하여 공액점을 추출하고, 그 추출한 공액점을 최소제곱법의 인자로 이용하여 제1 투영변환식을 계산한 결과를 반영한 좌표변환결과를 제공한다.
도 6에서의 좌측영상은 제1 전방인식 영상이며, 도 6에서의 우측영상은 제1 운전자 기준시점 영상이다.
여기서, 각 영상의 점을 연결하는 직선(601)은 공액점을 나타내며, 사각형(602)은 공액점을 이용하여 생성한 제1 투영변환식을 이용하여 제1 전방인식 영상의 최대 크기의 좌표를 변환한 결과를 나타낸다. 이때, 제1 투영변환식 생성부(110)는 각 영상의 특징점을 추출하는 단계에서 지면에 위치한 특징점만을 이용하는 필터를 적용함으로써 제1 투영변환식의 신뢰도를 향상시킬 수 있다.
도 7은 본 명세서의 실시 예에 따른 헤드업디스플레이에 다수의 직선을 디스플레이한 후 획득한 제2 운전자 기준시점 영상의 예시도이다.
헤드업 디스플레이 좌표를 기준으로 헤드업디스플레이에 다수의 직선을 디스플레이한 후 획득한 제2 운전자 기준시점 영상이 도 7에 도시되어 있다.
도 7에서 사각형은 헤드업 디스플레이 좌표를 기준으로 헤드업디스플레이에 다수의 직선(701)을 디스플레이한 결과를 나타낸다.
도 8은 본 명세서의 실시 예에 따른 제2 운전자 기준시점 영상으로부터 추출한 직선과 교차점의 예시도이다.
제2 운전자 기준시점 영상으로부터 추출한 직선(801)과 교차점(802)이 도 8에 도시되어 있다.
도 8에서 직선들은 제2 운전자 기준시점 영상으로부터 추출한 직선들(801)이며, 원은 추출한 직선들로부터 계산한 교차점(802)을 나타낸다. 제2 투영변환식 생성부(120)는 직선교차점(802) 및 미리 정의한 헤드업 디스플레이 좌표와 결합하여 공액점으로 이용한다. 제2 투영변환식 생성부(120)는 제2 운전자 기준시점 영상을 임계값 처리하는 등의 전처리를 수행할 수 있다. 이는 교차점 직선을 추출하는 단계에서 직선 추출의 신뢰도를 향상시키기 위함이다.
도 9는 본 명세서의 실시 예에 따른 제1 전방인식 영상으로부터 실시간 인식한 전방 객체의 예시도이다.
제1 전방인식 영상으로부터 실시간 인식한 전방 객체(예컨대, 보행자)의 예시가 도 9에 도시되어 있다.
도 9에서 사각형들의 꼭지점들(901)은 제1 전방인식 영상으로부터 실시간 인식한 전방 객체(예컨대, 보행자)의 인식좌표를 나타낸다.
도 10은 본 명세서의 실시 예에 따른 전방 객체의 인식 좌표를 제1 및 제2 투영변환식을 순차적으로 적용한 결과에 대한 예시도이다.
제1 전방인식 영상으로부터 인식한 전방 객체의 인식 좌표를 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식과 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 순차적으로 적용한 결과가 도 10에 도시되어 있다.
도 10은 투영변환식들을 순차적으로 적용하여 헤드업디스플레이에 표현한 후 운전자 기준시점 카메라로 촬영하여 증강현실로 표현되는 것을 보여주는 결과이다. 도 10에서 사각형들의 꼭지점들(1001)은 제1 전방인식 영상으로부터 실시간 인식한 전방 객체(예컨대, 보행자)의 인식좌표를 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식과 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 순차적으로 적용하여 헤드업디스플레이에 표현한 결과이다.
상기 도 9 및 도 10에서 보듯이, 제1 전방인식 영상으로부터 인식한 전방 객체(예컨대, 보행자)의 좌표가 헤드업디스플레이의 좌표로 변환되고 운전자시점에서 바라보면 실세계와 중첩되어 증강현실로 표현됨을 알 수 있다.
도 11은 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식 생성 과정에 대한 흐름도이다.
도 11에 도시된 바와 같이, 제1 투영변환식 생성부(110)는 전방인식카메라로부터 차량의 전방인식 영상을 입력받는다(S1101).
또한, 제1 투영변환식 생성부(110)는 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 제1 운전자 기준시점 영상을 입력받는다(S1102).
그리고 제1 투영변환식 생성부(110)는 그 입력된 전방인식 영상의 제1 특징점을 추출한다(S1103). 또한, 제1 투영변환식 생성부(110)는 그 입력된 제1 운전자 기준시점 영상의 제2 특징점을 추출한다(S1104). 여기서, 제1 투영변환식 생성부(110)는 코너점 추출 등의 방법을 이용하여 제1 전방인식 영상 및 제1 운전자 기준시점 영상의 제1 및 제2 특징점을 추출할 수 있다.
제1 투영변환식 생성부(110)는 추출된 특징점의 갯수가 최소 특징점 갯수 이상인지를 확인한다(S1105). 여기서, 최소 특징점 갯수는 제1 투영변환식의 자유도에 따라 결정된다. 예를 들면, 최소 5개의 공액점이 필요한 경우에는 최소 4배수 이상의 최소 특징점 개수가 설정될 수 있다.
상기 확인 결과(S1105), 그 추출된 특징점의 갯수가 최소 특징점 갯수 이상인 경우이면, 제1 투영변환식 생성부(110)는 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출한다(S1106). 즉, 제1 투영변환식 생성부(110)는 두 영상에서의 특징점 추출 결과를 매칭할 수 있다.
반면, 상기 확인 결과(S1105), 그 추출된 특징점의 갯수가 최소 특징점 갯수 미만이면, 제1 투영변환식 생성부(110)는 제1 투영변환식 생성 과정을 종료한다.
이후, 제1 투영변환식 생성부(110)는 추출된 공액점을 최소제곱법의 인자로 이용하여 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성한다(S1107). 제1 투영변환식 생성부(110)는 공액점을 이용한 호모그래피 변환식 등을 이용하여 제1 투영변환식을 계산할 수 있다.
그리고 제1 투영변환식 생성부(110)는 생성된 제1 투영변환식에서 변환된 공액점의 제곱근 오차평균(RMSE: Root Mean Square Error)으로 투영오차를 계산한다(S1108).
이어서, 제1 투영변환식 생성부(110)는 그 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는지를 확인한다(S1109).
상기 확인 결과(S1109), 그 계산된 투영오차가 미리 설정된 오차허용범위를 초과하면, 제1 투영변환식 생성부(110)는 공액점들 중 과대오차를 발생시키는 공액점을 제거한다(S1110).
공액점을 제거한 후, 제1 투영변환식 생성부(110)는 최소 특징점 갯수를 확인하는 S1105 과정부터 다시 수행한다. 즉, 제1 투영변환식 생성부(110)는 그 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는 경우 공액점들 중 과대오차를 발생시키는 공액점을 제거한 후 제1 투영변환식을 재계산한다.
반면, 상기 확인 결과(S1109), 그 계산된 투영오차가 미리 설정된 오차허용범위를 초과하지 않으면, 제1 투영변환식 생성부(110)는 생성된 제1 투영변환식을 저장한다(S1111).
도 12는 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식 생성 과정에 대한 흐름도이다.
도 12에 도시된 바와 같이, 제2 투영변환식 생성부(120)는 헤드업디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 입력받는다(S1201).
또한, 제2 투영변환식 생성부(120)는 운전자 기준시점 카메라로부터 제2 운전자 기준시점 영상을 입력받는다(S1202).
그리고 제2 투영변환식 생성부(120)는 입력된 헤드업 디스플레이 좌표를 기준으로 제2 운전자 기준시점 영상으로부터 복수의 직선을 추출한다(S1203).
이어서, 제2 투영변환식 생성부(120)는 그 추출된 복수의 직선으로부터 제2 운전자 기준시점 영상의 직선 교차점을 추출한다. 여기서, 직선교차점 추출부(123)는 입력된 제2 운전자 기준시점 영상으로부터 허프 변환을 이용하여 복수의 직선을 추출할 수 있다(S1204).
제2 투영변환식 생성부(120)는 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이 좌표를 이용하여 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성한다(S1205).
제2 투영변환식 생성부(120)는 생성된 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 저장한다(S1206). 여기서, 제2 투영변환식 계산부(124)는 미리 정의된 헤드업 디스플레이 좌표와 추출된 제2 운전자 기준시점 영상의 직선 교차점을 매칭된 공액점으로 설정하고 호모그래피 변환식을 이용하여 제2 투영변환식을 생성할 수 있다.
도 13은 본 명세서의 실시 예에 따른 차량용 헤드업디스플레이의 증강현실정보 변환 방법에서 증강현실정보 변환 과정에 대한 흐름도이다.
도 13에 도시된 바와 같이, 증강현실정보 변환부(130)는 제1 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 입력받는다(S1301). 여기서, 제1 전방인식 영상에서의 인식좌표는 그 목적에 따라 차량인식, 보행자인식, 차선인식 등의 다양한 인식객체의 인식좌표를 나타낸다.
증강현실정보 변환부(130)는 그 입력된 인식좌표를 제1 투영변환식 생성부(110)에서 생성된 제1 투영변환식을 통해 1차 변환좌표로 계산한다(S1302). 즉, 인식객체의 인식좌표는 먼저 제1 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 통해 1차 변환좌표로 계산된다.
이어서, 증강현실정보 변환부(130)는 그 계산된 1차 변환좌표를 제2 투영변환식 생성부(120)에서 생성된 제2 투영변환식을 통해 2차 인식좌표로 계산한다(S1303). 즉, 1차 변환좌표는 제2 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 통해 2차 변환좌표로 계산된다.
증강현실정보 변환부(130)는 그 계산된 2차 인식좌표를 헤드업디스플레이에 렌더링한다(S1304). 즉, 2차 변환좌표는 헤드업디스플레이에 해당 좌표에 따라 렌더링된다. 그러면, 운전자는 실세계와 정합된 증강현실정보를 확인할 수 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 증강현실정보 변환 장치
110: 제1 투영변환식 생성부
111: 전방인식 영상 입력부
112: 제1 운전자 기준시점 영상 입력부
113: 공액점 추출부
114: 제1 투영변환식 계산부
115: 제1 투영변환식 저장부
120: 제2 투영변환식 생성부
121: 헤드업 디스플레이 좌표 입력부
122: 제2 운전자 기준시점 영상 입력부
123: 직선교차점 추출부
124: 제2 투영변환식 계산부
125: 제2 투영변환식 저장부
130: 증강현실정보 변환부
131: 전방 객체 인식부
132: 투영변환부
133: 증강현실 디스플레이부
110: 제1 투영변환식 생성부
111: 전방인식 영상 입력부
112: 제1 운전자 기준시점 영상 입력부
113: 공액점 추출부
114: 제1 투영변환식 계산부
115: 제1 투영변환식 저장부
120: 제2 투영변환식 생성부
121: 헤드업 디스플레이 좌표 입력부
122: 제2 운전자 기준시점 영상 입력부
123: 직선교차점 추출부
124: 제2 투영변환식 계산부
125: 제2 투영변환식 저장부
130: 증강현실정보 변환부
131: 전방 객체 인식부
132: 투영변환부
133: 증강현실 디스플레이부
Claims (20)
- 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 제1 투영변환식 생성부;
상기 운전자 기준시점 카메라로부터 입력된 제2 운전자 기준시점 영상으로부터 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성부; 및
상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환부
를 포함하고,
상기 제1 투영변환식 생성부는 상기 제1 투영변환식을 이용하여 상기 전방인식 영상의 최대 크기의 좌표를 변환한 결과를 표시하는 것인 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 제1 투영변환식 생성부;
상기 운전자 기준시점 카메라로부터 입력된 제2 운전자 기준시점 영상으로부터 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성부; 및
상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환부
를 포함하되,
상기 제1 투영변환식 생성부는 상기 추출된 제1 및 제2 특징점에 대해 지면에 위치한 특징점만을 이용하는 필터를 적용하고 상기 필터가 적용된 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 것인 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 제1항 및 제2항 중 어느 한 항에 있어서,
상기 제1 투영변환식 생성부는,
전방인식카메라로부터 차량의 전방인식 영상을 입력받는 전방인식 영상 입력부;
상기 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 제1 운전자 기준시점 영상을 입력받는 제1 운전자 기준시점 영상 입력부;
상기 입력된 전방인식 영상의 제1 특징점 및 상기 입력된 제1 운전자 기준시점 영상의 제2 특징점을 추출하고, 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 공액점 추출부;
상기 추출된 공액점을 최소제곱법의 인자로 이용하여 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성하는 제1 투영변환식 계산부; 및
상기 생성된 제1 투영변환식을 저장하는 제1 투영변환식 저장부
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 제3항에 있어서,
상기 공액점 추출부는
상기 추출된 특징점의 갯수가 최소 특징점 갯수 이상인지를 확인하고, 상기 추출된 특징점의 갯수가 최소 특징점 갯수 이상인 경우에 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 제3항에 있어서,
상기 제1 투영변환식 계산부는
상기 생성된 제1 투영변환식에서 변환된 공액점의 제곱근 오차평균(RMSE: Root Mean Square Error)으로 투영오차를 계산하고 상기 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는 경우 공액점들 중 과대오차를 발생시키는 공액점을 제거한 후 제1 투영변환식을 재계산하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 삭제
- 제1항 및 제2항 중 어느 한 항에 있어서,
상기 제2 투영변환식 생성부는,
미리 정의된 헤드업 디스플레이 좌표를 입력받는 헤드업 디스플레이 좌표 입력부;
운전자 기준시점 카메라로부터 제2 운전자 기준시점 영상을 입력받는 제2 운전자 기준시점 영상 입력부;
상기 입력된 헤드업 디스플레이 좌표를 기준으로 상기 입력된 제2 운전자 기준시점 영상으로부터 복수의 직선을 추출하고 상기 추출된 복수의 직선으로부터 제2 운전자 기준시점 영상의 직선 교차점을 추출하는 직선교차점 추출부; 및
상기 추출된 제2 운전자 기준시점 영상의 직선 교차점과 상기 입력된 헤드업 디스플레이 좌표를 이용하여 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성하는 제2 투영변환식 계산부
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 제7항에 있어서,
상기 직선교차점 추출부는
상기 입력된 제2 운전자 기준시점 영상으로부터 허프 변환을 이용하여 복수의 직선을 추출하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 제7항에 있어서,
상기 제2 투영변환식 계산부는
미리 정의된 헤드업 디스플레이 좌표와 상기 추출된 제2 운전자 기준시점 영상의 직선 교차점을 매칭된 공액점으로 설정하고 호모그래피 변환식을 이용하여 제2 투영변환식을 생성하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 제1항 및 제2항 중 어느 한 항에 있어서,
상기 증강현실정보 변환부는
상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 입력받는 전방 객체 인식부;
상기 입력된 인식좌표를 상기 생성된 제1 투영변환식을 통해 1차 변환좌표로 계산하고 상기 계산된 1차 변환좌표를 상기 생성된 제2 투영변환식을 통해 2차 인식좌표로 계산하는 투영변환부; 및
상기 계산된 2차 인식좌표를 상기 헤드업디스플레이에 렌더링하는 증강현실 디스플레이부
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 장치. - 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 단계;
상기 운전자 기준시점 카메라로부터의 제2 운전자 기준시점 영상에서 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성 단계;
상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환 단계; 및
상기 생성된 제1 투영변환식을 이용하여 상기 전방인식 영상의 최대 크기의 좌표를 변환한 결과를 표시하는 단계
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 전방인식카메라로부터의 차량 전방인식 영상의 제1 특징점 및 운전자 기준시점 카메라로부터의 제1 운전자 기준시점 영상의 제2 특징점에 대한 특징점 매칭을 통해 공액점을 추출하여 제1 투영변환식을 생성하는 단계;
상기 운전자 기준시점 카메라로부터의 제2 운전자 기준시점 영상에서 추출된 제2 운전자 기준시점 영상의 직선 교차점과 헤드업 디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 이용하여 제2 투영변환식을 생성하는 제2 투영변환식 생성 단계;
상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 상기 생성된 제1 및 제2 투영변환식을 순차적으로 적용하여 1차 및 2차 변환좌표로 계산하여 2차 변환좌표를 상기 헤드업 디스플레이에 렌더링하는 증강현실정보 변환 단계; 및
상기 추출된 제1 및 제2 특징점에 대해 지면에 위치한 특징점만을 이용하는 필터를 적용하는 단계를 포함하고,
상기 공액점을 추출하는 단계는 상기 필터가 적용된 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 단계를 포함하는 것인 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 제11항 및 제12항 중 어느 한 항에 있어서,
상기 제1 투영변환식을 생성하는 단계는,
전방인식카메라로부터 차량의 전방인식 영상을 입력받는 단계;
상기 전방인식카메라와 설치 위치가 다른 운전자 기준시점 카메라로부터 제1 운전자 기준시점 영상을 입력받는 단계;
상기 입력된 전방인식 영상의 제1 특징점을 추출하는 단계;
상기 입력된 제1 운전자 기준시점 영상의 제2 특징점을 추출하는 단계;
상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 단계; 및
상기 추출된 공액점을 최소제곱법의 인자로 이용하여 전방인식 영상으로부터 제1 운전자 기준시점 영상으로의 제1 투영변환식을 생성하는 단계
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 제13항에 있어서,
상기 추출된 특징점의 갯수가 최소 특징점 갯수 이상인지를 확인하는 단계를 더 포함하고,
상기 공액점을 추출하는 단계는 최소 특징점 갯수 이상인 경우에 상기 추출된 제1 및 제2 특징점에 대해 특징점 매칭을 수행하여 공액점을 추출하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 제13항에 있어서,
상기 제1 투영변환식을 생성하는 단계 이후, 상기 생성된 제1 투영변환식에서 변환된 공액점의 제곱근 오차평균(RMSE: Root Mean Square Error)으로 투영오차를 계산하는 단계; 및
상기 계산된 투영오차가 미리 설정된 오차허용범위를 초과하는 경우 공액점들 중 과대오차를 발생시키는 공액점을 제거한 후 제1 투영변환식을 재계산하는 단계
를 더 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 삭제
- 제11항 및 제12항 중 어느 한 항에 있어서,
상기 제2 투영변환식 생성 단계는,
헤드업디스플레이에서 미리 정의된 헤드업 디스플레이 좌표를 입력받는 단계;
운전자 기준시점 카메라로부터 제2 운전자 기준시점 영상을 입력받는 단계;
상기 입력된 헤드업 디스플레이 좌표를 기준으로 상기 입력된 제2 운전자 기준시점 영상으로부터 복수의 직선을 추출하는 단계;
상기 추출된 복수의 직선으로부터 제2 운전자 기준시점 영상의 직선 교차점을 추출하는 단계; 및
상기 추출된 제2 운전자 기준시점 영상의 직선 교차점과 상기 입력된 헤드업 디스플레이 좌표를 이용하여 운전자 기준시점 영상으로부터 헤드업 디스플레이 좌표로의 제2 투영변환식을 생성하는 단계
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 제17항에 있어서,
상기 복수의 직선을 추출하는 단계는
상기 입력된 제2 운전자 기준시점 영상으로부터 허프 변환을 이용하여 복수의 직선을 추출하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 제17항에 있어서,
상기 제2 투영변환식을 생성하는 단계는
미리 정의된 헤드업 디스플레이 좌표와 상기 추출된 제2 운전자 기준시점 영상의 직선 교차점을 매칭된 공액점으로 설정하고 호모그래피 변환식을 이용하여 제2 투영변환식을 생성하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법. - 제11항 및 제12항 중 어느 한 항에 있어서,
상기 증강현실정보 변환 단계는
상기 전방인식 영상으로부터 인식된 전방 객체의 인식좌표를 입력받는 단계;
상기 입력된 인식좌표를 상기 생성된 제1 투영변환식을 통해 1차 변환좌표로 계산하는 단계;
상기 계산된 1차 변환좌표를 상기 생성된 제2 투영변환식을 통해 2차 인식좌표로 계산하는 단계; 및
상기 계산된 2차 인식좌표를 상기 헤드업디스플레이에 렌더링하는 단계
를 포함하는 차량용 헤드업 디스플레이의 증강현실정보 변환 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160049560A KR102582092B1 (ko) | 2016-04-22 | 2016-04-22 | 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법 |
| US15/413,932 US10025096B2 (en) | 2016-04-22 | 2017-01-24 | Apparatus and method for transforming augmented reality information of head-up display for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160049560A KR102582092B1 (ko) | 2016-04-22 | 2016-04-22 | 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170120958A KR20170120958A (ko) | 2017-11-01 |
| KR102582092B1 true KR102582092B1 (ko) | 2023-09-25 |
Family
ID=60089530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160049560A KR102582092B1 (ko) | 2016-04-22 | 2016-04-22 | 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10025096B2 (ko) |
| KR (1) | KR102582092B1 (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108168459B (zh) * | 2017-12-29 | 2019-06-14 | 南京埃克里得视觉技术有限公司 | 一种汽车轮毂识别匹配方法 |
| US11508255B2 (en) | 2018-04-27 | 2022-11-22 | Red Six Aerospace Inc. | Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience |
| US11887495B2 (en) | 2018-04-27 | 2024-01-30 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
| US11869388B2 (en) | 2018-04-27 | 2024-01-09 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
| US11436932B2 (en) * | 2018-04-27 | 2022-09-06 | Red Six Aerospace Inc. | Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace |
| KR102116783B1 (ko) * | 2018-10-10 | 2020-05-29 | 네이버랩스 주식회사 | 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이 |
| WO2020075911A1 (ko) * | 2018-10-10 | 2020-04-16 | 네이버랩스 주식회사 | 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이 |
| KR102584440B1 (ko) | 2018-12-06 | 2023-10-05 | 한국전자통신연구원 | 목적지 언어 묘사 주행 가이드 장치 및 시스템 |
| CN110347241B (zh) * | 2019-05-24 | 2022-06-28 | 深圳市锐思华创技术有限公司 | 一种可正位实景显示的ar抬头显示光学系统 |
| US20220363196A1 (en) * | 2019-10-03 | 2022-11-17 | Stoneridge Electronics A.B. | Vehicle display system with wearable display |
| CN111046762A (zh) * | 2019-11-29 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种对象定位方法、装置电子设备及存储介质 |
| CN111086453A (zh) * | 2019-12-30 | 2020-05-01 | 深圳疆程技术有限公司 | 一种基于摄像头的hud增强现实显示方法、装置及汽车 |
| US11195033B2 (en) * | 2020-02-27 | 2021-12-07 | Gm Cruise Holdings Llc | Multi-modal, multi-technique vehicle signal detection |
| CN112099620A (zh) * | 2020-08-11 | 2020-12-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种面向士兵及班组作战的战斗协同系统及方法 |
| CN117261585A (zh) * | 2022-06-13 | 2023-12-22 | 中兴通讯股份有限公司 | 智能座舱控制方法、控制器、智能座舱以及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140161323A1 (en) * | 2010-09-21 | 2014-06-12 | Mobileye Technologies Limited | Dense structure from motion |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7110021B2 (en) * | 2002-05-31 | 2006-09-19 | Matsushita Electric Industrial Co., Ltd. | Vehicle surroundings monitoring device, and image production method/program |
| US20070039765A1 (en) * | 2005-08-22 | 2007-02-22 | Mei-Ying Lin | Controlling method for breaking automatically having safety suspense for electrical wheel chair |
| JP4879031B2 (ja) * | 2007-01-11 | 2012-02-15 | 三洋電機株式会社 | 運転支援システム、画像処理装置及びずれ検出方法 |
| US8698875B2 (en) * | 2009-02-20 | 2014-04-15 | Google Inc. | Estimation of panoramic camera orientation relative to a vehicle coordinate frame |
| US20120224062A1 (en) * | 2009-08-07 | 2012-09-06 | Light Blue Optics Ltd | Head up displays |
| US20120224060A1 (en) | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
| KR101359660B1 (ko) * | 2011-07-26 | 2014-02-07 | 한국과학기술원 | 헤드업 디스플레이를 위한 증강현실 시스템 |
| US20130169679A1 (en) * | 2011-12-30 | 2013-07-04 | Automotive Research & Test Center | Vehicle image display system and correction method thereof |
| US8994558B2 (en) | 2012-02-01 | 2015-03-31 | Electronics And Telecommunications Research Institute | Automotive augmented reality head-up display apparatus and method |
| KR101374139B1 (ko) * | 2012-07-31 | 2014-03-14 | 주식회사 제론헬스케어 | 감시시스템의 영상 융합을 통한 객체 감시 방법 |
| KR102118438B1 (ko) | 2013-01-28 | 2020-06-04 | 한국전자통신연구원 | 차량용 헤드업 디스플레이 장치 및 그 방법 |
| US9277129B2 (en) * | 2013-06-07 | 2016-03-01 | Apple Inc. | Robust image feature based video stabilization and smoothing |
| KR101559012B1 (ko) * | 2013-11-12 | 2015-10-12 | 현대오트론 주식회사 | 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법 |
| US9690104B2 (en) * | 2014-12-08 | 2017-06-27 | Hyundai Motor Company | Augmented reality HUD display method and device for vehicle |
-
2016
- 2016-04-22 KR KR1020160049560A patent/KR102582092B1/ko active IP Right Grant
-
2017
- 2017-01-24 US US15/413,932 patent/US10025096B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140161323A1 (en) * | 2010-09-21 | 2014-06-12 | Mobileye Technologies Limited | Dense structure from motion |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170120958A (ko) | 2017-11-01 |
| US20170307881A1 (en) | 2017-10-26 |
| US10025096B2 (en) | 2018-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102582092B1 (ko) | 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법 | |
| WO2021197189A1 (zh) | 基于增强现实的信息显示方法、系统、装置及投影设备 | |
| EP3449629B1 (en) | Accelerated light field display | |
| US10497174B2 (en) | Method and device for augmented depiction | |
| WO2014199574A1 (ja) | 車載表示装置およびプログラム製品 | |
| EP2860971A1 (en) | Display control apparatus, method, recording medium, and vehicle | |
| US20140285523A1 (en) | Method for Integrating Virtual Object into Vehicle Displays | |
| US11398078B2 (en) | Gradual transitioning between two-dimensional and three-dimensional augmented reality images | |
| KR20200042166A (ko) | 컨텐츠를 시각화하는 장치 및 방법 | |
| US11288785B2 (en) | Virtual overlay system and method for occluded objects | |
| US20130289875A1 (en) | Navigation apparatus | |
| CN109118532B (zh) | 视觉景深估计方法、装置、设备及存储介质 | |
| US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
| CN113483774B (zh) | 导航方法、装置、电子设备及可读存储介质 | |
| JP6345381B2 (ja) | 拡張現実システム | |
| US20240042857A1 (en) | Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program | |
| KR100886330B1 (ko) | 사용자 뷰 출력 시스템 및 방법 | |
| CN116136418A (zh) | 导航引导信息生成方法、导航引导方法、程序产品和介质 | |
| CN112204626A (zh) | 使用增强现实相机的后视方法和设备 | |
| CN110347241B (zh) | 一种可正位实景显示的ar抬头显示光学系统 | |
| TWI408342B (zh) | 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品 | |
| CN107784693B (zh) | 一种信息处理方法和装置 | |
| KR101655204B1 (ko) | 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 | |
| US20220065649A1 (en) | Head-up display system | |
| US11827150B2 (en) | Computer-implemented object visibility improvement by interposing an image in a viewer's line-of-sight |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |