KR20130012629A - 헤드업 디스플레이를 위한 증강현실 시스템 - Google Patents

헤드업 디스플레이를 위한 증강현실 시스템 Download PDF

Info

Publication number
KR20130012629A
KR20130012629A KR1020110073883A KR20110073883A KR20130012629A KR 20130012629 A KR20130012629 A KR 20130012629A KR 1020110073883 A KR1020110073883 A KR 1020110073883A KR 20110073883 A KR20110073883 A KR 20110073883A KR 20130012629 A KR20130012629 A KR 20130012629A
Authority
KR
South Korea
Prior art keywords
information
lane
image
augmented reality
driver
Prior art date
Application number
KR1020110073883A
Other languages
English (en)
Other versions
KR101359660B1 (ko
Inventor
유창동
박상혁
윤성락
김성웅
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110073883A priority Critical patent/KR101359660B1/ko
Publication of KR20130012629A publication Critical patent/KR20130012629A/ko
Application granted granted Critical
Publication of KR101359660B1 publication Critical patent/KR101359660B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 헤드업 디스플레이를 위한 증강현실 시스템에 관한 것으로서, 기존의 Display 방식과 달리 운전자의 머리와 눈 위치를 추적하여 운전자에 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 증강 현실로 구현하는 시스템을 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 다중 비전 센서 및 두 개 이상의 스테레오 카메라를 이용하여, 차량의 내외부의 영상정보를 수집하는 센서장치; 차량 외부 객체에 관한 3차원 위치정보를 추출하고, 운전자 눈의 위치정보를 검출하는 상황 인식장치; 및 상기 상황 인식장치를 통해 추출한 객체의 위치정보와 운전자의 눈의 위치정보를 이용하여 운전자 시점에서의 2차원 이미지를 생성하고, 운전자의 위치정보 및 각종 주변상황정보를 2차원 이미지에 투영하여 증강현실을 구현하는 증강현실 구현장치; 를 포함한다.

Description

헤드업 디스플레이를 위한 증강현실 시스템{AUGMENTED REALITY SYSTEM FOR HEAD-UP DISPLAY}
본 발명은 헤드업 디스플레이를 위한 증강현실 시스템에 관한 것으로서, 더욱 상세하게는 운전자의 시야를 분산 시킬 수 있는 기존의 Display 방식과 달리, 운전자의 머리와 눈 위치를 추적하여 운전자에 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 증강 현실로 구현하여 제공함으로써 시선 이동에 따른 위험 요소를 제거하며 운전 안전성 및 편의성을 제공할 수 있는 시스템에 관한 것이다.
근래 들어 차량의 운전석 전면(Front) 유리창에 다양한 차량 정보를 가상 이미지로 표시하여, 운전자가 차량 운전 중 전방을 계속 주시하면서 동시에, 상기 차량 정보를 확인할 수 있도록 하기 위한 헤드 업 디스플레이(HUD) 시스템이 개발되어, 차량에 탑재되고 있다.
한편, 헤드업 디스플레이 장치와 관련해서는, 한국공개특허 10-2005-0010429호(이하, '선행문헌')에 이와 같은 내용이 일부 개시되어 있다.
선행문헌에 따른 헤드업 디스플레이 장치는 그 공개공보에 기재된 바와 같이, 영상차량의 주행속도, 엔진의 회전속도 및 연료량 등의 차량주행정보를 윈드 실드 글라스에 투사하는 헤드업디스플레이 장치로서, 상기 차량정보를 영사하는 프로젝터; 상기 영사된 영상을 반사하는 반사경; 상기 반사된 영상을 상기 윈드 실드 글라스에 투사하며, 차량의 자세변화에 따라 자동적으로 투사각도가 변화되는 투사경; 상기 투사경의 투사각도를 조절하는 투사각조절장치; 그리고 차량의 자세변화를 측정하고, 이를 기초로 하여 투사경의 투사 조절각도를 산출하여 상기 투사각도조절장치에 제어신호를 보내는 제어기; 를 포함하여 이루어진다.
그러나 상기 선행문헌은, 차량 주행에 대한 단순한 정보를 투사하는 것 일뿐, 다양한 센서로부터 추출한 정보를 선별적으로 추출하여 가공함으로써 운전자의 최적의 시야에 표시하기에는 한계가 있었다.
한국공개특허 10-2005-0010429호(공개일: 2005.01.27, 발명의 명칭: 헤드업디스플레이 영상 위치조절장치, 청구범위 제1항 내지 제2항).
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 기존의 Display 방식과 달리 운전자의 머리와 눈 위치를 추적하여 운전자에 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 증강 현실로 구현하는 시스템을 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 헤드업 디스플레이를 위한 증강현실 시스템에 관한 것으로서, 다중 비전 센서 및 두 개 이상의 스테레오 카메라를 이용하여, 차량의 내외부의 영상정보를 수집하는 센서장치; 차량 외부 객체에 관한 3차원 위치정보를 추출하고, 운전자 눈의 위치정보를 검출하는 상황 인식장치; 및 상기 상황 인식장치를 통해 추출한 객체의 위치정보와 운전자의 눈의 위치정보를 이용하여 운전자 시점에서의 2차원 이미지를 생성하고, 운전자의 위치정보 및 각종 주변상황정보를 2차원 이미지에 투영하여 증강현실을 구현하는 증강현실 구현장치; 를 포함한다.
상기와 같은 본 발명에 따르면, 증강 현실 기술을 이용, 다양한 정보로부터 합성된 가상의 이미지가 전면 유리부의 운전자 실제 시야의 상황 위에 접목되어 운전자가 직관적으로 정보들을 받아들일 수 있는 효과가 있다.
그리고 본 발명에 따르면, 야간이나 악천후 등 시야가 확보되지 않는 상황에서 실시간으로 차선, 보행자 및 자동차를 검출하여 가상의 영상을 운전자의 시야에 증강현실로 구현하여 효율적으로 정보를 전달할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 헤드업 디스플레이를 위한 증강현실 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명에 따른 상황 인식장치에 관한 세부 구성도.
도 3 은 본 발명에 따른 차선 검출부에 관한 세부 구성도.
도 4 는 본 발명에 따른 차선 추적모듈이 particle filtering을 이용하여 차선을 추적하며, 앞 차량의 위치추적을 통해 차선을 추적하는 모습을 보이는 일예시도.
도 5 는 본 발명에 따른 자동차 및 보행자 검출부에 관한 세부 구성도.
도 6 은 본 발명에 따른 영상으로부터 추출된 깊이 맵(Depth Map)을 보이는 일예시도.
도 7 은 본 발명에 따른 증강현실 구현장치에 관한 세부 구성도.
도 8 은 본 발명에 따른 객체의 3차원 위치정보를 운전자의 눈의 위치정보에 따른 운전자 시점에서의 2차원 평면에 사영시켜 객체에 대한 2차원 이미지를 생성하는 모습을 보이는 일예시도.
도 9 는 본 발명에 따른 가상의 영상을 운전자의 시야에 증강현실로 구현한 모습을 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 헤드업 디스플레이를 위한 증강현실 시스템에 관하여 도 1 내지 도 9 를 참조하여 설명하면 다음과 같다.
도 1 은 본 발명에 따른 헤드업 디스플레이를 위한 증강현실 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 센서장치(100), 상황 인식장치(200) 및 증강현실 구현장치(300)를 포함하여 이루어진다.
센서장치(100)는 적외선 카메라, RGB 카메라, 망원렌즈 및 광각렌즈 등을 가지는 다중 비전 센서 및 두 개 이상의 스테레오 카메라를 이용하여, 차량 외부 표지판, 차선, 자동차 및 보행자, 운전자 등 차량의 내외부의 영상정보를 수집한다.
이때, 센서장치(100)는, 일상 운행 중 발생할 수 있는 기상 변화(비, 안개 등), 또는 갑작스러운 조명변화(그림자, 빛 반사)에 강인한 영상 취득을 위하여, Wavelet transform 잡음 제거 기법, De-fogging, Gamma-correction 방법 등을 이용하여 영상 화질 개선한다.
상황 인식장치(200)는 표지판, 차선, 자동차 및 보행자 등의 차량 외부 객체에 관한 3차원 위치정보를 추출하고, 운전자 눈의 위치정보를 검출하는 기능을 수행하는 바, 도 2 에 도시된 바와 같이 표지판 검출부(210), 차선 검출부(220), 자동차 및 보행자 검출부(230), 위치정보 추출부(240) 및 얼굴 및 눈 위치 검출부(250)를 포함한다.
구체적으로, 표지판 검출부(210)는 상기 센서장치(100)를 통해 수집된 영상정보로부터 Color Segmentation, Shape Recognition 기법 등을 이용하여 표지판을 검출하고, SVM 기법 등을 이용하여 표지판 내용을 실시간 인식한다.
차선 검출부(220)는 상기 센서장치(100)를 통해 수집된 영상정보로부터 컬러모델과 허프변환(Hough transform)을 이용하여 차선 후보를 검출하고, 차선 특징모델을 이용한 검증을 통해 최종적으로 차선을 검출하는 기능을 수행하는 바, 도 3 에 도시된 바와 같이 차선후보 검출모듈(221), 차선 결정모듈(222), 실시간 검출모듈(223) 및 차선 추적모듈(224)을 포함한다.
도로 면에 비해 차선은 상대적으로 밝기 값이 크고 채도가 낮다. 따라서, 차선후보 검출모듈(221)은 상기 센서부(110)를 통해 수집된 영상정보를 바탕으로, HSV 컬러모델을 이용하여 차선 후보를 검출하며, 허프변환(Hough transform)을 이용하여 차선 후보를 검출한다.
허프변환(Hough transform)을 수행하면 영상에 나타나는 모든 직선정보를 얻을 수 있으며, 여기에는 차선으로부터 나타나는 직선은 무조건 포함되어 있을 뿐 아니라 전방 내지 측방의 차량이나 배경에 의한 노이즈도 포함되어 있다.
이들 중에서 정상 주행하는 일반적인 상황에서의 차선으로는 나타날 수 없는 각도와 위치를 가지는 것을 노이즈로 간주하고 제거해야 한다.
따라서, 차선 결정모듈(222)은 차선 특징모델을 이용하여 차선에 해당하는 부분을 필터링하며, 차선이 직선일 때를 가정한 직선 모델과, 커브길에서 곡선 차선이 나타날 때를 가정한 곡선 모델을 이용하여, 직선들을 최종적인 차선으로 결정한다. 이때, 곡선 차선 모델로는 LCF(Lane Curve Function)을 이용한다.
실시간 검출모듈(223)은 이전 프레임에서 검출된 차선 정보와, 차선 사전 정보를 이용하여, 다음 프레임에서 차선이 존재할 만한 관심 영역(ROI)을 결정하고, 결정된 관심 영역에 대해서만 차선 검출을 수행한다.
여기서, 상기 차선 사전 정보는, 차선의 소실점, 차선 폭, 두께 등이 있다.
예를 들어, 좌측의 차선을 찾았을 경우 사전 정보에 따라 우측 차선이 존재할 만한 영역을 추정할 수 있으므로, 검출 속도와 정확도를 크게 향상시킬 수 있으며, 이러한 차선 사전 정보는 허프변환(Hough transform)을 수행한 뒤, 차선 검증을 할 때도 사용될 수 있다.
한편, 프레임별로 독립적으로 차선을 검출하는 것은 시간과 정확도 면에서 효과적이지 못하며, 이전 프레임의 차선 검출 결과를 다음 프레임 차선 검출에 이용하는 차선 추적 기술이 적용되어야 한다.
따라서, 본 발명에 따른 차선 추적모듈(224)은 도 4 에 도시된 바와 같이 연속된 프레임에서 particle filtering을 이용하여 차선을 추적하며((a) 참조), 앞 차량의 위치추적을 통해 차선을 추적함으로써 정확도를 높인다((b) 참조).
이를 통해, 복잡한 도심이나 도로상에 차량이 많은 경우, 또는 기상 악화로 인해 차선이 육안으로 잘 보이지 않는 경우에 효과적으로 차선을 추적할 수 있다.
본 발명에서는 상술한 바와 같이, 차선 검출 기술과 추적 기술을 함께 사용하여, 주행 중 차선이 소실되거나 새로 나타나는 경우에도 효과적으로 차선을 검출할 수 있도록 한다.
매 프레임마다 차선 검출을 수행하여, 새로 검출된 차선에 대해서는 particle filtering을 이용해 차선을 추적하고, 현재 추적중인 차선 정보에 기반하여 다음 프레임의 차선 검출 관심영역(ROI)을 설정함으로써 실시간 차선 검출을 구현한다.
자동차 및 보행자 검출부(230)는 상기 센서장치(100)로부터 수집된 영상정보를 바탕으로 자동차 및 보행자의 특징을 검출하고, 실시간 인식하는 기능을 수행하는 바, 도 5 에 도시된 바와 같이 특징 검출모듈(231) 및 인식모듈(232)을 포함한다.
구체적으로, 특징 검출모듈(231)은 상기 센서장치(100)로부터 수집된 영상정보를 바탕으로, Histogram of oriented gradient(이하, 'HOG')와 Scale invariant feature transform(이하, 'SIFT') 를 이용하여 자동차 및 보행자의 형상, 크기 및 회전 등에 관한 특징을 검출한다.
참고로, HOG는 국소 영역에서 휘도의 기울기 방향을 히스토그램화한 특징으로 대략적인 물체의 형상을 표현하고, SIFT는 대상 물체를 미리 정의된 code words 기반의 국소 특징량의 집합으로 표현하는 것으로 자동차 및 보행자의 크기 및 회전에 대해 강인한 특징을 얻을 수 있다.
인식모듈(232)은 선형 인식기를 이용하여 실시간으로 자동차 및 보행자를 인식한다.
위치정보 추출부(240)는 스테레오 매칭(Stereo Matching)을 이용한 깊이 맵(Depth Map)을 추정을 통해, 검출된 상기 표지판, 차선, 자동차 및 보행자(이하, '객체')에 관한 상대적인 거리정보를 추출함으로써, 3차원 위치정보를 추출한다.
도 6 은 영상(a)으로부터 추출된 깊이 맵(Depth Map)(b)을 보이는 일예시도이다.
부연하면, 스테레오 매칭(Stereo Matching) 기법은, 스테레오 카메라로부터 한 쌍의 이미지로부터 저분할과 과분할 및 폐색의 처리를 기법이다.
영상의 깊이 맵(Depth Map) 추정을 이용한 다시점 비디오를 서비스하기 위해서는 여러 대의 카메라에서 찍은 영상만을 보여주는 것에서 그칠 것이 아니라 카메라 사이 시점에서 보여지는 영상도 서비스 해줄 수 있어야 한다. 이를 위해서는 사용자가 보고자 하는 임의의 시점과 가까운 거리에 있는 카메라에서 찍은 영상을 이용하여 임의의 시점에서 보여지는 영상을 합성하는 기술이 필요한데 이를 시점 합성(View Synthesis) 기술 또는 시점 내삽(View Interpolation) 기술이라고 한다.
본 발명에서는 사영 이론(Projection Theory)을 이용하여 다시점 영상 데이터를 생성하기 위한 시점 내삽 기술에 적용하였다. 제안하고자 하는 기술의 특징을 다음과 같다. 첫째, 각 카메라의 영상간의 유사성을 이용하여 부호화의 효율을 높이며 동시에 대역폭을 줄인다. 둘째, 임의의 시점을 내삽(interpolation)하여 사용자가 원하는 시점을 동적으로 합성한다.
우선, 사영 이론이란, 실제 물체가 영상의 어디에 찍히는가를 수식적으로 표현한 것이다. 어떤 물체가 세계 좌표(world coordinate)(이하, '기준 좌표')의 특정 점에 존재할 때 사영 이론을 이용하면 영상의 어느 화소에 맺히는가를 알 수 있다.
즉, 사영 이론을 이용하면 기준 좌표의 특정 점이 영상의 어느 화소에 맺히는지 알 수 있다. 위의 역 과정을 이용하면 영상의 특정 화소가 기준 좌표의 어느 점에 위치하는지 알 수 있다.
앞에서 설명한 바와 같이 사영 이론을 이용하여 시점 내삽 기법에 적용하면 다시점 비디오 부호화에도 이를 이용할 수 있다. 같은 시각에 여러 카메라에서 얻은 영상간의 잉여부분을 줄이기 위해 사영 이론을 이용할 수 있다.
한편 본 발명에서는, 사용자가 원하는 임의의 시점에서의 영상을 합성하기 위해서 사영 이론을 이용한 시점 내삽 기법을 적용하였다.
임의의 시점이 어디인지 알게 되면 그 시점에 대해 외곽에 위치하는 두 카메라에서의 영상을 이용한다. 이를 위해서는 영상을 찍은 카메라의 사영 행렬뿐만 아니라 임의의 시점에서의 사영 행렬 역시 계산할 수 있어야 하며, 두 카메라에서의 상이점 영상도 이용해야 한다.
카메라의 고유 행렬은 외곽에 위치하는 카메라 중 하나의 카메라를 그대로 사용하였고, 부대 행렬은 임의의 시점이 어디인지에 따라 회전 행렬과 전이 벡터를 구성할 수 있으므로 임의의 시점에서의 사영 행렬을 계산할 수 있으며 두 카메라에서의 상이점 영상을 통해 영상에 찍힌 물체가 실제 기준 좌표에서 어느 깊이에 해당하는지를 알 수 있다.
이제 두 카메라의 사영 행렬과 두 카메라에서의 상이점 영상을 이용하여 임의의 시점에서의 영상을 합성하는 시점 내삽 기법에 대해 설명하도록 한다.
먼저, 임의의 시점의 왼쪽에 위치하는 카메라의 영상에서 각 화소에 해당하는 점이 기준 좌표의 어디에 위치하는지 해당하는 카메라의 사영 행렬과 상이점 영상을 통해 알아낸 깊이 정보를 이용하여 알아낸다.
구해낸 기준 좌표계에서의 좌표들이 임의의 시점 영상의 어느 화소에 해당하는지 임의의 시점에서의 사영 행렬을 이용하여 알아낸다. 하지만, 이 때 왼쪽 카메라에서 보이던 물체들이 임의의 시점에서는 보이지 않는 부분이 발생하는데 이는 가려짐 현상(occlusion) 때문이다. 가려짐 현상은 주로 앞에 위치하는 물체가 시점이 달라짐에 따라 뒤에 위치하는 물체를 가리는 정도가 다르기 때문에 생겨난다. 이를 해결하기 위해서는 임의의 시점의 오른쪽에 위치하는 카메라의 영상에서 보상할 수 있다. 오른쪽에 위치하는 카메라의 영상 역시 앞의 과정과 동일하게 수행하여 임의의 시점 영상을 합성하는데 앞의 과정에서 구한 영상과 비교하여 가려짐 현상이 나타나는 부분을 채워나가게 되면 임의의 시점에서의 영상을 합성할 수 있게 된다.
즉, 본 발명에 따른 위치정보 추출부(240)는 스테레오 매칭(Stereo Matching)을 통해 추정된 깊이 맵(Depth Map)과, 상기 센서장치(100)의 두 스테레오 카메라로부터 수집된 영상을 바탕으로, 검출된 객체들이 기준 좌표(world coordinate)의 어디에 위치하는지 사영의 역 과정을 이용하여 추정함으로써 3차원 위치정보를 추출한다.
얼굴 및 눈 위치 검출부(250)는 상기 센서장치(100)를 통해 수집된 영상정보를 바탕으로, 조명 변화와 다양한 얼굴 움직임 변화로부터 눈 위치를 효율적으로 추적하기 위해 ASM(Active Shape Model)을 이용하여 얼굴의 모양과 위치 변화에 대해 통계적으로 모델링한 후 얼굴 및 눈 위치를 검출하고 추적한다.
입력 영상에서의 추적해야 하는 얼굴의 형태는 학습된 형태 모델 좌표 프레임에서 입력 영상 좌표 프레임으로의 변환으로 얻어진 형태 파라미터에 의해 결정되고, 이때 변환은 입력 영상에서 얼굴 형태 모델의 위치 이동과 회전 변환 및 크기 변환의 파라미터로부터 결정된다.
생성된 형태 모델을 이용하여 입력 영상으로부터 얼굴의 특징점을 추출하는 과정은 형태모델의 특징점과 입력 영상에서의 특징점 각각을 일대일로 매칭하는 방법으로 볼 수 있다.
학습된 얼굴 형태 모델과 입력영상에서의 얼굴 형태사이의 관계로부터 각각의 파라미터를 구하고, 이를 역 변환하여 모델 형태 프레임으로 투영시켜 새로운 얼굴에 정합되도록 모델 투영과 파라미터 값 갱신을 반복한다.
이와 같은 방법을 통하여, 입력 영상으로부터 얼굴 영역의 위치뿐 만 아니라 눈 위치를 정확하게 검출하고 이를 연속적인 프레임에 적용함으로써 효율적인 추적이 가능하다.
이때, ASM 방법을 이용한 얼굴 검출 및 추적에서는 형태 모델의 초기 값에 따라 그 성능의 정확도가 좌우되는데, 입력 영상의 첫 번째 프레임에 대해서 Adaboost방법을 이용하여 얼굴 영역의 초기 위치와 크기 정보를 추출하여 모델의 초기 값으로 이용함으로써 성능을 향상 시킬 수 있다. 이때 주야간 및 조명 변화에 강인하기 위해 RGB 카메라와 적외선 카메라를 결합하여 검출 및 추적 성능을 향상 시킬 수 있다.
증강현실 구현장치(300)는 상기 상황 인식장치(200)를 통해 추출한 객체의 위치정보와 운전자의 눈의 위치정보를 이용하여 운전자 시점에서의 2차원 이미지를 생성하고, 운전자의 위치정보 및 각종 주변상황정보를 2차원 이미지에 투영하여 증강현실을 구현하는 기능을 수행하는 바, 도 7 에 도시된 바와 같이 2D 이미지 생성부(310), 사각지대 보상부(320), 위치정보 생성부(330), 웹 통신부(340), 음성 인터페이스부(350), 정보 분석부(360), 정보 투영부(370) 및 디스플레이부(380)를 포함한다.
2D 이미지 생성부(310)는 도 8 에 도시된 바와 같이 상기 상황 인식장치(200)를 통해 추출된 객체의 3차원 위치정보를 운전자의 눈의 위치정보에 따른 운전자 시점에서의 2차원 평면에 사영시켜 객체에 대한 2차원 이미지를 생성한다.
사각지대 보상부(320)는 차량 간 무선통신을 이용하여, 생성된 2차원 이미지의 사각지대를 보상한다. 이때, 각 차량은 앞선 차량으로부터 입력받은 영상을 바탕으로 실시간 보상한다.
위치정보 생성부(330)는 GPS모듈이 탑재된 네비게이션 모듈로서, 차량의 위치정보 및 이동경로를 포함하는 네비게이션 정보를 생성한다.
웹 통신부(340)는 무선 웹 접속이 가능한 모듈로서, 현재 차량의 위치정보를 바탕으로 한 주변상황정보를 취득하여 세부 카테고리별로 분류한다. 이때, 상기 주변상황정보는 날씨, 교통상황 등의 운전도움정보 및 관광 명소, 음식점, 지역 축제, 특산품 등에 관한 주변정보 등으로 분류될 수 있다.
음성 인터페이스부(350)는 운전자의 음성입력신호에 따라 정보를 선택하여, 선택정보에 관한 표시제어신호를 디스플레이부(380)로 전송한다. 이때, 음성 인터페이스부(350)는 소음 제거 알고리즘을 이용하여 운전 중 발생하는 소음을 제거하고, 단어 음성 인식기를 이용하여 세부 카테고리별로 분류된 정보를 선택한다.
정보 분석부(360)는 운전자의 정보 선택 패턴과, 주변 상황을 분석하여 이에 따른 분석정보를 생성하여 정보 투영부(370)로 전송한다. 이에 따라, 운전자의 입력 이전에 특정 정보가 자동으로 표시될 수 있다.
이때, 정보 분석부(360)는 주변 상황을 입력으로 하고 운전자에 의해 선택된 정보를 출력으로 하는 모델(Deep belief network 등)을 구성하고 학습하여 새로운 주변 상황에 맞게 자동으로 표시할 정보를 선별하고, 운전자의 정보 선택의 순차적 패턴을 마르코프 모델로 구성하여 현재 운전자의 정보 선택에 기반하여 다음으로 선택되는 정보를 예측한다.
정보 투영부(370)는 상기 네비게이션 정보 및 주변상황정보를 상기 2차원 이미지에 투영한다. 또한, 정보 투영부(370)는 상기 정보 분석부(360)를 통해 입력된 분석정보를 상기 2차원 이미지에 투영할 수도 있다.
디스플레이부(380)는 투영된 2차원 이미지를 운전자의 주시선에 적합한 위치로 디스플레이한다. 또한, 디스플레이부(380)는 상기 음성 인터페이스부(350)의 표시제어신호에 따른 해당 정보를 표시할 수 있다.
지금까지 상술한 바와 같은 시스템에 따르면 증강 현실 기술을 이용, 다양한 정보로부터 합성된 가상의 이미지가 전면 유리부의 운전자 실제 시야의 상황 위에 접목되어 운전자가 직관적으로 정보들을 받아들일 수 있다.
또한, 야간이나 악천후 등 시야가 확보되지 않는 상황에서 실시간으로 차선, 보행자 및 자동차를 검출하여 도 9 에 도시된 바와 같이, 가상의 영상을 운전자의 시야에 증강현실로 구현하여 효율적으로 정보를 전달해 준다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 헤드업 디스플레이를 위한 증강현실 시스템
100: 센서장치 200: 상황 인식장치
210: 표지판 검출부 220: 차선 검출부
221: 차선후보 검출모듈 222: 차선 결정모듈
223: 실시간 검출모듈 224: 차선 추적모듈
230: 자동차 및 보행자 검출부 231: 특징 검출모듈
232: 인식모듈 240: 위치정보 추출부
250: 얼굴 및 눈 위치 검출부 300: 증강현실 구현장치
310: 2D 이미지 생성부 320: 사각지대 보상부
330: 위치정보 생성부 340: 웹 통신부
350: 음성 인터페이스부 360: 정보 분석부
370: 정보 투영부 380: 디스플레이부

Claims (11)

  1. 차량의 내외부의 영상정보를 수집하는 센서장치(100);
    상기 영상정보로부터 차량 외부 객체의 위치정보를 추출하고, 운전자 눈의 위치정보를 검출하는 상황 인식장치(200); 및
    상기 상황 인식장치(200)를 통해 추출한 객체의 위치정보와 운전자의 눈의 위치정보를 이용하여 운전자 시점에서의 2차원 이미지를 생성하고, 운전자의 위치정보 및 각종 주변상황정보를 2차원 이미지에 투영하여 증강현실을 구현하는 증강현실 구현장치(300); 를 포함하는 헤드업 디스플레이를 위한 증강현실 시스템.
  2. 제 1 항에 있어서,
    상기 상황 인식장치(200)는,
    상기 센서장치(100)를 통해 수집된 영상정보로부터 표지판을 검출하고, 표지판 내용을 실시간 인식하는 표지판 검출부(210);
    상기 센서장치(100)를 통해 수집된 영상정보로부터 컬러모델과 허프변환(Hough transform)을 이용하여 차선 후보를 검출하고, 차선 특징모델을 이용하여 최종적으로 차선을 검출하는 차선 검출부(220);
    상기 센서장치(100)로부터 수집된 영상정보를 바탕으로 자동차 및 보행자의 특징을 검출하고, 실시간 인식하는 자동차 및 보행자 검출부(230);
    스테레오 매칭(Stereo Matching)을 이용한 깊이 맵(Depth Map)을 추정을 통해, 검출된 객체에 관한 상대적인 거리정보를 추출함으로써, 3차원 위치정보를 추출하는 위치정보 추출부(240); 및
    상기 센서장치(100)를 통해 수집된 영상정보를 바탕으로, 얼굴의 모양과 위치 변화에 대해 통계적으로 모델링한 후, 얼굴 및 눈 위치를 검출하고 추적하는 얼굴 및 눈 위치 검출부(250); 를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  3. 제 2 항에 있어서,
    상기 차선 검출부(220)는,
    상기 센서부(110)를 통해 수집된 영상정보를 바탕으로, HSV 컬러모델을 이용하여 차선 후보를 검출하며, 허프변환(Hough transform)을 이용하여 차선 후보를 검출하는 차선후보 검출부(221);
    차선 특징모델을 이용하여 차선에 해당하는 부분을 필터링하며, 직선 모델과 곡선 모델을 이용하여 직선들을 최종적인 차선으로 결정하는 차선 결정모듈(222);
    이전 프레임에서 검출된 차선 정보와, 차선 사전 정보를 이용하여, 다음 프레임에서 차선이 존재할 만한 관심 영역(ROI)을 결정하고, 결정된 관심 영역에 대해서만 차선 검출을 수행하는 실시간 검출모듈(223); 및
    연속된 프레임에서 particle filtering을 이용하여 차선을 추적하며, 앞 차량의 위치추적을 통해 차선을 추적하는 차선 추적모듈(224); 을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  4. 제 3 항에 있어서,
    상기 차선 사전 정보는,
    차선의 소실점, 차선 폭 및 두께 정보를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  5. 제 2 항에 있어서,
    상기 자동차 및 보행자 검출부(230)는,
    상기 센서장치(100)로부터 수집된 영상정보를 바탕으로, 자동차 및 보행자의 형상, 크기 및 회전에 관한 특징을 검출하는 특징 검출모듈(231); 및
    선형 인식기를 이용하여 실시간으로 자동차 및 보행자를 인식하는 인식모듈(232); 을 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  6. 제 2 항에 있어서,
    상기 위치정보 추출부(240)는,
    스테레오 매칭(Stereo Matching)을 통해 추정된 깊이 맵(Depth Map)과, 상기 센서장치(100)의 두 스테레오 카메라로부터 수집된 영상을 바탕으로, 검출된 객체들이 기준 좌표(world coordinate)의 어디에 위치하는지 추정함으로써 3차원 위치정보를 추출하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  7. 제 1 항에 있어서,
    상기 증강현실 구현장치(300)는,
    상기 상황 인식장치(200)를 통해 추출된 객체의 3차원 위치정보를, 운전자의 눈의 위치정보에 따른 운전자 시점에서의 2차원 평면에 사영시켜 객체에 대한 2차원 이미지를 생성하는 2D 이미지 생성부(310);
    상기 2D 이미지 생성부(310)를 통해 생성된 2차원 이미지의 사각지대를 보상하는 사각지대 보상부(320);
    차량의 위치정보 및 이동경로를 포함하는 네비게이션 정보를 생성하는 위치정보 생성부(330);
    현재 차량의 위치정보를 바탕으로 한 주변상황정보를 취득하여 세부 카테고리별로 분류하는 웹 통신부(340);
    상기 네비게이션 정보 및 주변상황정보를 상기 2차원 이미지에 투영하는 정보 투영부(370); 및
    투영된 2차원 이미지를 운전자의 주시선의 위치로 디스플레이하는 디스플레이부(380); 를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  8. 제 7 항에 있어서,
    상기 증강현실 구현장치(300)는,
    운전자의 음성입력신호에 따라 정보를 선택하여, 선택정보에 관한 표시제어신호를 디스플레이부(380)로 전송하는 음성 인터페이스부(350); 더 를 포함하되,
    상기 음성 인터페이스부(350)는,
    소음 제거 알고리즘을 이용하여 운전 중 발생하는 소음을 제거하고, 단어 음성 인식기를 이용하여 세부 카테고리별로 분류된 정보를 선택하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  9. 제 7 항에 있어서,
    상기 증강현실 구현장치(300)는,
    운전자의 정보 선택 패턴과 주변 상황에 관한 분석정보를 생성하여 정보 투영부(370)에 전송하는 정보 분석부(360); 를 더 포함하되,
    상기 정보 분석부(360)는,
    주변 상황을 입력으로 하고, 운전자에 의해 선택된 정보를 출력으로 하는 모델을 구성하고, 새로운 주변 상황에 맞게 자동으로 표시할 정보를 선별하고, 운전자의 정보 선택의 순차적 패턴을 마르코프 모델로 구성하여 현재 운전자의 정보 선택에 기반하여 다음으로 선택되는 정보를 예측하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  10. 제 7 항에 있어서,
    상기 사각지대 보상부(320)는,
    상기 차량 간 무선통신을 통해 앞선 차량으로부터 입력받은 영상을 바탕으로 2차원 이미지를 실시간 보상하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
  11. 제 7 항에 있어서,
    상기 주변상황정보는,
    날씨, 교통상황에 관한 운전도움정보 및 관광 명소, 음식점, 지역 축제, 특산품에 관한 주변정보를 포함하는 것을 특징으로 하는 헤드업 디스플레이를 위한 증강현실 시스템.
KR1020110073883A 2011-07-26 2011-07-26 헤드업 디스플레이를 위한 증강현실 시스템 KR101359660B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110073883A KR101359660B1 (ko) 2011-07-26 2011-07-26 헤드업 디스플레이를 위한 증강현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110073883A KR101359660B1 (ko) 2011-07-26 2011-07-26 헤드업 디스플레이를 위한 증강현실 시스템

Publications (2)

Publication Number Publication Date
KR20130012629A true KR20130012629A (ko) 2013-02-05
KR101359660B1 KR101359660B1 (ko) 2014-02-07

Family

ID=47893255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110073883A KR101359660B1 (ko) 2011-07-26 2011-07-26 헤드업 디스플레이를 위한 증강현실 시스템

Country Status (1)

Country Link
KR (1) KR101359660B1 (ko)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014144403A2 (en) * 2013-03-15 2014-09-18 Seattle Photonics Associates Optical system for head-up and near-to-eye displays
WO2014194066A1 (en) * 2013-05-30 2014-12-04 Charles Anthony Smith Hud object design and method
WO2014193342A1 (en) * 2013-05-28 2014-12-04 Hewlett-Packard Development Company, L.P. Mobile augmented reality for managing enclosed areas
WO2015012531A1 (ko) * 2013-07-22 2015-01-29 주식회사 케이엠그래픽스 운전시야 지원장치
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
WO2015083909A1 (ko) * 2013-12-06 2015-06-11 이동녀 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
KR20150064767A (ko) * 2013-12-03 2015-06-12 팅크웨어(주) 전자 장치 및 그의 제어 방법
WO2015093853A1 (ko) * 2013-12-17 2015-06-25 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR101588184B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량용 제어 장치, 차량, 및 차량의 제어방법
US9299193B2 (en) 2013-09-26 2016-03-29 Hyundai Motor Company Head-up display apparatus for vehicle using augmented reality
US9327646B2 (en) 2013-12-23 2016-05-03 Hyundai Motor Company System and method of illumination expression of head up display for vehicle
KR20160050037A (ko) * 2013-09-03 2016-05-10 콘티넨탈 오토모티브 게엠베하 정보 디스플레이 장치를 제어하기 위한 방법 및 정보 디스플레이 장치를 포함하는 장치
KR20170120958A (ko) * 2016-04-22 2017-11-01 한국전자통신연구원 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법
KR20170133747A (ko) * 2016-05-26 2017-12-06 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
WO2018026247A1 (ko) * 2016-08-05 2018-02-08 삼성전자 주식회사 차량용 디스플레이 장치 및 이의 제어 방법
WO2018117538A1 (ko) * 2016-12-23 2018-06-28 삼성전자 주식회사 차선 정보를 추정하는 방법 및 전자 장치
KR20180137193A (ko) * 2017-06-16 2018-12-27 현대모비스 주식회사 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법
KR20190000591A (ko) * 2017-06-23 2019-01-03 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
KR20190114696A (ko) * 2018-03-30 2019-10-10 주식회사 지오멕스소프트 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR20200084015A (ko) * 2017-11-02 2020-07-09 지티이 코포레이션 위치 결정 방법 및 장치, 서버 및 시스템
WO2020149433A1 (ko) * 2019-01-17 2020-07-23 엘지전자 주식회사 영상 출력 장치 및 그것의 제어 방법
KR102181589B1 (ko) * 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
CN113841191A (zh) * 2019-05-20 2021-12-24 松下知识产权经营株式会社 行人装置和交通安全辅助方法
US20220044032A1 (en) * 2020-08-05 2022-02-10 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
US11436744B2 (en) 2016-12-23 2022-09-06 Samsung Electronics Co., Ltd. Method for estimating lane information, and electronic device
US11763539B2 (en) 2020-02-12 2023-09-19 Aptiv Technologies Limited System and method for displaying spatial information in the field of view of a driver of a vehicle
KR20230142183A (ko) 2022-04-01 2023-10-11 (주) 브라이튼코퍼레이션 홀로그래픽 영상생성유닛 및 이를 구비하는 차량용 헤드업 디스플레이 장치
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
CN118544949A (zh) * 2024-07-30 2024-08-27 比亚迪股份有限公司 行车安全控制方法、电子设备、存储介质和车辆

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263725B1 (ko) * 2014-11-21 2021-06-11 현대모비스 주식회사 주행 정보 제공 장치 및 주행 정보 제공 방법
KR102375411B1 (ko) 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
KR101697286B1 (ko) 2015-11-09 2017-01-18 경북대학교 산학협력단 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
KR20180050823A (ko) 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
KR102652943B1 (ko) 2018-12-03 2024-03-29 삼성전자주식회사 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
EP3798798A1 (en) 2019-09-26 2021-03-31 Aptiv Technologies Limited Methods and systems for energy and/or resource management of a human-machine interface

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4250391B2 (ja) * 2002-09-13 2009-04-08 キヤノン株式会社 指標検出装置、指標検出方法
JP3956310B2 (ja) * 2004-01-20 2007-08-08 マツダ株式会社 車両用画像表示装置

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251743B2 (en) 2013-03-15 2016-02-02 Seattle Photonics Associates Optical system for head-up and near-to-eye displays
WO2014144403A3 (en) * 2013-03-15 2014-11-06 Seattle Photonics Associates Optical system for head-up and near-to-eye displays
WO2014144403A2 (en) * 2013-03-15 2014-09-18 Seattle Photonics Associates Optical system for head-up and near-to-eye displays
WO2014193342A1 (en) * 2013-05-28 2014-12-04 Hewlett-Packard Development Company, L.P. Mobile augmented reality for managing enclosed areas
US9858482B2 (en) 2013-05-28 2018-01-02 Ent. Services Development Corporation Lp Mobile augmented reality for managing enclosed areas
WO2014194066A1 (en) * 2013-05-30 2014-12-04 Charles Anthony Smith Hud object design and method
GB2527973B (en) * 2013-05-30 2020-06-10 Anthony Smith Charles HUD object design and display method
GB2527973A (en) * 2013-05-30 2016-01-06 Charles Anthony Smith HUD object design and method
WO2015012531A1 (ko) * 2013-07-22 2015-01-29 주식회사 케이엠그래픽스 운전시야 지원장치
KR20160050037A (ko) * 2013-09-03 2016-05-10 콘티넨탈 오토모티브 게엠베하 정보 디스플레이 장치를 제어하기 위한 방법 및 정보 디스플레이 장치를 포함하는 장치
US9299193B2 (en) 2013-09-26 2016-03-29 Hyundai Motor Company Head-up display apparatus for vehicle using augmented reality
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
KR20150064767A (ko) * 2013-12-03 2015-06-12 팅크웨어(주) 전자 장치 및 그의 제어 방법
WO2015083909A1 (ko) * 2013-12-06 2015-06-11 이동녀 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
WO2015093853A1 (ko) * 2013-12-17 2015-06-25 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US9327646B2 (en) 2013-12-23 2016-05-03 Hyundai Motor Company System and method of illumination expression of head up display for vehicle
KR101588184B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량용 제어 장치, 차량, 및 차량의 제어방법
KR20170120958A (ko) * 2016-04-22 2017-11-01 한국전자통신연구원 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법
KR20170133747A (ko) * 2016-05-26 2017-12-06 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
WO2018026247A1 (ko) * 2016-08-05 2018-02-08 삼성전자 주식회사 차량용 디스플레이 장치 및 이의 제어 방법
US11436744B2 (en) 2016-12-23 2022-09-06 Samsung Electronics Co., Ltd. Method for estimating lane information, and electronic device
WO2018117538A1 (ko) * 2016-12-23 2018-06-28 삼성전자 주식회사 차선 정보를 추정하는 방법 및 전자 장치
KR20180137193A (ko) * 2017-06-16 2018-12-27 현대모비스 주식회사 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법
US11228748B2 (en) 2017-06-23 2022-01-18 Samsung Electronics Co., Ltd. Application processor for disparity compensation between images of two cameras in digital photographing apparatus
KR20190000591A (ko) * 2017-06-23 2019-01-03 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
KR20200084015A (ko) * 2017-11-02 2020-07-09 지티이 코포레이션 위치 결정 방법 및 장치, 서버 및 시스템
US12117541B2 (en) 2017-11-02 2024-10-15 Zte Corporation Positioning method and device, and server and system
KR20190114696A (ko) * 2018-03-30 2019-10-10 주식회사 지오멕스소프트 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
WO2020149433A1 (ko) * 2019-01-17 2020-07-23 엘지전자 주식회사 영상 출력 장치 및 그것의 제어 방법
CN113841191B (zh) * 2019-05-20 2024-01-16 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN113841191A (zh) * 2019-05-20 2021-12-24 松下知识产权经营株式会社 行人装置和交通安全辅助方法
KR102181589B1 (ko) * 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 자동차 전방 카메라를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
US11763539B2 (en) 2020-02-12 2023-09-19 Aptiv Technologies Limited System and method for displaying spatial information in the field of view of a driver of a vehicle
US20220044032A1 (en) * 2020-08-05 2022-02-10 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
US11562576B2 (en) * 2020-08-05 2023-01-24 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
KR20230142183A (ko) 2022-04-01 2023-10-11 (주) 브라이튼코퍼레이션 홀로그래픽 영상생성유닛 및 이를 구비하는 차량용 헤드업 디스플레이 장치
CN118544949A (zh) * 2024-07-30 2024-08-27 比亚迪股份有限公司 行车安全控制方法、电子设备、存储介质和车辆
CN118544949B (zh) * 2024-07-30 2024-10-29 比亚迪股份有限公司 行车安全控制方法、电子设备、存储介质和车辆

Also Published As

Publication number Publication date
KR101359660B1 (ko) 2014-02-07

Similar Documents

Publication Publication Date Title
KR101359660B1 (ko) 헤드업 디스플레이를 위한 증강현실 시스템
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
US12014553B2 (en) Predicting three-dimensional features for autonomous driving
US11748620B2 (en) Generating ground truth for machine learning from time series elements
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
CN107472135B (zh) 图像生成装置、图像生成方法以及记录介质
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
CN108496178B (zh) 用于估计未来路径的系统和方法
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US10055650B2 (en) Vehicle driving assistance device and vehicle having the same
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP4970516B2 (ja) 周囲確認支援装置
US9267808B2 (en) Visual guidance system
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
US11715180B1 (en) Emirror adaptable stitching
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
JP2019095213A (ja) 重畳画像表示装置及びコンピュータプログラム
EP3594902A1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
CN115359326A (zh) 单目3d目标检测方法及装置
EP4113988A1 (en) Image processing device, image processing method, program, and image presentation system
JP2020190942A (ja) 表示制御装置
KR101935853B1 (ko) 라이다 및 레이더를 이용한 나이트 비전 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190117

Year of fee payment: 6

R401 Registration of restoration