KR101559012B1 - 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법 - Google Patents

증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101559012B1
KR101559012B1 KR1020130136705A KR20130136705A KR101559012B1 KR 101559012 B1 KR101559012 B1 KR 101559012B1 KR 1020130136705 A KR1020130136705 A KR 1020130136705A KR 20130136705 A KR20130136705 A KR 20130136705A KR 101559012 B1 KR101559012 B1 KR 101559012B1
Authority
KR
South Korea
Prior art keywords
display image
augmented reality
coordinates
reality head
head
Prior art date
Application number
KR1020130136705A
Other languages
English (en)
Other versions
KR20150055184A (ko
Inventor
오형석
이준묵
양지혁
금병직
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130136705A priority Critical patent/KR101559012B1/ko
Publication of KR20150055184A publication Critical patent/KR20150055184A/ko
Application granted granted Critical
Publication of KR101559012B1 publication Critical patent/KR101559012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 헤드업 디스플레이 영상의 보정 장치에 관한 것으로, 서로 다른 위치에서 차량 전방을 촬영하는 제1촬영부와 제2촬영부, 제1촬영부와 제2촬영부 각각의 촬영범위의 차이에 기초하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 제어하는 제어부 및 제어부의 제어에 기초하여 변환된 좌표로 증강현실 헤드업 디스플레이 영상을 출력하는 헤드업 디스플레이 영상 출력부를 포함한다.

Description

증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법{APPARATUS FOR CORRECTING AUGMENTED REALITY HEAD UP DISPLAY IMAGE AND METHOD THEREOF}
본 발명은 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 증강현실로 구현되는 헤드업 디스플레이 영상을 운전자가 바라보는 시선에 일치하도록 위치를 변환하여 출력하기 위한, 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법에 관한 것이다.
요즘은 전자장치의 발달로 차량의 성능이나 안전에 대한 기능이 발전함과 더불어 운전자의 편의를 위한 장치들도 개발되고 있으며, 특히 차량의 헤드업 디스플레이(Head Up Display, HUD)에 관한 관심이 높아지고 있다.
헤드업 디스플레이 장치는 운행 정보가 차량이나 비행기의 전면 유리에 나타나도록 설계된 장치로서, 초기에는 비행기 조종사의 전방 시야를 확보해 주기 위해 도입되었으나, 최근에는 사고 감소를 위해 차량에도 도입되고 있다.
차량용 헤드업 디스플레이는 내비게이션과 연동하여 경로 변경을 안내하는 화살표 정보, 속도 등을 나타내는 텍스트 정보 등의 다양한 차량 정보를 윈드실드 글래스(Windshield Glass) 상에 표시함으로써, 주행 중에 운전자의 시선이 분산되는 것을 방지한다.
즉, 차량 정보를 확인하기 위해서 운전자는 해당 정보를 제공하는 단말기 방향으로 시선을 옮길 필요가 없고, 헤드업 디스플레이 영상이 출력된 전방을 바라보면서 주행할 수 있기 때문에 운전자의 안전에 도움이 된다.
또한, 운전자의 편의를 위한 장치들이 차량에 부가되면서 늘어나는 차량 정보를 나타낼 수 있는 별도의 표시 수단이 필요해짐에 따라서, 이러한 수단들을 개별적으로 설치할 수 있는 공간 확보가 요구됨에 따라 헤드업 디스플레이에 대한 관심이 더욱 높아지고 있는 추세이다.
최근에는 헤드업 디스플레이 기술에서 더 나아가 윈드실드 글래스 너머에 증강현실(Augmented Reality) 형태로 헤드업 디스플레이 영상을 출력하는 기술이 개발되고 있다.
증강현실은 실존하는 현실 영상에 3차원의 가상 영상을 겹쳐서 출력하는 기술로서, 헤드업 디스플레이에 적용된 증강현실은 차량 전방의 도로에 표지판이나 안전 속도를 겹쳐서 출력하는 형태로 구현되고 있다.
본 발명과 관련된 선행기술로는 한국 공개특허공보 제2012-0059846호(2012.06.11.공개, 발명의 명칭 : 헤드업 디스플레이 장치)가 있다.
종래의 증강현실 헤드업 디스플레이 기술은 차량의 중앙에 위치한 카메라를 통해서 차량 전방을 촬영한 후, 촬영된 영상으로부터 추가 정보가 필요한 특정 대상을 추출하고 특정 대상에 대응되는 추가 정보를 겹쳐서 출력하였다.
이와 같이 종래에는 차량의 중앙에 위치한 카메라를 통해서 촬영된 영상에 기초하여 헤드업 디스플레이 영상을 증강현실로 구현하였기 때문에, 운전자가 실제로 바라보는 시선과는 이질감이 생긴다는 문제가 있었다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 증강현실로 구현되는 헤드업 디스플레이 영상을 운전자가 바라보는 시선에 일치하도록 위치를 변환하여 출력하기 위한, 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치는 서로 다른 위치에서 차량 전방을 촬영하는 제1촬영부와 제2촬영부; 상기 제1촬영부와 제2촬영부 각각의 촬영범위의 차이에 기초하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 제어하는 제어부; 및 상기 제어부의 제어에 기초하여 상기 변환된 좌표로 증강현실 헤드업 디스플레이 영상을 출력하는 헤드업 디스플레이 영상 출력부를 포함한다.
본 발명에서 상기 제2촬영부는 상기 제1촬영부와 다른, 운전자의 눈높이에 설치되는 것을 특징으로 한다.
본 발명에서 상기 제어부는 상기 제1촬영부와 제2촬영부의 촬영범위 내에 가상의 체커보드(Checkerboard)를 위치시키고, 각각의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 비교하는 것을 특징으로 한다.
본 발명에서 상기 제어부는 상기 제1촬영부의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 제1좌표 테이블에 저장하고, 상기 제2촬영부의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 제2좌표 테이블에 저장하는 것을 특징으로 한다.
본 발명에서 상기 제어부는 상기 헤드업 디스플레이 영상 출력부를 통해 차량 전방에 증강현실 헤드업 디스플레이 영상을 출력하고, 상기 제2촬영부에 의해서 촬영되는 상기 증강현실 헤드업 디스플레이 영상에 포함된 체커보드의 교차점 좌표를 제3좌표 테이블에 저장하는 것을 특징으로 한다.
본 발명에서 상기 제어부는 상기 제1좌표 테이블에 저장된 좌표와 상기 제3좌표 테이블에 저장된 좌표의 변환 행렬을 연산하고, 상기 연산된 변환 행렬에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 제어하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법은 제어부가 제1촬영부와 제2촬영부의 촬영범위 내에 가상의 체커보드(Checkerboard)를 위치시키는 단계; 및 상기 제1촬영부와 제2촬영부 각각의 촬영범위 내에서의 상기 체커보드의 위치 차이를 반영하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계를 포함한다.
본 발명의 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계에서, 상기 제어부는 상기 제1촬영부와 제2촬영부 각각의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 좌표 테이블에 저장하고, 각 좌표 테이블에 저장된 좌표 간의 변환 행렬에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 것을 특징으로 한다.
본 발명에서 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계는, 상기 제어부가 상기 제1촬영부의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 제1좌표 테이블에 저장하는 단계; 상기 제2촬영부의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 제2좌표 테이블에 저장하는 단계; 헤드업 디스플레이 영상 출력부를 통해 차량 전방에 증강현실 헤드업 디스플레이 영상을 출력하는 단계; 상기 제2촬영부에 의해서 촬영되는 상기 증강현실 헤드업 디스플레이 영상에 포함된 체커보드의 교차점 좌표를 제3좌표 테이블에 저장하는 단계; 상기 제1좌표 테이블에 저장된 좌표와 상기 제3좌표 테이블에 저장된 좌표 간의 변환 행렬을 연산하는 단계; 및 상기 연산된 변환 행렬에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 상기 제1촬영부와 상기 제2촬영부는 서로 다른 위치에서 차량 전방을 촬영하되, 상기 제2촬영부는 운전자의 눈높이에 설치되는 것을 특징으로 한다.
본 발명에 따르면, 차량 전방을 촬영한 영상에 포함된 영역과 운전자의 시선의 오차를 반영하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환함으로써, 출력된 영상에 대해서 운전자가 느끼는 이질감을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치의 제1촬영부와 제2촬영부가 차량에 장착되는 위치를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라서 제1촬영부와 제2촬영부의 촬영범위 내에 위치한 체커보드를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라서 제2촬영부에 의해서 촬영되는 헤드업 디스플레이 영상에 포함된 체커보드를 타나낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법의 구현 과정을 설명하는 절차 흐름도이다.
이하에서는 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치 및 그 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치의 제1촬영부와 제2촬영부가 차량에 장착되는 위치를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라서 제1촬영부와 제2촬영부의 촬영범위 내에 위치한 체커보드를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라서 제2촬영부에 의해서 촬영되는 헤드업 디스플레이 영상에 포함된 체커보드를 타나낸 도면이다.
도 1 내지 도 4를 참조하면 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치는 제1촬영부(10), 제2촬영부(20), 제어부(30), 헤드업 디스플레이 영상 출력부(40) 및 메모리부(50)를 포함한다.
제1촬영부(10)는 증강현실 헤드업 디스플레이(Augmented Head Up Display) 영상의 출력을 위해 차량 전방을 촬영한다.
즉, 제1촬영부(10)에서 차량 전방을 촬영하면, 후술하는 제어부(30)는 해당 촬영 영상으로부터 추가 정보가 필요한 대상을 추출하고, 추출된 대상에 관한 정보를 증강현실로 출력하도록 헤드업 디스플레이 영상 출력부(40)를 제어한다.
제2촬영부(20)는 운전자의 눈높이에 설치되어 차량 전방을 촬영한다.
즉, 본 실시예에서는 증강현실 헤드업 디스플레이 영상의 출력을 위해 차량 전방을 촬영하는 제1촬영부(10) 이외에 운전자 눈높이에 촬영부를 추가로 설치함으로써, 운전자가 바라보는 시점의 영상을 획득한다.
도 2를 참조하면 제1촬영부(10)와 제2촬영부(20)는 서로 다른 위치에서 차량 전방을 촬영하되, 전술한 바와 같이 제2촬영부(20)는 운전자의 눈높이에 설치된다.
제어부(30)는 제1촬영부(10)와 제2촬영부(20) 각각의 촬영범위의 차이에 기초하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하여 출력하도록 제어함으로써, 운전자가 바라보는 시선에서 해당 증강현실 헤드업 디스플레이 영상에 대해 느낄 수 있는 이질감을 해소한다.
구체적으로 제어부(30)는 제1촬영부(10)와 제2촬영부(20)의 촬영범위를 비교하기 위해서, 제1촬영부(10)와 제2촬영부(20)의 촬영범위 내에 가상의 체커보드(Checkerboard)(1)를 위치시키고, 각각의 촬영범위 내에서의 체커보드(1)의 교차점 좌표를 메모리부(50)에 저장한다.
이 때, 체커보드(1)의 교차점은 격자무늬의 흰 무늬와 검은 무늬가 만나는 모서리를 의미한다.
본 실시예에서 제어부(30)는 특히 제1촬영부(10)의 촬영범위 내에서의 체커보드(1)의 교차점 좌표를 메모리부(50)의 제1좌표 테이블에 저장하고, 제2촬영부(20)의 촬영범위 내에서의 체커보드(1)의 교차점의 좌표를 메모리부(50)의 제2좌표 테이블에 저장한다.
전술한 바와 같이 제1촬영부(10)와 제2촬영부(20)는 서로 촬영범위가 다르기 때문에, 동일한 체커보드(1)의 교차점의 좌표는 각각의 촬영범위에서 서로 다르게 나타난다.
도 3을 참조하면, L1은 제1촬영부(10)의 촬영범위를 나타내고, L2는 제2촬영부(20)의 촬영범위를 나타낸다.
도 3에 도시된 바와 같이, 제1촬영부(10)와 제2촬영부(20)는 서로 좌우측으로 촬영하는 범위가 다르기 때문에, 각 촬영범위에서 체커보드(1)의 교차점 좌표는 다르게 산출된다.
도 3에서는 제1촬영부(10)와 제2촬영부(20)의 촬영 높이가 동일한 것으로 도시하였으나, 본 실시예는 이에 한정되는 것은 아니므로 제1촬영부(10)와 제2촬영부(20)의 설치 높이 등에 따라서 촬영 높이도 달라질 수 있다.
그리고 제어부(30)는 헤드업 디스플레이 영상 출력부(40)를 통해 차량 전방에 증강현실 헤드업 디스플레이 영상을 출력하고, 도 4에 도시된 바와 같이 제2촬영부(20)에 의해서 촬영되는 증강현실 헤드업 디스플레이 영상에 포함된 체커보드(1)의 교차점 좌표를 메모리부(50)의 제3좌표 테이블에 저장한다.
도 4의 L2는 제2촬영부(20)의 촬영 범위를 나타내고, L3는 제2촬영부(20)에 의해서 촬영되는 증강현실 헤드업 디스플레이 영상을 나타낸다.
즉, 제1촬영부(10), 제2촬영부(20) 및 증강현실 헤드업 디스플레이 영상에 포함되는 범위는 서로 다르기 때문에, 본 실시예에서는 각 영상에서의 체커보드(1)의 교차점 좌표를 서로 다른 좌표 테이블에 저장한다.
다만, 증강현실 헤드업 디스플레이 영상은 제1촬영부(10)와 제2촬영부(20)의 영상과 달리 허상이기 때문에, 증강현실 헤드업 디스플레이 영상 자체에서 체커보드(1)의 교차점 좌표를 직접 추출할 수 없다.
따라서 본 실시예에서 제어부(30)는 제2촬영부(20)를 통해서 증강현실 헤드업 디스플레이 영상을 함께 촬영하고, 증강현실 헤드업 디스플레이 영상에 포함된 체커보드(1)의 교차점 좌표를 독출하여 제3좌표 테이블에 저장한다.
이러한 과정을 거침으로써, 제3좌표 테이블에 저장된 체커보드(1)의 교차점 좌표를 통해서 증강현실 헤드업 디스플레이 영상이 운전자의 시선에 어떻게 출력되는지에 관한 상대적인 위치를 알 수 있다.
제어부(30)는 제1좌표 테이블에 저장된 좌표와 제3좌표 테이블에 저장된 좌표의 변환 행렬을 연산하고, 연산된 변환 행렬에 기초하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 헤드업 디스플레이 영상 출력부(40)를 제어한다.
즉, 제1좌표 테이블과 제3좌표 테이블에 저장된 체커보드(1)의 교차점의 수는 동일하기 때문에, 각 좌표 간의 변환 행렬을 연산할 수 있다.
구체적으로 동일한 행과 열의 수를 갖는 행렬 간의 변환 행렬을 연산하는 과정은 이미 공지된 수학적 공식이므로 자세한 설명은 생략하기로 한다.
헤드업 디스플레이 영상 출력부(40)는 제어부(30)의 제어에 기초하여 변환된 좌표로 증강현실 헤드업 디스플레이 영상을 출력한다.
구체적으로 헤드업 디스플레이 영상 출력부(40)는 영상을 투사하는 프로젝터(미도시)와 프로젝터로부터 투사된 영상의 경로를 변경하는 거울(미도시) 등을 포함하여 구성된다.
헤드업 디스플레이 영상 출력부(40)가 증강현실 헤드업 디스플레이 영상을 출력하는 방식은 이미 공지된 기술이므로, 본 실시예에서는 자세한 구현 방법에 대한 설명은 생략하기로 하며, 공지 또는 기타 공지되지 않은 다양한 기술을 이용하여 증강현실 헤드업 디스플레이 영상을 출력할 수 있다.
메모리부(50)는 제1촬영부(10), 제2촬영부(20) 및 증강현실 헤드업 디스플레이 영상에서의 체커보드(1)의 교차점 좌표를 서로 다른 좌표 테이블로 저장한다.
도 5는 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법의 구현 과정을 설명하는 절차 흐름도이다.
도 5를 참조하여 본 발명의 일 실시예에 따른 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법을 살펴보면, 먼저 제어부(30)는 제1촬영부(10)와 제2촬영부(20)의 촬영범위 내에 가상의 체커보드(1)를 위치시킨다(S10).
그리고 제어부(30)는 제1촬영부(10)의 촬영범위 내에서의 체커보드(1)의 교차점 좌표를 제1좌표 테이블에 저장하고(S20), 제2촬영부(20)의 촬영범위 내에서의 체커보드(1)의 교차점 좌표를 제2좌표 테이블에 저장한다(S30).
즉, 제1촬영부(10)와 제2촬영부(20)의 촬영범위는 서로 다르기 때문에 본 실시예에서 제어부(30)는 각 촬영범위의 차이를 비교하기 위해서 체커보드(1)의 교차점 좌표를 각각 저장한다.
이어서 제어부(30)는 헤드업 디스플레이 영상 출력부(40)를 통해서 차량 전방에 증강현실 헤드업 디스플레이 영상을 출력하고(S40), 제2촬영부(20)에 의해서 촬영되는 증강현실 헤드업 디스플레이 영상에 포함된 체커보드(1)의 교차점 좌표를 제3좌표 테이블에 저장한다(S50).
증강현실 헤드업 디스플레이 영상은 제1촬영부(10)와 제2촬영부(20)의 영상과 달리 허상이기 때문에, 증강현실 헤드업 디스플레이 영상에서의 체커보드(1)의 교차점 좌표를 직접 추출할 수 없다.
따라서 본 실시예에서 제어부(30)는 제2촬영부(20)를 통해서 증강현실 헤드업 디스플레이 영상을 함께 촬영하고, 증강현실 헤드업 디스플레이 영상에 포함된 체커보드(1)의 교차점 좌표를 독출하여 제3좌표 테이블에 저장한다.
다음으로 제어부(30)는 제1좌표 테이블에 저장된 좌표와 제3좌표 테이블에 저장된 좌표 간의 변환 행렬을 연산하고(S60), 헤드업 디스플레이 영상 출력부(40)는 연산된 변환 행렬에 기초하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하여(S70), 출력한다.
본 실시예에 따르면, 차량 전방을 촬영한 영상에 포함된 영역과 운전자의 시선의 오차를 반영하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환함으로써, 출력된 영상에 대해서 운전자가 느끼는 이질감을 제거할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
1: 체커보드
10: 제1촬영부
20: 제2촬영부
30: 제어부
40: 헤드업 디스플레이 영상 출력부
50: 메모리부

Claims (10)

  1. 서로 다른 위치에서 차량 전방을 촬영하는 제1촬영부와 제2촬영부;
    상기 제1촬영부와 제2촬영부 각각의 촬영범위의 차이에 기초하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 제어하는 제어부; 및
    상기 제어부의 제어에 기초하여 상기 변환된 좌표로 증강현실 헤드업 디스플레이 영상을 출력하는 헤드업 디스플레이 영상 출력부를 포함하되,
    상기 제어부는, 상기 제1촬영부와 제2촬영부의 촬영범위 내에 가상의 체커보드(Checkerboard)를 위치시키고, 상기 헤드업 디스플레이 영상 출력부를 통해 차량 전방에 증강현실 헤드업 디스플레이 영상을 출력하며, 상기 제2촬영부에 의해서 촬영되는 상기 증강현실 헤드업 디스플레이 영상에 포함된 체커보드의 교차점 좌표 및 상기 제1촬영부의 촬영범위 내에서의 체커보드의 교차점 좌표에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 제어하는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치.
  2. 제 1항에 있어서,
    상기 제2촬영부는 상기 제1촬영부와 다른, 운전자의 눈높이에 설치되는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치.
  3. 삭제
  4. 제 2항에 있어서,
    상기 제어부는 상기 제1촬영부의 촬영범위 내에서의 체커보드의 교차점 좌표를 제1좌표 테이블에 저장하고, 상기 제2촬영부의 촬영범위 내에서의 체커보드의 교차점 좌표를 제2좌표 테이블에 저장하는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치.
  5. 제 4항에 있어서,
    상기 제어부는 상기 증강현실 헤드업 디스플레이 영상에 포함된 체커보드의 교차점 좌표를 제3좌표 테이블에 저장하는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치.
  6. 제 5항에 있어서,
    상기 제어부는 상기 제1좌표 테이블에 저장된 좌표와 상기 제3좌표 테이블에 저장된 좌표의 변환 행렬을 연산하고, 상기 연산된 변환 행렬에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하도록 제어하는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 장치.
  7. 제어부가 제1촬영부와 제2촬영부의 촬영범위 내에 가상의 체커보드(Checkerboard)를 위치시키는 단계; 및
    상기 제1촬영부와 제2촬영부 각각의 촬영범위 내에서의 상기 체커보드의 위치 차이를 반영하여 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계를 포함하되,
    상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계는,
    상기 제어부가 상기 제1촬영부의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 제1좌표 테이블에 저장하는 단계;
    상기 제2촬영부의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 제2좌표 테이블에 저장하는 단계;
    헤드업 디스플레이 영상 출력부를 통해 차량 전방에 증강현실 헤드업 디스플레이 영상을 출력하는 단계;
    상기 제2촬영부에 의해서 촬영되는 상기 증강현실 헤드업 디스플레이 영상에 포함된 체커보드의 교차점 좌표를 제3좌표 테이블에 저장하는 단계;
    상기 제1좌표 테이블에 저장된 좌표와 상기 제3좌표 테이블에 저장된 좌표 간의 변환 행렬을 연산하는 단계; 및
    상기 연산된 변환 행렬에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계를 포함하는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법.
  8. 제 7항에 있어서,
    상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 단계에서, 상기 제어부는 상기 제1촬영부와 제2촬영부 각각의 촬영범위 내에서의 상기 체커보드의 교차점 좌표를 좌표 테이블에 저장하고, 각 좌표 테이블에 저장된 좌표 간의 변환 행렬에 기초하여 상기 증강현실 헤드업 디스플레이 영상의 좌표를 변환하는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법.
  9. 삭제
  10. 제 7항에 있어서,
    상기 제1촬영부와 상기 제2촬영부는 서로 다른 위치에서 차량 전방을 촬영하되, 상기 제2촬영부는 운전자의 눈높이에 설치되는 것을 특징으로 하는 증강현실 헤드업 디스플레이 영상의 좌표 보정 방법.
KR1020130136705A 2013-11-12 2013-11-12 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법 KR101559012B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130136705A KR101559012B1 (ko) 2013-11-12 2013-11-12 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130136705A KR101559012B1 (ko) 2013-11-12 2013-11-12 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150055184A KR20150055184A (ko) 2015-05-21
KR101559012B1 true KR101559012B1 (ko) 2015-10-12

Family

ID=53390838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130136705A KR101559012B1 (ko) 2013-11-12 2013-11-12 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101559012B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190016815A (ko) * 2017-08-09 2019-02-19 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170060652A (ko) 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
KR102582092B1 (ko) 2016-04-22 2023-09-25 한국전자통신연구원 차량용 헤드업 디스플레이의 증강현실정보 변환 장치 및 방법
KR20200056721A (ko) * 2018-11-15 2020-05-25 숙명여자대학교산학협력단 증강현실 기기의 광학 특성 측정 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190016815A (ko) * 2017-08-09 2019-02-19 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
KR101979276B1 (ko) * 2017-08-09 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10803643B2 (en) 2017-08-09 2020-10-13 Lg Electronics Inc. Electronic device and user interface apparatus for vehicle
US10796493B2 (en) 2018-07-02 2020-10-06 Electronics And Telecommunications Research Institute Apparatus and method for calibrating augmented-reality image

Also Published As

Publication number Publication date
KR20150055184A (ko) 2015-05-21

Similar Documents

Publication Publication Date Title
US11181743B2 (en) Head up display apparatus and display control method thereof
CN110573369B (zh) 平视显示器装置及其显示控制方法
US10223835B2 (en) Augmented reality alignment system and method
KR101559012B1 (ko) 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법
JP6669569B2 (ja) 車両用周辺監視装置
TWI431250B (zh) Navigation device for integrating traffic image recording and navigation information
US9086566B2 (en) Monocular head mounted display
JP2015015708A (ja) 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置
US10672269B2 (en) Display control assembly and control method therefor, head-up display system, and vehicle
US11215819B2 (en) Head-up display
CN112534334A (zh) 使影像位于地面而对驾驶员的视点实现增强现实的三维增强现实平视显示器
JP2011035816A (ja) 車両周囲画像表示制御装置
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
KR20170060652A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
JP2015026989A (ja) 車両周辺監視装置およびプログラム
US20160037154A1 (en) Image processing system and method
KR20120066472A (ko) 전방 물체를 이용한 증강 현실 출력 장치 및 방법
JP2019102936A (ja) 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム
US20120081520A1 (en) Apparatus and method for attenuating stereoscopic sense of stereoscopic image
KR20170066749A (ko) 헤드업 디스플레이의 영상 왜곡 보정 장치 및 방법
US20220072957A1 (en) Method for Depicting a Virtual Element
JP7066271B2 (ja) 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム
JP2018088669A (ja) 投影画像歪補正装置および方法
US20220348080A1 (en) Control of a display of an augmented reality head-up display apparatus for a motor vehicle
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 5