KR20240053443A - Hud 고스트 이미지 측정 방법 및 장치 - Google Patents

Hud 고스트 이미지 측정 방법 및 장치 Download PDF

Info

Publication number
KR20240053443A
KR20240053443A KR1020220133555A KR20220133555A KR20240053443A KR 20240053443 A KR20240053443 A KR 20240053443A KR 1020220133555 A KR1020220133555 A KR 1020220133555A KR 20220133555 A KR20220133555 A KR 20220133555A KR 20240053443 A KR20240053443 A KR 20240053443A
Authority
KR
South Korea
Prior art keywords
pattern
image
measurement device
virtual image
positions
Prior art date
Application number
KR1020220133555A
Other languages
English (en)
Other versions
KR102675906B1 (ko
Inventor
정영주
Original Assignee
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숙명여자대학교산학협력단 filed Critical 숙명여자대학교산학협력단
Priority to KR1020220133555A priority Critical patent/KR102675906B1/ko
Priority claimed from KR1020220133555A external-priority patent/KR102675906B1/ko
Priority to PCT/KR2023/009559 priority patent/WO2024085351A1/ko
Publication of KR20240053443A publication Critical patent/KR20240053443A/ko
Application granted granted Critical
Publication of KR102675906B1 publication Critical patent/KR102675906B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

실시예들에 따른 광학 특성 측정 방법은 다시점 영상을 생성하는 단계, 다시점 영상은 좌측 영상, 중앙 영상, 우측 영상을 포함함; 다시점 영상을 위한 버츄얼 이미지의 위치를 표시하는 단계; 버츄얼 이미지의 위치의 뎁스를 계산하는 단계; 버츄얼 이미지의 뎁스를 추정하는 단계; 위치의 뎁스 및 버츄얼 이미지의 뎁스를 매칭하는 단계; 및 매칭된 뎁스에 기초하여, 다시점 영상의 오차를 캘리브레이션하는 단계; 를 포함할 수 있다. 또한, 광학 특성 측정 방법은 다시점 영상을 생성하는 단계, 다시점 영상은 좌측 영상, 중앙 영상, 우측 영상을 포함함; 다시점 영상을 위한 버츄얼 이미지의 위치들을 표시하는 단계; 버츄얼 이미지의 위치들의 뎁스를 추정하는 단계; 뎁스에 기초하여, 위치들을 그룹핑하는 단계; 그룹핑된 위치들에서 일부 위치를 선택하는 단계; 및 선택된 일부 위치 및 뎁스에 기반하여 보정된 가상 오브젝트를 투사하는 단계; 를 포함할 수 있다.

Description

HUD 고스트 이미지 측정 방법 및 장치{A METHOD OF MEASURING A HEAD UP DISPLAY GHOST IMAGE AND AN APPARATUS OF MEASURING A HEAD UP DISPLAY GHOST IMAGE}
본 발명은 HUD 고스트 이미지 측정 방법 및 장치에 관한 것으로, 보다 상세하게는 증강현실 기기에 의해 생성되는 3차원 가상이미지의 광학적 특성을 측정하기 위한 방법 및 장치에 관한 것이다.
증강현실(augmented reality, AR)은 가상현실(AR)의 한 분야로 실제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로, 디지털 미디어에서 빈번하게 사용된다.
증강현실은 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(mixed reality, MR)이라고도 한다. 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국을 중심으로 연구 및 개발이 진행되고 있다.
예컨대, 증강현실은 원격의료진단, 방송, 건축설계, 제조공정관리 등에 활용될 수 있다. 또한, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계 및 교육 분야 등에서도 다양한 제품을 개발하고 있다.
한편, 증강현실을 실외에서 실현하는 것이 웨어러블 컴퓨터(wearable computer)일 수 있다. 특히, 머리에 쓰는 형태의 디스플레이 장치(head mounted display, HMD)는 사용자가 보는 실제 환경에 컴퓨터 그래픽 및 문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다. 또한, 헤드업 디스플레이(head up display, HUD)는 차량의 윈드실드 외부에 차량의 운행에 필요한 각종 정보를 보여줌으로써 증강현실을 가능하게 한다.
예컨대, 헤드업 디스플레이는 차량의 내부에서 윈드실드의 외부로 출력된 광원을 차량의 윈드실드 외부에 위치한 가상의 평면 상에 나타냄으로써, 운전자가 운전 중에 시선을 이동시키지 않고서도 그 가상의 평면에서 차량의 운행에 필요한 정보를 얻을 수 있도록 하여 증강현실을 구현할 수 있다.
이때, HMD 및 HUD 등과 같은 개별 증강현실 기기의 광학적 특성에 따라서 해당 증강현실 기기에 의해 형성되는 가상의 평면의 위치를 비롯한 기하학적 특성들이 결정될 수 있다.
따라서, 증강현실 기기의 출력에 대하여 광학적 특성을 측정할 수 있는 방법 및 장치에 관한 필요성이 대두되고 있다.
관련 선행기술로는 한국공개특허 제10-2017-0114375호(발명의 명칭: 가상현실 컨텐츠 표시 방법 및 장치, 공개일자: 2017년 10월 16일)가 있다.
본 발명은 증강현실 기기에 의해 생성되는 가상이미지의 광학적 특성을 측정하는 방법 및 장치를 제공하고자 한다.
또한, 본 발명은 증강현실 기기에 의해 생성되는 가상이미지의 광학적 특성을 이용하여, 증강현실 기기의 사용자를 기준으로 가상이미지까지의 거리(virtual image distance), 가상이미지의 룩다운/업 각도(look down/up angle), 수평/수직 화각(horizontal/vertical field of view), 정적 왜곡(static distortion), 고스팅 레벨(ghosting level) 등을 산출하는 방법 및 장치를 제공하고자 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 증강현실 기기의 광학 특성 측정 방법은 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영하는 단계; 상기 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 상기 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득하는 단계; 및 상기 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 상기 화각정보 및 상기 배치정보에 기초하여, 상기 측정기준위치를 기준으로 하는 상기 복수의 패턴의 좌표를 산출하는 단계를 포함한다.
바람직하게는, 상기 복수의 카메라가 상기 측정기준위치에 위치한 중앙카메라, 상기 측정기준위치를 중심으로 대칭되도록 위치한 좌측카메라 및 우측카메라이고, 상기 테스트이미지에 상기 복수의 패턴이 가로 및 세로로 정렬되어 배치되어 있을 때, 상기 복수의 패턴의 좌표를 산출하는 단계는 상기 복수의 촬영이미지의 가로 픽셀수, 상기 복수의 촬영이미지에서의 상기 복수의 패턴의 좌표, 상기 화각정보에 포함된 상기 복수의 카메라의 화각 및 상기 배치정보에 포함된 상기 좌측카메라와 상기 우측카메라 간의 거리를 이용하여, 상기 복수의 패턴의 좌표를 산출할 수 있다.
바람직하게는, 상기 복수의 패턴의 좌표를 산출하는 단계는 수학식 1을 이용하여 상기 복수의 패턴의 좌표를 산출할 수 있다.
[수학식 1]
여기서, xij, yij, zij는 상기 측정기준위치를 기준으로 하는 가로 i번째, 세로 j번째 패턴의 x, y, z축 좌표이고, α는 상기 좌측카메라와 상기 우측카메라 간의 거리이고, M는 상기 복수의 촬영이미지의 가로 픽셀수이고, θ는 상기 복수의 카메라의 화각이고, mL ij는 상기 좌측카메라의 상기 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mR ij는 상기 우측카메라의 상기 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mC ij는 상기 중심카메라의 상기 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이다.
바람직하게는, 상기 측정기준위치의 좌표 및 상기 가상평면 상의 상기 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 상기 측정기준위치와 상기 가상평면 간의 가상이미지거리(virtual image distance)를 산출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 가상이미지거리를 산출하는 단계는 수학식 2를 이용하여 상기 가상이미지거리를 산출할 수 있다.
[수학식 2]
여기서, DVI는 상기 가상이미지거리이고, x22, y22, z22는 상기 복수의 패턴 중 하나의 패턴의 좌표이다.
바람직하게는, 상기 측정기준위치의 좌표 및 상기 가상평면 상의 상기 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 상기 측정기준위치로부터 상기 가상평면에 대한 룩다운/업각도(look down/up angle)를 산출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 룩다운/업각도를 산출하는 단계는 수학식 3을 이용하여 상기 룩다운/업각도를 산출할 수 있다.
[수학식 3]
여기서, θdown/up은 상기 룩다운/업각도이고, x22, y22, z22는 상기 복수의 패턴 중 하나의 패턴의 좌표이다.
바람직하게는, 상기 측정기준위치의 좌표, 상기 가상평면 상의 상기 복수의 패턴 중 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 상기 측정기준위치의 수평시야각(horizontal field of view)을 산출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 수평시야각을 산출하는 단계는 수학식 4를 이용하여 상기 수평시야각을 산출할 수 있다.
[수학식 4]
여기서, θH FOV는 상기 수평시야각이고, O는 상기 측정기준위치의 좌표이고, P21 및 P23은 상기 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
바람직하게는, 상기 측정기준위치의 좌표, 상기 가상평면 상의 상기 복수의 패턴 중 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 상기 측정기준위치의 수직시야각(vertical field of view)을 산출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 수직시야각을 산출하는 단계는 수학식 5를 이용하여 상기 수직시야각을 산출할 수 있다.
[수학식 5]
여기서, θV FOV는 상기 수직시야각이고, O는 상기 측정기준위치의 좌표이고, P12 및 P32은 상기 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
바람직하게는, 상기 가상평면 상의 상기 복수의 패턴의 좌표에 기초하여, 상기 측정기준위치를 기준으로 하는 3개 축 각각에 대한 정적 왜곡(static distortion)을 산출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 복수의 패턴의 좌표를 산출하는 단계는 상기 복수의 패턴 각각에 대응되는 복수의 고스트 패턴의 좌표를 더 산출하고, 상기 복수의 패턴의 좌표 및 상기 복수의 고스트 패턴의 좌표에 기초하여, 고스팅 레벨(ghosting level)을 산출하는 단계를 더 포함할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 증강현실 기기의 광학 특성 측정 장치는 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영하는 촬영부; 상기 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 상기 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득하는 획득부; 및 상기 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 상기 화각정보 및 상기 배치정보에 기초하여, 상기 측정기준위치를 기준으로 하는 상기 복수의 패턴의 좌표를 산출하는 산출부를 포함한다.
바람직하게는, 상기 복수의 카메라가 상기 측정기준위치에 위치한 중앙카메라, 상기 측정기준위치를 중심으로 대칭되도록 위치한 좌측카메라 및 우측카메라이고, 상기 테스트이미지에 상기 복수의 패턴이 가로 및 세로로 정렬되어 배치되어 있을 때, 상기 산출부는 상기 복수의 촬영이미지의 가로 픽셀수, 상기 복수의 촬영이미지에서의 상기 복수의 패턴의 좌표, 상기 화각정보에 포함된 상기 복수의 카메라의 화각 및 상기 배치정보에 포함된 상기 좌측카메라와 상기 우측카메라 간의 거리를 이용하여, 상기 복수의 패턴의 좌표를 산출할 수 있다.
바람직하게는, 상기 산출부는 수학식 6을 이용하여 상기 복수의 패턴의 좌표를 산출할 수 있다.
[수학식 6]
여기서, xij, yij, zij는 상기 측정기준위치를 기준으로 하는 가로 i번째, 세로 j번째 패턴의 x, y, z축 좌표이고, α는 상기 좌측카메라와 상기 우측카메라 간의 거리이고, M는 상기 복수의 촬영이미지의 가로 픽셀수이고, θ는 상기 복수의 카메라의 화각이고, mL ij는 상기 좌측카메라의 상기 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mR ij는 상기 우측카메라의 상기 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mC ij는 상기 중심카메라의 상기 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이다.
바람직하게는, 상기 산출부는 상기 측정기준위치의 좌표 및 상기 가상평면 상의 상기 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 상기 측정기준위치와 상기 가상평면 간의 가상이미지거리를 더 산출할 수 있다.
바람직하게는, 상기 산출부는 수학식 7을 이용하여 상기 가상이미지거리를 산출할 수 있다.
[수학식 7]
여기서, DVI는 상기 가상이미지거리이고, x22, y22, z22는 상기 복수의 패턴 중 하나의 패턴의 좌표이다.
바람직하게는, 상기 산출부는 상기 측정기준위치의 좌표 및 상기 가상평면 상의 상기 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 상기 측정기준위치로부터 상기 가상평면에 대한 룩다운/업각도를 더 산출할 수 있다.
바람직하게는, 상기 산출부는 수학식 8을 이용하여 상기 룩다운/업각도를 산출할 수 있다.
[수학식 8]
여기서, θdown/up은 상기 룩다운/업각도이고, x22, y22, z22는 상기 복수의 패턴 중 하나의 패턴의 좌표이다.
바람직하게는, 상기 산출부는 상기 측정기준위치의 좌표, 상기 가상평면 상의 상기 복수의 패턴 중 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 상기 측정기준위치의 수평시야각을 더 산출할 수 있다.
바람직하게는, 상기 산출부는 수학식 9를 이용하여 상기 수평시야각을 산출할 수 있다.
[수학식 9]
여기서, θH FOV는 상기 수평시야각이고, O는 상기 측정기준위치의 좌표이고, P21 및 P23은 상기 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
바람직하게는, 상기 산출부는 상기 측정기준위치의 좌표, 상기 가상평면 상의 상기 복수의 패턴 중 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 상기 측정기준위치의 수직시야각을 더 산출할 수 있다.
바람직하게는, 상기 산출부는 수학식 10을 이용하여 상기 수직시야각을 산출할 수 있다.
[수학식 10]
여기서, θV FOV는 상기 수직시야각이고, O는 상기 측정기준위치의 좌표이고, P12 및 P32은 상기 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
바람직하게는, 상기 산출부는 상기 가상평면 상의 상기 복수의 패턴의 좌표에 기초하여, 상기 측정기준위치를 기준으로 하는 3개 축 각각에 대한 정적 왜곡을 더 산출할 수 있다.
바람직하게는, 상기 산출부가 상기 복수의 촬영이미지, 상기 화각정보 및 상기 배치정보에 기초하여, 상기 복수의 패턴 각각에 대응되는 복수의 고스트 패턴의 좌표를 더 산출하고, 상기 복수의 패턴의 좌표 및 상기 복수의 고스트 패턴의 좌표에 기초하여, 고스팅 레벨을 더 산출할 수 있다.
본 발명은 복수의 카메라를 이용함으로써, 증강현실 기기에 의해 생성되는 가상이미지의 광학적 특성을 용이하게 측정할 수 있는 효과가 있다.
또한, 본 발명은 증강현실 기기에 의해 생성되는 가상이미지의 광학적 특성을 이용하여, 증강현실 기기의 사용자를 기준으로 가상이미지까지의 거리(virtual image distance), 가상이미지의 룩다운/업 각도(look down/up angle), 수평/수직 화각(horizontal/vertical field of view), 정적 왜곡(static distortion), 고스팅 레벨(ghosting level) 등을 산출할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기기의 광학 특성 측정 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 가상이미지거리 산출 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 룩다운/업각도 산출 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 수평시야각 산출 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 수직시야각 산출 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 정적 왜곡 산출 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 고스팅 레벨 산출 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 기기의 광학 특성 측정 장치를 나타내는 블록도이다.
도 9a 및 9b는 본 발명의 일 실시예에 따른 증강현실 기기의 광학 특성 측정을 위한 환경을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 복수의 카메라를 이용하여 가상평면 상의 테스트이미지를 촬영한 결과를 설명하기 위한 도면이다.
도 11a 및 11b는 본 발명의 일 실시예에 따른 복수의 카메라를 이용하여 촬영한 촬영이미지에 포함된 복수의 패턴의 좌표를 설명하기 위한 도면이다.
도 12a 및 12b는 본 발명의 일 실시예에 따른 복수의 패턴의 좌표를 산출하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 가상이미지거리를 산출하는 방법을 설명하기 위한 도면이다.
도 14a 및 14b는 본 발명의 일 실시예에 따른 룩다운/업각도를 산출하는 방법을 설명하기 위한 도면이다.
도 15a 및 15b는 본 발명의 일 실시예에 따른 수평시야각 및 수직시야각을 산출하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 정적 왜곡을 산출하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 고스팅 레벨을 산출하는 방법을 설명하기 위한 도면이다.
도18은 실시예들에 따른 3D HUD와 같은 버츄얼 이미지 타입 3D 디스플레이의 이미지 퀄리티 특성을 위한 측정 구성을 나타낸다.
도19는 실시예들에 따른 고스트 이미지를 위한 측정 방법을 나타낸다.
도20은 실시예들에 따른 9개의 측정 포인트들이 있는 테스트 이미지 및 LMD들에 의해 캡쳐된 대응하는 3개의 이미지들을 나타낸다.
도21은 실시예들에 따른 고스트 이미지에 관한 고스트 레벨을 획득하는 방법을 나타낸다.
도22 는 실시예들에 따른 광학 측정 방법을 나타낸다.
도23는 실시예들에 따른 광학 측정 장치를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 가상현실 기기의 광학적 특성을 측정하는 방법 및 장치에 관한 것으로, 다음과 같은 환경에서 그 측정이 수행될 수 있다. 예컨대, 도 9a를 참조하면, 사용자의 눈이 아이박스(eye box)에 위치하고, 가상현실 기기의 출력에 의한 가상평면이 투명 또는 반투명의 스크린(예, 차량의 윈드실드) 외부에 형성될 수 있다. 이때, 사용자는 눈만을 움직여서 가상평면의 전체를 볼 수 있다. 또한, 도 9b를 참조하면, 아이박스에는 측정기준위치를 중심으로 복수의 카메라가 배치될 수 있다. 보다 구체적으로, 측정기준위치에 camC가 배치되고, 그 양 옆으로 대칭되는 위치에 camL 및 camR이 배치될 수 있다. 한편, 테스트이미지에는 복수의 패턴이 가로 및 세로로 정렬(예, 3x3)되어 위치할 수 있다.
그러나, 본 발명은 이와 같은 환경에서만 실시되는 것으로 한정되지 않으며, 상이한 여러 환경에서 실시될 수 있음은 물론이다. 예컨대, 아이박스의 위치 및 크기, 카메라의 개수 및 배치, 테스트이미지에 포함된 패턴의 개수 및 배치 등이 측정 환경에 따라 달라질 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기기의 광학 특성 측정 방법을 나타내는 흐름도이다.
단계 S110에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
예컨대, 도 9b를 참조하면, 아이박스의 중심에 위치한 측정기준위치에 한대의 카메라가 배치되고, 그 양 옆으로 동일한 높이에 나머지 카메라가 정면을 향해 대칭되어 배치될 수 있다.
이때, 광학 특성 측정 장치는 복수의 카메라와 무선 또는 유선을 통해 연결되어, 가상평면 상의 테스트이미지를 촬영하도록 하는 명령을 전송할 수 있다.
단계 S120에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
예컨대, 광학 특성 측정 장치는 사용자로부터 카메라의 화각에 대한 정보 및 카메라의 배치에 관한 정보를 입력받아, 화각정보 및 배치정보를 획득할 수 있다. 바람직하게는, 카메라의 화각에 관한 정보는 수평 화각이고, 카메라의 배치에 관한 정보는 측정기준위치의 양 옆에 대칭되어 배치된 카메라 간의 이격 거리일 수 있다.
마지막으로 단계 S130에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
이때, 광학 특성 측정 장치는 복수의 촬영이미지의 크기에 관한 정보, 복수의 촬영이미지에 포함된 복수의 패턴의 이미지 내에서의 좌표에 관한 정보, 복수의 카메라의 화각에 관한 정보, 복수의 카메라의 배치에 관한 정보를 이용하여, 측정기준위치를 원점(0, 0, 0)으로 하는 가상평면 상의 복수의 패턴의 3차원 좌표를 산출할 수 있다.
한편, 복수의 패턴의 좌표를 산출하는 자세한 방법에 대하여는 아래의 실시예에서 구체적으로 후술한다.
다른 실시예에서는, 광학 특성 측정 장치가 그 복수의 카메라가 측정기준위치에 위치한 중앙카메라, 측정기준위치를 중심으로 대칭되도록 위치한 좌측카메라 및 우측카메라이고, 테스트이미지에 복수의 패턴이 가로 및 세로로 정렬되어 배치되어 있을 때, 복수의 촬영이미지의 가로 픽셀수, 복수의 촬영이미지에서의 복수의 패턴의 좌표, 화각정보에 포함된 그 복수의 카메라의 화각 및 배치정보에 포함된 좌측카메라와 우측카메라 간의 거리를 이용하여, 복수의 패턴의 좌표를 산출할 수 있다.
예컨대, 도 9b를 참조하면, 복수의 카메라가 측정기준위치에 위치한 중앙카메라(camC)와 측정기준위치를 중심으로 대칭되도록 위치한 좌측카메라(camL) 및 우측카메라(camR)일 수 있다. 또한, 테스트이미지에 9개의 패턴이 가로 및 세로로 정렬되어 배치될 수 있다.
이때, 광학 특성 측정 장치는 복수의 촬영이미지의 가로 픽셀수, 복수의 촬영이미지에서의 복수의 패턴의 좌표, 화각정보에 포함된 그 복수의 카메라의 화각 및 배치정보에 포함된 좌측카메라와 우측카메라 간의 거리를 이용하여, 측정기준위치를 원점(0, 0, 0)으로 하는 가상평면 상의 9개 패턴의 3차원 좌표를 각각 산출할 수 있다.
또 다른 실시예에서는, 광학 특성 측정 장치가 수학식 1을 이용하여 복수의 패턴의 좌표를 산출할 수 있다.
[수학식 1]
여기서, xij, yij, zij는 측정기준위치를 기준으로 하는 가로 i번째, 세로 j번째 패턴의 x, y, z축 좌표이고, α는 좌측카메라와 우측카메라 간의 거리이고, M는 복수의 촬영이미지의 가로 픽셀수이고, θ는 복수의 카메라의 화각이고, mL ij는 좌측카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mR ij는 우측카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mC ij는 중심카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이다.
이때, 도 10을 참조하면, 아이박스의 중심인 측정기준위치에 중앙카메라(camC)가 배치되고, 좌측카메라(camL) 및 우측카메라(camR)가 α의 거리를 두고 이격되어 배치될 수 있다. 그리고, 광학 특성 측정 장치가 정면을 향하도록 배치된 중앙카메라(camC), 좌측카메라(camL) 및 우측카메라(camR)를 이용하여, 가상평면 상의 테스트이미지를 촬영할 수 있다. 그 결과, 좌측카메라(camL)를 이용하여 촬영한 촬영이미지(captured image by camL)는 테스트이미지가 우측으로 치우치고, 중앙카메라(camC)를 이용하여 촬영한 촬영이미지(captured image by camC)는 테스트이미지가 치우치지 않고, 우측카메라(camR)를 이용하여 촬영한 촬영이미지(captured image by camR)는 테스트이미지가 좌측으로 치우칠 수 있다.
한편, 도 11a를 참조하면, 가상평면 상에 나타나는 9개의 패턴의 3차원 좌표는 Pij = (xij, yij, zij)로 나타낼 수 있으며, i는 패턴의 가로인덱스(i=1,2,3), j는 패턴의 세로인덱스(j=1,2,3)일 수 있다. 즉, Pij는 가로 i번째, 세로 j번째 패턴의 중심부의 3차원 좌표일 수 있다.
또한, 도 11b를 참조하면, 촬영이미지에 나타나는 9개의 패턴의 픽셀 좌표는 PL ij, PC ij, PR ij로 나타낼 수 있고, 각각 좌측카메라(camL), 중앙카메라(camC), 우측카메라(camR)의 촬영이미지에 나타나는 패턴의 좌표를 의미할 수 있다. 이때, PL ij = (mL ij, nL ij), PC ij = (mC ij, nC ij), PR ij = (mR ij, nR ij)일 수 있다. 이때, PL ij, PC ij, PR ij는 가로 i번째, 세로 j번째 패턴의 중심부의 픽셀 좌표일 수 있다.
한편, 도 12a를 참조하면, 아래의 수학식 2와 같은 비례 관계가 성립함을 알 수 있다.
[수학식 2]
여기서, z는 측정기준위치로부터 가상평면까지의 z축으로의 거리이고, θ는 카메라의 화각이고, α는 좌측카메라와 우측카메라 간의 거리이고, mL ij는 좌측카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mR ij는 우측카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, M은 촬영이미지의 가로 픽셀수이다.
이때, 수학식 2를 변형하면 수학식 1을 얻을 수 있음은 자명하다.
예컨대, 도 12b를 참조하면, 광학 특성 측정 장치가 동일한 패턴(i=1, j=1)에 관하여 중앙카메라(camC), 좌측카메라(camL) 및 우측카메라(camR)를 이용하여 촬영한 결과를 이용하여, 수학식 1을 통해 x11, y11, z11을 산출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가상이미지거리 산출 방법을 나타내는 흐름도이다.
*112단계 S210에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
단계 S220에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
단계 S230에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
마지막으로 단계 S240에서는, 광학 특성 측정 장치가 측정기준위치의 좌표 및 가상평면 상의 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 측정기준위치와 가상평면 간의 가상이미지거리(virtual image distance)를 산출한다.
예컨대, 도 13을 참조하면, 광학 특성 측정 장치는 측정기준위치인 (0, 0, 0)을 기준으로 P22의 좌표(x22, y22, z22)까지의 거리를 산출하여 가상이미지거리를 산출할 수 있다.
다른 실시예에서는, 광학 특성 측정 장치가 수학식 3을 이용하여 가상이미지거리를 산출할 수 있다.
[수학식 3]
여기서, DVI는 가상이미지거리이고, x22, y22, z22는 i=2, j=2인 패턴의 3차원 좌표이다.
도 3은 본 발명의 일 실시예에 따른 룩다운/업각도 산출 방법을 나타내는 흐름도이다.
단계 S310에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
단계 S320에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
단계 S330에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
마지막으로 단계 S340에서는, 광학 특성 측정 장치가 측정기준위치의 좌표 및 가상평면 상의 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 측정기준위치로부터 가상평면에 대한 룩다운/업각도(look down/up angle)를 산출한다.
이때, 룩다운/업각도는 아이박스와 가상평면의 높이의 차이를 나타내는 각도로서, 사용자가 가상평면을 올려보는지 또는 내려보는지를 나타낸다.
예컨대, 사용자의 눈이 위치하는 측정기준위치인 (0, 0, 0)을 기준으로 P22의 좌표(x22, y22, z22)를 산출하였을 때, y22 < 0이면 도 14a와 같이 내려보는 룩다운(look down)의 상황이 되고, y22 > 0이면 도 14b와 같이 올려보는 룩업(look up)의 상황이 될 수 있다.
다른 실시예에서는, 광학 특성 측정 장치가 수학식 4를 이용하여 룩다운/업각도를 산출할 수 있다.
[수학식 4]
여기서, θdown/up은 룩다운/업각도이고, x22, y22, z22는 i=2, j=2인 패턴의 3차원 좌표이다.
도 4는 본 발명의 일 실시예에 따른 수평시야각 산출 방법을 나타내는 흐름도이다.
단계 S410에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
단계 S420에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
단계 S430에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
마지막으로 단계 S440에서는, 광학 특성 측정 장치가 측정기준위치의 좌표, 가상평면 상의 복수의 패턴 중 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 측정기준위치의 수평시야각(horizontal field of view)을 산출한다.
예컨대, 도 15a를 참조하면, 광학 특성 측정 장치는 측정기준위치의 3차원 좌표 O = (0, 0, 0), 가상평면 상의 복수의 패턴 중 수평 방향으로 양쪽 끝에 위치한 두개의 패턴인 P21 = (x21, y21, z21) 및 P23 = (x23, y23, z23)의 3차원 좌표를 이용하여, 각도 ∠P21OP23를 수평시야각으로 산출할 수 있다.
다른 실시예에서는, 광학 특성 측정 장치가 수학식 5를 이용하여 수평시야각을 산출할 수 있다.
[수학식 5]
여기서, θH FOV는 수평시야각이고, O는 측정기준위치의 좌표이고, P21 및 P23은 복수의 패턴 중에서 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
도 5는 본 발명의 일 실시예에 따른 수직시야각 산출 방법을 나타내는 흐름도이다.
단계 S510에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
단계 S520에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
단계 S530에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
마지막으로 단계 S540에서는, 광학 특성 측정 장치가 측정기준위치의 좌표, 가상평면 상의 복수의 패턴 중 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 측정기준위치의 수직시야각(vertical field of view)을 산출한다.
예컨대, 도 15b를 참조하면, 광학 특성 측정 장치는 측정기준위치의 3차원 좌표 O = (0, 0, 0), 가상평면 상의 복수의 패턴 중 수직 방향으로 양쪽 끝에 위치한 두개의 패턴인 P12 = (x12, y12, z12) 및 P32 = (x32, y32, z32)의 3차원 좌표를 이용하여, 각도 ∠P12OP32를 수직시야각으로 산출할 수 있다.
다른 실시예에서는, 광학 특성 측정 장치가 수학식 6을 이용하여 수직시야각을 산출할 수 있다.
[수학식 6]
여기서, θV FOV는 수직시야각이고, O는 측정기준위치의 좌표이고, P12 및 P32은 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
도 6은 본 발명의 일 실시예에 따른 정적 왜곡 산출 방법을 나타내는 흐름도이다.
단계 S610에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
단계 S620에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
단계 S630에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
마지막으로 단계 S640에서는, 광학 특성 측정 장치는 가상평면 상의 복수의 패턴의 좌표에 기초하여, 측정기준위치를 기준으로 하는 3개 축 각각에 대한 정적 왜곡(static distortion)을 산출한다.
이때, 정적 왜곡은 가상현실 기기의 프로젝션에 의해 유발되는 것으로서, 도 16을 참조하면, 3개의 축(x, y, z) 각각에 대응되는 선형을 기준으로 하는 복수의 패턴의 3차원 좌표의 편차 정도(deviation degree)를 나타낸다.
한편, 광학 특성 측정 장치는 수학식 7을 이용하여 3개 축 각각에 대한 정적 왜곡을 산출할 수 있다.
[수학식 7]
여기서, DTx Linearity, DTy Linearity, DTz Linearity는 각각 x, y, z축을 기준으로 하는 한 선형 왜곡값이고, xab, yab, zab는 가로 a(a=1,2,3)번째, 세로 b(b=1,2,3)번째 패턴의 x, y, z좌표이다.
도 7은 본 발명의 일 실시예에 따른 고스팅 레벨 산출 방법을 나타내는 흐름도이다.
단계 S710에서는, 광학 특성 측정 장치가 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
단계 S720에서는, 광학 특성 측정 장치가 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
단계 S730에서는, 광학 특성 측정 장치가 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표 및 복수의 고스트 패턴의 좌표를 산출한다.
예컨대, 고스트 패턴은 입력되는 빛의 절반은 투과시키고, 나머지 절반은 반사시키는 차량의 윈드실드에서 나타날 수 있다. 보다 구체적으로, 도 17을 참조하면, 윈드실드의 2개의 물리적 레이어가 고스트 현상을 일으켜, 사용자에게 가상평면 상의 패턴과 그 패턴에 대응되는 고스트 패턴이 이중 이미지(double images)로 겹쳐져 보이거나, 흐리게(blurred)보일 수 있다.
이때, 광학 특성 측정 장치는 복수의 패턴의 좌표를 산출하는 방법과 동일한 방법으로, 복수의 패턴 각각에 대응되는 복수의 고스트 패턴의 좌표를 산출할 수 있다.
마지막으로 단계 S740에서는, 광학 특성 측정 장치가 복수의 패턴의 좌표 및 복수의 고스트 패턴의 좌표에 기초하여, 고스팅 레벨(ghosting level)을 산출할 수 있다.
이때, 광학 특성 측정 장치는 원래의 패턴과 대응되는 고스트 패턴과의 차이(gap)으로부터 고스팅 레벨을 산출할 수 있다.
보다 구체적으로, 광학 특성 측정 장치는 수학식 8을 이용하여 고스팅 레벨을 산출할 수 있다.
[수학식 8]
여기서, Ghost는 고스팅 레벨이고, xij, yij, zij는 가로 i(i=1,2,3)번째, 세로 j(j=1,2,3)번째 패턴의 x, y, z좌표이고, xGij, yGij, zGij는 가로 i번째, 세로 j번째 고스트 패턴의 x, y, z좌표이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 기기의 광학 특성 측정 장치를 나타내는 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 증강현실 기기의 광학 특성 측정 장치(800)는 촬영부(810), 획득부(820) 및 산출부(830)를 포함한다.
촬영부(810)는 소정의 측정기준위치를 중심으로 배치된 복수의 카메라를 이용하여, 증강현실 기기에 의해 가상평면 상에 출력되는 복수의 패턴을 포함하는 테스트이미지를 촬영한다.
획득부(820)는 그 복수의 카메라의 화각에 관한 정보를 포함하는 화각정보 및 그 복수의 카메라의 배치에 관한 정보를 포함하는 배치정보를 획득한다.
마지막으로 산출부(830)는 그 복수의 카메라에 의해 촬영된 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 측정기준위치를 기준으로 하는 복수의 패턴의 좌표를 산출한다.
다른 실시예에서는, 복수의 카메라가 측정기준위치에 위치한 중앙카메라, 측정기준위치를 중심으로 대칭되도록 위치한 좌측카메라 및 우측카메라이고, 테스트이미지에 복수의 패턴이 가로 및 세로로 정렬되어 배치되어 있을 때, 산출부(830)는 복수의 촬영이미지의 가로 픽셀수, 복수의 촬영이미지에서의 복수의 패턴의 좌표, 화각정보에 포함된 복수의 카메라의 화각 및 배치정보에 포함된 좌측카메라와 우측카메라 간의 거리를 이용하여, 복수의 패턴의 좌표를 산출할 수 있다.
또 다른 실시예에서는, 산출부(830)는 수학식 9를 이용하여 복수의 패턴의 좌표를 산출할 수 있다.
[수학식 9]
여기서, xij, yij, zij는 측정기준위치를 기준으로 하는 가로 i번째, 세로 j번째 패턴의 x, y, z축 좌표이고, α는 좌측카메라와 우측카메라 간의 거리이고, M는 복수의 촬영이미지의 가로 픽셀수이고, θ는 복수의 카메라의 화각이고, mL ij는 좌측카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mR ij는 우측카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이고, mC ij는 중심카메라의 촬영이미지에서의 가로 i번째, 세로 j번째 패턴의 가로 방향 좌표이다.
또 다른 실시예에서는, 산출부(830)는 측정기준위치의 좌표 및 가상평면 상의 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 측정기준위치와 가상평면 간의 가상이미지거리를 더 산출할 수 있다.
또 다른 실시예에서는, 산출부(830)는 수학식 10을 이용하여 가상이미지거리를 산출할 수 있다.
[수학식 10]
여기서, DVI는 가상이미지거리이고, x22, y22, z22는 복수의 패턴 중 하나의 패턴의 좌표이다.
또 다른 실시예에서는, 산출부(830)는 측정기준위치의 좌표 및 가상평면 상의 복수의 패턴 중 적어도 하나의 좌표를 이용하여, 측정기준위치로부터 가상평면에 대한 룩다운/업각도를 더 산출할 수 있다.
또 다른 실시예에서는, 산출부(830)는 수학식 11을 이용하여 룩다운/업각도를 산출할 수 있다.
[수학식 11]
여기서, θdown/up은 룩다운/업각도이고, x22, y22, z22는 복수의 패턴 중 하나의 패턴의 좌표이다.
또 다른 실시예에서는, 산출부(830)는 측정기준위치의 좌표, 가상평면 상의 복수의 패턴 중 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 측정기준위치의 수평시야각을 더 산출할 수 있다.
또 다른 실시예에서는, 산출부(830)는 수학식 12를 이용하여 수평시야각을 산출할 수 있다.
[수학식 12]
여기서, θH FOV는 수평시야각이고, O는 측정기준위치의 좌표이고, P21 및 P23은 수평 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
또 다른 실시예에서는, 산출부(830)는 측정기준위치의 좌표, 가상평면 상의 복수의 패턴 중 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표를 이용하여, 측정기준위치의 수직시야각을 더 산출할 수 있다.
또 다른 실시예에서는, 산출부(830)는 수학식 13을 이용하여 수직시야각을 산출할 수 있다.
[수학식 13]
여기서, θV FOV는 수직시야각이고, O는 측정기준위치의 좌표이고, P12 및 P32은 수직 방향으로 양쪽 끝에 위치한 두개의 패턴의 좌표이다.
또 다른 실시예에서는, 산출부(830)는 가상평면 상의 복수의 패턴의 좌표에 기초하여, 측정기준위치를 기준으로 하는 3개 축 각각에 대한 정적 왜곡을 더 산출할 수 있다.
또 다른 실시예에서는, 산출부(830)는 복수의 촬영이미지, 화각정보 및 배치정보에 기초하여, 복수의 패턴 각각에 대응되는 복수의 고스트 패턴의 좌표를 더 산출하고, 복수의 패턴의 좌표 및 복수의 고스트 패턴의 좌표에 기초하여, 고스팅 레벨을 더 산출할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도9-10를 참조하면, 실시예들에 따른 카메라는 광 측정 디바이스(light measuring device, LMD)에 대응할 수 있다. 실시예들에 따른 광 측정 디바이스는 버츄얼 이미지 플레인을 생성할 수 있고, 서로 다른 위치에서 패턴들을 포함하는 이미지를 생성할 수 있다. 실시예들에 따른 광학 특성 측정 방법은 버츄얼 이미지 플레인(virtual image plane)을 위한 각 패턴 내 포인트들을 포함하는 이미지들을 하나 또는 하나 이상의 광 측정 디바이스들을 사용하여 생성하는 단계, 각 이미지는 하나 또는 하나 이상의 광 측정 디바이스들에 기초하여 캡쳐되고, 각 이미지는 좌측 이미지, 중앙 이미지, 우측 이미지 중 적어도 하나에 대응함; 및 포인트들의 포지션을 하나 또는 하나 이상의 광 측정 디바이스들 및 각 패턴에 기초하여 생성하는 단계; 를 포함하고, 포지션은 하나 또는 하나 이상의 광 측정 디바이스들의 필드 오브 뷰(field of view), 좌측 광 측정 디바이스 및 우측 광 측정 디바이스 간 갭에 기초하여 획득될 수 있다.
도10을 참조하면, 하나의 LDM이 중앙, 좌측, 우측 위치에서 버츄얼 플레인을 위한 세 개의 이미지들을 캡쳐할 수 있고, 복수의 LDM이 중앙, 좌측, 우측 위치에서 버츄얼 플레인을 위한 세 개의 이미지들을 캡쳐할 수 있다.
도12를 참조하면, 포인트들의 포지션이, 예를 들어, 좌측 LDM 위치에 대한 캡쳐 각도, 우측 LDM 위치에 대한 캡쳐 각도에 기반하여 추정될 수 있다.
수학식 1에 기초하여, 이미지의 패턴에 대한 포지션의 좌표값이 산출될 수 있다.
수학식1을 참조하면, 실시예들에 따른 광학 특성 측정 방법/장치에 의해, 패턴 내 포인트들을 포함하는 좌측 이미지는 하나 또는 하나 이상의 광 측정 디바이스들의 좌측 광 측정 디바이스에 기초하여 캡쳐되고, 패턴 내 포인트들을 포함하는 중앙 이미지는 하나 또는 하나 이상의 광 측정 디바이스들의 중앙 광 측정 디바이스에 기초하여 캡쳐되고, 패턴 내 포인트들을 포함하는 우측 이미지는 하나 또는 하나 이상의 광 측정 디바이스들의 우측 광 측정 디바이스에 기초하여 캡쳐될 수 있다. 실시예들에 따른 인덱스는 몇 번째인지 순서를 나타낼 수 있고, 필드 오브 뷰은 화각에 대응할 수 있다.
도13및 수학식2를 참조하면, 포지션의 좌표값들은 좌측 광 측정 디바이스의 수평 픽셀 인덱스, 우측 광 측정 디바이스의 수평 픽셀 인덱스, 중앙 광 측정 디바이스의 수평 픽셀 인덱스, 좌측 광 측정 디바이스의 필드 오브 뷰에 기초하여 계산될 수 있다.
도14및 수학식4를 참조하면, 실시예들에 따른 광학 특성 측정 방법은 중앙의 상기 패턴 내 포지션 및 광 측정 디바이스에 기초하여 버츄얼 이미지 플레인을 위한 버츄얼 이미지 디스턴스를 측정하는 단계를 더 포함할 수 있다.
도15를 참조하면, 패턴 내 포지션 및 버츄얼 이미지 디스턴스에 기초하여, 버츄얼 이미지 플레인을 위한 룩 다운 앵글 및 룩 업 앵글을 측정하는 단계를 더 포함할 수 있다.
도16을 참조하면, 중앙의 좌측 포인트에 대한 거리 및 중앙의 우측 포인트에 대한 거리에 기초하여, 버츄얼 이미지 플레인에 대한 수평 필드 오브 뷰를 측정하는 단계; 및 중앙의 탑 포인트에 대한 거리 및 상기 중앙의 바닥 포인트에 대한 거리에 기초하여, 버츄얼 이미지 플레인에 대한 수직 필드 오브 뷰를 측정하는 단계; 를 더 포함할 수 있다.
실시예들에 따른 광학 특성 측정 방법은 중앙 및 중앙의 탑 포인트 및 중앙의 바닥 포인트 간 라인에 기초하여 버츄얼 이미지 플레인에 대한 수평 디스토션을 측정하는 단계; 및 중앙 및 중앙의 좌측 포인트 및 중앙의 우측 포인트 간 라인에 기초하여 버츄얼 이미지 플레인에 대한 수직 디스토션을 측정하는 단계; 를 포함할 수 있다.
실시예들에 따른 광학 특정 측정 방법/장치는 실시예들에 따른 방법/장치로 지칭할 수 있다.
도18은 실시예들에 따른 3D HUD와 같은 버츄얼 이미지 타입 3D 디스플레이의 이미지 퀄리티 특성을 위한 측정 구성을 나타낸다.
도8, 23의 실시예들에 따른 광학 특성 측정 장치는 도18과 같은 구조 상 버츄얼 이미지의 광학 특성을 측정할 수 있다.
실시예들에 따른 방법/장치는 이미지 퀄리티 특성을 위한 측정을 위해 다음과 같은 구성을 포함할 수 있다.
도18을 참조하면, 아이 박스, 버츄얼 이미지, 및 화이트 디퓨져(white diffuser) 간 지오메트리 관계를 볼 수 있다.
사용자의 눈이 아이 박스에 위치하면, 사용자가 눈의 자연스러운 롤링 움직임으로 전체 가상 이미지를 볼 수 있다고 가정한다. 아이박스 위치는 공급자에 의해 지정될 수 있습니다. 그렇지 않으면 이것은 IEC 62629-62-11(특히 4.2.3 참조)에 제공된 방법에 따라 추정될 수 있다. 이미징 LMD의 측정 장치는 아이박스 위치 내에 설정될 수 있다. 가상 이미지 평면에서 전면 또는 후면에 3D 이미지가 제공될 수 있다. 도 18에 도시된 xyz의 3차원 좌표계는 사용자의 안구로부터 3차원 영상과 허상 평면의 위치를 결정하기 위해 정의된다.
도18을 보면, 설계된 시야거리(viewing distance)는 눈(Eye) 상자의 중심과 하프 미러의 위치 사이의 거리이다. 공급자에 의해 제시될 수 있다. 이 거리에서, 적절한 뷰가 관찰되거나 오토스테레오스코픽(autostereoscopic) 3D 디스플레이에 의해 재생되는 버츄얼 이미지의 화질 특성이 정확하게 측정된다. 측정을 위해서 시야거리()viewing distance)가 측정거리로 적용될 수 있다. 측정 거리는 평가될 항목을 측정할 때 고정될 수 있다.
주변 환경 조건에서 3D 버츄얼 오버레이의 대비 및 색도에 대한 구성 및 조건 측정은 다음과 같다.
숫자, 문자, 기타 기호 등의 다양한 버츄얼(가상) 이미지 콘텐츠는 3D HUD와 같은 가상 이미지 형식의 3D 디스플레이로 재생될 수 있다. 일반적으로 실제 환경에 대해 선명한 3D 가상 이미지가 표시될 수 있다. 이 관점에서 이미지 품질을 평가하려면 실제 서라운드와 겹치는 3D 가상 이미지에 대해 대비 및 색상 관련 속성을 측정해야 한다.
그러나 실제 환경은 매우 다양하다. 인접한 리얼 오브젝트들과 비교하여, 3차원 가상 이미지의 색상 및 밝기 특성이 인접한 실제 객체와 다르게 보이는 배경 효과는 시각적 인식 문제이므로 이 기준에서 제외된다. 시인성을 향상시키기 위해 실제 서라운드의 조도 레벨의 변화에 따라 3D HUD에 내장된 미리 결정된 알고리즘에 따라 3D 가상 이미지의 휘도를 제어할 수 있다. 따라서 다양한 주변 환경 조건에서 대비(흑백 휘도 변화 반영) 및 3D 가상 이미지의 색도의 변화를 평가하기 위한 측정 방법이 제안된다. 주변 환경 조건에 대한 조도 레벨 및 상관된 색온도를 참조할 수 있다.
측정이 수행되는 방은 완전한 암실이다. 백색 확산기는 가상 이미지 평면의 수평 및 수직 FOV보다 큰 크기로 가상 이미지 평면 뒤에 위치한다. 눈이 아이박스 내부에 있으면 허상면 전체를 관찰할 수 있으므로 화이트 디퓨저 화면 크기도 아이박스 내부에 LMD가 있으면 허상면 전체와 겹칠 수 있을 만큼 클 수 있다.
주변 환경 조건의 조도 및 상관 색온도는 백색 디퓨저의 중앙에서 측정된다. 백색 확산에 의해 반사된 휘도는 측정하고자 하는 디스플레이에 제로 입력을 인가한 상태에서 측정된다. 이 측정값은 미광의 존재에 대해 평가된다.
도19는 실시예들에 따른 고스트 이미지를 위한 측정 방법을 나타낸다.
도20은 실시예들에 따른 9개의 측정 포인트들이 있는 테스트 이미지 및 LMD들에 의해 캡쳐된 대응하는 3개의 이미지들을 나타낸다.
도8, 23의 실시예들에 따른 광학 특성 측정 장치는 전술한 실시예들 및/또는 도18 이하에서 설명하는 방법 등에 기반하여 광학 특성을 측정할 수 있다. 구체적으로, HUD에 관련된 고스트 이미지를 위한 측정값들을 생성할 수 있다.
3D 허상(버츄얼 이미지)은 도18의 3D HUD의 하프 미러와 광학계를 통해 반사되고 확대되는 과정을 거쳐 생성된다. 거울에 도달한 일정량의 빛은 반사되고 나머지는 도18의 앞유리와 같은 하프 미러 내 거울 외부로 투과된다. 앞유리의 두 물리적 레이어는 그림자와 윤곽이 있는 이중 이미지처럼 보이는 고스팅 이미지를 유발한다. 고스팅 레벨은 원본 패턴과 두 번째 패턴 사이의 간격에서 측정될 수 있다.
실시예들에 따른 측정 방법에 관한 조건은 다음과 같다.
a) 테스트 패턴: 도20에서 9개의 원이 있는 테스트 이미지
b) 테스트 신호: 완전한 흰색 배경에 대해 검은색 테두리와 중앙 십자로 구성된 9개의 원;
c) 주변 서라운드 어두운 서라운드 조건; 그리고
d) 테스트 패턴 이미지 획득: 아이박스에 있는 3개의 이미징 LMD는 도19의 왼쪽, 중앙 및 오른쪽 이미지인 2D 이미지의 세 세트를 캡처하는 데 사용된다.
실시예들에 따른 측정 방법에 관한 흐름도는 다음과 같다.
a) 테스트 시그널을 적용한다.
b) 3개의 테스트 패턴 이미지는 도19의 LMD(L), LMD(C) 및 LMD(R)의 3개의 이미징 LMD에 의해 획득된다.
c) 원래 테스트 패턴의 P11 ~ P33에 대한 모든 위치(xij, yij, zij)ij=1,2,3 및 PG11~PG33에 대한 해당 위치(xGij, yGij, zGij)ij=1,2,3 고스트 패턴은 전술한 절차에 따라 결정된다.
d) 고스트 이미지의 레벨은 도21에 따라 P11에서 P33에 대한 원본과 해당 위치 사이의 거리 또는 각도의 평균으로 계산된다.
도21은 실시예들에 따른 고스트 이미지에 관한 고스트 레벨을 획득하는 방법을 나타낸다.
실시예들에 따른 방법/장치는 도20에서 설명한 흐름도에 의해, 도21과 같이, 테스트 패턴의 포지션들 및 고스트 이미지의 고스트 패턴들의 포지션들 간 차이값에 기초하여, 고스트 레벨(디스턴스)를 생성하고, 고스트 레벨(각도)를 생성할 수 있다.
실시예들에 따른 고스트 이미지에 관련된 광학 측정을 위와 같이 획득된 레벨들에 기초하여 수행할 수 있다.
도22는 실시예들에 따른 광학 측정 방법을 나타낸다.
실시예들에 따른 광학 측정 방법은 다음과 같은 흐름도를 포함할 수 있다.
S2200 실시예들에 따른 광학 측정 방법은 테스트 시그널을 생성하는 단계를 포함할 수 있다.
S2201 실시예들에 따른 광학 측정 방법은 버츄얼 이미지에 대한 테스트 패턴을 획득하는 단계를 더 포함할 수 있다.
S2202 실시예들에 따른 광학 측정 방법은 버츄얼 이미지에 대한 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들을 생성하는 단계를 더 포함할 수 있다. 포지션을 생성하는 방법은 전술한 도1 내지 도17의 설명을 참조한다.
S2203 실시예들에 따른 광학 측정 방법은 고스트 레벨을 생성하는 단계를 더 포함할 수 있다. 고스트 레벨을 획득하는 방법은 전술한 도18 내지 도21의 설명을 참조한다.
도23는 실시예들에 따른 광학 측정 장치를 나타낸다.
실시예들에 따른 방법은 도23의 장치에 의해 수행될 수 있다. 도23의 각 구성요소는 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 대응할 수 있다. 도23는 도8의 장치에 대응할 수 있다.
광 측정 유닛은 카메라일 수 있다. 프로세서는 실시예들에 따른 동작을 수행하는 프로세서일 수 있다. 메모리는 프로세서의 동작에 관련된 데이터 및 정보를 저장할 수 있다. 메모리는 필요한 데이터를 프로세서에 제공할 수 있다. 메모리는 광 측정 유닛, 프로세서 등과 연결될 수 있다.
고스트 레벨 측정 관련하여, 전술한 도면을 참조하면, 실시예들에 따른 방법은 버츄얼 이미지 플레인(virtual image plane)을 위한 각 패턴 내 포인트들을 포함하는 이미지들을 하나 또는 하나 이상의 광 측정 디바이스들을 사용하여 생성하는 단계, 각 이미지는 하나 또는 하나 이상의 광 측정 디바이스들에 기초하여 캡쳐되고, 각 이미지는 좌측 이미지, 중앙 이미지, 우측 이미지 중 적어도 하나에 대응함; 및 포인트들의 포지션을 하나 또는 하나 이상의 광 측정 디바이스들 및 각 패턴에 기초하여 생성하는 단계; 및 생성된 포지션들에 기초하여 버츄얼 이미지 플레인에 대한 고스트 이미지에 대한 레벨을 생성하는 단계를 더 포함하고, 포지션은 하나 또는 하나 이상의 광 측정 디바이스들의 필드 오브 뷰(field of view), 좌측 광 측정 디바이스 및 우측 광 측정 디바이스 간 갭에 기초하여 획득될 수 있다.
또한, 고스트 이미지에 대한 레벨을 생성하는 단계는, 테스트 시그널을 생성하는 단계, 테스트 시그널에 대한 버츄얼 이미지의 테스트 패턴의 포지션들 및 포지션들에 대한 고스트 패턴의 포지션들을 생성하는 단계, 및 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들에 기초하여, 고스트 레벨을 생성하는 단계를 포함할 수 있다.
또한, 고스트 레벨은 상기 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들의 거리의 평균 및 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들의 각도의 평균에 기초하여 획득될 수 있다.
실시예들에 따른 방법은 장치에 의해 수행될 수 있다. 실시예들에 따른 장치는 버츄얼 이미지 플레인(virtual image plane)을 위한 각 패턴 내 포인트들을 포함하는 이미지들을 하나 또는 하나 이상의 광 측정 디바이스들을 사용하여 생성하는 촬영부, 각 이미지는 하나 또는 하나 이상의 광 측정 디바이스들에 기초하여 캡쳐되고, 각 이미지는 좌측 이미지, 중앙 이미지, 우측 이미지 중 적어도 하나에 대응함; 및 포인트들의 포지션을 상기 하나 또는 하나 이상의 광 측정 디바이스들 및 각 패턴에 기초하여 생성하는 산출부; 를 포함하고, 산출부는 생성된 포지션들에 기초하여 상기 버츄얼 이미지 플레인에 대한 고스트 이미지에 대한 레벨을 생성하고, 포지션은 상기 하나 또는 하나 이상의 광 측정 디바이스들의 필드 오브 뷰(field of view), 좌측 광 측정 디바이스 및 우측 광 측정 디바이스 간 갭에 기초하여 획득될 수 있다. 장치의 각 구성요소는 신호를 송수신하는 인터페이스, 동작 관련 정보를 저장하는 메모리, 및 동작을 제어하는 프로세서들로 구성될 수 있다. 촬영부 및 산출부의 동작은 프로세서에 의해 수행될 수 있다.
또한, 프로세서는 테스트 시그널을 생성하는 단계, 테스트 시그널에 대한 버츄얼 이미지의 테스트 패턴의 포지션들 및 포지션들에 대한 고스트 패턴의 포지션들을 생성하는 단계, 및 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들에 기초하여, 고스트 레벨을 생성하는 단계를 수행할 수 있다.
또한 고스트 레벨은 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들의 거리의 평균 및 테스트 패턴의 포지션들 및 고스트 패턴의 포지션들의 각도의 평균에 기초하여 획득될 수 있다.
이로 인하여, 3D HUD 차량 서비스를 운전자의 시안성 및 편의성 관점에서 개선할 수 있다. 또한, 광 측정 디바이스를 차량에 탑재하여 HUD 가상 이미지를 위한 포인트 및 뎁스 등 광학 특성 측정을 위한 측정 파라미터들을 효율적으로 획득할 수 있다. 획득된 파라미터 정보에 기반하여, 운전자 관점에서 오차를 줄일 수 있는 캘리브레이션 과정을 효율적으로 수행할 수 있다. 3D HUD는 자율 주행 기술과 결합하여, 안전하고 정확한 자율 주행을 가능하게 할 수 있다. 또한, 고스트 이미지를 처리하여 정확하고 안전한 차량 서비스를 운전자에게 제공할 수 있다.
실시예들은 방법 및/또는 장치 관점에서 설명되었으며, 방법의 설명 및 장치의 설명은 상호 보완하여 적용될 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 실시예들의 권리범위에 속한다. 실시예들에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 실시예들의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 실시예들은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 실시예들의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 실시예들의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
실시예들의 장치의 다양한 구성요소들은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 수행될 수 있다. 실시예들의 다양한 구성요소들은 하나의 칩, 예를 들면 하나의 하드웨어 서킷으로 구현될 수 있다 실시예들에 따라, 실시예들에 따른 구성요소들은 각각 별도의 칩들로 구현될 수 있다. 실시예들에 따라, 실시예들에 따른 장치의 구성요소들 중 적어도 하나 이상은 하나 또는 그 이상의 프로그램들을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 프로그램들은 실시예들에 따른 동작/방법들 중 어느 하나 또는 그 이상의 동작/방법들을 수행시키거나, 수행시키기 위한 인스트럭션들을 포함할 수 있다. 실시예들에 따른 장치의 방법/동작들을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다. 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함될 수 있다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이 문서에서 “/”와 “,”는 “및/또는”으로 해석된다. 예를 들어, “A/B”는 “A 및/또는 B”로 해석되고, “A, B”는 “A 및/또는 B”로 해석된다. 추가적으로, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 또한, “A, B, C”도 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 추가적으로, 이 문서에서 “또는”는 “및/또는”으로 해석된다. 예를 들어, “A 또는 B”은, 1) “A” 만을 의미하고, 2) “B” 만을 의미하거나, 3) “A 및 B”를 의미할 수 있다. 달리 표현하면, 본 문서의 “또는”은 “추가적으로 또는 대체적으로(additionally or alternatively)”를 의미할 수 있다.
제1, 제2 등과 같은 용어는 실시예들의 다양한 구성요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성요소들은 위 용어들에 의해 해석이 제한되어서는 안된다. 이러한 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사?외는 것에 불과하다. 것에 불과하다. 예를 들어, 제1 사용자 인풋 시그널은 제2사용자 인풋 시그널로 지칭될 수 있다. 이와 유사하게, 제2사용자 인풋 시그널은 제1사용자 인풋시그널로 지칭될 수 있다. 이러한 용어의 사용은 다양한 실시예들의 범위 내에서 벗어나지 않는 것으로 해석되어야만 한다. 제1사용자 인풋 시그널 및 제2사용자 인풋 시그널은 모두 사용자 인풋 시그널들이지만, 문맥 상 명확하게 나타내지 않는 한 동일한 사용자 인풋 시그널들을 의미하지 않는다.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. 포함한다 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는, ~인 경우, ~때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.
또한, 본 문서에서 설명하는 실시예들에 따른 동작은 실시예들에 따라서 메모리 및/또는 프로세서를 포함하는 송수신 장치에 의해 수행될 수 있다. 메모리는 실시예들에 따른 동작을 처리/제어하기 위한 프로그램들을 저장할 수 있고, 프로세서는 본 문서에서 설명한 다양한 동작을 제어할 수 있다. 프로세서는 컨트롤러 등으로 지칭가능하다. 실시예들에 동작들은 펌웨어, 소프트웨어, 및/또는 그것들의 조합에 의해 수행될 수 있고, 펌웨어, 소프트웨어, 및/또는 그것들의 조합은 프로세서에 저장되거나 메모리에 저장될 수 있다.
한편, 상술한 실시예들에 따른 동작은 실시예들 따른 송신 장치 및/또는 수신 장치에 의해서 수행될 수 있다. 송수신 장치는 미디어 데이터를 송수신하는 송수신부, 실시예들에 따른 프로세스에 대한 인스트럭션(프로그램 코드, 알고리즘, flowchart 및/또는 데이터)을 저장하는 메모리, 송/수신 장치의 동작들을 제어하는 프로세서를 포함할 수 있다.
프로세서는 컨트롤러 등으로 지칭될 수 있고, 예를 들어, 하드웨어, 소프트웨어, 및/또는 그것들의 조합에 대응할 수 있다. 상술한 실시예들에 따른 동작은 프로세서에 의해 수행될 수 있다. 또한, 프로세서는 상술한 실시예들의 동작을 위한 인코더/디코더 등으로 구현될 수 있다.

Claims (18)

  1. 버츄얼 이미지 플레인(virtual image plane)을 위한 각 패턴 내 포인트들을 포함하는 이미지들을 하나 또는 하나 이상의 광 측정 디바이스들을 사용하여 생성하는 단계,
    상기 각 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들에 기초하여 캡쳐되고,
    각 이미지는 좌측 이미지, 중앙 이미지, 우측 이미지 중 적어도 하나에 대응함; 및
    상기 포인트들의 포지션을 상기 하나 또는 하나 이상의 광 측정 디바이스들 및 각 패턴에 기초하여 생성하는 단계; 및
    상기 생성된 포지션들에 기초하여 상기 버츄얼 이미지 플레인에 대한 고스트 이미지에 대한 레벨을 생성하는 단계를 더 포함하고,
    상기 포지션은 상기 하나 또는 하나 이상의 광 측정 디바이스들의 필드 오브 뷰(field of view), 좌측 광 측정 디바이스 및 우측 광 측정 디바이스 간 갭에 기초하여 획득되는,
    광학 특성 측정 방법.
  2. 제1항에 있어서,
    패턴 내 포인트들을 포함하는 상기 좌측 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들의 상기 좌측 광 측정 디바이스에 기초하여 캡쳐되고, 패턴 내 포인트들을 포함하는 상기 중앙 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들의 중앙 광 측정 디바이스에 기초하여 캡쳐되고, 패턴 내 포인트들을 포함하는 상기 우측 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들의 상기 우측 광 측정 디바이스에 기초하여 캡쳐되는,
    광학 특성 측정 방법.
  3. 제1항에 있어서,
    상기 포지션의 좌표값들은 상기 좌측 광 측정 디바이스의 수평 픽셀 인덱스, 상기 우측 광 측정 디바이스의 수평 픽셀 인덱스, 중앙 광 측정 디바이스의 수평 픽셀 인덱스, 상기 좌측 광 측정 디바이스의 필드 오브 뷰에 기초하여 계산되는,
    광학 특성 측정 방법.
  4. 제1항에 있어서, 상기 방법은
    중앙의 상기 패턴 내 포지션 및 상기 광 측정 디바이스에 기초하여 상기 버츄얼 이미지 플레인을 위한 버츄얼 이미지 디스턴스를 측정하는 단계를 더 포함하는,
    광학 특성 측정 방법.
  5. 제4항에 있어서, 상기 방법은
    상기 패턴 내 포지션 및 상기 버츄얼 이미지 디스턴스에 기초하여, 상기 버츄얼 이미지 플레인을 위한 룩 다운 앵글 및 룩 업 앵글을 측정하는 단계를 더 포함하는,
    광학 특성 측정 방법.
  6. 제1항에 있어서, 상기 방법은
    중앙의 좌측 포인트에 대한 거리 및 상기 중앙의 우측 포인트에 대한 거리에 기초하여, 상기 버츄얼 이미지 플레인에 대한 수평 필드 오브 뷰를 측정하는 단계; 및
    상기 중앙의 탑 포인트에 대한 거리 및 상기 중앙의 바닥 포인트에 대한 거리에 기초하여, 상기 버츄얼 이미지 플레인에 대한 수직 필드 오브 뷰를 측정하는 단계; 를 더 포함하는,
    광학 특성 측정 방법.
  7. 제1항에 있어서, 상기 방법은
    중앙 및 상기 중앙의 탑 포인트 및 상기 중앙의 바닥 포인트 간 라인에 기초하여 상기 버츄얼 이미지 플레인에 대한 수평 디스토션을 측정하는 단계; 및
    상기 중앙 및 상기 중앙의 좌측 포인트 및 상기 중앙의 우측 포인트 간 라인에 기초하여 상기 버츄얼 이미지 플레인에 대한 수직 디스토션을 측정하는 단계; 를 포함하는,
    광학 특성 측정 방법.
  8. 제1항에 있어서,
    상기 고스트 이미지에 대한 레벨을 생성하는 단계는,
    테스트 시그널을 생성하는 단계,
    상기 테스트 시그널에 대한 버츄얼 이미지의 테스트 패턴의 포지션들 및 상기 포지션들에 대한 고스트 패턴의 포지션들을 생성하는 단계, 및
    상기 테스트 패턴의 포지션들 및 상기 고스트 패턴의 포지션들에 기초하여, 고스트 레벨을 생성하는 단계를 포함하는,
    광학 특성 측정 방법.
  9. 제8항에 있어서,
    상기 고스트 레벨은 상기 테스트 패턴의 포지션들 및 상기 고스트 패턴의 포지션들의 거리의 평균 및 상기 테스트 패턴의 포지션들 및 상기 고스트 패턴의 포지션들의 각도의 평균에 기초하여 획득되는,
    광학 특성 측정 방법.
  10. 버츄얼 이미지 플레인(virtual image plane)을 위한 각 패턴 내 포인트들을 포함하는 이미지들을 하나 또는 하나 이상의 광 측정 디바이스들을 사용하여 생성하는 촬영부,
    상기 각 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들에 기초하여 캡쳐되고,
    각 이미지는 좌측 이미지, 중앙 이미지, 우측 이미지 중 적어도 하나에 대응함; 및
    상기 포인트들의 포지션을 상기 하나 또는 하나 이상의 광 측정 디바이스들 및 각 패턴에 기초하여 생성하는 산출부; 를 포함하고,
    상기 산출부는 상기 생성된 포지션들에 기초하여 상기 버츄얼 이미지 플레인에 대한 고스트 이미지에 대한 레벨을 생성하고,
    상기 포지션은 상기 하나 또는 하나 이상의 광 측정 디바이스들의 필드 오브 뷰(field of view), 좌측 광 측정 디바이스 및 우측 광 측정 디바이스 간 갭에 기초하여 획득되는,
    광학 특성 측정 장치.
  11. 제10항에 있어서,
    패턴 내 포인트들을 포함하는 상기 좌측 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들의 상기 좌측 광 측정 디바이스에 기초하여 캡쳐되고, 패턴 내 포인트들을 포함하는 상기 중앙 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들의 중앙 광 측정 디바이스에 기초하여 캡쳐되고, 패턴 내 포인트들을 포함하는 상기 우측 이미지는 상기 하나 또는 하나 이상의 광 측정 디바이스들의 상기 우측 광 측정 디바이스에 기초하여 캡쳐되는,
    광학 특성 측정 장치.
  12. 제10항있어서,
    상기 포지션의 좌표값들은 상기 좌측 광 측정 디바이스의 수평 픽셀 인덱스, 상기 우측 광 측정 디바이스의 수평 픽셀 인덱스, 중앙 광 측정 디바이스의 수평 픽셀 인덱스, 상기 좌측 광 측정 디바이스의 필드 오브 뷰에 기초하여 계산되는,
    광학 특성 측정 장치.
  13. 제10항에 있어서,
    상기 산출부는
    중앙의 상기 패턴 내 포지션 및 상기 광 측정 디바이스에 기초하여 상기 버츄얼 이미지 플레인을 위한 버츄얼 이미지 디스턴스를 측정하는,
    광학 특성 측정 장치.
  14. 제13항에 있어서,
    상기 산출부는
    상기 패턴 내 포지션 및 상기 버츄얼 이미지 디스턴스에 기초하여, 상기 버츄얼 이미지 플레인을 위한 룩 다운 앵글 및 룩 업 앵글을 측정하는
    광학 특성 측정 장치.
  15. 제10항에 있어서,
    상기 산출부는
    중앙의 좌측 포인트에 대한 거리 및 상기 중앙의 우측 포인트에 대한 거리에 기초하여, 상기 버츄얼 이미지 플레인에 대한 수평 필드 오브 뷰를 측정하고, 및
    상기 중앙의 탑 포인트에 대한 거리 및 상기 중앙의 바닥 포인트에 대한 거리에 기초하여, 상기 버츄얼 이미지 플레인에 대한 수직 필드 오브 뷰를 측정하는,
    광학 특성 측정 장치.
  16. 제10항에 있어서,
    상기 산출부는
    중앙 및 상기 중앙의 탑 포인트 및 상기 중앙의 바닥 포인트 간 라인에 기초하여 상기 버츄얼 이미지 플레인에 대한 수평 디스토션을 측정하고; 및
    상기 중앙 및 상기 중앙의 좌측 포인트 및 상기 중앙의 우측 포인트 간 라인에 기초하여 상기 버츄얼 이미지 플레인에 대한 수직 디스토션을 측정하는,
    광학 특성 측정 장치.
  17. 제10항에 있어서,
    상기 산출부는,
    테스트 시그널을 생성하는 단계,
    상기 테스트 시그널에 대한 버츄얼 이미지의 테스트 패턴의 포지션들 및 상기 포지션들에 대한 고스트 패턴의 포지션들을 생성하는 단계, 및
    상기 테스트 패턴의 포지션들 및 상기 고스트 패턴의 포지션들에 기초하여, 고스트 레벨을 생성하는 단계를 수행하는,
    광학 특성 측정 장치.
  18. 제17항에 있어서,
    상기 고스트 레벨은 상기 테스트 패턴의 포지션들 및 상기 고스트 패턴의 포지션들의 거리의 평균 및 상기 테스트 패턴의 포지션들 및 상기 고스트 패턴의 포지션들의 각도의 평균에 기초하여 획득되는,
    광학 특성 측정 장치.
KR1020220133555A 2022-10-17 2022-10-17 Hud 고스트 이미지 측정 방법 및 장치 KR102675906B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220133555A KR102675906B1 (ko) 2022-10-17 Hud 고스트 이미지 측정 방법 및 장치
PCT/KR2023/009559 WO2024085351A1 (ko) 2022-10-17 2023-07-06 Hud 고스트 이미지 측정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220133555A KR102675906B1 (ko) 2022-10-17 Hud 고스트 이미지 측정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20240053443A true KR20240053443A (ko) 2024-04-24
KR102675906B1 KR102675906B1 (ko) 2024-06-17

Family

ID=

Also Published As

Publication number Publication date
WO2024085351A1 (ko) 2024-04-25

Similar Documents

Publication Publication Date Title
US11978175B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
JP7443602B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10587864B2 (en) Image processing device and method
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
JP6497321B2 (ja) 画像処理装置および方法
US10547822B2 (en) Image processing apparatus and method to generate high-definition viewpoint interpolation image
US10950039B2 (en) Image processing apparatus
CN114339194B (zh) 投影显示方法、装置、投影设备及计算机可读存储介质
US20120242795A1 (en) Digital 3d camera using periodic illumination
WO2015199899A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
KR100686952B1 (ko) 화상합성 방법, 장치, 및 기록매체, 및 입체모델의 렌더링 방법, 장치, 및 기록매체
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US20130011010A1 (en) Three-dimensional image processing device and three dimensional image processing method
KR102675906B1 (ko) Hud 고스트 이미지 측정 방법 및 장치
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP2010081440A (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
KR20240053443A (ko) Hud 고스트 이미지 측정 방법 및 장치
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US20230306676A1 (en) Image generation device and image generation method
US20210400249A1 (en) Systems and methods for temporal corrections for parallax reprojection
CN104584075A (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
KR20240020051A (ko) 자동차 내부 카메라를 이용한 hud 캘리브레이션 방법 및 장치
US20200151957A1 (en) Method for Displaying A Mixed Reality Image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant