KR20230046566A - 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법 - Google Patents

룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR20230046566A
KR20230046566A KR1020210129683A KR20210129683A KR20230046566A KR 20230046566 A KR20230046566 A KR 20230046566A KR 1020210129683 A KR1020210129683 A KR 1020210129683A KR 20210129683 A KR20210129683 A KR 20210129683A KR 20230046566 A KR20230046566 A KR 20230046566A
Authority
KR
South Korea
Prior art keywords
image
electronic device
position offset
look
pattern
Prior art date
Application number
KR1020210129683A
Other languages
English (en)
Inventor
황찬솔
강병민
이진호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210129683A priority Critical patent/KR20230046566A/ko
Priority to US17/699,966 priority patent/US11882266B2/en
Priority to CN202210416711.1A priority patent/CN115877569A/zh
Priority to EP22172050.1A priority patent/EP4161071A1/en
Priority to JP2022134256A priority patent/JP2023051762A/ja
Publication of KR20230046566A publication Critical patent/KR20230046566A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/28—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays involving active lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/32—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B60K2370/1529—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

일 실시예에 따른 전자 장치는 상기 디스플레이 모듈로부터 출력되는 영상에 대응하는 광을 시차 광학 소자를 통해 사용자의 아이박스로 제공하고, 상기 디스플레이 모듈 및 상기 시차 광학 소자에 의해 형성되는 가상 이미지 평면 및 상기 아이박스 간의 룩 다운 앵글(look down angle; LDA)의 변화에 응답하여 상기 시차 광학 소자의 위치 오프셋 파라미터를 조정할 수 있다.

Description

룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법{METHOD AND DEVICE TO CALIBRATE PARALLAX OPTICAL ELEMENT TO CHANGE OF LOOK DOWN ANGLE}
아래의 개시는 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법에 관한 것이다.
입체 영상을 인지하기 위한 요인 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 영상을 필터링(Filtering)하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등 3D 변환 장치를 이용하여 각 영상을 특정 시점에서만 볼 수 있도록 하는 무안경 방식이 있다.
무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있다. 무안경 방식에서 3D 영상의 크로스톡(crosstalk)을 억제하기 위해서는 사용자의 양 눈에 3D 영상을 정확히 조사할 필요가 있다. 3D 디스플레이 장치 및 3D 변환 장치의 생산 과정 또는 설치 과정 등에서 설계 값과 상이한 오차가 발생하는 경우, 영상 품질이 저하될 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이 모듈; 상기 디스플레이 모듈로부터 출력되는 영상에 대응하는 광을 사용자의 아이박스로 제공하는 시차 광학 소자; 상기 디스플레이 모듈 및 상기 시차 광학 소자에 의해 형성되는 가상 이미지 평면 및 상기 아이박스 간의 룩 다운 앵글(look down angle; LDA)의 변화에 응답하여 상기 시차 광학 소자의 파라미터를 조정하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 상기 룩 다운 앵글의 변화에 응답하여 조정할 수 있다.
상기 프로세서는, 상기 룩 다운 앵글이 변화하는 경우에 응답하여, 상기 변화된 룩 다운 앵글을 기준으로 캘리브레이션 패턴을 통한 위치 오프셋 파라미터의 캘리브레이션을 수행함으로써 상기 변화된 룩 다운 앵글에서 상기 캘리브레이션 패턴이 정렬되는 위치 오프셋 파라미터의 값을 결정할 수 있다.
상기 프로세서는, 상기 변화된 룩 다운 앵글에서 이전에 수행된 캘리브레이션에 따라 위치 오프셋 파라미터 값이 기록된 경우에 응답하여, 이전에 기록된 상기 위치 오프셋 파라미터의 값을 상기 변화된 룩 다운 앵글에 대해 로드(load)할 수 있다.
상기 프로세서는, 룩 다운 앵글 및 위치 오프셋 파라미터 간의 선형 관계(linear relationship) 을 나타내는 룩 다운 앵글 모델(look down angle model, LDA model)에 접근가능(accessible)한 경우에 응답하여, 캘리브레이션 패턴의 제공을 스킵(skip)하고, 상기 룩 다운 앵글 모델에 기초하여 변환된 룩 다운 앵글에 대한 위치 오프셋 파라미터를 결정할 수 있다.
상기 프로세서는, 서로 다른 룩 다운 앵글에서 개별적으로 위치 오프셋 파라미터의 캘리브레이션을 수행함으로써, 상기 룩 다운 앵글 모델을 구축(build)할 수 있다.
상기 프로세서는, 개별 사용자의 룩 다운 앵글에 대해 캘리브레이션 패턴을 통한 위치 오프셋 파라미터의 캘리브레이션 결과 및 이전에 구축된 룩 다운 앵글 모델 간의 차이에 기초하여, 상기 이전에 구축된 룩 다운 앵글 모델을 보상(compensate)할 수 있다.
전자 장치는 상기 아이박스에서 패턴 영상을 관측한 사용자로부터 상기 시차 광학 소자에 대한 캘리브레이션을 위한 입력을 수신하는 입력 수신부를 더 포함하고, 상기 프로세서는, 상기 입력에 응답하여 상기 시차 광학 소자의 위치 오프셋 파라미터를 조정하고, 조정된 파라미터에 따라 상기 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 상기 디스플레이 모듈을 통해 출력할 수 있다.
상기 프로세서는, 상기 입력 수신부에 의해 수신되는 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 증가시키는 경우에 응답하여, 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 일방향으로 이동시키고, 상기 입력 수신부에 의해 수신되는 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 감소시키는 경우에 응답하여, 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 상기 일방향에 반대되는 다른 방향으로 이동시킬 수 있다.
상기 프로세서는, 위치 오프셋 파라미터에 대응하는 패턴 영상을 제공하는 동안 상기 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 증가시킴으로써 상기 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 일방향에 대응하는 방향으로 이동시키고, 위치 오프셋 파라미터에 대응하는 패턴 영상을 제공하는 동안 상기 입력 수신부에서 상기 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 감소시킴으로써 상기 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 다른 방향에 대응하는 방향으로 이동시킬 수 있다.
상기 입력 수신부는, 터치 스크린을 포함하고, 상기 프로세서는, 상기 위치 오프셋 파라미터에 대한 캘리브레이션 동안 직선 조작을 안내하는 그래픽 표현을 상기 터치 스크린에 출력하고, 상기 그래픽 표현에 대응하여 상기 터치 스크린 상의 한 지점으로부터 다른 지점까지 터치 지점의 선형 이동을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 조정할 수 있다.
상기 프로세서는, 상기 아이박스에 설치된 카메라 모듈에 의해 촬영되는 영상에 포함되는 캘리브레이션 패턴의 기준선이 정렬될 때까지 상기 시차 광학 소자의 위치 오프셋 파라미터의 조정을 자동으로 반복함으로써, 상기 위치 오프셋 파라미터의 캘리브레이션을 수행할 수 있다.
상기 프로세서는, 상기 사용자의 눈 높이에 기초하여 상기 룩 다운 앵글의 변화를 추적할 수 있다.
상기 프로세서는, 상기 디스플레이 모듈에서 디스플레이 패널로부터 출력된 영상 광(image ray)을 확대시키는 확대 거울(magnifying mirror) 을 회전시키는 모터의 구동에 기초하여 상기 룩 다운 앵글의 변화를 추적할 수 있다.
상기 프로세서는, 상기 룩 다운 앵글의 변화에 응답하여 상기 피치 파라미터 및 상기 기운 각도 파라미터의 값들을 유지할 수 있다.
상기 프로세서는, 상기 시차 광학 소자의 파라미터들 중 피치 파라미터 및 기운 각도 파라미터의 캘리브레이션을 선행(precede)하여 완료하고, 상기 룩 다운 앵글의 변화에 응답하여 상기 피치 파라미터 및 상기 기운 각도 파라미터를 고정한 채로 위치 오프셋 파라미터의 캘리브레이션을 개시할 수 있다.
상기 프로세서는, 상기 사용자에 대해서 상기 시차 광학 소자의 파라미터의 캘리브레이션이 완료되는 경우에 응답하여, 상기 시차 광학 소자의 상기 사용자에게 개인화된 파라미터들을 저장하고, 상기 개인화된 파라미터들을 이용하여 컨텐츠 영상을 렌더링하여 상기 디스플레이 모듈에 출력할 수 있다.
상기 디스플레이 모듈은, 모터사이클, 자동차, 기차, 배(watercraft), 항공기(aircraft), 및 우주선(spacecraft)를 포함하는 탈것(vehicle)에 탑재되는 헤드업 디스플레이(HUD, head-up display)의 적어도 일부로서 구현될 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 시차 광학 소자에 의해 디스플레이 모듈로부터 출력되는 영상에 대응하는 광을 사용자의 아이박스로 제공하는 단계; 및 상기 디스플레이 모듈 및 상기 시차 광학 소자에 의해 형성되는 가상 이미지 평면 및 상기 아이박스 간의 룩 다운 앵글(look down angle; LDA)의 변화에 응답하여 상기 시차 광학 소자의 파라미터를 조정하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 수행하는 전자 장치를 도시한다.
도 2는 일 실시예에 따른 전자 장치가 헤드업 디스플레이를 포함하는 예시를 도시한다.
도 3은 일 실시예에 따른 전자 장치의 블록도를 도시한다.
도 4는 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 위한 소스 영상, 패턴 영상, 및 관측된 영상을 도시한다.
도 5는 일 실시예에 따른 소스 영상 및 관측된 영상을 도시한다.
도 6은 일 실시예에 따른 시차 광학 소자의 파라미터들을 설명한다.
도 7은 일 실시예에 따른 룩 다운 앵글의 변화 및 아이박스 내 양안 간의 간격 변화를 설명한다.
도 8은 일 실시예에 따른 룩 다운 앵글의 변화 및 시차 광학 소자의 파라미터 간의 관계를 설명한다.
도 9는 일 실시예에 따른 룩 다운 앵글 모델의 구축을 설명한다.
도 10은 일 실시예에 따른 위치 오프셋 파라미터의 조정에 따라 아이박스에서 관측되는 캘리브레이션 패턴의 변화를 설명한다.
도 11은 일 실시예에 따른 기 구축된 룩 다운 앵글 모델의 보상(compensation)을 설명한다.
도 12는 일 실시예에 따른 룩 다운 앵글의 변화에 응답하여 위치 오프셋 파라미터를 조정하는 예시에서 양안 분리 경계선 및 사용자의 눈 간의 거리 변화를 설명한다.
도 13은 일 실시예에 따른 파라미터 조정 결과를 도시한다.
도 14는 일 실시예에 따른 파라미터 조정 방법을 도시하는 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 수행하는 전자 장치를 도시한다.
일 실시예에 따른 전자 장치(100)는 사용자에게 입체 영상을 제공할 수 있다. 예를 들어, 전자 장치(100)는 양안 디스패리티(binocular disparity)를 갖는 영상을 사용자의 양안에 제공할 수 있다. 양안 시차를 갖는 영상은 사용자의 좌안으로 제공되는 제1 영상 및 사용자의 우안으로 제공되는 제2 영상을 포함할 수 있다. 제1 영상 및 제2 영상에서 같은 객체 및/또는 같은 지점에 대응하는 픽셀들은 해당 객체 및/또는 해당 지점의 깊이(예: 사용자가 인식하도록 정의된 및/또는 설정된 해당 객체까지의 거리)에 따른 디스패리티만큼 이격될 수 있다. 다만, 설명의 편의를 위하여 한 사용자의 양안으로의 입체 영상의 제공으로서, 해당 사용자의 좌안에 대응하는 제1 시점(viewpoint) 및 우안에 대응하는 제2 시점으로 영상이 제공되는 예시를 설명하였으나, 이로 한정하는 것은 아니다. 설계에 따라 둘 이상의 시점들로 영상이 제공될 수 있고, 둘 이상의 사용자들에게 입체 영상이 제공될 수도 있다. 예를 들어, 전자 장치(100)는 제1 사용자의 좌안에 대응하는 제1 시점 및 제1 사용자의 우안에 대응하는 제2 시점으로 픽셀 별 양안 시차를 갖는 영상 페어(image pair)를 제공할 수 있다. 또한, 전자 장치(100)는 제2 사용자의 좌안에 대응하는 제3 시점 및 제2 사용자의 우안에 대응하는 제4 시점으로 픽셀 별 양안 시차를 갖는 영상 페어를 제공할 수도 있다.
참고로, 본 명세서에서 한 시점에 대응하는 아이박스(eyebox)는 해당 시점에 대응하는 영상 페어가 제공되는 영역을 나타낼 수 있다. 예를 들어, 아이박스는 사용자의 시선 높이에 대응하여 결정될 수 있으며, 사용자가 아이박스 내에서 정면을 응시할 경우에 전술한 영상 페어가 사용자에게 보여질(viewable) 수 있다.
전자 장치(100)는 디스플레이 패널을 통해 영상을 출력하고, 전자 장치(100)의 시차 광학 소자가 출력된 영상에 대응하는 광을 복수의 시점들로 지향시킬 수 있다. 제조 공정의 오차 및/또는 공차로 인해 캘리브레이션을 통한 미세 튜닝(fine tuning) 없이는 사용자의 좌안 및/또는 우안에서 반대편 눈으로 제공되어야 하는 영상의 일부가 관측될 수 있다. 전술한 바와 같이 다른 시점에서 관측되어야 하는 영상이 제공되는 것을 크로스토크(crosstalk)라고 나타낼 수 있다. 사용자의 좌안에 대응하는 시점에서 좌안 영상만 관측되고 우안에 대응하는 시점에서 우안 영상만 관측되어야 사용자가 정확한 깊이감을 인식하고 선명한 영상을 시청할 수 있다.
일 실시예에 따른 전자 장치(100)는 전술한 크로스토크의 감소 및/또는 제거를 위해, 캘리브레이션을 수행할 수 있다. 전자 장치(100)는 사용자에게 캘리브레이션을 위한 패턴 영상에 대응하는 캘리브레이션 패턴(110)을 제공할 수 있다. 전자 장치(100)는 패턴 영상에 대응하는 캘리브레이션 패턴(110)을 관측한 사용자로부터 캘리브레이션을 위한 입력(129)을 수신할 수 있다. 전자 장치(100)는 캘리브레이션을 위한 입력(129)을 수신하는 경우 해당 입력(129)에 의한 시차 광학 소자의 파라미터를 조정할 수 있다. 전자 장치(100)는 조정된 파라미터에 따라 패턴 영상에 대응하는 캘리브레이션 패턴(110)을 변경할 수 있다. 사용자는 패턴 영상에 대응하는 캘리브레이션 패턴(110)에 대응하는 캘리브레이션 패턴이 기준선(예: 수직선 및/또는 수평선)에 정렬될 때까지 전술한 캘리브레이션을 위한 조작을 반복적으로 입력할 수 있다. 전자 장치(100)는 캘리브레이션을 위한 조작을 위한 편리한 입력 인터페이스(120)를 제공할 수 있다. 예를 들어, 도 1에서는 전자 장치(100)의 터치 스크린이 슬라이더 바를 출력하고, 전자 장치(100)는 슬라이더 바에 대한 입력(129)(예: 슬라이더 바 객체를 수평으로 이동시키는 입력)을 검출하는 경우에 응답하여 전술한 시차 광학 소자의 파라미터를 조정할 수 있다. 다만, 캘리브레이션 패턴(110)의 변경을 위한 시차 광학 소자의 파라미터 조정이 사용자의 수동 입력에 의존하는 것으로 한정하는 것은 아니다. 예를 들어, 전자 장치(100)는 사용자와 같은 방향을 향하는 별도의 카메라 모듈을 통해 아이박스에서 캘리브레이션 패턴(110)을 관측하고, 관측된 결과에 기초하여 전술한 시차 광학 소자의 파라미터를 조정할 수도 있다.
참고로, 도 1에 도시된 바와 같이, 차량에 장착된 전자 장치(100)는 차량의 윈드쉴드 글래스(windshield glass)를 통해 컨텐츠 영상 및/또는 패턴 영상을 투사함으로써 사용자에게 제공할 수 있다. 윈드쉴드 글래스를 이용한 헤드업 디스플레이를 하기 도 2에서 설명한다.
도 2는 일 실시예에 따른 전자 장치가 헤드업 디스플레이를 포함하는 예시를 도시한다.
캘리브레이션 시스템(200)은 사용자(290)에게 시차 광학 소자의 캘리브레이션을 제공하는 시스템으로써, 예를 들어, 전자 장치(210)(예: 도 1의 전자 장치(100))가 장착된 기기일 수 있다.
전자 장치(210)는 프로세서(212), 및 헤드업 디스플레이(213)를 포함할 수 있다. 또한, 전자 장치(210)는 눈 검출기(217)도 포함할 수 있다.
프로세서(212)는 렌더링된 패턴 영상을 헤드업 디스플레이(213)를 통해 출력함으로써 사용자(290)에게 패턴 영상을 제공할 수 있다. 프로세서(212)는 캘리브레이션 동안 사용자의 입력 및/또는 아이박스(291)에 배치된 별도 카메라 모듈(미도시됨)에서의 관측 결과에 따라 조정된 파라미터에 따라 패턴 영상을 다시 렌더링하여 제공할 수 있다. 프로세서(212)는 캘리브레이션이 완료된 후 고정된(fixed) 파라미터를 이용하여 컨텐츠 영상을 렌더링하여 사용자에게 제공할 수 있다. 컨텐츠 영상은 예시적으로 운행과 관련된 컨텐츠를 포함하는 정보로서, 차량의 경우 운전과 연관된 정보(이하, 운전 정보)는, 예를 들어, 경로 안내 정보(route guidance information) 및 주행 관련 정보(driving related information)를 포함할 수 있다.
헤드업 디스플레이(213)는 사용자(290)의 전방에 위치되는 사용자(290)의 가시 영역(visible region)에 입체 영상을 시각화할 수 있다. 예를 들어, 헤드업 디스플레이(213)는 사용자(290)의 전방에 배치되는 유리창(예를 들어, 차량의 윈드쉴드 글래스(windshield glass))에 패턴 영상을 시각화할 수 있다. 헤드업 디스플레이(213)는 가상의 프로젝션 평면을 형성할 수 있다. 이하, 가상의 프로젝션 평면은 가상 이미지 평면(virtual image plane)(250)이라고 나타낼 수 있다. 가상 이미지 평면(250)은 헤드업 디스플레이(213)에 의해 생성된 패턴을 포함하는 허상(virtual image)이 표시되는 평면을 나타낼 수 있다. 사용자(290)는 가상 이미지 평면(250)에 허상이 배치된 것으로 인식할 수 있다. 참고로, 헤드업 디스플레이(213) 및 차량의 윈드쉴드 글래스에 의한 광학계로 인해, 사용자는 의도된 캘리브레이션 패턴과 다른 형태의 캘리브레이션 패턴(예: 관측된 패턴)이 관측된 영상(230)을 시청할 수 있다. 예를 들어, 사용자(290)는 아이박스(291)에서 관측된 영상(230)을 시청할 수 있다. 관측된 영상(230)은 예시적으로 캘리브레이션 패턴이 의도보다 더 블러되거나 그라데이션이 추가된 형태를 나타낼 수 있다.
또한, 헤드업 디스플레이(213)는 가상 이미지 평면(250)에 깊이를 가지는 컨텐츠 영상을 시각화할 수 있다. 예를 들어, 프로세서(212)는 객체가 시각화될 수 있는 깊이에 대응하는 양안 시차를 가지는 좌영상 및 우영상을 포함하는 컨텐츠 영상을 헤드업 디스플레이(213)를 통해 사용자(290)에게 제공할 수 있다. 헤드업 디스플레이(213)는 가상 영역(260) 내에 해당하는 깊이를 가지는 컨텐츠를 가상 이미지 평면(250)에 시각화할 수 있다. 여기서, 프로세서(212)는 헤드업 디스플레이(213)의 광학계에 기초하여, 컨텐츠를 3차원 그래픽 표현(graphic representation)으로 렌더링할 수 있다. 3차원 그래픽 표현은 깊이를 가지는 입체적인 그래픽 표현을 나타낼 수 있다. 헤드업 디스플레이(213)는, 컨텐츠가 가지는 깊이에 기초하여, 좌영상(left image) 및 우영상(right image)을 포함하는 컨텐츠 영상을 가상 이미지 평면(250) 상에 형성할 수 있고, 가상 이미지 평면(250)을 통해 좌영상을 사용자(290)의 좌안(left eye)에, 우영상을 사용자(290)의 우안(right eye)에 제공할 수 있다. 다시 말해, 가상 이미지 평면(250)에는 하나의 허상이 맺히나, 헤드업 디스플레이(213) 및 윈드쉴드글래스에 따른 광학계에 의해 하나의 허상으로부터 좌영상에 대응하는 빛 및 우영상에 대응하는 빛이 분리되어 각각 사용자(290)의 좌안 및 우안으로 향할 수 있다. 전술한 바와 같이, 아이박스(291)는 좌영상에 대응하는 광 및 우영상에 대응하는 광이 도달하는 영역으로서, 사용자(290)의 좌안 및 우안에 대응하는 영역을 포함할 수 있다. 따라서, 아이박스(291) 내에서 컨텐츠를 나타내는 좌영상 및 우영상에 대응하는 광이 사용자의 양안에 개별적으로 도달함으로써, 사용자(290)는 입체적으로 렌더링된 컨텐츠의 깊이감을 인식할 수 있다.
일 실시예에 따른 헤드업 디스플레이(213)는 예를 들어, 화상 생성부(picture generation unit), 폴드 거울(fold mirror)(215) 및 확대 거울(magnifying mirror)(216)(예: 오목 거울)을 포함할 수 있다. 화상 생성부는 디스플레이 모듈 및 시차 광학 소자를 포함할 수 있다. 시차 광학 소자는, 예를 들어, 렌티큘러 렌즈(lenticular lens) 및 시차 방벽(parallax barrier)를 포함할 수 있다. 디스플레이 모듈은 광원(214a) 및 디스플레이(예: 디스플레이 패널(214b))를 포함할 수 있다. 광원(214a)으로부터 방출된 빛이 디스플레이 패널(214b)을 통과한 영상 광(image ray)에서, 디스플레이 패널(214b) 중 좌영상에 대응하는 부분을 통과한 영상 광은 시차 광학 소자에 의해 사용자의 좌안으로 향하고, 우영상에 대응하는 부분을 통과한 영상 광은 사용자의 우안으로 향할 수 있다. 다만, 헤드업 디스플레이(213)의 구성을 이로 한정하는 것은 아니고, 설계에 따라 사용자(290)의 전방에 배치된 유리창으로의 투사를 통해 허상이 맺히는 가상 이미지 평면(250)을 형성하는 다양한 구성요소를 포함할 수도 있다.
본 명세서에서는 전자 장치(210)가 차량에 장착된 예시를 중심으로 설명하지만, 이로 한정하는 것은 아니다. 예를 들어, 전자 장치(210)는 증강현실 안경(AR glass, Augmented Reality glass) 및 혼합현실(MR, mixed reality) 등과 같이 현실과 가상의 정보를 결합시키는 기술에 적용될 수 있고, 차량 외에도 모터사이클, 비행기 및 기차와 같은 탈 것(vehicle)에도 적용될 수 있다.
일 실시예에 따른 전자 장치(210)는, 컨텐츠의 깊이를 조절함으로써, 헤드업 디스플레이(213)에 의해 형성되는 가상 이미지 평면(250)의 위치 변경 없이도, 연속적인 깊이를 표현할 수 있다. 또한, 전자 장치(210)는, 가상 이미지 평면(250)의 위치를 변경할 필요가 없으므로, 헤드업 디스플레이(213)에 포함된 구성요소들에 대한 물리적인 조작을 요구하지 않는다.
룩 다운 앵글(look down angle; LDA) θLDA은 사용자의 시선이 내려다보는 각도로서, 디스플레이 모듈 및 시차 광학 소자에 의해 형성되는 가상 이미지 평면(250) 및 아이박스(291) 간의 각도를 나타낼 수 있다. 예를 들어, 룩 다운 앵글 θLDA은 아이박스(291)가 배치된 평면 및 가상 이미지 평면(250) 간의 각도를 나타낼 수 있다.
일 실시예에 따른 전자 장치(210)는 룩 다운 앵글 θLDA을 변경할 수 있다. 예를 들어, 전자 장치(210)는 개별 사용자의 시선 높이(예: 사용자의 앉은 키에 따라 결정되는 높이) 및 사용자에 의해 선호되는 높이에 대응하는 룩 다운 앵글 θLDA을 제공할 수 있다.
일 실시예에 따르면 전자 장치(210)의 프로세서(212)는 사용자(290)의 눈 높이에 기초하여 룩 다운 앵글 θLDA의 변화를 추적할 수 있다. 전자 장치(290)는 전술한 눈 검출기(217)를 통해 사용자(290)의 눈의 위치를 검출하고, 검출된 눈의 위치로 아이박스(291)를 이동시킴으로써 룩 다운 앵글 θLDA을 변화시킬 수 있다. 예를 들어, 전자 장치(210)는 아이박스(291)의 이동에 따라 아이박스(291) 및 가상 이미지 평면(250) 간의 변화된 각도를 계산함으로써 변화된 룩 다운 앵글 θLDA을 추적할 수 있다. 다른 예를 들어, 전자 장치(210)는, 전술한 헤드업 디스프레이(213)에서 확대 거울(216)을 지면에 평행한 축(예: 차량의 횡축(lateral axis))에 평행한 축을 기준으로 회전시킴으로써, 아이박스(291)의 지면에 수직하는 높이를 변경할 수 있다. 전자 장치(210)의 프로세서(212)는 디스플레이 모듈에서 디스플레이 패널(214b)로부터 출력된 영상 광(image ray)을 확대시키는 확대 거울(216)을 회전시키는 모터(미도시됨)의 구동에 기초하여 룩 다운 앵글의 변화를 추적할 수 있다. 전자 장치(210)는 모터(미도시됨)의 구동에 따라 확대 거울(216)이 회전된 각도에 대응하는 룩 다운 앵글 θLDA을 결정할 수 있다.
또한, 앞서 시선 추적에 기초한 룩 다운 앵글 θLDA의 결정 예시를 설명하였으나, 이로 한정하는 것은 아니다. 전자 장치(210)는 사용자(290)의 수동 입력(manual input)에 응답하여 모터(미도시됨)를 구동함으로써 아이박스(291)의 위치를 조정할 수도 있다. 이 경우에도, 전자 장치(210)는 모터(미도시됨)의 구동에 따라 확대 거울(216)이 회전된 각도에 대응하는 룩 다운 앵글 θLDA을 결정할 수 있다. 참고로, 본 발명에서는 설명의 편의를 위하여, 주로 가상 이미지 평면(250)이 고정되고 아이박스(291)의 위치가 변경되는 예시를 주로 설명하나, 이로 한정하는 것은 아니다. 아이박스(291)의 위치 변경과 함께 가상 이미지 평면(250)의 위치도 변경되는 경우, 전자 장치(210)는 아이박스(291) 및 가상 이미지 평면(250) 간의 상대적인 각도 변경을 추적할 수 있다.
전술한 룩 다운 앵글 θLDA의 변화로 인해 시차 광학 소자를 통한 양안 분리에 틀어짐이 발생하는 바, 아래에서는 룩 다운 앵글 θLDA의 변화에 대응한 시차 광학 소자의 파라미터의 조정을 설명한다.
도 3은 일 실시예에 따른 전자 장치의 블록도를 도시한다.
일 실시예에 따른 전자 장치(300)는 디스플레이 모듈(310), 시차 광학 소자(320), 입력 수신부(330), 프로세서(340), 및 메모리(350)를 포함할 수 있다. 또한, 전자 장치(300)는 눈 검출기(예: 도 2의 눈 검출기(217)) 및 별도 카메라 모듈(미도시됨)도 포함할 수 있다.
디스플레이 모듈(310)은 패턴 영상 및/또는 컨텐츠 영상을 시각화하여 출력할 수 있다. 예를 들어, 디스플레이 모듈(310)은 전자 장치(300)의 프로세서(340)에 의해 렌더링된 영상을 출력할 수 있다. 프로세서(340)는 시차 광학 소자(320)에 대한 파라미터들을 이용하여 캘리브레이션 패턴을 렌더링함으로써 패턴 영상을 생성할 수 있고, 컨텐츠를 렌더링함으로써 컨텐츠 영상을 생성할 수 있다. 디스플레이 모듈(310)은 렌더링된 패턴 영상 및/또는 렌더링된 컨텐츠 영상을 출력할 수 있다. 패턴 영상 및 컨텐츠 영상은 각각 복수의 시점들에 대응하는 영상들(예: 좌영상 및 우영상)이 혼합된 영상일 수 있다. 디스플레이 모듈(310)은 출력된 영상에 대응하는 광을 광원(예: 백라이트 유닛) 및/또는 자체 발광을 통해 생성하여 후술하는 시차 광학 소자(320)로 전달할 수 있다. 예를 들어 ,디스플레이 모듈(310)은, 모터사이클, 자동차, 기차, 배(watercraft), 항공기(aircraft), 및 우주선(spacecraft)를 포함하는 탈것(vehicle)에 탑재되는 헤드업 디스플레이(HUD, head-up display)의 적어도 일부로서 구현될 수 있다.
시차 광학 소자(320)는 디스플레이 모듈(310)로부터 출력되는 영상에 대응하는 광을 사용자의 아이박스로 제공할 수 있다. 시차 광학 소자(320)는 디스플레이 모듈(310)의 일면(예: 전면 또는 후면) 상에 배치되고, 디스플레이 모듈(310)에 출력된 영상에 대응하는 광을 복수의 시점들로 지향시키는 광학 소자일 수 있다. 본 명세서에서는 복수의 시점들 중 한 시점의 아이박스를 주로 예를 들어 설명한다. 예를 들어, 시차 광학 소자(320)는 디스플레이 모듈(310)에 출력된 영상 중 좌영상에 대응하는 부분을 통과한 빛을 아이박스 내 사용자의 좌안으로의 광 경로로 지향시킬 수 있다. 유사하게, 시차 광학 소자(320)는 디스플레이 모듈(310)에 출력된 영상 중 우영상에 대응하는 부분을 통과한 빛을 아이박스 내 사용자의 우안으로의 광 경로로 지향시킬 수 있다. 시차 광학 소자(320)는 렌티큘러 렌즈 어레이(lenticular lens array), 패럴렉스 배리어(parallax barrier), 및 방향성 백라이트 유닛(directional back light unit)과 같은 광학 레이어를 포함할 수 있다.
참고로, 도 2에서 전술한 화상 생성부는 디스플레이 모듈(310) 및 시차 광학 소자(320)를 포함할 수 있다. 다만, 도 2에서는 차량에서 윈드쉴드 글래스를 통한 입체 영상을 제공하기 위한 예시로서 헤드업 디스플레이(213)를 주로 설명하였으나, 이로 한정하는 것은 아니다. 헤드업 디스플레이(213)의 거울들(215, 216)은 디스플레이 모듈(310) 및 시차 광학 소자(320)에 의해 생성된 영상에 대응하는 광을 확대하여 사용자에게 제공하며, 어플리케이션에 따라 영상의 확대를 위한 광학계는 변경될 수도 있다. 예시적으로 HUD의 설계에 따라 거울이 생략될 수 있고, 평판 디스플레이(예: TV)에서는 거울들이 불필요할 수도 있다. 이후 설명의 편의를 위해, 아래 도 3 내지 도 13에서는 전술한 영상의 확대를 위한 광학계(예: 폴드 거울 및 오목 거울)의 설명을 생략하며, 주로 디스플레이 패널 및 그 전면 또는 후면에 배치되는 시차 광학 소자(320)(예: 전면에 배치되는 렌티큘러 렌즈 또는 후면에 배치되는 방향성 백라이트 유닛)에 의해 바로 사용자의 눈(예: 좌안)으로 향하는 광경로로 설명한다. 예시적으로 렌티큘러 렌즈가 디스플레이 패널의 일면에 라미네이트될 수 있다. 다만, 이로 한정하는 것은 아니고, 어플리케이션에 따라 필요에 따라 허상 평면을 형성하기 위한 광학 소자들(예: 거울)이 추가로 포함될 수 있다.
참고로, 앞서 도 2에서는 확대 거울이 모터 구동에 의해 회전되는 예시를 설명하였으나, 이로 한정하는 것은 아니고, 전술한 광경로를 형성하는 복수의 광학 소자들 중 적어도 한 광학 소자가 모터에 의해 회전 가능하게 구성될 수 있다. 모터 구동에 의해 적어도 한 광학 소자의 이동 및/또는 회전에 의해 광경로가 변화할 수 있고, 광경로의 변화에 의해 아이박스(예: 도 2의 아이박스(291))의 위치가 변화할 수 있다.
전술한 디스플레이 모듈(310) 및 시차 광학 소자(320)의 조합을 통해 전자 장치(300)는 사용자의 좌안에 좌영상을 제공하고, 우안에 우영상을 제공할 수 있다. 전자 장치(300)는, 좌영상에서 컨텐츠가 시각화된 그래픽 객체 및 우영상에서 컨텐츠가 시각화된 그래픽 객체를 서로에 대해 양안 시차(binocular disparity)에 기초하여 이격시킴으로써, 깊이를 가지는 컨텐츠를 사용자에게 입체적인 그래픽 객체로 시각화하여 제공할 수 있다.
입력 수신부(330)는 사용자의 입력을 수신할 수 있다. 일 실시예에 따르면 입력 수신부(330)는 아이박스에서 패턴 영상을 관측한 사용자로부터 시차 광학 소자(320)에 대한 캘리브레이션을 위한 입력을 수신할 수 있다. 예를 들어, 입력 수신부(330)는, 터치 패널, 터치 스크린, 다이얼, 조그 다이얼, 셔틀 다이얼, 클릭 휠, 버튼, 슬라이더 바, 조작 레버 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 다만 입력 수신부(330)의 예시를 전술한 바로 한정하는 것은 아니며, 회전 조작(예: 다이얼) 및/또는 직선 조작(예: 슬라이더바)을 지원하는 다양한 구조를 포함할 수 있다.
본 명세서에서 패턴 영상은 캘리브레이션을 위한 패턴(이하, '캘리브레이션 패턴')을 나타내는 영상으로서, 캘리브레이션 패턴을 포함하는 하나 이상의 소스 영상이 시차 광학 소자의 파라미터를 이용하여 렌더링된 영상을 나타낼 수 있다. 캘리브레이션 패턴 및 패턴 영상은 하기 도 4 및 도 5에서 설명한다.
프로세서(340)는 디스플레이 모듈(310) 및 시차 광학 소자(320)에 의해 형성되는 가상 이미지 평면 및 아이박스 간의 룩 다운 앵글의 변화에 응답하여 시차 광학 소자(320)의 파라미터를 조정할 수 있다. 프로세서(340)의 동작을 전술한 바로 한정하는 것은 아니며, 프로세서(340)의 보다 상세한 동작은 하기 도 4 내지 도 14에서 설명한다. 시차 광학 소자(320)의 각 파라미터는 하기 도 6에서 설명한다.
메모리(350)는 캘리브레이션에 요구되는 정보를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(350)는 프로세서(340)에 의해 실행되어 하기 도 4 내지 도 14에 따른 동작을 수행하기 위한 명령어들을 저장할 수 있다. 또한, 메모리(350)는 캘리브레이션된 파라미터들(예: 피치 파라미터, 기운 각도 파라미터, 위치 오프셋 파라미터)을 저장할 수도 있다.
눈 검출기는 사용자의 눈(예: 좌안 및/또는 우안)의 위치를 검출할 수 있다. 전자 장치(300)는 디스플레이 모듈(310) 및 시차 광학 소자(320)를 통해 아이박스로 영상을 제공할 수 있다. 전자 장치(300)는 캘리브레이션을 위한 패턴 영상을 아이박스로 제공할 수 있다. 전자 장치(300)는 전술한 눈 검출기를 통해 사용자의 시선 높이를 검출하고, 시선 높이에 기초하여 아이박스의 위치를 결정할 수 있다. 눈 검출기는 도 2에서 도시된 바와 같이 예시적으로 차량의 내부를 촬영 가능한 카메라를 포함할 수 있다. 눈 검출기는 사용자(예: 운전자)를 포함하여 차량 내부를 촬영한 영상으로부터 눈의 위치를 검출할 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치의 프로세서(340)가 전자 장치(300)와 독립된 별개의 내부 카메라에 의해 촬영된 내부 영상을 수신하고, 수신된 내부 영상으로부터 사용자의 눈의 위치를 검출 및/또는 추적할 수도 있다.
전자 장치(300)는 자동 캘리브레이션을 위한 별도 카메라 모듈(미도시됨)을 포함할 수도 있다. 별도 카메라 모듈(미도시됨)은 사용자의 양안이 위치될 것으로 예측 및/또는 추정되는 아이박스에 대응하는 위치에 배치될 수 있다. 별도 카메라 모듈(미도시됨)은 시차 광학 소자(320)의 파라미터들의 캘리브레이션 동안, 디스플레이 모듈(310)에서 출력된 패턴 영상이 시차 광학 소자(320)를 통과하여 아이박스에 도달한, 관측된 영상을 촬영할 수 있다. 전자 장치(300)의 프로세서(340)는, 아이박스에 설치된 카메라 모듈에 의해 촬영되는 영상에 포함되는 캘리브레이션 패턴의 기준선이 정렬될 때까지 시차 광학 소자의 위치 오프셋 파라미터의 조정을 자동으로 반복함으로써, 위치 오프셋 파라미터의 캘리브레이션을 수행할 수 있다. 예시적으로 프로세서(340)는 관측된 영상의 기준선이 캘리브레이션 패턴의 중심에 위치될 때까지 위치 오프셋 파라미터의 업데이트를 반복할 수 있다. 캘리브레이션 패턴의 기준선 및 정렬에 대해서는 하기 도 10에서 설명한다.
도 4는 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 위한 소스 영상, 패턴 영상, 및 관측된 영상을 도시한다.
캘리브레이션 시스템(400)은 전자 장치(420)를 포함할 수 있다. 전자 장치(420)는 시차 광학 소자(421)(예: 도 3의 시차 광학 소자(320)) 및 디스플레이 패널(422)(예: 도 3의 디스플레이 모듈(310)의 디스플레이 패널)을 포함할 수 있다.
전자 장치(420)는 소스 영상들에 기초하여 패턴 영상을 생성할 수 있다. 소스 영상들은 전자 장치(420)에 저장되어 있거나, 혹은 다른 외부 장치에 의해 전자 장치(420)에게 제공될 수 있다. 소스 영상들은 각각 시점(view)에 대응할 수 있다. 예를 들어, n개의 소스 영상들의 각각은 제1 시점 내지 제n 시점에 개별적으로 대응할 수 있다. 여기서, n은 2이상의 정수일 수 있다. 본 명세서에서는 주로 n=2인 예시를 설명하나, 이로 한정하는 것은 아니다. 한 사용자의 양안의 각각에 대응하는 시점들로만 영상이 제공되는 경우, n=2일 수 있다. 아래에서 상세하게 설명하겠으나, 전자 장치(420)는 파라미터에 기초하여, 소스 영상들에 대응하는 복수의 시점들 중 기준 시점에 해당하는 영상이 기준 시점에서 관측될 수 있도록 패턴 영상을 생성할 수 있다. 예시적으로 기준 시점은 사용자의 좌안에 대응하는 시점일 수 있다. 사용자는 캘리브레이션 동안 우안을 감고, 좌안으로만 패턴 영상을 관측하면서 캘리브레이션 절차를 진행할 수 있다. 기준 시점은 아이박스 내에 위치될 수 있다.
전자 장치(420)는 디스플레이 패널(422)을 통해 패턴 영상을 표시할 수 있다. 패턴 영상은 선형 패턴을 포함하는 소스 영상들에 기초하여 생성되어 캘리브레이션 패턴을 나타내는 패널 영상으로 이해될 수 있다. 참고로, 패턴 영상에서는 캘리브레이션 패턴이 분할되어 표현되고, 개별 시점에서 패턴 영상의 분할됐던 부분들이 시차 광학 소자를 통해 조합되어 캘리브레이션 패턴이 관측될 수 있다. 도 4의 관측된 영상들(431, 432)에서 캘리브레이션 패턴은 두께를 가지고 블러된 수평선으로 도시되었으나, 이로 한정하는 것은 아니고 캘리브레이션 패턴은 두께를 가지고 블러된 수직선일 수도 있다. 후술하겠으나, 파라미터의 종류 별로 수평선 형태의 캘리브레이션 패턴, 수직선 형태의 캘리브레이션 패턴이 사용될 수 있다.
캘리브레이션 패턴은 하나 이상의 소스 영상에 포함된 패턴(예: 선형 패턴)이 조합된 패턴일 수 있다. 예를 들어, 캘리브레이션 패턴은 기준 시점에 대응하는 소스 영상의 패턴을 기준으로, 다른 시점에 대응하는 소스 영상의 패턴의 일부가 조합된 패턴일 수 있다. 캘리브레이션 패턴은 기준 시점에 대응하는 소스 영상의 패턴 전체를 포함하고, 기준 시점(예: 제i 시점)에 인접한 시점(예: i-1 시점 및 제i+1 시점)에 대응하는 소스 영상의 패턴 일부를 포함할 수 있다. 캘리브레이션 패턴에서 기준 시점으로부터 먼 시점(예: 제1 시점 및 제n 시점)에 대응하는 소스 영상의 패턴은 기준 시점에 인접한 시점에 대응하는 소스 영상의 패턴보다 적게 포함될 수 있다. 사람의 눈은 초점을 기준으로 선명하게 인식하고 주변 영역을 흐리게 인식하는데, 사람의 눈에 대응하는 아이박스(eyebox)를 기준으로 설정되는 캘리브레이션 패턴은 전술한 현상을 모사하여 각 시점들의 소스 영상들의 선형 패턴들이 결합된 패턴일 수 있다. 따라서 전술한 바와 같이 각 시점에서 관측된 영상들(431, 432)에서 기준 시점에 대응하는 선형 패턴이 비교적 선명하게 나타나고, 주변 시점 및 먼 시점에 대응하는 선형 패턴은 비교적 흐리게 나타날 수 있다.
시차 광학 소자(421)는 무안경 방식으로 패턴 영상을 3D 영상으로 변환할 수 있다. 시차 광학 소자(421)는 렌티큘러 렌즈 어레이(lenticular lens array), 패럴렉스 배리어(parallax barrier), 및 방향성 백라이트 유닛(directional back light unit)과 같은 광학 레이어를 포함할 수 있다. 도 4에는 편의상 시차 광학 소자(421)가 렌티큘러 렌즈 어레이 및 패럴럭스 배리어의 예시로서 디스플레이 패널(422)의 전면에 위치하는 것으로 도시되어 있으나, 시차 광학 소자(421)는 방향성 백라이트 유닛과 같이 디스플레이 패널(422)의 후면에 위치할 수도 있다.
시차 광학 소자(421)는 디스플레이 패널(422)에게 제공되는, 혹은 디스플레이 패널(422)에서 출력되는 광에 지향성을 부여할 수 있다. 지향성 광을 통해 복수의 시점들(예: 시청자(viewer)의 양 눈에 대응하는 시점들)에 서로 다른 영상이 조사될 수 있고, 시청자는 입체감을 느낄 수 있다. 무안경 방식에서 사용자의 양 눈에 서로 다른 영상 정확히 조사되지 않으면 3D 영상에 크로스토크가 발생할 수 있다. 예를 들어, 전자 장치(420)의 생산 과정 또는 설치 과정 등에서 전자 장치(420)의 파라미터의 설계 값 및 실제 값 사이에 오차가 발생할 경우 이러한 크로스토크가 발생할 수 있다.
참고로, 제1 시점에서는 제1 소스 영상을 포함하는 하나 이상의 소스 영상을 렌더링하여 생성된 제1 패턴 영상에 대응하는 영상이 관측될 수 있고, 제n 시점에서는 제n 소스 영상을 포함하는 하나 이상의 소스 영상을 렌더링하여 생성된 제n 패턴 영상에 대응하는 영상이 관측될 수 있다. 제1 관측된 영상(431)은 제1 패턴 영상에 대응하는 광이 시차 광학 소자(421)를 통과하여 제1 시점에 도달함으로써 관측되는 영상을 나타낼 수 있다. 제n 관측된 영상(439)은 제n 패턴 영상에 대응하는 광이 시차 광학 소자(421)를 통과하여 제n 시점에 도달함으로써 관측되는 영상을 나타낼 수 있다. 한 시점(예: 기준 시점)에 대응하는 패턴 영상은 디스플레이 패널(422)에서 해당 시점으로 향하는 광이 통과하는 부분들에서 표시될 수 있다. 예를 들어, 패턴 영상에서 캘리브레이션 패턴은 디스플레이 패널(422)에서 기준 시점으로 향하는 광이 통과하는 부분들로 분할되어 표현될 수 있다. 캘리브레이션 패턴의 분할된 부분들에 대응하는 광은 시차 광학 소자(421)를 통과하면서 기준 시점에서 조합됨으로써, 사용자는 기준 시점에서 캘리브레이션 패턴을 관측할 수 있다. 참고로, 기준 시점은 제1 눈(first eye)(예: 좌안)에 대응하는 시점이고, 아이박스는 기준 시점 및 기준 시점과 쌍을 이루는 다른 시점(예: 우안인 제2 눈에 대응하는 시점)을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(420)는 사용자의 기준 눈의 위치를 검출할 수 있다. 예를 들어, 전자 장치(420)는 전자 장치(420) 내에, 또는 전자 장치(420) 주변에 설치된 별도의 카메라(예: 도 2의 시선 추적기(217))를 통해 사용자의 눈의 위치를 검출할 수 있다. 전자 장치(400)는 검출된 사용자의 눈의 위치에 대응하는 기준 시점에서 패턴 영상이 관측되도록 렌더링할 수 있다.
도 5는 일 실시예에 따른 소스 영상 및 관측된 영상을 도시한다.
제1 소스 영상들(510) 및 제2 소스 영상들(520)은 복수의 시점들(제1 시점 내지 제n 시점)에 대응할 수 있다. 제1 소스 영상들(510)의 각각은 대응하는 시점에 따라 상이한 위치에 수평선 형태의 선형 패턴을 포함할 수 있다. 제2 소스 영상들(520)은 대응하는 시점에 따라 상이한 위치에 수직선 형태의 선형 패턴을 포함할 수 있다. 제1 소스 영상들(510)은 제1 패턴 영상의 생성을 위해 사용될 수 있고, 제2 소스 영상들(520)은 제2 패턴 영상의 생성을 위해 사용될 수 있다. 예를 들어, 전자 장치는 제i 시점에서의 캘리브레이션을 위해 제i 시점에 대응하는 제1 소스 영상을 포함하는 하나 이상의 소스 영상을 시차 광학 소자의 파라미터를 이용하여 렌더링함으로써 제i 시점에 대응하는 제1 패턴 영상을 생성할 수 있다. 여기서, i는 1이상 n이하의 정수일 수 있다. 다른 예를 들어, 전자 장치는 제i 시점에 대응하는 제2 소스 영상을 포함하는 하나 이상의 소스 영상을 시차 광학 소자의 파라미터를 이용하여 렌더링함으로써 제i 시점에 대응하는 제2 패턴 영상을 생성할 수 있다.
참고로 복수의 파라미터들 중 개별 파라미터의 캘리브레이션시, 해당 파라미터가 캘리브레이션 되어있는지를 판단하기에 용이한 캘리브레이션 패턴이 존재할 수 있다. 제1 소스 영상들(510)은 수평선을 제외한 나머지 영역에 검은 영역을 포함할 수 있다. 제2 소스 영상들(520)은 수직선을 제외한 나머지 영역에 검은 영역을 포함할 수 있다. 제1 소스 영상들(510)은 피치 파라미터를 캘리브레이션하기에 용이할 수 있고, 제2 소스 영상들(520)은 기운 각도 파라미터를 캘리브레이션하기에 용이할 수 있다. 소스 영상들 중 기준 시점에 대응하는 소스 영상의 선형 패턴은 다른 시점의 선형 패턴의 색상(예: 흰색)과 다른 색상(예: 녹색)으로 변경될 수 있다.
전자 장치(예: 도 3의 전자 장치(300))는 기준 시점에서 기준 시점에 대응하는 소스 영상이 표현되도록 라이트 필드 렌더링(light field rendering)을 통해 패턴 영상을 생성할 수 있다. 도 5에서는 기준 시점이 제1 시점이고, 제1 시점에 대해 패턴 영상이 렌더링된 예시를 설명한다. 파라미터 캘리브레이션이 완료된 상태에서 패턴 영상의 출력을 가정할 경우, 사용자는 기준 시점에서 제1 관측된 영상(519) 및 제2 관측된 영상(529)을 시청할 수 있다. 이상적 환경이라면 제1 관측된 영상(519) 및 제2 관측된 영상(529)은 각각 기준 시점에 대응하여 소스 영상들이 조합된 캘리브레이션 패턴과 동일해야 하나, 크로스토크가 존재하는 실제 환경에서는 관측된 영상들(519, 529)에서 각각 기준 시점에 대응하는 캘리브레이션 패턴에 그라데이션이 더 추가된 형태 또는 캘리브레이션 패턴이 보다 블러된 형태로 관측될 수 있다. 참고로, 도 5에서는 캘리브레이션이 완료된 파라미터를 이용한 렌더링 예시를 설명한 바, 제1 관측된 영상(519)에서 캘리브레이션 패턴이 수평선(예: 두께를 가지고 블러된 형상의 수평선)으로 관측되고, 제2 관측된 영상(529)에서 캘리브레이션 패턴이 수직선(예: 두께를 가지고 블러된 형상의 수직선)으로 관측되었다. 캘리브레이션이 완료되기 전이라면, 각각의 선형 캘리브레이션 패턴은 수직선 또는 수평선이 아닌 비스듬한 선형 패턴으로 관측될 수 있다. 아래 도 6에서는 전술한 캘리브레이션 패턴의 정렬을 위한 파라미터들을 설명한다.
도 6은 일 실시예에 따른 시차 광학 소자의 파라미터들을 설명한다.
제1 소스 영상(610)에 기초한 제1 관측된 영상(615)이 사용자에 의해 시청될 수 있고, 제2 소스 영상(620)에 기초한 제2 관측된 영상(615)이 획득될 수 있다. 참고로, 크로스토크가 포함되어 도시됐던 도 5와 달리, 도 6에서는 편의를 위해 제1 관측된 영상(615) 및 제2 관측된 영상(625)은 캘리브레이션이 완료된 상태 및 크로스토크가 없는 이상적인 환경에서 관측되는 형태로 도시되었다.
전자 장치(예: 도 3의 전자 장치(300))의 파라미터는, 시차 광학 소자(651)(예: 도 3의 시차 광학 소자(320))의 파라미터로 지칭될 수도 있다. 시차 광학 소자(651)의 파라미터들은 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터를 포함할 수 있다. 시차 광학 소자(651)의 파라미터 중 두께는 고정된 것으로 가정한다.
피치 파라미터는 시차 광학 소자(651)의 단위 요소(unit element)의 피치 p를 나타내는 파라미터일 수 있다. 시차 광학 소자(651)는 단위 요소들(unit elements)을 포함할 수 있다. 단위 요소는 디스플레이 모듈(652)을 통해 출력되는 영상에 대응하는 광에 지향성을 부여하는 단위 광학 소자로서, 예시적으로 패럴렉스 배리어의 슬릿(slit) 및 렌티큘러 렌즈의 단위 렌즈를 포함할 수 있다. 단위 요소는 디스플레이 모듈(652)의 일면 상에 배치되는 광학 레이어에 대응하는 평면에서 일축을 따라 주기적으로 배치될 수 있다. 피치 파라미터는 단위 요소의 주기적인 배치의 간격을 나타낼 수 있다. 도 6에서 피치 파라미터는 단위 요소의 수평 방향 주기를 나타낼 수 있다. 3D 영상 내 시점(view)이 반복되는 구간의 길이가 피치 p에 따라 결정될 수 있다. 피치 파라미터를 통해 제1 관측된 영상(615) 내 선형 패턴의 기울기(예: 수평 기울기)가 조절될 수 있다. 다시 말해, 피치 파라미터의 조절을 통해 패턴 영상에 대응하는 선형 캘리브레이션 패턴이 회전될 수 있다.
기운 각도 파라미터(slanted angle parameter)는 시차 광학 소자(651)의 단위 요소(unit element)의 디스플레이 모듈(652)의 기준축에 대한 기울기를 나타낼 수 있다. 도 6에서 디스플레이 모듈(652)의 기준축은 세로축으로 도시되었으며, 기운 각도 θ는 단위 요소가 세로축에 대해 형성하는 기울기를 나타낼 수 있다. 기운 각도 파라미터를 통해 제2 관측된 영상(625) 내 선형 패턴의 기울기가 조절될 수 있다.
위치 오프셋 파라미터는 시차 광학 소자(651) 및 디스플레이 모듈(652) 간의 상대 위치를 나타낼 수 있다. 예를 들어, 위치 오프셋 파라미터는 단위 요소의 시작 위치(start position) 및 디스플레이 모듈(652)의 시작 픽셀 간의 위치 오프셋 s을 나타낼 수 있다. 도 6에서는 디스플레이 모듈(652)의 좌측 상단의 시작 픽셀 기준으로 좌측의 단위 요소의 시작 위치 간의 수평 오프셋으로서 도시된다. 전자 장치는 위치 오프셋 파라미터를 통해 제1 관측된 영상(615) 내 선형 패턴의 수직 위치 및 제2 관측된 영상(625) 내 선형 패턴의 수평 위치를 조절할 수 있다.
일 실시예에 따르면, 전자 장치의 프로세서는, 피치 파라미터에 대응하는 제1 패턴 영상, 기운 각도 파라미터에 대응하는 제2 패턴 영상, 및 위치 오프셋 파라미터에 대응하는 제3 패턴 영상 중 적어도 하나 또는 둘 이상의 조합을 사용자에게 제공할 수 있다. 제1 패턴 영상은 수평선을 각각 포함하는 제1 소스 영상들에 기초하여 생성될 수 있다. 제2 패턴 영상은 수직선을 각각 포함하는 제2 소스 영상들에 기초하여 생성될 수 있다. 제3 패턴 영상은 수직선 및 수평선 중 하나를 포함하는 캘리브레이션 패턴으로 생성될 수 있다. 아래에서 살펴볼 것처럼, 피치 파라미터는 가로 패턴을 통해 다른 파라미터들과 독립적으로 캘리브레이션될 수 있다. 또한, 피치 파라미터가 캘리브레이션되었다면, 기운 각도 파라미터는 세로 패턴을 통해 다른 파라미터들과 독립적으로 캘리브레이션될 수 있다. 전자 장치는 제1 패턴 영상, 제2 패턴 영상, 및 제3 패턴 영상 중 둘 이상을 동시에 제공할 수도 있으나, 각각 순차적으로 하나씩 제공할 수도 있다. 참고로, 후술하겠으나, 본 명세서에서는 피치 파라미터 및 기운 각도 파라미터의 캘리브레이션 및/또는 조정이 완료된 이후에 제3 패턴 영상을 이용한 위치 오프셋 파라미터를 캘리브레이션 및/또는 조정하는 동작을 주로 설명하며, 후술하는 패턴 영상은 주로 위치 오프셋 파라미터의 캘리브레이션을 위한 제3 패턴 영상을 나타낼 수 있다.
일 실시예에 따른 가로 패턴 및 세로 패턴을 이용한 순차적인 캘리브레이션 과정은 체크 패턴 등의 다른 복잡한 패턴을 이용한 캘리브레이션 과정에 비해 저해상도에서 효율적으로 수행될 수 있다. 가로 패턴을 이용한 캘리브레이션 및 세로 패턴을 이용한 캘리브레이션이 분리되어 수행되므로 캘리브레이션 작업이 단순해지기 때문이다. 무안경식 3D 영상 기술은 HUD(head up display)와 같은 저해상도 디바이스에서 구현될 수 있다. HUD의 경우 일반적인 디스플레이 장치에 비해 시청 거리가 길고, 1장의 패턴 영상으로 파라미터를 추정하기에 해상도가 부족할 수 있다. 또한, HUD 장치를 구성하는 반사 굴절 광학계(catadioptric system)로 인해 3D 영상에 왜곡이 발생할 수 있다. 실시예에 따른 캘리브레이션은 단순한 패턴을 통해 순차적으로 진행되므로, 이러한 저해상도 디바이스나 광학계를 포함하는 디바이스에서도 높은 성능을 발휘할 수 있다.
도 7은 일 실시예에 따른 룩 다운 앵글의 변화 및 아이박스 내 양안 간의 간격 변화를 설명한다.
일 실시예에 따른 전자 장치는 디스플레이 모듈에 의해 형성되는 광학계를 통해 사용자에게 복수의 시점들 별로 영상들(710)을 제공할 수 있다. 예를 들어, 전자 장치는 우영상(711) 및 좌영상(712)을 제공할 수 있다. 설명의 편의를 위하여 도 7에서는 우영상(711) 및 좌영상(712)이 세로로 과장되어 도시되었다. 사용자는 우영상(711) 및 좌영상(712)을 아이박스에서 시청할 수 있으며, 아이박스의 위치는 전술한 바와 같이 디스플레이 모듈의 광학계 구동에 의해 변화할 수 있다.
전술한 바와 같이 아이박스의 위치에 따라 룩 다운 앵글이 달라질 수 있다. 가상 이미지 평면의 높이가 고정된다고 가정하는 경우, 아이박스의 높이가 증가하면 룩 다운 앵글도 증가할 수 있다. 아이박스 내에서 우영상(711) 및 좌영상(712) 간의 양안 분리 경계선(750)이 사용자의 양안 사이의 중간 지점(780)에 위치되는 경우, 크로스토크가 최소화될 수 있다.
예를 들어, 도 7에서 제2 아이박스(790b)에서는 우안으로부터 양안 분리 경계선(750)까지의 거리(781b) 및 좌안으로부터 양안 분리 경계선(750)까지의 거리(782b)가 동일할 수 있다. 제1 아이박스(790a)는 제2 아이박스(790b)보다 낮은 높이에 위치되므로, 제1 아이박스(790a)의 사용자는 감소된 룩 다운 앵글로 우영상(711) 및 좌영상(712)을 시청할 수 있다. 제1 아이박스(790a) 내에서는 좌안으로부터 양안 분리 경계선(750)까지의 거리(781a)가 우안으로부터 양안 분리 경계선(750)까지의 거리(782a)보다 클 수 있다. 제3 아이박스(790c)는 제2 아이박스(790c)보다 높은 높이에 위치되므로, 제3 아이박스(790c)의 사용자는 증가된 룩 다운 앵글로 우영상(711) 및 좌영상(712)을 시청할 수 있다. 제3 아이박스(790c) 내에서는 좌안으로부터 양안 분리 경계선(750)까지의 거리(781c)가 우안으로부터 양안 분리 경계선(750)까지의 거리(782c)보다 작을 수 있다. 따라서 아이박스의 위치 변화에 따라 사용자의 각 눈으로부터 양안 분리 경계선(750)까지의 거리가 변화하고, 크로스토크가 발생할 수 있다.
후술하는 위치 오프셋 파라미터의 캘리브레이션을 통해 양안 분리 경계선이 한쪽 눈으로 치우치는 것이 방지될 수 있다.
도 8은 일 실시예에 따른 룩 다운 앵글의 변화 및 시차 광학 소자의 파라미터 간의 관계를 설명한다.
도 8에 도시된 그래프는 룩 다운 앵글 별 크로스토크가 최소화되는 시차 광학 소자의 파라미터들의 값들을 나타낼 수 있다. 가로축은 룩 다운 앵글의 각도, 세로 축은 각 파라미터의 값을 나타낼 수 있다. 각 파라미터의 값들은 개별적으로 패턴 영상(예: 제1 패턴 영상 내지 제3 패턴 영상)을 이용한 캘리브레이션을 통해 획득될 수 있다. 도 8에 도시된 바와 같이 룩 다운 앵글이 변화하더라도, 기운 각도 파라미터(820) 및 피치 파라미터(810)의 값들은 각 캘리브레이션에서도 유지될 수 있다. 반면, 각 룩 다운 앵글에 대한 캘리브레이션을 통해 획득된 위치 오프셋 파라미터(830)는 룩 다운 앵글이 증가함에 따라 선형적으로 증가할 수 있다. 다시 말해, 룩 다운 앵글의 변화시 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터만 조정이 요구된다.
일 실시예에 따른 전자 장치의 프로세서는, 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 룩 다운 앵글의 변화에 응답하여 조정할 수 있다. 전자 장치는 변화된 룩 다운 앵글에 대해 이전에 기록된 위치 오프셋 파라미터의 값을 로딩(load)하거나, 변화된 룩 다운 앵글에 대해 캘리브레이션 패턴에 기초한 캘리브레이션을 수행함으로써 위치 오프셋 파라미터의 값을 획득할 수 있다. 위치 오프셋의 캘리브레이션은 하기 도 10에서 설명한다.
도 9는 일 실시예에 따른 룩 다운 앵글 모델의 구축을 설명한다.
일 실시예에 따르면 전자 장치의 프로세서는 룩 다운 앵글이 변화하는 경우에 응답하여, 변화된 룩 다운 앵글을 기준으로 캘리브레이션 패턴을 통한 위치 오프셋 파라미터의 캘리브레이션을 수행함으로써 변화된 룩 다운 앵글에서 캘리브레이션 패턴이 정렬되는 위치 오프셋 파라미터의 값을 결정할 수 있다. 예를 들어, 전자 장치는 변화된 룩 다운 앵글에 대응하는 아이박스를 향해 캘리브레이션 패턴을 제공할 수 있다. 위치 오프셋 파라미터의 캘리브레이션은 하기 도 10에서 설명한다. 전자 장치는 개별 룩 다운 앵글에서 캘리브레이션을 수행한 경우, 해당 룩 다운 앵글에 대한 캘리브레이션 결과로서 결정된 위치 오프셋 파라미터의 값을 기록할 수 있다. 전자 장치의 프로세서는, 변화된 룩 다운 앵글에서 이전에 수행된 캘리브레이션에 따라 위치 오프셋 파라미터 값이 기록된 경우에 응답하여, 이전에 기록된 위치 오프셋 파라미터의 값을 변화된 룩 다운 앵글에 대해 로드(load)할 수 있다. 전자 장치는 이전에 캘리브레이션이 수행된 룩 다운 앵글에 대해서는 캘리브레이션을 스킵하고, 이전 캘리브레이션을 통해 기록된 위치 오프셋 파라미터의 값을 로드 및 사용하여 컨텐츠 영상을 렌더링할 수 있다. 따라서 전자 장치는 룩 다운 앵글이 변화할 때 캘리브레이션 수행을 최소화하면서도, 위치 오프셋 파라미터를 해당 룩 다운 앵글에서 크로스토크가 최소화되는 값으로 신속하게 조정할 수 있다.
일 실시예에 따르면 전자 장치의 프로세서는, 서로 다른 룩 다운 앵글에서 개별적으로 위치 오프셋 파라미터의 캘리브레이션을 수행함으로써, 룩 다운 앵글 모델(910)을 구축(build)할 수 있다. 예를 들어, 전자 장치는 제1 룩 다운 앵글에 대해 캘리브레이션을 통해 제1 위치 오프셋 값(981)을 획득하고, 제2 룩 다운 앵글에 대해 제2 위치 오프셋 값(982)을 획득할 수 있다. 도 8에서 전술한 바와 같이 제한된 각도 범위 내에서 위치 오프셋 파라미터의 캘리브레이션된 값 및 룩 다운 앵글은 선형 관계를 나타낼 수 있다. 전자 장치는 2개의 룩 다운 앵글에 대해 위치 오프셋 파라미터의 캘리브레이션된 값들이 획득되면, 나머지 룩 다운 앵글에 대해서도 선형성에 기초하여 위치 오프셋 파라미터의 값들을 추정할 수 있다. 따라서 전자 장치는 룩 다운 앵글 및 위치 오프셋 파라미터 간의 선형 관계를 나타내는 룩 다운 앵글 모델(910)을 구축할 수 있다.
참고로, 룩 다운 앵글 모델(910)은 룩 다운 앵글의 제한된 범위(예: 도 9에서는 1도 이상 6도 이하)에서 유효할 수 있다. 룩 다운 앵글 모델(910)은 예시적으로, y=ax+b로 모델링될 수 있다. 도 9에서 룩 다운 앵글 모델(910)의 선형계수들은 각각 a=0.0024, b=0.0584일 수 있다. 전자 장치는 제한된 범위를 초과하는 룩 다운 앵글에 대해서는 다른 룩 다운 앵글 모델(910)을 구축하거나, 개별 룩 다운 앵글 별로 위치 오프셋 파라미터의 캘리브레이션된 값들을 기록 및 관리할 수 있다.
일 실시예에 따른 전자 장치는 룩 다운 앵글 모델(910)이 생성된 후, 룩 다운 앵글이 변화할 시 룩 다운 앵글 모델(910)을 이용하여 변화된 룩 다운 앵글에 대한 위치 오프셋 파라미터의 값을 결정할 수 있다. 예를 들어, 전자 장치의 프로세서는, 룩 다운 앵글 및 위치 오프셋 파라미터 간의 선형 관계(linear relationship)을 나타내는 룩 다운 앵글 모델(910)(look down angle model, LDA model)에 접근가능(accessible)한 경우에 응답하여, 캘리브레이션 패턴의 제공을 스킵(skip)할 수 있다. 룩 다운 앵글 모델(910)은 전자 장치의 메모리 및/또는 외부 서버에 저장될 수 있다. 전자 장치는 룩 다운 앵글 모델(910)에 억세스하는 경우에 응답하여, 룩 다운 앵글 모델(910)에 기초하여 변환된 룩 다운 앵글에 대한 위치 오프셋 파라미터를 결정할 수 있다. 전자 장치는 결정된 위치 오프셋 파라미터의 값을 이용하여 컨텐츠 영상을 렌더링하여 아이박스로 제공할 수 있다.
참고로, 전자 장치는 사용자에 의해 직접 지정된 서로 다른 룩 다운 앵글에서 캘리브레이션을 수행하고, 그 결과에 기초하여 새로운 룩 다운 앵글 모델(910)을 구축할 수 있다. 전자 장치는 기존 룩 다운 앵글 모델(910)을 새로운 룩 다운 앵글 모델(910)로 교체할 수도 있다.
도 10은 일 실시예에 따른 위치 오프셋 파라미터의 조정에 따라 아이박스에서 관측되는 캘리브레이션 패턴의 변화를 설명한다.
위치 오프셋 파라미터의 캘리브레이션이 완료되지 않았다면 관측된 영상들(1021a, 1022a, 1021b, 1022b)에서 위치가 비정렬된 캘리브레이션 패턴이 사용자에게 관측될 수 있다. 예를 들어, 아이박스를 위해 조합된 캘리브레이션 패턴은 선형 패턴(예: 두께를 가지는 단일 수평선 패턴 또는 단일 수직선 패턴)일 수 있다. 두께를 가지는 선형 패턴에서 기준선이 중심으로부터 벗어난 위치에서 관측될 수 있다. 다시 말해, 위치 오프셋 파라미터의 캘리브레이션을 위한 패턴 영상은 하나 이상의 제1 소스 영상을 이용하여 렌더링되거나, 하나 이상의 제2 소스 영상을 이용하여 렌더링될 수 있다. 수직 패턴 및 수평 패턴 중 하나가 중심에 정렬되면, 나머지 하나도 중심에 정렬되므로, 위치 오프셋 파라미터는 수직 패턴 및 수평 패턴 중 하나를 이용하여 조정될 수 있다. 참고로, 위치 오프셋 파라미터는 선형 패턴의 기울기에는 영향을 주지 않을 수 있다. 위치 오프셋 파라미터는 피치 파라미터 및 기운 각도 파라미터와는 독립적으로 조정될 수 있다.
일 실시예에 따르면 위치 오프셋 파라미터가 변경되는 경우, 관측된 영상에서 기준선의 위치가 고정된 채 패턴(예: 선형 패턴)이 이동될 수 있다. 예를 들어, 전자 장치는 사용자의 입력에 응답하여 시차 광학 소자의 위치 오프셋 파라미터를 변경하고, 변경된 위치 오프셋 파라미터를 이용하여 제1 소스 영상 또는 제2 소스 영상을 포함하는 하나 이상의 소스 영상을 다시 렌더링함으로써 생성된 새로운 패턴 영상을 출력할 수 있다. 도 10에 도시된 바와 같이, 위치 오프셋 파라미터의 설정 값이 변경되는 경우, 새로운 패턴 영상에 대응하는 캘리브레이션된 영상(1029a, 1029b)에서는 이전 패턴 영상에 대응하는 제1 관측된 영상(1021a, 1022a, 1021b, 1022b)의 선형 패턴으로부터 일방향으로 이동된 패턴이 관측될 수 있다. 캘리브레이션 패턴이 이동되더라도, 기준선(1091, 1092)은 이동 없이 고정되며, 기준선을 기준으로 기준선 및 패턴 간의 상대적인 위치가 달라질 수 있다.
참고로, 예시적으로 n개(예: 17개)의 시점들에 대응하는 뷰 영상들(view images)(예: 소스 영상)을 렌더링할 시, 전자 장치는 기준 시점인 제i 시점에 대응하는 뷰 영상(예: 8번째 뷰 영상)의 선형 패턴을 기준 색상(예: 녹색)으로 시각화할 수 있다. 기준 색상은 다른 소스 영상의 선형 패턴의 색상과 구별되는 다른 색상일 수 있다. 캘리브레이션 패턴은, 전체 n개의 시점들에 대응하는 뷰 영상들을 렌더링함으로써 생성 및 출력된, 패널 영상(예: 패턴 영상)을 n등분한 부분 영상들 중 한 시점(예: 아이박스 내 기준 시점)에서 관측되는 패턴을 나타낼 수 있다. 캘리브레이션 패턴에서 기준선(1091, 1092)은 기준 시점에 위치된 사람의 눈에 도달하는 뷰 영상들 중 가운데 뷰 영상(예: 17개 시점들 중 가운데인 8번째 시점에 대응하는 뷰 영상)의 선형 패턴을 나타낼 수 있다.
일 실시예에 따르면, 프로세서는, 입력에 따라 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 증가시키는 경우에 응답하여, 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 일방향으로 이동시킬 수 있다. 예를 들어, 패턴 영상에 대응하는 패턴이 수평 패턴일 때 위치 오프셋 파라미터를 증가시킨 경우, 전자 장치는 관측된 영상(1021a)의 패턴을 제1 방향(예: 하향)으로 이동시킨 캘리브레이션된 영상(1029a)을 제공할 수 있다. 패턴 영상에 대응하는 패턴이 수직 패턴일 때 위치 오프셋 파라미터를 증가시킨 경우, 전자 장치는 다른 제3 관측된 영상(1021b)의 패턴을 제3 방향(예: 우측으로부터 좌측으로 향하는 방향)으로 이동시킨 캘리브레이션된 영상(1029b)을 제공할 수 있다.
또한, 프로세서는 입력에 따라 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 감소시키는 경우에 응답하여, 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 일방향에 반대되는 다른 방향으로 이동시킬 수 있다. 예를 들어, 패턴 영상에 대응하는 패턴이 수평 패턴일 때 위치 오프셋 파라미터를 감소시킨 경우, 전자 장치는 제2 관측된 영상(1022a)의 패턴을 제1 방향에 반대되는 제2 방향(예: 상향)으로 이동시킨 캘리브레이션된 영상(1029a)을 제공할 수 있다. 패턴 영상에 대응하는 패턴이 수평 패턴일 때 위치 오프셋 파라미터를 감소시킨 경우, 전자 장치는 다른 제2 관측된 영상(1022b)의 패턴을 제4 방향(예: 좌측으로부터 우측으로 향하는 방향)으로 이동시킨 캘리브레이션된 영상(1029b)을 제공할 수 있다.
전자 장치의 프로세서는, 입력에 응답하여 시차 광학 소자의 위치 오프셋 파라미터를 조정하고, 조정된 파라미터에 따라 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 디스플레이 모듈을 통해 출력할 수 있다. 전자 장치는 전술한 위치 오프셋 파라미터의 조정을 통해 기준선(1091, 1092)이 캘리브레이션 패턴의 중심에 위치되도록 캘리브레이션 패턴의 위치를 이동시킬 수 있다. 프로세서는 사용자로부터 캘리브레이션 종료 입력을 수신하는 경우, 위치 오프셋 파라미터의 캘리브레이션이 완료된 것으로 결정할 수 있다. 다시 말해, 캘리브레이션 패턴 및 기준선(1091, 1092) 간의 정렬 여부는 사용자에 의해 결정될 수 있다. 다만, 기준선(1091, 1092)이 반드시 제시되어야 하는 것은 아니며, 설계에 따라 전자 장치는 사용자로부터 위치 오프셋 파라미터의 캘리브레이션 동안 사용자에 의해 관측되는 캘리브레이션 패턴의 선형 패턴의 중심에 기준선이 배치되도록 위치 오프셋 파라미터의 조정 입력을 수신할 수 있다. 다시 말해, 사용자가 눈대중으로 패턴 영상에 대응하는 캘리브레이션 패턴이 관측되는 범위(예: 시야)의 중심(예: 기준선에 대응하는 위치)에 정렬되도록 조정할 수 있다.
일 실시예에 따르면 전자 장치는 터치스크린을 통해 슬라이더 바 인터페이스를 출력할 수 있다. 전자 장치는 터치스크린에서 슬라이더 바 객체를 이동시키는 터치 조작을 사용자로부터 수신할 수 있다. 예를 들어, 전자 장치는, 사용자 입력에 의해 슬라이더 바 객체가 일방향(예: 좌측으로부터 우측 방향)으로 이동하는 경우에 응답하여, 파라미터를 증가시킬 수 있다. 다른 예를 들어, 전자 장치는 사용자 입력에 의해 슬라이더 바 객체가 다른 방향(예: 우측으로부터 좌측 방향)으로 이동하는 경우에 응답하여, 파라미터를 감소시킬 수 있다.
프로세서는 입력 수신부에서 직선 조작을 검출 가능한 입력 모듈에 위치 오프셋 파라미터의 조정을 매핑할 수 있다. 입력 수신부가 복수의 입력 모듈들을 포함할 수 있고, 전자 장치는 복수의 입력 모듈들 중 직선 조작(예: 선형 조작)을 검출 가능한 입력 모듈을 선택할 수 있다. 예를 들어, 프로세서는 위치 오프셋 파라미터에 대한 캘리브레이션 동안 직선 조작을 안내하는 그래픽 표현을 터치 스크린에 출력할 수 있다. 프로세서는 위치 오프셋 파라미터의 캘리브레이션 동안 전술한 슬라이더 바 인터페이스를 그래픽 표현으로서 터치 스크린을 통해 출력할 수 있다. 프로세서는 그래픽 표현에 대응하여 터치 스크린 상의 한 지점으로부터 다른 지점까지 터치 지점의 선형 이동을 검출하는 경우에 응답하여, 위치 오프셋 파라미터를 조정할 수 있다. 예시적으로 프로세서는 그래픽 표현을 일방향으로 이동시키는 경우 위치 오프셋 파라미터를 증가시키고, 타방향으로 이동시키는 경우 위치 오프셋 파라미터를 감소시킬 수 있다. 전자 장치는 그래픽 표현의 일방향으로의 이동이 감지되는 경우 캘리브레이션 패턴도 일방향으로 선형 이동시킬 수 있다. 유사하게, 전자 장치는 그래픽 표현의 타방향으로의 이동이 감지되는 경우 캘리브레이션 패턴을 타방향으로 선형 이동시킬 수 있다.
터치 인터페이스에서의 직선 조작을 설명하였으나, 이로 한정하는 것은 아니며, 전자 장치는 물리적인 조작 인터페이스(예: 다이얼 인터페이스) 및 파라미터 조정 간의 매핑을 수행할 수도 있다. 일 실시예에 따르면 전자 장치의 입력 수신부는 다이얼 인터페이스를 포함할 수 있다. 다이얼 인터페이스에서 다이얼 노브는 시계 방향 또는 반시계 방향으로 회전 가능하게 전자 장치와 결합될 수 있다. 또한, 다이얼 노브는 일축을 따라 이동 가능하게 전자 장치와 결합될 수 있다. 다시 말해, 다이얼 인터페이스는 회전 조작 및 직선 조작을 모두 검출할 수 있다. 전자 장치는 다이얼 인터페이스에서 검출되는 직선 조작에 응답하여 위치 오프셋 파라미터를 조정할 수 있다. 예시적으로 전자 장치는 위치 오프셋 파라미터에 대응하는 패턴 영상을 제공하는 동안 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 위치 오프셋 파라미터를 증가시킴으로써 패턴 영상에 대응하는 캘리브레이션 패턴을 일방향에 대응하는 방향으로 이동시킬 수 있다. 또한, 전자 장치는 위치 오프셋 파라미터에 대응하는 패턴 영상을 제공하는 동안 입력 수신부에서 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 위치 오프셋 파라미터를 감소시킴으로써 패턴 영상에 대응하는 캘리브레이션 패턴을 다른 방향에 대응하는 방향으로 이동시킬 수 있다.
사용자 입력을 전술한 바로 한정하는 것은 아니며, 전자 장치는 차량의 핸들에 부착된 버튼, 센터페시아 상에 배치되는 다양한 레버 및/또는 버튼을 통해 캘리브레이션을 위한 입력을 수신할 수도 있다. 또한, 위치 오프셋 파라미터의 조정에 주로 직선 조작을 매핑하는 예시를 설명하였으나, 이로 한정하는 것은 아니며, 회전 조작이 매핑될 수도 있다.
또한, 앞서 사용자의 수동 입력에 응답한 파라미터 캘리브레이션을 주로 설명하였으나, 위치 오프셋 파라미터의 캘리브레이션을 사용자 입력에 의한 동작으로 한정하는 것은 아니다. 다른 예를 들어, 전자 장치는 아이박스에서 사용자와 같은 방향을 향하게 배치된 별도의 카메라 모듈을 통해 캘리브레이션 패턴을 관측할 수 있다. 전자 장치는 관측된 결과에 기초하여 전술한 시차 광학 소자의 파라미터를 조정할 수도 있다. 예를 들어, 전자 장치는 관측된 영상에 기초하여 위치 오프셋 파라미터의 증가 및 감소 중 하나를 수행하고, 변경된 위치 오프셋 파라미터를 이용하여 다시 렌더링된 결과를 전술한 별도의 카메라 모듈을 통해 관측할 수 있다. 전자 장치는 전술한 자동 캘리브레이션 동작을 반복함으로써 사용자의 개입 없이 각 룩 다운 앵글에서의 위치 오프셋 파라미터의 캘리브레이션된 값을 획득할 수도 있다.
도 11은 일 실시예에 따른 기 구축된 룩 다운 앵글 모델의 보상(compensation)을 설명한다.
일 실시예에 따른 전자 장치의 프로세서는, 개별 사용자의 룩 다운 앵글에 대해 캘리브레이션 패턴을 통한 위치 오프셋 파라미터의 캘리브레이션 결과 및 이전에 구축된 룩 다운 앵글 모델(1110) 간의 차이(Diff)에 기초하여, 이전에 구축된 룩 다운 앵글 모델을 보상(compensate)할 수 있다. 예를 들어, 전자 장치는 한 룩 다운 앵글에 대해 캘리브레이션된 값(1180)을 전술한 위치 오프셋 파라미터의 캘리브레이션을 통해 획득할 수 있다. 전자 장치는 해당 룩 다운 앵글에서 위치 오프셋 파라미터에 대해 캘리브레이션된 값 및 이전에 구축된 룩 다운 앵글 모델(1110) 간의 차이(Diff)(1190)를 산출할 수 있다. 전자 장치는 산출된 차이(Diff)(1190)를 이용하여 이전에 구축된 룩 다운 앵글 모델(1110)의 선형 모델을 시프트(shift)시킴으로써 수정된 룩 다운 앵글 모델(1120)을 획득할 수 있다. 전자 장치는 선형 모델을 수직으로 평행이동시킬 수 있다. 이전에 구축된 룩 다운 앵글 모델(1110)은 전자 장치 및/또는 전자 장치가 탑재된 기기(예: 차량)의 제조시 캘리브레이션을 통해 구축될 수 있다.
따라서 전자 장치는 개별 사용자에게 한 룩 다운 앵글에서의 1회 캘리브레이션만으로 해당 사용자에게 개인화된 룩 다운 앵글 모델(1120)을 제공할 수 있다. 사용자에게 요구되는 캘리브레이션 횟수가 감소하므로 사용자 편의성이 증대될 수 있다.
도 12는 일 실시예에 따른 룩 다운 앵글의 변화에 응답하여 위치 오프셋 파라미터를 조정하는 예시에서 양안 분리 경계선 및 사용자의 눈 간의 거리 변화를 설명한다.
일 실시예에 따른 전자 장치는 전술한 위치 오프셋 파라미터의 조정을 통해 룩 다운 앵글 별로 일관된 양안 분리 간격을 제공할 수 있다. 도 7에서 세로 축은 크로스토크의 비율, 가로 축은 확대 거울을 구동하는 모터의 구동 스텝을 나타낼 수 있다. 전술한 바와 같이 모터의 구동 스텝은 룩 다운 앵글에 대응할 수 있다. 양안 분리 간격은 양안 분리 경계선(1251)으로부터 사용자의 개별 눈 까지의 간격을 나타낼 수 있다. 도 12에서 도시된 바와 같이 제1 룩 다운 앵글(1210a), 제2 룩 다운 앵글(1210b), 및 제3 룩 다운 앵글(1210c)에서 양안 분리 경계선(1251)으로부터 좌안(1280)까지의 거리가 일정하게(예: 32mm의 간격으로) 유지될 수 있다. 참고로, 경계선(1252)은 도 7에서 우안 영상(711)의 좌측에 위치되는 다른 좌안 영상 및 우안 영상(711) 간의 경계를 나타낼 수 있고, 양안 분리 경계선(1251)은 도 7의 양안 분리 경계선(750)을 나타낼 수 있다.
도 13은 일 실시예에 따른 파라미터 조정 결과를 도시한다.
시차 광학 소자의 캘리브레이션이 완료되기 전 좌안 영상 및 우안 영상(1310)에서 각각 서로의 컨텐츠 일부가 포함될 수 있다. 일 실시예에 따르면 시차 광학 소자의 캘리브레이션이 완료되는 경우, 좌안 영상 및 우안 영상(1320)에서 서로의 컨텐츠가 분리되어 나타날 수 있다. 다시 말해, 크로스토크가 제거될 수 있다.
일 실시예에 따르면, 프로세서는, 사용자로부터 캘리브레이션 완료 입력을 수신하는 경우에 응답하여, 시차 광학 소자의 사용자에게 개인화된 파라미터들을 저장할 수 있다. 전자 장치는 개인화된 파라미터들을 이용하여 컨텐츠 영상을 렌더링하여 디스플레이 모듈에 출력할 수 있다. 도 4 내지 도 12에서 전술한 바와 같은 인터페이스 및 캘리브레이션 패턴의 피드백을 통해 사용자는 직관적으로 시차 광학 소자의 파라미터들을 수동으로 편리하게 조정할 수 있다.
도 14는 일 실시예에 따른 파라미터 조정 방법을 도시하는 흐름도이다.
우선, 단계(1410)에서 전자 장치는 시차 광학 소자에 의해 디스플레이 모듈로부터 출력되는 영상에 대응하는 광을 사용자의 아이박스로 제공할 수 있다.
그리고 단계(1420)에서 전자 장치는 디스플레이 모듈 및 시차 광학 소자에 의해 형성되는 가상 이미지 평면 및 아이박스 간의 룩 다운 앵글(look down angle; LDA)의 변화에 응답하여 시차 광학 소자의 파라미터를 조정할 수 있다. 예를 들어, 전자 장치의 프로세서는, 룩 다운 앵글의 변화에 응답하여 피치 파라미터 및 기운 각도 파라미터의 값들을 유지할 수 있다. 도 8에서 전술한 바와 같이 룩 다운 앵글이 변화해도, 크로스토크 최소화에 요구되는 피치 파라미터 및 기운 각도 파라미터의 값들은 일정하므로, 조정될 필요가 없다.
또한, 전자 장치의 프로세서는, 단계(1410) 이전에 시차 광학 소자의 파라미터들 중 피치 파라미터 및 기운 각도 파라미터의 캘리브레이션을 선행(precede)하여 완료할 수 있다. 전자 장치는 룩 다운 앵글의 변화에 응답하여 피치 파라미터 및 기운 각도 파라미터를 고정한 채로 위치 오프셋 파라미터의 캘리브레이션을 개시할 수 있다. 도 8에서 전술한 바와 같이 룩 다운 앵글이 변화해도, 크로스토크 최소화에 요구되는 피치 파라미터 및 기운 각도 파라미터의 값들은 일정하므로, 추가로 캘리브레이션될 필요도 없다. 따라서 전자 장치는 룩 다운 앵글 변화시 반복적인 캘리브레이션 수행을 최소화할 수 있다.
다만, 전자 장치의 동작이 도 14에서 설명한 바로 한정하는 것은 아니고, 도 1 내지 도 13에서 전술한 동작들 중 적어도 하나와 시계열적으로 및/또는 병렬적으로 수행될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이 모듈;
    상기 디스플레이 모듈로부터 출력되는 영상에 대응하는 광을 사용자의 아이박스로 제공하는 시차 광학 소자; 및
    상기 디스플레이 모듈 및 상기 시차 광학 소자에 의해 형성되는 가상 이미지 평면 및 상기 아이박스 간의 룩 다운 앵글(look down angle; LDA)의 변화에 응답하여 상기 시차 광학 소자의 파라미터를 조정하는 프로세서
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 상기 룩 다운 앵글의 변화에 응답하여 조정하는,
    전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 룩 다운 앵글이 변화하는 경우에 응답하여, 상기 변화된 룩 다운 앵글을 기준으로 캘리브레이션 패턴을 통한 위치 오프셋 파라미터의 캘리브레이션을 수행함으로써 상기 변화된 룩 다운 앵글에서 상기 캘리브레이션 패턴이 정렬되는 위치 오프셋 파라미터의 값을 결정하는,
    전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 변화된 룩 다운 앵글에서 이전에 수행된 캘리브레이션에 따라 위치 오프셋 파라미터 값이 기록된 경우에 응답하여, 이전에 기록된 상기 위치 오프셋 파라미터의 값을 상기 변화된 룩 다운 앵글에 대해 로드(load)하는,
    전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    룩 다운 앵글 및 위치 오프셋 파라미터 간의 선형 관계(linear relationship)을 나타내는 룩 다운 앵글 모델(look down angle model, LDA model)에 접근가능(accessible)한 경우에 응답하여, 캘리브레이션 패턴의 제공을 스킵(skip)하고,
    상기 룩 다운 앵글 모델에 기초하여 변환된 룩 다운 앵글에 대한 위치 오프셋 파라미터를 결정하는,
    전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    서로 다른 룩 다운 앵글에서 개별적으로 위치 오프셋 파라미터의 캘리브레이션을 수행함으로써, 상기 룩 다운 앵글 모델을 구축(build)하는,
    전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    개별 사용자의 룩 다운 앵글에 대해 캘리브레이션 패턴을 통한 위치 오프셋 파라미터의 캘리브레이션 결과 및 이전에 구축된 룩 다운 앵글 모델 간의 차이에 기초하여, 상기 이전에 구축된 룩 다운 앵글 모델을 보상(compensate)하는,
    전자 장치.
  8. 제1항에 있어서,
    상기 아이박스에서 패턴 영상을 관측한 사용자로부터 상기 시차 광학 소자에 대한 캘리브레이션을 위한 입력을 수신하는 입력 수신부
    를 더 포함하고,
    상기 프로세서는,
    상기 입력에 응답하여 상기 시차 광학 소자의 위치 오프셋 파라미터를 조정하고, 조정된 파라미터에 따라 상기 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 상기 디스플레이 모듈을 통해 출력하는,
    전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 입력 수신부에 의해 수신되는 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 증가시키는 경우에 응답하여, 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 일방향으로 이동시키고,
    상기 입력 수신부에 의해 수신되는 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 감소시키는 경우에 응답하여, 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 상기 일방향에 반대되는 다른 방향으로 이동시키는,
    전자 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    위치 오프셋 파라미터에 대응하는 패턴 영상을 제공하는 동안 상기 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 증가시킴으로써 상기 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 일방향에 대응하는 방향으로 이동시키고,
    위치 오프셋 파라미터에 대응하는 패턴 영상을 제공하는 동안 상기 입력 수신부에서 상기 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 감소시킴으로써 상기 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 다른 방향에 대응하는 방향으로 이동시키는,
    전자 장치.
  11. 제8항에 있어서,
    상기 입력 수신부는,
    터치 스크린을 포함하고,
    상기 프로세서는,
    상기 위치 오프셋 파라미터에 대한 캘리브레이션 동안 직선 조작을 안내하는 그래픽 표현을 상기 터치 스크린에 출력하고,
    상기 그래픽 표현에 대응하여 상기 터치 스크린 상의 한 지점으로부터 다른 지점까지 터치 지점의 선형 이동을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 조정하는,
    전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 아이박스에 설치된 카메라 모듈에 의해 촬영되는 영상에 포함되는 캘리브레이션 패턴의 기준선이 정렬될 때까지 상기 시차 광학 소자의 위치 오프셋 파라미터의 조정을 자동으로 반복함으로써, 상기 위치 오프셋 파라미터의 캘리브레이션을 수행하는,
    전자 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 눈 높이에 기초하여 상기 룩 다운 앵글의 변화를 추적하는,
    전자 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이 모듈에서 디스플레이 패널로부터 출력된 영상 광(image ray)을 확대시키는 확대 거울(magnifying mirror)을 회전시키는 모터의 구동에 기초하여 상기 룩 다운 앵글의 변화를 추적하는,
    전자 장치.
  15. 제1항에 있어서,
    상기 프로세서는,
    상기 룩 다운 앵글의 변화에 응답하여 피치 파라미터 및 기운 각도 파라미터의 값들을 유지하는,
    전자 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 시차 광학 소자의 파라미터들 중 피치 파라미터 및 기운 각도 파라미터의 캘리브레이션을 선행(precede)하여 완료하고,
    상기 룩 다운 앵글의 변화에 응답하여 상기 피치 파라미터 및 상기 기운 각도 파라미터를 고정한 채로 위치 오프셋 파라미터의 캘리브레이션을 개시하는,
    전자 장치.
  17. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자에 대해서 상기 시차 광학 소자의 파라미터의 캘리브레이션이 완료되는 경우에 응답하여, 상기 시차 광학 소자의 상기 사용자에게 개인화된 파라미터들을 저장하고,
    상기 개인화된 파라미터들을 이용하여 컨텐츠 영상을 렌더링하여 상기 디스플레이 모듈에 출력하는,
    전자 장치.
  18. 제1항에 있어서,
    상기 디스플레이 모듈은,
    모터사이클, 자동차, 기차, 배(watercraft), 항공기(aircraft), 및 우주선(spacecraft)를 포함하는 탈것(vehicle)에 탑재되는 헤드업 디스플레이(HUD, head-up display)의 적어도 일부로서 구현되는,
    전자 장치.
  19. 프로세서로 구현되는 방법에 있어서,
    시차 광학 소자에 의해 디스플레이 모듈로부터 출력되는 영상에 대응하는 광을 사용자의 아이박스로 제공하는 단계; 및
    상기 디스플레이 모듈 및 상기 시차 광학 소자에 의해 형성되는 가상 이미지 평면 및 상기 아이박스 간의 룩 다운 앵글(look down angle; LDA)의 변화에 응답하여 상기 시차 광학 소자의 파라미터를 조정하는 단계
    를 포함하는 방법.
  20. 제19항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체.
KR1020210129683A 2021-09-30 2021-09-30 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법 KR20230046566A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210129683A KR20230046566A (ko) 2021-09-30 2021-09-30 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법
US17/699,966 US11882266B2 (en) 2021-09-30 2022-03-21 Method and device to calibrate parallax optical element to change of look down angle
CN202210416711.1A CN115877569A (zh) 2021-09-30 2022-04-20 用于校准视差光学元件的方法和电子装置
EP22172050.1A EP4161071A1 (en) 2021-09-30 2022-05-06 Method and device to calibrate parallax optical element to change of look down angle
JP2022134256A JP2023051762A (ja) 2021-09-30 2022-08-25 ルックダウンアングルの変化に対する視差光学素子のキャリブレーション装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210129683A KR20230046566A (ko) 2021-09-30 2021-09-30 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230046566A true KR20230046566A (ko) 2023-04-06

Family

ID=81585438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210129683A KR20230046566A (ko) 2021-09-30 2021-09-30 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법

Country Status (5)

Country Link
US (1) US11882266B2 (ko)
EP (1) EP4161071A1 (ko)
JP (1) JP2023051762A (ko)
KR (1) KR20230046566A (ko)
CN (1) CN115877569A (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
JP5579780B2 (ja) * 2012-06-06 2014-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 入力装置、入力支援方法及びプログラム
DE102013208971A1 (de) 2013-05-15 2014-11-20 Robert Bosch Gmbh Vorrichtung und Verfahren zum Projizieren einer Bildinformation in ein Blickfeld eines Fahrzeuginsassen eines Fahrzeugs
US10365484B2 (en) 2015-06-26 2019-07-30 Konica Minolta, Inc. Head-up display device
WO2017138242A1 (ja) 2016-02-12 2017-08-17 日立マクセル株式会社 車両用映像表示装置
KR20170115350A (ko) * 2016-04-07 2017-10-17 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102463688B1 (ko) 2016-05-26 2022-11-07 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
KR101880751B1 (ko) 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
JP7026325B2 (ja) * 2018-06-21 2022-02-28 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
KR20200071813A (ko) * 2018-11-30 2020-06-22 현대자동차주식회사 3d 클러스터 및 그 보정 방법
JP7325521B2 (ja) 2019-09-30 2023-08-14 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
CN114868070A (zh) * 2019-11-15 2022-08-05 赛伊视觉公司 具有能转向眼动范围的增强现实平视显示器

Also Published As

Publication number Publication date
US11882266B2 (en) 2024-01-23
CN115877569A (zh) 2023-03-31
US20230104842A1 (en) 2023-04-06
EP4161071A1 (en) 2023-04-05
JP2023051762A (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
US10162175B2 (en) Dual head-up display apparatus
US10223835B2 (en) Augmented reality alignment system and method
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US20210070176A1 (en) Enhanced augmented reality experience on heads up display
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
US10466485B2 (en) Head-mounted apparatus, and method thereof for generating 3D image information
JP2014225017A (ja) 車両の乗員の視野に画像情報を投影するための装置及び方法
CN112789545A (zh) 一种hud系统、车辆及虚像的位置调节方法
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
KR102570277B1 (ko) 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치
WO2019004238A1 (ja) ヘッドアップディスプレイ装置
JP7438737B2 (ja) ３次元映像を表示する装置及び方法
JP7358909B2 (ja) 立体表示装置及びヘッドアップディスプレイ装置
KR20230046566A (ko) 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법
US11778163B2 (en) Device and method to calibrate parallax optical element
EP4212946A1 (en) Device and method to calibrate parallax optical element for temperature change
KR20230109051A (ko) 온도 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법
JP2021103276A (ja) 画像表示装置
KR20180025430A (ko) 개인 몰입형 장치와 그 표시장치
de la Barré et al. A new design and algorithm for lenticular lenses display
KR20240055925A (ko) 3차원 증강현실 헤드업 디스플레이 장치
JP2007127819A (ja) ディスプレイ装置
JP2007129493A (ja) ディスプレイ装置