KR20230018075A - 시차 광학 소자의 캘리브레이션 장치 및 방법 - Google Patents

시차 광학 소자의 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR20230018075A
KR20230018075A KR1020210099801A KR20210099801A KR20230018075A KR 20230018075 A KR20230018075 A KR 20230018075A KR 1020210099801 A KR1020210099801 A KR 1020210099801A KR 20210099801 A KR20210099801 A KR 20210099801A KR 20230018075 A KR20230018075 A KR 20230018075A
Authority
KR
South Korea
Prior art keywords
parameter
pattern
pattern image
response
electronic device
Prior art date
Application number
KR1020210099801A
Other languages
English (en)
Inventor
황찬솔
강병민
이진호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210099801A priority Critical patent/KR20230018075A/ko
Priority to US17/672,935 priority patent/US11778163B2/en
Priority to CN202210199619.4A priority patent/CN115695767A/zh
Priority to EP22163843.0A priority patent/EP4125270A1/en
Priority to JP2022087417A priority patent/JP2023020891A/ja
Publication of KR20230018075A publication Critical patent/KR20230018075A/ko
Priority to US18/239,611 priority patent/US20230403388A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction

Abstract

일 실시예에 따른 전자 장치는 복수의 시점들 중 기준 시점에서 패턴 영상을 관측한 사용자로부터 시차 광학 소자에 대한 캘리브레이션을 위한 입력을 수신하고, 수신된 입력에 기초하여 시차 광학 소자의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정하며, 조정된 파라미터에 따라 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 디스플레이를 통해 피드백할 수 있다.

Description

시차 광학 소자의 캘리브레이션 장치 및 방법{METHOD AND DEVICE TO CALIBRATE PARALLAX OPTICAL ELEMENT}
아래의 개시는 시차 광학 소자의 캘리브레이션에 관한 것이다.
입체 영상을 인지하기 위한 요인 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 영상을 필터링(filtering)하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등 3D 변환 장치를 이용하여 각 영상을 특정 시점에서만 볼 수 있도록 하는 무안경 방식이 있다.
무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있다. 무안경 방식에서 3D 영상의 크로스톡(crosstalk)을 억제하기 위해서는 사용자의 양 눈에 3D 영상을 정확히 조사할 필요가 있다. 3D 디스플레이 장치 및 3D 변환 장치의 생산 과정 또는 설치 과정 등에서 설계 값과 상이한 오차가 발생하는 경우, 영상 품질이 저하될 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이; 상기 디스플레이로부터 출력되는 영상에 대응하는 광을 복수의 시점들로 제공하는 시차 광학 소자; 상기 복수의 시점들 중 기준 시점에서 패턴 영상을 관측한 사용자로부터 상기 시차 광학 소자에 대한 캘리브레이션을 위한 입력을 수신하는 입력 수신부; 및 캘리브레이션 패턴을 렌더링함으로써 생성된 상기 패턴 영상을 상기 기준 시점을 향해 출력하고, 상기 입력에 응답하여 상기 시차 광학 소자의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정하고, 조정된 파라미터에 따라 상기 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 상기 디스플레이를 통해 출력하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 피치 파라미터를 증가시키는 경우에 응답하여, 제1 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 반시계 방향으로 회전시키고, 상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 피치 파라미터를 감소시키는 경우에 응답하여, 제1 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 시계 방향으로 회전시킬 수 있다.
상기 프로세서는, 상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 기운 각도 파라미터를 증가시키는 경우에 응답하여, 제2 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 시계 방향으로 회전시키고, 상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 기운 각도 파라미터를 감소시키는 경우에 응답하여, 제2 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 반시계 방향으로 회전시킬 수 있다.
상기 프로세서는, 상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 증가시키는 경우에 응답하여, 제3 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 일방향으로 이동시키고, 상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 감소시키는 경우에 응답하여, 제3 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 상기 일방향에 반대되는 다른 방향으로 이동시킬 수 있다.
상기 입력 수신부는, 터치 패널, 터치 스크린, 다이얼, 조그 다이얼, 셔틀 다이얼, 클릭 휠, 버튼, 슬라이더 바, 조작 레버 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.
상기 프로세서는, 상기 입력 수신부에서 회전 조작을 검출 가능한 입력 모듈에 피치 파라미터 및 기운 각도 파라미터 중 적어도 한 파라미터의 조정을 매핑하고, 상기 입력 수신부에서 직선 조작을 검출 가능한 입력 모듈에 위치 오프셋 파라미터의 조정을 매핑할 수 있다.
상기 입력 수신부는, 상기 사용자로부터 회전 조작을 검출 가능하고, 상기 프로세서는, 상기 시차 광학 소자의 캘리브레이션 동안 상기 입력 수신부에서 상기 사용자에 의한 상기 회전 조작을 검출하는 경우에 응답하여 상기 시차 광학 소자의 파라미터들 중 피치 파라미터 및 기운 각도 파라미터 중 적어도 하나를 조정할 수 있다.
상기 프로세서는, 상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제1 패턴 영상에 대응하는 캘리브레이션 패턴을 반시계 방향으로 회전시키고, 상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제1 패턴 영상에 대응하는 캘리브레이션 패턴을 시계 방향으로 회전시킬 수 있다.
상기 프로세서는, 상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 피치 파라미터를 증가시키고, 상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 피치 파라미터를 감소시킬 수 있다.
상기 프로세서는, 상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제2 패턴 영상에 대응하는 캘리브레이션 패턴을 시계 방향으로 회전시키고, 상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제2 패턴 영상에 대응하는 캘리브레이션 패턴을 반시계 방향으로 회전시킬 수 있다.
상기 프로세서는, 상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 기운 각도 파라미터를 증가시키고, 상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 기운 각도 파라미터를 감소시킬 수 있다.
상기 프로세서는, 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 상기 제3 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 일방향에 대응하는 방향으로 이동시키고, 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 상기 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 상기 제3 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 다른 방향에 대응하는 방향으로 이동시킬 수 있다.
상기 프로세서는, 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 증가시키고, 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 상기 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 감소시킬 수 있다.
상기 입력 수신부는, 터치 스크린을 포함하고, 상기 프로세서는, 상기 피치 파라미터 및 상기 기운 각도 파라미터 중 적어도 하나의 파라미터에 대한 캘리브레이션 동안 회전 조작을 안내하는 제1 그래픽 표현을 상기 터치 스크린에 출력하고, 상기 제1 그래픽 표현에 대응하여 상기 터치 스크린 상의 한 지점을 기준으로 적어도 부분적으로 원형 궤적을 따른 터치 지점의 이동을 검출하는 경우에 응답하여, 상기 피치 파라미터 및 상기 기운 각도 파라미터 중 적어도 하나의 파라미터를 조정하며, 상기 위치 오프셋 파라미터에 대한 캘리브레이션 동안 직선 조작을 안내하는 제2 그래픽 표현을 상기 터치 스크린에 출력하고, 상기 제2 그래픽 표현에 대응하여 상기 터치 스크린 상의 한 지점으로부터 다른 지점까지 터치 지점의 선형 이동을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 조정할 수 있다.
상기 프로세서는, 상기 사용자로부터 캘리브레이션 완료 입력을 수신하는 경우에 응답하여, 상기 시차 광학 소자의 상기 사용자에게 개인화된 파라미터들을 저장하고, 상기 개인화된 파라미터들을 이용하여 컨텐츠 영상을 렌더링하여 상기 디스플레이에 출력할 수 있다.
상기 프로세서는, 상기 피치 파라미터에 대응하는 제1 패턴 영상, 상기 기운 각도 파라미터에 대응하는 제2 패턴 영상, 및 상기 위치 오프셋 파라미터에 대응하는 제3 패턴 영상 중 적어도 하나 또는 둘 이상의 조합을 상기 사용자에게 제공할 수 있다.
상기 프로세서는, 상기 제1 패턴 영상의 제공을 통한 상기 피치 파라미터의 조정이 완료되는 경우에 응답하여 상기 제2 패턴 영상을 상기 사용자에게 제공하고, 상기 제2 패턴 영상의 제공을 통한 상기 기운 각도 파라미터의 조정이 완료되는 경우에 응답하여 상기 제3 패턴 영상을 상기 사용자에게 제공할 수 있다.
상기 디스플레이는, 모터사이클, 자동차, 기차, 배(watercraft), 항공기(aircraft), 및 우주선(spacecraft)를 포함하는 탈것(vehicle)에 탑재되는 헤드업 디스플레이(HUD, head-up display)의 적어도 일부로서 구현될 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법에 있어서, 디스플레이로부터 출력되는, 캘리브레이션 패턴을 렌더링함으로써 생성된, 패턴 영상에 대응하는 광을 시차 광학 소자를 통해 기준 시점으로 제공하는 단계; 상기 기준 시점에서 패턴 영상을 관측한 사용자로부터 상기 시차 광학 소자의 파라미터들에 대한 캘리브레이션을 위한 입력을 수신하는 단계; 상기 입력에 응답하여 상기 시차 광학 소자의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정하는 단계; 및 조정된 파라미터에 따라 상기 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 상기 디스플레이를 통해 출력하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 수행하는 전자 장치를 도시한다.
도 2는 일 실시예에 따른 전자 장치가 헤드업 디스플레이를 포함하는 예시를 도시한다.
도 3은 일 실시예에 따른 전자 장치의 블록도를 도시한다.
도 4는 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 위한 소스 영상, 패턴 영상, 및 관측된 영상을 도시한다.
도 5는 일 실시예에 따른 소스 영상 및 관측된 영상을 도시한다.
도 6은 일 실시예에 따른 시차 광학 소자의 파라미터들을 설명한다.
도 7 내지 도 9는 일 실시예에 따른 파라미터의 조정에 따른 패턴 영상의 변화를 설명한다.
도 10은 일 실시예에 따른 슬라이더 바를 통한 파라미터 조정을 도시한다.
도 11은 일 실시예에 따른 터치 인터페이스를 통한 파라미터 조정을 도시한다.
도 12는 일 실시예에 따른 다이얼 인터페이스를 통한 파라미터 조정을 도시한다.
도 13은 일 실시예에 따른 캘리브레이션 결과를 도시한다.
도 14는 일 실시예에 따른 캘리브레이션 방법을 도시하는 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 수행하는 전자 장치를 도시한다.
일 실시예에 따른 전자 장치(100)는 사용자에게 입체 영상을 제공할 수 있다. 예를 들어, 전자 장치(100)는 양안 디스패리티(binocular disparity)를 갖는 영상을 사용자의 양안에 제공할 수 있다. 양안 시차를 갖는 영상은 사용자의 좌안으로 제공되는 제1 영상 및 사용자의 우안으로 제공되는 제2 영상을 포함할 수 있다. 제1 영상 및 제2 영상에서 같은 객체 및/또는 같은 지점에 대응하는 픽셀들은 해당 객체 및/또는 해당 지점의 깊이(예: 사용자가 인식하도록 정의된 및/또는 설정된 해당 객체까지의 거리)에 따른 디스패리티만큼 이격될 수 있다. 다만, 설명의 편의를 위하여 한 사용자의 양안으로의 입체 영상의 제공으로서, 해당 사용자의 좌안에 대응하는 제1 시점(viewpoint) 및 우안에 대응하는 제2 시점으로 영상이 제공되는 예시를 설명하였으나, 이로 한정하는 것은 아니다. 설계에 따라 둘 이상의 시점들로 영상이 제공될 수 있고, 둘 이상의 사용자들에게 입체 영상이 제공될 수도 있다. 예를 들어, 전자 장치(100)는 제1 사용자의 좌안에 대응하는 제1 시점 및 제1 사용자의 우안에 대응하는 제2 시점으로 픽셀 별 양안 시차를 갖는 영상 페어(image pair)를 제공할 수 있다. 또한, 전자 장치(100)는 제2 사용자의 좌안에 대응하는 제3 시점 및 제2 사용자의 우안에 대응하는 제4 시점으로 픽셀 별 양안 시차를 갖는 영상 페어를 제공할 수도 있다.
전자 장치(100)는 디스플레이 패널을 통해 영상을 출력하고, 전자 장치(100)의 시차 광학 소자가 출력된 영상에 대응하는 광을 복수의 시점들로 지향시킬 수 있다. 제조 공정의 오차 및/또는 공차로 인해 캘리브레이션을 통한 미세 튜닝(fine tuning) 없이는 사용자의 좌안 및/또는 우안에서 반대편 눈으로 제공되어야 하는 영상의 일부가 관측될 수 있다. 전술한 바와 같이 다른 시점에서 관측되어야 하는 영상이 제공되는 것을 크로스토크(crosstalk)라고 나타낼 수 있다. 사용자의 좌안에 대응하는 시점에서 좌안 영상만 관측되고 우안에 대응하는 시점에서 우안 영상만 관측되어야 사용자가 정확한 깊이감을 인식하고 선명한 영상을 시청할 수 있다.
일 실시예에 따른 전자 장치(100)는 전술한 크로스토크의 감소 및/또는 제거를 위해, 캘리브레이션을 수행할 수 있다. 전자 장치(100)는 사용자에게 캘리브레이션을 위한 패턴 영상에 대응하는 캘리브레이션 패턴(110)을 제공할 수 있다. 전자 장치(100)는 패턴 영상에 대응하는 캘리브레이션 패턴(110)을 관측한 사용자로부터 캘리브레이션을 위한 입력(129)을 수신할 수 있다. 전자 장치(100)는 캘리브레이션을 위한 입력(129)을 수신하는 경우 해당 입력(129)에 의한 시차 광학 소자의 파라미터를 조정할 수 있다. 전자 장치(100)는 조정된 파라미터에 따라 패턴 영상에 대응하는 캘리브레이션 패턴(110)을 변경할 수 있다. 사용자는 패턴 영상에 대응하는 캘리브레이션 패턴(110)에 대응하는 캘리브레이션 패턴이 기준선(예: 수직선 및/또는 수평선)에 정렬될 때까지 전술한 캘리브레이션을 위한 조작을 반복적으로 입력할 수 있다. 전자 장치(100)는 캘리브레이션을 위한 조작을 위한 편리한 입력 인터페이스(120)를 제공할 수 있다. 예를 들어, 도 1에서는 전자 장치(100)의 터치 스크린이 슬라이더 바를 출력하고, 전자 장치(100)는 슬라이더 바에 대한 입력(129)(예: 슬라이더 바 객체를 수평으로 이동시키는 입력)을 검출하는 경우에 응답하여 전술한 시차 광학 소자의 파라미터를 조정할 수 있다.
참고로, 도 1에 도시된 바와 같이, 차량에 장착된 전자 장치(100)는 차량의 윈드쉴드 글래스(windshield glass)를 통해 컨텐츠 영상 및/또는 패턴 영상을 투사함으로써 사용자에게 제공할 수 있다. 윈드쉴드 글래스를 이용한 헤드업 디스플레이를 하기 도 2에서 설명한다.
도 2는 일 실시예에 따른 전자 장치가 헤드업 디스플레이를 포함하는 예시를 도시한다.
캘리브레이션 시스템(200)은 사용자(290)에게 시차 광학 소자의 캘리브레이션을 제공하는 시스템으로써, 예를 들어, 전자 장치(210)(예: 도 1의 전자 장치(100))가 장착된 기기일 수 있다.
전자 장치(210)는 프로세서(212), 및 헤드업 디스플레이(213)를 포함할 수 있다. 또한, 전자 장치(210)는 눈 검출기(미도시됨)도 포함할 수 있다.
프로세서(212)는 렌더링된 패턴 영상을 헤드업 디스플레이를 통해 출력함으로써 사용자(290)에게 패턴 영상을 제공할 수 있다. 프로세서(212)는 캘리브레이션 동안 사용자의 입력에 따라 조정된 파라미터에 따라 패턴 영상을 다시 렌더링하여 제공할 수 있다. 프로세서(212)는 캘리브레이션이 완료된 후 고정된(fixed) 파라미터를 이용하여 컨텐츠 영상을 렌더링하여 사용자에게 제공할 수 있다. 컨텐츠 영상은 예시적으로 운행과 관련된 컨텐츠를 포함하는 정보로서, 차량의 경우 운전과 연관된 정보(이하, 운전 정보)는, 예를 들어, 경로 안내 정보(route guidance information) 및 주행 관련 정보(driving related information)를 포함할 수 있다.
헤드업 디스플레이(213)는 사용자(290)의 전방에 위치되는 사용자(290)의 가시 영역(visible region)에 입체 영상을 시각화할 수 있다. 예를 들어, 헤드업 디스플레이(213)는 사용자(290)의 전방에 배치되는 유리창(예를 들어, 차량의 윈드쉴드 글래스(windshield glass))에 패턴 영상을 시각화할 수 있다. 헤드업 디스플레이(213)는 가상의 프로젝션 평면(250)을 형성할 수 있다. 프로젝션 평면(250)은 헤드업 디스플레이(213)에 의해 생성된 패턴을 포함하는 허상(virtual image)이 표시되는 평면을 나타낼 수 있다. 사용자(290)는 프로젝션 평면(250)에 허상이 배치된 것으로 인식할 수 있다. 참고로, 헤드업 디스플레이(213) 및 차량의 윈드쉴드 글래스에 의한 광학계로 인해, 사용자는 의도된 캘리브레이션 패턴과 다른 형태의 캘리브레이션 패턴(예: 관측된 패턴)이 관측된 영상(230)을 시청할 수 있다. 관측된 영상(230)은 예시적으로 캘리브레이션 패턴이 의도보다 더 블러되거나 그라데이션이 추가된 형태를 나타낼 수 있다.
또한, 헤드업 디스플레이(213)는 프로젝션 평면(250)에 깊이를 가지는 컨텐츠 영상을 시각화할 수 있다. 예를 들어, 프로세서(212)는 객체가 시각화될 수 있는 깊이에 대응하는 양안 시차를 가지는 좌영상 및 우영상을 포함하는 컨텐츠 영상을 헤드업 디스플레이(213)를 통해 사용자(290)에게 제공할 수 있다. 헤드업 디스플레이(213)는 가상 영역(260) 내에 해당하는 깊이를 가지는 컨텐츠를 프로젝션 평면(250)에 시각화할 수 있다. 여기서, 프로세서(212)는 헤드업 디스플레이(213)의 광학계에 기초하여, 컨텐츠를 3차원 그래픽 표현(graphic representation)으로 렌더링할 수 있다. 3차원 그래픽 표현은 깊이를 가지는 입체적인 그래픽 표현을 나타낼 수 있다. 헤드업 디스플레이(213)는, 컨텐츠가 가지는 깊이에 기초하여, 좌영상(left image) 및 우영상(right image)을 포함하는 컨텐츠 영상을 프로젝션 평면(250) 상에 형성할 수 있고, 프로젝션 평면(250)을 통해 좌영상을 사용자(290)의 좌안(left eye)에, 우영상을 사용자(290)의 우안(right eye)에 제공할 수 있다. 다시 말해, 프로젝션 평면(250)에는 하나의 허상이 맺히나, 헤드업 디스플레이(213) 및 윈드쉴드글래스에 따른 광학계에 의해 하나의 허상으로부터 좌영상에 대응하는 빛 및 우영상에 대응하는 빛이 분리되어 각각 사용자(290)의 좌안 및 우안으로 향할 수 있다. 따라서, 사용자(290)는 입체적으로 렌더링된 컨텐츠의 깊이감을 인식할 수 있다.
일 실시예에 따른 헤드업 디스플레이(213)는 예를 들어, 화상 생성부(picture generation unit)(214), 폴드 거울(fold mirror)(215) 및 오목 거울(216)을 포함할 수 있다. 화상 생성부(214)는 디스플레이(예: 디스플레이 패널) 및 시차 광학 소자를 포함할 수 있다. 시차 광학 소자는, 예를 들어, 렌티큘러 렌즈(lenticular lens) 및 시차 방벽(parallax barrier)를 포함할 수 있다. 다만, 헤드업 디스플레이(213)의 구성을 이로 한정하는 것은 아니고, 설계에 따라 사용자(290)의 전방에 배치된 유리창으로의 투사를 통해 허상이 맺히는 프로젝션 평면(250)을 형성하는 다양한 구성요소를 포함할 수도 있다.
본 명세서에서는 전자 장치(210)가 차량에 장착된 예시를 중심으로 설명하지만, 이로 한정하는 것은 아니다. 예를 들어, 전자 장치(210)는 증강현실 안경(AR glass, Augmented Reality glass) 및 혼합현실(MR, mixed reality) 등과 같이 현실과 가상의 정보를 결합시키는 기술에 적용될 수 있고, 차량 외에도 모터사이클, 비행기 및 기차와 같은 탈 것(vehicle)에도 적용될 수 있다.
일 실시예에 따른 전자 장치(210)는, 컨텐츠의 깊이를 조절함으로써, 헤드업 디스플레이(213)에 의해 형성되는 프로젝션 평면(250)의 위치 변경 없이도, 연속적인 깊이를 표현할 수 있다. 또한, 전자 장치(210)는, 프로젝션 평면(250)의 위치를 변경할 필요가 없으므로, 헤드업 디스플레이(213)에 포함된 구성요소들에 대한 물리적인 조작을 요구하지 않는다.
도 3은 일 실시예에 따른 전자 장치의 블록도를 도시한다.
일 실시예에 따른 전자 장치(300)는 디스플레이(310), 시차 광학 소자(320), 입력 수신부(330), 프로세서(340), 및 메모리(350)를 포함할 수 있다. 또한, 전자 장치(300)는 눈 검출기(미도시됨)도 포함할 수 있다.
디스플레이(310)는 패턴 영상 및/또는 컨텐츠 영상을 시각화하여 출력할 수 있다. 예를 들어, 디스플레이(310)는 전자 장치(300)의 프로세서(340)에 의해 렌더링된 영상을 출력할 수 있다. 프로세서(340)는 시차 광학 소자(320)에 대한 파라미터들을 이용하여 캘리브레이션 패턴을 렌더링함으로써 패턴 영상을 생성할 수 있고, 컨텐츠를 렌더링함으로써 컨텐츠 영상을 생성할 수 있다. 디스플레이(310)는 렌더링된 패턴 영상 및/또는 렌더링된 컨텐츠 영상을 출력할 수 있다. 패턴 영상 및 컨텐츠 영상은 각각 복수의 시점들에 대응하는 영상들(예: 좌영상 및 우영상)이 혼합된 영상일 수 있다. 디스플레이(310)는 출력된 영상에 대응하는 광을 백라이트 유닛 및/또는 자체 발광을 통해 생성하여 후술하는 시차 광학 소자(320)로 전달할 수 있다. 예를 들어 ,디스플레이(310)는, 모터사이클, 자동차, 기차, 배(watercraft), 항공기(aircraft), 및 우주선(spacecraft)를 포함하는 탈것(vehicle)에 탑재되는 헤드업 디스플레이(HUD, head-up display)의 적어도 일부로서 구현될 수 있다.
시차 광학 소자(320)는 디스플레이(310)로부터 출력되는 영상에 대응하는 광을 복수의 시점들로 제공할 수 있다. 시차 광학 소자(320)는 디스플레이(310)의 일면(예: 전면 또는 후면) 상에 배치되고, 디스플레이(310)에 출력된 영상에 대응하는 광을 복수의 시점들로 지향시키는 광학 소자일 수 있다. 예를 들어, 시차 광학 소자(320)는 디스플레이(310)에 출력된 영상 중 좌영상에 대응하는 부분을 통과한 빛을 사용자의 좌안으로의 광 경로로 지향시킬 수 있다. 유사하게, 시차 광학 소자(320)는 디스플레이(310)에 출력된 영상 중 우영상에 대응하는 부분을 통과한 빛을 사용자의 우안으로의 광 경로로 지향시킬 수 있다. 시차 광학 소자(320)는 렌티큘러 렌즈 어레이(lenticular lens array), 패럴렉스 배리어(parallax barrier), 및 방향성 백라이트 유닛(directional back light unit)과 같은 광학 레이어를 포함할 수 있다.
참고로, 도 2에서 전술한 화상 생성부(214)는 디스플레이(310) 및 시차 광학 소자(320)를 포함할 수 있다. 다만, 도 2에서는 차량에서 윈드쉴드 글래스를 통한 입체 영상을 제공하기 위한 예시로서 헤드업 디스플레이(213)를 주로 설명하였으나, 이로 한정하는 것은 아니다. 헤드업 디스플레이(213)의 거울들(215, 216)은 디스플레이 및 시차 광학 소자(320)에 의해 생성된 영상에 대응하는 광을 확대하여 사용자에게 제공하며, 어플리케이션에 따라 영상의 확대를 위한 광학계는 변경될 수도 있다. 예시적으로 HUD의 설계에 따라 거울이 생략될 수 있고, 평판 디스플레이(예: TV)에서는 거울들이 불필요할 수도 있다. 이후 설명의 편의를 위해, 아래 도 3 내지 도 13에서는 전술한 영상의 확대를 위한 광학계(예: 폴드 거울 및 오목 거울)의 설명을 생략하며, 주로 디스플레이 및 그 전면 또는 후면에 배치되는 시차 광학 소자(320)(예: 전면에 배치되는 렌티큘러 렌즈 또는 후면에 배치되는 방향성 백라이트 유닛)에 의해 바로 사용자의 눈(예: 좌안)으로 향하는 광경로로 설명한다. 예시적으로 렌티큘러 렌즈가 디스플레이 패널의 일면에 라미네이트될 수 있다. 다만, 이로 한정하는 것은 아니고, 어플리케이션에 따라 필요에 따라 허상 평면을 형성하기 위한 광학 소자들(예: 거울)이 추가로 포함될 수 있다.
전술한 디스플레이(310) 및 시차 광학 소자(320)의 조합을 통해 전자 장치(300)는 사용자의 좌안에 좌영상을 제공하고, 우안에 우영상을 제공할 수 있다. 전자 장치(300)는, 좌영상에서 컨텐츠가 시각화된 그래픽 객체 및 우영상에서 컨텐츠가 시각화된 그래픽 객체를 서로에 대해 양안 시차(binocular disparity)에 기초하여 이격시킴으로써, 깊이를 가지는 컨텐츠를 사용자에게 입체적인 그래픽 객체로 시각화하여 제공할 수 있다.
입력 수신부(330)는 사용자의 입력을 수신할 수 있다. 일 실시예에 따르면 입력 수신부(330)는 복수의 시점들 중 기준 시점에서 패턴 영상을 관측한 사용자로부터 시차 광학 소자(320)에 대한 캘리브레이션을 위한 입력을 수신할 수 있다. 예를 들어, 입력 수신부(330)는, 터치 패널, 터치 스크린, 다이얼, 조그 다이얼, 셔틀 다이얼, 클릭 휠, 버튼, 슬라이더 바, 조작 레버 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 터치 패널은 사용자로부터 터치 입력을 감지할 수 있다. 터치 스크린은 화면을 출력하면서 사용자로부터 터치 입력을 감지할 수 있다. 터치 입력은 사용자의 물체(예: 손가락 및 펜)와 터치 패널 및/또는 터치 스크린 간의 접촉이 형성되는 입력을 나타낼 수 있다. 다이얼은 사용자로부터 다이얼 노브를 시계 방향 또는 반시계 방향으로 돌리는 회전 조작을 감지할 수 있다. 셔틀 다이얼은 다이얼 노브의 외곽 고리가 회전 가능하게 결합된 다이얼로서, 외곽 고리의 시계 방향 또는 반시계 방향의 회전 조작을 감지할 수 있다. 조그 다이얼은 다이얼 노브의 내부 상면이 회전 가능하게 결합된 다이얼로서, 내부 상면의 시계 방향 또는 반시계 방향의 회전 조작을 감지할 수 있다. 클릭 휠은 고리 형태의 터치 감지 인터페이스로서 터치 지점이 고리 형태의 중심점을 기준으로 시계 방향 또는 반시계 방향으로 회전하면서 이동하는지 여부를 감지할 수 있다. 버튼은 사용자의 누름 조작을 감지할 수 있으며, 예시적으로 증가(예: '+') 버튼 및 감소(예: '-') 버튼을 포함할 수 있다. 슬라이더 바는 물리적으로 슬라이드 이동 가능한 레버 또는 슬라이드 이동 가능한 그래픽 객체를 출력하는 터치 스크린으로 구현될 수 있다. 조작 레버는 적어도 한 방향으로 전환 가능한 레버로서, 예를 들어, 상하 양방향 또는 좌우 양방향으로 전환 가능할 수 있다.
본 명세서에서 패턴 영상은 캘리브레이션을 위한 패턴(이하, '캘리브레이션 패턴')을 나타내는 영상으로서, 캘리브레이션 패턴을 포함하는 하나 이상의 소스 영상이 시차 광학 소자의 파라미터를 이용하여 렌더링된 영상을 나타낼 수 있다. 캘리브레이션 패턴 및 패턴 영상은 하기 도 4 및 도 5에서 설명한다.
프로세서(340)는 캘리브레이션 패턴을 렌더링함으로써 생성된 패턴 영상을 기준 시점을 향해 출력할 수 있다. 프로세서는 입력에 응답하여 시차 광학 소자(320)의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정할 수 있다. 프로세서는 조정된 파라미터에 따라 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 디스플레이를 통해 출력할 수 있다. 프로세서(340)의 동작을 전술한 바로 한정하는 것은 아니며, 프로세서(340)의 보다 상세한 동작은 하기 도 4 내지 도 14에서 설명한다. 시차 광학 소자(320)의 각 파라미터는 하기 도 6에서 설명한다.
메모리(350)는 캘리브레이션에 요구되는 정보를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(350)는 프로세서(340)에 의해 실행되어 하기 도 4 내지 도 14에 따른 동작을 수행하기 위한 명령어들을 저장할 수 있다. 또한, 메모리(350)는 캘리브레이션된 파라미터들(예: 피치 파라미터, 기운 각도 파라미터, 위치 오프셋 파라미터)을 저장할 수도 있다.
눈 검출기(미도시됨)는 사용자의 눈(예: 좌안 및/또는 우안)의 위치를 검출할 수 있다. 전자 장치는 디스플레이(310) 및 시차 광학 소자(320)(320)를 통해 복수의 시점들로 영상을 제공할 수 있는데, 캘리브레이션을 위한 패턴 영상을 복수의 시점들 중 기준 시점에만 제공할 수 있다. 전자 장치는 전술한 눈 검출기(미도시됨)를 통해 사용자의 양안 중 기준이 되는 눈(예: 좌안)의 위치를 검출하고, 기준이 되는 눈에 대응하는 위치를 기준 시점으로 결정할 수 있다. 눈 검출기(미도시됨)는 도 2에서 예시적으로 차량의 내부를 촬영 가능한 카메라를 포함할 수 있다. 눈 검출기(미도시됨)는 사용자(예: 운전자)를 포함하여 차량 내부를 촬영한 영상으로부터 눈의 위치를 검출할 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치의 프로세서(340)가 내부 카메라에 의해 촬영된 내부 영상을 수신하고, 수신된 내부 영상으로부터 사용자의 눈의 위치를 검출 및/또는 추적할 수도 있다.
도 4는 일 실시예에 따른 시차 광학 소자의 캘리브레이션을 위한 소스 영상, 패턴 영상, 및 관측된 영상을 도시한다.
캘리브레이션 시스템(400)은 전자 장치(420)를 포함할 수 있다. 전자 장치(420)는 시차 광학 소자(421)(예: 도 3의 시차 광학 소자(320)) 및 디스플레이 패널(422)(예: 도 3의 디스플레이(310))을 포함할 수 있다.
전자 장치(420)는 소스 영상들에 기초하여 패턴 영상을 생성할 수 있다. 소스 영상들은 전자 장치(420)에 저장되어 있거나, 혹은 다른 외부 장치에 의해 전자 장치(420)에게 제공될 수 있다. 소스 영상들은 각각 시점(view)에 대응할 수 있다. 예를 들어, n개의 소스 영상들의 각각은 제1 시점 내지 제n 시점에 개별적으로 대응할 수 있다. 여기서, n은 2이상의 정수일 수 있다. 본 명세서에서는 주로 n=2인 예시를 설명하나, 이로 한정하는 것은 아니다. 한 사용자의 양안의 각각에 대응하는 시점들로만 영상이 제공되는 경우, n=2일 수 있다. 아래에서 상세하게 설명하겠으나, 전자 장치(420)는 파라미터에 기초하여, 소스 영상들에 대응하는 복수의 시점들 중 기준 시점에 해당하는 영상이 기준 시점에서 관측될 수 있도록 패턴 영상을 생성할 수 있다. 예시적으로 기준 시점은 사용자의 좌안에 대응하는 시점일 수 있다. 사용자는 캘리브레이션 동안 우안을 감고, 좌안으로만 패턴 영상을 관측하면서 캘리브레이션 절차를 진행할 수 있다.
전자 장치(420)는 디스플레이 패널(422)을 통해 패턴 영상을 표시할 수 있다. 패턴 영상은 선형 패턴을 포함하는 소스 영상들에 기초하여 생성되어 캘리브레이션 패턴을 나타내는 패널 영상으로 이해될 수 있다. 참고로, 패턴 영상에서는 캘리브레이션 패턴이 분할되어 표현되고, 개별 시점에서 패턴 영상의 분할됐던 부분들이 시차 광학 소자를 통해 조합되어 캘리브레이션 패턴이 관측될 수 있다. 도 4의 관측된 영상들(431, 432)에서 캘리브레이션 패턴은 두께를 가지고 블러된 수평선으로 도시되었으나, 이로 한정하는 것은 아니고 캘리브레이션 패턴은 두께를 가지고 블러된 수직선일 수도 있다. 후술하겠으나, 파라미터의 종류 별로 수평선 형태의 캘리브레이션 패턴, 수직선 형태의 캘리브레이션 패턴이 사용될 수 있다.
캘리브레이션 패턴은 하나 이상의 소스 영상에 포함된 패턴(예: 선형 패턴)이 조합된 패턴일 수 있다. 예를 들어, 캘리브레이션 패턴은 기준 시점에 대응하는 소스 영상의 패턴을 기준으로, 다른 시점에 대응하는 소스 영상의 패턴의 일부가 조합된 패턴일 수 있다. 캘리브레이션 패턴은 기준 시점에 대응하는 소스 영상의 패턴 전체를 포함하고, 기준 시점(예: 제i 시점)에 인접한 시점(예: i-1 시점 및 제i+1 시점)에 대응하는 소스 영상의 패턴 일부를 포함할 수 있다. 캘리브레이션 패턴에서 기준 시점으로부터 먼 시점(예: 제1 시점 및 제n 시점)에 대응하는 소스 영상의 패턴은 기준 시점에 인접한 시점에 대응하는 소스 영상의 패턴보다 적게 포함될 수 있다. 사람의 눈은 초점을 기준으로 선명하게 인식하고 주변 영역을 흐리게 인식하는데, 사람의 눈에 대응하는 아이박스(eyebox)를 기준으로 설정되는 캘리브레이션 패턴은 전술한 현상을 모사하여 각 시점들의 소스 영상들의 선형 패턴들이 결합된 패턴일 수 있다. 따라서 전술한 바와 같이 각 시점에서 관측된 영상들(431, 432)에서 기준 시점에 대응하는 선형 패턴이 비교적 선명하게 나타나고, 주변 시점 및 먼 시점에 대응하는 선형 패턴은 비교적 흐리게 나타날 수 있다.
시차 광학 소자(421)는 무안경 방식으로 패턴 영상을 3D 영상으로 변환할 수 있다. 시차 광학 소자(421)는 렌티큘러 렌즈 어레이(lenticular lens array), 패럴렉스 배리어(parallax barrier), 및 방향성 백라이트 유닛(directional back light unit)과 같은 광학 레이어를 포함할 수 있다. 도 4에는 편의상 시차 광학 소자(421)가 렌티큘러 렌즈 어레이 및 패럴럭스 배리어의 예시로서 디스플레이 패널(422)의 전면에 위치하는 것으로 도시되어 있으나, 시차 광학 소자(421)는 방향성 백라이트 유닛과 같이 디스플레이 패널(422)의 후면에 위치할 수도 있다.
시차 광학 소자(421)는 디스플레이 패널(422)에게 제공되는, 혹은 디스플레이 패널(422)에서 출력되는 광에 지향성을 부여할 수 있다. 지향성 광을 통해 복수의 시점들(예: 시청자(viewer)의 양 눈에 대응하는 시점들)에 서로 다른 영상이 조사될 수 있고, 시청자는 입체감을 느낄 수 있다. 무안경 방식에서 사용자의 양 눈에 서로 다른 영상 정확히 조사되지 않으면 3D 영상에 크로스토크가 발생할 수 있다. 예를 들어, 전자 장치(420)의 생산 과정 또는 설치 과정 등에서 전자 장치(420)의 파라미터의 설계 값 및 실제 값 사이에 오차가 발생할 경우 이러한 크로스토크가 발생할 수 있다.
참고로, 제1 시점에서는 제1 소스 영상을 포함하는 하나 이상의 소스 영상을 렌더링하여 생성된 제1 패턴 영상에 대응하는 영상이 관측될 수 있고, 제n 시점에서는 제n 소스 영상을 포함하는 하나 이상의 소스 영상을 렌더링하여 생성된 제n 패턴 영상에 대응하는 영상이 관측될 수 있다. 제1 관측된 영상(431)은 제1 패턴 영상에 대응하는 광이 시차 광학 소자(421)를 통과하여 제1 시점에 도달함으로써 관측되는 영상을 나타낼 수 있다. 제n 관측된 영상(439)은 제n 패턴 영상에 대응하는 광이 시차 광학 소자(421)를 통과하여 제n 시점에 도달함으로써 관측되는 영상을 나타낼 수 있다. 한 시점(예: 기준 시점)에 대응하는 패턴 영상은 디스플레이 패널(422)에서 해당 시점으로 향하는 광이 통과하는 부분들에서 표시될 수 있다. 예를 들어, 패턴 영상에서 캘리브레이션 패턴은 디스플레이 패널(422)에서 기준 시점으로 향하는 광이 통과하는 부분들로 분할되어 표현될 수 있다. 캘리브레이션 패턴의 분할된 부분들에 대응하는 광은 시차 광학 소자(421)를 통과하면서 기준 시점에서 조합됨으로써, 사용자는 기준 시점에서 캘리브레이션 패턴을 관측할 수 있다.
일 실시예에 따르면, 전자 장치(420)는 사용자의 기준 눈의 위치를 검출할 수 있다. 예를 들어, 전자 장치(420)는 전자 장치(420) 내에, 또는 전자 장치(420) 주변에 설치된 별도의 카메라(미도시)를 통해 사용자의 눈의 위치를 검출할 수 있다. 전자 장치(400)는 검출된 사용자의 눈의 위치에 대응하는 기준 시점에서 패턴 영상이 관측되도록 렌더링할 수 있다.
도 5는 일 실시예에 따른 소스 영상 및 관측된 영상을 도시한다.
제1 소스 영상들(510) 및 제2 소스 영상들(520)은 복수의 시점들(제1 시점 내지 제n 시점)에 대응할 수 있다. 제1 소스 영상들(510)의 각각은 대응하는 시점에 따라 상이한 위치에 수평선 형태의 선형 패턴을 포함할 수 있다. 제2 소스 영상들(520)은 대응하는 시점에 따라 상이한 위치에 수직선 형태의 선형 패턴을 포함할 수 있다. 제1 소스 영상들(510)은 제1 패턴 영상의 생성을 위해 사용될 수 있고, 제2 소스 영상들(520)은 제2 패턴 영상의 생성을 위해 사용될 수 있다. 예를 들어, 전자 장치는 제i 시점에서의 캘리브레이션을 위해 제i 시점에 대응하는 제1 소스 영상을 포함하는 하나 이상의 소스 영상을 시차 광학 소자의 파라미터를 이용하여 렌더링함으로써 제i 시점에 대응하는 제1 패턴 영상을 생성할 수 있다. 여기서, i는 1이상 n이하의 정수일 수 있다. 다른 예를 들어, 전자 장치는 제i 시점에 대응하는 제2 소스 영상을 포함하는 하나 이상의 소스 영상을 시차 광학 소자의 파라미터를 이용하여 렌더링함으로써 제i 시점에 대응하는 제2 패턴 영상을 생성할 수 있다.
참고로 복수의 파라미터들 중 개별 파라미터의 캘리브레이션시, 해당 파라미터가 캘리브레이션 되어있는지를 판단하기에 용이한 캘리브레이션 패턴이 존재할 수 있다. 제1 소스 영상들(510)은 수평선을 제외한 나머지 영역에 검은 영역을 포함할 수 있다. 제2 소스 영상들(520)은 수직선을 제외한 나머지 영역에 검은 영역을 포함할 수 있다. 제1 소스 영상들(510)은 피치 파라미터를 캘리브레이션하기에 용이할 수 있고, 제2 소스 영상들(520)은 기운 각도 파라미터를 캘리브레이션하기에 용이할 수 있다. 소스 영상들 중 기준 시점에 대응하는 소스 영상의 선형 패턴은 다른 시점의 선형 패턴의 색상(예: 흰색)과 다른 색상(예: 녹색)으로 변경될 수 있다.
전자 장치(예: 도 3의 전자 장치(300))는 기준 시점에서 기준 시점에 대응하는 소스 영상이 표현되도록 라이트 필드 렌더링(light field rendering)을 통해 패턴 영상을 생성할 수 있다. 도 5에서는 기준 시점이 제1 시점이고, 제1 시점에 대해 패턴 영상이 렌더링된 예시를 설명한다. 파라미터 캘리브레이션이 완료된 상태에서 패턴 영상의 출력을 가정할 경우, 사용자는 기준 시점에서 제1 관측된 영상(519) 및 제2 관측된 영상(529)을 시청할 수 있다. 이상적 환경이라면 제1 관측된 영상(519) 및 제2 관측된 영상(529)은 각각 기준 시점에 대응하여 소스 영상들이 조합된 캘리브레이션 패턴과 동일해야 하나, 크로스토크가 존재하는 실제 환경에서는 관측된 영상들(519, 529)에서 각각 기준 시점에 대응하는 캘리브레이션 패턴에 그라데이션이 더 추가된 형태 또는 캘리브레이션 패턴이 보다 블러된 형태로 관측될 수 있다. 참고로, 도 5에서는 캘리브레이션이 완료된 파라미터를 이용한 렌더링 예시를 설명한 바, 제1 관측된 영상(519)에서 캘리브레이션 패턴이 수평선(예: 두께를 가지고 블러된 형상의 수평선)으로 관측되고, 제2 관측된 영상(529)에서 캘리브레이션 패턴이 수직선(예: 두께를 가지고 블러된 형상의 수직선)으로 관측되었다. 캘리브레이션이 완료되기 전이라면, 각각의 선형 캘리브레이션 패턴은 수직선 또는 수평선이 아닌 비스듬한 선형 패턴으로 관측될 수 있다. 아래 도 6에서는 전술한 캘리브레이션 패턴의 정렬을 위한 파라미터들을 설명한다.
도 6은 일 실시예에 따른 시차 광학 소자의 파라미터들을 설명한다.
제1 소스 영상(610)에 기초한 제1 관측된 영상(615)이 사용자에 의해 시청될 수 있고, 제2 소스 영상(620)에 기초한 제2 관측된 영상(615)이 획득될 수 있다. 참고로, 크로스토크가 포함되어 도시됐던 도 5와 달리, 도 6에서는 편의를 위해 제1 관측된 영상(615) 및 제2 관측된 영상(625)은 캘리브레이션이 완료된 상태 및 크로스토크가 없는 이상적인 환경에서 관측되는 형태로 도시되었다.
전자 장치(예: 도 3의 전자 장치(300))의 파라미터는, 시차 광학 소자(651)(예: 도 3의 시차 광학 소자(320))의 파라미터로 지칭될 수도 있다. 시차 광학 소자(651)의 파라미터들은 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터를 포함할 수 있다.
피치 파라미터는 시차 광학 소자(651)의 단위 요소(unit element)의 피치 p를 나타내는 파라미터일 수 있다. 시차 광학 소자(651)는 단위 요소들(unit elements)을 포함할 수 있다. 단위 요소는 디스플레이(652)을 통해 출력되는 영상에 대응하는 광에 지향성을 부여하는 단위 광학 소자로서, 예시적으로 패럴렉스 배리어의 슬릿(slit) 및 렌티큘러 렌즈의 단위 렌즈를 포함할 수 있다. 단위 요소는 디스플레이(652)의 일면 상에 배치되는 광학 레이어에 대응하는 평면에서 일축을 따라 주기적으로 배치될 수 있다. 피치 파라미터는 단위 요소의 주기적인 배치의 간격을 나타낼 수 있다. 도 6에서 피치 파라미터는 단위 요소의 수평 방향 주기를 나타낼 수 있다. 3D 영상 내 시점(view)이 반복되는 구간의 길이가 피치 p에 따라 결정될 수 있다. 피치 파라미터를 통해 제1 관측된 영상(615) 내 선형 패턴의 기울기(예: 수평 기울기)가 조절 될 수 있다. 다시 말해, 피치 파라미터의 조절을 통해 패턴 영상에 대응하는 선형 캘리브레이션 패턴이 회전될 수 있다.
기운 각도 파라미터(slanted angle parameter)는 시차 광학 소자(651)의 단위 요소(unit element)의 디스플레이(652)의 기준축에 대한 기울기를 나타낼 수 있다. 도 6에서 디스플레이(652)의 기준축은 세로축으로 도시되었으며, 기운 각도 θ는 단위 요소가 세로축에 대해 형성하는 기울기를 나타낼 수 있다. 기운 각도 파라미터를 통해 제2 관측된 영상(625) 내 선형 패턴의 기울기가 조절될 수 있다.
위치 오프셋 파라미터는 시차 광학 소자(651) 및 디스플레이(652) 간의 상대 위치를 나타낼 수 있다. 예를 들어, 위치 오프셋 파라미터는 단위 요소의 시작 위치(start position) 및 디스플레이(652)의 시작 픽셀 간의 위치 오프셋 s을 나타낼 수 있다. 도 6에서는 디스플레이(652)의 좌측 상단의 시작 픽셀 기준으로 좌측의 단위 요소의 시작 위치 간의 수평 오프셋으로서 도시된다. 전자 장치는 위치 오프셋 파라미터를 통해 제1 관측된 영상(615) 내 선형 패턴의 수직 위치 및 제2 관측된 영상(625) 내 선형 패턴의 수평 위치를 조절할 수 있다.
일 실시예에 따르면, 전자 장치의 프로세서는, 피치 파라미터에 대응하는 제1 패턴 영상, 기운 각도 파라미터에 대응하는 제2 패턴 영상, 및 위치 오프셋 파라미터에 대응하는 제3 패턴 영상 중 적어도 하나 또는 둘 이상의 조합을 사용자에게 제공할 수 있다. 제1 패턴 영상은 수평선을 각각 포함하는 제1 소스 영상들에 기초하여 생성될 수 있다. 제2 패턴 영상은 수직선을 각각 포함하는 제2 소스 영상들에 기초하여 생성될 수 있다. 제3 패턴 영상은 수직선 및 수평선 중 하나를 포함하는 캘리브레이션 패턴으로 생성될 수 있다. 아래에서 살펴볼 것처럼, 피치 파라미터는 가로 패턴을 통해 다른 파라미터들과 독립적으로 캘리브레이션될 수 있다. 또한, 피치 파라미터가 캘리브레이션되었다면, 기운 각도 파라미터는 세로 패턴을 통해 다른 파라미터들과 독립적으로 캘리브레이션될 수 있다. 전자 장치는 제1 패턴 영상, 제2 패턴 영상, 및 제3 패턴 영상 중 둘 이상을 동시에 제공할 수도 있으나, 각각 순차적으로 하나씩 제공할 수도 있다.
다양한 실시예들에 따르면, 제1 패턴 영상을 이용한 제1 캘리브레이션 및 제2 패턴 영상을 이용한 제2 캘리브레이션이 순차적으로 수행될 수 있다. 전자 장치는 제1 패턴 영상의 제공을 통한 피치 파라미터의 조정이 완료되는 경우에 응답하여 제2 패턴 영상을 사용자에게 제공할 수 있다. 전자 장치는 제2 패턴 영상의 제공을 통한 기운 각도 파라미터의 조정이 완료되는 경우에 응답하여 제3 패턴 영상을 사용자에게 제공할 수 있다. 피치 파라미터의 조정이 기운 각도 파라미터에 영향을 주므로, 피치 파라미터의 조정이 선행될 수 있다.
제1 캘리브레이션에서, 사용자는 전자 장치에 의해 표시된 제1 패턴 영상을 관측하고, 관측된 영상을 고려하여 전자 장치의 제1 파라미터 세트(예: 피치 파라미터)를 조절하기 위한 캘리브레이션 입력을 진행할 수 있다. 제1 캘리브레이션에서, 제1 패턴 영상의 제공 및 제1 파라미터 세트의 조절은 사용자에 의해 해당 캘리브레이션이 종료될 때까지 반복될 수 있다. 제2 캘리브레이션에서, 사용자는 전자 장치에 의해 표시된 제2 패턴 영상을 관측하고, 관측된 영상을 고려하여 전자 장치의 제2 파라미터 세트(예: 기운 각도 파라미터)를 조절할 수 있다. 제2 캘리브레이션에서, 제2 패턴 영상의 제공 및 제2 파라미터 세트의 조절은 사용자에 의해 해당 캘리브레이션이 종료될 때까지 반복될 수 있다. 이후, 위치 오프셋 파라미터의 캘리브레이션을 위한 제3 캘리브레이션이 유사하게 수행될 수 있다.
실시예에 따른 가로 패턴 및 세로 패턴을 이용한 순차적인 캘리브레이션 과정은 체크 패턴 등의 다른 복잡한 패턴을 이용한 캘리브레이션 과정에 비해 저해상도에서 효율적으로 수행될 수 있다. 가로 패턴을 이용한 캘리브레이션 및 세로 패턴을 이용한 캘리브레이션이 분리되어 수행되므로 캘리브레이션 작업이 단순해지기 때문이다. 무안경식 3D 영상 기술은 HUD(head up display)와 같은 저해상도 디바이스에서 구현될 수 있다. HUD의 경우 일반적인 디스플레이 장치에 비해 시청 거리가 길고, 1장의 패턴 영상으로 파라미터를 추정하기에 해상도가 부족할 수 있다. 또한, HUD 장치를 구성하는 반사 굴절 광학계(catadioptric system)로 인해 3D 영상에 왜곡이 발생할 수 있다. 실시예에 따른 캘리브레이션은 단순한 패턴을 통해 순차적으로 진행되므로, 이러한 저해상도 디바이스나 광학계를 포함하는 디바이스에서도 높은 성능을 발휘할 수 있다.
도 7 내지 도 9는 일 실시예에 따른 파라미터의 조정에 따른 패턴 영상의 변화를 설명한다.
도 7은 피치 파라미터의 조정에 따른 패턴 영상의 변화를 도시한다.
예를 들어, 피치 파라미터의 캘리브레이션이 완료되지 않았다면 관측된 영상들(711, 712)에서 각도가 비정렬된 캘리브레이션 패턴이 사용자에게 관측될 수 있다. 예를 들어, 소스 영상의 캘리브레이션 패턴은 선형 패턴(예: 두께를 가지는 단일 수평선 패턴)일 수 있다. 사용자에게 관측되는 영상들(711, 712)에서 나타난 선형 패턴은 수평과 다르게 살짝 기울어진 형태로서 두께를 가질 수 있다.
전자 장치는 해당 선형 패턴이 수평으로 나타나게 사용자가 피치 파라미터를 조정하도록 유도할 수 있다. 예를 들어, 전자 장치는 기준선(790)과 함께 캘리브레이션 패턴을 사용자에게 제공할 수 있다. 두께를 가지는 선형 패턴은 기준선(790)의 적어도 일부를 포함할 수 있다. 기준선(790)은 도 7에서 예시적으로 화면의 수평선에 대응할 수 있다. 크로스토크로 인해 기준선(790)은 살짝 구부러진 형태일 수도 있다. 도 7에 도시된 바와 같이 관측된 영상들(711, 712)에서는 기준선(790)이 가려져서 일부만 사용자에 의해 관측될 수 있다. 캘리브레이션된 영상(719)에서는 기준선의 전체가 드러날 수 있다.
일 실시예에 따른 프로세서는, 입력에 따라 시차 광학 소자의 파라미터들 중 피치 파라미터를 증가시키는 경우에 응답하여, 제1 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 반시계 방향으로 회전시킬 수 있다. 예를 들어, 전자 장치는 사용자의 입력에 응답하여 시차 광학 소자의 피치 파라미터를 이전에 설정된 값보다 큰 값으로 변경하고, 증가된 피치 파라미터를 이용하여 제1 소스 영상을 포함하는 하나 이상의 소스 영상을 다시 렌더링함으로써 생성된 새로운 제1 패턴 영상을 출력할 수 있다. 도 7에 도시된 바와 같이, 피치 파라미터의 설정 값이 증가하는 경우, 새로운 제1 패턴 영상에 대응하는 캘리브레이션된 영상(719)에서는 이전 제1 패턴 영상에 대응하는 제1 관측된 영상(711)의 선형 패턴으로부터 반시계 방향으로 회전된 패턴이 관측될 수 있다.
또한, 프로세서는 입력에 따라 시차 광학 소자의 파라미터들 중 피치 파라미터를 감소시키는 경우에 응답하여, 제1 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 시계 방향으로 회전시킬 수 있다. 예를 들어, 전자 장치는 사용자의 입력에 응답하여 시차 광학 소자의 피치 파라미터를 이전에 설정된 값보다 작은 값으로 변경하고, 감소된 피치 파라미터를 이용하여 제1 소스 영상을 포함하는 하나 이상의 소스 영상을 다시 렌더링함으로써 생성된 새로운 제1 패턴 영상을 출력할 수 있다. 도 7에 도시된 바와 같이, 피치 파라미터의 설정 값이 감소하는 경우, 새로운 제1 패턴 영상에 대응하는 캘리브레이션된 영상(719)에서는 이전 제1 패턴 영상에 대응하는 제1 관측된 영상(712)의 선형 패턴으로부터 시계 방향으로 회전된 패턴이 관측될 수 있다.
참고로, 예시적으로 n개(예: 17개)의 시점들에 대응하는 뷰 영상들(view images)(예: 소스 영상)을 렌더링할 시, 전자 장치는 기준 시점인 제i 시점에 대응하는 뷰 영상(예: 8번째 뷰 영상)의 선형 패턴을 기준 색상(예: 녹색)으로 시각화할 수 있다. 기준 색상은 다른 소스 영상의 선형 패턴의 색상과 구별되는 다른 색상일 수 있다. 캘리브레이션 패턴은, 전체 n개의 시점들에 대응하는 뷰 영상들을 렌더링함으로써 생성 및 출력된, 패널 영상(예: 패턴 영상)을 n등분한 부분 영상들 중 한 시점(예: 기준 시점)에서 관측되는 패턴을 나타낼 수 있다. 캘리브레이션 패턴에서 기준선(790)은 기준 시점에 위치된 사람의 눈에 도달하는 뷰 영상들 중 가운데 뷰 영상(예: 17개 시점들 중 가운데인 8번째 시점에 대응하는 뷰 영상)의 선형 패턴을 나타낼 수 있다.
캘리브레이션 패턴이 회전되더라도, 기준선(790)은 회전 없이 고정되며, 캘리브레이션 패턴의 회전에 따라 기준선(790)에서 가려졌던 부분들이 드러날 수 있다. 전술한 캘리브레이션 패턴의 회전을 통해, 기준선(790)에서 가려진 부분이 드러남으로써, 캘리브레이션 패턴이 기준선(790)에 정렬될 수 있다. 프로세서는 캘리브레이션 패턴(예: 선형 패턴)이 기준선(790)에 정렬될 때까지 사용자로부터 캘리브레이션 입력을 계속해서 수신할 수 있다. 예를 들어, 사용자는 선형 패턴이 기준선(790)(예: 수평선)에 평행해지게 피치 파라미터를 조정할 수 있다. 프로세서는 사용자로부터 제1 캘리브레이션 종료 입력을 수신하는 경우, 피치 파라미터의 캘리브레이션이 완료된 것으로 결정할 수 있다. 다시 말해, 캘리브레이션 패턴 및 기준선(790) 간의 정렬 여부는 사용자에 의해 결정될 수 있다. 다만, 기준선(790)이 반드시 제시되어야 하는 것은 아니며, 설계에 따라 전자 장치는 사용자로부터 피치 파라미터의 캘리브레이션 동안 사용자에 의해 관측되는 캘리브레이션 패턴의 선형 패턴이 수평해지도록 하는 피치 파라미터의 조정 입력을 수신할 수 있다. 다시 말해, 사용자가 눈대중으로 제1 패턴 영상에 대응하는 캘리브레이션 패턴을 수평하게 조정할 수 있다.
도 8은 기운 각도 파라미터의 조정에 따른 패턴 영상의 변화를 도시한다.
예를 들어, 기운 각도 파라미터의 캘리브레이션이 완료되지 않았다면 관측된 영상들(821, 822)에서 각도가 비정렬된 캘리브레이션 패턴이 사용자에게 관측될 수 있다. 예를 들어, 소스 영상의 패턴은 선형 패턴(예: 두께를 가지는 단일 수직선 패턴)일 수 있다. 사용자에게 관측되는 영상들(821, 822)에서 나타난 선형 패턴은 수직과 다르게 살짝 기울어진 형태이면서, 두께를 가질 수 있다.
전자 장치는 해당 선형 패턴이 수직으로 나타나게 사용자가 기운 각도 파라미터를 조정하도록 유도할 수 있다. 예를 들어, 전자 장치는 기준선(890)을 포함하는 캘리브레이션 패턴을 사용자에게 제공할 수 있다. 두께를 가지는 선형 패턴은 기준선의 적어도 일부를 포함할 수 있다. 기준선(890)은 도 8에서 예시적으로 화면의 수직선에 대응할 수 있다. 도 8에 도시된 바와 같이, 관측된 영상들(821, 822)에서는 기준선(890)이 가려져서 일부만 사용자에 의해 관측될 수 있다. 캘리브레이션된 영상(819)에서는 기준선의 전체가 드러날 수 있다.
일 실시예에 따른 프로세서는, 입력에 따라 시차 광학 소자의 파라미터들 중 기운 각도 파라미터를 증가시키는 경우에 응답하여, 제2 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 시계 방향으로 회전시킬 수 있다. 예를 들어, 전자 장치는 사용자의 입력에 응답하여 시차 광학 소자의 기운 각도 파라미터를 이전에 설정된 값보다 큰 값으로 변경하고, 증가된 기운 각도 파라미터를 이용하여 제2 소스 영상을 포함하는 하나 이상의 소스 영상을 다시 렌더링함으로써 생성된 새로운 제2 패턴 영상을 디스플레이에 출력할 수 있다. 도 8에 도시된 바와 같이 기운 각도 파라미터의 설정 값이 증가하는 경우, 새로운 제2 패턴 영상에 대응하는 캘리브레이션된 영상(829)에서는 이전 제2 패턴 영상에 대응하는 제2 관측된 영상(821)의 선형 패턴으로부터 시계 방향으로 회전된 패턴이 관측될 수 있다.
또한, 프로세서는 입력에 따라 시차 광학 소자의 파라미터들 중 기운 각도 파라미터를 감소시키는 경우에 응답하여, 제2 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 반시계 방향으로 회전시킬 수 있다. 예를 들어, 전자 장치는 사용자의 입력에 응답하여 시차 광학 소자의 기운 각도 파라미터를 이전에 설정된 값보다 작은 값으로 변경하고, 감소된 기운 각도 파라미터를 이용하여 제2 소스 영상을 포함하는 하나 이상의 소스 영상을 다시 렌더링함으로써 생성된 새로운 제2 패턴 영상을 출력할 수 있다. 도 8에 도시된 바와 같이, 기운 각도 파라미터의 설정 값이 감소하는 경우, 새로운 제2 패턴 영상에 대응하는 캘리브레이션된 영산(829)에서는 이전 제2 패턴 영상에 대응하는 제2 관측된 영상(822)의 선형 패턴으로부터 반시계 방향으로 회전된 패턴이 관측될 수 있다.
사용자는 선형 패턴이 기준선(890)(예: 수직선)에 평행해지게 기운 각도 파라미터를 조정할 수 있다. 프로세서는 사용자로부터 제2 캘리브레이션 종료 입력을 수신하는 경우, 기운 각도 파라미터의 캘리브레이션이 완료된 것으로 결정할 수 있다. 다시 말해, 캘리브레이션 패턴 및 기준선(890) 간의 정렬 여부는 사용자에 의해 결정될 수 있다. 다만, 기준선(890)이 반드시 제시되어야 하는 것은 아니며, 설계에 따라 전자 장치는 사용자로부터 기운 각도 파라미터의 캘리브레이션 동안 사용자에 의해 관측되는 캘리브레이션 패턴의 선형 패턴이 수직해지도록 하는 기운 각도 파라미터의 조정 입력을 수신할 수 있다. 다시 말해, 사용자가 눈대중으로 제2 패턴 영상에 대응하는 캘리브레이션 패턴을 수직하게 조정할 수 있다.
도 9는 위치 오프셋 파라미터의 조정에 따른 패턴 영상의 변화를 도시한다.
예를 들어, 위치 오프셋 파라미터의 캘리브레이션이 완료되지 않았다면 관측된 영상들(921a, 922a, 921b, 922b)에서 위치가 비정렬된 캘리브레이션 패턴이 사용자에게 관측될 수 있다. 예를 들어, 기준 시점을 위해 조합된 캘리브레이션 패턴은 선형 패턴(예: 단일 수평선 패턴 또는 단일 수직선 패턴)일 수 있다. 다시 말해, 위치 오프셋 파라미터의 캘리브레이션을 위한 제3 패턴 영상은 하나 이상의 제1 소스 영상을 이용하여 렌더링되거나, 하나 이상의 제2 소스 영상을 이용하여 렌더링될 수 있다. 수직 패턴 및 수평 패턴 중 하나가 중심에 정렬되면, 나머지 하나도 중심에 정렬되므로, 위치 오프셋 파라미터는 수직 패턴 및 수평 패턴 중 하나를 이용하여 조정될 수 있다. 참고로, 위치 오프셋 파라미터는 선형 패턴의 기울기에는 영향을 주지 않을 수 있다. 위치 오프셋 파라미터는 피치 파라미터 및 기운 각도 파라미터와는 독립적으로 조정될 수 있다.
일 실시예에 따른 프로세서는, 입력에 따라 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 증가시키는 경우에 응답하여, 제3 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 일방향으로 이동시킬 수 있다. 예를 들어, 제3 패턴 영상에 대응하는 패턴이 수평 패턴일 때 위치 오프셋 파라미터를 증가시킨 경우, 전자 장치는 제3 관측된 영상(921a)의 패턴을 제1 방향(예: 하향)으로 이동시킨 캘리브레이션된 영상(929a)을 제공할 수 있다. 제3 패턴 영상에 대응하는 패턴이 수직 패턴일 때 위치 오프셋 파라미터를 증가시킨 경우, 전자 장치는 다른 제3 관측된 영상(921b)의 패턴을 제3 방향(예: 우측으로부터 좌측으로 향하는 방향)으로 이동시킨 캘리브레이션된 영상(929b)을 제공할 수 있다.
또한, 프로세서는 입력에 따라 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 감소시키는 경우에 응답하여, 제3 패턴 영상에 대응하는 패턴을 사용자가 관측하는 방향에서 일방향에 반대되는 다른 방향으로 이동시킬 수 있다. 예를 들어, 제3 패턴 영상에 대응하는 패턴이 수평 패턴일 때 위치 오프셋 파라미터를 감소시킨 경우, 전자 장치는 제2 관측된 영상(922a)의 패턴을 제1 방향에 반대되는 제2 방향(예: 상향)으로 이동시킨 캘리브레이션된 영상(929a)을 제공할 수 있다. 제3 패턴 영상에 대응하는 패턴이 수평 패턴일 때 위치 오프셋 파라미터를 감소시킨 경우, 전자 장치는 다른 제2 관측된 영상(922b)의 패턴을 제4 방향(예: 좌측으로부터 우측으로 향하는 방향)으로 이동시킨 캘리브레이션된 영상(929b)을 제공할 수 있다.
전술한 위치 오프셋 파라미터의 조정을 통해 전자 장치는 기준선(991, 922)이 캘리브레이션 패턴의 중심에 위치되도록 캘리브레이션 패턴의 위치를 이동시킬 수 있다. 사용자가 눈대중으로 제3 패턴 영상에 대응하는 캘리브레이션 패턴이 관측되는 범위(예: 시야)의 중심(예: 기준선에 대응하는 위치)에 정렬되도록 조정할 수 있다.
도 10은 일 실시예에 따른 슬라이더 바를 통한 파라미터 조정을 도시한다.
일 실시예에 따르면 전자 장치는 터치스크린을 통해 슬라이더 바 인터페이스(1020)를 출력할 수 있다. 전자 장치는 터치스크린에서 슬라이더 바 객체를 이동시키는 터치 조작을 사용자(1090)로부터 수신할 수 있다. 예를 들어, 전자 장치는, 사용자(1090) 입력에 의해 슬라이더 바 객체가 일방향(예: 좌측으로부터 우측 방향)으로 이동하는 경우에 응답하여, 파라미터를 증가시킬 수 있다. 다른 예를 들어, 전자 장치는 사용자(1090) 입력에 의해 슬라이더 바 객체가 다른 방향(예: 우측으로부터 좌측 방향)으로 이동하는 경우에 응답하여, 파라미터를 감소시킬 수 있다. 도 10에 도시된 예시는 피치 파라미터의 캘리브레이션을 나타낸다. 전자 장치는 슬라이더 바 객체가 일방향으로 이동되는 경우에 응답하여 피치 파라미터를 증가시킬 수 있다. 예를 들어, 전자 장치는 슬라이더 바 객체의 일방향 이동을 검출하는 경우, 관측된 영상(1011)의 패턴을 반시계 방향으로 회전시킴으로써 캘리브레이션된 영상(1019)을 사용자(1090)에게 제공할 수 있다.
도 11은 일 실시예에 따른 터치 인터페이스를 통한 파라미터 조정을 도시한다.
일 실시예에 따르면, 프로세서는, 입력 수신부에서 회전 조작(1129)을 검출 가능한 입력 모듈에 피치 파라미터 및 기운 각도 파라미터 중 적어도 한 파라미터의 조정을 매핑할 수 있다. 예를 들어, 입력 수신부는, 사용자로부터 회전 조작(1129)을 검출 가능할 수 있다. 입력 수신부가 복수의 입력 모듈들을 포함할 수 있고, 전자 장치는 복수의 입력 모듈들 중 회전 조작(1129)을 검출 가능한 입력 모듈을 선택할 수 있다. 프로세서는, 시차 광학 소자의 캘리브레이션 동안 입력 수신부에서 사용자에 의한 회전 조작(1129)을 검출하는 경우에 응답하여 시차 광학 소자의 파라미터들 중 피치 파라미터 및 기운 각도 파라미터 중 적어도 하나를 조정할 수 있다. 전자 장치는 물리적인 회전 조작(1129)을 검출할 수 있는 물리적인 조작 인터페이스(예: 회전 다이얼) 및/또는 터치 인터페이스(예: 터치 패널 및 터치 스크린(1120))를 통해 피치 파라미터 및/또는 기운 각도 파라미터를 조정할 수 있다. 예시적으로 도 11에서는 터치 스크린(1120)을 통해 회전 조작(1129)을 검출하는 예시를 도시한다.
입력 수신부는, 터치 스크린(1120)을 포함할 수 있다. 프로세서는, 피치 파라미터 및 기운 각도 파라미터 중 적어도 하나의 파라미터에 대한 캘리브레이션 동안 회전 조작(1129)을 안내하는 제1 그래픽 표현(1125)을 터치 스크린(1120)에 출력할 수 있다. 예를 들어, 도 11에서는 전자 장치는 회전 조작(1129)을 가이드하는 원형의 제1 그래픽 표현(1125)를 터치 스크린(1120)에 출력할 수 있다. 프로세서는 제1 그래픽 표현(1125)에 대응하여 터치 스크린(1120) 상의 한 지점을 기준으로 적어도 부분적으로 원형 궤적을 따른 터치 지점의 이동을 검출하는 경우에 응답하여, 피치 파라미터 및 기운 각도 파라미터 중 적어도 하나의 파라미터를 조정할 수 있다.
예시적으로 원형 궤적의 중심점을 기준으로 터치 지점이 시계 방향으로 원형 궤적을 따라 이동하는 경우, 전자 장치는 관측되는 캘리브레이션 패턴(1110)을 시계 방향으로 회전시킬 수 있다. 피치 파라미터 캘리브레이션에서 터치 지점이 시계 방향으로 회전 이동한 경우 전자 장치는 피치 파라미터를 감소시킬 수 있다. 기운 각도 파라미터 캘리브레이션에서 터치 지점이 시계 방향으로 회전 이동한 경우 전자 장치는 기운 각도 파라미터를 증가시킬 수 있다. 터치 지점이 반시계 방향으로 이동하는 경우, 전자 장치는 피치 파라미터의 증가 및/또는 기운 각도 파라미터의 감소를 수행할 수 있다.
다만, 터치 인터페이스에서 회전 조작(1129) 검출만 지원하는 것으로 한정하는 것은 아니다. 프로세서는 입력 수신부에서 직선 조작을 검출 가능한 입력 모듈에 위치 오프셋 파라미터의 조정을 매핑할 수 있다. 입력 수신부가 복수의 입력 모듈들을 포함할 수 있고, 전자 장치는 복수의 입력 모듈들 중 직선 조작(예: 선형 조작)을 검출 가능한 입력 모듈을 선택할 수 있다. 예를 들어, 프로세서는 위치 오프셋 파라미터에 대한 캘리브레이션 동안 직선 조작을 안내하는 제2 그래픽 표현을 터치 스크린(1120)에 출력할 수 있다. 프로세서는 위치 오프셋 파라미터의 캘리브레이션 동안 도 10에서 전술한 슬라이더 바 인터페이스를 제2 그래픽 표현으로서 터치 스크린(1120)을 통해 출력할 수 있다. 프로세서는 제2 그래픽 표현에 대응하여 터치 스크린(1120) 상의 한 지점으로부터 다른 지점까지 터치 지점의 선형 이동을 검출하는 경우에 응답하여, 위치 오프셋 파라미터를 조정할 수 있다. 예시적으로 프로세서는 제2 그래픽 표현을 일방향으로 이동시키는 경우 위치 오프셋 파라미터를 증가시키고, 타방향으로 이동시키는 경우 위치 오프셋 파라미터를 감소시킬 수 있다. 전자 장치는 제2 그래픽 표현의 일방향으로의 이동이 감지되는 경우 캘리브레이션 패턴(1110)도 일방향으로 선형 이동시킬 수 있다. 유사하게, 전자 장치는 제2 그래픽 표현의 타방향으로의 이동이 감지되는 경우 캘리브레이션 패턴(1110)을 타방향으로 선형 이동시킬 수 있다.
도 11에서는 터치 인터페이스에서의 회전 조작 및 직선 조작을 설명하였으나, 이로 한정하는 것은 아니며, 도 12에서는 물리적인 조작 인터페이스 및 파라미터 조정 간의 매핑을 설명한다.
도 12는 일 실시예에 따른 다이얼 인터페이스를 통한 파라미터 조정을 도시한다.
일 실시예에 따르면 전자 장치의 입력 수신부는 다이얼 인터페이스(1221)를 포함할 수 있다. 다이얼 인터페이스(1221)에서 다이얼 노브는 시계 방향 또는 반시계 방향으로 회전 가능하게 전자 장치와 결합될 수 있다. 또한, 다이얼 노브는 일축을 따라 이동 가능하게 전자 장치와 결합될 수 있다. 다시 말해, 다이얼 인터페이스(1221)는 회전 조작 및 직선 조작을 모두 검출할 수 있다.
예를 들어, 프로세서는, 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 제1 패턴 영상에 대응하는 캘리브레이션 패턴(1210)을 반시계 방향으로 회전시킬 수 있다. 프로세서는, 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 피치 파라미터를 증가시킬 수 있다. 전자 장치는 다이얼 노브의 반시계 방향으로의 회전을 검출하는 경우 전술한 바와 같이 피치 파라미터를 증가시킴으로써 캘리브레이션 패턴(1210)을 반시계 방향으로 회전시킬 수 있다.
다른 예를 들어, 프로세서는 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 제1 패턴 영상에 대응하는 캘리브레이션 패턴(1210)을 시계 방향으로 회전시킬 수 있다. 프로세서는 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 피치 파라미터를 감소시킬 수 있다. 전자 장치는 다이얼 노브의 시계 방향으로의 회전을 검출하는 경우 전술한 바와 같이 피치 파라미터를 감소시킴으로써 캘리브레이션 패턴(1210)을 시계 방향으로 회전시킬 수 있다.
따라서 전자 장치는 피치 파라미터의 조정시 회전 조작의 방향(예: 다이얼 노브의 회전 방향)과 캘리브레이션 패턴(1210)의 회전 방향을 일치시킬 수 있다. 전자 장치는 사용자에게 보다 직관적이면서 사용자 친화적인 캘리브레이션 조작을 제공할 수 있다. 차량을 소유 중인 사용자는 내부 요인 또는 외부 요인으로 인해 파라미터에 오차가 발생하는 경우, 전술한 조작을 통해 손쉽게 시차 광학 소자의 파라미터를 수동으로 캘리브레이션할 수 있다. 따라서 사용자는 시차 광학 소자의 파라미터의 캘리브레이션을 위한 외부 서비스 지원을 최소화할 수 있다.
예를 들어, 프로세서는, 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 제2 패턴 영상에 대응하는 캘리브레이션 패턴(1210)을 시계 방향으로 회전시킬 수 있다. 프로세서는, 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 기운 각도 파라미터를 증가시킬 수 있다. 전자 장치는 기운 각도 캘리브레이션에서 다이얼 노브의 시계 방향으로의 회전을 검출하는 경우 전술한 바와 같이 기운 각도 파라미터를 증가시킴으로써 캘리브레이션 패턴(1210)을 시계 방향으로 회전시킬 수 있다.
다른 예를 들어, 프로세서는 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 제2 패턴 영상에 대응하는 캘리브레이션 패턴(1210)을 반시계 방향으로 회전시킬 수 있다. 프로세서는 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 기운 각도 파라미터를 감소시킬 수 있다. 전자 장치는 기운 각도 캘리브레이션에서 다이얼 노브의 반시계 방향으로의 회전을 검출하는 경우 전술한 바와 같이 기운 각도 파라미터를 감소시킴으로써 캘리브레이션 패턴(1210)을 반시계 방향으로 회전시킬 수 있다.
따라서 전자 장치는 기운 각도 파라미터의 조정시 회전 조작의 방향(예: 다이얼 노브의 회전 방향)과 캘리브레이션 패턴(1210)의 회전 방향을 일치시킬 수 있다. 전자 장치는 사용자에게 보다 직관적인 캘리브레이션 조작을 제공할 수 있다. 참고로, 기운 각도 파라미터의 조정에서의 회전 조작 방향에 따른 파라미터 증감 및 피치 파라미터에서의 회전 조작 방향에 따른 파라미터 증감이 서로 반전될 수 있다. 다시 말해, 시계 방향 조작시 피치 파라미터는 감소하고 기운 각도 파라미터는 증가할 수 있다. 반시계 방향 조작시 피치 파라미터는 증가하고 기운 각도 파라미터는 감소할 수 있다.
예를 들어, 프로세서는, 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 제3 패턴 영상에 대응하는 캘리브레이션 패턴(1210)을 일방향에 대응하는 방향으로 이동시킬 수 있다. 프로세서는, 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 위치 오프셋 파라미터를 증가시킬 수 있다. 전자 장치는 다이얼 노브의 일방향(예: 전방으로부터 후방으로의 방향) 이동을 검출하는 경우 위치 오프셋 파라미터를 증가시킴으로써 캘리브레이션 패턴(1210)을 대응하는 방향(예: 위로부터 아래로의 방향)으로 이동시킬 수 있다.
다른 예를 들어, 프로세서는 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 입력 수신부에서 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 제3 패턴 영상에 대응하는 캘리브레이션 패턴(1210)을 다른 방향에 대응하는 방향으로 이동시킬 수 있다. 프로세서는 위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 입력 수신부에서 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 위치 오프셋 파라미터를 감소시킬 수 있다. 전자 장치는 다이얼 노브의 타방향(예: 후방으로부터 전방으로의 방향) 이동을 검출하는 경우 위치 오프셋 파라미터를 감소시킴으로써 캘리브레이션 패턴(1210)을 타방향에 대응하는 방향(예: 아래로부터 위로의 방향)으로 이동시킬 수 있다.
따라서 전자 장치는 위치 오프셋 파라미터의 조정시 직선 조작의 방향(예: 다이얼 노브의 이동 방향)과 캘리브레이션 패턴(1210)의 선형 이동 방향을 대응시킬 수 있다. 전자 장치는 사용자에게 보다 직관적인 캘리브레이션 조작을 제공할 수 있다.
도 12에서 주로 다이얼 노브를 포함하는 다이얼 인터페이스(1221)를 주로 설명하였으나, 이로 한정하는 것은 아니다. 전자 장치는 차량의 핸들에 부착된 버튼(1223), 센터페시아 상에 배치되는 다양한 레버 및/또는 버튼(1222, 1224)을 통해 캘리브레이션을 위한 입력을 수신할 수 있다.
도 13은 일 실시예에 따른 캘리브레이션 결과를 도시한다.
시차 광학 소자의 캘리브레이션이 완료되기 전 좌안 영상 및 우안 영상(1310)에서 각각 서로의 컨텐츠 일부가 포함될 수 있다. 일 실시예에 따르면 시차 광학 소자의 캘리브레이션이 완료되는 경우, 좌안 영상 및 우안 영상(1320)에서 서로의 컨텐츠가 분리되어 나타날 수 있다. 다시 말해, 크로스토크가 제거될 수 있다.
일 실시예에 따르면, 프로세서는, 사용자로부터 캘리브레이션 완료 입력을 수신하는 경우에 응답하여, 시차 광학 소자의 사용자에게 개인화된 파라미터들을 저장할 수 있다. 전자 장치는 개인화된 파라미터들을 이용하여 컨텐츠 영상을 렌더링하여 디스플레이에 출력할 수 있다. 도 4 내지 도 12에서 전술한 바와 같은 인터페이스 및 캘리브레이션 패턴의 피드백을 통해 사용자는 직관적으로 시차 광학 소자의 파라미터들을 수동으로 편리하게 조정할 수 있다.
도 14는 일 실시예에 따른 캘리브레이션 방법을 도시하는 흐름도이다.
우선, 단계(1410)에서 전자 장치는 디스플레이로부터 출력되는, 캘리브레이션 패턴을 렌더링함으로써 생성된, 패턴 영상에 대응하는 광을 시차 광학 소자를 통해 기준 시점으로 제공할 수 있다.
그리고 단계(1420)에서 전자 장치는 기준 시점에서 패턴 영상을 관측한 사용자로부터 시차 광학 소자의 파라미터들에 대한 캘리브레이션을 위한 입력을 수신할 수 있다.
이어서 단계(1430)에서 전자 장치는 입력에 응답하여 시차 광학 소자의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정할 수 있다.
그리고 단계(1440)에서 전자 장치는 조정된 파라미터에 따라 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 디스플레이를 통해 출력할 수 있다.
다만, 전자 장치의 동작이 도 14에서 설명한 바로 한정하는 것은 아니고, 도 1 내지 도 13에서 전술한 동작들 중 적어도 하나와 시계열적으로 및/또는 병렬적으로 수행될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    상기 디스플레이로부터 출력되는 영상에 대응하는 광을 복수의 시점들로 제공하는 시차 광학 소자;
    상기 복수의 시점들 중 기준 시점에서 패턴 영상을 관측한 사용자로부터 상기 시차 광학 소자에 대한 캘리브레이션을 위한 입력을 수신하는 입력 수신부; 및
    캘리브레이션 패턴을 렌더링함으로써 생성된 상기 패턴 영상을 상기 기준 시점을 향해 출력하고, 상기 입력에 응답하여 상기 시차 광학 소자의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정하고, 조정된 파라미터에 따라 상기 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 상기 디스플레이를 통해 출력하는 프로세서
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 피치 파라미터를 증가시키는 경우에 응답하여, 제1 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 반시계 방향으로 회전시키고,
    상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 피치 파라미터를 감소시키는 경우에 응답하여, 제1 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 시계 방향으로 회전시키는,
    전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 기운 각도 파라미터를 증가시키는 경우에 응답하여, 제2 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 시계 방향으로 회전시키고,
    상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 기운 각도 파라미터를 감소시키는 경우에 응답하여, 제2 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 반시계 방향으로 회전시키는,
    전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 증가시키는 경우에 응답하여, 제3 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 일방향으로 이동시키고,
    상기 입력에 따라 상기 시차 광학 소자의 파라미터들 중 위치 오프셋 파라미터를 감소시키는 경우에 응답하여, 제3 패턴 영상에 대응하는 패턴을 상기 사용자가 관측하는 방향에서 상기 일방향에 반대되는 다른 방향으로 이동시키는,
    전자 장치.
  5. 제1항에 있어서,
    상기 입력 수신부는,
    터치 패널, 터치 스크린, 다이얼, 조그 다이얼, 셔틀 다이얼, 클릭 휠, 버튼, 슬라이더 바, 조작 레버 중 적어도 하나 또는 둘 이상의 조합을 포함하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 수신부에서 회전 조작을 검출 가능한 입력 모듈에 피치 파라미터 및 기운 각도 파라미터 중 적어도 한 파라미터의 조정을 매핑하고,
    상기 입력 수신부에서 직선 조작을 검출 가능한 입력 모듈에 위치 오프셋 파라미터의 조정을 매핑하는,
    전자 장치.
  7. 제1항에 있어서,
    상기 입력 수신부는,
    상기 사용자로부터 회전 조작을 검출 가능하고,
    상기 프로세서는,
    상기 시차 광학 소자의 캘리브레이션 동안 상기 입력 수신부에서 상기 사용자에 의한 상기 회전 조작을 검출하는 경우에 응답하여 상기 시차 광학 소자의 파라미터들 중 피치 파라미터 및 기운 각도 파라미터 중 적어도 하나를 조정하는,
    전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제1 패턴 영상에 대응하는 캘리브레이션 패턴을 반시계 방향으로 회전시키고,
    상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제1 패턴 영상에 대응하는 캘리브레이션 패턴을 시계 방향으로 회전시키는,
    전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 피치 파라미터를 증가시키고,
    상기 피치 파라미터에 대응하는 제1 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 피치 파라미터를 감소시키는,
    전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제2 패턴 영상에 대응하는 캘리브레이션 패턴을 시계 방향으로 회전시키고,
    상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 제2 패턴 영상에 대응하는 캘리브레이션 패턴을 반시계 방향으로 회전시키는,
    전자 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 기운 각도 파라미터를 증가시키고,
    상기 기운 각도 파라미터에 대응하는 제2 패턴 영상을 제공하는 동안 상기 입력 수신부에서 반시계 방향의 회전 조작을 검출하는 경우에 응답하여, 상기 기운 각도 파라미터를 감소시키는,
    전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 상기 제3 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 일방향에 대응하는 방향으로 이동시키고,
    위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 상기 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 상기 제3 패턴 영상에 대응하는 캘리브레이션 패턴을 상기 다른 방향에 대응하는 방향으로 이동시키는,
    전자 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 일방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 증가시키고,
    위치 오프셋 파라미터에 대응하는 제3 패턴 영상을 제공하는 동안 상기 입력 수신부에서 상기 일방향에 반대되는 다른 방향의 직선 조작을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 감소시키는,
    전자 장치.
  14. 제1항에 있어서,
    상기 입력 수신부는,
    터치 스크린을 포함하고,
    상기 프로세서는,
    상기 피치 파라미터 및 상기 기운 각도 파라미터 중 적어도 하나의 파라미터에 대한 캘리브레이션 동안 회전 조작을 안내하는 제1 그래픽 표현을 상기 터치 스크린에 출력하고,
    상기 제1 그래픽 표현에 대응하여 상기 터치 스크린 상의 한 지점을 기준으로 적어도 부분적으로 원형 궤적을 따른 터치 지점의 이동을 검출하는 경우에 응답하여, 상기 피치 파라미터 및 상기 기운 각도 파라미터 중 적어도 하나의 파라미터를 조정하며,
    상기 위치 오프셋 파라미터에 대한 캘리브레이션 동안 직선 조작을 안내하는 제2 그래픽 표현을 상기 터치 스크린에 출력하고,
    상기 제2 그래픽 표현에 대응하여 상기 터치 스크린 상의 한 지점으로부터 다른 지점까지 터치 지점의 선형 이동을 검출하는 경우에 응답하여, 상기 위치 오프셋 파라미터를 조정하는,
    전자 장치.
  15. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자로부터 캘리브레이션 완료 입력을 수신하는 경우에 응답하여, 상기 시차 광학 소자의 상기 사용자에게 개인화된 파라미터들을 저장하고,
    상기 개인화된 파라미터들을 이용하여 컨텐츠 영상을 렌더링하여 상기 디스플레이에 출력하는,
    전자 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 피치 파라미터에 대응하는 제1 패턴 영상, 상기 기운 각도 파라미터에 대응하는 제2 패턴 영상, 및 상기 위치 오프셋 파라미터에 대응하는 제3 패턴 영상 중 적어도 하나 또는 둘 이상의 조합을 상기 사용자에게 제공하는,
    전자 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 제1 패턴 영상의 제공을 통한 상기 피치 파라미터의 조정이 완료되는 경우에 응답하여 상기 제2 패턴 영상을 상기 사용자에게 제공하고,
    상기 제2 패턴 영상의 제공을 통한 상기 기운 각도 파라미터의 조정이 완료되는 경우에 응답하여 상기 제3 패턴 영상을 상기 사용자에게 제공하는,
    전자 장치.
  18. 제1항에 있어서,
    상기 디스플레이는,
    모터사이클, 자동차, 기차, 배(watercraft), 항공기(aircraft), 및 우주선(spacecraft)를 포함하는 탈것(vehicle)에 탑재되는 헤드업 디스플레이(HUD, head-up display)의 적어도 일부로서 구현되는,
    전자 장치.
  19. 프로세서로 구현되는 방법에 있어서,
    디스플레이로부터 출력되는, 캘리브레이션 패턴을 렌더링함으로써 생성된, 패턴 영상에 대응하는 광을 시차 광학 소자를 통해 기준 시점으로 제공하는 단계;
    상기 기준 시점에서 패턴 영상을 관측한 사용자로부터 상기 시차 광학 소자의 파라미터들에 대한 캘리브레이션을 위한 입력을 수신하는 단계;
    상기 입력에 응답하여 상기 시차 광학 소자의 피치 파라미터, 기운 각도 파라미터, 및 위치 오프셋 파라미터 중 적어도 하나 또는 둘 이상의 조합을 조정하는 단계; 및
    조정된 파라미터에 따라 상기 캘리브레이션 패턴을 다시 렌더링함으로써 변경된 패턴 영상을 상기 디스플레이를 통해 출력하는 단계
    를 포함하는 방법.
  20. 제19항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체.
KR1020210099801A 2021-07-29 2021-07-29 시차 광학 소자의 캘리브레이션 장치 및 방법 KR20230018075A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020210099801A KR20230018075A (ko) 2021-07-29 2021-07-29 시차 광학 소자의 캘리브레이션 장치 및 방법
US17/672,935 US11778163B2 (en) 2021-07-29 2022-02-16 Device and method to calibrate parallax optical element
CN202210199619.4A CN115695767A (zh) 2021-07-29 2022-03-02 用于校准视差光学元件的电子装置和方法
EP22163843.0A EP4125270A1 (en) 2021-07-29 2022-03-23 Device and method to calibrate parallax optical element
JP2022087417A JP2023020891A (ja) 2021-07-29 2022-05-30 視差光学素子のキャリブレーション装置及び方法
US18/239,611 US20230403388A1 (en) 2021-07-29 2023-08-29 Device and method to calibrate parallax optical element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210099801A KR20230018075A (ko) 2021-07-29 2021-07-29 시차 광학 소자의 캘리브레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230018075A true KR20230018075A (ko) 2023-02-07

Family

ID=80930083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210099801A KR20230018075A (ko) 2021-07-29 2021-07-29 시차 광학 소자의 캘리브레이션 장치 및 방법

Country Status (5)

Country Link
US (2) US11778163B2 (ko)
EP (1) EP4125270A1 (ko)
JP (1) JP2023020891A (ko)
KR (1) KR20230018075A (ko)
CN (1) CN115695767A (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050073530A1 (en) 2003-10-03 2005-04-07 Jay Kapur System and method for display calibration
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
EP2122409B1 (en) 2007-02-25 2016-12-07 Humaneyes Technologies Ltd. A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
JP2012053268A (ja) 2010-09-01 2012-03-15 Canon Inc レンチキュラーレンズ、画像生成装置および画像生成方法
KR101890622B1 (ko) 2011-11-22 2018-08-22 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 칼리브레이션 방법
EP2615838B1 (en) 2012-01-12 2019-08-21 SeeFront GmbH Calibration of an autostereoscopic display system
KR102208898B1 (ko) 2014-06-18 2021-01-28 삼성전자주식회사 무안경 3d 디스플레이 모바일 장치, 이의 설정방법 및 사용방법
JPWO2018142610A1 (ja) * 2017-02-06 2019-06-27 三菱電機株式会社 立体表示装置およびヘッドアップディスプレイ
KR101880751B1 (ko) * 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR101956532B1 (ko) 2018-05-25 2019-03-11 주식회사 모픽 무안경 입체 영상 표시 장치 및 방법
JP7127415B2 (ja) 2018-08-08 2022-08-30 株式会社デンソー 虚像表示装置
KR20200071813A (ko) 2018-11-30 2020-06-22 현대자동차주식회사 3d 클러스터 및 그 보정 방법
CN112130325B (zh) 2020-09-25 2022-07-12 东风汽车有限公司 车载抬头显示器视差矫正系统、方法、存储介质和电子设备

Also Published As

Publication number Publication date
CN115695767A (zh) 2023-02-03
US20230033372A1 (en) 2023-02-02
EP4125270A1 (en) 2023-02-01
JP2023020891A (ja) 2023-02-09
US20230403388A1 (en) 2023-12-14
US11778163B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
JP7370340B2 (ja) ヘッドアップディスプレイ上での拡張現実エクスペリエンスの強化
EP3245550B1 (en) Dual head-up display apparatus
US20180253907A1 (en) Augmented reality alignment system and method
EP3461129B1 (en) Method and apparatus for rendering image
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
CN112639573B (zh) 用于运行机动车用的视野显示设备的方法
JP2019030004A (ja) イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
CN112789545A (zh) 一种hud系统、车辆及虚像的位置调节方法
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
CN106054383A (zh) 抬头显示器以及用于产生自动立体观测的图像的方法
EP3596919A1 (en) Head tracking based depth fusion
JP7358909B2 (ja) 立体表示装置及びヘッドアップディスプレイ装置
KR20230018075A (ko) 시차 광학 소자의 캘리브레이션 장치 및 방법
JP7354846B2 (ja) ヘッドアップディスプレイ装置
US11882266B2 (en) Method and device to calibrate parallax optical element to change of look down angle
JPWO2018101170A1 (ja) 表示装置、及び、電子ミラー
US20230221518A1 (en) Device and method to calibrate parallax optical element for temperature change
WO2020137088A1 (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム
KR20230109051A (ko) 온도 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법
WO2023152403A1 (en) Three-dimensional visualization device and method
JP2007127819A (ja) ディスプレイ装置