KR101741335B1 - 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치 - Google Patents

안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치 Download PDF

Info

Publication number
KR101741335B1
KR101741335B1 KR1020150170431A KR20150170431A KR101741335B1 KR 101741335 B1 KR101741335 B1 KR 101741335B1 KR 1020150170431 A KR1020150170431 A KR 1020150170431A KR 20150170431 A KR20150170431 A KR 20150170431A KR 101741335 B1 KR101741335 B1 KR 101741335B1
Authority
KR
South Korea
Prior art keywords
image
depth
binocular
distance
coordinate
Prior art date
Application number
KR1020150170431A
Other languages
English (en)
Other versions
KR20160067045A (ko
Inventor
메이훙 류
웨이 고우
만량 서
Original Assignee
선전 이스타 디스프레이테크 컴퍼니., 리미티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 이스타 디스프레이테크 컴퍼니., 리미티드. filed Critical 선전 이스타 디스프레이테크 컴퍼니., 리미티드.
Publication of KR20160067045A publication Critical patent/KR20160067045A/ko
Application granted granted Critical
Publication of KR101741335B1 publication Critical patent/KR101741335B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/0484—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H04N13/04—
    • H04N13/0425—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 일종의 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치를 공개하였다. 홀로그램 디스플레이 방법은 관람자의 눈을 실시간으로 추적하여 안구의 영상을 획득하는 단계; 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하는 단계; 및 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계;를 포함한다. 상기 방식을 통해, 본 발명은 카메라가 안구 위치를 선명하게 추적할 수 없는 경우에도, 사용자가 여전히 선명한 3D 영상을 관람할 수 있게 한다.

Description

안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치{HOLOGRAPHIC DISPLAYING METHOD AND DEVICE BASED ON HUMAN EYES TRACKING}
본 발명은 홀로그램 디스플레이 분야에 관한 것으로서, 특히 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치에 관한 것이다.
하나의 물체를 선명하게 보려면, 일반적으로 실제로 보이는 물체의 원근 관계를 결정하고, 물체가 시망막에 맺히는 상을 선명하게 획득하는 두 가지 과정이 필요하다. 이 두 가지 과정은 일반적으로 각각 안구폭주와 안구조절이라 한다. 안구조절은 안구가 초점을 변경함으로써 물체의 선명한 상을 획득하는 과정을 말한다. 안구폭주는 물체가 시망막의 양안 황반 중심의 오목부위에 상이 맺히는 과정을 말하며, 즉 양안이 물체의 전후 위치 또는 피사계심도를 결정하는 과정이다.
사람들이 홀로그램 스크린으로 방영되는 영상을 관람할 때, 사람의 눈이 선명한 홀로그램 디스플레이 영상을 획득할 수 있도록 하기 위하여, 홀로그램 디스플레이 장치는 카메라를 통해 눈의 위치를 획득하고, 더 나아가 눈의 위치에 따라 3D 영상을 조정하여, 사용자의 위치에 변화가 발생했을 때에도 3D 영상을 감상할 수 있게 한다.
그런데, 종래 기술 중의 홀로그램 디스플레이 장치로 디스플레이되는 3D 영상은 결코 사용자가 모든 위치에서 선명한 3D 영상을 볼 수 있는 것은 아니며, 모두 하나의 최적의 관람 범위가 있어, 만약 이 범위를 벗어날 경우, 더이상 선명한 3D 영상을 감상할 수 없다. 또한, 외부의 광선에 변화가 발생했을 때, 예를 들어 광선이 어두워지거나, 카메라가 차단되거나 또는 카메라가 손상되는 등의 상황이 발생한 경우, 종래의 홀로그램 디스플레이 장치는 이미 사용자의 요구를 만족시킬 수 없게 된다.
본 발명이 해결하고자 하는 주요 기술문제는 카메라가 눈의 위치를 선명하게 추적할 수 없는 경우에도 사용자가 여전히 선명한 3D 영상을 관람할 수 있도록 하는 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치를 제공하고자 하는데 있다.
상기 기술문제를 해결하기 위하여, 본 발명이 채택한 기술방안은 안구추적을 기반으로 한 자동적응형 홀로그램 디스플레이 방법을 제공하는 것이며, 이는
관람자의 눈을 실시간으로 추적하여 안구의 영상을 획득하는 단계;
추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하는 단계; 및
추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계;를 포함한다.
그 중, 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계 이후에,
추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정하는 단계, 및
상기 원인을 나타내기 위한 지시 메시지를 표시하는 단계를 더 포함한다.
그 중, 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있을 때, 상기 방법은 상기 추적한 안구 영상에 따라 양안 좌표를 확정하고, 디스플레이되는 3D 영상의 변환 피사계심도를 확대시키는 단계를 더 포함한다.
그 중, 상기 추적한 안구 영상에 따라 양안 좌표를 확정하고, 디스플레이되는 3D 영상의 변환 피사계심도를 확대시키는 단계는 구체적으로 다음과 같다.
상기 추적한 안구 영상에 따라 양안의 스크린에 대한 제1 좌표 정보와 제2 좌표 정보를 확정하는 단계;
상기 양안 간 중심위치의 상기 스크린 중심위치에 대한 제1 거리를 감지하는 단계;
상기 제1 좌표 정보와 제2 좌표 정보에 따라 상기 양안 간의 제2 거리를 획득하는 단계;
상기 제1 거리 및 상기 제2 거리에 따라 상기 양안 간 중심위치의 상기 스크린에 대한 각도를 확정하는 단계; 및
상기 각도 및 3D 인터리브 알고리즘을 이용하여 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰(view)의 편차를 변경하여, 상기 3D 영상의 변환 피사계심도를 확대하는 단계;를 포함한다.
그 중 상기 제1 거리 및 상기 제2 거리에 따라 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도를 확정하는 단계는 구체적으로 다음과 같다.
상기 제1 거리, 상기 제2 거리에 따라 공식
Figure 112015117802368-pat00001
을 이용하여 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도를 확정하는 것이며,
그 중, θ는 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도이고, L은 상기 양안 간의 제2 거리이며, Z는 상기 양안 간 중심위치의 상기 스크린 중심 위치에 대한 제1 거리이다.
그 중, 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계는 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 변경하여 상기 3D 영상의 변환 피사계심도를 감소시키는 단계를 포함한다.
상기 기술문제를 해결하기 위하여, 본 발명의 또 다른 기술방안은 추적모듈, 제어모듈 및 피사계심도 조절모듈을 포함하는 홀로그램 디스플레이 장치를 제공한다.
상기 추적모듈은 관람자의 눈을 실시간으로 추적하여 안구 영상을 획득하기 위한 것이다.
상기 제어모듈은 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하기 위한 것이다.
상기 피사계심도 조절모듈은 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키기 위한 것이다.
그 중, 상기 제어모듈은 또한 상기 추적한 안구영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정하기 위한 것이다.
상기 홀로그램 디스플레이장치는 상기 원인을 나타내는 지시 메시지를 디스플레이하기 위한 디스플레이모듈을 더 포함한다.
그 중, 상기 피사계심도 조절모듈은 또한 상기 추적모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 때, 디스플레이되는 3D 영상의 변환 피사계심도를 확대하기 위한 것이다.
그 중, 상기 피사계심도 조절모듈은 구체적으로 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정하여, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 변경함으로써 상기 디스플레이 영상의 3D 변환 피사계심도를 감소시킨다.
본 발명의 유익한 효과는 다음과 같다. 종래 기술과 달리, 본 발명은 관람자의 눈을 실시간으로 추적하여 안구 영상을 획득하고, 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하며, 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킴으로써, 선명한 3D 영상을 관람할 수 있으며, 사용자의 체험이 증가된다.
도 1은 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 일 실시방식의 흐름도;
도 2는 본 발명의 홀로그램 디스플레이 시스템의 일 실시방식의 구조도;
도 3은 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 다른 일 실시방식의 흐름도;
도 4는 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 또 다른 일 실시방식의 흐름도;
도 5는 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 또 다른 일 실시방식의 흐름도;
도 6은 본 발명의 홀로그램 디스플레이 장치의 일 실시방식의 구조도;
도 7은 본 발명의 홀로그램 디스플레이 장치의 또 다른 일 실시방식의 구조도.
도 1을 참조하면, 도 1은 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 일 실시방식의 흐름도이다. 본 실시방식의 홀로그램 디스플레이 방법은 이하 단계를 포함한다.
101은 관람자의 눈을 실시간으로 추적하여 안구 영상을 획득하는 단계.
홀로그램 디스플레이 장치는 사람의 눈의 위치에 따라 대응하는 홀로그램 디스플레이 영상을 조정하기 위하여, 일반적으로 카메라를 통해 안구 영상을 획득한다. 도 2에 도시된 바와 같이, 본 실시방식의 홀로그램 디스플레이 시스템은 홀로그램 디스플레이 장치(201) 및 카메라(202)를 포함한다. 그 중, 카메라(202)는 상기 홀로그램 디스플레이 장치(201)의 선단에 위치하며, 홀로그램 디스플레이 장치(201)와 전기적으로 접속되어 안구 영상(203)을 획득한다. 그 중, 도 2의 카메라(202)와 홀로그램 디스플레이 장치(201)의 위치는 상대적인 위치이며, 한정된 것은 아니다.
그 중, 홀로그램 디스플레이 장치(301)는 3D 프로젝터와 같이 일반적으로 상용되는 대형 홀로그램 디스플레이 장치를 포함하고, 3D 스마트폰과 같은 3D 스마트 이동 단말장치 역시 포함되며, 3D 영상을 디스플레이할 수 있는 장치라면 모두 가능하여, 여기서는 한정하지 않으며, 카메라의 유형 역시 3D 프로젝터 선단의 카메라, 스마트폰의 전방 카메라 등과 같이 한정하지 않는다.
102는 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하는 단계.
먼저, 홀로그램 디스플레이 장치가 카메라가 정상 작동하는지 여부를 판단하여, 만약 현재 카메라가 손상되었거나 또는 잠시 효력을 잃은 경우, 현재 안구 영상을 추적할 수 없는 것으로, 즉 관람자의 양안 좌표를 확정할 수 없는 것으로 직접 확정한다.
만약 현재 카메라가 정상 작동할 수 있다면, 홀로그램 디스플레이 장치는 카메라가 영상을 획득할 수 있는지 여부를 더 판단하여, 즉, 카메라가 차단되었는지 여부를 더 판단하며, 예를 들어 스마트 단말기를 통해 3D 영상을 재생할 때, 손가락 또는 기타 물건이 카메라를 가리는지 여부 등을 판단하여, 만약 카메라가 영상을 획득할 수 없다고 판단한 경우, 홀로그램 디스플레이 장치는 관람자의 양안 좌표를 확정할 수 없다.
또 다른 일 실시방식에서, 외부 환경의 광 강도값의 크기는 관람자가 3D 영상을 감상하는 해상도에 직접적으로 영향을 줄 수 있기 때문에, 홀로그램 디스플레이 장치는 카메라가 안구 영상을 획득할 때, 상기 안구 영상에 따라 현재 외부 환경의 광 강도값이 미리 설정된 광 강도의 임계치 범위 내에 있는지 여부를 판단하여, 만약 현재 외부 환경의 광 강도값이 미리 설정된 광 강도 범위 내에 있지 않을 경우, 예를 들어 현재 환경의 광 강도가 너무 세거나 또는 너무 어둡다면 모두 선명한 3D 영상을 감상하기 어려우므로, 모두 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 것으로 확정한다.
카메라가 정상적으로 작동하면서 외부 환경의 광 강도값 역시 미리 설정된 광 강도값 범위 내에 있는 경우, 홀로그램 디스플레이 장치는 더 나아가 선명한 안구 영상을 추적할 수 있는지 여부를 확정한다. 일반적인 카메라는 모두 일정한 촬영 거리 및 촬영 각도를 구비하며, 관람자가 처한 거리 또는 각도가 카메라의 거리 또는 각도의 극한값을 초과한 경우, 예를 들어 카메라의 최장 촬영거리가 50m라면, 관람자가 50m 밖에 있을 때, 카메라는 관람자의 안구 영상을 추적할 수 없으며, 즉 안구 영상에 따라 양안 좌표를 확정할 수 없다.
또 다른 일 실시방식에서, 설사 관람자가 카메라의 거리와 각도의 극한 범위 내에 있어 안구 영상을 추적할 수 있더라도, 관람자가 카메라의 유효거리와 유효 각도 범위 내에 있지 않은 경우, 예를 들어 관람자가 카메라에서 너무 멀리 또는 너무 치우치게 있다거나, 사람의 얼굴이 카메라에 대하여 상대적으로 너무 작게 또는 너무 치우쳐 있다면, 홀로그램 디스플레이 장치는 여전히 안구 영상에 따라 관람자의 양안 좌표를 확정할 수 없다.
구체적으로, 기타 실시방식에서, 홀로그램 디스플레이 장치는 안구 영상에 따라 양안의 스크린에 대한 제1 좌표 정보와 제2 좌표 정보를 확정하며, 그 중, 제1 좌표 정보와 제2 좌표 정보는 스크린에 대한 공간좌표 정보로서, 바람직한 실시방식에서, 스크린 중심위치를 좌표 원점으로 하되, 기타 실시방식에서는 스크린의 임의의 위치와 같은 기타 부분을 좌표 원점으로 삼을 수도 있으며, 여기서는 한정하지 않는다. 아울러 제1 좌표 정보와 제2 좌표 정보에 따라 관람자의 양안 간의 중심위치를 확정한다.
또한, 홀로그램 디스플레이 장치는 양안 간 중심위치의 스크린 중심 위치에 대한 제1 거리를 감지하며, 바람직하게는, 홀로그램 디스플레이 장치가 적외선 거리측정기를 통해 제1 거리를 감지한다. 기타 실시방식에서는 기타 방식을 통해 감지할 수도 있으며, 여기서는 한정하지 않는다.
홀로그램 디스플레이 장치는 또한 제1 좌표 정보와 제2 좌표 정보에 따라 양안 간의 제2 거리를 획득하여, 제1 거리 및 제2 거리에 따라 양안 간 중심위치의 스크린에 대한 각도를 확정한다.
구체적으로, 공식
Figure 112015117802368-pat00002
를 이용하여 상기 양안 간 중심위치의 상기 스크린에 대한 각도를 확정한다.
그 중, θ는 상기 양안 간 중심 위치의 상기 스크린에 대한 각도이고, L은 상기 양안 간의 제2 거리이며, Z는 상기 양안 간 중심위치의 상기 스크린 중심위치에 대한 제1 거리이다.
제1 거리와 양안 간 중심위치의 상기 스크린에 대한 각도를 획득한 후, 홀로그램 디스플레이 장치는 각각 제1 거리와 양안 간 중심위치의 상기 스크린에 대한 각도에 대하여 각자의 유효 범위 내에 있는지 여부를 판단하여, 만약 양자 중 하나가 그에 대응되는 유효 범위에 있지 않은 경우, 홀로그램 디스플레이 장치는 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없다고 확정한다.
설명해야 할 점으로, 위에서 열거한 양안 좌표를 추적할 수 없는 실시예는 단지 예를 든 것일 뿐 현재하는 것이 아니며, 기타 실시방식에서, 카메라가 선명한 양안 좌표를 획득할 수 없는 경우라면 모두 본 발명의 보호범위 내에 포함되는 것으로 간주하며, 여기서는 한정하지 않는다.
103은 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계.
구체적으로, 홀로그램 디스플레이 장치가 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 변경하여, 상기 3D 영상의 변환 피사계심도를 감소시킨다.
사람의 눈이 물체를 바라볼 때, 물체는 광선의 원리를 통해 안구에 상이 맺히고, 맺혀진 상이 대뇌로 전달되어 물체의 상을 느끼게 된다. 그러나 물체가 이동하면, 시신경의 물체에 대한 인상은 즉시 소실되지 않고, 대략 0.1초의 시간이 연속되는데, 눈의 이러한 현상을 눈의 시각 잔류현상이라고 한다.
구체적으로, 3D 영상은 일반적으로 프레임을 단위로 하며, 매 프레임마다의 3D 영상은 모두 좌, 우 2장의 다른 각도에서 촬영한 화면을 포함한다. 3D 영상을 재생할 때, 좌, 우측 영상을 교대로 재생하며, 이에 대응하여, 사람의 좌, 우안이 각각 그에 대응되는 좌, 우측 영상을 수신한다. 상기 좌안 데이터 영상과 우안 데이터 영상이 미리 설정된 시간 내에 변환될 때, 좌안에 시각 잔류 현상이 존재하여, 좌안 데이터 영상의 인상이 아직 소실되지 않은 상태에서 좌안 데이터 영상과 약간 차이가 있는 우안 데이터 영상이 또 출현한 후, 대뇌가 2장의 영상을 일체로 합성하여 3D 시각 효과를 구현하게 된다.
따라서, 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정한 후, 상기 피사계심도 파라미터에 따라 디스플레이 영상의 좌우측 뷰의 편차를 감소시킴으로써 상기 3D 영상의 변환 피사계심도를 감소시켜, 사람의 눈이 선명한 3D 영상을 볼 수 있게 하여 사용자의 체험을 증가시킨다.
도 3에 도시된 바와 같이, 도 3은 본 발명의 안구추적을 기반으로 하는 자동적응형 홀로그램 디스플레이 방법의 또 다른 일 실시방식의 흐름도이다.
본 실시방식과 상기한 실시방식의 차이점은, 홀로그램 디스플레이 장치가 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 경우, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계 303 이후에 단계 304를 더 포함한다는데 있다.
304는 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 원인을 획득하는 단계, 및 상기 원인을 나타내기 위한 지시 메시지를 디스플레이하는 단계이다.
구체적으로, 홀로그램 디스플레이 장치가 양안 좌표를 확정할 수 없을 때, 획득할 수 없는 원인을 더 확정한다. 예를 들어 먼저 카메라가 안구 영상을 획득했는지 여부를 판단하여, 만약 카메라가 안구 영상을 획득하지 못하였으면 그 원인을 더 확정한다. 예를 들어 카메라 손상 여부를 판단하거나, 현재 카메라가 가려졌는지 여부를 판단하거나, 현재 외부 환경의 광 강도값이 미리 설정된 광 강도 임계치 범위 내에 있지 않거나 또는 관람자가 카메라의 극한 촬영 거리 및 촬영 각도 밖에 있다는 등의 원인으로 카메라가 안구 영상을 획득할 수 없는지 판단한다.
만약 현재 카메라가 안구 영상을 획득할 수는 있으나 획득된 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 홀로그램 디스플레이 장치는 양안 좌표를 확정할 수 없는 원인을 더 획득한다. 예를 들어 관람자가 비록 카메라의 극한 촬영거리 및 촬영 각도 내에 위치한다 하더라도, 카메라의 유효 거리 또는 유효 범위 내에 있지 않은 경우, 카메라는 비록 안구 영상을 추적할 수는 있으나, 관람자가 카메라의 유효거리와 유효 각도 범위 내에 있지 않으면, 예를 들어 관람자가 카메라로부터 너무 멀리 또는 치우쳐 있거나, 사람의 얼굴이 카메라에 대해 상대적으로 너무 작게 또는 너무 치우쳐 있는 경우, 홀로그램 디스플레이 장치는 여전히 안구 영상에 따라 관람자의 양안 좌표를 추적할 수 었다.
설명해야 할 점으로, 위에서 열거한 양안 좌표를 추적할 수 없는 실시예는 단지 예를 든 것일 뿐 현재하는 것이 아니며, 기타 실시방식에서, 카메라가 선명한 양안 좌표를 획득할 수 없는 경우라면 모두 본 발명의 보호범위 내에 포함되는 것으로 간주하며, 여기서는 한정하지 않는다.
또한, 홀로그램 디스플레이 장치가 양안 좌표를 확정할 수 없는 원인을 확정한 후, 그 스크린에 지시 메시지를 표시하여 양안 좌표를 확정할 수 없는 원인을 나타냄으로써 사용자가 원인에 따라 조정할 수 있게 하는 역할을 한다.
예를 들어, 카메라 손상으로 인해 양안 좌표를 확정할 수 없는 경우, 그 스크린에 "카메라 작동 안함"이라는 지시어를 표시한다. 만약 카메라가 가려진 경우, 스크린에 "물건이 카메라를 가렸음"이라는 지시음을 표시한다. 만약 현재 환경의 광 강도값이 미리 설정된 광 강도의 임계치 범위 내에 있지 않은 경우, "사용 환경이 어두움"이라는 지시어를 표시하며, 만약 거리 또는 각도로 인해 안구 영상에 따라 양안 좌표를 획득할 수 없게 된 경우, "관람 거리가 너무 멈" 또는 "관람 각도가 맞지 않음" 등의 지시음을 표시하며, 여기서는 한정하지 않는다.
또한, 본 실시방식의 홀로그램 디스플레이 방법은 단계 301~303을 더 포함한다. 단계 301~303은 상기 실시방식의 단계 101~103과 동일하며, 구체적인 내용은 도 1 및 관련 설명을 참조하면 되므로 여기서는 설명을 생략한다.
종래 기술과 달리, 본 실시방식의 홀로그램 디스플레이 방법은 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킨 후, 양안 좌표를 획득할 수 없는 원인을 더 확정하고, 상기 원인을 나타내기 위한 지시 메시지를 표시하여, 관람자에게 지시해주는 역할을 함으로써, 관람자가 지시 메시지에 따라 대응하는 조정을 실시하여 더욱 선명하고 효과적인 3D 영상을 관람할 수 있어 사용자의 체험을 증가시킬 수 있다.
도 4에 도시된 바와 같이, 도 4는 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 또 다른 일 실시방식의 흐름도이다.
본 실시방식의 자동적응형 디스플레이 방법과 제1 실시방식의 자동적응형 디스플레이 방법의 차이점은, 홀로그램 디스플레이 장치가 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때 디스플레이 3D 영상의 변환 피사계심도를 감소시킨 후 단계 404를 더 포함한다는데 있다.
404는 상기 추적한 안구 영상에 따라 양안 좌표를 확정하고, 디스플레이되는 3D 영상의 변환 피사계심도를 확대하는 단계.
홀로그램 디스플레이 장치는 디스플레이 3D 영상의 변환 피사계심도가 감소된 후, 안구 영상에 대한 획득을 중지하지 않고, 여전히 실시간으로 카메라를 통해 안구 영상을 획득하여, 추적한 안구 영상에 따라 양안 좌표를 획득할 수 있는지 여부를 확정하는 단계를 더 실행한다.
추적한 안구 영상에 따라 양안 좌표를 확정할 수 있을 때, 홀로그램 디스플레이 장치는 디스플레이되는 3D 영상의 변환 피사계심도를 확대시켜, 원래의 영상으로 회복하여 디스플레이한다.
구체적으로, 홀로그램 디스플레이 장치는 안구 영상에 따라 양안의 스크린에 대한 제1 좌표 정보와 제2 좌표 정보를 확정하며, 그 중, 제1 좌표 정보와 제2 좌표 정보는 스크린에 대한 공간좌표 정보이다. 일 바람직한 실시방식에서, 스크린의 중심위치를 좌표 원점으로 하되, 기타 실시방식에서는 스크린의 임의의 위치와 같은 기타 부분을 좌표 원점으로 삼을 수도 있으며, 여기서는 한정하지 않는다. 제1 좌표 정보와 제2 좌표 정보에 따라 관람자의 양안 간 중심위치를 확정한다.
또한, 홀로그램 디스플레이 장치는 양안 간 중심위치의 스크린 중심 위치에 대한 제1 거리를 감지한다. 바람직하게는, 홀로그램 디스플레이 장치가 적외선 거리측정기를 통해 제1 거리를 감지하며, 기타 실시방식에서는 기타 방식을 통해 감지할 수도 있으며, 여기서는 한정하지 않는다.
홀로그램 디스플레이 장치는 제1 좌표 정보와 제2 좌표 정보에 따라 양안 간의 제2 거리를 더 획득하고, 제1 거리 및 제2 거리에 따라 양안 간의 중심위치의 스크린에 대한 각도를 확정한다.
구체적으로, 공식
Figure 112015117802368-pat00003
을 이용하여 상기 양안 간 중심위치의 상기 스크린에 대한 각도를 확정한다.
상기 각도 및 3D 인터리브 알고리즘을 이용하여 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 확대하여, 상기 3D 영상의 변환 피사계심도를 확대시킨다.
본 실시방식의 홀로그램 디스플레이 방법은 단계 401~403을 더 포함한다. 단계 401~403은 제1 실시방식의 단계 101~103과 동일하며, 구체적인 내용은 도 1 및 관련 설명을 참조하면 되므로, 여기서는 설명을 생략한다.
종래 기술과 달리, 본 실시방식의 홀로그램 디스플레이 방법은 홀로그램 디스플레이 장치가 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킴으로써, 사람의 눈이 선명한 3D 영상을 볼 수 있으며, 사용자의 체험을 증가시킨다.
제1 실시방식과 달리, 본 실시방식의 홀로그램 디스플레이 방법은 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킨 후, 안구 영상을 계속 추적하며, 안구 영상을 추적한 후, 추적한 안구 영상에 따라 양안 좌표를 확정하고 디스플레이되는 3D 영상의 변환 피사계심도를 증가시켜 디스플레이되는 3D 영상이 원래의 디스플레이 효과를 회복함으로써, 관람자가 더욱 선명하고 효과적인 3D 영상을 관람할 수 있으며, 사용자의 체험을 증가시킨다.
또 다른 일 실시방식 중, 도 5에 도시된 바와 같이, 도 5는 본 발명의 안구추적을 기반으로 한 홀로그램 디스플레이 방법의 또 다른 일 실시방식의 흐름도이다.
본 실시방식과 상기 실시방식의 차이점은, 단계 505에서 상기 추적한 안구영상에 따라 양안 좌표를 확정하고, 디스플레이되는 3D 영상의 변환 피사계심도를 확대시키는 단계를 실행하기 전, 단계 504는 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정하는 단계, 및 상기 원인을 나타내기 위한 지시 메시지를 표시하는 단계를 더 포함한다는데 있다.
예를 들어, 카메라 손상으로 인해 양안 좌표를 확정할 수 없는 경우, 그 스크린에 "카메라 작동 안함"이라는 지시어를 표시한다. 만약 카메라가 가려진 경우, 스크린에 "물건이 카메라를 가렸음"이라는 지시음을 표시한다. 만약 현재 환경의 광 강도값이 미리 설정된 광 강도의 임계치 범위 내에 있지 않은 경우, "사용 환경이 어두움"이라는 지시어를 표시하며, 만약 거리 또는 각도로 인해 안구 영상에 따라 양안 좌표를 획득할 수 없게 된 경우, "관람 거리가 너무 멈" 또는 "관람 각도가 맞지 않음" 등의 지시음을 표시하며, 여기서는 한정하지 않는다.
종래 기술과 달리, 본 실시방식의 홀로그램 디스플레이 방법은 홀로그램 디스플레이 장치가 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킴으로써, 사람의 눈이 선명한 3D 영상을 볼 수 있으며 사용자의 체험을 증가시킨다. 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킨 후, 안구 영상을 계속 추적하며, 안구 영상을 추적한 후, 추적한 안구 영상에 따라 양안 좌표를 확정하고 디스플레이되는 3D 영상의 변환 피사계심도를 증가시켜 디스플레이되는 3D 영상이 원래의 디스플레이 효과를 회복함으로써, 관람자가 더욱 선명하고 효과적인 3D 영상을 관람할 수 있다.
상기 실시방식과 달리, 본 실시방식의 3D 디스플레이 방법은 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킨 후, 양안 좌표를 획득할 수 없는 원인을 더 확정하고, 상기 원인을 나타내기 위한 지시 메시지를 표시하여, 관람자에게 지시해주는 역할을 함으로써, 관람자가 지시 메시지에 따라 대응하는 조정을 실시할 수 있어 더욱 선명하고 효과적인 3D 영상을 관람할 수 있으며, 사용자의 체험이 증가된다.
도 6을 참조하면, 도 6은 본 발명의 홀로그램 디스플레이 장치의 일 실시방식의 구조도이다. 본 실시방식의 홀로그램 디스플레이 장치는 추적모듈(601), 제어모듈(602) 및 피사계심도 조절모듈(603)을 포함한다.
추적모듈(601)은 관람자의 눈을 실시간으로 추적하여 안구 영상을 획득하기 위한 것이다.
홀로그램 디스플레이 장치는 사람의 눈의 위치에 따라 대응하는 홀로그램 디스플레이 영상을 조정하기 위하여, 일반적으로 추적모듈(601)이 카메라를 통해 안구 영상을 획득한다.
그 중, 홀로그램 디스플레이 장치는 3D 프로젝터와 같이 일반적으로 상용되는 대형 홀로그램 디스플레이 장치를 포함하고, 3D 스마트폰과 같은 3D 스마트 이동 단말장치 역시 포함되며, 3D 영상을 디스플레이할 수 있는 장치라면 모두 가능하여, 여기서는 한정하지 않으며, 카메라의 유형 역시 3D 프로젝터 선단의 카메라, 스마트폰의 전방 카메라 등과 같이 한정하지 않는다.
제어모듈(602)은 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하기 위한 것이다.
먼저, 제어모듈(602)은 카메라가 정상 작동하는지 여부를 판단하여, 만약 현재 카메라가 손상되었거나 또는 잠시 효력을 잃은 경우, 현재 안구 영상을 추적할 수 없는 것으로, 즉 관람자의 양안 좌표를 확정할 수 없는 것으로 직접 확정한다.
만약 현재 카메라가 정상 작동할 수 있다면, 제어모듈(602)은 카메라가 영상을 획득할 수 있는지 여부를 더 판단하며, 즉, 카메라가 차단되었는지 여부를 더 판단하여, 예를 들어 스마트 단말기를 통해 3D 영상을 재생할 때, 손가락 또는 기타 물건이 카메라를 가리는지 여부 등을 판단하여, 만약 카메라가 영상을 획득할 수 없다고 판단된 경우, 홀로그램 디스플레이 장치는 관람자의 양안 좌표를 확정할 수 없다.
또 다른 일 실시방식에서, 외부 환경의 광 강도값의 크기는 관람자가 3D 영상을 감상하는 해상도에 직접적으로 영향을 줄 수 있기 때문에, 제어모듈(602)은 카메라가 안구 영상을 획득할 때, 상기 안구 영상에 따라 현재 외부 환경의 광 강도값이 미리 설정된 광 강도의 임계치 범위 내에 있는지 여부를 더 판단하여, 만약 현재 외부 환경의 광 강도값이 미리 설정된 광 강도 범위 내에 있지 않을 경우, 예를 들어 현재 환경의 광 강도가 너무 세거나 또는 너무 어둡다면 모두 선명한 3D 영상을 감상하기 어려우므로, 제어모듈(602)은 모두 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없는 것으로 확정한다.
카메라가 정상적으로 작동하면서 외부 환경의 광 강도값 역시 미리 설정된 광 강도값 범위 내에 있을 때, 제어모듈(602)은 선명한 안구 영상을 추적할 수 있는지 여부를 더 확정한다. 일반적인 카메라는 모두 일정한 촬영 거리 및 촬영 각도를 구비하며, 관람자가 처한 거리 또는 각도가 카메라의 거리 또는 각도의 극한값을 초과한 경우, 예를 들어 카메라의 최장 촬영거리가 50m라면, 관람자가 50m 밖에 있을 때, 카메라는 관람자의 안구 영상을 추적할 수 없으며, 제어모듈(602)은 즉 안구 영상에 따라 양안 좌표를 확정할 수 없다.
또 다른 일 실시방식에서, 설사 관람자가 카메라의 거리와 각도의 극한 범위 내에 있어 안구 영상을 추적할 수 있더라도, 관람자가 카메라의 유효거리와 유효 각도 범위 내에 있지 않은 경우, 예를 들어 관람자가 카메라에서 너무 멀리 또는 너무 치우치게 있다거나, 사람의 얼굴이 카메라에 대하여 상대적으로 너무 작게 또는 너무 치우쳐 있다면, 제어모듈(602)은 여전히 안구 영상에 따라 관람자의 양안 좌표를 확정할 수 없다.
구체적으로, 기타 실시방식에서, 제어모듈(602)은 안구 영상에 따라 양안의 스크린에 대한 제1 좌표 정보와 제2 좌표 정보를 확정하며, 그 중, 제1 좌표 정보와 제2 좌표 정보는 스크린에 대한 공간좌표 정보로서, 바람직한 실시방식에서, 스크린 중심위치를 좌표 원점으로 하며, 기타 실시방식에서는 스크린의 임의의 위치와 같은 기타 부분을 좌표 원점으로 삼을 수도 있으며, 여기서는 한정하지 않는다. 아울러 제1 좌표 정보와 제2 좌표 정보에 따라 관람자의 양안 간의 중심위치를 확정한다.
또한, 제어모듈(602)은 양안 간의 중심위치의 스크린 중심 위치에 대한 제1 거리를 감지하며, 바람직하게는, 제어모듈(602)은 적외선 거리측정기를 통해 제1 거리를 감지한다. 기타 실시방식에서는 기타 방식을 통해 감지할 수도 있으며, 여기서는 한정하지 않는다.
제어모듈(602)은 또한 제1 좌표 정보와 제2 좌표 정보에 따라 양안 간의 제2 거리를 획득하여, 제1 거리 및 제2 거리에 따라 양안 간의 중심위치의 스크린에 대한 각도를 확정한다.
구체적으로, 제어모듈(602)은 공식
Figure 112015117802368-pat00004
을 이용하여 상기 양안 간의 주심위치의 상기 스크린에 대한 각도를 확정한다.
그 중, θ는 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도이고, L은 상기 양안 간의 제2 거리이며, Z는 상기 양안 간의 중심 위치의 상기 스크린 중심 위치에 대한 제1 거리이다.
제1 거리와 양안 간의 중심 위치의 상기 스크린에 대한 각도를 획득한 후, 제어모듈(602)은 각각 제1 거리와 양안 간 중심위치의 상기 스크린에 대한 각도에 대하여 각자의 유효 범위 내에 있는지 여부를 판단하여, 만약 양자 중 하나가 그에 대응되는 유효 범위에 있지 않은 경우, 제어모듈(602)은 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없다고 확정한다.
설명해야 할 점으로, 위에서 열거한 양안 좌표를 추적할 수 없는 실시예는 단지 예를 든 것일 뿐 현재하는 것이 아니며, 기타 실시방식에서, 카메라가 선명한 양안 좌표를 획득할 수 없는 경우라면 모두 본 발명의 보호범위 내에 포함되는 것으로 간주하고, 여기서는 한정하지 않는다.
피사계심도 조절모듈(603)은 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정하기 위한 것이다.
구체적으로, 피사계심도 조절모듈(603)은 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 변경하여, 상기 3D 영상의 변환 피사계심도를 감소시킨다.
사람의 눈이 물체를 바라볼 때, 물체는 광선의 원리를 통해 안구에 상이 맺히고, 맺혀진 상이 대뇌로 전달되어 물체의 상을 느끼게 된다. 그러나 물체가 이동하면, 시신경의 물체에 대한 인상은 즉시 소실되지 않고, 대략 0.1초의 시간이 연속되는데, 눈의 이러한 현상을 눈의 시각 잔류현상이라고 한다.
구체적으로, 3D 영상은 일반적으로 프레임을 단위로 하며, 매 프레임마다의 3D 영상은 모두 좌, 우 2장의 다른 각도에서 촬영한 화면을 포함한다. 3D 영상을 재생할 때, 좌, 우측 영상을 교대로 재생하며, 이에 대응하여, 사람의 좌, 우안이 각각 그에 대응되는 좌, 우측 영상을 수신한다. 상기 좌안 데이터 영상과 우안 데이터 영상이 미리 설정된 시간 내에 변환될 때, 좌안에 시각 잔류 현상이 존재하여, 좌안 데이터 영상의 인상이 아직 소실되지 않은 상태에서 좌안 데이터 영상과 약간 차이가 있는 우안 데이터 영상이 또 출현한 후, 대뇌가 2장의 영상을 일체로 합성하여 3D 시각 효과를 구현하게 된다.
따라서, 피사계심도 조절모듈(603)은 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정한 후, 상기 피사계심도 파라미터에 따라 디스플레이 영상의 좌우측 뷰의 편차를 감소시킴으로써 상기 3D 영상의 변환 피사계심도를 감소시켜, 관람자가 더욱 선명하게 관람할 수 있다.
종래 기술과 달리, 본 발명의 추적모듈은 관람자의 눈을 실시간으로 추적하여 안구 영상을 획득하고, 판단모듈은 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하며, 피사계심도 조절모듈은 판단모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없다고 판단하였을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킴으로써, 사람의 눈이 선명한 3D 영상을 볼 수 있으며, 사용자의 체험이 증가된다.
또 다른 일 실시방식에서, 추적모듈은 또한 판단모듈이 추적모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없어 피사계심도 조절모듈이 디스플레이되는 3D 영상의 피사계심도를 감소시킨 후, 안구 영상을 계속 추적하기 위한 것이다. 판단모듈이 추적모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있을 때, 피사계심도 조절 모듈은 또한 디스플레이되는 3D 영상의 변환 피사계심도를 확대하여 원래의 영상을 회복하여 디스플레이하도록 하기 위한 것이다.
구체적으로, 판단모듈은 안구 영상에 따라 양안의 스크린에 대한 제1 좌표 정보와 제2 좌표 정보를 확정하며, 그 중, 제1 좌표 정보와 제2 좌표 정보는 스크린에 대한 공간좌표 정보이다. 일 바람직한 실시방식에서, 스크린의 중심위치를 좌표 원점으로 하며, 기타 실시방식에서는 스크린의 임의의 위치와 같은 기타 부분을 좌표 원점으로 삼을 수도 있으며, 여기서는 한정하지 않는다. 제1 좌표 정보와 제2 좌표 정보에 따라 관람자의 양안 간의 중심위치를 확정한다.
또한, 홀로그램 디스플레이 장치는 양안 간 중심위치의 스크린 중심 위치에 대한 제1 거리를 감지한다. 바람직하게는, 홀로그램 디스플레이 장치는 적외선 거리측정기를 통해 제1 거리를 감지하며, 기타 실시방식에서는 기타 방식을 통해 감지할 수도 있어, 여기서는 한정하지 않는다.
판단모듈은 제1 좌표 정보와 제2 좌표 정보에 따라 양안 간의 제2 거리를 더 획득하고, 제1 거리 및 제2 거리에 따라 양안 간의 중심위치의 스크린에 대한 각도를 확정한다.
구체적으로, 판단모듈은 공식
Figure 112015117802368-pat00005
을 이용하여 상기 양안 간의 중심위치의 상기 스크린에 대한 각도를 확정한다.
피사계심도 조절모듈은 상기 각도 및 3D 인터리브 알고리즘을 이용하여 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 확대하여, 상기 3D 영상의 변환 피사계심도를 확대시킨다.
종래 기술과 달리, 본 실시방식의 홀로그램 디스플레이 장치의 판단모듈은 추적모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 피사계심도 조절모듈이 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킴으로써, 사람의 눈이 선명한 3D 영상을 볼 수 있으며, 사용자의 체험이 증가된다.
상기 일 실시방식과 달리, 본 실시방식의 피사계심도 조절모듈은 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킨 후, 추적모듈이 안구 영상을 계속 추적하며, 판단모듈은 안구 영상을 추적한 후, 추적한 안구 영상에 따라 양안 좌표를 확정하고, 또한, 피사계심도 조절모듈은 디스플레이되는 3D 영상의 변환 피사계심도를 증가시킴으로써 디스플레이되는 3D 영상이 원래의 디스플레이 효과를 회복하여, 관람자가 더욱 선명하고 효과적인 3D 영상을 관람할 수 있으며, 사용자의 체험이 증가된다.
또 다른 일 실시방식 중, 도 7을 참조하면, 도 7은 본 발명의 홀로그램 디스플레이 장치의 또 다른 실시방식의 구조도이다. 본 실시방식의 홀로그램 디스플레이 장치는 상기 일 실시방식 중의 추적모듈(701), 판단모듈(702), 피사계심도 조절모듈(703) 이외에, 디스플레이모듈(704)을 더 포함한다.
디스플레이모듈(704)은 제어모듈(702)이 추적모듈(701)이 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정한 후, 상기 원인을 나타내기 위한 지시 메시지를 표시하기 위한 것이다.
예를 들어, 카메라 손상으로 인해 양안 좌표를 확정할 수 없는 경우, 그 스크린에 "카메라 작동 안함"이라는 지시어를 표시한다. 만약 카메라가 가려진 경우, 스크린에 "물건이 카메라를 가렸음"이라는 지시음을 표시한다. 만약 현재 환경의 광 강도값이 미리 설정된 광 가도 임계치 범위 내에 있지 않은 경우, "사용 환경이 어두움"이라는 지시어를 표시하며, 만약 거리 또는 각도로 인해 안구 영상에 따라 양안 좌표를 획득할 수 없게 된 경우, "관람 거리가 너무 멈" 또는 "관람 각도가 맞지 않음" 등의 지시음을 표시하며, 여기서는 한정하지 않는다.
설명해야 할 점으로, 위에서 열거한 양안 좌표를 추적할 수 없는 실시예는 단지 예를 든 것일 뿐 현재하는 것이 아니며, 기타 실시방식에서, 카메라가 선명한 양안 좌표를 획득할 수 없는 경우라면 모두 본 발명의 보호범위 내에 포함되는 것으로 간주하고, 여기서는 한정하지 않는다.
종래 기술과 달리, 본 실시방식의 홀로그램 디스플레이 장치의 판단모듈은 추적모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킴으로써, 사람의 눈이 선명한 3D 영상을 볼 수 있으며, 사용자의 체험이 증가된다.
상기 일 실시방식과 달리, 본 실시방식의 홀로그램 디스플레이 장치는 디스플레이되는 3D 영상의 변환 피사계심도를 감소시킨 후, 양안 좌표를 획득할 수 없는 원인을 더 확정하고, 상기 원인을 나타내기 위한 지시 메시지를 표시하여, 관람자에게 지시해주는 역할을 함으로써, 관람자가 지시 메시지에 따라 대응하는 조정을 실시할 수 있어 더욱 선명하고 효과적인 3D 영상을 관람할 수 있으며, 사용자의 체험이 증가된다.
본 발명은 전술한 실시예에 국한하지 않으며, 본 발명의 기술적사상과 범위를 벗어나지 않는 한 본 발명에 관련된 여러 변형 및 개량형태는 모두 본 발명의 보호 범위내에 포함된다.

Claims (10)

  1. 관람자의 눈을 실시간으로 추적하여 안구의 영상을 획득하는 단계;
    추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하는 단계; 및
    추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계 심도를 감소시키는 단계;를 포함하고,
    추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키는 단계는
    3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 변경하여 상기 3D 영상의 변환 피사계심도를 감소시키는 단계를 포함하는 것을 특징으로 하는 안구추적을 기반으로 한 홀로그램 디스플레이 방법.
  2. 제 1항에 있어서,
    추적한 안구 영상에 따라 양안 좌표를 확정할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계 심도를 감소시키는 단계 이후에,
    추적한 안구 영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정하는 단계; 및
    상기 원인을 나타내기 위한 지시 메시지를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 안구추적을 기반으로 한 홀로그램 디스플레이 방법.
  3. 제 1항 또는 2항에 있어서,
    추적한 안구 영상에 따라 양안 좌표를 확정할 수 있을 때, 상기 방법은
    상기 추적한 안구 영상에 따라 양안 좌표를 확정하고, 디스플레이되는 3D 영상의 변환 피사계심도를 확대시키는 단계를 더 포함하는 것을 특징으로 하는 안구추적을 기반으로 한 홀로그램 디스플레이 방법.
  4. 제 3항에 있어서,
    상기 추적한 안구 영상에 따라 양안 좌표를 확정하고, 디스플레이되는 3D 영상의 변환 피사계심도를 확대시키는 단계는 구체적으로
    상기 추적한 안구 영상에 따라 양안의 스크린에 대한 제1 좌표 정보와 제2 좌표 정보를 확정하는 단계;
    상기 양안 간 중심위치의 상기 스크린 중심위치에 대한 제1 거리를 감지하는 단계;
    상기 제1 좌표 정보와 제2 좌표 정보에 따라 상기 양안 간의 제2 거리를 획득하는 단계;
    상기 제1 거리 및 상기 제2 거리에 따라 상기 양안 간 중심위치의 상기 스크린에 대한 각도를 확정하는 단계; 및
    상기 각도 및 3D 인터리브 알고리즘을 이용하여 피사계심도 파라미터를 확정하고, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰(view)의 편차를 변경하여, 상기 3D 영상의 변환 피사계심도를 확대하는 단계;를 포함하는 것을 특징으로 하는 안구추적을 기반으로 한 홀로그램 디스플레이 방법.
  5. 제 4항에 있어서,
    상기 제1 거리 및 상기 제2 거리에 따라 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도를 확정하는 단계는 구체적으로
    상기 제1 거리, 상기 제2 거리에 따라 공식
    Figure 112016109661329-pat00006
    을 이용하여 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도를 확정하는 것이며,
    그 중, θ는 상기 양안 간의 중심 위치의 상기 스크린에 대한 각도이고, L은 상기 양안 간의 제2 거리이며, Z는 상기 양안 간 중심위치의 상기 스크린 중심 위치에 대한 제1 거리인 것을 특징으로 하는 안구추적을 기반으로 한 홀로그램 디스플레이 방법.
  6. 삭제
  7. 일종의 홀로그램 디스플레이 장치에 있어서,
    추적모듈, 제어모듈 및 피사계심도 조절모듈을 포함하며,
    상기 추적모듈은 관람자의 눈을 실시간으로 추적하여 안구 영상을 획득하기 위한 것이고,
    상기 제어모듈은 추적한 안구 영상에 따라 양안 좌표를 확정할 수 있는지 여부를 판단하기 위한 것이며,
    상기 피사계심도 조절모듈은 추적한 안구 영상에 따라 양안 좌표를 획득할 수 없을 때, 디스플레이되는 3D 영상의 변환 피사계심도를 감소시키기 위한 것이며,
    상기 피사계심도 조절모듈은 구체적으로 3D 인터리브 알고리즘을 통해 피사계심도 파라미터를 확정하여, 상기 피사계심도 파라미터에 따라 상기 디스플레이 영상의 좌우측 뷰의 편차를 변경함으로써 상기 디스플레이 영상의 3D 변환 피사계심도를 감소시키는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  8. 제 7항에 있어서,
    상기 제어모듈은 또한 상기 추적한 안구영상에 따라 양안 좌표를 획득할 수 없는 원인을 확정하기 위한 것이며,
    상기 홀로그램 디스플레이장치는 상기 원인을 나타내는 지시 메시지를 디스플레이하기 위한 디스플레이모듈을 더 포함하는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  9. 제 7항 또는 8항에 있어서,
    상기 피사계심도 조절모듈은 또한 상기 추적모듈이 추적한 안구 영상에 따라 양안 좌표를 확정할 때, 디스플레이되는 3D 영상의 변환 피사계심도를 확대하기 위한 것임을 특징으로 하는 홀로그램 디스플레이 장치.
  10. 삭제
KR1020150170431A 2014-12-03 2015-12-02 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치 KR101741335B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410728142.X 2014-12-03
CN201410728142.XA CN104539924A (zh) 2014-12-03 2014-12-03 基于人眼追踪的全息显示方法及全息显示装置

Publications (2)

Publication Number Publication Date
KR20160067045A KR20160067045A (ko) 2016-06-13
KR101741335B1 true KR101741335B1 (ko) 2017-05-29

Family

ID=52855383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170431A KR101741335B1 (ko) 2014-12-03 2015-12-02 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치

Country Status (5)

Country Link
US (1) US20160165205A1 (ko)
EP (1) EP3029935A1 (ko)
JP (1) JP2016110147A (ko)
KR (1) KR101741335B1 (ko)
CN (1) CN104539924A (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066862B (zh) 2007-09-24 2022-11-25 苹果公司 电子设备中的嵌入式验证系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10623723B2 (en) 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
US11240487B2 (en) 2016-12-05 2022-02-01 Sung-Yang Wu Method of stereo image display and related device
US20180160093A1 (en) 2016-12-05 2018-06-07 Sung-Yang Wu Portable device and operation method thereof
CN107045201B (zh) * 2016-12-27 2019-09-06 上海与德信息技术有限公司 一种基于vr装置的显示方法及系统
CN106772821B (zh) * 2017-01-09 2023-04-28 河北博威集成电路有限公司 一种可交互裸眼3d系统
CN108696742A (zh) * 2017-03-07 2018-10-23 深圳超多维科技有限公司 显示方法、装置、设备及计算机可读存储介质
CN107092351A (zh) * 2017-03-22 2017-08-25 蔡思强 一种适用于各类显示屏的内容缓震动技术
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
KR102103866B1 (ko) * 2017-09-09 2020-04-24 애플 인크. 생체측정 인증의 구현
CN109584285B (zh) * 2017-09-29 2024-03-29 中兴通讯股份有限公司 一种显示内容的控制方法、装置及计算机可读介质
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
RU2686576C1 (ru) 2017-11-30 2019-04-29 Самсунг Электроникс Ко., Лтд. Компактное устройство голографического дисплея
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11036048B2 (en) * 2018-10-03 2021-06-15 Project Whitecard Digital Inc. Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
CN110674715B (zh) * 2019-09-16 2022-02-18 宁波视睿迪光电有限公司 基于rgb图像的人眼跟踪方法及装置
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
CN112052827B (zh) * 2020-09-21 2024-02-27 陕西科技大学 一种基于人工智能技术的屏幕隐藏方法
CN114020150A (zh) * 2021-10-27 2022-02-08 纵深视觉科技(南京)有限责任公司 图像显示方法、装置、电子设备及介质
CN114449250A (zh) * 2022-01-30 2022-05-06 纵深视觉科技(南京)有限责任公司 用户相对裸眼3d显示设备的观看位置的确定方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259045A (ja) * 2010-06-07 2011-12-22 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4812008B2 (ja) * 2006-04-07 2011-11-09 三菱電機株式会社 画像表示装置
JP5453552B2 (ja) * 2010-12-24 2014-03-26 富士フイルム株式会社 撮影装置、方法及びプログラム
KR101824005B1 (ko) * 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
CN102223564A (zh) * 2011-07-13 2011-10-19 黑龙江省四维影像数码科技有限公司 2d/3d可切换、景深可调显示模组
JP5087163B1 (ja) * 2011-08-31 2012-11-28 株式会社東芝 立体画像表示装置
JP5129377B1 (ja) * 2011-08-31 2013-01-30 株式会社東芝 映像処理装置
CN102595172A (zh) * 2011-12-06 2012-07-18 四川长虹电器股份有限公司 3d影像的显示方法
JP6115561B2 (ja) * 2012-03-07 2017-04-19 富士通株式会社 立体画像表示装置及びプログラム
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
LU92138B1 (en) * 2013-01-18 2014-07-21 Neo Medical Systems S A Head tracking method and device
TWI528785B (zh) * 2013-02-08 2016-04-01 瑞昱半導體股份有限公司 立體影像的調整裝置及其方法
US20150116458A1 (en) * 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
KR102250821B1 (ko) * 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259045A (ja) * 2010-06-07 2011-12-22 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム

Also Published As

Publication number Publication date
JP2016110147A (ja) 2016-06-20
EP3029935A1 (en) 2016-06-08
KR20160067045A (ko) 2016-06-13
US20160165205A1 (en) 2016-06-09
CN104539924A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
KR101741335B1 (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
EP3035681B1 (en) Image processing method and apparatus
EP2701390B1 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US20170264881A1 (en) Information processing apparatus, information processing method, and program
US7221863B2 (en) Image processing apparatus and method, and program and recording medium used therewith
KR101275542B1 (ko) 3차원 화상표시장치 및 3차원 화상표시방법
JP6020923B2 (ja) 焦点可変レンズを有するビューア、および映像表示システム
WO2019070465A1 (en) CORRECTION AND REPROJECTION OF IPD FOR A PRECISE PLACEMENT OF OBJECT OF MIXED REALITY
CN109901710B (zh) 媒体文件的处理方法和装置、存储介质及终端
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
US9160931B2 (en) Modifying captured image based on user viewpoint
US20150187115A1 (en) Dynamically adjustable 3d goggles
US9106906B2 (en) Image generation system, image generation method, and information storage medium
JP2010541513A (ja) ワンソース・マルチユース（ｏｓｍｕ）タイプのステレオカメラ及びそのステレオ画像コンテンツ制作方法
US20150304625A1 (en) Image processing device, method, and recording medium
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US20190139246A1 (en) Information processing method, wearable electronic device, and processing apparatus and system
CN103517060A (zh) 一种终端设备的显示控制方法及装置
KR101270025B1 (ko) 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
CN104216126A (zh) 一种变焦3d显示技术
JP5331785B2 (ja) 立体画像分析装置
WO2017191703A1 (ja) 画像処理装置
JP2006287813A (ja) ３次元画像表示装置
KR20160041403A (ko) 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant