KR100380994B1 - 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법 - Google Patents

응시지점을 따라가는 입체 영상 표시 장치 및 그 방법 Download PDF

Info

Publication number
KR100380994B1
KR100380994B1 KR10-2000-0082270A KR20000082270A KR100380994B1 KR 100380994 B1 KR100380994 B1 KR 100380994B1 KR 20000082270 A KR20000082270 A KR 20000082270A KR 100380994 B1 KR100380994 B1 KR 100380994B1
Authority
KR
South Korea
Prior art keywords
image
gaze point
image display
head
images
Prior art date
Application number
KR10-2000-0082270A
Other languages
English (en)
Other versions
KR20020053986A (ko
Inventor
박준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2000-0082270A priority Critical patent/KR100380994B1/ko
Publication of KR20020053986A publication Critical patent/KR20020053986A/ko
Application granted granted Critical
Publication of KR100380994B1 publication Critical patent/KR100380994B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 매 순간마다 얼굴(머리) 및 안구의 움직임을 추적하여 응시지점을 추출하고, 이 응시지점에 해당하는 스테레오 이미지를 표시하기 위한 입체 영상 표시 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 가상현실 공간상에서 표시될 객체에 대한 3차원 모델을 생성하여 저장하기 위한 3차원 모델 저장 수단; 사용자의 머리(얼굴) 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지 수단; 상기 머리 및 안구 움직임 탐지 수단으로부터 전달받은 머리 위치와 안구 이미지로부터 상기 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정 수단; 상기 3차원 모델 저장 수단에 저장되어 있는 객체의 3차원 모델을 기반으로 상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점에 해당하는 스테레오 이미지를 생성하기 위한 이미지 생성 수단; 및 상기 이미지 생성 수단에서 생성된 좌,우측 이미지를 표시하기 위한 표시 수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 입체영화, 입체 영상을 제공하는 컴퓨터 게임, 가상현실 디스플레이, 가상현실 통신, 전시관에서의 정지영상의 입체 디스플레이 등과 같은 실제 이미지에 대한 입체 영상과 가상 현실에서 입체 영상 표시 등에 이용됨.

Description

응시지점을 따라가는 입체 영상 표시 장치 및 그 방법{Three-dimensional display apparatus and method with gaze point feedback}
본 발명은 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 관람자의 머리(얼굴) 위치와 안구 움직임으로부터 추출한 응시지점 정보를 기반으로 해당 응시지점에 해당하는 스테레오 이미지를 능동적으로 표시하므로써, 관람자가 초점거리를 맞추어야 하는 제약을 제거하여 관람자가 시야에서 임의로 원하는 지점을 주시할 수 있고 응시지점을 임의로 바꿀 수 있도록 하여 입체 영상 관람시 눈의 피로감을 없애고 자연스러운 영상을 제공하기 위한 입체 영상 표시 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
사람은 좌우 두개의 눈을 가지고 있으며, 두 눈의 위치가 달라 오른쪽 눈의 망막에 맺히는 상과 왼쪽 눈의 망막에 맺히는 상이 서로 달라진다. 그런데, 시야에 들어오는 각 사물들은 보는 사람으로부터 떨어진 거리에 따라 좌우 눈에 맺히는 상에서의 위치 차이도 달라진다. 즉, 사물이 가까울수록 두눈에 맺히는 상도 많이 달라지며, 반면에 사물이 멀리 떨어져 있을수록 두 눈에 맺히는 상은 차이가 없어진다. 따라서, 좌우 두 눈에 맺히는 상의 차이로부터 해당 거리에 대한 정보를 복원할 수 있으며, 이에 따라 입체감을 느끼게 된다.
이러한 원리를 응용하여 두 눈에 각각 다른 영상을 보이게 하므로써, 입체 영상을 구현할 수 있다. 이러한 방법은 현재 입체 영화나, 가상현실의 구현에 사용되고 있다.
그런데, 3차원 영상이 주는 뛰어난 현실감에도 불구하고 아직 이러한 장치가 널리 보급되고 있지 않은 것은 3차원 입체 영상 관람시 눈이 쉽게 피로해진다는 문제가 있기 때문이다. 이처럼 눈이 쉽게 피로한 이유는 종래의 입체 영상 표시 방법에서 매 순간마다 미리 정해진 좌, 우 두 이미지를 제공하여, 보는 관람자로 하여금 주어진 이미지에 맞추어 관람자가 응시지점을 따라가도록 강요하고 있기 때문이다.
그러나, 일상생활에서 사람들은 얼굴이나 눈을 움직여서 원하는 곳을 마음대로 보고 있으며, 지정된 바에 따라 응시지점을 따라가는 것은 매우 부자연스러운 상황이 되어 눈에 큰 부담을 주게 된다.
상술한 바와 같이, 종래의 입체 영상 표시 방법에서는 입체 영상을 나타내는 두 스테레오 이미지에서 초점거리가 일방적으로 주어짐에 따라 관람자가 이를 따라가기 위하여 무리하게 안구 운동을 하기 때문에, 입체 영상을 짧은 시간동안 보더라도 눈이 아프고, 머리가 어지러운 현상이 일어나는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 매 순간마다 얼굴(머리) 및 안구의 움직임을 추적하여 응시지점을 추출하고, 이 응시지점에 해당하는 스테레오 이미지를 표시하기 위한 입체 영상 표시 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
즉, 본 발명은, 관람자의 머리(얼굴) 위치와 안구 움직임으로부터 추출한 응시지점 정보를 기반으로 해당 응시지점에 해당하는 스테레오 이미지를 능동적으로 표시하므로써, 관람자가 초점거리를 맞추어야 하는 제약을 제거하여 관람자가 시야에서 임의로 원하는 지점을 주시할 수 있고 응시지점을 임의로 바꿀 수 있도록 하여 입체 영상 관람시 눈의 피로감을 없애고 자연스러운 영상을 제공하기 위한 입체 영상 표시 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명의 일실시예에 따른 가상현실 입체 영상 표시 장치의 구성도.
도 2 는 본 발명의 일실시예에 따른 가상현실 입체 영상 표시 방법에 대한 흐름도.
도 3 은 본 발명의 다른 실시예에 따른 자연 영상에 대한 입체 영상 표시 장치의 구성도.
도 4 는 본 발명의 다른 실시예에 따른 자연 영상에 대한 입체 영상 표시 방법에 대한 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
11: 3차원 모델 저장부 12,33 : 응시 방향 및 거리 측정부
13 : 이미지 생성부 14,35 : 좌측 이미지 표시부
15,36 : 우측 이미지 표시부
16,37 : 머리와 안구 움직임 탐지부 및 스테레오 이미지 표시부
31 : 응시지점별 대표영상 저장부 32 : 영상 선택부
34 : 디스패리티 조정부
상기 목적을 달성하기 위한 본 발명의 장치는, 응시지점을 따라가는 입체 영상 표시 장치에 있어서, 가상현실 공간상에서 표시될 객체에 대한 3차원 모델을 생성하여 저장하기 위한 3차원 모델 저장 수단; 사용자의 머리(얼굴) 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지 수단; 상기 머리 및 안구 움직임 탐지 수단으로부터 전달받은 머리 위치와 안구 이미지로부터 상기 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정 수단; 상기 3차원 모델 저장 수단에 저장되어 있는 객체의 3차원 모델을 기반으로 상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점에 해당하는 스테레오 이미지를 생성하기 위한 이미지 생성 수단; 및 상기 이미지 생성 수단에서 생성된 좌,우측 이미지를 표시하기 위한 표시 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 장치는, 응시지점을 따라가는 입체 영상 표시 장치에 있어서, 기준 응시지점에 대한 기준 스테레오 이미지들을 저장하고 있는 응시지점별 대표영상 저장 수단; 사용자의 머리(얼굴) 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지 수단; 상기 머리 및 안구 움직임 탐지 수단으로부터 전달받은 머리 위치와 안구 이미지로부터 상기 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정 수단; 상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점과 가장 근접한 기준 스테레오 이미지를 상기 응시지점별 대표영상 저장 수단에서 선택하기 위한 영상 선택 수단; 상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점과 상기 영상 선택 수단에서 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정하기 위한 디스패리티 조정 수단; 및 상기 디스패리티 조정 수단에서 보정된 좌,우측 이미지를 표시하기 위한 표시 수단을 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 응시지점을 따라가는 입체 영상 표시 장치에 적용되는 입체 영상 표시 방법에 있어서, 가상현실 공간에서 표시될 객체의 3차원 모델을 생성하여 저장하는 제 1 단계; 사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 단계; 상기 생성되어 저장되어 있는 객체의 3차원 모델을 기반으로 상기 추출한 응시지점에 대한 스테레오 이미지를 생성하는 제 3 단계; 및 상기 생성된 스테레오 이미지의 좌,우 이미지를 표시하는 제 4 단계를 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 방법은, 상기 사용자가 실제 보고자 하는 응시지점과 가상현실 공간에서의 3차원 이미지와의 정확한 대응관계를 구하기 위하여, 처음에 상기 사용자에게 미리 지정된 위치에 있는 객체들을 순차적으로 보도록 하여 기준점을 조정하는 제 5 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 방법은, 응시지점을 따라가는 입체 영상 표시 장치에 적용되는 입체 영상 표시 방법에 있어서, 기준 응시지점에 대응하는 기준 스테레오 이미지들을 저장하는 제 1 단계; 사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 단계; 상기 추출한 현재의 응시지점과 가장 근접한 기준 스테레오 이미지를 상기 저장된 기준 스테레오 이미지중에서 선택하는 제 3 단계; 상기 추출한 현재의 응시지점과 상기 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정하는 제 4 단계; 및 상기 보정된 스테레오 이미지의 좌,우측 이미지를 표시하는 제 5 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명은, 프로세서를 구비한 입체 영상 표시 장치에, 가상현실 공간에서 표시될 객체의 3차원 모델을 생성하여 저장하는 제 1 기능; 사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 기능; 상기 생성되어 저장되어 있는 객체의 3차원 모델을 기반으로 상기 추출한 응시지점에 대한 스테레오 이미지를 생성하는 제 3 기능; 및 상기 생성된 스테레오 이미지의 좌,우 이미지를 표시하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 상기 사용자가 실제 보고자 하는 응시지점과 가상현실 공간에서의 3차원 이미지와의 정확한 대응관계를 구하기 위하여, 처음에 상기 사용자에게 미리 지정된 위치에 있는 객체들을 순차적으로 보도록 하여 기준점을 조정하는 제 5 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 입체 영상 표시 장치에, 기준 응시지점에 대응하는 기준 스테레오 이미지들을 저장하는 제 1 기능; 사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 기능; 상기 추출한 현재의 응시지점과 가장 근접한 기준 스테레오 이미지를 상기 저장된 기준 스테레오 이미지중에서 선택하는 제 3 기능; 상기 추출한 현재의 응시지점과 상기 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정하는 제 4 기능; 및 상기 보정된 스테레오 이미지의 좌,우측 이미지를 표시하는 제 5 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명의 일실시예에 따른 가상현실 입체 영상 표시 장치의 구성도이다.
도 1 에 도시된 바와 같이, 본 발명에 따른 가상현실 입체 영상 표시 장치는, 사용자가 보게 될 가상현실 공간상에 존재하는 객체에 대한 3차원 모델을 미리 생성하여 저장하기 위한 3차원 모델 저장부(11), 머리(얼굴)의 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지부(16), 상기 머리 및 안구 움직임 탐지부(16)로부터 전달받은 머리 위치와 안구 이미지로부터 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정부(12), 상기 3차원 모델 저장부(11)에 저장되어 있는 객체의 3차원 모델을 기반으로 상기 응시 방향 및 거리 측정부(12)에서 추출한 현재의 응시지점에 해당하는 스테레오 이미지를 생성하기 위한 이미지 생성부(13), 상기 이미지 생성부(13)에서 생성된 좌측 이미지를 표시하기 위한 좌측 이미지 표시부(14), 상기 이미지 생성부(13)에서 생성된 우측 이미지를 표시하기 위한 우측 이미지 표시부(15) 및 상기 좌,우측 이미지 표시부(14,15)로부터의 좌,우측 이미지를 실제 화면에 디스플레이하기 위한 스테레오 이미지 표시부(16)를 포함한다.
다음으로, 본 발명에 따른 가상현실 입체 영상 표시 장치의 동작을 살펴보면 다음과 같다.
도면에 도시된 바와 같이, 사용자가 보게 될 가상현실 공간상에 존재하는 객체에 대한 3차원 모델을 미리 생성하여 3차원 모델 저장부(11)에 저장한다. 사용자는 좌우측 눈에 각각 해당 스테레오 이미지가 투사되는 스테레오 이미지 표시부(16)가 포함된 장치를 착용한다. 이 장치는 이미지 투사 장치외에 머리(얼굴)의 위치를 탐지하고 두 안구의 이미지를 추출하는 머리와 안구 움직임 탐지부(16)를 포함한다.
그리고, 응시 방향 및 거리 측정부(12)가 상기 사용자가 장착한 장치로부터 전달되는 안구 이미지와 머리 위치로부터 사용자의 현재 응시지점을 추출한다. 이때, 사용자가 실제 보고자 하는 응시지점과 가상현실 공간에서의 3차원 이미지와 정확한 대응관계를 구하기 위하여 처음에 기준점 조정을 할 필요가 있다. 이는 미리 지정된 위치에 있는 객체들을 사용자로 하여금 순차적으로 보도록 하여 수행한다.
다음으로, 이미지 생성부(13)가 상기 응시 방향 및 거리 측정부(12)에서 추출된 응시지점에 해당하는 스테레오 이미지를 상기 3차원 모델 저장부(11)에 저장된 3차원 객체 모델을 기반으로 생성한다. 이후, 상기 이미지 생성부(13)에서 생성된 이미지를 좌측 이미지 표시부(14)와 우측 이미지 표시부(15)를 통하여 해당 디스플레이 장치에 투사한다.
이러한 동작은 주기적으로 수행되며, 응용분야에 따라 요구되는 간격으로 그 주기를 정한다.
도 2 는 본 발명의 일실시예에 따른 가상현실 입체 영상 표시 방법에 대한 흐름도이다. 이러한 방법은 상기 도 1 에서 상세하게 설명하였으므로 여기서는 그 처리 절차를 간략하게 설명하기로 한다.
먼저, 가상현실 공간에서 표시될 객체의 3차원 모델을 미리 생성하여 저장한다(21).
이후, 관람자(사용자)의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출한다(22).
다음으로, 상기 미리 생성되어 저장되어 있는 객체의 3차원 모델을 기반으로 상기 추출한 응시지점에 대한 스테레오 이미지를 생성한다(23).
이후, 상기 생성된 스테레오 이미지의 좌,우 이미지를 실제 화면에 투사하여 표시한다(24).
도 3 은 본 발명의 다른 실시예에 따른 자연 영상에 대한 입체 영상 표시 장치의 구성도이다.
도 3 에 도시된 바와 같이, 본 발명에 따른 자연 영상에 대한 입체 영상 표시 장치는, 기준이 되는 대표적인 응시지점에 해당하는 기준 스테레오 이미지들을 저장하고 있는 응시지점별 대표영상 저장부(31), 머리(얼굴)의 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지부(37), 상기 머리 및 안구 움직임 탐지부(37)로부터 전달받은 머리 위치와 안구 이미지로부터 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정부(33), 상기 응시 방향 및 거리 측정부(33)에서 추출한 현재의 응시지점과 가장 가까운 기준 스테레오 이미지를 상기 응시지점별 대표영상 저장부(31)에서 선택하기 위한 영상 선택부(32), 상기 응시 방향 및 거리 측정부(33)에서 추출한 현재의 응시지점과 상기 영상 선택부(32)에서 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를줄이는 방향으로 이미지의 위치를 보정하기 위한 디스패리티 조정부(34), 상기 디스패리티 조정부(34)에서 보정된 좌측 이미지를 표시하기 위한 좌측 이미지 표시부(35), 상기 디스패리티 조정부(34)에서 보정된 우측 이미지를 표시하기 위한 우측 이미지 표시부(36) 및 상기 좌,우측 이미지 표시부(35,36)로부터의 좌,우측 이미지를 실제 화면에 디스플레이하기 위한 스테레오 이미지 표시부(37)를 포함한다.
다음으로, 본 발명에 따른 자연 영상에 대한 입체 영상 표시 장치의 동작을 살펴보면 다음과 같다.
도면에 도시된 바와 같이, 기준이 되는 대표적인 응시지점에 해당하는 기준 스테레오 이미지들을 응시지점별 대표영상 저장부(31)에 저장한다. 사용자는 좌우측 눈에 각각 해당 스테레오 이미지가 투사되는 스테레오 이미지 표시부(37)가 포함된 장치를 착용한다. 이 장치는 이미지 투사 장치외에 머리(얼굴)의 위치를 탐지하고 두 안구의 이미지를 추출하는 머리와 안구 움직임 탐지부(37)를 포함한다.
그리고, 응시 방향 및 거리 측정부(33)가 상기 사용자가 장착한 장치로부터 전달되는 안구 이미지와 머리 위치로부터 사용자의 현재 응시지점을 추출한다. 그런데, 가상현실 공간에서 3차원 모델을 기반으로 임의 응시지점에 해당하는 이미지를 생성할 수 있는 일예와 달리, 자연 영상은 이미지 생성이 어렵다.
따라서, 영상 선택부(32)가 상기 저장된 기준이 되는 대표적인 응시지점에 해당하는 기준 스테레오 이미지들중 현재의 응시지점과 가장 가까운 기준 스테레오 이미지를 선택한다. 이후, 디스패리티 조정부(34)가 상기 응시 방향 및 거리 측정부(33)에서 추출한 현재의 응시지점과 상기 영상 선택부(32)에서 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정한다.
이후, 상기 디스패리티 조정부(34)에서 보정된 이미지를 좌측 이미지 표시부(35)와 우측 이미지 표시부(36)를 통하여 해당 디스플레이 장치에 투사한다.
이러한 동작은 주기적으로 수행되며, 응용분야에 따라 요구되는 간격으로 그 주기를 정한다.
도 4 는 본 발명의 다른 실시예에 따른 자연 영상에 대한 입체 영상 표시 방법에 대한 흐름도이다. 이러한 방법은 상기 도 1 에서 상세하게 설명하였으므로 여기서는 그 처리 절차를 간략하게 설명하기로 한다.
먼저, 기준이 되는 대표적인 응시지점에 대응하는 기준 스테레오 이미지들을 저장한다(41).
이후, 관람자(사용자)의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출한다(42).
다음으로, 상기 추출한 현재의 응시지점과 가장 가까운 기준 스테레오 이미지를 상기 저장된 기준 스테레오 이미지중에서 선택한다(43).
이후, 상기 추출한 현재의 응시지점과 상기 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정한다(44).
다음으로, 상기 보정된 스테레오 이미지의 좌,우측 이미지를 실제 화면에 투사하여 표시한다(45).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 관람자의 머리(얼굴) 위치와 안구 움직임으로부터 추출한 응시지점 정보를 기반으로 해당 응시지점에 해당하는 스테레오 이미지를 능동적으로 표시하므로써, 관람자가 초점거리를 맞추어야 하는 기존 방법의 제약을 제거하여 관람자가 시야에서 임의로 원하는 지점을 주시할 수 있고 응시지점을 임의로 바꿀 수 있도록 하여 입체 영상 관람시 눈의 피로감을 없애고 자연스러운 영상을 제공할 수 있는 효과가 있다.
또한, 본 발명은 입체영화, 입체 영상을 제공하는 컴퓨터 게임, 가상현실 디스플레이, 가상현실 통신, 전시관에서의 정지영상의 입체 디스플레이 등과 같은 다양한 분야에 응용될 수 있다.

Claims (11)

  1. 응시지점을 따라가는 입체 영상 표시 장치에 있어서,
    가상현실 공간상에서 표시될 객체에 대한 3차원 모델을 생성하여 저장하기 위한 3차원 모델 저장 수단;
    사용자의 머리(얼굴) 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지 수단;
    상기 머리 및 안구 움직임 탐지 수단으로부터 전달받은 머리 위치와 안구 이미지로부터 상기 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정 수단;
    상기 3차원 모델 저장 수단에 저장되어 있는 객체의 3차원 모델을 기반으로 상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점에 해당하는 스테레오 이미지를 생성하기 위한 이미지 생성 수단; 및
    상기 이미지 생성 수단에서 생성된 좌,우측 이미지를 표시하기 위한 표시 수단
    을 포함하는 입체 영상 표시 장치.
  2. 제 1 항에 있어서,
    상기 표시 수단은,
    상기 이미지 생성 수단에서 생성된 좌측 이미지를 표시하기 위한 좌측 이미지 표시 수단;
    상기 이미지 생성 수단에서 생성된 우측 이미지를 표시하기 위한 우측 이미지 표시 수단; 및
    상기 좌,우측 이미지 표시 수단으로부터의 좌,우측 이미지를 실제 화면에 디스플레이하기 위한 스테레오 이미지 표시 수단
    을 포함하는 입체 영상 표시 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 응시 방향 및 거리 측정 수단은,
    상기 사용자가 실제 보고자 하는 응시지점과 가상현실 공간에서의 3차원 이미지와의 정확한 대응관계를 구하기 위하여, 처음에 상기 사용자에게 미리 지정된 위치에 있는 객체들을 순차적으로 보도록 하여 기준점을 조정하는 것을 특징으로 하는 입체 영상 표시 장치.
  4. 응시지점을 따라가는 입체 영상 표시 장치에 있어서,
    기준 응시지점에 대한 기준 스테레오 이미지들을 저장하고 있는 응시지점별 대표영상 저장 수단;
    사용자의 머리(얼굴) 위치를 추출하고 두 안구의 이미지를 추출하기 위한 머리 및 안구 움직임 탐지 수단;
    상기 머리 및 안구 움직임 탐지 수단으로부터 전달받은 머리 위치와 안구 이미지로부터 상기 사용자의 현재 응시지점에 대한 정보를 추출하기 위한 응시 방향 및 거리 측정 수단;
    상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점과 가장 근접한 기준 스테레오 이미지를 상기 응시지점별 대표영상 저장 수단에서 선택하기 위한 영상 선택 수단;
    상기 응시 방향 및 거리 측정 수단에서 추출한 현재의 응시지점과 상기 영상 선택 수단에서 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정하기 위한 디스패리티 조정 수단; 및
    상기 디스패리티 조정 수단에서 보정된 좌,우측 이미지를 표시하기 위한 표시 수단
    을 포함하는 입체 영상 표시 장치.
  5. 제 4 항에 있어서,
    상기 표시 수단은,
    상기 디스패리티 조정 수단에서 보정된 좌측 이미지를 표시하기 위한 좌측 이미지 표시 수단;
    상기 디스패리티 조정 수단에서 보정된 우측 이미지를 표시하기 위한 우측 이미지 표시 수단; 및
    상기 좌,우측 이미지 표시 수단으로부터의 좌,우측 이미지를 실제 화면에 디스플레이하기 위한 스테레오 이미지 표시 수단
    을 포함하는 입체 영상 표시 장치.
  6. 응시지점을 따라가는 입체 영상 표시 장치에 적용되는 입체 영상 표시 방법에 있어서,
    가상현실 공간에서 표시될 객체의 3차원 모델을 생성하여 저장하는 제 1 단계;
    사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 단계;
    상기 생성되어 저장되어 있는 객체의 3차원 모델을 기반으로 상기 추출한 응시지점에 대한 스테레오 이미지를 생성하는 제 3 단계; 및
    상기 생성된 스테레오 이미지의 좌,우 이미지를 표시하는 제 4 단계
    를 포함하는 입체 영상 표시 방법.
  7. 제 6 항에 있어서,
    상기 사용자가 실제 보고자 하는 응시지점과 가상현실 공간에서의 3차원 이미지와의 정확한 대응관계를 구하기 위하여, 처음에 상기 사용자에게 미리 지정된 위치에 있는 객체들을 순차적으로 보도록 하여 기준점을 조정하는 제 5 단계
    를 더 포함하는 입체 영상 표시 방법.
  8. 응시지점을 따라가는 입체 영상 표시 장치에 적용되는 입체 영상 표시 방법에 있어서,
    기준 응시지점에 대응하는 기준 스테레오 이미지들을 저장하는 제 1 단계;
    사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 단계;
    상기 추출한 현재의 응시지점과 가장 근접한 기준 스테레오 이미지를 상기 저장된 기준 스테레오 이미지중에서 선택하는 제 3 단계;
    상기 추출한 현재의 응시지점과 상기 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정하는 제 4 단계; 및
    상기 보정된 스테레오 이미지의 좌,우측 이미지를 표시하는 제 5 단계
    를 포함하는 입체 영상 표시 방법.
  9. 프로세서를 구비한 입체 영상 표시 장치에,
    가상현실 공간에서 표시될 객체의 3차원 모델을 생성하여 저장하는 제 1 기능;
    사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를 추출하는 제 2 기능;
    상기 생성되어 저장되어 있는 객체의 3차원 모델을 기반으로 상기 추출한 응시지점에 대한 스테레오 이미지를 생성하는 제 3 기능; 및
    상기 생성된 스테레오 이미지의 좌,우 이미지를 표시하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 제 9 항에 있어서,
    상기 사용자가 실제 보고자 하는 응시지점과 가상현실 공간에서의 3차원 이미지와의 정확한 대응관계를 구하기 위하여, 처음에 상기 사용자에게 미리 지정된 위치에 있는 객체들을 순차적으로 보도록 하여 기준점을 조정하는 제 5 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 프로세서를 구비한 입체 영상 표시 장치에,
    기준 응시지점에 대응하는 기준 스테레오 이미지들을 저장하는 제 1 기능;
    사용자의 얼굴(머리) 및 안구의 움직임을 탐지하여 응시지점에 대한 정보를추출하는 제 2 기능;
    상기 추출한 현재의 응시지점과 가장 근접한 기준 스테레오 이미지를 상기 저장된 기준 스테레오 이미지중에서 선택하는 제 3 기능;
    상기 추출한 현재의 응시지점과 상기 선택한 기준 스테레오 이미지의 초점거리(응시지점)의 차이를 줄이는 방향으로 이미지의 위치를 보정하는 제 4 기능; 및
    상기 보정된 스테레오 이미지의 좌,우측 이미지를 표시하는 제 5 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2000-0082270A 2000-12-26 2000-12-26 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법 KR100380994B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0082270A KR100380994B1 (ko) 2000-12-26 2000-12-26 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0082270A KR100380994B1 (ko) 2000-12-26 2000-12-26 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20020053986A KR20020053986A (ko) 2002-07-06
KR100380994B1 true KR100380994B1 (ko) 2003-04-26

Family

ID=27686207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0082270A KR100380994B1 (ko) 2000-12-26 2000-12-26 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100380994B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178380B2 (en) 2014-12-10 2019-01-08 Samsung Electronics Co., Ltd. Apparatus and method for predicting eye position

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100654636B1 (ko) * 2004-12-14 2006-12-08 삼성전자주식회사 이동통신 단말기에서 3차원 영상을 처리하기 위한 장치 및방법
KR100918480B1 (ko) 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
CN108958460A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 基于虚拟现实的楼盘沙盘展示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6130957B2 (ko) * 1979-11-19 1986-07-17 Nichimo Kk
JPS6157382B2 (ko) * 1979-04-17 1986-12-06 Fujikoshi Kk
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
JPH1083460A (ja) * 1996-06-27 1998-03-31 Toshiba Corp 立体視システム、立体視方法、及び、異なる２つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JPH10239634A (ja) * 1997-02-27 1998-09-11 Minolta Co Ltd 立体映像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6157382B2 (ko) * 1979-04-17 1986-12-06 Fujikoshi Kk
JPS6130957B2 (ko) * 1979-11-19 1986-07-17 Nichimo Kk
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
JPH1083460A (ja) * 1996-06-27 1998-03-31 Toshiba Corp 立体視システム、立体視方法、及び、異なる２つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JPH10239634A (ja) * 1997-02-27 1998-09-11 Minolta Co Ltd 立体映像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178380B2 (en) 2014-12-10 2019-01-08 Samsung Electronics Co., Ltd. Apparatus and method for predicting eye position

Also Published As

Publication number Publication date
KR20020053986A (ko) 2002-07-06

Similar Documents

Publication Publication Date Title
Willemsen et al. Effects of stereo viewing conditions on distance perception in virtual environments
IJsselsteijn et al. Perceived depth and the feeling of presence in 3DTV
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
Arthur et al. Evaluating 3d task performance for fish tank virtual worlds
Deering High resolution virtual reality
US8094927B2 (en) Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
RU2541936C2 (ru) Система трехмерного отображения
US20060028543A1 (en) Method and apparatus for controlling convergence distance for observation of 3D image
US20130156265A1 (en) System and Method for Analyzing Three-Dimensional (3D) Media Content
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
US20050219239A1 (en) Method and apparatus for processing three-dimensional images
EP1304866A2 (en) Digital image sequence display system and method
Shiwa et al. Proposal for a 3‐D display with accommodative compensation: 3DDAC
CN105894567A (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
JP5096643B1 (ja) 輻輳能力判定装置及びその方法
Riecke et al. Perceiving simulated ego-motions in virtual reality: comparing large screen displays with HMDs
JP2010171628A (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR100380994B1 (ko) 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법
JP2002032788A (ja) 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体
WO2019235106A1 (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
EP3419287A1 (en) An apparatus and a method for displaying a 3d image
Deering Explorations of display interfaces for virtual reality
JP3472068B2 (ja) 立体映像表示装置
Lacoche et al. Dealing with frame cancellation for stereoscopic displays in 3d user interfaces

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120330

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee