KR20070052260A - 수평 원근법 디스플레이 - Google Patents

수평 원근법 디스플레이 Download PDF

Info

Publication number
KR20070052260A
KR20070052260A KR1020077000037A KR20077000037A KR20070052260A KR 20070052260 A KR20070052260 A KR 20070052260A KR 1020077000037 A KR1020077000037 A KR 1020077000037A KR 20077000037 A KR20077000037 A KR 20077000037A KR 20070052260 A KR20070052260 A KR 20070052260A
Authority
KR
South Korea
Prior art keywords
display
image
horizontal perspective
perspective
horizontal
Prior art date
Application number
KR1020077000037A
Other languages
English (en)
Inventor
마이클 에이 베슬리
낸시 클레멘스
Original Assignee
마이클 에이 베슬리
낸시 클레멘스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이클 에이 베슬리, 낸시 클레멘스 filed Critical 마이클 에이 베슬리
Publication of KR20070052260A publication Critical patent/KR20070052260A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Stereophonic System (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명 디스플레이 시스템은 3 차원 수평 원근법 디스플레이 및 3 차원 디스플레이에 현실성을 부여하는 두 귀로 듣는 시뮬레이션 같은 3D 오디오 시스템을 포함하는 3 차원 디스플레이 시스템을 개시한다. 3 차원 디스플레이 시스템은 제2 디스플레이와 다양한 이미지를 통합하는 곡면 혼합 디스플레이 부를 추가로 포함한다. 다중 평면 디스플레이 표면은 관찰자의 시점 및 청각점 위치에 따라 다양한 이미지와 3D 사운드를 조정함으로써 관찰자에게 편의를 제공한다.
수평 원근법 디스플레이, 3D 오디오

Description

수평 원근법 디스플레이{HORIZONTAL PERSPECTIVE DISPLAY}
본 출원은 본원에 참고로 합체된 2004년 6월 1일 출원한 미국 가출원 번호 제60/576,187호 "다중 평면(multi palne) 수평 원근법 디스플레이", 2004년 6월 1일 출원한 미국 가출원 번호 제60/576,189호 "다중 평면 수평 원근법 핸즈온 시뮬레이터", 2004년 6월 1일에 출원한 미국 가출원 번호 제60/576,182호 "두 귀로 듣는(binaural) 수평 원근법 디스플레이" 및 2004년 6월 1일 출원한 미국 가출원 번호 제60/576,181호 "두 귀로 듣는 수평 원근법 핸즈온 시뮬레이터"를 우선권으로 주장한다.
본 출원은 05년 4월 4일에 출원한 동시계속출원 제 11/098,681호 "수평 투사 디스플레이", 05년 4월 4일에 출원한 동시계속출원 제 11/098,685 "수평 투사 디스플레이" 05년 4월 4일에 출원한 동시계속출원 제 11/098,667 "수평 투사 핸즈온 시뮬레이터"; 05년 4월 4일에 출원한 동시계속출원 제 11/098,682 "수평 투사 oswmdhs 시뮬레이터"; 2005년 5월 27일에 출원한 "다중 평면 수평 원근법 디스플레이"; 2005년 5월 27일에 출원한 "다중 평면 수평 원근법 핸즈온 시뮬레이터"; 2005년 5월 27일에 출원한 "두 귀로 듣는(binaural) 수평 원근법 디스플레이" 및 2005년 5월 27일에 출원한 "두 귀로 듣는 수평 원근법 핸즈온 시뮬레이터"와 관련이 있다.
본 발명은 3차원 디스플레이 시스템에 관한 것이며, 자세하게는 다중 관찰 디스플레이 시스템에 관한 것이다.
인간이 사진을 통해 대화를 한 이래로, 그들은 어떻게 정확하게 그들이 살고 있는 3 차원 세상을 표현할 것인가에 대한 딜레마에 직면하였다. 조각이 3 차원 물체를 묘사하는데 성공적으로 사용되었지만, 이는 물건 사이 및 환경 내에서 존재하는 공간적인 관계를 전달하는 데에는 적합하지 않다. 이를 위해서, 예전에 인간은 그들이 본 것을 2 차원의 수직 평면에 평면화를 시도 했다(예를 들어, 그림, 스케치, 태피스트리). 사람이 똑바로 서있고, 나무에 의해서 둘러싸인 풍경은 수직 평면에 비교적 성공적으로 묘사된다. 그러나 예술가가 서있는 곳으로부터 볼 수 있는 곳까지 수평적으로 확장되는 지면이 있는 풍경은 어떻게 나타낼 것인가?
대답은 3 차원 환영이다. 2 차원의 그림은 3 차원 이미지의 환영을 만들기 위해서 뇌에 다수의 3 차원 단서를 제공하여야 한다. 3 차원 단서의 이러한 효과는 뇌과 그것에 꽤 익숙해진다는 사실로 인해 실제적으로 달성될 수 있다. 삼차원 실제 세상은 항상 눈 뒤쪽에 있는 오목한 표면인 망막에 2차원(예를 들어 높이 및 폭)으로 변형된다. 그리고 이러한 2차원의 이미지로부터 경험 및 지각을 통해서 뇌는 두 가지 종류의 깊이 단서: 단안(하나의 눈에 의한 지각) 및 쌍안(두 개의 눈에 의한 지각)으로부터 3 차원 가장 이미지를 형성하는 깊이 정보를 생성한다. 일반적으로 쌍안 깊이 단서는 선천적이고 생물학적인 반면에 쌍안 깊이 단서는 후천적이고 환경적이다.
주요한 쌍안 깊이 단서는 집중도 및 망막의 불일치이다. 뇌는 물건이 가까울수록 각각의 눈의 시야 사이의 각이 커지므로 거리에 대한 대략적인 평가치를 제공하는 눈의 집중도의 양을 측정한다. 두 개의 눈의 분리로 인한 망막 이미지의 불일치는 깊이에 대한 지각을 생성하는데 사용된다. 이와 같은 효과는 각각의 눈이 약간 상이한 풍경에 대한 시야를 수신하고, 뇌가 가까운 물체 사이의 거리 비를 결정하기 위해 상기 차이점을 사용하여 그것을 함께 상기 시야를 융합시킨다.
쌍안 지각은 매우 강력한 지각이다. 그러나 평면 이미지의 깊이에 대한 인상을 생성하는 단안 단서이라고 불리는 하나의 눈에 의한 깊이 지각이 또한 존재한다. 주요한 단안 단서은 :겹치기, 상대적인 크기, 선형 원근법, 빛 및 그늘이다. 물체가 부분적으로 가려져서 보인다면, 이러한 가려짐의 패턴은 물체가 보다 멀리 떨어제 있다는 것을 결정하는 단서로 쓰인다. 같은 크기로 알고 있는 두 개의 물체에서 하나가 다른 것보다 작아 보인다면, 이러한 상대 크기의 패턴은 작은 물체가 더 멀리 떨어져 있다는 것을 가정하는 단서로 사용된다. 상대 크기의 단서는 또한 원근법 이미지에서 평행한 선은 하나의 점을 향해서 수렴하는 것처럼 보이므로 사용자로부터 멀리 있는 선은 떨어져 있는 것으로 보이고 가까이에 있는 것은 같이 있는 것으로 보이는 선형 원근법의 단서를 위한 기초를 제공한다. 특정한 각으로 물체에 떨어지는 빛은 물체의 형태 및 깊이에 대한 단서를 제공한다. 물체에 대한 빛과 그늘의 분포는 빛은 위에서부터 내려온다는 생물학적으로 올바른 가정에 의해 제공되는 깊이를 위한 강력한 단안 단서이다.
상대 크기와 함께 원근법 그림은 종이나 캔버스 같은 평면(이차원) 표면에 3 차원 환영 및 공간 관계를 달성하기 위해 가장 자주 사용된다. 원근법을 통해서, 3차원 물체는 2차원 평면에 묘사되나, 그것은 3차원 공간에서 나타나는 것으로 눈을 속이는 것이다. 원근법을 달성하기 위한 첫 번째 이론적인 논문은 건축가 Leone Battista Alberti.가 쓴 1400년 초반에 출간된 Depictura이다. 그의 책의 이론 이후에 일반적인 원근법에 대한 세부적인 항목이 매우 잘 문서로 기록되었다. 그러나 다수의 다른 종류의 원근법이 존재한다는 사실은 잘 알려지지 않았다. 일부 예는 도1의 상부에 도시한 밀리터리, 캐벌리어, 등각 원근법, 양각 원근법이 있다.
특별한 관심은 대부분 도1의 하단 좌측에 도시한 중앙 투시 원근법이라 불리는 일반적인 종류의 원근법이다. 1 점 원근법이라고도 불리는 중앙 투시 원근법은 가장 간단한 "순수" 원근법 양식이며 초보자를 위한 미술 및 도면 수업에서 가르쳐진다. 도2는 추가로 중앙 투시 원근법을 도시한다. 중앙 투시 원근법을 사용하여, 2차원의 평면 종이에 도시하였지만 체스판과 체스말은 3차원 물체처럼 보인다. 중앙투시 원근법은 중앙 소실점을 가지며, 직사각형 물체는 영상 평면에 평행한 전면쪽에 위치한다. 물체의 깊이는 영상 평면에 대해 수직이다. 모든 평행 후퇴 모서리는 중앙 소실점을 향해 간다. 관찰자는 일직선 관점으로 상기 소실점을 바라본다. 건축가 또는 예술가가 중앙 투시 원근법을 사용하여 그림을 그릴 때, 그들은 반드시 일 시야 관점을 사용한다. 즉 그림을 그리는 예술가는 그림 표면과 수직으로 하나의 눈을 통해서 바라봄으로써 이미지를 포획한다.
중앙 투시 원근법 이미지를 포함하여, 이미지의 대부분은 시선과 수직인 평면에 디스플레이되고 보이며 포획된다. 90도 다른 각도에서 이미지를 보는 것은 이 미지 왜곡을 발생하며, 이는 표면을 바라보는 것이 시선과 수직이 아닐 때 정사각형이 직사각형으로 보이는 것을 의미한다.
그러나, 우리가 " 수평 원근법"이라고 부르는 잘 알려지지 않은 이미지 종류가 존재하며 이는 머리를 들고 바라볼 때에는 이미지가 왜곡된 것처럼 보이지만 똑바른 시야 위치에서 바라볼 때는 3 차원으로 디스플레이되는 것이다. 수평 원근법에서 화면과 시선 사이의 각은 45도인 것이 좋으나 대부분의 각도가 가능하고 화면은 수평("수평 원근법"이라고 불린다는 점에서)인 것이 좋으나, 그것에 대한 시선이 직각을 형성하지 않는 한 어떠한 표면도 가능하다.
수평 원근법 이미지는 실제적인 3차원 환영을 제공하지만 좁은 시야 위치(관찰자의 시점이 이미지 투사 지점과 정확하게 일치되어야 하는) 및 2차원 이미지의 투사 또는 4차원 모델의 수평 원근법 이미지에 대한 투사와 관련한 복잡성 때문에 잘 알려지지 않았다.
수평 원근법 이미지의 생성은 일반적인 수직 이미지보다 생성하는데 비교적 많은 전문적 지식이 필요하다. 일반적인 수직 이미지는 사용자 또는 카메라 포인트로부터 직접 만들어질 수 있다. 단순히 필요한 한가지는 어느 방향에서든 이미지를 획득하기 위해 눈을 뜨거나 카메라를 가리키는 것이다. 게다가 수직 이미지로부터의 3차원 깊이 단서로 바라보는 것을 많이 경험함으로써, 관찰자는 카메라 포인트로부터의 편차로 인해 생성된 현저한 양의 왜곡을 견딜 수 있다. 대조적으로, 수평 원근법 이미지를 생성하는 것은 많은 조작을 필요로 한다. 이미지를 시선과 수직하게 평면에 투사함으로써 일반적인 카메라는 수평 원근법 이미지를 생성하지 않는 다. 수평 원근법 그림을 만드는 것은 많은 노력과 시간 소비를 필요로 한다. 게다가, 인간은 수평 원근법 이미지에 대해 제한된 경험을 갖고 있기 때문에, 관찰자의 눈은 이미지 왜곡을 피하기 위해서 투사 시점이 가리키는 곳에 정확하게 위치하여야 한다. 그러므로 수평 원근법은 이러한 어려움 때문에 관심을 받지 못했다.
실제적인 3차원 시뮬레이션을 위해서, 두 귀로 듣는 또는 3차원 오디오 시뮬레이션 역시 필요하다.
본 발명은 개인용 컴퓨터가 수평 원근법 디스플레이에 적절하다는 것을 인지한다. 그것은 개인용 이므로 개인의 작동을 위해 설계되었으나, 강력한 마이크로프로세서를 구비한 컴퓨터는 다양한 수평 이미지를 관찰자에게 묘사할 수 있는 능력이 있다.
그러므로 본 발명은 적어도 두 개의 디스플레이 표면을 포함하고, 그 중 하나는 3 차원 수평 원근법 이미지를 디스플레이하는 다중 평면(multi plane) 핸즈온 시뮬레이터 시스템을 개시한다. 다른 디스플레이 평면은 2 차원 이미지를 디스플레이하거나, 바람직하게는 3 차원 중앙 투시 원근법 이미지를 디스플레이할 수 있다. 추가로, 디스플레이 표면은 다양한 이미지를 병합하는 곡선 병합 디스플레이 부를 포함할 수 있다. 다중 평면 핸드온 시뮬레이터는 다양한 카메라 시점을 포함할 수 있으며, 이중 하나는 수평 원근법 이미지를 위한 것이며, 다른 하나는 중앙 투시 원근법 이미지를 위한 것이고, 선택적으로 또 다른 하나는 곡선 병합 디스플레이 표면을 위한 것이다. 다중 평면 디스플레이 표면은 추가로 사용자의 위치에 적응하도록 다양한 이미지를 조절할 수 있다. 사용자의 시점과 동일한 위치로 수평 원근법과 중앙 투시 원근법의 카메라 시점을 유지하기 위해서 디스플레이된 이미지를 변경함으로써, 사용자의 눈은 항상 3차원 환영을 인지하는 적정한 관찰 위치에 위치되며, 그에 따라 사용자의 불편함 및 왜곡 현상을 최소화할 수 있다. 디스플레이는 수평 원근법 이미지의 위치지 재조정하기 위해 컴퓨터 마우스, 트랙볼, 조이스틱, 태블릿 등과 같은 수동 입력 장치를 수용할 수 있다. 디스플레이는 또한 자동으로 사용자의 시점 위치를 제공하는 입력 장치에 기초하여 자동으로 이미지의 위치를 재조정할 수 있다.
추가로, 디스플레이는 또한 3차원 디스플레이에 리얼리즘을 부가하기 위해 두 귀로 듣는 시뮬레이션 같은 3차원 오디오를 포함할 수 있다.
도1은 다양한 원근법 그림을 도시한 도면.
도2는 일반적인 중앙 원근법 그림을 도시한 도면.
도3은 중앙 투시 원근법(이미지 A)과 수평 원근법(이미지 B)을 비교한 도면.
도4는 3 개의 적층 블록의 중앙 투시 원근법 그림을 도시한 도면.
도5는 3 개의 적층 블록의 수평 원근법을 도시한 도면.
도6은 수평 원근법 그림을 그리는 방법을 도시한 도면.
도7은 수평 원근법 디스플레이 및 관찰자 입력 장치를 도시한 도면.
도8은 수평 원근법 디스플레이, 계산 장치 및 관찰자 입력 장치를 도시한 도면.
도9는 수평면에 대한 3차원 물체의 맵핑을 도시한 도면.
도10은 수평 원근법에 의한 3차원 물체의 투사를 도시한 도면.
도11은 수평 원근법의 시뮬레이션 동작 시기를 도시한 도면.
도12는 본 발명 다중 평면 디스플레이의 실시예를 도시한 도면.
도13은 본 발명 다중 평면 디스플레이에 대한 수평 원근법 및 중앙 투시 원근법 투사를 도시한 도면.
도14는 다중 곡면 혼합부 및 다중 디스플레이 표면을 포함하는 다중 평면 디스플레이를 도시한 도면.
본 발명은 적어도 두 개의 디스플레이 표면을 포함하며, 그 중 하나는 수평 원근법 투사에 기초하여 3 차원 환영을 투사할 수 있는 다중 평면 수평 원근법 핸즈온 시뮬레이터를 개시한다.
일반적으로, 본 발명 수평 원근법 핸즈온 시뮬레이터는 3 차원 이미지를 디스플레이하고 이와 상호작용할 수 있으며 제조업 설계 리뷰, 인간 환경 공학 시뮬레이션, 안전 및 교육, 비디오 게임, 영화 촬영, 과학 3D 관찰 및 의학과 기타 데이터 표시 같은 다양한 산업 응용분야에 대한 명백한 유용성을 가지고 있다.
수평 원근법은 잘 알려지지 않은 원근법이며, 그것의 메카니즘을 설명한 책은 두 권밖에 없다: 입체적 그림(1990년 출판) 및 입체 사진을 만드는 방법(1979년 출판, 절판). 비록 상기 책들이 이러한 잘 알려지지 않은 원급법에 대해 설명하지만. 이름을 동일하게 표현하고 있지는 않다. 첫 번째 책은 그것을 "자유 기립 입체 사진(free standing anaglyph)이라고 표현하며 두 번째 책은 "팬토그램" 이라고 표현한다. 또 다른 공개 공보(G. M. Woods 1998년8월 18일 미국 특허 5,795,154)에서는 그것을 "원근법 입체"라고 부른다. 동의한 이름이 없기 때문에, 우리는 그것을 "수평 원근법"이라고 자유롭게 부르기로 한다. 일반적으로 중앙 투시 원근법에서 시선과 직각의 시야 평면은 또한 그림 표면에 투시되며, 깊이 단서는 이러한 평평한 이미지에 깊이 환영을 주기 위해 사용된다. 수평 원근법에서, 시야 평면은 동일하게 남아 있지만, 투사된 이미지는 상기 평면에 존재하지 않는다. 그것은 시야 평면에 대해 각이진 평면에 존재한다. 일반적으로 이미지는 바닥 표면에 위치한다. 이는 이미지가 시야 평면에 대해서 3 번째 차원에 물리학적으로 존재한다는 것을 의미한다. 그러므로 수평 원근법은 수평 투사라고도 부를 수 있다.
수평 원근법에서, 물체는 종이로부터 이미지를 분리하여 상기 이미지를 수평 원근법 이미지를 투사하는 3 차원 물체에 융합한다. 그러므로 수평 원근법 이미지는 가장 이미지가 자유 직립 3 차원 물체를 형성하도록 융합하기 위해서 반드시 왜곡되어야 한다. 또한 상기 이미지가 똑바른 시점에서 보여져야 하는 것은 필수적이며, 그렇지 않으면 3차원 환영은 소멸한다. 높이 및 폭을 구비하고, 깊이 환영을 투사하며, 그로 인해 물체가 보통 즉시 투사되며 이미지가 층 내부에 있는 것처럼 보이는 중앙 투시 원근법 이미지와는 대조적으로, 수평 원근법 이미지는 실제적인 깊이 및 폭을 가지며 환영은 그들에게 높이를 부여하며, 그로 인해 이미지가 연속적으로 보이기 위해 조절된 이동이 존재한다.
도3은 중앙 투시 원근법과 수평 원근법을 구별하는 주요한 특징을 도시한다. 이미지(A)는 중앙 투시 원근법의 중요한 관련 특징을 보여주며, 이미지(B)는 수평 원근법의 중요한 관련 특징을 보여준다.
다른 말로, 이미지(A)는 한쪽 눈을 감고 수직 그림 표면과 직교하는 시선을 따라 바라보며 미술가가 그린 실제 생활 3 차원 물체(각각 위로 조금씩 쌓인 3개의 블럭)이다.
이미지(B)는 한쪽 눈을 감고 수평 그림 표면과 45도 각도의 시선을 따라 바라보며 미술가가 그린 실제 생활 3 차원 물체이다.
그 결과 발생한 이미지는 한쪽 눈으로 수평으로 45도 각도로 바라보았을 때, 원래 이미지와 동일하게 보인다.
이미지(A)에서 도시한 중앙 투시 원근법과 이미지(B)에서 도시한 수평 원근법의 하나의 주요한 차이점은 투사된 3 차원 이미지와 관련한 디스플레이 평면의 위치이다. 이미지(B)의 수평 원근법에서, 디스플레이 평면은 상하로 조정될 수 있으며, 그로 인해 투사된 이미지는 디스플레이 평면 위에 공중에 디스플레이될 수 있으며, 즉 물리적인 손으로 환영을 만질 수 있으며(또는 통과하거나), 디스플레이 평면 아래에 디스플레이될 수 있다. 즉 디스플레이 평면이 물리적으로 손을 가로막기 때문에 환영을 만질 수는 없다. 이것은 수평 원근법의 성질이며 카메라 시점과 관찰자의 시점이 동일한 장소에 있는 한 환영이 존재한다. 대조적으로 이미지(A)의 중앙 투시 원근법에서, 3 차원 환영은 오직 디스플레이 평면 안에서만 존재하며, 이는 그것을 만질 수 없다는 것을 의미한다. 사용자가 그것을 만질 수 있도록 하기 위해 3 차원 이미지를 디스플레이 평면 밖으로 가지고 나오기 위해서, 중앙 투시 원근법은 둘러싼 이미지 투시와 커다란 체적 같은 복잡한 디스플레이 방식을 필요로 한다.
도4 및 도5는 중앙 투시 원근법을 사용하는 것과 수평 원근법을 사용하는 것에 시각적 차이를 도시한다. 이러한 시각적인 차이를 경험하기 위해서, 우선 한쪽 눈을 통해서 중앙 투시 원근법으로 그려진 도8을 보라. 지금까지 그래왔던 것처럼 당신의 눈과 그림이 직교하게 당신의 앞에 수직으로 종이를 잡아라. 당신은 중앙 투시 원근법으로 3차원 물체를 2 차원 표면에 잘 표현할 수 있다는 것을 알 수 있다.
지금부터 당신의 책상으로 이동하여 종이를 당신 앞의 책상 위에 놓고(수평으로) 수평 원근법을 사용하여 도시한 도5를 보라. 또다시 한쪽 눈만으로 이미지를 보라. 이는 당신의 눈을 예술가가 그림을 그릴 때의 각도인 종이에 대해 대략 45도에 시점이라고 불리는 한 쪽 눈을 위치시킨다. 당신의 뜬 한쪽 눈과 시선을 예술가의 그것과 일치시키기 위해서 당신의 눈을 45도 각도로 대락 6인치 안밖으로 그림에 가깝게 아래 및 앞으로 움직여라. 이는 상부 및 중간 블록이 공중의 종이 위쪽에서 보이는 것처럼 하는 이상적인 관찰 경험을 발생시킨다.
또다시, 당신의 뜬 한쪽 눈이 이러한 정확한 위치에 있어야 하는 이유는 중앙 투시 원근법 및 수평 원근법 모두가 시점으로부터 시선의 각을 정의할 뿐 아니라, 또한 시점으로부터 그림까지의 거리를 정의하기 때문이다. 이는 도8 및 도9가 그림 표면에 대한 당신의 뜬 한쪽 눈을 위한 이상적인 위치 및 방향에서 그려졌다는 것을 의미한다. 그러나, 한쪽 눈의 위치 및 방향으로부터 편차가 작은 왜곡만을 발생시키는 중앙 투시 원근법과는 달리, 수평 원근법을 볼 때, 한쪽 눈의 사용 및 화면과 관련한 눈의 위치 및 방향은 3차원 수평 원근법 환영을 보기 위해 필수적인 것이다.
도6은 수평 원근법을 사용하여 종이나 캔버스에 단순한 기하학적 그림을 그리는 방법을 설명하는 건축학적 스타일의 도면이다. 도6은 도5에 사용된 동일한 3 개의 블록의 측면도이다. 그것은 수평 원근법의 실제적인 메카니즘을 도시한다. 물체를 구성하는 각각의 점은 점을 수평 그림 표면에 투사함으로써 그려진다. 이를 설명하기 위해서, 도6은 투사선을 통해 수평 그림 표면에 그래진 블럭의 몇몇 좌표를 도시한다. 투사선은 시점(축척 때문에 도6에 도시하지 않음)에서 시작하여 물체에서 한 점과 교차하며, 계속하여 일직선으로 수평 그림 표면과 교차하는 곳까지 진행하며, 이는 종이에 하나의 점으로 물리적으로 그려졌다. 건축가가 블록 위에 각각의 점 및 모든 점을 위해 이러한 과정을 반복할 때, 그림 표면으로부터 시선을 따라 시점에서 보이는 것과 같이 그리고 도5에 도시한 것과 같이 수평 원근법 그림은 완성된다.
도6을 주목하면, 3 개의 블록 중 하나가 수평 그림 평면 아래에서 보인다. 수평 원근법으로, 그림 표면 아래에 위치한 점은 또한 시선을 따라 시점으로부터 보이는 것처럼 수평 그램 평면에 그려진다. 그러므로, 마지막 그림이 보여질 때, 물체는 수평 그림 평면 위에서 보일 수도 있을 뿐 아니라, 그림 평면 아래에서도 보일 수 있다-종이 안쪽으로 후퇴해가는 인상을 줌. 만약 당신이 도5를 다시 본다면, 당신은 하단 박스가 아래쪽에서 보인다거나 종이 안쪽으로 가는 반면 다른 두 개의 박스는 개방 공간에서 종이 위쪽에 나타나 보인다는 것을 알아챌 수 있을 것이다.
수평 원근법 이미지의 생성은 중앙 투시 원근법 이미지를 만드는 것보다 많은 전문적 지식이 필요하다. 비록 두 방법이 관찰자에게 2차원 이미지로부터 발생되는 3 차원 환영을 부여하는 것을 추구하지만, 중앙 투시 원근법 이미지는 관찰자 또는 카메라 포인트로부터 직접 3 차원 풍경을 생성한다. 대조적으로, 수평 원근법 이미지는 사용자가 올려다보면 왜곡되어 보이이나, 이러한 왜곡은 정확한 위치에서 바라볼 때 수평 원근법이 3차원 환영을 생성하도록 정확하게 묘사되어야 한다.
본 발명 수평 원근법 디스플레이 시스템은 관찰자에게 디스플레이된 이미지가 환영 관찰 경험을 최대화할 수 있게 조정하는 수단을 제공함으로써 수평 원근법 투사 관찰을 촉진한다. 마이크로프로세서의 계산 능력 및 실시간 디스플레이를 사용함으로써, 도7에 도시된 본 발명의 수평 원근법 디스플레이는 수평 원근법 이미지를 조정하는 사용자의 입력 장치(102)와 함께 투사된 이미지를 다시 그릴 수 있는 실시간 전자 디스플레이(100)를 포함한다. 수평 원근법 이미지의 투사 시점과 사용자의 시점을 일치시키기 위해 수평 원근법 이미지를 다시 디스플레이함으로써, 본 발명의 수평 원근법 디스플레이는 수평 원근법 방법으로부터 3 차원 환영을 묘사하는데에 있어 최소한의 왜곡을 보장한다. 상기 입력 장치는 사용자가 수동으로 그 또는 그녀의 시점 장소를 수동으로 입력하거나 최상의 3 차원 환영을 획득하기 위해 투사 이미지 시점을 변경하는 경우 수동으로 동작 될 수 있다. 상기 입력 장치는 또한 디스플레이가 자동으로 관찰자의 시점을 추적하고 그에 따라 투사 이미 지를 조정하는 경우 자동으로 동작될 수 있다. 본 발명은 관찰자가 그의 머리를 비교적 고정된 위치에 유지해야 하는 제약을 제거하고, 상기 제약은 수평 원근법 또는 홀로그램 디스플레이와 같이 정확한 시점의 획득에 많은 어려움을 발생시킨다.
도8에 도시한 수평 원근법 디스플레이 시스템은 실시간 전자 디스플레이 장치(100) 및 사용자의 시점과 투사 이미지 시점을 일치시킴으로써 사용자에게 현실적이고 최소한의 왜곡이 있는 3 차원 환영을 제공하는 디스플레이를 위해 투사 이미지를 계산하는 계산 장치(110)에 입력을 제공하는 투사 이미지 입력 장치(112) 이외에 계산 장치(110)를 추가로 포함할 수 있다. 상기 시스템은 사용자가 투사 이미지가 보여지는 것을 조정하는 이미지 확대/축소 입력 장치(115) 또는 이미지 회전 입력 장치(117) 또는 이미지 이동 장치(119)를 추가로 포함할 수 있다.
수평 원근법 디스플레이 시스템은 관찰자에게 디스플레이된 이미지가 환영 관찰 경험을 최대화할 수 있게 조정하는 수단을 제공함으로써 수평 원근법 투사 관찰을 촉진한다. 마이크로프로세서의 계산 능력 및 수평 원근법 이미지를 조정하는 사용자의 입력 장치와 함께 투사된 이미지를 다시 그릴 수 있는 실시간 전자 디스플레이를 포함하는 실시간 디스플레이를 사용함으로써, 수평 원근법은 디스플레이된다. 수평 원근법 이미지의 투사 시점과 사용자의 시점을 일치시키기 위해 수평 원근법 이미지를 다시 디스플레이함으로써, 본 발명의 수평 원근법 디스플레이는 수평 원근법 방법으로부터 3 차원 환영을 묘사하는데에 있어 최소한의 왜곡을 보장한다. 상기 입력 장치는 사용자가 수동으로 그 또는 그녀의 시점 장소를 수동으로 입력하거나 최상의 3 차원 환영을 획득하기 위해 투사 이미지 시점을 변경하는 경 우 수동으로 동작 될 수 있다. 상기 입력 장치는 또한 디스플레이가 자동으로 관찰자의 시점을 추적하고 그에 따라 투사 이미지를 조정하는 경우 자동으로 동작될 수 있다. 수평 원근법 디스플레이 시스템은 관찰자가 그의 머리를 비교적 고정된 위치에 유지해야 하는 제약을 제거하고, 상기 제약은 수평 원근법 또는 홀로그램 디스플레이와 같이 정확한 시점의 획득에 많은 어려움을 발생시킨다.
수평 원근법 디스플레이 시스템은 실시간 전자 디스플레이 장치 및 사용자의 시점과 투사 이미지 시점을 일치시킴으로써 사용자에게 현실적이고 최소한의 왜곡이 있는 3 차원 환영을 제공하는 디스플레이를 위해 투사 이미지를 계산하는 계산 장치에 입력을 제공하는 투사 이미지 입력 장치 이외에 계산 장치를 추가로 포함할 수 있다. 상기 시스템은 사용자가 투사 이미지가 보여지는 것을 조정하는 이미지 확대/축소 입력 장치 또는 이미지 회전 입력 장치 또는 이미지 이동 장치를 추가로 포함할 수 있다.
입력 장치는 수동 또는 자동으로 동작할 수 있다. 상기 입력 장치는 사용자 시점의 위치 및 방향을 검출할 수 있으며 검출 결과에 따라 계산하고 이미지를 디스플레이에 투사한다. 대안으로, 상기 입력 장치는 눈동자의 방향을 따라 사용자의 머리의 위치 및 방향을 검출하도록 만들어질 수도 있다. 상기 입력 장치는 사용자의 머리 움직임의 자유를 가능하게 하기 위해 사용자 머리의 위치를 검출하는 적외선 검출 시스템을 포함할 수 있다. 입력 장치의 또 다른 실시예는 본 발명의 머리 추적 목적에 접합한 위치 데이터를 제공하는 CCD 카메라 같은 관찰자 시점 위치를 검출하는 삼각 측량법일 수 있다. 입력 장치는 수평 원근법 디스플레이 이미지의 정확한 디스플레이를 나타내기 위해 키보드, 마우스, 트랙볼, 조이스틱 등과 같이 관찰자에 의해 수동으로 동작 되는 것일 수 있다.
머리 또는 눈 추적 시스템은 기저부 및 관찰자에 머리에 장착되는 머리 장착 센서를 포함할 수 있다. 머리 장착 센서는 사용자의 머리 움직임과 눈의 방향에 응답하여 사용자의 위치와 방향을 보여주는 신호를 처리한다. 상기 신호는 기저부에 의해서 수신되며 적절한 삼차원 투사 이미지를 계산하는데 사용된다. 머리 또는 눈 추적 시스템은 관찰자의 눈의 이미지를 캡쳐하는 적외선 카메라일 수 있다. 캡쳐된 이미지 및 기타 이미지 처리 기술을 사용하여, 관찰자의 눈의 위치 및 방향은 결정될 수 있으며, 그 후 기저부로 제공된다. 머리 및 눈 추적은 연속적인 관찰자의 머리 및 눈 추적을 제공할 수 있도록 작은 시간 간격으로 충분하여 실시간으로 수행된다.
다중 평면 디스플레이 시스템은 다수의 새로운 컴퓨터 하드웨어 및 소프트웨어 구성 요소와 처리과정을 포함하며, 현존하는 구성 요소와 함께 수평 원근법 관찰 시뮬레이터를 생성한다. 관찰자가 이런 독특한 핸즈온 시뮬레이션을 경험하기 위해서는 컴퓨터 하드웨어 화면은 최종 사용자의 시선이 화면과 45도 각도를 이루는 것처럼 적절하게 수평화되어야 한다. 일반적으로 이는 최종 사용자가 수직으로 서있거나 앉아있고 화면은 지면과 수평으로 위치한다는 것을 의미한다. 비록 최종 사용자가 45도가 아닌 각(예를 들어 55도, 30도 등)으로 핸즈온 시뮬레이션을 경험할 수 있지만, 45도가 개방 공간 이미지에서 최대한의 공간 정보를 뇌가 인식할 수 있는 최상의 각이라는 것을 기억해라. 그러므로, 단순성을 위해서, 우리는 이 문서 를 통틀어 "대략 45도"를 의미하는 45도를 사용한다. 게다가, 수평 화면이 수평 지면으로 관찰자의 경험을 시뮬레이션하기 때문에 적합하지만, 어떠한 화면도 역시 3차원 환영 경험을 제공할 수 있다. 수평 원근법 환영은 수평 원근법 이미지를 천장 표면에 투사함으로써 천장에 매달려서 나타날 수 있으며, 또한 수평 원근법 이미지를 수직 벽 표면에 투사함으로써 벽에서 부유하여 나타날 수도 있다.
관찰 시뮬레이터는 상 하부 물리 화면에 모두 적합한 3 차원 그래픽 관찰 체적내에 생성된다. 수학적으로, 각도 카메라 포인트의 컴퓨터 생성 x, y, z는 무한 "피라미드"의 정점을 형성하며, 피라미드의 옆면은 기준/수평 평면의 x, y, z 축 좌표를 통과한다. 도9는 상기 무산 피라미드를 도시하며, 이는 각도 카메라 포인트에서 시작하여 원근 클립 평면을 통과하여 연장한다. 관찰 체적은 안락 평면, 관찰 체적 상단에 있는 평면에 의해서 정의되며 상기 안락 평면은 피라미드 내의 그것의 위치가 최종 사용자의 안락함, 즉 그들의 눈, 머리, 신체 증이 시뮬레이션을 보고 상호작용하는 동안 어떻게 적절하게 위치할 것인가를 결정한다는 점에서 적절히 이름 지어 졌다.
관찰자가 그들의 물리 화면에서 개방 공간 이미지를 보기 위해, 화면은 적절히 위치해야하며, 이는 보통 물리 기준 화면이 지면과 수평으로 위치하여야 한다는 것을 의미한다. 지면에 대한 화면의 위치가 무엇이든 간에, 기준/수평 평면은 최상의 관찰을 위해서 최종 사용자의 시선과 대략 45도 각도가 되어야 한다.
최종 사용자가 이러한 단계를 수행하는 하나의 방법은 CRT 모니터를 마루에 세워놓고, 그래서 기준/수평 평면이 마루와 수평이 되도록 하는 것이다. 상기 예는 CRT 모니터를 사용하였지만, 디스플레이 스크린, 단색 또는 컬러 디스플레이, 발광 물질, TFT, 인광체, 컴퓨터 프로젝터 및 관찰자의 시야선과 대략 45도 각도로 위치한 화면을 제공하는 어떠한 종류의 일반적인 이미지 생성 방법도 사용될 수 있다.
디스플레이는 수평 원근법 이미지를 적절히 디스플레이 하기 위해서 관찰자의 시점을 알 필요가 있다. 이를 할 수 있는 한가지 방법은 최종 사용자가 시뮬레이터 엔진에 그들의 눈의 현실 세계 x, y, z 위치 및 물리 기준/수평 평면의 중앙에 관한 시선의 정보를 제공하는 것이다. 예를 들어, 최종 사용자는 기준/수평 평면의 중앙을 보는 동안 그들의 물리적 눈이 12 인치 위 그리고 12 인치 뒤에 위치한다고 수평 원근법 디스플레이에 알려줄 수 있다. 상기 수평 원근법 디스플레이는은 그 후 관찰자의 시점의 물리적 좌표 및 시선에 대해서 컴퓨터 생성 각도 카메라를 맵핑한다. 또 다른 방법은 관찰자가 마우스 같은 입력 장치를 수동으로 조정하는 것이며, 수평 원근법 디스플레이는 적절한 시점 위치를 관찰자가 체험할 때까지 이미지 투시 시점을 조정한다. 또 다른 방법은 적외선 장비 또는 카메라를 구비한 삼각 측량법을 이용하여 관찰자의 눈의 위치를 자동으로 파악하는 것이다.
도10는 상술한 새로운 컴퓨터 생성 및 실제 물리 구성요소 전부를 포함하는 본 발명의 수평 원근법 디스플레이을 도시한다. 또한 현실 세계 구성요소 및 그것의 컴퓨터 생성 등가물이 1:1로 맵핑되고 공통 기준 평면을 공유하는 것을 도시한다. 이러한 시뮬레이션 엔진의 전체적인 실시로 관찰자의 시야와 대략 45도 방향을 두는 영상 장치의 표면 그리고 그 위에 있는 개방 공간에 나타나는 실시간 컴퓨터 생성 3D 그래픽을 구비한 핸즈온 시뮬레이터 발생된다.
본 발명은 또한 하나의 시점에서 보여지는 것으로 투사되고 계산되어 공간의 의도된 시점으로부터 사용자가 떨어지는 움직임은 왜곡의 증가를 발생시키는 종래의 3 차원 이미지 디스플레이와 대조적으로,디스플레이가 관찰자의 시점을 추적하고 그에 대응하게 이미지를 다시 디스플레이하기 때문에 커다란 왜곡 없이 사용자가 3차원 디스플레이 주변을 움직일 수 있도록 한다.
상기 디스플레이 시스템은 추가로 시점 위치의 움직임이 주어지는 투사된 이미지의 재계산이 가능한 컴퓨터를 추가로 포함한다. 수평 원근법 이미지는 매우 복잡하며 예술가 또는 카메라에 대해 자연스러운 방법으로 생성하거나 생성되기에 장황하기 때문에, 작업 수행을 위해서 컴퓨터 시스템의 사용이 필요하다. 복잡한 평면에 물체의 3차원 이미지를 디스플레이하기 위해 또는 애니메이션 연속물을 생성하기 위해 다수의 계산 능력 및 시간이 요구되며 따라서, 이러한 작업은 컴퓨터가 적합하다. 3 차원 가능 전자제품과 컴퓨팅 하드웨어 장비 및 실시간 컴퓨터 생성 3 차원 컴퓨터 그래픽은 시각적, 청각적, 및 촉각적 시스템의 두드러진 혁신으로 최근에 현저히 개선되었고 실제적이고 더욱 자연스런 컴퓨터 인간 인터페이스를 생성하는 뛰어난 하드웨어 및 소프트웨어를 생산하게 되었다.
본 발명의 다중 평면 디스플레이 시스템은 텔레비전, 영화 및 비디오 게임 같은 엔터테인먼트 매체를 위해서 필요할 뿐 아니라 교육(3 차원 구조물의 디스플레이), 기술 교육(3 차원 장비의 디스플레이) 같은 다양한 분야에 역시 필요하다. 다양한 각도에서 물체와 유사한 이미지를 이용하여 실제 물체의 관찰을 가능하게 하는 3 차원 이미지 디스플레이에 대한 증가하는 수요가 존재한다. 수평 원근법 디 스플레이 시스템은 또한 관찰자 관찰을 위한 컴퓨터 생성 리얼리티를 대체할 수도 있다. 본 시스템은 3 차원 환영의 경험을 완성하기 위해서 청각, 시각, 행동 및 사용자로부터의 입력을 포함한다. 수평 원근법 시스템을 위한 입력은 수개의 이미지가 하나의 3 차원 이미지 또는 3 차원 모델을 형성하기 위해 결합된 2 차원 이미지일 수 있다. 상기 3 차원 이미지 또는 모델은 2차원 이미지보다 많은 정보를 운반하며 관찰 각을 바꿈으로써 관찰자는 상이한 관점에서 연속적으로 동일한 물체를 보는 인상을 얻을 수 있을 것이다.
다중 평면 디스플레이는 복합 관찰 또는 "다중 관찰" 능력을 추가로 제공할 수 있다. 다중 관찰은 관찰자에게 동일한 시뮬레이션에 대한 다중 및/또는 분리된 좌측 눈 및 우측 관찰을 제공한다. 다중 관찰 능력은 하나의 관찰에 비해 현저한 시각적 상호작용적 개선이다.
다중 관찰 모드에서, 좌측 눈과 우측 눈 이미지 모두는 관찰자의 뇌에 의해서 하나의 3차원 환영으로 혼합된다. 커다란 불일치로 관찰자의 눈의 피로를 발생시키는 입체 이미지,특히 움직이는 이미지에서 고유한 눈의 적응과 수렴 사이의 불일치의 문제는 관찰자의 응시 점이 디스플레이 장면이 변할 때 변하기 때문에 수령 원근법 디스플레이를 사용하여 감소될 수 잇따. 다중 관찰 모드에서, 목표는 깊이 인식, 즉 좌측 눈과 우측 눈이 약간 상이한 이미지를 보는 것을 생성하기 위해 두 개의 눈의 동작을 흉내 내는 것이다. 따라서 본 발명에서 사용될 수 있는 다중 관찰 장비는 입체 사진 방법, 특수 편광 안경 또는 셔터 안경 같은 안경을 사용하는 방법, 시차 입체사진, 수정체 법, 거울 법(오목 및 볼록 렌즈)같은 안경을 사용 하지 않는 방법을 포함한다.
입체사진 방법에서, 우측 눈을 위한 디스플레이 이미지와 좌측 눈을 위한 디스플레이 이미지는 각각 예를 들어 빨강 및 파랑의 두 개의 색으로 각각 겹쳐서 디스플레이되며 우측 및 좌측 눈을 위한 이미지 관찰은 색 필터를 사용하여 분리되며, 그에 따라 사용자는 입체적 이미지를 인식할 수 있다. 상기 이미지는 일정한 각에서 관찰자가 아래를 바라보는 수평 원근법 기술을 사용하여 디스플레이된다. 하나의 눈을 사용하는 수평 원근법 방법이기 때문에, 투사된 이미지의 시점은 관찰자의 시점과 일치되어야 하며, 그러므로 사용자 입력 장치는 사용자가 3 차원 수평 원근법 환영을 관찰할 수 있게 하는데 필수적이다. 입체 사진 방법의 초기 시절부터, 빨강/파랑 안경의 스펙트럼 같은 개선 및 훨씬 현실적이고 관찰자에게 편안함을 만들어주는 디스플레이가 다수 존재했다.
편광 안경 방법에서, 좌측 눈 이미지 및 우측 눈 이미지는 직교 선형 편광자, 원형 편광자, 타원 편광자 같은 상호 소멸 편광 필터의 사용에 의해 분리된다. 이미지는 일반적으로 편광 필터를 사용하여 스크린에 투사되고 관찰자는 대응하는 편광 안경을 제공받는다. 좌측 및 우측 눈 이미지는 스크린에 동시에 나타나지만, 오직 좌측 눈 편광 빛만이 안경의 좌측 렌즈를 통과해서 전달되고 우측 눈 편광 빛만이 우측 눈 렌즈를 통과하여 전달된다.
입체적 디스플레이의 또 다른 방법은 이미지 순차 시스템이다. 이러한 시스템에서, 이미지는 다른 하나와 겹쳐지는 것이 아니라 좌측 눈 및 우측 눈 이미지 사이에서 순차적으로 디스플레이되고, 관찰자의 렌즈는 좌측 이미지가 디스플레이 될때 좌측 눈이 볼 수 있도록 하고, 우측 이미지가 디스플레이될 때 우측 눈이 볼 수 있도록 하여 스크린 디스플레이와 동기화된다. 안경의 개폐는 기계적인 개폐 또는 액정 전자 개폐에 의해서 달성된다. 개폐 안경 방법에서, 우측 및 좌측 눈을 위한 디스플레이 이미지는 시 분배 방법으로 CRT에서 대안적으로 디스플레이되고, 우측 및 좌측 눈을 위한 관찰 이미지는 디스플레이 이미지와 동기화된 시 분배 방법으로 열리고/닫히는 시 분배 개폐 안경을 사용하여 분리되며, 그에 따라 관찰자가 입체적 이미지를 인식할 수 있게 한다.
입체 이미지를 디스플레이할 수 있는 또 다른 방법은 광학적 방법이다. 상기 방법에서, 프리즘, 거울, 렌즈 등과 같은 광학적 수단을 이용하여 사용자에게 분리되어 디스플레이된 우측 및 좌측 눈을 위한 디스플레이 이미지는 관찰자의 앞에 관찰 이미지로 디스플레이되고, 그에 따라 관찰자는 입체적 이미지를 인식한다. 커다란 볼록 또는 오목 렌즈는 또한 두 개의 이미지 프로젝터가 좌측 눈 및 우측 눈 이미지를 투사하고 관찰자의 좌측 및 우측 눈에 각각 초점을 제공하는 곳에 사용될 수 있다. 광학적 방법의 변종은 이미지가 원통형 렌즈 구성요소 또는 렌즈 구성요소의 2 차원 배열에 형성되는 경우에 렌즈 방법이다.
도11은 컴퓨터 어떻게 생성 인간의 두 관찰이 수평 평면에 투사되고 그 후 입체 3D 가능 영상 장치에 디스플레이되는 지에 집중하는 수평 원근법 디스플레이에 대한 도면이다. 도11은 하나의 완전한 디스플레이 시간 주기를 나타내다. 이러한 디스플레이 시간 주기 동안, 상기 예에서 입체 3D 영상 장치는 분리된 좌측 및 우측 관찰을 필요로 하기 때문에 수평 원근법 디스플레이는 두 개의 상이한 관찰을 생성할 필요가 있다. 분리된 좌측 및 우측 관찰 이상을 필요로 하는 현존하는 입체 3D 영상 장치가 존재하며, 본원에 기술된 방법은 다중 관찰을 상기 장치를 위채 동작할 수 있다.
도11의 좌측 상부의 도면은 제1(우측) 관찰이 생성된 후에 우측 관찰 눈을 위한 각도 카메라 포인트를 도시한다. 제1(우측) 관찰이 완성되고 나면, 수평 원근법 디스플레이는 컴퓨터 생성 인간의 제2(좌측) 관찰을 묘사하는 처리과정을 시작한다. 도11의 좌측 하부 도면은 상기 시간의 완성 후에 좌측 눈을 위한 각도 카메라 포인트를 도시한다. 그러나 묘사 처리과정이 시작되기 전에, 수평 원근법 디스플레이는 좌측 및 우측 눈의 위치의 차이를 고려하여 각도 카메라 포인트의 조정을 수행한다. 이는 좌측 눈의 x 좌표를 2 인치만큼 증가시킴으로써 도11에서 설명되었다. 우측 눈의 x 좌표와 좌측 눈의 x+2 좌표 사이의 차이는 눈 사이의 2 인치 차이를 제공하며, 이는 입체적인 3D 관찰을 위해 필요하다. 사람의 눈 사이의 거리는 다양하나 상기 예에서 우리는 평균값인 2인치를 사용한다. 관찰을 위해서 개인적인 눈 차이 값을 갖는 수평 원근법 디스플레이를 제공하는 것 또한 가능하다. 이는 임의의 사용자를 위해서 좌측 눈을 위한 x 값과 우측 눈을 위한 값을 매우 정확하게 함으로써 입체 3D 관찰의 질을 개선할 수 있다.
수평 원근법 디스플레이가 각도 카메라 포인트의 x 좌표를 2 인치만큼 또는 관찰자에 의해 제공되는 개인적인 눈 차이 값으로 증가시키고 나면, 묘사는 제2(좌측 눈) 관찰을 디스플레이함으로써 계속된다.
사용되는 입체적 3D 영상 장비에 따라서, 수평 원근법 디스플레이는 상술한 바처럼 다음 디스플레이 시간 주기로 옮겨갈 필요가 있기 전까지, 좌측 및 우측 눈 이미지를 계속하여 디스플레이한다. 그러면 북극곰의 새로운 제2 시뮬레이트된 이미지가 약간 다른 위치로 새로운 디스플레이 시간 주기 동안 묘사된다. 이것이 발생하는 때의 예는 만약 북극곰이 발 또는 신체의 일부를 움직이려할 때이다. 그러면 새로운 두 번째의 이미지가 새로운 위치에 북극곰을 보여주기 위해서 필요하다. 북극곰의 이러한 새롭게 시뮬레이트된 이미지는 약간 다른 위치에서 새로운 디스플레이 주기 동안 묘사된다. 디스플레이 시간의 멈춤 없는 증가를 통한 다중 관찰의 생성의 과정은 시뮬레이션 엔진이 입체 3D에서 실시간 시뮬레이션을 생성하는 한 계속된다.
빠르게 수평 원근법 이미지를 디스플레이함으로써, 3 차원 이동 환영은 실현된다. 일반적으로 1초당 30에서 60개의 이미지가 눈이 움직임을 인식하기 위해서 적당하다. 입체를 구현하기 위해서, 동일한 디스플레이 레이트가 겹쳐진 이미지를 위해서 필요하며, 두 배의 양이 시 순차 방법을 위해 필요하다.
디스플레이 레이트는 디스플레이가 완전하게 생성되고 하나의 이미지를 디스플레이 하는데 사용되는 초당 이미지의 수이다. 이는 초당 24번 이미지를 디스플레이하는 투사기와 유사하다. 그러므로 1/24 초가 투사기에 의해 디스플레이되는 하나의 이미지를 위해 필요하다. 그러나 디스플레이 시간은 변할 수 있으며, 이는 표시 체적의 복잡도에 따라 컴퓨터가 하나의 SI를 완성하는데 1/12 또는 1/2 초가 걸린다는 것을 의미한다. 디스플레이는 동일한 이미지에 대해서 분리된 좌측 및 우측 관찰을 생성하므로, 총 디스플레이 시간은 하나의 눈 이미지를 위한 디스플레이 시 간의 두 배이다.
본 발명은 비 수평 중앙 투시 원근법 디스플레이와 함께 수평 원근법 디스플레이를 포함하는 다중 평면 디스플레이를 추가로 개시한다. 도12는 다중 평면 디스플레이 개방되었을 때 대략 "L" 모양이 되는 컴퓨터 모니터인 본 발명 다중 평면 디스플레이의 실시예를 도시한다. 최종 사용자는 도12에서 도시한 것처럼 "L"의 하부면과 대략 45도로 컴퓨터 모니터의 곡면에서 L 모양의 컴퓨터 모니터를 관찰한다. 최종 사용자의 시선으로부터, L 모양 컴퓨터 모니터 전체는 하나의 무결점 화면으로 보여진다. 수평으로 위치한 디스플레이의 L의 하부는 수평 원근법 이미지를 보여주며, L 디스플레이의 다른 가지는 중앙 원근법 이미지를 보여준다. 두 개의 디스플레이 분절의 가장자리는 부드럽게 결합되며 수평 원근법 및 중앙 투시 원근법의 두 개의 디스플레이를 결합하기 위해서 곡선 투시를 구비할 수도 있다.
다중 평면 디스플레이는 하나 이상의 물리적인 화면으로 만들어진다. 예를 들어, "L"의 수직 다리형상부는 평면 패널 디스플레이 같은 물리적인 화면일 수 있으며, "L"의 수평 다리형상부는 분리면 평면 패널 디스를레이일 수 있다. 두 개의 디스플레이 분절의 가장자리는 넌(non) 디스플레이 분절일 수 있으며 그에 따라 두 개의 디스플레이 분절은 연속적이 아닐 수도 있다. 다중 평면 디스플레이의 각각의 다리 형상부는 화면이라고 호칭되며 도36의 상부 좌측에서 수직 화면과 수평 화면을 볼 수 있다. 중앙 투시 원근법은 수직 화명에서 생성되며 수평 원근법 이미지는 수평 화면에서 생성되고, 도12의 하부 우측에 도시한 것처럼, 두 개의 화면이 만나는 곳에서 두 개의 이미지는 혼합된다.
도12는 또한 다중 평면 디스플레이가 다중 관찰의 생성을 할 수 있다는 것을 도시한다. 이는 단일 관찰 이미지, 즉 상부 좌측에 도시된 시뮬레이션 같은 하나의 눈에 의한 원근법을 디스플레이 및/또는 다중 관찰 이미지, 즉 하부 우측에 도시된 시뮬레이션 같은 분리된 좌우측 눈 관찰을 디스플레이 할 수 있다는 것을 의미한다. 그리고 L 모양의 컴퓨터 모니터가 최종 사용자에 의해 사용되지 않을 때는, 그것을 하부 좌측의 시뮬레이션처럼 닫힌다.
도13은 본 발명 다중 평면 디스플레이의 단순화된 도면이다. 도13의 상부 우측은 L 모양 컴퓨터 모니터에 디스플레이된 북극곰의 단일 관찰 이미지의 예시이다. 일반적으로 단일 관찰 또는 단안 이미지는 하나의 카메라 포인트에 의해서 생성되지만, 다중 평면 디스플레이를 위해서는 그것이 단일 관찰 예시라도 적어도 2개의 카메라 포인트가 존재한다는 것을 알 수 있다. 이는 다중 평면 장비의 각각의 화면이 자신의 묘사 원근법을 필요로 하기 때문이다. 하나의 카메라는 수평 원근법 이미지를 위한 것이며 이는 수평 표면에 디스플레이되며, 다른 카메라 포인트는 중앙 투시 원근법을 위한 것이며 수직 표면에 디스플레이된다.
수평 원근법과 중앙 투시 원근법 양자를 생성하기 위해서는 두 개의 상이하고 분리된 OSI 및 CPI로 명명된 카메레 포인트를 위해서 도13에 도시된 것과 같은 (동일하거나 상이한)두 개의 카메라 시점을 생성하는 것이 필요하다. 도13의 하부에 도시된 것과 같은 L 모양 모니터의 수직 화면은 중앙 투시 원근법 용 디스플레이 화면이며, 그에 따라 상기 화면을 위한 또 다른 공통 기준 평면을 정의할 필요가 있다. 상술한 것처럼, 공통 기준 평면은 이미지가 디스플레이되는 평면이며, 컴 퓨터는 디스플레이된 이미지의 위치와 실제 물리적인 위치를 동기화하기 위해서 상기 평면에 대한 추적을 유지할 필요가 있다. L 모양 다중 평명 장비 및 두 개의 디스플레이 평면으로, 시뮬레이션은 3차원 이미지, (OSI) 카메라 시점을 사용한 수평 원근법 이미지 및 (CPI) 카메라 시점을 사용한 중앙 투시 원근법 이미지를 생성할 수 있다.
다중 평명 디스플레이 시스템은 수평 원근법과 중앙 투시 원근법 이미지를 도13에 도시된 "L"의 틈(seam)에서 혼합하는 곡면 접속 디스플레이 부를 추가로 포함할 수 있다. 다중 평면 디스플레이 시스템은 연속적으로 L 모양 다중 평면 장비에서 나타나는 하나의 L 모양 이미지를 갱신하고 디스플레이 할 수 있다.
게다가, 다중 평면 디스플레이는 도14에 도시한 다중 곡면 혼합부와 함께 다중 디스플레이 표면을 포함할 수 있다. 다중 디스플레이 표면은 평면 벽, 다중 인접 평면 벽, 돔(dome), 곡면 둘레 패널일 수 있다.
본 발명 다중 평면 디스플레이 시스템은 그러므로 동시에 복수의 3차원 이미지를 다중 디스플레이 표면에 투사할 수 있으며, 그 중 하나는 수평 원근법 이미지이다. 또한, 관찰자가 3 차원 이미지 프리젠테이션을 위해 입체적 환영을 사용할 수 있는 입체 다중 디스플레이 시스템일 수 있다.
다중 평면 디스플레이 시스템은 적어도 두 개의 디스플레이 표면을 포함하기 때문에, 다양한 필요조건은 3 차원 이미지 투사에서 높은 적합도를 갖도록 제공되어야 한다. 디스플레이 필요조건은 일반적으로 물체와 이미지의 모양이 정확하게 위치되도록 하는 기하학적 정확성, 디스플레이 표면 사이의 연속성을 보장하는 가 장자리 일치 정확성, 다양한 디스플레이의 혼합부에서 휘도의 변경이 없도록 보장하는 혼합부 변화의 무존재 및 관찰자의 시점으로부터 연속적인 이미지를 보장하는 관찰 시야이다.
다중 평면 디스플레이 시스템의 혼합부는 바람직하게는 곡면이며, 몇몇의 왜곡 수정이 혼합부 표면에 투사된 이미지가 관찰자에게 올바르게 나타나도록 하기 위해 사용될 수 있다. 디스플레이 시스템에 대한 왜곡 수정 방법으로 특정한 곡면 혼합 디스플레이 부를 위한 이미지 투사 시스템을 설계하는 테스트 패턴 이미지를 사용하거나, 곡면 혼합 부를 위한 조각적 선형 근사화를 사용하는 특수 비디오 하드웨어를 사용하는 것과 같은 다양한 해결책이 존재한다. 곡면 표면 투사를 위한 또 다른 왜곡 수정 해결법은 사용자의 시점과 프로젝터의 임의의 위치에 대한 이미지 왜곡 수정을 자동으로 계산하는 것이다.
다중 평면 디스플레이 시스템이 하나를 초과하는 디스플레이 표면을 포함하기 때문에, 각각의 디스플레이 사이의 틈과 구멍을 최소화하도록 주의해야 한다. 틈 또는 구멍 문제를 방지하기 위해서, 인접하게 겹쳐진 이미지 부분을 생성하는 적어도 두개의 이미지 생성기가 존재한다. 겹쳐진 이미지는 겹쳐진 영역의 투사된 픽셀이 적절한 디스플레이 이미지를 형성하도록 조절되게 하는 이미지 프로세서에 의해 계산된다. 또 다른 해결책은 하나의 디스플레이 표면으로부터 다음 것으로 부드러운 전이를 생성하도록 겹침(overlapping) 감소의 정도를 제어하는 것이다.
3차원 디스플레이의 현실감을 위해, 두 귀로 듣는 또는 3차원 오디오 시뮬레이션이 또한 필요하다. 본 발명은 또한 적절한 사운드 시뮬레이션을 보장하기 위해 두 귀로 듣는 또는 3 차원 오디오를 조정하는 수단을 제공한다.
보는 것과 마찬가지로, 하나의 귀를 사용하여 듣는 것은 단청이라고 부르며 두 개의 귀를 사용하여 듣는 것을 두 귀로 듣는 것(binaural)이라고 부른다. 청취는 사운드 소스의 방향을 제공할 수 있으나 소리보다는 빈약한 해결책이며, 스피치 또는 음악같은 사운드 소스의 콘텐츠를 식별하며 에코(echo), 잔향음을 통해 일반적인공간 또는 열린 공간 같은 환경의 특성을 식별한다.
머리와 귀 그리고 때때로 어깨는 사운드 소스의 위치 거리 및 환경에 대한 정보를 제공하는 안테나 시스템 같은 기능을 한다. 뇌는 직접적인 소리, 머리 둘레의 회절성 사운드와 같이 머리에 도달하는 다양한 종류의 사운드를 적절히 해석할 수 있으며, 외부 귀 및 어깨와 상호작용함으로써, 상이한 사운드 크기 및 상이한 사운드 도달 시간을 해석할 수 있다. 이러한 음향적 변형을 '사운드 단서'라고 부르며 우리에게 사운드의 대한 직접적인 음향 정보를 제공한다.
기본적으로, 사운드 단서는 타이밍, 체적, 주파수 및 반사와 관련이 있다. 타이밍 단서에서, 귀는 사운드다 도달하는 시간을 인지하고 가장 가까운 소스로부터 사운드가 온다고 가정한다. 추가로, 약 8 인치 떨어진 두 개의 분리된 귀로, 다른 귀에 비해서 다른 귀에 대한 사운드의 도달 지연은 사운드 소스의 대한 위치 단서를 제공할 수 있다. 타이밍 단서는 청취자가 나중에 도달하는 소리 파동의 크기에 관계없이 제일 먼저 귀에 도달한 소리파동에 기초하여 사운드의 위치를 정한다는 점에서 레벨 단서보다 강력하다. 체적(또는 레벨) 단서에서, 귀는 사운드의 체적(또는 세기)를 인지하고 가장 시끄러운 방향에서 소리가 오고 있다고 가장한다. 두 귀로 듣는(binaural) 효과로, 귀사이의 크기의 차이점은 사운드 소스의 위치에 대한 강력한 단서가 된다. 주파수(또는 균등화) 단서에서, 귀는 전방 사운드는 고막에 직접 도달하지만, 후방 사운드는 외부 귀에 부딪쳐 돌아와서 고 주파수를 나타내기 때문에 각각의 귀에 도달하는 사운드의 주파수 균형을 인지한다. 반사 단서에서, 사운드는 다양한 표면에 부딪쳐 돌아오며 귀에 여러 번 도달하기 전에 다양한 정도로 분산되거나 흡수된다.공간의 벽에 대한 반사 및 사운드를 가리는 다양한 층 사이에 대한 차이의 통찰은 위치를 인지하는데 기여한다. 추가로, 신체, 특히 머리는 소리의 위치를 알아내기 위해 사운드 소스와 관련하여 움직일 수 있다.
상술한 다양한 사운드 단서는 과학적으로 3 가지 종류의 공간적 청취 단서로 분류된다: ITD(interaural time difference), ILD(interaural level difference) 및 HRTF(head-related transfer function). ITD는 귀에 도달하는 사운드의 시간 및 두 개의 귀에 도달하는 시간차와 관련이 있다. ILD는 귀에 도달하는 사운드의 주파수 스펙트럼에서의 크기와 두 개의 귀에서 들리는 사운드 주파수의 크기 차와 관련이 있다. HRTF는 음질의 변화와 거리 종속성, 시간 지연 및 직접적인 사운드와 에코 환경에서의 반사에 의해 거리에 대한 지각을 제공한다.
ITD, ILD 및 반사, 청취자의 신체, 머리, 귀 외부 및 어깨에 의해 발생되는 회절 및 제동을 포함하여, HRTF는 개개의 청취자를 위한 공간 단서의 집합이다. 외부 귀 또는 귓바퀴는 HRTF에 대해 현저히 기여한다. 고주파수 사운드는 귓바퀴 필터의 반응이 사운드 소스의 전체적인 방향의 매우 높게 의존하기 때문에 사운드 소스의 측면 위치 또는 방위 및 고도를 인지할 수 있는 방법을 뇌에 죄공하는 귓바퀴 에 의해서 걸러진다. 머리는 사운드가 귀에 도달하기 위해서 뇌를 통과하거나 주위를 돌아가야 하기 때문에 사운드의 다양한 주파수에 대해 크기를 감소시킨다. 머리 그림자의 총체적인 효과는 선형 거리 및 사운드 소스의 방향에 대한 인지에 기여한다. 게다가 1 내지 3 kHz 범위의 사운드 주파수는 사운드 소스의 고도에 의존하여 시간 지연을 나타내는 에코를 생성하는 어깨에서 반사된다. 세상의 표면으로부터의 반사 및 반향은 사운드 거리 및 방향에 대한 위치 측정 판단에 영향을 미친다.
상기 단서에 추가로, 사운드 소스의 위치를 알아내는데 도움을 주는 머리 움직임이 사운드 방향을 확인하는 시각과 함께 매우 중요한 요소다. 3D 현상을 위해, 사운드의 위치를 밝혀내는 메카니즘은 항상 동작 중이며 일반적으로 동의 되어야 한다. 만약 그렇지 않다면, 약간의 불편함과 혼란이 존재할 것이다.
우리가 하나의 귀를 사용하여 들을 수도 있지만, 두 개의 귀를 이용하여 듣는 것이 보다 명확하다. 다수의 사운드 단서는 상대적인 사운드의 세기와 각각의 귀에 도달하는 상대적인 시간에 의존하는 두 귀로 듣는 것(binaural) 인지와 관련이 있다. 그러므로, 두 귀로 듣는 활동은 하나 또는 다수의 사운드 소스의 위치를 밝혀 내는 것,공간의 환경 특성, 다수의 비간섭 및 간선 사운드 소스로부터 오는 신호의 분리 및 반향적 환경에서 선택된 신호의 보강에 대해 명백히 월등하다.
수학적으로 설명하면, HRTF는 귀에 의해서 수신되는 사운드 파동의 주파수 응답이다. 개개의 청취자의 HRTF를 측정하고 디지털 신호 처리를 사용하여 전기적으로 합성함으로써, 사운드는 3 차원에서 가장 사운드 이미지를 생성하기 위해 해드폰이나 스피커를 통해서 청취자에 귀로 전달될 수 있다.
이도(ear canal)로의 사운드 전송, 즉 HRTF 주파수 응답은 이도(ear canal)에서 자그마한 마이크로폰을 사용하여 정확하게 측정될 수 있다. 측정된 신호는 그 후 사운드 소스 위치에 대응하는 좌우측 귀를 위한 HRTF 주파수 응답을 유도하기 위해서 컴퓨터에 의해 처리된다
그러므로 3D 오디오 시스템은 오디오 필터 또는 이퀄라이저로서 측정된 HRTF를 사용하여 동작한다. 사운드 신호가 HRTF 필터에 의해 처리될 때, 사운드 위치 단서는 재생되고, 청취자는 HRTF에 의해 특정된 위치에서 신호를 인지할 수 있다. 이러한 두 귀로 듣는 것의 종합 방법은 청취자 자신의 HRTF가 위치 단서를 종합하기 위해 사용할 때 매우 잘 동작한다. 그러나 HRTF의 측정은 복잡한 처리과정이어서, 3D 오디오 시스템은 일반적으로 특정한 인간 또는 인체 해부 모형으로 미리 측정된 HRTF의 단일 집합을 사용한다. 그러므로 HRTF는 때때로 특정한 청취자에 대응하기 위해서 정확하게 변형될 필요가 있다. HRTF 기능의 변경은 다양한 사운드 소스 위치와 환경을 제공하고 사용자에게 식별을 요청함으로써 달성된다.
3D 오디오 시스템은 청취자를 위해서 3D 차원 공간을 정의하고 3D 공간에서 다중 사운드 소스와 청취자의 위치를 정하며 이 모든 것을 실시간 또는 상호작용으로 행한다. 3D 오디오 시스템 이외에, 스테레오 확장과 서라운드 사운드 같은 다른 기술이 3D 위치 결정 또는 상호작용의 몇몇 측면을 제공한다.
확정된 스테레오는 광활함을 추가하고 직송식 방법을 통해서 외부의 좌/우 스피커 위치로부터 사운드가 나오는 것처럼 보이게 하기 위해서 현존하는 스테레오(두 개의 채널) 사운드 트랙을 처리한다. 확정된 사운드 기술의 몇몇의 특징은 청취 영역(스위트 스폿(sweet spot)이라고 불림)의 크기, 스테레오 이미지의 확산 양, 계조(tonal) 변경의 양 및 스피커뿐 아니라 해드폰에서도 효과를 달성할 수 있는 능력을 포함한다.
서라운드 사운드는 서라운드 사운드 5-스피커 설정으로 스테레오 사운드보다 큰 스테이지를 형성한다. 추가적으로, 가상 서라운드 시스템은 일반적이 스테레오 스피커로부터 방출되는 5 개의 스피커의 환영을 형성하여, 5 개의 스피커 설정 없이 서라운드 사운드 청취 체험을 가능하게 한다. 서라운드 사운드 기술의 특징은 제시 정확성, 공간 이미지의 명확함 및 청취 공간의 크기를 포함한다.
더 나은 3D 오디오 시스템을 위해, 오디오 기술은 현실 세계에서 비 상호작용 및 상호작용 청취 및 정취자 주위의 3 차원 공간 어디서든 사운드의 위치를 알 수 있도록 귀가 듣는 3D 오디오 단서를 복제함으로써 실제 생활 같은 청취 경험을 생성할 필요가 있다.
머리 추적 기능 또한 청취자에게 지각 공간 항상성을 제공하는데 매우 중요하다. 다른 말로, 청취자가 머리를 주위로 돌릴 때, 신호가 변화하여 인지된 청각 세계가 공간 위치를 유지하도록 한다. 이를 위해서, 시뮬레이션 시스템은 두 귀로 듣는 것의 임펄스 응답을 알맞게 제어할 수 있도록 머리의 위치를 알 필요가 있다. 머리 위치 센서가 그러므로 제공된다. 몰두하고 있는 효과는 가장 현실의 환경에서 응용에 적절한가 있다.
사운드 필드의 복제는 매우 많은 마이크로 폰을 모든 곳에 위치시킴으로써 행해진다. 매우 많은 채널을 갖는 레코더에 저장된 후에, 상기 레코딩은 각각이 정 확하게 마이크로 폰에 대응하도록 위치된 매우 많은 수의 소스 확성기(loudspeaker)를 통해 재생된다. 마이크로 폰과 스피커의 수가 감소할수록, 복제된 사운드 필드의 품질을 나빠진다. 두 개의 채널로 줄일 경우, 높이 단서는 상실되며 공간 어디에서나 들을 수 있었던 스테이지 대신 스테이지의 소스는 우리가 여전히 존재하는 두 개의 스피커로부터 같은 거리에 있고 스피커를 마주보고 있는 경우에만 위치를 알 수 있다.
그러나, 만약 우리가 각각의 이도(ear canal)의 입구에서 실제 음향을 모방하기 위해 필요한 정확한 사운드를 제공하면, 우리는 두 개의 이도(ear canal)를 가지기 때문에, 우리는 두 개의 사운드 필드만을 생성할 필요가 있으므로, 두 개의 채널이 적합하다. 다른 말로, 우리가 단지 두 개의 귀를 이용하여 현실 세계의 3 차우너 공간에서 들을 수 있기 때문에, 두 개의 스피커 또는 해드폰 세트로 동일할 효과를 달성할 수 있다.
해드폰 재생은 해드폰 마이크로폰이 일반적인 귀 분리에 따라 약 7인치 떨어져 있으며, 스피커 마이크로 폰은 약 7 피트 떨어져 있기 때문에, 스피커 재생과는 상이하다. 게다가 스피커는 혼선에 의한 영향을 받을 수 있어서 혼선 제거와 같은 몇몇의 신호 조절이 3D 스피커 셋업에 필요하다.
스피커 3D 오디오 시스템은 데스크탑 컴퓨팅 환경에 매우 효과적이다. 이는 항상 스피커 사이의 중앙에 위치하며 모니터를 바라보는 단지 하나의 청취자(컴퓨터 사용자)만이 보통 존재하기 때문이다. 그러므로, 데스트탑 사용자는 혼선이 적절히 소거되기 때문에 완전한 3D 효과를 얻을 수 있다. 일반적인 비디오 게임 같은 3D 오디오 애플리케이들은 친구들이 주위에 둘러앉아서 바라본다. 이러한 경우, 최적의 3D 오디오 효과는 그들이 스피커에 대해 중앙에 위치하였을 때 획득된다. 중앙에서 벗어난 청취자는 완전한 효과를 얻지 못하나, 몇몇의 공간 증대 효과를 사용하여 고 품질 스테레오 프로그램을 들을 수 있다.
3D 오디오를 달성하기 위해서, 스피커는 일반적으로 동일한 수평면에서 청취자 주위에 배열되지만, 천장으로부터 벽을 둘러싸는 마루로 배열되는 것과 같이 청취자 주위에 완전하게 배열되지 못할 수도 있다. 선택적으로, 스피커는 머리 위의 돔 외형으로 배열되는 것처럼 천정이나 마루에 배열되거나 수직 별 외형으로 배열될 수 있다. 게다가 스피커로부터 전송되는 빔(beam)은 해드폰 대신 사용될 수 있다. 스피커로부터 전송되는 빔(beam)은 그것이 단단한 사운드 빔을 제공하기 때문에 스피커 사이에서 혼선 없이 청취자의 움직임의 자유를 제공할 수 있다.
일반적으로 최소한 4 개의 스피커가 적절한 3D 오디오 체험을 성취하기 위해서 필요하지만, 몇몇의 연구는 상당한 큰 정확성을 가지고 음향 환경을 재생산하기 위해 울림이 없는 방에서 20개 이상의 스피커를 사용하였다.
다중 스피커 재생의 주요한 이점은:
-사운드 필드가 개개의 청취자를 참고하지 않고 생성되기 때문에, 개개인의 HRTF에 의존하지 않는다.
-머리 움직임이 자유롭고, 움직여도 제한된 범위 내이다.
-몇몇의 경우, 한 명 이상의 청취자가 동시에 시스템을 청취할 수 있다.
다수의 혼선 소거기는 매우 단순화된 혼선 모델에 기초한다. 예를 들면, 단 순한 지연 및 감쇠 과정 또는 지연 및 저역 통과(lowpass) 필터로서 혼선을 모델링한다. 다른 혼선 소거기는 구형 머리 모델에 기초한다. 두 귀로 듣는 것의 합성 방법을 사용함으로써, 혼선 소거기 성능은 인간 머리의 크기 및 모양의 변화에 의해 최후로 제한된다.
3D 오디오 시뮬레이션은 이하의 단계에 의해 달성된다:
-음향 공간의 특성 입력
-청취 위치에서 사운드 도달의 순서를 결정. 각각의 사운드 도달은 다음과 같은 특징을 갖는다: (a) 에코-경로에 따라 움직인 거리에 기초하는 도달 시간, (b) 도달 방향, (c) 에코 경로에 의해 충돌한 표면의 흡수 성실로 인한 소리의 (주파수의 기능으로서) 감쇠,
-다중 사운드 도달에 합체된 음향 공간의 임펄스 응답을 계산
-FIR 필터로부터의 결과는 청취자에게 재생된다. 임펄스 응답이 더미(dummy) 머리 응답을 사용하여 계산된 경우, 결과는 해드폰을 통해 청취자에게 재생된다. 이러한 경우, 특정 해드폰을 위해 필요한 균등화(equalisation) 또한 사용된다.
음향 환경의 시뮬레이션은 이하의 기능 중 하나 이상이 수반된다.
-오디오 소스 입력을 처리하고 공간에 특정 위치에 사운드 소스가 있는 것처럼 하는 다수의 스피커(해드폰)를 통해 청취자에게 전달
-다중 입력 오디오를 처리하여 각각의 소스가 독립적으로 청취자 주위의 공간에 위치하도록 함
-공간 음향의 몇몇의 특성을 모방하는 개선된 처리로, 사용자가 음향적으로 공간의 크기가 마루 및 둘러싼 벽의 특성을 음향적으로 감지할 수 있도록 함.
-사운드 소스의 특징 또는 공간 음향의 몇몇 특징에 집중할 수 있도록 그/그녀가 머리를 움직이고(아마도 제한된 범위 내에서) 돌릴 수 있는 능력.
두 귀는 듣는 시뮬레이션은 일반적으로 임의의 원하지 않는 에코 또는 노이즈로부터 영향이 없는 사운드 소스 요소를 사용하여 수행된다. 사운드 소스 요소는 그 후 청취자로 재생되며, 적절한 HRTF 필터를 사용하여 사운드 소스가 특정한 방향으로부터 발생되는 환영을 생성한다. HRTF 필터링은 단순히 오디오 신호를 HRTF 응답 쌍(해드폰의 각각의 채널을 위한 하나의 HRTF 필터)과 관련시킴으로써 달성된다.
눈과 귀는 종종 동시에 일어나는 사건을 인지한다. 문이 닫치는 것을 보면서, 닫칠 때 발생하는 소리를 듣는 것은 그것이 동시에 일어난다면 하나의 사건으로 해석된다. 만약 우리가 소리없이 문을 닫는다거나, 문이 우리 앞에서 닫혔으나 떠난후에 닫칠 때 발생하는 소리를 듣는다면 우리는 놀라며 혼란스러울 것이다. 다른 시나리오에서, 우리는 앞서 목소리를 들으며 코너에서 복도를 보고 있다면, 오디오 및 시간 단서의 조합으로 우리는 코너 주위에 사람이 서 있다는 것을 알 수 있을 것이다. 동기화된 3D 오디오와 3D 시각 단서는 함께 매우 강한 몰두 체험을 제공한다. 3D 오디오와 3D 그래픽 시스템 모두는 상기 동기화에 의해서 크게 개선될 수 있다.
해드폰을 통한 개선된 재생은 머리 추적의 사용으로 달성된다. 이러한 기술은 청취자의 머리의 위치에 대한 계속적인 측정을 사용하며, 제공된 오디오 신호를 해드폰에 적절하게 적용시킨다. 두 귀로 듣는 신호는 청취자가 좌우 사운드 소스를 쉽게 구분할 수 있게 해주지만, 앞뒤 및 고저를 구분할 수 있는 능력은 일반적으로 머리 움직임이 허용될 때만 가능하다. 다중 스피커 재생 시스템이 이러한 문제를 많이 해결해 주지만, 여전히 해드폰 재생이 적절한 다수의 애플리케이션이 존재하며, 이 경우 머리 추적이 3D 재생의 품질을 개선하는데 유용한 수단으로서 사용된다.
머리 추적 두 귀로 듣기 시스템의 가장 단순한 형태는 울림이 없는 HRTF를 단순히 모방하고 청취자의 머리 움직임에 빠르게 반응하여 HRTF 기능을 변경하는 것이다. 상기 HRFT 변경은 HRTF 표에 나타나지 않은 각도을 해결하기 위해 일부 사항을 추가한 검색표(lookup table)을 사용하여 달성된다,
머리 추적을 갖춘 해드폰을 통한 공간 음향의 시뮬레이션은 초기 반사의 도착 방향이 결과 사운드를 현실성 있게 만드는 데에도 중요하기 때문에 더욱 어렵다. 다수의 연구가는 공간 응답의 반향 꼬리에서의 에코가 일반적으로 확산되어 공간 응답의 반향 꼬리를 위해 청취자 머리 움직임을 추적할 필요가 없다고 믿는다.
머리 추적 재생 시스템의 중요한 특징은 해드폰에서의 오디오 응답을 변경하는 청취자의 머리 움직으로 인한 지연이다. 만약 상기 지연이 과도하다면, 청취자는 적절하지 못한 가장 움직임 형태 및 일반적인 방향 상실을 경험할 것이다. 오디오 단서는 사용자가 그 또는 그녀의 머리를 기울이거나 돌릴 때 그게 변한다. 예를 드렁, 측면을 보기 위해 빠르게 머리를 90도로 돌리는 것은 분리된 순간에 청취자 의 츠면으로부터 정면으로 오는 소리와 등가이다. 우리는 종정 소리를 추적하거나 소리를 찾기 위해서 머리를 움직인다. 귀는 눈이 현재 집중하고 있는 지역의 외부 사건에 대해 뇌에 경고하며, 우리는 자동으로 우리의 주위를 바꾼다. 추가로, 우리는 애매모호한 점을 해결하기 위해 머리를 움직인다; 약하고 낮은 사운드는 우리의 앞 또는 뒤에서 오는 것이며, 그에 따라 우리는 빠르고 무의식적으로 우리의 머리를 왼쪽으로 조금 돌리고, 만약 소리가 오른쪽에서 드리지 않는다면, 소리가 들려오는 곳은 앞이거나 그렇지 않으면 뒤라는 것을 알 수 있다. 상호 작용하는 오디오가 미리 녹음된 오디오(사운드트랙)보다 현실성이 있는 이유 중 하나는 청취자의 머리 움직임이 상호작용 시스템(조이스틱, 마우스, 또는 머리 추적 시스템을 사용하여)에서 적절히 시뮬레이션 되었기 때문이다.
HRTF 함수는 실시간 수행을 위한 디지털 신호 처리(DSP) 하드웨어를 사용하여 수행된다. DSP의 일반적인 특징은 직접적인 사운드는 정확한 크기 및 인지된 방향을 알려 줄 수 있도록 처리되어야 하며, 초기 에코는 (공간 표면의 응향 특성과 함께)공간의 크기를 인지할 수 있도록 해주는 적절한 시간, 크기 및 주파수 응답을 구비하여 청취자에게 도달하여야 하고, 마지막 반향은 청취자 주위의 3D에 자연스럽고 정확하게 분포되어야 한다. 공간 응답의 잔여물과 비교되는 직접적인 사운드의 상대적인 크기는 거리 감각을 제공하는 것을 돕는다.
3D 오디오 시뮬레이션이 두 귀로 듣는 이득을 제공하여서 정확히 동일한 오디오 콘텐츠를 뒤 귀로 듣는 경우에 더욱 잘 들을 수 있고 잘 이해할 수 있으므로, 뇌가 위치를 파악하고 두 귀로 듣는 신호를 뽑아내는 반면, 두 귀로 듣지 않는 신 호는 잡음으로 폐기된다. 추가로 그것들은 여전히 공간적으로 분리되었으며 두 귀로 듣는 이득에 의해 "증폭"되었기 때문에, 칵테일 파티 효과라 불리는 효과에 의해 청취자는 개개의 대화로 전환하여 이를 이해할 수 있다. 두 귀로 듣는 시뮬레이션은 또한 신호가 현실 세계에서 수신된 신호를 반영하기 때문에 보다 빠른 반응을 제공한다. 또한, 두 귀로 듣는 신호는 위치 정보를 전달할 수 있다: 두 귀로 듣는 레이더 경고 사운드는 사용자에게 (고유의 사운드를 가지고)다가오는 특정 물체를 경고할 수 있으며, 자연스럽게 물체가 다가오는 반향을 나타낸다. 또한 두 귀로 듣는 시뮬레이션을 청취하는 것은 우리가 두 귀로 듣는 신호인 머리 외부에서 발생되는 소리는 듣는 것에 익숙하기 때문에 적게 피로하다. 모노 또는 스테레오 신호는 해드폰을 사용하여 들을 때 청취자의 머리 내부에서 발생되는 것처럼 느껴지며 신제 주변의 두 귀로 듣는 신호보다 많은 긴장을 발생시킨다. 마지막으로, 3D 두 귀로 듣는 시뮬레이션은 시각이 두 귀로 듣는 사운드와 동기화될 때 고품질 3D 환경에 몰두할 수 있게 하고 증가된 인지를 제공한다.

Claims (14)

  1. 미리 정해진 투사 시점에 따라 수평 원근법 이미지를 디스플레이하는 제1 디스플레이; 및
    제1 디스플레이에 대해 비스듬이 기울어져 있는 제2 디스플레이를 포함하는
    수평 원근법 디스플레이 시스템.
  2. 제1항에 있어서, 상기 제2 디스플레이는 2D 이미지 또는 중앙 투시 원근법 이미지를 표시하는 것인 수평 원근법 디스플레이 시스템.
  3. 제1항에 있어서 제1 및 제2 디스플레이를 혼합하는 제3 곡면 디스플레이를 추가로 포함하는 수평 원근법 디스플레이 시스템.
  4. 제1항에 있어서, 입력 시점 위치를 받아들이는 시점 입력 장치를 추가로 포함하며 상기 수평 원근법 이미지는 투사 시점으로서 입력 시점을 사용하여 조정되는 것인 수평 원근법 디스플레이 시스템.
  5. 제4항에 있어서, 시점 입력 장치는 수동 입력 장치여서 시점 입력 위치는 수동으로 입력되는 것인 수평 원근법 디스플레이 시스템.
  6. 제4항에 있어서, 시점 입력 장치는 자동 입력 장치여서 자동 입력 장치가 자동으로 관찰자로부터 시점 위치를 추출하는 것인 수평 원근법 디스플레이 시스템.
  7. 수평 원근법 투사에 의한 이미지 디스플레이 방법에 있어서, 상기 수평 원근법 투사는 미리 정해진 투사 시점에 따라 수평 원근법 이미지를 디스플레이하는 단계를 포함하며, 상기 방법은:
    제1 디스플레이 상에 제1 이미지를 디스플레이하는 단계;
    관찰자의 시점 위치를 검출하는 단계;
    투사 지점으로서 검출된 시점 위치를 이용하여 제2 수평 원근법 디스플레이 상에 제2 수평 원근법 이미지를 디스플레이하는 단계를 포함하는
    이미지 디스플레이 방법.
  8. 제7항에 있어서, 관찰자 시점 위치를 검출하는 단계는 수동 입력 장치를 통한 수동 입력에 의한 것인 이미지 디스플레이 방법.
  9. 제7항에 있어서, 관찰자 시점 위치의 검출은 자동 입력 장치를 통해 이루어짐으로써 자동 입력 장치가 관찰자로부터 시점 위치를 자동으로 추출하는 것은 이미지 디스플레이 방법.
  10. 제7항에 있어서, 이미지를 조작하는 단계를 추가로 포함하는 이미지 디스플 레이 방법.
  11. 제7항에 있어서, 이미지를 디스플레이하는 단계 전에 투사 시점으로서 검출된 시점 위치를 이용하여 수평 원근법 이미지를 계산하는 단계를 추가로 포함하는 이미지 디스플레이 방법.
  12. 수평 원근법 투사에 의한 이미지 디스플레이 방법에 있어서, 상기 수평 원근법 투사는 미리 정해진 투사 시점에 따라 수평 원근법 이미지를 디스플레이하는 단계를 포함하고, 상기 방법은:
    제1 디스플레이 상에 제1 이미지를 디스플레이하는 단계;
    관찰자의 시점 위치를 검출하는 단계;
    투사 시점으로서 검출된 시점 위치를 이용하여 제2 수평 원근법 디스플레이 상에 제2 수평 원근법 이미지를 디스플레이하는 단계; 및
    제3 곡면 디스플레이 상에 제3 이미지를 디스플레이하는 단계로서, 상기 곡면 디스플레이는 제1 이미지와 제2 이미지를 혼합하는 단계를 포함하는
    이미지 디스플레이 방법.
  13. 미리 정해진 투사 시점에 따라 수평 원근법 이미지를 디스플레이하는 제1 실시간 디스플레이; 및
    3D 사운드를 미리 정해진 투사 청각점(eyepoint)에 제공하고, 상기 3D 사운드는 수평 원근법 이미지에 대응하는 3D 오디오 시뮬레이션 시스템을 포함하는
    수평 원근법 디스플레이 시스템.
  14. 미리 정해진 투사 시점에 따라 수평 원근법 이미지를 디스플레이하는 제1 실시간 디스플레이; 및
    3D 사운드를 미리 정해진 투사 청각점(eyepoint)에 제공하고, 상기 3D 사운드는 수평 원근법 이미지에 대응하는 3D 오디오 시뮬레이션 시스템을 포함하는
    수평 원근법 디스플레이 시스템.
KR1020077000037A 2004-06-01 2005-05-31 수평 원근법 디스플레이 KR20070052260A (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US57618104P 2004-06-01 2004-06-01
US57618204P 2004-06-01 2004-06-01
US57618904P 2004-06-01 2004-06-01
US57618704P 2004-06-01 2004-06-01
US60/576,189 2004-06-01
US60/576,187 2004-06-01
US60/576,181 2004-06-01
US60/576,182 2004-06-01

Publications (1)

Publication Number Publication Date
KR20070052260A true KR20070052260A (ko) 2007-05-21

Family

ID=35462954

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020077000038A KR20070052261A (ko) 2004-06-01 2005-05-31 수평 원근법 시뮬레이터
KR1020077000037A KR20070052260A (ko) 2004-06-01 2005-05-31 수평 원근법 디스플레이

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020077000038A KR20070052261A (ko) 2004-06-01 2005-05-31 수평 원근법 시뮬레이터

Country Status (5)

Country Link
US (8) US20050275915A1 (ko)
EP (2) EP1759379A2 (ko)
JP (2) JP2008506140A (ko)
KR (2) KR20070052261A (ko)
WO (2) WO2005118998A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370925B1 (ko) * 2009-10-16 2014-03-07 엘지전자 주식회사 ３ｄ 컨텐츠 표시 방법 및 신호 처리 장치
US8937648B2 (en) 2009-06-23 2015-01-20 Lg Electronics Inc. Receiving system and method of providing 3D image
US9549165B2 (en) 2009-07-07 2017-01-17 Lg Electronics, Inc. Method for displaying three-dimensional user interface
US9769467B2 (en) 2012-12-18 2017-09-19 Samsung Electronics Co., Ltd. 3D display device for displaying 3D image using at least one of gaze direction of user or gravity direction

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005118998A1 (en) 2004-06-01 2005-12-15 Vesely Michael A Horizontal perspective simulator
CA2482240A1 (en) * 2004-09-27 2006-03-27 Claude Choquet Body motion training and qualification system and method
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
WO2006106522A2 (en) * 2005-04-07 2006-10-12 Visionsense Ltd. Method for reconstructing a three- dimensional surface of an object
US8717423B2 (en) 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
US7907167B2 (en) 2005-05-09 2011-03-15 Infinite Z, Inc. Three dimensional horizontal perspective workstation
US20060285832A1 (en) * 2005-06-16 2006-12-21 River Past Corporation Systems and methods for creating and recording digital three-dimensional video streams
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
JP4940671B2 (ja) * 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
US10994358B2 (en) 2006-12-20 2021-05-04 Lincoln Global, Inc. System and method for creating or modifying a welding sequence based on non-real world weld data
US9104195B2 (en) 2006-12-20 2015-08-11 Lincoln Global, Inc. Welding job sequencer
US9937577B2 (en) 2006-12-20 2018-04-10 Lincoln Global, Inc. System for a welding sequencer
GB2447060B (en) 2007-03-01 2009-08-05 Magiqads Sdn Bhd Method of creation of a virtual three dimensional image to enable its reproduction on planar substrates
US8665180B2 (en) 2007-03-02 2014-03-04 Nec Corporation Image display device
JP5195744B2 (ja) * 2007-03-07 2013-05-15 日本電気株式会社 画像表示装置
JP2008226400A (ja) * 2007-03-15 2008-09-25 Sony Computer Entertainment Inc オーディオ再生装置およびオーディオ再生方法
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US8400493B2 (en) * 2007-06-25 2013-03-19 Qualcomm Incorporated Virtual stereoscopic camera
US8355019B2 (en) * 2007-11-02 2013-01-15 Dimension Technologies, Inc. 3D optical illusions from off-axis displays
US20090125801A1 (en) * 2007-11-10 2009-05-14 Cherif Atia Algreatly 3D windows system
US8452052B2 (en) * 2008-01-21 2013-05-28 The Boeing Company Modeling motion capture volumes with distance fields
JP4991621B2 (ja) * 2008-04-17 2012-08-01 キヤノン株式会社 撮像装置
CN101610360A (zh) * 2008-06-19 2009-12-23 鸿富锦精密工业（深圳）有限公司 自动追踪声源的摄像装置
KR101840405B1 (ko) 2008-07-10 2018-03-20 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
US8915740B2 (en) 2008-08-21 2014-12-23 Lincoln Global, Inc. Virtual reality pipe welding simulator
US8747116B2 (en) 2008-08-21 2014-06-10 Lincoln Global, Inc. System and method providing arc welding training in a real-time simulated virtual reality environment using real-time weld puddle feedback
US9330575B2 (en) 2008-08-21 2016-05-03 Lincoln Global, Inc. Tablet-based welding simulator
US8884177B2 (en) 2009-11-13 2014-11-11 Lincoln Global, Inc. Systems, methods, and apparatuses for monitoring weld quality
US8851896B2 (en) 2008-08-21 2014-10-07 Lincoln Global, Inc. Virtual reality GTAW and pipe welding simulator and setup
US8657605B2 (en) 2009-07-10 2014-02-25 Lincoln Global, Inc. Virtual testing and inspection of a virtual weldment
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US9196169B2 (en) 2008-08-21 2015-11-24 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US8834168B2 (en) * 2008-08-21 2014-09-16 Lincoln Global, Inc. System and method providing combined virtual reality arc welding and three-dimensional (3D) viewing
US9483959B2 (en) 2008-08-21 2016-11-01 Lincoln Global, Inc. Welding simulator
US8911237B2 (en) 2008-08-21 2014-12-16 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US9280913B2 (en) 2009-07-10 2016-03-08 Lincoln Global, Inc. Systems and methods providing enhanced education and training in a virtual reality environment
EP2351668A4 (en) * 2008-09-12 2013-03-13 Toshiba Kk IMAGE RADIATION SYSTEM AND IMAGE RADIATION PROCESS
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking
FR2942096B1 (fr) * 2009-02-11 2016-09-02 Arkamys Procede pour positionner un objet sonore dans un environnement sonore 3d, support audio mettant en oeuvre le procede, et plate-forme de test associe
US8274013B2 (en) 2009-03-09 2012-09-25 Lincoln Global, Inc. System for tracking and analyzing welding activity
TW201039099A (en) * 2009-04-22 2010-11-01 Song-Yuan Hu Electronic device
US8279269B2 (en) * 2009-04-29 2012-10-02 Ke-Ou Peng Mobile information kiosk with a three-dimensional imaging effect
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US8477241B2 (en) * 2009-05-29 2013-07-02 Hewlett-Packard Development Company, L.P. Multi-projector system and method
US8269902B2 (en) * 2009-06-03 2012-09-18 Transpacific Image, Llc Multimedia projection management
JP4681690B2 (ja) * 2009-06-11 2011-05-11 新日本製鐵株式会社 大入熱溶接熱影響部靭性に優れた厚手高強度鋼板の製造方法、及び、大入熱溶接熱影響部靭性に優れた厚手高強度鋼板
US9221117B2 (en) 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9011154B2 (en) 2009-07-10 2015-04-21 Lincoln Global, Inc. Virtual welding system
US10748447B2 (en) 2013-05-24 2020-08-18 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
US9294751B2 (en) 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
AU2010295239B2 (en) 2009-09-16 2015-04-23 Sydac Pty Ltd Visual presentation system
US8569655B2 (en) 2009-10-13 2013-10-29 Lincoln Global, Inc. Welding helmet with integral user interface
CN102640502B (zh) 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
US9468988B2 (en) 2009-11-13 2016-10-18 Lincoln Global, Inc. Systems, methods, and apparatuses for monitoring weld quality
US8569646B2 (en) 2009-11-13 2013-10-29 Lincoln Global, Inc. Systems, methods, and apparatuses for monitoring weld quality
WO2011071929A2 (en) * 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
US8532962B2 (en) 2009-12-23 2013-09-10 Honeywell International Inc. Approach for planning, designing and observing building systems
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US20110234591A1 (en) * 2010-03-26 2011-09-29 Microsoft Corporation Personalized Apparel and Accessories Inventory and Display
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
TWI407773B (zh) * 2010-04-13 2013-09-01 Nat Univ Tsing Hua 提供三維立體影像之方法及系統
US9733699B2 (en) * 2010-04-13 2017-08-15 Dean Stark Virtual anamorphic product display with viewer height detection
US8315443B2 (en) 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
US8995678B2 (en) 2010-04-30 2015-03-31 Honeywell International Inc. Tactile-based guidance system
US8990049B2 (en) 2010-05-03 2015-03-24 Honeywell International Inc. Building structure discovery and display from various data artifacts at scene
US8538687B2 (en) 2010-05-04 2013-09-17 Honeywell International Inc. System for guidance and navigation in a building
JP2011259373A (ja) * 2010-06-11 2011-12-22 Sony Corp 立体画像表示装置及び立体画像表示方法
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
JP5488306B2 (ja) * 2010-07-29 2014-05-14 船井電機株式会社 プロジェクタ
US20120056875A1 (en) * 2010-08-11 2012-03-08 Lg Electronics Inc. Method for operating image display apparatus
KR101695819B1 (ko) * 2010-08-16 2017-01-13 엘지전자 주식회사 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
US8704879B1 (en) 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US20120062551A1 (en) * 2010-09-13 2012-03-15 Lg Electronics Inc. Image display apparatus and method for operating image display apparatus
WO2012039346A1 (ja) * 2010-09-22 2012-03-29 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
US9001053B2 (en) 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
KR20120065774A (ko) * 2010-12-13 2012-06-21 삼성전자주식회사 오디오 처리장치, 오디오 리시버 및 이에 적용되는 오디오 제공방법
CA2821671C (en) 2010-12-13 2018-01-09 Edison Welding Institute, Inc. Welding training system
CN103443746B (zh) 2010-12-22 2017-04-19 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
US8773946B2 (en) 2010-12-30 2014-07-08 Honeywell International Inc. Portable housings for generation of building maps
US8982192B2 (en) 2011-04-07 2015-03-17 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Visual information display on curvilinear display surfaces
US9766698B2 (en) 2011-05-05 2017-09-19 Nokia Technologies Oy Methods and apparatuses for defining the active channel in a stereoscopic view by using eye tracking
JP5746908B2 (ja) * 2011-05-06 2015-07-08 株式会社東芝 医用画像処理装置
US8786529B1 (en) 2011-05-18 2014-07-22 Zspace, Inc. Liquid crystal variable drive voltage
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
JP5846777B2 (ja) 2011-06-28 2016-01-20 株式会社東芝 医用画像処理装置
US9342928B2 (en) 2011-06-29 2016-05-17 Honeywell International Inc. Systems and methods for presenting building information
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
EP2761878B1 (en) * 2011-09-29 2020-04-08 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8852103B2 (en) 2011-10-17 2014-10-07 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
WO2013074997A1 (en) 2011-11-18 2013-05-23 Infinite Z, Inc. Indirect 3d scene positioning control
US9106903B2 (en) 2011-11-18 2015-08-11 Zspace, Inc. Head tracking eyewear system
FR2983330B1 (fr) * 2011-11-24 2014-06-20 Thales Sa Procede et dispositif de representation d'environnements synthetiques
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
JP6017795B2 (ja) * 2012-02-10 2016-11-02 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法
JP2014006674A (ja) * 2012-06-22 2014-01-16 Canon Inc 画像処理装置及びその制御方法、プログラム
US20160093233A1 (en) 2012-07-06 2016-03-31 Lincoln Global, Inc. System for characterizing manual welding operations on pipe and other curved structures
US9767712B2 (en) 2012-07-10 2017-09-19 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US20140125763A1 (en) * 2012-11-07 2014-05-08 Robert Nathan Cohen 3d led output device and process for emitting 3d content output for large screen applications and which is visible without 3d glasses
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9667889B2 (en) 2013-04-03 2017-05-30 Butterfly Network, Inc. Portable electronic devices with integrated imaging capabilities
US10019130B2 (en) 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
EP2806404B1 (en) * 2013-05-23 2018-10-10 AIM Sport AG Image conversion for signage
US10930174B2 (en) 2013-05-24 2021-02-23 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
US9426598B2 (en) 2013-07-15 2016-08-23 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US9805509B2 (en) * 2013-11-26 2017-10-31 Yoav Shefi Method and system for constructing a virtual image anchored onto a real-world object
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US9667951B2 (en) 2014-02-18 2017-05-30 Cisco Technology, Inc. Three-dimensional television calibration
US9875573B2 (en) 2014-03-17 2018-01-23 Meggitt Training Systems, Inc. Method and apparatus for rendering a 3-dimensional scene
CN106233358A (zh) 2014-06-02 2016-12-14 林肯环球股份有限公司 用于人工焊工培训的系统和方法
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
JP2016012889A (ja) * 2014-06-30 2016-01-21 株式会社リコー 画像投写システム
US20160048369A1 (en) 2014-08-15 2016-02-18 Beam Authentic, LLC Systems for Displaying Media on Display Devices
JP2017538612A (ja) 2014-07-28 2017-12-28 ビーム オーセンティック，インコーポレイテッド 搭載可能な表示装置
US10235807B2 (en) 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US20170084084A1 (en) * 2015-09-22 2017-03-23 Thrillbox, Inc Mapping of user interaction within a virtual reality environment
CN106067967B (zh) * 2016-06-29 2018-02-09 汇意设计有限公司 变形立体全息影像实现方法
EP3319066A1 (en) 2016-11-04 2018-05-09 Lincoln Global, Inc. Magnetic frequency selection for electromagnetic position tracking
US20180130226A1 (en) 2016-11-07 2018-05-10 Lincoln Global, Inc. System and method for calibrating a welding trainer
US10913125B2 (en) 2016-11-07 2021-02-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display
US10503456B2 (en) 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
JP2018197844A (ja) * 2017-05-23 2018-12-13 ヘ−ヨン・チョイ 空間分離映像装置
US10373536B2 (en) 2017-05-26 2019-08-06 Jeffrey Sherretts 3D signage using an inverse cube illusion fixture
US10997872B2 (en) 2017-06-01 2021-05-04 Lincoln Global, Inc. Spring-loaded tip assembly to support simulated shielded metal arc welding
CN107333121B (zh) * 2017-06-27 2019-02-26 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法
US11170563B2 (en) * 2018-01-04 2021-11-09 8259402 Canada Inc. Immersive environment with digital environment to enhance depth sensation
US11475792B2 (en) 2018-04-19 2022-10-18 Lincoln Global, Inc. Welding simulator with dual-user configuration
US11557223B2 (en) 2018-04-19 2023-01-17 Lincoln Global, Inc. Modular and reconfigurable chassis for simulated welding training
CN110858464A (zh) * 2018-08-24 2020-03-03 财团法人工业技术研究院 多视角显示装置与操控模拟机
CN109407329B (zh) * 2018-11-06 2021-06-25 三亚中科遥感研究所 一种空间光场显示方法及其装置
AU2019379823A1 (en) * 2018-11-16 2021-06-03 Geomni, Inc. Systems and methods for generating augmented reality environments from two-dimensional drawings
IL264032B (en) * 2018-12-30 2020-06-30 Elbit Systems Ltd System and methods for removing artifacts in binocular displays
US11367361B2 (en) * 2019-02-22 2022-06-21 Kyndryl, Inc. Emulating unmanned aerial vehicle (UAV)
US11508131B1 (en) * 2019-11-08 2022-11-22 Tanzle, Inc. Generating composite stereoscopic images
CN112929636A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
WO2022203340A1 (ko) * 2021-03-22 2022-09-29 주식회사 타스글로벌 선박청소로봇의 복수의 카메라 영상들을 하나의 영상으로 처리하는 영상 처리 방법, 컴퓨터 판독가능 기록 매체, 컴퓨터 프로그램 및 이를 이용한 로봇 제어 방법
WO2024043772A1 (en) * 2022-08-23 2024-02-29 Samsung Electronics Co., Ltd. Method and electronic device for determining relative position of one or more objects in image

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1592034A (en) 1924-09-06 1926-07-13 Macy Art Process Corp Process and method of effective angular levitation of printed images and the resulting product
US4182053A (en) * 1977-09-14 1980-01-08 Systems Technology, Inc. Display generator for simulating vehicle operation
US4291380A (en) * 1979-05-14 1981-09-22 The Singer Company Resolvability test and projection size clipping for polygon face display
US4677576A (en) * 1983-06-27 1987-06-30 Grumman Aerospace Corporation Non-edge computer image generation system
US4795248A (en) * 1984-08-31 1989-01-03 Olympus Optical Company Ltd. Liquid crystal eyeglass
US4763280A (en) * 1985-04-29 1988-08-09 Evans & Sutherland Computer Corp. Curvilinear dynamic image generation system
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
US5079699A (en) * 1987-11-27 1992-01-07 Picker International, Inc. Quick three-dimensional display
US5361386A (en) 1987-12-04 1994-11-01 Evans & Sutherland Computer Corp. System for polygon interpolation using instantaneous values in a variable
US4853592A (en) * 1988-03-10 1989-08-01 Rockwell International Corporation Flat panel display having pixel spacing and luminance levels providing high resolution
JP2622620B2 (ja) * 1989-11-07 1997-06-18 プロクシマ コーポレイション コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム
US5502481A (en) * 1992-11-16 1996-03-26 Reveo, Inc. Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view
US5537144A (en) * 1990-06-11 1996-07-16 Revfo, Inc. Electro-optical display system for visually displaying polarized spatially multiplexed images of 3-D objects for use in stereoscopically viewing the same with high image quality and resolution
US5327285A (en) 1990-06-11 1994-07-05 Faris Sadeg M Methods for manufacturing micropolarizers
US5276785A (en) * 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
US5168531A (en) 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
US5264964A (en) 1991-12-18 1993-11-23 Sades Faris Multi-mode stereoscopic imaging system
US5287437A (en) * 1992-06-02 1994-02-15 Sun Microsystems, Inc. Method and apparatus for head tracked display of precomputed stereo images
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5945985A (en) * 1992-10-27 1999-08-31 Technology International, Inc. Information system for interactive access to geographic information
US5574835A (en) * 1993-04-06 1996-11-12 Silicon Engines, Inc. Bounding box and projections detection of hidden polygons in three-dimensional spatial databases
WO1995009405A1 (fr) * 1993-09-28 1995-04-06 Namco Ltd. Processeur de detourage, simulateur tridimensionnel et procede de traitement de detourage
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US5686975A (en) 1993-10-18 1997-11-11 Stereographics Corporation Polarel panel for stereoscopic displays
US6111598A (en) 1993-11-12 2000-08-29 Peveo, Inc. System and method for producing and displaying spectrally-multiplexed images of three-dimensional imagery for use in flicker-free stereoscopic viewing thereof
US5400177A (en) * 1993-11-23 1995-03-21 Petitto; Tony Technique for depth of field viewing of images with improved clarity and contrast
US5381127A (en) * 1993-12-22 1995-01-10 Intel Corporation Fast static cross-unit comparator
US5684460A (en) * 1994-04-22 1997-11-04 The United States Of America As Represented By The Secretary Of The Army Motion and sound monitor and stimulator
JPH08163603A (ja) 1994-08-05 1996-06-21 Tomohiko Hattori 立体映像表示装置
AUPN003894A0 (en) 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US5652617A (en) * 1995-06-06 1997-07-29 Barbour; Joel Side scan down hole video tool having two camera
US5795154A (en) 1995-07-07 1998-08-18 Woods; Gail Marjorie Anaglyphic drawing device
US6331856B1 (en) * 1995-11-22 2001-12-18 Nintendo Co., Ltd. Video game system with coprocessor providing high speed efficient 3D graphics and digital audio signal processing
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6252707B1 (en) 1996-01-22 2001-06-26 3Ality, Inc. Systems for three-dimensional viewing and projection
US5574836A (en) 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US6100903A (en) * 1996-08-16 2000-08-08 Goettsche; Mark T Method for generating an ellipse with texture and perspective
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
JP4086336B2 (ja) * 1996-09-18 2008-05-14 富士通株式会社 属性情報提供装置及びマルチメディアシステム
US6139434A (en) * 1996-09-24 2000-10-31 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
US6317127B1 (en) 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US6115022A (en) * 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
JP3034483B2 (ja) * 1997-04-21 2000-04-17 核燃料サイクル開発機構 オブジェクト探索方法およびその方法を用いた装置
US6226008B1 (en) * 1997-09-04 2001-05-01 Kabushiki Kaisha Sega Enterprises Image processing device
EP1025520B1 (de) * 1997-10-30 2002-08-28 Dr. Baldeweg Aktiengesellschaft Verfahren und vorrichtung zur bearbeitung von bildobjekten
US5956046A (en) * 1997-12-17 1999-09-21 Sun Microsystems, Inc. Scene synchronization of multiple computer displays
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
US6047201A (en) * 1998-04-02 2000-04-04 Jackson, Iii; William H. Infant blood oxygen monitor and SIDS warning device
US6529210B1 (en) * 1998-04-08 2003-03-04 Altor Systems, Inc. Indirect object manipulation in a simulation
US20020163482A1 (en) 1998-04-20 2002-11-07 Alan Sullivan Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures
US6466185B2 (en) * 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US6211848B1 (en) 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6552722B1 (en) 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6351280B1 (en) 1998-11-20 2002-02-26 Massachusetts Institute Of Technology Autostereoscopic display system
US6373482B1 (en) * 1998-12-23 2002-04-16 Microsoft Corporation Method, system, and computer program product for modified blending between clip-map tiles
US6215403B1 (en) * 1999-01-27 2001-04-10 International Business Machines Corporation Wireless monitoring system
US6614427B1 (en) * 1999-02-01 2003-09-02 Steve Aubrey Process for making stereoscopic images which are congruent with viewer space
US6452593B1 (en) * 1999-02-19 2002-09-17 International Business Machines Corporation Method and system for rendering a virtual three-dimensional graphical display
US6198524B1 (en) * 1999-04-19 2001-03-06 Evergreen Innovations Llc Polarizing system for motion visual depth effects
US6346938B1 (en) 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US6417867B1 (en) * 1999-05-27 2002-07-09 Sharp Laboratories Of America, Inc. Image downscaling using peripheral vision area localization
US6690337B1 (en) * 1999-06-09 2004-02-10 Panoram Technologies, Inc. Multi-panel video display
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
US6593924B1 (en) * 1999-10-04 2003-07-15 Intel Corporation Rendering a non-photorealistic image
US6476813B1 (en) * 1999-11-30 2002-11-05 Silicon Graphics, Inc. Method and apparatus for preparing a perspective view of an approximately spherical surface portion
US6956543B2 (en) * 2000-02-07 2005-10-18 Sony Corporation Multiple-screen simultaneous displaying apparatus, multi-screen simultaneous displaying method, video signal generating device, and recorded medium
AU2001239926A1 (en) * 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
US6669346B2 (en) * 2000-05-15 2003-12-30 Darrell J. Metcalf Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action
US6956576B1 (en) 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
US6803928B2 (en) * 2000-06-06 2004-10-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Extended virtual table: an optical extension for table-like projection systems
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6643124B1 (en) * 2000-08-09 2003-11-04 Peter J. Wilk Multiple display portable computing devices
US6680735B1 (en) 2000-10-04 2004-01-20 Terarecon, Inc. Method for correcting gradients of irregular spaced graphic data
US6553256B1 (en) * 2000-10-13 2003-04-22 Koninklijke Philips Electronics N.V. Method and apparatus for monitoring and treating sudden infant death syndrome
GB2370738B (en) * 2000-10-27 2005-02-16 Canon Kk Image processing apparatus
US6593934B1 (en) * 2000-11-16 2003-07-15 Industrial Technology Research Institute Automatic gamma correction system for displays
US20020180727A1 (en) * 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
JP3705739B2 (ja) * 2000-12-11 2005-10-12 株式会社ナムコ 情報記憶媒体及びゲーム装置
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US6987512B2 (en) * 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
GB2375699B (en) * 2001-05-16 2003-08-13 Nibble Ltd Information management system and method
JP4722379B2 (ja) 2001-05-22 2011-07-13 シエフイ，ヨアブ 仮想３次元空間内の可視的コンテントを表示する方法とシステム
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
TW579019U (en) 2001-06-13 2004-03-01 Eturbotouch Technology Inc Flexible current type touch film
JP2003085586A (ja) 2001-06-27 2003-03-20 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
US6478432B1 (en) 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US6715620B2 (en) * 2001-10-05 2004-04-06 Martin Taschek Display frame for album covers
JP3576521B2 (ja) * 2001-11-02 2004-10-13 独立行政法人 科学技術振興機構 立体表示方法及びその装置
US6700573B2 (en) * 2001-11-07 2004-03-02 Novalogic, Inc. Method for rendering realistic terrain simulation
US7466307B2 (en) * 2002-04-11 2008-12-16 Synaptics Incorporated Closed-loop sensor on a solid-state object position detector
CA2386702A1 (en) 2002-05-17 2003-11-17 Idelix Software Inc. Computing the inverse of a pdt distortion
US20040196359A1 (en) * 2002-05-28 2004-10-07 Blackham Geoffrey Howard Video conferencing terminal apparatus with part-transmissive curved mirror
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US6943805B2 (en) * 2002-06-28 2005-09-13 Microsoft Corporation Systems and methods for providing image rendering using variable rate source sampling
JP4115188B2 (ja) 2002-07-19 2008-07-09 キヤノン株式会社 仮想空間描画表示装置
WO2004021151A2 (en) * 2002-08-30 2004-03-11 Orasee Corp. Multi-dimensional image system for digital image input and output
JP4467267B2 (ja) * 2002-09-06 2010-05-26 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、画像処理装置、および画像処理システム
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
US20040130525A1 (en) 2002-11-19 2004-07-08 Suchocki Edward J. Dynamic touch screen amusement game controller
EP1565888A2 (en) 2002-11-29 2005-08-24 Bracco Imaging S.p.A. System and method for displaying and comparing 3d models
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
KR100526741B1 (ko) * 2003-03-26 2005-11-08 김시학 와이어의 장력을 이용한 위치 추적 및 반력시스템과 이를이용한 최소 절개용 수술시스템
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
US7324121B2 (en) * 2003-07-21 2008-01-29 Autodesk, Inc. Adaptive manipulators
US20050093859A1 (en) * 2003-11-04 2005-05-05 Siemens Medical Solutions Usa, Inc. Viewing direction dependent acquisition or processing for 3D ultrasound imaging
US7667703B2 (en) * 2003-12-19 2010-02-23 Palo Alto Research Center Incorporated Systems and method for turning pages in a three-dimensional electronic document
US7312806B2 (en) * 2004-01-28 2007-12-25 Idelix Software Inc. Dynamic width adjustment for detail-in-context lenses
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US20050219693A1 (en) 2004-04-02 2005-10-06 David Hartkop Scanning aperture three dimensional display device
US20050219240A1 (en) * 2004-04-05 2005-10-06 Vesely Michael A Horizontal perspective hands-on simulator
US20050248566A1 (en) 2004-04-05 2005-11-10 Vesely Michael A Horizontal perspective hands-on simulator
EP1749232A2 (en) 2004-04-05 2007-02-07 Michael A. Vesely Horizontal perspective display
WO2005118998A1 (en) 2004-06-01 2005-12-15 Vesely Michael A Horizontal perspective simulator
US20060126925A1 (en) 2004-11-30 2006-06-15 Vesely Michael A Horizontal perspective representation
WO2006081198A2 (en) 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
EP1686554A3 (en) 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
US20060221071A1 (en) * 2005-04-04 2006-10-05 Vesely Michael A Horizontal perspective display
US20060250390A1 (en) 2005-04-04 2006-11-09 Vesely Michael A Horizontal perspective display
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US7907167B2 (en) 2005-05-09 2011-03-15 Infinite Z, Inc. Three dimensional horizontal perspective workstation
US20060252978A1 (en) 2005-05-09 2006-11-09 Vesely Michael A Biofeedback eyewear system
US20070040905A1 (en) * 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear
US20070043466A1 (en) * 2005-08-18 2007-02-22 Vesely Michael A Stereoscopic display using polarized eyewear

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8937648B2 (en) 2009-06-23 2015-01-20 Lg Electronics Inc. Receiving system and method of providing 3D image
US9549165B2 (en) 2009-07-07 2017-01-17 Lg Electronics, Inc. Method for displaying three-dimensional user interface
KR101370925B1 (ko) * 2009-10-16 2014-03-07 엘지전자 주식회사 ３ｄ 컨텐츠 표시 방법 및 신호 처리 장치
US8749614B2 (en) 2009-10-16 2014-06-10 Lg Electronics Inc. Method for indicating a 3D contents and apparatus for processing a signal
US9769467B2 (en) 2012-12-18 2017-09-19 Samsung Electronics Co., Ltd. 3D display device for displaying 3D image using at least one of gaze direction of user or gravity direction

Also Published As

Publication number Publication date
US20050264558A1 (en) 2005-12-01
KR20070052261A (ko) 2007-05-21
US20050264559A1 (en) 2005-12-01
US20050275914A1 (en) 2005-12-15
EP1759379A2 (en) 2007-03-07
JP2008507006A (ja) 2008-03-06
US20050264858A1 (en) 2005-12-01
WO2005118998A8 (en) 2006-04-27
US20050264857A1 (en) 2005-12-01
EP1781893A1 (en) 2007-05-09
US7796134B2 (en) 2010-09-14
JP2008506140A (ja) 2008-02-28
WO2005119376A2 (en) 2005-12-15
WO2005119376A3 (en) 2006-04-27
US20050281411A1 (en) 2005-12-22
US20050275915A1 (en) 2005-12-15
WO2005118998A1 (en) 2005-12-15
US20050275913A1 (en) 2005-12-15

Similar Documents

Publication Publication Date Title
KR20070052260A (ko) 수평 원근법 디스플레이
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US7907167B2 (en) Three dimensional horizontal perspective workstation
CN101006492A (zh) 水平透视显示
US20050219240A1 (en) Horizontal perspective hands-on simulator
KR20070044394A (ko) 수평 원근법 핸즈온 시뮬레이터
US20060126927A1 (en) Horizontal perspective representation
de Bruijn Application of wave field synthesis in videoconferencing
US20050248566A1 (en) Horizontal perspective hands-on simulator
EP3595337A1 (en) Audio apparatus and method of audio processing
JP7402185B2 (ja) 低周波数チャネル間コヒーレンス制御
JP2010199739A (ja) 立体表示制御装置、立体表示システムおよび立体表示制御方法
KR20190064394A (ko) 360도 가상현실 분할 서클 비젼 표시 장치 및 방법
NL2030186B1 (en) Autostereoscopic display device presenting 3d-view and 3d-sound
Richie Audio and visual distance perception of familiar and unfamiliar objects using Wave Field Synthesis and a stereoscopic display
Bouvier et al. Immersive visual and audio world in 3D
WO2023064870A1 (en) Voice processing for mixed reality
Zotkin Algorithms for acquisition and rendering of sounds in perceptual user interfaces

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid