KR100809479B1 - 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 - Google Patents

혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR100809479B1
KR100809479B1 KR1020060070523A KR20060070523A KR100809479B1 KR 100809479 B1 KR100809479 B1 KR 100809479B1 KR 1020060070523 A KR1020060070523 A KR 1020060070523A KR 20060070523 A KR20060070523 A KR 20060070523A KR 100809479 B1 KR100809479 B1 KR 100809479B1
Authority
KR
South Korea
Prior art keywords
image
user
information
external
display device
Prior art date
Application number
KR1020060070523A
Other languages
English (en)
Other versions
KR20080010502A (ko
Inventor
양웅연
이건
황선유
손욱호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060070523A priority Critical patent/KR100809479B1/ko
Priority to US11/638,438 priority patent/US7804507B2/en
Priority to JP2006338509A priority patent/JP2008033219A/ja
Publication of KR20080010502A publication Critical patent/KR20080010502A/ko
Application granted granted Critical
Publication of KR100809479B1 publication Critical patent/KR100809479B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

본 발명은 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 및 방법으로, 사용자 주변의 실사 영상과 인공적으로 생성된 단수 또는 복수의 주변 입체 영상이 외부의 빛의 광량에 대한 투과도를 선택적으로 조절할 수 있는 광투과량 조절부를 통해 입사되어 합성된 다중 외부 영상 신호를 출력하는 외부 영상 처리부, 사용자의 위치, 눈의 위치, 시선의 방향 및 초점거리 등 상기 사용자의 시각 정보를 추출하는 사용자 정보 추출부, 추출된 사용자의 시각 정보에 따라 입체 영상 신호를 생성하는 영상 생성부, 추출된 사용자의 시각 정보에 따라 상기 다중 외부 영상 신호 및 상기 입체 영상 신호를 동기화하여 합성하는 영상 합성부, 합성된 영상신호를 상기 사용자에게 출력하는 영상 출력부를 포함한다.
본 발명에 따르면, 다수의 인공 영상과 외부 자연 영상이 합성되어 제시되는 혼합현실 환경에서, 얼굴 착용형 디스플레이 장치 외부의 영상 정보와 개인용 영상 정보의 자연스러운 합성을 가능하게 하여, 개별적으로 제시되는 입체 영상 기술을 활용한 혼합현실 환경에서 발생되는 깊이감의 부자연스러움이나 실사 및 가상 개체들 사이의 부자연스러운 상호작용 관계 등의 문제점을 해결할 수 있는 효과가 있다.
입체 영상, 다중 영상 혼합, 시간 인터페이스, 휴대형 시각장치, FMD

Description

혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 및 방법{Face mounted display apparatus and method for mixed reality environment}
도 1은 본 발명에 의한 혼합 현실환경 디스플레이 장치의 주요 구성을 도시한 도이다.
도 2는 본 발명에 의한 혼합 현실환경 디스플레이 장치를 주요 영상 데이터 및 주요 제어 정보의 흐름과 함께 표시한 도이다.
도 3은 본 발명에 의한 혼합 현실환경 디스플레이 장치의 광학-투시 방식에 의한 일 실시예이다.
도 4는 본 발명에 의한 혼합 현실환경 디스플레이 장치의 비디오-투시 방식에 의한 일 실시예이다.
도 5는 본 발명에 의한 광학-투시 방식에 의한 혼합 현실환경 디스플레이 장치의 일 실시예이다.
도 6은 본 발명에 의한 혼합현실 환경 디스플레이 장치를 구현한 일 실시예를 도시한 도면이다.
도 7은 본 발명에 의한 혼합현실 환경 디스플레이 장치를 이용하여 가상 스프레이 페인팅 훈련 시스템을 구현한 사례를 도시한 것이다.
도 8은 본 발명에 의한 혼합현실 환경 디스플레이 장치를 다자 참여가 가능 한 가상 현실 게임 콘텐츠의 인터페이스 장치로 구현한 사례를 도시한 것이다.
도 9는 본 발명에 의한 혼합현실 환경 디스플레이 장치를 다자 참여가 가능한 가상 현실 게임 콘텐츠로 구현한 사례를 도시한 것이다.
본 발명은 혼합 현실 환경에서 디스플레이 장치에 관한 것으로서, 보다 상세하게는 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 및 방법에 관한 것이다.
가상현실 인터페이스 분야에서 컴퓨터 입체 영상 생성 기술은 기본적으로 사람의 좌우 시각에 서로 다른 영상 정보를 제시함으로써 입체감을 느끼도록 하는 스테레오 디스플레이(stereo display) 기술을 사용한다. 가상현실 시각 인터페이스 시스템은, 사용자의 규모를 기준으로, 다수의 사용자를 위한 대형 스크린 기반 입체 시각 시스템 기술과 개인 사용자를 위한 휴대형 입체 시각 시스템 기술로 분류할 수 있다.
대형 스크린 기반 입체 시각 제시 기술은 대규모 영상을 출력하는 프로젝션 모듈과 영상이 투여되는 스크린 모듈, 그리고, 양안 시각(binocular viewing)을 제시하기 위한 좌우 시각 정보 분리 모듈, 예를 들면 프로젝터 부착 편광 필터, 입체 안경 등으로 구성되며, 테마파크의 가상현실 체험 장이나 대형 입체 영화 상영관 같이 대규모 사용자가 동시에 입체 영상 콘텐츠를 즐기는 목적으로 사용되고 있다.
개인 사용자용 휴대형 입체 시각 인터페이스 기술의 대표적인 형태는 머리/얼굴 착용형 디스플레이 장치(HMD/FMD; Head Mounted Display, Face Mounted Display)이다. 이런 장치들은 초소형 디스플레이 장치(예; 소형 모니터, LCOS 등)를 안경과 유사한 구조로 광학 확대 구조부와 통합된 구조이며, 입체 시각 디스플레이를 위해서 좌우 눈 부분을 담당하는 별도의 모듈과 2개 채널의 영상 정보를 입력받는 구조를 가지고 있다. 이는 개인용 정보를 가시화 하는 환경이나 모바일 컴퓨팅과 같이 높은 신체 자유도를 요구하는 조건에서 활용되고 있다.
입체 영상 생성 기술에서 정확한 입체감을 가지는 영상을 생성하기 위하여 사용자의 개인 정보를 추출하여 입력 값으로 사용한다. 대표적인 예로, 머리의 움직임(head tracking)이나 시각 정보를 추출하는 눈추적(eye tracking) 기술을 사용한다. 인간공학 평가 실험에서는 피실험자가 바라보는 물체의 위치를 추적하기 위하여, 눈동자의 움직임을 컴퓨터 비전 기술을 이용하여 추적하거나, 직접 콘텍트 렌즈의 형태로 추적 부품을 눈의 각막에 부착하는 방법을 사용한다. 이런 기술을 통하여 시선의 방향을 1도 이하의 정밀도로 추적할 수 있는 기술이 상용화되어 있다.
입체 영상 콘텐츠의 가시화를 위한 현재의 시각 인터페이스 장치는 각각의 제한된 사용 환경에 적합하도록 설계되어 있다. 그러므로, 다양한 콘텐츠에 대한 적용의 한계를 가지고 있고, 대형 가시화 시스템의 경우 모든 사용자에게 동일한 시점의 정보만이 제공되는 단점이 있다.
가상 공간 협업 상황에서 공유(public, shared) 정보와 개인(private) 정보 를 동시에 활용하기에는 단일 입체 영상 출력형태를 가진 현재의 입체 시각 디스플레이 장치는 부적합하다. 그리고, 일정한 공간 안에서 실물과 같이 각각의 개체가 공간을 차지하고 있는 자연스러운 깊이감을 가지며 입체 영상 시각 장치의 꿈이라고 생각되는 홀로그램 디스플레이 장치는 영화의 특수효과 소재이거나 우주 및 항공 분야의 연구실에서 시작품 형태로 제작이 시도되는 수준이며, 아직 일반 사용자가 만족할 정도의 성과를 내지 못하고 있다.
입체 영상 출력 기술의 발전으로 단일(stand??alone) 플랫폼 형태의 입체 영상 디스플레이 기술의 일반화가 진행되고 있다. 가까운 미래에는 이동형/착용형 컴퓨터(mobile/wearable computing) 기술의 대중화로 투시형(see??through) FMD 등과 같은 개인형 가상현실 인터페이스 장치가 일반화되고, 개인의 가상 정보와 공용의 가상 정보가 혼합되어 상호작용하는 작업 상황이 일반화 될 것이므로, 자연스럽게 2개 이상의 입체 영상 공간 정보를 합성하여 필요한 사용자에게 제시하는 새로운 기술이 필요하지만 아직 그에 부응하는 결과물이 제공되지 못하는 문제가 있다.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 실사 영상 및 다수의 인공 영상으로부터 생성되는 영상 정보를 하나의 3차원 가상 공간에 정합하여 사용자에게 전달하는 얼굴 착용형 디스플레이 장치(FMD: Face Mounted Display)를 제공하는 데 있다.
상기의 목적을 달성하기 위한 일 관점에 따른 본 발명은, 사용자 주변의 실사 영상과 인공적으로 생성된 단수 또는 복수의 주변 입체 영상이 외부의 빛의 광량에 대한 투과도를 선택적으로 조절할 수 있는 광투과량 조절부를 통해 입사되어 합성된 다중 외부 영상 신호를 출력하는 외부 영상 처리부, 사용자의 위치, 눈의 위치, 시선의 방향 및 초점거리 등 상기 사용자의 시각 정보를 추출하는 사용자 정보 추출부, 추출된 사용자의 시각 정보에 따라 입체 영상 신호를 생성하는 영상 생성부, 추출된 사용자의 시각 정보에 따라 상기 다중 외부 영상 신호 및 상기 입체 영상 신호를 동기화하여 합성하는 영상 합성부, 합성된 영상신호를 상기 사용자에게 출력하는 영상 출력부를 포함하는 혼합현실환경 디스플레이 장치를 제공한다.
이하, 본 발명에 의한 혼합 현실 환경에서 디스플레이 장치를 첨부된 도면을 참조하여 설명한다.
도 1은 본 발명에 의한 혼합 현실환경 디스플레이 장치의 주요 구성을 도시한 도이다. 도 1을 참조할 때, 본 발명에 의한 혼합 현실환경 디스플레이 장치는 외부 영상 처리부(101), 사용자 정보 추출부(102), 영상 생성부(103), 영상 합성부(104), 영상 출력부(105)를 포함한다.
외부 영상 처리부(101)는 사용자 주변의 실사 영상과 인공적으로 생성된 단수 또는 복수의 주변 입체 영상을 합성하여 다중 외부 영상 신호를 영상 합성부(104)로 출력한다. 외부 영상 처리부(101)는 디스플레이 장치 외부에서 들어오는 다양한 영상정보를 투시(see-through)처리하여 디스플레이 장치 내부에서 생성된 영상 정보와 합성되도록 한다. 이때, 외부 영상 처리부(101)는 합성된 신호를 좌, 우 2개의 시각 채널로 분리하여 출력하는 것이 바람직하다.
사용자 정보 추출부(102)는 사용자의 위치, 눈의 위치, 시선의 방향 및 초점 거리 등 사용자의 시각 정보를 추출하여 영상 생성부(103) 및 영상 합성부(104)에 제공한다.
영상 생성부(103)는 사용자 정보 추출부(102)에서 추출한 또는 기 입력된 사용자의 시각 정보와 약속된 콘텐츠의 내용에 따라 입체 영상 신호를 생성한다.
영상 합성부(104)는 사용자의 시각 정보에 따라 다중 외부 영상 신호 및 입체 영상 신호를 동기화하여 합성한다. 영상 합성부(104)는 서로 다른 3차원 공간상에 가시화되는 다중 외부 영상 신호 및 입체 영상 신호를 하나의 3차원 공간상에 가시화하기 위하여, 입체 영상 신호를 기준으로 외부 영상 신호와 내부 장치에서 생성된 영상 신호를 깊이 방향에 따라 계층 영역(layered space)으로 분리하여 합성하는 것이 바람직하다.
영상 출력부(105)는 영상 합성부(104)에서 합성된 영상신호를 사용자에게 출력한다. 영상 출력부는 상기 합성된 영상 신호를 좌,우 2개의 시각 채널로 분리하여 출력하는 것이 바람직하다.
본 발명에 의한 혼합현실환경 디스플레이 장치는 얼굴착용형 디스플레이(FMD: Face Mouted Display)로 구현되는 것이 바람직하다.
도 2는 본 발명에 의한 혼합 현실환경 디스플레이 장치를 주요 영상 데이터 및 주요 제어 정보의 흐름과 함께 표시한 도이다. 도 2를 참조할 때, 본 발명에 의한 혼합 현실환경 디스플레이 장치는 외부 영상 처리부(201), 사용자 정보 추출부(202), 영상 생성부(203), 영상 합성부(204), 영상 출력부(205)를 포함한다. 도 2에 도시된 외부 영상 처리부(201), 사용자 정보 추출부(202), 영상 생성부(203), 영상 합성부(204), 영상 출력부(205)는 각각 도 1에 도시된 외부 영상 처리부(101), 사용자 정보 추출부(102), 영상 생성부(103), 영상 합성부(104), 영상 출력부(105)와 동일한 기능을 수행한다.
외부 영상처리부(201)는 n1개의 쌍만큼 존재하는 외부 입체 영상과의 동기신호를 교환하고, n2개의 외부 영상 신호를 입력받아, 좌/우 시각 2개의 채널로 분리하여 영상합성부(204)로 출력한다.
사용자 정보추출부(202)는 사용자 시각정보를 추출하여 외부 영상 생성시 필요한 정보를 제공하고, 얼굴 착용형 디스플레이 영상 생성 및 합성 처리의 기준이 되는 입력 데이터를 영상 생성부(203) 및 영상 합성부(204)에 제공한다.
도 3은 본 발명에 의한 혼합 현실환경 디스플레이 장치의 광학-투시 방식에 의한 일 실시예이다. 도 3을 참조할 때, 본 발명에 의한 혼합 현실환경 디스플레이 장치는 외부 광투과량 조절장치(303), 투과도 제어부(304), 좌우 시각정보 분리 패널(305), 좌우 시각정보 분리 제어부(306), 디스플레이 장치의 외형 틀(307), 추적 센서(308), 제 1 시선정보 획득부(310), 제 2 시선정보 획득부(311), 최종 합성 영상 출력부(312), 영상 생성부(313), 영상 합성부(314), 사용자 정보 추출부(315), 영상 출력부(316), 외부 영상 처리부(317), 외부 영상 처리 제어부(318), 시선 정보 제공부(319)를 포함한다.
외부 광투과량 조절장치(303)는 광학적 투시(see-through)에서 본 발명에 의한 디스플레이 장치 외부의 광량과 내부 영상 표시 장치의 광량의 혼합비율을 조절한다.
투과도 제어부(304)는 외부 광투과량 조절장치(303)의 기능을 지원하기 위해 본 발명에 의한 디스플레이 장치 외부의 광량(예를 들면, 빛의 밝기)을 측정하여, 외부 영상 처리 제어부(318)에 전송하거나, 외부 영상 처리 제어부(318)에 의해 결정된 외부 광량 투과 정보를 기반으로 외부 광투과량 조절장치(303)의 전체 투과도 및 개별 화소(pixel)의 투과도를 제어한다.
좌우 시각정보 분리 패널(305)은 외부 입체 영상을 좌/우 시각 정보로 분리하는 패널로써, 인공적인 입체 영상 생성 방법에 대응되는 방법으로 외부 입체 영상 정보를 좌/우 시각 장치부에 선별적으로 제시한다.
좌우 시각정보 분리 제어부(306)는 좌우 시각정보 분리 패널(305)의 동작을 제어한다. 외부 영상 처리부(317)의 입체 영상 생성 기술에 따라서 필요한 정보를 교환(예를 들면, 좌/우 신호 분리 및 동기화 정보)하거나, 외부 영상이 모노인 경우 좌우 시각정보 분리 패널(305)의 기능을 정지시킨다.
디스플레이 장치의 외형 틀(307)은 외부 광투과량 조절장치(303), 투과도 제어부(304), 좌우 시각정보 분리 패널(305), 좌우 시각정보 분리 제어부(306), 추적 센서(308)를 선택적으로 포함하여 탈부착할 수 있는 구조를 가진다.
추적 센서(308)는 본 발명에 의한 디스플레이 장치의 착용자의 시선의 위치를 계산하기 위한 추적 센서로 획득된 값을 사용자 정보 추출부(315)로 전송한다.
제 1 시선정보 획득부(310), 제 2 시선정보 획득부(311)는 본 발명에 의한 디스플레이 장치의 착용자의 시선 정보를 획득하는 장치이다. 현재의 eye-tracking 기술과 유사하지만, 제 1 시선정보 획득부(310)는 최종 합성 영상 출력부(312)에 의해 제시되는 영상 이미지의 광원을 이용하여 사용자의 시선 정보를 직접 얻는다. 그러므로, 안구와 근접된 폐쇄 공간에서 영상 획득 장치부를 장착할 수 있는 장점을 갖게 된다.
또한, 제 2 시선정보 획득부(311)는 반사된 영상 정보를 획득하는 방법으로 원하는 정보를 추출하여 사용자 정보 추출부(315)로 전달한다. 따라서, 선명한 고품질 영상 정보 획득을 위한 필요 조건(광학계 거리 확보)을 만족시킬 수 있는 정점을 가지며, 영상 출력부의 부품을 공유하는 장점을 가진다.
최종 합성 영상 출력부(312)는 영상 합성부(314)에서 생성된 최종 합성 영상을 출력하는 장치이다. 다수의 렌즈 집합으로 구성된 프로젝션 시스템을 초소형으로 제작하여, 디스플레이 장치의 눈 주변의 여유 공간에서 영상을 투영하여 사용자 시선에 영상 정보가 제시되도록 한다.
영상 생성부(313)는 사용자 개인에게 특화된 영상 정보를 생성한다. 사용자 정보 추출부(315)의 정보와 제시되는 콘텐츠의 정보를 참조하여 개인 영상 이미지를 생성한다.
영상 합성부(314)는 영상 생성부(313), 사용자 정보 추출부(315), 외부 영상 처리 제어부(318)로부터 입력받은 정보를 기초로 외부 영상 및 개인 영상을 하나의 3차원 영상으로 합성한다. 서로 다른 3차원 공간상에 가시화되는 가상 및 실사 개체들을 하나의 3차원 공간상에 정합시키기 위해, 가상 공간을 사용자의 시점을 기준으로 깊이 방향으로 각각의 장치가 담당하는 계층 영역(layer space)로 분리하여 합성하거나, 깊이 값 버퍼(depth-buffer) 알고리즘을 이용하여 하나의 영상 정보로 통합한다.
사용자 정보 추출부(315)는 사용자 개인에게 최적화된 입체 영상을 생성하기 위한 개인 정보를 추출한다. 추적 센서(308), 제 1 시선정보 획득부(310), 제 2 시선정보 획득부(311)로부터 획득되는 사용자 시선의 위치 및 자세 그리고 시선의 방향 정보 등을 추적 센서(308), 영상 합성부(314), 시선 정보 제공부(319)의 입력값으로 전달한다.
영상 출력부(316)는 도 1 및 도 2의 영상출력부(105, 205)와 동일한 기능을 수행한다.
외부 영상 처리부(317)는 외부 영상 처리 제어부(318)의 기능을 포함하여 도 1의 외부 영상 처리부(101)의 기능을 수행한다.
외부 영상 처리 제어부(318)는 영상 합성부(314)의 정확한 합성을 위해 외부 영상 정보의 깊이 값을 획득하여 최종 합성 영상 출력부(312)로 제시되는 본 발명에의한 디스플레이 장치 내부의 영상과 외부 영상이 광학적으로 자연스럽게(예를 들면, 동일한 밝기 값) 혼합되도록 영상 합성부(314)의 정보를 기준으로 투과도 제어부(304)를 이용하여 외부 영상의 전체 또는 특정 위치에 대한 투과량(opacity)를 제어한다.
시선 정보 제공부(319)는 외부 입체 영상정보가 사용자의 시선정보를 필요로 하는 경우 이를 전송한다.
도 4는 본 발명에 의한 혼합 현실환경 디스플레이 장치의 비디오-투시 방식에 의한 일 실시예이다. 도 4에 따른 비디오-투시 방식에 의한 혼합 현실환경 디스 플레이 장치는 대부분의 기능부가 도 3에 따른 광학-투시 방식에 의한 혼합 현실 환경 디스플레이 장치와 유사하다.
차이가 있는 부분을 설명하면, 좌우 시각정보 분리 제어부(408), 좌우 시각정보 분리 패널(409)는 각각 도 3의 좌우 시각정보 분리 제어부(306), 좌우 시각정보 분리 패널(305)과 동일한 기능을 한다.
카메라 모듈 제어부(450)는 제어부(428)의 제어 명령을 받아서 카메라의 촬영 방향을 조정한다.
제어부(428)는 외부 영상 획득 모듈(409,451)을 구동하는 좌우 시각정보 분리 제어부(408) 및 카메라 모듈 제어부(450)를 제어한다.
도 4에 따른 비디오-투시 방식에 의한 혼합 현실환경 디스플레이 장치는 대부분의 동작이 도 3에 따른 광학-투시 방식에 의한 혼합 현실 환경 디스플레이 장치와 유사하다. 도 4에 따른 비디오-투시 방식의 경우, 외부 영상을 획득하고 합성하는 단계에서 인간의 자연 시각을 사용하는 광학 방식이 아닌, 임의의 센서기술을 이용하는 점이 광학-투시 방식과 다르다. 비디오 투시 방식의 경우 외부 영상 획득을 위하여 외부 영상 획득 모듈(예를들면, 소형 카메라)(451)을 사용하며, 카메라와 사용자 시각의 연동을 위하여 외부 영상 처리 제어부(428)는 사용자 정보 추출부(315)의 정보를 이용하여 카메라 모듈 제어부(450)를 제어하여 외부 영상 획득 모듈(예를들며, 소형 카메라)(451)의 수렴 각도를 제어한다.
도 5는 본 발명에 의한 광학-투시 방식에 의한 혼한 현실환경 디스플레이 장치의 일 실시예이다. 광학 투시형 디스플레이 장치에 사용자 머리 움직임을 추적하 는 센서(502)와 외부 입체 영상을 선별하여 투시할 수 있는 선형 편광필름(501)으로 구성된다. 또한 영상 생성부(503), 반투명 반사 거울 및 렌즈로 구성된 다중 입체 영상 혼합 처리/제시부(504,505), 사용자 머리(눈) 움직임(자세) 추적 센서(506), 최종단 개인 입체 영상 생성부(507)로 구성된다. 본 발명에 의한 디스플레이 장치를 이용하여 사용자는 도 8에 도시된 바와 같이 자신의 개인 인터페이스에 관련된 입체 영상과 외부 콘텐츠의 입체 영상을 동시에 하나의 공간에 정합하여 볼 수 있으며, 다자 참여 게임에서 해결하기 어려운 정보의 사유 및 공유 문제를 해결할 수 있다.
도 6은 본 발명에 의한 혼합현실 환경 디스플레이 장치를 구현한 일 실시예를 도시한 도면이다. 도 6에 도시된 본 발명에 의한 혼합현실 환경 디스플레이 장치에 의하여 얼굴 착용형 디스플레이 장치가 구현되며, 실사 영상과 외부 영상이 자연스럽게 합성된 영상을 볼 수 있게 된다. 본 발명에 의한 디스플레이 장치는 디스플레이 본체(601), 외부 입체 영상 처리부(광학식 입체 영상 필터부)(602), 외부 광량 투과도 조절부(603)로 구성된다. 도 6 하단에 도시된 바와 같이 본 발명에 의한 디스플레이 장치를 사용자의 눈의 위치에서 바라보면, 최종단 광학부로 형성되는 확대된 허상(604)는 초소형 프로젝터(영상 투영 장치)(605)에 의해 사용자 안구(606) 위에 형성된다. 또한 외부 영상 정보는 외부 영상 생성(송출) 장치의 영상 정보를 전달하는 광케이블(607)에 의하여 전달된다. 영상 투영 장치(605)는 도 3에서 도시된 최종 합성 영상 출력부(312)의 역할을 한다.
도 7은 본 발명에 의한 혼합현실 환경 디스플레이 장치를 이용하여 가상 스 프레이 페인팅 훈련 시스템을 구현한 사례를 도시한 것이다. 외부 인공 영상은 대형 후면 투사형 입체 영상 프로젝션 시스템으로, 페인팅 대상 작업물이 입체감을 가지도록 가시화된다. 훈련생이 착용한 혼합현실 환경 디스플레이 장치는 외부의 가상 블록 및 자신의 스프레이 총에서 발사되는 가상의 페인트의 분사 모습을 볼 수 있으며, 정확한 페인팅 동작을 안내하는 가이드 정보 등이 자연스럽게 합성된 정보를 볼 수 있다. 혼합 현실 디스플레이 장치를 통하여 사용자의 실제 손(701)과 가상 동작 안내 정보(702), 실제 스프레이 페인팅 도구(703), 가상 페인트 스프레이(704)를 한꺼번에 볼 수 있다. 외부 입체 디스플레이 화면에서 가상 선박 블록(707)위에 가상 페인트 스프레이(705)를 분사하면, 가상 페인트가 칠해지는 영역(706)을 통하여, 가상 페인트가 칠해지는 것을 볼 수 있다.
도 8은 본 발명에 의한 혼합현실 환경 디스플레이 장치를 다자 참여가 가능한 가상 현실 게임 콘텐츠의 인터페이스 장치로 구현한 사례를 도시한 것이다. 도 8을 참조하면, 외부 게임공간은 대형 입체 영상 디스플레이 시스템으로 가시화되며, 게임에 참여한 사용자 1과 사용자 2가 동시에 관찰할 수 있는 내용이다. 사냥꾼의 역할을 하는 사용자 1이 착용한 디스플레이 장치에는 무기 제어에 관련된 입체 영상 정보가 외부 영상 정보와 합성되어 가시화된다. 사용자 1과 사용자 2는 서로 상대방 개인의 정보를 볼 수 없으며, 게임에 참여하는 제 3자는 사용자들의 행동으로부터 외부 게임 세계에 나타나는 결과만을 볼 수 있다. 즉, 도 8의 좌측 상단의 일반 다자 참여형 게임 인터페이스 화면과 같이 자신과 무관한 정보가 공용 화면에 가시화되어 가시성의 혼란함을 야기하는 등의 단점을 방지한다. 일반 게임 인터페이스 화면(801)과는 달리 본 발명에 의한 가상현실 게임 콘텐츠(802)는 외부 영상과 내부 영상의 공용 입체 영상을 제공한다. 사용자 1과 사용자 2가 게임을 함께 게임을 하는 경우, 디스플레이 화면위에 사용자 1의 개인 제어 메뉴(803)가 형성되고, 개인 제어 메뉴(803)의 개인 입체 영상을 통하여 사용자 1은 게임 옵션을 선택할 수 있다. 또한, 사용자 2도 마찬가지로 사용자 2의 개인 제어 메뉴을 통하여 게임 옵션을 선택하게 된다. 사용자 1 및 사용자 2는 각각 자신의 다중 입체 영상 혼합 제시 시각 인터페이스 장치(804, 805)를 통하여 외부 공용 입체 영상(802) 또는 개인 제어 메뉴(803)를 볼 수 있다.
도 9는 본 발명에 의한 혼합현실 환경 디스플레이 장치를 다자 참여가 가능한 가상 현실 게임 콘텐츠로 구현한 사례를 도시한 것이다. 외부 인공 영상(903)은 입체 모니터로 가시화되며, 이를 수용하기 위한 원형 편광 필터가 부착된 디스플레이 장치(904, 905)를 착용한 두 명의 사용자가 각각 운전수와 사냥꾼이 되어 미로를 탐험하면서 유령을 사냥하는 시나리오이다. 사용자 1(사냥꾼)은 외부 실사 개체 정보와 인공영상 및 자신의 디스플레이 장치에서 가시화되는 개인 영상 정보(901)가 자연스럽게 합성된 혼합현실 환경에서 게임을 진행할 수 있으며, 사용자2(운전수)는 외부 미로 공간을 외부 환경 제시용 디스플레이 장치를 통해 입체로 보는 동시에 자신에게 적합한 운전 계기판 정보(902)를 보면서 실제 조작 대상이 되는 게임 조이스틱 패드(실사 물체)를 보면서 조작할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동 작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 예컨데 롬, 플로피 디스크, 하드디스크 등과 같은 마그네틱 저장매체, 예컨데 씨디롬, 디브이디 등과 같은 광학적 판독매체, 및 예컨데 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 저장매체를 포함한다.
이러한 본원 발명인 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 따르면, 혼합 현실 시스템을 위한 입체 영상 제시용 디스플레이 장치는 투시(see-through) 기능에 의한 외부 영상과 내부 영상 장치의 정보 합성이 가능한 구조를 제시함으로써, 사용자가 영상 장치를 독립적으로 사용하는 경우에 발생되는 기존의 단점을 해결하였다. 즉, 종래 기술에서는 외부의 실사 정보와 디스플레이 장치의 가상정보를 통합하는 형태로 시스템이 구현되고 있으나, 본 발명에 의하면 외부의 실사정보와 인공 영상 정보, 및 외부의 인공 영상정보를 모두 통합하여 제어할 수 있다.
또한, 본 발명에 따르면, 엔터테인먼트 분야에서 다자 참여가 가능한 가상현실 게임 콘텐츠를 구축할 수 있고, 가상 환경에서의 작업 훈련 및 교육이나, 웨어러블 컴퓨팅, 유비쿼터스 콤퓨팅 등의 분야에 폭넓은 활용이 가능하다.

Claims (11)

  1. 사용자 주변의 실사 영상과 인공적으로 생성된 단수 또는 복수의 주변 입체 영상이 외부의 빛의 광량에 대한 투과도를 선택적으로 조절할 수 있는 광투과량 조절부를 통해 입사되어 합성된 다중 외부 영상 신호를 출력하는 외부 영상 처리부;
    상기 사용자의 위치, 눈의 위치, 시선의 방향 및 초점거리 등 상기 사용자의 시각 정보를 추출하는 사용자 정보 추출부;
    상기 추출된 사용자의 시각 정보에 따라 입체 영상 신호를 생성하는 영상 생성부;
    상기 추출된 사용자의 시각 정보에 따라 상기 다중 외부 영상 신호 및 상기 입체 영상 신호를 동기화하여 합성하는 영상 합성부; 및
    상기 합성된 영상신호를 상기 사용자에게 출력하는 영상 출력부를 포함하는 혼합현실환경 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 사용자 정보 추출부는 사용자의 시선 정보를 추출하기 위하여 눈 부분을 촬영할 때, 소형 영상 획득 장치를 이용하여 직접 촬영하거나, 상기 영상 출력부의 빛을 이용하여 간접 촬영하는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 영상 출력부는 상기 합성된 영상 신호를 좌,우 2개의 시각 채널로 분리하여 출력하는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 디스플레이 장치는 얼굴착용형 디스플레이(FMD: Face Mouted Display)인 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  5. 제 1 항에 있어서,
    상기 외부 영상 처리부는 상기 합성된 신호를 좌, 우 2개의 시각 채널로 분리하여 출력하는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    상기 외부 영상 처리부는 상기 물체의 실제 모습과 입체 영상을 카메라를 이용해서 촬상하여 입력으로 하는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  9. 제 1 항에 있어서,
    상기 영상 합성부는 서로 다른 3차원 공간상에 가시화되는 상기 다중 외부 영상 신호 및 상기 입체 영상 신호를 하나의 3차원 공간상에 가시화하기 위하여, 상기 입체 영상 신호를 기준으로 상기 외부 영상 신호를 깊이 방향에 따라 계층 영역(layered space)으로 분리하여 합성하는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  10. 제 1 항에 있어서,
    상기 디스플레이 장치는 가상 작업 시나리오 및 환경에 사용되는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
  11. 제 1 항에 있어서,
    상기 디스플레이 장치는 다자참여형 가상현실 게임 콘텐츠에 사용되는 것을 특징으로 하는 혼합현실환경 디스플레이 장치.
KR1020060070523A 2006-07-27 2006-07-27 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 KR100809479B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060070523A KR100809479B1 (ko) 2006-07-27 2006-07-27 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US11/638,438 US7804507B2 (en) 2006-07-27 2006-12-14 Face-mounted display apparatus for mixed reality environment
JP2006338509A JP2008033219A (ja) 2006-07-27 2006-12-15 混合現実環境用のフェイスマウントディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060070523A KR100809479B1 (ko) 2006-07-27 2006-07-27 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20080010502A KR20080010502A (ko) 2008-01-31
KR100809479B1 true KR100809479B1 (ko) 2008-03-03

Family

ID=38985775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060070523A KR100809479B1 (ko) 2006-07-27 2006-07-27 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치

Country Status (3)

Country Link
US (1) US7804507B2 (ko)
JP (1) JP2008033219A (ko)
KR (1) KR100809479B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230500B2 (en) 2012-02-23 2016-01-05 Electronics & Telecommunications Research Institute Expanded 3D stereoscopic display system
KR20160027864A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589421B (zh) * 2007-01-26 2013-01-09 日本电气株式会社 图像处理设备、方法和显示器
US8446341B2 (en) * 2007-03-07 2013-05-21 University Of Washington Contact lens with integrated light-emitting component
US9703369B1 (en) * 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
KR100943392B1 (ko) * 2008-01-09 2010-02-18 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
KR100917100B1 (ko) * 2008-01-14 2009-09-15 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
KR101378407B1 (ko) * 2008-05-08 2014-03-28 에스케이플래닛 주식회사 광시야각이 가능한 입체 영상 디스플레이 장치 및 그 입체영상 디스플레이 장치에서의 표시부 위치 조절 방법
US20100131865A1 (en) * 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
CN102484730A (zh) * 2009-06-04 2012-05-30 寇平公司 集成头戴显示器的3-d视频处理器
KR101147873B1 (ko) * 2010-06-24 2012-05-24 박영기 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법
JP5466606B2 (ja) * 2010-09-16 2014-04-09 旭エレクトロニクス株式会社 スプレー塗装シミュレートシステム
CN102446048B (zh) * 2010-09-30 2014-04-02 联想(北京)有限公司 信息处理设备以及信息处理方法
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US10359545B2 (en) 2010-10-21 2019-07-23 Lockheed Martin Corporation Fresnel lens with reduced draft facet visibility
US8781794B2 (en) 2010-10-21 2014-07-15 Lockheed Martin Corporation Methods and systems for creating free space reflective optical surfaces
US8625200B2 (en) 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US8608550B1 (en) * 2010-11-12 2013-12-17 Wms Gaming, Inc Coordinating three dimensional wagering game content presentations
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
CA2821401C (en) 2010-12-16 2019-04-30 Lockheed Martin Corporation Collimating display with pixel lenses
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8784206B1 (en) 2011-04-15 2014-07-22 Wms Gaming, Inc. Modifying presentation of three-dimensional, wagering-game content
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
WO2013033195A2 (en) 2011-08-30 2013-03-07 Microsoft Corporation Head mounted display with iris scan profiling
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9155964B2 (en) 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
KR101279869B1 (ko) * 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
JP5483761B2 (ja) * 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
JP5891125B2 (ja) * 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
EP2685732A1 (en) * 2012-07-12 2014-01-15 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Stereoscopic pictures generation
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CA2905427C (en) * 2013-03-11 2022-07-12 Magic Leap, Inc. System and method for augmented and virtual reality
CN107656618B (zh) 2013-03-15 2021-03-23 奇跃公司 显示系统和方法
KR102077105B1 (ko) 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
JP5954349B2 (ja) * 2014-03-18 2016-07-20 カシオ計算機株式会社 情報機器とその表示方法、並びにプログラム
KR102187848B1 (ko) * 2014-03-19 2020-12-07 삼성전자 주식회사 프로젝터를 이용한 영상 표시 방법 및 이를 구현하는 착용형 전자장치
CN103927966A (zh) 2014-04-02 2014-07-16 北京智谷睿拓技术服务有限公司 显示控制方法及显示控制装置
US10083675B2 (en) 2014-04-02 2018-09-25 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control method and display control apparatus
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
WO2016013269A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US10320924B2 (en) * 2014-10-08 2019-06-11 Disney Enterprises, Inc. Location-based mobile storytelling using beacons
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
WO2016061447A1 (en) 2014-10-17 2016-04-21 Lockheed Martin Corporation Head-wearable ultra-wide field of view display device
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
WO2016141054A1 (en) 2015-03-02 2016-09-09 Lockheed Martin Corporation Wearable display system
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10754156B2 (en) 2015-10-20 2020-08-25 Lockheed Martin Corporation Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US9995936B1 (en) 2016-04-29 2018-06-12 Lockheed Martin Corporation Augmented reality systems having a virtual image overlaying an infrared portion of a live scene
US20180075657A1 (en) 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
CN106780756A (zh) * 2016-11-30 2017-05-31 安徽金曦网络科技股份有限公司 虚拟现实看房系统
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
KR102395030B1 (ko) * 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10559276B2 (en) 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN108465240B (zh) * 2018-03-22 2020-08-11 腾讯科技（深圳）有限公司 标记点位置显示方法、装置、终端及计算机可读存储介质
JP7381556B2 (ja) * 2018-03-27 2023-11-15 スペースドラフト・プロプライエタリー・リミテッド メディアコンテンツ計画システム
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
JP6854972B2 (ja) * 2018-05-02 2021-04-07 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
JP2022530900A (ja) * 2019-05-01 2022-07-04 マジック リープ， インコーポレイテッド コンテンツプロビジョニングシステムおよび方法
KR102474528B1 (ko) * 2020-03-27 2022-12-06 한국광기술원 현실감 있는 증강현실 영상을 출력하는 장치 및 방법
US11743340B2 (en) * 2020-06-10 2023-08-29 Snap Inc. Deep linking to augmented reality components
KR102215146B1 (ko) * 2020-06-23 2021-02-15 주식회사 예쉬컴퍼니 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램
KR102393627B1 (ko) * 2020-08-28 2022-05-02 한국로봇융합연구원 Mr 환경과 로봇의 인터렉션 훈련 시스템
MX2023002844A (es) * 2020-09-14 2023-06-08 Interdigital Ce Patent Holdings Sas Formato de representacion de escena haptica.
KR102465800B1 (ko) * 2020-09-23 2022-11-11 (주)엘비전테크 근안 영상 표시 장치에 적용되는 시스루 광학 시스템 및 시스루 광학 시스템에서의 시선 추적 방법
DE102020215559A1 (de) * 2020-12-09 2022-06-09 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
CN116711302A (zh) 2020-12-16 2023-09-05 三星电子株式会社 以低时延发送多条应用数据的方法和装置
KR20220086367A (ko) * 2020-12-16 2022-06-23 삼성전자주식회사 저지연으로 복수의 어플리케이션 데이터 전송 방법 및 장치
US20220413433A1 (en) * 2021-06-28 2022-12-29 Meta Platforms Technologies, Llc Holographic Calling for Artificial Reality
US11934569B2 (en) * 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20230147312A (ko) * 2022-04-14 2023-10-23 주식회사 피아몬드 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템
US20240073372A1 (en) * 2022-08-31 2024-02-29 Snap Inc. In-person participant interaction for hybrid event

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068508A (ko) * 2004-12-16 2006-06-21 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453451B1 (en) * 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US5796373A (en) * 1996-10-10 1998-08-18 Artificial Parallax Electronics Corp. Computerized stereoscopic image system and method of using two-dimensional image for providing a view having visual depth
KR19990021540A (ko) 1997-08-30 1999-03-25 윤종용 눈의 시선각도를 이용한 입력장치
KR19990021535A (ko) 1997-08-30 1999-03-25 윤종용 에이취엠디 및 시선각도 인식기능을 구비한 퍼스널 컴퓨터
KR100265496B1 (ko) 1997-12-08 2000-09-15 구자홍 3차원 영상을 위한 hmd
KR100283933B1 (ko) 1997-12-10 2001-03-02 윤종용 편광방식에 의한 입체영상장치
KR100270804B1 (ko) * 1998-02-18 2000-11-01 박남은 시알티모니터를사용하는컴퓨터시스템에서입체영상구현을위한입체영상구현장치
KR100438816B1 (ko) 1998-03-09 2004-07-16 삼성전자주식회사 개인용 입체영상 헤드마운트 디스플레이 장치
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6417820B1 (en) * 2000-05-12 2002-07-09 Samsung Electronics Co., Ltd. Head mounted display and optical system for use in HMD
JP4516188B2 (ja) * 2000-06-23 2010-08-04 オリンパス株式会社 画像表示装置
JP3477441B2 (ja) * 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
KR200304507Y1 (ko) 2002-11-18 2003-02-15 (주)디오컴 광 영상전송에 의한 헤드마운트디스플레이 장치
JP2005107038A (ja) * 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
US7464010B2 (en) * 2004-12-21 2008-12-09 Electronics And Telecommunications Research Institute User interface design and evaluation system and hand interaction based user interface design and evaluation system
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068508A (ko) * 2004-12-16 2006-06-21 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1020060068508

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230500B2 (en) 2012-02-23 2016-01-05 Electronics & Telecommunications Research Institute Expanded 3D stereoscopic display system
KR20160027864A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들
KR102244222B1 (ko) 2014-09-02 2021-04-26 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들

Also Published As

Publication number Publication date
KR20080010502A (ko) 2008-01-31
US20080024597A1 (en) 2008-01-31
US7804507B2 (en) 2010-09-28
JP2008033219A (ja) 2008-02-14

Similar Documents

Publication Publication Date Title
KR100809479B1 (ko) 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
CN108369457B (zh) 用于混合现实的现实混合器
Schmalstieg et al. Augmented reality: principles and practice
KR100656342B1 (ko) 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US20150312561A1 (en) Virtual 3d monitor
US9230500B2 (en) Expanded 3D stereoscopic display system
US20090237492A1 (en) Enhanced stereoscopic immersive video recording and viewing
US20060250391A1 (en) Three dimensional horizontal perspective workstation
KR20070044394A (ko) 수평 원근법 핸즈온 시뮬레이터
CN102540464A (zh) 提供环绕视频的头戴式显示设备
CN107810634A (zh) 用于立体增强现实的显示器
KR20120064557A (ko) 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US20190109938A1 (en) Message display method according to event occurrence in vr device and apparatus therefor
US11488365B2 (en) Non-uniform stereo rendering
CN111699460A (zh) 多视图虚拟现实用户界面
CN113875230B (zh) 混合模式三维显示方法
WO2018142418A1 (en) An apparatus, method, and system for augmented and mixed reality viewing
US11961194B2 (en) Non-uniform stereo rendering
EP4083754B1 (en) System and method for generating motion data comprising simulated gaze information
JP7403256B2 (ja) 映像提示装置およびプログラム
Vaish et al. A REVIEW ON APPLICATIONS OF AUGMENTED REALITY PRESENT AND FUTURE
CN109963141A (zh) 视觉显示系统及方法，以及头戴显示装置
Swannack et al. An Assessment of Human Depth Understanding in Handheld Light-Field Displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 12