KR20160135652A - 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 - Google Patents

헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 Download PDF

Info

Publication number
KR20160135652A
KR20160135652A KR1020160054711A KR20160054711A KR20160135652A KR 20160135652 A KR20160135652 A KR 20160135652A KR 1020160054711 A KR1020160054711 A KR 1020160054711A KR 20160054711 A KR20160054711 A KR 20160054711A KR 20160135652 A KR20160135652 A KR 20160135652A
Authority
KR
South Korea
Prior art keywords
user
image
face
hmd device
model
Prior art date
Application number
KR1020160054711A
Other languages
English (en)
Other versions
KR102581453B1 (ko
Inventor
리옷 앤서니
송 유
깁스 시몬
요시야 히라세
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160135652A publication Critical patent/KR20160135652A/ko
Application granted granted Critical
Publication of KR102581453B1 publication Critical patent/KR102581453B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/6203—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0143—Head-up displays characterised by optical features the two eyes not being equipped with identical nor symmetrical optical devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 이용한 통신을 관리하는 다양한 장치, 배치 및 방법이 설명된다. 한 측면에서, 추적 데이터는HMD 디바이스의 적어도 하나 이상의 센서들에 의해 적어도 그 일부가 생성될 수 있다. 추적 데이터는 HMD 디바이스를 착용하고 있는 사용자의 얼굴 움직임을 적어도 하나 이상 나타낼 수 있다. 패치 이미지는 추적 데이터에 기초하여 획득될 수 있다. 패치 이미지는 얼굴 이미지와 합성될 수 있다. 다양한 실시예들은 패치 및 얼굴 이미지를 생성 및 이용하는 HMD 디바이스 및 다른 방법들을 포함한다.

Description

헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리{Image processing for Head mounted display devices}
본 발명은 일반적으로 이미지 처리에 관한 것이다. 본 발명의 다양한 실시예는 헤드 마운티드 디스플레이(Head Mounted Display) 디바이스를 이용한 이미지의 생성 및 처리에 관한 것이다.
지난 몇 년간 가상현실 애플리케이션은 점점 더 주목을 받고 있다. 가상현실 애플리케이션은 사용자가 다른 환경 속에 존재한다고 인식하도록 하는 기술을 필요로 한다. 일부 애플리케이션에서, 사용자는 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 착용할 수 있다. 이러한 디바이스의 예로는 삼성 기어 브이알®(Samsung Gear VR®)과 오큘러스 리프트®(Oculus Rift®) 등이 있다. 이러한 디바이스를 착용하는 경우, 일반적으로 사용자의 눈은 완전히 가려진다. HMD 디바이스는 사용자에게 이미지나 애니메이션을 디스플레이하는 내부 화면을 포함할 수 있다. 이미지들은 사용자에게 가상 환경으로 이동된 것 같은 느낌이 들게 한다.
다양한 애플리케이션들이 이러한 HMD 디바이스를 위해 고려되어 왔다. 예를 들어, HMD 디바이스는 오락용 애플리케이션, 예를 들어 사용자가 가상의 환상적인 세계를 탐험할 수 있는 게임에 이용될 수 있고, 또 다른 실제 세계의 장소로 사용자를 이동시켜주는 텔레이머젼(teleimmersion) 애플리케이션에 이용될 수 있다. HMD 디바이스의 추가적인 애플리케이션을 개발하기 위한 노력이 계속 진행 중이다.
본 발명의 일 실시예에서는 HMD 디바이스를 통해 이미지를 생성하고 처리하기 위한 방법 및 장치를 제공한다. 사용자가 HMD 디바이스를 착용하여 얼굴의 일부분을 가리더라도, HMD 디바이스 사용자가 다른 HMD 디바이스 사용자의 얼굴 표정을 볼 수 있도록 하는 방법 및 장치를 제공한다.
본 발명의 한 측면은, 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스에 대한 것이다. HMD 디바이스 착용시, HMD 디바이스는 사용자의 얼굴의 일부를 가려서 사용자의 눈 및 얼굴의 (상당) 부분이 감춰지도록 한다. 적어도 하나 이상의 센서가 디바이스 본체에 구비될 수 있다. 센서는 사용자의 안구 움직임, 눈꺼풀 움직임, 눈썹 움직임 및/또는 다른 얼굴의 특징들을 추적하도록 배치될 수 있다. 디스플레이는 디바이스 본체에 구비되어, HMD 디바이스 착용시 사용자에게 이미지 또는 미디어를 디스플레이할 수 있다.
본 발명의 또 다른 측면은, 통신 애플리케이션용 미디어 처리 방법을 제공한다. 추적 데이터(tracking data)는 획득될 수 있다. 추적 데이터는 적어도 그 일부가 HMD 디바이스에 있는 적어도 하나 이상의 센서에 의해 생성된다. 추적 데이터는 HMD 디바이스를 착용하고 있는 사용자의 적어도 하나 이상의 얼굴 움직임(예를 들어, 시선, 안구의 회전, 눈썹이나 눈꺼풀의 움직임 등)을 나타낼 수 있다. 패치 이미지(patch image)는 추적 데이터에 기초해서 획득될 수 있다. 패치 이미지는 HMD 디바이스에 의해 감춰진 사용자의 얼굴 부분을 보여준다. 또한, 얼굴 이미지도 획득될 수 있다. 얼굴 이미지는 적어도 그 일부가 HMD 디바이스에 의해 덮이지 않은 사용자 얼굴의 일부분을 캡처함으로써 생성된다(예를 들어, 카메라 또는 적절한 리코딩/스캐닝 장치를 사용할 수 있다.). 얼굴 이미지는 패치 이미지와 합성되어, 사용자의 얼굴을 보여주는 합성 이미지(merged image)가 될 수 있다. 즉, HMD 디바이스에 의해 가려진 사용자의 얼굴 부분의 특징들(예를 들어, 눈, 눈썹 등)을 보여줄 수 있다. 일 실시예에 따르면, 합성 이미지는 또 다른 HMD 디바이스로 전송되고, 사용자의 얼굴 움직임들은 전송받은 HMD 디바이스에서 실시간으로 디스플레이될 수 있다. 다양한 실시예들은 상기 동작들의 적어도 일부를 실행하도록 구성된 디바이스, 시스템 및 컴퓨터 코드를 포함한다.
본 발명과 그 이점들은, 첨부된 도면과 함께 다음의 설명을 참조함으로써 가장 잘 이해될 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스가 포함된 통신 시스템을 나타내는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 HMD 디바이스를 착용하고 있는 사용자를 나타내는 도면이다.
도 2b는 본 발명의 일 실시예에 따른 HMD 디바이스를 착용하지 않은 사용자를 나타내는 도면이다.
도 3a 및 3b는 도1에서 나타낸 통신 시스템을 관리하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 얼굴의 3D 모델의 예시를 나타내는 도면이다.
도 5a는 본 발명의 일 실시예에 따른 방 안에 있는 사용자의 이미지의 예시를 나타내는 도면이다.
도 5b는 본 발명의 일 실시예에 따른 배경 이미지의 예시를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 카메라 장치와 HMD 디바이스를 착용하고 있는 사용자를 나타내는 도면이다.
도 7a는 본 발명의 일 실시예에 따른 사용자의 얼굴의 이미지를 나타내는 도면이다.
도 7b는 본 발명의 일 실시예에 따른 사용자의 얼굴의 3D 모델을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 광 수준(light level)을 감지하는 기술을 나타내는 도면이다.
도 9a는 본 발명의 일 실시예에 따른 HMD 디바이스를 착용하고 있는 사용자의 라이브 이미지(live image)를 나타내는 도면이다.
도 9b는 도 9a에서 나타낸 사용자의 얼굴의 렌더링된 모델을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 모델에서 패치 이미지(patch image) 영역을 식별하는 방법을 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 패치 이미지를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 얼굴/배경 이미지에서 패치 이미지(patch image) 영역을 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 패치 이미지 및 얼굴/배경 이미지의 합성을 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른 배경 이미지에서 영역들을 식별하는 방법을 나타내는 도면이다.
도 15는 본 발명의 일 실시예에 따른 얼굴/배경 이미지에 배경 패치 이미지(background patch image)를 합성하는 방법을 나타내는 도면이다.
도 16, 17, 및 18은 본 발명의 일 실시예에 따른 HMD 디바이스의 배경도(perspective view), 배면도 및 정면도를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 HMD 디바이스를 나타내는 블록 다이어그램이다.
도 20은 본 발명의 일 실시예에 따른 이미지 처리 장치를 나타내는 블록 다이어그램이다.
도면에서 참조 번호는 때때로 구조적 요소를 표기하는데 사용되었다. 또한, 도면의 묘사는 개략적인 것으로서, 축적을 위한 것이 아니다.
본 발명은 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 통해 이미지를 생성하고 처리하기 위한 방법, 장치, 시스템 및 그 배치와 관련된다. 모든 사용자가 HMD 디바이스를 착용하여 얼굴의 상당부분을 가리더라도, 하나의 HMD 디바이스 사용자가 또 다른 HMD 디바이스 사용자의 얼굴 표정을 볼 수 있도록 하는 다양한 실시예를 포함한다.
배경기술에서 설명한 것과 같이, 게임은 가상현실과 HMD 디바이스가 많이 적용되는 분야 중 하나이다. 또한, 또 다른 적용 가능 분야에는 커뮤니케이션, 예를 들어 가상 현실 또는 HMD 디바이스 사용자들 간의 화상회의가 있다.
도 1은 HMD 디바이스 사용자를 위한 커뮤니케이션 시스템 (100) 의 일 실시예를 나타내는 도면이다. 커뮤니케이션 시스템 (100)은 사용자 (105a)와 사용자 (105b)를 포함할 수 있다. 사용자들은 각각 HMD 디바이스 (110a)와 (110b)를 착용할 수 있고, 각각의 방인 방 (130a)와 방 (130b) 안에 위치할 수 있다.
또한, 각각의 방 안에는 각각의 사용자로부터 가까운 거리에 위치한, 카메라 장치 (115a)와 (115b)가 각각 위치할 수 있다. HDM 디바이스 및/또는 카메라 장치는 네트워크 (125)를 통해 서로 연동될 수 있다. 또 다른 일부 실시예에서는, HMD 디바이스 사이의 통신을 관리하고 미디어 처리를 지원하는 서버 (120)을 포함할 수 있다.
일 실시예에 따르면, 카메라 장치 (115a)는 방 (130a) 안에 있는 사용자 (105a)의 얼굴을 향하도록 위치할 수 있다. 카메라 장치 (115a)는 사용자 (105a)의 얼굴 표정과 움직임을 녹화할 수 있을 뿐만 아니라, 가능하다면 사용자 (105a)의 뒤에 있는 방 (130a)의 배경을 녹화할 수도 있다.
또한, 카메라 장치 (115a)는 사용자 (105a)의 라이브 비디오 스트림을 캡처할 수도 있다. 카메라 장치 (115a)는 녹화된 비디오 데이터를 네트워크 (125)를 통해 실시간으로 다른 사용자 (105b)에게 전송할 수 있고, 사용자 (105b)는 HMD 디바이스 (110b)를 이용하여 비디오 스트림을 볼 수 있다.
일 실시예에서는, 카메라 장치 (115b)는 녹화된 데이터를 수신하여 HMD 디바이스 (110b)에게 전송할 수도 있다.
선택적으로, 일 실시예에서는, HMD 디바이스 (110b)는 네트워크 (125)에 직접 연결되어, 네트워크 (125)를 통해 녹화된 데이터를 직접 받을 수도 있다.
녹화된 비디오 데이터에 기초하여, 사용자 (105b)가 착용한 HMD 디바이스 (110b)는 비디오 스트림을 렌더링할 수 있다. 이에 따라, HMD 디바이스 (110b)는 다른 사용자 (105a)의 얼굴과 움직임을 실시간으로 디스플레이할 수 있다.
일 실시예에서, 사용자 (105a)와 사용자 (105b) 사이의 통신은 쌍방향으로도 가능하다. 즉, 사용자 (105b)를 위한 카메라 장치(115b)는 사용자 (105b)의 얼굴 및 움직임을 녹화하고, 네트워크 (125)를 통해 사용자 (105a)에게 관련된 비디오 데이터를 전송할 수 있다. 또한, 각각의 HMD 디바이스는 각 사용자의 음성을 캡처하는 마이크를 포함할 수 있다. 음성은 오디오 데이터로 전환되어 네트워크 (125)를 통해 다른 사용자에게 실시간으로 전송될 수 있다. 따라서, 사용자 (105a)와 사용자 (105b)는 HMD 디바이스들을 각각의 얼굴에 착용한 채로 서로의 얼굴을 보면서 실시간으로 통신할 수 있다.
전술한 통신 시스템은 유용하지만, HMD 디바이스의 이용과 관련된 문제가 있다. 이 문제는 도 2a 및 2b에 나타난다. 도 2a는 사용자 (105a)가 HMD 디바이스 (110a)를 착용하고 있을 때 사용자 (105a)의 얼굴을 나타내는 도면이다. 즉, 이 도면은 카메라 장치 (115a)의 관점에서 보여지는 사용자 (105a)의 모습을 나타낸 것이다. 따라서, 이 도면은 또한, 다른 사용자 (105b)에 의해 보여지는 사용자 (105a)의 모습을 나타낸 것이다. 도면에 도시된 것과 같이, HMD 디바이스 (110a)는 사용자 (105a)의 눈 및 얼굴의 다른 영역들을 완전히 가려서, 카메라 장치 (115a) 또는 다른 사용자 (105b)에게 보이지 않도록 한다.
하지만, 인간의 의사소통 및 상호 작용을 위해서는, 사람의 눈 및 얼굴의 움직임을 보여주는 기능이 중요하다. 시선, 눈썹의 움직임 및 다른 얼굴의 움직임들은 대화에서 중요한 요소이다. 화자의 감정이나 의도를 전달하는데 도움을 준다. 얼굴의 움직임들을 보여주는 기능은 도 1에서 나타낸 통신이 훨씬 더 매력적이고 생생하게 느껴지도록 한다. 많은 상황에서, 화상 회의에 참여하는 HMD 디바이스의 사용자는 도 2b에서 나타낸 얼굴 (210)에서 보여지는 것과 같이, 다른 회의 참가자들의 전체 얼굴을 보는 것을 선호한다. 즉, 일반적으로 HMD 디바이스가 제거되고 사용자의 눈 및 얼굴 표정이 보이는 것이 바람직하다.
본 발명의 다양한 실시예들은 이 문제를 다룬다. 일부 접근법에서는 패치 이미지가 생성될 수 있다. 즉, 다양한 실시예에서는, HMD 디바이스 (110a)를 착용하고 있는 사용자 (105a)의 이미지(예를 들어, 도 2a에서 도시된 것과 같은)는 패치드(patched)되어서 HMD 디바이스가 제거된다. 패치 이미지(patch image)는 HMD 디바이스에 의해 가려지는 공간을 채우고, 그렇지 않았다면 HMD 디바이스 (110a)에 의해 가려졌을, 사용자의 얼굴의 특징 및 움직임(예를 들어, 눈, 시선 또는 눈썹 움직임 등)을 시뮬레이션한다. 다양한 실시예에서는, 패치 이미지는 사용자 얼굴의 대응되는 부분의 렌더링된 3D 모델을 기초로 하거나, 사용자 (105a)의 얼굴 움직임 및 표정을 실시간으로 반영할 수 있으며, 또한 사용자 얼굴의 대응하는 부분의 렌더링된 3D 모델을 기초로 하면서 사용자(105a)의 얼굴 움직임 및 표정을 실시간으로 반영할 수 있다. 이는 보는 이에게 사용자의 전체 얼굴(예를 들어, 도 2b에서 나타낸 얼굴 (210)과 같은)의 시뮬레이션을 볼 수 있게 한다.
다음으로 도 3a 및 3b를 참조하면, HMD 디바이스 통신 애플리케이션을 위한 이미지 처리에 대한 방법 (300)의 예시가 설명된다. 일 실시예에서, 방법은 주로 도 1에 나타낸 HMD 디바이스(110a), 카메라 장치(115a), 사용자(105a) 및 방 (130a)을 이용하여 수행될 수 있다. 방법 (300)이 특정 장치들에 의해 수행되는 다양한 동작들을 설명하고 있더라도, 어떤 동작이라도 임의의 적절한 장치에 의해서 대신 수행될 수 있다. 한 예로서, 방법이 카메라 장치 (115a)가 다양한 이미지를 수집, 생성 및 처리하는 단계를 수행하는 것으로 설명되더라도, 동일한 단계들이 HMD 디바이스 (110a), 서버 (120) 또는 다른 컴퓨팅 장치(예를 들어, 스마트폰, 텔레비전, 게임 콘솔, 컴퓨터 등) 에 의해서도 수행될 수 있다.
먼저, 단계 (305)에서 사용자 (105a)의 얼굴의 3D 모델 (405)이 획득될 수 있다. 일반적으로, 모델 (405)은 사용자 (105a)의 어떤 부분(예를 들어, 얼굴, 머리, 눈, 눈썹, 신체의 어느 일부 등)에 대한 소프트웨어 모델, 그래픽 모델 및/또는 수학적/가상의 표현 중 어떤 것이든지 될 수 있다. 간단한 일 실시예는 도 4에 나타난다. 일 실시예에 따르면, 3D 모델은 사용자 (105a)의 머리, 얼굴 및 다양한 얼굴의 특징들(예를 들어, 머리와 얼굴의 표면 및 모양, 눈, 코, 입, 피부 질감, 컬러, 광 수준, 그림자 등)을 나타낼 수 있고, 보여줄 수 있으며, 표현할 수 있다. 다양한 실시예에 따르면, 모델은 완전히 3차원(즉, 모델은 3차원에서 회전되거나 기울여질 수 있다.) 이거나, 복합적인 다각형, 메시(mesh), 꼭짓점(vertices), 에지(edges) 등을 이용하여 모델링 될 수 있으며, 또한 3차원이면서 복합적인 다각형 메시, 꼭짓점, 에지 등을 이용하여 모델링 될 수 있다.
또한, 3D 모델 (405)을 위한 소프트웨어는 입력에 기초하여 모델 (405)의 특징들을 자동적으로 조정할 수 있다. 일 실시예에 따르면, 입술이 웃는 모양이 되도록 나타내는 입력을 수신하는 경우, 3D 모델 (405)의 다른 특징들 또한 자동적으로 반응하여 움직일 수 있고(예를 들어, 코나 입가에 미세한 움직임 등이 있을 수 있다.), 그 결과 얼굴의 일부분이 변하거나 특정한 표정이 요구될 때 인간의 얼굴에서 자연스럽게 발생하는 많은 미세한 움직임들을 시뮬레이션할 수 있다. 3D 모델 (405)은 사용자 (105a)의 얼굴, 머리 또는 신체의 전부 또는 머리나 신체의 어느 일부를 시뮬레이션 할 수 있다.
3D 모델 (405)은 임의의 공지된 소프트웨어나 하드웨어를 이용하여 임의의 적절한 방식으로 생성될 수 있다. 다양한 실시예에서, 3D 모델 (405)은 카메라 또는 임의의 다른 적절한 스캐닝 장치(예를 들면, 카메라 장치 (115a), 3D 스캐너 등)를 이용하여 생성될 수 있다. 일반적으로, 스캐닝 장치는 HMD 디바이스 (110a)를 착용하지 않고 있을 때(예를 들어, 단계 (313) 에서, 사용자가 또 다른 사용자와 통신하기 위해 HMD 디바이스 (110a)를 착용하고 카메라 장치 (115a) 앞에 서기 전에)의 사용자의 얼굴을 캡처하기 위해 이용될 수 있다. 다른 일 실시예에 따르면, 3D 모델 (405)은 미리 결정될 수 있다. 즉, 모델 (405)은 정형화(generic) 된 것이거나, 사용자 (105a)의 실제 얼굴에 기초한다거나 특별하게 맞춰진 (tailored) 것이 아닐 수 있으며, 정형화된 것이면서 사용자(105a)의 실제 얼굴에 기초한다거나 특별하게 맞춰지지 않은 것일 수도 있다. 이러한 모델은 다른 사용자가 사용자 자신들의 실제 얼굴을 보는 것을 원하지 않고, 아마도 가상현실 아바타 또는 캐릭터만을 보기를 원하는 애플리케이션에 적합하다.
도시된 실시예에서, 카메라 장치 (115a)는 모델 (405) 자체를 생성하거나 외부 소스 (external source)로부터 모델 (405)을 획득할 수 있다. 예를 들어, 다른 스캐닝 장치가 모델을 생성하였다면, 카메라 장치는 네트워크(예를 들면, 네트워크 (125))를 통해 스캐닝 장치로부터 모델 데이터를 다운로드할 수 있다. 선택적으로, 모델 데이터는 어떤 다른 적절한 기술, 예를 들어 플래쉬 드라이브 등을 이용하여 카메라 장치 (115a)로 전송될 수 있다. 일 실시예에 따르면, 방법 (300)에서, 카메라 장치 (115a)는 후술하는 바와 같이 모델 (405)을 조정하고 처리할 것이다.
도 3a를 다시 참조하면, 단계 (310)에서, 카메라 장치 (115a)는 배경 이미지(background image)를 획득할 수 있다. 배경 이미지는 스캐닝 또는 카메라 장치의 관점에서 보여지는 배경 또는 환경의 이미지 중 어느 것일 수 있다. 일반적으로, 배경 이미지는 사용자가 또 다른 사용자와 통신하기 위해 HMD 디바이스 (110a)를 착용하고 카메라 장치 (115a) 앞에 섰을 때(예를 들어, 단계 (313)에서 설명한 것과 같이) 나중에 시야에서 가려질 주변 환경의 일부를 캡처한 것이다.
도 5a 및 5b는 일 실시예에 따른 배경 이미지의 예시를 나타내는 도면이다. 도 5a는 카메라 장치 (115a)의 관점에서 본 사용자 (105a)의 이미지 (505)를 나타낸다. 이미지 (505)에서, 사용자 (105a)는 (예를 들어, 단계 (313) 아래에 설명한 것과 같이) 또 다른 사용자 (105b)와 통신하기 위해 카메라 장치 (115a) 앞에 위치하고, HMD 디바이스 (110a)를 이용하고 있다. 따라서, 이미지 (505)는 사용자의 얼굴 (410), HMD 디바이스 (110a), 사용자 신체의 일부들뿐만 아니라 배경의 일부도 보여준다. 일 실시예에 따르면, 카메라 장치 (115a)는 이미지 (505)를 캡처하는데 이용될 수 있다.
도 5b는 이미지에서 사용자 (105a)가 없는 점을 제외하면 전반적으로 도 5a에서 설명한 이미지와 같다(이를 테면, 카메라 장치 (115a)에 의해서 동일한 관점에서 찍힌 것이다). 다양한 실시예에서는, 배경 이미지 (510)는 이미지 (505)가 찍히기 전에 찍힌 것이다. 배경 이미지 (510)는 그렇지 않았다면 이미지 (505)에서 사용자 (105a)에 의해 가려졌을 배경의 적어도 일부를 캡처할 수 있다. 배경 이미지 (510)에서 이러한 부분들은 애플리케이션에 대해 후술하는 바와 같이, 다양한 이미지 처리 단계들(예를 들어, 단계 (370)-(375))에서 사용될 수 있다.
배경 이미지 (510)는 임의의 적절한 방식에 의해 생성될 수 있다. 일 실시예에서는, 예를 들어, 카메라 장치 (115a)는 사용자가 시야에 들어와서 배경의 일부를 가리기 전에, 적어도 하나 이상의 배경 이미지를 스캔하거나 캡처할 수 있다. 또 다른 실시예에서는, 카메라 장치 (115a)가 아닌 다른 카메라/스캐닝 장치가 배경을 캡처할 수 있다. 한 예로서, 사용자 (105a)가 화상 회의에 참여하기 위해 HMD 디바이스 (110a)와 카메라 장치 (115a)를 이용할 때(예를 들면, 단계 (313)) 전술한 특정 카메라/스캐닝 장치가 사용자 (105a)의 뒤쪽에 적절하게 위치하면, 카메라/스캐닝 장치는 사용자 뒤쪽의 배경을 언제든지 캡처할 수 있다. 카메라는 획득된 배경 이미지 (510)를 추가적인 처리를 위해 카메라 장치 (115a)에 전송할 수 있다. 배경 이미지 (510)는 임의의 적절한 미디어/이미지 포맷, 예를 들어 이미지 파일, 비디오 파일 등으로도 저장될 수 있다.
도 3a를 다시 참조하면, 단계 (313)에서, 카메라 장치 (115a)는 또 다른 HMD 디바이스 사용자 (105b)와의 통신을 위해 HMD 디바이스 (110a)를 착용하여 사용하고 있는 사용자 (105a)의 이미지를 캡처할 수 있다. 사용자 (105a)는 도 6에서 나타낸 것과 같이 카메라 장치 (115a) 앞에 위치할 수 있다. 일 실시예에서는, 카메라 장치 (115a)는 비디오 카메라이고, 사용자 (105a) 및 그 또는 그녀의 주변 환경에 대한 라이브 비디오 피드(live video feed)를 생성할 수 있다. 비디오 피드(video feed)는 다수의 개별 이미지들(예를 들어, 비디오 프레임)에 의해 만들어진다. 이러한 이미지의 한 예로서, 상술한 도 5a의 이미지 (505)가 있다. 이러한 이미지는 이하에서 라이브 이미지(live image)로 부른다. 즉, 라이브 이미지들은 사용자 (105a) 및 배경에 대한 렌더링된 그래픽 모델이라기보다는 사진 또는 사진과 유사한 영상 녹화물이다. 하지만, 카메라 장치 (115a)는 임의의 적절한 종류의 비디오, 카메라, 스캐닝, 렌더링 및/또는 모니터링 기술을 이용할 수 있고, 전술한 이미지 및 비디오의 형태를 생성하는 것으로 제한되지 않는다.
HMD 디바이스 (110a)를 착용하기 위해 사용자 (105a)는 그 또는 그녀의 머리에 HMD 디바이스(110a)를 고정시킨다. 일 실시예에서, HMD 디바이스 (110a)는 (비록 이것이 필수적인 것이 아니고 HMD 디바이스가 다양한 다른 특징 및 형태 인자(form factor)를 가질 수 있더라도) 사용자 (105)의 눈을 완전히 가리거나 임의의 외부의 빛, 물체 또는 이미지가 사용자에게 인식되지 않도록 하며, 또한 사용자(105a)의 눈을 완전히 가리고 임의의 외부의 빛, 물체 또는 이미지가 사용자에게 인식되지 않도록 한다. HMD 디바이스 (110a)는 디바이스 (110a)의 착용자에게 비디오, 이미지 및/또는 그래픽을 디스플레이하는 디스플레이부를 포함할 수 있다. 더 상세히 후술되는 바와 같이, HMD 디바이스 (110a)는 또한 HMD 디바이스 (110a)에 의해 가려지는 사용자의 얼굴 부분에 대한 정보를 획득하기 위해 사용되는 적어도 하나이상의 내부 센서 및 구성요소를 포함할 수 있다.
다음으로, 단계 (315)에서, HMD 디바이스 (110a)는 사용자 (105a)의 특정한 얼굴 특징들을 추적할 수 있다. HMD 디바이스 (110a)에 의해 가려지는 어떤 얼굴 특징이라도 추적될 수 있다. 일 실시예에서는, 예를 들어, 추적된 얼굴의 특징 또는 움직임들은 시선(예를 들어, 안구의 회전), 눈썹 움직임 및 눈꺼풀 움직임을 포함할 수 있지만, 이에 제한되지 않는다. 임의의 적절한 소프트웨어, 하드웨어 또는 센서는 이러한 특징들을 추적하기 위해 HMD 디바이스 (110a)의 내부에서 사용될 수 있다.
도시된 실시예에 따르면, HMD 디바이스 (110a)는 시선 또는 안구의 회전뿐만 아니라 적어도 하나 이상의 얼굴의 움직임(예를 들어, 윗눈꺼풀 및/또는 아랫눈꺼풀의 움직임)을 추적할 수 있다. 이러한 추적은 임의의 공지 기술 또는 기법(예를 들어, 광 추적(optical tracking), 안전도 기록(electrooculography) 등)을 이용하여 수행될 수 있다. 일 실시예에서는, HMD 디바이스 (110a)는 적어도 하나 이상의 광원 및 광 센서(예를 들어, 추적용 카메라)를 포함할 수 있다. 이러한 장치들은 일반적으로 HMD 디바이스 (110a)의 내부에 위치한다. 즉, 일단 HMD 디바이스 (110a)가 사용자에 의해 착용되면, 센서/카메라는 시야에서 가려지고, HMD 디바이스(110a)에 의해 가려지는 얼굴 부분에 접근하여 아주 근접하게 된다. 일 실시예에서는, 적어도 하나 이상의 얼굴의 특징들(예를 들어, 눈꺼풀, 시선, 안구의 회전 등)의 이미지를 캡처하는 적어도 하나 이상의 추적용 카메라가 있을 수 있다. 이미지들은 후에 시간 경과에 따른 얼굴 특징의 움직임을 결정하기 위해 처리 된다. 다양한 실시예에서 HMD 디바이스는 또한 적어도 하나 이상의 광원을 포함할 수 있다. 광원은 HMD 디바이스 내부에 위치하여 눈, 안구 영역(eye region) 또는 HMD 디바이스에 의해 가려지는 얼굴의 다른 부분들에 빛을 투사할 수 있다. 각각의 광원은 얼굴의 특징들의 추적을 용이하게 하기 위해 빛(예를 들어, 적외선)을 방출한다. 광원 및 카메라는 HMD 디바이스 (110a) 내에서 임의의 적절한 배치로 위치할 수 있다(HMD 디바이스 (110a)에서 적외선 전원 (1610) 및 추적용 카메라 (1615)의 예시적인 배치는 도 17에 나타나고, 이에 대해서는 더 상세히 후술할 것이다.)
HMD 디바이스 (110a)는 또한 얼굴의 움직임 및 특징을 추적하기 위해 카메라가 아닌 다른 장치 및 센서를 이용할 수 있다. 일 실시예에서는, 예를 들어, HMD 디바이스 (110a)는 생체 측정 장치 (예를 들어, 근전도 검사(electromyography: EMG), 안전도 기록(electrooculography: EOG) 등)를 이용하여 얼굴 부분의 움직임을 탐지할 수 있다. 도 17에 도시된 일 실시예서는, 예를 들어, EMG 센서부는 사용자가 HMD 디바이스 (110a)를 착용했을 때 사용자의 이마, 눈썹 및 뺨에 맞닿아 있는 센서들 (1605)의 라인 형태를 가질 수 있다. 또 다른 실시예에서, EOG 센서부는 안구의 회전 및 눈꺼풀 움직임을 탐지하는 센서들 (1605a)의 형태를 가질 수 있다. 다른 실시예에서는, 센서는 HMD 디바이스에서 임의의 적절한 배열로 배치될 수 있다. EMG 센서부는 사용자의 얼굴에 있는 근육의 움직임이 생성하는 전기적인 자극을 탐지할 수 있다. 이러한 전기적인 자극은 시간 경과에 따라 사용자의 얼굴 일부의 움직임(예를 들어, 눈썹의 움직임)을 결정하기 위해 저장되고 분석될 수 있다. EOG 센서부는 전극 프로브(electrode probes)를 통해 안구의 움직임을 탐지하기 위한 전위를 측정할 수 있다.
도 3a를 다시 참조하면, 단계 (320)에서 카메라 장치 (115a)는 전술한 추적에 관한 데이터 (예를 들어, 사용자의 시선을 추적하는 카메라를 이용하여 생성된 데이터, EMG/EOG 센서 데이터, HMD 디바이스에 의해 가려지는 얼굴의 움직임 또는 특징을 추적하기 위해 사용되는 임의의 데이터 등)를 획득한다. 일 실시예에서는, 카메라 장치 (115a)는 유선 또는 무선 네트워크를 이용하여 HMD 디바이스와 연결될 수 있다. HMD 디바이스 (110a)는 네트워크를 통해 HMD 디바이스 추적 데이터를 카메라 장치 (115a)에게 전송할 수 있다.
카메라 장치 (115a)는 HMD 디바이스 (110a)로부터 받은 데이터를 처리하여 데이터가 어떤 종류의 얼굴 움직임 또는 표정을 나타내는지 결정할 수 있다. 다양한 실시예에서는, 예를 들어, 카메라 장치 (115a)는 일정 기간 동안 캡처된 다양한 얼굴의 특징들(예를 들어, 안구의 회전, 눈꺼풀 등)에 대한 이미지를 처리할 수 있다. 그 다음에, 카메라 장치는 그 기간 동안 얼굴의 특징들이 어떻게 움직였는지를 결정하기 위해 이미지를 분석할 수 있다. 게다가, 카메라 장치 (115a)는 HMD 디바이스 (110a)로부터 받은 EMG/EOG 데이터를 분석하여 데이터가 어떤 종류의 움직임(예를 들어, 눈썹 움직임)을 나타내는지 결정할 수 있다.
또한, 카메라 장치 (115a)는 HMD 디바이스 추적 데이터에 기초하여 3D 모델 (405)을 조정할 수 있다. (단계 325) 즉, 단계 (315)에서 탐지되었던 적어도 하나 이상의 선택된 얼굴의 움직임/위치(예를 들어, 시선의 변화, 안구의 회전, 눈썹 움직임/위치, 눈꺼풀 움직임/위치 등)가 3D 모델 (405)을 조정하는데 이용될 수 있다. 일반적으로, 3D 모델 (405)은 HMD 디바이스 (110a)에 의해 탐지된 얼굴의 변화, 특징 또는 움직임을 적어도 어느 정도 반영(incorporate)하도록 조정된다. 따라서, 예를 들어, 사용자 (105a)의 눈썹 또는 눈꺼풀의 움직임이 탐지되었다면, 3D 모델 (405)은 그 움직임을 시뮬레이션하도록 조정될 수 있다. 또한, 사용자의 시선에 변화가 탐지되었다면, 3D 모델 (405)는 그 변화를 충분히 반영하거나 복사하도록 그에 맞춰 조정될 수 있다.
단계 (330)에서, 카메라 장치 (115a)는 사용자 (105a)의 얼굴 또는 주변 환경에 관한 다양한 특징들을 추적할 수 있다. 일 실시예에 따르면, 예를 들어, 카메라 장치 (115a)는 광 센서를 이용하여 주변의 (예를 들어, 방 (103a)안의) 광량을 측정 또는 추적할 수 있다. 이에 더하여 또는 선택적으로, 카메라 장치 (115a)는 사용자 (105a)의 신체 또는 얼굴의 일 부분에 대한 광량을 탐지할 수 있다. 광 수준에 있어서 어떠한 변화라도 시간 경과에 따라 카메라 장치 (115a)에 의해 기록될 수 있다. 카메라 장치 (115a)에 대한 일 실시예에 따르면, 사용자의 얼굴/머리의 위치 또는 방향에 대한 변화 또한 추적할 수 있다. 카메라 장치 (115a)는 또한 사용자의 다른 얼굴의 특징 또는 움직임(예를 들어, 입, 입술, 뺨, 턱과 같이 HMD 디바이스 (110a)에 의해 가려지지 않는 얼굴 부분에 대한 어떠한 얼굴 움직임 또는 특징이라도)도 추적할 수 있다. 일 실시예에 따르면, 카메라 장치는 사용자 (105a)의 얼굴/머리의 위치에 대한 변화를 결정하기 위해 HMD 디바이스 상의 특징, 광 또는 마커(예를 들어, 도16에서의 발광 장치 (1635))를 추적할 수 있다.
전술한 추적/광 데이터를 수집하는 다수의 카메라 및/또는 광 감지 장치들이 있을 수 있다. 카메라/광 감지 장치들은 방 (130a)의 다양한 공간에 분포되어 사용자 (105a) 및 주변 환경을 다른 각도에서 모니터링할 수 있다. 이 경우에, 다른 카메라/광 감지 장치들은 네트워크를 통해 카메라 장치 (115a)와 연결될 수 있고, 카메라 장치는 네트워크를 통해 다른 카메라/광 감지 장치로부터 추적/광 데이터를 획득해서 (단계 (335)), 데이터를 추가적으로 처리할 수 있다. 일부 실시예에서는, 광 감지 장치/센서는 HMD 디바이스 (110a)에 있을 수 있다. 다양한 실시예에서, HMD 디바이스 (110a)는 광 센서 데이터를 획득하고, 획득된 데이터를 추가적으로 처리하고 분석하기 위해 카메라 장치 (115a)에 전송할 수 있다.
물론, 카메라 장치 (115a)가 추적/광 감지 데이터를 생성하는 유일한 장치라면, 카메라 장치 (115a)는 네트워크를 통한 어떠한 데이터 전송도 요구하지 않고 데이터를 획득할 수 있다. 또 다른 실시예에서는, 카메라 장치 (115a)가 이미지 처리 장치(예를 들어, 도 20의 이미지 처리 장치 (2000), 도 1의 서버 (120) 등)에 의해 대체될 수 있다. 즉, 카메라를 이용하여 스스로 이미지를 캡처하지 않거나 주변의 광 수준을 감지하지 않으며, 이미지를 캡처하지 않으면서 주변의 광 수준을 감지하지 않고, 대신에 방 (130a) 안에 위치하고 있는 적어도 하나 이상의 카메라/광 감지 장치/센서로부터 추적/광/센서 데이터를 획득하고, 획득된 데이터를 처리할 수 있다(예를 들어, 도 3a 및 3b에서 설명된 단계 (320), (325), (335)-(380)과 같이).
일단 카메라 장치 (115a)가 상기 추적/광 데이터를 획득하게 되면, 3D 모델 (405)은 그 데이터에 기초하여 조정될 수 있다(단계 340). 다양한 실시예에 따르면, 카메라 장치 (115a)는 수집된 추적/광 데이터, 예를 들면, 사용자의 얼굴에 대한 복수의 이미지를 분석할 수 있다. 카메라 장치 (115a)는 이미지에 나타나는 얼굴의 움직임이 어떤 종류인지 결정하기 위해 이미지 처리 작업을 수행할 수 있다. 분석 및 이미지 처리에 기초하여, 카메라 장치는 모델 (405)을 조정할 수 있다. 일반적으로, 모델 (405)은 단계 (330)에서 감지(sensed)되거나 탐지(detected)되거나 추적된 적어도 하나 이상의 변화를 시뮬레이션하기 위해 조정될 수 있다. 일 실시예에서 광 수준이 변하면, 그 광 수준의 차이를 반영하기 위해 모델 (405)의 표면 상의 색조(tone)가 조정될 수 있다. 또한, 사용자 (105a) 또는 머리의 위치 또는 방향이 변하면, 그 변화 또한 모델 (405)에 반영될 수 있다. 또한, 특정한 얼굴 특징의 형상 또는 위치가 변하면(예를 들어, 입술, 뺨 등의 움직임), 그 탐지된 변화에 기초하여 모델 (405)이 조정될 수 있다.
전술한 추적은 특정 애플리케이션의 목적에 따라 다양한 방식으로 수행될 수 있다. 다양한 실시예에서는, 예를 들어, 카메라 장치 (115a)는 적어도 하나 이상의 특징 점을 이용하여 머리 또는 얼굴의 위치 또는 방향의 변화를 추적할 수 있다. 임의의 공지의 기술 또는 기법이 그러한 추적을 수행하기 위해 이용될 수 있다. 도 7a 및 도 7b에는 일 실시예에 따른 예시가 도시되어 있다. 도 7a는 (예를 들어, 도 5a의 이미지 (505)에서 도시된 것과 같이) 사용자 (105a)의 실제 얼굴의 이미지 (410)를 나타내는 도면이다. 카메라 장치 (115a)는 (예를 들어, 도 6 및 단계 (313)과 관련하여 전술하였던 것과 같이) 통신을 위해 HMD 디바이스 (110a)를 착용 및 이용하고 있는 사용자를 향하고 있는 동안 이미지를 캡처할 수 있다. HMD 디바이스 (110a)의 위치는 점선 영역으로 도시되어 있다. 일 실시예에서는, 카메라 장치 (115a)는 두 특징 점 (705a) 및 (710a)를 선택할 수 있다. 특징 점은 사용자 얼굴의 어떤 부분이든 될 수 있다. 다양한 실시예에 따르면, 특징 점은 예를 들어, 입가, 코끝 등과 같은 특정한 얼굴의 특징들에 근접하여 손쉽게 식별 가능하도록 선택될 수 있다.
도 7b는 얼굴의 3D 모델(405)(예를 들어, 도 3a의 단계 (305)에서 획득된 3D 모델)을 나타내는 도면이다. 카메라 장치 (115a)는 얼굴 이미지 (410)에서 선택된 특징 점 (705a)과 (710a)에 대응되는, 모델 (405)의 특징 점 (705b)과 (710b) 중 적어도 하나 이상을 식별할 수 있다. 이후, 카메라 장치 (115a)는 얼굴 이미지 (410)에서의 특징 점 (705a)/(710a)의 위치와 모델 (405)에서의 특징 점 (705b)/(710b)의 위치를 비교할 수 있다. 일 실시예에 따르면, 3D 모델 (405)에 묘사된 머리는, 이미지 (410)에 있는 머리와는 다르게, 정면을 바라보는 것보다는 다른 쪽을 향하는 경우가 더 많기 때문에 특징 점의 두 세트 사이에는 차이가 있을 수 있다.
다양한 실시예에서, 카메라 장치 (115a)는 얼굴 이미지 (410)에서 식별된 특징 점 (705a)/(710a)의 위치와 모델 (405)에서 식별된 특징 점 (705b)/(710b)의 위치(도 7b) 사이에 차이 또는 오차를 계산할 수 있다. 이후, 카메라 장치 (115a)는 차이/오차에 기초하여 모델 (405)을 조정할 수 있다. 일 실시예에서는, 특징 점들의 상대적인 위치 차이는 모델 (405)의 방향이 미세하게 맞지 않다는 것을 드러낸다. 그러면, 모델 (405)은 그 차이를 감소시키기 위해 조정되거나 방향이 재설정될 수 있다. 이러한 조정은 모델 (405)이 스스로 적절한 방향을 향하도록 할 수 있고, 이에 따라 모델 (405)의 방향은 얼굴 이미지 (410)의 방향과 더욱 비슷해질 수 있다.
어느 정도 유사한 기술이 조명(lighting)에 대해서도 적용될 수 있다. 도 8 및 도 7b는 광 탐지/감지를 수반하는 실시예의 예시를 나타낸다. 도 8은 (예를 들어, 단계 (313)에서 설명된 것과 같이) 카메라 장치 (115a)에 의해 캡처된 사용자 (105a)의 이미지 (505)를 나타낸다. 카메라 장치 (115a)는 이미지 속의 사용자 (105a)의 얼굴에서 영역 (810a)을 식별할 수 있다. 카메라 장치 (115a)는 그 영역 (810a)의 대략적인 광 수준을 결정할 수 있다.
카메라 장치 (115a)는 도 7b에 나타낸 모델 (405)의 얼굴에서 대응되는 영역 (810b)를 식별할 수 있다. 즉, 영역 (810b)은 이미지 (505) 속 얼굴 상의 영역 (810a)과 같은, 모델링된 얼굴 상의 일반적인 위치이다. 카메라 장치 (115a)는 모델 (405)에서 그 영역에서 시뮬레이션된 광 수준 또는 색조를 추정할 수 있다. 영역 (810a)과 (810b)의 광 수준은 서로 비교되거나, 그들 사이의 차이 또는 오차가 결정될 수 있으며, 또한 광수준이 서로 비교되면서 차이 또는 오차가 결정될 수 있다. 광 수준의 차이에 기초하여, 모델 (405)은 조정될 수 있다. 일반적으로 말하면, 그 차이를 감소시키고 모델 (405)의 얼굴에서 시뮬레이션 된 광 수준과 이미지 (505) 속 얼굴의 광 수준이 더욱 비슷하도록 모델은 조정될 수 있다.
도 3a 및 3b로 다시 돌아와서, 일단 모델이 단계 (325) 및 (340)에서 설명한 바와 같이 조정되면, 모델 (405)은 렌더링될 수 있다(도3b의 단계 (345)). 즉, 다양한 실시예에서, 소프트웨어 애플리케이션에서 저장되고 조정된 모델 (405)은 사용자 (105a)의 실제 얼굴과 비슷한 3D그래픽 모델 (905)을 생성하기 위해 렌더링될 수 있다. 간단한 일 실시예는 도 9a 및 9b에 나타난다. 도 9a는 (예를 들어, 도 3a의 단계 (313)에서 설명한 바와 같이) 카메라 장치 (115a)에 의해 캡처된, 사용자 (105a)의 실제 얼굴의 라이브 이미지 (410)를 나타내는 도면이다. 카메라 장치는 (예를 들어 도6과 관련하여 설명한 것과 같이) 사용자가 또 다른 사용자와 통신하기 위해 HMD 디바이스를 착용하고 이용하고 있는 동안 이미지를 캡처할 수 있다.
이와 같이, 도 9a에서, 사용자 (105a)의 얼굴의 대부분은 HMD 디바이스 (110a)에 의해 가려질 수 있다. 도 9b는 단계 (325) 및 (340)에서 행해진 실시간 조정에 의해 위치, 방향 및 광 수준에 관해서는 이미지 (410) 속의 사용자 (105a)의 실제 얼굴과 매우 비슷한, 대응되는 렌더링된 모델 (905)의 이미지를 나타낸다. 이미지 (410) 또는 (505)에서 카메라 장치 (115a)에 의해 보여지는 사용자 (105a)의 실제 얼굴과는 달리, 렌더링된 모델 (905)의 얼굴은 HMD 디바이스 (110a)에 의해 가려지지 않을 수 있다. 게다가, 단계 (325)에서 모델에 행해진 조정에 의해, HMD 디바이스 (110a)에 의해 이미지 (410)에서 감춰진(도 9a) 사용자 (105a)의 얼굴의 특징들(예를 들어, 눈, 눈썹, 눈썹 위치, 눈꺼풀, 시선, 안구의 회전 등)은 도 9b의 렌더링된 모델 (905)에서 시뮬레이션 될 수 있다.
일 실시예에서는, 사용자 (105a)의 실제 얼굴의 라이브 이미지 (410) 및 그 배경은 또 다른 사용자 (105b)와 실시간 통신이 가능하게 하기 위해 전송될 것이 예정되어 있을 수 있다. 따라서, 다른 사용자 (105b)는 통신하는 동안 사용자 (105a)의 얼굴을 볼 수 있을 것이다. 하지만, 상술했던 것과 같이, 이러한 방법의 한 가지 문제점은 HMD 디바이스 (110a)가 사용자 (105a)의 얼굴의 상당 부분을 가려서, 실시간 통신이 덜 매력적이고 덜 인간적이게 한다는 것이다.
이 문제를 해결하기 위해, 카메라 장치 (115a)는 패치 이미지를 획득할 수 있다(단계 (350)). 다양한 실시예에서, 패치 이미지는 합성 이미지(composite image)를 형성하기 위해 또 다른 이미지(예를 들어, 라이브 이미지 (410) 또는 (505))와 결합되거나 합성된 모델(예를 들어, 렌더링된 모델 (905))로부터 획득한 이미지이다. 바꿔 말하면, HMD 디바이스 (110a)를 착용하고 있는 사용자 (105a)의 이미지 (405)/(505)는 HMD 디바이스 (110a)가 제거되고 렌더링된 이미지가 그 자리를 채우도록 패치 된다. 렌더링된 이미지는 HMD 디바이스 아래의 얼굴 특징(예를 들어, 눈, 눈꺼풀, 눈썹, 코의 일부 등)을 적어도 하나 이상 포함할 수 있다. 일 실시예에서, 사용자 (105a)와 통신하고 있는 다른 사용자 (105b)는 적어도 사용자 (105a)의 눈 및 눈썹에 대한 묘사를 볼 수 있고, 이것은 대화를 더 자연스럽고 매력적으로 만들 수 있다. 게다가, 그러한 얼굴 특징들은, 비록 시뮬레이션된 것일지라도, 실제 사용자 (105a)의 대응되는 특징들의 움직임을 실시간으로 추적 및 모방할 것이다.
패치 이미지를 생성하는 일 실시예의 예시는 도 10에 나타난다. 도 10은 사용자 머리의 렌더링된 3D 모델 (905)을 나타낸다. 모델 (905)은 (예를 들어, 도 3a의 단계 (315)-(340)에서 설명한 것과 같이) 카메라 장치 (115a)에 의해 획득된 추적/광 데이터에 기초하여 조정될 수 있다. 카메라 장치 (115a)는 사용자 (105a)의 이미지 (410)/(505)에서 보여지는 HMD 디바이스 (110a)에 대응하는 3D 모델의 영역 (1005)을 식별할 수 있고, 카메라 장치 (115a)에 의해 보여지는 사용자의 실제 얼굴을 보여줄 수 있다. 영역 (1005)은 도10에 점선으로 된 사각형 영역으로 나타난다. 일 실시예에서, 영역 (1005)은 일반적으로 사용자 (105a)의 이미지 (410)/(505)에서의 HMD 디바이스 (110a)와 동일한 크기, 모양 및/또는 사용자 (105a)의 얼굴에 대해 동일한 위치일 수 있다. 따라서, 일 실시예에서, 영역 (1005)은 라이브 이미지 (410)에서의(도 9a) HMD 디바이스 (110a) 모양과 비슷한 직사각형 모양일 수 있다.
그 후에, 렌더링된 3D 모델 (905)의 일부분은 렌더링 된 3D 모델 (905)로부터 추출, 복사 또는 생성될 수 있다. 이 단계는 도11에 나타난다. 도11에서, 영역 (1005)의 범위 내에 있는 렌더링된 모델 (905)의 일부분만이 남는다. 렌더링된 3D 모델 (905)의 다른 부분들은 제거된다. 렌더링된 모델 (905)에서 추출된 이 부분이 패치 이미지 (1105)이다.
도 3b로 다시 돌아오면, 단계 (355)에서, 패치 이미지의 적어도 하나 이상의 모서리는 블러링되거나(blurred) 부드럽게(softened) 될 수 있다. 즉, 카메라 장치 (115a)는 후에 또 다른 대상(예를 들어, 사용자 (105a)의 얼굴)에 합성될 패치 이미지의 위치 또는 모서리를 결정하기 위해 패치 이미지 (1105), 라이브 이미지 (410)/(505) 및/또는 렌더링된 모델 (905)을 분석할 수 있다. 그리고 나서, 카메라 장치 (115a)는 임의의 적절한 이미지 처리 기술을 이용하여 모서리들을 블러링(blurs)하거나, 확장(dilate) 및/또는 부드럽게 할 수 있다.
도 11의 일 실시예에 따르면, 예를 들어, 라이브 이미지 (410)/(505) 및/또는 패치 이미지 (1105)에 대한 분석은 패치 이미지(1105)가 라이브 이미지 (410)/(505)에 합성되어서 HMD 디바이스 (110a)를 대체한다면, 라이브 이미지 (410)/(505)에서 보여지는 것과 같이 패치 이미지 (1105)의 상하 모서리가 사용자 (105a)의 얼굴에 합성될 것이라는 점을 보여준다. 패치 이미지 (1105)와 이미지 (410)/(505) 속 얼굴을 더 매끄럽게(seamless) 합성하기 위해서, 패치이미지 (1105)의 상하 모서리들(점선 영역 (1110a) 및 (1110b)에서 표시된 것과 같이)은 팽창되거나 블러링(blurred) 되어야 한다. 임의의 적절한 합성 기술은 패치 이미지의 모서리를 흐릿하게 하거나 부드럽게 하는데 이용될 수 있다. 한편, 동일한 분석은 또한 패치 이미지의 좌우 모서리가 라이브 이미지 (410)/(805) 속 사용자 (105a)의 얼굴에 합성되지 않을 것이고, 대신에 단지 배경과 혼합될 것이라는 점을 보여준다. 따라서, 일 실시예에서 이러한 모서리들은 확장되거나 흐릿하게 되지 않을 수 있다.
다시 도 3b의 방법으로 돌아오면, 단계 (360)에서. 카메라 장치 (115a)는 얼굴/배경 이미지를 획득할 수 있다. 일 실시예에 따르면, 얼굴/배경 이미지는 HMD 디바이스를 착용하고 있는 사용자의 얼굴 이미지를 캡처하는 카메라/스캐닝 장치(예를 들어, 카메라 장치 (115a))에 의해 찍힌 이미지이다. 얼굴/배경 이미지는 또한 사용자 신체의 매우 다양한 다른 부분들 및/또는 주변배경을 캡처할 수 있다. 얼굴/배경 이미지에 대한 일 실시예는 도 5a 및 12에 나타난다. 전술한 바와 같이, 이미지 (505)는 도 3a의 단계 (313)에서 카메라 장치 (115a)에 의해 찍힌 것이다. 일 실시예에 따르면, 얼굴/배경 이미지 (1205)는 라이브 이미지, 즉 사용자의 라이브 영상(live footage)을 포함하는 영상의 비디오 프레임(video frame)일 수 있다. 그러나, 다른 실시예에서는, 얼굴/배경 이미지는 다양한 요소들(예를 들어, 배경 없이, 사용자의 얼굴 또는 얼굴의 일부만 등)을 포함할 수 있거나, 다른 유형의 미디어 또는 이미지를 사용할 수 있으며, 또한 매우 다양한 요소들을 포함하면서 다른 유형의 미디어 또는 이미지를 사용할 수 있다. 일 실시예에 따르면, 사용자 (105a)는 배경에 색칠된 벽 및 다양한 종류의 가구를 가진 방 (130a)안에 서있을 수 있다. 사용자 (105a)는 HMD 디바이스 (110a)를 착용하고 있다.
단계 (365)에서, 패치 이미지 (1105) 및 얼굴/배경 이미지 (1205)는 합성될 수 있다. 일 실시예에 따르면, 패치 이미지 (1105)는 얼굴/배경 이미지 (1205)의 HMD 디바이스 (110a)를 포함하는 영역을 겹치거나 대체할 수 있다. 선택적으로, 얼굴/배경 이미지 (1205)에서 HMD 디바이스 (110a)를 포함하는 일부분은 제거되고, 패치이미지 (1105)가 HMD 디바이스 (110a)가 차지하고 있던 자리에 삽입, 혼합(blend) 및/또는 합성될 수 있다. 패치 이미지 (1105)가 도 12에서 나타낸 HMD 디바이스 (110a)를 대신하는 합성 처리에 대한 일 실시예는 도 13에 나타난다. 얼굴/배경 이미지 (1205) 및 패치 이미지 (1105)의 합성의 결과로 합성 이미지 (1305)가 만들어진다. 상기에서 설명하지 않은 과정을 포함한 임의의 적절한 종류의 이미지 처리 기술은 새로운 합성 이미지를 만들기 위해 수행될 수 있다.
일 실시예에서는, 합성 이미지 (1305)의 추가적이 조정이 바람직할 수 있다. 예를 들어, 일 실시예에서, 도 13의 합성 이미지 (1305)에 대한 검토가 문제를 드러낼 수 있다. 다양한 관점에서 패치 이미지 (1205)는 제거된 HMD 디바이스 (110a)모양의 윤곽을 따라가기 때문에 HMD 디바이스 (110a)가 차지하고 있었던 자리를 딱 맞게 채울 수 있다. 하지만, 아직 적절하게 채워지지 않은 얼굴/배경 이미지 (1205) 영역이 있을 수 있다. 이전에 HMD 디바이스 (110a)에 의해 가려지지 않았었고, 배경의 일부를 구성하고 있는 얼굴이 아닌 영역 (1310)이 있을 수 있는 것이다. 도 13에서 나타낸 일 실시예에서, 이 영역 (1310)은 사용자 (105a)의 머리의 양측에 있을 수 있다, 하지만 머리 및 HMD 디바이스 (110a)가 어떤 방향을 향하고 있는지에 따라 일부 경우에는 단지 한 쪽 영역만이 보일 수도 있다.
이 문제를 해결하기 위해, 단계 (370)에서 배경 패치 이미지(background patch image)를 획득할 수 있다. 이를 위해, 카메라 장치 (115a)는 단계 (310)에서 획득된 배경 이미지 (510)를 분석할 수 있다. 도 5에서 나타낸 배경 이미지 (510)는 사용자 (105a)가 존재하지 않는 배경의 이미지이다. 일반적으로, 배경 이미지 (510)는 얼굴/배경 이미지 (1205)에서 보여지는 배경과 적어도 동일한 부분의 일부뿐만 아니라 사용자 (105a) 및/또는 HMD 디바이스 (110a)에 의해 이미지 (1205)에서 감춰지거나 가려지는 배경 부분을 커버할 수 있다. 따라서, 배경 이미지 (510)는 얼굴이 아닌 영역 (1310)을 채우기 위해 필요한 정보, 즉 얼굴/배경 이미지 (1205)에서 HMD 디바이스에 의해 가려지는 얼굴이 아닌 영역(1310) 뒤쪽에 있는 배경의 컬러 또는 질감에 대한 정보를 포함할 수 있다.
카메라 장치 (115a)는 배경 이미지 (510)에서 얼굴이 아닌 영역 (1310)에 대응되는 영역을 결정할 수 있다(예를 들어, 거의 동일한 위치를 가지거나 동일한 일반적인 위치에 있거나 및/또는 배경의 동일한 부분을 디스플레이할 수 있다). 결정에 대한 일 실시예는 도 14의 영역 (1410)에 나타난다. 배경 이미지 (510)에 대한 전술한 분석 및 결정에 기초하여, 카메라 장치 (115a)는 적절한 배경 패치 이미지 (1415)를 생성할 수 있다. 배경 패치 이미지 (1415)는 배경 이미지 (510)에서 식별된 영역 (1410)의 컬러, 음영, 모습, 및/또는 질감을 포함/시뮬레이션할 수 있다.
단계 (375)에서 배경 패치 이미지 및 합성 이미지 (1305)는 결합되거나 합성될 수 있다. 도 15에는 일 실시예에 따른 예시가 나타난다. 얼굴이 아닌 영역은 현재 배경 패치 이미지 (1415)로 채워져 있다. 배경 패치 이미지 (1415)는 배경 이미지 (510)에서의 영역 (1410)을 이용하여 미리 생성되고, 그 다음에 합성 이미지 (1305)와 합성되는 이미지일 수 있다. 일 실시예에 따르면, 카메라 장치 (115a)는 합성 이미지 (1305)의 영역 (1310)을 배경 이미지 (510)에서의 영역 (1410)과 비슷하도록 적어도 하나 이상의 컬러, 질감 및/또는 음영으로 채우거나 그릴 수 있다.
방법 (300)의 전술한 단계들에 대한 결과로서, HMD 디바이스 (110a)를 착용하고 있는 사용자 (105a)의 라이브 이미지(예를 들어, 이미지 (505)/(1205))는 HMD 디바이스가 제거되도록 조정되었다. HMD 디바이스의 자리에, 시뮬레이션된 눈 및 얼굴의 다른 부분들이 패치 이미지 (1105)를 이용하여 제공되었다. 다양한 실시예에서는, 도 3a 및 3b의 방법 (300)의 단계들이 사용자 (105a)의 라이브 비디오 피드(live viedo feed)의 각각의 비디오 프레임(video frame)을 위해 반복될 수 있다. 즉, 각각의 비디오 프레임을 위해, 얼굴 특징들은 추적되고(예를 들어 단계 (315) 및 (330)), 모델이 조정되며(예를 들어 단계 (325) 및 (340)), 패치 이미지가 획득되고(예를 들어, 단계 (350)), 패치 이미지는 합성 이미지를 형성하기 위해 얼굴/배경 이미지와 합성될 수 있다. 일 실시예에서, 각각의 합성 이미지는 HMD 디바이스가 제거되고, 적절한 패치 이미지로 대체되어 있는 라이브 비디오 스트림의 조정된 비디오 프레임일 수 있다.
도 3b의 방법 (300)으로 다시 돌아오면, 카메라 장치 (115a)는 도 1의 또 다른 사용자 (105b)에 의해 착용 및 이용되는 수신자 HMD 디바이스 (110b)로 합성 이미지 데이터(예를 들어, 다수의 합성 이미지 비디오 프레임으로 이루어진 비디오 데이터)를 전송할 수 있다(단계 (380)). 수신자 HMD 디바이스 (110b)는 네트워크 (125)를 통해 합성 이미지를 수신하고, 수신된 합성 이미지 데이터를 렌더링할 수 있다. 시간 경과에 따라, 복수의 합성 이미지를 수신받은 사용자는 실시간으로 사용자 (105a)의 변화하는 얼굴 표정을 볼 수 있다. 다양한 실시예에서, 사용자 (105b)는 그 시간에 표정을 만들고 있는 사람의 눈이 HMD 디바이스에 의해 가려져 있을지라도, 표정이 있고, 움직이는, 시뮬레이션된 눈 및 눈 주위 영역을 볼 수 있다.
다양한 실시예에서, 방법 (300)의 단계들은 동시에 둘 또는 그 이상의 HMD 디바이스(예를 들어, HMD 디바이스 (110a) 및 (110b))에 의해 수행될 수 있다. 즉, 카메라 장치(115a)는 사용자 (105a)의 얼굴/배경 이미지 (505)/(1205)를 획득하고(예를 들어, 단계(313)), 사용자 (105a)의 얼굴 특징들은 추적되며(예를 들어, 단계 (315) 및 (330)), 패치 이미지 (1105)는 생성되고(예를 들어, 단계 (350)), 패치 이미지 (1105)가 얼굴/배경 이미지 (1205)와 합성되어서, 그 결과인 합성 이미지 (1305)가 HMD 디바이스 (110b)에서 렌더링되기 위해 사용자 (105b)에게 보내질 수 있다. 이와 마찬가지로 동시에, 카메라 장치 (115b)는 사용자 (105b)의 얼굴/배경 이미지를 획득하고, 사용자 (105b)의 얼굴 특징들은 추적되고, 패치 이미지는 생성되며, 패치 이미지가 얼굴/배경 이미지와 합성되어서, 그 결과인 합성 이미지가 HMD 디바이스 (110a)에서 렌더링되고 사용자 (105a)에 의해 보여지기 위해 사용자 (105a)에게 보내질 수 있다. 각각의 사용자가 HMD 디바이스를 착용하고 있더라도, 사용자는 다른 사용자의 시뮬레이션된 눈 및 다른 얼굴 특징들을 볼 수 있다. 시뮬레이션된 얼굴 특징들은 실시간으로 대응되는 사용자의 실제 얼굴 움직임을 따라가며, 훨씬 더 매력적이고, 상호작용을 하며, 인간적인 통신 경험을 만들 수 있다.
전술한 일부 실시예들은 두 개의 HMD 디바이스를 착용한 두 명의 사용자가 서로 통신하는 시스템과 관련된다. 하지만, 시스템은 그러한 애플리케이션에 제한되지 않는다. 일 실시예에 따르면, 도 3a 및 3b에서 나타난 동작들의 대부분 또는 거의 전부는 하나의 HMD 디바이스 (110a) 및/또는 하나의 카메라 장치 (115a)를 이용하는 하나의 사용자 (105a)에 의한 시스템(도 1)에도 적용될 수 있다. 단계 (305)-(375)는 전술한 바와 같이 수행될 수 있다. 합성 이미지가 반드시 다른 사용자 (105b) 또는 HMD 디바이스 (110b)로 전송되는 것은 아니라는 점을 제외하면 단계 (380) 및 (385)도 또한 수행될 수 있다. 대신에, 합성 이미지는 네트워크를 통해 임의의 적절한 수신 장치, 예를 들어 텔레비전, 스마트폰, 태블릿, 임의의 적절한 컴퓨팅 디바이스 또는 디스플레이 장치 등에 제공되거나 전송될 수 있다. 다양한 실시예에서, 수신 장치는 합성 이미지를 디스플레이하도록 배치될 수 있다. 일 실시예에서는, 합성 이미지는 실시간으로 수신될 수 있다. 다만, 필수조건은 아니고 합성 이미지는 언제든지 수신될 수 있다. 즉, 합성 이미지는 임의의 적절한 목적 또는 장치를 위해서 또는 통신 애플리케이션을 위해서 생성될 수 있고, 또 다른 HMD 디바이스에서 디스플레이 되는 것에 제한되지 않는다.
다음으로 도 16-19를 참조하여, 본 발명에 대한 일 실시예에 따른 HMD 디바이스 (1600)가 설명된다. HMD 디바이스 (1600)는 임의의 적절한 헤드 마운티드 디스플레이 디바이스(Head mounted display device)일 수 있다(예를 들어, 도 1의 HMD 디바이스 (110a)). 일 실시예에 따른 HMD 디바이스 (1600)의 배경도(perspective view), 배면도 및 정면도는 도 16-18에 나타난다. 도 19는 HMD 디바이스 (1600)의 다양한 구성요소를 나타내는 도면이다. HMD 디바이스 (1600)는 적어도 하나 이상의 프로세서를 포함하는 처리부(1905), 저장부 (1910), 디스플레이부 (1920), 네트워크 인터페이스 부 (1915), 발광부 (1925), 센서부 (1930), HMD 디바이스 제어 모듈 (1935) 및 전원 (1940)을 포함할 수 있다. 다양한 실시예에서, 처리부 (1905)는 사용되지 않거나 하기에 설명될 이미지 처리 또는 다른 동작들을 위해 (주된 구성요소로서) 필요하지 않을 수 있다. 대신에, 처리되어야 할 임의의 데이터/이미지는 원격 장치로 전송되고, 그 원격 장치(예를 들어, 서버 (120), 게임 콘솔, 카메라 장치 (115a), 텔레비전, 임의의 적절한 컴퓨팅 디바이스 등)에 의해 처리는 수행될 수 있다.
발광부 (1925)는 적어도 하나 이상의 발광 장치를 포함할 수 있다. 임의의 적절한 종류의 발광 장치 또는 발광 기술(예를 들어, 적외선, LED 등)이 사용될 수 있고, 각각의 발광 장치는 HMD 디바이스 (1600)의 어느 표면 또는 부분에 위치할 수 있다. 다양한 실시예에서, 예를 들어, 도 16 및 18에서 장치 (1635)에 의해 나타내지는 것과 같이, 발광 장치는 HMD 디바이스 (1600)의 외부에 위치할 수 있다. 발광 장치 (1635)는 HMD 디바이스 (1600)가 카메라 장치 (115a) 앞에 있는 사용자에 의해 착용되는 경우, 카메라 장치 (115a)에 의해 마커로 사용되도록 빛을 방출할 수 있다. 즉, 카메라 장치 (115a)는 (예를 들어, 도 3a의 단계 (330)와 관련하여 설명한 것과 같이) 사용자 (105a) 얼굴의 움직임, 방향 및/또는 위치를 추적하는데 도움 받기 위해 방출된 빛을 이용할 수 있다.
HMD 디바이스 (1600)의 내부는 또한 발광 장치를 포함할 수 있다. 다양한 실시예에서는, 예를 들어, HMD 디바이스 (1600)의 후면 또는 내부에 위치한 적어도 하나 이상의 적외선 발광 장치가 있을 수 있다. 적외선 위치에 대한 일 실시예는 HMD 디바이스의 내부 또는 후면, 즉 착용시 사용자의 얼굴에 맞닿고 눈을 마주하게 되는 HMD 디바이스의 면을 보여주는 도 17에 나타난다. 적어도 하나 이상의 광 전원 (1610)(예를 들어, 적외선 전원)이 HMD 디바이스 (1600) 상에 위치할 수 있고, 사용자가 HMD 디바이스 (1600)를 착용하는 경우 사용자의 눈을 비출 수 있다. 적외선 전원은 특정 얼굴 특징(예를 들어, 시선, 눈꺼풀 등)을 추적하는데 도움을 줄 수 있다.
센서부 (1930)는 HMD 디바이스를 착용하고 있는 사용자의 얼굴 움직임을 추적하기 위해 배치된 적어도 하나 이상의 센서를 포함할 수 있다. 추적 카메라, 압력 센서, 온도 센서, 기계적 센서, 움직임 센서, 광 센서 및 전자 센서를 포함하는 임의의 적절한 센서 기술이 사용될 수 있으나, 이에 제한되지 않는다. 다양한 실시예에 따르면, 예를 들어, HMD 디바이스의 내부/후면에 위치한 적어도 하나 이상의 EMG 및 EOG 센서가 있을 수 있다. EMG 센서 (1605) 및 EOG 센서 (1605a)의 일 실시예에 따른 예시는 도 17에 나타난다. 일 실시예에서, EMG 센서 (1605) 및 EOG 센서 (1605a)는 HMD 디바이스 (1600)의 쿠션(cushion) 위 또는 안에 위치할 수 있다. HMD 디바이스 (1600) 착용시 쿠션 및 센서 (1605)는 사용자의 눈썹에 맞닿아 눌려진다. 눈썹이 움직이면, 센서 (1605)는 근육 움직임에 의해 생성되는 전기적인 자극을 탐지할 수 있다. 도 3a의 단계 (315), (320) 및 (325)에서 설명된 것과 같이, HMD 디바이스 (1600)는 센서 데이터를 처리를 위해 카메라 장치 (115a)로 전송할 수 있다. EMG 센서는 또한 사용자 얼굴의 다른 부분들의 움직임을 탐지하기 위해 배치될 수 있다.
또한, HMD 디바이스 (1600)에 고정된 적어도 하나 이상의 광 센서가 있을 수 있다. 일 실시예에 따른 예시가 도 16 및 18에 나타난다. 도면에 도시된 것과 같이, 광 센서 (1630)는 HMD 디바이스 (1600)의 외부 표면에 고정되어 있을 수 있다. 광 센서 (1630)는 HMD 디바이스 (1600)의 주변 광 수준을 탐지하도록 배치될 수 있다. HMD 디바이스 (1600)는 네트워크 인터페이스 부 (1915)를 이용하여 이미지 처리 장치(예를 들어, 도 1의 카메라 장치 (115a) 및 서버 (120))로 광 센서 데이터를 전송할 수 있고, 그 데이터는 3D 모델 (405)에서 색조 또는 광 수준이 어떻게 조정되어야 하는지 결정하는데 이용될 수 있다(예를 들어, 단계 (340)에서 설명한 것과 같이).
센서부 (1930)는 또한 HMD 디바이스 (1600)에 의해 가려지는 얼굴 특징들의 움직임을 추적하기 위해 배치되는 카메라 또는 다른 추적 장치를 적어도 하나 이상 포함할 수 있다. 일 실시예서, 예를 들어, 센서부 (1930)는 사용자에 의해 착용되는 경우HMD 디바이스 (1600) 아래에 있는 시선, 안구의 회전, 눈꺼풀 움직임 및/또는 다른 얼굴 특징들을 추적하기 위해 배치된 적어도 하나 이상의 카메라를 포함할 수 있다. 그러한 추적 장치의 일 실시예에 따른 예시(예를 들어, 추적 카메라 (1615))는 도 17에 도시되어 있다.
디스플레이부 (1920)는 HMD 디바이스 (1600)의 사용자에게 이미지, 비디오 또는 그래픽을 디스플레이하기 위해 사용되는 임의의 하드웨어 또는 소프트웨어도 포함할 수 있다. 디스플레이부의 위치에 대한 일 실시예에 따른 예시는 도 17에 나타난다. 일 실시예에서, 사용자가 HMD 디바이스 (1600)를 착용하는 경우 디스플레이부 (1920)는 사용자의 눈을 바로 마주하도록 위치할 수 있다. 디스플레이부 (1920)는 사용자에게 이미지를 보여주기 위한 임의의 적절한 디스플레이 및/또는 투사 기술을 사용할 수 있다. 다양한 실시예에 따르면, 디스플레이부 (1920)는 사용자에게 가상현실 경험을 제공하도록 배치될 수 있다. 즉, HMD 디바이스 (1600)은 사용자의 눈을 완전히 가리고, 그가 실제 주변 환경(physical surroundings)을 볼 수 있는 능력을 없앨 수 있다. 일단 디스플레이부 (1920)가 작동되면, 사용자는 디스플레이부 (1920)가 생성하는 그래픽 및 이미지만을 볼 수 있다. 이는 사용자가 완전히 다른, 가상의 환경에 있다는 느낌을 줄 수 있다. 일 실시예에서, 사용자가 그 또는 그의 머리를 돌리면, HMD 디바이스 (1600)의 센서들은 그 움직임을 탐지하고, 사용자가 시뮬레이션된 환경 속에 물리적으로 실재하며, 사용자가 어떤 실제의, 물리적 환경에서와 같이 그 환경을 탐험할 수 있다는 느낌을 주기 위해 이미지들을 바꿀 수 있다(예를 들어, 머리를 돌리고, 모퉁이 주변을 살피고, 대상을 위 아래로 살펴봄으로써 등). 디스플레이부 (1920)는 도 3b의 단계 (385)에서 설명한 것과 같이, 실시간으로 또 다른 HMD 디바이스 사용자의 얼굴을, (부분적으로) 시뮬레이션된 얼굴 표정들과 함께 디스플레이하도록 배치될 수 있다. 임의의 공지의 가상현실 디스플레이 기술은 디스플레이부(1920)에서 사용될 수 있다.
전원 (1940)은 에너지 또는 전력을 저장하기 위해 사용되는 임의의 적합한 하드웨어 또는 소프트웨어일 수 있다. 저장된 에너지는 HMD 디바이스 (1600)의 다른 구성요소 및 동작들에 전력을 공급하기 위해 사용될 수 있다. 임의의 적합한 에너지 저장 메커니즘이 사용될 수 있다. 일 실시예에서는, 예를 들어, 전원이 배터리일 수 있다. 다른 실시예에서, HMD 디바이스 (1600)는 외부 전원으로부터 유선으로 연결되어 전력을 공급받을 수 있다.
네트워크 인터페이스 부 (1915)는 HMD 디바이스 (1600)가 네트워크(예를 들어, 로컬 네트워크, 도 1의 네트워크 (125), 무선 또는 유선 네트워크 등)를 통해 다른 장치(예를 들어, 카메라 장치 (115a), 서버 (120), 또 다른 HMD 디바이스 등)와 통신이 가능하도록 하기 위한 임의의 적합한 하드웨어 또는 소프트웨어를 포함할 수 있다. 일 실시예에서, 네트워크 인터페이스 부 (1915)는 처리를 위해 카메라 장치 (115a)에게 추적 및 센서 데이터(예를 들어, 도 3a의 단계 (320) 및 (335))를 전송하도록 배치될 수 있다. 네트워크 인터페이스 부 (1915)는 또한 또 다른 카메라 장치 및/또는 HMD 디바이스로부터 네트워크 (125)를 통해 이미지 및 이미지 데이터를 수신하도록(예를 들어, 도 3b의 단계 (380)) 배치될 수 있다. 네트워크 인터페이스 부 (1915)는 임의의 적합한 네트워크(예를 들어, 랜(LAN), 인터넷 등) 또는 통신 프로토콜(블루투스(Bluetooth), 와이파이(WiFi), NFC, IEEE 802.15.4, IEEE 802.11 등)을 이용하여 데이터를 전송 및 수신하도록 배치될 수 있다.
저장부 (1910)는 데이터 또는 실행 가능한 컴퓨터 코드를 저장하기 위해 적합한 임의의 하드웨어 또는 소프트웨어를 포함할 수 있다. 저장부 (1910)는 하드 드라이브, 플래시 드라이브, 비 휘발성 메모리, 휘발성 메모리 또는 임의의 다른 종류의 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있지만, 이에 제한되지 않는다. 전술한 애플리케이션에서 설명된 HMD 디바이스(예를 들어, 도 1의 HMD 디바이스 (110a)/(110b))를 위한 임의의 동작 또는 방법(예를 들어, 도 3a의 단계 (315), 도 3b의 단계 (385) 등)은 실행 가능한 컴퓨터 코드 또는 명령의 형태로 저장부 (1910)에 저장될 수 있다. 처리부 (1905)에 의한 컴퓨터 코드 또는 명령의 실행은 디바이스 (1600)가 전술한 모든 동작 또는 방법들을 수행하도록 할 수 있다.
HMD 디바이스 제어 모듈 (1935)은 HMD 디바이스(예를 들어, 도 1의 HMD 디바이스 (110a)/(110b))에 적용되는 전술한 애플리케이션에서 설명된 모든 동작 또는 방법들(예를 들어, 도 3a의 단계 (315), 도 3b의 단계 (385) 등)을 수행하기 위해 배치된 임의의 하드웨어 또는 소프트웨어일 수 있다. 다양한 실시예에서, HMD 디바이스 제어 모듈 (1935)은 HMD 디바이스 (1600)가 얼굴 특징들을 추적하고, 또 다른 HMD 디바이스/카메라 장치로부터 수신된 이미지를 렌더링 및 디스플레이하도록 배치될 수 있다(예를 들어, 단계 (315) 및 (385)).
HMD 디바이스 (1600)는 매우 다양한 다른 형태인자(form factors), 크기(sizes), 규모(dimensions) 및 배치(configuration)를 가질 수 있다. 일 실시예에 따른 예시는 도 16-18에 도시된다. 일 실시예에서는, 예를 들어, HMD 디바이스 (1600)는 전면 (1645) 및 후면 (1650)을 가지는 본체 (1640)를 포함할 수 있다. 본체 (1640)는 도 19에 도시되고, 전술한 전기 및 컴퓨터 부품 (components)의 전부 또는 일부를 포함할 수 있다. 본체 (1640)의 전면 (1645)은 도 18에 나타나고, 전면 플레이트(frontal plate) (1655)를 포함할 수 있다. HMD 디바이스 (1600)가 사용자에게 착용될 때, 전면 플레이트 (1655) 및 본체 (1640)는 사용자의 눈을 완전히 덮고 가릴 수 있다. 따라서, 다양한 실시예에서, 전면 플레이트 (1655) 및 본체 (1640)는 주변의 빛이 사용자의 눈에 도달하는 것을 완전히 차단시킬 수 있다. 그 결과, HMD 디바이스 (1600)는 사용자가 보는 것을 완전히 제어할 수 있다.
도 17에서 나타낸 HMD 디바이스 (1600)의 후면 (1650)은 사용자의 눈 위에서 얼굴에 맞닿아 눌려지도록 설계될 수 있다. 일 실시예에서, HMD 디바이스 (1600)의 후면 (1650)은 디스플레이부 (1920)를 둘러싸거나 가장자리를 이루는 쿠션 (1660)을 포함할 수 있다. 전술한 바와 같이, 쿠션은 다양한 생체 측정 센서(예를 들어, EMG 센서 (1605), EOG (1605a) 등)를 포함할 수 있고, HMD 디바이스를 착용한 사용자 얼굴의 이마 또는 다른 부분들에 맞닿아 눌려지도록 설계될 수 있다.
HMD 디바이스 (1600)는 또한 사용자 얼굴에 HMD 디바이스 (1600)를 단단히 고정시키기 위한 다양한 구조 또는 메커니즘을 포함할 수 있다. 일 실시예에서, 예를 들어, 사용자가 HMD 디바이스 (1600)를 착용하면, 도 16에서 도시된 것과 같이, 디바이스는 머리를 둘러싸는 사이드 스트랩(side strap) (1665)으로 얼굴에 고정될 수 있다. 또 다른 센트럴 스트랩(central strap) (1670)은 HMD 디바이스 (1600)의 본체 (1640)의 위쪽으로부터 머리의 위쪽까지 확장될 수 있다. 일 실시예에서, 적어도 하나 이상의 발광 장치 (1635)는 센트럴 스트랩(central strap)의 일부분에 고정될 수 있다. 이러한 장치들은 카메라 장치 (115a)가 사용자 머리의 위치를 추적하는데 사용할 수 있도록 빛을 방출할 수 있다. 이에 더하여 또는 선택적으로, 이러한 장치들은 HMD 디바이스 (1600)의 표면 상 임의의 적절한 위치에 위치할 수 있다.
다음으로 도 20을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 장치 (2000)의 예시가 도시되어 있다. 다양한 실시예에서, 이미지 처리 장치 (2000)는 카메라 장치(예를 들어, 도 1및 6의 카메라 장치 115a)일 수 있지만, 이미지 처리 장치 (2000)는 또한 도 3a 및 3b의 방법 (300)에서 설명된 것과 같이, 이미지를 수집, 생성, 처리 및 전송하기 위해 배치된 임의의 적절한 장치가 될 수도 있다. 즉, 이미지 처리 장치 (2000)는 전술한 방법에서 카메라 장치 (115a)에 의해 수행되는 동작들의 전부 또는 일부를 수행하기 위해 배치되는 임의의 장치일 수 있다. 또한, 일 실시예에서, 이미지 처리 장치 (2000)는 카메라 장치, 게임 콘솔, 서버(예를 들어, 도 1의 서버 (120)), 컴퓨터, 스마트폰, 텔레비전 및/또는 임의의 다른 적절한 컴퓨팅 디바이스일 수 있다. 이미지 처리 장치 (2000)는 적어도 하나 이상의 프로세서를 포함하는 처리부 (2005), 저장부 (2010), 이미지 처리 장치 제어 모듈 (2020), 선택적인 센서부 (2025) 및 네트워크 인터페이스 부 (2015)를 포함할 수 있다.
네트워크 인터페이스 부(2015)는 이미지 처리 장치 (2000)가 HMD 디바이스(예를 들어, HMD 디바이스 (110a)/(1600)), 서버 (120) 또는 다른 디바이스와 네트워크를 통해 적절하게 통신할 수 있도록 하는 임의의 적합한 하드웨어 또는 소프트웨어를 포함할 수 있다. 일 실시예에서, 네트워크 인터페이스 부 (2015)는 3D 모델 (405), 배경 이미지 (510), HMD 디바이스 추적 데이터, 카메라/광 센서 추적 데이터 또는 다른 종류의 데이터를 외부 소스(external sources)로부터 획득할 수 있도록 배치될 수 있다(예를 들어, 도 3a의 단계 (305), (310), (320) 및 (335)). 네트워크 인터페이스 부 (2015)는 또한 네트워크를 통해 HMD 디바이스 (110a)/(110b)/(1600)에게 데이터를 전송(예를 들어, 도 3b의 단계 (380))하도록 배치될 수 있고, 전송된 이미지 데이터는 렌더링되고 HMD 디바이스의 사용자에 의해 보여질 수 있다. 네트워크 인터페이스 부 (2015)는 임의의 적절한 네트워크(예를 들어, 랜(LAN), 인터넷 등) 또는 통신 프로토콜(예를 들어, 블루투스(Bluetooth), 와이파이(WiFi), NFC, IEEE 802.15.4, IEEE 802.11 등)을 이용하여 데이터를 전송 및 수신하도록 배치될 수 있다.
저장부 (2010)는 데이터 또는 실행 가능한 컴퓨터 코드를 저장하기 위해 적합한 임의의 하드웨어 또는 소프트웨어일 수 있다. 저장부 (2010)는 하드 드라이브, 플래시 드라이브, 비 휘발성 메모리, 휘발성 메모리 또는 임의의 다른 종류의 컴퓨터가 읽을 수 있는 저장 매체를 포함할 수 있지만, 이에 제한되지 않는다. 전술한 애플리케이션에서 설명한 카메라 장치(예를 들어, 도 1의 카메라 장치 (115a))를 위한 모든 동작 또는 방법(예를 들어, 도 3a 및 3b의 단계 (305)-(310), 단계 (320)-(385) 등)은 저장부 (2010)에 실행 가능한 컴퓨터 코드 또는 명령의 형태로 저장될 수 있다. 처리부 (2005)에 의한 컴퓨터 코드 또는 명령의 실행은 디바이스 (2000)가 전술한 모든 동작 또는 방법을 수행하도록 할 수 있다.
이미지 처리 장치 제어 모듈 (2020)은 카메라 장치 (115a)에 적용되는 애플리케이션에서 설명한 모든 동작 또는 방법(예를 들어, 도 3a 및 3b의 단계 (305)-(310), (320)-(385))을 수행하기 위해 배치되는 임의의 하드웨어 또는 소프트웨어일 수 있다. 다양한 실시예에서, 이미지 처리 장치 제어 모듈 (2020)은 디바이스가 3D 모델, 배경 이미지, HMD 디바이스 및/또는 카메라 장치 추적 데이터를 얻고, 모델을 렌더링하고, 패치 이미지를 얻으며, 패치 이미지 및 얼굴/배경 이미지를 합성하고, 그 결과인 합성 이미지를 배경 패치와 합성하여 전송할 수 있도록 배치될 수 있다(예를 들어, 도 3a 및 3b의 단계 (305)-(380)).
센서부 (2025)는 예를 들어, 이미지 처리 장치 (2000)가 카메라/모니터링 장치(예를 들어, 도 1의 카메라 장치 (115a))인 경우라면 포함될 수 있는 선택적인 구성이다. 센서부 (2025)는 HMD 디바이스를 착용하고 있는 사용자의 얼굴 특징들을 추적 또는 모니터링하기 위해 배치되는 임의의 하드웨어 또는 소프트웨어를 포함할 수 있다. 다양한 실시예에서, 예를 들어, 센서부 (2025)는 HMD 디바이스의 임의의 장치에 의해 방출되는 빛을 추적하기 위해 배치되는 적어도 하나 이상의 카메라를 포함할 수 있다. 또한, 다른 실시예에서, 카메라는 사용자 머리의 일반적인 방향 또는 위치 및/또는 사용자 얼굴에 있는 특정한 특징들(예를 들어, 입술의 위치)을 추적하기 위해 이용될 수 있다. 센서부 (2025)에 대한 일 실시예에서는 근처의 물체 또는 사용자의 광 수준 또는 주변의 광 수준을 추적하기 위해 배치되는 적어도 하나 이상의 광 센서를 포함할 수 있다(예를 들어, 도 3a의 단계 (330)과 관련하여 설명한 것과 같이). 그리고 나서, 이미지 처리 장치 (2000)는 이미지 및 센서 데이터를 분석하고, 처리할 수 있다(예를 들어, 도 3a의 단계 (330), (335) 및 (340)에서 설명한 것과 같이).
전술한 모든 방법 또는 동작들은 유형의 컴퓨터로 읽을 수 있는 매체에 실행 가능한 소프트웨어 코드 형태로 저장될 수 있다. 코드는 적어도 하나 이상의 프로세서에 의해 실행될 수 있다. 코드의 실행은 대응하는 장치(예를 들어, 이미지 처리 장치 (2000), 서버 (120), 카메라 장치 (115a), HMD 디바이스 (110a)/(1600) 등)가 전술한 동작들을 수행하도록 할 수 있다.
전술한 방법 및 방식들은 패치 이미지의 생성과 관련된다. 전술한 일 실시예에서, 패치 이미지는 사용자 얼굴의 일 부분에만 대응될 수 있다. 하지만, 다양한 실시예에서, 패치 이미지는 얼굴 또는 신체의 다른 부분들에 대응될 수 있고, 임의의 물체 또는 이미지의 일 부분 또는 신체의 어떤 부분을 나타내거나 대응될 수 있다.
전술한 방법 또는 방식들은 또한 배치 이미지 및 얼굴/배경 이미지를 합성하는 기술을 설명한다. 전술한 실시예들 중 일부에서는, 얼굴/배경 이미지는 (비디오) 카메라를 이용하여 캡처한 이미지일 수 있다. 예를 들어, 각각의 얼굴/배경 이미지는 HMD 디바이스를 착용하고 있는 사용자를 촬영한 영상의 비디오 프레임일 수 있다. 패치 이미지는 사용자의 머리 또는 얼굴의 적어도 일부에 대한 렌더링된 모델에 기초할 수 있다. 패치 이미지 및 얼굴/배경 이미지는 합성되어, 부분적으로 또는 대부분 비디오 프레임인 하나의 합성 이미지를 형성할 수 있다. 합성 이미지의 일부는 패치 이미지일 수 있다, 즉 사용자 얼굴의 일 부분에 대한 미리 렌더링된 모델이고, 사용자의 사진 또는 비디오가 아닐 수 있다. 하지만, 패치 이미지 및 얼굴/배경 이미지는 매우 다양한 다른 종류의 미디어 및 포맷에 기초할 수 있다. 예를 들어, 일 실시예에서, 얼굴/배경 이미지는 라이브 비디오 피드의 프레임이 아니고, 대신에 렌더링된 3D 모델(결국 사용자 및/또는 그 주변의 3D 스캔 또는 영상에 기초하여 생성될 수 있는)일 수 있다. 전술한 기술들은 패치 이미지 (예를 들어, 사용자의 눈 또는 눈 주위 영역의 렌더링된 모델)와 얼굴/배경 이미지(예를 들어, 사용자의 얼굴 또는 머리의 적어도 다른 일부에 대한 렌더링된 모델)를 합성하기 위해 이용될 수 있다.
전술한 실시예의 일부에서, HMD 디바이스는 사용자의 눈을 가리는 것으로 설명된다. 얼굴/배경 이미지는 사용자를 캡처하여 획득되고, 패치 이미지는 얼굴/배경 이미지에 합성될 수 있다. 합성은 이미지 상에서 HMD 디바이스를 시뮬레이션된 얼굴 특징들로 대체할 수 있다. 하지만, 전술한 애플리케이션의 기술들은 또한 하나의 이미지가 또 다른 이미지와 패치되는(patched) 임의의 과정에 적용될 수 있고, 반드시 전술한 패치 이미지 및 HMD 디바이스의 구체적인 예시들에 제한되지 않는다. 일 실시예에서, HMD 디바이스는 사용자의 눈을 완전히 가리지 않을 수 있고, 사용자의 얼굴 또는 신체의 다른 부분들을 가릴 수 있다. 전술한 패칭(patching) 기술들은 HMD 디바이스 아래에 놓인 특징들을 추적하는, HMD 디바이스 내부의 센서들에 기초하여 적어도 하나 이상의 패치 이미지를 생성하는데 이용될 수 있다. 센서 데이터에 기초하여, (예를 들어, 도 3a 및 3b의 방법 (300)의 단계들에서 일반적으로 설명된 것과 같이) 패치 이미지는 생성되고 사용자 및 HMD 디바이스의 얼굴/배경 이미지와 합성될 수 있다.
본 발명의 단지 일부 실시예들만 상세하게 설명되었더라도, 본 발명은 본 발명의 본질 또는 범위에서 벗어나지 않은 많은 다른 형태로 실시될 수 있다. 예를 들어, 본 애플리케이션 및 도면은 특정 동작들을 수행하는 다양한 방법들(예를 들어, 도 3a 및 3b)을 설명한다. 일 실시예에서, 동작/단계들의 적어도 하나 이상이 수정되거나, 재정리되거나, 삭제될 수 있다. 이에 더하여, 도1 및 16-20과 같은 일부 도면들은 다양한 구성요소를 포함한다. 일 실시예에서, 적어도 하나 이상의 구성요소들이 함께 병합될 수 있다. 또한, 다른 실시예에서, 적어도 하나 이상의 구성요소들이 더 많은 수의 구성요소들로 분리될 수 있다. 하나의 구성요소의 특징들은 또 다른 구성요소로 이전될 수 있고/또는 적절하게 수정될 수 있다. 각각의 장치들은 대응하는 도면에서 도시된 것을 넘어 부가적인 구성요소를 더 포함할 수 있다. 따라서, 본 실시예들은 예시적인 것에 불과하며 제한적인 것으로 볼 수 없고, 본 발명은 전술한 세부 사항들에 제한되지 않는다.

Claims (21)

  1. 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스에 있어서,
    상기 HMD 디바이스 착용시 사용자의 얼굴의 제 1 부분을 가려서 사용자의 눈이 감춰지도록 하며, 상기 사용자의 얼굴의 제 2 부분을 보이도록 하는 디바이스 본체;
    상기 디바이스 본체에 구비되고, 상기 사용자의 안구 움직임, 눈꺼풀 움직임 및 눈썹 움직임 중 적어도 하나 이상을 추적하는 적어도 하나 이상의 센서; 및
    상기 디바이스 본체에 구비되어, 상기 HMD 디바이스가 상기 사용자에 의해 착용되는 경우 상기 사용자의 이미지를 디스플레이하는 디스플레이를 포함하는 HMD 디바이스.
  2. 제 1항에 있어서,
    근전도 검사(electromyography: EMG) 센서, 얼굴 상부의 특징들을 추적하도록 배치된 카메라, 안구의 회전 및 적외선 전원을 추적하도록 배치된 카메라 및 안구의 회전 및 눈꺼풀 움직임을 추적하도록 배치된 안전도 기록(electrooculography: EOG) 센서 중 적어도 하나 이상을 더 포함하는 HMD 디바이스.
  3. 제 1항에 있어서,
    상기 HMD 디바이스 착용시 상기 사용자의 얼굴 일부에 맞닿도록 눌려지는(pressed) EMG 센서를 더 포함하고,
    상기 EMG 센서는 상기 사용자의 눈썹 움직임을 탐지하도록 배치된 HMD 디바이스.
  4. 제 1항에 있어서,
    1) 상기 디바이스 본체에 구비되고, 주변 환경의 광 수준(light level)을 탐지하도록 배치된 광 센서; 및
    2) 상기 광 센서가 상기 HMD 디바이스의 움직임을 추적하는 것을 지원하기 위해 빛을 방출하도록 배치된 발광 장치 중 적어도 하나를 더 포함하는 HMD 디바이스.
  5. 제 1항에 있어서,
    이미지 데이터를 수신하도록 배치된 네트워크 인터페이스 부(network interface unit)를 더 포함하고,
    상기 디스플레이는 상기 이미지 데이터에 기초하여 상기 이미지를 디스플레이 하도록 배치된 HMD 디바이스.
  6. 제 5항에 있어서,
    상기 네트워크 인터페이스 부는 외부 장치로 적어도 하나 이상의 합성 이미지를 전송하고,
    상기 적어도 하나 이상의 합성 이미지는 상기 HMD 디바이스를 착용하고 있는 상기 사용자를 나타내고, 상기 적어도 하나 이상의 센서에 의해 추적된, 상기 HMD 디바이스 아래에 놓인 얼굴의 움직임을 더 나타내는 HMD 디바이스.
  7. HMD 디바이스와 관련된 이미지 처리 방법에 있어서,
    제 1 HMD 디바이스에 있는 적어도 하나 이상의 센서에 의해 적어도 일부가 생성되고, 상기 제 1 HMD 디바이스가 제 1 사용자에 의해 착용되는 경우 상기 제 1 사용자의 하나 이상의 얼굴의 움직임을 나타내는 제 1 세트의 추적 데이터를 획득하는 단계;
    상기 제 1 세트의 추적 데이터에 기초하여 상기 제 1 HMD 디바이스에 의해 가려지는 상기 제 1 사용자의 얼굴의 제 1 부분을 나타내는 패치 이미지를 획득하는 단계;
    상기 제 1 HMD 디바이스에 의해 가려지지 않는 상기 제 1 사용자의 얼굴의 제 2 부분을 캡처함으로써 적어도 일부가 생성된 얼굴 이미지를 획득하는 단계; 및
    상기 얼굴 이미지와 상기 패치이미지를 합성하여 상기 제 1 HMD 디바이스에 의해 가려지는 얼굴의 상기 제 1 부분의 특징들을 포함하는 상기 제 1 사용자의 얼굴을 나타내는 합성 이미지를 획득하는 단계를 포함하는 HMD 디바이스와 관련된 이미지 처리 방법.
  8. 제 7항에 있어서,
    상기 합성 이미지를 임의의 장치로 전송하는 단계를 더 포함하는 이미지 처리 방법.
  9. 제 7항에 있어서,
    상기 패치 이미지는 렌더링된 3D 이미지이고,
    상기 얼굴 이미지는 비디오 카메라에 의해 생성된 비디오 이미지이며,
    상기 합성은 상기 렌더링된 3D 이미지와 상기 비디오 이미지의 합성을 포함하는 이미지 처리 방법.
  10. 제 7항에 있어서,
    상기 제 1 사용자의 얼굴의 적어도 일부에 대한 3D 모델을 획득하는 단계;
    상기 제 1 세트의 추적 데이터에 기초하여 상기 3D 모델을 조정하는 단계;
    상기 조정된 3D 모델을 렌더링하는 단계; 및
    상기 패치 이미지의 형성을 지원하기 위해 상기 렌더링된 3D 모델의 적어도 일부를 이용하는 단계를 더 포함하는 이미지 처리 방법.
  11. 제 7항에 있어서,
    카메라 장치로부터 상기 제 1 사용자의 머리의 위치를 나타내는 포즈(pose) 데이터 및 광 센서 데이터 중 하나 이상과 관련된 제 2 세트의 추적 데이터를 획득하는 단계; 및
    상기 제 2 세트의 추적 데이터의 적어도 일부에 기초하여 상기 패치 이미지를 결정하는 단계를 더 포함하는 이미지 처리 방법.
  12. 제 7항에 있어서,
    상기 제 1 사용자의 머리에서 적어도 하나 이상의 특징 점들의 위치를 나타내는 카메라 장치로부터 카메라 장치 데이터를 획득하는 단계;
    상기 제 1 사용자의 머리의 적어도 일부에 대한 모델을 획득하는 단계;
    상기 카메라 장치 데이터에 있는 상기 하나 이상의 특징 점들을 상기 모델에서의 적어도 하나 이상의 특징 점들과 연관시키는 단계;
    상기 카메라 장치 데이터에 있는 상기 하나 이상의 특징 점들의 상기 위치와 상기 모델에 있는 상기 적어도 하나 이상의 특징 점들의 위치 사이의 차이를 결정하는 단계;
    상기 차이에 기초하여, 상기 모델의 상기 하나 이상의 특징 점들의 상기 위치를 조정하는 단계; 및
    상기 모델에서 적어도 일부에 기초하여 상기 패치 이미지를 결정하는 단계를 더 포함하는 이미지 처리 방법.
  13. 제 7항에 있어서,
    1) 상기 제 1 사용자 주변의 광 수준 및 2) 상기 제 1 사용자의 일부에 대한 광 수준 중 적어도 하나 이상을 나타내는 광 감지 장치로부터 광 감지 장치 데이터를 획득하는 단계;
    상기 제 1 사용자의 머리의 적어도 일부에 대한 모델을 획득하는 단계;
    상기 모델에서 시뮬레이션된 광 수준을 결정하는 단계;
    상기 광 감지 장치 데이터에서 나타난 상기 광 수준과 상기 모델에서 시뮬레이션된 상기 광 수준 사이의 차이를 결정하는 단계;
    상기 차이에 기초하여, 상기 모델의 시뮬레이션된 상기 광 수준을 조정하는 단계; 및
    상기 모델의 적어도 일부에 기초하여 상기 패치 이미지를 결정하는 단계를 더 포함하는 이미지 처리 방법.
  14. 제 7항에 있어서,
    상기 얼굴 이미지와 교차되는 상기 패치 이미지의 부분들을 식별하는 단계; 및
    상기 얼굴 이미지와 교차되는 상기 패치 이미지의 상기 식별된 부분들을 블러링(blurring)하는 단계를 더 포함하며,
    상기 패치이미지는 상기 제 1 사용자의 얼굴의 상기 제 1 부분을 나타내고, 상기 얼굴 이미지는 상기 제 1 사용자의 얼굴의 다른, 상기 제 2 부분을 나타내는 것을 특징으로 하는 이미지 처리 방법.
  15. 제 7항에 있어서,
    상기 제 1 HMD 디바이스를 착용하고 있는 상기 제 1 사용자의 뒤쪽의 배경을 나타내는 배경 이미지를 획득하는 단계;
    배경 패치 이미지를 획득하는 단계; 및
    상기 배경 패치 이미지 및 상기 합성 이미지를 합성하는 단계를 더 포함하고,
    상기 배경 패치 이미지는 상기 배경 이미지에 위치해서 상기 배경 패치 이미지가 상기 제 1 HMD 디바이스에 의해 가려진 상기 배경의 일부를 나타내는 것을 특징으로 하는 이미지 처리 방법.
  16. 제 7항에 있어서,
    상기 방법은 네트워크를 통해 상기 제 1 HMD 디바이스와 연결되는 이미지 처리 장치에 의해 수행되고,
    상기 이미지 처리 장치는 서버, 상기 제 1 사용자를 리코딩하는 카메라 장치, 텔레비전 및 상기 제 1 HMD 디바이스 중 적어도 하나인 이미지 처리 방법.
  17. 제 7항에 있어서,
    제 2 사용자의 하나 이상의 이미지를 획득하고, 상기 하나 이상의 이미지는 상기 제 2 사용자에 의해 착용된 제 2 HMD 디바이스의 아래에 놓인 상기 제 2사용자의 얼굴의 일부에 대한 얼굴의 움직임을 실시간으로 나타내고, 상기 하나 이상의 이미지는 상기 제 2 HMD 디바이스에 의해 가려지지 않은 머리의 일부를 포함하는 상기 제 2 사용자의 머리의 움직임들을 실시간으로 나타내는 단계; 및
    상기 하나 이상의 이미지가 상기 제 1 사용자에게 디스플레이될 수 있도록 상기 하나 이상의 이미지를 상기 제 1 HMD 디바이스에게 전송하는 단계를 더 포함하는 이미지 처리 방법.
  18. 실행 가능한 컴퓨터 코드를 포함하는 컴퓨터로 읽을 수 있는 저장 매체에 있어서,
    제 1 HMD 디바이스에 있는 적어도 하나 이상의 센서에 의해 적어도 일부가 생성되고, 상기 제 1 HMD 디바이스를 착용하고 있는 제 1 사용자의 하나 이상의 얼굴 움직임을 나타내는 제 1 세트의 추적데이터를 획득하도록 동작할 수 있는 실행 가능한 컴퓨터 코드;
    상기 제 1 HMD 디바이스에 의해 가려진 상기 제 1 사용자의 얼굴의 일부를 나타내는 상기 제 1 세트의 추적 데이터에 기초하여 패치 이미지를 획득하도록 동작할 수 있는 실행 가능한 컴퓨터 코드;
    상기 제 1 HMD 디바이스에 의해 가려지지 않은 상기 제 1 사용자의 얼굴의 제 2 부분을 캡처함으로써 적어도 일부가 생성된 얼굴 이미지를 획득하도록 동작할 수 있는 실행 가능한 컴퓨터 코드; 및
    상기 얼굴 이미지와 상기 패치 이미지를 합성하여, 상기 제 1 HMD 디바이스에 의해 가려진 얼굴의 상기 제 1 부분의 특징들을 포함하는 상기 제 1 사용자의 얼굴을 나타내는 합성 이미지를 획득하도록 동작할 수 있는 실행 가능한 컴퓨터 코드를 포함하는 컴퓨터로 읽을 수 있는 저장 매체.
  19. 제 18항에 있어서,
    상기 패치 이미지는 렌더링된 3D 이미지이고,
    상기 얼굴 이미지는 비디오 카메라에 의해 생성된 비디오 이미지이며,
    상기 합성 동작은 상기 렌더링된 3D 이미지와 상기 비디오 이미지의 합성을 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 저장 매체.
  20. 제 18항에 있어서,
    상기 제 1 사용자의 얼굴의 적어도 일부에 대한 3D 모델을 획득하도록 동작할 수 있는 실행 가능한 컴퓨터 코드;
    상기 제 1 세트의 추적 데이터에 기초하여 상기 3D 모델을 조정하도록 동작할 수 있는 실행 가능한 컴퓨터 코드;
    상기 조정된 3D 모델을 렌더링하도록 동작할 수 있는 실행 가능한 컴퓨터 코드; 및
    상기 패치 이미지 형성을 지원하기 위해 상기 렌더링된 3D 모델의 적어도 일부를 이용하도록 동작할 수 있는 실행 가능한 컴퓨터 코드를 더 포함하는 컴퓨터로 읽을 수 있는 저장 매체.
  21. 제 18항에 있어서,
    카메라 장치로부터 상기 제 1 사용자의 머리의 위치를 나타내는 포즈(pose) 데이터 및 광 센서 데이터 중 하나 이상과 관련된 제 2 세트의 추적 데이터를 획득하도록 동작할 수 있는 실행 가능한 컴퓨터 코드; 및
    상기 제 2 세트의 추적 데이터의 적어도 일부에 기초하여 상기 패치 이미지를 결정하도록 동작할 수 있는 실행 가능한 컴퓨터 코드를 더 포함하는 컴퓨터에서 읽을 수 있는 저장 매체.
KR1020160054711A 2015-05-18 2016-05-03 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 KR102581453B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562163321P 2015-05-18 2015-05-18
US62/163,321 2015-05-18
US14/801,574 2015-07-16
US14/801,574 US9910275B2 (en) 2015-05-18 2015-07-16 Image processing for head mounted display devices

Publications (2)

Publication Number Publication Date
KR20160135652A true KR20160135652A (ko) 2016-11-28
KR102581453B1 KR102581453B1 (ko) 2023-09-21

Family

ID=56132734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160054711A KR102581453B1 (ko) 2015-05-18 2016-05-03 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리

Country Status (4)

Country Link
US (3) US9910275B2 (ko)
EP (1) EP3096208B1 (ko)
KR (1) KR102581453B1 (ko)
CN (1) CN106170083B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007910A (ko) 2017-07-14 2019-01-23 한국과학기술원 가상 현실 컨텐츠 제어를 위한 생체신호 기반 착용형 hmd 컨트롤러, hmd 장치 및 방법
KR20190112712A (ko) * 2017-02-03 2019-10-07 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
KR20200101630A (ko) * 2019-02-20 2020-08-28 삼성전자주식회사 아바타 표시를 제어하기 위한 방법 및 그 전자 장치
US11517821B2 (en) 2017-12-26 2022-12-06 Skonec Entertainment Co., Ltd. Virtual reality control system

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
US20170148267A1 (en) * 2015-11-25 2017-05-25 Joseph William PARKER Celebrity chase virtual world game system and method
EP3185176A1 (en) * 2015-12-21 2017-06-28 THOMSON Licensing Method and device for synthesizing an image of a face partially occluded
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
US10684674B2 (en) * 2016-04-01 2020-06-16 Facebook Technologies, Llc Tracking portions of a user's face uncovered by a head mounted display worn by the user
US20170326462A1 (en) * 2016-05-11 2017-11-16 Bally Gaming, Inc. System, method and apparatus for player presentation in virtual reality gaming
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
US10127728B2 (en) * 2016-09-30 2018-11-13 Sony Interactive Entertainment Inc. Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes
US20180101989A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
WO2018089691A1 (en) 2016-11-11 2018-05-17 Magic Leap, Inc. Periocular and audio synthesis of a full face image
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN106599811B (zh) * 2016-11-29 2019-11-05 苏州虚现数字科技有限公司 一种vr头显的面部表情追踪方法
JP7050067B2 (ja) * 2016-12-14 2022-04-07 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
JP6969577B2 (ja) * 2017-01-20 2021-11-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
TWI626468B (zh) * 2017-01-25 2018-06-11 研能科技股份有限公司 頭戴式虛擬實境顯示裝置
WO2018150722A1 (ja) * 2017-02-20 2018-08-23 シャープ株式会社 ヘッドマウントディスプレイ
KR102627452B1 (ko) 2017-04-14 2024-01-18 매직 립, 인코포레이티드 다중 모드 눈 추적
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
US10481736B2 (en) 2017-06-21 2019-11-19 Samsung Electronics Company, Ltd. Object detection and motion identification using electromagnetic radiation
WO2019007934A1 (de) * 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Anordnung und verfahren zur kommunikation mittels zweier visueller ausgabegeräte
CN107680069B (zh) * 2017-08-30 2020-09-11 歌尔股份有限公司 一种图像处理方法、装置和终端设备
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
EP3729177A4 (en) * 2018-03-13 2021-10-06 Ronald Winston VIRTUAL REALITY SYSTEM AND METHOD
JP7344894B2 (ja) * 2018-03-16 2023-09-14 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
CN110488489B (zh) * 2018-05-15 2022-10-11 苹果公司 用于头戴式壳体的眼睛登记
CN108549153A (zh) * 2018-06-01 2018-09-18 烟台市安特洛普网络科技有限公司 一种基于面目表情识别的智能vr眼镜
US10154364B1 (en) * 2018-09-09 2018-12-11 Philip Scott Lyren Moving an emoji to move a location of binaural sound
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
WO2020070630A1 (en) 2018-10-02 2020-04-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
US11120599B2 (en) 2018-11-08 2021-09-14 International Business Machines Corporation Deriving avatar expressions in virtual reality environments
US10499179B1 (en) 2019-01-01 2019-12-03 Philip Scott Lyren Displaying emojis for binaural sound
WO2020236147A1 (en) * 2019-05-20 2020-11-26 Hewlett-Packard Development Company, L.P. Signal combination of physiological sensor signals
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
EP3956748B1 (en) 2019-06-14 2024-06-05 Hewlett-Packard Development Company, L.P. Headset signals to determine emotional states
CN110441912B (zh) * 2019-08-27 2024-04-19 高维度（深圳）生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US11467659B2 (en) * 2020-01-17 2022-10-11 Meta Platforms Technologies, Llc Systems and methods for facial expression tracking
CN112347870B (zh) * 2020-10-23 2023-03-24 歌尔科技有限公司 头戴设备的图像处理方法、装置、设备及存储介质
GB2600683A (en) * 2020-10-28 2022-05-11 Daimler Ag A method for performing an augmented reality video call in a motor vehicle by a communication device, as well as a corresponding communication device
CN112558906A (zh) * 2020-12-11 2021-03-26 上海影创信息科技有限公司 具有成像距离的显示控制方法和系统、存储介质及其vr设备
US11924393B2 (en) * 2021-01-22 2024-03-05 Valeo Comfort And Driving Assistance Shared viewing of video among multiple users
US11625094B2 (en) * 2021-05-04 2023-04-11 Google Llc Eye tracker design for a wearable device
US11622083B1 (en) * 2021-11-29 2023-04-04 Motorola Mobility Llc Methods, systems, and devices for presenting obscured subject compensation content in a videoconference
US11935201B2 (en) * 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
US11983822B2 (en) 2022-09-02 2024-05-14 Valeo Comfort And Driving Assistance Shared viewing of video with prevention of cyclical following among users

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3464754B2 (ja) * 1997-09-19 2003-11-10 日本電信電話株式会社 ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
US20060071934A1 (en) * 2004-10-01 2006-04-06 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
US20130248691A1 (en) * 2012-03-23 2013-09-26 Google Inc. Methods and Systems for Sensing Ambient Light
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6545685B1 (en) * 1999-01-14 2003-04-08 Silicon Graphics, Inc. Method and system for efficient edge blending in high fidelity multichannel computer graphics displays
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
US7127081B1 (en) 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US6522474B2 (en) 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
US7168953B1 (en) * 2003-01-27 2007-01-30 Massachusetts Institute Of Technology Trainable videorealistic speech animation
JP4464144B2 (ja) * 2004-01-09 2010-05-19 有限会社桜葉 平衡機能診断システム
US7804997B2 (en) * 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
US7324110B2 (en) 2004-12-09 2008-01-29 Image Metrics Limited Method and system for cleaning motion capture data
US8982110B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
US8970569B2 (en) 2005-03-01 2015-03-03 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror
US7606392B2 (en) 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US8330823B2 (en) 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
KR20100138648A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 영상 처리 장치 및 방법
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US20140063054A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
US20110263946A1 (en) 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US20130177296A1 (en) 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
US20140254939A1 (en) * 2011-11-24 2014-09-11 Ntt Docomo, Inc. Apparatus and method for outputting information on facial expression
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US8687880B2 (en) 2012-03-20 2014-04-01 Microsoft Corporation Real time head pose estimation
US9035970B2 (en) 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9463132B2 (en) * 2013-03-15 2016-10-11 John Castle Simmons Vision-based diagnosis and treatment
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US20140354684A1 (en) 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
US10254844B2 (en) * 2013-06-20 2019-04-09 Uday Parshionikar Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
CN103996020A (zh) * 2014-04-10 2014-08-20 中航华东光电（上海）有限公司 一种头戴式眼动仪检测方法
EP3131453B1 (en) * 2014-04-17 2021-01-20 The Regents of the University of California Portable brain activity sensing platform for assessment of visual field deficits
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
AU2015300725A1 (en) * 2014-08-04 2017-03-02 Facebook Technologies, Llc Method and system for reconstructing obstructed face portions for virtual reality environment
US9904054B2 (en) * 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
EP3185176A1 (en) * 2015-12-21 2017-06-28 THOMSON Licensing Method and device for synthesizing an image of a face partially occluded

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3464754B2 (ja) * 1997-09-19 2003-11-10 日本電信電話株式会社 ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
US20060071934A1 (en) * 2004-10-01 2006-04-06 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
US20130248691A1 (en) * 2012-03-23 2013-09-26 Google Inc. Methods and Systems for Sensing Ambient Light
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112712A (ko) * 2017-02-03 2019-10-07 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
KR20190007910A (ko) 2017-07-14 2019-01-23 한국과학기술원 가상 현실 컨텐츠 제어를 위한 생체신호 기반 착용형 hmd 컨트롤러, hmd 장치 및 방법
US11517821B2 (en) 2017-12-26 2022-12-06 Skonec Entertainment Co., Ltd. Virtual reality control system
US11648478B2 (en) 2017-12-26 2023-05-16 Skonec Entertainment Co., Ltd. Virtual reality control system
KR20200101630A (ko) * 2019-02-20 2020-08-28 삼성전자주식회사 아바타 표시를 제어하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US20180149864A1 (en) 2018-05-31
CN106170083A (zh) 2016-11-30
KR102581453B1 (ko) 2023-09-21
EP3096208A1 (en) 2016-11-23
US10527846B2 (en) 2020-01-07
CN106170083B (zh) 2020-08-07
US10684467B2 (en) 2020-06-16
US20180143429A1 (en) 2018-05-24
EP3096208B1 (en) 2019-03-13
US9910275B2 (en) 2018-03-06
US20160341959A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
US10527846B2 (en) Image processing for head mounted display devices
US11575856B2 (en) Virtual 3D communications using models and texture maps of participants
JP7389855B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
CA3003550C (en) Real-time visual feedback for user positioning with respect to a camera and a display
JP2020507221A (ja) Ｈｍｄを用いたビデオ会議の改良された方法およびシステム
US11645823B2 (en) Neutral avatars
CN115917474A (zh) 在三维环境中呈现化身
US20210278671A1 (en) Head wearable device with adjustable image sensing modules and its system
US20230105064A1 (en) System and method for rendering virtual reality interactions
AU2006330460A1 (en) Eye movement data replacement in motion capture
WO2022091832A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理端末
US20240127565A1 (en) Modifying user representations
US20240221292A1 (en) Light normalization in combined 3d user representations
CN118279472A (zh) 组合3d用户表示中的光归一化
CA3089885A1 (en) Virtual reality system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant