TW201732499A - 表情辨識系統、表情辨識方法及表情辨識程式 - Google Patents

表情辨識系統、表情辨識方法及表情辨識程式 Download PDF

Info

Publication number
TW201732499A
TW201732499A TW106100229A TW106100229A TW201732499A TW 201732499 A TW201732499 A TW 201732499A TW 106100229 A TW106100229 A TW 106100229A TW 106100229 A TW106100229 A TW 106100229A TW 201732499 A TW201732499 A TW 201732499A
Authority
TW
Taiwan
Prior art keywords
picture
user
expression recognition
camera
expression
Prior art date
Application number
TW106100229A
Other languages
English (en)
Inventor
洛克藍 威爾森
瀬古圭一
小島由香
金子大和
Original Assignee
Fove股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove股份有限公司 filed Critical Fove股份有限公司
Publication of TW201732499A publication Critical patent/TW201732499A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明係有關於一種表情辨識系統，係具備一頭戴式顯示器及一表情辨識裝置，其中：前述頭戴式顯示器具有：第1攝影機，用以拍攝使用者眼部；第2攝影機，用以拍攝使用者口部；及輸出部，用以輸出藉由前述第1攝影機拍攝之第1圖片與藉由前述第2攝影機拍攝之第2圖片；前述表情辨識裝置具有：接收部，用以接收藉由前述輸出部輸出之第1圖片與第2圖片；及表情辨識部，用以根據前述第1圖片與前述第2圖片來辨識前述使用者的表情。

Description

表情辨識系統、表情辨識方法及表情辨識程式
本發明係有關於頭戴式顯示器。
已知有一種技術係將近紅外線等非可見光照射至使用者的眼部，並藉由解析包含其反射光之使用者眼部的圖片來檢測使用者之視線方向的技術。檢測出之使用者的視線方向資訊，係例如反映到PC或遊戲機等的顯示器，作為指向裝置使用的情形也開始變得具現實性。 先行技術文獻 專利文獻
專利文獻1：日本國特開平第2-264632號公報 非專利文獻
非專利文獻1：URL：http://www.hao-li.com/publications/papers/siggraph2015FPSHMD.pdf(2015年11月24日)
發明欲解決之課題 有的頭戴式顯示器具有對配戴的使用者展現三次元影像的功能。一般而言，頭戴式顯示器係以覆蓋使用者視野的方式配戴使用。然後，如上述，在將使用者的視線方向作為指向裝置使用的內容中，期望可提供更能引起使用者興趣的內容。
本發明係有鑑於上述需求而完成者，其目的在於提供一種頭戴式顯示器，可輸出用以提供更能引起使用者興趣之內容的資訊。
用以欲解決課題之手段 為了解決上述的課題，本發明的某態樣係具備頭戴式顯示器及表情辨識裝置的表情辨識系統；其中：頭戴式顯示器具有：第1攝影機，用以拍攝使用者眼部；第2攝影機，用以拍攝使用者口部；及輸出部，用以輸出藉由第1攝影機拍攝之第1圖片與藉由第2攝影機拍攝之第2圖片；表情辨識裝置具有：接收部，用以接收藉由輸出部輸出之第1圖片與第2圖片；及表情辨識部，用以根據第1圖片與第2圖片來辨識使用者的表情。
此外，頭戴式顯示器亦可更具有：光源，用於對使用者之眼部照射非可見光；及第3攝影機，用以拍攝由使用者之眼部反射的非可見光；其中，輸出部輸出第3攝影機拍攝之第3圖片；表情辨識裝置亦可更具有：視線檢測部，用以根據藉由接收部接收到之第3圖片，檢測使用者的視線方向。
表情辨識裝置亦可更具備：合成部，用以合成藉由接收部接收到之第1圖片與第2圖片以製作合成圖片；表情辨識部根據合成圖片辨識使用者的表情。
此外，第2攝影機亦可以可自由裝卸的方式裝設於頭戴式顯示器上。
此外，第2攝影機，在使用者配戴頭戴式顯示器的情況下，亦可以使視角成為可拍攝自使用者之鼻至肩為止之範圍的方式，裝設於頭戴式顯示器上。
此外，表情辨識裝置亦可更具有：姿勢推測部，用以根據藉由接收部接收到之第2圖片，推測使用者之姿勢。
此外，頭戴式顯示器亦可以覆蓋使用者眼部周圍，不覆蓋使用者口部的方式構成。
第1攝影機與第2攝影機係用以取得表示到拍攝對象為止距離之深度資訊的攝影機，表情辨識系統亦可更具備：虛擬使用者圖片產生部，用以根據第1攝影機拍攝到之使用者的眼部，與第2攝影機拍攝到之使用者的口部，識別使用者眼部與口部的三次元形狀，並根據所識別之三次元形狀，產生反映了使用者之虛擬使用者的眼部與口部形狀的虛擬使用者圖片。
另外，將以上之構成要素的任意組合、本發明的表現，於方法、裝置、系統、電腦程式、資料構造、記錄媒體等之間進行變換者，亦為有效的本發明態樣。 發明效果
根據本發明，即使為難以取得使用者完整臉部之臉部圖片的頭戴式顯示器，藉由分別拍攝使用者眼部與口部，並將此等合成的方式，便可進行表情辨識處理。藉此，可提供反映使用者表情的內容。
在如上述之頭戴式顯示器中，只要可辨識使用者的表情，便可提供更寫實且主動的內容。例如，可想到因應使用者的表情改變使用者控制之人物的表情，或改變表示於頭戴式顯示器之人物的對應等使用方法。
然而，現狀的頭戴式顯示器，一般而言，大多採用將使用者頭部的眼睛周圍覆蓋住的形狀。頭戴式顯示器會採用這種形狀的理由，係由於若採用全罩型，不僅會對使用者造成壓迫感，還會有頭戴式顯示器的重量增加，而對使用者造成負擔的問題。但，因為這樣的構造，使得在頭戴式顯示器內設置攝影機，雖可拍攝到使用者眼部周圍的圖片，但卻無法取得使用者完整的臉部圖片。
在如此形狀的頭戴式顯示器中，作為實現表情辨識的手法，有記載於非專利文獻1的技術。根據此文獻，藉由在頭戴式顯示器外部裝設彎曲型支架，並在裝設側之相反側載置攝影機的方式，拍攝使用者口部的圖片而實現表情辨識。但，本發明人等辨識到在非專利文獻1所示之形狀的情況，會因為裝設的彎曲型支架，使頭戴式顯示器整體的重心偏向使用者前方，而有在操作變得困難的同時，頭戴式顯示器整體的重量增加的問題。
此外，本發明人等亦辨識到儘管依照記載於非專利文獻1的技術，藉由肌電感測器(strain sensor)檢測使用者眼睛周圍表情肌的動作，實現眼睛周圍的表情辨識，但使用肌電感測器的手法不適合用於檢測使用者的視線。
在此，本發明人等發明了在現行覆蓋使用者視野類型的頭戴式顯示器中，於執行表情辨識的同時，亦可執行視線檢測的構成。以下，就關於本發明之頭戴式顯示器詳細進行說明。 用以實施本發明之形態
關於本發明態樣之一的表情辨識系統1，係具備頭戴式顯示器100及表情辨識裝置200的表情辨識系統；其中：頭戴式顯示器100具有第1攝影機181，用以拍攝使用者眼部；第2攝影機180，用以拍攝使用者口部；及輸出部118，用以輸出藉由第1攝影機拍攝之第1圖片與藉由第2攝影機拍攝之第2圖片；表情辨識裝置200具有：接收部220，用以接收藉由輸出部輸出之第1圖片與第2圖片；合成部222，用以合成藉由接收部接收到之第1圖片與第2圖片以製作合成圖片；表情辨識部223，用以根據合成圖片來辨識使用者的表情。
此外，頭戴式顯示器亦可更具有：光源103，用於對使用者之眼部照射非可見光；及第3攝影機161，用以拍攝由使用者之眼部反射的非可見光；其中，輸出部輸出第3攝影機拍攝之第3圖片，表情辨識裝置更具有：視線檢測部221，用以根據藉由接收部接收到之第3圖片，檢測使用者的視線方向。以下詳細進行說明。
圖1係模式性表示實施形態相關之表情辨識系統1概觀的圖。實施形態相關之表情辨識系統1包含頭戴式顯示器100及視線檢測裝置200。如圖1所示，頭戴式顯示器100係配戴於使用者300的頭部使用。
視線檢測裝置200係檢測配戴頭戴式顯示器100之使用者的右眼或左眼至少一方的視線方向，並識別使用者的焦點，亦即，識別使用者在表示於頭戴式顯示器之三次元圖片中所注視的場所。此外，視線檢測裝置200亦可作為產生頭戴式顯示器100所顯示之影像的影像產生裝置發揮功能。作為一例，視線檢測裝置200係可播放家用型遊戲機、攜帶型遊戲機、個人電腦、平板電腦、智慧型手機、平板手機、放影機、電視等之影像的裝置，但不受此限。視線檢測裝置200以無線或有線方式與頭戴式顯示器100連接。在圖1所示之例中，視線檢測裝置200係以無線方式與頭戴式顯示器100連接。視線檢測裝置200與頭戴式顯示器100的無線連接，可使用例如已知的Wi-Fi(登錄商標)或Bluetooth(登錄商標)等無線通訊技術實現。作為一例，頭戴式顯示器100與視線檢測裝置200之間的影像傳輸，係依照Miracast(商標)、WiGig(商標)或WHDI(商標)等規格來執行，但不受此限。
另外，圖1係表示在裝置與頭戴式顯示器100及視線檢測裝置200不同之情況的例。然而，視線檢測裝置200亦可內藏於頭戴式顯示器100。
頭戴式顯示器100係具備機殼150、配戴夾具160、耳機170、及攝影機180。機殼150收容有圖片顯示元件等用以對使用者提供影像的圖片顯示系統，與未圖示之Wi-Fi模組或Bluetooth(登錄商標)模組等無線傳輸模組。配戴夾具160將頭戴式顯示器100安裝至使用者300的頭部。配戴夾具160係可用皮帶或伸縮性之帶等實現。當使用者300使用配戴夾具160配戴頭戴式顯示器100時，機殼150被配置於將使用者300之眼部覆蓋住的位置。因此，當使用者300配戴頭戴式顯示器100時，使用者300的視野會被機殼150遮蔽。
耳機170係輸出視線檢測裝置200所播放之影像的聲音。耳機170亦可不被固定於頭戴式顯示器100。使用者300即使處於以配戴夾具160配戴頭戴式顯示器100的狀態，亦可自由戴脫耳機170。
攝影機18如圖1所示，被配置成當使用者300配戴頭戴式顯示器100時，可拍攝包含使用者一半臉部的圖片。亦即，被配置成其拍攝視角可拍攝到使用者300的臉下半部(自使用者的鼻下到使用者的肩膀為止)。亦即，拍攝如圖7(b)所示之第1圖片801。在本說明書中，將此圖片(包含使用者之臉下半部的圖片)稱為第1圖片。在圖1雖未圖示，但攝影機180係連接至後述之第1通訊部118。攝影機180所拍攝之第1圖片，藉由第1通訊部118，輸出至視線檢測裝置200。攝影機180可使用可見光攝影機或深度攝影機。在使用深度攝影機作為攝影機180的情況，由於可識別自攝影機180至拍攝對象為止的距離，因此可識別使用者之臉下半部的3次元形狀。另外，所謂深度攝影機係指可自攝影機取得至被攝物為止之深度資訊的攝影機，或可取得被攝物之3次元形狀的攝影機，深度攝影機的具體例可舉出立體攝影機、光場攝影機、使用結構光源的攝影機、使用立體光學法的攝影機等。
圖2係模式性表示實施形態相關之頭戴式顯示器100之圖片顯示系統130之概觀的斜視圖。更具體而言，圖2係表示在實施形態相關之機殼150中，當配戴頭戴式顯示器100時相對於使用者300之角膜302之區域的圖。
如圖2所示，左眼用凸透鏡114a係被配置成在使用者300配戴頭戴式顯示器100時，會位於與使用者300之左眼角膜302a相對的位置。相同地，右眼用凸透鏡114b係被配置成在使用者300配戴頭戴式顯示器100時，會位於與使用者300之右眼角膜302b相對的位置。左眼用凸透鏡114a與右眼用凸透鏡114b係分別被左眼用透鏡支持部152a與右眼用透鏡支持部152b握持住。
以下在本說明書中，除了特別要區分左眼用凸透鏡114a與右眼用凸透鏡114b的情況以外，僅記載｢凸透鏡114｣。相同地，除了特別要區分使用者300之左眼角膜302a與右眼角膜302b的情況以外，僅記載｢角膜302｣。左眼用透鏡支持部152a與右眼用透鏡支持部152b亦在除了特別要區分的情況以外記載為｢透鏡支持部152｣。
透鏡支持部152具備複數之紅外光源103。為了避免變得太過複雜，在圖2中將對使用者300之左眼角膜302a照射紅外光的紅外光源彙整表示為紅外光源103a，並將對使用者300之右眼角膜302b照射紅外光的紅外光源彙整表示為紅外光源103b。此外，除了特別要區分紅外光源103a與紅外光源103b的情況以外，僅記載｢紅外光源103｣。在圖2所示之例中，左眼用透鏡支持部152a具備6個紅外光源103a。相同地，右眼用透鏡支持部152b亦具備6個紅外光源103b。如此，藉由不直接將紅外光源103配置於凸透鏡114，而配置於握持凸透鏡114之透鏡支持部152，使紅外光源103地安裝變得容易。理由為一般而言由於透鏡支持部150係以樹脂等構成，因此要較由玻璃等構成之凸透鏡114更容易進行用以安裝紅外光源103的加工。
如上述，透鏡支持部152係握持凸透鏡114之構件。因此，透鏡支持部152所具備之紅外光源103被配置於凸透鏡114的周圍。另外，在此雖將對各眼部照射紅外光的紅外光源103設為6個，但此數目非受此所限，對應各眼部只要有至少1個以上即可，期望可配置2個以上。
圖3係模式性表示實施形態相關之機殼150收容之圖片顯示系統130之光學構成的圖，為自左眼側之側面觀看圖2所示之機殼150之情況的圖。圖片顯示系統130係具備紅外光源103、圖片顯示元件108、熱鏡112、凸透鏡114、攝影機116、第1通訊部118、及攝影機181。
紅外光源103係可照射近紅外光(700nm至2500nm左右)波長帶域之光的光源。近紅外光，一般而言，為使用者300之肉眼所無法觀測之非可見光波長帶域的光。
圖片顯示元件108係用以顯示提示給使用者300的圖片。圖片顯示元件108顯示的圖片，係視線檢測裝置200內之影像輸出部224產生的。關於影像輸出部224如後述。圖片顯示元件108係可使用例如已知之LCD(Liquid Crystal Display)或有機電激發光顯示器(Organic Electro Luminescence Display)來實現。
熱鏡112係於使用者300配戴頭戴式顯示器100時，被配置於圖片顯示元件108與使用者300的角膜302之間。熱鏡112具有可透射圖片顯示元件108產生之可見光，但反射近紅外光的性質。
凸透鏡114相對於熱鏡112，被配置於圖片顯示元件108的相反側。換言之，凸透鏡114，在使用者300配戴頭戴式顯示器100時，被配置於熱鏡112與使用者300的角膜302之間。亦即，凸透鏡114在頭戴式顯示器100被配戴至使用者300時，被配置在與使用者300之角膜302相對的位置。
凸透鏡114對穿透熱鏡112的圖片顯示光進行聚焦。因此，凸透鏡114會發揮作為將圖片顯示元件108產生的圖片放大並提出給使用者300之圖片放大部的功能。另外，為方便說明，在圖2僅顯示一個凸透鏡114，但凸透鏡114可為組合各種透鏡所構成之透鏡群，亦可為單側具曲率，另一側為平面的單凸透鏡。
複數之紅外光源103係被配置於凸透鏡114的周圍。紅外光源103係對使用者300的角膜302照射紅外光。
雖未圖示，但實施形態相關之頭戴式顯示器100的圖片顯示系統130係具備兩個圖片顯示元件108，可獨立產生用以提出給使用者300之右眼的圖片與用以提出給左眼的圖片。因此，實施形態相關之頭戴式顯示器100，可對使用者300之右眼與左眼，分別提出右眼用的視差圖片與左眼用的視差圖片。藉此，實施形態相關之頭戴式顯示器100，可對使用者300提出具深度感的立體影像。
如上述，熱鏡112會透射可見光，反射近紅外光。因此，圖片顯示元件108照射的圖片光會透射熱鏡112到達使用者300的角膜302。此外照射自紅外光源103，在凸透鏡114之內部的反射區域被反射的紅外光，會到達使用者300的角膜302。
到達使用者300之角膜302的紅外光，於使用者300的角膜302被反射，再次朝凸透鏡114的方向前進。此紅外光透射凸透鏡114，於熱鏡112被反射。攝影機116具備遮斷可見光的濾鏡，拍攝於熱鏡112被反射的近紅外光。亦即，攝影機116為拍攝照射自紅外光源103，於使用者300的眼部被角膜反射之近紅外光的近紅外光攝影機。
另外，雖未圖示，但實施形態相關之頭戴式顯示器100之圖片顯示系統130，係具備兩個攝影機116，亦即具備拍攝包含在右眼被反射之紅外光之圖片的第1拍攝部，及包含在左眼被反射之紅外光之圖片的第2拍攝部。藉此，可取得用以檢測使用者300之右眼及左眼兩方之視線方向的圖片。另外，關於使用者的視線，在不需要關於深度方向之焦點座標資訊的情況，只要檢測任意一方的視線便已足夠。
第1通訊部118係將攝影機116攝影的圖片，輸出至檢測使用者300之視線方向的視線檢測裝置200。具體而言，第1通訊部118係將攝影機116拍攝的圖片傳輸至視線檢測裝置200。關於發揮視線方向檢測部功能之視線檢測部221的詳細內容如後述，其係藉由視線檢測裝置200之CPU(中央處理單元)所執行的視線檢測程式而得以實現。另外，在頭戴式顯示器100具有CPU或記憶體等計算資源的情況，頭戴式顯示器100的CPU亦可執行實現視線方向檢測部的程式。
詳細內容如後述，在攝影機116拍攝的圖片上，會拍到被使用者300之角膜302反射之近紅外光造成的亮點，及包含以近紅外光波長帶域觀察之使用者300之角膜302的眼部圖片。
以上已對實施形態相關之圖片顯示系統130中主要用以對使用者300之左眼提出圖片的構成進行說明，用以對使用者300之右眼提出圖片的構成與上述相同。
到此為止為用以在頭戴式顯示器實現視線檢測的光學構成，但在本實施形態相關之頭戴式顯示器中，亦具備用以實現辨識使用者表情之表情辨識的光學構成。具體而言，如圖3所示，頭戴式顯示器100具備用以拍攝使用者眼部周圍的攝影機181。
攝影機181係拍攝使用者眼部周圍的攝影機，使用可見光攝影機或深度攝影機。在使用深度攝影機作為攝影機181的情況，由於可指定自攝影機181至拍攝對象為止的距離，因此可識別使用者之臉下半部的3次元形狀。如圖3所示，攝影機181位於頭戴式顯示器內，位於隔著凸透鏡114拍攝正對此凸透鏡114之使用者眼部的位置，被配置於不會妨礙注視圖片顯示元件108之使用者視野的位置。在圖3中配置於圖片顯示系統130的上部，但攝影機181只要為不會妨礙使用者視野的位置，並可拍攝使用者眼部周圍的位置，亦可配置於下部或左右，不必配置於上部。在圖3中，為了讓圖式清楚而未圖示，但攝影機181係被連接至第1通訊部118，將攝影機181拍攝的圖片傳輸至第1通訊部118。然後，第1通訊部118將攝影機181拍攝的圖片輸出至視線檢測裝置200。以下，在本說明書中，將攝影機181拍攝之使用者眼部周圍的圖片稱為第2圖片。
圖4係表示表情辨識系統1相關之頭戴式顯示器100與視線檢測裝置200的方塊圖。如圖4所示，另外，如上述，表情辨識系統1係包含彼此進行通訊的頭戴式顯示器100與視線檢測裝置200。
如圖4所示，頭戴式顯示器100係具備第1通訊部118、顯示部121、紅外光照射部122、圖片處理部123、及拍攝部124。
第1通訊部118係具有執行與視線檢測裝置200之第2通訊部220通訊之功能的通訊介面。如上述，第1通訊部118係藉由有線通訊或無線通訊執行與第2通訊部220的通訊。可使用的通訊規格之例如上述。第1通訊部118將傳輸自攝影機116或圖片處理部123之使用於視線檢測的圖片資料傳輸至第2通訊部220。此外，第1通訊部118將傳輸自視線檢測裝置200的三次元圖片資料傳遞至顯示部121。第1通訊部118係對攝影機116拍攝之用以檢測視線的圖片，與第1圖片及第2圖片，分別賦予可做為區別之ID，並傳送至表情辨識裝置200。
顯示部121係具有將傳遞自第1通訊部118之三次元圖片資料顯示於顯示元件108的功能。三次元圖片資料係包含右眼用視差圖片與左眼用視差圖片，此等為視差圖片對。
紅外光照射部122控制紅外光源103，對使用者的右眼或左眼照射紅外光。
圖片處理部123係因應必要，對攝影機116拍攝的圖片進行圖片處理，傳遞至第1通訊部118。
拍攝部124係使用右眼用攝影機116與左眼用攝影機117，拍攝含有在各眼睛被反射之近紅外光的圖片。拍攝部124將拍攝所得之圖片，傳遞至第1通訊部118或圖片處理部123。此外，拍攝部124將使用攝影機180拍攝的圖片，與使用攝影機181拍攝的圖片，傳遞至第1通訊部118或圖片處理部123。
如圖4所示，視線檢測裝置200係具備第2通訊部220、視線檢測部221、合成部222、表情辨識部223、影像輸出部224、及儲存部225。
第2通訊部220係具有執行與頭戴式顯示器100之第1通訊部118進行通訊之功能的通訊介面。如上述，第2通訊部220係藉由有線通訊或無線通訊執行與第1通訊部118的通訊。第2通訊部220在接收到關於用以檢測視線之左眼圖片或右眼圖片之資料的情況，將此資料傳遞至視線檢測部221。此外，第2通訊部220在接收到關於使用者臉部圖片之資料(使用者眼部周圍的圖片，或使用者臉下半部的圖片)，亦即在接收到關於第1圖片或第2圖片的情況，將此資料傳遞至合成部222。
視線檢測部221係自第2通訊部220接受使用者右眼之視線檢測用圖片資料，檢測出使用者右眼的視線方向。視線檢測部221係使用後述之手法，算出表示使用者右眼視線方向的右眼視線向量。
相同地，視線檢測部221係自第2通訊部220接受使用者左眼之視線檢測用圖片資料，檢測出使用者左眼的視線方向。視線檢測部221係使用後述之手法，算出表示使用者左眼視線方向的左眼視線向量。
視線檢測部221係根據使用者的右眼視線向量與左眼視線向量，識別出包含深度方向資訊的使用者注視焦點座標。另外，視線檢測部221在僅使用右眼或左眼任意一方之圖片的情況，識別出不包含深度方向資訊的使用者注視焦點座標。
合成部222係傳遞自使用第2通訊部220之第1圖片及第2圖片製作合成圖片。合成部222係預先維持關於合成第1圖片與第2圖片之位置關係的資訊，以符合此位置關係的方式合成第1圖片及第2圖片。另外，關於此位置關係，係因應攝影機180、181各自之攝影機視角與拍攝範圍、到使用者為止的距離等而決定。合成部222係可藉由被合成之第1圖片及第2圖片，獲得簡易的使用者臉部圖片。合成部222係將合成所得的使用者臉部圖片傳遞至表情辨識部223。
表情辨識部223係基於傳遞自合成部222之表示使用者臉部的合成圖片，執行表情辨識處理。表情辨識處理係指選取用以識別使用者擺出何種表情之臉部圖片特徵點的處理，此處理亦可含有識別自使用者表情推測感情的處理。使用臉部圖片的表情辨識手法，例如有自臉部圖片提出特徵點，並使用型樣匹配的表情推測方法，可使用此方法。表情辨識部223係將經推測之使用者300的表情傳遞至影像輸出部224。
影像輸出部224係產生顯示於頭戴式顯示器100之顯示部121的三次元圖片資料，並傳遞至第2通訊部220。此外，影像輸出部224係產生用以檢測視線之校準用標記圖片資料，並傳遞至第2通訊部220。影像輸出部224係維持表示輸出之三次元圖片之座標系及在此座標系所顯示物件之三次元座標的資訊。
此外，影像輸出部224亦具有將顯示於頭戴式顯示器100之顯示部的動畫或遊戲圖片等輸出的功能。例如，影像輸出部224在具有將使用者300操作之人物的圖片(虛擬使用者圖片)輸出之功能的情況，產生並輸出適合表情辨識部223所推測之表情的表情圖片。此外，或者，例如影像輸出部224在使用者300與藉由影像輸出部224輸出而顯示至頭戴式顯示器100之人物進行會話的情況，產生並輸出因應使用者300被推測之表情表示反應的人物圖片。
儲存部225係儲存視線檢測裝置200運作所必需之各種程式或資料的記錄媒體。
接著，說明關於與實施形態相關之視線方向的檢測。
圖5係說明實施形態相關之用以檢測視線方向之校準的模式圖。使用者300之視線方向係藉由視線檢測裝置200內之視線檢測部221解析在攝影機116拍攝後經第1通訊部118輸出至視線檢測裝置200的影像而得以實現。
影像輸出部224係產生如圖5所示之點Q1 至Q9 的9個點(標記圖片)，並顯示於頭戴式顯示器100的圖片顯示元件108。視線檢測裝置200係令使用者依序注視點Q1 至點Q9 。此時，使用者300被要求盡可能不轉動脖子而僅靠眼球的移動來注視各點。攝影機116係拍攝使用者300在注視點Q1 至Q9 的9個點時，包含使用者300之角膜302的圖片。
圖6係說明使用者300之角膜302之位置座標的模式圖。視線檢測裝置200內之視線檢測部221係解析攝影機116拍攝的圖片，檢測出來自於紅外光的亮點105。當使用者300僅靠眼球的移動來注視各點時，即使在使用者注視認意一點的情況，亮點105的位置應該也不會移動。在此視線檢測部221係根據被檢測出的亮點105，於攝影機116拍攝之圖片中設定2次元座標系306。
視線檢測部221另藉由解析攝影機116拍攝之圖片，檢測出使用者300之角膜302的中心P。此係可藉由使用霍夫轉換或邊緣選取處理等已知的圖片處理來實現。藉此，視線檢測部221係可取得已設定之2次元座標系306中之使用者300角膜302之中心P的座標。
在圖5中，將被設定於圖片顯示元件108所顯示之顯示畫面的2次元座標系之點Q1 至點Q9 的座標分別定為Q1 (x1 , y1 )T , Q2 (x2 , y2 )T ,……, Q9 (x9 , y9 )T 。各座標係例如為位於各點中心之像素的號碼。此外，當使用者300注視點Q1 至Q9 時，將使用者300之角膜302的中心P，分別定為點P1 至P9 。此時，令2次元座標系306中之點P1 至P9 的座標分別為P1 (X1 , Y1 )T , P2 (X2 , Y2 )T ,……, P9 (X9 , Y9 )T 。另外，T表示向量或矩陣的轉置。
在此，用如以下通式(1)的方式定義2x2大小的矩陣M。
[數1]
此時，只要矩陣M滿足以下的通式(2)矩陣M便會成為投影至圖片顯示元件108顯示在使用者300視線方向之圖片面的矩陣。 PN =MQN (N=1,……, 9) (2)
具體地改寫上述通式(2)便會成為以下的通式(3)。
[數2]將通式(3)變形會得到以下的通式(4)
[數3]在此，
[數4]如此定義則獲得以下的通式(5)。 y=Ax (5)
在通式(5)中，向量y的要素由於為視線檢測部221令圖片顯示元件108顯示之點Q1 至Q9 因此為已知。此外，矩陣A的要素由於為使用者300之角膜302的頂點P因此可取得。因此，視線檢測部221可取得向量y及矩陣A。另外，排列出轉換矩陣M之要素的向量x為未知。因此，推斷矩陣M的問題，在向量y與矩陣A為已知時，為求未知向量x的問題。
通式(5)係只要通式的數(亦即，視線檢測部221在校準時對使用者300提示之點Q的數)較未知數的數(亦即向量x的要素數4)多，便會成為超定問題。在通式(5)所示之例中，由於通式的數為9個，因此為超定問題。
令向量y與向量Ax的誤差向量為向量e。亦即，e=y-Ax。此時，在令向量e之要素的平方和為最小的意義下，向量xopt 係用以下的通式(6)求得。 xopt =(AT A)-1 AT y (6) 在此「-1」表示逆矩陣。
視線檢測部221係藉由使用求得之xopt 的要素，構成通式(1)的矩陣M。藉此，視線檢測部221係可藉由使用使用者300角膜302之頂點P的座標與矩陣M，根據通式(2)，以2次元的範圍推斷使用者300的右眼注視著圖片顯示元件108所顯示之影像或圖片上的何處。藉此，視線檢測部221可算出將圖片顯示元件108上之右眼注視點，與使用者右眼角膜之頂點連結起來的右眼視線向量。以同樣的方式，藉由使用拍攝有使用者左眼所反射之近紅外光的圖片，可算出將圖片顯示元件108上之左眼注視點，與使用者左眼角膜之頂點連結起來的左眼視線向量。
然後，視線檢測部221可使用右眼的視線向量與左眼的視線向量，檢測出其交點作為使用者的焦點。在兩視線向量沒有交點的情況，亦可使用其他手法，例如連結在兩視線向量中兩視線向量間距離最近的點，並將所得之線的中點作為焦點，或者假定在深度方向有平面，識別此平面與兩視線向量的交點，並將其交點彼此連結之線的中點作為焦點。另外，即使只有任意一方的視線向量，亦可識別所顯示之3D圖片平面上的注視位置(不含深度資訊的注視座標位置)。
＜動作＞ 從這裡開始，要說明在表情辨識系統1中與表情辨識相關的動作。圖9係表示顯示表情辨識系統1之動作的流程圖。
如圖9所示，拍攝部124係驅動攝影機180，拍攝使用者臉下半部的圖片，亦即拍攝第1圖片(步驟S901)。將藉由此拍攝所得之第1圖片701的圖片例表示於圖7(a)。拍攝部124將拍攝所得之第1圖片，傳遞至第1通訊部118。第1通訊部118將傳遞過來的第1圖片，傳送至表情辨識裝置200。
接著，拍攝部124係驅動攝影機181，拍攝使用者臉上半部(眼部周圍)的圖片，亦即拍攝第2圖片(步驟S902)。將藉由此拍攝所得之第2圖片702的圖片例表示於圖7(b)。拍攝部124將拍攝所得之第2圖片，傳遞至第1通訊部118。第1通訊部118將傳遞過來的第1圖片，傳送至表情辨識裝置200。
接收了第1圖片及第2圖片之表情辨識裝置200的第2通訊部220，係將第1圖片及第2圖片傳遞至合成部222。合成部222根據預定的演算法將傳遞過來的第1圖片701及第2圖片702合成，並產生表示使用者300臉部圖片的合成圖片(步驟S903)。將藉由此合成獲得之合成圖片801的圖片例表示於圖8。合成部222係將產生的合成圖片801傳遞至表情辨識部223。
表情辨識部223係根據預定的演算法，對傳遞過來的合成圖片801執行表情辨識處理，辨識、推斷使用者300的表情(步驟S904)。表情辨識部223係將經推斷之使用者300的表情資訊傳遞至影像輸出部224。
影像輸出部224係使用傳遞過來的表情資訊，反映至內容(步驟S905)。以上為關於表情辨識系統1之表情辨識的動作。
＜表情辨識的活用例＞ 在此，說明關於上述表情辨識系統所執行的表情辨識之內容反映方法。
藉由根據上述表情辨識部223之表情辨識可得到表情動作，或辨識使用者抱持著什麼樣的感情。因此，可想到如以下的應用方法。
(活用例1) 假定有藉由通訊連接複數之頭戴式顯示器與至少1台伺服器系統的通訊系統。然後，藉由此伺服器系統，提供有讓複數之人物行動的虛擬現實空間。配戴頭戴式顯示器之使用者們，係製作各自的虛擬使用者，並使用其虛擬使用者來去於虛擬現實空間所提供之虛擬世界。
在如此情況，藉由使用上述之頭戴式顯示器100推斷使用者300的表情，將使用者300的表情反映至對應的虛擬使用者。藉由如此方式，在可提供更接近現實之虛擬現實空間的同時，可令虛擬現實空間中的會話變得更加活潑。
(活用例2) 在活用例2中，亦假定為與活用例1相同的系統。然後，令伺服器系統操作無使用者操作的人物，亦即所謂的非玩家人物。
然後，在使用者使用自己的虛擬使用者，與這樣的非玩家人物進行會話的時候，藉由使用上述的頭戴式顯示器100，推斷使用者300的表情，並通知至伺服器系統的方式，將根據使用者表情作出的反應反映至非玩家人物。例如，在辨識出使用者在笑的情況，令非玩家人物也跟著笑，或感到害羞，而在辨識出使用者在生氣的情況，亦可令非玩家人物對使用者生氣，或是感到害怕。
(活用例3) 作為活用例3，假定影像輸出部224具有輸出使用者之虛擬使用者圖片功能的情況。此時，藉由將根據來自攝影機180之第1圖片所得的口部形狀直接反映至虛擬使用者圖片，並將基於來自攝影機181之第2圖片所得的眼部形狀直接反映至虛擬使用者圖片的方式，可實現擬真的虛擬使用者表現。圖13表示其例之一。在圖13(a)中，表示有攝影機180與攝影機181所拍攝的圖片1301、1302。如圖13(a)所示，可從被拍攝的圖片辨識出使用者感到驚訝的模樣。然後，影像輸出部224係如圖13(b)所示，輸出反映了視線檢測系統1辨識使用者感到驚訝之模樣的虛擬使用者圖片1303。此時，在使用深度攝影機作為攝影機180及攝影機181的情況，對產生3次元形狀的虛擬使用者圖片特別有效。
(活用例4) 活用例4可應用在用來觀察使用者對影像輸出部224輸出影像之反應的行銷上。亦即視線檢測系統1係將表示於視線檢測系統1之視線檢測裝置200檢測出的使用者視線方向前方之對象物識別出來，並基於表情辨識部223檢測出之使用者表情來推斷使用者對此對象物的感想。例如在辨識出使用者露出和藹表情的情況，可推斷對顯示對象物抱持好感，且在辨識出使用者露出厭惡表情的情況，可推斷對顯示對象物抱持反感。藉此，例如在顯示對象物為某種商品的情況，可收集使用者是否喜歡此商品的資訊，只要能自各種類型的使用者收集如此的資訊，便可進行什麼樣的商品才會受歡迎的行銷。
(活用例5) 活用例5可基於使用者對影像輸出部224輸出之影像所露出的表情來變更影響的內容。亦即，作為影像輸出部224所輸出的影像，在影像設定分歧點並準備自此分歧點衍生之不同的影像，亦即準備跟多重結局故事一樣，結局不同的影像。然後，可因應使用者對影像露出的表情是否具有好感，來決定對使用者輸出的影像，並輸出讓故事分歧的影像。藉此，可提供讓使用者更具好感的故事影像。
(活用例6) 作為活用例6，在影像輸出部224輸出遊戲圖片的情況，可基於使用者表情來變更遊戲的難易度。具體而言，在辨識出使用頭戴式顯示器100玩遊戲之使用者表情變得不快的情況，表示對使用者而言此遊戲太難，因此影像輸出部224降低遊戲難易度，輸出難易度下降的遊戲圖片。相反地，在辨識出使用者表情顯得游刃有餘的情況，表示對使用者而言此遊戲太簡單，因此影像輸出部224提高遊戲難易度，輸出難易度上升的遊戲圖片。另外，在此雖記載著影像輸出部224兼任遊戲引擎，但亦可在影像輸出部224之外另設遊戲引擎，令影像輸出部224將傳遞自遊戲引擎的圖片輸出至頭戴式顯示器100。
(活用例7) 作為活用例7，在進行利用頭戴式顯示器100之即時實況時，可基於使用攝影機180、181拍攝之圖片，以互動的方式使表示於頭戴式顯示器100的使用者圖片產生變化。
＜總結＞ 如上述，根據本發明相關之頭戴式顯示器，藉由以複數的攝影機分別拍攝不同部位，並進行合成的方式，可取得使用者臉部圖片。藉此，可進行表情辨識，可反映至各式各樣的內容。
＜補充＞ 本發明相關之表情辨識系統非受上述實施形態所限定，當然亦可藉由用以實現其發明思想的其他手法來實現。以下，說明包含本發明之思想的例子。
(1)在上述實施形態中，為了檢測出使用者300的視線，將拍攝以熱鏡112反射之影像作為拍攝使用者300眼睛的手法，但亦可不透過熱鏡112直接拍攝使用者300的眼睛。
(2)在上述實施形態中，為了進行使用者300的表情辨識，藉由分別以攝影機180、181拍攝第1圖片及第2圖片，獲得臉部之合成圖片的方式而得以實現。然而，進行使用者之表情辨識的手法，不限於此。
藉由檢測出使用者臉部表情肌的動作，可推斷使用者眼部周圍的動作，並應用於表情辨識。具體而言，頭戴式顯示器100，在使用者配戴頭戴式顯示器100時，亦可在接觸使用者眼部周圍的位置設置可識別使用者表情的接觸感應器，例如可設置肌電感應器。然後，表情辨識部223亦可根據表示接觸感應器檢測出之使用者眼部周圍動作的資料，辨識眼部周圍的表情。
(3)在上述實施形態中，僅停留在辨識使用者300的表情。但，依據以攝影機180之視角為基礎的拍攝範圍，亦可辨識關於表情以外之使用者300的狀態，並反映至各種內容。
例如，攝影機180亦可配置成可拍攝到使用者300的肩膀為止。如此一來，在合成部222將第1圖片及第2圖片合成所得之合成圖片1001上，如圖10所示，可獲得可辨識至使用者300之肩膀狀況為止的圖片。在圖10之合成圖片1001的情況，由於可解析出使用者300的左肩位於圖片的前側，因此例如在產生使用者300之虛擬使用者圖片的情況，可產生虛擬使用者的左肩傾向前側的圖片。
藉由以圖片辨識部223解析此圖片1001，可推斷使用者的身體姿勢。然後，亦可基於所推斷的身體姿勢，例如控制使用者操作之人物的姿勢。另外，亦可循其他途徑在表情辨識裝置200設置自合成圖片推斷使用者姿勢的姿勢推斷部。
另外，此解析利用使用了傳統圖片解析技術的人體姿勢推斷技術，例如無標記式動作擷取技術、利用表示使用者各種姿勢之樣本圖片的型樣匹配等。
(4)在上述實施形態中，攝影機180係被構建為設置於頭戴式顯示器100，但其亦可被構建為自由裝卸。將其中一例表示於圖11。
圖11(a)係自頭戴式顯示器100之上部觀察將攝影機180安裝於頭戴式顯示器100之例的斜視圖，圖11(b)係自頭戴式顯示器100之下部觀察的斜視圖。
如圖11(a)、(b)所示，攝影機180係被安裝在ㄈ字形的零件1101上。此外，頭戴式顯示器100係設置有滑溝1102。在零件1101的兩端部，設置有可嵌合至滑溝1102的凸部。然後，此凸部藉由滑動插入滑溝1102的方式將攝影機180裝配至頭戴式顯示器。此時，零件1101亦可被構建為以滑溝1102的數處進行固定。
在此情況，攝影機180亦可被構建為具有無線通訊功能，並由頭戴式顯示器100之第1通訊部118接收藉由攝影機180拍攝的第1圖片。
另外，圖11所示之安裝例僅為例子之一，當然也可以使用其他方法構建成自由裝卸。例如，可在頭戴式顯示器設置榫眼，於攝影機180側設置嵌合至此榫眼的榫頭並設計成自由裝卸，或者亦可藉由螺絲結合實現。
(5)上述實施形態中的攝影機180，亦可被以自由旋轉的方式設置於頭戴式顯示器100。亦即，攝影機180係可以如圖12所示的形態被設置於頭戴式顯示器100。
圖12係頭戴式顯示器100之側面，攝影機180被安裝之部位的擴大圖。如圖12所示，攝影機180係以藉由支撐部1202支撐之旋轉軸1201旋轉的方式，被安裝在頭戴式顯示器100。藉由以如此方式建構，可因應使用者的體格等，在拍攝第1圖片時調整成適切的角度進行拍攝。
此外，旋轉軸1201亦可被構建為可固定成預定的旋轉角。藉由如此構建的方式，即使使用者300移動，亦可使攝影機180不會改變拍攝的角度。再者，亦可在旋轉軸1201具備旋轉馬達，在拍攝時由拍攝部124控制此旋轉馬達，以便可拍攝到期望的第1圖片。此外，亦可用各種旋轉角拍攝複數的第1圖片，並將拍攝到的第1圖片及第2圖片在合成部222合成。藉由如此方式，可取得表示使用者300狀態之更大的圖片。
(6)雖然在上述實施形態中，例示了覆蓋使用者眼部周圍類型的頭戴式顯示器，但此係不受此限。例如，亦可為全罩型的頭戴式顯示器，在此情況，亦可具備複數用以拍攝使用者臉部的攝影機，以各自拍攝之圖片合成所得的臉部圖片來進行表情辨識。
(7)在上述實施形態中，以具備合成部222，合成攝影機180與攝影機181拍攝之圖片為前提，實現使用者的表情辨識。但，視線檢測系統1亦可不具備合成部222，基於攝影機180拍攝的圖片識別使用者口部的形狀，並基於攝影機181拍攝的圖片識別使用者眼部的形狀，然後基於分別獨立識別之眼與口的形狀而實現表情辨識。此外，在此情況，亦可在不進行表情辨識，由視線檢測系統1所具備之虛擬使用者圖片產生部產生使用者之虛擬使用者圖片的情況，將被部分檢測出之眼或口的形狀分別反映至各自的部位。亦即，例如，亦可基於攝影機180拍攝的圖片識別使用者的口部形狀，並僅將識別之口部形狀反映至虛擬使用者圖片。
此外，關於上述表情辨識，作為反映至虛擬使用者圖片的手法，亦可採用如以下的手法。儲存部225係亦可預先藉由將使用者表情分類的以下手法，實現用以進行視線檢測與表情辨識的拍攝動作。例如，準備生氣、厭惡、恐懼、幸福、悲傷、驚訝等分類，並儲存對表示因應各分類之表情的臉部圖片型樣(臉部各部位的配置或因應各種感情之表情所對應之部位的形狀型樣)附加對應的對應表。然後，表情辨識系統係亦可具備基於表情辨識部223辨識之表情所相當的分類，識別出對應所識別之分類的臉部圖片型樣，並產生將所識別之型樣反映至虛擬使用者圖片的虛擬者圖片產生部。
此時，在對應表中，各分類亦可對因應各表情(感情)之程度的臉部圖片型樣附加對應。例如，若例示關於生氣的分類，從「有點生氣」的狀態到「非常生氣」的狀態設定5個階段，在非常生氣的情況，可對眉毛挑起的幅度、嘴角往下的幅度、及臉頰漲起的幅度大於有點生氣之情況的臉部圖片型樣附加對應。此外，表情辨識部223對於所辨識之表情，亦就各分類判定其階段。此階段係基於攝影機181及攝影機180所拍攝之圖片，分別從眉梢的上下幅度、眼角的上下幅度、眼睛張開的幅度等及嘴角上下的幅度、嘴巴張開的幅度等進行判定。藉由如此方式，表情辨識系統可實現表情辨識，並反映至虛擬使用者圖片。
(8)雖然在上述實施形態中，攝影機116與攝影機181使用了不同的攝影機，但此等攝影機亦可使用共用的攝影機。例如，不使用攝影機181僅使用攝影機116，採用可見光攝影機作為攝影機116，藉由立體攝影機以3次元捕捉眼部，立體地捕捉眼球的形狀，並檢測出視線方向。在表情辨識直接使用此圖片。
此外，或者亦可使用具備以可見光模式拍攝與紅外光模式拍攝兩種功能的攝影機作為攝影機116，頭戴式顯示器100在進行視線檢測時以紅外光模式進行拍攝，在進行表情辨識時以可見光模式進行拍攝，以上述方式進行切換。此切換動作，例如可藉由切換紅外光濾通器、可見光濾通器來實現。
另外，在此雖然以不使用攝影機181而使用攝影機116的情況為例進行說明，但理所當然地亦可不使用攝影機116而使用攝影機181。在此情況，不必具備熱鏡112。
(9)此外，雖然在上述實施形態中，作為表情辨識手法，藉由表情辨識裝置200之處理器執行視線檢測程式等的方式，識別使用者注視的場所，但此係亦可藉由表情辨識裝置200中之積體電路(IC(Integrated Circuit)晶片、LSI(Large Scale Integration))等中形成的邏輯電路(硬體)或專用電路來實現。此外，此等電路可藉由1個或複數個的積體電路來實現，亦可藉由1個積體電路實現上述實施形態所示之複數功能部的功能。LSI係根據閘數量的不同，亦會被稱為VLSI、SLSI、ULSI等。
此外，上述視線檢測程式可被記錄於處理器可讀取之記錄媒體。記錄媒體為「非暫時性之有形媒體」，可使用例如磁帶、磁碟、卡、半導體記憶體、可程式邏輯電路等。此外，上述檢索程式亦可透過可傳送此檢索程式之任意的傳送媒體(通訊網路或廣播波等)供給至上述處理器。本發明係即使上述視線檢測程式為藉由電子傳輸被具體化，且被嵌入至載波中的資料信號形態亦得以實現。
另外，上述視線檢測程式係可使用例如ActionScript、JavaScript(登錄商標)、Python、Ruby等敘述語言；C語言、C++、C#、Objective-C、Java(登錄商標)等編譯程式語言等進行安裝。
(10)在上述實施形態中所示之構成，及記載於各補充之內容係可適當組合使用。 產業上的可利用性
此發明係可利用於頭戴式顯示器。
1‧‧‧表情辨識系統 100‧‧‧頭戴式顯示器 103a‧‧‧紅外光源(第2紅外光照射部) 103b‧‧‧紅外光源(第1紅外光照射部) 105‧‧‧亮點 108‧‧‧圖片顯示元件 112‧‧‧熱鏡 114、114a、114b‧‧‧凸透鏡 116‧‧‧攝影機 118‧‧‧第1通訊部 121‧‧‧顯示部 122‧‧‧紅外光照射部 123‧‧‧圖片處理部 124‧‧‧拍攝部 130‧‧‧圖片顯示系 150‧‧‧機殼 152、152a、152b‧‧‧透鏡支持部 160‧‧‧配戴夾具 170‧‧‧耳機 180、181‧‧‧攝影機 200‧‧‧表情辨識裝置 220‧‧‧第2通訊部 221‧‧‧視線檢測部 222‧‧‧合成部 223‧‧‧表情辨識部 224‧‧‧影像輸出部 225‧‧‧儲存部
圖1係表示使用者配戴實施形態相關之頭戴式顯示器之情況的外觀圖。 圖2係模式性表示實施形態相關之頭戴式顯示器之圖片顯示系統之概觀的斜視圖。 圖3係模式性表示實施形態相關之頭戴式顯示器之圖片顯示系統之光學構成的圖。 圖4係表示實施形態相關之頭戴式顯示器系統構成的方塊圖。 圖5係說明實施形態相關之用以檢測視線方向之校準的模式圖。 圖6係說明使用者角膜之位置座標的模式圖。 圖7(a)係實施形態相關之頭戴式顯示器系統拍攝之使用者眼睛周圍的圖片例。 圖7(b)係實施形態相關之頭戴式顯示器系統拍攝之使用者口部周圍的圖片例。 圖8係表示實施形態相關之頭戴式顯示器拍攝之使用者的合成圖片之例。 圖9係表示實施形態相關之頭戴式顯示器系統之動作的流程圖。 圖10係表示實施形態相關之頭戴式顯示器拍攝之使用者的合成圖片之例。 圖11(a)、(b)係表示在使攝影機可自由裝卸於頭戴式顯示器的情況下之構造的外觀圖。 圖12係表示將設置於頭戴式顯示器之攝影機160之攝影機角度進行變更之例的外觀圖。 圖13(a)係拍攝使用者的圖片。 圖13(b)係將拍攝之使用者的表情反映至虛擬使用者圖片的圖片。
1‧‧‧表情辨識系統
100‧‧‧頭戴式顯示器
150‧‧‧機殼
160‧‧‧配戴夾具
170‧‧‧耳機
180‧‧‧攝影機
200‧‧‧表情辨識裝置
300‧‧‧使用者

Claims (12)

  1. 一種表情辨識系統，係具備一頭戴式顯示器及一表情辨識裝置，其中： 前述頭戴式顯示器具有： 一第1攝影機，用以拍攝使用者眼部； 一第2攝影機，用以拍攝使用者口部；及 一輸出部，用以輸出藉由前述第1攝影機拍攝之第1圖片與藉由前述第2攝影機拍攝之第2圖片； 前述表情辨識裝置具有： 一接收部，用以接收藉由前述輸出部輸出之前述第1圖片與前述第2圖片；及 一表情辨識部，用以根據前述第1圖片與前述第2圖片來辨識前述使用者的表情。
  2. 如申請專利範圍第1項之表情辨識系統，其中前述頭戴式顯示器係更具有： 一光源，用於對前述使用者之眼部照射非可見光；及 一第3攝影機，用以拍攝由前述使用者之眼部反射的前述非可見光；其中， 前述輸出部輸出前述第3攝影機拍攝之第3圖片， 前述表情辨識裝置更具有： 一視線檢測部，用以根據藉由前述接收部接收到之前述第3圖片，檢測前述使用者的視線方向。
  3. 如申請專利範圍第1或2項之表情辨識系統，其中前述表情辨識裝置係更具備： 一合成部，用以合成藉由前述接收部接收到之前述第1圖片與前述第2圖片以製作合成圖片； 前述表情辨識部根據前述合成圖片辨識前述使用者的表情。
  4. 如申請專利範圍第1至3項中任一項之表情辨識系統，其中前述第2攝影機係以可自由裝卸的方式裝設於前述頭戴式顯示器上。
  5. 如申請專利範圍第1至3項中任一項之表情辨識系統，其中前述第2攝影機係在前述使用者配戴前述頭戴式顯示器的情況下，以使視角成為可拍攝自前述使用者之鼻至肩為止之範圍的方式，裝設於前述頭戴式顯示器上。
  6. 如申請專利範圍第1至5項中任一項之表情辨識系統，其中前述表情辨識裝置更具有： 一姿勢推測部，用以根據藉由前述接收部接收到之前述第2圖片，推測前述使用者之姿勢。
  7. 如申請專利範圍第1至6項中任一項之表情辨識系統，其中前述頭戴式顯示器係以覆蓋使用者眼部周圍，不覆蓋使用者口部的方式構成。
  8. 如申請專利範圍第1至7項中任一項之表情辨識系統，其中前述第1攝影機與前述第2攝影機係用以取得表示到拍攝對象為止距離之深度資訊的攝影機； 前述表情辨識系統更具備： 一虛擬使用者圖片產生部，用以根據前述第1攝影機拍攝到之使用者的眼部，與前述第2攝影機拍攝到之使用者的口部，識別使用者眼部與口部的三次元形狀，並根據所識別之三次元形狀，產生反映了使用者之虛擬使用者的眼部與口部形狀的虛擬使用者圖片。
  9. 如申請專利範圍第1至7項中任一項之表情辨識系統，其中前述表情辨識裝置更具備： 一儲存部，用以儲存一對應表，其中因應複數的表情分類，儲存有臉部圖片的模式；其中， 前述表情辨識部根據前述第2圖片辨識使用者的表情屬於什麼分類， 前述表情辨識系統更具備： 一虛擬使用者圖片產生部，用以參照前述對應表，識別前述表情辨識部辨識之表情所對應之臉部圖片模式，並根據所識別之臉部圖片模式產生前述使用者的虛擬使用者圖片。
  10. 如申請專利範圍第2至9項中任一項之表情辨識系統，其中前述第1攝影機與第3攝影機係相同的攝影機。
  11. 一種表情辨識方法，係藉由包含頭戴式顯示器與表情辨識裝置之表情辨識系統進行，其中前述表情辨識方法係包含以下各步驟： 一第1照相步驟，藉由前述頭戴式顯示器拍攝表示使用者之眼部的第1圖片； 一第2照相步驟，藉由前述頭戴式顯示器拍攝表示前述使用者之口部的第2圖片； 一合成步驟，藉由前述表情辨識裝置將前述第1圖片與前述第2圖片合成，製作合成圖片；及 一辨識步驟，根據前述合成圖片，辨識前述使用者的表情。
  12. 一種表情辨識程式，係使表情辨識裝置之電腦實現以下功能： 一第1取得功能，取得表示藉由頭戴式顯示器拍攝到之使用者眼部的第1圖片； 一第2取得功能，取得表示藉由頭戴式顯示器拍攝到之使用者口部的第2圖片； 一合成功能，將前述第1圖片與前述第2圖片合成，製作合成圖片；及 一辨識功能，根據前述合成圖片，辨識前述使用者的表情。
TW106100229A 2016-01-13 2017-01-05 表情辨識系統、表情辨識方法及表情辨識程式 TW201732499A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050869 WO2017122299A1 (ja) 2016-01-13 2016-01-13 表情認識システム、表情認識方法及び表情認識プログラム

Publications (1)

Publication Number Publication Date
TW201732499A true TW201732499A (zh) 2017-09-16

Family

ID=59311772

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106100229A TW201732499A (zh) 2016-01-13 2017-01-05 表情辨識系統、表情辨識方法及表情辨識程式

Country Status (6)

Country Link
US (1) US20190012528A1 (zh)
JP (1) JP6845982B2 (zh)
KR (1) KR20180102591A (zh)
CN (1) CN108604291A (zh)
TW (1) TW201732499A (zh)
WO (1) WO2017122299A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680309B (zh) * 2018-02-12 2019-12-21 大陸商北京七鑫易維信息技術有限公司 匹配光源與光斑的方法和裝置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
EP3538946B1 (en) 2016-11-11 2023-02-15 Magic Leap, Inc. Periocular and audio synthesis of a full face image
CN116541498A (zh) 2018-01-04 2023-08-04 微软技术许可有限责任公司 在会话中提供情感关怀
CN111279390B (zh) * 2018-02-06 2023-11-07 惠普发展公司，有限责任合伙企业 用于构建用户面部图像的装置和方法以及介质
JP7344894B2 (ja) 2018-03-16 2023-09-14 マジック リープ， インコーポレイテッド 眼追跡カメラからの顔の表情
US10509467B1 (en) * 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
KR102664589B1 (ko) * 2018-09-11 2024-05-10 현대자동차주식회사 감정 분류 장치 및 감정 분류 장치의 제어 방법
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
JP6672414B1 (ja) * 2018-10-02 2020-03-25 株式会社スクウェア・エニックス 描画プログラム、記録媒体、描画制御装置、描画制御方法
KR20200060120A (ko) 2018-11-22 2020-05-29 연세대학교 산학협력단 헤드셋 사용자 표정인식방법
WO2020170083A1 (en) 2019-02-22 2020-08-27 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
EP4150520A4 (en) * 2020-05-15 2024-05-22 Cornell University WEARABLE DEVICES FOR FACIAL EXPRESSION RECOGNITION
CN111709302B (zh) * 2020-05-21 2023-08-25 青岛小鸟看看科技有限公司 人脸表情检测方法、装置、头戴显示设备及存储介质
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements
CN113822971A (zh) * 2021-10-22 2021-12-21 小派科技（上海）有限责任公司 体态虚拟图像的生成方法及其装置、系统及虚拟现实设备
GB2621868A (en) * 2022-08-25 2024-02-28 Sony Interactive Entertainment Inc An image processing method, device and computer program
JP7339420B1 (ja) 2022-12-20 2023-09-05 カバー株式会社 プログラム、方法、情報処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3464754B2 (ja) * 1997-09-19 2003-11-10 日本電信電話株式会社 ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
JP4898026B2 (ja) * 2001-06-29 2012-03-14 本田技研工業株式会社 ステレオカメラを使用した顔・視線認識装置
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
JP4865517B2 (ja) * 2006-12-05 2012-02-01 スズキ株式会社 頭部の位置・姿勢検出装置
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP5632100B2 (ja) * 2011-11-24 2014-11-26 株式会社Ｎｔｔドコモ 表情出力装置及び表情出力方法
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
NZ712192A (en) * 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
JP6330258B2 (ja) * 2013-05-15 2018-05-30 セイコーエプソン株式会社 虚像表示装置
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
KR102206382B1 (ko) * 2013-07-05 2021-01-22 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
JP2015092646A (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US9867546B2 (en) * 2015-06-14 2018-01-16 Facense Ltd. Wearable device for taking symmetric thermal measurements
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680309B (zh) * 2018-02-12 2019-12-21 大陸商北京七鑫易維信息技術有限公司 匹配光源與光斑的方法和裝置

Also Published As

Publication number Publication date
JPWO2017122299A1 (ja) 2018-11-15
US20190012528A1 (en) 2019-01-10
WO2017122299A1 (ja) 2017-07-20
KR20180102591A (ko) 2018-09-17
JP6845982B2 (ja) 2021-03-24
CN108604291A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
TW201732499A (zh) 表情辨識系統、表情辨識方法及表情辨識程式
US20230324684A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN110908503B (zh) 跟踪设备的位置的方法
JP6813501B2 (ja) 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ
KR102408318B1 (ko) 실세계 객체들의 가상 표현들
US9105210B2 (en) Multi-node poster location
CN106575039B (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US9035970B2 (en) Constraint based information inference
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
US9094576B1 (en) Rendered audiovisual communication
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
JP6027764B2 (ja) ミラーシステム、および、その制御方法
TW201804314A (zh) 影像顯示系統、影像顯示方法、影像顯示程式
TW201812432A (zh) 外部拍攝系統、外部拍攝方法及外部拍攝程式
CN107209851A (zh) 相对于摄像机和显示器的用户定位的实时视觉反馈
TW201802642A (zh) 視線檢測系統
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
CN111226187A (zh) 通过镜子与用户交互的系统和方法
JP2014086775A (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
US20180373414A1 (en) Method for communicating via virtual space, program for executing the method on computer, and information processing apparatus for executing the program
JP2018000308A (ja) 映像表示装置システム、心拍特定方法、心拍特定プログラム
TW201915711A (zh) 圖像顯示系統、圖像顯示方法及圖像顯示程式
JP2018107695A (ja) 推定システム、推定方法及び推定プログラム
JP2014086773A (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法