JP7056055B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP7056055B2
JP7056055B2 JP2017186766A JP2017186766A JP7056055B2 JP 7056055 B2 JP7056055 B2 JP 7056055B2 JP 2017186766 A JP2017186766 A JP 2017186766A JP 2017186766 A JP2017186766 A JP 2017186766A JP 7056055 B2 JP7056055 B2 JP 7056055B2
Authority
JP
Japan
Prior art keywords
information
display
image
display image
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017186766A
Other languages
English (en)
Other versions
JP2019061557A (ja
Inventor
佑介 山浦
誓哉 稲木
一成 橋本
英剛 出雲
忠秋 佐藤
哲平 青木
大輔 安岡
宏 梅基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017186766A priority Critical patent/JP7056055B2/ja
Priority to US16/136,292 priority patent/US11194535B2/en
Publication of JP2019061557A publication Critical patent/JP2019061557A/ja
Application granted granted Critical
Publication of JP7056055B2 publication Critical patent/JP7056055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
近年、現実世界環境の実際の直視を可能にし、同時に仮想物体の画像をエンドユーザの視野に投影し、それによりエンドユーザによって知覚される現実世界環境を、仮想物体を用いて拡張する電子デバイスが提案されている（例えば、特許文献１参照。）。
特許文献１に記載された電子デバイスは、個々に識別され、又は特定のグループに所属するものとして識別され得る特定の人物がＨＭＤ（ヘッドマウントディスプレイ）の視野内に存在する場合、又は特定の人物がＨＭＤから特定の距離内に存在する場合、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を、ＨＭＤのユーザに対して生成および表示するものである。
特表２０１６－５０６５６５号公報
本発明の課題は、対象者が発言した履歴情報に基づいて生成した表示画像を表示装置に仮想的に表示することができる情報処理装置、情報処理システム及びプログラムを提供することにある。
［１］対象者が発言した会話の履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段と、を備え、
前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、情報処理装置。
［２］前記対象者が発言した前記履歴情報は、現在行われているイベントへの参加者が発言した履歴情報であり、
前記生成手段が生成する前記表示画像は、前記参加者の発言に関する情報を含む、前記［１］に記載の情報処理装置。
［３］前記発言に関する情報は、発言回数又は発言時間に基づいて求まる発言量である、前記［２］に記載の情報処理装置。
［４］前記生成手段が生成する前記表示画像は、前記イベントの進捗を示す進捗情報を含む、前記［２］に記載の情報処理装置。
［５］前記生成手段が生成する前記表示画像は、前記表示装置の使用者との間、及び前記対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者に関する情報を含む、前記［１］に記載の情報処理装置。
［６］前記生成手段が生成する前記表示画像は、予定の会話の情報を含む、前記［１］から［５］のいずれかに記載の情報処理装置。
［７］前記生成手段が生成する前記表示画像は、前記対象者の内面的な情報を含む、前記［１］から［６］のいずれかに記載の情報処理装置。
［８］前記生成手段が生成する前記表示画像は、前記対象者の属性情報を含む、前記［１］から［７］のいずれかに記載の情報処理装置。
［９］現実空間に仮想空間の画像が重なるように表示する表示装置と、
対象者が発言した会話の履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記表示装置に指示する指示手段と、を備え、
前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、情報処理システム。
［１０］現実空間に仮想空間の画像が重なるように表示するとともに、音声入力部を有する第１の表示装置及び第２の表示装置と、
前記第２の表示装置を使用する者であって、現在行われているイベントへの参加者が発言して前記音声入力部により入力された会話の履歴情報に基づいて前記参加者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、を備え、
前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、情報処理システム。
［１１］現実空間に仮想空間の画像が重なるように表示する第１の表示装置及び第２の表示装置と、
前記第１の表示装置を使用する第１の者の会話の履歴情報に基づいて前記第１の者の発言に関する情報を含む第１の表示画像を生成し、前記第２の表示装置を使用する第２の者の会話の履歴情報に基づいて前記第２の者の発言に関する情報を含む第２の表示画像を生成する生成手段と、
生成された前記第１の表示画像を前記仮想空間の画像として表示するように前記第２の表示装置に指示し、生成された前記第２の表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、を備え、
前記生成手段が生成する前記第１の表示画像は、前記第１の者の前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含み、前記生成手段が生成する前記第２の表示画像は、前記第２の者の前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、情報処理システム。
［１２］コンピュータを、対象者が発言した会話の履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段として、機能させるためのプログラムであって、
前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、プログラム。
請求項１、９～１２に係る発明によれば、対象者が発言した履歴情報に基づいて生成した表示画像を表示装置に仮想的に表示することができ、対象者が発言した会話の特徴を認識することができる。
請求項２に係る発明によれば、表示装置を使用する者がイベントに参加した参加者の発言に関する情報を認識することができる。
請求項３に係る発明によれば、表示装置を使用する者がどの参加者が発言量が少ないかを認識することができる。
請求項４に係る発明によれば、イベントの進捗状況を見ながらイベントの進行をスムーズに進めることができる。
請求項５に係る発明によれば、表示装置を使用する者が対象者と他の対象者との間でされた会話を認識することができる。
請求項６に係る発明によれば、予定の会話の情報を見ながら対象者と会話することができる。
請求項７に係る発明によれば、対象者は表示装置を使用する者のみに内面的な情報を伝えることができる。
請求項８に係る発明によれば、対象者の属性情報を話すきっかけにすることができる。
図１（ａ）は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図、図１（ｂ）は、ヘッドマウントディスプレイ装置の一例を示す外観図である。 図２は、ＨＭＤ装置の制御系の一例を示す図である。 図３は、情報処理装置の制御系の一例を示すブロック図である。 図４は、ユーザ属性テーブルの一例を示す図である。 図５は、会話履歴テーブルの一例を示す図である。 図６は、仮想画像の表示例を示す図である。 図７は、第１の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図８は、仮想画像の変形例１を示す図である。 図９は、仮想画像の変形例２を示す図である。 図１０は、仮想画像の変形例３を示す図である。 図１１（ａ）、（ｂ）は、仮想画像の変形例４を示す図である。 図１２は、本発明の第２の実施の形態に係る情報処理システムの構成例を示す図である。 図１３は、第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。 図１４は、会話履歴テーブルの一例を示す図である。 図１５は、推奨話題テーブルの一例を示す図である。 図１６は、仮想画像の表示例を示す図である。 図１７は、仮想画像の表示例を示す図である。 図１８は、第２の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図１９（ａ）、（ｂ）は、仮想画像の変形例を示す図である。
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
［実施の形態の要約］
本実施の形態に係る情報処理装置は、対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段とを備える。
た情報処理装置。
「表示装置」には、使用者の頭部に装着され、使用者が表示画像を仮想空間の画像として視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置、外景を撮影した画像に表示画像を仮想空間の画像として重ねて表示する携帯型情報端末等が含まれる。光透過方式の頭部装着型表示装置は、ゴーグル型でもメガネ型でもよい。携帯型情報端末は、頭部装着型でもよい。
［第１の実施の形態］
図１（ａ）は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図、図１（ｂ）は、ヘッドマウントディスプレイ装置の一例を示す外観図である。
この情報処理システム１は、第１の者が使用するヘッドマウントディスプレイ装置（以下「ＨＭＤ装置」という。）２Ａと、第２の者が使用するＨＭＤ装置２Ｂと、各ＨＭＤ装置２Ａ、２Ｂ（これらを総称するときは、以下「ＨＭＤ装置２」という。）を制御する情報処理装置３とを備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。第１の者が使用するＨＭＤ装置２Ａは、第１の表示装置の一例である。第２の者が使用するＨＭＤ装置２Ｂは、第２の表示装置の一例である。第２の者は、対象者の一例である。
このような情報処理システム１は、本実施の形態の場合、例えば、オフィス、公共施設、病院等の会議室、多目的室、談話室、講演会場等で用いられ得る。本実施の形態において、第１の者は、例えば、会議で司会者の役割を有するファシリテータ（一般的には会議ごとに１人）であり、第２の者は、例えば、会議への参加者（一般的には複数）である。会議は、イベントの一例である。ファシリテータ及び参加者を総称するときは、以下、使用者又はユーザともいう。
ＨＭＤ装置２は、現実空間に仮想空間の画像（以下「仮想画像」ともいう。）が重なるように表示するもの、すなわち仮想画像を仮想的に表示するものである。具体的には、ＨＭＤ装置２は、図１（ｂ）に示すように、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置である。
ＨＭＤ装置２は、表示部２２と、外向きカメラ２３Ａとを備える。表示部２２は、耳に装着されるフレーム２２０と、右側透過型ディスプレイ２２１ａ及び左側透過型ディスプレイ２２１ｂ（これらを総称するときは「透過型ディスプレイ２２１」ともいう。）とを備える。
透過型ディスプレイ２２１は、例えば、透過型液晶ディスプレイ、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ等を用いることができる。右側透過型ディスプレイ２２１ａは、右眼用の表示画像を表示し、左側透過型ディスプレイ２２１ｂは、左眼用の表示画像を表示する。右眼用の表示画像及び左眼用の表示画像は、外景に重なって仮想画像として使用者に視認される。
図２は、ＨＭＤ装置２の制御系の一例を示す図である。ＨＭＤ装置２は、ＨＭＤ装置２の各部を制御する制御部２０と、各種の情報を記憶する記憶部２１と、上記の表示部２２と、上記の外向きカメラ２３Ａと、内向きカメラ２３Ｂと、センサ部２４と、音声入力部２５と、位置検出部２６と、処理部２７と、無線通信部２８とを備える。
制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより送信手段２００、受信手段２０１、表示制御手段２０２等として機能する。各手段２００～２０２の詳細は後述する。
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム、データ等が記憶されている。
外向きカメラ２３Ａは、対面する者の顔や自分の手等を含む外景を撮影し、撮影した画像を制御部２０に送る。内向きカメラ２３Ｂは、当該ＨＭＤ装置２の使用者の眼を撮影し、撮影した画像を制御部２０に送る。外向きカメラ２３Ａ及び内向きカメラ２３Ｂが撮影する画像は、静止画でも動画でもよい。使用者を顔画像により特定する場合は、静止画でもよいが、使用者の手等を撮影してジェスチャーを検出する場合や視線方向を検出する場合は、動画又は１秒間に複数枚撮影する連続的な静止画が好ましい。
センサ部２４は、距離画像センサと、加速度センサと、ジャイロセンサとを備える。距離画像センサは、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ等を用いることができる。距離画像センサは、赤外線、レーザ又は超音波等を照射し、その反射の時間差から画素ごとに距離を読み取って距離画像を得る。加速度センサは、ＨＭＤ装置２に加わる加速度を検出する。ジャイロセンサは、ＨＭＤ装置２に加わる角速度を検出する。
音声入力部２５は、マイクロフォンで構成され、当該ＨＭＤ装置２の使用者が発声した音声を電気信号である音声信号に変換して入力する。
処理部２７は、外向きカメラ２３Ａ、内向きカメラ２３Ｂ、センサ部２４及び音声入力部２５により入力された情報を処理するものであり、ジェスチャー検出部２７０と、視線検出部２７１と、音声認識部２７２と備える。
ジェスチャー検出部２７０は、使用者の動きを示すジェスチャーを検出する。具体的には、ジェスチャー検出部２７０は、センサ部２４の距離画像センサが検出した距離画像から、使用者の手の動き（例えば、２本指によるピンチ動作等）により予め定められた手のジェスチャーを検出する。また、ジェスチャー検出部２７０は、センサ部２４の加速度センサが検出したＨＭＤ装置２の加速度と、ジャイロセンサが検出したＨＭＤ装置２の角速度とに基づいて、使用者の頭部の動き（例えば、左右に振る等）により予め定められた頭部のジェスチャーを検出する。ジェスチャー検出部２７０は、検出したジェスチャーに対応するコマンドを制御部２０に送信する。
視線検出部２７１は、内向きカメラ２３Ｂが使用者の眼を撮影した画像から使用者の視線方向を検出し、検出した視線方向に対応するコマンドを制御部２０に送信する。視線検出技術としては、例えば、内向きカメラ２３Ｂに可視光カメラを用いて、目頭の位置に対する虹彩の位置に基づいて視線方向を検出してもよく、内向きカメラ２３Ｂに赤外線カメラと赤外線ＬＥＤを用いて、角膜反射の位置に対する瞳孔の位置に基づいて視線方向を検出してもよい。なお、ジェスチャーの代わりに視線方向を用いてもよい。
音声認識部２７２は、音声入力部２５が入力した音声信号をデジタルの音声データに変換し、音声データを制御部２０に送信する。
無線通信部２８は、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いて情報処理装置３と通信する。なお、無線通信部２８は、ＨＭＤ装置２同士で通信してもよい。
位置検出部２６は、自装置２の位置を示す位置情報をＧＰＳ（Global Positioning
System）等を用いて定期的に検出し、検出した位置情報を制御部２０に送信する。なお、自装置２の位置をビーコン信号を用いて検出してもよい。すなわち、位置検出部２６は、ビーコン発信機を識別するビーコンＩＤを含むビーコン信号を検出し、ビーコンＩＤ及びビーコン信号の強度情報を情報処理装置３に送信する。情報処理装置３は、ビーコンＩＤに対応するビーコン発信機の位置の情報及びビーコン信号の強度からＨＭＤ装置２の位置情報を取得する。
次に、ＨＭＤ装置２の各手段２００～２０２について説明する。
送信手段２００は、外向きカメラ２３Ａにより撮影された画像、処理部２７による処理結果（例えば、ジェスチャー検出部２７０が検出したジェスチャーに対応するコマンド、視線検出部２７１が検出した視線方向や視線方向に対応するコマンド、又は音声認識部２７２により認識された音声データ）、又は位置検出部２６が検出した位置情報を、当該ＨＭＤ装置２の使用者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。
受信手段２０１は、情報処理装置３の送信手段３０４から送信された表示画像、及び表示画像を仮想画像として視認させるべき位置を示す位置情報を受信する。
表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて表示部２２を制御する。すなわち、表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて右眼用の表示画像及び左眼用の表示画像を生成し、右眼用の表示画像を右側透過型ディスプレイ２２１ａに表示し、左眼用の表示画像を左側透過型ディスプレイ２２１ｂに表示して位置情報に対応する位置に仮想画像が当該ＨＭＤ装置２の使用者に視認されるよう制御する。
図３は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を制御する制御部３０と、各種の情報を記憶する記憶部３１と、各ＨＭＤ装置２と無線通信を行う無線通信部３２とを備える。
無線通信部３２は、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｗｉ－Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いてＨＭＤ装置２と通信する。
制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３００、ユーザ特定手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４等として機能する。各手段３００～３０４の詳細は後述する。表示画像生成手段３０３は、生成手段の一例である。送信手段３０４は、指示手段の一例である。
記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、ユーザ属性テーブル３１１（図４参照）、会話履歴テーブル３１２（図５参照）等が記憶されている。会話履歴テーブル３１２は、現在行われているイベントへの参加者が発言した履歴情報の一例である。なお、本明細書において、テーブルに情報を書き込む場合に記録を用い、記憶部に情報を書き込む場合に記憶を用いる。
（ユーザ属性テーブルの構成）
図４は、ユーザ属性テーブル３１１の一例を示す図である。ユーザ属性テーブル３１１には、ユーザの属性情報が予め記録されている。ユーザ属性テーブル３１１は、ユーザＩＤが記録された「ユーザＩＤ」欄と、ユーザ名が記録された「ユーザ名」欄と、ユーザが所属する部署が記録された「所属部署」欄と、ユーザが正社員か派遣社員か、管理職か一般職か等の種別が記録された「ユーザ種別」欄と、勤続年数が記録された「勤続年数」欄と、ユーザの顔を撮影して得られた顔画像から抽出された顔特徴情報が記録された「顔特徴情報」欄とを有する。「顔特徴情報」とは、顔を構成する眼、鼻、口等の大きさ、形、位置等の顔の特徴を示す情報をいう。なお、顔特徴情報に顎や首の特徴を含めてもよい。ＨＭＤ装置２を頭に装着すると、眼の特徴を抽出し難いため、顔特徴情報に顎や首を含めることによりユーザの特定が容易になる。
（会話履歴テーブルの構成）
図５は、会話履歴テーブル３１２の一例を示す図である。会話履歴テーブル３１２は、会議が開催されるごとに作成される。会話履歴テーブル３１２は、会議を識別する会議ＩＤ及びファシリテータを識別するユーザＩＤに紐付けられて記憶部３１に記憶されている。同図に示す会話履歴テーブル３１２は、会議ＩＤが「Ｃ００１」、ファシリテータのユーザＩＤが「ｕｓｅｒ０１０」のものを示している。
会話履歴テーブル３１２は、参加者を識別するユーザＩＤが記録される「ユーザＩ」欄と、参加者が発言した時刻が記録される「発言時刻」欄と、発言時間が記録される「発言時間」欄と、参加者が発言した発言内容が記録される「発言内容」欄と、ＨＭＤ装置２Ｂの位置を示す位置情報が記録される「位置情報」欄とを有する。ＨＭＤ装置２Ｂの位置情報は、参加者の位置情報の一例である。「位置情報」欄に記録される位置情報は、例えば、経度、緯度を示す（ｘ、ｙ）が記録される。なお、位置情報は、経度、緯度、高度を示す（ｘ、ｙ、ｚ）でもよい。
次に、情報処理装置３の各手段３００～３０４について説明する。
受信手段３００は、ＨＭＤ装置２から送信されるユーザＩＤ、顔画像、音声データ、位置情報及び各種のコマンド等を受信する。
ユーザ特定手段３０１は、ＨＭＤ装置２から送信される顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、顔画像に対応するユーザＩＤを特定する。なお、音声の特徴を示す音声特徴情報を元にユーザＩＤを特定してもよい。この場合、図４に示すユーザ属性テーブル３１１には、ユーザの音声特定情報を予め記録しておく。
取得手段３０２は、受信手段３００が発言回数の表示要求を示すコマンドを受信すると、会話履歴テーブル３１２からユーザＩＤごとにユーザ名及び発言回数を取得する。
表示画像生成手段３０３は、ＨＭＤ装置２の表示部２２に表示させる表示画像、例えば、取得手段３０２により取得されたユーザ名及び発言回数を含む表示画像を生成する。なお、表示画像生成手段３０３は、ユーザ名ごとに発言回数×発言時間＝発言量を算出し、ユーザ名及び発言量を含む表示画像を生成してもよい。
送信手段３０４は、ＨＭＤ装置２に、生成された表示画像を仮想空間の画像として表示するように指示する。具体的には、送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び表示画像を仮想画像として視認させるべき位置情報をＨＭＤ装置２（本実施の形態ではファシリテータが使用するＨＭＤ装置２Ａ）に送信する。仮想画像を視認させる位置情報は、例えば、会話履歴テーブル３１２の「位置情報」欄に記録された座標に基づいて算出された相手（本実施の形態では参加者）の頭上とする。なお、仮想画像を視認させる位置情報は、相手の頭上に限られず、相手の横等の近傍でもよい。
（第１の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図６を参照し、図７のフローチャートに従って説明する。
（１）参加者の特定
ファシリテータが手を動かして参加者の顔の撮影を指示するジェスチャー（第１のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から、第１のジェスチャーを検出し、それに対応する第１のコマンドを制御部２０に送信する。
制御部２０は、ジェスチャー検出部２７０から第１のコマンドが送信される度に、外向きカメラ２３Ａを制御して参加者の顔を撮影する。制御部２０は、外向きカメラ２３Ａにより参加者を撮影して得られた顔画像を取得する。
ＨＭＤ装置２Ａの送信手段２００は、顔画像を、ファシリテータを識別するユーザＩＤとともに情報処理装置３に送信する。
情報処理装置３の受信手段３００は、ＨＭＤ装置２Ａから送信された顔画像及びユーザＩＤを受信する（Ｓ１）。
ユーザ特定手段３０１は、受信手段３００が受信した顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１に記録されている顔特徴情報とを照合し、ＨＭＤ装置２Ｂの使用者である参加者のユーザＩＤを特定する（Ｓ２）。ユーザ特定手段３０１は、ユーザＩＤを会話履歴テーブル３１２の「ユーザＩＤ」欄に記録する。これにより会議に参加している参加者を特定することができる。また、ファシリテータのユーザＩＤは、情報処理装置３の記憶部３１に予め記憶しておくことにより、会議ごとに参加者を特定することができる。
（２）発言内容の記録
情報処理装置３の受信手段３００は、音声データを受信したか否かを判断する（Ｓ３）。
参加者が会話すると、参加者が使用するＨＭＤ装置２Ｂの音声入力部２５は、参加者が発生した音声を音声信号に変換して入力する。音声認識部２７２は、音声信号を音声データに変換する。送信手段２０１は、音声データをユーザＩＤ及びＨＭＤ装置２Ｂの位置を示す位置情報とともに情報処理装置３に送信する。
情報処理装置３の受信手段３００は、音声データ、ユーザＩＤ及び位置情報を受信すると（Ｓ３：Ｙｅｓ）、会話履歴テーブル３１２の「ユーザＩＤ欄」に記録されているユーザＩＤに対応する、「発言時刻」欄に発言時刻を記録し、「発言時間」欄に発言時間を記録し、「発言内容」欄に音声データである発言内容を記録し、「位置情報」欄に位置情報を記録する（Ｓ４）。図５は、ユーザＩＤが「ｕｓｅｒ００１」の参加者が発言した「私もそう思います・・・」が記録されている場合を示す。
（３）表示画像の生成
ファシリテータが手を動かして発言回数の表示要求を示すジェスチャー（第２のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、第２のジェスチャーを検出し、それに対応する第２のコマンドを制御部２０に送信する。送信手段２００は、第２のコマンドをファシリテータのユーザＩＤとともに情報処理装置３に送信する。
情報処理装置３の受信手段３００は、発言回数の表示要求を示す第２のコマンド及びユーザＩＤを受信したか否かを判断する（Ｓ５）。受信手段３００が第２のコマンド及びユーザＩＤを受信すると（Ｓ５：Ｙｅｓ）、取得手段３０２は、会話履歴テーブル３１２から参加者のユーザ名、発言回数及び位置情報を取得する（Ｓ６）。発言回数は、会話履歴テーブル３１２における当該ユーザＩＤの記録数を計数することにより求められる。
表示画像生成手段３０３は、取得手段３０２が取得したユーザ名及び発言回数を含む表示画像を生成する（Ｓ７）。表示画像は、ユーザ名及び発言回数を含む２次元の画像である。
（４）表示画像及び位置情報の送信
送信手段３０４は、表示画像生成手段３０３が生成した表示画像及び位置情報をファシリテータが使用するＨＭＤ装置２Ａに送信する（Ｓ８）。
ＨＭＤ装置２Ａの表示制御手段２０２は、表示画像及び位置情報に基づいて表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。
ファシリテータには、図６に示すように、参加者の頭上に表示されたユーザ名及び発言回数を含む仮想画像１００が視認される。この場合、発言回数が最も少ない参加者の仮想画像１００ａを他の仮想画像１００と異なる表示態様、例えば異なる色で表示してもよい。なお、発言回数が閾値以下の参加者の仮想画像１００の表示態様を他の仮想画像１００と異なるようにしてもよい。また、ファシリテーが指名した回数を表示画像に含ませてもよい。指名回数は、ファシリテータが使用するＨＭＤ装置２Ａの音声入力部２５に入力され、音声認識部により認識された音声データに基づいて算出してもよい。また、予め定められた時間発話の無い場合は、他と異なる色の仮想画像を表示してもよい。
＜変形例１＞
図８は、仮想画像の変形例１を示す図である。図６では、ユーザ名及び発言回数を含む仮想画像１００をファシリテータに視認させたが、図８に示すように、参加者の属性情報を仮想画像１０１を視認させてもよい。
ファシリテータが手を動かして参加者の属性情報の表示要求を示すジェスチャー（第３のジェスチャー）を行うと、ファシリテータが使用するＨＭＤ装置２Ａのジェスチャー検出部２７０は、第３のジェスチャーを検出し、それに対応する第３のコマンドを制御部２０に送信する。送信手段２００は、第３のコマンド及びユーザＩＤを情報処理装置３に送信する。
情報処理装置３の受信手段３００は、第３のコマンド及びユーザＩＤを受信する。取得手段３０２は、受付手段３００が受け付けたユーザＩＤに対応するユーザ名及びユーザの履歴情報をユーザ属性テーブル３１１から取得する。
表示画像生成手段３０３は、取得手段３０２により取得されたユーザ名及びユーザの属性情報を含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。
ＨＭＤ装置２Ａの受信手段２０２は、表示画像及び位置情報を受信し、表示制御手段２０２は、表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図８に示すように、参加者の頭上に表示されたユーザの属性情報を含む仮想画像１０１が視認される。図８に示す仮想画像１０１には、例えば、参加者のユーザ名、所属部署、勤続年数が含まれる。
＜変形例２＞
図９は、仮想画像の変形例２を示す図である。変形例１は、ファシリテータの意思によって表示内容を切り替えるものであるが、この変形例２は、参加者の意思を表示するものである。参加者が手を動かして発言したいことを示すジェスチャー（第４のジェスチャー）を行うと、参加者が使用するＨＭＤ装置２Ｂのジェスチャー検出部２７０は、第４のジェスチャーを検出し、それに対応する第４のコマンドを制御部２０に送信する。送信手段２００は、第４のコマンド及びユーザＩＤを情報処理装置３に送信する。参加者の意思は、対象者の内面的な情報の一例である。内面的な情報とは、気分、心情等の感情や意見、合図、意思等の考えをいう。
情報処理装置３の受信手段３００は、第４のコマンド及びユーザＩＤを受信し、表示画像生成手段３０３は、受信手段３００が受信した第４のコマンドに対応する発言したいことを示す情報を含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。
ＨＭＤ装置２Ａの受信手段２０１は、表示画像及び位置情報を受信する。表示制御手段２０２は、表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図９に示すように、当該参加者の頭上に表示された発言したいことを示す情報（例えば、「意見あり」）を含む仮想画像１０２が視認される。このような表示は、自ら発言する勇気は無いが、指名されると発言できる参加者には、有効である。
＜変形例３＞
図１０は、仮想画像の変形例３を示す図である。この変形例３は、参加者の気分を示す顔アイコンを表示するものである。参加者が手を動かして自己の気分の表示要求を示すジェスチャー（第５のジェスチャー）を行うと、参加者が使用するＨＭＤ装置２Ｂのジェスチャー検出部２７０は、第５のジェスチャーを検出し、それに対応する第５のコマンドを制御部２０に送信する。送信手段２００は、第５のコマンド及びユーザＩＤを情報処理装置３に送信する。第５のジェスチャーは、気分の種類に応じて動作が異なるものとする。
情報処理装置３の受信手段３００は、第５のコマンド及びユーザＩＤを受信し、表示画像生成手段３０３は、第５のコマンドの種類に対応する顔アイコンを含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。
ＨＭＤ装置２Ａの受信手段２０１は、表示画像及び位置情報を受信する。表示制御手段２０２は、表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図１０に示すように、当該参加者の頭上に表示された顔アイコンを含む仮想画像１０３ａ～１０３ｃが視認される。なお、参加者の賛成、反対等の意見を仮想画像として視認されるように表示してもよい。自己の気分や意見をファシリテータのみに伝えたい場合に有効である。
＜変形例４＞
図１１（ａ）、（ｂ）は、仮想画像の変形例４を示す図である。この変形例４は、会議の進捗状況を表示するものである。この場合、会議予定情報（会議を構成する項目ごとの予定時間）を記憶部３１に記憶しておく。ファシリテータが手を動かして会議の進捗状況の表示要求を示すジェスチャー（第６のジェスチャー）を行うと、ファシリテータが使用するＨＭＤ２Ａのジェスチャー検出部２７０は、第６のジェスチャーを検出し、それに対応する第６のコマンドを制御部２０に送信する。送信手段２００は、第６のコマンド及びユーザＩＤを情報処理装置３に送信する。
情報処理装置３の受信手段３００は、第６のコマンド及びユーザＩＤを受信する。表示画像生成手段３０３は、記憶部３１から会議予定情報を読み出し、会議の進捗状況を含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。この変形例４の位置情報は、ＨＭＤ装置２の位置情報ではなく、予め定められた会議室の後方の壁の位置情報である。
ＨＭＤ２Ａの受信手段２０１は、表示画像及び位置情報を受信する。表示制御手段２０２は、表示画像が会議室の後方の壁に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図１１（ａ）、（ｂ）に示すように、会議室の後方の壁に表示された会議の進捗状況を含む仮想画像１０４ａ、１０４ｂが視認される。図１１（ａ）に示す仮想画像１０４ａは、現在行うべき会議の項目及び時間を表示している。図１１（ｂ）に示す仮想画像１０４ｂは、現在予定より遅れていること、及び遅れている時間を表示している。なお、予定より進んでいる場合には、予定より進んでいること、及び進んでいる時間を表示してもよい。
［第２の実施の形態］
図１２は、本発明の第２の実施の形態に係る情報処理システムの構成例を示す図である。
この情報処理システム１は、第１の実施の形態と同様に、第１の者が使用するＨＭＤ装置２Ａと、第２の者が使用するＨＭＤ装置２Ｂと、各ＨＭＤ装置２Ａ、２Ｂを制御する情報処理装置３とを備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。ＨＭＤ装置２の構成は、第１の実施の形態と同様であるので、その説明を省略する。
このような情報処理システム１は、本実施の形態の場合、例えば、オフィス、公共施設、病院等に用いられ得る。本実施の形態において、第１の者及び第２の者は、例えば、使用者の類似度が閾値を満たすほどに関連性を有する者である。関連性を有する者は、例えば、同一の組織に属する者や、協業関係を有する場合は異なる企業に属する者も含む。「組織」とは、人の集まりをいい、例えば、企業、企業に属する組織（部門、チーム、グループ等）、団体等が該当する。第２の者は、対象者の一例である。第１の者及び第２の者を総称するときは、以下、使用者又はユーザともいう。
図１３は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、図３に示す情報処理装置３に対して制御部３０に特徴語抽出手段３０５を付加し、記憶部３１に推奨話題テーブル３１３（図１５参照）を付加したものである。以下、第１の実施の形態と異なる点を中心に説明する。
制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３００、ユーザ特定手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４、特徴語抽出手段３０５等として機能する。各手段３００～３０５の詳細は後述する。表示画像生成手段３０３は、生成手段の一例である。送信手段３０４は、指示手段の一例である。
記憶部３１は、プログラム３１０、ユーザ属性テーブル３１１（図４参照）、会話履歴テーブル３１２ａ（図１４参照）、推奨話題テーブル３１３（図１５参照）等が記憶されている。会話履歴テーブル３１２ａは、対象者が発言した会話の履歴情報の一例である。
（会話履歴テーブルの構成）
図１４は、会話履歴テーブルの一例を示す図である。会話履歴テーブル３１２ａは、会話が成立したグループを識別する会話グループＩＤが記録される「会話グループＩＤ」欄と、会話した者を識別するユーザＩＤが記録される「ユーザＩＤ」欄と、ユーザが発言した時刻が記録される「発言時刻」欄と、発言時間が記録される「発言時間」欄と、会話した者が発言した発言内容が記録される「発言内容」欄と、ＨＭＤ装置２の位置を示す位置情報が記録される「位置情報」欄とを有する。ＨＭＤ装置２の位置情報は、第１の者又は第２の者の位置情報の一例である。
（推奨話題テーブルの構成）
図１５は、図１４に示す会話履歴テーブル３１２ａから抽出されて作成された推奨話題テーブルの一例を示す図である。推奨話題テーブル３１３は、ユーザ名が記録される「ユーザ名」欄と、当該ユーザが行った会話に含まれた特徴語の出現回数が記録される「特徴語」欄とを有する。図１５に示す場合は、特徴語として「天気」、「○社案件」、「□作業の納期」、「△の特許」が含まれている。また、図１５に示す場合は、例えば、ユーザ名のＡさんは「天気」を１回、「○社案件」を５回使い、「□作業の納期」は１回も使っていないことを示している。「特徴語」とは、会話の内容を特徴付ける単語であって、会話中に頻出する単語をいう。回数が多いほど推奨される話題となる。最も回数が多い特徴語が複数存在する場合は、複数の特徴語からユーザが選択してもよい。
次に、情報処理装置３の各手段３００～３０５について説明する。
受信手段３００は、第１の実施の形態と同様に、ＨＭＤ装置２から送信されるユーザＩＤ、顔画像、音声データ、位置情報及び各種のコマンド等を受信する。
ユーザ特定手段３０１は、ＨＭＤ装置２から送信される会話の相手の顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、会話の相手のユーザＩＤを特定する。
取得手段３０２は、受信手段３００が会話の相手の発言に関する情報の表示要求を示すコマンドを受信すると、ユーザ属性テーブル３１１、会話履歴テーブル３１２又は特徴語会話テーブル３１３から相手に関する情報を取得する。取得手段３０２は、現在会話しようとする対象者の特徴語だけでなく、当該ＨＭＤ装置２の使用者との間、及び対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者の会話内容から特徴語を抽出してもよい。これにより、例えば、部下のＢさんと部下のＣさんとの間の会話の内容を上司のＡさんとＢさんとが会話する際に、仮想画像としてＡさんが視認することが可能になり、同一の組織で情報の共有が図られ易くなる。
表示画像生成手段３０３は、表示部２２に表示するための表示画像、例えば、取得手段３０２により取得された対象者の特徴語を含む表示画像を生成する。なお、表示画像生成手段３０３は、特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として表示画像に含めてもよい。例えば、予め定められた回数を３回とすると、図１５に示す場合は、Ｂさんに関する特徴語は「○社案件」と「□作業の納期」が表示画像に含まれる。
送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び表示画像を仮想画像として表示させるべき位置情報をＨＭＤ装置２に送信する。仮想画像を表示する位置情報は、例えば、会話履歴テーブル３１２の「位置情報」欄に記録された座標に基づいて算出された相手の頭上とする。
特徴語抽出手段３０５は、会話履歴テーブル３１２ａの「会話内容」欄に記録されたから特徴語を抽出し、推奨話題テーブル３１３に記録する。なお、特徴語抽出手段３０５は、ＨＭＤ装置２から送信される音声データから会話状態か否かを判定し、会話状態と判定した場合に、音声データから特徴語を抽出してもよい。
特徴語抽出手段３０５は、ｔｆ－ｉｄｆ（Term Frequency－Inverse Document Frequency）等の公知の特徴抽出アルゴリズムを用いて特徴語を抽出してもよい。ｔｆ－ｉｄｆ法とは、ベクトル空間モデル等において単語の特徴ベクトルの重み付けにｔｆ－ｉｄｆの値を利用した手法のことである。
なお、特徴語を抽出する際に、協調フィルタリングを用いて他のユーザの会話履歴から関連する会話を抽出してもよい。
会話から特徴語を抽出し、抽出した特徴語間の類似度を計算し、類似度が閾値を満たす場合も同じ特徴語として推奨話題テーブル３１３に記録する。類似度は、例えば、コサイン類似度（ベクトル間類似度）、ピアソン相関係数等により求めてもよい。
図１６は、仮想画像の表示例を示す図である。図１６（ａ）に示すように、ユーザ属性テーブル３１１から相手の属性情報を取得し、会話の相手の頭上に仮想画像として視認されるように表示部２２を制御してもよい。同図は、所属部署や業務内容を表示した場合を示す。
（第２の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図１８のフローチャートに従って説明する。以下、第１の者と第２の者が会話する場合について説明する。
（１）会話する者の特定
第１の者が使用するＨＭＤ装置２Ａ、及び第２の者が使用するＨＭＤ装置２Ｂから会話可能状態であることの通知を受けたか否かを判断する（Ｓ１１）。具体的には、ＨＭＤ装置２の制御部２０は、相手との距離が予め定められた距離（例えば、１ｍ）以内であり、かつ、視線方向が相手の顔に向いたかどうかを判断する。
相手との距離は、自装置２Ａのセンサ部２４の距離画像センサが検出した距離画像から算出する。視線方向については、自装置２Ａの視線検出部２７１が検出した視線方向を算出する。
第１の者が使用するＨＭＤ装置２Ａ、及び第２の者が使用するＨＭＤ装置２Ｂの制御部２０は、相手と会話可能状態にあると判断すると、会話可能状態にあることをユーザＩＤとともに情報処理装置３に通知する。
また、第１の者が使用するＨＭＤ装置２Ａの送信手段２００は、外向きカメラ２３Ａにより撮影された画像を第１の者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。これと同様に、第２の者が使用するＨＭＤ装置２Ｂの送信手段２００は、外向きカメラ２３Ａにより撮影された画像を第２の者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。
また、ＨＭＤ装置２の送信手段２００は、位置検出部２６が検出した位置情報をユーザＩＤとともに情報処理装置３に送信する。
情報処理装置３の受信手段３００は、ＨＭＤ装置２Ａ及びＨＭＤ装置２Ｂから 相手と会話可能状態にあること、及び顔画像をユーザＩＤとともに受信すると（Ｓ１１：Ｙｅｓ）、ユーザ特定手段３０１は、ＨＭＤ装置２Ａから送信された顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、第２の者のユーザＩＤを特定する。これと同様に、ユーザ特定手段３０１は、ＨＭＤ装置２Ｂから送信された顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、第１の者のユーザＩＤを特定する。
ユーザ特定手段３０１は、特定したユーザＩＤの第１の者と第２の者は会話グループを形成したと判断し、会話グループＩＤを発行する。続いてユーザ特定手段３０１は、図１４に示すように、会話グループＩＤ（例えば、Ｇ００１）を会話履歴テーブル３１２ａの「会話グループＩＤ」欄に記録し、第１の者のユーザＩＤ（例えば、ｕｓｅｒ００１）、及び第２の者のユーザＩＤ（例えば、ｕｓｅｒ００２）を「ユーザＩＤ」欄に記録し、「位置情報」欄に位置情報（例えば、（ｘ１，ｙ１）、（ｘ２，ｙ２））を記録する。
（２）表示画像の生成、表示画像及び位置情報の送信
取得手段３０２は、会話履歴テーブル３１２ａを参照して第１の者及び第２の者は、相手と会話したことがあるか否かを判断する（Ｓ１３）。
会話したことがないと判断すると（Ｓ１３：Ｎｏ）、取得手段３０２は、第１の者及び第２の者の属性情報をユーザ属性テーブル３１１から読み出す。表示画像生成手段３０３は、第２の者の属性情報を含む第１の表示画像を生成し、第１の者の属性情報を含む第２の表示画像を生成する（Ｓ１４）。
送信手段３０４は、第１の表示画像及び第２の者が使用するＨＭＤ装置２Ｂの位置情報を第１の者が使用するＨＭＤ装置２Ａに送信し、第２の表示画像及び第１の者が使用するＨＭＤ装置２Ａの位置情報を第２の者が使用するＨＭＤ装置２Ｂに送信する（Ｓ１６）。
ＨＭＤ装置２Ａの表示制御手段２０２は、第１の表示画像が第２の者の頭上に仮想画像として視認されるように表示部２２を制御する。ＨＭＤ装置２Ｂの表示制御手段２０２は、第２の表示画像が第１の者の頭上に仮想画像として視認されるように表示部２２を制御する。
図１６に示すように、相手（第２の者）の頭上に相手（第２の者）の属性情報を含む仮想画像１０５が第１の者に視認され、相手（第１の者）の頭上に相手（第１の者）の属性情報を含む仮想画像１０５が第２の者に視認される。
上記ステップＳ１３において、会話したことがあると判断すると（Ｓ１３：Ｙｅｓ）、取得手段３０２は、推奨する話題の項目を推奨話題テーブル３１３から読み出す。表示画像生成手段３０３は、第２の者に対して推奨する話題の項目を含む第１の表示画像を生成し、第１の者に対して推奨する話題の項目を含む第２の表示画像を生成する（Ｓ１５）。
送信手段３０４は、第１の表示画像及び第２の者が使用するＨＭＤ装置２Ｂの位置情報を第１の者が使用するＨＭＤ装置２Ａに送信し、第２の表示画像及び第１の者が使用するＨＭＤ装置２Ａの位置情報を第２の者が使用するＨＭＤ装置２Ｂに送信する（Ｓ１６）。
ＨＭＤ装置２Ａの表示制御手段２０２は、第１の表示画像が第２の者の頭上に仮想画像として視認されるように表示部２２を制御する。ＨＭＤ装置２Ｂの表示制御手段２０２は、第２の表示画像が第１の者の頭上に仮想画像として視認されるように表示部２２を制御する。
図１７に示すように、第１の者であるＡさんには、Ｂさんの頭上にＡさんに推奨の話題の項目を含む仮想画像１０６ａが視認され、第２の者であるＢさんには、Ａさんの頭上にＢさんに推奨の話題の項目を含む仮想画像１０６ｂが視認される。なお、推奨の話題を項目とともに、又はこれとは別に予定の会話の情報として、例えば、メモ内容を仮想画像として表示してもよい。会話を予定しているメモ内容と会話の一致箇所又は不一致箇所を色分けて表示してもよい。これにより伝え忘れや勘違いを防ぐことが可能になる。また、自分の健康状態や空いている時間帯を顔アイコン等で仮想画像として自分の頭上等に表示してもよい。また、業務内容の類似性や互いの興味の類似性を事前に計算しておき、互いに興味を持つ情報を推奨の話題として表示してもよい。
（３）会話の内容の記録
情報処理装置３の受信手段３００は、会話状態か否かを判断する。具体的には、受信手段３００は、音響ノイズを基に会話の音声データを受信したか否かを判断する（Ｓ１７）。
第１の者又は第２の者が発言すると（Ｓ１７：Ｙｅｓ）、第１の者又は第２の者が使用するＨＭＤ装置２Ａ、２Ｂの音声入力部２５は、第１の者又は第２の者が発生した音声を音声信号に変換して入力する。音声認識部２７２は、音声信号を音声データに変換する。送信手段２０１は、音声データをユーザＩＤ及びＨＭＤ装置２の位置を示す位置情報とともに情報処理装置３に送信する。
受信手段３００は、音声データ、ユーザＩＤ及び位置情報を受信すると（Ｓ１７：Ｙｅｓ）、会話履歴テーブル３１２ａの「ユーザＩＤ欄」に記録されているユーザＩＤに対応する、「発言時刻」欄に発言時刻を記録し、「発言時間」欄に発言時間を記録し、「発言内容」欄に音声データである発言内容を記録し、「位置情報」欄に位置情報を記録する（Ｓ１８）。
特徴語抽出手段３０５は、会話履歴テーブル３１２ａの「会話内容」欄に新たに記録された会話内容から特徴語を抽出し、推奨話題テーブル３１３に記録する（Ｓ１９）。会話状態が継続している間は（Ｓ１７：Ｙｅｓ）、上記ステップＳ１８、Ｓ１９が繰り返される。
受付手段３００が音声データを予め定められた時間（例えば、３０秒）受け付けていない場合は、会話状態でないと判断し（Ｓ１７：Ｎｏ）、処理を終了する。
＜変形例＞
図１９は、仮想画像の変形例を示す図である。例えば、図１９（ａ）に示すように、Ａさんには、Ｂさんに関する会話履歴情報として発話日時、最終発話時間、発話内容の要約を含む仮想画像１０７ａを視認させ、Ｂさんには、Ａさんに関する会話履歴情報として発話日時、最終発話時間、発話内容の要約を含む仮想画像１０７ｂを視認させてもよい。
また、図１９（ｂ）に示すように、Ａさんに、Ｂさんに関する情報として、体調を示す顔アイコンと空き時間を含む仮想画像１０８ａ、話題一覧を含む仮想画像１０８ｂ、話題目的を含む仮想画像１０８ｃを視認させてもよい。
以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、各実施の形態では、表示装置として光透過方式の頭部装着型表示装置について説明したが、本発明は、現実空間（外景）を撮影した画像に表示画像を仮想画像として重ねて表示するスマートフォン等の携帯型情報端末にも同様に適用することができる。
また、情報処理装置３が有する機能の一部をＨＭＤ装置２に移してもよく、ＨＭＤ装置２が有する機能の一部を情報処理装置３に移してもよい。例えば、ＨＭＤ装置２が有する音声認識機能を情報処理装置３に移し、ＨＭＤ装置２から音声信号を情報処理装置３に送信し、情報処理装置３の音声認識機能により音声信号を音声データに変換してもよい。
上記各実施の形態では、仮想画像の位置は、対象者の頭上としたが、会社状態のときの加速度センサによる加速度の値（例えば、上下動よりも左右動の方が大きい加速度の値）に基づいて、対象者が立って話していると判断できる場合には、対象者の背面の壁に仮想画像を表示してもよい。また、会話状態のときの加速度センサに基づいて対象者が座っていると判断できる場合には、仮想画像の位置を対象者に最も近い机の上としてもよい。また、ＨＭＤ装置の使用者がジェスチャーによって仮想画像を表示する位置を示してもよい。
制御部２０、３０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。
また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。
１…情報処理システム、２、２Ａ、２Ｂ…ＨＭＤ装置、３…情報処理装置、２０…制御部、２１…記憶部、２２…表示部、２３Ａ…外向きカメラ、２３Ｂ…内向きカメラ、２４…センサ部、２５…音声入力部、２６…位置検出部、２７…処理部、２８…無線通信部、３０…制御部、３１…記憶部、３２…無線通信部、１００、１００ａ、１０１、１０２、１０３ａ～１０３ｃ、１０４ａ、１０４ｂ、１０５、１０６ａ、１０６ｂ１０７ａ、１０７ｂ、１０８ａ～１０８ｃ…仮想画像、２００…送信手段、２０１…受信手段、２０２…表示制御手段、２２０…フレーム、２２１…透過型ディスプレイ、２２１…透過型ディスプレイ、２２１ａ…右側透過型ディスプレイ、２２１ｂ…左側透過型ディスプレイ、２７０…ジェスチャー検出部、２７１…視線検出部、２７２…音声認識部、３００…受信手段、３０１…ユーザ特定手段、３０２…取得手段、３０３…表示画像生成手段、３０４…送信手段、３０５…特徴語抽出手段、３１０…プログラム、３１１…ユーザ属性テーブル、３１２、３１２ａ…会話履歴テーブル、３１３…推奨話題テーブル

Claims (12)

  1. 対象者が発言した会話の履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
    現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段と、を備え、
    前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
    情報処理装置。
  2. 前記対象者が発言した前記履歴情報は、現在行われているイベントへの参加者が発言した履歴情報であり、
    前記生成手段が生成する前記表示画像は、前記参加者の発言に関する情報を含む、
    請求項１に記載の情報処理装置。
  3. 前記発言に関する情報は、発言回数又は発言時間に基づいて求まる発言量である、
    請求項２に記載の情報処理装置。
  4. 前記生成手段が生成する前記表示画像は、前記イベントの進捗を示す進捗情報を含む、
    請求項２に記載の情報処理装置。
  5. 前記生成手段が生成する前記表示画像は、前記表示装置の使用者との間、及び前記対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者に関する情報を含む、
    請求項１に記載の情報処理装置。
  6. 前記生成手段が生成する前記表示画像は、予定の会話の情報を含む、
    請求項１から５のいずれか１項に記載の情報処理装置。
  7. 前記生成手段が生成する前記表示画像は、前記対象者の内面的な情報を含む、
    請求項１から６のいずれか１項に記載の情報処理装置。
  8. 前記生成手段が生成する前記表示画像は、前記対象者の属性情報を含む、
    請求項１から７のいずれか１項に記載の情報処理装置。
  9. 現実空間に仮想空間の画像が重なるように表示する表示装置と、
    対象者が発言した会話の履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
    生成された前記表示画像を前記仮想空間の画像として表示するように前記表示装置に指示する指示手段と、を備え、
    前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
    情報処理システム。
  10. 現実空間に仮想空間の画像が重なるように表示するとともに、音声入力部を有する第１の表示装置及び第２の表示装置と、
    前記第２の表示装置を使用する者であって、現在行われているイベントへの参加者が発言して前記音声入力部により入力された会話の履歴情報に基づいて前記参加者の発言に関する情報を含む表示画像を生成する生成手段と、
    生成された前記表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、を備え、
    前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
    情報処理システム。
  11. 現実空間に仮想空間の画像が重なるように表示する第１の表示装置及び第２の表示装置と、
    前記第１の表示装置を使用する第１の者の会話の履歴情報に基づいて前記第１の者の発言に関する情報を含む第１の表示画像を生成し、前記第２の表示装置を使用する第２の者の会話の履歴情報に基づいて前記第２の者の発言に関する情報を含む第２の表示画像を生成する生成手段と、
    生成された前記第１の表示画像を前記仮想空間の画像として表示するように前記第２の表示装置に指示し、生成された前記第２の表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、を備え、
    前記生成手段が生成する前記第１の表示画像は、前記第１の者の前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含み、前記生成手段が生成する前記第２の表示画像は、前記第２の者の前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
    情報処理システム。
  12. コンピュータを、
    対象者が発言した会話の履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
    現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段として、機能させるためのプログラムであって、
    前記生成手段が生成する前記表示画像は、前記会話の履歴情報から抽出された特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
    プログラム。
JP2017186766A 2017-09-27 2017-09-27 情報処理装置、情報処理システム及びプログラム Active JP7056055B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017186766A JP7056055B2 (ja) 2017-09-27 2017-09-27 情報処理装置、情報処理システム及びプログラム
US16/136,292 US11194535B2 (en) 2017-09-27 2018-09-20 Information processing apparatus, information processing system, and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186766A JP7056055B2 (ja) 2017-09-27 2017-09-27 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019061557A JP2019061557A (ja) 2019-04-18
JP7056055B2 true JP7056055B2 (ja) 2022-04-19

Family

ID=65807576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186766A Active JP7056055B2 (ja) 2017-09-27 2017-09-27 情報処理装置、情報処理システム及びプログラム

Country Status (2)

Country Link
US (1) US11194535B2 (ja)
JP (1) JP7056055B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US11210832B2 (en) * 2018-04-24 2021-12-28 Hewlett-Packard Development Company, L.P. Animated gazes on head mounted displays
JP7269131B2 (ja) * 2019-08-14 2023-05-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
US11789527B1 (en) * 2019-12-17 2023-10-17 Snap Inc. Eyewear device external face tracking overlay generation
JP7464107B2 (ja) * 2020-02-27 2024-04-09 日本電気株式会社 サーバ装置、会議支援システム、会議支援方法及びプログラム
WO2021171449A1 (ja) * 2020-02-27 2021-09-02 日本電気株式会社 サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7218802B2 (ja) * 2020-02-27 2023-02-07 日本電気株式会社 サーバ装置、会議支援方法及びプログラム
WO2021171447A1 (ja) * 2020-02-27 2021-09-02 日本電気株式会社 サーバ装置、会議支援システム、会議支援方法及びプログラム
US20230298542A1 (en) * 2020-07-16 2023-09-21 Sony Group Corporation Display apparatus, display method, and program
US11539648B2 (en) * 2020-07-27 2022-12-27 Bytedance Inc. Data model of a messaging service
JP7341111B2 (ja) * 2020-09-30 2023-09-08 本田技研工業株式会社 会話支援装置、会話支援システム、会話支援方法およびプログラム
JP7360775B2 (ja) * 2020-11-16 2023-10-13 Kddi株式会社 スマートグラス、プログラム及び表示制御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344915A (ja) 2001-05-14 2002-11-29 Nippon Telegr & Teleph Corp <Ntt> コミュニケーション把握装置、および、その方法
JP2007043493A (ja) 2005-08-03 2007-02-15 Pioneer Electronic Corp 議事進行を進捗管理する会議支援システム、会議支援方法、及び会議支援プログラム
JP2008262046A (ja) 2007-04-12 2008-10-30 Hitachi Ltd 会議可視化システム、会議可視化方法、及び集計処理サーバ
JP2009194857A (ja) 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム
JP2012060232A (ja) 2010-09-06 2012-03-22 Ricoh Co Ltd 会議進行支援システム、情報端末機、進行支援装置、進行支援方法、プログラム
US20130293468A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Collaboration environment using see through displays
WO2015125375A1 (ja) 2014-02-18 2015-08-27 ソニー株式会社 情報処理装置、制御方法、プログラム、およびシステム
JP2016506565A (ja) 2012-12-11 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー 人間トリガのホログラフィックリマインダ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220885B2 (ja) * 1993-06-18 2001-10-22 株式会社日立製作所 キーワード付与システム
JP2005197867A (ja) 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd 議事進行支援システム及び議事進行支援方法、及び発言入力装置
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
JP6261206B2 (ja) * 2013-06-28 2018-01-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
IL292025B2 (en) * 2016-08-12 2023-12-01 Magic Leap Inc Parosh is a flurry of words

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344915A (ja) 2001-05-14 2002-11-29 Nippon Telegr & Teleph Corp <Ntt> コミュニケーション把握装置、および、その方法
JP2007043493A (ja) 2005-08-03 2007-02-15 Pioneer Electronic Corp 議事進行を進捗管理する会議支援システム、会議支援方法、及び会議支援プログラム
JP2008262046A (ja) 2007-04-12 2008-10-30 Hitachi Ltd 会議可視化システム、会議可視化方法、及び集計処理サーバ
JP2009194857A (ja) 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム
JP2012060232A (ja) 2010-09-06 2012-03-22 Ricoh Co Ltd 会議進行支援システム、情報端末機、進行支援装置、進行支援方法、プログラム
US20130293468A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Collaboration environment using see through displays
JP2016506565A (ja) 2012-12-11 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー 人間トリガのホログラフィックリマインダ
WO2015125375A1 (ja) 2014-02-18 2015-08-27 ソニー株式会社 情報処理装置、制御方法、プログラム、およびシステム

Also Published As

Publication number Publication date
JP2019061557A (ja) 2019-04-18
US11194535B2 (en) 2021-12-07
US20190095164A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP7056055B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN112075075B (zh) 用于促进远程会议的方法和计算机化智能助理
JP6439788B2 (ja) 情報処理装置、制御方法、プログラム、およびシステム
US11749285B2 (en) Speech transcription using multiple data sources
US10136043B2 (en) Speech and computer vision-based control
US10223832B2 (en) Providing location occupancy analysis via a mixed reality device
US20100060713A1 (en) System and Method for Enhancing Noverbal Aspects of Communication
CN103733196A (zh) 用于实现现实世界用户经历的可搜索历史的方法及设备
US10673788B2 (en) Information processing system and information processing method
JP6719072B2 (ja) 接客装置、接客方法及び接客システム
JP6728863B2 (ja) 情報処理システム
US10909405B1 (en) Virtual interest segmentation
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
US20110176025A1 (en) Video information processing apparatus, video information processing method, and computer-readable storage medium
KR20180063040A (ko) 정보 처리 장치 및 정보 처리 방법
US20190227695A1 (en) Immersive displays
US11810219B2 (en) Multi-user and multi-surrogate virtual encounters
CN116888574A (zh) 共存会话中的数字助理交互
JP2019086858A (ja) 顧客応対システム及び顧客応対方法
JPWO2018168247A1 (ja) 情報処理装置、情報処理方法およびプログラム
Misawa et al. ChameleonMask: a human-surrogate system with a telepresence face
JP7249371B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2024100703A1 (ja) 映像表示装置、映像表示システム及び映像表示装置の制御方法
US20220222035A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing method
JP2022186819A (ja) 仮想空間提供システム、仮想空間提供方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R150 Certificate of patent or registration of utility model

Ref document number: 7056055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150