JPWO2015125375A1 - 情報処理装置、制御方法、プログラム、およびシステム - Google Patents

情報処理装置、制御方法、プログラム、およびシステム Download PDF

Info

Publication number
JPWO2015125375A1
JPWO2015125375A1 JP2016503947A JP2016503947A JPWO2015125375A1 JP WO2015125375 A1 JPWO2015125375 A1 JP WO2015125375A1 JP 2016503947 A JP2016503947 A JP 2016503947A JP 2016503947 A JP2016503947 A JP 2016503947A JP WO2015125375 A1 JPWO2015125375 A1 JP WO2015125375A1
Authority
JP
Japan
Prior art keywords
user
control unit
display
unit
past data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016503947A
Other languages
English (en)
Other versions
JP6439788B2 (ja
Inventor
小野　秀行
秀行 小野
倉田　雅友
雅友 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015125375A1 publication Critical patent/JPWO2015125375A1/ja
Application granted granted Critical
Publication of JP6439788B2 publication Critical patent/JP6439788B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】対話者に関連する過去データを対話者と共有することが可能な情報処理装置、制御方法、プログラム、およびシステムを提供する。【解決手段】認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、制御方法、プログラム、およびシステムに関する。
近年、頭部に装着されるウェアラブル装置であるＨＭＤ（ヘッドマウンドディスプレイ）に関する様々な技術が提案されている。例えば、下記特許文献１では、ユーザがヘッドマウントディスプレイを装着してコンテンツを視聴している場合に、より効果的にユーザに対して環境音を視覚的に提示する技術が開示されている。
また、メガネ型のＨＭＤであって、レンズ部分に相当する表示部が透過型の場合、日常生活に支障なく常に装着することができる。また、このようなＨＭＤを日常的に装着し、ＨＭＤに設けられた収音部や撮像部でユーザの周囲を継続的に記録してライフログをユーザがアクセス可能なストレージ上（クラウドを含む）に蓄積することもできる。
また、ストレージ上に蓄積されるデータには、ライフログの他、ユーザがスマートフォンやタブレット端末等の情報処理装置で日頃からクリップした情報群（ドキュメント、画像、Ｗｅｂサイトのリンク情報等）も保存され得る。
特開２０１１−２５０１００号公報
ここで、ユーザが、現実空間での会議やＴＶ会議で対話者と場を共有している際に、対話者に関連する過去の記憶を思い返すことがある。例えば、対話者との過去のメールのやり取りや、対話者との過去の会議の内容等である。
また、思い浮かべた過去の記憶を対話者と共有することができれば、より快適に議論を行うことができる。
しかしながら、上述した従来技術では、このようなニーズは何ら考慮されていなかった。
そこで、本開示では、対話者に関連する過去データを対話者と共有することが可能な情報処理装置、制御方法、プログラム、およびシステムを提案する。
本開示によれば、認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、を備える、情報処理装置を提案する。
本開示によれば、認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、前記過去データの他者との共有を設定するよう制御することと、を含む、制御方法を提案する。
本開示によれば、コンピュータを、認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、として機能させるための、プログラムを提案する。
本開示によれば、各ユーザの過去データを格納するサーバと、ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と、前記過去データの他者との共有を設定するよう制御する共有設定制御部と、を有するユーザ端末と、を備える、システムを提案する。
以上説明したように本開示によれば対話者に関連する過去データを対話者と共有することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報共有システムの概要について説明するための図である。 本実施形態によるＨＭＤの一方向からの外観の一例を示す図である。 本実施形態によるＨＭＤの他方向からの外観の一例を示す図である。 本実施形態によるＨＭＤに設けられる撮像部の設置場所について補足するための図である。 本実施形態によるＨＭＤの内部構成例を示すブロック図である。 本実施形態によるユーザ端末の構成例を示すブロック図である。 本実施形態によるクラウドストレージの構成例を示すブロック図である。 本実施形態によるライフログの保存処理を示すシーケンス図である。 ライフロガー起動中の動作処理を示すシーケンス図である。 本実施形態によるメタデータ生成処理を示すシーケンス図である。 本実施形態による回想アプリケーションの起動処理を示すシーケンス図である。 本実施形態による回想アプリケーション起動時におけるＨＭＤを介した視界の変化を説明するための図である。 本実施形態による過去データの検索処理を示すシーケンス図である。 フリック操作で資料群を閲覧する場合について説明するための図である。 個別の資料の中身を閲覧する場合について説明するための図である。 キーワードの表示制御処理を示すシーケンス図である。 キーワードの表示例を説明するための図である。 本実施形態によるキーワード選択および検索処理を示すシーケンス図である。 キーワード検索の結果表示画面の一例を示す図である。 対象資料の推定処理を説明するための図である。 マッチングに基づく「あれ」候補一覧の一例を示す図である。 フィードバック学習によるメタデータの拡充を説明するための図である。 会話の非参加者に対して資料候補を提示する処理を説明するための図である。 本実施形態による共有処理を示すシーケンス図である。 共有設定操作について説明するための図である。 ユーザＡからユーザＢに共有された資料の提示画面の一例を示す図である。 本実施形態による共有資料のコピー処理を示すシーケンス図である。 共有資料のコピー操作について説明するための図である。 共有資料の閲覧について説明するための図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報共有システムの概要
２．基本構成
２−１．ＨＭＤの構成
２−２．ユーザ端末の構成
２−３．クラウドストレージの構成
３．動作処理
３−１．ライフログの保存処理
３−２．メタデータ生成処理
３−３．起動処理
３−４．検索処理
３−５．キーワード検索処理
３−６．共有処理
３−７．共有資料のコピー処理
４．まとめ
＜＜１．本開示の一実施形態による情報共有システムの概要＞＞
まず、本開示の一実施形態による情報共有システムの概要について図１を参照して説明する。図１に示すように、本実施形態による情報共有システムは、ユーザの頭部に装着されるウェアラブル装置の一例であるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１と、スマートフォンやタブレット端末等により実現されるユーザ端末２と、クラウドストレージ３を含む。
ＨＭＤ１、ユーザ端末２、およびクラウドストレージ３は、互いに無線／有線接続し、データの送受信を行うことが可能である。例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方式により接続され得る。また、クラウドストレージ３は、ＨＭＤ１およびユーザ端末２と、ネットワークに接続されたＡＰ（アクセスポイント）を介して接続し得る。
（背景）
ここで、ユーザＡとユーザＢが、現実空間での会議やＴＶ会議等で場を共有している場合、対話者に関連する過去の記憶、例えば過去の会議の内容等を思い返すことがあるが、正確な資料内容まで思い返すことは困難である。また、このように思い浮かべた過去の記憶を対話者と共有することができれば、より快適に議論を行うことができるが、上述した従来技術では、思い浮かべた過去の記憶（回想データ）を共有することについて何ら考慮されていなかった。
そこで、本実施形態では、ユーザが他者と場を共有している際に思い起こした対話者に関連する過去データ（回想データ）を対話者と視覚的に共有することができる。
例えば、日頃からユーザＡのライフログや、ユーザＡがユーザ端末２ａでクリップした情報群（書類、写真、そのリンクなど）が、ユーザＡがアクセス権限を持つあらゆるストレージ（例えばクラウドストレージ３）に保存されていることを前提として以下のステップが行われる。
まず、図１に示すように、ＨＭＤ１ａ、１ｂをそれぞれ装着したユーザＡとユーザＢが同席、もしくはテレビ会議などで場を共有して議論を行っている場合に、ユーザＡが過去の記憶を思い返す動作を行うと、対話者のユーザＢに関連する情報がユーザＡに提示される。一般的に、人間は過去の記憶を思い返す際、過去のことを絵画的・図形的に頭の中に描き、それを描写するため感覚脳である右脳を使うので、視線は逆の左上に向くことが知られている。そこで、ＨＭＤ１ａは、例えばユーザＡの視線が左上に向いたことをトリガとして、対話者のユーザＢに関連する情報をＨＭＤ１ａの表示部（図２Ｂに示す表示部１２）に表示してユーザＡに提示する。
対話者のユーザＢに関連する情報は、例えば、ユーザＢとの過去のメールのやり取りや、対話者との過去の会議の内容等である。ここでは、例えばユーザＢから直近で送信された動画データ４００が、図１に示すように、ＨＭＤ１ａの表示部１２を介したユーザＡの視界１２０の左上に表示される。なお動画データ４００は、クラウドストレージ３からユーザ端末２ａを介して取得され、ユーザ端末２ａの制御によりＨＭＤ１ａの表示部１２に表示される。また、ＨＭＤ１ａは、ユーザＢに関連する情報を複数提示し、ユーザＡによる視線操作や指さし操作、ユーザ端末２ａでのフリック操作等により選択させてもよい。
次いで、提示されている動画データ４００を対話者と共有したい場合、ユーザＡは動画データ４００の共有設定を指示する。これにより、動画データ４００の共有指示がユーザ端末２ａからユーザ端末２ｂに通知され、ユーザ端末２ｂは、ユーザＢが装着しているＨＭＤ１ｂの表示部１２に動画データ４００を表示するよう制御する。この際、ユーザ端末２ｂは、図１に示すように、動画データ４００が、表示部１２を介したユーザＢの視界１２２においてユーザＡの頭上に表示されるよう制御する。これにより、ユーザＢはユーザＡが思い返している過去のデータ（回想データ）を視覚的に認識して、記憶を共有した上で議論することができる。
また、ユーザＢは、視線操作や指さし操作、ユーザ端末２ｂでのフリック操作等により、共有された動画データ４００を再生したり、自分のストレージにコピーしたりすることができる。
以上、本開示の一実施形態による情報共有システムの概要について説明した。続いて、本開示による情報共有システムに含まれるＨＭＤ１、ユーザ端末２、およびクラウドストレージ３の基本構成について図２〜図５を参照して説明する。
＜＜２．基本構成＞＞
＜２−１．ＨＭＤの構成＞
まず、ユーザの頭部に装着されるＨＭＤ１の外観および内部構成について、図２〜図３を参照して説明する。
（２−１−１．外観構成）
図２Ａおよび図２Ｂは、本実施形態によるＨＭＤ１の各方向からの外観の一例を示す図である。図２Ａおよび図２Ｂに示すように、本実施形態によるＨＭＤ１は、帽子形状の構造を有し、本体の前部に重量物が集中していても、装置の荷重を頭部全体に分散させて、ユーザの負担を軽減して装着することができる。具体的には、ＨＭＤ１は、表示系統を含む大部分の部品を含んだ本体部１０１と、本体部１０１の上面から突設した額当て部１０２と、上バンド１０４及び下バンド１０５に分岐されるヘッド・バンドと、左右のヘッドフォン１１０からなる。本体部１０１内には、表示部１２や回路基板が収容される。また、本体部１０１の下方には、鼻背に倣うように鼻当て部１０３が形設されている。
また、ＨＭＤ１の本体部１０１の前方には、撮像レンズ１４ａが設けられる。撮像レンズ１４ａは、例えば全天球カメラレンズまたは魚眼レンズにより実現され、ＨＭＤ１に外付けまたは埋め込みで設けられる。これにより、ＨＭＤ１は、周囲１８０度〜３６０度を撮影することができる。なお魚眼レンズで取得した画像は、歪み補正を行った上で利用される。また、撮像レンズをアレイ状に複数設けて周囲３６０度を撮影することも可能である。
また、撮像レンズ１４ａの設置位置は図２Ａに示す例に限定されず、例えば図３左に示すように、全天球カメラレンズまたは魚眼レンズにより実現される撮像レンズ１４ｂを、本体部１０１上面に設けてもよい。若しくは、図３右に示すように、左右のこめかみ部分にそれぞれ撮像レンズ１４ｃ、１４ｄを設けてもよい。この場合、撮像レンズ１４ｃ、１４ｄで撮像された左右１８０度ずつの撮像画像を３６０度の画像に補正した上で利用される。
ヘッド・バンドは、例えばナイロンやポリプロピレンなどの柔らかいが伸縮しない素材で製作され、上バンド１０４は、柔らかさを持ち、装着時には荷重を支えるために頭に沿って曲がるが、伸びにくく、ＨＭＤ１の落下を防止することができる。また、下バンド１０５は、シリコン・ゴムやエラストマーのような伸縮可能な素材で構成されるが、異種材の２色成形により、上バンド１０４と一体部品とすることができる。
また、ＨＭＤ１の表示部１２は、装着状態において、ユーザの両眼の直前に左眼用と右眼用の一対で配置される構成となっている。表示部１２には、例えば撮像レンズ１４ａで撮像された現実空間の撮像画像が表示される。
また、ＨＭＤ１の本体部１０１には、前方および左右に、外部音声を収音する複数のマイクロホン１３０（マイクアレー１３０とも称す）が配置される。
さらに、ＨＭＤ１の本体部１０１内側における表示部１２付近には、ユーザの視線を検出するための撮像レンズ１５ａが内側に向けて設けられる。
以上、ＨＭＤ１の外観構成について具体的に説明したが、図２Ａ、図２Ｂに示すＨＭＤ１の装着部分の構造（額当て部１０２、上バンド１０４、および下バンド１０５）は一例であって、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部１２が設けられていればよい。
また、表示部１２は透過型であってもよく、ＨＭＤ１により表示部１２がスルー状態、即ち透明または半透明の状態とされることで、ユーザは、スルー状態の表示部１２を介して現実空間を視認できるので、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。この場合、表示部１２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
また、左右のヘッドフォン１１０は、ステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。さらに、ヘッドフォン１１０を備えない構成も考えられる。以下に説明する内部構成例（図４参照）では、ヘッドフォン１１０（音声出力部）を備えない構成が示される。
（２−１−２．内部構成）
続いて、本実施形態によるＨＭＤ１の内部構成について図４を参照して説明する。図４は、本実施形態によるＨＭＤ１の内部構成例を示すブロック図である。図４に示すように、ＨＭＤ１は、制御部１０、通信部１１、表示部１２、収音部１３、撮像部１４、視線検出部１５、および記憶部１６を有する。
（制御部１０）
制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。
本実施形態による制御部１０は、例えば収音部１３、撮像部１４、および視線検出部１５で取得したデータを、通信部１１を介してユーザ端末２またはクラウドストレージ３に送信するよう制御する。また、制御部１０は、通信部１１を介してユーザ端末２から受信した指示に従って、表示部１２にデータを表示するよう制御する。
（通信部１１）
通信部１１は、外部機器との間でのデータの送受信を行う。例えば通信部１１は、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）等によりユーザ端末２と無線接続し、データの送受信を行う。
（表示部１２）
表示部１２は、制御部１０による制御に従って、画像データを表示する。具体的には、本実施形態による表示部１２は、装着者から見て左上に対話者に関連する過去データを表示する。
（収音部１３）
収音部１３は、例えば図２Ａに示すようなマイクアレー１３０と、マイクアレー１３０で得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを制御部１０に出力する。また、収音部１３から出力される音声データは、音声データに対してノイズ除去、音源分離等の処理を行う音声信号処理部（不図示）を介して制御部１０に出力されてもよいし、制御部１０により音声信号処理が行われてもよい。
（撮像部１４）
撮像部１４は、撮像レンズ１４ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
（視線検出部１５）
視線検出部１５は、装着者の視線位置を検出する機能を有し、検出結果を制御部１０に出力する。具体的には、例えば視線検出部１５は、内側に向けて設けられた撮像レンズ１５ａ（図２Ｂ参照）を有する撮像部により実現される。この場合、視線検出部１５は、撮像されたユーザの眼球の撮像画像に基づいて瞳孔の中心点を認識する処理を行い、視線位置を検出する。
（記憶部１６）
記憶部１６は、制御部１０による各種処理を実行するためのプログラムが格納される。
以上、ＨＭＤ１の内部構成について説明した。なお図４に示すＨＭＤ１の構成は一例であって、ＨＭＤ１の構成はこれに限定されない。例えばＨＭＤ１は、さらに照明部、音声出力部等を有していてもよい。
＜２−２．ユーザ端末の構成＞
図５は、本実施形態によるユーザ端末２の構成例を示すブロック図である。図５に示すように、ユーザ端末２は、制御部２０、通信部２１、操作部２２、表示部２３、および記憶部２４を有する。
（制御部２０）
制御部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ユーザ端末２の各構成を制御する。また、制御部２０は、図５に示すように、ライフログ取得制御部２１０、話者認識部２２０、検索制御部２３０、表示制御部２４０、共有設定制御部２５０、および言語処理部２６０として機能する。
ライフログ取得制御部２１０は、ユーザの周囲の状況を継続的に記憶するよう制御する。具体的には、例えばライフログ取得制御部２１０は、ＨＭＤ１の収音部１３、撮像部１４で取得された音声データ、画像データをＨＭＤ１から受信して、記憶部２４またはクラウドストレージ３に格納するよう制御する。
話者認識部２２０は、ＨＭＤ１から送信される音声データ、画像データに基づいて、対話者を認識する。具体的には、例えば話者認識部２２０は、音声データに対して音源分離を行い、混合されている音声データを音源毎に分離する。これにより、話者認識部２２０は、音声データを、環境音や、ユーザＡ自身の発話音、対話者（ユーザＢ）の発話音等に分離することができる。また、話者認識部２２０は、音源分離した各個別音声データに対して解析処理を行って、個別音声を発する音源の方向を示す方向データと、音源までの距離を示す距離データを生成してもよい。ここで、音声の音源の方向および距離は、その音声を収音したＨＭＤ１のマイクアレー等の収音部１３を基準とした方向および距離である。そして、話者認識部２２０は、個別音声データが発話音である場合、発話者の認識を行う。具体的には、話者認識部２２０は、音声データ取得時の撮像画像（画像データ）を参照し、音源の方向を示す方向データおよび／または距離を示す距離データに合致する位置の人物（顔画像）を話者として認識し、顔認識処理により話者を識別する。また、話者認識部２２０は、発話音と判断された個別音声データを分析して得た音声の特徴量に基づいて話者を識別することも可能である。
検索制御部２３０は、話者認識部２２０により認識された対話者に関連する情報（過去データ）を検索する機能を有する。具体的には、検索制御部２３０は、クラウドストレージ３、またはローカルストレージである記憶部２４に対して検索要求を行う。ここで、クラウドストレージ３において検索される範囲は、ユーザがアクセス可能な記憶領域であって、継続的に蓄積されたライフログや、クリップ等して保存したドキュメント群、他者と送受信したデータ等から検索される。検索制御部２３０は、検索の際、過去データに関連付けられたメタデータに基づいて対話者に関連する過去データを検索し得る。また、検索制御部２３０は、対話者に関連する過去データのうち、現在日時、場所、ユーザの現在のスケジュール情報と照らし合わせて、検索してもよい。例えば、検索制御部２３０は、対話者に関連する過去データのうち、現在ユーザが出席している会議の過去の会議で利用された資料を検索する。
表示制御部２４０は、ユーザ端末２の表示部２３の表示制御の他、ＨＭＤ１の表示部１２の表示制御も行い得る。例えば表示制御部２４０は、検索制御部２３０により検索された対話者に関連する情報（過去データ）を、ＨＭＤ１の表示部１２に表示するよう制御する。具体的には、表示制御部２４０は、通信部２１を介して、対話者に関連する情報と、表示指示をＨＭＤ１に送信する。
共有設定制御部２５０は、過去データの他者との共有設定の制御を行う。具体的には、共有設定制御部２５０は、ユーザが対話者への共有が許可された場合、対話者のユーザ端末に対して共有が許可された過去データを送信し、また、クラウドストレージ３に対して共有通知を行う。
言語処理部２６０は、ＨＭＤ１の収音部１３で取得され、ＨＭＤ１から送信された音声データに対して言語解析処理を行い、指示語や名詞等のキーワード抽出を行う。抽出されたキーワードは、対話者に関連する過去データの検索キーワードの候補としてユーザに提示される。
（通信部２１）
通信部２１は、外部機器との間でのデータの送受信を行う。例えば通信部２１は、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）等によりＨＭＤ１、およびクラウドストレージ３と接続し、データの送受信を行うことができる。
（操作部２２）
操作部２２は、ユーザによる操作入力を受け付け、受け付けた入力情報を制御部２０に出力する。操作部２２は、ボタン、スイッチ等の他、表示画面への操作入力を受け付けるタッチセンサにより実現される。
（表示部２３）
表示部２３は、制御部２０の表示制御部２４０の制御にしたがって、所定の表示画面を表示する。表示部２３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等により実現される。
（記憶部２４）
記憶部２４は、制御部２０が各種処理を実行するためのプログラム等を記憶する。また、本実施形態では、ライフログやドキュメント群等がクラウドストレージ３に格納されているが、ローカルストレージの一例である記憶部２４に格納されていてもよい。
以上、ユーザ端末２の構成例について具体的に説明した。なおユーザ端末２は、図１に示すスマートフォンに限定されず、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。
＜２−３．クラウドストレージの構成＞
図６は、本実施形態によるクラウドストレージ３の構成例を示すブロック図である。図６に示すように、クラウドストレージ３は、制御部３０、通信部３１、メタデータ生成部３３、および記憶部３４を有する。
（制御部３０）
制御部３０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、クラウドストレージ３の各構成を制御する。例えば、制御部３０は、ユーザ端末２からの要求に応じて、対話者に関連する過去データを記憶部３４から検索する機能を有する。また、制御部３０は、記憶部３４に記憶されている音声データや画像データ、ドキュメント群等を取得してメタデータ生成部３３に送り、メタデータ生成部３３で生成されたメタデータを、音声データ等にそれぞれ関連付けて記憶部３４に格納するよう制御する。
（通信部３１）
通信部３１は、外部機器との間でのデータの送受信を行う。例えば通信部３１は、ネットワークを介して、ユーザ端末２、およびＨＭＤ１と接続し、データの送受信を行うことができる。
（メタデータ生成部３３）
メタデータ生成部３３は、記憶部３４に記憶される音声データ、画像データ（動画／静止画）、ドキュメント群等を解析し、メタデータを生成（抽出）する。例えば、メタデータ生成部３３は、画像データや音声データについて、録音／録画日時、録音／録画場所、顔認識／音声認識により得られた被写体／話者の識別情報、被写体／話者（音源）の方向データ・距離データ、アクセス権限者（ユーザ名）、音声認識、テキスト化データ等をメタデータとして生成する。また、メタデータ生成部３３は、ドキュメント群（テキストデータ）について、利用日時、改変日時、ユーザのスケジュールとの紐付け情報（例えば会議名、参加者／同席者等）、コンテンツ内容（例えばタイトル）等をメタデータとして生成する。
（記憶部３４）
記憶部３４は、各ユーザ端末２から送信されたライフログ（音声データ、画像データ等）や、ドキュメント群、各ユーザのスケジュール情報等を記憶する。また、記憶部３４に記憶されているデータは、アクセス権限を有するユーザにより日常的に閲覧、追加・削除などの操作がなされる。
記憶部３４に記憶されているデータには各々アクセス権が設定され、各ユーザのプライベートなデータとして設定され得る。また、アクセス権を有するユーザの指示に従って、対象データに対するアクセスを他ユーザに許可される場合（共有される場合）や、所定グループのユーザに対して対象データがパブリックにされる場合もある。
以上、本実施形態による情報共有システムに含まれる各装置の構成について詳細に説明した。続いて、本実施形態による情報共有システムの動作処理について説明する。
＜＜３．動作処理＞＞
＜３−１．ライフログの保存処理＞
まず、情報共有システムに含まれるクラウドストレージ３に日常的に蓄積されるユーザのライフログの保存処理について図７を参照して説明する。図７は、本実施形態によるライフログの保存処理を示すシーケンス図である。
図７に示すように、ステップＳ１０３において、ユーザ端末２の操作部２２は、ユーザによるログ開始操作を受け付ける。
次いで、ステップＳ１０６において、操作部２２はログ開始指示を制御部２０に出力し、制御部２０は、通信部２１を介してＨＭＤ１にログ開始指示を送信する。
次に、ステップＳ１０９において、ＨＭＤ１の制御部１０は、ライフロガーの起動処理（ライフログの保存開始）を行う。
続いて、ライフロガーの起動処理後の動作処理について図８を参照して説明する。図８は、ライフロガー起動中の動作処理を示すシーケンス図である。図８に示すように、ステップＳ１２３およびＳ１２６において、ＨＭＤ１の制御部１０は、収音部１３で収音された音データや、撮像部１４で撮像された画像データ（静止画／動画）をライフログとして取得する。
次に、ステップＳ１２９において、制御部１０は、取得したライフログ（音データ、画像データ）を、通信部１１を介してユーザ端末２に送信する。
次いで、ステップＳ１３２において、ユーザ端末２の制御部２０は、ライフログ取得制御部２１０として機能し、ＨＭＤ１から受信したライフログをクラウドストレージ３に送信する。
次に、ステップＳ１３５において、クラウドストレージ３の制御部３０は、通信部３１を介してユーザ端末２から受信したライフログを、記憶部３４におけるユーザがアクセス可能な記憶領域に格納する。
以上説明したステップＳ１２３〜Ｓ１３５の処理は、ライフロガー起動中において繰り返し行われる。これにより、ユーザの周囲の状況や周囲の音声を、全天球カメラや魚眼レンズで実現された３６０度カメラ（撮像部１４の一例）や、マイクアレー（収音部１３の一例）で取得し、常時ライフログとしてクラウドストレージ３に蓄積することができる。
なお、クラウドストレージ３に蓄積されるユーザのデータは、音声データや画像データに限定されず、例えばドキュメント群（テキストデータ）も含まれる。
また、クラウドストレージ３に蓄積されるデータは、ライフログに限定されず、例えばユーザ端末２でフリック操作して登録したデータ（音声データ、画像データ、テキストデータ）や、他ユーザと送受信したデータ、およびスケジュール情報等も含まれる。
＜３−２．メタデータ生成処理＞
次に、クラウドストレージに蓄積されている各種データのメタデータ生成について図９を参照して説明する。図９は、本実施形態によるメタデータ生成処理を示すシーケンス図である。
図９に示すように、まず、ステップＳ１４６において、クラウドストレージ３の制御部３０は、記憶部３４から各種データ（コンテンツデータとも称す）を取得する。
次に、ステップＳ１４９において、制御部３０は、記憶部３４から取得したコンテンツデータをメタデータ生成部３３に転送すると共に、メタデータの生成指示を出す。
次いで、ステップＳ１５２において、メタデータ生成部３３は、コンテンツデータを解析してメタデータを抽出する。具体的には、上述したように、画像データや音声データについては、録音／録画日時、被写体／話者の識別情報、テキスト化データ等がメタデータとして生成され、また、ドキュメント群については、利用日時、改変日時、ユーザのスケジュールとの紐付け情報等がメタデータとして生成される。
次に、ステップＳ１５５において、メタデータ生成部３３は、抽出したメタデータを制御部３０に転送する。
続いて、ステップＳ１５８において、制御部３０は、コンテンツデータとメタデータを関連付ける。
そして、ステップＳ１６１において、関連付けたメタデータを記憶部３４に格納する。
＜３−３．起動処理＞
次に、本実施形態による対話者に関連する過去データを表示する処理（以下、回想アプリケーションとも称す）の起動について、図１０を参照して説明する。図１０は、本実施形態による回想アプリケーションの起動処理を示すシーケンス図である。なお、ここでは、会議の場面で出席者がそれぞれ本システムを利用可能なＨＭＤ１を装着している状況を想定する。また、会議の出席者には、ユーザＡおよびユーザＢが含まれる。
また、本システムでは、各々のＨＭＤ１に設けられている収音部１３および撮像部１４により取得された音声データおよび画像データの解析結果に基づいて、会議の出席者や発言者等が自動認識される。これにより、例えばユーザＡの前でユーザＢが話している際、ユーザＡのＨＭＤ１ａまたはユーザ端末２ａでは、目の前にいる人物がユーザＢであることと、ユーザＢが話者であることが明示される。このような状況において、本実施形態によるユーザ端末２は、ユーザの視線の動きをトリガとして回想アプリケーションを起動する。
具体的には、図１０に示すように、まずステップＳ１７３、Ｓ１７６において、ＨＭＤ１の制御部１０は、収音部１３から収音された音声データを取得し、撮像部１４から撮像された画像データを取得する。収音部１３は、会議中の会話を収音し、撮像部１４は、ユーザの周囲に居る会議参加者を撮像している。
次に、ステップＳ１７９において、制御部１０は、通信部１１を介して、取得データをユーザ端末２に送信するよう制御する。
次いで、ステップＳ１８２において、ユーザ端末２の制御部２０は、話者認識部２２０として機能し、通信部２１を介してＨＭＤ１から取得したデータ（音声データ、画像データ）を解析してリアルタイムで話者認識を行う。これにより、例えばユーザＡの対話者としてユーザＢを認識することができる。また、上記ステップＳ１７３〜Ｓ１８２は繰り返し行われ、話者の変更も認識され得る。
次に、ステップＳ１８５において、ＨＭＤ１の制御部１０は、視線検出部１５により検出された装着者の視線検出データを取得する。
次いで、ステップＳ１８８において、制御部１０は、通信部１１を介して、視線検出データをユーザ端末２に送信するよう制御する。
次に、ステップＳ１９１において、ユーザ端末２の制御部２０は、通信部２１を介してＨＭＤ１から受信した視線検出データに基づいて、ユーザの視線が左上を向いたか否かを判断する。
続いて、ユーザの視線が左上を向いたと判断した場合（Ｓ１９１／Ｙｅｓ）、ステップＳ１９４において、制御部２０は、回想アプリケーションを起動する。上述したように、一般的に人間は過去の記憶を思い返す際、視線が左に向くことが知られているので、ここでは一例としてユーザの視線が左上に向いたことをトリガとして回想アプリケーションを起動する。
次いで、ステップＳ１９７において、制御部２０は、表示制御部２４０として機能し、ＨＭＤ１に対して回想情報（対話者に関連する過去データ）を表示するよう制御する。なお回想情報はクラウドストレージ３から取得するが、当該回想情報の検索処理については後述する。
次に、ステップＳ２００において、ＨＭＤ１の制御部１０は、ユーザ端末２からの指示に従って、表示部１２に対して回想情報を表示するよう制御する。
そして、ステップＳ２０１において、ＨＭＤ１の表示部１２は、制御部１０の制御に従って、回想情報を表示する。
以上、回想アプリケーションの起動処理について説明した。ここで、回想アプリケーション起動時におけるＨＭＤ１を介した視界の変化（表示例）について図１１を参照して説明する。
図１１に示す例は、回想アプリケーション起動時におけるＨＭＤ１を装着しているユーザの視界であって、ＨＭＤ１の表示部１２が図２に示すように透過しない場合、撮像部１４により撮像された前方の風景の撮像画像が表示される。また、メガネ型シースルーＨＭＤ等、表示部１２が透過するタイプの場合、ユーザは透過した表示部１２を介して実空間の前方の風景が見える。上述したように、本システムでは会議中継続的に話者認識が行われるので、図１０上に示すように、誰が話者であるかを示す表示が、ＨＭＤ１の表示部１２において前方の撮像画像または実空間の風景に重畳表示される。
そして、ユーザが相手ユーザと議論しながら過去の記憶を思い返す際、ユーザの視点４０が自然に左上に移動すると、継続的に視線検出を行っていた本システムは回想アプリケーションを起動する。回想アプリケーションが起動すると、ＨＭＤ１は、ユーザ端末２の制御に従って、例えばユーザの視界の左上に吹き出し画像４２を表示し、吹き出し画像４２内に、クラウドストレージ３から検索された対話者に関連する過去データの資料群４２１〜４２３を表示する。これにより、ユーザが過去の記憶を思い返そうとすると、自動的にクラウドストレージ３から検索されたデータが表示されるので、ユーザは過去のデータを確認した上でより有意義に議論を行うことができる。
なお、ここではトリガとして視線移動を用いたが、回想アプリケーションの起動トリガはこれに限定されず、例えばユーザによる明示的な起動操作等であってもよい。また、検索される過去データの資料群４２１〜４２３（回想情報）は、話者を自動選択して当該話者に関連するものであるが、本実施形態はこれに限定されず、例えばユーザ操作により任意に選択された他の参加者の過去データであってもよい。
＜３−４．検索処理＞
続いて、本実施形態による過去データ（回想情報）の検索処理について図１２を参照して説明する。図１２は、本実施形態による過去データの検索処理を示すシーケンス図である。
図１２に示すステップＳ１９４において、図１０に示す動作処理の同ステップの処理、すなわちユーザ端末２の制御部２０による回想アプリケーションの起動処理が行われる。この際、上記ステップＳ１８２において、話者は既に認識されている状態を想定する。
次に、ステップＳ１９４−１において、制御部２０は、検索制御部２３０として機能し、認識された話者（例えばユーザＢ）に関連する情報の検索要求を、通信部２１を介してクラウドストレージ３に対して行う。
次いで、ステップＳ１９４−２において、クラウドストレージ３の制御部３０は、記憶部３４から関連情報の検索を行う。この際、制御部３０は、例えば話者と認識されたユーザＢに関連する情報として、ユーザＢが出席している本会議の過去の資料や、ユーザＢが他者に共有している資料全般、ユーザＢとユーザＡが以前話していた時に利用した資料、ユーザＢとの会話の内容等を検索する。具体的には、制御部３０は、記憶部３４に記憶されている各種コンテンツデータのメタデータを参照してこれらの資料を検索する。例えば、ライフログには、その時周囲に居た人物や対話者の認識結果がメタデータとして紐付けられているので、ユーザＢと一緒に居た時の音声データや画像データが検索結果として抽出される。また、ライフログから判明するユーザＢと一緒に居た時刻の前後にユーザＡが送受信したメールの内容や、アクセスしたＵＲＬ等が検索結果として抽出されてもよい。
次に、ステップＳ１９４−３において、制御部３０は、記憶部３４から検索したコンテンツデータを、通信部３１を介して、検索結果としてユーザ端末２に送信する。
そして、ステップＳ１９７において、ユーザ端末２の制御部２０は、表示制御部２４０として機能し、ＨＭＤ１に対して回想情報の表示指示を行う（図１０の同ステップ参照）。
以上、本実施形態による検索処理について説明した。なお検索結果が複数ある場合、図１０に示すように、吹き出し画像４２内に複数の過去データの資料群４２１〜４２３が表示されるので、ユーザは任意の資料を絞り込んで所望の資料を閲覧することができる。以下、図１３、図１４を参照して資料の絞り込みについて説明する。絞り込み操作は、ユーザの手元にあるユーザ端末２の操作部２２（例えばタッチパネル）からフリック、タップ操作等により行ってもよい。この場合、ユーザ端末２の表示部２３にも吹き出し画像４２および過去データの資料群４２１〜４２３が表示され、ユーザ端末２での絞り込み操作がＨＭＤ１の表示部１２にも反映される。
図１３は、フリック操作で資料群を閲覧する場合について説明するための図である。図１３に示すように、過去データとして複数の資料が吹き出し画像４２内に表示されている場合、ユーザＡは、指５ａで左右にフリック操作を行うことで、並列して並ぶ他の資料群を閲覧することができる。例えば、図１３に示す例では過去データの資料群４２１〜４２３が吹き出し画像４２内に表示されているが、さらに他の資料群が並んでいる場合、吹き出し画像４２内には全て表示され得ないので、ユーザはフリック操作により他の資料群を閲覧する。
図１４は、個別の資料の中身を閲覧する場合について説明するための図である。図１４上に示すように、各資料群４２１〜４２３のうち、例えば資料群４２２をタップして資料群４２２の内訳を表示させることができる。次いで、図１４中央に示すように、資料群４２２の内訳として資料４２２−１〜４２２−３が表示されると、ユーザは所望の資料４２２−２をタップして資料４２２−２の中身を表示させることができる。
そして、図１４下に示すように、資料４２２−２の中身が展開されると、ユーザは上下左右のフリック操作により資料４２２−２をスクロールさせて閲覧することができる。
以上、資料の絞り込み操作をユーザ端末２の操作部２２から行う場合について説明したが、本実施形態はこれに限定されず、例えば指さし等のジェスチャー入力で行ってもよい。指さし等のジェスチャーは、ＨＭＤ１に設けられた撮像部１４により撮像され、撮像画像の解析によりジェスチャー入力として受け付けられる。また、ジェスチャー入力の際、手や指の撮像画像がＨＭＤ１の表示画面に重畳表示されてもよい。
＜３−５．キーワード検索処理＞
以上説明した検索処理では、話者（またはユーザが任意に指定した人物）に関連する過去データが検索され、ユーザが絞り込み操作を行っているが、本実施形態はこれに限定されず、話者との会話から抽出したキーワードを用いて資料の絞り込みが行われてもよい。
（３−５−１．キーワード表示）
まず、図１５〜図１８を参照して抽出したキーワードの表示と資料の絞り込みについて説明する。図１５は、キーワードの表示制御処理を示すシーケンス図である。
図１５に示すように、ステップＳ２０３において、ＨＭＤ１の制御部１０は、収音部１３から話者との会話（音データ）を取得し、次のステップＳ２０６において、ユーザ端末２に送信する。
次いで、ステップＳ２０９において、ユーザ端末２の制御部２０は、言語処理部２６０として機能し、通信部２１を介してＨＭＤ１から受信した音データに対して言語処理を行い、名詞や指示語等のキーワードを抽出する。
また、ステップＳ２１２において、制御部２０は、話者認識部２２０として機能し、通信部２１を介してＨＭＤ１から受信した音データに対して話者認識を行う。
次に、ステップＳ２１５において、制御部２０は、話者との会話から抽出したキーワードを、通信部２１からＨＭＤ１に送信するよう制御する。
次いで、ステップＳ２１８において、ＨＭＤ１の制御部１０は、ユーザ端末２から通信部１１を介して送信されたキーワードを、表示部１２において、対応する話者付近に表示するよう制御する。
そして、ステップＳ２２１において、ＨＭＤ１の表示部１２は、話者との会話から抽出されたキーワードを話者付近に表示するよう制御する。
以上説明したキーワードの表示制御は会議中にリアルタイムで継続的に行われる。ここで、キーワードの表示例について図１６を参照して説明する。図１６は、本実施形態によるキーワードの表示例について説明するための図である。図１６に示す例は、ＨＭＤ１の表示部１２を介したユーザの視界であって、認識された話者であるユーザＢ付近には、「Ｂさん、話者」と表示される。また、回想アプリケーションが起動すると、吹き出し画像４２が左上に表示される。そして、上述したキーワード表示制御処理により、図１６に示すように、ユーザＢとの会話から抽出されたキーワード群４３が表示される。かかるキーワード表示制御処理は、会議中にリアルタイムで継続的に行われるので、図１６に示すように、順次抽出されたキーワードが表示される。
（３−５−２．キーワードの選択と検索処理）
続いて、表示されたキーワードの選択と検索処理について図１７を参照して説明する。図１６を参照して上述したようにキーワード群４３が表示された場合、ユーザは検索したいキーワードを選択する。選択操作は、ユーザ端末２の操作部２２からタップ操作等により行ってもよいし、指さし等のジェスチャー入力であってもよい。図１７に示すシーケンス図では、一例としてユーザ端末２の操作部２２からタップ操作により選択する場合について説明する。
図１７は、本実施形態によるキーワード選択および検索処理を示すシーケンス図である。図１７に示すよう、まず、ステップＳ２３３において、ユーザ端末２の操作部２２は、キーワード「あの資料」の選択を受け付ける。
次に、ステップＳ２３６において、操作部２２は検出したキーワード選択の内容（キーワード「あの資料」を選択したこと）を制御部２０に出力する。
次いで、ステップＳ２３９において、制御部２０は、検索制御部２３０として機能し、キーワード「あの資料」を検索する際の具体的な検索ワードを生成する。例えば、「あの資料」からは、話者が今開かれている会議で過去に使った資料や、話者が今開かれている会議に参加しているメンバーと話したときに使った資料等が推定されるので、現在行われている会議の名称や、参加者全員の氏名等が具体的な検索ワードとして生成される。
続いて、ステップＳ２４２において、制御部２０は、生成した検索ワードに基づいて、資料候補情報取得要求を、通信部２１を介してクラウドストレージ３に対して行う。
次に、ステップＳ２４５において、クラウドストレージの制御部３０は、ユーザ端末２からの要求に応じて、検索ワードに基づき、資料候補情報を記憶部３４から検索する。この際、制御部３０は、記憶部３４に格納されているコンテンツデータに紐付けられているメタデータを参照し、所定の会議の過去の資料等を検索する。
次いで、ステップＳ２４８において、制御部３０は、検索結果をユーザ端末２に送信する。
次に、ステップＳ２５１において、ユーザ端末２の制御部２０は、検索結果に基づいて、「あの資料」の資料候補情報を表示するようＨＭＤ１に対して指示を送る。
そして、ステップＳ２５４において、ＨＭＤ１の制御部１０は、ユーザ端末２からの指示に従って、資料候補情報を表示部１２に表示するよう制御する。この際、制御部１０は、回想アプリケーション起動により表示された吹き出し画像の中に、資料候補情報を表示するよう制御してもよい。以下、図１８を参照して説明する。
図１８は、キーワード検索の結果表示画面の一例を示す図である。図１８上に示すように、ユーザＢとの会話中に抽出されたキーワード群４３が表示されている場合に、ユーザが「あの資料」を選択すると、図１８下に示すように、吹き出し画像４２内に「あの資料」と推定される資料候補群４４０（検索結果）が表示される。このように、本実施形態では、会話中に抽出されたキーワードに基づいて絞り込み検索を行うことができる。
（３−５−３．検索資料の推定処理）
上述した検索処理では、会話から抽出した名詞または指示語からキーワードを一つ選択して対象資料の検索を行っているが、本実施形態はこれに限定されず、選択されたキーワードが登場した会話の前後の会話に基づいて、より正確に対象資料を推定することもできる。以下、図１９〜図２２を参照して具体的に説明する。
図１９は、対象資料の推定処理を説明するための図である。図１９に示す処理は、例えばユーザ端末２の制御部２０により実行される。また、図１９に示す「ＤＢ（データベース）」は、例えばユーザ端末２の記憶部２４が相当する。
まず、ステップＳ２６０において、制御部２０は、ＨＭＤ１から送信された撮像画像（例えばＨＭＤ１の全方向の撮像画像）に基づいて、周囲に居る人物の顔を認識する。ここで、会議の出席者にはユーザＡ、ユーザＢが含まれる。また、ここでは、一例としてユーザＡが所持するユーザ端末２の処理として説明する。
次に、ステップＳ２６２において、制御部２０は、ＨＭＤ１から送信された音声データおよび／または撮像画像に基づいて、話者（ここでは、ユーザＡまたはユーザＢ）を特定する。
次いで、ステップＳ２６４において、制御部２０は、ユーザＡとユーザＢの会話を全て音声認識・言語解析し、ユーザ毎にキーワードをラベル化し、ＤＢ（記憶部２４）に保存する。なお、制御部２０によるラベル化は、音声認識に基づくものに限定されず、例えば画像（静止画／動画）認識、行動認識等全ての認識結果に基づいて行う。ここで、ＤＢに保存されるラベル化されたキーワードの一例を下記表１に示す。
Figure 2015125375
次いで、ステップＳ２６６において、制御部２０は、会話中から「あれ・これ」といった指示語を判別する。例えば、制御部２０は、ユーザＡが「あれってどこだっけ」という会話から、指示語「あれ」を判別する。
次に、ステップＳ２６８において、制御部２０は、判別した指示語に相当する内容の解析を開始する。
具体的には、ステップＳ２７０において、制御部２０は、判別した指示語「あれ」の前後の会話のラベルを解析し、キーワードを抽出する。例えば、ユーザＢによる「年末最後のＣさんとの会議で使った『あれ』はＪのフォルダに入っているよ」といった会話から、「人：Ａさん・Ｂさん・Ｃさん」、「時間：年末最後」、「場所：会議室」、「コンテンツ内容：会議内容、お昼の会話」といったキーワードが抽出される。
次いで、ステップＳ２７２において、制御部２０は、抽出された「キーワード」と、各コンテンツデータのメタデータとをマッチングして、「あれ」に相当するコンテンツデータ（会議資料、写真、動画等）を抽出する。メタデータが紐付けられたコンテンツデータは、クラウドストレージ３から取得されて、ユーザ端末２の記憶部２４に一時的に格納される。ここで、マッチングによる「あれ」候補一覧の一例を図２０に示す。図２０に示すように、各コンテンツデータのメタデータと、抽出されたキーワードのマッチングにより、「あれ」候補１〜３が挙げられる。
次に、ステップＳ２７４において、制御部２０は、「あれ」候補１〜３を、優先度順（マッチング度の高い順）に、ＨＭＤ１の表示部１２において、ユーザＡから見て左上に表示される吹き出し画像内で提示するよう制御する。なお、ユーザ端末２から選択操作を行う場合は、ユーザ端末２の表示部２３にも同様に候補１〜３を表示するよう制御する。
そして、ステップＳ２７６において、ＨＭＤ１の表示部１２に表示された「あれ」候補１〜３のうち、ユーザＡにより正しい資料が選択され、正解が示される。また、候補１〜３が、後述する共有設定によりユーザＢに公開された場合、ユーザＢにより正しい資料が選択され、正解が示される場合もある。正しい資料が選択されると、ユーザ端末２の制御部２０は、正解が示された「あれ」候補（コンテンツデータ）のメタデータをフィードバック学習により拡充する。図２１は、フィードバック学習によるメタデータの拡充を説明するための図である。図２１に示すように、例えば「○○．ｐｐｔ」が正解だった場合、当該コンテンツデータのメタデータに、「時間：年末最後」、「人：Ｃさん」「その他：Ｊのフォルダ」等のキーワードがメタデータとして追加される。
以上説明した推定処理では、会話に参加しているユーザＡまたはユーザＢの発言に基づいて候補資料を推定して提示しているが、本実施形態はこれに限定されず、例えばそれまでの会話に参加していなかった者に対しても資料候補を提示することも可能である。以下、図２２を参照して説明する。
図２２は、会話の非参加者に対して資料候補を提示する処理を説明するための図である。図２２に示すように、まず、ステップＳ２８０において、ユーザ端末２の制御部２０は、ＨＭＤ１から送信された撮像画像（例えばＨＭＤ１の全方向の撮像画像）に基づいて、周囲に居る人物の顔を認識する。ここで、会議の出席者にはユーザＡ、ユーザＢ、ユーザＣが含まれる。また、ここでは、一例としてユーザＣが所持するユーザ端末２の処理として説明する。
次に、ステップＳ２８２において、制御部２０は、ＨＭＤ１から送信された音声データおよび／または撮像画像に基づいて、話者（ここでは、ユーザＡまたはユーザＢ）を特定する。この時、ユーザＣは会話に参加しておらず、会話の外にいる。
次いで、ステップＳ２８４において、制御部２０は、ユーザＣの周りで行われているユーザＡとユーザＢの会話を全て音声認識・言語解析し、ユーザ毎にキーワードをラベル化し、ＤＢ（記憶部２４）に保存する。
次に、ステップＳ２８６において、制御部２０は、会話に参加していないユーザＣに対してユーザＡが「そういえば、『あれ』ってどうなったの？」と話しかけてきた場合でも、会話から指示語「あれ」を判別する。
次いで、ステップＳ２８８において、制御部２０は、判別した指示語に相当する内容の解析を開始する。
具体的には、ステップＳ２９０において、制御部２０は、判別した指示語「あれ」の前後の会話のラベルを解析し、キーワードを抽出する。上述したように、ユーザＣが会話に参加していない間も、ユーザＣのユーザ端末２における制御部２０は、ユーザＣの周りの会話を解析してキーワードをラベル化しているので、ユーザＡが話しかけてきた時までの会話からもキーワードを抽出することが可能である。
次いで、ステップＳ２９２において、制御部２０は、抽出された「キーワード」と、各コンテンツデータのメタデータとをマッチングして、「あれ」に相当するコンテンツデータ（会議資料、写真、動画等）を抽出する。
次に、ステップＳ２９４において、制御部２０は、複数の「あれ」候補を、優先度順（マッチング度の高い順）に、ＨＭＤ１の表示部１２において、ユーザＣから見て左上に表示される吹き出し画像内で提示するよう制御する。この際、制御部２０は、ユーザＡとユーザＢの会話から抽出されたキーワードを併せて提示してもよい。
そして、ステップＳ２９６において、ＨＭＤ１の表示部１２に表示された複数の「あれ」候補のうち、ユーザＣにより正しい資料が選択され、正解が示される。また、複数の候補が、後述する共有設定によりユーザＡ、ユーザＢに公開された場合、ユーザＡまたはユーザＢにより正しい資料が選択され、正解が示される場合もある。正しい資料が選択されると、ユーザ端末２の制御部２０は、正解が示された「あれ」候補（コンテンツデータ）のメタデータをフィードバック学習により拡充する。
以上説明したように、本実施形態によるユーザ端末２は、ユーザが会話に参加していない間も周囲の会話を解析することで、話しけられた会話から指示語が抽出された場合に、それまでの会話を解析してラベル化したキーワードに基づいて候補資料を推定し、ユーザに提示することが可能である。
＜３−６．共有処理＞
続いて、回想アプリケーションの起動により、ユーザに提示された過去データ（候補資料）を他ユーザと共有する場合について、図２３〜図２５を参照して説明する。また、ここでは、一例としてユーザＡがユーザＢに過去データを共有する場合を想定する。
図２３は、本実施形態による共有処理を示すシーケンス図である。図２３に示すように、まず、ステップＳ３１３において、ユーザＡが所持するユーザ端末２ａの操作部２２は、過去データのユーザＢへの共有設定を受け付ける。共有設定の操作は、例えば図２４に示すように、共有したい過去データに対応して表示される共有設定ボタン４２５、４２６を選択することにより行われる。なお対話者であるユーザＢのみに共有する場合は共有設定ボタン４２５を選択し、同席者全員に共有する場合は共有設定ボタン４２６を選択する。
次に、ステップＳ３１６において、ユーザ端末２ａの操作部２２は、ユーザＢへの共有設定操作を検出した旨を制御部２０に出力する。
次いで、ステップＳ３１９において、制御部２０は、指定の資料（図２４に示す例では、「Ｂさんによるこの会議の資料２」）をユーザＢに共有する旨をクラウドストレージ３に通知する。
次に、ステップＳ３２２において、クラウドストレージ３の制御部３０は、記憶部３４のユーザＡがアクセス権限を有する領域に格納された指定の資料に共有フラグをセットするよう制御する。
また、ステップＳ３２５において、ユーザ端末２ａの制御部２０は、共有設定されたユーザＢが所持するユーザ端末２ｂに対して、指定の資料を送信する。
次に、ステップＳ３２８において、ユーザ端末２ｂは、ユーザ端末２ａから送信された共有資料を、ユーザＢに装着されるＨＭＤ１ｂで表示するよう指示する。
そして、ステップＳ３３１において、ＨＭＤ１ｂは、ユーザ端末２ｂの指示に従って、ユーザＡから共有された資料を、表示画面においてユーザＡに対応する位置（例えばユーザＡの頭上）に表示する。ここで、ユーザＡからユーザＢに共有された資料の提示画面の一例を図２５に示す。図２５では、ＨＭＤ１ｂを装着したユーザＢの視界（表示部１２による表示画面）を図示する。
図２５に示すように、ユーザＡの頭上に表示される吹き出し画像４２ａ内に、ユーザＡからユーザＢに対して共有された資料が提示される。これにより、ユーザＢは、ユーザＡが現在思い返している過去データを直感的に把握することができる。また、ユーザＢは、当該過去データをユーザＡの頭上の吹き出し画像４２ａ内で展開して中身を閲覧することもできるし、また、自分の記憶領域にコピーすることもできる。共有資料のコピーについては後述する。
以上説明したように、本実施形態によれば、ユーザが思い返した過去データを他ユーザにも共有することができるので、より有意義な議論を行うことができる。なお、図２３を参照した共有処理では、ユーザ端末２ａからユーザ端末２ｂに共有する資料（コンテンツデータ）を送信しているが、本実施形態はこれに限定されない。例えば、クラウドストレージ３の記憶部３４において共有フラグがセットされた場合に、クラウドストレージ３の制御部３０が、共有設定されたユーザＢのユーザ端末２ｂに対して、共有資料を送信してもよい。
＜３−７．共有資料のコピー処理＞
次に、共有資料のコピー処理について図２６〜図２８を参照して説明する。ここでは、一例としてユーザＡがユーザＢに共有した資料（過去データ）のコピーについて説明する。コピー操作は、ユーザ端末２の操作部２２からドラッグ・ドロップ操作等により行ってもよいし、指さし等のジェスチャー入力であってもよい。
図２６は、本実施形態による共有資料のコピー処理を示すシーケンス図である。図２６に示すシーケンス図では、一例としてユーザ端末２ｂの操作部２２から操作する場合について説明する。
図２６に示すように、まず、ステップＳ３４３において、ユーザ端末２ｂの操作部２２は、共有資料のコピー操作を受け付ける。
次に、ステップＳ３４６において、操作部２２は、コピー操作を検出した旨を制御部２０に出力する。
次いで、ステップＳ３４９において、制御部２０は、指定の資料をユーザＢがアクセス可能な記憶領域にコピーするよう、クラウドストレージ３に対して指示する。
次に、ステップＳ３５２において、クラウドストレージ３の制御部３０は、記憶部３４のユーザＡがアクセス可能な領域に記憶され、共有フラグがセットされた共有資料を、ユーザＢがアクセス可能な領域にコピーする。
また、ステップＳ３５８において、ユーザ端末２ｂの制御部２０は、コピー操作された共有資料をＨＭＤ１の表示画面において、ユーザＢの吹き出し画像内に表示するよう制御する。
そして、ステップＳ３６１において、ＨＭＤ１ｂは、コピー操作された共有資料を、ユーザＢから見て左上に表示した吹き出し画像内に表示することで、ユーザは、共有資料がコピーされたことを直感的に把握できる。
以上説明した共有資料のコピー操作は、例えば図２７に示すように、ドラッグ・ドロップ操作により行うことができる。図２７は、共有資料のコピー操作について説明するための図である。
図２７上に示すように、ユーザＡの頭上に表示された吹き出し画像４２ａ内の共有資料を指５ｂでロングタップすることでドラッグを開始することができる。ユーザは、ロングタップした共有資料を、左上に表示される自身の吹き出し画像４４の領域に移動させ、吹き出し画像４４内にドロップする。これにより、共有資料のコピー操作が完了し、共有資料はクラウドストレージ３の記憶部３４においてユーザＢがアクセス可能な記憶領域にコピーされる。
続いて、コピーした共有資料の閲覧について図２８を参照して説明する。図２８上に示すように、ユーザＢが吹き出し画像４４内にコピーした共有資料をタップすると、図２８下に示すように、共有資料の中身が展開され、画面全体に重畳表示される。ユーザは、フリック操作等で共有資料の中身をスクロールさせて閲覧することができる。
なお、図２８に示す例では、ユーザ端末２の表示部２３にＨＭＤ１の表示部１２と同様の画面が表示され、操作部２２から受け付けたタップ操作やフリック操作に応じた画面変化が、ＨＭＤ１の表示部１２に反映される。また、本実施形態はユーザ端末２の操作部２２からの操作入力に限定されず、指さし等のジェスチャー入力を行うことも可能である。
＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報共有システムは、対話者に関連する過去データを、対話者と視覚的に共有することができるので、会議をより有意義に行うことができる。また、本実施形態による情報共有システムは、対話者に関連する過去データは、例えば視線検出に基づいてユーザが過去の記憶を思い返す動作を行った場合（視線位置が左上に移動した場合）をトリガとして自動的に提示することで、本システムの利便性を向上させる。
また、本実施形態による情報共有システムは、対話者との会話の内容に基づいて候補資料（過去データ）を推定することで、より正確にユーザが所望する過去データを提示することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したＨＭＤ１、ユーザ端末２、またはクラウドストレージ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ＨＭＤ１、ユーザ端末２、またはクラウドストレージ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、一例としてＨＭＤ１ａを装着する者の視線が左上に移動したことをトリガとして対話者のユーザＢに関連する情報を提示しているが、本実施形態はこれに限定されない。すなわち、過去の記憶を思い返す際に視線がどの方向に移動するかは個人差があるので、視線が左下、右上、または右下等に移動した場合に所定の情報を提示してもよい。
また、上述した実施形態では、右脳が使われる際に視線が左に向く事例を挙げたが、一方の左脳は、論理・現実的・言語を司るものであって、「架空の出来事」や「イメージ」、「嘘」を構築する際に、話に破綻や矛盾がないよう論理脳である左脳が使われ、視線は逆の右に向くことが知られている。そこで、本実施形態では、ＨＭＤ１ａの装着者の視線が右上に移動したことをトリガとして、自動的に構築した架空の話を提示することも可能である。
例えばＨＭＤ１ａを装着するユーザＡがユーザＢと対話している際に、ユーザＡの視線が右上に向くと、対話者であるユーザＢに関連する情報を抽出するとともに、抽出した情報を一部変更した情報（架空の出来事）をユーザＡに提示する。具体的には、例えば対話者であるユーザＢに関連する情報として、対話の中に登場したユーザＣとユーザＡとの会食に関する情報が抽出された場合、当該情報を、ユーザＣとユーザＡとユーザＤとで行ったランチミーティングに変更してＨＭＤ１ａの表示部１２に表示する。このように、本実施形態では、装着者の視線が左上に移動した場合は過去データをそのまま提示し、右上に移動した場合は過去データを一部変更して加工した情報を提示することで、装着者のニーズに応じた情報を提示し、利便性をさらに向上させることができる。なお、架空の出来事や嘘を構築する際に視線がどの方向に移動するかは個人差があるので、視線が右下、左上、または左下等に移動した場合に所定の情報を提示するようにしてもよい。
さらに、本実施形態による情報共有システムは、ユーザ端末２を含まなくとも実現され得る。この場合、ＨＭＤ１の制御部１０、または、クラウドストレージ３の制御部３０が、図４に示すユーザ端末２の制御部２０の各機能を実行する。
また、ライフログ等のコンテンツデータが蓄積されるのはクラウドストレージ３に限定されず、例えば、ユーザ端末２や、ユーザ個人のＰＣ（パーソナルコンピュータ）等のローカルストレージであってもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、
前記対話者に関連する過去データを、記憶部に記憶されている過去データに関連付けられたメタデータに基づいて検索するよう制御する検索制御部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記検索制御部は、現在日時、場所、またはユーザの現在のスケジュール情報を参照して過去データを検索する、前記（２）に記載の情報処理装置。
（４）
前記検索制御部は、会話から抽出したキーワードに関連する過去データを検索する、前記（２）または（３）に記載の情報処理装置。
（５）
前記検索制御部は、会話から抽出した指示語の前後のキーワードと、過去データに関連付けられたメタデータのマッチングにより、前記指示語の候補資料を前記過去データとして検索する、前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、検出されたユーザの視線位置が所定範囲に移動して回想動作を行った際に、前記過去データを表示するよう制御する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記表示制御部は、対話者から共有設定された過去データを表示するよう制御する、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記表示制御部は、前記過去データを、共有設定を行った対話者に対応する位置に表示するよう制御する、前記（７）に記載の情報処理装置。
（９）
認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、
前記過去データの他者との共有を設定するよう制御することと、
を含む、制御方法。
（１０）
コンピュータを、
認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
として機能させるための、プログラム。
（１１）
各ユーザの過去データを格納するサーバと、
ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、
前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と；
前記過去データの他者との共有を設定するよう制御する共有設定制御部と；を有するユーザ端末と、
を備える、システム。
１、１ａ、１ｂ ＨＭＤ
１０１ 本体部
１０２ 額当て部
１０３ 鼻当て部
１０４ 上バンド
１０５ 下バンド
１１０ ヘッドフォン
１０ 制御部
１１ 通信部
１２ 表示部
１３ 収音部
１４ 撮像部
１４ａ〜１４ｄ 撮像レンズ
１５ 視線検出部
１６ 記憶部
１３０ マイクロホン（マイクアレー）
２、２ａ、２ｂ ユーザ端末
２０ 制御部
２１０ ライフログ取得制御部
２２０ 話者認識部
２３０ 検索制御部
２４０ 表示制御部
２５０ 共有設定制御部
２６０ 言語処理部
２１ 通信部
２２ 操作部
２３ 表示部
２４ 記憶部
３ クラウドストレージ
３０ 制御部
３１ 通信部
３３ メタデータ生成部
３４ 記憶部
４０ 視点
４２ 吹き出し画像
４２１〜４２３ 資料群
５ａ、５ｂ 指
４２５、４２６ 共有設定ボタン

Claims (11)

  1. 認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
    前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
    を備える、情報処理装置。
  2. 前記情報処理装置は、
    前記対話者に関連する過去データを、記憶部に記憶されている過去データに関連付けられたメタデータに基づいて検索するよう制御する検索制御部をさらに備える、請求項１に記載の情報処理装置。
  3. 前記検索制御部は、現在日時、場所、またはユーザの現在のスケジュール情報を参照して過去データを検索する、請求項２に記載の情報処理装置。
  4. 前記検索制御部は、会話から抽出したキーワードに関連する過去データを検索する、請求項２に記載の情報処理装置。
  5. 前記検索制御部は、会話から抽出した指示語の前後のキーワードと、過去データに関連付けられたメタデータのマッチングにより、前記指示語の候補資料を前記過去データとして検索する、請求項４に記載の情報処理装置。
  6. 前記表示制御部は、検出されたユーザの視線位置が所定範囲に移動して回想動作を行った際に、前記過去データを表示するよう制御する、請求項１に記載の情報処理装置。
  7. 前記表示制御部は、対話者から共有設定された過去データを表示するよう制御する、請求項１に記載の情報処理装置。
  8. 前記表示制御部は、前記過去データを、共有設定を行った対話者に対応する位置に表示するよう制御する、請求項７に記載の情報処理装置。
  9. 認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、
    前記過去データの他者との共有を設定するよう制御することと、
    を含む、制御方法。
  10. コンピュータを、
    認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
    前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
    として機能させるための、プログラム。
  11. 各ユーザの過去データを格納するサーバと、
    ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、
    前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と；
    前記過去データの他者との共有を設定するよう制御する共有設定制御部と；を有するユーザ端末と、
    を備える、システム。
JP2016503947A 2014-02-18 2014-12-01 情報処理装置、制御方法、プログラム、およびシステム Active JP6439788B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014028426 2014-02-18
JP2014028426 2014-02-18
PCT/JP2014/081776 WO2015125375A1 (ja) 2014-02-18 2014-12-01 情報処理装置、制御方法、プログラム、およびシステム

Publications (2)

Publication Number Publication Date
JPWO2015125375A1 true JPWO2015125375A1 (ja) 2017-03-30
JP6439788B2 JP6439788B2 (ja) 2018-12-19

Family

ID=53877904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016503947A Active JP6439788B2 (ja) 2014-02-18 2014-12-01 情報処理装置、制御方法、プログラム、およびシステム

Country Status (5)

Country Link
US (1) US9992451B2 (ja)
EP (1) EP3110141A4 (ja)
JP (1) JP6439788B2 (ja)
CN (1) CN105981375B (ja)
WO (1) WO2015125375A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212517B1 (en) * 2016-03-02 2019-02-19 Meta Company Head-mounted display system with a surround sound system
US10684674B2 (en) * 2016-04-01 2020-06-16 Facebook Technologies, Llc Tracking portions of a user's face uncovered by a head mounted display worn by the user
US10503349B2 (en) 2016-10-04 2019-12-10 Facebook, Inc. Shared three-dimensional user interface with personal space
WO2018124036A1 (ja) * 2016-12-26 2018-07-05 株式会社坪田ラボ 表示システム、電子機器及び照明システム
JP7070547B2 (ja) * 2017-03-22 2022-05-18 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
EP3599604A4 (en) * 2017-03-24 2020-03-18 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP6859807B2 (ja) * 2017-03-31 2021-04-14 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
EP3650984B1 (en) * 2017-06-06 2022-10-26 Maxell, Ltd. Mixed reality display system
JP2019008274A (ja) * 2017-06-26 2019-01-17 フェアリーデバイセズ株式会社 音声情報処理システム、音声情報処理システムの制御方法、音声情報処理システムのプログラム及び記録媒体
US10437601B2 (en) * 2017-06-30 2019-10-08 Microsoft Technology Licensing, Llc Centralized memory management for multiple device streams
JP7056055B2 (ja) * 2017-09-27 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US11086597B2 (en) * 2017-11-06 2021-08-10 Google Llc Methods and systems for attending to a presenting user
GB2569605A (en) * 2017-12-21 2019-06-26 Sita Inf Networking Computing Usa Inc System, device and method for processing data
JP7095361B2 (ja) * 2018-03-29 2022-07-05 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7210892B2 (ja) * 2018-03-30 2023-01-24 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
US11480801B1 (en) * 2018-12-07 2022-10-25 Meta Platforms, Inc. Facial interface assemblies for head-mounted displays and related systems and methods
US11183185B2 (en) 2019-01-09 2021-11-23 Microsoft Technology Licensing, Llc Time-based visual targeting for voice commands
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281618A (ja) * 2006-04-03 2007-10-25 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2012137902A (ja) * 2010-12-27 2012-07-19 Zenrin Datacom Co Ltd 情報蓄積編集装置
JP2012249164A (ja) * 2011-05-30 2012-12-13 Nikon Corp 電子カメラ、通信システム
JP2013238916A (ja) * 2012-05-11 2013-11-28 Toshiba Corp データ処理システム、データ処理方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004955A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Use of business heuristics and data to optimize online advertisement and marketing
JP4433057B2 (ja) * 2008-01-30 2010-03-17 ソニー株式会社 クライアント装置、サーバ装置、会合設定システム及び会合設定方法
US20100223345A1 (en) * 2009-03-02 2010-09-02 Microsoft Corporation Communications application having conversation and meeting environments
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
JP2011250100A (ja) 2010-05-26 2011-12-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8707186B2 (en) * 2010-06-25 2014-04-22 Avaya Inc. Conference recap and recording
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
EP2609750A4 (en) * 2010-08-26 2014-10-08 Tarik Taleb SYSTEM AND METHOD FOR CREATING A CUSTOMIZED MULTIMEDIA CONTENT CHANNEL FOR A SOCIAL NETWORK
CN201903695U (zh) * 2010-08-31 2011-07-20 夏翔 无线物联网眼镜
US20120084192A1 (en) * 2010-09-30 2012-04-05 Bank Of America Corporation System and Method for Coordinated Sales and Implementation of Financial Products
US8918197B2 (en) * 2012-06-13 2014-12-23 Avraham Suhami Audio communication networks
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US9497249B2 (en) * 2011-08-08 2016-11-15 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US20130080264A1 (en) * 2011-09-09 2013-03-28 Dennoo Inc. Methods and systems for bidding and acquiring advertisement impressions
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
US9197911B2 (en) * 2012-02-16 2015-11-24 Gopop.tv Method and apparatus for providing interaction packages to users based on metadata associated with content
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281618A (ja) * 2006-04-03 2007-10-25 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2012137902A (ja) * 2010-12-27 2012-07-19 Zenrin Datacom Co Ltd 情報蓄積編集装置
JP2012249164A (ja) * 2011-05-30 2012-12-13 Nikon Corp 電子カメラ、通信システム
JP2013238916A (ja) * 2012-05-11 2013-11-28 Toshiba Corp データ処理システム、データ処理方法およびプログラム

Also Published As

Publication number Publication date
CN105981375B (zh) 2020-06-16
WO2015125375A1 (ja) 2015-08-27
JP6439788B2 (ja) 2018-12-19
US20160353062A1 (en) 2016-12-01
US9992451B2 (en) 2018-06-05
EP3110141A1 (en) 2016-12-28
CN105981375A (zh) 2016-09-28
EP3110141A4 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
JP6439788B2 (ja) 情報処理装置、制御方法、プログラム、およびシステム
US11503197B2 (en) Retrieving and displaying key words from prior conversations
US11825012B2 (en) Server, client terminal, control method, and storage medium
KR102184272B1 (ko) 글래스 타입 단말기 및 이의 제어방법
JP7056055B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP6094190B2 (ja) 情報処理装置および記録媒体
CN113196803A (zh) 助听器系统和方法
US9798517B2 (en) Tap to initiate a next action for user requests
US11703941B2 (en) Information processing system, information processing method, and program
JP2014085796A (ja) 情報処理装置およびプログラム
JPWO2015162949A1 (ja) 通信システム、制御方法、および記憶媒体
JPWO2014181380A1 (ja) 情報処理装置およびアプリケーション実行方法
US20230005471A1 (en) Responding to a user query based on captured images and audio
JP2020113981A (ja) 補聴器システム
EP3304528A1 (en) Augmented reality systems and methods to access optical information
US20220172736A1 (en) Systems and methods for selectively modifying an audio signal based on context
US11606508B1 (en) Enhanced representations based on sensor data
US20240134492A1 (en) Digital assistant interactions in extended reality
US20240231558A9 (en) Digital assistant interactions in extended reality
CN118251667A (zh) 用于生成视觉字幕的系统和方法
CN111814497A (zh) 翻译方法、装置、可穿戴设备及计算机可读存储介质
JP2005234011A (ja) 集中思考支援装置、システム、方法並びにプログラム
KR20170093631A (ko) 적응적 컨텐츠 출력 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R151 Written notification of patent or utility model registration

Ref document number: 6439788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208