JP6439788B2 - 情報処理装置、制御方法、プログラム、およびシステム - Google Patents
情報処理装置、制御方法、プログラム、およびシステム Download PDFInfo
- Publication number
- JP6439788B2 JP6439788B2 JP2016503947A JP2016503947A JP6439788B2 JP 6439788 B2 JP6439788 B2 JP 6439788B2 JP 2016503947 A JP2016503947 A JP 2016503947A JP 2016503947 A JP2016503947 A JP 2016503947A JP 6439788 B2 JP6439788 B2 JP 6439788B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- display
- past data
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000010365 information processing Effects 0.000 title claims description 22
- 210000001508 eye Anatomy 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 11
- 238000004587 chromatography analysis Methods 0.000 claims 3
- 239000000463 material Substances 0.000 description 98
- 230000008569 process Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 13
- 238000001994 activation Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 239000013077 target material Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229920002379 silicone rubber Polymers 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- -1 polypropylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
1.本開示の一実施形態による情報共有システムの概要
2.基本構成
2−1.HMDの構成
2−2.ユーザ端末の構成
2−3.クラウドストレージの構成
3.動作処理
3−1.ライフログの保存処理
3−2.メタデータ生成処理
3−3.起動処理
3−4.検索処理
3−5.キーワード検索処理
3−6.共有処理
3−7.共有資料のコピー処理
4.まとめ
まず、本開示の一実施形態による情報共有システムの概要について図1を参照して説明する。図1に示すように、本実施形態による情報共有システムは、ユーザの頭部に装着されるウェアラブル装置の一例であるHMD(Head Mounted Display)1と、スマートフォンやタブレット端末等により実現されるユーザ端末2と、クラウドストレージ3を含む。
ここで、ユーザAとユーザBが、現実空間での会議やTV会議等で場を共有している場合、対話者に関連する過去の記憶、例えば過去の会議の内容等を思い返すことがあるが、正確な資料内容まで思い返すことは困難である。また、このように思い浮かべた過去の記憶を対話者と共有することができれば、より快適に議論を行うことができるが、上述した従来技術では、思い浮かべた過去の記憶(回想データ)を共有することについて何ら考慮されていなかった。
<2−1.HMDの構成>
まず、ユーザの頭部に装着されるHMD1の外観および内部構成について、図2〜図3を参照して説明する。
図2Aおよび図2Bは、本実施形態によるHMD1の各方向からの外観の一例を示す図である。図2Aおよび図2Bに示すように、本実施形態によるHMD1は、帽子形状の構造を有し、本体の前部に重量物が集中していても、装置の荷重を頭部全体に分散させて、ユーザの負担を軽減して装着することができる。具体的には、HMD1は、表示系統を含む大部分の部品を含んだ本体部101と、本体部101の上面から突設した額当て部102と、上バンド104及び下バンド105に分岐されるヘッド・バンドと、左右のヘッドフォン110からなる。本体部101内には、表示部12や回路基板が収容される。また、本体部101の下方には、鼻背に倣うように鼻当て部103が形設されている。
続いて、本実施形態によるHMD1の内部構成について図4を参照して説明する。図4は、本実施形態によるHMD1の内部構成例を示すブロック図である。図4に示すように、HMD1は、制御部10、通信部11、表示部12、収音部13、撮像部14、視線検出部15、および記憶部16を有する。
制御部10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、HMD1の各構成を制御する。
通信部11は、外部機器との間でのデータの送受信を行う。例えば通信部11は、Wi−FiまたはBluetooth(登録商標)等によりユーザ端末2と無線接続し、データの送受信を行う。
表示部12は、制御部10による制御に従って、画像データを表示する。具体的には、本実施形態による表示部12は、装着者から見て左上に対話者に関連する過去データを表示する。
収音部13は、例えば図2Aに示すようなマイクアレー130と、マイクアレー130で得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを制御部10に出力する。また、収音部13から出力される音声データは、音声データに対してノイズ除去、音源分離等の処理を行う音声信号処理部(不図示)を介して制御部10に出力されてもよいし、制御部10により音声信号処理が行われてもよい。
撮像部14は、撮像レンズ14a、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
視線検出部15は、装着者の視線位置を検出する機能を有し、検出結果を制御部10に出力する。具体的には、例えば視線検出部15は、内側に向けて設けられた撮像レンズ15a(図2B参照)を有する撮像部により実現される。この場合、視線検出部15は、撮像されたユーザの眼球の撮像画像に基づいて瞳孔の中心点を認識する処理を行い、視線位置を検出する。
記憶部16は、制御部10による各種処理を実行するためのプログラムが格納される。
図5は、本実施形態によるユーザ端末2の構成例を示すブロック図である。図5に示すように、ユーザ端末2は、制御部20、通信部21、操作部22、表示部23、および記憶部24を有する。
制御部20は、例えばCPU、ROM、RAM、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ユーザ端末2の各構成を制御する。また、制御部20は、図5に示すように、ライフログ取得制御部210、話者認識部220、検索制御部230、表示制御部240、共有設定制御部250、および言語処理部260として機能する。
通信部21は、外部機器との間でのデータの送受信を行う。例えば通信部21は、Wi−FiまたはBluetooth(登録商標)等によりHMD1、およびクラウドストレージ3と接続し、データの送受信を行うことができる。
操作部22は、ユーザによる操作入力を受け付け、受け付けた入力情報を制御部20に出力する。操作部22は、ボタン、スイッチ等の他、表示画面への操作入力を受け付けるタッチセンサにより実現される。
表示部23は、制御部20の表示制御部240の制御にしたがって、所定の表示画面を表示する。表示部23は、例えばLCD(Liquid Crystal Display)またはOLED(Organic Light−Emitting Diode)等により実現される。
記憶部24は、制御部20が各種処理を実行するためのプログラム等を記憶する。また、本実施形態では、ライフログやドキュメント群等がクラウドストレージ3に格納されているが、ローカルストレージの一例である記憶部24に格納されていてもよい。
図6は、本実施形態によるクラウドストレージ3の構成例を示すブロック図である。図6に示すように、クラウドストレージ3は、制御部30、通信部31、メタデータ生成部33、および記憶部34を有する。
制御部30は、例えばCPU、ROM、RAM、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、クラウドストレージ3の各構成を制御する。例えば、制御部30は、ユーザ端末2からの要求に応じて、対話者に関連する過去データを記憶部34から検索する機能を有する。また、制御部30は、記憶部34に記憶されている音声データや画像データ、ドキュメント群等を取得してメタデータ生成部33に送り、メタデータ生成部33で生成されたメタデータを、音声データ等にそれぞれ関連付けて記憶部34に格納するよう制御する。
通信部31は、外部機器との間でのデータの送受信を行う。例えば通信部31は、ネットワークを介して、ユーザ端末2、およびHMD1と接続し、データの送受信を行うことができる。
メタデータ生成部33は、記憶部34に記憶される音声データ、画像データ(動画/静止画)、ドキュメント群等を解析し、メタデータを生成(抽出)する。例えば、メタデータ生成部33は、画像データや音声データについて、録音/録画日時、録音/録画場所、顔認識/音声認識により得られた被写体/話者の識別情報、被写体/話者(音源)の方向データ・距離データ、アクセス権限者(ユーザ名)、音声認識、テキスト化データ等をメタデータとして生成する。また、メタデータ生成部33は、ドキュメント群(テキストデータ)について、利用日時、改変日時、ユーザのスケジュールとの紐付け情報(例えば会議名、参加者/同席者等)、コンテンツ内容(例えばタイトル)等をメタデータとして生成する。
記憶部34は、各ユーザ端末2から送信されたライフログ(音声データ、画像データ等)や、ドキュメント群、各ユーザのスケジュール情報等を記憶する。また、記憶部34に記憶されているデータは、アクセス権限を有するユーザにより日常的に閲覧、追加・削除などの操作がなされる。
<3−1.ライフログの保存処理>
まず、情報共有システムに含まれるクラウドストレージ3に日常的に蓄積されるユーザのライフログの保存処理について図7を参照して説明する。図7は、本実施形態によるライフログの保存処理を示すシーケンス図である。
次に、クラウドストレージに蓄積されている各種データのメタデータ生成について図9を参照して説明する。図9は、本実施形態によるメタデータ生成処理を示すシーケンス図である。
次に、本実施形態による対話者に関連する過去データを表示する処理(以下、回想アプリケーションとも称す)の起動について、図10を参照して説明する。図10は、本実施形態による回想アプリケーションの起動処理を示すシーケンス図である。なお、ここでは、会議の場面で出席者がそれぞれ本システムを利用可能なHMD1を装着している状況を想定する。また、会議の出席者には、ユーザAおよびユーザBが含まれる。
続いて、本実施形態による過去データ(回想情報)の検索処理について図12を参照して説明する。図12は、本実施形態による過去データの検索処理を示すシーケンス図である。
以上説明した検索処理では、話者(またはユーザが任意に指定した人物)に関連する過去データが検索され、ユーザが絞り込み操作を行っているが、本実施形態はこれに限定されず、話者との会話から抽出したキーワードを用いて資料の絞り込みが行われてもよい。
まず、図15〜図18を参照して抽出したキーワードの表示と資料の絞り込みについて説明する。図15は、キーワードの表示制御処理を示すシーケンス図である。
続いて、表示されたキーワードの選択と検索処理について図17を参照して説明する。図16を参照して上述したようにキーワード群43が表示された場合、ユーザは検索したいキーワードを選択する。選択操作は、ユーザ端末2の操作部22からタップ操作等により行ってもよいし、指さし等のジェスチャー入力であってもよい。図17に示すシーケンス図では、一例としてユーザ端末2の操作部22からタップ操作により選択する場合について説明する。
上述した検索処理では、会話から抽出した名詞または指示語からキーワードを一つ選択して対象資料の検索を行っているが、本実施形態はこれに限定されず、選択されたキーワードが登場した会話の前後の会話に基づいて、より正確に対象資料を推定することもできる。以下、図19〜図22を参照して具体的に説明する。
続いて、回想アプリケーションの起動により、ユーザに提示された過去データ(候補資料)を他ユーザと共有する場合について、図23〜図25を参照して説明する。また、ここでは、一例としてユーザAがユーザBに過去データを共有する場合を想定する。
次に、共有資料のコピー処理について図26〜図28を参照して説明する。ここでは、一例としてユーザAがユーザBに共有した資料(過去データ)のコピーについて説明する。コピー操作は、ユーザ端末2の操作部22からドラッグ・ドロップ操作等により行ってもよいし、指さし等のジェスチャー入力であってもよい。
上述したように、本開示の実施形態による情報共有システムは、対話者に関連する過去データを、対話者と視覚的に共有することができるので、会議をより有意義に行うことができる。また、本実施形態による情報共有システムは、対話者に関連する過去データは、例えば視線検出に基づいてユーザが過去の記憶を思い返す動作を行った場合(視線位置が左上に移動した場合)をトリガとして自動的に提示することで、本システムの利便性を向上させる。
(1)
認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
を備える、情報処理装置。
(2)
前記情報処理装置は、
前記対話者に関連する過去データを、記憶部に記憶されている過去データに関連付けられたメタデータに基づいて検索するよう制御する検索制御部をさらに備える、前記(1)に記載の情報処理装置。
(3)
前記検索制御部は、現在日時、場所、またはユーザの現在のスケジュール情報を参照して過去データを検索する、前記(2)に記載の情報処理装置。
(4)
前記検索制御部は、会話から抽出したキーワードに関連する過去データを検索する、前記(2)または(3)に記載の情報処理装置。
(5)
前記検索制御部は、会話から抽出した指示語の前後のキーワードと、過去データに関連付けられたメタデータのマッチングにより、前記指示語の候補資料を前記過去データとして検索する、前記(4)に記載の情報処理装置。
(6)
前記表示制御部は、検出されたユーザの視線位置が所定範囲に移動して回想動作を行った際に、前記過去データを表示するよう制御する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記表示制御部は、対話者から共有設定された過去データを表示するよう制御する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記表示制御部は、前記過去データを、共有設定を行った対話者に対応する位置に表示するよう制御する、前記(7)に記載の情報処理装置。
(9)
認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御することと、
前記過去データの他者との共有を設定するよう制御することと、
を含む、制御方法。
(10)
コンピュータを、
認識された対話者に関連する過去データを、ユーザの眼前に配置される表示部に表示するよう制御する表示制御部と、
前記過去データの他者との共有を設定するよう制御する共有設定制御部と、
として機能させるための、プログラム。
(11)
各ユーザの過去データを格納するサーバと、
ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、
前記サーバから取得した、認識された対話者に関連する過去データを、前記表示部に表示するよう制御する表示制御部と;
前記過去データの他者との共有を設定するよう制御する共有設定制御部と;を有するユーザ端末と、
を備える、システム。
101 本体部
102 額当て部
103 鼻当て部
104 上バンド
105 下バンド
110 ヘッドフォン
10 制御部
11 通信部
12 表示部
13 収音部
14 撮像部
14a〜14d 撮像レンズ
15 視線検出部
16 記憶部
130 マイクロホン(マイクアレー)
2、2a、2b ユーザ端末
20 制御部
210 ライフログ取得制御部
220 話者認識部
230 検索制御部
240 表示制御部
250 共有設定制御部
260 言語処理部
21 通信部
22 操作部
23 表示部
24 記憶部
3 クラウドストレージ
30 制御部
31 通信部
33 メタデータ生成部
34 記憶部
40 視点
42 吹き出し画像
421〜423 資料群
5a、5b 指
425、426 共有設定ボタン
Claims (11)
- 対話者との会話内容に応じた過去データを、前記過去データに関連付けられたメタデータを用いて検索する検索部と、
ユーザの眼前に配置される表示部において、前記対話者から離れた位置に第1の表示領域を提示し、前記検索された1以上の過去データを前記第1の表示領域に表示するよう制御する表示制御部と、
前記表示した過去データのうち、前記ユーザにより指定された過去データを、他者と共有する設定を行う共有設定部と、
を備え、
前記表示制御部は、
前記表示部において、前記対話者により共有設定された1以上の共有過去データを、前記対話者の付近に提示した第2の表示領域に表示する、情報処理装置。 - 前記検索部は、
前記会話内容から抽出した指示語に関連する過去データを、前記会話内容の文意、または、現在の状況に基づいて検索する、請求項1に記載の情報処理装置。 - 前記表示制御部は、
前記会話内容から抽出した指示語を、前記表示部において、前記対話者の付近にリアルタイムで順次列挙するよう表示制御し、
前記検索部は、
列挙した指示語のうち、前記ユーザにより選択された指示語に関連する過去データを、前記会話内容の文意、または、現在の状況に基づいて検索する、請求項1に記載の情報処理装置。 - 前記現在の状況は、前記対話者が誰であるか、または、前記ユーザが前記対話者と現在何をしているか、を少なくとも含む、請求項2または3に記載の情報処理装置。
- 前記現在の状況は、会議であって、
前記過去データは、前記会議に関連するドキュメントデータ、前記対話者と過去の対話で参照したドキュメントデータ、または、前記対話者との会話の記録データである、請求項2〜4のいずれか1項に記載の情報処理装置。 - 前記表示制御部は、検出されたユーザの視線位置が所定範囲に移動して回想動作を行った際に、前記第1の表示領域の提示と、当該第1の表示領域への前記過去データの表示を行う、請求項1に記載の情報処理装置。
- 前記第1の表示領域に表示される1以上の過去データ、または前記第2の表示領域に表示される1以上の共有過去データは、サムネイル画像であって、前記ユーザにより選択操作が行われた場合、前記表示部において、選択された過去データの内容が表示される、請求項1〜6のいずれか1項に記載の情報処理装置。
- 前記第2の表示領域に表示されている前記共有過去データのサムネイル画像を、前記第1の表示領域に移動させるユーザ操作を検出した場合、前記共有過去データを前記ユーザがアクセス可能な記憶領域にコピーする制御を行う、請求項7に記載の情報処理装置。
- 対話者との会話内容に応じた過去データを、前記過去データに関連付けられたメタデータを用いて検索することと、
ユーザの眼前に配置される表示部において、前記対話者から離れた位置に第1の表示領域を提示し、前記検索された1以上の過去データを前記第1の表示領域に表示するよう制御することと、
前記表示した過去データのうち、前記ユーザにより指定された過去データを、他者と共有する設定を行うよう制御することと、
前記表示部において、前記対話者により共有設定された1以上の共有過去データを、前記対話者の付近に提示した第2の表示領域に表示することと、
を含む、制御方法。 - コンピュータを、
対話者との会話内容に応じた過去データを、前記過去データに関連付けられたメタデータを用いて検索する検索部と、
ユーザの眼前に配置される表示部において、前記対話者から離れた位置に第1の表示領域を提示し、前記検索された1以上の過去データを前記第1の表示領域に表示するよう制御する表示制御部と、
前記表示した過去データのうち、前記ユーザにより指定された過去データを、他者と共有する設定を行う共有設定部と、
として機能させ、
前記表示制御部は、
前記表示部において、前記対話者により共有設定された1以上の共有過去データを、前記対話者の付近に提示した第2の表示領域に表示する、プログラム。 - 各ユーザの過去データを格納するサーバと、
ユーザの頭部に装着され、前記ユーザの眼前に配置される表示部を有するウェアラブル装置と、
前記サーバから取得した、前記過去データに関連付けられたメタデータを用いて検索された、対話者との会話内容に応じた1以上の過去データを、前記表示部において、前記対話者から離れた位置に提示した第1の表示領域に表示するよう制御する表示制御部と;
前記表示した過去データのうち、前記ユーザにより指定された過去データを、他者と共有する設定を行う共有設定部と;を有するユーザ端末と、
を備え、
前記表示制御部は、
前記表示部において、前記対話者により共有設定された1以上の共有過去データを、前記対話者の付近に提示した第2の表示領域に表示する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014028426 | 2014-02-18 | ||
JP2014028426 | 2014-02-18 | ||
PCT/JP2014/081776 WO2015125375A1 (ja) | 2014-02-18 | 2014-12-01 | 情報処理装置、制御方法、プログラム、およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015125375A1 JPWO2015125375A1 (ja) | 2017-03-30 |
JP6439788B2 true JP6439788B2 (ja) | 2018-12-19 |
Family
ID=53877904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016503947A Active JP6439788B2 (ja) | 2014-02-18 | 2014-12-01 | 情報処理装置、制御方法、プログラム、およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9992451B2 (ja) |
EP (1) | EP3110141A4 (ja) |
JP (1) | JP6439788B2 (ja) |
CN (1) | CN105981375B (ja) |
WO (1) | WO2015125375A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10212517B1 (en) * | 2016-03-02 | 2019-02-19 | Meta Company | Head-mounted display system with a surround sound system |
US10684674B2 (en) * | 2016-04-01 | 2020-06-16 | Facebook Technologies, Llc | Tracking portions of a user's face uncovered by a head mounted display worn by the user |
US10503349B2 (en) * | 2016-10-04 | 2019-12-10 | Facebook, Inc. | Shared three-dimensional user interface with personal space |
TWI752142B (zh) * | 2016-12-26 | 2022-01-11 | 日商坪田實驗室股份有限公司 | 顯示系統、電子機器及照明系統 |
WO2018173790A1 (ja) * | 2017-03-22 | 2018-09-27 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
EP3599604A4 (en) * | 2017-03-24 | 2020-03-18 | Sony Corporation | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
JP6859807B2 (ja) * | 2017-03-31 | 2021-04-14 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US11782669B2 (en) * | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
WO2018225149A1 (ja) * | 2017-06-06 | 2018-12-13 | マクセル株式会社 | 複合現実表示システム及び複合現実表示端末 |
JP2019008274A (ja) * | 2017-06-26 | 2019-01-17 | フェアリーデバイセズ株式会社 | 音声情報処理システム、音声情報処理システムの制御方法、音声情報処理システムのプログラム及び記録媒体 |
US10437601B2 (en) * | 2017-06-30 | 2019-10-08 | Microsoft Technology Licensing, Llc | Centralized memory management for multiple device streams |
JP7056055B2 (ja) | 2017-09-27 | 2022-04-19 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
CN110663021B (zh) * | 2017-11-06 | 2024-02-02 | 谷歌有限责任公司 | 关注出席用户的方法和系统 |
GB2569605A (en) * | 2017-12-21 | 2019-06-26 | Sita Inf Networking Computing Usa Inc | System, device and method for processing data |
JP7095361B2 (ja) * | 2018-03-29 | 2022-07-05 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
JP7210892B2 (ja) * | 2018-03-30 | 2023-01-24 | 株式会社リコー | 通信端末、画像通信システム、表示方法、及びプログラム |
US11480801B1 (en) | 2018-12-07 | 2022-10-25 | Meta Platforms, Inc. | Facial interface assemblies for head-mounted displays and related systems and methods |
US11183185B2 (en) | 2019-01-09 | 2021-11-23 | Microsoft Technology Licensing, Llc | Time-based visual targeting for voice commands |
US11475634B2 (en) | 2020-07-02 | 2022-10-18 | Meta Platforms Technologies, Llc | Generating an extended-reality lobby window for communication between networking system users |
US11831814B2 (en) * | 2021-09-03 | 2023-11-28 | Meta Platforms Technologies, Llc | Parallel video call and artificial reality spaces |
US11921970B1 (en) | 2021-10-11 | 2024-03-05 | Meta Platforms Technologies, Llc | Coordinating virtual interactions with a mini-map |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281618A (ja) * | 2006-04-03 | 2007-10-25 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
US20080004955A1 (en) * | 2006-06-28 | 2008-01-03 | Microsoft Corporation | Use of business heuristics and data to optimize online advertisement and marketing |
JP4433057B2 (ja) * | 2008-01-30 | 2010-03-17 | ソニー株式会社 | クライアント装置、サーバ装置、会合設定システム及び会合設定方法 |
JP2010061265A (ja) * | 2008-09-02 | 2010-03-18 | Fujifilm Corp | 人物検索登録システム |
US20100223345A1 (en) * | 2009-03-02 | 2010-09-02 | Microsoft Corporation | Communications application having conversation and meeting environments |
AU2011220382A1 (en) * | 2010-02-28 | 2012-10-18 | Microsoft Corporation | Local advertising content on an interactive head-mounted eyepiece |
JP2011250100A (ja) | 2010-05-26 | 2011-12-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8707186B2 (en) * | 2010-06-25 | 2014-04-22 | Avaya Inc. | Conference recap and recording |
US20120019557A1 (en) * | 2010-07-22 | 2012-01-26 | Sony Ericsson Mobile Communications Ab | Displaying augmented reality information |
EP2609750A4 (en) * | 2010-08-26 | 2014-10-08 | Tarik Taleb | SYSTEM AND METHOD FOR CREATING A CUSTOMIZED MULTIMEDIA CONTENT CHANNEL FOR A SOCIAL NETWORK |
CN201903695U (zh) * | 2010-08-31 | 2011-07-20 | 夏翔 | 无线物联网眼镜 |
US20120084192A1 (en) * | 2010-09-30 | 2012-04-05 | Bank Of America Corporation | System and Method for Coordinated Sales and Implementation of Financial Products |
JP5361853B2 (ja) | 2010-12-27 | 2013-12-04 | 株式会社ゼンリンデータコム | 情報蓄積編集装置 |
US8918197B2 (en) * | 2012-06-13 | 2014-12-23 | Avraham Suhami | Audio communication networks |
US9330499B2 (en) * | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
JP2012249164A (ja) | 2011-05-30 | 2012-12-13 | Nikon Corp | 電子カメラ、通信システム |
US9497249B2 (en) * | 2011-08-08 | 2016-11-15 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
US9153195B2 (en) * | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
US20130080264A1 (en) * | 2011-09-09 | 2013-03-28 | Dennoo Inc. | Methods and systems for bidding and acquiring advertisement impressions |
TWI482108B (zh) * | 2011-12-29 | 2015-04-21 | Univ Nat Taiwan | To bring virtual social networks into real-life social systems and methods |
US9197911B2 (en) * | 2012-02-16 | 2015-11-24 | Gopop.tv | Method and apparatus for providing interaction packages to users based on metadata associated with content |
US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
JP5377708B2 (ja) * | 2012-05-11 | 2013-12-25 | 株式会社東芝 | データ処理システム、データ処理方法およびプログラム |
-
2014
- 2014-12-01 EP EP14883408.8A patent/EP3110141A4/en not_active Ceased
- 2014-12-01 WO PCT/JP2014/081776 patent/WO2015125375A1/ja active Application Filing
- 2014-12-01 JP JP2016503947A patent/JP6439788B2/ja active Active
- 2014-12-01 CN CN201480075289.1A patent/CN105981375B/zh active Active
- 2014-12-01 US US15/117,492 patent/US9992451B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2015125375A1 (ja) | 2015-08-27 |
US20160353062A1 (en) | 2016-12-01 |
US9992451B2 (en) | 2018-06-05 |
EP3110141A1 (en) | 2016-12-28 |
EP3110141A4 (en) | 2017-09-27 |
JPWO2015125375A1 (ja) | 2017-03-30 |
CN105981375A (zh) | 2016-09-28 |
CN105981375B (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6439788B2 (ja) | 情報処理装置、制御方法、プログラム、およびシステム | |
US11503197B2 (en) | Retrieving and displaying key words from prior conversations | |
KR102184272B1 (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
US11825012B2 (en) | Server, client terminal, control method, and storage medium | |
JP7056055B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP6094190B2 (ja) | 情報処理装置および記録媒体 | |
JP6574937B2 (ja) | 通信システム、制御方法、および記憶媒体 | |
US9798517B2 (en) | Tap to initiate a next action for user requests | |
EP3497695A1 (en) | Word flow annotation | |
US11703941B2 (en) | Information processing system, information processing method, and program | |
JP2014085796A (ja) | 情報処理装置およびプログラム | |
US20230005471A1 (en) | Responding to a user query based on captured images and audio | |
JP2020113981A (ja) | 補聴器システム | |
EP3304528A1 (en) | Augmented reality systems and methods to access optical information | |
JP7353057B2 (ja) | 記録システムおよびプログラム | |
KR20170093631A (ko) | 적응적 컨텐츠 출력 방법 | |
CN118251667A (zh) | 用于生成视觉字幕的系统和方法 | |
CN116997886A (zh) | 扩展现实中的数字助理交互 | |
Ivanoska | Wearable Computers | |
JP2005234011A (ja) | 集中思考支援装置、システム、方法並びにプログラム | |
KR20150041401A (ko) | 전자 기기 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6439788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |