JPWO2020158536A1 - 情報処理システム、情報処理方法および情報処理装置 - Google Patents
情報処理システム、情報処理方法および情報処理装置 Download PDFInfo
- Publication number
- JPWO2020158536A1 JPWO2020158536A1 JP2020569544A JP2020569544A JPWO2020158536A1 JP WO2020158536 A1 JPWO2020158536 A1 JP WO2020158536A1 JP 2020569544 A JP2020569544 A JP 2020569544A JP 2020569544 A JP2020569544 A JP 2020569544A JP WO2020158536 A1 JPWO2020158536 A1 JP WO2020158536A1
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- information processing
- content
- content data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 128
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000006399 behavior Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 18
- 230000008921 facial expression Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 230000002996 emotional effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 description 55
- 230000008451 emotion Effects 0.000 description 32
- 239000002775 capsule Substances 0.000 description 29
- 238000010191 image analysis Methods 0.000 description 19
- 238000005538 encapsulation Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 241001446467 Mama Species 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 235000015220 hamburgers Nutrition 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 235000015277 pork Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000013550 pizza Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
- G06F16/4387—Presentation of query results by the use of playlists
- G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
特許文献2には、ユーザに質問文を与え、この質問文に対するユーザの回答文からキーワードを抽出して、コンテンツを検索するための情報とする技術が開示される。
<第1の実施形態>
[情報処理システム]
図1は、本実施形態の情報処理システム1の構成を示すブロック図である。
この情報処理システム1は、ユーザの情報端末10と、第1の情報処理ユニットであるコンテンツデータベース生成装置100と、コンテンツデータベース(コンテンツDB)20と、第2の情報処理ユニットであるコンテンツ再生装置200と、コンテンツ提示装置30とを含む。ユーザの情報端末10と第1の情報処理ユニットであるコンテンツデータベース生成装置100はコンテンツデータベース生成環境にある。コンテンツデータベース生成環境とは、動画、写真などのユーザのコンテンツデータの撮影が行われる場所である。コンテンツ再生装置200とコンテンツ提示装置30はユーザがコンテンツデータを視聴できる場所、例えばユーザの自宅内、車内などである。
図3は、コンテンツデータベース生成環境における情報端末10とコンテンツデータベース生成装置100の機能的な構成を示すブロック図である。
コンテンツデータベース生成装置100は、情報解析部110とタグ情報生成部120とを有する。情報解析部110は、ユーザの情報端末10と通信して、ユーザおよびユーザの行動を検出するための各種情報を取得し、解析する。
タグ情報生成部120は、情報解析部110によって得られた解決結果からコンテンツデータに関する情報であるタグ情報を生成し、コンテンツDB20にコンテンツデータと紐付けて登録する。
コンテンツデータベース生成装置100における情報解析部110は、予定情報解析部111、第1の画像解析部112、行動解析部113、第1の音声解析部114、SNS解析部115およびウェブ情報解析部116を有する。
コンテンツデータベース生成装置100において予定情報解析部111は、予定管理部11より当日の予定情報を取得し、取得した予定情報の予定名、行動期間、同行者などを抽出する。例えば、当日(10月1日)の予定情報として、"家族で終日遊園地xで遊ぶ。"が登録されている場合、予定情報解析部111は、予定名=遊園地x、行動期間=10月1日終日、同行者=家族を抽出する。
例えば、タグ情報生成部120は、予定情報解析部111によって得られた予定名、場所、同行者などの情報をタグ情報として抽出する。また、タグ情報生成部120は、第1の画像解析部112によって得られた人物、その人物の感情の推定結果となどをタグ情報として抽出する。さらに、タグ情報生成部120は、行動解析部113によってユーザが道路上で長い時間停止している場合には渋滞が発生していると見なしてキーワード=渋滞をタグ情報として生成する。さらに、タグ情報生成部120は、第1の音声解析部114によって解析された話者の人物、音声から抽出されたキーワードなどをタグ情報として抽出する。さらに、タグ情報生成部120は、ウェブ情報解析部116によって得られたニュース、気象情報、交通渋滞情報などのウェブ情報のHTMLファイル名などをタグ情報として抽出する。
・写真のファイル名:DSC00001.JPG
・予定名:遊園地x
・撮影日時:2018年10月1日AM8:15
・場所:XYインターチェンジ付近
・人物:ママ(感情:楽しい)
・行動:車で移動中
なお、ファイル名は、ファイルの置き場所を示すパスを含んでもよい。
次に、SNS投稿内容からコンテンツデータおよびタグ情報を生成してコンテンツDB20に登録する動作の具体例を説明する。
ユーザは、遊園地xのレストランyyで自分が注文した料理の写真を撮り、SNSにその写真データとコメント「ハンバーグ美味しい」を投稿し、この投稿に対して友達から「ポークソテーも美味しいよ」という新たな投稿が発生したこととする。
・写真のファイル名:DSC00050.JPG
・予定名:遊園地x
・撮影日時:10月1日AM12:30
・場所:レストランyy
・人物:娘(キーワード:ハンバーグ、美味しい)
・人物:娘の友人(キーワード:ポークソテー、美味しい)
次に、コンテンツ視聴環境におけるコンテンツ再生装置200の構成について説明する。
コンテンツ再生装置200は、ユーザを含むコンテンツ視聴環境の情報を検出し、検出した情報に基づいて1以上のコンテンツデータを検索して順次再生する。
コンテンツ再生装置200は、ユーザを含むコンテンツ視聴環境の情報を検出するための手段として第2の画像入力部201、第2の画像解析部202、第2の音声入力部203および第2の音声解析部204を有する。さらに、コンテンツ再生装置200は、例えば、検出された情報に基づいてタグ情報を選択し、選択されたタグ情報に基づいて1以上のコンテンツデータを検索して順次再生する制御を行うコンテンツ制御部205を有する。
次に、コンテンツ再生装置200の動作を説明する。
図5は、コンテンツ再生装置200の動作のフローチャートである。
例えば、自宅内などのコンテンツ視聴環境にユーザが存在することが、第2の画像解析部202による画像解析によって検出されたり、第2の音声解析部204による音声解析などによって検出されたりすることによって(ステップS101)、コンテンツ制御部205は、コンテンツDB20から1以上のコンテンツデータを連続的に読み出し再生してコンテンツ提示装置30にスライドシューのように提示することを開始する(ステップS102)。なお、コンテンツデータは必ずしもコンテンツDB20だけに保存されているとは限らない。他のデータベースに保存されたコンテンツデータを読み出して再生してもよい。
例えば、ユーザからの「遊園地xの写真を見せて」、「楽しい想い出を見せて」、「美味しい想い出を見せて」といった発話から抽出されたキーワードに基づいて再生されるコンテンツデータのタグ情報が決められてもよい。
1.コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化
2.ユーザの特定の顔表情(特定の感情)への変化
3.ユーザの行動の変化
4.ユーザの発話に含まれるキーワード
コンテンツ制御部205は、コンテンツ視聴環境内のユーザが変化したとき、あるいはユーザの組み合わせが変化したとき、例えば、変化後のユーザあるいは新たに加わったユーザがタグ情報として含まれる1以上のコンテンツデータなどをまとめたカプセルの提示に切り替える(ステップS105)。これにより、コンテンツ視聴環境内のユーザまたはユーザグループに関連する1以上のコンテンツデータに提示が切り替わり、コンテンツ視聴環境の場の盛り上げりを期待できる。
コンテンツ制御部205は、例えば、ユーザの感情が例えば"楽しい"(顔表情が笑顔)などに変化した場合に、コンテンツ制御部205は、(感情:楽しい)のタグ情報に基づいて改めてカプセル化した1以上のコンテンツデータの提示に切り替える(ステップS105)。これにより、ユーザの楽しい気持ちのより一層の盛り上がりを期待できる。
コンテンツ制御部205は、例えば、ユーザの動きが大きくなる、あるいは高速になるなどのユーザ行動の変化を検出した場合、例えば、"おめでとう"、"やったね!"などのポジティブな意味のキーワードのタグ情報でカプセル化した1以上のコンテンツデータの提示に切り替える(ステップS105)。
コンテンツ制御部205は、コンテンツ視聴中のユーザの発話から抽出されたキーワードをタグ情報として改めてカプセル化した1以上のコンテンツデータの提示に切り替える(ステップS105)。
コンテンツ再生装置200は、ユーザの日記機能を有する。
コンテンツ再生装置200に対してユーザが例えば"日記を書く"と発話すると、第2の画像解析部202による画像からの顔認識処理または第2の音声解析部204による音声解析の少なくとも一方によりユーザを特定するとともに、当該ユーザの日記機能を発動させる。
次に、コンテンツデータのカプセル化の具体例を説明する。
ここには計13個のコンテンツデータC1〜C13のメタ情報群が存在する。コンテンツデータC1、C7は動画、コンテンツデータC2〜C6、C8、C10、C12、C13は写真、コンテンツデータC9、C11は日記データである。
コンテンツデータC2には、タグ情報として、(日時:2017年10月1日)、(予約名:遊園地x)、(人物:ママ)、(感情:楽しい)が紐付けられている。
コンテンツデータC3には、タグ情報として、(日時:2017年10月1日)、(予約名:遊園地x)、(場所:レストランy)、(人物:娘)、(キーワード:ピザ)、(感情:美味しい)が紐付けられている。ここで、(感情:美味しい)は人物の顔表情の解析と(場所:レストランy)に基づいて判定された結果である。コンテンツデータC4、C8、C12の感情タグについても同様である。
コンテンツデータC5には、タグ情報として、(日時:2017年10月1日)、(予約名:遊園地x)、(人物:パパ)、(キーワード:交通渋滞)、(キーワード:事故)、(キーワード:疲れた)、(感情:悲しい)が紐付けられている。
コンテンツデータC6には、タグ情報として、(日時:2017年10月1日)、(予約名:遊園地x)、(場所:レストランy)、(人物:ママ)、(キーワード:カレー)、(キーワード:辛すぎ)、(感情:悲しい)が紐付けられている。
コンテンツデータC8には、タグ情報として、(日時:2017年10月10日)、(予約名:運動会)、(人物:娘)、(キーワード:お弁当)、(キーワード:卵焼き)、(感情:美味しい)が紐付けられている。
コンテンツデータC9には、タグ情報として、(日時:2017年10月10日)、(キーワード:ドラマ名zz話題)、(キーワード:涙)、(人物:ママ)、(感情:悲しい)が紐付けられている。
コンテンツデータC11には、タグ情報として、(日時:2017年10月17日)、(キーワード:ドラマyy話題)、(キーワード:ハッピーエンド)、(人物:ママ)、(感情:楽しい)が紐付けられている。
コンテンツデータC12には、タグ情報として、(日時:2017年10月17日)、(予約名:誕生日)、(キーワード:ケーキ)、(人物:娘)、(感情:美味しい)が紐付けられている。
コンテンツデータC13には、タグ情報として、(日時:2017年10月17日)、(予約名:誕生日)、(キーワード:ケーキを食べられない)、(キーワード:出張)、(キーワード:がっかり)、(人物:パパ)、(感情:悲しい)が紐付けられている。
その他の日時についても同様に、カプセル化のためのタグ情報として選択された場合にはコンテンツデータC7〜C9をまとめたカプセルT2や、コンテンツデータC10〜C13をまとめたカプセルT3が生成される。
その他の感情(美味しい、悲しい)についても同様に、カプセル化のためのタグ情報として選択された場合には、コンテンツデータC3、C4、C8、C12をまとめたカプセルT5や、コンテンツデータC5、C6、C9、C13をまとめたカプセルT6が生成される。
例えば、カプセル化のためのタグ情報として(人物:ママ)と(感情:楽しい)が選択された場合には、図10に示すように、コンテンツデータC1、C2、C11をまとめたカプセルが生成され、カプセル化のためのタグ情報として(人物:娘)と(感情:美味しい)が選択された場合には、コンテンツデータC3、C8、C12をまとめたカプセルが生成される。
以上、コンテンツデータベース生成装置100とコンテンツ再生装置200とが分離した情報処理システム1の実施形態を説明したが、図11に示すように、コンテンツデータベース生成装置100の機能を有するコンテンツデータベース生成部100Aとコンテンツ再生装置200の機能を有するコンテンツ再生部200Aを1つの情報処理ユニット1Aで構成することも可能である。
あるいは、情報処理ユニット1Aは、コンテンツDB20の機能、さらにはコンテンツ提示装置30の機能を搭載したものであってもよい。
予定管理部11の予約情報に同行者を登録することによって、第1の画像解析部112が画像から人物を認識したり、第1の音声解析部114が発話の音声から人物を推定する精度を向上させることができる。
また、予定完了後に、同行者の情報端末10にSNSなどを通じて当日得られた動画や写真などのコンテンツデータを投稿したり、感想などの情報交換を行うことができるようになり、その感想などの情報から抽出したキーワードをコンテンツDB20上の当該コンテンツデータに対する新たなタグ情報として追加したりすることができる。
日記のユーザの人物名が紐付けられたコンテンツデータを特定し、このコンテンツデータと、これに紐付けられた他のタグ情報やウェブ情報などをコンテンツDB20から抽出し、時系列にこれらの情報を並べることで、簡易的な日記を自動生成することができる。ユーザは、この簡易日記に、音声などにより入力された新たな感想文などの情報を付加して充実度に富む日記を作成することができる。
例えば、友人同士でSNSにハッシュタグを付けて情報交換した場合、ハッシュタグを予定名としてコンテンツDB20に登録し、SNS上で交換された感想や写真等のデータと併せて管理してもよい。これにより、SNS上で交換された感想や写真等のデータをまとめたカプセルを簡易的な日記として作成して提示することができる。
コンテンツDB20にコンテンツデータに紐付けて登録された位置情報からユーザの居場所を特定し、その周辺のコンテンツに対し、居場所を予定名としてコンテンツDB20に登録してもよい。
例えば、公園aで友人と遊んでいる様子を撮影した場合、位置情報からユーザの場所が公園aであることが特定できる。この公園名を予定名として写真データと紐付けてコンテンツDB20に登録してもよい。これにより、公園名をタグ情報として1以上の写真データをまとめたカプセルを公園aのアルバムとして作成し、提示することができる。
コンテンツ再生装置200は、コンテンツDB20に登録されたキーワード、感情、予定名、人物などのタグ情報をユーザからの指令入力により任意の情報に変更することが可能である。
また、カプセル化するコンテンツデータや、カプセルから排除するコンテンツデータはユーザが直接音声やメニュー操作によって選択することも可能である。
コンテンツ再生装置200で生成されたカプセルは、他のユーザのコンテンツ再生装置200との間で交換できるようにしてもよい。これにより、他のユーザのカプセルに含まれるコンテンツデータとの紐付けも可能となり、カプセルの種類や内容が充実する。
本技術は以下のような構成も採ることができる。
(1)検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する1以上のタグ情報を生成し、生成された1以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録する第1の演算ユニットを有する第1の情報処理ユニットと、
ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて1以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する第2の演算ユニットを有する第2の情報処理ユニットとを具備する
情報処理システム。
前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザを含む撮影画像から認識される人物情報およびこの人物の顔表情からの推定される感情情報である
情報処理システム。
前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザの発話内容から抽出されるキーワードである
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境にユーザが存在することを検出したとき、前記1以上のコンテンツデータを順次再生する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
1以上のコンテンツデータをランダムに選択して順次再生する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境の変化後のユーザの人物名を含むタグ情報に更新する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの顔表情の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記変化後のユーザの顔表情から推定される感情情報を含むタグ情報に更新する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの動きの大きさと速度の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの発話から抽出されたキーワードに応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの発話から抽出された新たなキーワードを、提示中のコンテンツデータに対する新たなタグ情報としてコンテンツデータベースに追加する
情報処理システム。
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザからの音声による指令を受けて、当該ユーザを認識し、当該ユーザの予定情報と当該ユーザを特定する人物情報に紐付けられた1以上のコンテンツデータを順次再生し、当該ユーザからの感想の音声をテキストデータに変換し、日記データとして保存する
情報処理システム。
ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて1以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する演算ユニットを有する
情報処理装置。
ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて1以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理方法。
T1〜T6…カプセル
1…情報処理システム
1A…情報処理ユニット
10…情報端末
20…コンテンツデータベース
30…コンテンツ提示装置
100…コンテンツデータベース生成装置
110…情報解析部
111…予定情報解析部
112…第1の画像解析部
113…行動解析部
114…第1の音声解析部
115…SNS解析部
116…ウェブ情報解析部
120…タグ情報生成部
200…コンテンツ再生装置
201…第2の画像入力部
202…第2の画像解析部
203…第2の音声入力部
204…第2の音声解析部
205…コンテンツ制御部
Claims (15)
- 検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する1以上のタグ情報を生成し、生成された1以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録する第1の演算ユニットを有する第1の情報処理ユニットと、
ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて1以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する第2の演算ユニットを有する第2の情報処理ユニットと、
を具備する情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザを含む撮影画像から認識される人物情報およびこの人物の顔表情からの推定される感情情報である
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザの発話内容から抽出されるキーワードである
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境にユーザが存在することを検出したとき、前記1以上のコンテンツデータを順次再生する
情報処理システム。 - 請求項4に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
1以上のコンテンツデータをランダムに選択して順次再生する
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。 - 請求項6に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境の変化後のユーザの人物名を含むタグ情報に更新する
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの顔表情の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。 - 請求項8に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記変化後のユーザの顔表情から推定される感情情報を含むタグ情報に更新する
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの動きの大きさと速度の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの発話から抽出されたキーワードに応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザの発話から抽出された新たなキーワードを、提示中のコンテンツデータに対する新たなタグ情報としてコンテンツデータベースに追加する
情報処理システム。 - 請求項1に記載の情報処理システムであって、
前記第2の情報処理ユニットの前記第2の演算ユニットは、
前記コンテンツ視聴環境内のユーザからの音声による指令を受けて、当該ユーザを認識し、当該ユーザの予定情報と当該ユーザを特定する人物情報に紐付けられた1以上のコンテンツデータを順次再生し、当該ユーザからの感想の音声をテキストデータに変換し、日記データとして保存する
情報処理システム。 - 検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する1以上のタグ情報を生成し、生成された1以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録し、
ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて1以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する演算ユニットを有する
情報処理装置。 - 検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する1以上のタグ情報を生成し、生成された1以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録し、
ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて1以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する
情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014436 | 2019-01-30 | ||
JP2019014436 | 2019-01-30 | ||
PCT/JP2020/002101 WO2020158536A1 (ja) | 2019-01-30 | 2020-01-22 | 情報処理システム、情報処理方法および情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020158536A1 true JPWO2020158536A1 (ja) | 2021-12-02 |
JP7512900B2 JP7512900B2 (ja) | 2024-07-09 |
Family
ID=71840944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020569544A Active JP7512900B2 (ja) | 2019-01-30 | 2020-01-22 | 情報処理システム、情報処理方法および情報処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210390140A1 (ja) |
EP (1) | EP3920046A4 (ja) |
JP (1) | JP7512900B2 (ja) |
CN (1) | CN113348451A (ja) |
WO (1) | WO2020158536A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7236478B2 (ja) * | 2020-10-28 | 2023-03-09 | 株式会社日本総合研究所 | 情報処理システム、コンピュータプログラム、及び表示方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224715A (ja) * | 2009-03-23 | 2010-10-07 | Olympus Corp | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 |
JP2011512696A (ja) * | 2007-12-21 | 2011-04-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マッチされた通信装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020078070A1 (en) * | 2000-12-18 | 2002-06-20 | Philips Electronics North America Corp. | Calendar software application with personal and historical data |
US8478587B2 (en) * | 2007-03-16 | 2013-07-02 | Panasonic Corporation | Voice analysis device, voice analysis method, voice analysis program, and system integration circuit |
KR20090030733A (ko) * | 2007-09-21 | 2009-03-25 | 고훈 | 카메라가 내장된 휴대기기의 일기 관리시스템 및 일기관리방법 |
JP5941903B2 (ja) * | 2010-04-07 | 2016-06-29 | ライブパーソン, インコーポレイテッド | カスタマイズされたウェブコンテンツおよびアプリケーションを動的にイネーブルにするためのシステムおよび方法 |
JP5611155B2 (ja) | 2011-09-01 | 2014-10-22 | Kddi株式会社 | コンテンツに対するタグ付けプログラム、サーバ及び端末 |
WO2015031671A1 (en) * | 2013-08-30 | 2015-03-05 | Biscotti Inc. | Physical presence and advertising |
US10430986B2 (en) * | 2013-10-10 | 2019-10-01 | Pushd, Inc. | Clustering photographs for display on a digital picture frame |
US9804820B2 (en) * | 2013-12-16 | 2017-10-31 | Nuance Communications, Inc. | Systems and methods for providing a virtual assistant |
US20150317353A1 (en) * | 2014-05-02 | 2015-11-05 | At&T Intellectual Property I, L.P. | Context and activity-driven playlist modification |
US11170037B2 (en) * | 2014-06-11 | 2021-11-09 | Kodak Alaris Inc. | Method for creating view-based representations from multimedia collections |
US9781392B2 (en) * | 2015-09-16 | 2017-10-03 | Intel Corporation | Facilitating personal assistance for curation of multimedia and generation of stories at computing devices |
US10235367B2 (en) * | 2016-01-11 | 2019-03-19 | Microsoft Technology Licensing, Llc | Organization, retrieval, annotation and presentation of media data files using signals captured from a viewing environment |
CN107015998A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种图片处理方法、装置和智能终端 |
US10120882B2 (en) * | 2016-02-17 | 2018-11-06 | Google Llc | Methods, systems, and media for storing information associated with content presented on a media presentation device |
US10324973B2 (en) * | 2016-06-12 | 2019-06-18 | Apple Inc. | Knowledge graph metadata network based on notable moments |
KR101754093B1 (ko) * | 2016-09-01 | 2017-07-05 | 성기봉 | 기록이 자동으로 분류되어 저장되는 개인기록 관리 시스템 |
US11070501B2 (en) * | 2017-01-31 | 2021-07-20 | Verizon Media Inc. | Computerized system and method for automatically determining and providing digital content within an electronic communication system |
US10740383B2 (en) * | 2017-06-04 | 2020-08-11 | Apple Inc. | Mood determination of a collection of media content items |
KR101871779B1 (ko) * | 2017-07-07 | 2018-06-27 | 김태수 | 사진 촬영 및 관리 어플리케이션을 구비한 단말기 |
-
2020
- 2020-01-22 CN CN202080010488.XA patent/CN113348451A/zh active Pending
- 2020-01-22 EP EP20747831.4A patent/EP3920046A4/en active Pending
- 2020-01-22 US US17/424,726 patent/US20210390140A1/en active Pending
- 2020-01-22 JP JP2020569544A patent/JP7512900B2/ja active Active
- 2020-01-22 WO PCT/JP2020/002101 patent/WO2020158536A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011512696A (ja) * | 2007-12-21 | 2011-04-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マッチされた通信装置 |
JP2010224715A (ja) * | 2009-03-23 | 2010-10-07 | Olympus Corp | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7512900B2 (ja) | 2024-07-09 |
EP3920046A4 (en) | 2022-03-09 |
WO2020158536A1 (ja) | 2020-08-06 |
EP3920046A1 (en) | 2021-12-08 |
US20210390140A1 (en) | 2021-12-16 |
CN113348451A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659499B2 (en) | Providing selectable content items in communications | |
JP5790509B2 (ja) | 画像再生装置、画像再生プログラム、及び画像再生方法 | |
CN110140138A (zh) | 本地设备的内容数据的确定、传输和存储 | |
JP5520585B2 (ja) | 情報処理装置 | |
Verser et al. | Managing voter impressions: The use of images on presidential candidate web sites during the 2000 campaign | |
US8321203B2 (en) | Apparatus and method of generating information on relationship between characters in content | |
US20160041981A1 (en) | Enhanced cascaded object-related content provision system and method | |
CN108292314B (zh) | 信息处理装置、信息处理方法和程序 | |
JP2005527158A (ja) | プレゼンテーションシンセサイザ | |
US20150324395A1 (en) | Image organization by date | |
US8799283B2 (en) | Apparatus and method for playlist creation based on liking of person specified in an image | |
WO2020158536A1 (ja) | 情報処理システム、情報処理方法および情報処理装置 | |
JP5532661B2 (ja) | 画像抽出プログラムおよび画像抽出装置 | |
JP2010045436A (ja) | カメラ及び撮影システム | |
KR101804889B1 (ko) | 사용자 정보에 따른 스토리 생성 장치 및 방법 | |
JP6169382B2 (ja) | 共有情報提供システム | |
JP2020177373A (ja) | 情報伝達システムおよびプログラム | |
CN118035564B (zh) | 一种基于云计算的数据分析方法及系统 | |
JP4961760B2 (ja) | コンテンツ出力装置、及びコンテンツ出力方法 | |
JP5430039B2 (ja) | サーバ装置、情報処理方法、およびプログラム | |
WO2023058101A1 (ja) | 動画再生支援システム、動画再生支援方法及びプログラム | |
Rodgers | Wyrd TV: Folklore, folk horror and hauntology in British 1970s television | |
JP2021132328A (ja) | 情報処理方法、情報処理装置及びコンピュータプログラム | |
JP2019191712A (ja) | 録画再生システム | |
JP2009253787A (ja) | データ処理装置、データ処理装置の制御方法及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221212 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7512900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |