JP5611155B2 - コンテンツに対するタグ付けプログラム、サーバ及び端末 - Google Patents

コンテンツに対するタグ付けプログラム、サーバ及び端末 Download PDF

Info

Publication number
JP5611155B2
JP5611155B2 JP2011190352A JP2011190352A JP5611155B2 JP 5611155 B2 JP5611155 B2 JP 5611155B2 JP 2011190352 A JP2011190352 A JP 2011190352A JP 2011190352 A JP2011190352 A JP 2011190352A JP 5611155 B2 JP5611155 B2 JP 5611155B2
Authority
JP
Japan
Prior art keywords
content
text
category
user
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011190352A
Other languages
English (en)
Other versions
JP2013054417A (ja
Inventor
▲シン▼ 徐
▲シン▼ 徐
加藤 恒夫
恒夫 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2011190352A priority Critical patent/JP5611155B2/ja
Publication of JP2013054417A publication Critical patent/JP2013054417A/ja
Application granted granted Critical
Publication of JP5611155B2 publication Critical patent/JP5611155B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、写真や画像のようなデジタルコンテンツに、それを検索するためのインデックス(タグ)を付与する技術に関する。
近年、オンライン/オフラインに限られず、ストレージの大容量化に伴って、大量のコンテンツを蓄積することが可能となっている。また、携帯電話機やスマートフォンに代表される情報端末機器の普及によって、ユーザ自ら取得した写真データのようなデジタルコンテンツも、データベースに、大量かつ容易に蓄積することができる。特に、Flickr(登録商標)やMySpace(登録商標)のようなソーシャルネットワークサービスでは、個人の大量の写真データが蓄積されている。一般に、写真データには、撮影時刻や撮影条件を、タグ情報として撮影時に付加することができる。このような撮影情報は、データベースの中から特定の写真データを検索するためのキーとして用いることもできる。
しかしながら、写真データに写る人物や場所等を直接的に意味するタグ情報は、そのままでは付加されない。そのような内容に基づくタグ情報を付加する場合、通常、ユーザ自ら、パーソナルコンピュータを操作して、各写真データに、テキストのタグ情報を付加する必要がある。
従来、コンテンツにタグを付与する技術として、コンテンツが格納されているフォルダのフォルダ名に含まれる単語を、タグとして付与する技術がある(例えば特許文献1参照)。この技術によれば、コンテンツが格納されるフォルダ名を変更するだけで、多数のコンテンツに対して一度に同じタグを付与することができる。人手によるタグ付けの手間が大幅に軽減される。
また、オペレータの発声から、音声認識によって抽出された単語を、コンテンツにタグとして付与する技術もある(例えば特許文献2参照)。この技術によれば、コンテンツの再生を一時的に停止させる。即ち、コンテンツの再生と、タグ付け作業及びタグ修正作業とを同期させることによって、1人のオペレータによる作業時間の増加を抑えることができる。
特開2010−250440号公報 特開2007−25648号公報
特許文献1に記載された技術によれば、タグ付けされる単語はフォルダ名に依存するために、そのコンテンツの内容を直接的に意味するタグを付与することが困難な場合が多い。特に、写真データのように、ユーザ自ら作成するコンテンツCGM(Consumer Generated Media)ほど、検索用に十分なタグを付与することができない。
また、特許文献2に記載された技術によれば、特に動画コンテンツにタグ付けをする専用オペレータに対する装置であって、一般ユーザによるタグ付けを想定したものではない。一般ユーザほど、コンテンツ毎に、自ら所望のタグを付与するような手間のかかる作業に飽きる場合が多く、また、そのような作業を嫌う場合が多い。例えば、ユーザ自ら撮影した大量の写真データに対して、写真データ毎に、以下のような文章を自ら発声して、タグを付与しなければならない。例えばフォトフレームの場合、ユーザは、それに蓄積された写真毎に、以下のような文章を発声する必要がある。
「これは**の写真です」(人)
「この写真は**で撮りました」(場所)
「この写真は**と撮りました」(人)
「この写真は**日/*曜日に撮りました」(日時)
しかしながら、タグとして「場所名」を付与しても、例えば、ユーザが「場所名」をキーとして検索しない限り、結果的に必要とされない。一方で、ユーザが「人の名前」をキーとして比較的多く検索する場合、各コンテンツにはできる限り、「人の名前」をタグとして付与することが好ましい。このように、ユーザの検索単語の傾向(どのような検索キーを多用するか)によって、必要とされるタグも異なってくる。
そこで、本発明は、コンテンツを検索し閲覧するユーザ毎に、タグ付け作業を意識させることなく、そのユーザに適したタグをコンテンツに付与することができるタグ付けプログラム、サーバ及び端末を提供することを目的とする。
本発明によれば、ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生することができるように、コンテンツに検索用テキストのタグを付与するタグ付けサーバであって、
端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
コンテンツ蓄積手段に蓄積された1つのコンテンツを、端末へ送信するコンテンツ送信手段と、
所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、端末へ送信する質問文送信手段と、
端末から回答文を受信し、その回答文に含まれる回答単語を抽出する回答文受信手段と、
回答単語をコンテンツにタグとして付与するタグ付け手段と
を有することを特徴とする。
本発明のタグ付けサーバにおける他の実施形態によれば、
ユーザ毎に、端末に入力された、コンテンツを検索するための検索文を受信し、且つ、その検索文から形態素解析によって検索単語を抽出する検索文受信手段と、
検索単語を品詞解析や意味解析によって、それに関連するカテゴリに割り当てるカテゴリ分類手段と、
ユーザ毎に、全検索単語の総和に対する、各カテゴリに含まれる検索単語の数に応じた嗜好確率を抽出し、当該嗜好確率をカテゴリ蓄積手段へ登録する嗜好確率抽出手段と
を更に有することも好ましい。
本発明のタグ付けサーバにおける他の実施形態によれば、
回答文受信手段は、回答文から形態素解析によって回答単語を抽出し、
回答単語を品詞解析や意味解析によって、それに関連するカテゴリに付与するカテゴリ分類手段と
を更に有することも好ましい。
本発明のタグ付けサーバにおける他の実施形態によれば、
カテゴリは、ノード及びリーフからなり、
ノードとして、「何」「何処」「誰」「いつ」があり、
「何」 に対するリーフとして、「背景」「イベント」「環境」があり、
「何処」に対するリーフとして、「位置」「所在環境」があり、
「誰」 に対するリーフとして、「関係」「名前」があり、
「いつ」に対するリーフとして、「時刻」「日」「月」「季節」があり、
質問文は、リーフ毎に関連付けられていることも好ましい。
本発明によれば、前述のタグ付けサーバと、そのタグ付けサーバとネットワークを介して通信する端末とを有するシステムであって、
端末は、
コンテンツを再生するディスプレイと、
ユーザから発声された音声信号を取得するマイクと、
ユーザへ音声を発声するスピーカと、
マイクによって取得された音声信号をテキストに変換し、そのテキストをタグ付けサーバへ送信する音声認識手段と、
タグ付けサーバからテキストを受信し、そのテキストを音声信号に変換し、その音声信号をスピーカへ出力する音声合成手段と
を有することを特徴とする。
本発明によれば、前述のタグ付けサーバと、そのタグ付けサーバとネットワークを介して通信する端末とを有するシステムであって、
端末は、
コンテンツを再生するディスプレイと、
ユーザにテキストを入力させるテキスト入力手段と、
テキスト入力手段によって取得されたテキストを、タグ付けサーバへ送信するテキスト送信手段と、
タグ付けサーバからテキストを受信し、そのテキストをディスプレイに表示させるテキスト受信手段と
を有することを特徴とする。
本発明によれば、ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末であって、
端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
コンテンツを再生するディスプレイと、
コンテンツ蓄積手段に蓄積された1つのコンテンツを、ディスプレイに出力するコンテンツ出力手段と、
ユーザから発声された音声信号を取得するマイクと、
ユーザへ音声を発声するスピーカと、
マイクによって取得された音声信号をテキストに変換し、そのテキストをタグ付けサーバへ送信する音声認識手段と、
タグ付けサーバからテキストを受信し、そのテキストを音声信号に変換し、その音声信号をスピーカへ出力する音声合成手段と、
カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、音声合成手段へ出力する質問文送信手段と、
音声認識手段から回答文を入力する回答文入力手段と、
回答単語をコンテンツにタグとして付与するタグ付け手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末であって、
端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
コンテンツを再生するディスプレイと、
コンテンツ蓄積手段に蓄積された1つのコンテンツを、ディスプレイに出力するコンテンツ出力手段と、
ユーザにテキストを入力させるテキスト入力手段と、
テキスト入力手段によって取得されたテキストを、タグ付けサーバへ送信するテキスト送信手段と、
タグ付けサーバからテキストを受信し、そのテキストをディスプレイに表示させるテキスト受信手段と、
カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、ディスプレイに表示する質問文送信手段と、
音声認識手段から回答文を入力する回答文入力手段と、
回答単語をコンテンツにタグとして付与するタグ付け手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、そのコンテンツに検索用テキストのタグを付与するようにサーバに搭載されたコンピュータを機能させるタグ付けプログラムであって、
端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
ユーザへの質問文によって得られる回答文に含まれる単語に関連するカテゴリを複数蓄積し、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
コンテンツ蓄積手段に蓄積された1つのコンテンツを、端末へ送信するコンテンツ送信手段と、
所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、端末へ送信する質問文送信手段と、
端末から回答文を受信し、その回答文に含まれる回答単語を抽出する回答文受信手段と、
回答単語をコンテンツにタグとして付与するタグ付け手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末に搭載されたコンピュータを機能させるプログラムであって、
端末は、
コンテンツを再生するディスプレイと、
ユーザから発声された音声信号を取得するマイクと、
ユーザへ音声を発声するスピーカと
を有し、
端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
コンテンツ蓄積手段に蓄積された1つのコンテンツを、ディスプレイに出力するコンテンツ出力手段と、
マイクによって取得された音声信号をテキストに変換し、そのテキストをタグ付けサーバへ送信する音声認識手段と、
タグ付けサーバからテキストを受信し、そのテキストを音声信号に変換し、その音声信号をスピーカへ出力する音声合成手段と、
カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、音声合成手段へ出力する質問文送信手段と、
音声認識手段から回答文を入力する回答文入力手段と、
回答単語をコンテンツにタグとして付与するタグ付け手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末に搭載されたコンピュータを機能させるプログラムであって、
端末は、
コンテンツを再生するディスプレイと、
ユーザにテキストを入力させるテキスト入力手段と、
を有し、
端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
コンテンツ蓄積手段に蓄積された1つのコンテンツを、ディスプレイに出力するコンテンツ出力手段と、
テキスト入力手段によって取得されたテキストを、タグ付けサーバへ送信するテキスト送信手段と、
タグ付けサーバからテキストを受信し、そのテキストをディスプレイに表示させるテキスト受信手段と、
カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、ディスプレイに表示する質問文送信手段と、
テキスト入力手段から回答文を入力する回答文入力手段と、
回答単語をコンテンツにタグとして付与するタグ付け手段と
してコンピュータを機能させることを特徴とする。
本発明のタグ付けプログラム、サーバ及び端末によれば、コンテンツを検索し閲覧するユーザ毎に、タグ付け作業を意識させることなく、そのユーザに適したタグをコンテンツに付与することができる。
本発明におけるコンテンツの検索を表すシステム構成図である。 本発明におけるタグ付けを表すシステム構成図である。 本発明におけるタグ付けサーバ及び端末の機能構成図である。 カテゴリ蓄積部に蓄積されるデータ構造を表す説明図である。 本発明におけるタグ付けのための対話制御を表す説明図である。 本発明における端末の機能構成図である。
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
図1は、本発明におけるコンテンツの検索を表すシステム構成図である。
図1によれば、ユーザ(太郎の母)は、例えば携帯電話機やスマートフォン4を用いて、「2011年5月に太郎(子)がサッカーをしている」写真又はビデオを撮影している。ここで撮影されたコンテンツは、例えば携帯電話網及びインターネットを介して、コンテンツサーバ3へ送信される。
一方で、他のユーザ(太郎の祖母)は、端末2としてデジタルフォトフレームを宅内に備えている。このデジタルフォトフレーム2は、ホームルータに接続され、アクセスネットワーク及びインターネットを介して、コンテンツサーバ3と通信することができる。端末2は、ユーザ所望のコンテンツをコンテンツサーバ3から検索し、そのコンテンツを再生することができる。ここで、ユーザ所望のコンテンツを検索することができるように、コンテンツサーバ3は、各コンテンツにその内容に基づくタグを付与して蓄積する。
図1によれば、インターネットに、タグ付けサーバ1が更に接続されている。タグ付けサーバ1は、コンテンツサーバ3に蓄積されたコンテンツに、タグを付与する。図1によれば、コンテンツには、例えば「太郎」「サッカー」「2011年5月」のようなタグが付与されている。尚、ここで、「太郎」は、太郎の祖母(ユーザ)から見て、「孫」であるとする関係についても、タグを付与することが好ましい。これは、太郎の祖母から見た人の「関係」であって、他の全てユーザに共通するタグではない。即ち、ユーザ毎に、コンテンツを閲覧する際に、重要なタグは異なる。
デジタルフォトフレーム2は、ユーザが発声した音声をテキストに変換する音声認識機能を有する。太郎の祖母が「孫の写真を見たい」と発声した場合、認識されたそのテキストが、コンテンツサーバ3へ送信される。コンテンツサーバ3は、太郎の祖母からの検索メッセージであることを認識し、そのテキストの「孫」をタグとして含むコンテンツを検索する。そして、「2011年5月に太郎(子)がサッカーをしている」コンテンツを、端末2へ送信する。これによって、太郎の祖母は、所望のコンテンツを閲覧することができる。
図2は、本発明におけるタグ付けを表すシステム構成図である。
図2によれば、タグ付けサーバ1が、端末2へ、タグ付けを要するコンテンツを送信すると共に、アバタ(Avater)画像及び質問文を送信する。端末2は、ディスプレイに、コンテンツを再生すると共に、アバタ画像(対話エージェント)も表示する。「アバタ画像」とは、チャットなどのコミュニケーションツールであって、人の分身として画面上に登場する漫画風のキャラクタ画像をいう。アバタ画像を用いることによって、実世界のコミュニケーションと同じように表情や動作による豊かなコミュニケーションを可能とする。本発明によれば、ユーザは、アバタとの問答形式で、現に再生しているコンテンツにタグを付与する。
また、端末2は、質問文を音声合成によって音声信号に変換し、その音声信号をスピーカから出力する。図2によれば、ディスプレイにアバタ画像が表示され、スピーカから「何の写真ですか?」と発声される。このとき、端末2は、質問文も、ディスプレイに表示するものであってもよい。
これに対し、ユーザ(例えば太郎の祖母)は、「2011年5月に太郎(子)がサッカーをしている」コンテンツを見ながら、「孫の写真です」と発声する。端末2は、マイクによってその音声信号を取得し、音声認識によって単語「孫」を認識する。このとき端末2は、回答文を、ユーザにテキストで入力させるものであってもよい。そして、端末2は、単語「孫」を回答文として、タグ付けサーバ1へ送信する。これによって、タグ付けサーバ1は、そのコンテンツに、ユーザ(太郎の祖母)に対する単語「孫」をタグとして付与することができる。
図3は、本発明におけるタグ付けサーバ及び端末の機能構成図である。
[端末(デジタルフォトフレーム)]
デジタルフォトフレームとしての端末2は、通信インタフェース200と、ハードウェア的なユーザインタフェースとしてのディスプレイ201(タッチパネルディスプレイ)、マイク202、スピーカ203及びカメラ204を有する。また、端末2は、ソフトウェア的に、メディア再生部211と、音声認識部212と、音声合成部213と、顔認識部214とを有する。
メディア再生部211は、コンテンツサーバ3から、ユーザの検索キーによって検索されたコンテンツを受信し、ディスプレイ201に再生表示する。また、メディア再生部211は、コンテンツサーバ3から、タグ付けを要するコンテンツとアバタ画像とを受信し、ディスプレイ201に再生表示する。尚、ディスプレイがタッチパネルディスプレイである場合、操作情報をタグ付けサーバ1へ送信する操作情報送信部を更に有する。
マイク202は、ユーザが発声する音声を取得し、その音声信号を音声認識部212へ出力する。音声認識部212は、その音声信号からテキストを認識し、そのテキストをタグ付けサーバへ送信する。ここで取得されるテキストには、以下の2種類がある。
(1)ユーザが、所望のコンテンツを検索するために発声した検索文
(2)ユーザが、タグ付け用の質問文に対する回答として発声した回答文
音声合成部213は、タグ付けサーバ1から質問文のテキストを受信し、音声信号に変換する。その音声信号は、スピーカ203から発声される。発声される音声は、ディスプレイに表示されたアバタ画像に対応しており、ユーザから見ると、アバタが発声しているように認識される。
尚、図3には図示していないが、マイク部202及び音声認識部212に代えて、キーボードのようなテキスト入力部と、入力されたそのテキストをタグ付けサーバ1へ送信するテキスト送信部とであってもよい。同様に、スピーカ部203及び音声合成部213は、タグ付けサーバ1から受信したテキストを、ディスプレイ201に表示するテキスト受信部であってもよい。
また、カメラ204は、ユーザの顔映像を撮影し、その顔映像を顔認識部214へ出力する。顔認識部214は、顔映像から特徴量を抽出し、その特徴量をタグ付けサーバ1へ送信する。
[タグ付けサーバ]
タグ付けサーバ1は、通信インタフェース100と、コンテンツ蓄積部101とを有する。通信インタフェース100は、インターネットに接続し、端末2と通信する。また、コンテンツ蓄積部101は、タグ付けを要するコンテンツを蓄積する。これらコンテンツは、例えばユーザによって撮影された写真やビデオのデータである。その場合、コンテンツ蓄積部は101は、ファイル共有サーバのようなコンテンツサーバ3からコンテンツを取得する。
また、タグ付けサーバ1は、対話制御部111と、カテゴリ分類部112と、カテゴリ蓄積部113と、嗜好確率抽出部114と、コンテンツ検索部115と、タグ付け部116とを有する。これら機能構成部は、タグ付けサーバ1に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
対話制御部111は、端末2を操作するユーザに対して、会話文とアバタ画像とを用いて対話を進行する。例えば、フレーム駆動によるマルチモーダル対話制御モデルであってもよい。対話制御部111は、検索文受信部と、質問文送信部と、タグ付けコンテンツ送信部と、回答文受信部と、アバタ画像蓄積部とを有する。
検索文受信部は、ユーザによって端末2に入力された、コンテンツを検索するための検索文を受信する。ユーザが写真を検索している際に、端末へ向かって発声していた検索文は、例えば以下のようなものである。
「孫の写真を見たい」
「2008年のニューヨーク旅行の時の写真をみたい」
「孫と一緒の写真を探したい」
「太郎の写真を見たい」
検索文受信部は、前述の検索文から、形態素解析によって区分する。
「孫/の/写真/を/見たい」
「2008年/の/ニューヨーク/旅行/の/時/の/写真/を/みたい」
「孫/と/一緒/の/写真/を/探したい」
「太郎/の/写真/を/見たい」
そして、以下の検索単語を取得する。
「孫」
「2008年」
「ニューヨーク」
「旅行」
「一緒」
「太郎」
これら検索単語は、カテゴリ分類部112へ出力される。
カテゴリ分類部112は、検索単語を、品詞解析や意味解析によって、それに関連するカテゴリに割り当てる。カテゴリ分類部112は、ユーザの検索文が受信される毎に、検索単語がカテゴリに割り当てられ、カテゴリ蓄積部113へ蓄積する。
カテゴリ蓄積部113は、タグに関連するカテゴリを木構造で複数蓄積する。「カテゴリ」とは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものである。カテゴリは、ノード及びリーフからなり、リーフ毎に質問文が関連付けられている。また、カテゴリ蓄積部113は、ユーザ毎に、各カテゴリのリーフに対する嗜好確率を登録する。カテゴリ蓄積部113は、ユーザの検索文が受信される毎に、各カテゴリのリーフに対する嗜好確率も更新される。
図4は、カテゴリ蓄積部に蓄積されるデータ構造を表す説明図である。
図4によれば、カテゴリ蓄積部113は、複数のカテゴリが、木構造に表されている。この木構造によれば、ルート(根、root)から見て、カテゴリのノード(節、node)と、カテゴリのリーフ(葉、leaf)とを有する。ノードは唯一の親ノードのみを有する親子関係を持ち、リーフは、子のないノードを意味する。ルートからリーフまでの階層の数は、「深さ」を意味する。また、本発明の特徴としては、カテゴリのリーフの毎に、検索嗜好確率が付与されている。
ここで、カテゴリは、例えばK-means法によって抽出されるものであってもよい。学習対象となる回答文の単語は、例えば写真に関連するコーパステキスト(ブログ(Weblog)等)を事前に収集したものであってもよい。その中に出現した単語数nを、特徴ベクトルによってK個のクラスタに分類する。
(S1)各データxiに対して、ランダムにK個のクラスタに割り振る。
(S2)割り振ったデータxiに基づいて、各クラスタの中心を計算する。この計算は、通常、割り当てられたデータの各要素の平均Vjが用いられる。
(S3)各xiと各Vj(平均)との距離を求め、xiを最も近い中心のクラスタに割り当て直す。
(S4)K個のクラスタに対して全てのxiの割り当てが変化しなかった場合、処理を終了する。それ以外の場合、新しく割り振られたクラスタからVjを再計算し、S2及びS3の処理を繰り返す。
リーフには、適切なカテゴリ名が付与されている。例えば、名前(name)、人間関係(relation)、地名(geography)、位置(position)、イベント(event)、動作(action)などが付与される。また、これらリーフのクラスタを下位として、ノードを生成し、そのノードに更に適切なカテゴリ名を付与する。そして、カテゴリ分類部112は、前述の検索単語を、カテゴリに対応付ける。
(検索単語) (カテゴリのリーフ)
「2008年」 =「年」
「ニューヨーク」=「位置」
「旅行」 =「イベント」
「孫」 =「関係」
「太郎」 =「名前」
(カテゴリのリーフ) (カテゴリのノード)
「年」 =「いつ」
「位置」 =「何処」
「関係」「名前」=「誰」
「イベント」 =「何」
ノードとしては、例えば以下のようなものがある。
「何(What)」「何処(Where)」「誰(Who)」「いつ(When)」
また、リーフとしては、例えば以下のようなものがある。
「何」 に対するリーフ:「背景」「イベント」「環境」
「何処」に対するリーフ:「位置」「所在環境」
「誰」 に対するリーフ:「関係」「名前」
「いつ」に対するリーフ:「時刻」「日」「月」「季節」
また、カテゴリ蓄積部113のリーフには、対話制御部111によって抽出された回答単語が付与される。回答単語が付与されたリーフは、既にタグ付けされたものであると認識する。即ち、回答単語が付与されたリーフに関しては、質問文を送信する必要がない。
嗜好確率抽出部114は、ユーザ毎に、全検索単語の総和に対する、各カテゴリのリーフに含まれる検索単語の数に応じた嗜好確率を抽出する。図4によれば、カテゴリ蓄積部113のカテゴリのリーフに、ユーザ毎の嗜好確率が登録されている。例えば、検索単語ωm毎に、以下のような嗜好確率P*(ωm)が算出される。
*(ωm)=N(ωm)/N
N(ωm):単語ωmの出現回数
N :検索単語の総数
例えばN=1000個で、且つ、単語ωmの出現回数N(ωm)=10個の場合、
嗜好確率P*(ωm)=0.01(1%)
K-mean法で分類する場合には
*(ωm|Cm)=1、if ωm ∈ Cm。
*(ωm|Cm)=0、if ωm not∈ Cm。
Cm:カテゴリ
*(ωm|Cm):単語ωmが、そのカテゴリCmに所属する確率
次に、カテゴリCm毎に、そのカテゴリの嗜好確率P(Cm)を計算する。
P(Cm)=ΣP*(ωm)×P*(ωm|Cm)
その他、尤度付きアルゴリズム(例えばEM(Expectation-maximization)アルゴリズム)でクラスタリングする場合、尤度値をP*(ωm|Cm)に与える。
例えば、「関係」カテゴリには、{孫、息子、娘}の3つの検索単語があるとする。
*(息子)=0.003
*(娘)=0.002
*(孫)=0.1
「孫」「息子」「娘」にとって、P*(ωm|Cm)=1である。そのために、以下のように嗜好確率を算出することができる。
P(関係)=ΣP*(ωm)×P*(ωm|Cm)
=0.003+0.002+0.1
=0.105
コンテンツ検索部115は、対話制御部111の検索文受信部から出力された検索文によって、コンテンツ蓄積部101を検索し、取得したコンテンツを端末2へ送信する。
対話制御部111におけるタグ付けコンテンツ送信部は、タグ付けを要するコンテンツを端末2へ送信する。
対話制御部111における質問文送信部は、ユーザに応じて、嗜好確率が所定閾値以上高いカテゴリを検索する。そして、そのカテゴリに関連する回答文を得るための質問文が、端末2へ送信される。この場合、質問文送信部は、リーフに対する質問文としては、「これは何ですか?」「ここは何処ですか?」「これは誰ですか?」「これはいつですか?」と生成される。即ち、質問文は、カテゴリのリーフによって生成される。勿論、ノードと、質問文との関係は、事前に決定されたものであってもよい。
尚、対話制御部111における質問文送信部は、端末2から受信した顔認識情報に応じて、質問文の送信を開始するものであってもよい。顔認識情報(顔映像特徴量)に基づいて、「ユーザが、デジタルフォトフレームのディスプレイを視認している状態」を検出する。この状態が所定時間以上継続した場合、「対話可能な状態」と認識し、質問文及びアバタ画像を送信し、ユーザとの対話を開始する。
対話制御部111における回答文受信部は、端末2から回答文を受信し、その回答文に含まれる回答単語を抽出する。回答文受信部は、前述した検索文受信部と同様に、回答文から形態素解析によって回答単語を取得する。そして、これら回答単語は、カテゴリ分類部112へ出力される。カテゴリ分類部112は、前述したように、回答単語に対して品詞解析や意味解析を実行することによって、それに関連するカテゴリに割り当てる。そして、カテゴリ分類部112は、回答単語をカテゴリのリーフに付与する。回答単語が付与されたカテゴリのリーフは、既にタグ付けされたものであると認識する。
対話制御部111の回答文受信部が、回答文をカテゴリ分類部112へ出力することによって、質問文に対して適切な回答文が得られなかったとしても、その回答文の回答単語が、カテゴリ蓄積部112にカテゴリのリーフに付与される。即ち、質問文に対して、ユーザの自由な発言に対しても、適切にタグを付与することができる。
タグ付け部116は、対話制御部111の回答文受信部から出力された回答単語を、コンテンツにタグとして付与する。
ユーザは、嗜好確率が高いカテゴリのリーフに属する単語を、コンテンツの検索文に含める可能性が高い。従って、ユーザ毎に、そのユーザが検索する可能性が高い検索単語に基づくカテゴリのリーフに属する単語を、できる限りタグとして付与することができる。
図5は、本発明におけるタグ付けのための対話制御を表す説明図である。
図5によれば、太郎の祖母が、本発明に基づくデジタルフォトフレーム2を用いて、コンテンツにタグ付けするシーケンスを表す。
(Q1)(アバタ)「何の写真ですか?」
最初は、発言の主導権をユーザに譲るような質問文が送信され、ユーザとの対話が始まる。ユーザは、比較的自由に発言できるために、抵抗感が比較的少ない。この質問文は、デジタルフォトフレームに現に再生されているコンテンツに対するものであって、スピーカから発声され、祖母は、ディスプレイに表示されているアバタが発声してように認識する。
(A1)(祖母)「孫の写真です」
デジタルフォトフレームは、マイクから取得した音声信号から「孫」を認識し、そのテキスト「孫」をタグ付けサーバ1へ送信する。タグ付けサーバのカテゴリ蓄積部113は、「孫」から、品詞解析や意味解析によって人の「関係」を検出する。そして、カテゴリ蓄積部113の「関係」のリーフに、タグとして「孫」を付与する。
(Q2)(アバタ)「孫の名前は何ですか?」
デジタルフォトフレームは、次に、嗜好確率が所定閾値以上であって最も高く、且つ、タグが割り当てられていないカテゴリを探索する。例えば図5によれば、所定閾値「0.2」とする。所定閾値以下のカテゴリに、あえてタグを付与する必要はない(空欄のままでよい)。
尚、ここでは、「関係」と同じ親ノード「誰」に属するリーフから先に探索される。カテゴリ「名前」が探索される。そこで、デジタルフォトフレームは、その孫の「名前」に対するノード「誰」に基づいて、「孫の名前は何ですか?」を質問する。
(A2)(祖母)「太郎です」
デジタルフォトフレームは、マイクから取得した音声信号から「太郎」を認識し、そのテキスト「太郎」をタグ付けサーバ1へ送信する。タグ付けサーバのカテゴリ蓄積部113は、「太郎」から、品詞解析や意味解析によって人の「名前」を検出する。そして、カテゴリ蓄積部113の「名前」のリーフに、タグとして「太郎」を付与する。
(Q3)(アバタ)「何をしている写真ですか?」
デジタルフォトフレームは、次に、嗜好確率が所定閾値(例えば0.3)以上であって最も高く、且つ、タグが割り当てられていないカテゴリを探索する。ここでは、デジタルフォトフレームは、「イベント」に対するノード「何」に基づいて、「これは、何をしている写真ですか?」を質問する。
ここで、Q2では所定閾値を「0.2」とし、次に、Q3では所定閾値を「0.3」とするものであってもよい。勿論、両方とも「0.2」であってもよい。比較的に嗜好確率が高いカテゴリのリーフから順に、質問文がユーザへ向けて送信されるために、次のカテゴリにおける所定閾値を高く設定することも好ましい。これによって、できる限り、無駄な質問文の送信を少なくすることができる。
(A4)(祖母)「サッカーをしている写真です」
デジタルフォトフレームは、マイクから取得した音声信号から「サッカー」を認識し、そのテキスト「サッカー」をタグ付けサーバ1へ送信する。タグ付けサーバのカテゴリ蓄積部113は、「サッカー」から、品詞解析や意味解析によって「イベント」を検出する。そして、カテゴリ蓄積部113の「イベント」のリーフに、タグとして「サッカー」を付与する。
所定閾値以上のカテゴリに全てタグが付与された場合、処理をする。即ち、ユーザの過去の検索文の傾向に基づいて、このコンテンツには、タグとして「孫」「太郎」「サッカー」のみが付与される。
尚、本発明によれば、例えば以下のように質問文と回答文とが矛盾しても構わない。ユーザの自由な発言にも対応することができる。
(Q2)(アバタ)「孫の名前は何ですか?」
(A4)(祖母)「サッカーをしている写真です」
このような場合であっても、「サッカー」から、品詞解析や意味解析によって「イベント」を検出し、カテゴリ蓄積部113の「イベント」のリーフに、タグとして「サッカー」を付与する。そのために、カテゴリ「名前」のリーフには、タグが付与されない。
図6は、本発明における端末の機能構成図である。
図6によれば、基本的に図3におけるサーバ及び端末の機能を合わせ持ったものである。従って、各機能構成部は、図3で前述したものと全く同じである。例えば、コンテンツ蓄積部101は、デジタルフォトフレーム内のメモリ(例えばSDカード)であってもよく、ユーザの検索文の傾向に基づいて、コンテンツにタグが付与される。
以上、詳細に説明したように、本発明のタグ付けプログラム、サーバ及び端末によれば、コンテンツを検索し閲覧するユーザ毎に、タグ付け作業を意識させることなく、そのユーザに適したタグをコンテンツに付与することができる。ユーザにとっては、ディスプレイに表示されるアバタ画像との対話形式で、自らの検索傾向に応じてコンテンツにタグを付与することができる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 タグ付けサーバ
100 通信インタフェース
101 コンテンツ蓄積部
111 対話制御部
112 カテゴリ分類部
113 カテゴリ蓄積部
114 嗜好確率抽出部
115 コンテンツ検索部
116 タグ付け部
2 端末、デジタルフォトフレーム
200 通信インタフェース
201 ディスプレイ(タッチパネルディスプレイ)
202 マイク
203 スピーカ
204 カメラ
211 メディア再生部
212 音声認識部
213 音声合成部
214 顔認識部
3 コンテンツサーバ
4 スマートフォン、携帯電話機

Claims (11)

  1. ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生することができるように、コンテンツに検索用テキストのタグを付与するタグ付けサーバであって、
    端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
    タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
    前記コンテンツ蓄積手段に蓄積された1つのコンテンツを、端末へ送信するコンテンツ送信手段と、
    所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、前記端末へ送信する質問文送信手段と、
    前記端末から回答文を受信し、該回答文に含まれる回答単語を抽出する回答文受信手段と、
    前記回答単語を前記コンテンツにタグとして付与するタグ付け手段と
    を有することを特徴とするタグ付けサーバ。
  2. ユーザ毎に、端末に入力された、コンテンツを検索するための検索文を受信し、且つ、該検索文から形態素解析によって検索単語を抽出する検索文受信手段と、
    前記検索単語を品詞解析や意味解析によって、それに関連するカテゴリに割り当てるカテゴリ分類手段と、
    前記ユーザ毎に、全検索単語の総和に対する、各カテゴリに含まれる検索単語の数に応じた嗜好確率を抽出し、当該嗜好確率を前記カテゴリ蓄積手段へ登録する嗜好確率抽出手段と
    を更に有することを特徴とする請求項1に記載のタグ付けサーバ。
  3. 前記回答文受信手段は、前記回答文から形態素解析によって回答単語を抽出し、
    前記回答単語を品詞解析や意味解析によって、それに関連するカテゴリに付与するカテゴリ分類手段と
    を更に有することを特徴とする請求項1に記載のタグ付けサーバ。
  4. 前記カテゴリは、ノード及びリーフからなり、
    前記ノードとして、「何」「何処」「誰」「いつ」があり、
    「何」 に対するリーフとして、「背景」「イベント」「環境」があり、
    「何処」に対するリーフとして、「位置」「所在環境」があり、
    「誰」 に対するリーフとして、「関係」「名前」があり、
    「いつ」に対するリーフとして、「時刻」「日」「月」「季節」があり、
    前記質問文は、前記リーフ毎に関連付けられている
    ことを特徴とする請求項1から3のいずれか1項に記載のタグ付けサーバ。
  5. 請求項1から4のいずれか1項に記載のタグ付けサーバと、該タグ付けサーバとネットワークを介して通信する端末とを有するシステムであって、
    前記端末は、
    前記コンテンツを再生するディスプレイと、
    ユーザから発声された音声信号を取得するマイクと、
    ユーザへ音声を発声するスピーカと、
    前記マイクによって取得された音声信号をテキストに変換し、該テキストを前記タグ付けサーバへ送信する音声認識手段と、
    前記タグ付けサーバからテキストを受信し、該テキストを音声信号に変換し、該音声信号を前記スピーカへ出力する音声合成手段と
    を有することを特徴とするシステム。
  6. 請求項1から4のいずれか1項に記載のタグ付けサーバと、該タグ付けサーバとネットワークを介して通信する端末とを有するシステムであって、
    前記端末は、
    前記コンテンツを再生するディスプレイと、
    ユーザにテキストを入力させるテキスト入力手段と、
    前記テキスト入力手段によって取得されたテキストを、前記タグ付けサーバへ送信するテキスト送信手段と、
    前記タグ付けサーバからテキストを受信し、該テキストを前記ディスプレイに表示させるテキスト受信手段と
    を有することを特徴とするシステム。
  7. ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末であって、
    端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
    タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
    前記コンテンツを再生するディスプレイと、
    前記コンテンツ蓄積手段に蓄積された1つのコンテンツを、前記ディスプレイに出力するコンテンツ出力手段と、
    ユーザから発声された音声信号を取得するマイクと、
    ユーザへ音声を発声するスピーカと、
    前記マイクによって取得された音声信号をテキストに変換し、該テキストを前記タグ付けサーバへ送信する音声認識手段と、
    前記タグ付けサーバからテキストを受信し、該テキストを音声信号に変換し、該音声信号を前記スピーカへ出力する音声合成手段と、
    前記カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、前記音声合成手段へ出力する質問文送信手段と、
    前記音声認識手段から回答文を入力する回答文入力手段と、
    前記回答単語を前記コンテンツにタグとして付与するタグ付け手段と
    してコンピュータを機能させることを特徴とする端末。
  8. ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末であって、
    端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
    タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
    前記コンテンツを再生するディスプレイと、
    前記コンテンツ蓄積手段に蓄積された1つのコンテンツを、前記ディスプレイに出力するコンテンツ出力手段と、
    ユーザにテキストを入力させるテキスト入力手段と、
    前記テキスト入力手段によって取得されたテキストを、前記タグ付けサーバへ送信するテキスト送信手段と、
    前記タグ付けサーバからテキストを受信し、該テキストを前記ディスプレイに表示させるテキスト受信手段と、
    前記カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、前記ディスプレイに表示する質問文送信手段と、
    前記音声認識手段から回答文を入力する回答文入力手段と、
    前記回答単語を前記コンテンツにタグとして付与するタグ付け手段と
    してコンピュータを機能させることを特徴とする端末。
  9. ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、該コンテンツに検索用テキストのタグを付与するようにサーバに搭載されたコンピュータを機能させるタグ付けプログラムであって、
    端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
    ユーザへの質問文によって得られる回答文に含まれる単語に関連するカテゴリを複数蓄積し、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
    前記コンテンツ蓄積手段に蓄積された1つのコンテンツを、端末へ送信するコンテンツ送信手段と、
    所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、前記端末へ送信する質問文送信手段と、
    前記端末から回答文を受信し、該回答文に含まれる回答単語を抽出する回答文受信手段と、
    前記回答単語を前記コンテンツにタグとして付与するタグ付け手段と
    してコンピュータを機能させることを特徴とするサーバ用のタグ付けプログラム。
  10. ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末に搭載されたコンピュータを機能させるプログラムであって、
    前記端末は、
    前記コンテンツを再生するディスプレイと、
    ユーザから発声された音声信号を取得するマイクと、
    ユーザへ音声を発声するスピーカと
    を有し、
    端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
    タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
    前記コンテンツ蓄積手段に蓄積された1つのコンテンツを、前記ディスプレイに出力するコンテンツ出力手段と、
    前記マイクによって取得された音声信号をテキストに変換し、該テキストを前記タグ付けサーバへ送信する音声認識手段と、
    前記タグ付けサーバからテキストを受信し、該テキストを音声信号に変換し、該音声信号を前記スピーカへ出力する音声合成手段と、
    前記カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、前記音声合成手段へ出力する質問文送信手段と、
    前記音声認識手段から回答文を入力する回答文入力手段と、
    前記回答単語を前記コンテンツにタグとして付与するタグ付け手段と
    してコンピュータを機能させることを特徴とする端末用のタグ付けプログラム。
  11. ユーザによって視聴可能な端末に当該ユーザ所望のコンテンツを再生すると共に、コンテンツに検索用テキストのタグを付与する端末に搭載されたコンピュータを機能させるプログラムであって、
    前記端末は、
    前記コンテンツを再生するディスプレイと、
    ユーザにテキストを入力させるテキスト入力手段と、
    を有し、
    端末で再生すべきコンテンツを蓄積したコンテンツ蓄積手段と、
    タグに関連するカテゴリを木構造で複数蓄積し、当該カテゴリは、ユーザへの質問文によって得られる回答文に含まれる単語に関連するものであり、ユーザ毎に、各カテゴリに対する嗜好確率を登録したカテゴリ蓄積手段と、
    前記コンテンツ蓄積手段に蓄積された1つのコンテンツを、前記ディスプレイに出力するコンテンツ出力手段と、
    前記テキスト入力手段によって取得されたテキストを、前記タグ付けサーバへ送信するテキスト送信手段と、
    前記タグ付けサーバからテキストを受信し、該テキストを前記ディスプレイに表示させるテキスト受信手段と、
    前記カテゴリ蓄積手段における所定閾値以上の嗜好確率のカテゴリについて、当該カテゴリに関連する回答文を得るための質問文を、前記ディスプレイに表示する質問文送信手段と、
    前記テキスト入力手段から回答文を入力する回答文入力手段と、
    前記回答単語を前記コンテンツにタグとして付与するタグ付け手段と
    してコンピュータを機能させることを特徴とする端末用のタグ付けプログラム。
JP2011190352A 2011-09-01 2011-09-01 コンテンツに対するタグ付けプログラム、サーバ及び端末 Expired - Fee Related JP5611155B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011190352A JP5611155B2 (ja) 2011-09-01 2011-09-01 コンテンツに対するタグ付けプログラム、サーバ及び端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011190352A JP5611155B2 (ja) 2011-09-01 2011-09-01 コンテンツに対するタグ付けプログラム、サーバ及び端末

Publications (2)

Publication Number Publication Date
JP2013054417A JP2013054417A (ja) 2013-03-21
JP5611155B2 true JP5611155B2 (ja) 2014-10-22

Family

ID=48131386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011190352A Expired - Fee Related JP5611155B2 (ja) 2011-09-01 2011-09-01 コンテンツに対するタグ付けプログラム、サーバ及び端末

Country Status (1)

Country Link
JP (1) JP5611155B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6125445B2 (ja) * 2014-02-10 2017-05-10 日本電信電話株式会社 ライフログ記録システム及びそのプログラム
JP6676903B2 (ja) * 2015-09-08 2020-04-08 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN107223246B (zh) * 2017-03-20 2021-08-03 达闼机器人有限公司 图像标注方法、装置及电子设备
JP7063230B2 (ja) * 2018-10-25 2022-05-09 トヨタ自動車株式会社 コミュニケーション装置およびコミュニケーション装置の制御プログラム
US20210390140A1 (en) 2019-01-30 2021-12-16 Sony Group Corporation Information processing system, information processing method, and information processing apparatus
JP7267652B1 (ja) 2022-06-23 2023-05-02 株式会社せんぼんのっく 情報処理装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6484164B1 (en) * 2000-03-29 2002-11-19 Koninklijke Philips Electronics N.V. Data search user interface with ergonomic mechanism for user profile definition and manipulation
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
JP2007219739A (ja) * 2006-02-15 2007-08-30 Sony Corp データベース管理装置、データベース管理方法及びデータベース管理プログラム
US20070255755A1 (en) * 2006-05-01 2007-11-01 Yahoo! Inc. Video search engine using joint categorization of video clips and queries based on multiple modalities
JP4175390B2 (ja) * 2006-06-09 2008-11-05 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8856159B2 (en) * 2008-09-05 2014-10-07 Sony Corporation Content recommendation system, content recommendation method, content recommendation apparatus, program, and information storage medium
JP2010262534A (ja) * 2009-05-08 2010-11-18 Kazuhiko Akamine コンテンツ情報配信装置、方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2013054417A (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
US11055342B2 (en) System and method for rich media annotation
CN109416816B (zh) 支持交流的人工智能系统
EP3612926B1 (en) Parsing electronic conversations for presentation in an alternative interface
US8528018B2 (en) System and method for evaluating visual worthiness of video data in a network environment
JP5611155B2 (ja) コンテンツに対するタグ付けプログラム、サーバ及び端末
WO2021120690A1 (zh) 语音识别方法、装置和介质
US20120110458A1 (en) Mobile Content Capture and Discovery System based on Augmented User Identity
JP2013235507A (ja) 情報処理方法、装置、コンピュータプログラムならびに記録媒体
KR20060077988A (ko) 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법
US9684908B2 (en) Automatically generated comparison polls
CN109600646B (zh) 语音定位的方法及装置、智能电视、存储介质
US8788621B2 (en) Method, device, and computer product for managing communication situation
WO2019085625A1 (zh) 表情图片推荐方法及设备
US20110258017A1 (en) Interpretation of a trending term to develop a media content channel
KR101618084B1 (ko) 회의록 관리 방법 및 그 장치
WO2020206392A1 (en) Voice-based social network
CN110929122B (zh) 一种数据处理方法、装置和用于数据处理的装置
US10560498B2 (en) Contextual based communication method and user interface
CN118202343A (zh) 用于转录本搜索的建议的查询
WO2021036344A1 (zh) 摘要生成方法和装置
JP2019021157A (ja) 情報提示システム、情報提示方法及びプログラム
CN112040329B (zh) 动态处理并播放多媒体内容的方法及多媒体播放装置
Pallotta Content-based retrieval of distributed multimedia conversational data
US20230326454A1 (en) Dynamic chapter generation for a communication session
US20230222148A1 (en) Systems and methods for attribution of facts to multiple individuals identified in textual content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140902

R150 Certificate of patent or registration of utility model

Ref document number: 5611155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees