JP4353083B2 - 視聴者間コミュニケーション方法及び装置及びプログラム - Google Patents

Description

本発明は、映像中の区間と当該区間に対して付けられたコメントとを同時に視聴可能とする視聴者間コミュニケーション方法及び装置及びプログラムに係り、特に、区間の終了部分で発生している事象についてのコメントが区間の開始と同時に表示されてしまうことによって、視聴者の映像視聴の楽しみを奪ってしまうことを防止するため視聴者間コミュニケーション方法及び装置及びプログラムに関する。

従来、映像を視聴中のコミュニケーションの方法として、映像をシーンという小さな区間に分割して、区間毎に掲示板を設置し、区間の切り替わりと連動して掲示板も切り替わって表示されるシステムがある（例えば、非特許文献１参照）。
山田一穂、宮川和、森本正志、児島治彦"映像の構造情報を活用した視聴者間コミュニケーション方法の提案"情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001

しかしながら、上記従来の技術では、区間の中で付けられたコメントは全て区間の先頭で表示されてしまい、区間の定義が長いと区間の途中で発生した事象について付与されたコメントも、区間の先頭で表示されてしまう。しかし、コメント表示位置を正確にするために区間の定義を短くしてしまうと、コメントの表示時間が短くなってしまい、特定の事象が複数の区間に跨ってしまう可能性も高まってしまうことから、コミュニケーションの利便性を著しく阻害してしまう。

本発明は、上記の点に鑑みなされたもので、コメント表示位置の正確性を保ちつつ、コミュニケーション利便性を阻害しない区間定義を行うことが可能な視聴者間コミュニケーション方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、映像中の区間と、該区間に対して視聴者から取得したコメントとを同期して提示する視聴者間コミュニケーション装置であって、
映像が蓄積されている映像記憶手段３１と、
ユーザから取得した映像のシーン毎のコメントと該コメントが付与されているシーンＩＤとが蓄積されているユーザコメント記憶手段３３と、
映像記憶手段３１から読み出された映像中の複数の特徴に基づいて複数の映像区間を検出して、該複数の特徴毎に、シーンＩＤと該特徴と該映像区間の開始時刻及び終了時刻をシーンとして多重定義してシーン定義情報記憶手段３２に格納するシーン定義手段１２と、
視聴対象の映像の時間を取得し、該映像の時間がシーン定義情報記憶手段３２に格納されている開始時刻と終了時刻の間に含まれるシーンのシーンＩＤに対応するコメントをユーザコメント記憶手段３３から読み出して、映像記憶手段３１から読み出した映像とシーンＩＤに対応するコメントとを同時に再生し、ユーザの表示手段２０に提示する映像・コメント同期再生手段２１と、を有する。

また、本発明（請求項２）は、ユーザが映像視聴中に入力したコメントを取得するコメント取得手段と、
コメントが入力された時刻と最も近い開始時刻を持つシーンＩＤをシーン定義情報記憶手段から選択し、該シーンＩＤをコメントが入力されたシーンのシーンＩＤと判定するシーンＩＤ判定手段と、
シーンＩＤ判定手段で判定されたシーンＩＤと共に、コメントをユーザコメント記憶手段に格納するコメント登録手段と、を更に有する。

図２は、本発明の原理説明図である。

本発明（請求項３）は、映像中の区間と、該区間に対して視聴者から取得したコメントとを同期して提示する装置における視聴者間コミュニケーション方法であって、
映像が蓄積されている映像記憶手段から読み出された映像中の複数の特徴に基づいて複数の映像区間を検出して（ステップ１）、該複数の特徴毎に、シーンＩＤと該特徴の検出方法と該映像区間の開始時刻及び終了時刻とからなるシーン定義情報をシーン定義情報記憶手段に格納する（ステップ２）シーン定義ステップと、
視聴対象の映像の時刻を取得し（ステップ３）、該映像の時刻がシーン定義情報記憶手段に格納されている特徴毎の開始時刻と終了時刻の間に含まれるシーンのシーンＩＤに対応するコメントを、ユーザから取得した映像のシーン毎のコメントが蓄積されているユーザコメント記憶手段から読み出して（ステップ４）、映像記憶手段から読み出した映像とシーンＩＤに対応するコメントとを同時に再生し、ユーザの表示手段に提示する（ステップ５）映像・コメント同期再生ステップと、を行う。

また、本発明（請求項４）は、ユーザが映像視聴中に入力したコメントを取得するコメント取得ステップと、
コメントが入力された時刻と最も近い開始時刻を持つシーンＩＤをシーン定義情報記憶手段から選択し、該シーンＩＤをコメントが入力されたシーンのシーンＩＤと判定するシーンＩＤ判定ステップと、
シーンＩＤ判定ステップで判定されたシーンＩＤと共に、コメントをユーザコメント記憶手段に格納するコメント登録ステップと、を更に行う。

本発明（請求項５）は、映像中の区間と、該区間に対して視聴者から取得したコメントとを同期して提示する視聴者間コミュニケーションプログラムであって、
請求項３または４記載の視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。

上記のように、本発明によれば、区間定義の多重化により、正確な時刻でのコメント表示と、コミュニケーションの利便性を両立させることが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるコミュニケーション装置の構成を示す。

同図に示すコミュニケーション装置は、シーン定義部１１、シーン定義登録部１２、映像・コメント同期配信部２１、ユーザコメント受け取り部２２、映像記憶部３１、シーン定義情報記憶部３２、ユーザコメント記憶部３３から構成され、ユーザ入力端末１０、ユーザ表示端末２０が接続されている。

シーン定義部１１は、予め映像記憶部３１に蓄積されている映像を読み込み、映像カット点の検出、顔検出、音楽・音声区間の検出、話者切り替わりの検出、シーン定義ファイルの作成を行い、作成されたシーン定義ファイルをシーン定義登録部１２に転送する。

シーン定義登録部１２は、シーン定義部１１から取得したシーン定義ファイルをシーン定義情報記憶部３２に格納する。

ユーザコメント受け取り部２２は、ユーザの入力端末１０からユーザが入力したコメントを取得し、ユーザコメント記憶部３３に格納する。

映像・コメント同期配信部２１は、映像記憶部３１、シーン定義情報記憶部３２、ユーザコメント記憶部３３から情報を読み出して、映像中の事象に対して付与されたユーザコメントとを同期させてユーザの表示端末２０に対して配信する。

映像記憶部３１には、シーンＩＤ毎に映像が格納されている。

シーン定義情報記憶部３２には、シーン定義登録部１２からのシーン定義情報が格納される。

ユーザコメント記憶部３３は、ユーザコメント受け取り部２２からのユーザコメントが格納される。

また、映像記憶部３１、シーン定義情報記憶部３２、ユーザコメント記憶部３３は、それぞれ、データベース等の記憶媒体である。

次に、上記の構成における動作を説明する。

図４は、本発明の一実施の形態におけるシーン定義登録のフローチャートである。

ステップ１１０）登録時において、複数のシーン定義方法を設定する。

ステップ１２０）シーン定義されたシーン定義ファイルをシーン定義情報記憶部３２に登録する。

次に、上記のステップ１１０について詳細に説明する。

図５は、本発明の一実施の形態におけるシーン定義処理のフローチャートである。

ステップ１１１） 映像記憶部３１から映像を読み出して、カット点を検出する。カット点の検出方法としては、例えば、映像にインデックスを付けて管理する映像アーカイビングシステムであるSceneCabinet(シーンキャビネット)（登録商標）を用いることにより実現できる。

ステップ１１２） 次に、映像記憶部３１から読み出した映像中の顔を検出する。顔検出の方法は、既存の種々の方法を採用することが可能である。

ステップ１１３） 次に、映像から音楽や音声区間を検出する。このための方法として、例えば、谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸（NTTサイバーソリューション研）「Scene Cabinet 映像解析技術を統合した映像インデクシングシステム」、電子情報通信学会論文誌、D-2, Vol. J84-D-2, No.6 pp.1112-1121, 2001がある。この技術は、映像の効率的なブラウジングのためには映像にインデックスを付与する作業が必要になることから、当該論文では、５種類の映像解析技術（ショット切換検出、カメラワーク検出、テロップ検出、音楽検出、音声（人の声）検出）を統合した映像インデクシングシステム「Scene Cabinet」について述べている。映像解析技術に基づく自動インデクシングアプローチは、従来から提案されているが、自動付与できるインデックスは限られる上、その精度は１００％ではない。このような映像解析の不完全性を補うために、当該論文に示すシステムは、自動付与されたインデックスを効率的に修正したり、関連情報を人手で簡単に付与するためのユーザインタフェースを提供する。具体的には、タイムラインと代表画像一覧を組み合わせることで、効率的にインデックスの修正や付与ができるようにする。当該システムを用いると、手作業の場合に比べて約半分の作業時間でインデックス付与できることを評価実験により証明されている。

ステップ１１４） 次に、映像中の話者切り替わりの検出を行う。このための方法として、例えば、長田秀信、紺谷精一、森本正志（NTTサイバーソリューション研）「フィードバックを用いた映像メディアとシナリオ文書の自動対応付け手法」、電子情報通信学会技術報告 PRMU2004-53がある。

ステップ１１５） 上記のステップ１１１〜１１４により検出された図６（ａ）に示すようにカット点、顔、音楽、音声、話者をそれぞれ取得し、図６（ｂ）に示すような形態で複数のシーン定義結果としてメモリ上に格納し、シーン定義登録部１２に渡す。これにより、シーン定義登録部１２は、取得した図６（ｂ）に示すシーン定義結果を図７に示すようなシーン定義ファイルに変換し、シーン定義情報記憶部３２に格納する。図７に示すシーン定義ファイルは、ＩＤ、特徴検出方法（前述のカット点、顔検出等）、開始時刻（秒）、終了時刻（秒）からなる。ＩＤは通し番号であり、特徴は、どの特徴検出方法により得られた特徴であるかを示し、開始時刻／終了時刻は、それぞれその区間の始まりと終わりを示している。図６は、カット点、顔、音楽、音声、話者の５つの特徴が多重化されて定義されている例である。

但し、上記のステップ１１１〜１１４の検出方法はあくまでも一例にすぎず、どのような方法で検出した区間であっても、本発明に影響を与えるものではなく、複数の種類の映像区間を多重化できる方法であればよい。

次に、映像・コメント同期再生処理について説明する。

図８は、本発明の一実施の形態における映像・コメント同期再生処理のフローチャートである。

ステップ２１０）視聴時において、映像と映像のメディアタイムに対応したシーンのコメントを同期して再生する。

ステップ２２０）ユーザの端末から新規のコメントを受け付け、当該コメントをユーザコメント記憶部３３に格納する。

次に、上記の映像・コメント同期再生処理について詳細に説明する。

図９は、本発明の一実施の形態における映像・コメント同期再生処理のフローチャートである。

ステップ２１１） 映像・コメント同期配信部２１は、シーン定義情報記憶部３２から図７に示すフォーマットで格納されているシーン定義情報を読み込む。

ステップ２１２） さらに、映像・コメント同期配信部２１は、メディアタイムに従って、ユーザコメント記憶部３３からメディアタイムに対応する適切なシーンＩＤのユーザコメントを読み込む。シーン定義情報は、特定の時間において複数のシーンが該当している可能性があるので、開始時刻＜メディアタイム＜終了時刻となる全てのシーンに対して付与されているコメントをユーザコメント記憶部３３から読み込む。例えば、図７の例において、time(時刻)＝４の時には、ＩＤが“１”と“２”のシーンが該当しているため、ユーザコメント記憶部３３のシーン１とシーン２に付与されているコメントを読み込む。ここで、ユーザコメント記憶部３３に格納されているコメントの形式を図１０に示す。同図に示すようにユーザコメント記憶部３３には、コメントＩＤ、シーンＩＤ，ユーザ名、コメント内容、親の情報が格納されている。ここで、コメントＩＤは、コメントの番号であり通し番号である。シーンＩＤは、そのコメントが付与されているシーンのＩＤである。また、ユーザ名は、コメントを付与したユーザの名前である。コメント内容は、そのコメント本体である。親情報は、そのコメントが誰かのコメントに対しての返信であった場合には、そのコメントＩＤが入り、そうでない場合には、ＮＵＬＬが入る。つまり、上記の例では、ユーザコメント記憶部３３のシーンＩＤ“１”と“２”のコメント内容「ａａａ」「ｂｂｂ」「ｃｃｃ」「ｄｄｄ」「ｅｅｅ」が読み込まれることになる。

同時に、映像・コメント同期配信部２１は、映像記憶部３１からシーンＩＤに対応する映像を読み込む。

ステップ２１３） ステップ２１２で読み込まれたシーンＩＤに対応するユーザコメントと映像を同時に再生し、ユーザの表示端末に表示する。

ここで、ユーザが新たにコメントを書き込んだ場合の処理（ステップ２２０）について説明する。

図１１は、本発明の一実施の形態におけるコメント受付処理のフローチャートである。

ステップ２２１） ユーザコメント受け取り部２２がコメントが入力されたシーンＩＤを判断する。コメントが入力されたシーンＩＤの判断方法の一つの方法として、コメントを入力しようとしたときのメディアタイムと開始時刻が最も近いシーンを選択し、コメントが入力されたシーンとすることが考えられる。この場合、ユーザのコメント入力は、自動的に取得可能なユーザ名とコメントを入力しようとしたときのメディアタイムとコメント本体となる。但し、ユーザ名が入手できなかった場合には、予め実施者によって定められたデフォルトの名前を利用する。これを図１３を用いて後述する。

また、別の方法として、コメント入力時に、どのシーンについてコメントを表示するかを明示的にユーザから受け取る方法も考えられる。この利用イメージを図１２に示す。

ステップ２２２） ステップ２２１によって判断されたシーンＩＤと共に、コメントＩＤ、ユーザ名、親コメントＩＤ、コメント本体をユーザコメント記憶部３３に格納する。

ここで、上記のステップ２２１におけるコメント取得時のシーンＩＤの判断方法について図１３を用いて説明する。

ステップ１００１）ユーザがユーザ入力端末からコメントを入力した時刻を取得し、これをコメント時刻とする。

ステップ１００２）次に、ｉ＝０，Min=MaxTimeと初期化する。

ステップ１００３）シーンの開始時刻とコメントが入力された時刻との差diffを求める。

ステップ１００４）求められた差diffが、Ｍｉｎより小さければステップ１００５に移行し、そうでなければステップ１００６に移行する。

ステップ１００５）Minにdiffを代入する。

ステップ１００６）ｉ＜Maxであればステップ１００７に移行し、そうでなければ当該処理を終了する。

ステップ１００７） ｉをインクリメントし、ステップ１００３に戻る。
（ 上記の各処理によって、映像についてユーザが付与したコメントが正確なメディアタイムに表示される。この効果により、映像の他者のコメントによって区間の終了近くで発生した事象についての、コメントを区間の先頭で読んでしまうことなく、映像視聴を楽しむことができる。

なお、上記の図４、図５、図８、図９、図１１、図１３に示すコミュニケーション装置の動作をプログラムとして構築し、コミュニケーション装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像中のシーンとコメントを表示するシステムに適用可能である。

本発明の原理構成図である。 本発明の原理説明図である。 本発明の一実施の形態におけるコミュニケーション装置の構成図である。 本発明の一実施の形態におけるシーン定義処理のフローチャートである。 本発明の一実施の形態におけるシーン定義処理の詳細なフローチャートである。 本発明の一実施の形態における多重シーン定義の状態を説明するための図である。 本発明の一実施の形態におけるシーン定義ファイルの例である。 本発明の一実施の形態における映像・コメント同期再生処理のフローチャートである。 本発明の一実施の形態における映像コメント同期再生処理のフローチャートである。 本発明の一実施の形態におけるユーザコメント記憶部に格納されるコメントの例である。 本発明の一実施の形態におけるコメント受付処理のフローチャートである。 本発明の一実施の形態におけるユーザからシーンに対するコメントを取得する画面例である。 本発明の一実施の形態におけるコメント取得時のシーンＩＤの判断方法の例である。

符号の説明

１０ ユーザ入力端末
１１ シーン定義部
１２ シーン定義手段、シーン定義登録部
２０ 表示手段、ユーザ表示端末
２１ 映像・コメント同期再生手段、映像・コメント同期配信部
２２ ユーザコメント受け取り部
３１ 映像記憶手段、映像記憶部
３２ シーン定義情報記憶手段、シーン定義情報記憶部
３３ ユーザコメント記憶手段、ユーザコメント記憶部

Claims (5)

1. 映像中の区間と、該区間に対して視聴者から取得したコメントとを同期して提示する視聴者間コミュニケーション装置であって、
   映像が蓄積されている映像記憶手段と、
   ユーザから取得した映像のシーン毎のコメントと該コメントが付与されているシーンＩＤとが蓄積されているユーザコメント記憶手段と、
   前記映像記憶手段から読み出された映像中の複数の特徴に基づいて複数の映像区間を検出して、該複数の特徴毎に、シーンＩＤと該特徴と該映像区間の開始時刻及び終了時刻とをシーン定義情報記憶手段に格納するシーン定義手段と、
   視聴対象の映像の時刻を取得し、該映像の時刻が前記シーン定義情報記憶手段に格納されている開始時刻と終了時刻の間に含まれるシーンのシーンＩＤに対応するコメントを前記ユーザコメント記憶手段から読み出して、前記映像記憶手段から読み出した前記映像と前記シーンＩＤに対応するコメントとを同時に再生し、ユーザの表示手段に提示する映像・コメント同期再生手段と、
   を有することを特徴とする視聴者間コミュニケーション装置。
2. 前記ユーザが映像視聴中に入力したコメントを取得するコメント取得手段と、
   前記コメントが入力された時刻と最も近い開始時刻を持つシーンＩＤを前記シーン定義情報記憶手段から選択し、該シーンＩＤを前記コメントが入力されたシーンのシーンＩＤと判定するシーンＩＤ判定手段と、
   前記シーンＩＤ判定手段で判定されたシーンＩＤと共に、前記コメントを前記ユーザコメント記憶手段に格納するコメント登録手段と、
   を更に有する請求項１記載の視聴者間コミュニケーション装置。
3. 映像中の区間と、該区間に対して視聴者から取得したコメントとを同期して提示する装置における視聴者間コミュニケーション方法であって、
   映像が蓄積されている映像記憶手段から読み出された映像中の複数の特徴に基づいて複数の映像区間を検出して、該複数の特徴毎に、シーンＩＤと該特徴の検出方法と該映像区間の開始時刻及び終了時刻とからなるシーン定義情報をシーン定義情報記憶手段に格納するシーン定義ステップと、
   視聴対象の映像の時刻を取得し、該映像の時刻が前記シーン定義情報記憶手段に格納されている特徴毎の開始時刻と終了時刻の間に含まれるシーンのシーンＩＤに対応するコメントを、ユーザから取得した映像のシーン毎のコメントが蓄積されているユーザコメント記憶手段から読み出して、前記映像記憶手段から読み出した前記映像と前記シーンＩＤに対応するコメントとを同時に再生し、ユーザの表示手段に提示する映像・コメント同期再生ステップと、
   を行うことを特徴とする視聴者間コミュニケーション方法。
4. 前記ユーザが映像視聴中に入力したコメントを取得するコメント取得ステップと、
   前記コメントが入力された時刻と最も近い開始時刻を持つシーンＩＤを前記シーン定義情報記憶手段から選択し、該シーンＩＤを前記コメントが入力されたシーンのシーンＩＤと判定するシーンＩＤ判定ステップと、
   前記シーンＩＤ判定ステップで判定されたシーンＩＤと共に、前記コメントを前記ユーザコメント記憶手段に格納するコメント登録ステップと、
   を更に行う請求項３記載の視聴者間コミュニケーション方法。
5. 映像中の区間と、該区間に対して視聴者から取得したコメントとを同期して提示する視聴者間コミュニケーションプログラムであって、
   前記請求項３または４記載の視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする視聴者間コミュニケーションプログラム。

Images