JP3982295B2 - 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 - Google Patents
映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 Download PDFInfo
- Publication number
- JP3982295B2 JP3982295B2 JP2002079104A JP2002079104A JP3982295B2 JP 3982295 B2 JP3982295 B2 JP 3982295B2 JP 2002079104 A JP2002079104 A JP 2002079104A JP 2002079104 A JP2002079104 A JP 2002079104A JP 3982295 B2 JP3982295 B2 JP 3982295B2
- Authority
- JP
- Japan
- Prior art keywords
- comment
- information
- video
- display
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ上での映像を介したコミュニケーションを行う際に、映像に対して入力されたコメント同士の関連性を効果的に表示したり、コメントの対象を明確に指示したりすることで、より容易にコミュニケーションを行える映像コメント入力・表示方法及びシステムに関する。
【０００２】
【従来の技術】
従来、ネットワーク上で映像を介したコミュニケーションを行いたい場合、ユーザは映像を視聴する手段とコミュニケーションをする手段を組み合わせてコミュニケーションを行っている。
【０００３】
例えば、ＢＲＯＢＡ(http://www.broba.cc/)などに代表される一般的な映像配信サイトでは、映像再生ソフトを用いて映像を視聴し、映像に関するコミュニケーションは掲示板機能やチャット機能を用いて行われる。掲示板機能は、特定のサーバ上で運営される情報交換システムであり、いつでも情報が書き込めることが特徴である。また、チャット機能は、ネットワークの通信機能を用いたソフトウェアであり、複数の人がリアルタイムに情報交換できることが特徴である。
【０００４】
また、専用のソフトウェアを用いて映像を介したコミュニケーションを行う手段も存在する。ＶｉｄｅｏＣｌｉｃｋ(http://www.vsoft.com/products/)は、映像の任意の場所にブックマークを張り、その場所にコメントを書き込むことができる。リンク情報とコメント情報はソフトウェアの通信機能を用いることで複数の人に公開することができるため、映像を視聴しながら複数の人とコメント情報を介したコミュニケーションを図ることができる(図５０を参照のこと)。
【０００５】
【発明が解決しようとする課題】
上記の映像配信サイトのように、映像視聴手段と映像コミュニケーション手段が分かれている場合、映像に対するコメントが、映像のどの部分について話しているのかわからないという問題が生じる。例えば、「あの景色綺麗だよね」というコメントがあった場合、映像内のどの景色を指しているのかわからない。また、どの場所であるのかを指し示すには、「物語の中盤の脱出シーンの景色が綺麗だよね」と言うように表現しなければならず、その場合もはっきりと場面を指し示すことができない。さらに、ある場面を閲覧しているときに、その場面に関連したコメントを探すことが難しく、従って効率的にコミュニケーションを図ることが難しい。
【０００６】
また、掲示板や上記の専用ソフトウェアでは、コメントを入力し表示する部分が１つにまとまっているため、雑多なコメントが一様にユーザへ提示されてしまい、自分の興味あるコメントを探すことが難しい。また、コメントに対してさらに書き込まれたコメントを探すことが難しく、コミュニケーションが円滑に行えないと言う問題が生じる。図５１には、このような従来の専用ソフトウェアを用いた映像コミュニケーション方法における問題点が示されている。
【０００７】
従って、本発明では、上記のような従来の映像に関するコミュニケーションを図る手段において、ユーザがコメントしたい場所を指示したり、あるいは、気になる場所に関連したコメントを容易に閲覧したりでき、また、コメント同士をその内容毎に効果的に表示することによってコメント同士の関連性が容易に把握できる、映像コメント入力・表示方法、映像コメント入力・表示システム、クライアント装置、並びに、映像コメント入力・表示プログラム及びプログラムの記憶媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、ユーザが映像に関するコミュニケーションを行う上で、コメントしたい場所を指定してコメント入力でき、また、コメントを表示する際には、入力する際に指定された場所を指し示すように、指定された場所毎にコメントを表示する、映像コメント入力・表示方法を提案する。
【０００９】
図１は、本発明の映像コメント入力・表示方法の原理説明図である。
【００１０】
請求項１に係る発明は、ネットワーク上で映像に関するコミュニケーションを図るための映像コメント入力・表示方法であって、
映像再生制御手段が、入力された映像コンテンツについて、ユーザからの要求に応じて、映像の再生や一時停止などの再生制御を行う再生制御手順（ステップ１）と、
コメント入力場所指定手段がユーザからの、再生制御された映像の中でコメントを入力したい場所の時間情報及び空間情報の指定を受け付ける時間・空間情報受付手順（ステップ２）と、
コメント入力手段が、ユーザから時間情報及び空間情報に関連したコメントの入力を受け付ける手順（ステップ３）と、
コメント蓄積手段が、時間情報、空間情報、及びコメントをコメント情報としてコメント情報記憶手段に蓄積する（ステップ４）コメント蓄積手順と、
コメント表示制御手段が、再生中の映像の時間情報を取得し（ステップ５）、前記コメント情報記憶手段から該再生中の映像の時間情報に対応しているコメント情報を取得し（ステップ６）、指定された、表示したいコメント、コメントを表示したい場所、及びコメントの量に基づいて、該コメント情報のコメントを画面に表示できるように表示されるコメントを制御する（ステップ７）コメント表示制御手順と、
コメント表示手段が、コメントが入力された位置情報に合わせて用意されたコメント表示領域を、コメントを入力したい場所として指定された場所を指し示すように表示するコメント表示領域制御手順（ステップ８）と、を行う。
【００１１】
これにより、コメントしたい場所、すなわち、時間情報及び空間情報（時空間軸上の点）を指し示してコメントすることができるため、自分が映像内のどの部分に対してコメントしたいのかを明らかにできる。また、コメントは書き込んだ場所を指し示すように表示されるため、コメントを閲覧する際に、どのような場所にどの程度のコメントが書き込まれているのか一目で把握することができる。これにより、より円滑にコミュニケーションを図ることができる。
【００１２】
本発明の第１の局面として、すでに入力されているコメントに対してさらにコメントをしたい際に、コメントを直接指定してコメントを追記する方法を提案する。
【００１３】
そのため、請求項２に係る発明では、時間・空間情報受付手順において、コメントに対して書き込みをする際に、コメント表示機能制御インタフェースが、ユーザにより直接指定された、コメント表示中のコメント表示領域に追加書き込みを行う。
【００１４】
この方法により、コメントに対して書き込みを行いたい場合、映像上の場所を指定するだけでなく、そこに対して書き込まれたコメントを直接指定して書き込むことが可能となる。
【００１５】
本発明の第２の局面として、コメントと位置情報を蓄積する際に、所定の許容幅が与えられた位置情報を蓄積する方法を提案する。
【００１６】
そのため、請求項３に係る発明では、コメント情報蓄積手順において、コメント情報蓄積手段が、コメント指定された位置情報の時間情報及び／又は空間情報に対して所定の許容幅を与え、これにより得られた場所をコメントと共にコメント情報記憶手段に蓄積する。
【００１７】
この方法により、場所を指定する際に、正確にある一点を指定する必要がなくなる。また、表示したいコメントの場所を指定する際に、正確にある一点を指定する必要がなくなる。また、コメントを表示する際に、ある一点でコメントを表示するのではなく、時空間軸上にある程度の幅をもたせてコメントを表示することができる。
【００１８】
本発明の第３の局面として、コメントを表示する際に、すべてのコメントを同時に表示できない場合、表示するコメントの量を動的に切り替えて表示する方法を提案する。
【００１９】
そのため、請求項４に係る発明では、コメント表示制御手順において、コメント表示制御手段が、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、一度に表示するコメントの量及びその表示方法を動的に変更する。
【００２０】
この方法により、すべてのコメントをコメント表示領域に表示できない場合、一度に表示する量を制御することで、コメント読みやすく表示することができる。
【００２１】
本発明の第４の局面として、コメントを表示する際に、コメントを表示するための領域を有効に活用してコメントを見やすく表示する方法を提案する。
【００２２】
そのため、請求項５に係る発明では、コメント表示領域制御手順において、コメント表示手段が、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、前記コメント表示領域の配置と表示面積を動的に変更して表示する。
【００２３】
この方法により、表示するコメント量が少ない時にはすべてのコメントを表示し、コメント量が多いときにはコメントが表示可能な領域全体を有効に活かせるようにコメントをレイアウトし直して表示することができるため、コメント量に応じて見やすくコメントを提示できる。
【００２４】
本発明の第５の局面として、同じ場所に書き込まれたコメントをまとめて表示することで、コメント表示領域を有効に活用する方法を提案する。
【００２５】
そのため、請求項６に係る発明では、コメント表示領域制御手順において、
コメント表示手段が、同じ位置を指し示すコメントを纏めて１つのコメント表示領域に表示する。
【００２６】
この方法により、同じ場所にコメントしているコメント同士をひとつの領域内に表示することができるため、相互の関係が容易にわかり、また、表示領域を有効に活用してコメントを表示できる。
【００２７】
本発明の第６の局面として、すべてのコメントを同時に表示できない場合に、近い場所を指し示すコメント同士をまとめて一つのコメントとすることで、コメント表示領域を有効に活用する方法を提案する。
【００２８】
そのため、請求項７に係る発明では、コメント表示領域制御手順において、コメント表示手段が、近い場所を指し示すコメントを纏めて一つの表示領域に表示する。
【００２９】
この方法により、コメントの総量を変化させることなく、コメント表示領域数を制限することができるため、コメント表示領域が画面上に大量に表示されることがなくなり、映像視聴を阻害することなくコメントの閲覧をすることができる。
【００３０】
図２は、本発明の映像コメント入力・表示方法を実施する映像コメント入力・表示装置の略構成図である。同図に示された映像コメント入力・表示装置は、
ユーザが映像の再生や一時停止などの再生制御を行う映像再生制御手段１１と、
再生制御された映像中で、コメントを入力したい場所の時間情報及び空間情報を指定するコメント入力場所指定手段１２と、
コメントを入力するコメント入力手段１３と、
コメント及び位置情報を保持するコメント情報ＤＢ２４と、
上記コメント入力手段１３によりユーザが入力したコメントと、上記コメントを入力したい場所の時間情報及び空間情報を指定するコメント入力場所指定手段１２により指定された位置情報と、をコメント情報として上記コメント情報ＤＢ２４へ蓄積するコメント情報蓄積手段２３と、
再生制御されている映像の時間を取得する映像区間取得手段１５と、
上記コメント情報ＤＢ２４に蓄積されたコメント情報の中から、上記映像区間取得手段１５によって取得された時間に関連したコメント情報を取得するコメント取得手段２５と、
表示したいコメント、コメントの位置情報、及びコメントの量を指定してコメント表示制御をするコメント表示制御手段１６と、
コメントの位置情報に合わせてコメント表示領域を用意し、コメントを表示したい場所を指し示すように画面上にコメント表示領域を表示するコメント表示手段１７と、
を有する。
【００３１】
コメント入力場所指定手段１２は、ユーザがコメントを入力したいと考える映像の時間情報及び画面上での空間情報を指定する。
【００３２】
コメント入力場所指定手段１２は、コメントに対して書き込みする際に、コメントが表示されている表示領域を直接指定して追加書き込みをすることが可能である。
【００３３】
コメント情報蓄積手段２３は、コメント入力手段１３においてユーザから入力されたコメントと、コメントを入力する際にコメント入力場所指定手段１２により指定された位置情報を、コメント情報ＤＢ２４に蓄積する。
【００３４】
コメント情報蓄積手段２３は、指定された位置情報の時間情報及び／又は空間情報に所定の幅を付与し、コメント情報ＤＢ２４にコメント情報を蓄積することが可能である。
【００３５】
また、コメント表示制御手段１６は、コメント取得手段２５によって取得されたコメントの中からユーザが表示したいと思うコメントを指定したり、コメントを見たいと思う場所を指定したり、あるいは表示するコメントの量を指定したりできる。
【００３６】
コメント表示制御手段１６は、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、一度に表示するコメントの量を動的に変更することが可能である。
【００３７】
コメント表示手段１７は、コメント取得手段２５により取得したコメント情報と、コメント表示制御手段１６による制御を受け、コメントを入力した位置情報に合わせてコメント表示領域を用意し、コメントを表示したい場所を指し示すようにコメント表示領域を画面上に表示する。
【００３８】
コメント表示手段１７は、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、動的にコメント表示領域の配置と表示面積を変更して表示することや、同じ場所を指し示すコメントをまとめて一つのコメント表示領域に表示することや、近い場所を指し示すコメントをまとめて一つのコメント表示領域に表示することができる。
【００３９】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００４０】
本発明の実施例の説明中、映像コンテンツは、映像情報と音情報を含むコンテンツに限定されることはなく、少なくとも画像情報を含むあらゆるコンテンツを映像コンテンツと呼ぶ。また、コメントは、文字情報に限定されることはなく、ウェブ上のコンテンツを指し示すＵＲＬや感情を表現する画像など、コミュニケーションを図る上で利用される情報を含む。
【００４１】
＜実施形態例１＞
本発明の第１の実施例による映像コメント入力・表示システムは、サーバ上に蓄積された映像を視聴しながら、他ユーザが書き込みをしたコメントを表示し、あるいは新規に感想を書き込むシステムである。
【００４２】
図３は本発明の第１実施例を示すシステム構成図である。
【００４３】
映像コメント入力・表示システムは、複数台のクライアント装置１と、サーバ装置２とを含み、クライアント装置１とサーバ装置２は、例えば、インターネットのようなネットワーク(図示はされていない)を介して接続される。クライアント装置は複数台存在し得るが、説明の簡略化のため、以下では１台のクライアント装置１について説明する。
【００４４】
概略的に説明すると、図５０に示すような従来の映像コメント入力・表示システム上に本発明の第１実施例を適用することで、図５０におけるコメント入力・表示フィールドに表示されたコメントが、映像中のどの箇所を指しているのかを明らかにし、ある場所に対して書き込まれたコメントを容易に見つけ出せるようにする。また、映像中の任意の場所を指し示してコメントを入力できるようにする。
【００４５】
クライアント装置１は、サーバ装置２上の映像ＤＢ２１から映像コンテンツを受け取り、再生制御を行う映像再生制御部１１を有する。映像再生制御部１１は、映像を視聴したり、時間軸上のある場所を指定したりするためのインタフェースであり、通常再生、倍速、スローモーション、コマ送り、巻き戻しなどの再生制御が可能である。
【００４６】
クライアント装置１は、再生制御されている映像の中で、コメントを書き込みたい場所として映像の時間軸上のある位置、もしくは区間を指定することができ、さらに、表示された画面空間上のある位置あるいは領域を指定することができる、コメント入力場所指定部１２を有する。
【００４７】
時間軸上のある位置を指定するには、数値を直接入力するだけではなく、例えば、図５２に示すように、帯状に表現された時間軸上でバーを動かすことで、直感的に時間軸上のある位置を指定する、スライダーと呼ばれる既存のインタフェースを利用することが可能である。また、同図に示されるような開始ボタンおよび終了ボタンを併用することで、区間の開始点、終了点を入力することができ、時間軸上の区間を指定することができる。
【００４８】
空間上のある位置を指定するには、画面上の座標を数値入力する以外に、マウスカーソルを用いて直接画面上のある位置を指定する方法がある。また、領域を指定する場合、マウスカーソルを用いたドラッグ操作により、容易に領域を指定できる。
【００４９】
本実施例では、映像再生制御部１１を用いることで時間軸上のある位置を指定することができる。映像再生制御部１１とコメント入力場所指定部１２を一体的なインタフェースとして実現し、コメントを入力する時間を指定し、また、マウスカーソルを用いて画面上の位置を指定することができる。
【００５０】
クライアント装置１は、コメント入力場所指定部１２により指定された映像上のある位置に対してコメントを入力する手段を有し、また、コメントおよび入力された時空間上の位置情報をコメント情報として、サーバ装置２上のコメント情報蓄積部２３に送るコメント入力部１３を有する。本実施例のコメント情報は、具体的には、コメント、指定された時間、及び、画面上の座標を含む。図４は、かかる本発明の第１実施例におけるコメント情報の説明図である。
【００５１】
映像表示機能制御インタフェース１４は、コメントを表示するか、コメントを表示しないかを選択するためのインタフェースである。本実施例ではユーザがボタンを押すことで、ボタンが押されたときの映像時間を取得するように、映像時間取得部１５を制御する。
【００５２】
クライアント装置１は、現在表示されている映像の時間を取得し、サーバ装置２のコメント取得部２５に送信する映像時間取得部１５を有する。
【００５３】
クライアント装置１は、サーバ装置２のコメント取得部２５により取得された複数のコメント情報を受け取り、画面上に表示されるコメント数や、表示するコメントを制御する、コメント表示制御部１６を有する。
【００５４】
図５には、本発明の第１実施例におけるクライアント装置上の画面表示例が示されている。本実施例では、図５に示すように、取得されたコメントを列挙し、表示部分を拡大縮小し、スライダーを用いて表示するコメントを選択することで、画面上に表示されるコメント数と表示するコメントを制御する。本実施例以外の他の一実施例による制御方法としては、最大表示コメント数を数値として指定する方法、最新のｎ個のコメントのみを選択する方法などが考えられる。また、本発明の第１実施例では、映像画面上のある位置を指定することで、その位置に関連するコメントを選択し、画面に表示するように制御することもできる。
【００５５】
クライアント装置１は、コメント表示制御部１６によって制御されたコメントを、そのコメントに対応した位置情報を用いて、入力時に指定された空間上のある位置を指し示すようにして表示する、コメント表示部１７を有する。
【００５６】
空間上のある場所を指し示すようにコメントを表示する方法としては、例えば、図５３に示されるコメントと場所を対応付けする一方法のように、コメント毎に対応するオブジェクトを指定して、画面上にそのオブジェクトを配置することで、コメントと場所を対応付けることができる。本発明の第１実施例では矢印を用いて、コメントに対応する画面上の場所を指し示す。
【００５７】
図６は、このような本発明の第１実施例によってクライアント装置上の画面に生成される表示例の説明図である。
【００５８】
サーバ装置２は、映像コンテンツを保持する映像ＤＢ２１、映像区間情報を保持する映像区間情報ＤＢ２２、及びコメント情報を保持するコメント情報ＤＢ２４を有する。
【００５９】
映像区間情報ＤＢ２２が保持する映像区間とは、例えば、同じ景色を写し続けている場面区間やある人物が現れている区間、文字が表示されているテロップ表示区間、音楽が流れている区間など、時間軸上の物理的、あるいは意味的な区間を現す。意味的な区間については、人手で区間を指定する方法が主に取られている。また、物理的な区間については、映像解析技術を用いることで場面の切り替わり点や文字表示区間を得ることができる。映像解析技術に関しては、特許第２８３９１３２号公報、特開平９−２３８２９８号公報、及び、特開平１１−１７８００７号公報などに記載されている。本実施例では、説明を簡略化するために、場面の切り替わり点を用いた場面区間を映像区間として用いる。図７は、本発明の第１実施例における場面の切り替わり点を用いた映像区間の説明図である。
【００６０】
また、映像区間は、図８のように映像区間情報ＤＢ２２に映像区間情報として蓄積される。
【００６１】
サーバ装置２は、クライアント装置１内のコメント入力部１３より送信されたコメント情報をコメント情報ＤＢ２４に蓄積する、コメント情報蓄積部２３を有する。
【００６２】
コメント情報蓄積部２３は、コメント情報をコメント情報ＤＢ２４に蓄積する際に、コメントが入力された時間および指定された画面上での位置に対して所定の幅を持たせることができる。
【００６３】
時間に対して所定の幅を持たせる方法としては、例えば、指定された時間に対して前後ｍ秒(ｍはシステムによって決定される)の幅を与える方法や、指定された空間情報がある物体を示していた場合に、その物体が画面上に写っている期間を時間幅とする方法などがある。本発明の第１実施例では、映像区間情報ＤＢ２２に蓄積された映像区間情報を用いて、指定された時間を含む映像区間をコメントの入力された時間として蓄積する。
【００６４】
空間に対して所定の幅を持たせる方法としては、例えば、指定された映像上の点、あるいは領域に対して上下左右にｎピクセル(ピクセルは画面の画素単位。ｎはシステムにより決定される)の幅を持たせる方法や、指定された空間情報がある物体を示していた場合に、その物体を認識して物体の形状を指定領域とする方法などがある。本発明の第１実施例では、画面を横方向i個と縦方向j個に分割して、指定された空間情報を含むk列l行目の領域を指定された領域として蓄積する。図９は、本発明の第１実施例における指定された座標を画面上の領域に拡張する方法の説明図である。
【００６５】
このように、コメント情報は、時間情報および空間情報に対して所定の幅を持たせてコメント情報ＤＢ２４に蓄積される。図１０は、本発明の第１実施例におけるコメント情報ＤＢ２４に蓄積されたコメント情報の説明図である。
【００６６】
サーバ装置２は、映像時間取得部１５から入力された時間情報を用いて、時間情報に関連したコメント情報をコメント情報ＤＢ２４から取り出し、コメント表示制御部１６に送信する、コメント取得部２５を有する。時間情報に関連したコメント情報が複数個存在する場合には、複数のコメント情報が送信される。本発明の第１実施例では、図１０に示すコメント情報ＤＢ内の各エントリの時間情報が、入力された時間情報tを含む区間ts≦t＜teである場合に、その時間区間に対応したコメント情報を取得し、送信する。
【００６７】
次に、本発明の第１実施例による映像コメント入力・表示システムの全体的な動作について簡単に説明する。図１１は、本発明の第１実施例における映像コメント入力・表示システムの全体フローチャートである。
【００６８】
ステップ１１：要求に応じて映像の再生や巻き戻し、一時停止などの映像再生制御を行う。
【００６９】
ステップ１２：クライアント装置１上のコメント表示機能制御インタフェース１４において、ユーザがコメントを表示するよう指示したかどうかを判定する。具体的には、たとえば、図６に示されているようなコメント表示ボタンを押下したかどうかを判定する。
【００７０】
ステップ１３：ユーザがクライアント装置１上のコメント入力場所指定部１２を用いて、コメント入力場所を指定したかどうかを判定する。具体的には、たとえば、図６において、マウスカーソルを用いて映像表示領域上のある一点を指定した場合に、空間情報として画面空間上の座標を指定したと判定する。また、マウスがクリックされた時に再生制御中の映像の時間を取得し、その時間を映像時間軸上の時間情報として取得する。
【００７１】
ステップ１４：ユーザがコメントを入力したかどうかを判定する。具体的には、ステップ１４を実行する際に、図１２に示されるようなコメント入力部１３を画面上に表示する。ユーザがコメントを入力してＯＫボタンを押下した場合に、コメント入力されたと判定する。コメント入力された場合、コメント入力部１３はステップ３により取得された画面空間上の座標、すなわち、空間情報と、映像時間軸上の時間情報と、入力されたコメントと、をコメント情報蓄積部２３に送信する。
【００７２】
ステップ１５：ステップ４により取得された空間情報、時間情報、及びコメントを、コメント情報ＤＢ２４に蓄積し、ステップ１１に戻る。蓄積する際に行う空間情報情報及び時間情報情報の拡張処理に関しては後述する。
【００７３】
ステップ１６：映像再生中にコメント表示ボタンが押下されたので、その際再生制御されている映像の時間を取得する処理を行う。
【００７４】
ステップ１７：ステップ６で取得された映像時間を用いて、コメント情報ＤＢ２４から、取得された映像時間に対応する時間情報と関連するコメント情報を取得する。
【００７５】
ステップ１８：コメント表示部分の領域拡大縮小や、表示するコメントの選択などをユーザが行うかどうかを判定する。
【００７６】
ステップ１９：ステップ１８においてコメント表示部分の変更を行った場合、変更に伴うコメント表示の制御処理を、コメント表示制御部１６において行う。
【００７７】
ステップ２０：コメント表示制御部１６にしたがって選択されたコメントに対してコメント表示領域を用意し、場所を指し示すように画面上に表示してステップ１１に戻る。
【００７８】
次に、上記の全体的な動作フローのステップ１５のコメント情報の蓄積処理について詳述する。
【００７９】
図１０は、本発明の第１実施例における、コメント情報ＤＢ２４上に蓄積された、拡張されたコメント情報の説明図である。ステップ１５におけるコメント情報の蓄積処理では、ステップ１４で取得されたコメント情報を、図１０に示すように、拡張されたコメント情報としてコメント情報ＤＢ２４に格納する。より具体的には、時間及び空間座標により構成された位置情報は、時間的な映像区間及び空間的な領域により構成された拡張された位置情報として蓄積される。
【００８０】
図１３は、本発明の第１実施例において、コメント情報蓄積部２３が実行するコメント情報の蓄積方法を示す、詳細フローチャートである。
【００８１】
ステップ５１：表示している映像の縦横の大きさ(w,h)を取得する。
【００８２】
ステップ５２：映像表示領域の縦横の分割数(i,j)を取得する。一実施例では、(i,j)の値は、たとえば、システムで固定値として決めてもよい。
【００８３】
ステップ５３：コメント入力時に指定された座標値(x,y)の、分割領域上の位置(k,l)を取得する。図９に示すように、ステップ５１で取得した映像の大きさ(w,h)とステップ５２で取得した分割数(i,j)、及び、コメント入力時の座標値から、分割領域上の位置(k,l)が求められる。具体的には、0≦m＜iとなるmに関して、
(w × m ÷ i) ≦ x ＜ (w × (m ＋ 1) ÷ i)
となるmがkとなる。同様に、0≦n<jとなるnに関して、
(h × n ÷ j) ≦ y ＜ (h × (n ＋ 1) ÷ j)
となるnがlとなる。
【００８４】
ステップ５４：映像区間情報ＤＢ２２より、コメント入力時間tを含む映像区間を取得する。本実施例の各映像区間は、図８に示すようにお互いに重なり合わない区間を映像区間情報として用いているため、映像区間情報ＤＢ２２内のn個のエントリを順に走査して、
Ts_i≦t＜Te_i(0≦i≦n)
となるi番目のエントリの開始時間Ts_i及び終了時間Te_iを、拡張された時間情報情報として利用する。
【００８５】
本発明の第１実施例では、映像区間情報は、図８に示された形式には限定されず、たとえば、図１４に示されるように映像区間情報ＤＢ２２内の映像区間情報を互いに重なり合うような区間として定義してもよい。その場合、図１４に示すように、時間tを含むすべてのm個の映像区間の和をとり、その最小開始時間Ts_sumおよび最大終了時間Te_sumを映像区間の開始時間および終了時間とすることで映像区間を特定することができる。
【００８６】
最後に、ステップ５３で取得された分割領域上の領域座標およびステップ５４で取得された映像区間を、対応したコメントと共に、拡張されたコメント情報として、コメント情報ＤＢ２４へ蓄積する。図１５は、このように本発明の第１実施例によってコメント情報ＤＢに蓄積された、拡張されたコメント情報の詳細説明図である。
【００８７】
次に、図１１の全体的な動作フローのステップ１７のコメント取得処理について詳述する。
【００８８】
ステップ１５およびステップ１６において、ユーザがコメント表示ボタンを押下した際に、再生制御されている映像の時間tが取得される。ステップ7では、この時間tに関連する複数のコメント情報をコメント情報ＤＢ２４より取得する。
【００８９】
図１６は、本発明の第１実施例において、サーバ装置２のコメント取得部２５が実行するコメント取得処理の詳細フローチャートである。
【００９０】
ステップ７１：コメント情報ＤＢ２４内のn個のコメント情報内から、コメント情報ボタンが押下された際の映像時間tに関連するコメント情報を取得するため、一時的な配列show[n]を作成する。
【００９１】
ステップ７２：コメント情報走査用のインデクスiを初期化する。
【００９２】
ステップ７３：i番目のコメント情報を図１５に示すようなコメント情報ＤＢ２４から取得し、その開始時間Ts_i及び終了時間Te_iを取得する。
【００９３】
ステップ７４：開始時間Ts_iから終了時間Te_iまでの範囲が時間tを含むかどうかを判定する。
【００９４】
ステップ７５：時間tを含まない場合、show[i]をfalseにセットする。
【００９５】
ステップ７６：時間tを含む場合、show[i]をtrueにセットする。
【００９６】
ステップ７７：n個のコメント情報を走査したかどうかを判定する。
【００９７】
ステップ７８：n個のコメント情報を走査していない場合、次のコメント情報を調べるように、インデクスiをインクリメントする。
【００９８】
ステップ７９：n個のコメント情報を走査したので、show[i]がtrueとなったiに対応したすべてのコメント情報（コメントi）を取得して処理を終了する。図１７は、このようにして本発明の第１実施例におけるコメント取得部２５によって取得されたコメント情報の説明図である。最終的に取得されるm個のコメント情報は、同図に示されるように、映像区間内に時間tを含む。
【００９９】
次に、図１１の全体的な動作フローのステップ１９のコメント表示制御処理について詳述する。
【０１００】
コメント表示制御部１６は、ステップ１８において、コメント表示領域の変更や表示するコメントの選択を行った場合、変更に伴うコメント表示の制御を行い、ステップ１９で表示するコメントの選択を行う。
【０１０１】
図１８は、本発明の第１実施例において、サーバ装置２のコメント表示制御部１６が実行するコメント表示制御処理の詳細フローチャートである。
【０１０２】
ステップ９１：ステップ１７のコメント取得部により取得されたコメント情報すべてを選択状態にする。
【０１０３】
ステップ９２：ユーザがマウスカーソルによるクリック等で、映像表示領域内のある座標を指定したかどうかを判定する。
【０１０４】
ステップ９３：座標を指定された場合、表示コメント選択処理を行い、表示するコメントを選択する。
【０１０５】
ステップ９４：ユーザの操作などによってコメント表示領域の拡大縮小が行われたかを判定する。
【０１０６】
ステップ９５：コメント表示領域の拡大縮小が行われた場合、表示領域の拡大縮小処理を行い、拡大縮小処理された表示領域に応じて表示するコメントを選択する。
【０１０７】
ステップ９６：ユーザの操作などによってコメント表示領域内のコメントをスクロールしたかどうかを判定する。
【０１０８】
ステップ９７：コメントをスクロールした場合、表示領域のスクロール処理を行い、表示するコメントを選択する。
【０１０９】
図１９は、本発明の第１実施例においてクライアント装置１のコメント表示制御部１６が実行する、ステップ９３のコメント選択処理の詳細フローチャートである。
【０１１０】
また、図２０は、ステップ９３の表示コメント選択処理の説明図である。同図ではマウスカーソルを用いて映像表示領域内の座標(x,y)を選択した場合を例として説明する。
【０１１１】
ステップ９３０１：表示している映像の縦横の大きさ(w,h)を取得する。
【０１１２】
ステップ９３０２：映像表示領域の縦横の分割数(i,j)を取得する。本実施例では(i,j)の値は、システムで所定の値に設定することができる。
【０１１３】
ステップ９３０３：指定された座標値(x,y)の、分割領域上の位置(k,l)を取得する。ステップ９３０１で取得した映像の大きさ(w,h)、ステップ９３０２で取得した分割数(i,j)、及び座標値(x,y)から(k,l)が求められる。具体的には、0≦m＜iとなるmに関して、
(w × m ÷ i) ≦ x ＜ (w × (m ＋ 1) ÷ i)
となるmがkとなる。同様に、0≦n＜jとなるnに関して、
(h × n ÷ j) ≦ y ＜ (h × (n ＋ 1) ÷ j)
となるnがlとなる。これにより、図２０の(１)に示されるようなk列l行目の領域が取得できる。
【０１１４】
ステップ９３０４：コメント取得部２５で取得したm個のコメント情報について、指定された座標(x,y)と関連したコメントを走査する。関連性を判定するための一時配列select[m]を作成する。
【０１１５】
ステップ９３０５：コメント情報走査用のインデクスiを初期化する。
【０１１６】
ステップ９３０６：i番目のコメント情報を取得し、その空間情報情報(ki列、li行)を取得する。
【０１１７】
ステップ９３０７：指定された座標を含む領域(k,l)と、ステップ９３０６で取得した空間情報情報(ki列、li行)が一致するかを判定する。
【０１１８】
ステップ９３０８：一致しない場合、select[i]をfalseにセットする。
【０１１９】
ステップ９３０９：一致する場合、select[i]をtrueにセットする。
【０１２０】
ステップ９３１０：m個のコメント情報を走査したかどうかを判定する。
【０１２１】
ステップ９３１１：m個のコメント情報を走査していない場合、次のコメント情報を調べるように、インデクスiをインクリメントする。
【０１２２】
ステップ９３１２：m個のコメント情報を走査したので、select[i]がtrueとなったすべてのコメント情報を取得して処理を終了する。これにより、図２０の(２)に示されるようにコメント情報が取得される。
【０１２３】
図２１は、本発明の第１実施例においてクライアント装置１のコメント表示制御部１６が実行する、ステップ９５の表示領域拡大縮小処理の説明図である。同図では表示領域を拡大した場合を例として説明する。
【０１２４】
表示領域の大きさを変更した場合、まず、各コメントを表示するために最低限必要な、最小表示領域を計算する(図２１の(１))。具体的には、表示領域の横幅と各コメントのフォントサイズから１行に表示できる文字数を求め、また、コメント内の文字総数から、表示に何行必要なのかを計算する。
【０１２５】
次に、表示領域内にコメントを再配置し、表示可能なコメントを選択する(図２１の(２))。図２１の例では表示領域を拡大しているため、新たにコメント５及びコメント６が表示用に選択される。最終的に、コメント１からコメント６が表示されるコメントとして選択される。
【０１２６】
図２２は、本発明の第１実施例においてクライアント装置１のコメント表示制御部１６が実行する、ステップ９７の表示領域スクロール処理の説明図である。同図ではバーを下に移動させ、表示領域を下にスクロールさせた場合を例として説明する。
【０１２７】
表示領域をスクロールさせることで、スクロール先のコメントが新たに選択される。図２２の例では、領域をコメント２つ分だけスクロールさせることで、コメント１及び２が選択解除され、新たにコメント７及び８が表示用に選択される。最終的に、コメント３からコメント８が表示されるコメントとして選択される。
【０１２８】
さらに、図１１に示された全体的な動作フローのステップ２０のコメント表示処理について詳述する。
【０１２９】
ステップ２０では、コメント表示制御部１６により選択されたコメント情報を、コメント入力時に指定した場所を指し示すように、コメント表示領域に表示する。
【０１３０】
図２３は、本発明の第１実施例において、クライアント装置１のコメント表示部１７が実行するコメント表示処理の説明図である。
【０１３１】
本実施例では、図２３に示すようにコメント表示制御部１５において選択された各コメントから矢印を伸ばす。各矢印は、コメント情報蓄積部２３により拡張された位置情報を用いて、指し示す領域の重心を指す。
【０１３２】
このようにして、本発明の第１実施例によれば、請求項１記載の映像コメント入力・表示方法又は請求項８記載の映像コメント入力・表示システムを用いることで、コメントしたい場所を指し示してコメントすることができる。また、コメントを閲覧する際に、映像表示領域上の場所を指定することで、どのような場所にどの程度のコメントが書き込まれているかを一目で把握できるようにコメントを表示することができる。図２４は、本発明の第１実施例において、映像領域の場所を指定してコメントを表示させた場合の説明図である。
【０１３３】
また、請求項３記載の方法又は請求項１０記載のシステムを用いてコメント情報を蓄積することによって、コメントを入力する場所、あるいはコメントを表示させたい場所を指し示す際に、正確にある一点を指定する必要がなくなる。
【０１３４】
また、請求項４記載の方法又は請求項１１記載のシステムを用いてコメントを表示することによって、一度に表示するコメントの量を制御することができ、コメントを読みやすく表示できる。
【０１３５】
＜実施形態例２＞
本発明の第２の実施例による映像コメント入力・表示システムは、Ｐ２Ｐ(ピア・ツー・ピア）方式を用いて、クライアント間で映像を同時に視聴しながら、ユーザが書き込みをしたコメントを表示し、あるいは新規に感想を書き込むコミュニケーションシステムである。図２５は、このような本発明の第２実施例におけるコミュニケーションシステムの説明図である。本実施例では、映像を配信し、また、各ユーザからのコメントを蓄積、配信するクライアントＡをサーバ装置と呼び、映像を視聴しながらコメントの読み書きをするクライアント１〜ｎをクライアント装置と呼ぶ。
【０１３６】
図２６は本発明の第２実施例を示すシステム構成図である。
【０１３７】
本発明の第２実施例の映像コメント入力・表示システムは、複数台のクライアント装置２１と、サーバ装置２２とを含み、クライアント装置２１とサーバ装置２２は、例えば、インターネットのようなネットワーク(図示はされていない)を介して接続される。クライアント装置は複数台存在し得るが、説明の簡略化のため、以下では１台のクライアント装置２１について説明する。
【０１３８】
概略として説明すると、映像視聴中に、サーバ装置２２上に蓄積されているコメント情報をクライアント装置２１上に逐次表示しつつ、クライアント装置２１上で入力されたコメントをサーバ装置２２上に逐次蓄積し、クライアント装置２１上に表示するシステムである。コメントを入力する際には映像上の場所を指定して入力することが可能である。また、コメントを表示する際には、表示するコメントの総量と表示領域の大きさを考慮しながら、動的に表示領域の位置や大きさを変更し、どのような場所にどのようなコメントが書かれているかを容易に把握できるようにする。
【０１３９】
クライアント装置２１は、サーバ装置２２上の映像ＤＢ２２２から映像を受け取る映像再生インタフェース２１１を有する。映像再生インタフェース２１１は、サーバ装置２２上の映像再生制御部２２１から再生、巻き戻し、停止などの再生制御を受け取ることで、サーバ装置２２の操作と同期して映像の再生を行う。
【０１４０】
クライアント装置２１は、映像の中でコメントを書き込みたい場所として、映像の時間軸上のある位置、もしくは区間を指定することができ、さらに、表示された画面空間上の座標あるいは領域を指定することができる、コメント入力場所指定部２１２を有する。
【０１４１】
本実施例では、マウスカーソルなどを用いて画面上の座標を指定した時に、映像の時間及び指定された座標を位置情報として取得する。また、コメント入力場所指定部２１２は、画面上に表示されているコメントを直接指定することで、そのコメントが指し示す座標を取得し、また、指定した際の時間を取得することもできる。図２７は、本発明の第２実施例におけるコメント指定による座標取得の説明図である。
【０１４２】
クライアント装置２１は、コメント入力場所指定部２１２により指定された位置情報に対応するコメントを入力するコメント入力部２１３を有する。また、コメント入力部２１３は、コメントおよび指定された位置情報をコメント情報としてサーバ装置２２上のコメント情報蓄積部２２４に送る。本実施例のコメント情報は、本発明の第１実施例のコメント情報（図４）と同様に、コメントと、指定された時間及び画面上の座標である。
【０１４３】
クライアント装置２１は、映像の時間を逐次取得し、サーバ装置２２上のコメント取得部２２６に送信する映像時間取得部２１４を有する。
【０１４４】
クライアント装置２１は、サーバ装置２２のコメント取得部２２６により取得された複数のコメント情報を受け取り、画面上に表示されるコメント数や、コメントの表示状態を制御する、コメント表示制御部２１５を有する。
【０１４５】
本実施例では、映像画面上のある場所（時間情報及び空間情報）を指定した時に、その場所に関連するコメントを選択し、画面に表示するように制御する。
【０１４６】
クライアント装置２１は、コメント表示制御部２１５によって選択・制御されたコメントを、コメント情報を用いて、入力時に指定した場所を指し示すようにして表示する、コメント表示部２１６を有する。
【０１４７】
本実施例では、入力時に指定された空間上の座標情報を用い、同じ座標を指しているコメント毎に吹き出し状のコメント表示領域を設けて、座標毎にコメントをまとめて表示する。図２８には、このような本発明の第２実施例における吹き出し状の表示領域を用いたコメント表示手段が示されている。このコメント表示の際、同時に表示されるコメント表示領域の数と各コメント表示領域の最小表示面積とから、コメント表示領域が互いに重ならないように場所と表示面積を動的に変更してレイアウトする。また、コメント表示領域が大量に画面上に表示される場合、近い場所を指し示すコメント同士をまとめて一つのコメント表示領域に表示することで、コメント表示領域の数を制限しながらコメントを表示する。
【０１４８】
以上のようにして得られる本発明の第２実施例におけるクライアント装置２２上の画面表示例が図２９に示されている。
【０１４９】
サーバ装置２２は、映像コンテンツを保持する映像ＤＢ２２２と、映像ＤＢ２２２から映像を選択し、映像の再生、巻き戻し、早送りなどの映像再生制御を行う映像再生制御部２２１を有する。映像再生制御部２２１は、映像コンテンツとともに映像再生制御コマンドを複数のクライアント装置２１に送ることで、クライアント装置２１の映像再生を制御する。
【０１５０】
サーバ装置２２は、映像領域情報を保持する映像領域情報ＤＢ２２３、およびコメント情報を保持するコメント情報ＤＢ２２５を有する。
【０１５１】
映像領域情報ＤＢ２２３が保持する映像領域情報とは、例えば、人物の顔や車など、画面上に写った物体それぞれの領域を示す情報である。物体の領域を自動的に抽出する方法については、映像解析技術を用いた「赤間、三井、紺谷、串間、“画像内オブジェクトの自動抽出を使った画像検索システム ＥｘＳｉｇｈｔ”、ＤＥＷＳ‘９７ Ｐｒｏｃｅｅｄｉｎｇｓ、Ｍａｒｃｈ、１９９７」などに記載されている。また、時間経過とともに移動する物体を追跡する方法に関しては、「三須、苗村、境田、鄭、金次、“複数情報の融合によるサッカー選手のロバストな追跡法”、信学技法、MVE2001-46,pp.23-30,2001」などに記載されている。
【０１５２】
図３０は、本発明の第２実施例における映像領域情報ＤＢ２２４に蓄積された映像情報の説明図である。本実施例では、図３０に示すように、時間ごとに検出された領域名と領域形状を映像領域情報ＤＢ２２３上に蓄積する。この時、時間tと時間t+1で同じ領域として認識される領域には同じ領域名を付与して蓄積する。例えば、図３０では、時間tと時間t+1において同じ領域として推定される顔領域に対して、領域２という名前を付与する。上記のような領域認識、追跡技術を用いれば、例えば、図３０の領域nのように、時間とともに移動および変形する領域に関しても同一の名称をつけることができる。
【０１５３】
サーバ装置２２は、コメント入力部２１３より送信されたコメント情報をコメント情報ＤＢ２２５に蓄積する、コメント情報蓄積部２２４を有する。
【０１５４】
コメント情報蓄積部２２４は、コメント情報を蓄積する際に、コメントが入力された時間および指定された座標に対して所定の幅を持たせることができる。本実施例では、映像領域情報ＤＢ２２３に蓄積された映像領域情報を用いて、指定された座標を含む領域iを、そのコメントの空間上の領域とする。また、領域iが画面上に表示されている時間区間を時間軸上の区間として蓄積する。図３１には、本発明の第２実施例におけるコメント情報ＤＢに蓄積された、拡張されたコメント情報の説明図が示されている。このように拡張することで、例えば、人物の顔を指定した場合に、その顔が画面上に表示されている時間区間及び表示領域をコメントの位置情報とする。
【０１５５】
サーバ装置２２は、映像時間取得部２１４から入力された時間情報を用いて、時間情報に関連したコメント情報をコメント情報ＤＢ２２５から複数取り出し、コメント表示制御部２１５に送信する、コメント取得部２２６を有する。本実施例では、図３１に示すコメント情報ＤＢ内の各エントリの時間情報が、入力された時間情報tを含む区間ts≦t＜teである場合に、そのコメント情報を取得し、送信する。
【０１５６】
次に、本発明の第２実施例による映像コメント入力・表示システムの全体的な動作について簡単に説明する。図３２は、本発明の第２実施例における映像コメント入力・表示システムの全体フローチャートである。
【０１５７】
ステップ２１：サーバ装置２２上の映像再生制御部２２１により、映像の再生や巻き戻し、一時停止などの映像再生制御を行う。
【０１５８】
ステップ２２：クライアント装置２１上で映像を表示して一定時間が経過したかどうかを判定する。例えば、タイマー処理などで一定時間ごとにシグナルを発生させることで時間経過を計ることができる。
【０１５９】
ステップ２３：ユーザがクライアント装置２１上のコメント入力場所指定部２１２を用いて、コメント入力場所を指定したかどうかを判定する。具体的には、図２９において、マウスカーソルを用いて映像表示領域上のある一点の座標を指定した場合に、画面空間上の座標を指定したと判定する。図２７のように、コメント表示領域内のコメントを指定した場合は、指定されたコメントのコメント情報を参照し、コメントの指し示す場所(領域i)を画面空間上の場所として判定する。また、マウスがクリックされた時に再生制御中の映像の時間を取得する。
【０１６０】
ステップ２４：ユーザがコメントを入力したかどうかを判定する。具体的には図２９に示すコメント入力部を用い、ユーザがコメントを入力してＯＫボタンを押下した場合に、コメント入力されたと判定する。コメント入力された場合、コメント入力部２１３は、ステップ２３により取得された画面空間上の座標及び時間とコメントを、コメント情報としてコメント蓄積部２２４に送信する。
【０１６１】
ステップ２５：ステップ２４により取得された画面空間上の座標及び時間と、コメントを、コメント情報ＤＢ２２５に蓄積し、ステップ２１に戻る。この際、映像領域情報ＤＢ２２３に蓄積された映像領域情報を用いて位置情報を拡張する。位置情報の拡張の詳細は後述する。
【０１６２】
ステップ２６：映像が表示されて一定時間が経過したので、再生されている映像の時間を取得する処理を行う。
【０１６３】
ステップ２７：コメント取得部２２６は、ステップ２６で取得された映像時間を用いて、コメント情報ＤＢ２２５から映像時間に関連するコメント情報を取得する。取得方法は、上述の本発明の第１実施例におけるコメント取得処理の処理フロー(図１６)と同じであるため詳細の説明は省く。
【０１６４】
ステップ２８：ユーザが表示するコメントを選択したかどうかを判定する。
【０１６５】
ステップ２９：ステップ２８においてコメント表示の指定を行った場合、変更に伴うコメント表示の制御処理を、コメント表示制御部２１５において行う。
【０１６６】
ステップ２１０：コメント表示制御部２１５に従い、コメントが入力された場所を指し示すようにコメント表示を行い、ステップ２１に戻る。
【０１６７】
次に、上記の全体的な動作フローのステップ２５のコメント情報の蓄積方法について詳述する。
【０１６８】
図３３は、本発明の第２実施例における、ステップ２４で取得されるコメント情報と、コメント情報ＤＢ２２５上に蓄積される拡張されたコメント情報の説明図である。ステップ２５では、ステップ２４で取得されたコメント情報を、図３３に示すように、拡張されたコメント情報としてコメント情報ＤＢ２２５に格納する。
【０１６９】
図３４は、本発明の第２実施例において、コメント情報蓄積部２２４が実行するコメント情報の蓄積方法を示す、詳細フローチャートである。蓄積されるコメント情報の時間をtとし、また、コメント情報には、空間情報として、座標情報(x,y)あるいは領域aが含まれる場合を考える。領域aが含まれる場合とは、ステップ２３においてコメント表示領域をコメント入力場所として指定した場合である。
【０１７０】
ステップ２５１：ステップ２４で取得されたコメント情報の空間情報が、領域であるかどうかを判定する。
【０１７１】
ステップ２５２：空間情報が領域である場合、拡張する空間情報(領域t)を領域aとしてステップ２５１０に進む。
【０１７２】
ステップ２５３：時間ｔに検出された映像領域情報ＤＢ２２３上の映像領域総数をnとする。また、映像領域走査用のインデクスiを初期化する。
【０１７３】
ステップ２５４：i番目の映像領域情報の領域を取得する。
【０１７４】
ステップ２５５：ステップ２５４で取得した領域が座標(x,y)を含むか判定する。
【０１７５】
ステップ２５６：領域が座標(x,y)を含む場合、領域tを領域iとしてステップ２５１０に進む。
【０１７６】
ステップ２５７：次の映像領域情報を走査するため、インデクスiをインクリメントする。
【０１７７】
これにより、領域tが取得される。
【０１７８】
ステップ２５８：映像の開始時間をTs、終了時間をTeとする。領域tの開始時間ts及び終了時間teを初期化する。また、インデクスtおよび領域表示フラグshowを初期化する。
【０１７９】
ステップ２５９：時間tに検出されたすべての領域を、映像領域情報ＤＢ２２３から取得する。
【０１８０】
ステップ２５１０：ステップ２５９で取得した領域中に、領域tが含まれているかを判定する。領域が含まれていない場合、ステップ２５１４に進む。
【０１８１】
ステップ２５１１：ステップ２５９で取得した領域に、領域tが含まれている場合、領域ｔが画面上に表示されていることになるので、領域表示フラグshowを判定する。
【０１８２】
ステップ２５１２：フラグshowがfalseの場合、時間t以前に領域tは表示されていなかったことを示すので、領域tの開始時間tsにtを代入する。またフラグshowをtrueとして、ステップ２５１５に進む。
【０１８３】
ステップ２５１３：フラグshowがtrueの場合、すでに領域tは表示されているので、終了時間teにtを代入する。
【０１８４】
ステップ２５１４：映像の開始から終了まですべてを走査したかを判定し、走査した場合は処理を終了する。
【０１８５】
ステップ２５１５：次の時刻の領域を走査するため、tをインクリメントする。
【０１８６】
これにより、表示区間［Ts,Te]が取得される。
【０１８７】
次に、図３２の全体的な動作フローのステップ２９のコメント表示制御処理について詳述する。
【０１８８】
コメント表示制御部２１５は、ステップ２８において表示するコメントの選択を行った場合に、ステップ２９で表示するコメントの選択を行う。
【０１８９】
図３５は、本発明の第２実施例において、クライアント装置２１のコメント表示制御部２１５が実行するコメント表示制御処理の詳細フローチャートである。
【０１９０】
ステップ２９１：ステップ２７のコメント取得処理により取得されたコメント情報すべてを選択状態にする。
【０１９１】
ステップ２９２：ユーザがマウスカーソルによるクリック等で、映像表示領域内の特定の座標を指定したかどうかを判定する。
【０１９２】
ステップ２９３：座標が指定された場合、表示コメント選択処理を行い表示するコメントを選択する。
【０１９３】
図３６は、本発明の第２実施例において、クライアント装置２１のコメント表示制御部２１５が実行する表示コメント選択処理の詳細フローチャートである。
【０１９４】
ステップ２９０１：コメント取得処理により取得されたコメント情報の総数をnとする。また、コメント情報走査用のインデクスiを初期化し、コメント選択判定用の配列select[n]を用意する。
【０１９５】
ステップ２９０２：i番目のコメント情報の場所情報(領域i)を取得する
ステップ２９０３：領域iが指定された座標を含むかどうかを判定する。
【０１９６】
ステップ２９０４：座標を含まない場合、select[i]をfalseにする。
【０１９７】
ステップ２９０５：座標を含む場合、select[i]をtrueにする。
【０１９８】
ステップ２９０６：すべてのコメント情報を走査したか判定する。
【０１９９】
ステップ２９０７：すべて走査していない場合、次のコメント情報を走査するためにインデクスiをインクリメントする。
【０２００】
ステップ２９０８：すべて走査した場合、select[i]がtrueとなっているすべてのコメント情報を取得する。
【０２０１】
さらに、図３２の全体的な動作フローのステップ２１０のコメント表示処理について詳述する。
【０２０２】
ステップ２１０では、コメント表示制御部２１５により選択されたコメント情報を、同じ場所を指しているコメント毎に吹き出し状のコメント表示領域を設けて、場所毎にコメントをまとめて表示する。この際、同時に表示されるコメントの量、及びコメント表示領域の最小面積から、互いのコメント表示領域が重なり合わないように、コメント表示領域の配置と面積を動的に変更してレイアウトする。また、コメント表示領域が大量に画面上に表示される場合、近い場所を指し示すコメント同士をまとめ、一つのコメント表示領域に表示することで、コメント表示領域の数を制限しながらコメントを表示する。
【０２０３】
図３７は、本発明の第２実施例において、クライアント装置１のコメント表示部２１６が実行するコメント表示処理の詳細フローチャートである。
【０２０４】
ステップ２１０１：コメント表示制御処理により選択されたコメントを、コメントが指し示す領域毎に分類する。図３８には、コメント情報分類の説明図が示されている。
【０２０５】
ステップ２１０２：領域毎にコメント表示領域を用意して、画面上に仮配置する。仮配置する場合には、それぞれのコメント表示領域を、表示に必要な最低限の領域に制限し、コメント表示領域が配置可能な領域(表示可能領域)に配置する。図３９には、コメント表示領域の仮配置方法の説明図が示されている。映像上にコメント表示領域を配置した場合、映像視聴を阻害する恐れがあるため、本実施例の表示可能領域は、図３９に示されるように、映像表示領域部分をくりぬいたロの字型の領域とする。配置方法の詳しいアルゴリズムは後述する。
【０２０６】
ステップ２１０３：コメント表示領域を仮配置した場合、すべて表示可能かを判定する。コメント表示領域がすべて表示可能な場合はステップ２１０５に進む。また、表示不可能な場合はステップ２１０４に進む。図４０には、全てのコメントの表示領域の配置が不可能な場合の例が示されている。
【０２０７】
ステップ２１０４：コメント表示領域をすべて表示することが不可能な場合は、コメント表示領域が表示可能な数になるように、近い場所を指すコメント同士をまとめ、一つの表示領域に表示するようにする、コメントマージ処理を行う。
【０２０８】
ステップ２１０５：仮配置されたコメント表示領域を、配置可能領域を有効に使うように再配置し、コメント表示領域の大きさを変更してコメントを見やすくする、表示領域配置処理を行う。
【０２０９】
図４１は、本発明の第２実施例において、クライアント装置１のコメント表示部２１６が実行する、領域を仮配置する際に用いる仮配置アルゴリズムを示す詳細フローチャートである。
【０２１０】
ステップ２１２１：表示されていないi個のコメント領域に対して処理を行う。i個のコメントのリストlistを用意する。
【０２１１】
ステップ２１２２：表示可能領域にコメントが配置可能かどうかを判定する。表示可能でない場合、エラーとして処理を終了する。
【０２１２】
ステップ２１２３：距離[i]を用意し、インデクスjを初期化する。
【０２１３】
ステップ２１２４：初めてコメントを画面上に配置するかどうか（すなわち、先に画面上に配置されているコメントが無いかどうか）を判定する。
【０２１４】
ステップ２１２５：j番目のコメント領域の中心とコメントが指し示す領域の重心位置との距離[j]がもっとも短くなるように、j番目のコメント領域を表示可能領域中の適当な場所に配置する。
【０２１５】
ステップ２１２６：すでにコメントが配置されている場合は、コメント領域の中心とコメントが指し示す領域の重心位置との距離[j]が最短となるように、既に配置されているコメントに隣接した場所にj番目のコメント領域を配置する。図４２には、コメント表示領域の距離計算アルゴリズムの説明図が示されている。
【０２１６】
ステップ２１２７：i個のコメントに対して距離を求めたかどうかを判定する。
【０２１７】
ステップ２１２８：i個のコメントのうち、まだ距離を求めていないコメントが存在する場合は、インデクスｊをインクリメントしてステップ２１２３に戻る。
【０２１８】
ステップ２１２９：i個のコメントの中で、距離[j]が最も短い領域jを選択し、表示可能領域に配置する。図４３は。コメント表示領域の仮配置アルゴリズムの説明図である。
【０２１９】
ステップ２１２１０：listからコメントjを削除し、iをデクリメントする。
【０２２０】
ステップ２１２１１：すべてのコメントを配置したかどうかをチェックし、配置した場合は処理を終了する。
【０２２１】
図４４は、本発明の第２実施例において、クライアント装置２１のコメント表示部２１６が実行するコメントマージ処理の詳細フローチャートである。また、図４５は、コメントマージ処理の説明図である。
【０２２２】
ステップ２１４１：コメント表示領域の総数をnとし、表示不可能なコメント表示領域の総数をmとする。
【０２２３】
ステップ２１４２：mが０であるかを判定する。０の場合処理を終了する。
【０２２４】
ステップ２１４３：領域マージ用の変数rを初期化する。
【０２２５】
ステップ２１４４：n個のコメント表示領域が指し示す各領域の重心から半径rの円を描く。図４５の（１）にコメントが参照する領域の重心から半径rで描いた円が示されている。
【０２２６】
ステップ２１４５：円の重なる領域があるかどうか判定する。
【０２２７】
ステップ２１４６：重なる領域がない場合、rをインクリメントする。
【０２２８】
ステップ２１４７：円の重なる領域があった場合、重なり合いのあるすべての領域を指し示すコメントをひとつのコメント表示領域にまとめる。また、新たなに生成するコメント表示領域は、円の重なる領域すべての重心を指し示すようにする。図４５の(２)には、このようにしてマージされたコメント１、２及び３のコメント表示領域が示されている。
【０２２９】
ステップ２１４８：コメント表示領域の総数mを
m=m-（円の重なった領域数）+1
として、ステップ２１４２に戻る。
【０２３０】
図４６は、本発明の第２実施例において、クライアント装置２１のコメント表示部２１６が実行する表示領域配置処理の詳細フローチャートである。
【０２３１】
ステップ２１５１：コメント表示領域の総数をnとし、仮配置した逆の順番でコメント表示領域をソートする。また配置用のインデクスiを初期化する。
【０２３２】
ステップ２１５２：配置可能領域内で空いている領域にコメント表示領域iを移動し、コメント表示領域が指し示す領域の重心との距離が最短になるように配置する。図４７には、表示領域配置処理の説明図が示されている。
【０２３３】
ステップ２１５３：n個のコメント表示領域の移動が終わったかどうかを判定する。
【０２３４】
ステップ２１５４：次のコメント表示領域を移動させるために、インデクスiをインクリメントする。
【０２３５】
ステップ２１５５：インデクスiを初期化する。
【０２３６】
ステップ２１５６：配置可能領域内で空いている領域に、コメント表示に必要な分だけコメント表示領域を拡大する。図４８には表示領域拡大処理の説明図が示されている。
【０２３７】
ステップ２１５７：n個のコメント表示領域の拡大が終わったかどうかを判定する。終わった場合処理を終了する。
【０２３８】
ステップ２１５８：次のコメント表示領域を拡大させるために、インデクスiをインクリメントする。
【０２３９】
このようにして、本発明の第２実施例によれば、請求項１記載の映像コメント入力・表示方法、或いは、請求項８記載の映像コメント入力・表示システムを用いることで、コメントしたい場所を指し示してコメントすることができる。また、コメントを閲覧する際に、映像表示領域上の場所を指定することで、どのような場所にどの程度のコメントが書き込まれているかを一目で把握できるようにコメントを表示することができる。
また、請求項２記載の方法、又は、請求項９記載のシステムを用いて、コメント入力場所を指定することにより、コメントに対するコメントを書き込みする際に、容易に書き込みたい先を指定することができる。
【０２４０】
また、請求項３記載の方法、又は、請求項１０記載のシステムを用いて、コメントを蓄積することにより、コメントを入力する場所、あるいはコメントを表示させたい場所を指し示す際に、正確にある一点を指定する必要がなくなる。
【０２４１】
また、請求項５記載の方法、又は、請求項１２記載のシステムを用いて、コメントを表示することにより、コメントの量や表示する場所、面積を動的に変更することができ、コメントを見やすく表示することができる。
【０２４２】
また、請求項６記載の方法、又は、請求項１３記載のシステムにおいて、コメントを表示することにより、同じ場所に対して書き込まれたコメントを一覧することができる。
【０２４３】
また、請求項７記載の方法、又は、請求項１４記載のシステムにおいて、コメントを表示することにより、コメント表示領域が画面上に大量に表示する必要がある場合でも、一定の量に抑えることができ、かつ、近い場所を指すコメント同士をまとめるため、コメントの指し示す位置情報が失われることはない。
【０２４４】
本発明の第２実施例ではコメントの表示位置や大きさが、コメントしたい領域の位置や同時に表示されるコメント数によって動的に変化するため、映像の内容が時間の推移によって変化した場合でも容易にコミュニケーションし易い環境を提供することができる。図４９には、本発明の第２実施例による映像の時間的推移におけるコメント表示の変化についての説明図が示されている。
【０２４５】
本発明の第２実施例ではクライアント・サーバ型システムにおいて映像を同時に視聴しながらコミュニケーションをする方法を例として提示したが、サーバ装置のコメント情報ＤＢからコメント情報をダウンロードし、クライアントで映像視聴をしながらコメントを見たり付与したりする、非同期型のコミュニケーションにおいても本発明は適用できる。新たに入力したコメント情報をサーバ装置側にアップロードすることで、自分のコメント情報を多くの人に共有してもらうというコミュニケーションが可能である。
【０２４６】
上記の本発明の実施例による映像コメント入力・表示方法は、ソフトウェア（プログラム）で構築することが可能であり、コンピュータのＣＰＵによってこのプログラムを実行することにより本発明の実施例による映像コメント入力・表示システムを実現することができる。構築されたプログラムは、ディスク装置等に記録しておき必要に応じてコンピュータにインストールされ、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ等の可搬記録媒体に格納して必要に応じてコンピュータにインストールされ、或いは、通信回線等を介してコンピュータにインストールされ、コンピュータのＣＰＵによって実行される。
【０２４７】
以上、本発明の代表的な実施例を説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０２４８】
【発明の効果】
以上の説明の通り、本発明によれば、ネットワーク上で映像を介したコミュニケーションを行う場合において、従来の方法に比べ、話題を的確に表現したり把握したりしながら、コミュニケーションを図ることができる。より具体的には、映像に対するコメントを、話題としたい場所を指し示しながら書き込むことができる。また、映像のどういった場所にどのようなコメントが書かれているのか容易に把握できるようになる。自分の興味ある対象に対して書き込まれているコメントを容易に探し出すこともでき、また、そのコメントに対するコメントを容易に書き込むことができるため、コミュニケーションを活発に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の映像コメント入力・表示方法の原理説明図である。
【図２】本発明の映像コメント入力・表示装置の略構成図である。
【図３】本発明の第１実施例におけるシステム構成図である。
【図４】本発明の第１実施例におけるコメント情報の説明図である。
【図５】本発明の第１実施例におけるコメント表示制御方法の説明図である。
【図６】本発明の第１実施例におけるクライアント装置上の画面表示例である。
【図７】本発明の第１実施例における場面の切り替わり点を用いた映像区間の説明図である。
【図８】本発明の第１実施例における映像区間情報ＤＢ２２上の映像区間情報の蓄積方法の説明図である。
【図９】本発明の第１実施例における指定された座標を画面上の領域に拡張する方法の説明図である。
【図１０】本発明の第１実施例におけるコメント情報ＤＢ２４上に蓄積されたコメント情報の説明図である。
【図１１】本発明の第１実施例における映像コメント入力・表示システムの全体フローチャートである。
【図１２】本発明の第１実施例におけるコメント入力手段の説明図である。
【図１３】本発明の第１実施例におけるコメント情報蓄積処理の詳細フローチャートである。
【図１４】本発明の第１実施例における互いに重なり合う映像区間から映像区間を取得する処理の説明図である。
【図１５】本発明の第１実施例において蓄積された、拡張されたコメント情報の詳細説明図である。
【図１６】本発明の第１実施例におけるコメント取得処理の詳細フローチャートである。
【図１７】本発明の第１実施例において取得されたコメント情報の説明図である。
【図１８】本発明の第１実施例におけるコメント表示制御処理の詳細フローチャートである。
【図１９】本発明の第１実施例における表示コメント選択処理の詳細フローチャートである。
【図２０】本発明の第１実施例における表示コメント選択処理の説明図である。
【図２１】本発明の第１実施例における表示領域拡大縮小処理の説明図である。
【図２２】本発明の第１実施例における表示領域スクロール処理の説明図である。
【図２３】本発明の第１実施例におけるコメント表示処理の説明図である。
【図２４】本発明の第１実施例において映像領域上の場所を指定してコメントを表示させる例の説明図である。
【図２５】本発明の第２実施例におけるコミュニケーションシステムの説明図である。
【図２６】本発明の第２実施例におけるシステム構成図である。
【図２７】本発明の第２実施例におけるコメント指定による座標取得の説明図である。
【図２８】本発明の第２実施例における吹き出し状の表示領域を用いたコメント表示部の説明図である。
【図２９】本発明の第２実施例におけるクライアント装置上の画面表示例である。
【図３０】本発明の第２実施例において蓄積された映像領域情報の説明図である。
【図３１】本発明の第２実施例において蓄積された、拡張されたコメント情報の説明図である。
【図３２】本発明の第２実施例における映像コメント入力・表示システムの全体フローチャートである。
【図３３】本発明の第２実施例において蓄積されたコメント情報の説明図である。
【図３４】本発明の第２実施例におけるコメント情報蓄積処理の詳細フローチャートである。
【図３５】本発明の第２実施例におけるコメント表示制御処理の詳細フローチャートである。
【図３６】本発明の第１実施例における表示コメント選択処理の詳細フローチャートである。
【図３７】本発明の第２実施例におけるコメント表示処理の詳細フローチャートである。
【図３８】本発明の第２実施例におけるコメント情報分類の説明図である。
【図３９】本発明の第２実施例におけるコメント表示領域の仮配置処理の説明図である。
【図４０】本発明の第２実施例において、すべてのコメント表示領域の配置が不可能な場合の例を示す説明図である。
【図４１】本発明の第２実施例におけるコメント表示領域の仮配置処理の詳細フローチャートである。
【図４２】本発明の第２実施例におけるコメント表示領域の距離計算アルゴリズムの説明図である。
【図４３】本発明の第２実施例におけるコメント表示領域の仮配置アルゴリズムの説明図である。
【図４４】本発明の第２実施例におけるコメントマージ処理の詳細フローチャートである。
【図４５】本発明の第２実施例におけるコメントマージ処理の説明図である。
【図４６】本発明の第２実施例における表示領域配置処理の詳細フローチャートである。
【図４７】本発明の第２実施例における表示領域配置処理の説明図である。
【図４８】本発明の第２実施例における表示領域拡大処理の説明図である。
【図４９】本発明の第２実施例における映像の時間的推移におけるコメント表示の変化についての説明図である。
【図５０】従来の専用ソフトウェアを用いた映像コミュニケーション方法の説明図である。
【図５１】従来の専用ソフトウェアを用いた映像コミュニケーション方法における問題点の説明図である。
【図５２】時間軸上のある場所を指定する既存インタフェースの説明図である。
【図５３】コメントと場所を対応付けする一方法の説明図である。
【符号の説明】
１ クライアント装置
２ サーバ装置
１１ 映像再生制御部
１２ コメント入力場所指定部
１３ コメント入力部
１４ コメント表示機能制御インタフェース
１５ 映像時間取得部
１６ コメント表示制御部
１７ コメント表示部
２１ 映像ＤＢ
２２ 映像区間情報ＤＢ
２３ コメント情報蓄積部
２４ コメント情報ＤＢ
２５ コメント取得部
【発明の属する技術分野】
本発明は、コンピュータ上での映像を介したコミュニケーションを行う際に、映像に対して入力されたコメント同士の関連性を効果的に表示したり、コメントの対象を明確に指示したりすることで、より容易にコミュニケーションを行える映像コメント入力・表示方法及びシステムに関する。
【０００２】
【従来の技術】
従来、ネットワーク上で映像を介したコミュニケーションを行いたい場合、ユーザは映像を視聴する手段とコミュニケーションをする手段を組み合わせてコミュニケーションを行っている。
【０００３】
例えば、ＢＲＯＢＡ(http://www.broba.cc/)などに代表される一般的な映像配信サイトでは、映像再生ソフトを用いて映像を視聴し、映像に関するコミュニケーションは掲示板機能やチャット機能を用いて行われる。掲示板機能は、特定のサーバ上で運営される情報交換システムであり、いつでも情報が書き込めることが特徴である。また、チャット機能は、ネットワークの通信機能を用いたソフトウェアであり、複数の人がリアルタイムに情報交換できることが特徴である。
【０００４】
また、専用のソフトウェアを用いて映像を介したコミュニケーションを行う手段も存在する。ＶｉｄｅｏＣｌｉｃｋ(http://www.vsoft.com/products/)は、映像の任意の場所にブックマークを張り、その場所にコメントを書き込むことができる。リンク情報とコメント情報はソフトウェアの通信機能を用いることで複数の人に公開することができるため、映像を視聴しながら複数の人とコメント情報を介したコミュニケーションを図ることができる(図５０を参照のこと)。
【０００５】
【発明が解決しようとする課題】
上記の映像配信サイトのように、映像視聴手段と映像コミュニケーション手段が分かれている場合、映像に対するコメントが、映像のどの部分について話しているのかわからないという問題が生じる。例えば、「あの景色綺麗だよね」というコメントがあった場合、映像内のどの景色を指しているのかわからない。また、どの場所であるのかを指し示すには、「物語の中盤の脱出シーンの景色が綺麗だよね」と言うように表現しなければならず、その場合もはっきりと場面を指し示すことができない。さらに、ある場面を閲覧しているときに、その場面に関連したコメントを探すことが難しく、従って効率的にコミュニケーションを図ることが難しい。
【０００６】
また、掲示板や上記の専用ソフトウェアでは、コメントを入力し表示する部分が１つにまとまっているため、雑多なコメントが一様にユーザへ提示されてしまい、自分の興味あるコメントを探すことが難しい。また、コメントに対してさらに書き込まれたコメントを探すことが難しく、コミュニケーションが円滑に行えないと言う問題が生じる。図５１には、このような従来の専用ソフトウェアを用いた映像コミュニケーション方法における問題点が示されている。
【０００７】
従って、本発明では、上記のような従来の映像に関するコミュニケーションを図る手段において、ユーザがコメントしたい場所を指示したり、あるいは、気になる場所に関連したコメントを容易に閲覧したりでき、また、コメント同士をその内容毎に効果的に表示することによってコメント同士の関連性が容易に把握できる、映像コメント入力・表示方法、映像コメント入力・表示システム、クライアント装置、並びに、映像コメント入力・表示プログラム及びプログラムの記憶媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、ユーザが映像に関するコミュニケーションを行う上で、コメントしたい場所を指定してコメント入力でき、また、コメントを表示する際には、入力する際に指定された場所を指し示すように、指定された場所毎にコメントを表示する、映像コメント入力・表示方法を提案する。
【０００９】
図１は、本発明の映像コメント入力・表示方法の原理説明図である。
【００１０】
請求項１に係る発明は、ネットワーク上で映像に関するコミュニケーションを図るための映像コメント入力・表示方法であって、
映像再生制御手段が、入力された映像コンテンツについて、ユーザからの要求に応じて、映像の再生や一時停止などの再生制御を行う再生制御手順（ステップ１）と、
コメント入力場所指定手段がユーザからの、再生制御された映像の中でコメントを入力したい場所の時間情報及び空間情報の指定を受け付ける時間・空間情報受付手順（ステップ２）と、
コメント入力手段が、ユーザから時間情報及び空間情報に関連したコメントの入力を受け付ける手順（ステップ３）と、
コメント蓄積手段が、時間情報、空間情報、及びコメントをコメント情報としてコメント情報記憶手段に蓄積する（ステップ４）コメント蓄積手順と、
コメント表示制御手段が、再生中の映像の時間情報を取得し（ステップ５）、前記コメント情報記憶手段から該再生中の映像の時間情報に対応しているコメント情報を取得し（ステップ６）、指定された、表示したいコメント、コメントを表示したい場所、及びコメントの量に基づいて、該コメント情報のコメントを画面に表示できるように表示されるコメントを制御する（ステップ７）コメント表示制御手順と、
コメント表示手段が、コメントが入力された位置情報に合わせて用意されたコメント表示領域を、コメントを入力したい場所として指定された場所を指し示すように表示するコメント表示領域制御手順（ステップ８）と、を行う。
【００１１】
これにより、コメントしたい場所、すなわち、時間情報及び空間情報（時空間軸上の点）を指し示してコメントすることができるため、自分が映像内のどの部分に対してコメントしたいのかを明らかにできる。また、コメントは書き込んだ場所を指し示すように表示されるため、コメントを閲覧する際に、どのような場所にどの程度のコメントが書き込まれているのか一目で把握することができる。これにより、より円滑にコミュニケーションを図ることができる。
【００１２】
本発明の第１の局面として、すでに入力されているコメントに対してさらにコメントをしたい際に、コメントを直接指定してコメントを追記する方法を提案する。
【００１３】
そのため、請求項２に係る発明では、時間・空間情報受付手順において、コメントに対して書き込みをする際に、コメント表示機能制御インタフェースが、ユーザにより直接指定された、コメント表示中のコメント表示領域に追加書き込みを行う。
【００１４】
この方法により、コメントに対して書き込みを行いたい場合、映像上の場所を指定するだけでなく、そこに対して書き込まれたコメントを直接指定して書き込むことが可能となる。
【００１５】
本発明の第２の局面として、コメントと位置情報を蓄積する際に、所定の許容幅が与えられた位置情報を蓄積する方法を提案する。
【００１６】
そのため、請求項３に係る発明では、コメント情報蓄積手順において、コメント情報蓄積手段が、コメント指定された位置情報の時間情報及び／又は空間情報に対して所定の許容幅を与え、これにより得られた場所をコメントと共にコメント情報記憶手段に蓄積する。
【００１７】
この方法により、場所を指定する際に、正確にある一点を指定する必要がなくなる。また、表示したいコメントの場所を指定する際に、正確にある一点を指定する必要がなくなる。また、コメントを表示する際に、ある一点でコメントを表示するのではなく、時空間軸上にある程度の幅をもたせてコメントを表示することができる。
【００１８】
本発明の第３の局面として、コメントを表示する際に、すべてのコメントを同時に表示できない場合、表示するコメントの量を動的に切り替えて表示する方法を提案する。
【００１９】
そのため、請求項４に係る発明では、コメント表示制御手順において、コメント表示制御手段が、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、一度に表示するコメントの量及びその表示方法を動的に変更する。
【００２０】
この方法により、すべてのコメントをコメント表示領域に表示できない場合、一度に表示する量を制御することで、コメント読みやすく表示することができる。
【００２１】
本発明の第４の局面として、コメントを表示する際に、コメントを表示するための領域を有効に活用してコメントを見やすく表示する方法を提案する。
【００２２】
そのため、請求項５に係る発明では、コメント表示領域制御手順において、コメント表示手段が、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、前記コメント表示領域の配置と表示面積を動的に変更して表示する。
【００２３】
この方法により、表示するコメント量が少ない時にはすべてのコメントを表示し、コメント量が多いときにはコメントが表示可能な領域全体を有効に活かせるようにコメントをレイアウトし直して表示することができるため、コメント量に応じて見やすくコメントを提示できる。
【００２４】
本発明の第５の局面として、同じ場所に書き込まれたコメントをまとめて表示することで、コメント表示領域を有効に活用する方法を提案する。
【００２５】
そのため、請求項６に係る発明では、コメント表示領域制御手順において、
コメント表示手段が、同じ位置を指し示すコメントを纏めて１つのコメント表示領域に表示する。
【００２６】
この方法により、同じ場所にコメントしているコメント同士をひとつの領域内に表示することができるため、相互の関係が容易にわかり、また、表示領域を有効に活用してコメントを表示できる。
【００２７】
本発明の第６の局面として、すべてのコメントを同時に表示できない場合に、近い場所を指し示すコメント同士をまとめて一つのコメントとすることで、コメント表示領域を有効に活用する方法を提案する。
【００２８】
そのため、請求項７に係る発明では、コメント表示領域制御手順において、コメント表示手段が、近い場所を指し示すコメントを纏めて一つの表示領域に表示する。
【００２９】
この方法により、コメントの総量を変化させることなく、コメント表示領域数を制限することができるため、コメント表示領域が画面上に大量に表示されることがなくなり、映像視聴を阻害することなくコメントの閲覧をすることができる。
【００３０】
図２は、本発明の映像コメント入力・表示方法を実施する映像コメント入力・表示装置の略構成図である。同図に示された映像コメント入力・表示装置は、
ユーザが映像の再生や一時停止などの再生制御を行う映像再生制御手段１１と、
再生制御された映像中で、コメントを入力したい場所の時間情報及び空間情報を指定するコメント入力場所指定手段１２と、
コメントを入力するコメント入力手段１３と、
コメント及び位置情報を保持するコメント情報ＤＢ２４と、
上記コメント入力手段１３によりユーザが入力したコメントと、上記コメントを入力したい場所の時間情報及び空間情報を指定するコメント入力場所指定手段１２により指定された位置情報と、をコメント情報として上記コメント情報ＤＢ２４へ蓄積するコメント情報蓄積手段２３と、
再生制御されている映像の時間を取得する映像区間取得手段１５と、
上記コメント情報ＤＢ２４に蓄積されたコメント情報の中から、上記映像区間取得手段１５によって取得された時間に関連したコメント情報を取得するコメント取得手段２５と、
表示したいコメント、コメントの位置情報、及びコメントの量を指定してコメント表示制御をするコメント表示制御手段１６と、
コメントの位置情報に合わせてコメント表示領域を用意し、コメントを表示したい場所を指し示すように画面上にコメント表示領域を表示するコメント表示手段１７と、
を有する。
【００３１】
コメント入力場所指定手段１２は、ユーザがコメントを入力したいと考える映像の時間情報及び画面上での空間情報を指定する。
【００３２】
コメント入力場所指定手段１２は、コメントに対して書き込みする際に、コメントが表示されている表示領域を直接指定して追加書き込みをすることが可能である。
【００３３】
コメント情報蓄積手段２３は、コメント入力手段１３においてユーザから入力されたコメントと、コメントを入力する際にコメント入力場所指定手段１２により指定された位置情報を、コメント情報ＤＢ２４に蓄積する。
【００３４】
コメント情報蓄積手段２３は、指定された位置情報の時間情報及び／又は空間情報に所定の幅を付与し、コメント情報ＤＢ２４にコメント情報を蓄積することが可能である。
【００３５】
また、コメント表示制御手段１６は、コメント取得手段２５によって取得されたコメントの中からユーザが表示したいと思うコメントを指定したり、コメントを見たいと思う場所を指定したり、あるいは表示するコメントの量を指定したりできる。
【００３６】
コメント表示制御手段１６は、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、一度に表示するコメントの量を動的に変更することが可能である。
【００３７】
コメント表示手段１７は、コメント取得手段２５により取得したコメント情報と、コメント表示制御手段１６による制御を受け、コメントを入力した位置情報に合わせてコメント表示領域を用意し、コメントを表示したい場所を指し示すようにコメント表示領域を画面上に表示する。
【００３８】
コメント表示手段１７は、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、動的にコメント表示領域の配置と表示面積を変更して表示することや、同じ場所を指し示すコメントをまとめて一つのコメント表示領域に表示することや、近い場所を指し示すコメントをまとめて一つのコメント表示領域に表示することができる。
【００３９】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００４０】
本発明の実施例の説明中、映像コンテンツは、映像情報と音情報を含むコンテンツに限定されることはなく、少なくとも画像情報を含むあらゆるコンテンツを映像コンテンツと呼ぶ。また、コメントは、文字情報に限定されることはなく、ウェブ上のコンテンツを指し示すＵＲＬや感情を表現する画像など、コミュニケーションを図る上で利用される情報を含む。
【００４１】
＜実施形態例１＞
本発明の第１の実施例による映像コメント入力・表示システムは、サーバ上に蓄積された映像を視聴しながら、他ユーザが書き込みをしたコメントを表示し、あるいは新規に感想を書き込むシステムである。
【００４２】
図３は本発明の第１実施例を示すシステム構成図である。
【００４３】
映像コメント入力・表示システムは、複数台のクライアント装置１と、サーバ装置２とを含み、クライアント装置１とサーバ装置２は、例えば、インターネットのようなネットワーク(図示はされていない)を介して接続される。クライアント装置は複数台存在し得るが、説明の簡略化のため、以下では１台のクライアント装置１について説明する。
【００４４】
概略的に説明すると、図５０に示すような従来の映像コメント入力・表示システム上に本発明の第１実施例を適用することで、図５０におけるコメント入力・表示フィールドに表示されたコメントが、映像中のどの箇所を指しているのかを明らかにし、ある場所に対して書き込まれたコメントを容易に見つけ出せるようにする。また、映像中の任意の場所を指し示してコメントを入力できるようにする。
【００４５】
クライアント装置１は、サーバ装置２上の映像ＤＢ２１から映像コンテンツを受け取り、再生制御を行う映像再生制御部１１を有する。映像再生制御部１１は、映像を視聴したり、時間軸上のある場所を指定したりするためのインタフェースであり、通常再生、倍速、スローモーション、コマ送り、巻き戻しなどの再生制御が可能である。
【００４６】
クライアント装置１は、再生制御されている映像の中で、コメントを書き込みたい場所として映像の時間軸上のある位置、もしくは区間を指定することができ、さらに、表示された画面空間上のある位置あるいは領域を指定することができる、コメント入力場所指定部１２を有する。
【００４７】
時間軸上のある位置を指定するには、数値を直接入力するだけではなく、例えば、図５２に示すように、帯状に表現された時間軸上でバーを動かすことで、直感的に時間軸上のある位置を指定する、スライダーと呼ばれる既存のインタフェースを利用することが可能である。また、同図に示されるような開始ボタンおよび終了ボタンを併用することで、区間の開始点、終了点を入力することができ、時間軸上の区間を指定することができる。
【００４８】
空間上のある位置を指定するには、画面上の座標を数値入力する以外に、マウスカーソルを用いて直接画面上のある位置を指定する方法がある。また、領域を指定する場合、マウスカーソルを用いたドラッグ操作により、容易に領域を指定できる。
【００４９】
本実施例では、映像再生制御部１１を用いることで時間軸上のある位置を指定することができる。映像再生制御部１１とコメント入力場所指定部１２を一体的なインタフェースとして実現し、コメントを入力する時間を指定し、また、マウスカーソルを用いて画面上の位置を指定することができる。
【００５０】
クライアント装置１は、コメント入力場所指定部１２により指定された映像上のある位置に対してコメントを入力する手段を有し、また、コメントおよび入力された時空間上の位置情報をコメント情報として、サーバ装置２上のコメント情報蓄積部２３に送るコメント入力部１３を有する。本実施例のコメント情報は、具体的には、コメント、指定された時間、及び、画面上の座標を含む。図４は、かかる本発明の第１実施例におけるコメント情報の説明図である。
【００５１】
映像表示機能制御インタフェース１４は、コメントを表示するか、コメントを表示しないかを選択するためのインタフェースである。本実施例ではユーザがボタンを押すことで、ボタンが押されたときの映像時間を取得するように、映像時間取得部１５を制御する。
【００５２】
クライアント装置１は、現在表示されている映像の時間を取得し、サーバ装置２のコメント取得部２５に送信する映像時間取得部１５を有する。
【００５３】
クライアント装置１は、サーバ装置２のコメント取得部２５により取得された複数のコメント情報を受け取り、画面上に表示されるコメント数や、表示するコメントを制御する、コメント表示制御部１６を有する。
【００５４】
図５には、本発明の第１実施例におけるクライアント装置上の画面表示例が示されている。本実施例では、図５に示すように、取得されたコメントを列挙し、表示部分を拡大縮小し、スライダーを用いて表示するコメントを選択することで、画面上に表示されるコメント数と表示するコメントを制御する。本実施例以外の他の一実施例による制御方法としては、最大表示コメント数を数値として指定する方法、最新のｎ個のコメントのみを選択する方法などが考えられる。また、本発明の第１実施例では、映像画面上のある位置を指定することで、その位置に関連するコメントを選択し、画面に表示するように制御することもできる。
【００５５】
クライアント装置１は、コメント表示制御部１６によって制御されたコメントを、そのコメントに対応した位置情報を用いて、入力時に指定された空間上のある位置を指し示すようにして表示する、コメント表示部１７を有する。
【００５６】
空間上のある場所を指し示すようにコメントを表示する方法としては、例えば、図５３に示されるコメントと場所を対応付けする一方法のように、コメント毎に対応するオブジェクトを指定して、画面上にそのオブジェクトを配置することで、コメントと場所を対応付けることができる。本発明の第１実施例では矢印を用いて、コメントに対応する画面上の場所を指し示す。
【００５７】
図６は、このような本発明の第１実施例によってクライアント装置上の画面に生成される表示例の説明図である。
【００５８】
サーバ装置２は、映像コンテンツを保持する映像ＤＢ２１、映像区間情報を保持する映像区間情報ＤＢ２２、及びコメント情報を保持するコメント情報ＤＢ２４を有する。
【００５９】
映像区間情報ＤＢ２２が保持する映像区間とは、例えば、同じ景色を写し続けている場面区間やある人物が現れている区間、文字が表示されているテロップ表示区間、音楽が流れている区間など、時間軸上の物理的、あるいは意味的な区間を現す。意味的な区間については、人手で区間を指定する方法が主に取られている。また、物理的な区間については、映像解析技術を用いることで場面の切り替わり点や文字表示区間を得ることができる。映像解析技術に関しては、特許第２８３９１３２号公報、特開平９−２３８２９８号公報、及び、特開平１１−１７８００７号公報などに記載されている。本実施例では、説明を簡略化するために、場面の切り替わり点を用いた場面区間を映像区間として用いる。図７は、本発明の第１実施例における場面の切り替わり点を用いた映像区間の説明図である。
【００６０】
また、映像区間は、図８のように映像区間情報ＤＢ２２に映像区間情報として蓄積される。
【００６１】
サーバ装置２は、クライアント装置１内のコメント入力部１３より送信されたコメント情報をコメント情報ＤＢ２４に蓄積する、コメント情報蓄積部２３を有する。
【００６２】
コメント情報蓄積部２３は、コメント情報をコメント情報ＤＢ２４に蓄積する際に、コメントが入力された時間および指定された画面上での位置に対して所定の幅を持たせることができる。
【００６３】
時間に対して所定の幅を持たせる方法としては、例えば、指定された時間に対して前後ｍ秒(ｍはシステムによって決定される)の幅を与える方法や、指定された空間情報がある物体を示していた場合に、その物体が画面上に写っている期間を時間幅とする方法などがある。本発明の第１実施例では、映像区間情報ＤＢ２２に蓄積された映像区間情報を用いて、指定された時間を含む映像区間をコメントの入力された時間として蓄積する。
【００６４】
空間に対して所定の幅を持たせる方法としては、例えば、指定された映像上の点、あるいは領域に対して上下左右にｎピクセル(ピクセルは画面の画素単位。ｎはシステムにより決定される)の幅を持たせる方法や、指定された空間情報がある物体を示していた場合に、その物体を認識して物体の形状を指定領域とする方法などがある。本発明の第１実施例では、画面を横方向i個と縦方向j個に分割して、指定された空間情報を含むk列l行目の領域を指定された領域として蓄積する。図９は、本発明の第１実施例における指定された座標を画面上の領域に拡張する方法の説明図である。
【００６５】
このように、コメント情報は、時間情報および空間情報に対して所定の幅を持たせてコメント情報ＤＢ２４に蓄積される。図１０は、本発明の第１実施例におけるコメント情報ＤＢ２４に蓄積されたコメント情報の説明図である。
【００６６】
サーバ装置２は、映像時間取得部１５から入力された時間情報を用いて、時間情報に関連したコメント情報をコメント情報ＤＢ２４から取り出し、コメント表示制御部１６に送信する、コメント取得部２５を有する。時間情報に関連したコメント情報が複数個存在する場合には、複数のコメント情報が送信される。本発明の第１実施例では、図１０に示すコメント情報ＤＢ内の各エントリの時間情報が、入力された時間情報tを含む区間ts≦t＜teである場合に、その時間区間に対応したコメント情報を取得し、送信する。
【００６７】
次に、本発明の第１実施例による映像コメント入力・表示システムの全体的な動作について簡単に説明する。図１１は、本発明の第１実施例における映像コメント入力・表示システムの全体フローチャートである。
【００６８】
ステップ１１：要求に応じて映像の再生や巻き戻し、一時停止などの映像再生制御を行う。
【００６９】
ステップ１２：クライアント装置１上のコメント表示機能制御インタフェース１４において、ユーザがコメントを表示するよう指示したかどうかを判定する。具体的には、たとえば、図６に示されているようなコメント表示ボタンを押下したかどうかを判定する。
【００７０】
ステップ１３：ユーザがクライアント装置１上のコメント入力場所指定部１２を用いて、コメント入力場所を指定したかどうかを判定する。具体的には、たとえば、図６において、マウスカーソルを用いて映像表示領域上のある一点を指定した場合に、空間情報として画面空間上の座標を指定したと判定する。また、マウスがクリックされた時に再生制御中の映像の時間を取得し、その時間を映像時間軸上の時間情報として取得する。
【００７１】
ステップ１４：ユーザがコメントを入力したかどうかを判定する。具体的には、ステップ１４を実行する際に、図１２に示されるようなコメント入力部１３を画面上に表示する。ユーザがコメントを入力してＯＫボタンを押下した場合に、コメント入力されたと判定する。コメント入力された場合、コメント入力部１３はステップ３により取得された画面空間上の座標、すなわち、空間情報と、映像時間軸上の時間情報と、入力されたコメントと、をコメント情報蓄積部２３に送信する。
【００７２】
ステップ１５：ステップ４により取得された空間情報、時間情報、及びコメントを、コメント情報ＤＢ２４に蓄積し、ステップ１１に戻る。蓄積する際に行う空間情報情報及び時間情報情報の拡張処理に関しては後述する。
【００７３】
ステップ１６：映像再生中にコメント表示ボタンが押下されたので、その際再生制御されている映像の時間を取得する処理を行う。
【００７４】
ステップ１７：ステップ６で取得された映像時間を用いて、コメント情報ＤＢ２４から、取得された映像時間に対応する時間情報と関連するコメント情報を取得する。
【００７５】
ステップ１８：コメント表示部分の領域拡大縮小や、表示するコメントの選択などをユーザが行うかどうかを判定する。
【００７６】
ステップ１９：ステップ１８においてコメント表示部分の変更を行った場合、変更に伴うコメント表示の制御処理を、コメント表示制御部１６において行う。
【００７７】
ステップ２０：コメント表示制御部１６にしたがって選択されたコメントに対してコメント表示領域を用意し、場所を指し示すように画面上に表示してステップ１１に戻る。
【００７８】
次に、上記の全体的な動作フローのステップ１５のコメント情報の蓄積処理について詳述する。
【００７９】
図１０は、本発明の第１実施例における、コメント情報ＤＢ２４上に蓄積された、拡張されたコメント情報の説明図である。ステップ１５におけるコメント情報の蓄積処理では、ステップ１４で取得されたコメント情報を、図１０に示すように、拡張されたコメント情報としてコメント情報ＤＢ２４に格納する。より具体的には、時間及び空間座標により構成された位置情報は、時間的な映像区間及び空間的な領域により構成された拡張された位置情報として蓄積される。
【００８０】
図１３は、本発明の第１実施例において、コメント情報蓄積部２３が実行するコメント情報の蓄積方法を示す、詳細フローチャートである。
【００８１】
ステップ５１：表示している映像の縦横の大きさ(w,h)を取得する。
【００８２】
ステップ５２：映像表示領域の縦横の分割数(i,j)を取得する。一実施例では、(i,j)の値は、たとえば、システムで固定値として決めてもよい。
【００８３】
ステップ５３：コメント入力時に指定された座標値(x,y)の、分割領域上の位置(k,l)を取得する。図９に示すように、ステップ５１で取得した映像の大きさ(w,h)とステップ５２で取得した分割数(i,j)、及び、コメント入力時の座標値から、分割領域上の位置(k,l)が求められる。具体的には、0≦m＜iとなるmに関して、
(w × m ÷ i) ≦ x ＜ (w × (m ＋ 1) ÷ i)
となるmがkとなる。同様に、0≦n<jとなるnに関して、
(h × n ÷ j) ≦ y ＜ (h × (n ＋ 1) ÷ j)
となるnがlとなる。
【００８４】
ステップ５４：映像区間情報ＤＢ２２より、コメント入力時間tを含む映像区間を取得する。本実施例の各映像区間は、図８に示すようにお互いに重なり合わない区間を映像区間情報として用いているため、映像区間情報ＤＢ２２内のn個のエントリを順に走査して、
Ts_i≦t＜Te_i(0≦i≦n)
となるi番目のエントリの開始時間Ts_i及び終了時間Te_iを、拡張された時間情報情報として利用する。
【００８５】
本発明の第１実施例では、映像区間情報は、図８に示された形式には限定されず、たとえば、図１４に示されるように映像区間情報ＤＢ２２内の映像区間情報を互いに重なり合うような区間として定義してもよい。その場合、図１４に示すように、時間tを含むすべてのm個の映像区間の和をとり、その最小開始時間Ts_sumおよび最大終了時間Te_sumを映像区間の開始時間および終了時間とすることで映像区間を特定することができる。
【００８６】
最後に、ステップ５３で取得された分割領域上の領域座標およびステップ５４で取得された映像区間を、対応したコメントと共に、拡張されたコメント情報として、コメント情報ＤＢ２４へ蓄積する。図１５は、このように本発明の第１実施例によってコメント情報ＤＢに蓄積された、拡張されたコメント情報の詳細説明図である。
【００８７】
次に、図１１の全体的な動作フローのステップ１７のコメント取得処理について詳述する。
【００８８】
ステップ１５およびステップ１６において、ユーザがコメント表示ボタンを押下した際に、再生制御されている映像の時間tが取得される。ステップ7では、この時間tに関連する複数のコメント情報をコメント情報ＤＢ２４より取得する。
【００８９】
図１６は、本発明の第１実施例において、サーバ装置２のコメント取得部２５が実行するコメント取得処理の詳細フローチャートである。
【００９０】
ステップ７１：コメント情報ＤＢ２４内のn個のコメント情報内から、コメント情報ボタンが押下された際の映像時間tに関連するコメント情報を取得するため、一時的な配列show[n]を作成する。
【００９１】
ステップ７２：コメント情報走査用のインデクスiを初期化する。
【００９２】
ステップ７３：i番目のコメント情報を図１５に示すようなコメント情報ＤＢ２４から取得し、その開始時間Ts_i及び終了時間Te_iを取得する。
【００９３】
ステップ７４：開始時間Ts_iから終了時間Te_iまでの範囲が時間tを含むかどうかを判定する。
【００９４】
ステップ７５：時間tを含まない場合、show[i]をfalseにセットする。
【００９５】
ステップ７６：時間tを含む場合、show[i]をtrueにセットする。
【００９６】
ステップ７７：n個のコメント情報を走査したかどうかを判定する。
【００９７】
ステップ７８：n個のコメント情報を走査していない場合、次のコメント情報を調べるように、インデクスiをインクリメントする。
【００９８】
ステップ７９：n個のコメント情報を走査したので、show[i]がtrueとなったiに対応したすべてのコメント情報（コメントi）を取得して処理を終了する。図１７は、このようにして本発明の第１実施例におけるコメント取得部２５によって取得されたコメント情報の説明図である。最終的に取得されるm個のコメント情報は、同図に示されるように、映像区間内に時間tを含む。
【００９９】
次に、図１１の全体的な動作フローのステップ１９のコメント表示制御処理について詳述する。
【０１００】
コメント表示制御部１６は、ステップ１８において、コメント表示領域の変更や表示するコメントの選択を行った場合、変更に伴うコメント表示の制御を行い、ステップ１９で表示するコメントの選択を行う。
【０１０１】
図１８は、本発明の第１実施例において、サーバ装置２のコメント表示制御部１６が実行するコメント表示制御処理の詳細フローチャートである。
【０１０２】
ステップ９１：ステップ１７のコメント取得部により取得されたコメント情報すべてを選択状態にする。
【０１０３】
ステップ９２：ユーザがマウスカーソルによるクリック等で、映像表示領域内のある座標を指定したかどうかを判定する。
【０１０４】
ステップ９３：座標を指定された場合、表示コメント選択処理を行い、表示するコメントを選択する。
【０１０５】
ステップ９４：ユーザの操作などによってコメント表示領域の拡大縮小が行われたかを判定する。
【０１０６】
ステップ９５：コメント表示領域の拡大縮小が行われた場合、表示領域の拡大縮小処理を行い、拡大縮小処理された表示領域に応じて表示するコメントを選択する。
【０１０７】
ステップ９６：ユーザの操作などによってコメント表示領域内のコメントをスクロールしたかどうかを判定する。
【０１０８】
ステップ９７：コメントをスクロールした場合、表示領域のスクロール処理を行い、表示するコメントを選択する。
【０１０９】
図１９は、本発明の第１実施例においてクライアント装置１のコメント表示制御部１６が実行する、ステップ９３のコメント選択処理の詳細フローチャートである。
【０１１０】
また、図２０は、ステップ９３の表示コメント選択処理の説明図である。同図ではマウスカーソルを用いて映像表示領域内の座標(x,y)を選択した場合を例として説明する。
【０１１１】
ステップ９３０１：表示している映像の縦横の大きさ(w,h)を取得する。
【０１１２】
ステップ９３０２：映像表示領域の縦横の分割数(i,j)を取得する。本実施例では(i,j)の値は、システムで所定の値に設定することができる。
【０１１３】
ステップ９３０３：指定された座標値(x,y)の、分割領域上の位置(k,l)を取得する。ステップ９３０１で取得した映像の大きさ(w,h)、ステップ９３０２で取得した分割数(i,j)、及び座標値(x,y)から(k,l)が求められる。具体的には、0≦m＜iとなるmに関して、
(w × m ÷ i) ≦ x ＜ (w × (m ＋ 1) ÷ i)
となるmがkとなる。同様に、0≦n＜jとなるnに関して、
(h × n ÷ j) ≦ y ＜ (h × (n ＋ 1) ÷ j)
となるnがlとなる。これにより、図２０の(１)に示されるようなk列l行目の領域が取得できる。
【０１１４】
ステップ９３０４：コメント取得部２５で取得したm個のコメント情報について、指定された座標(x,y)と関連したコメントを走査する。関連性を判定するための一時配列select[m]を作成する。
【０１１５】
ステップ９３０５：コメント情報走査用のインデクスiを初期化する。
【０１１６】
ステップ９３０６：i番目のコメント情報を取得し、その空間情報情報(ki列、li行)を取得する。
【０１１７】
ステップ９３０７：指定された座標を含む領域(k,l)と、ステップ９３０６で取得した空間情報情報(ki列、li行)が一致するかを判定する。
【０１１８】
ステップ９３０８：一致しない場合、select[i]をfalseにセットする。
【０１１９】
ステップ９３０９：一致する場合、select[i]をtrueにセットする。
【０１２０】
ステップ９３１０：m個のコメント情報を走査したかどうかを判定する。
【０１２１】
ステップ９３１１：m個のコメント情報を走査していない場合、次のコメント情報を調べるように、インデクスiをインクリメントする。
【０１２２】
ステップ９３１２：m個のコメント情報を走査したので、select[i]がtrueとなったすべてのコメント情報を取得して処理を終了する。これにより、図２０の(２)に示されるようにコメント情報が取得される。
【０１２３】
図２１は、本発明の第１実施例においてクライアント装置１のコメント表示制御部１６が実行する、ステップ９５の表示領域拡大縮小処理の説明図である。同図では表示領域を拡大した場合を例として説明する。
【０１２４】
表示領域の大きさを変更した場合、まず、各コメントを表示するために最低限必要な、最小表示領域を計算する(図２１の(１))。具体的には、表示領域の横幅と各コメントのフォントサイズから１行に表示できる文字数を求め、また、コメント内の文字総数から、表示に何行必要なのかを計算する。
【０１２５】
次に、表示領域内にコメントを再配置し、表示可能なコメントを選択する(図２１の(２))。図２１の例では表示領域を拡大しているため、新たにコメント５及びコメント６が表示用に選択される。最終的に、コメント１からコメント６が表示されるコメントとして選択される。
【０１２６】
図２２は、本発明の第１実施例においてクライアント装置１のコメント表示制御部１６が実行する、ステップ９７の表示領域スクロール処理の説明図である。同図ではバーを下に移動させ、表示領域を下にスクロールさせた場合を例として説明する。
【０１２７】
表示領域をスクロールさせることで、スクロール先のコメントが新たに選択される。図２２の例では、領域をコメント２つ分だけスクロールさせることで、コメント１及び２が選択解除され、新たにコメント７及び８が表示用に選択される。最終的に、コメント３からコメント８が表示されるコメントとして選択される。
【０１２８】
さらに、図１１に示された全体的な動作フローのステップ２０のコメント表示処理について詳述する。
【０１２９】
ステップ２０では、コメント表示制御部１６により選択されたコメント情報を、コメント入力時に指定した場所を指し示すように、コメント表示領域に表示する。
【０１３０】
図２３は、本発明の第１実施例において、クライアント装置１のコメント表示部１７が実行するコメント表示処理の説明図である。
【０１３１】
本実施例では、図２３に示すようにコメント表示制御部１５において選択された各コメントから矢印を伸ばす。各矢印は、コメント情報蓄積部２３により拡張された位置情報を用いて、指し示す領域の重心を指す。
【０１３２】
このようにして、本発明の第１実施例によれば、請求項１記載の映像コメント入力・表示方法又は請求項８記載の映像コメント入力・表示システムを用いることで、コメントしたい場所を指し示してコメントすることができる。また、コメントを閲覧する際に、映像表示領域上の場所を指定することで、どのような場所にどの程度のコメントが書き込まれているかを一目で把握できるようにコメントを表示することができる。図２４は、本発明の第１実施例において、映像領域の場所を指定してコメントを表示させた場合の説明図である。
【０１３３】
また、請求項３記載の方法又は請求項１０記載のシステムを用いてコメント情報を蓄積することによって、コメントを入力する場所、あるいはコメントを表示させたい場所を指し示す際に、正確にある一点を指定する必要がなくなる。
【０１３４】
また、請求項４記載の方法又は請求項１１記載のシステムを用いてコメントを表示することによって、一度に表示するコメントの量を制御することができ、コメントを読みやすく表示できる。
【０１３５】
＜実施形態例２＞
本発明の第２の実施例による映像コメント入力・表示システムは、Ｐ２Ｐ(ピア・ツー・ピア）方式を用いて、クライアント間で映像を同時に視聴しながら、ユーザが書き込みをしたコメントを表示し、あるいは新規に感想を書き込むコミュニケーションシステムである。図２５は、このような本発明の第２実施例におけるコミュニケーションシステムの説明図である。本実施例では、映像を配信し、また、各ユーザからのコメントを蓄積、配信するクライアントＡをサーバ装置と呼び、映像を視聴しながらコメントの読み書きをするクライアント１〜ｎをクライアント装置と呼ぶ。
【０１３６】
図２６は本発明の第２実施例を示すシステム構成図である。
【０１３７】
本発明の第２実施例の映像コメント入力・表示システムは、複数台のクライアント装置２１と、サーバ装置２２とを含み、クライアント装置２１とサーバ装置２２は、例えば、インターネットのようなネットワーク(図示はされていない)を介して接続される。クライアント装置は複数台存在し得るが、説明の簡略化のため、以下では１台のクライアント装置２１について説明する。
【０１３８】
概略として説明すると、映像視聴中に、サーバ装置２２上に蓄積されているコメント情報をクライアント装置２１上に逐次表示しつつ、クライアント装置２１上で入力されたコメントをサーバ装置２２上に逐次蓄積し、クライアント装置２１上に表示するシステムである。コメントを入力する際には映像上の場所を指定して入力することが可能である。また、コメントを表示する際には、表示するコメントの総量と表示領域の大きさを考慮しながら、動的に表示領域の位置や大きさを変更し、どのような場所にどのようなコメントが書かれているかを容易に把握できるようにする。
【０１３９】
クライアント装置２１は、サーバ装置２２上の映像ＤＢ２２２から映像を受け取る映像再生インタフェース２１１を有する。映像再生インタフェース２１１は、サーバ装置２２上の映像再生制御部２２１から再生、巻き戻し、停止などの再生制御を受け取ることで、サーバ装置２２の操作と同期して映像の再生を行う。
【０１４０】
クライアント装置２１は、映像の中でコメントを書き込みたい場所として、映像の時間軸上のある位置、もしくは区間を指定することができ、さらに、表示された画面空間上の座標あるいは領域を指定することができる、コメント入力場所指定部２１２を有する。
【０１４１】
本実施例では、マウスカーソルなどを用いて画面上の座標を指定した時に、映像の時間及び指定された座標を位置情報として取得する。また、コメント入力場所指定部２１２は、画面上に表示されているコメントを直接指定することで、そのコメントが指し示す座標を取得し、また、指定した際の時間を取得することもできる。図２７は、本発明の第２実施例におけるコメント指定による座標取得の説明図である。
【０１４２】
クライアント装置２１は、コメント入力場所指定部２１２により指定された位置情報に対応するコメントを入力するコメント入力部２１３を有する。また、コメント入力部２１３は、コメントおよび指定された位置情報をコメント情報としてサーバ装置２２上のコメント情報蓄積部２２４に送る。本実施例のコメント情報は、本発明の第１実施例のコメント情報（図４）と同様に、コメントと、指定された時間及び画面上の座標である。
【０１４３】
クライアント装置２１は、映像の時間を逐次取得し、サーバ装置２２上のコメント取得部２２６に送信する映像時間取得部２１４を有する。
【０１４４】
クライアント装置２１は、サーバ装置２２のコメント取得部２２６により取得された複数のコメント情報を受け取り、画面上に表示されるコメント数や、コメントの表示状態を制御する、コメント表示制御部２１５を有する。
【０１４５】
本実施例では、映像画面上のある場所（時間情報及び空間情報）を指定した時に、その場所に関連するコメントを選択し、画面に表示するように制御する。
【０１４６】
クライアント装置２１は、コメント表示制御部２１５によって選択・制御されたコメントを、コメント情報を用いて、入力時に指定した場所を指し示すようにして表示する、コメント表示部２１６を有する。
【０１４７】
本実施例では、入力時に指定された空間上の座標情報を用い、同じ座標を指しているコメント毎に吹き出し状のコメント表示領域を設けて、座標毎にコメントをまとめて表示する。図２８には、このような本発明の第２実施例における吹き出し状の表示領域を用いたコメント表示手段が示されている。このコメント表示の際、同時に表示されるコメント表示領域の数と各コメント表示領域の最小表示面積とから、コメント表示領域が互いに重ならないように場所と表示面積を動的に変更してレイアウトする。また、コメント表示領域が大量に画面上に表示される場合、近い場所を指し示すコメント同士をまとめて一つのコメント表示領域に表示することで、コメント表示領域の数を制限しながらコメントを表示する。
【０１４８】
以上のようにして得られる本発明の第２実施例におけるクライアント装置２２上の画面表示例が図２９に示されている。
【０１４９】
サーバ装置２２は、映像コンテンツを保持する映像ＤＢ２２２と、映像ＤＢ２２２から映像を選択し、映像の再生、巻き戻し、早送りなどの映像再生制御を行う映像再生制御部２２１を有する。映像再生制御部２２１は、映像コンテンツとともに映像再生制御コマンドを複数のクライアント装置２１に送ることで、クライアント装置２１の映像再生を制御する。
【０１５０】
サーバ装置２２は、映像領域情報を保持する映像領域情報ＤＢ２２３、およびコメント情報を保持するコメント情報ＤＢ２２５を有する。
【０１５１】
映像領域情報ＤＢ２２３が保持する映像領域情報とは、例えば、人物の顔や車など、画面上に写った物体それぞれの領域を示す情報である。物体の領域を自動的に抽出する方法については、映像解析技術を用いた「赤間、三井、紺谷、串間、“画像内オブジェクトの自動抽出を使った画像検索システム ＥｘＳｉｇｈｔ”、ＤＥＷＳ‘９７ Ｐｒｏｃｅｅｄｉｎｇｓ、Ｍａｒｃｈ、１９９７」などに記載されている。また、時間経過とともに移動する物体を追跡する方法に関しては、「三須、苗村、境田、鄭、金次、“複数情報の融合によるサッカー選手のロバストな追跡法”、信学技法、MVE2001-46,pp.23-30,2001」などに記載されている。
【０１５２】
図３０は、本発明の第２実施例における映像領域情報ＤＢ２２４に蓄積された映像情報の説明図である。本実施例では、図３０に示すように、時間ごとに検出された領域名と領域形状を映像領域情報ＤＢ２２３上に蓄積する。この時、時間tと時間t+1で同じ領域として認識される領域には同じ領域名を付与して蓄積する。例えば、図３０では、時間tと時間t+1において同じ領域として推定される顔領域に対して、領域２という名前を付与する。上記のような領域認識、追跡技術を用いれば、例えば、図３０の領域nのように、時間とともに移動および変形する領域に関しても同一の名称をつけることができる。
【０１５３】
サーバ装置２２は、コメント入力部２１３より送信されたコメント情報をコメント情報ＤＢ２２５に蓄積する、コメント情報蓄積部２２４を有する。
【０１５４】
コメント情報蓄積部２２４は、コメント情報を蓄積する際に、コメントが入力された時間および指定された座標に対して所定の幅を持たせることができる。本実施例では、映像領域情報ＤＢ２２３に蓄積された映像領域情報を用いて、指定された座標を含む領域iを、そのコメントの空間上の領域とする。また、領域iが画面上に表示されている時間区間を時間軸上の区間として蓄積する。図３１には、本発明の第２実施例におけるコメント情報ＤＢに蓄積された、拡張されたコメント情報の説明図が示されている。このように拡張することで、例えば、人物の顔を指定した場合に、その顔が画面上に表示されている時間区間及び表示領域をコメントの位置情報とする。
【０１５５】
サーバ装置２２は、映像時間取得部２１４から入力された時間情報を用いて、時間情報に関連したコメント情報をコメント情報ＤＢ２２５から複数取り出し、コメント表示制御部２１５に送信する、コメント取得部２２６を有する。本実施例では、図３１に示すコメント情報ＤＢ内の各エントリの時間情報が、入力された時間情報tを含む区間ts≦t＜teである場合に、そのコメント情報を取得し、送信する。
【０１５６】
次に、本発明の第２実施例による映像コメント入力・表示システムの全体的な動作について簡単に説明する。図３２は、本発明の第２実施例における映像コメント入力・表示システムの全体フローチャートである。
【０１５７】
ステップ２１：サーバ装置２２上の映像再生制御部２２１により、映像の再生や巻き戻し、一時停止などの映像再生制御を行う。
【０１５８】
ステップ２２：クライアント装置２１上で映像を表示して一定時間が経過したかどうかを判定する。例えば、タイマー処理などで一定時間ごとにシグナルを発生させることで時間経過を計ることができる。
【０１５９】
ステップ２３：ユーザがクライアント装置２１上のコメント入力場所指定部２１２を用いて、コメント入力場所を指定したかどうかを判定する。具体的には、図２９において、マウスカーソルを用いて映像表示領域上のある一点の座標を指定した場合に、画面空間上の座標を指定したと判定する。図２７のように、コメント表示領域内のコメントを指定した場合は、指定されたコメントのコメント情報を参照し、コメントの指し示す場所(領域i)を画面空間上の場所として判定する。また、マウスがクリックされた時に再生制御中の映像の時間を取得する。
【０１６０】
ステップ２４：ユーザがコメントを入力したかどうかを判定する。具体的には図２９に示すコメント入力部を用い、ユーザがコメントを入力してＯＫボタンを押下した場合に、コメント入力されたと判定する。コメント入力された場合、コメント入力部２１３は、ステップ２３により取得された画面空間上の座標及び時間とコメントを、コメント情報としてコメント蓄積部２２４に送信する。
【０１６１】
ステップ２５：ステップ２４により取得された画面空間上の座標及び時間と、コメントを、コメント情報ＤＢ２２５に蓄積し、ステップ２１に戻る。この際、映像領域情報ＤＢ２２３に蓄積された映像領域情報を用いて位置情報を拡張する。位置情報の拡張の詳細は後述する。
【０１６２】
ステップ２６：映像が表示されて一定時間が経過したので、再生されている映像の時間を取得する処理を行う。
【０１６３】
ステップ２７：コメント取得部２２６は、ステップ２６で取得された映像時間を用いて、コメント情報ＤＢ２２５から映像時間に関連するコメント情報を取得する。取得方法は、上述の本発明の第１実施例におけるコメント取得処理の処理フロー(図１６)と同じであるため詳細の説明は省く。
【０１６４】
ステップ２８：ユーザが表示するコメントを選択したかどうかを判定する。
【０１６５】
ステップ２９：ステップ２８においてコメント表示の指定を行った場合、変更に伴うコメント表示の制御処理を、コメント表示制御部２１５において行う。
【０１６６】
ステップ２１０：コメント表示制御部２１５に従い、コメントが入力された場所を指し示すようにコメント表示を行い、ステップ２１に戻る。
【０１６７】
次に、上記の全体的な動作フローのステップ２５のコメント情報の蓄積方法について詳述する。
【０１６８】
図３３は、本発明の第２実施例における、ステップ２４で取得されるコメント情報と、コメント情報ＤＢ２２５上に蓄積される拡張されたコメント情報の説明図である。ステップ２５では、ステップ２４で取得されたコメント情報を、図３３に示すように、拡張されたコメント情報としてコメント情報ＤＢ２２５に格納する。
【０１６９】
図３４は、本発明の第２実施例において、コメント情報蓄積部２２４が実行するコメント情報の蓄積方法を示す、詳細フローチャートである。蓄積されるコメント情報の時間をtとし、また、コメント情報には、空間情報として、座標情報(x,y)あるいは領域aが含まれる場合を考える。領域aが含まれる場合とは、ステップ２３においてコメント表示領域をコメント入力場所として指定した場合である。
【０１７０】
ステップ２５１：ステップ２４で取得されたコメント情報の空間情報が、領域であるかどうかを判定する。
【０１７１】
ステップ２５２：空間情報が領域である場合、拡張する空間情報(領域t)を領域aとしてステップ２５１０に進む。
【０１７２】
ステップ２５３：時間ｔに検出された映像領域情報ＤＢ２２３上の映像領域総数をnとする。また、映像領域走査用のインデクスiを初期化する。
【０１７３】
ステップ２５４：i番目の映像領域情報の領域を取得する。
【０１７４】
ステップ２５５：ステップ２５４で取得した領域が座標(x,y)を含むか判定する。
【０１７５】
ステップ２５６：領域が座標(x,y)を含む場合、領域tを領域iとしてステップ２５１０に進む。
【０１７６】
ステップ２５７：次の映像領域情報を走査するため、インデクスiをインクリメントする。
【０１７７】
これにより、領域tが取得される。
【０１７８】
ステップ２５８：映像の開始時間をTs、終了時間をTeとする。領域tの開始時間ts及び終了時間teを初期化する。また、インデクスtおよび領域表示フラグshowを初期化する。
【０１７９】
ステップ２５９：時間tに検出されたすべての領域を、映像領域情報ＤＢ２２３から取得する。
【０１８０】
ステップ２５１０：ステップ２５９で取得した領域中に、領域tが含まれているかを判定する。領域が含まれていない場合、ステップ２５１４に進む。
【０１８１】
ステップ２５１１：ステップ２５９で取得した領域に、領域tが含まれている場合、領域ｔが画面上に表示されていることになるので、領域表示フラグshowを判定する。
【０１８２】
ステップ２５１２：フラグshowがfalseの場合、時間t以前に領域tは表示されていなかったことを示すので、領域tの開始時間tsにtを代入する。またフラグshowをtrueとして、ステップ２５１５に進む。
【０１８３】
ステップ２５１３：フラグshowがtrueの場合、すでに領域tは表示されているので、終了時間teにtを代入する。
【０１８４】
ステップ２５１４：映像の開始から終了まですべてを走査したかを判定し、走査した場合は処理を終了する。
【０１８５】
ステップ２５１５：次の時刻の領域を走査するため、tをインクリメントする。
【０１８６】
これにより、表示区間［Ts,Te]が取得される。
【０１８７】
次に、図３２の全体的な動作フローのステップ２９のコメント表示制御処理について詳述する。
【０１８８】
コメント表示制御部２１５は、ステップ２８において表示するコメントの選択を行った場合に、ステップ２９で表示するコメントの選択を行う。
【０１８９】
図３５は、本発明の第２実施例において、クライアント装置２１のコメント表示制御部２１５が実行するコメント表示制御処理の詳細フローチャートである。
【０１９０】
ステップ２９１：ステップ２７のコメント取得処理により取得されたコメント情報すべてを選択状態にする。
【０１９１】
ステップ２９２：ユーザがマウスカーソルによるクリック等で、映像表示領域内の特定の座標を指定したかどうかを判定する。
【０１９２】
ステップ２９３：座標が指定された場合、表示コメント選択処理を行い表示するコメントを選択する。
【０１９３】
図３６は、本発明の第２実施例において、クライアント装置２１のコメント表示制御部２１５が実行する表示コメント選択処理の詳細フローチャートである。
【０１９４】
ステップ２９０１：コメント取得処理により取得されたコメント情報の総数をnとする。また、コメント情報走査用のインデクスiを初期化し、コメント選択判定用の配列select[n]を用意する。
【０１９５】
ステップ２９０２：i番目のコメント情報の場所情報(領域i)を取得する
ステップ２９０３：領域iが指定された座標を含むかどうかを判定する。
【０１９６】
ステップ２９０４：座標を含まない場合、select[i]をfalseにする。
【０１９７】
ステップ２９０５：座標を含む場合、select[i]をtrueにする。
【０１９８】
ステップ２９０６：すべてのコメント情報を走査したか判定する。
【０１９９】
ステップ２９０７：すべて走査していない場合、次のコメント情報を走査するためにインデクスiをインクリメントする。
【０２００】
ステップ２９０８：すべて走査した場合、select[i]がtrueとなっているすべてのコメント情報を取得する。
【０２０１】
さらに、図３２の全体的な動作フローのステップ２１０のコメント表示処理について詳述する。
【０２０２】
ステップ２１０では、コメント表示制御部２１５により選択されたコメント情報を、同じ場所を指しているコメント毎に吹き出し状のコメント表示領域を設けて、場所毎にコメントをまとめて表示する。この際、同時に表示されるコメントの量、及びコメント表示領域の最小面積から、互いのコメント表示領域が重なり合わないように、コメント表示領域の配置と面積を動的に変更してレイアウトする。また、コメント表示領域が大量に画面上に表示される場合、近い場所を指し示すコメント同士をまとめ、一つのコメント表示領域に表示することで、コメント表示領域の数を制限しながらコメントを表示する。
【０２０３】
図３７は、本発明の第２実施例において、クライアント装置１のコメント表示部２１６が実行するコメント表示処理の詳細フローチャートである。
【０２０４】
ステップ２１０１：コメント表示制御処理により選択されたコメントを、コメントが指し示す領域毎に分類する。図３８には、コメント情報分類の説明図が示されている。
【０２０５】
ステップ２１０２：領域毎にコメント表示領域を用意して、画面上に仮配置する。仮配置する場合には、それぞれのコメント表示領域を、表示に必要な最低限の領域に制限し、コメント表示領域が配置可能な領域(表示可能領域)に配置する。図３９には、コメント表示領域の仮配置方法の説明図が示されている。映像上にコメント表示領域を配置した場合、映像視聴を阻害する恐れがあるため、本実施例の表示可能領域は、図３９に示されるように、映像表示領域部分をくりぬいたロの字型の領域とする。配置方法の詳しいアルゴリズムは後述する。
【０２０６】
ステップ２１０３：コメント表示領域を仮配置した場合、すべて表示可能かを判定する。コメント表示領域がすべて表示可能な場合はステップ２１０５に進む。また、表示不可能な場合はステップ２１０４に進む。図４０には、全てのコメントの表示領域の配置が不可能な場合の例が示されている。
【０２０７】
ステップ２１０４：コメント表示領域をすべて表示することが不可能な場合は、コメント表示領域が表示可能な数になるように、近い場所を指すコメント同士をまとめ、一つの表示領域に表示するようにする、コメントマージ処理を行う。
【０２０８】
ステップ２１０５：仮配置されたコメント表示領域を、配置可能領域を有効に使うように再配置し、コメント表示領域の大きさを変更してコメントを見やすくする、表示領域配置処理を行う。
【０２０９】
図４１は、本発明の第２実施例において、クライアント装置１のコメント表示部２１６が実行する、領域を仮配置する際に用いる仮配置アルゴリズムを示す詳細フローチャートである。
【０２１０】
ステップ２１２１：表示されていないi個のコメント領域に対して処理を行う。i個のコメントのリストlistを用意する。
【０２１１】
ステップ２１２２：表示可能領域にコメントが配置可能かどうかを判定する。表示可能でない場合、エラーとして処理を終了する。
【０２１２】
ステップ２１２３：距離[i]を用意し、インデクスjを初期化する。
【０２１３】
ステップ２１２４：初めてコメントを画面上に配置するかどうか（すなわち、先に画面上に配置されているコメントが無いかどうか）を判定する。
【０２１４】
ステップ２１２５：j番目のコメント領域の中心とコメントが指し示す領域の重心位置との距離[j]がもっとも短くなるように、j番目のコメント領域を表示可能領域中の適当な場所に配置する。
【０２１５】
ステップ２１２６：すでにコメントが配置されている場合は、コメント領域の中心とコメントが指し示す領域の重心位置との距離[j]が最短となるように、既に配置されているコメントに隣接した場所にj番目のコメント領域を配置する。図４２には、コメント表示領域の距離計算アルゴリズムの説明図が示されている。
【０２１６】
ステップ２１２７：i個のコメントに対して距離を求めたかどうかを判定する。
【０２１７】
ステップ２１２８：i個のコメントのうち、まだ距離を求めていないコメントが存在する場合は、インデクスｊをインクリメントしてステップ２１２３に戻る。
【０２１８】
ステップ２１２９：i個のコメントの中で、距離[j]が最も短い領域jを選択し、表示可能領域に配置する。図４３は。コメント表示領域の仮配置アルゴリズムの説明図である。
【０２１９】
ステップ２１２１０：listからコメントjを削除し、iをデクリメントする。
【０２２０】
ステップ２１２１１：すべてのコメントを配置したかどうかをチェックし、配置した場合は処理を終了する。
【０２２１】
図４４は、本発明の第２実施例において、クライアント装置２１のコメント表示部２１６が実行するコメントマージ処理の詳細フローチャートである。また、図４５は、コメントマージ処理の説明図である。
【０２２２】
ステップ２１４１：コメント表示領域の総数をnとし、表示不可能なコメント表示領域の総数をmとする。
【０２２３】
ステップ２１４２：mが０であるかを判定する。０の場合処理を終了する。
【０２２４】
ステップ２１４３：領域マージ用の変数rを初期化する。
【０２２５】
ステップ２１４４：n個のコメント表示領域が指し示す各領域の重心から半径rの円を描く。図４５の（１）にコメントが参照する領域の重心から半径rで描いた円が示されている。
【０２２６】
ステップ２１４５：円の重なる領域があるかどうか判定する。
【０２２７】
ステップ２１４６：重なる領域がない場合、rをインクリメントする。
【０２２８】
ステップ２１４７：円の重なる領域があった場合、重なり合いのあるすべての領域を指し示すコメントをひとつのコメント表示領域にまとめる。また、新たなに生成するコメント表示領域は、円の重なる領域すべての重心を指し示すようにする。図４５の(２)には、このようにしてマージされたコメント１、２及び３のコメント表示領域が示されている。
【０２２９】
ステップ２１４８：コメント表示領域の総数mを
m=m-（円の重なった領域数）+1
として、ステップ２１４２に戻る。
【０２３０】
図４６は、本発明の第２実施例において、クライアント装置２１のコメント表示部２１６が実行する表示領域配置処理の詳細フローチャートである。
【０２３１】
ステップ２１５１：コメント表示領域の総数をnとし、仮配置した逆の順番でコメント表示領域をソートする。また配置用のインデクスiを初期化する。
【０２３２】
ステップ２１５２：配置可能領域内で空いている領域にコメント表示領域iを移動し、コメント表示領域が指し示す領域の重心との距離が最短になるように配置する。図４７には、表示領域配置処理の説明図が示されている。
【０２３３】
ステップ２１５３：n個のコメント表示領域の移動が終わったかどうかを判定する。
【０２３４】
ステップ２１５４：次のコメント表示領域を移動させるために、インデクスiをインクリメントする。
【０２３５】
ステップ２１５５：インデクスiを初期化する。
【０２３６】
ステップ２１５６：配置可能領域内で空いている領域に、コメント表示に必要な分だけコメント表示領域を拡大する。図４８には表示領域拡大処理の説明図が示されている。
【０２３７】
ステップ２１５７：n個のコメント表示領域の拡大が終わったかどうかを判定する。終わった場合処理を終了する。
【０２３８】
ステップ２１５８：次のコメント表示領域を拡大させるために、インデクスiをインクリメントする。
【０２３９】
このようにして、本発明の第２実施例によれば、請求項１記載の映像コメント入力・表示方法、或いは、請求項８記載の映像コメント入力・表示システムを用いることで、コメントしたい場所を指し示してコメントすることができる。また、コメントを閲覧する際に、映像表示領域上の場所を指定することで、どのような場所にどの程度のコメントが書き込まれているかを一目で把握できるようにコメントを表示することができる。
また、請求項２記載の方法、又は、請求項９記載のシステムを用いて、コメント入力場所を指定することにより、コメントに対するコメントを書き込みする際に、容易に書き込みたい先を指定することができる。
【０２４０】
また、請求項３記載の方法、又は、請求項１０記載のシステムを用いて、コメントを蓄積することにより、コメントを入力する場所、あるいはコメントを表示させたい場所を指し示す際に、正確にある一点を指定する必要がなくなる。
【０２４１】
また、請求項５記載の方法、又は、請求項１２記載のシステムを用いて、コメントを表示することにより、コメントの量や表示する場所、面積を動的に変更することができ、コメントを見やすく表示することができる。
【０２４２】
また、請求項６記載の方法、又は、請求項１３記載のシステムにおいて、コメントを表示することにより、同じ場所に対して書き込まれたコメントを一覧することができる。
【０２４３】
また、請求項７記載の方法、又は、請求項１４記載のシステムにおいて、コメントを表示することにより、コメント表示領域が画面上に大量に表示する必要がある場合でも、一定の量に抑えることができ、かつ、近い場所を指すコメント同士をまとめるため、コメントの指し示す位置情報が失われることはない。
【０２４４】
本発明の第２実施例ではコメントの表示位置や大きさが、コメントしたい領域の位置や同時に表示されるコメント数によって動的に変化するため、映像の内容が時間の推移によって変化した場合でも容易にコミュニケーションし易い環境を提供することができる。図４９には、本発明の第２実施例による映像の時間的推移におけるコメント表示の変化についての説明図が示されている。
【０２４５】
本発明の第２実施例ではクライアント・サーバ型システムにおいて映像を同時に視聴しながらコミュニケーションをする方法を例として提示したが、サーバ装置のコメント情報ＤＢからコメント情報をダウンロードし、クライアントで映像視聴をしながらコメントを見たり付与したりする、非同期型のコミュニケーションにおいても本発明は適用できる。新たに入力したコメント情報をサーバ装置側にアップロードすることで、自分のコメント情報を多くの人に共有してもらうというコミュニケーションが可能である。
【０２４６】
上記の本発明の実施例による映像コメント入力・表示方法は、ソフトウェア（プログラム）で構築することが可能であり、コンピュータのＣＰＵによってこのプログラムを実行することにより本発明の実施例による映像コメント入力・表示システムを実現することができる。構築されたプログラムは、ディスク装置等に記録しておき必要に応じてコンピュータにインストールされ、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ等の可搬記録媒体に格納して必要に応じてコンピュータにインストールされ、或いは、通信回線等を介してコンピュータにインストールされ、コンピュータのＣＰＵによって実行される。
【０２４７】
以上、本発明の代表的な実施例を説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０２４８】
【発明の効果】
以上の説明の通り、本発明によれば、ネットワーク上で映像を介したコミュニケーションを行う場合において、従来の方法に比べ、話題を的確に表現したり把握したりしながら、コミュニケーションを図ることができる。より具体的には、映像に対するコメントを、話題としたい場所を指し示しながら書き込むことができる。また、映像のどういった場所にどのようなコメントが書かれているのか容易に把握できるようになる。自分の興味ある対象に対して書き込まれているコメントを容易に探し出すこともでき、また、そのコメントに対するコメントを容易に書き込むことができるため、コミュニケーションを活発に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の映像コメント入力・表示方法の原理説明図である。
【図２】本発明の映像コメント入力・表示装置の略構成図である。
【図３】本発明の第１実施例におけるシステム構成図である。
【図４】本発明の第１実施例におけるコメント情報の説明図である。
【図５】本発明の第１実施例におけるコメント表示制御方法の説明図である。
【図６】本発明の第１実施例におけるクライアント装置上の画面表示例である。
【図７】本発明の第１実施例における場面の切り替わり点を用いた映像区間の説明図である。
【図８】本発明の第１実施例における映像区間情報ＤＢ２２上の映像区間情報の蓄積方法の説明図である。
【図９】本発明の第１実施例における指定された座標を画面上の領域に拡張する方法の説明図である。
【図１０】本発明の第１実施例におけるコメント情報ＤＢ２４上に蓄積されたコメント情報の説明図である。
【図１１】本発明の第１実施例における映像コメント入力・表示システムの全体フローチャートである。
【図１２】本発明の第１実施例におけるコメント入力手段の説明図である。
【図１３】本発明の第１実施例におけるコメント情報蓄積処理の詳細フローチャートである。
【図１４】本発明の第１実施例における互いに重なり合う映像区間から映像区間を取得する処理の説明図である。
【図１５】本発明の第１実施例において蓄積された、拡張されたコメント情報の詳細説明図である。
【図１６】本発明の第１実施例におけるコメント取得処理の詳細フローチャートである。
【図１７】本発明の第１実施例において取得されたコメント情報の説明図である。
【図１８】本発明の第１実施例におけるコメント表示制御処理の詳細フローチャートである。
【図１９】本発明の第１実施例における表示コメント選択処理の詳細フローチャートである。
【図２０】本発明の第１実施例における表示コメント選択処理の説明図である。
【図２１】本発明の第１実施例における表示領域拡大縮小処理の説明図である。
【図２２】本発明の第１実施例における表示領域スクロール処理の説明図である。
【図２３】本発明の第１実施例におけるコメント表示処理の説明図である。
【図２４】本発明の第１実施例において映像領域上の場所を指定してコメントを表示させる例の説明図である。
【図２５】本発明の第２実施例におけるコミュニケーションシステムの説明図である。
【図２６】本発明の第２実施例におけるシステム構成図である。
【図２７】本発明の第２実施例におけるコメント指定による座標取得の説明図である。
【図２８】本発明の第２実施例における吹き出し状の表示領域を用いたコメント表示部の説明図である。
【図２９】本発明の第２実施例におけるクライアント装置上の画面表示例である。
【図３０】本発明の第２実施例において蓄積された映像領域情報の説明図である。
【図３１】本発明の第２実施例において蓄積された、拡張されたコメント情報の説明図である。
【図３２】本発明の第２実施例における映像コメント入力・表示システムの全体フローチャートである。
【図３３】本発明の第２実施例において蓄積されたコメント情報の説明図である。
【図３４】本発明の第２実施例におけるコメント情報蓄積処理の詳細フローチャートである。
【図３５】本発明の第２実施例におけるコメント表示制御処理の詳細フローチャートである。
【図３６】本発明の第１実施例における表示コメント選択処理の詳細フローチャートである。
【図３７】本発明の第２実施例におけるコメント表示処理の詳細フローチャートである。
【図３８】本発明の第２実施例におけるコメント情報分類の説明図である。
【図３９】本発明の第２実施例におけるコメント表示領域の仮配置処理の説明図である。
【図４０】本発明の第２実施例において、すべてのコメント表示領域の配置が不可能な場合の例を示す説明図である。
【図４１】本発明の第２実施例におけるコメント表示領域の仮配置処理の詳細フローチャートである。
【図４２】本発明の第２実施例におけるコメント表示領域の距離計算アルゴリズムの説明図である。
【図４３】本発明の第２実施例におけるコメント表示領域の仮配置アルゴリズムの説明図である。
【図４４】本発明の第２実施例におけるコメントマージ処理の詳細フローチャートである。
【図４５】本発明の第２実施例におけるコメントマージ処理の説明図である。
【図４６】本発明の第２実施例における表示領域配置処理の詳細フローチャートである。
【図４７】本発明の第２実施例における表示領域配置処理の説明図である。
【図４８】本発明の第２実施例における表示領域拡大処理の説明図である。
【図４９】本発明の第２実施例における映像の時間的推移におけるコメント表示の変化についての説明図である。
【図５０】従来の専用ソフトウェアを用いた映像コミュニケーション方法の説明図である。
【図５１】従来の専用ソフトウェアを用いた映像コミュニケーション方法における問題点の説明図である。
【図５２】時間軸上のある場所を指定する既存インタフェースの説明図である。
【図５３】コメントと場所を対応付けする一方法の説明図である。
【符号の説明】
１ クライアント装置
２ サーバ装置
１１ 映像再生制御部
１２ コメント入力場所指定部
１３ コメント入力部
１４ コメント表示機能制御インタフェース
１５ 映像時間取得部
１６ コメント表示制御部
１７ コメント表示部
２１ 映像ＤＢ
２２ 映像区間情報ＤＢ
２３ コメント情報蓄積部
２４ コメント情報ＤＢ
２５ コメント取得部
Claims (22)
- 再生制御手段、コメント入力場所指定手段、コメント入力手段、コメント蓄積手段、コメント表示制御手段、コメント表示手段を有する装置において、ネットワーク上で映像に関するコミュニケーションを図るための映像コメント入力・表示方法であって、
前記再生制御手段が、入力された映像コンテンツについて、ユーザからの要求に応じて、映像の再生や一時停止などの再生制御を行う再生制御手順と、
前記コメント入力場所指定手段が、前記ユーザからの、再生制御された映像の中でコメントを入力したい場所の時間情報及び空間情報の指定を受け付ける時間・空間情報受付手順と、
前記コメント入力手段が、前記ユーザから前記時間情報及び前記空間情報に関連したコメントの入力を受け付ける手順と、
前記コメント蓄積手段が、前記時間情報、前記空間情報、及び前記コメントをコメント情報としてコメント情報記憶手段に蓄積するコメント蓄積手順と、
前記コメント表示制御手段が、再生中の映像の時間情報を取得し、前記コメント情報記憶手段から該再生中の映像の時間情報に対応しているコメント情報を取得し、指定された、表示したいコメント、コメントを表示したい場所、及びコメントの量に基づいて、該コメント情報のコメントを画面に表示できるように表示されるコメントを制御するコメント表示制御手順と、
前記コメント表示手段が、コメントが入力された位置情報に合わせて用意されたコメント表示領域を、コメントを入力したい場所として指定された場所を指し示すように表示するコメント表示領域制御手順と、
を行うことを特徴とする映像コメント入力・表示方法。 - 前記時間・空間情報受付手順は、
コメントに対して書き込みをする際に
コメント表示機能制御インタフェースが、ユーザにより直接指定された、コメント表示中のコメント表示領域に追加書き込みを行う
請求項１記載の映像コメント入力・表示方法。 - 前記コメント蓄積手順は、
前記コメント情報蓄積手段が、指定された位置情報の時間情報及び／又は空間情報に対して所定の許容幅を与え、これにより得られた場所をコメントと共に前記コメント情報記憶手段に蓄積する
請求項１または２記載の映像コメント入力・表示方法。 - 前記コメント表示制御手順は、
前記コメント表示制御手段が、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、一度に表示するコメントの量及びその表示方法を動的に変更する
請求項１乃至３のうちいずれか１項記載の映像コメント入力・表示方法。 - 前記コメント表示領域制御手順は、
前記コメント表示手段が、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、前記コメント表示領域の配置と表示面積を動的に変更する
請求項１乃至４のうちいずれか１項記載の映像コメント入力・表示方法。 - 前記コメント表示領域制御手順は、
前記コメント表示手段が、同じ位置を指し示すコメントを纏めて１つのコメント表示領域に表示する
請求項１乃至５のうちいずれか１項記載の映像コメント入力・表示方法。 - 前記コメント表示領域制御手順は、
前記コメント表示手段が、近い場所を指し示すコメントを纏めて一つの表示領域に表示する
請求項１乃至５のうちいずれか１項記載の映像コメント入力・表示方法。 - ネットワーク上で映像に関するコミュニケーションを図るための映像コメント入力・表示システムであって、
ユーザが映像の再生や一時停止などの再生制御を行う再生制御手段と、
再生制御された映像中で、コメントを入力したい場所の時間情報及び空間情報を指定する手段と、
コメントを入力する手段と、
上記コメントを入力する手段によりユーザが入力したコメントと、上記コメントを入力したい場所の時間情報及び空間情報を指定する手段により指定された位置情報を蓄積する手段と、
再生制御されている映像の時間を取得する手段と、
蓄積されたコメントの中から、取得した時間に関連したコメントを取得する手段と、
表示したいコメント、コメントを表示したい場所、及びコメントの量を指定してコメント表示制御をする手段と、
コメントを入力した位置情報に合わせてコメント表示領域を用意し、コメントを入力したい場所として指定された場所を指し示すように表示する手段と、
を有する映像コメント入力・表示システム。 - 上記時間情報及び空間情報を指定する手段は、コメントに対して書き込みする際に、コメントが表示されているコメント表示領域を直接指定して追加書き込みをする、請求項８記載の映像コメント入力・表示システム。
- 上記コメントと上記位置情報を蓄積する手段は、指定された位置情報の時間情報及び／又は空間情報に対して所定の許容幅を与え、これにより得られた場所をコメントと共に蓄積する、請求項８又は９記載の映像コメント入力・表示システム。
- 上記コメント表示制御をする手段は、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、一度に表示するコメントの量及びその表示システムを動的に変更する、請求項８乃至１０のうちいずれか一項記載の映像コメント入力・表示システム。
- 上記コメント表示領域を用意し、場所を指し示すように表示する手段は、コメントが表示可能な領域の総面積、同時に表示されるべきコメントの量、及びコメント表示領域の最小面積から、コメント表示領域の配置と表示面積を動的に変更して表示する、請求項８乃至１１のうちいずれか一項記載の映像コメント入力・表示システム。
- 上記コメント表示領域を用意し、場所を指し示すように表示する手段は、同じ位置を指し示すコメントをまとめて一つのコメント表示領域に表示する、請求項８乃至１２のうちいずれか一項記載の映像コメント入力・表示システム。
- 上記コメント表示領域を用意し、場所を指し示すように表示する手段は、近い場所を指し示すコメントをまとめて一つの表示領域に表示する、請求項８乃至１２のうちいずれか一項記載の映像コメント入力・表示システム。
- 映像再生制御手段、コメント入力場所指定手段、コメント入力手段、コメント情報蓄積手段、コメント表示制御手段、コメント表示手段を有する装置において、ネットワーク上で映像に関するコミュニケーションを図るための映像コメント入力・表示方法であって、
前記映像再生制御手段が、入力された映像コンテンツについて、ユーザからの要求に応じて、映像の再生や一時停止などの再生制御を行う再生制御手順と、
前記コメント入力場所指定手段が、前記ユーザからの、再生制御された映像の中でコメントを入力したい場所の時間情報及び空間情報の指定を受け付ける時間・空間情報受付手順と、
前記コメント入力手段が、前記ユーザから前記時間情報及び前記空間情報に関連したコメントの入力を受け付けるコメント入力手順と、
前記コメント情報蓄積手段が、前記時間情報、前記空間情報、及び該コメントをコメント情報としてコメント情報記憶手段に蓄積するコメント蓄積手順と、
前記コメント表示制御手段が、再生中の映像の時間情報を取得し、前記コメント情報記憶手段から該再生中の映像の時間情報に対応しているコメント情報を取得し、該コメント情報のコメントを画面に表示できるように表示されるコメントを制御するコメント表示制御手順と、
前記コメント表示手段が、前記表示されるコメントに関連した空間情報に合わせて用意されたコメント表示領域から該表示されるコメントに関連した空間情報で示された位置を指し示す画像を画面に表示するコメント表示領域制御手順と、
を行うことを特徴とする映像コメント入力・表示方法。 - ネットワークを介して映像に関するコミュニケーションを行うための映像コメント入力・表示システムであって、
映像を再生する手段と、
映像の再生中に、コメントを表示させる場所を指定する時間情報及び空間情報を入力する手段と、
上記時間情報及び上記空間情報に関連した表示されるべきコメントを入力する手段と、
上記時間情報、上記空間情報、及び上記コメントをコメント情報として蓄積する手段と、
再生中の映像の時間情報を取得する手段と、
上記コメント情報を蓄積する手段から、時間情報が上記取得された映像の時間情報に対応しているコメント情報を取得する手段と、
上記取得されたコメント情報のコメントを画面に表示できるように、表示されるコメントを制御する手段と、
上記表示されるコメントに関連した空間情報に合わせてコメント表示領域を用意し、コメント表示領域から上記表示されるコメントに関連した空間情報で示された位置を指し示す画像を画面に表示する手段と、
を有する映像コメント入力・表示システム。 - 映像を供給するサーバ装置と、供給された映像を再生制御するクライアント装置とを含み、ネットワークを介して映像に関するコミュケーションを行う映像コメント入力・表示システムにおいて、
入力された映像コンテンツについて、ユーザからの要求に応じて、映像の再生や一時停止などの再生制御を行う再生制御手段と、
映像再生中に、ユーザからコメントを表示させる場所を指定する時間情報及び空間情報の指定を受け付ける時間・空間情報受付手段と、
前記ユーザから前記時間情報及び前記空間情報に関連したコメントの入力を受け付け、該時間情報、該空間情報、及び該コメントをコメント情報としてサーバ装置へ送信するコメント入力・転送手段と、
再生中の映像の時間情報を取得し、前記サーバ装置から該再生中の映像の時間情報に対応しているコメント情報を取得し、該コメント情報のコメントを画面に表示できるように表示されるコメントを制御するコメント表示制御手段と、
前記表示されるコメントに関連した空間情報に合わせて用意されたコメント表示領域から該表示されるコメントに関連した空間情報で示された位置を指し示す画像を画面に表示するコメント表示領域制御手段と、
を有することを特徴とするクライアント装置。 - 映像を供給するサーバ装置と、供給された映像を再生制御するクライアント装置とを含み、ネットワークを介して映像に関するコミュケーションを行う映像コメント入力・表示システムにおいて、
前記サーバ装置と同期して映像を再生制御する再生制御手段と、
映像再生中に、ユーザからコメントを表示させる場所を指定する時間情報及び空間情報の指定を受け付ける時間・空間情報受付手段と、
前記ユーザから前記時間情報及び前記空間情報に関連したコメントの入力を受け付け、該時間情報、該空間情報、及び該コメントをコメント情報としてサーバ装置へ送信するコメント入力・転送手段と、
再生中の映像の時間情報を取得し、前記サーバ装置から該再生中の映像の時間情報に対応しているコメント情報を取得し、該コメント情報のコメントを画面に表示できるように表示されるコメントを制御するコメント表示制御手段と、
前記表示されるコメントに関連した空間情報に合わせて用意されたコメント表示領域から該表示されるコメントに関連した空間情報で示された位置を指し示す画像を画面に表示するコメント表示領域制御手段と、
を有することを特徴とするクライアント装置。 - 前記コメント表示制御手段は、
コメントが表示可能な領域の総面積、同時にコメントの量、及びコメント表示領域の最小面積に基づいて、同時表示するコメントの量、コメントの表示形式、コメント表示領域の配置、及びコメント表示領域の面積を動的に変更する手段を含み、
前記コメント表示領域制御手段は、
近い位置に指し示すコメントを纏めて一つのコメント表示領域に表示する手段を含む請求項１７または１８記載のクライアント装置。 - 映像を供給するサーバ装置と、供給された映像を再生制御するクライアント装置とを含み、ネットワークを介して映像に関するコミュニケーションを行う映像コメント入力・表示システムにおいて、
上記クライアント装置から、コメントを表示させる場所を指定する時間情報及び空間情報と、上記時間情報及び上記空間情報に関連した表示されるべきコメントをコメント情報として受信し蓄積する手段と
上記クライアント装置から再生中の映像の時間情報を受信し、時間情報が上記受信された映像の時間情報に対応しているコメント情報を取得し、上記クライアント装置へ送信する手段と、
を有し、
上記コメント情報を受信し蓄積する手段は、上記時間情報を、所定の幅を有する時間区間情報として蓄積し、
上記コメント情報を取得し送信する手段が取得し上記クライアント装置へ送信するコメント情報は、上記映像の時間情報が含まれる時間区間情報を有するコメント情報である、
サーバ装置。 - コンピュータに、
請求項１７乃至１９記載のクライアント装置の各手段を実行させることを特徴とするプログラム。 - 請求項２１のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002079104A JP3982295B2 (ja) | 2002-03-20 | 2002-03-20 | 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002079104A JP3982295B2 (ja) | 2002-03-20 | 2002-03-20 | 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003283981A JP2003283981A (ja) | 2003-10-03 |
| JP3982295B2 true JP3982295B2 (ja) | 2007-09-26 |
Family
ID=29228709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002079104A Expired - Lifetime JP3982295B2 (ja) | 2002-03-20 | 2002-03-20 | 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3982295B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103298530A (zh) * | 2011-01-14 | 2013-09-11 | 索尼电脑娱乐公司 | 信息处理装置 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4503335B2 (ja) * | 2004-03-31 | 2010-07-14 | パナソニック株式会社 | 超音波診断装置 |
| JP4270119B2 (ja) * | 2004-11-30 | 2009-05-27 | 日本電信電話株式会社 | 代表画像選定方法及び装置及びプログラム |
| JP4270118B2 (ja) * | 2004-11-30 | 2009-05-27 | 日本電信電話株式会社 | 映像シーンに対する意味ラベル付与方法及び装置及びプログラム |
| JP4270117B2 (ja) * | 2004-11-30 | 2009-05-27 | 日本電信電話株式会社 | 視聴者間コミュニケーション方法及び装置及びプログラム |
| JP2006155383A (ja) * | 2004-11-30 | 2006-06-15 | Nippon Telegr & Teleph Corp <Ntt> | 視聴者間コミュニケーションシステムのコメント応答方法及び装置及びプログラム |
| JP4380513B2 (ja) * | 2004-11-30 | 2009-12-09 | 日本電信電話株式会社 | 視聴者コミュニケーションシステムにおける後方映像区間参照コメント表示制御方法及び装置及びプログラム |
| JP4513667B2 (ja) * | 2005-06-20 | 2010-07-28 | 日本電信電話株式会社 | 映像情報入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 |
| JP4809153B2 (ja) * | 2006-07-31 | 2011-11-09 | 日本電信電話株式会社 | 連携コンテンツ同期ストリーミング配信サーバ、連携コンテンツ同期ストリーミング配信方法、その方法を実装したプログラム及びそのプログラムを格納した記録媒体 |
| JP4249771B2 (ja) * | 2006-09-28 | 2009-04-08 | 株式会社東芝 | コメント領域抽出装置、プログラムおよびコメント領域抽出方法 |
| JP4695583B2 (ja) * | 2006-12-11 | 2011-06-08 | 株式会社ドワンゴ | 表示装置、コメント表示方法、及びプログラム |
| JP4263218B2 (ja) * | 2006-12-11 | 2009-05-13 | 株式会社ドワンゴ | コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム |
| US7559017B2 (en) | 2006-12-22 | 2009-07-07 | Google Inc. | Annotation framework for video |
| JP5500334B2 (ja) * | 2007-01-22 | 2014-05-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| CN104185055A (zh) * | 2007-02-02 | 2014-12-03 | 索尼株式会社 | 信息处理设备和方法 |
| JP4773998B2 (ja) * | 2007-03-15 | 2011-09-14 | 富士フイルム株式会社 | 監視カメラ・システム，動画検索装置および顔画像データベース更新装置ならびにそれらの動作制御方法 |
| WO2008120638A1 (ja) * | 2007-03-30 | 2008-10-09 | Dwango Co., Ltd. | コメント配信システム、端末装置、コメント配信方法、及びプログラムを格納した記録媒体 |
| JP4799515B2 (ja) * | 2007-03-30 | 2011-10-26 | 株式会社ドワンゴ | コメント配信システム、コメント配信方法 |
| JP5196635B2 (ja) * | 2007-08-28 | 2013-05-15 | 日本放送協会 | ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム |
| JP5196634B2 (ja) * | 2007-08-28 | 2013-05-15 | 日本放送協会 | ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラム |
| US8112702B2 (en) * | 2008-02-19 | 2012-02-07 | Google Inc. | Annotating video intervals |
| US8566353B2 (en) | 2008-06-03 | 2013-10-22 | Google Inc. | Web-based system for collaborative generation of interactive videos |
| JP5355013B2 (ja) * | 2008-09-26 | 2013-11-27 | 株式会社エクシング | 画像提供システム、画像提供装置、コンピュータプログラム及び画像提供方法 |
| JP5120274B2 (ja) * | 2009-01-23 | 2013-01-16 | ソニー株式会社 | 情報提供方法及び情報提供装置、並びに、情報提示方法及び情報提示装置 |
| JP5235827B2 (ja) * | 2009-09-10 | 2013-07-10 | 株式会社エクシング | 映像情報配信システム |
| JP2011210052A (ja) * | 2010-03-30 | 2011-10-20 | Sharp Corp | ネットワークシステム、通信方法、および通信端末 |
| JP5094932B2 (ja) * | 2010-08-17 | 2012-12-12 | ヤフー株式会社 | 情報表示装置、方法及びプログラム |
| WO2012056726A1 (ja) * | 2010-10-29 | 2012-05-03 | パナソニック株式会社 | コミュニケーションサービスシステム |
| WO2012173021A1 (ja) * | 2011-06-13 | 2012-12-20 | ソニー株式会社 | 情報処理装置、情報処理方法、および、プログラム |
| JP5052691B1 (ja) | 2011-06-29 | 2012-10-17 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| US20130145248A1 (en) * | 2011-12-05 | 2013-06-06 | Sony Corporation | System and method for presenting comments with media |
| JP2012135031A (ja) * | 2012-02-27 | 2012-07-12 | Dowango:Kk | 動画配信システム、コンピュータプログラム及び配信動画再生方法 |
| JP5426707B2 (ja) * | 2012-02-27 | 2014-02-26 | 株式会社ドワンゴ | 端末装置、コマンド情報管理方法及びコンピュータプログラム |
| JP5975739B2 (ja) * | 2012-06-01 | 2016-08-23 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
| JP6006536B2 (ja) | 2012-06-01 | 2016-10-12 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
| JP6124517B2 (ja) | 2012-06-01 | 2017-05-10 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
| CN103797783B (zh) | 2012-07-17 | 2017-09-29 | 松下知识产权经营株式会社 | 评论信息生成装置及评论信息生成方法 |
| JP2014036232A (ja) * | 2012-08-07 | 2014-02-24 | Sharp Corp | コンテンツ配信システム、コンテンツ表示装置、コンテンツ配信方法、コンテンツ表示方法及びプログラム |
| JPWO2014097814A1 (ja) * | 2012-12-20 | 2017-01-12 | シャープ株式会社 | 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体 |
| JP6548203B2 (ja) * | 2013-03-18 | 2019-07-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法 |
| US10075544B2 (en) | 2013-04-30 | 2018-09-11 | Sony Corporation | Information processing apparatus and information processing method |
| JP6179889B2 (ja) * | 2013-05-16 | 2017-08-16 | パナソニックＩｐマネジメント株式会社 | コメント情報生成装置およびコメント表示装置 |
| JP6482295B2 (ja) * | 2015-01-27 | 2019-03-13 | 国立大学法人電気通信大学 | 動画配信システム及び動画再生装置 |
| JP6566698B2 (ja) * | 2015-04-13 | 2019-08-28 | キヤノン株式会社 | 表示制御装置および表示制御方法 |
| JP6686578B2 (ja) * | 2016-03-16 | 2020-04-22 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN105959808A (zh) * | 2016-04-21 | 2016-09-21 | 武汉斗鱼网络科技有限公司 | 一种删除视频弹幕的方法及装置 |
| CN106028151A (zh) * | 2016-05-25 | 2016-10-12 | 武汉斗鱼网络科技有限公司 | 一种直播网站用户权限控制方法及装置 |
| CN106101862A (zh) * | 2016-06-15 | 2016-11-09 | 武汉斗鱼网络科技有限公司 | 一种用于视频网站的智能弹幕保护方法及装置 |
| JP6572503B1 (ja) | 2018-09-26 | 2019-09-11 | 株式会社ドワンゴ | サーバシステム、アプリケーションプログラム配信サーバ、閲覧用端末、コンテンツ閲覧方法、アプリケーションプログラム、配信方法、アプリケーションプログラム配信方法 |
-
2002
- 2002-03-20 JP JP2002079104A patent/JP3982295B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103298530A (zh) * | 2011-01-14 | 2013-09-11 | 索尼电脑娱乐公司 | 信息处理装置 |
| CN103298530B (zh) * | 2011-01-14 | 2015-04-01 | 索尼电脑娱乐公司 | 信息处理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003283981A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3982295B2 (ja) | 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体 | |
| CN105357585B (zh) | 对视频内容任意位置和时间播放的方法及装置 | |
| US8250490B2 (en) | Display image control apparatus | |
| JP4695583B2 (ja) | 表示装置、コメント表示方法、及びプログラム | |
| JP4702743B2 (ja) | コンテンツ表示制御装置およびコンテンツ表示制御方法 | |
| US9646352B2 (en) | Parallel echo version of media content for comment creation and delivery | |
| CN1610904B (zh) | 运动图像数据管理设备和方法 | |
| US6851091B1 (en) | Image display apparatus and method | |
| US6988244B1 (en) | Image generating apparatus and method | |
| US20180132006A1 (en) | Highlight-based movie navigation, editing and sharing | |
| CN101663709A (zh) | 连续媒体流的规则采样和呈现 | |
| JP6949612B2 (ja) | 動画再生装置およびその制御方法、並びにプログラム | |
| JPWO2009041042A1 (ja) | 地図表示装置 | |
| CN113630547A (zh) | 图像显示装置、控制方法及非暂时性计算机可读存储介质 | |
| CN113918522A (zh) | 一种文件生成方法、装置及电子设备 | |
| JP5171024B2 (ja) | 表示画像制御装置及びその表示方法 | |
| CN112650428B (zh) | 动态数字内容的显示方法、图形用户接口与系统 | |
| JP5870944B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP2007207191A (ja) | 映像再生システムにおける遅延クリック方式ならびに該方式に用いられるプレイヤ装置およびサーバ装置 | |
| JP6684306B2 (ja) | 端末装置、動画配信装置、プログラム | |
| JP2000209541A (ja) | 動画像再生装置、及び動画像再生プログラムが記憶された記憶媒体 | |
| JP6336309B2 (ja) | 端末装置、動画配信装置、プログラム | |
| TW202238481A (zh) | 推薦適地性數位內容的方法與系統 | |
| JP2008090526A (ja) | 会議情報保存装置、システム、会議情報表示装置及びプログラム | |
| JP6867541B1 (ja) | 画像表示装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3982295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |