JP4096670B2 - 画像再生システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオデータ（動画データ）と静止画同データとを同期再生するシステムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータやモバイル端末などの閲覧クライアントに対して種々なコンテンツを配信するサービスが、特定領域或いは広域のサービスとして広く実施されている。
このようなコンテンツ配信を行うシステムには種々な態様があるが、ネットワーク通信技術の発達により、ビデオデータを含むコンテンツデータも配信されている。
【０００３】
コンテンツ配信システムの概要は、配信サーバに種々なコンテンツデータを登録しておき、閲覧クライアントが配信サーバにアクセスして所望のコンテンツを選択して要求すると、これに応えて、配信サーバが該当するコンテンツデータを閲覧クライアントに提供すると言うものである。
【０００４】
ここで、ビデオデータを配信するシステムでは、コンテンツの選択を容易化するために、ビデオデータに加えて、コンテンツのタイトル、コンテンツを選択するためのキーワード、コンテンツを選択するための分類情報、コンテンツの作者情報などを含むコンテンツレコード（メタデータ）がビデオデータに対応付けられており、閲覧クライアントを利用してコンテンツを視聴するユーザの便利を図っている。
【０００５】
【発明が解決しようとする課題】
配信されるビデオデータは、映画などの娯楽を目的としたものから、教育、講演、プレゼンテーションなどといった多種多様なものに拡張されてきている。特に、資料を用いて行われる講義、講演、プレゼンテーションなどといったもののビデオについては、資料の静止画像もビデオ画像とともに閲覧クライアントに提供して、これら画像を同期再生することが提供情報の充実を図るなどのために求められている。
【０００６】
また、ビデオは多くの場面を含んでいるが、上記の講演などのビデオにあっては資料から、それが使用されたビデオ中の場面を頭出して再生させることも求められている。このような頭出しは、ビデオ中の代表的シーンの静止画像によって行うようにしても、見たい場面を直ぐに探し出すことができて便利である。
【０００７】
本発明は、上記従来の事情に鑑みなされたもので、ビデオデータと、これに対応付けられた静止画像データとを同期させて再生することを目的としている。
なお、本発明の更なる目的は以下の説明において明らかなところである。
【０００８】
【課題を解決するための手段】
本発明は、画像再生システム、画像再生方法、これらをコンピュータによって実現するためのプログラムなどの種々な態様で捉えられ、いずれにあっても、ビデオデータと静止画像データとの同期再生を実現する。
【０００９】
本発明に係る画像再生システムでは、位置情報取得手段によりビデオデータの再生に伴って当該ビデオデータの再生時間位置を取得し、画像取得手段により取得した再生時間位置に予め対応付けられた静止画像データを取得して、画像再生手段により取得した静止画像データをビデオデータと同期して再生する。
【００１０】
なお、これら機能手段は、ビデオデータと当該ビデオデータに対応付けた静止画像データとを保持する配信サーバと、当該配信サーバから提供されたビデオデータと静止画像データとを再生して画面表示する閲覧クライアントとを備えたシステム構成では、上記の機能手段は閲覧クライアントに設け、閲覧クライアントが必要な静止画像データを要求して、配信サーバから提供された静止画像データをビデオデータと同期して再生するようにしてもよい。
したがって、上記のいずれのシステム構成においても、ビデオの再生に同期して資料などの所定の静止画像データが再生される。
【００１１】
また、上記のいずれのシステム構成においても、ビデオデータの再生時間位置情報をユーザ入力により受け付けて、これに応じた時間位置からビデオデータを再生し、そして、当該ビデオデータに同期して静止画像データを再生するようにしてもよい。
したがって、例えば、ビデオプレイヤのタイムスケールによるユーザ指定や、経過時間入力によるユーザ指定に応じて、ビデオデータを指定された時間位置から途中再生し、これに応じた静止画像データを再生させることができる。
【００１２】
また、ビデオデータに対応付けられている静止画像をユーザに対して提示して、静止画像を選択するユーザ指示に応じて、当該選択された静止画像が対応する再生時間位置からビデオデータを再生するようにしてもよく、これによっても、静止画像データに同期してビデオデータをユーザ指定された時間位置から途中再生することができる。
【００１３】
上記のシステムは、それぞれの機能を専用装置として構成してもよいが、本発明に係るプログラムをコンピュータによって実行することにより構成することができる。
また、本発明に係る方法は、例えば上記のシステムによって実施される。
【００１４】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
図１には本発明を適用したコンテンツ配信システムを示してあり、当該システムはインターネットNを介して接続される配信サーバ１、閲覧クライアント２、登録クライアント３を備えて構成される。なお、本発明はこの内の配信サーバ１及び閲覧クライアント２に適用される。
これら配信サーバ１、閲覧クライアント２、登録クライアント２はそれぞれコンピュータハードウエアにより本発明に係るプログラムを実行することにより所定の処理を行うように構成されており、特に、閲覧クライアント２はコンテンツ閲覧をするためのブラウザ機能を有したパーソナルコンピュータにより構成されている。
【００１５】
配信サーバ１は、ビデオデータと、当該ビデオデータに対応付けたスライド画像データや資料画像データと言った静止画像データ、検索用の音声インデックスデータ、コンテンツタイトルなどのコンテンツレコード（メタデータ）を各コンテンツ毎のデータとして記憶保持しており、閲覧クライアント２からの要求に応じて該当するコンテンツデータを配信提供する。
【００１６】
図２（ａ）にはビデオデータ５とスライド画像データ６との対応付け関係を示し、図２（ｂ）にはビデオデータ６と資料画像データ７との対応付け関係を示してある。
なお、これらスライド画像データ６と資料画像データ７とはいずれか一方だけをビデオデータ５に付随させるようにしてもよく、本明細書の説明では、特に指摘する場合を除いて、スライド画像データ６と資料画像データ７との両方又はいずれか一方を画像データと記述することもある。
ここで、本例では、ビデオデータの再生に同期して配信サーバ１から取得して再生する静止画像データを資料画像データ７とするが、本発明ではスライド画像データ６についても同様にしてもよい。
【００１７】
ビデオデータ５は配信用のストリーム形式に変換された動画像データであり、スライド画像データ６（Ａ〜Ｋ）は配置登録前の前処理によってビデオデータ５中から自動処理又はオペレータ操作によって抽出された静止画像データである。これらスライド画像データはビデオ中の或る時間幅を持った場面を代表的に表すシーンの画像であり、ビデオデータ５の該当する場面に対応付けられている。
なお、スライド画像データは、主に閲覧ユーザが所望のコンテンツを探したり又はコンテンツビデオ中の所望の場面を探したりする検索用として用いられる。
【００１８】
資料画像データ７（ａ〜ｎ）は配置登録前の前処理によってオペレータがビデオを見ながら設定操作してビデオデータ５に対応付けた静止画像データであり、例えばプレゼンテーションや講義などを写したビデオデータ５に対して、当該プレゼンテーションにおいて使用された資料を写した静止画像データである。資料画像データ７は資料が用いられたビデオ中の或る時間幅を持った場面に対応付けられ、後に詳述するように、閲覧ユーザに対してビデオ画像データに同期して該当する資料画像データを再生するようにしている。
【００１９】
上記のビデオデータ５や静止画像データ６、７と言ったコンテンツデータはブラウザを使用する閲覧クライアント２からの要求に応答して配信クライアント１が配信処理を行い、要求元の閲覧クライアント２に提供されてその表示装置に画面表示される。
【００２０】
図３には、配信サーバ１に所定のＵＲＬでアクセスした閲覧クライアント２にデフォルト画面として表示されるコンテンツ一覧を示してある。このコンテンツ一覧画面は検索インタフェース１０と、コンテンツ毎の複数のコンテンツインタフェース２０とを含んでおり、閲覧ユーザがキー入力やポインティング入力で検索インタフェース１０に指示を入力することによって登録されているコンテンツの内から所望のコンテンツを検索することができ、また、閲覧ユーザがポインティング入力でコンテンツインタフェース２０に指示を入力することによって当該コンテンツデータの内容を画面に表示して閲覧することができる。
【００２１】
検索インタフェース１０は各コンテンツデータに対応付けて配信サーバ１に登録されたメタデータや音声インデックスデータを利用して検索を行うものであり、カテゴリ（分類）を選択入力するためのドロップダウンウインドウ部１１、所望のコンテンツデータを検索するためのキーワード入力部１２、これらの入力に基づいて配信サーバ１に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン１３、更には、音声インデックスデータを利用して所望のコンテンツデータを検索するためのキーワード入力部１４、その入力に基づいて配信サーバ１に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン１５が設けられている。
【００２２】
なお、コンテンツデータに対応付けて配信サーバ１に登録されている音声インデックスデータは当該コンテンツ中に含まれる音声波形データであり、配信サーバ１がキーワード入力部１４から入力されたキーワードを音声波形データに変換して、これら波形データを照合することにより入力キーワードを含むコンテンツを検索する。
【００２３】
コンテンツインタフェース２０は、前記メタデータに基づいたコンテンツ番号２１、コンテンツのタイトル２２、コンテンツの作者２３、コンテンツの著作者２４、コンテンツの分類２５を表示し、また、コンテンツビデオのタイムスケール２６、当該コンテンツビデオのスライド画像２７を表示する。なお、タイムスケール２６を提示する機能はプラグ２６ａをユーザ操作で移動させることにより、これに連動して、スライド画像２７として表示されるスライド画像データ（Ａ〜Ｋ）６を変更させることができ、ビデオデータの再生時間位置に応じたスライド画像を再生することができるようになっている。
【００２４】
また、コンテンツインタフェース２０には開始ボタン２８と詳細ボタン２９とが設けられており、開始ボタン２８をユーザがポインティング指示することによって当該コンテンツビデオデータを配信サーバ１から取得して閲覧クライアント２の画面に再生表示させることができ、また、詳細ボタン２９ユーザがポインティング指示することによって後述するように当該コンテンツのスライド画像や資料画像のデータを配信サーバ１から一括取得して閲覧クライアント２の画面に一覧表示させることができる。
【００２５】
このように閲覧クライアント２に、ビデオデータ５と、それに対応付けられた全ての静止画像データを提供する場合には、一覧表示されているスライド画像２７や資料画像３０をユーザがポインティング指示することによって、ビデオデータを該当する場面（すなわち、再生時間位置）から再生して画面表示させる機能も閲覧クライアント２に備えられている。
【００２６】
ここで、資料画面データが対応付け格納されているコンテンツについては当該資料画像データに基づくキーワード検索が可能であり、この検索結果としてのコンテンツインタフェース２０は図４に示すような態様となる。
図３のものとほぼ同様であるが、資料画像３０中に含まれている文字記述と入力キーワードとの照合により、該当する資料画像３０の一覧も表示され、表示されている資料画像３０をユーザがポインティング指示することによって、コンテンツビデオデータを該当する場面から同期再生して画面表示させる機能も閲覧クライアント２に備えられている。
【００２７】
上記のユーザ指示によって配信サーバ１にアクセスして所望のコンテンツデータが閲覧クライアント２へ配信されるが、この配信されたコンテンツデータは閲覧クライアント２で図５に示すようなコンテンツ閲覧画面として表示される。このコンテンツ閲覧画面は、再生されたビデオ画像を表示するビデオ画面３３及び再生や停止などの操作ボタンが配置されたビデオ操作部３４を有したビデオプレイヤ部３５と、コマ送り操作ボタンが配置された操作部３６を有した静止画像データを再生表示する画像表示部３７、コンテンツデータに関するプログラム記述などを表示するノート表示画面部３８を含んでいる。
したがって、閲覧ユーザがポインティング入力で操作することにより、ビデオ画面３３にビデオ画像を再生させ、画像表示部３７にビデオデータの再生時間位置に応じた資料画像（又は、スライド画像）を同期表示させることができる。
【００２８】
上記詳細ボタン２９の押下によって配信サーバ１にアクセスして所望のコンテンツの画像データが閲覧クライアント２へ一括配信されるが、この配信された画像データは閲覧クライアント２で図６又は図７に示すような詳細表示画面として表示される。
図６はスライド画像データ６の一覧表示を行った状態を示しており、レコードデータ表示部４０には当該コンテンツのメタデータの諸項目が表示され、スライド画像表示部４１には当該コンテンツに対応付けられた全てのスライド画像６が時系列に表示される。
【００２９】
ここで、各スライド画像６は該当する場面の時間長さに応じて大きくなるようにスライド画像表示部４１に表示される。例えば、図２（ａ）に示すように、他に較べて場面の長さが短いＣやＤのスライド画像６はスライド画像表示部４１において他のスライド画像より小さいサイズで表示される。このようなサイズ変換は、例えば、各スライド画像に場面長さに応じた情報を付加しておき、詳細表示の要求に応じて配信サーバ１において行うことができる。
なお、このような画像サイズに差を持たせて表示する態様は、場面の内容の変化の大きさに応じたり、作者の意図に応じたりと言ったように、場面の重要度に応じてサイズを設定するようにしてもよい。
【００３０】
図７は資料画像データ７の一覧表示を行った状態を示しており、レコードデータ表示部４２には当該コンテンツのメタデータの諸項目が表示され、資料画像表示部４３には当該コンテンツに対応付けられた全ての資料画像７が時系列に表示されるとともに、各資料画像７から抽出された内容の記述文字列７ａが画像表示される。この文字列７ａは資料画像データ６から必要に応じて文字認識処理などで抽出され、上記のように資料画像をキーワード検索する際に照合される。
【００３１】
図６や図７に示すように一覧表示されたスライド画像や資料画像に対して、上記のようにユーザがいずれかの静止画像をポインティング指示で選択することによって、ビデオプレイヤ３５が画面表示されて、ビデオデータを該当する時間位置から再生して画面表示させることができる。
【００３２】
次に、ビデオデータ５と画像データ等を対応付けて配信サーバ１に登録する処理を説明する。
図８に示すように、配置サーバ１には配置登録した各コンテンツのレコードを記憶管理するデータベース５０と、各コンテンツデータの実体を格納する複数の配置先セット５１が設けられている。
データベース５０は各コンテンツデータのメタデータ、配置先ファイルパス、配置先ＵＲＬなどを含むコンテンツ用レコード５２と共に当該コンテンツデータが配置登録されている配置先セットを特定する番号５３を記憶管理しており、当該データベース５０を参照することにより、配信可能に各コンテンツデータを配置先セット５１内のフォルダに配置登録し、また、閲覧クライアント２から要求された該当するコンテンツデータを配信することができる。
【００３３】
配置先セット５１はそれぞれが１又は複数のコンテンツデータを格納する記憶領域であり、これら配置先セット５１の集合として配置サーバ１のコンテンツデータ記憶領域が構成されている。
図示の例では、各配置先セット５１には、ビデオデータを格納するビデオデータフォルダ５４、画像データを格納するための画像データフォルダ５５、音声インデックスデータを格納するための音声インデックスフォルダ５６が設けられており、同じコンテンツのデータは同じ配置先セット５１となるように、これらフォルダ５４〜５６内に各コンテンツの対応するデータが登録格納される。
【００３４】
各配置先セット５１へのコンテンツデータの配置登録は、オペレータ操作に従って登録クライアント３が有するコンテンツ作成ツール６０によって行われる。
コンテンツ作成ツール６０は、ＭＰＥＧなどの形式のビデオデータを配信用のストリーム形式のビデオデータに変換する処理、変換したビデオデータを登録する処理、ビデオデータ５にスライド画像データ６を対応付けて登録する処理、ビデオデータ５に資料画像データ７を対応付けて登録する処理、ビデオデータ５に音声インデックスデータを対応付けて登録する処理などを行う。
【００３５】
コンテンツデータ（ビデオデータ、画像データ、音声インデックスデータ）の配置登録処理は、図９に示すように、登録するコンテンツデータ６５を登録クライアント３に入力し（▲１▼）、登録クライアント３を配信サーバ１に接続することにより開始される。
そして、登録クライアント３はデータベース５０からセットレコード６２を参照して、アーカイブファイルのコンテンツデータの配置先セット番号、各メディアデータのファイルパス、各メディアデータのＵＲＬを設定し（▲２▼）、コンテンツデータを配信サーバ１に送信して登録する（▲３▼）。
また、この際に、上記のようにオペレータが入力したメタデータもコンテンツレコード５２に設定され、コンテンツレコード５２とセットレコード６２とが配置先セット番号で対応付けられる。
【００３６】
このようにして登録配置されたコンテンツデータは、閲覧クライアント２からの要求に応じてデータベース５０を参照することにより配信サーバ１から提供される。
すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツレコード５２を参照して当該コンテンツデータを配置した配置先セット番号を割り出し、当該配置先セット番号からセットレコード６２を参照して該当するビデオデータやその画像データのＵＲＬを割り出して、閲覧クライアント２へ提供する。閲覧クライアント２では配信サーバ１から提供されたＵＲＬに基づいてコンテンツデータファイルにアクセスし、該当するビデオデータや画像データを取得して画面に表示出力する。
【００３７】
次に、上記したように閲覧クライアント２がビデオデータの再生に同期して、配信サーバ１から該当する静止画像データ（資料画像データ）を取得して同期再生する処理を詳しく説明する。
この同期再生処理は、図１０に示すように配信サーバ１と閲覧クライアント２とが協働して、図１１に示す手順で実行される。
【００３８】
まず、上記のように閲覧クライアント２が配信サーバ１に接続し、所望のコンテンツを要求すると（ステップS１）、配信サーバ１が該当するビデオデータとともに、当該ビデオデータに同期して対応付けられた静止画像データを配信サーバ１から取得するためのプログラムを閲覧クライアント２に提供する（ステップS２）。
閲覧クライアント２では、提供されたビデオデータをビデオプレイヤ３５により再生して画面表示し、これとともに提供されたプログラムを実行する画像同期機能３９が起動し、再生されているビデオデータの再生時間位置を取得して表示すべき静止画像データを特定する（ステップS３）。
【００３９】
そして、閲覧クライアント２が配信サーバ１に対して必要な静止画像データを要求し（ステップS４）、配信サーバ１が要求された画像データを閲覧クライアント２へ提供する（ステップS６）。この提供された画像データは即座に再生されて画像表示部３７に表示出力される。このステップS３〜S６の処理はビデオデータの再生中は繰り返し行われ、再生されているビデオデータの再生時間位置に対応した静止画像データが図５に示すように同一画面上で同期して切換え表示される。
【００４０】
より具体的には、図１２に閲覧クライアント２のＷｅｂブラウザで画面表示されるＷｅｂページを示すように、このＷｅｂページには図５に示したようにビデオプレイヤ３５が埋め込まれているが、配信サーバ１から提供された上記プログラムも埋め込まれる。このプログラムはプログラムコード７０と複数の同期コマンドデータ７１を含んでいる。
プログラムコード７０は、再生しているビデオデータの再生時間位置情報を取得する動画再生位置取得プログラム、同期コマンドデータ７１をチェックする同期コマンドデータチェックプログラム、同期コマンドデータ７１に対応するコマンドを実行する同期コマンド実行プログラムを含んでいる。
【００４１】
同期コマンドデータ７１は、コマンド実行時刻としてのビデオデータ再生時間情報と、実行するコマンド情報を含んでいる。すなわち、同期コマンドデータ７１は、ビデオデータに対応付けられている複数の静止画像データのそれそれについて同期コマンドデータ７１が存在し、当該静止画像データのビデオデータに対する対応付け位置を示す再生時間位置情報と、当該再生時間位置で所定の静止画像データを配信サーバ１に要求するコマンドを含んでいる。
【００４２】
したがって、ビデオプレイヤによるビデオデータの再生ど同期してプログラムコード７０が実行され、動画再生位置取得プログラムが再生されているビデオデータの再生時間位置を取得し、同期コマンドデータチェックプログラムが同期コマンドデータ７１に前記取得した再生時間位置に該当するものが存在するかを判定し、存在する場合にはコマンド実行プログラムが当該同期コマンドデータのコマンドを実行して、該当する静止画像データを配信サーバ１に要求すると言う処理が、ビデオデータの再生を行っている間に繰り返し行われる。
【００４３】
なお、閲覧クライアント２が配信サーバ１からデータの配信を受けて再生するシステムを例にとって説明したが、本発明は、例えば、ビデオデータとこれに対応付けられた静止画像データを保持したスタンドアローン型のシステム構成としてもよく、このような構成とする場合には、該当する静止画像データを自らのシステム内で取得してビデオデータと同期再生することができる。
【００４４】
【発明の効果】
以上説明したように、本発明によると、ビデオ画像データと、ビデオ画像データの再生時間位置に予め対応付けられた静止画像データとを同期して再生するようにしたため、閲覧ユーザにとって充実した内容で画像情報を提示することができ、また、必要な画像情報の検索やビデオ場面の検索を容易に行うことができようになる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係るシステム構成図である。
【図２】 本発明の一実施例に係るビデオデータと画像データとの関係を説明する図である。
【図３】 本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図４】 本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図５】 本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図６】 本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図７】 本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図８】 本発明の一実施例に係る配信サーバを説明する図である。
【図９】 本発明の一実施例に係るコンテンツデータの配置登録処理の手順を説明する図である。
【図１０】 本発明の一実施例に係る同期再生処理の閲覧クライアントと配信サーバとの関係を説明する図である。
【図１１】 本発明の一実施例に係る同期再生処理の手順を説明する図である。
【図１２】 本発明の一実施例に係る閲覧クライアントのＷｅｂ機能を説明する図である。
【符号の説明】
１：配信サーバ、 ２：閲覧クライアント、
５：ビデオデータ、 ６，７：静止画像データ、
３３：ビデオ画面、 ３５：ビデオプレイヤ、
３７：画像表示部、 ３９：画像同期機能部、
７０：プログラムコード、 ７１：同期コマンドデータ、

Claims (2)

1. ビデオデータを再生して画面表示するビデオ表示手段と、
   前記ビデオ表示手段による再生対象となるビデオデータ中の場面を表す第１画像の一覧と、当該ビデオデータに同期して再生される第２画像の一覧とのいずれかを切替可能に画面表示する画像一覧表示手段と、
   を備えたことを特徴とする画像再生システム。
2. コンピュータに、
   ビデオデータを再生して画面表示するビデオ表示機能と、
   前記ビデオ表示機能による再生対象となるビデオデータ中の場面を表す第１画像の一覧と、当該ビデオデータに同期して再生される第２画像の一覧とのいずれかを切替可能に画面表示する画像一覧表示機能と、
   を実現させるための画像再生プログラム。

Images