JP4946433B2 - 情報配信装置及びプログラム - Google Patents

Description

本発明は、情報配信装置及びプログラムに関する。

遠隔地の利用者に対して、動画像や資料映像、音声情報などを同期させて配信し、研修などの用途に資するシステムがある（例えば特許文献１）。
特開２００５−４５４３号公報

近年、携帯電話機やＰＤＡ（Personal Digital Assistant）など、携帯端末が広く普及しており、かかる携帯端末においても、上述の配信を受けたいという要望がある。そこで、携帯端末など、計算機資源や、通信条件に制限のある機器にして受信や再生時の負担を軽減できる情報配信装置やプログラムが求められている。

請求項１記載の発明は、情報配信装置であって、互いに同期させて配信する動画像と、複数の静止画像情報Ｇ1，Ｇ2…及び当該静止画像情報の各々に対応する表示開始時刻Ｔ1，Ｔ2…を含んだ配信情報を取得する取得手段と、配信先の装置から再生環境の情報を受信し、当該再生環境の情報によって特定される条件に対して関連付けられた処理の内容を参照して、前記取得した配信情報に含まれる、動画像と、複数の静止画像情報とを処理の対象として、参照した処理の内容に従って、少なくとも、時刻Ｔiから、Ｔi+1までの間、対応する静止画像Ｇiを表示し続ける動画像を生成する処理を含む処理を実行する処理実行手段と、前記生成した動情報を前記配信先に配信する配信手段と、を含むこととしたものである。

請求項２記載の発明は、請求項１記載の情報配信装置であって、前記再生環境の情報として、複数の映像を一斉に表示可能か否か、動画再生が可能か否か、画像表示が可能か否かの情報を受信することとしたものである。

請求項３記載の発明は、請求項１または２に記載の情報配信装置であって、前記処理実行手段は、さらに、前記再生環境の情報として、複数の映像を一斉に表示可能でなく、動画再生が可能でないとの条件に関連付けられた処理として、前記動画像を削除して、配信する処理を行うこととしたものである。

請求項４記載の発明は、プログラムであって、コンピュータを、互いに同期させて配信する動画像と、複数の静止画像情報Ｇ1，Ｇ2…及び当該静止画像情報の各々に対応する表示開始時刻Ｔ1，Ｔ2…を含んだ配信情報を取得する取得手段と、配信先の装置から再生環境の情報を受信し、当該再生環境の情報によって特定される条件に対して関連付けられた処理の内容を参照して、前記取得した配信情報に含まれる、動画像と、複数の静止画像情報とを処理の対象として、参照した処理の内容に従って、少なくとも、時刻Ｔiから、Ｔi+1までの間、対応する静止画像Ｇiを表示し続ける動画像を生成する処理を含む処理を実行する処理実行手段と、前記生成した動情報を前記配信先に配信する配信手段と、として機能させることとしたものである。

請求項１，２，４記載の発明によると、配信情報の受信や再生時の負担を軽減できる。

請求項３記載の発明によると、動的情報から静止情報を抽出して配信を行うことができる。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報配信装置１は、図１に示すように、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。また、この情報配信装置１は、情報配信を受け入れるクライアント装置２に対して、ネットワークなどの通信手段を介して接続されている。ここでクライアント装置２は、パーソナルコンピュータだけでなく、携帯電話機などであってもよい。携帯電話機に対しては、情報配信装置１は、携帯電話回線網を介して通信可能になっている。

制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、記憶部１２に格納されている配信情報を、要求に応じて配信する。ここで配信情報は、図２に例示するように、動画像（Ｖ）と、音声情報（Ａ）と、提供開始時点の情報に関連づけられている画像情報（Ｓ）とを含む。これらの情報は互いに同期させて、時間経過とともに配信される。つまり動画像（Ｖ）、音声情報（Ａ）、画像情報（Ｓ）は、再生時間の経過とともに配信される情報の内容が変化する、動的な情報要素の一例であり、配信対象の情報に含まれる動的情報要素は、これらに限られない。

制御部１１は、また、この配信情報に含まれる動的情報要素の全部または一部複数を処理の対象として、予め定めた規則に従って、当該処理の対象となった一部複数の動的情報要素の内容を合成した一つの合成情報を生成する。そして生成した合成情報を配信する。この制御部１１の具体的な処理例については後に詳しく述べる。

記憶部１２は、ＲＡＭ（Random Access Memory）などの記憶素子や、ハードディスクなどのストレージデバイスを含んで構成される。この記憶部１２は、制御部１１によって実行されるプログラムを格納する記憶媒体として機能する。また、このプログラムは、他の記憶媒体（例えばＤＶＤ−ＲＯＭなど）から複写されたものであってもよい。さらに記憶部１２は、制御部１１のワークメモリとしても動作する。またこの記憶部１２は既に述べたように、少なくとも一つの配信情報を保持している。

通信部１３は、ネットワークなどの通信手段を介してクライアント装置２との間で情報を送受する。また、この通信部１３は、電話回線を介して携帯電話機などのクライアント装置２との間で通信可能に接続されている。

ここで制御部１１による合成情報の生成動作について説明する。この制御部１１は、記憶部１２に格納されたプログラムを実行することにより、機能的に図３に示すように、配信情報取得部２１と、動的情報要素処理部２２と、合成部２３と、出力部２４とを含んで構成される。

本実施の形態のクライアント装置２は、要求する配信情報の参照情報（ＵＲＬ：Uniform Resource Locatorなど）と、再生環境に関する情報とを情報配信装置１に対して送出するものとする。ここに再生環境に関する情報は、例えばクライアント装置２の映像表示機能に関する情報である。その具体的な例としては、クライアント装置２のディスプレイの表示領域サイズや、動画表示機能の有無（動画表示アプリケーションプログラムを実行可能か否かといった、実行可能なアプリケーションの種類を表す情報等）、また再生の対象となる情報を保持するための記憶容量や、記憶媒体（ＲＡＭであるか、メモリカードなど、外部の半導体記憶素子であるかなど）、画像表示処理速度（１秒あたりフレームいくつまでの表示が可能か）などがある。

配信情報取得部２１は、要求に係る参照情報や、再生環境に関する情報などをクライアント装置２から受信すると、当該参照情報で特定される配信情報を、記憶部１２から読み出して動的情報要素処理部２２に出力する。また、受信した再生環境に係る情報を動的情報要素処理部２２に出力する。

動的情報要素処理部２２は、配信情報取得部２１から入力される配信情報を受け入れる。以下、区別の必要があるときには、この配信情報を「オリジナル情報」と呼ぶ。動的情報要素処理部２２は、オリジナル情報に含まれる動的情報要素のうち、少なくとも一部を処理の対象として、予め定めた規則に従い、当該処理の対象となった動的情報要素を処理し、処理の結果を合成部２３に出力する。

合成部２３は、入力された動的情報要素を合成して、合成配信情報を生成し、出力部２４に出力する。出力部２４は、入力された情報（オリジナル情報または合成部２３から入力される合成配信情報）を、要求元のクライアント装置２へ出力する。

なお、動的情報要素処理部２２が参照する規則は、クライアント装置２から受信される再生環境の情報によって特定される条件に対して、処理の内容を関連づけ、記憶部１２に予め格納したものである。その一例を図４を参照しつつ説明する。図４では、ウィンドウ表示が可能か否か（複数の映像を一斉に表示可能か否か）、動画再生可能か否か、画像表示が可能であるか否かなどを表す再生環境の情報に関連づけて、処理の内容が規定されている。

すなわち、（１）ウィンドウ表示、動画再生、及び画像表示のすべてが可能である場合（例えばパーソナルコンピュータなどで再生される場合）は、動的情報要素処理部２２に、入力されたオリジナル情報をそのまま出力させる指示が記述されている。

また（２）ウィンドウ表示ができず、動画再生が可能である場合は、画像情報（Ｓ）を動画像に変換して合成する指示が記述されており、（３）ウィンドウ表示、動画再生ができず、画像表示が可能である場合は、動画像（Ｖ）を削除する指示が記述されており、（４）ウィンドウ表示、動画再生、及び画像表示のすべてができない場合は、動画像（Ｖ）と画像情報（Ｓ）とを削除して音声情報（Ａ）のみを出力するべき指示が記述されている。

動的情報要素処理部２２は、この指示に従って、入力された配信情報を処理することになる。例えば、要求元のクライアント装置２から受信した再生環境に係る情報によって、当該クライアント装置２においてウィンドウ表示、動画再生、及び画像表示のすべてが可能であると判断されたとする。この場合は、上述の規則に従って、動的情報要素処理部２２は入力されたオリジナル情報をそのまま出力部２４に出力する。

また要求元のクライアント装置２においてウィンドウ表示、動画再生ができず、画像表示が可能である場合について述べる。この場合、動的情報要素処理部２２は、オリジナル情報から画像情報（Ｓ）と、動画像（Ｖ）と、音声情報（Ａ）とを抽出する。そして動画像（Ｖ）を削除する指示に従って、画像情報（Ｓ）と、音声情報（Ａ）とを合成部２３に出力する。合成部２３は、従って、画像情報（Ｓ）と音声情報（Ａ）とを含み、動画像（Ｖ）を含まない配信情報を生成して、出力部２４へ出力する。

さらに、要求元のクライアント装置２においてウィンドウ表示、動画再生、画像表示のいずれも可能でない場合について述べる。この場合、動的情報要素処理部２２は、オリジナル情報から画像情報（Ｓ）と、動画像（Ｖ）と、音声情報（Ａ）とを抽出する。そして動画像（Ｖ）と画像情報（Ｓ）とを削除する指示に従い、音声情報（Ａ）を合成部２３に出力する。合成部２３は、これら入力された情報から音声情報（Ａ）を含み、動画像（Ｖ）と画像情報（Ｓ）とを含まない配信情報を生成して、出力部２４へ出力する。

さらに、要求元のクライアント装置２においてウィンドウ表示ができず、動画再生が可能である場合、動的情報要素処理部２２は、画像情報（Ｓ）を動画像に変換する。ここでは画像情報（Ｓ）は、複数の静止画像Ｇ1，Ｇ2，…と、各静止画像の表示開始時刻Ｔ1，Ｔ2，…とを互いに関連づけた情報となっている。動的情報要素処理部２２は、オリジナル情報から画像情報（Ｓ）と、動画像（Ｖ）と、音声情報（Ａ）とを抽出する。そして動的情報要素処理部２２は、画像情報（Ｓ）を参照しつつ、表示開始時刻Ｔiから次の静止画像の表示開始時刻Ｔi+1までの間、対応する静止画像Ｇiを表示するような動画像（Ｖ２）を生成する（図５）。動的情報要素処理部２２は、この生成した動画像（Ｖ２）と、音声情報（Ａ）とを合成部２３に出力する。

この場合、合成部２３は画像情報（Ｓ）に基づいて作成した動画像（Ｖ２）と音声情報（Ａ）とを含み、元の動画像（Ｖ）を含まない配信情報を生成して、出力部２４へ出力する。

さらにここで述べた動的情報要素処理部２２の処理では、オリジナル情報に含まれていた動画像（Ｖ）に代えて、画像情報（Ｓ）から生成した動画像（Ｖ２）を配信させることとなるが、動的情報要素処理部２２の処理例は、これに限られない。

例えば、オリジナル情報に含まれていた動画像（Ｖ）と、画像情報（Ｓ）から生成した動画像（Ｖ２）とのいずれかを、所定の方法で定めた時間ごとに、選択的に抽出して合成（つまり各動画像（Ｖ，Ｖ２）を時分割的に合成）した合成動画像（Ｖ′）を生成してもよい。この場合、合成動画像（Ｖ′）と、音声情報（Ａ）とを含む配信情報が配信されることとなる。

具体的な処理の例として、パラメータｐ（０＜ｐ＜１）を予め設定しておき、このｐの値を用いて、例えば動画像（Ｖ）のうち、ｉ番目の静止画像の表示期間Ｔiから（Ｔi+1−Ｔi）×ｐ＋Ｔiまでに相当する部分を動画像（Ｖ２）の対応部分に置き換える。これにより動画像（Ｖ）のうち、ｉ番目の静止画像の表示期間Ｔiから（Ｔi+1−Ｔi）×ｐ＋Ｔiまでに相当する部分に、ｉ番目の静止画像が挿入されることとなる（図６）。このパラメータｐは、画像情報内の情報をどれだけ優先的に表示するかを表すパラメータであり、事前に設定されてもよいし、クライアント装置２から、再生条件を表す情報に含めて受け渡されてもよい。

さらに、要求元のクライアント装置２においてウィンドウ表示、動画再生ができず、画像表示が可能である場合に、動画像（Ｖ）を削除する例について述べたが、この場合もこの処理に限られるものではない。すなわち動的情報要素処理部２２は、動画像（Ｖ）から代表静止画像を抽出して、静止画像列を生成してもよい。

例えば動的情報要素処理部２２は、動画像（Ｖ）を、それに同期する画像情報（Ｓ）の各静止画像の表示期間ごとに区切り、区分動画像を生成する。

そして各区分動画像を、さらに再生時間Δｔの動画像要素ＶＩ1，ＶＩ2，…に分割する。そして各動画像要素から所定の特徴量を演算する。ここで特徴量は、動画像要素に含まれる特定の範囲の色部分の面積や、動きベクトルの長さの総和など、動画像を特徴づけるための広く知られた量で構わない。動的情報要素処理部２２は、各動画像要素の特徴量の経時変化を調べる。例えばＶＩj+1と、ＶＩjとの特徴量の差を算出し、当該差が所定しきい値を超えた場合に、ＶＩj+1の再生開始時刻τ＝ｊ×Δｔを、再生区間区分点として記録する。ここに、ｊはインデックスであり、ｊ＝１，２，…である。また別の例では、例えばＶＩjの特徴量が所定しきい値を超えた、または所定しきい値を下回った場合に、ＶＩjの再生開始時刻τ＝（ｊ−１）×Δｔを、再生区間区分点として記録する。

こうして動的情報要素処理部２２は、各動画像要素についての特徴量に基づいて、各区分動画像について、再生区間区分点の情報を得る。なお、区分動画像によっては、この再生区間区分点が存在しないものがあってもよい。

次に動的情報要素処理部２２は、各再生区間区分点によって区切られる区分動画像の各再生区間について、代表画像情報を生成する。すなわち、各再生区間内において、予め定めた条件を満足する画像を代表画像情報として抽出する。この抽出方式としては、例えば動画像（Ｖ）を構成する前後のフレームの映像の差から、撮像されている対象物の動きの激しさを検出し、最も動きの激しい場面での画像を代表画像情報として抽出してもよい。また、最も動きのない場面での画像を代表画像情報として抽出してもよい。さらに、再生区間の先頭、中央、最後の位置での画像を代表画像情報として抽出してもよい。なお、再生区間区分点が見出されていない区分動画像については、区分動画像全体から代表画像情報を抽出する。

動的情報要素処理部２２は、各区分動画像について、予め指定されたパラメータｐ（０＜ｐ＜１）を用いて、画像情報（Ｓ）に含まれるｉ番目の静止画像Ｓiの表示時間ｔｓiを、
ｔｓi＝ｐ×（Ｔi+1−Ｔi）
と定める（ただし、Ｔ0＝０とする）。ここに、（Ｔi+1−Ｔi）は、オリジナル情報において、ｉ番目の静止画像Ｓiが表示されるべき時間を表す。

また、動画像（Ｖ）を分割して得た、ｉ番目の区分動画像において、再生区間区分点が見出されていなければ、当該区分動画像から得られた代表画像情報の表示時間ｔｒiを、
ｔｒi＝（１−ｐ）×（Ｔi+1−Ｔi）
と定める。

さらに、動画像（Ｖ）を分割して得た、ｉ番目の区分動画像において、再生区間区分点が見出されていれば、動的情報要素処理部２２は、次のように処理を行う。すなわち、各再生区間区分点で区分される各再生区間の再生時間を、Δτ1，Δτ2，…，Δτj，…として、再生区間から抽出した代表画像情報の表示時間を、
ｔｒi,j＝（１−ｐ）×Δτj
と定める。ここで、ｔｓiとΔτjをｊについて総和した値との和は、
Δτ１＋Δτ2＋…＋ｔｓi＝Ｔi+1−Ｔi
である。

そして、動的情報要素処理部２２は、各区分動画像の再生開始時間からオリジナル情報の画像情報（Ｓ）に含まれるｉ番目の静止画像Ｓiを表示させる指示を生成する。つまり、この静止画像Ｓiと、時刻Ｔiを表す情報とを関連づけて、新たな画像情報（Ｓ′）に含める。

さらに、動画像（Ｖ）を分割して得た、ｉ番目の区分動画像において、再生区間区分点が見出されていなければ、ｉ番目の区分動画像から抽出した代表画像情報と、時刻ｔｓとを関連づけて、新たな画像情報（Ｓ′）に含める。

また、動画像（Ｖ）を分割して得た、ｉ番目の区分動画像において、再生区間区分点が見出されていれば、当該区分動画像内の最初の再生区間から抽出した代表画像情報と、時刻ｔｓとを関連づけて、新たな画像情報（Ｓ′）に含める。そして、２番目以下のｊ番目の再生区間については、各再生区間から抽出した代表画像情報Ｉjと、時刻

とを関連づけて、新たな画像情報（Ｓ′）に含める。

これによりクライアント装置２では、各区分動画像について、当該区分動画像に同期して表示されるべきであった画像情報内の静止画像が時間ｔｓiに亘って表示される。そして次に、所定の条件によって区分された再生区間ごとに抽出した代表画像情報が、それぞれの再生区間の時間に応じた時間（ｔｒi,j＝（１−ｐ）×Δτj）だけ表示される。

なお、各再生区間から抽出する代表画像情報は１つでなくてもよい。また、動画像が表示可能なクライアント装置２に対して配信する情報を生成する場合であっても、ここでの処理と同様にして、各画像の表示時間を算出し、各表示時間ずつの動画像要素を生成して連結し、新たな動画像を生成してもよい。

すなわち、上述のように、ｉ番目の区分動画像におけるｊ番目の再生区間について表示時間
ｔｒi,j＝（１−ｐ）×Δτj
を定めた後、当該ｊ番目の再生区間に対応する動画像の部分（再生時間Δτj）に対して、要約処理を実行して、ｔｒi,jの時間の動画像（要約動画像）を生成する。また、ｉ番目の静止画像Ｓiを、時間ｔｓiに亘って表示し続ける動画像を生成し、これらを連結して、時間（Ｔi+1−Ｔi）だけの動画像を生成する。

この場合、他の区分動画像についても同様に処理し、各区分動画像を互いに連結して、オリジナル情報と同じ再生時間で、一部に画像情報の静止画像を含めた動画像と、音声情報とを含み、画像情報を除去した配信情報を生成することとなる。

本実施の形態によると、例えば利用者が一つの動画像を表示可能な（ウィンドウ表示不能な）携帯電話機などのクライアント装置２から配信情報にアクセスを要求する操作を行うと、クライアント装置２が要求に係る配信情報を特定する情報と、再生環境を表す情報とを送出する。ここでの再生環境情報は、ウィンドウ表示ができないことと、動画像表示が可能であることとを表すものとなる。ここで要求される配信情報は、一例として、講義情報であるものとし、講師の映像が撮影された動画像と、講師が示す資料を静止画として提示する画像情報と、講師の音声を表す音声情報とを含むものとする。

情報配信装置１は、当該要求と再生環境の情報とを受信する。そして要求された配信情報を読み出す。また、再生環境の情報を参照する。この再生環境の情報では、動画像と画像情報に含まれる静止画像とを一斉に表示できないので、予め静止画像と動画像とを時分割的に合成した動画像を生成する旨の指示がされているものとする。

情報配信装置１は、この指示に従って、読み出した配信情報に含まれる画像情報（資料映像）を動画像に変換する。これにより、ある資料Ｘを提示するべき時刻から、次の資料Ｙを提示するべき時刻までの間、資料Ｘの映像が再生され続ける動画像（ここでは資料動画像と呼ぶ）が生成される。

そして情報配信装置１は、変換によって得た資料動画像と、講師を撮像した動画像とを時分割的に合成した動画像を生成する。さらに情報配信装置１は、ここで合成した動画像と、要求された配信情報の音声情報とを合成して、新たな配信情報とし、この新たな配信情報を、要求元のクライアント装置２へ配信する。

これより、計算機資源や、通信条件に制限のある機器に対する配信のために、受信や再生時の負担を軽減した配信情報を提供できることとなる。なお、クライアント装置２では、資料動画像と講師の画像とが交互に配された動画像とともに講師の音声が提供され、利用者は、資料画像を損なわない講義映像を受け取っている。

本発明の実施の形態に係る情報配信システムの一例を表す構成ブロック図である。 本発明の実施の形態に係る情報配信装置が保持する配信情報の内容例を表す説明図である。 本発明の実施の形態に係る情報配信装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る情報配信装置において行うべき処理の設定例を表す説明図である。 本発明の実施の形態に係る情報配信装置の処理動作の例を表す説明図である。 本発明の実施の形態に係る情報配信装置のまた別の処理動作の例を表す説明図である。

符号の説明

１ 情報配信装置、２ クライアント装置、１１ 制御部、１２ 記憶部、１３ 通信部、２１ 配信情報取得部、２２ 動的情報要素処理部、２３ 合成部、２４ 出力部。

Claims (4)

1. 互いに同期させて配信する動画像と、複数の静止画像情報Ｇ1，Ｇ2…及び当該静止画像情報の各々に対応する表示開始時刻Ｔ1，Ｔ2…を含んだ配信情報を取得する取得手段と、
   配信先の装置から再生環境の情報を受信し、当該再生環境の情報によって特定される条件に対して関連付けられた処理の内容を参照して、前記取得した配信情報に含まれる、動画像と、複数の静止画像情報とを処理の対象として、参照した処理の内容に従って、少なくとも、時刻Ｔiから、Ｔi+1までの間、対応する静止画像Ｇiを表示し続ける動画像を生成する処理を含む処理を実行する処理実行手段と、
   前記生成した動情報を前記配信先に配信する配信手段と、
   を含むことを特徴とする情報配信装置。
2. 前記再生環境の情報として、複数の映像を一斉に表示可能か否か、動画再生が可能か否か、画像表示が可能か否かの情報を受信する請求項１記載の情報配信装置。
3. 前記処理実行手段は、さらに、前記再生環境の情報として、複数の映像を一斉に表示可能でなく、動画再生が可能でないとの条件に関連付けられた処理として、前記動画像を削除して、配信する処理を行う請求項１または２に記載の情報配信装置。
4. コンピュータを、
   互いに同期させて配信する動画像と、複数の静止画像情報Ｇ1，Ｇ2…及び当該静止画像情報の各々に対応する表示開始時刻Ｔ1，Ｔ2…を含んだ配信情報を取得する取得手段と、
   配信先の装置から再生環境の情報を受信し、当該再生環境の情報によって特定される条件に対して関連付けられた処理の内容を参照して、前記取得した配信情報に含まれる、動画像と、複数の静止画像情報とを処理の対象として、参照した処理の内容に従って、少なくとも、時刻Ｔiから、Ｔi+1までの間、対応する静止画像Ｇiを表示し続ける動画像を生成する処理を含む処理を実行する処理実行手段と、
   前記生成した動情報を前記配信先に配信する配信手段と、
   として機能させるプログラム。

Images