JP4851976B2 - 動画圧縮装置およびその動作制御方法 - Google Patents

Description

この発明は，動画圧縮装置およびその動作制御方法に関する。

現在，携帯電話に動画ファイルを送信するサービスが行われている。携帯電話にはさまざまな機種がある。このため，受信できる動画ファイルのデータ量，再生できる動画ファイルのフォーマット，画像の表示サイズなどは携帯電話の機種ごとに異なることが多い。
携帯電話において動画ファイルを再生できるようにするために，送信すべき動画ファイルのデータ量を決定するもの（特許文献１），異なるビットレートを有する複数の動画データを生成し，ネットワークの仕様可能帯域に応じた動画データを送信するもの（特許文献２），ユーザからの要求にもとづいた圧縮フォーマットの動画データを送信するもの（特許文献３），クライアント端末装置の機種を判別することにより，機種に応じた動画生成パラメータを決定して動画データを生成するもの（特許文献４）などがある。
特開平9-298749号公報 特開平11-341488号公報 特開2002-232869号公報 特開2004-222124号公報

携帯電話などの端末装置においては受信できる動画ファイルのデータ量少ないことが多いから，比較的データ量が多い動画ファイルを受信するためには動画ファイルを分割する必要がある。しかしながら，動画ファイルのフォーマットによっては特定のフレームの箇所でしか分割できないことがあるので，端末装置が受信できる最大のデータ量となるように単純に分割できないことがある。

この発明は，端末装置が受信できる最大のデータ量となるように動画ファイルを分割できるようにすることを目的とする。

この発明による動画圧縮装置は，（それぞれのフレームが完全な１フレームの被写体像である）多数フレームの被写体像から構成される動画を表す動画ファイルから１フレームずつ被写体像を表わす被写体像データを入力し，入力した被写体像データが基準フレームから（所定フレーム目でもよいし，所定フレームを可変としてもよい）の被写体像を表す被写体像データであれば，完全な１フレームの被写体像となるような完全圧縮処理を行い，入力した被写体像データが所定フレーム目の被写体像を表す被写体像データでなければ，前フレームとの差分情報を示すように差分圧縮処理を行う圧縮手段，完全圧縮処理された被写体像データおよび差分圧縮処理された被写体像データのデータ量を基準フレームから積算する積算手段，上記積算手段により積算された積算値が動画ファイルの送信対象である端末装置の受信可能データ量から算出された値を超えたかどうかを判定する判定手段，ならびに上記判定手段により，上記積算手段により積算された積算値が上記受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，かつ上記積算手段による積算値をリセットする制御手段を備えていることを特徴とする。

この発明は，上記動画圧縮装置に適した動作制御方法も提供している。すなわち，この方法は，圧縮手段が，（それぞれのフレームが完全な１フレームの被写体像である）多数フレームの被写体像から構成される動画を表す動画ファイルから１フレームずつ被写体像を表わす被写体像データを入力し，入力した被写体像データが基準フレームから所与のフレーム目の被写体像を表す被写体像データであれば，完全な１フレームの被写体像となるような完全圧縮処理を行い，入力した被写体像データが所与のフレーム目の被写体像を表す被写体像データでなければ，前フレームとの差分情報を示すように差分圧縮処理を行い，積算手段が，完全圧縮処理された被写体像データおよび差分圧縮処理された被写体像データのデータ量を基準フレームから積算し，判定手段が，上記積算手段により積算された積算値が動画ファイルの送信対象である端末装置の受信可能データ量から算出された値を超えたかどうかを判定し，制御手段が，上記判定手段により，上記積算手段により積算された積算値が上記受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，かつ上記積算手段による積算値をリセットするものである。

この発明によると，基準フレームから所定フレーム目の被写体像については完全な１フレームの被写体像となるように完全圧縮処理が行われ，所定フレーム目以外の被写体像については前フレームとの差分情報を示すように差分圧縮処理が行われる。完全圧縮処理が行われた被写体像データと差分圧縮処理が行われた被写体像データとが積算される。積算値が，動画ファイルの送信対象である端末装置の受信可能データ量を超えた場合には，圧縮することにより超えることとなったフレームの被写体像については完全圧縮処理が行われ，積算値がリセットされる。

このように完全圧縮処理または差分圧縮処理が行われた動画ファイルを分割する場合，差分情報だけでは完全な１フレームの被写体像を再現できない。完全圧縮処理が行われている被写体像の箇所で動画ファイルが分割される必要がある。この発明によると，圧縮された被写体像データの積算値が，送信対象である端末装置の受信可能データ量を超えると，その超えることとなったフレームの被写体像については完全圧縮処理が行われるので，その超えることとなったフレームの被写体像の箇所で動画ファイルを分割することができる。端末装置には受信可能データ量内の最大のデータ量をもつ分割ファイルを送信できるようになる。動画ファイルの分割数を少なくできる。

上記判定手段は，たとえば，上記積算手段によって積算された積算値が，動画ファイル送信対象である第１の端末装置の第１の受信可能データ量，または動画ファイル送信対象である第２の端末装置の第２の受信可能データ量を超えたかどうかを判定するものである。また，上記制御手段は，上記判定手段により，上記積算値が上記第１の受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記第１の受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，かつ上記積算値をリセットする第1の制御手段，および上記判定手段により，上記積算値が上記第２の受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記第１の受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，かつ上記積算値をリセットする第２の制御手段を備える。

図１は， MPEG（Moving Picture Experts Group）にもとづく圧縮方式により圧縮された動画の概念図である。

MPEGにもとづく圧縮は，空間型圧縮と時間型圧縮との双方を利用した圧縮である。MPEG圧縮は，複数フレームに１フレームの割合でＩフレーム（ハッチングが付されている）が生成され，その他のフレームはＰフレームが生成される。Ｉフレームは空間型圧縮により生成されるもので，フレーム内のデータのみを用いてイントラ符号化されたものである。Ｉフレームだけで完全な１フレームの被写体像を再現できる（完全圧縮処理）。Ｐフレームは時間型（フレーム間）圧縮により生成されるもので，前フレームとの差分情報を示すものである（差分圧縮処理）。Ｐフレームだけでは完全な１フレームの被写体像を再現できず，前フレームの被写体像を利用して１フレームの被写体像を再現できる。Ｉフレームの符号量が５ＫＢ，Ｐフレームの符号量が２ＫＢ，第０フレームから第411フレームまでの412フレームの動画を考えるものとする。そして，そのような動画を表す動画ファイルを送信する端末装置は最大300ＫＢまでのデータ量を受信できるものとする。また，Ｉフレームは50フレームごとに挿入されるものとする。

Ｉフレームは50フレームごとに挿入されるから，第０フレーム，第50フレーム，第100フレーム，第150フレーム，第200フレーム，第250フレーム，第300フレーム，第350フレームおよび第400フレームがＩフレームとなる。残りのフレームは，Ｐフレームとなる。Ｉフレームは５ＫＢ，Ｐフレームは２ＫＢであるから，第０フレームから第411フレームまでの412フレームの動画を表す動画ファイルのデータ量は，合計801ＫＢとなり，最大300ＫＢまでのデータ量を受信できるような端末装置では受信できない。このために，動画ファイルが分割され，分割された複数の動画ファイルが受信に端末装置に送信される。

Ｐフレームだけでは完全な１フレームの静止画を再現できないから，ＩフレームとＰフレームとが混在する動画ファイルを分割する場合，Ｉフレームを分割された動画ファイルの最初のフレームにしなければならない。Ｐフレームの箇所で動画ファイルを分割することはできない。このために，最大300ＫＢまでのデータ量を受信できる端末装置に動画ファイルを送信する場合には，第０フレームから第99フレーム，第100フレームから第199フレーム，第200フレームから第299フレーム，第300フレームから第399フレーム，第400フレームから第411フレームまでの５つの第１の分割動画ファイル，第２の分割動画ファイル，第３の分割動画ファイル，第４の分割動画ファイルおよび第４の分割動画ファイルを生成する必要がある。これらの５つの分割動画ファイルが順に端末装置に送信される。

この実施例においては，分割される動画ファイルの数を少なくするものである。分割動画ファイルは端末装置のユーザからの要求に応じて端末装置に送信されるが，分割される動画ファイルの数が少なくなるので，ユーザからの要求回数を少なくでき，ユーザの負担を少なくできる。

図２は，この実施例による圧縮方式により圧縮された動画の概念図である。

この実施例による圧縮方式では，送信対象の端末装置が受信できる最大のデータ量となるように動画ファイルが分割される。そして，分割された動画ファイルの先頭のフレームはＩフレームとされ，基準フレームとなる。上述したのと同様に，原則として50フレームごとにＩフレームが挿入され，Ｉフレームの間にはＰフレームが挿入される。

50フレームごとにＩフレームが挿入されるから，第０フレーム，第50フレーム，第100フレームにＩフレームが挿入され，それらのＩフレームの間にはＰフレームが挿入される。第０フレームから第145フレームまでのデータ量の合計は，（第０フレームのデータ量＝５ＫＢ）＋（第１フレームから第49フレームのデータ量＝49×２＝98ＫＢ）＋（第50フレームのデータ量＝５ＫＢ）＋（第51フレームから第99フレームのデータ量＝49×２＝98ＫＢ）＋（第100フレームのデータ量＝５ＫＢ）＋（第101フレームから第144フレームのデータ量＝44×２＝88ＫＢ）＝299ＫＢとなる。第145フレームからＰフレームを生成すると，２ＫＢ増えるから端末装置が受信できる300ＫＢを超えてしまう。このために第０フレームから第144フレームまでを一つの単位として第１の分割ファイルが生成される。

第145フレームは次の分割ファイルの先頭となるので，第145フレームだけで１フレームの完全な被写体像が生成されるように，Ｉフレームとされる。次の分割ファイルの先頭である第145フレームが基準として再び50フレームごとにＩフレームが挿入される。同様に，第145フレーム，第195フレーム，第245フレームがＩフレームとされ，それらのフレームの間にＰフレームが挿入される。第145フレームから第289フレームまでのデータ量の合計は，299ＫＢとなる。第145フレームから第289フレームまでを一つの単位として第２の分割動画ファイルが生成される。

第290フレームは次の分割ファイルの先頭となるので，Ｉフレームとされる。第290フレームが基準として再び50フレームごとにＩフレームが挿入される。第290フレーム，第340フレーム，第390フレームがＩフレームとされる。第290フレームから第411フレームまでのデータ量の合計は，253ＫＢとなる。第290フレームから第411フレームまでを一つの単位として第３の分割動画ファイルが生成される。

このように，この実施例によると動画ファイルを３つに分割することができるようになる。

図３は，動画圧縮装置の電気的構成を示すブロック図である。

動画圧縮装置１の全体の動作は，ＣＰＵ５によって統括される。また，動画圧縮装置１には，データ等を記憶するメイン・メモリ７，コンピュータのメイン・メモリ７を制御するためのメモリ制御装置６が含まれている。

動画圧縮装置１には，端末仕様データベース９が含まれている。この端末仕様データベース９には，送信対象となる端末装置の仕様（受信可能な最大データ量など）が装置ごとに格納されている。端末仕様データベース９に格納されている仕様のデータは送信仕様取得装置８によって読み取られる。

元動画取得装置２によって非圧縮の元動画データが取得される。元動画取得装置２が通信装置であれば，他の装置から非圧縮動画データが送信されてもよいし，ディスクなどのディジタル媒体に記録されている動画データを読み取るものでもよい。元動画取得装置２によって取得された動画データは，動画データ符号化装置３によって，上述のように符号化（圧縮）される。符号化されたデータ量が符号量算出装置10によって算出され，上述のように，送信対象の端末装置の受信可能データ量以下となるように動画データ（動画ファイル）が分割される。分割された動画データは送信動画データベース４に格納される。

端末装置からの動画データの送信要求があると，コンテンツ配信装置11によって，送信動画データベース４に格納されている分割動画データが，その端末装置に送信される。

図４は，動画圧縮装置の処理手順を示すフローチャートである。

上述のように，元動画データが取得される（ステップ21）。非圧縮の元動画データによって表される多数駒の被写体像が１フレームずつ動画データ符号化装置３に入力する。基準フレーム（最初は第０フレーム）所定フレーム目（上述の例では50フレーム目）の被写体像については空間型圧縮されてＩフレームが生成され，所定フレーム目以外の被写体像については時間型圧縮されてＰフレームが生成される（ステップ22）。基準フレームからの符号量（データ量）が積算される（ステップ23）。

積算値がしきい値（送信対象の端末装置が受信できるデータ量）以上となると（ステップ24でＮＯ），それまでに生成されたＩフレームおよびＰフレームの動画データを送信対象の端末装置に送信しても，その端末装置は受信できない。このために，上述のように，圧縮されることによりしきい値を超えることとなった最後のフレームについては，次の分割動画ファイルの先頭であるＩフレームとされ，基準フレームとなる。最後のフレームの前までのフレームが最初の分割動画ファイルとなる。図２で示したように，第145フレームを圧縮したことにより300ＫＢを超えると，第144フレームまでが一つ目の分割動画ファイルとなり，第145フレームは，次の動画ファイルの最初のフレームとなる。

次の分割動画ファイルの先頭であるＩフレームが基準フレームとされ（ステップ26），積算値がリセットされ，元動画の最終フレームとなるまでステップ22から26までの処理が繰り返される（ステップ27）。

図５および図６は，他の実施例を示すものである。上述した実施例は，一種類の送信対象の端末装置について分割動画ファイルを生成するものであったが，次に示す実施例は，二種類の送信対象の端末装置について分割動画ファイルを生成するものである。

図５は，圧縮された動画の概念図である。

上述したのと同様に，Ｉフレームのデータ量は５ＫＢ，Ｐフレームのデータ量は２ＫＢとし，第１の端末装置が受信できる最大のデータ量は200ＫＢ，第２の端末装置が受信できる最大のデータ量は300ＫＢとする。Ｉフレームは原則として50フレームごとに挿入される。

第０フレームのデータ量は５ＫＢ，第１フレームから第49フレームまでのデータ量は98ＫＢ，第50フレームのデータ量は５ＫＢ，第51フレームから第96フレームは92ＫＢである。第０フレームから第96フレームまでのデータ量の合計は，200ＫＢとなる。第１の端末装置が受信できる最大のデータ量は200ＫＢであるから，第０フレームから第96フレームまでが第１の端末装置用の第１の分割動画ファイルとなる。第97フレームはとぎの分割動画ファイルの先頭フレームであるかＩフレームとされる。

第97フレームのデータ量は５ＫＢ，第98フレームから第144フレームまでのデータ量は94ＫＢとなる。第０フレームから第144フレームまでのデータ量の合計は，299ＫＢとなる。第０フレームから第144フレームまでが第２の端末装置用の第１の分割動画ファイルとなる。第145フレームは次の分割動画ファイルの先頭フレームであるからＩフレームとされる。

同様に，第97フレームから第193フレーム，第194フレームから第289フレーム，第290フレームから第386フレームのデータ量の合計はそれぞれ200ＫＢであり，第１の端末装置用の第２の分割動画ファイル，第３の分割動画ファイル，第４の分割動画ファイルとなる。第387フレームから第411フレームのデータ量の合計は53ＫＢであり，第５の分割動画ファイルとなる。このように，第１の端末装置用の分割ファイルとして５つの分割動画ファイルが生成される。

第２の端末装置についても同様に，第145フレームから第289フレームまでのデータ量の合計は299ＫＢとなり，第２の分割動画ファイルとなる。第290フレームから第411フレームまでのデータ量の合計は253ＫＢとなり，第３の分割動画ファイルとなる。このように，第２の端末装置用の分割ファイルとして３つの分割動画ファイルが生成される。

図６は，動画圧縮装置の処理手順を示すフローチャートである。この図において図４に示す処理と同一の処理については同一符号を付して説明を省略する。

上述した処理では積算値と比較されるしきい値は一つであったが（図４ステップ24），この実施例においては積算値と比較されるしきい値は上述した第１の端末装置の受信可能データ量と第２の端末装置の受信可能データ量との２つである（ステップ24Ａ）。積算値がいずれかのしきい値以上となると（ステップ24ＡでＮＯ），上述したように，圧縮することによりしきい値を超えることとなった最後のフレームがＩフレームとなり（ステップ25），その最後のフレームの前のフレームまでが分割動画ファイルとなる。

上述の実施例において，分かりやすくするためにＩフレームのデータ量を５ＫＢ，Ｐフレームのデータ量を２ＫＢと均一であるとしているが，必ずしも均一ではないことはいうまでもない。また，ＩフレームとＰフレームとの比率も動画によって異なってもよい。

さらに，２種類の端末装置への送信に限らず３種類以上であってもよい。さらに，分割動画ファイルの先頭フレームをＩフレームにしてもよい。

動画圧縮方式の一例である。 動画圧縮方式の一例である。 動画圧縮装置の電気的構成を示すブロック図である。 動画圧縮装置の処理手順を示すフローチャートである。 動画圧縮方式の一例である。 動画圧縮装置の処理手順を示すフローチャートである。

符号の説明

１ 動画圧縮装置
３ 動画データ符号化装置
５ ＣＰＵ
10 符号量算出装置

Claims (3)

1. 多数フレームの被写体像から構成される動画を表す動画ファイルから１フレームずつ被写体像を表わす被写体像データを入力し，入力した被写体像データが基準フレームから所与のフレーム目の被写体像を表す被写体像データであれば，完全な１フレームの被写体像となるような完全圧縮処理を行い，入力した被写体像データが所与のフレーム目の被写体像を表す被写体像データでなければ，前フレームとの差分情報を示すように差分圧縮処理を行う圧縮手段，
   完全圧縮処理された被写体像データおよび差分圧縮処理された被写体像データのデータ量を基準フレームから積算する積算手段，
   上記積算手段により積算された積算値が動画ファイルの送信対象である端末装置の受信可能データ量から算出される値を超えたかどうかを判定する判定手段，ならびに
   上記判定手段により，上記積算手段により積算された積算値が上記受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，上記受信可能データ量を超えることとなったフレームを上記基準フレームとし，かつ上記積算手段による積算値をリセットする制御手段，
   を備えた動画圧縮装置。
2. 上記判定手段が，
   上記積算手段によって積算された積算値が，動画ファイル送信対象である第１の端末装置の第１の受信可能データ量，または動画ファイル送信対象である第２の端末装置の第２の受信可能データ量を超えたかどうかを判定するものであり，
   上記制御手段が，
   上記判定手段により，上記積算値が上記第１の受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記第１の受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，かつ上記積算値をリセットする第１の制御手段，および
   上記判定手段により，上記積算値が上記第２の受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記第１の受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，かつ上記積算値をリセットする第２の制御手段を備えた，
   請求項１に記載の動画圧縮装置。
3. 圧縮手段が，多数フレームの被写体像から構成される動画を表す動画ファイルから１フレームずつ被写体像を表わす被写体像データを入力し，入力した被写体像データが基準フレームから所与のフレーム目の被写体像を表す被写体像データであれば，完全な１フレームの被写体像となるような完全圧縮処理を行い，入力した被写体像データが所与のフレーム目の被写体像を表す被写体像データでなければ，前フレームとの差分情報を示すように差分圧縮処理を行い，
   積算手段が，完全圧縮処理された被写体像データおよび差分圧縮処理された被写体像データのデータ量を基準フレームから積算し，
   判定手段が，上記積算手段により積算された積算値が動画ファイルの送信対象である端末装置の受信可能データ量から算出される値を超えたかどうかを判定し，
   制御手段が，上記判定手段により，上記積算手段により積算された積算値が上記受信可能データ量を超えたと判定されたことに応じて，圧縮処理を行うことにより上記受信可能データ量を超えることとなったフレームの被写体像を表す被写体像データについて完全圧縮処理を行うように上記圧縮手段を制御し，上記受信可能データ量を超えることとなったフレームを上記基準フレームとし，かつ上記積算手段による積算値をリセットする，
   動画圧縮装置の動作制御方法。

Images