JP4798124B2 - データ変換方法および映像変換装置 - Google Patents

Description

本発明は、所定の符号化手段で符号化された映像データを別の異なる符号化手段の符号化データへ変換する映像変換装置およびその方法に関するものである。特に動画符号化の国際標準規格であるMPEG-2からMPEG-4へ変換するための映像変換システム、変換方法、プログラムに関する。

TV放送局、CATV（ケーブルTV）局、Webコンテンツプロバイダ等では、製作および放送した映像コンテンツを二次利用する目的で、MPEG（Moving Picture Experts Group）等で符号化し、HDD（Hard Disk Drive）やDVD（Digital Versatile Disk）等の各種記録メディアにデジタル形式で保存することが一般的に行われている。その際、DVDやHDTV（High Definition Television）で使用され、符号化後の画像品質が高いことで知られているMPEG-2（Moving Picture Experts Group Phase2）が特に利用されることが多い。

現在、このように保存されている映像コンテンツを携帯電話やインターネットに接続されたPDA（Personal Digital Assistant）、PC（Personal Computer）等で再生させることを目的とした映像配信サービスが検討されている。

しかし、これらの回線インフラの伝送容量（数十kbps〜十数Mbps）に比べて、MPEG-2の情報量が数倍大きい（数百kbps〜二十数Mbps）ため、映像コンテンツをMPEG-2のまま配信することは実質的に困難である。そこで、例えばMPEG-2に比べて情報圧縮率の高いMPEG-4（Moving Picture Experts Group Phase4）に一旦変換して、再度保存（或いは直ちに配信） する方法が考えられる。

ところで、TV放送局、CATV（ケーブルTV）局、Webコンテンツプロバイダ等では、扱われる映像コンテンツの数は膨大な量に及ぶ。これらを上記の映像配信システムで処理する場合には、放送スケジュールの都合等で、「大量の映像コンテンツを予め決められた制限時間内に変換を完了させる」ことが要求される。特に、負荷の大きい変換要求（制限時間内に終わりそうもない）が設定された場合でも、破綻せずに所定の変換処理を最後まで実行するシステム対応が重要となる。

従来技術として、映像コンテンツをMPEG-2からMPEG-4へ変換するシステムがある（例えば、特許文献１及び特許文献２参照）。
特許文献１には、MPEG-2の全てのIピクチャ(Pピクチャに比べて符号量が大きいピクチャ)をそのまま変換することによるMPEG-4変換後の発生符号量増大の抑制するために、MPEG-2のIピクチャからMPEG-4のIピクチャへ変換を制限する手順を備えて、Iピクチャの変換であっても、MPEG-4変換側で適宜Pピクチャ（Iピクチャに比べて符号量が小さいピクチャ)として変換することを特徴とする手法が記載されている。
特許文献2には、変換前後のピクチャにおける動きベクトル情報の相関が似ていることを利用して、MPEG-2の復号に用いた動きベクトル情報をMPEG-4の動きベクトル情報として符号化することを特徴とし、MPEG-4の動きベクトル探索処理を省略することで変換時間を短縮する手法が記載されている。 また、MPEG-4へ変換した映像データを記録媒体へ保存せずに、常に直接インターネット等の配信回線へ送出することで、システム側で変換後のデータ持たない特徴とする映像配信システムもある（例えば、特許文献３参照）。

特開２００２−１０２６７号公報 特開２００２−４４６６９号公報 特開２００２−２３２８６０号公報

上記特許文献１に開示される方法は、MPEG-2のIピクチャを適宜MPEG-4のPピクチャとして変換することでMPEG-4全体の発生符号量を抑制する手法であるが、通常Pピクチャの符号化は、別のピクチャの参照を伴う処理であるため、変換処理時間は増大傾向となることが予想される。従って、大量の映像コンテンツの変換を所定の制限時間内に終了させるという目的のシステムには適さないという課題がある。

上記特許文献2に開示される方法は、MPEG-2の復号に用いた動きベクトル情報をMPEG-4の動きベクトル情報として符号化することで変換時間を短縮しようとする手法であるが、変換過程で画像のスケーリングやフレームスキップ等の条件を伴う変換では、必ずしも真の動きベクトル情報とはならず、その誤差が大きいままMPEG-4に符号化される可能性がある。この場合の変換後の映像は、真の動きベクトル情報を符号化したMPEG-4の映像と比べて、画質が劣化するという課題がある。

上記特許文献３に開示される方法は、MPEG-4へ変換後の映像コンテンツを保存しないシステム構成であることに特徴があるが、入力されるMPEG-2の全てのフレームについて処理することが前提であり、ある所定数の映像コンテンツの変換を制限時間内に実行させることについては、特に考慮されていない。従って、前記の従来例同様に、大量の映像コンテンツの変換を所定の制限時間内に終了させるという目的のシステムには適さないという課題がある。

本発明は、上述の課題を解決するためのものであり、複数の映像コンテンツをMPEG-2からMPEG-4へ変換する機能を有するシステムにおいて、通常の変換手順（MPEG-2の全てのピクチャをMPEG-4へ変換する）では、予め設定された制限時間に終了しないケースの変換要求を受けた場合でも、所定レベルの映像品質を保持しつつ、全ての映像コンテンツの変換を終了させることが可能な手段を提供することを目的としている。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば以下の通りである。

複数種類のピクチャで構成される第１の符号化データを第２の符号化データに変換するデータ変換方法であって、上記第１の符号化データを取得するステップと、再符号化のモードを選択するステップと、上記第１の符号化データを復号化し、上記選択された再符号化のモードで第２の符号化データに変換してデータストリームを生成するステップと、を有し、上記再符号化のモードは、第１のモードと、第２のモードと、第３のモードを有し、上記第１のモードは、上記第１の符号化データにおける上記複数の種類のピクチャのうち、復号時に他のフレームから参照されるフレームである第１の種類のピクチャを抽出して復号し、再符号化する第１の符号化ステップで、データストリームを作成するモードであり、上記第２のモードは、上記第１の符号化ステップと、復号時に他のフレームから参照されないフレームである第２の種類のピクチャを復号し、再符号化する第２の符号化ステップと、上記再符号化された第２の種類のピクチャを上記第１の符号化ステップで再符号化された第１の種類のピクチャのデータに挿入するステップとでデータストリームを作成するモードであり、上記第３のモードは、上記第1の符号化データの順序で復号し、再符号化する第３の符号化ステップでデータストリームを作成するモードであることを特徴とするデータ変換方法。

全てのピクチャを変換する変換モードだけでは、設定された制限時間内に変換終了できないような変換要求でも、本発明のプログラムによれば、ユーザが設定した映像変換の優先順位に基づいて、処理手順の異なる3種類の変換モードを割り当てることによって、所定レベルの映像品質を保持しつつ、設定された制限時間内に全ての変換処理を終了させることが可能になる。

また、変換後の映像の対して、特に高品位の映像品質を求めない場合は、その内容に応じた処理負荷の軽い変換モードを選択することが可能であるため、本発明のプログラムを搭載したコンピュータのCPU処理負荷を最小限に抑えることが出来る。 Bピクチャの変換をスキップした第1段階の変換のみにより生成されたMPEG-4映像を用いれば、PHSや携帯電話等の有線に比べて伝送容量の小さい無線の通信回線に対しても映像配信が可能になる。続いて、別の伝送容量の大きい通信回線向けに同じMPEG-2映像をフルコンバートする場合においては、全ての変換を最初からやり直す必要はなく、第1段階の変換後のMPEG-4映像と変換プロファイルを用いて、第1段階の変換でスキップしたBピクチャ部分に対して第2段階の変換を実行するだけでよい。このように、本発明の方式は、伝送路の帯域幅の条件に応じて適切な変換方法を提供することが出来る。

また、本発明の方法を用いて、符号化ビット量の大きいMPEG-2映像から符号化ビット量の小さいMPEG-4映像に変換することで、MPEG-2映像のままでは配信が不可能であった伝送容量の小さい外部公衆網に対しても、配信することが可能になる。

以下、本発明における映像配信装置と映像受信装置の実施の形態について説明する。
本発明の映像変換装置は、MPEG-2映像ファイルを保存しておくための記録媒体であるMPEG-2入力部と、MPEG-2映像を元の映像信号に復号化するためのMPEG-2デコーダ部と、一旦元に戻された映像信号をMPEG-4映像に符号化するためのMPEG-4エンコーダ部と、MPEG-2デコーダにより復号された各ピクチャのストリーム上の位置と、第1段階の変換で復号化せずにスキップしたピクチャのビットストリーム上の位置と、動きベクトル平均値などを抽出するための動きベクトル検査部と、これらの情報を一つにまとめ、ファイルとして保存される変換プロファイルと、第2段階の変換において、変換プロファイルの情報に基づいて、第1段階の変換で復号化をスキップされたピクチャ部分への移動を制御するためのフレームスキップ部と、第1段階の変換で作成されたMPEG-4映像ファイルを読み出し、第2段階の変換時にMPEG-4エンコーダ部から出力されるMPEG-4映像とを連結して、再びMPEG-4映像ファイルとして出力するためのマージ制御部と、MPEG-4エンコーダ部またはマージ制御部から出力されるMPEG-4映像を保存しておくための記録媒体であるMPEG-4出力部と、ユーザが変換対象とするMPEG-2映像の選択や優先順位、さらに変換の制限時間等を入力するための操作部と、入力されたMPEG-2映像の所在等をファイルとして保存しておくための変換リストと、変換リストに基づいて変換の順番や変換方法を自動的に決定し、その処理順序などファイルとして保存する変換スケジュールと、映像変換装置の動作状態と、変換の進捗状況と、ユーザ入力時のGUI（Graphical User Interface）と、変換中の映像等を適宜表示するためのモニタと、変換の時間を計測するためのタイマと、映像変換装置の各部に接続され適切な制御を実施するための制御部とで構成する。

同装置は、ユーザが映像コンテンツ毎に設定する変換の優先度に基づいて3つの変換方法を割り当てる。その後、ユーザが設定した変換の制限時間に基づいて、手順の異なる第1段階の変換および第2段階の変換を割り当てて、この2段階の変換を適切な順序で行うことで、MPEG-2映像からMPEG-4映像への変換を実施する機能を備える。

図１は、本発明の映像変換装置100の構成を示す図である。

MPEG-2映像からMPEG-4映像への変換は、HDD等の記録媒体に保存されているMPEG-2映像ファイルを入力（110）し、MPEG-2デコーダ101によって符号化前の映像信号に復号し、その信号をMPEG-4エンコーダ102で再び符号化して、記録媒体へMPEG-4映像ファイルとして出力（111）することにより行う。変換には3種類の方法があり、入力されるMPEG-2映像のIピクチャ（イントラ符号化画像）、Pピクチャ（順方向予測符号化画像）、Bピクチャ（双方向予測符号化画像）の全てのピクチャを変換する方法（フルコンバート）と、IピクチャとPピクチャのみを変換してBピクチャの変換をスキップする方法（１パスコンバート）と、変換をスキップしたBピクチャを変換し、同一MPEG-2映像について既にIピクチャとPピクチャのみ変換されて記録媒体に保存済のMPEG-4映像と連結する方法（2パスコンバート）がある。動きベクトル検査部103は、フルコンバートと1パスコンバートの時に動作し、ピクチャの変換を行った場合は、ピクチャのビットストリーム上の位置と、ピクチャの符号化ビット量等の情報を出力する。また、ピクチャの変換を行わなかった場合は、少なくともピクチャの入力ビットストリーム上の位置と、平均ベクトル値と、そのピクチャが復号化される時に参照するピクチャの位置と、本来MPEG-4映像への変換が行われた場合の出力ビットストリーム上の位置と、そのピクチャがMPEG-4への変換が行われたか否かを示すフラグ(MPEG-4変換フラグ)の各情報を出力する。平均ベクトル値は、2パスコンバートの2パス目変換を実行する際に、どのピクチャを優先的に変換するかを決定するために使用する。ピクチャの位置情報は、変換するピクチャ位置の特定、変換後の連結先位置を特定するために使用する。MPEG-4変換フラグは、ユーザが2パスコンバート後に、変換されなかったピクチャを認識するために使用する。

動きベクトル検出部103で抽出された情報は、変換プロファイル112として記録媒体に保存される。フレームスキップ制御部104は、2パスコンバートの時に動作し、変換プロファイル112を読み出して、1パスコンバートで変換をスキップしたBピクチャの位置移動等を制御する。マージ制御部105は、2パスコンバートの時に動作し、1パスコンバートで出力されたMPEG-4映像のビットストリームと、2パスコンバートで変換されたBピクチャとを、変換プロファイルを参照して連結する部分である。変換リスト113は、変換の制限時間、変換対象となるMPEG-2映像ファイルアドレス（ファイル名を含む）、出力先となるMPEG-4映像ファイルアドレス（ファイル名を含む）、変換方法示す情報を記録したファイルであり、ユーザが操作部107を利用して入力する。映像変換装置100は、この変換リスト113を基にして変換の順番と変換方法を自動的に決定し、変換スケジュール114を作成する。変換は、変換スケジュール114に示された手順に従って、逐次実行される。モニタ109には、ユーザ入力時のGUI（Graphical User Interface）等を表示し、映像変換装置100の動作状態、変換の進捗状況、変換中の映像等も適宜表示する。タイマ108は、変換時間を計測し、予め設定された制限時間に到達したか否かの判断に使用する。制御部106は、映像変換装置100の各部に接続され適切な制御を実施する
図2は、本発明の映像変換装置100が実行する変換の種類を示す図である。

MPEG-2やMPEG-4を用いた映像符号化では、映像情報の時間軸方向の冗長度を落とすため、双方向動き補償フレーム間予測と呼ばれる予測符号化方式が用いられている。予測符号化とは、画面中のある画素の信号値と、異なる時間(過去または未来)の画像の信号値との差分を用いて表す方式のことである。この方式は、一般的に連続した映像は、注目している画像と前後の画像とはよく似ている、という性質を利用したものである。

予測符号化で用いられる画像は、Iピクチャ、Pピクチャ、Bピクチャの3種類がある。Iピクチャは、入力画像そのものだけから符号化されたピクチャであり、別のピクチャとの相関関係を持たないピクチャのことである。Pピクチャは、Iピクチャまたは別のPピクチャの画像情報を参照することによって生成されるピクチャのことである。BピクチャもPピクチャと同様に、IピクチャまたはPピクチャの画像情報を参照することによって生成されるピクチャであるが、Bピクチャ自体は、他のピクチャからは参照されないという点がPピクチャと異なる。

映像変換において、変換処理の時間短縮を目的にある入力ピクチャの変換をスキップする場合、IピクチャまたはPピクチャをスッキプするケースでは、そのピクチャ自体が別のピクチャから参照されるため、実際には必ず復号処理を行わなければならず、ピクチャをスキップしなかった場合と比べても処理時間はほとんど変わらない。仮に、スキップしたとすると、以後の参照先ピクチャを復号することが不可能になり、目的とするスキップピクチャ以外の部分で映像の連続性が失われるという不具合が発生する。一方、Bピクチャのスキップならば、別のピクチャからの参照を受けないため、目的とするスキップピクチャ以外の部分で映像の連続性が失われることがない。

本発明の映像変方法は、上記3種類のピクチャの特徴を利用したものであり、特に変換の処理時間短縮を目的に2段階に分けて変換する手段を備える。2段階の変換では、まず、MPEG-2映像の入力ピクチャの中でまずBピクチャ部分をスキップする変換(第1段階の変換)を行ってMPEG-4映像を作成し、次に時間に余裕がある場合に、スキップしたBピクチャ部分を変換(第2段階の変換)して先に作成したMPEG-4映像と連結する手順を実行する。

図2（a）は、変換の種類毎の変換対象ピクチャを示す図である。
変換は、1パスコンバート200、2パスコンバート201、フルコンバート202の3種類がある。1パスコンバート200は、MPEG-2映像のピクチャのうち、Bピクチャを除いたIピクチャとPピクチャだけを変換する。2パスコンバート201は、まず第1段階の変換（以下、１パス目変換と称す）としてIピクチャとPピクチャを変換してMPEG-4映像のビットストリームを作成する。その後、予め設定された変換の制限時間まで余裕がある場合、第2段階の変換（以下、2パス目変換と称す）として、１パス目変換でスキップしたBピクチャを変換し、先に作成されたMPEG-4映像のビットストリームと結合する。フルコンバート202は、Iピクチャ、Pピクチャ、Bピクチャの全てを取得した順序で変換する。例えば、本映像変換装置100では、1パスコンバートはmode1、2パスコンバートはmode2、フルコンバートはmode3というコードを用いて変換モードを指定する。

１パスコンバートは、Bピクチャをスキップして変換するため、変換時間を大幅に短縮できる利点がある。同モードでは、本来存在するピクチャを間引いているため、厳密には映像の滑らかさの点で品質劣化が生じる。しかし、一般的には毎秒10枚(10フレーム/秒)程度のピクチャで構成される映像であれば、動画としての許容範囲内であることが知られている。通常、毎秒30枚のピクチャ(30フレーム/秒)で構成されるMPEG-2映像において、Bピクチャは、毎秒10枚から20枚程度の範囲で挿入されるのが一般的である。このことから、Bピクチャを間引いても毎秒10枚から20枚程度のピクチャ枚数を確保できるため、品質劣化を最小限に抑えた変換映像を出力できる。

2パスコンバートは、１パスコンバートでスキップしたBピクチャを後から変換し、一度、１パスコンバートで出力されたMPEG-4映像と連結するモードである。同モードは、変換制限時間に余裕がある場合に実行される。一旦間引かれたBピクチャを埋め戻すため、フルコンバートの出力映像と同等の映像品質に近づけることができる。

フルコンバートは、ピクチャを取得した順序で全て変換するため変換時間を短縮することはできないが、ピクチャのスキップを行わないため、変換後映像の品質劣化も小さく、ほぼ入力映像に近い映像品質となる。
各変換モードは、ユーザが任意に設定できる。標準的な設定方法としては、変換後も映像品質を高品位に保ちたいものにはmode3（フルコンバート202）を設定し、特に映像品質を考慮しなくてもよいものにはmode1（1パスコンバート200）を設定する。フルコンバート202よりも優先度は低くても良いが、変換時間に余裕があれば映像品質を高品位に保つ変換を行いたいものにはmode2（2パスコンバート201）設定する。

図2（b）は、変換モード設定時にユーザが指定する優先度203を説明する図である。

優先度203は、1パス目変換でスキップした複数のBピクチャについて、2パス目変換でどこまで変換を本映像変換装置100が判断するための指標となる。具体的には、2パスコンバート201の2パス目変換で変換されるBピクチャの数を決定するために使用する。
具体的には、複数のMPEG-2映像が2パスコンバートの対象となった場合に、ユーザが設定した優先度に基づいて、各々2パス目変換で変換されるBピクチャの数を決定するために使用する。変換するBピクチャの数は、他のMPEG-2映像の優先度との相対関係で決まり、優先度が高い程、2パス目変換で処理するBピクチャの数は多く設定される。2パスコンバートの対象となるMPEG-2映像が１つの場合、優先度は実質的に意味を持たないので、自動的に最も高い優先度に設定される。

優先度203は、ユーザが任意にインターフェイスを介して設定できるようにするか、又は装置が自動的に設定することもできる。自動的に設定する例としては、ユーザが変換するMPEG-2映像を指定した順番に基づいて、始めに設定したMPEG-2映像の優先度が最も高く、最後に設定したものが最も低いというように決定(或いはその逆)する。別の例としては、MPEG-2映像の作成された時期に基づいて決定する方法で、最近作成されたものは優先度が高く、古いものは優先度が低いというように決定(或いはその逆)する。この他、入力するMPEG-2映像のビットレート、フレームレート、画像サイズ等を優先度決定の指標としてもよい。

同図の例では、優先度の範囲は0から9までの10段階である。優先度の数値が大きい程、Bピクチャ変換数を多く設定し、数値が小さい程、Bピクチャ変換数を少なく設定する。優先度9は最も優先順位が高く、全Bピクチャの変換を行う。優先度0は最も優先順位が低く、Bピクチャの変換を行わない。優先度が1〜8に設定された場合は、その設定値の割合に応じてBピクチャ変換数を設定する。

1パスコンバート200の場合は、Bピクチャ変換を行わないため、優先度は0に固定される。フルコンバート202の場合は、1パス目変換において全Bピクチャの変換も含まれているため、優先度は10に固定される。

2パス目変換で変換の対象となるMPEG-2映像のBピクチャの位置は、Bピクチャの動きベクトル情報を参照して、変換するか否かを決定する。特に、動きベクトルが大きいピクチャから優先的に変換対象として割り当てる。一般的に、動きベクトル値が大きいピクチャは、画面の動きが大きい(映像上の人物、物、風景等が素早く移動する)部分であると考えられ、より多くのピクチャを挿入することで滑らかな映像を再現出来るためである。逆に、動きベクトル値が小さいピクチャは、画面の動きも小さいと考えられ、多少ピクチャを間引いても映像劣化として知覚されにくい。

ところで、同図では優先度の設定範囲を10段階としているが、これは設定方法の一例である。優先度の設定範囲は、システム構成に応じて任意に可変しても構わない。

図3は、フルコンバート202の動作を示す図である。

図3（a）は、映像変換装置100におけるフルコンバート202の場合の動作ブロックを示す図である。
フルコンバート202では、ユーザの設定により予め作成される変換スケジュール114に基づいて記録媒体からMPEG-2映像のビットストリームを入力（110）し、MPEG-2デコーダ101でIピクチャ、Pピクチャ、Bピクチャの全てを順次復号する。復号された全てのピクチャはMPEG-4エンコーダ102で順次符号化され、記録媒体へMPEG-4映像のビットストリームとして出力（111）する。

図3（b）は、フルコンバート202時のMPEG-2映像入力のピクチャとMPEG-4映像出力のピクチャの関係を示す図である。
映像変換装置100に入力（110）されるMPEG-2映像のI0ピクチャ（300）、B0ピクチャ（301）、B1ピクチャ（302）、P0ピクチャ（303）は、順次MPEG-4映像に変換され、それぞれI0'ピクチャ（308）、B0'ピクチャ（309）、B1'ピクチャ（310）、P0'ピクチャ（311）として出力（111）される。以後に続くB2ピクチャ（304）、B3ピクチャ（305）、P1ピクチャ（306）、B4ピクチャ（307）も同様に順次B2' ピクチャ（312）、B3' ピクチャ（313）、P1' ピクチャ（314）、B4'ピクチャ（315）に変換される。

図4は、1パスコンバート200および2パスコンバート201の1パス目変換の動作を示す図である。1パスコンバート200と2パスコンバート201の1パス目変換の動作は同じであるので、図4では、1パスコンバート200の動作例として説明する。

図4（a）は、映像変換装置100における1パスコンバート200の場合の動作ブロックを示す図である。
1パスコンバート200では、ユーザの設定により予め作成される変換スケジュール114に基づいて記録媒体からMPEG-2映像のビットストリームを入力（110）し、MPEG-2デコーダ101でBピクチャを除く、Iピクチャ、Pピクチャのみを順次復号する。復号されたIピクチャおよびPピクチャは、直ちにMPEG-4エンコーダ102で符号化され、記録媒体へMPEG-4映像のビットストリームとして出力（111）する。この時、動きベクトル検査部103は、変換に関する所定の情報（図5と図6を用いて後述）を出力し、変換プロファイル112として記録媒体に保存する。

図4（b）は、1パスコンバート200時のMPEG-2映像入力のピクチャとMPEG-4映像出力のピクチャの関係を示す図である。

同図の例のように、MPEG-2映像のピクチャがI0ピクチャ（400）、B0ピクチャ（401）、B1ピクチャ（402）、P0ピクチャ（402）の順で入力された場合、途中のB0ピクチャ（401）とB1ピクチャ（402）の変換はスキップされ、I0ピクチャ（400）とP0ピクチャ（403）が変換される。この後に続いて入力されるB2ピクチャ（404）、B3ピクチャ（405）、P1ピクチャ（406）、B4ピクチャ（407）についても、B2ピクチャ（404）とB3ピクチャ（405）とB4ピクチャ（407）の変換がスキップされ、P1ピクチャ（406）のみが変換される。従って、この場合は変換が実行されたI0'ピクチャ（408）、P0'ピクチャ（409）、P1'ピクチャ（410）の順で連結されたものがMPEG-4映像のピクチャ出力となる。

図5は、IピクチャまたはPピクチャを変換する時に動きベクトル検査部103が出力する情報を示す図である。

Iピクチャ500またはPピクチャ501を変換する時は、各ピクチャの入力ビットストリーム上の位置（ピクチャポインタ502）と、ピクチャの符号化ビット量503を出力する。

図6は、Bピクチャの変換をスキップする時に動きベクトル検査部103が出力する情報を示す図である。

Bピクチャ600の変換をスキップする時は、そのピクチャの入力ビットストリーム上の位置（ピクチャポインタ601）と、平均ベクトル値AveV（602）と、そのピクチャが復号化される時に参照するピクチャの位置（参照ピクチャポインタ603）と、本来MPEG-4映像への変換が行われた場合の出力ビットストリーム上の位置（挿入ピクチャポインタ604）と、そのピクチャが実際にMPEG-4への変換が行われたか否かを示すフラグ（挿入・非挿入識別フラグ605）の情報を少なくとも出力する。但し、１パスコンバートのみの実行が前提の場合には出力しないようにすることも可能である。平均ベクトル値AveV（602）とは、Bピクチャの符号化情報に含まれている複数の動きベクトルの絶対値を平均した値であり、2パスコンバート201の2パス目変換の時に、優先的に変換するBピクチャを決定するためのパラメータとして使用する。

図7は、2パスコンバート201の2パス目変換の動作を示す図である。

図7（a）は、同変換の動作ブロックを示す図である。

2パスコンバート201の2パス目変換では、1パス目変換でスキップされたBピクチャの変換を行う。まず、ユーザの設定により予め作成される変換スケジュール114に基づいて、記録媒体から1パス目変換と同じMPEG-2映像のビットストリームを入力（110）する。この時、フレームスキップ制御部104が、既に作成されている変換プロファイル112を参照する。1パス目変換で変換をスキップしたBピクチャの中から優先的に変換を行うピクチャは、平均ベクトル値AveV(602)の大きさを比較して決定する。平均ベクトル値AveV(602)が大きいほど、変換の優先度が高い。Bピクチャを決定する別の手段として、フレーム符号ビット量(503)を参照して、変換対象のBピクチャを決定しても良い。一般的に、ピクチャ(フレーム)の符号量が大きい部分は、動きベクトル量が大きい場合と同様に、画像の動きが大きいケースであることが知られている。このため、フレーム符号ビット量(503)を参照する方法が代用できる。決定したBピクチャの位置までは、ピクチャポインタ(601)を参照し、ビットストリーム上の移動を制御する。ここで抽出されたBピクチャは、参照ピクチャポインタ(603)に基づき、復号時の参照元となるIピクチャまたはPピクチャを特定してMPEG-2デコーダ101で復号直ちにMPEG-4エンコーダ102で符号化する。続いて、この符号化されたピクチャは、マージ制御部105により、既に1パス目変換で記録媒体へ出力されているMPEG-4映像ビットストリームの所定の位置に連結した後、再び記録媒体へ出力（111）する。Bピクチャを連結する位置は、変換プロファイル112の挿入ピクチャポインタ604が参照される。

図7（b）は、2パスコンバート201の2パス目変換時におけるMPEG-2映像入力のピクチャとMPEG-4映像出力のピクチャの関係を示す図である。

2パスコンバート201の2パス目変換は、Bピクチャのみ変換を行うので、同図の例のようにMPEG-2映像のピクチャが、I0ピクチャ（700）、B0ピクチャ（701）、B1ピクチャ（702）、P0ピクチャ（702）の順で入力された場合、1パス目変換で既に変換済みのI0ピクチャ（700）とP0ピクチャ（703）の変換はスキップされ、B0ピクチャ（701）とB1ピクチャ（702）が変換される。

この後に続いて入力されるB2ピクチャ（704）、B3ピクチャ（705）、P1ピクチャ（706）、B4ピクチャ（707）についても、P1ピクチャ（706）の変換がスキップされ、B2ピクチャ（704）、B3ピクチャ（705）、B4ピクチャ（707）が変換される。

B0ピクチャ(701)、B1ピクチャ(702)、B2ピクチャ(704)、B3ピクチャ(705)、B4ピクチャ(707)の位置は、変換プロファイル112のピクチャポインタ(601)が参照されて特定される。

図7（c）は、2パスコンバート201の2パス目変換時において、優先的に変換するBピクチャが決定している場合の動作の一例を示すである。

同図に示したMPEG-2映像のピクチャ入力で、仮に優先的に変換するBピクチャがB0ピクチャ（714）とB1ピクチャ（715）に決定した場合、該当するBピクチャのみが変換され、B0'ピクチャ（721）とB1'ピクチャ（722）が2パス目変換時のMPEG-4映像のピクチャ出力となる。 B0ピクチャ(714)、B1ピクチャ(715)の位置は、変換プロファイル112のピクチャポインタ(601)が参照されて特定される。

図8は、2パスコンバート201の1パス目変換と2パス目変換のピクチャ出力の連結を示す図である。

仮に、元のMPEG-2映像のピクチャがP0ピクチャ、B2ピクチャ、B3ピクチャ、P1ピクチャと続く構成であって、1パス目変換でMPEG-4映像のP0'ピクチャ（803）とP1'ピクチャ（804）が出力され、2パス目変換でMPEG-4映像のB2'ピクチャ（805）とB3'ピクチャ（806）が出力されたと仮定する。この場合、マージ制御部105によりP0'ピクチャ（803）とP1'ピクチャ（804）の間に、B2'ピクチャ（805）とB3'ピクチャ（806）が連結されたものが最終的なMPEG-4映像のピクチャ出力となる。

1パス目変換のMPEG-4映像へ挿入されるBピクチャの位置は、変換プロファイル112の挿入ピクチャポインタ(604)が参照されて特定される。

図9は、2パスコンバート201の変換動作におけるピクチャ全体の流れを示す図である。

図9(a)は、2パス目変換で最も高い優先度が設定されている場合の例である。2パス目変換で最も高い優先度が設定されている場合、1パス目変換で変換をスキップしたBピクチャを2パス目変換で全て変換する。例えば同図の例で、MPEG-2映像のピクチャ入力（900）がI0、B0、B1、P0、B2、B3、P1、B4、B5、P2（904〜913）の順で入力された場合、1パス目変換（901）後のMPEG-4映像のピクチャ出力は、I0'、P0'、P1'、P2'（914〜917）の各ピクチャが連結されたものになる。続いて、2パス目変換（902）において、B0'、B1'、B2'、B3'、B4'、B5'（918〜923）の各ピクチャが変換され、それぞれのピクチャが、1パス目変換後の出力であるMPEG-4映像の所定の位置へ挿入される。この場合、最終的なMPEG-4映像のピクチャ出力（903）は、I0'、B0'、B1'、P0'、B2'、B3'、P1'、B4'、B5'、P2'の順となる。

図9（b）は、2パス目変換でBピクチャの優先順位が決められている場合の例である。例えば同図の例で、MPEG-2映像のピクチャ入力（900）のI0、B0、B1、P0、B2、B3、P1、B4、B5、P2（923〜932）の中で、2パス目変換（902）の時にB0ピクチャ（924）、B1ピクチャ（925）、B4ピクチャ（930）、B5ピクチャ（931）を優先的に変換すると決定したとする。この場合、B2ピクチャとB3ピクチャは、1パス目変換（901）と2パス目変換（902）の両方で変換がスキップされ、最終的なMPEG-4映像のピクチャ出力（903）は、I0'、B0'、B1'、P0'、P1'、B4'、B5'、P2'の順となる。

図10は、変換リスト113の内容を示す図である。変換リストは、基本情報1000と、入力ファイルアドレス1001と、出力ファイルアドレス1002と、変換モード1003と、優先度1004の各情報で構成する。基本情報1000には、変換リスト113を管理するために使用する任意の変換リスト管理ID（1005）と、変換ファイル数n（1006）と、変換制限時間Ltime（1007）が記録される。入力ファイルアドレス1001には、変換を実行するMPEG-2映像ファイルの記録媒体の位置を示すアドレス（1008〜1010）がn個記録される。出力ファイルアドレス1002には、変換実施後のMPEG-4映像ファイルの出力先位置を示すアドレス（1011〜1013）がn個記録される。変換モード1003には、入力の各MPEG-2映像についてユーザが設定した変換モード1003（1014〜1016）がn個記録される。優先度1004には、入力の各MPEG-2映像についてユーザによる設定または変換対象のMPEG-2映像の作成日時に基づいて自動的に設定した優先度1004（1017〜1020）がn記録される。ただし、変換モード1003がmode1の場合は優先度が0、mode3の場合は優先度が10にそれぞれ固定値として設定される。入力ファイルアドレス1001と、出力ファイルアドレス1002と、変換モード1003と、優先度1004の各パラメータは、それぞれが対応するものについて同一の識別ID（File_ID）が付けられて、関係するパラメータと関係しないパラメータを区別する。

図11は、変換スケジュール114の内容を示す図である。

変換スケジュール114は、変換リスト113に基づいて作成される情報であり、基本情報1100と、変換スケジュール1101と、パス制御コード1102と、2パス目変換時のBピクチャ変換数1103の各情報で構成する。基本情報1100には、変換スケジュール114を管理するために使用する任意の変換スケジュール管理ID（1104）と、参照元である変換リスト113の変換リスト管理ID（1105）と、実行される変換ステップ数m（1106）が記録される。変換スケジュール1101には、変換が実行される順番に変換リスト113で示した識別ID（1107〜1109）がｍ個記録される。パス制御コードには、変換が実行される順番に変換動作を示すコード（1110〜1112）がｍ個記録される。パス制御コード1102では、フルコンバート、1パスコンバート、2パスコンバートの1パス目変換、2パスコンバートの2パス目変換の各動作が区別される。2パス目変換時のBピクチャ変換数1103には、2パスコンバートの2パス目変換を行う場合に、1パス目変換でスキップしたBピクチャの内、幾つのピクチャを変換するかを示す数を記録する。また、2パス目変換時のBピクチャ変換数1103の記録数は、パス制御コード1102に登録されている2パスコンバートの2パス目変換の実行数と同じ数となる。

図12は、パス制御コード1200の内容を説明する図である。
図11で説明したように、パス制御コード1102は、フルコンバート、1パスコンバート、2パスコンバートの1パス目変換、2パスコンバートの2パス目変換の各動作を区別するために使用される。フルコンバートの時はFULL_CNV、1パスコンバートの時はSINGLE_PASS、2パスコンバートの1パス目変換の時はDUAL_PASS１、2パスコンバートの2パス目変換の時はDUAL_PASS2をそれぞれ設定する。

図13は、変換プロファイル112の内容を示す図である。変換プロファイル112は、変換を実行するファイル毎に作成する。変換プロファイル112は、基本情報1300と、入出力映像ファイルアドレス1301と、入出力ファイルアドレス1301と、変換したピクチャの変換情報（1302〜1305）で構成する。基本情報1300には、変換プロファイル112を管理するために使用する任意の変換プロファイル管理ID（1306）と、参照元である変換リスト113の変換リスト管理ID（1307）と、参照元である変換スケジュール管理ID（1308）と、変換条件1309（ビットレート、画像サイズ等）を記録する。入出力ファイルアドレスには、変換リスト113を参照して、MPEG-2映像の入力ファイルアドレス1310と、MPEG-4映像の出力ファイルアドレス1311を記録する。ピクチャ変換情報（1302〜1305）には、図5と図6で説明した動きベクトル検査部が出力する情報を記録する。例えば、1パスコンバートによる変換でMPEG-2映像のピクチャがI0、B0、B1、P0という順序で入力された場合、I0ピクチャの変換情報には、ピクチャポインタ1312と、フレーム符号化ビット量1313が記録される。B0ピクチャの変換情報1303とB1ピクチャの変換情報1304には、それぞれにピクチャポインタ1314と、1個以上の参照ピクチャポインタ（1315〜1317）と、平均ベクトル値AveV（1318）と、挿入ピクチャポインタ1319と、挿入・非挿入識別フラグ1320が記録される。P0ピクチャの変換情報1305には、I0ピクチャの変換情報1302と同様に、ピクチャポインタ1312と、フレーム符号化ビット量1313が記録される。特に、B0ピクチャの変換情報1303とB1ピクチャの変換情報1304は、2パスコンバートの2パス目変換の時に、1パス目変でスキップしたBピクチャの位置を素早く特定するための換参照パラメータとして使用される。

図14は、変換リスト113の内容の一例（113-2）を示す図である。

同図の例では、変換リストID（1400）はCNV_LIST_001、変換ファイル数1401は4個、リストに登録されている変換全体の制限時間1402は600秒であることを表している。入力ファイルアドレス1001と、出力ファイルアドレス1002と、変換モード1003の各パラメータは、それぞれ識別IDにより関連付けされて表される。例えば、1つ目のMPEG-2映像の入力ファイルに当たるFile_ID1のファイルアドレス1403は「C:\movie1.mp2」、これに対応するMPEG-4映像の出力ファイルアドレス1407は「C:\movie1.mp4」、さらに該当する変換モード1411はmode2、優先度1415は2であることを表している。以下、File_ID2、File_ID3、File_ID4においても同様である。

図15は、変換スケジュール114の内容の一例（114-2）を示す図である。
同図の例では、変換スケジュールID1500はCNV_SCDL_001、参照する変換リストID（1501）はCNV_LIST_001、変換ステップ数は6ステップであることを表している。変換スケジュール1102と、パス制御コード1103の各パラメータは、それぞれのステップにより関連付けされて表される。例えば、第1ステップ（step1）で実行される変換を示す識別IDはFile_ID3（1503）、同ステップに対応するパス制御コード1103はFULL_CNV（1509）であることを表している。以下、第2ステップ（step2）から第6ステップ（step6）においても同様である。2パス目変換のBピクチャ変換数1104は、パス制御コード1103がDUAL_PASS2、即ち2パスコンバートの2パス目変換の場合のみに設定される。同図の例では、第5ステップ変換時のBピクチャ変換数は400フレーム、第6ステップ変換時のBピクチャ変換数は500フレームであることを表している。

図16は、変換スケジュール114-2に基づく変換の実行順序の一例を示すフローチャートである。
ここでは、図15で説明した変換スケジュール114-2の内容を例とした変換ステップのフローチャートを示す。変換スケジュールに基づく動作は、変換を開始1600すると、第1ステップとしてFile_ID3のフルコンバート実行（1601）、第2ステップとしてFile_ID1に対する2パスコンバートの1パス目変換実行（1602）、第3ステップとしてFile_ID2に対する2パスコンバートの1パス目変換実行（1603）、第4ステップとしてFile_ID4の1パスコンバート実行（1604）の順で行われる。さらに続いて、第5ステップとしてFile_ID1の2パスコンバートの2パス目変換実行（1606）、第6ステップとしてFile_ID2の2パスコンバートの2パス目変換実行（1607）を行い、変換を終了する。

図17は、映像変換装置100と入出力映像ファイルおよび変換実行時に参照される各情報ファイルの接続関係を示す図である。
図17（a）は、上記接続関係の一例を示す図である。
同図は、映像変換装置100と、別に用意される記録媒体1700を接続し、この中にMPEG-2映像ファイル110、MPEG-4映像ファイル111、変換リスト113、変換スケジュール114、変換プロファイル112を格納した例である。記録媒体1700は、これらを格納できるメディアであれば何でもよく、例えば、HDD、DVD-RAM、DRAM、フラッシュメモリ等でも良い。また、記録媒体1700を複数台用意して、映像変換装置100と接続する構成としても良い。

この構成は、MPEG-2映像ファイル110、MPEG-4映像ファイル111、変換リスト113、変換スケジュール114、変換プロファイル112をグループとしての１つの外部記録媒体1700に記録するため、変換履歴管理が行い易いという利点がある。また、この記録媒体を別の映像変換装置に接続した場合には、元の映像変換装置100と同じ変換履歴を継承することが出来るという利点がある。

図17（b）は、上記接続関係の別の一例を示す図である。

同図は、ファイルの容量が比較的大規模になるMPEG-2映像ファイル110とMPEG-4映像ファイル111を外部接続の大容量記録媒体1701に格納し、ファイル容量が比較的小規模である変換リスト113、変換スケジュール114、変換プロファイル112などを映像変換装置100に内蔵した記録媒体1702に格納した例である。

この構成は、変換リスト113、変換スケジュール114、変換プロファイル112を映像変換装置100の内部のみに残す構成であり、MPEG-2映像ファイル110とMPEG-4映像ファイル111を格納した記録媒体1701を別の映像変換装置に接続しても変換履歴は継承できない。つまり、変換履歴を外部に知られたくない等の用途において、その情報を隠匿出来るという利点がある。

図18は、映像変換の全体動作の流れを示すフローチャートである。
映像変換は、まずユーザ操作により変換対象となるMPEG-2映像ファイルの設定（1800）と、変換全体の制限時間が設定（1801）される。続いて、ユーザ設定の内容に基づいて変換リスト113と変換スケジュール114が自動的に出力（1802,1803）される。この変換リスト113と変換スケジュール114の内容に基づいて、映像変換が実行（1804）される。また、映像変換実行中には、変換プロファイル112が自動的に出力される。

図19は、設定された変換制限時間から変換スケジュール114を決定するまでの流れを示す図である。
変換スケジュール114の実行ステップは、まず変換リスト113を参照して変換制限時間（以下、Ltimeと称する）を読み込み（1900）、変換リストに設定されている変換モードをmode1とmode3に限定して適用すると仮定して合計変換時間を予測（以下、Ptimeと称する）する（1901）。つまり、mode2（2パスコンバート）の変換は、暫定的にmode1（1パスコンバート）で変換すると仮定する。変換の予測時間は、入出力映像のビットレート、フレームレート、フレーム符号化ビット量等を参考にして算出する。ここで、LtimeとPtimeを比較する。LtimeよりもPtimeが長い場合（1902）は、全ての変換ステップが変換制限時間内に終了しない可能性があるため、ユーザに設定内容の再設定を促す（1908）。再設定を行う場合は、変換リストまたは変換制限時間を再設定し（1909）、処理ステップ1900に戻る。再設定をしない場合は、エラーである旨をモニタ109等に出力（1910）して処理を終了する。PtimeがLtimeよりも長くない場合は、続いて、PtimeとLtimeが等しいかを比較する（1903）。両者が等しいときは、2パスコンバートの2パス目変換を実行する時間的余裕が無いと考えられるため、変換モードをmode1とmode3に限定した内容、つまり、mode2（2パスコンバート）の変換をmode1（1パスコンバート）に変更して変換スケジュール114を作成する（1904）。PtimeがLtimeよりも短い場合は、2パスコンバートの2パス目変換を実行する時間的余裕が有ると考えられるため、ユーザが設定した内容に沿ってmode1、mode2、mode3を適用した変換スケジュール114を作成する（1906）。続いて、変換リストの優先度を参照してmode2の2パス目変換時のBピクチャ変換数を生成し（1907）、変換スケジュール114に反映する。優先度は予め設定しておく値を用いるか、又、必要に応じてユーザからの入力を受けることで設定してもよい。Bピクチャ変換数は、変換制限時間から予測変換時間を差し引いた時間（Ltime−Ptime）から処理可能なBピクチャの変換数を算出し、2パス目変換の実行ステップに配分する。以上の手順で作成した変換スケジュール114は、ファイルとして記録媒体に出力する（1905）。

図20は、映像変換動作の流れを示すフローチャートである。
まず、変換制限時間（以下、Ltimeと称する）を読み込み（2000）、タイマにより変換時間カウント（以下、Ctimeと称する）を開始する（2001）。続いて、変換スケジュール114を読み出し（2002）、各変換ステップの変換モードに従って処理が分岐する。

変換モードがmode1またはmode2の1パス目変換の場合は、処理ステップ2004から処理ステップ2011を実行する。MPEG-2映像ファイルからピクチャを順次読み込み（2004）、入力されたピクチャの種類を判定する（2005）。ピクチャがIピクチャまたはPピクチャの場合は、直ちに変換を行い（2006）、MPEG-4映像ファイルを出力し（2007）、さらに変換プロファイルを出力する（2009）。ピクチャがBピクチャの場合、変換をスキップし（2008）、変換プロファイルのみを出力する（2009）。この時点でCtimeがLtimeを超えた（変換制限時間を超えた）か否かを調べる（2010）。変換制限時間を超えた場合は、直ちに映像変換を終了する。変換制限時間を超えていない場合は、次にMPEG-2映像ファイルの入力が終了したか否かを調べ（2001）、まだ終了していなければ、処理ステップ2004に戻る。MPEG-2映像ファイルの入力が終了した場合は、変換スケジュール114に登録されている変換ステップが全て終了したかを否かを調べ（2029）、まだ終了していなければ処理ステップ2002に戻り、終了している場合は、変換動作を終了する。

変換モードがmode2の2パス目変換の場合は、処理ステップ2013から処理ステップ2023を実行する。まず、変換スケジュール114から2パス目変換時のBピクチャ変換数（以下、Blmtと称する）を読み出し（2013）、変換プロファイル112の平均ベクトル値AveVを参照して、AveVの大きいBピクチャから順番にBlmt個の変換候補を決定する(2014)。このBピクチャ変換候補を決める別の方法として、図7で説明したように、スキップしたBピクチャの直前のフレーム符号化ビット量としても良い。続いて、Bピクチャの変換済みカウンタ（以下、Bcntと称する）をゼロに初期化し（2015）、Bピクチャ変換候補を1つ読み出す(2016)。次に、MPEG-2映像ファイルからピクチャを順次読み込み、変換候補のBピクチャ位置へ移動する（2017）。変換候補のBピクチャを含め、以後連続するｎ個のBピクチャの変換を行なう（2018）。Bピクチャ変換のために参照するIピクチャまたはPピクチャの位置は、変換プロファイル112の参照ピクチャポインタ603により特定する。変換後は、1パス目変換で既に作成済みであるMPEG-4映像ファイルの所定の位置に連結する（2019）。連結する位置は、変換プロファイル112の挿入ピクチャポインタ604により特定する。次に、Bcntにnを加算し（2020）、この時点でCtimeがLtimeを超えた（変換制限時間を超えた）か否かを調べる（2021）。変換制限時間を超えた場合は、直ちに映像変換を終了する。変換制限時間を超えていない場合は、次にMPEG-2映像ファイルの入力が終了したか否かと、BcntがBlmtを超えたか否かを調べ（2022,2023）、MPEG-2映像ファイルの入力がまだ終了せず、且つBcntがBlmtを超えていなければ、処理ステップ2016に戻る。MPEG-2映像ファイルの入力が終了、またはBcntがBlmtを超えた場合は、変換スケジュール114に登録されている変換ステップが全て終了したかを否かを調べ（2029）、まだ終了していなければ処理ステップ2002に戻り、終了している場合は、変換動作を終了する。

変換モードがmode3の場合は、処理ステップ2024から処理ステップ2028を実行する。MPEG-2映像ファイルからピクチャを順次読み込み（2024）、入力されたIピクチャ、Pピクチャ、Bピクチャの全てについて直ちに変換を行い（2025）、MPEG-4映像ファイルを出力する（2026）。次に、CtimeがLtimeを超えた（変換制限時間を超えた）か否かを調べる（2027）。変換制限時間を超えた場合は、直ちに映像変換を終了する。変換制限時間を超えていない場合は、次にMPEG-2映像ファイルの入力が終了したか否かを調べ（2028）、まだ終了していなければ、処理ステップ2024に戻る。MPEG-2映像ファイルの入力が終了した場合は、変換スケジュール114に登録されている変換ステップが全て終了したかを否かを調べ（2029）、まだ終了していなければ処理ステップ2002に戻り、終了している場合は、変換動作を終了する。

尚、この例では、変換プロファイルが出力されるのは、mode1またはmode2の1パス目変換の場合としているが、この他に、mode3およびmode2の2パス目変換の場合にも出力する手順としても構わない。

図21は、映像変換装置100を用いた運用形態の一例を示す図である。
同図は、インターネットや無線等の外部公衆網2105と接続された映像配信サーバ2100に、複数台の映像変換装置（2101〜2103）とMPEG-2映像およびMPEG-4映像を記録するための映像記憶装置2104が接続されている構成例である。映像配信サーバ2100は、映像変換装置（2101〜2103）の変換時間や変換能力に応じて、変換スケジュールを適宜割り当てる。また、変換を行うMPEG-2映像と、変換後のMPEG-4映像は、いずれも映像配信サーバ2100を介して、映像変換装置（2101〜2103）と映像記憶装置2104との間で送受信が行われる。

図22は、映像変換装置100を用いた運用形態の別の一例を示す図である。
同図は、映像配信サーバ2100に、映像変換装置2201と、TV放送局から発信されたBSディジタル放送等の番組を受信するためのTV受信機と、受信したTV番組および映像変換装置2201で変換したMPEG-4映像を記録するための映像記憶装置2201と、インターネット等の外部公衆網2204と、携帯電話などへ発信するための無線送信機2205が接続された構成例である。この例では、受信した複数のTV番組を映像記憶装置2201に蓄積しておき、映像変換装置2201でまとめてMPEG-4映像に変換することができる。変換されたMPEG-4映像は、映像配信サーバによりインターネット等の外部公衆網2204を経由して配信することで、PC（Personal Computer）やPDA等の視聴端末で視聴することが可能になる。また、映像配信サーバから無線送信機2205および無線中継機（2206,2207）を経由することで、携帯電話、PHS（Personal Handyphone System）、自動車電話、無線LANに接続された端末等で視聴することが可能になる。また、別の実施例として、映像変換装置100に直接PDAや携帯電話を接続して変換映像を再生しても良い。さらに、映像変換装置100にフラッシュメモリなどの記録媒体へ変換映像を書き込むためのデータ記録装置を接続し、そのデータ記録装置を使用して作成した書き込み済みの記録媒体をPDAや携帯電話に装着して変換映像を再生しても良い。

本発明の映像変換装置に適用できる入出力映像ファイルのフォーマット形式は、上記のMPEG-2およびMPEG-4の他に、予測符号化を用い、且つ別のピクチャから参照されない種類のピクチャを持つ映像符号化方式であれば、その何れかを適用しても良い。例えば、ビデオCD等の蓄積メディア向けの映像符号化方式であるMPEG-1(Moving Picture Experts Group Phase1)、テレビ電話向けの映像符号化方式であるH.263、さらに、ディジタルVTR(Video Tape Recorder)向けの映像符号化方式のDV-codec(Digital Video-codec)およびD-VHS(Digital-Video Home System)等が適用できる。

映像変換装置の構成を示す図。 映像変換装置が備える変換の種類を示す図。 フルコンバートの動作を示す図。 1パスコンバートおよび2パスコンバートの1パス目変換の動作を示す図。 IピクチャまたはPピクチャの変換時に動きベクトル検査部が出力する情報を示す図。 Bピクチャ変換のスキップ時に動きベクトル検査部が出力する情報を示す図。 2パスコンバートの2パス目変換の動作を示す図。 2パスコンバートの1パス目変換と2パス目変換のピクチャ出力の連結を示す図。 2パスコンバートの変換動作におけるピクチャ全体の流れを示す図。 変換リストの内容を示す図。 変換スケジュールの内容を示す図。 パス制御コードの内容を示す図。 変換プロファイルの内容を示す図。 変換リストの内容の一例を示す図。 変換スケジュールの内容の一例を示す図。 変換スケジュールに基づく変換の実行順序の一例を示すフローチャート。 映像変換装置と入出力映像ファイルおよび変換実行時に参照される各情報ファイルの接続関係を示す図。 映像変換の全体動作の流れを示すフローチャート。 設定された変換制限時間から変換スケジュールを決定するまでの流れを示す図。 映像変換動作の流れを示すフローチャート。 映像変換装置を用いた運用形態の一例を示す図。 映像変換装置を用いた運用形態の別の一例を示す図。

符号の説明

100…映像変換装置、101…MPEG-2デコーダ、102…MPEG-4エンコーダ、103…動き
ベクトル検査部、104…フレームスキップ制御部、105…マージ制御部、106…制
御部、107…操作部、108…タイマ、109…モニタ、110…MPEG-2入力、111…MPEG-
4出力、112…変換プロファイル、113…変換リスト、114…変換スケジュール。

Claims (10)

1. 複数種類のピクチャで構成される第１の符号化データを第２の符号化データに変換するデータ変換方法であって、
   上記第１の符号化データを取得するステップと、
   再符号化のモードを選択するステップと、
   上記第１の符号化データを復号化し、上記選択された再符号化のモードで第２の符号化データに変換してデータストリームを生成するステップと、を有し、
   上記再符号化のモードは、第１のモードと、第２のモードと、第３のモードを有し、
   上記第１のモードは、
   上記第１の符号化データにおける上記複数の種類のピクチャのうち、復号時に他のフレームから参照されるフレームである第１の種類のピクチャを抽出して復号し、再符号化する第１の符号化ステップで、データストリームを作成するモードであり、
   上記第２のモードは、
   上記第１の符号化ステップと、復号時に他のフレームから参照されないフレームである第２の種類のピクチャを復号し、再符号化する第２の符号化ステップと、上記再符号化された第２の種類のピクチャを上記第１の符号化ステップで再符号化された第１の種類のピクチャのデータに挿入するステップと、でデータストリームを作成するモードであり、
   上記第３のモードは、
   上記第１の符号化データの順序で復号し、再符号化する第３の符号化ステップでデータストリームを作成するモードであることを特徴とするデータ変換方法。
2. 複数種類のピクチャで構成される第１の符号化データを第２の符号化データに変換するデータ変換方法であって、
   上記第１の符号化データを取得するステップと、
   再符号化のモードを選択するステップと、
   上記第１の符号化データを復号化し、上記選択された再符号化のモードで第２の符号化データに変換してデータストリームを生成するステップと、を有し、
   上記再符号化のモードは、第１のモードと、第２のモードと、第３のモードを有し、
   上記第１のモードは、
   上記第１の符号化データにおける上記複数の種類のピクチャのうち、復号時に他のフレームから参照されるフレームである第１の種類のピクチャを抽出して復号し、再符号化する第１の符号化ステップで、データストリームを作成するモードであり、
   上記第２のモードは、
   上記第１の符号化ステップと、
   復号時に他のフレームから参照されないフレームである第２の種類のピクチャを復号し、再符号化する第２の符号化ステップと、
   上記再符号化された第２の種類のピクチャを上記第１の符号化ステップで再符号化された第１の種類のピクチャのデータに挿入するステップとでデータストリームを作成するモードであり、
   上記第３のモードは、
   上記種類毎の抽出を行わずに、再符号化する第３の符号化ステップでデータストリームを作成するモードであることを特徴とするデータ変換方法。
3. 請求項１または２において、
   上記モードの選択は、第１の符号化データのファイル毎になされることを特徴とするデータ変換方法。
4. 請求項１または２において、
   上記第２のモードは、上記第２の種類のピクチャの一部のみを符号化することを特徴とするデータ変換方法。
5. 請求項４において、
   上記第２のモードで符号化される第２の種類のピクチャは、上記第２のモードで符号化されない第２の種類のピクチャよりも、大きな動きベクトルを備えたピクチャであること
   を特徴とするデータ変換方法。
6. 複数種類のピクチャで構成される第１の符号化データを第２の符号化データに変換する映像変換装置であって、
   上記第１の符号化データを取得する符号化データ取得部と、
   再符号化のモードを選択する再符号化モード選択部と、
   上記第１の符号化データを復号化し、上記選択された再符号化のモードで第２の符号化データに変換してデータストリームを生成するデータストリーム生成部と、を有し、
   上記再符号化のモードは、第１のモードと、第２のモードと、第３のモードを有し、
   上記第１のモードは、
   上記第１の符号化データにおける上記複数の種類のピクチャのうち、復号時に他のフレームから参照されるフレームである第１の種類のピクチャを抽出して復号し、再符号化する第１の符号化ステップで、データストリームを作成するモードであり、
   上記第２のモードは、
   上記第１の符号化ステップと、
   復号時に他のフレームから参照されないフレームである第２の種類のピクチャを復号し、再符号化する第２の符号化ステップと、
   上記再符号化された第２の種類のピクチャを上記第１の符号化ステップで再符号化された第１の種類のピクチャのデータに挿入するステップとでデータストリームを作成するモードであり、
   上記第３のモードは、
   上記第１の符号化データの順序で復号し、再符号化する第３の符号化ステップでデータストリームを作成するモードであることを特徴とする映像変換装置。
7. 複数種類のピクチャで構成される第１の符号化データを第２の符号化データに変換する映像変換装置であって、
   上記第１の符号化データを取得する符号化データ取得部と、
   再符号化のモードを選択する再符号化モード選択部と、
   上記第１の符号化データを復号化し、上記選択された再符号化のモードで第２の符号化データに変換してデータストリームを生成するデータストリーム生成部と、を有し、
   上記再符号化のモードは、第１のモードと、第２のモードと、第３のモードを有し、
   上記第１のモードは、
   上記第１の符号化データにおける上記複数の種類のピクチャのうち、復号時に他のフレームから参照されるフレームである第１の種類のピクチャを抽出して復号し、再符号化する第１の符号化ステップで、データストリームを作成するモードであり、
   上記第２のモードは、
   上記第１の符号化ステップと、
   復号時に他のフレームから参照されないフレームである第２の種類のピクチャを復号し、再符号化する第２の符号化ステップと、
   上記再符号化された第２の種類のピクチャを上記第１の符号化ステップで再符号化された第１の種類のピクチャのデータに挿入するステップとでデータストリームを作成するモードであり、
   上記第３のモードは、
   上記種類毎の抽出を行わずに、再符号化する第３の符号化ステップでデータストリームを作成するモードであることを特徴とする映像変換装置。
8. 請求項６または７において、
   上記モードの選択は、第１の符号化データのファイル毎になされることを特徴とする映像変換装置。
9. 請求項６または７において、
   上記第２のモードは、上記第２の種類のピクチャの一部のみを符号化することを特徴とする映像変換装置。
10. 請求項９において、
    上記第２のモードで符号化される第２の種類のピクチャは、上記第２のモードで符号化されない第２の種類のピクチャよりも、大きな動きベクトルを備えたピクチャであることを特徴とする映像変換装置。

Images