JP3621598B2

JP3621598B2 - 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体

Info

Publication number: JP3621598B2
Application number: JP5727299A
Authority: JP
Inventors: 次郎長沼; 裕江岩崎; 真遠藤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-03-04
Filing date: 1999-03-04
Publication date: 2005-02-16
Anticipated expiration: 2019-03-04
Also published as: JP2000261797A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力画像を複数の領域に分割し、複数の符号化器を用いて、各領域を並列に符号化する領域分割による画像の並列符号化を、複数の計算機資源を有する並列計算機上にソフトウェアで構築する並列動画像符号化方法に関する。特に、近年の汎用マイクロプロセッサの著しい計算能力の向上を背景として、数台程度の小規模マルチプロセッサシステム上にソフトウェアによるリアルタイムＭＰＥＧ−２ビデオエンコーダの実現を可能する並列動画像符号化方法に関する。
【０００２】
【従来の技術】
近年の汎用マイクロプロセッサの計算能力の著しい向上により、従来、専用ハードウェアでしか実現できなかったＭＰＥＧ−２ビデオエンコード処理が、ソフトウェアによってリアルタイム処理することも近い将来可能である。しかし、現状の最高速のマイクロプロセッサの計算能力でもリアルタイム処理にはまだ数倍程度の差がある。
【０００３】
一方、専用ハードウェアとしては、通常の標準ＴＶ方式であるＮＴＳＣに対応したシングルチップのＭＰＥＧ−２ＭＰ＠ＭＬビデオエンコーダＬＳＩが開発されており、さらに高画質のＨＤＴＶ方式を実現するため、これらのＭＰＥＧ−２ＭＰ＠ＭＬビデオエンコーダＬＳＩを複数個用いて、領域分割による動画像の並列符号化技術によるＨＤＴＶ対応のＭＰＥＧ−２ＭＰ＠ＨＬビデオエンコーダの開発が行われている（例えば、文献［１］）。また、領域分割による動画像の並列符号化のための高性能な符号化アルゴリズムも提案されている（例えば、文献［２］［３］）。
【０００４】
また、３００台以上と現実的ではないが、並列計算機上にソフトウェアを用いて領域分割による動画像の並列符号化として、領域の分割法とプロセッサの割り当て法などが提案されている（例えば文献［４］）。
【０００５】
［１］近藤、吉留、“ＨＴＤＶエンコーダ”、第２回システムＬＳＩ琵琶湖ワークショップ ’９８、１９９８．１１．
［２］中村他、“画面分割によるＭＰＥＧ−２ＨＤＴＶ画像符号化の検討”、１９９８年画像符号化シンポジウム（ＰＣＳＪ９８）、ｐｐ．４５−４６，１９９８．
［３］中村他、“動画像符号化装置および動画像符号化方法”、特願平１０−２７０７９４．
［４］ＳｈａｈｒｉａｒＭ．Ａｋｒａｍｕｌｌａｈ，ｅｔ．ａｌ．， ”ＰｅｒｆｏｒｍａｎｃｅｏｆＳｏｆｔｗａｒｅ−ｂａｓｅｄＭＰＥＧ−２ＶｉｄｅｏＥｎｃｏｄｅｒｏｎＰａｒａｌｌｅｌａｎｄＤｉｓｔｒｉｂｕｔｅｄＳｙｓｔｅｍｓ”，ＩＥＥＥＴｒａｎｓ．ＣｉｒｃｕｉｔａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，ｖｏｌ．７，ｎｏ．４，Ａｕｇ．１９９７．
【０００６】
【発明が解決しようとする課題】
領域分割による動画像の並列符号化を、複数の計算機資源を有する並列計算機上にソフトウェアで構築する場合の問題点を列挙する。
【０００７】
［専用ハードウェアの処理をソフトウェアで実現した時の問題点］
文献［１］に示すような専用ハードウェアで実現する場合、符号化処理単位の入力画像、出力ストリーム、符号化処理の同期制御は、専用ハードウェア内部（ＬＳＩ内部）で実現されている。具体的には、それぞれの処理の終了を示すハンドシェークフラッグ（詳細には数十を越える）を用いて、入力画像が到着すると、そのデータ到着に依存してそれ以降の符号化処理が起動され、また符号化処理が完了すると、ストリーム出力が起動される。また、画像の入力、ストリーム出力は独立したポートで実現されており、領域の符号化処理とはバッファを介して分離されており、一連の処理がデータ駆動的にパイプライン処理されるようにハードウェアが設計されている。
【０００８】
このように専用ハードウェアでは、符号化処理単位の同期制御はハードウェアが実現しているため、処理のオーバヘッドとならない。しかし、同様の動作をソフトウェアで実現した場合、多数のハンドシェークフラッグの更新を監視するポーリングによって、ＣＰＵパワーが浪費される。また、同期制御を実現しなかった場合、独立に動作する各領域を担当する符号化処理が、独立かつ非同期に入力画像を要求し、また、ストリーム出力を要求する。このように、並列ソフトウェアにとって高価な時間のかかる入出力が非同期に並列分散して発生するため、画像の入力とストリーム出力のために、多くの待ち時間が発生して、本来の符号化処理を複数の計算機資源を用いて効率的に実行できない。
【０００９】
［従来のソフトウェアによる動画像の並列符号化の問題点］
文献［４］では、領域分割による並列符号化の原理的な動作として、初期の領域分割以外の何の情報の授受も発生しない理想的な領域の分割法とプロセッサの割り当て法を提案している。しかし、実際的な画像の入力やストリームの出力などの処理のオーバヘッド削減や、文献［２］［３］などに示される実用的な領域分割による動画像の並列符号化のための高性能な符号化アルゴリズムに不可欠な符号化処理単位の同期動作の実現とこれらの処理の効率化のために、符号化処理単位の入力画像、出力ストリーム、領域の符号化処理の同期制御の必要性と重要性は言及していない。
【００１０】
以上示したように、領域分割による動画像の並列符号化を、複数の計算機資源を有する並列計算機上にソフトウェアで構築する場合のポイントは、符号化処理単位の入力画像、出力ストリーム、符号化処理の同期制御である。従来のソフトウェアによる領域分割による動画像の並列符号化の技術において、符号化処理単位の入力画像、出力ストリーム、符号化処理の同期制御するという概念は存在しなかった。また、専用ハードウェアのようなデータ駆動による同期制御を実現するには、処理のオーバヘッドが大きく、処理の効率化が図れないという問題があった。これらのことは、近年の汎用マイクロプロセッサの著しい計算能力の向上を背景として、数台程度の小規模マルチプロセッサシステム上にソフトウェアによるリアルタイムＭＰＥＧ−２ビデオエンコーダを実現する場合、従来技術では今後ますます深刻な問題となる。
【００１１】
本発明の目的は、入力画像を複数の領域に分割し、複数の符号化器を用いて、各領域を並列に符号化する領域分割による動画像の並列符号化を、複数の計算機資源を有する並列計算機上にソフトウェアで構築するのに好適な並列ソフトウェア画像符号化方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明の並列ソフトウェア画像符号化方法は、入力画像を複数の領域に分割し、かつ、複数の単体符号化部のストリームをひとつに結合し、かつ、複数の単体符号化部を制御する入出力全体制御部と、分割された領域の分割画像を指定された符号化パラメータで符号化し、符号化結果とストリーム（以下領域ストリームと呼ぶ）を出力する複数の単体符号化部を複数の計算機資源に割り当て、入出力全体制御部から複数の単体符号化部へ、分割画像入力の指示、領域ストリーム出力の指示を出して複数の分割画像と複数の領域ストリームの入出力タイミングを制御し、かつ、入出力全体制御部と複数の単位符号化部の間で、画像分割の領域情報、各単体符号化部の符号化パラメータ情報、各単体符号化部の符号化結果情報の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の画像符号化を実現する。
【００１３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１４】
図１を参照すると、本発明の第１の実施形態は、分割された領域を指定された符号化パラメータで符号化し、符号化結果情報７と領域ストリーム８を出力する複数の単体符号化部２Ａと、入力動画像をピクチャ単位で複数の領域に分割し、複数の単体符号化部２のストリームをひとつに結合し、かつ、複数の単体符号化部２を制御する入出力全体制御部１Ａで構成されている。図中、３、４、５はそれぞれ、入出力全体制御部１Ａから各単体符号化部２へ渡される情報である、画像分割の領域情報と各単体符号化部２Ａの符号化パラメータ情報、分割画像入力指示、領域ストリーム出力指示である。図中、６は入出力全体制御部１Ａから各単体符号化部２Ａへ渡される分割画像である。図中７は、各単位符号化部２から入出力全体制御部１Ａへ渡される、各単体符号化部２Ａの符号化結果情報である。図中、８は各単体符号化部２Ｂから入出力全体制御部１Ａへ渡される領域ストリームである。
【００１５】
入出力全体制御部１Ａは、図２に示すように、各単体符号化部２Ｂへ、領域情報と符号化パラメータ情報３を送信し（ステップ１１）、分割画像６の入力指示４を出し（ステップ１２）、符号化結果情報７を各単体符号化部２Ａから受信し（ステップ１３）、符号化単位で同期して領域情報と符号化パラメータ情報３を更新し（ステップ１４）、各単体符号化部２Ｂへ領域ストリーム８の出力指示５を出す（ステップ１５）ことを、全てのピクチャについて行うことで（ステップ１６）、所定の動画像符号化を実現する。単体符号化部２Ａは、図３に示すように、領域情報と符号化パラメータ情報３を入出力全体制御部１Ａから受信し（ステップ２１）、担当する分割画像６を入出力全体制御部１Ａから入力し（ステップ２２）、符号化処理を行い（ステップ２３）、符号化結果情報７を入出力全体制御部１Ａへ送信し（ステップ２４）、領域ストリーム８を入出力全体制御部１Ａへ出力する（ステップ２５）ことを終了指示があるまで繰り返す（ステップ２６）。
【００１６】
図４を参照すると、本発明の第２の実施形態は、分割された第１の領域以外の領域を指定された符号化パラメータで符号化し、符号化結果７と領域ストリーム８を出力する複数の単体符号化部２Ｂと、入力動画像をピクチャ単位で複数の領域に分割し、かつ、複数の単体符号化部２Ｂの出力ストリーム８をひとつに結合し、複数の単体符号化部２Ｂを制御し、かつ、第１の領域を符号化する入出力符号化全体制御部１Ｂで構成されている。図中３、４、５はそれぞれ入出力符号化全体制御部１Ｂから第１の領域以外の領域を担当する複数の単体符号化部２Ｂへ渡される情報である画像分割の領域情報と各単体符号化部２Ｂの符号化パラメータ情報、分割画像入力指示、領域ストリーム出力指示である。図中７は第１の領域以外の領域を担当する複数の単体符号化部２Ｂから入出力符号化全体制御部１Ｂへ渡される各単体符号化部の符号化結果情報である。図中６は入出力符号化全体制御部１Ｂから第１の領域以外の領域を担当する複数の単位符号化部２Ｂへ渡される分割画像であり、図中８は第１の領域以外の領域を担当する複数の単位符号化部２Ｂから入出力符号化全体制御部１Ｂへ渡される領域ストリーム出力である。
【００１７】
入出力符号化全体制御部１Ｂは、図５に示すように、領域情報と符号化パラメータ情報３の送信と分割画像６の入力指示４を第１の領域以外を担当する各単体符号化部２Ｂに行い（ステップ３１，３２）、第１の領域の単体符号化部の処理を行い（ステップ３３）、第１の領域の符号化結果情報を出力するとともに、第１の領域以外の符号化結果情報７を受信し（ステップ３４）、符号化処理単位で同期して領域情報と符号化パラメータ情報３を更新し（ステップ３５）、第１の領域の領域ストリームを出力し、第１の領域以外の領域ストリーム８の出力を単体符号化部２Ｂに指示する（ステップ３６）ことを、全てのピクチャについて行う（ステップ３７）ことで、所定の動画像符号化を実現する。
【００１８】
図６を参照すると、本発明の第３の実施形態は、分割された領域を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する複数の単体符号化部２Ｃと、入力動画像をピクチャ単位で複数の領域に分割し、複数の単体符号化部２Ｃのストリームをひとつに結合し、かつ、複数の単体符号化部２Ｃを制御する入出力全体制御部１Ｃで構成されている。図中３′、４、５はそれぞれ入出力全体制御部１Ｃから複数の単位符号化部１Ｂへ渡される情報である画像分割の領域情報として「スライス数」と各単体符号化部２Ｃの符号化パラメータ情報として「目標符号量」、分割画像入力指示、領域ストリーム出力指示である。図中７′は複数の単位符号化部２Ｃから入出力全体制御部１Ｃへ渡される情報である、各単体符号化部２Ｃの符号化結果情報としての「複雑さ指標あるいは発生符号量と平均量子化パラメータ」である。図中６は入出力全体制御部１Ｃから複数の単位符号化部２Ｃへ渡される分割画像であり、図中８は複数の単位符号化部２Ｃから入出力全体制御部１Ｃへ渡される領域ストリームである。
【００１９】
入出力全体制御部１Ｃは、複数の単位符号化部２Ｃへ、分割画面入力指示４と領域ストリーム出力指示５を出して複数の分割画像６の入力と複数の領域ストリーム８の入出力タイミングを制御し、複数の単位符号化部２Ｃの間で、画面分割の領域情報として「スライス数」と各単体符号化部２Ｃの符号化パラメータ情報として「目標符号量」３と各単体符号化部２Ｃの符号化結果情報として「複雑さ指標あるいは発生符号量と平均量子化パラメータ」７′の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の動画像符号化を実現する。
【００２０】
図７を参照すると、本発明の第４の実施形態は、分割された第１の領域以外の領域を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する複数の単体符号化部２Ｄと、入力動画像をピクチャ単位で複数の領域に分割し、かつ、複数の単体符号化部２Ｄの出力ストリームをひとつに結合し、複数の単体符号化部２Ｄを制御し、かつ、第１の領域を符号化する入出力符号化全体制御部１Ｄで構成されている。図中３′、４、５はそれぞれ入出力符号化全体制御部１Ｄから第１の領域以外の領域を担当する複数の単位符号化部２Ｄへ渡される情報である画像分割の領域情報として「スライス数」と各単体符号化部の符号化パラメータ情報として「目標符号量」、分割画像入力指示、領域ストリーム出力指示である。図中７′は第１の領域以外の領域を担当する複数の単位符号化部２Ｄから入出力符号化全体制御部１Ｄへ渡される情報である、各単体符号化部１Ｄの符号化結果情報として「複雑さ指標あるいは発生符号量と平均量子化パラメータ」である。図中６は入出力符号化全体制御部１Ｄから第１の領域以外の領域を担当する複数の単位符号化部２Ｄへ渡される分割画像であり、図中８は第１の領域以外の領域を担当する複数の単位符号化部２Ｄから入出力符号化全体制御部１Ｄへ渡される領域ストリーム出力である。入出力符号化全体制御部１Ｄは、第１の領域以外の領域を担当する複数の単位符号化部２Ｄへ、分割画面入力指示４と領域ストリーム出力指示５を出して複数の分割画像６と複数の領域ストリーム８の入出力タイミングを制御し、かつ、第１の領域以外の領域を担当する複数の単位符号化部２Ｄの間で、画面分割の領域情報として「スライス数」と各単体符号化部の符号化パラメータ情報として「目標符号量」３′と各単体符号化部２Ｄの符号化結果情報として「複雑さ指標あるいは発生符号量と平均量子化パラメータ」７′の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の動画像符号化を実現する。
【００２１】
第３の実施形態において、目標符号量３′、複雑さ指標あるいは発生符号量と平均量子化パラメータ７′を用いた具体的な符号化方法の詳細な例を示す。ここでは、符号化方法としてブロック単位の符号量制御が可能な符号化方法、具体的にはＭＰＥＧ−１、ＭＰＥＧ−２またはＨ．２６ｘなどの国際標準符号化方法に対応した方法を用いる。
【００２２】
まず、図８のフローチャートに従って、入出力全体制御部１Ｃにおける目標符号量３′、複雑さ指標あるいは発生符号量と平均量子化パラメータ７′を用いた更新の動作を説明する。なお、図８は、入出力全体制御部１Ｃの動作フローを示した図２中の「領域情報と符号化パラメータ情報の更新」における符号化パラメータの更新を示したものである。各単体符号化部２Ｃの発生符号量の総和から、ピクチャ全体の発生符号量を求める（ステップ４１）。次に、各単体符号化部２Ｃの平均量子化パラメータと各分割画像の大きさの比率からピクチャ全体の平均量子化パラメータを求める（ステップ４２）。以上に述べたピクチャ全体の発生符号量とピクチャ全体の平均量子化パラメータの積をとることでピクチャ全体の複雑さ指標を求める（ステップ４３）。そして、過去のピクチャのピクチャ全体の複雑さ指標と処理中のＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）の残りの符号量から、これから処理するピクチャ全体の目標符号量を算出する（ステップ４４）。次に、各単体符号化部２Ｃのピクチャの複雑さ指標として単体符号化部２Ｃのピクチャ発生符号量と平均量子化パラメータの積を算出し、同時に各単体符号化部２Ｃの複雑さ指標の総和を算出する（ステップ４５）。以上の複雑さ指標の総和に対するある単体符号化部２Ｃの複雑さ指標の比率と前述のピクチャ全体の目標符号量の積を、単体符号化部２Ｃが処理するピクチャの目標符号量とする（ステップ４６）。このようにして、それぞれの単体符号化部２Ｃの処理するピクチャの目標符号量を算出し、各単体符号化部２Ｃに与える。
【００２３】
次に、図９のフローチャートに従って、各単体符号化部２Ｃにおける符号化の動作における発生符号量と平均量子化パラメータ７′の算出の動作を説明する。なお、図９は、各単体符号化部２Ｃの動作フローを示した図３の中の「単体符号化部の処理」を詳細に示したものである。以下のステップ５１、５２、５３は、各単体符号化部２Ｃにおいて並列に実行される。各単体符号化部２Ｃは、入出力全体制御部１Ｃから、これから処理する各分割画像のピクチャの目標符号量が与えられたのち、各ピクチャの符号化を次のように行う。各単体符号化部２Ｃは、担当するピクチャの発生符号量が目標符号量に一致するように符号量の制御をしながらそのピクチャの各マクロブロックを符号化する（ステップ５１）。このマクロブロックの符号化を繰り返し（ステップ５２）、マクロブロックが終了すると、各単体符号化部２Ｃは、発生符号量、平均量子化パラメータ７′を算出する（ステップ５３）。
【００２４】
この実施の形態では、各領域の複雑さを表す指標として発生符号量と平均量子化パラメータ７′の積を符号量の配分に用いているが、この指標は同じ画像パターンであればどのような量子化を行ったかによらず一定の値になる傾向があり、この指標の比率に基づいて符号量を分配することで各領域の量子化の程度がほぼ平均化され、画像全体の平均的な画質の向上に有効である。また、本実施形態においては発生符号量と平均量子化パラメータの積を用いているが、各パラメータをべき乗して積をとった値、もしくはそのような値同士の和などで複雑さを表す指標とする方法も有効である。また、その指標に比例した符号量分配でなく、例えば極端に分配が少なくなる場合には、それを制限したりするような措置をとることも有効である。
【００２５】
以上、図２と図３、および、その内部の具体的な符号化方法の詳細を示した図８と図９により、この実施の形態に述べたような複数の単体符号化部２Ｃが並列に符号化する場合の各単体符号化部２Ｃ間のピクチャ単位での適切な符号量分配が可能となり、画質の向上に寄与する。なお、入出力全体制御部を具体的な例として、詳細な動作に説明したが、入出力符号化全体制御部の場合も同様である。
【００２６】
図１０を参照すると、本発明の第５の実施の形態は、分割された領域を指定された符号化パラメータで符号化し、符号化結果と領域ストリーム８を出力する複数の単体符号化部２Ｅと、入力動画像をピクチャ単位で複数の領域に分割し、複数の単体符号化部２Ｅのストリームをひとつに結合し、かつ、複数の単体符号化部２Ｅを制御する入出力全体制御部１Ｅで構成されている。図中３′、４、５はそれぞれ入出力全体制御部１Ｅから複数の単位符号化部２Ｅへ渡される情報である画像分割の領域情報として「スライス数」と各単体符号化部２Ｅの符号化パラメータ情報として「目標符号量」、分割画像入力指示、領域ストリーム出力指示である。図中７′は複数の単位符号化部２Ｅから入出力全体制御部１Ｅへ渡される情報である、各単体符号化部２Ｅの符号化結果情報として「複雑さ指標あるいは発生符号量と平均量子化パラメータ」と「符号化処理時間」である。図中６は入出力全体制御部１Ｅから複数の単位符号化部２Ｅへ渡される分割画像であり、図中８は複数の単位符号化部２Ｅから入出力全体制御部１Ｅへ渡される領域ストリーム出力である。入出力全体制御部１Ｅは複数の単位符号化部２Ｅへ分割画像入力指示４と領域ストリーム出力指示５を出して複数の分割画像６と複数の領域ストリーム８の入出力タイミングを制御し、複数の単位符号化部２Ｅの間で、画像分割の領域情報として「スライス数」と各単体符号化部の符号化パラメータ情報として「目標符号量」３′と、各単体符号化部の符号化結果情報として「複雑さ指標あるいは発生符号量と平均量子化パラメータ」と「符号化処理時間」７″の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の動画像符号化を実現する。
【００２７】
図１１を参照すると、本発明の第６の実施の形態は、分割された第１の領域以外の領域を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する複数の単体符号化部２Ｆと、入力動画像をピクチャ単位で複数の領域に分割し、かつ、複数の単体符号化部２Ｆの領域ストリーム８をひとつに結合し、複数の単体符号化部２Ｆを制御し、かつ、第１の領域を符号化する入出力符号化全体制御部１Ｆで構成されている。図中３′、４、５はそれぞれ入出力符号化全体制御部１Ｆから第１の領域以外の領域を担当する複数の単位符号化部２Ｆへ渡される情報である画像分割の領域情報として「スライス数」と各単体符号化部２Ｆの符号化パラメータ情報として「目標符号量」、分割画像入力指示、領域ストリーム出力指示である。図中７″は第１の領域以外の領域を担当する複数の単位符号化部２Ｆから入出力符号化全体制御部１Ｆへ渡される情報である、各単体符号化部２Ｆの符号化結果情報としての「複雑さ指標あるいは発生符号量と平均量子化パラメータ」と「符号化処理時間」である。図中６は入出力符号化全体制御部１Ｆから第１の領域以外の領域を担当する複数の単位符号化部２Ｆへ渡される分割画像であり、図中８は第１の領域以外の領域を担当する複数の単位符号化部２Ｆから入出力符号化全体制御部１Ｆへ渡される領域ストリームである。
【００２８】
入出力符号化全体制御部１Ｆは、第１の領域以外の領域を担当する複数の単位符号化部２Ｆへ、分割画像入力指示４と領域ストリーム出力指示５を出して複数の分割画像６と複数の領域ストリーム８の入出力タイミングを制御し、第１の領域以外の領域を担当する複数の単位符号化部２Ｆの間で、画像分割の領域情報として「スライス数」と各単体符号化部の符号化パラメータ情報として「目標符号量」３′と各単体符号化部２Ｆの符号化結果情報として「複雑さ指標あるいは発生符号量と平均量子化パラメータ」と「符号化処理時間」７′の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の動画像符号化を実現する。
【００２９】
第５の実施形態において、領域情報としての「スライス数」、「符号化処理時間」を用いた具体的な符号化方法の詳細な例を示す。ここでは、符号化方法としてブロック単位の符号量制御が可能な符号化方法、具体的にはＭＰＥＧ−１、ＭＰＥＧ−２またはＨ．２６ｘなどの国際標準符号化方法に対応した方法を用いる。
【００３０】
まず、図１２のフローチャートに従って、入出力全体制御部１Ｅにおける「スライス数」の「符号化処理時間」を用いた更新の動作を説明する。なお、図１２は、入出力全体制御部１Ｅの動作フローを示した図２の中の「領域情報と符号化パラメータの更新」における領域情報の更新を示したものである。各単体符号化部２Ｅの符号化処理時間の総和からピクチャ全体の符号化処理時間を求める（ステップ６１）。次に、ピクチャ全体の符号化処理時間をピクチャ全体のスライス数で割り、ピクチャ全体での符号化処理速度を算出する（ステップ６２）。また、各単体符号化部２Ｅの符号化処理時間を担当したスライス数で割り、各単体符号化部２Ｅの符号化処理速度を算出する（ステップ６３）。最後に、各単体符号化部２Ｅの符号化処理速度比（単体／全体）に応じて、各単体符号化部２Ｅの相当スライス数を算出する（ステップ６４）。このようにして、それぞれの単体符号化部２Ｅの処理するスライス数を算出し、次に各単体符号化部２Ｅに与える。
【００３１】
次に、図１３のフローチャートに従って、各単体符号化部２Ｅにおける符号化の動作における「符号化処理時間」の算出の動作を説明する。なお、図１３は、各単体符号化部２Ｅの動作フローを示した図３の中の「単体符号化部の処理」を詳細に示したものである。以下のステップ７１〜７４は、各単体符号化部２Ｅにおいて並列に実行される。各単体符号化部２Ｅは、入出力全体制御部１Ｅから、これから処理する各分割画像のピクチャの目標符号量が与えられたのち、各ピクチャの符号化を次のように行う。まず、タイマーを呼び出し、ピクチャ符号化開始時刻（Ｔ１）を得る（ステップ７１）。次に、各単体符号化部２Ｅは、担当するピクチャの発生符号量が目標符号量に一致するように符号量の制御をしながらそのピクチャの各マクロブロックを符号化する（ステップ７２）。このマクロブロックの符号化を繰り返し、マクロブロックが終了すると、タイマーを呼び出し、ピクチャ符号化終了時刻（Ｔ２）を得て、Ｔ２−Ｔ１として符号化処理時間を算出する。
【００３２】
この実施の形態では、符号化処理時間をタイマを用いて測定する方法を示したが、符号化処理速度を測定しても同様の処理を実現することができる。また、本実施の形態においては符号化処理時間から算出した符号化処理速度に比例して、担当するスライス数を分配する方法を示したが、分配に何らかの重み付けをしたり、それを制限したりするような措置をとることも有効である。
【００３３】
以上、図２と図３、およびその内部の具体的な符号化方法の詳細を示した図１２と図１３により、この実施の形態に述べたような複数の単体符号化部が並列に符号化する場合の各単体符号化部間のピクチャ単位での負荷に応じた適切なスライス数の分配が可能となり、複数の単体符号化部の符号化処理時間のバラツキを低減することにより、全体としての符号化処理の高速化に寄与する。なお、入出力全体制御部を具体的な例として、詳細な動作を説明したが、入出力符号化全体制御部の場合も同様である。
【００３４】
なお、本来、本発明の請求項５と請求項８は独立であるが、これらを併用して使用する時、この実施の形態に述べたような複数の単体符号化部が並列に符号化する場合、各単体符号化部間のピクチャ単位での適切な符号化分配が可能となり画質の向上に寄与するとともに、各単体符号化部間のピクチャ単位での負荷に応じた適切なスライス数の分配が可能となり、符号化処理の高速化に寄与するため、その効果は特に大きい。
【００３５】
なお、入力画像は静止画像であってもよい。
【００３６】
図１４は、本発明の第１から第６の実施形態を、複数のプロセッサ、共有メモリ、ディスク、入出力機器のアダプタなどがシステムバスに結合された典型的な計算機（共有メモリ型マルチプロセッサ）上に実装した例を示している。
【００３７】
この計算機は、ディスク８２、共有メモリ８３、プロセッサ８５，８６、アダプタ８１₁，８１₂がシステムバス８４に結合されている。入力動画像はディスク８２（入力動画像１）から、またはカメラ８０、アダプタ８１₁を経由して共有メモリ８３（入力動画像２）に配置され、それから入力される。一方、出力ストリームはディスク８２あるいはネットワークなどのアダプタ８１₂を経由してＡＴＭやＴＣＰ／ＩＰなどのネットワーク（出力ストリーム２）に出力される。入出力全体制御部あるいは入出力符号化全体制御部はプロセッサ８５中に、複数の単体符号化部はプロセッサ８６中にタスク（プロセス）として実装されている。本発明が規定する各処理部の構成や、各処理時間の通信や制御は、例えば文献［５］に示すＭＰＩなどの汎用並列処理ライブラリを用いて実現することができる。
【００３８】
図１５は、本発明の第１から第６の実施形態を、複数の計算機がネットワークで結合された典型的な並列計算機（ネットワーク型マルチプロセッサ）上に実装した例を示している。計算機８７，８９がネットワークで互いに接続されている。計算機８７にはディスク８２とカメラ８０が接続されている。入力動画像は、ディスク８２（入力動画像１）あるいは、ビデオキャプチャなどを経由してカメラ画像が計算機８７のメモリ（入力画像２）上に配置され、それらから入力される。一方、出力ストリームは、ファイル（出力ストリーム１）、あるいは、ネットワーク８８上（出力ストリーム２）に出力される。入出力全体制御部あるいは入出力符号化全体制御部と複数の単体符号化部はそれぞれの計算機８７、８９中にタスク（プロセス）として実装されている。
【００３９】
本発明が規定する各処理部の構成や、各処理時間の通信や制御は、例えば文献［５］に示すＭＰＩなどの汎用並列処理ライブラリを用いて実現することができる。
【００４０】
［５］ＭｅｓｓａｇｅＰａｓｓｉｎｇＩｎｔｅｒｆａｃｅＦｏｒｕｍ， ”（ＭＰＩ）：ＡＭｅｓｓａｇｅ−ＰａｓｓｉｎｇＩｎｔｅｒｆａｃｅＳｔａｎｄａｒｄ”，Ｍａｙ１９９５．
なお、本発明は、入力画像を複数の領域に分割し、複数の符号化器を用いて、各領域を並列に符号化する領域分割による動画像の並列符号化を、複数の計算機資源を有する並列計算機上にソフトウェアで構築するのに好適な並列動画像符号化方式を提供するため、入力動画像をピクチャ単位で複数の領域に分割し、かつ、複数の単体符号化部のストリームをひとつに結合し、かつ、複数の単体符号化部を制御する入出力全体制御部と、分割された領域の分割画像を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する複数の単体符号化部を具備し、該入出力全体制御部から該複数の単位符号化部へ、分割画像入力の指示、領域ストリーム出力の指示を出して複数の分割画像入力と複数の領域ストリーム出力の入出力タイミングを制御し、かつ、該入出力全体制御部と該複数の単位符号化部の間で、画面分割の領域情報、各単体符号化部の符号化パラメータ情報、各単体符号化部の符号化結果情報、の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の動画像符号化を実現することを特徴とするため、動画像符号化処理自体の内部構造や内部処理手法の詳細などは、特にここで規定するところではない。また、複数の計算資源を有する並列計算機の構成法（共有メモリ型マルチプロセッサか、ネットワーク型マルチプロセッサか）なども特にここで規定するところではない。例えば、文献［５］に示すＭＰＩなどの汎用並列処理ライブラリを用いることにより、並列計算機の構成法に依存せず共通に実装することも可能である。
【００４１】
また、以上説明した画像符号化方法は、画像符号化プログラムとして、ＦＤ（フロッピィディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記録媒体に記録し、パソコン等で実行するようにしてもよい。
【００４２】
【発明の効果】
以上、説明したように、本発明は、入力動画像をピクチャ単位で複数の領域に分割し、かつ、複数の単体符号化部のストリームをひとつに結合し、かつ、複数の単体符号化部を制御する入出力全体制御部と、分割された領域の分割画像を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する複数の単体符号化部を複数の計算機資源に割り当て、該入出力全体制御部から該複数の単体符号化部へ、分割画面入力の指示、領域ストリーム出力の指示を出して複数の分割画像入力と複数の領域ストリーム出力の入出力タイミングを制御し、かつ、該入出力全体制御部と該複数の単位符号化部の間で、画面分割の領域情報、各単体符号化部の符号化パラメータ情報、各単体符号化部の符号化結果情報、の情報授受を行い、符号化処理単位で同期してこれらの情報を更新し、所定の動画像符号化を実現することにより、以下に示すような効果がある。
【００４３】
（１）入力画像を複数の領域に分割し、複数の符号化器を用いて、各領域を並列に符号化する領域分割による動画像の並列符号化を、複数の計算機資源を有する並列計算機上にソフトウェアで構築するのに好適な並列動画像符号化方式を提供することができ、複数の計算機資源数に比例した高い並列台数効果を得ることができる。
【００４４】
（２）近年の汎用マイクロプロセッサの著しい計算能力の向上を背景として、数台程度の小規模マルチプロセッサシステム上にソフトウェアによるリアルタイムＭＰＥＧ−２ビデオエンコーダの実現を可能する並列動画像符号化方法を提供することができる。
【００４５】
（３）複数の計算資源の構成法（共有メモリ型マルチプロセッサか、ネットワーク型マルチプロセッサか）に依存せずに、ＭＰＩなどの汎用並列処理ライブラリを用いて、共通に実装することができるような枠組を提供することができる。
【００４６】
（４）請求項２記載の本発明に、特願平１０−２７０７９４に示すような、領域分割による動画像の並列符号化のための高性能な符号化の方式を適用することにより、並列計算機上にソフトウェアで実現された並列動画像符号化処理の画品質を大幅に向上させることができる。
【００４７】
（５）請求項３記載の本発明を用いると、複数の計算機資源を有する並列計算機に本来の並列動画像符号化処理以外の負荷変動がある場合、単体符号化部の処理時間に変動（負荷状態）に応じて、各単体符号化部に最適なスライス数を与えるような画面の動的分割を行うことにより、負荷変動に基づく処理時間のバラツキを抑制することができ、より高い台数効果を得ることができる。
【００４８】
このように、本発明が提供する、近年の汎用マイクロプロセッサの著しい計算能力の向上を背景とした数台程度の小規模マルチプロセッサシステム上にソフトウェアによるリアルタイムＭＰＥＧ−２ビデオエンコーダの実現を可能する並列動画像符号化方法の果たす役割は図りしれない。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の構成図である。
【図２】第１の実施形態における入出力全体制御部１Ａの処理を示すフローチャートである。
【図３】第１の実施形態における単体符号化部２Ａの処理を示すフローチャートである。
【図４】本発明の第２の実施形態の構成図である。
【図５】第２の実施形態における入出力全体制御部１Ｂの処理を示すフローチャートである。
【図６】本発明の第３の実施形態の構成図である。
【図７】本発明の第４の実施形態の構成図である。
【図８】第３の実施形態における符号化パラメータの更新動作を示すフローチャートである。
【図９】第３の実施形態における発生符号量と平均量子化パラメータ算出のフローチャートである。
【図１０】本発明の第５の実施形態の構成図である。
【図１１】本発明の第６の実施形態の構成図である。
【図１２】第５の実施形態における、スライス数の符号化処理時間を用いた更新動作を示すフローチャートである。
【図１３】第５の実施形態における、符号化処理時間の算出動作を示すフローチャートである。
【図１４】本発明の第１〜第６の実施形態を共有メモリ型マルチプロセッサ上に実装した例を示す図である。
【図１５】本発明の第１〜第６の実施形態をネットワーク型マルチプロセッサに実装した例を示す図である。
【符号の説明】
１Ａ〜１Ｆ入出力全体制御部
２Ａ〜２Ｆ単体符号化部
３領域情報と符号化パラメータ情報
３′ スライス数と目標符号量
４分割画像入力指示
５領域ストリーム出力指示
６分割画像
７符号化結果情報
７′ 複雑さ指標あるいは発生符号量と平均量子化パラメータ
７″ 複雑さ指標あるいは発生符号量と平均量子化パラメータ、符号化処理時間
８領域ストリーム
９スライス量と目標符号量
１１〜１６，２１〜２６，３１〜３７，４１〜４６，５１〜５３，６１〜６４，７１〜７４ステップ

Claims

複数の計算機資源を有する単一または並列計算機において、画像を入力し、入力画像を複数の領域に分割し、分割された各領域を複数個の符号化器を用いて並列に符号化し、ストリームを出力する並列ソフトウェア画像符号化方法であって、
分割された各領域の分割画像を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する単体符号化部を1 個の計算機資源にタスクとして割り当て、入力画像を複数の前記領域に分割し、かつ、複数の前記単体符号化部の領域ストリームをひとつに結合し、かつ、前記複数の単体符号化部を制御する入出力全体制御部を１個の計算機資源にタスクとして割り当てるステップと、
前記入出力全体制御部が、入力画像を前記複数の領域に分割し、各単体符号化部へ領域情報と符号化パラメータ情報を送信し、分割画像の入力を指示するステップと、
前記各単体符号化部が、前記領域情報と符号化パラメータ情報を受信し、担当する分割画像を入力し、符号化処理を行い、前記入出力全体制御部に符号化結果情報を送信するステップと、
前記入出力全体制御部が、前記各単体符号化部から符号化結果情報を受信し、前記領域情報と符号化パラメータ情報を更新し、各単体符号化部に領域ストリームの出力を指示するステップと、
前記各単体符号化部が、領域ストリームを出力するステップと、
を有する並列ソフトウェア画像符号化方法。
複数の計算機資源を有する単一または並列計算機において、画像を入力し、入力画像を複数の領域に分割し、分割された領域を複数個の符号化器を用いて並列に符号化し、ストリームを出力する並列ソフトウェア画像符号化方法であって、
分割された第１の領域以外の各領域を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する単体符号化部を１個の計算機資源にタスクとして割り当て、入力画像を第１の領域とそれ以外の複数の領域に分割し、かつ、第１の領域を指定された符号化パラメータで符号化し、かつ第１の領域の領域ストリームとそれ以外の複数の前記単体符号化部の領域ストリームをひとつに結合し、かつ、第１の領域以外の前記複数の単体符号化部を制御し、符号化結果と領域ストリームを出力する入出力符号化全体制御部を１個の計算機資源にタスクとして割り当てるステップと、
前記入出力符号化全体制御部が、入力画像を前記第１の領域とそれ以外の前記複数の領域に分割し、各単体符号化部に領域情報と符号化パラメータ情報を送信し、分割画像の入力を指示するステップと、
前記各単体符号化部が、前記領域情報と符号化パラメータ情報を受信し、担当する分割画像を入力し、符号化処理を行い、前記入出力符号化全体制御部に符号化結果情報を送信するステップと、
前記入出力符号化全体制御部が第１の領域の符号化処理を行うステップと、
前記入出力符号化全体制御部が、各単体符号化部から第１の領域以外の符号化結果情報を受信し、前記領域情報と符号化パラメータ情報を更新し、各単体符号化部に第１の領域以外の領域ストリームの出力を指示するステップと、
前記各単体符号化部が、領域ストリームを出力するステップと、
を有する並列ソフトウェア画像符号化方法。
画像分割の領域情報として各単体符号化部の担当するスライス数を用い、各単体符号化部の符号化結果情報として、複雑さ指標あるいは発生符号量と平均量子化パラメータを用い、各単体符号化部の符号化パラメータ情報として目標符号量を用いる、請求項１または２記載の並列ソフトウェア画像符号化方法。
前記の符号化パラメータ情報の更新が、各単体符号化部の発生符号量の総和からピクチャ全体の発生符号量を求めるステップと、各単体符号化部の平均量子化パラメータからピクチャ全体の平均量子化パラメータを求めるステップと、前記ピクチャ全体の発生符号量と前記ピクチャ全体の平均量子化パラメータの積をとり、ピクチャ全体の複雑さ指標を求めるステップと、過去のピクチャ全体の複雑さ指標とＧＯＰの残りの符号化量からピクチャ全体の目標符号量を算出するステップと、各単体符号化部の複雑さ指標とそれらの総和を算出するステップと、前記複雑さ指標の総和に対する各単体符号化部の複雑さ指標の比率と前記ピクチャ全体の目標符号量の積を各単体符号化部が処理するピクチャの目標符号量として算出し、各単体符号化部に与えるステップを含む、請求項３記載の方法。
前記符号化処理が、担当するピクチャの発生符号量が前記目標符号量に一致するように符号量を制御しながら当該ピクチャの各マクロブロックを符号化することを全てのマクロブロックについて行なった後、発生符号量と平均量子化パラメータを算出するステップを有する、請求項３または４記載の方法。
前記符号化結果情報として、さらに符号化処理時間を用いる、請求項３から５のいずれか１項記載の方法。
前記の領域情報の更新が、各単体符号化部の符号化処理時間の総和からピクチャ全体の符号化処理時間を求めるステップと、前記ピクチャ全体の符号化処理時間をピクチャ全体のスライス数で割り、ピクチャ全体での符号化処理速度を算出するステップと、各単体符号化部の符号化処理時間を担当したスライス数で割り、各単体符号化部の符号化処理速度を算出するステップと、各単体符号化部の符号化処理速度のピクチャ全体での符号化処理速度の比に応じて、各単体符号化部の担当スライス数を算出し、各単体符号化部に与えるステップによりスライス数を更新するステップを有する、請求項６記載の方法。
前記の符号化処理時間を求めるステップが、タイマーを呼び出し、ピクチャ符号化開始時刻を得、担当するピクチャの発生符号量が前記目標符号量に一致するように符号量を制御しながら各マクロブロックを符号化するステップと、全てのマクロブロックの符号化処理が終了すると、タイマーを呼び、ピクチャ符号化終了時刻を得て、ピクチャ符号化終了時刻−ピクチャ符号化開始時刻として符号化処理時間を算出するステップを有する、請求項７記載の方法。
複数の計算機資源を有する単一または並列計算機において、画像を入力し、入力画像を複数の領域に分割し、分割された各領域を複数個の符号化処理を用いて並列に符号化し、ストリームを出力する処理をコンピュータに行なわせるための並列ソフトウェア画像符号化プログラムであって、
分割された領域の分割画像を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する単体符号化処理を１個の計算機資源にタスクとして割り当て、入力画像を複数の前記領域に分割し、かつ、複数の前記単体符号化処理の領域ストリームをひとつに結合し、かつ、前記複数の単体符号化処理を制御する入出力全体制御処理を１個の計算機資源にタスクとして割り当てる手順と、
前記入出力全体制御処理が、入力画像を前記複数の領域に分割し、各単体符号化処理へ領域情報と符号化パラメータ情報を送信するとともに、分割画像の入力を指示する手順と、
前記各単体符号化処理が、前記領域情報と符号化パラメータ情報を受信し、担当する分割画像を入力し、符号化処理を行い、前記入出力全体制御処理に符号化結果情報を送信する手順と、
前記入出力全体制御処理が、前記各単体符号化処理から符号化結果情報を受信し、前記領域情報と符号化パラメータ情報を更新し、各単体符号化処理に領域ストリームの出力を指示する手順と、
前記各単体符号化処理が、領域ストリームを出力する手順と、
を計算機に実行させるための並列ソフトウェア画像符号化プログラムを記録した記録媒体。
複数の計算機資源を有する単一または並列計算機において、画像を入力し、入力画像を複数の領域に分割し、分割された領域を複数個の符号化処理を用いて並列に符号化し、ストリームを出力する処理をコンピュータに行なわせるための並列ソフトウェア画像符号化プログラムであって、
分割された第１の領域以外の領域を指定された符号化パラメータで符号化し、符号化結果と領域ストリームを出力する単体符号化処理を 1 個の計算機資源にタスクとして割り当て、入力画像を第１の領域とそれ以外の複数の前記領域に分割し、かつ第１の領域を指定された符号化パラメータで符号化し、かつ第１の領域の領域ストリームとそれ以外の複数の前記単体符号化処理の領域ストリームをひとつに結合し、かつ第１の領域以外の前記複数の単体符号化処理を制御し、符号化結果と領域ストリームを出力する入出力符号化全体制御処理を１個の計算機資源にタスクとして割り当てる手順と、
前記入出力符号化全体制御処理が、入力画像を前記第１の領域とそれ以外の前記複数の領域に分割し、各単体符号化処理に領域情報と符号化パラメータ情報を送信するとともに、分割画像の入力を指示する手順と、
前記各単体符号化処理が、前記領域情報と符号化パラメータ情報を受信し、担当する分割画像を入力し、符号化処理を行い、前記入出力符号化全体制御処理に符号化結果情報を送信する手順と、
前記入出力符号化全体制御処理が第１の領域の符号化処理を行う手順と、
前記入出力符号化全体制御処理が、各単体符号化処理から第１の領域以外の符号化結果情報を受信し、前記領域情報と符号化パラメータ情報を更新し、各単体符号化処理に第１の領域以外の領域ストリームの出力を指示する手順と、
前記各単体符号化処理が、領域ストリームを出力する手順と、
を計算機に実行させるための並列ソフトウェア画像符号化プログラムを記録した記録媒体。
画像分割の領域情報として各単体符号化処理の担当するスライス数を用い、各単体符号化処理の符号化結果情報として、複雑さ指標あるいは発生符号量と平均量子化パラメータを用い、各単体符号化処理の符号化パラメータ情報として目標符号量を用いる、請求項９または１０記載の記録媒体。
前記の符号化パラメータ情報の更新が、各単体符号化処理の発生符号量の総和からピクチャ全体の発生符号量を求める手順と、各単体符号化処理の平均量子化パラメータからピクチャ全体の平均量子化パラメータを求める手順と、前記ピクチャ全体の発生符号量と前記ピクチャ全体の平均量子化パラメータの積をとり、ピクチャ全体の複雑さ指標を求める手順と、過去のピクチャ全体の複雑さ指標とＧＯＰの残りの符号化量からピクチャ全体の目標符号量を算出する手順と、各単体符号化処理の複雑さ指標とそれらの総和を算出する手順と、前記複雑さ指標の総和に対する各単体符号化部の複雑さ指標の比率と前記ピクチャ全体の目標符号量の積を各単体符号化処理が処理するピクチャの目標符号量として算出し、各単体符号化処理に与える手順を含む、請求項１１記載の記録媒体。
各符号化処理が、担当するピクチャの発生符号量が前記目標符号量に一致するように符号量の制御しながら当該ピクチャの各マクロブロックを符号化することを全てのマクロブロックについて行なった後、発生符号量と平均量子化パラメータを算出する手順を有する、請求項１１または１２記載の記録媒体。
各符号化処理の符号化結果情報として、さらに符号化処理時間を用いる、請求項１１から１３のいずれか１項記載の記録媒体。
前記の領域情報の更新が、各単体符号化処理の符号化処理時間の総和からピクチャ全体の符号化処理時間を求める手順と、前記ピクチャ全体の符号化処理時間をピクチャ全体のスライス数で割り、ピクチャ全体での符号化処理速度を算出する手順と、各単体符号化処理の符号化処理時間を担当したスライス数で割り、各単体符号化処理の符号化処理速度を算出する手順と、各単体符号化処理の符号化処理速度のピクチャ全体での符号化処理速度の比に応じて、各単体符号化処理の担当スライス数を算出し、各単体符号化処理に与える手順によりスライス数を更新する手順を有する、請求項１４記載の記録媒体。
前記の符号化処理時間を求める手順が、タイマーを呼び出し、ピクチャ符号化開始時刻を得、担当するピクチャの発生符号量が目標符号量に一致するように符号量を制御しながら各マクロブロックを符号化する手順と、全てのマクロブロックの符号化処理が終了すると、タイマーを呼び、ピクチャ符号化終了時刻を得て、ピクチャ符号化終了時刻−ピクチャ符号化開始時刻として符号化処理時間を算出する手順を有する、請求項１５記載の記録媒体。