JP4458923B2

JP4458923B2 - 画像処理装置

Info

Publication number: JP4458923B2
Application number: JP2004141454A
Authority: JP
Inventors: 康洲鎌; 宗典瀧本
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2004-05-11
Filing date: 2004-05-11
Publication date: 2010-04-28
Anticipated expiration: 2024-05-11
Also published as: JP2005323294A

Description

本発明は画像処理装置に関し、特に画像データの符号化処理を行う画像処理装置に関する。

近年、インターネットに代表されるＩＰネットワークや、携帯電話機に代表される無線ネットワークは急激に進展しており、大容量化、広域化が進められている。また、画像符号化技術の標準化も進み、テレビ会議／テレビ電話を主な適用対象としてＤＣＴ（Discrete Cosine Transform）や動き補償予測といった符号化技術が広く用いられている。

このような状況の中で、ＩＰや無線のネットワークを使って符号化画像を配信するサービスが急速に実用化されている。例えば、テレビ会議システムでは、複数のカメラで撮影した映像を符号化して符号化画像を生成し、ネットワークを通じてＭＣＵ（Multi point Control Unit）へ送信して、ＭＣＵではこれらの画像の分配制御を行ったりする。

ここで、１台のクライアント端末には複数のカメラが接続し、端末内部には例えば、Ｈ．２６１の単一の符号化回路のみが設置されているとする。すると、単一の符号化回路で複数の画像を符号化することになるが、このような場合、どの入力画像を優先して符号化するかの調停制御を行う必要がでてくる。従来では、固定優先順位、回転優先順位により、符号化処理すべき画像を選択していた。

固定優先順位とは、複数のモジュールがあり、それらのモジュールから画像データを１つの符号化回路に入力する場合、モジュールの優先順位を固定的にあらかじめ決めておき、優先度の高いモジュールから出力された画像データを常に選択して符号化するものである。

また、回転優先順位とは、３つのモジュールＡ、Ｂ、Ｃがあった場合、Ａ→Ｂ→Ｃ→Ａ→Ｂ→Ｃ→Ａ→・・・というように優先順位を回転させ、各モジュールから出力される画像データを順に選択して、１つの符号化回路で符号化するものである。

一方、従来技術としては、複数の圧縮符号化手段を有し、通信先との情報交換及び通信経路の状況にもとづき、使用すべき圧縮符号化手段が選択される技術が提案されている（例えば、特許文献１）。
特開平０９−２５２４６２号公報（段落番号〔００１１〕〜〔００２１〕，第１図）

しかし、上記のような固定優先順位の調停方法では、低優先順位側のモジュールは常に符号化されなくなるおそれがあるといった問題があった。また、回転優先順位の調停方法では、固定優先順位の持つ欠点は解消できるが、符号化回路の処理能力に関係なく優先順位が順番に決定されるので、符号化効率の低下を招くといった問題があった。

例えば、高ビットレートの符号化が必要な入力画像と、低ビットレートの符号化でよい入力画像とがある場合、符号化処理能力に余裕がある場合に、低ビットレート側が選択されたり、逆に符号化処理能力に余裕がない場合に、高ビットレート側が選択されたりといった非効率的な選択がなされるおそれがあった。

さらに、回転優先順位の場合、なるべく品質を落としたくない入力画像に対して優先的に処理させるといったことができず、柔軟性に欠けるといった問題があった。
一方、従来技術（特開平０９−２５２４６２号公報）は、複数の圧縮符号化手段を有し、この中から条件に合う圧縮符号化手段を選択する技術であるので、回路規模の大きな装置を対象にしており、１つのハードウェアの符号化回路のみを有して複数の入力画像の中から符号化すべき１つの画像データを選択するような装置には適用することはできない。

本発明はこのような点に鑑みてなされたものであり、複数の入力画像の符号化を行う場合、画像品質に関わるパラメータにもとづいて、効率よく優先度判定、調停制御を行い、高品質の符号化処理を実行する画像処理装置を提供することを目的とする。

上記課題を解決するために、画像データの符号化処理を行う画像処理装置が提供される。この画像処理装置は、複数の入力画像データの中から、優先度情報にもとづき、１つの画像データを選択する画像データ選択部と、符号化処理能力が処理限界値以内の場合には、前記入力画像データのフレームレートの高さに応じて優先度を高くし、前記符号化処理能力が前記処理限界値を超える場合には、前記入力画像データのフレームレートの低さに応じて優先度を高くするように、優先度を計算して、どの入力画像を優先して符号化するかの調停制御を行う調停制御部と、符号化処理時間内で処理可能な、選択された画像データの符号化処理を実行する符号化実行部とを有する。

ここで、画像データ選択部は、複数の入力画像データの中から、優先度情報にもとづき、１つの画像データを選択する。調停制御部は、符号化処理能力が処理限界値以内の場合には、入力画像データのフレームレートの高さに応じて優先度を高くし、符号化処理能力が処理限界値を超える場合には、入力画像データのフレームレートの低さに応じて優先度を高くするように、優先度を計算して、どの入力画像を優先して符号化するかの調停制御を行う。符号化実行部は、符号化処理時間内で処理可能な、選択された画像データの符号化処理を実行する。

本発明の画像処理装置は、符号化処理能力が、リクエストされた符号化を実行するのに十分な場合には、フレームレートの高い画像の優先度を高くし、符号化処理能力が、リクエストされた符号化を実行するのに不十分な場合には、フレームレートの低い画像の優先度を高くするように、優先度を計算して、どの入力画像を優先して符号化するかの調停制御を行い、複数の入力画像データの中から、優先度情報にもとづき、１つの画像データを選択して符号化処理を実行する構成とした。これにより、効率よく優先度判定、調停制御を行うことができるので、高品質の符号化処理を実行することが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。図１は画像処理装置の原理図である。画像処理装置１０は、画像データの符号化処理を行う装置である。
画像データ選択部１３は、複数の入力画像データの中から、優先度情報（最も優先順位の高い入力画像の番号）にもとづき、１つの画像データを選択する。調停制御部１４は、符号化処理能力が、リクエストされた符号化を実行するのに十分な場合には、フレームレートの高い画像の優先度を高くし、符号化処理能力が、リクエストされた符号化を実行するのに不十分な場合には、フレームレートの低い画像の優先度を高くするように、優先度を計算して、どの入力画像を優先して符号化するかの調停制御を行う。優先度の詳細な計算方法については後述する。符号化実行部１５は、符号化処理時間内で処理可能であって、画像データ選択部１３で選択された画像データの符号化処理を実行する。

図２は画像処理装置の構成を示す図である。画像処理装置１０は、入力画像処理部１１、優先度判定パラメータ設定部１２、画像データ選択部１３、調停制御部１４、符号化実行部１５から構成される。

また、入力画像処理部１１は、差分データ生成部１１ａ〜１１ｃ、画像格納部１１ｄから構成され、優先度判定パラメータ設定部１２は、パラメータレジスタ１２ａ−１〜１２ａ−３、リクエスト生成部１２ｂ−１〜１２ｂ−３から構成される。なお、図では実際の符号化を行う符号化実行部１５を、３系統の入力画像が時分割して使用する場合の構成例を示している。

差分データ生成部１１ａ〜１１ｃは、入力画像と、格納済みの画像との差分を求め、差分データを画像データ選択部１３へ送信する。画像格納部１１ｄは、参照用の画像を格納する（入力画像が原フレームなら、参照用画像は前フレームに該当する）。

動画像の符号化は、前後のフレームや、自フレームでデータの差分や相関にもとづいて符号化されるため、時分割で符号化実行を行うためには、フレーム間の差分情報などの相関情報を内部に記憶しておく必要があり、それら参照用の画像を画像格納部１１ｄで格納するものである。

パラメータレジスタ１２ａ−１〜１２ａ−３は、優先度判定に必要な後述の各種パラメータや量子化係数等の値を設定・保持し、これらの情報を出力する。リクエスト生成部１２ｂ−１〜１２ｂ−３は、同期信号にもとづき、符号化リクエスト信号及びパラメータ情報を調停制御部１４へ出力する。

調停制御部１４は、リクエスト生成部１２ｂ−１〜１２ｂ−３からのリクエストに対して、後述の優先度判定計算を行い、符号化を優先すべき入力画像を選択する。そして、入力画像は調停制御部１４からの画像番号によって指示されたものが、画像データ選択部１３で選択され、後段の符号化実行部１５へと入力されて、符号化処理が実行される。

次に調停制御部１４で行われる優先度判定計算について説明する。調停制御部１４は、リクエスト生成部１２ｂ−１〜１２ｂ−３からの符号化リクエスト信号にもとづき、符号化優先度を計算し、最も優先度の高い入力画像の番号を優先度情報として画像データ選択部１３へ送信する。

優先度の計算式として、符号化実行部１５の符号化処理能力Ｃが処理限界値Ｈ以内の場合には、優先度Ｐｒは式（１）で計算する。

また、符号化実行部１５の符号化処理能力Ｃが処理限界値Ｈを超えている場合には、優先度Ｐｒは式（２）で計算する。

なお、符号化処理能力Ｃは、式（３）で表せる。

Totalはリクエスト受付中の入力画像の総数である。Ｈはハードウェアが１秒あたりに処理できるマクロブロック数を示す数値で、あらかじめ符号化実行部１５の性能を見積もっておくことにより、設定値として与えられる。例えば最大３０ｆｐｓ、ＶＧＡ（マクロブロック数１２００）であり、すべてフレーム内符号化の場合の入力画像を符号化できる性能を持つ符号化実行部１５であれば、Ｈ＝３０×１２００となる。

また、Ｍはレジスタ設定で与えられる入力画像の優先度係数であり、動画品質を落としたくない場合は、レジスタ設定により該当画像の優先度係数を下げて優先度を上げる。Ｐはフレーム内符号化であるか、フレーム間符号化であるかを示すフラグであり、Ｓは画像をマクロブロック（１６×１６）に分割した時のマクロブロックの個数である。

なお、式（１）、式（２）の分母のＰ・Ｓは、符号化実行部１５の処理負荷の重み値を表している。したがって、Ｐのフラグ値として、例えば、フレーム内符号化であれば１、フレーム間符号化なら２とする。フレーム間符号化の方がフレーム内符号化よりも値を大きくする理由は、フレーム間符号化は参照画像の読み込みと動きベクトル探索により、フレーム内符号化よりも倍程度の処理時間がかかると想定されるからである（よって、フレーム間符号化の値を大きくして、重み値を大きくする）。

また、Ｆはフレームレート、Ｎは入力画像が処理性能の不足により連続で符号化をスキップされた回数（符号化処理時間に間に合わないときに、飛ばされた処理回数のこと）を表す。

ここで、式（１）、式（２）の意味するところについて説明する。Ｃ＜Ｈの場合に式（１）では、符号化スキップ回数の累乗の２^NとフレームレートＦとの掛け算が分子になっている。これは、フレームレートが高く、符号化処理が何度もスキップされるような入力画像に対しては、この入力画像の優先度を上げることを意味している。また、２^Nとしているのは、符号化処理が実行されなかった回数が多い入力画像ほど、倍々に値を大きくしてその画像の優先度を上げようとするものである（式（１）、式（２）では２^Nとしたが、２以外の数値のべき乗にしてもよい）。

また、優先度係数Ｍを分母に持ってくることで、特定画像の符号化処理を優先させるには、優先度係数Ｍを下げることで特定画像の優先度が上がるようになっている。例えば、フレームレートは低いけれども、ある入力画像の重要度が高く、この入力画像の符号化処理を優先させたい場合には、該当のパラメータレジスタにおいて、優先度係数Ｍの値を下げて分母の値を小さくすることで、優先度を上げたりする。

一方、Ｈ≦Ｃの場合に式（２）では、符号化スキップ回数の累乗の２^Nが分子へ、フレームレートＦが分母にきている。これは、フレームレートが低く、符号化処理が何度もスキップされるような入力画像に対しては、この入力画像の優先度を上げることを意味している。また、Ｍを分母に持ってきているので、式（１）と同様に、特定画像の符号化処理を優先させるには、優先度係数Ｍを下げることで特定画像の優先度が上がるようになっている。

なお、優先度判定の算出の結果、同じ最優先度の値を持つ入力画像が複数あった場合は、Ｃ＜Ｈのときならば、その中で一番高いフレームレートの入力画像を選択し、Ｈ≦Ｃのときならば、その中で一番低いフレームレートの入力画像を選択する。または、フレームレートにも差がないような場合には、入力画像の番号の若い方を選択する。

図３は調停制御部１４の構成を示す図である。３系統入力画像に対応した構成例を示している。調停制御部１４は、処理能力判定部１４ａ、優先度計算部１４ｂ、優先度判定部１４ｃから構成される。また、優先度計算部１４ｂは、フレームスキップ数Ｎカウンタ１４ｂ−１〜１４ｂ−３、演算部１４ｂ−４〜１４ｂ−６、優先度判定部１４ｃから構成される。

処理能力判定部１４ａは、パラメータ情報（Ｓ、Ｆ、Ｐ）を受信し、式（３）で示した積和計算を行って処理能力Ｃを求め、あらかじめ与えられている処理限界値Ｈと比較する。そして比較結果を優先度計算部１４ｂへ送信する。

優先度計算部１４ｂに対し、フレームスキップ数Ｎカウンタ１４ｂ−１〜１４ｂ−３は、符号化リクエスト信号をカウントし、Ｎを出力する。ここで、入力画像＃１〜＃３に対応するカウンタをフレームスキップ数Ｎカウンタ１４ｂ−１〜１４ｂ−３とすると、符号化実行部１５によって例えば、入力画像＃１の符号化が行われたならば、入力画像＃１対応のフレームスキップ数Ｎカウンタ１４ｂ−１は、リセットされてゼロからカウントされる。また、このとき、入力画像＃２、＃３は符号化されていないので、フレームスキップ数Ｎカウンタ１４ｂ−２、１４ｂ−３は＋１インクリメントされる。

演算部１４ｂ−４〜１４ｂ−６は、処理能力判定部１４ａからの比較結果にもとづき、式（１）または式（２）のいずれかを選択し、受信したパラメータ情報（Ｍ、Ｐ、Ｓ、Ｆ）及びＮから積算／除算の演算を行い、計算結果を出力する。優先度判定部１４ｃは、計算結果から優先度判定を行い、最も優先度の高い入力画像の番号を優先度情報として、画像データ選択部１３へ送信する。

このように、調停制御は、ハードウェアのみで構成することができ、ソフトウェアを用いての複雑な処理を不要とし、簡易な回路構成で式（１）〜式（３）の計算を実行して、符号化すべき入力画像の優先度を効率よく求めることができる。

図４は調停制御の動作を示すフローチャートである。３つの入力画像として、入力画像＃１〜＃３の調停制御を示す。
〔Ｓ１〕処理能力判定部１４ａは、符号化処理能力Ｃが処理限界値Ｈ以内か否かを判定する。Ｃ＜ＨならステップＳ２へ、Ｈ≦ＣならステップＳ３へいく。

〔Ｓ２〕優先度計算部１４ｂは、式（１）にもとづき優先度を計算する。
〔Ｓ３〕優先度計算部１４ｂは、式（２）にもとづき優先度を計算する。
〔Ｓ４〕優先度判定部１４ｃは、入力画像＃１、＃２の判定を行い、＃１＞＃２ならステップＳ５へ、そうでないならステップＳ６へいく。

〔Ｓ５〕優先度判定部１４ｃは、入力画像＃１、＃３の判定を行い、＃１＞＃３ならステップＳ７へ、そうでないならステップＳ８へいく。
〔Ｓ６〕優先度判定部１４ｃは、入力画像＃２、＃３の判定を行い、＃２＞＃３ならステップＳ９へ、そうでないならステップＳ８へいく。

〔Ｓ７〕優先度判定部１４ｃは、入力画像＃１の選択指示を送信する。
〔Ｓ８〕優先度判定部１４ｃは、入力画像＃３の選択指示を送信する。
〔Ｓ９〕優先度判定部１４ｃは、入力画像＃２の選択指示を送信する。

〔Ｓ１０〕画像データ選択部１３は、指示された入力画像を選択し、符号化実行部１５へ送信する。
次に優先度判定の処理についてさらに詳しく説明する。符号化処理能力が、リクエストされた符号化を実行するのに十分な場合には、フレームレートの高い画像の優先度を高くし、符号化処理能力が、リクエストされた符号化を実行するのに不十分な場合には、フレームレートの低い画像の優先度を高くしている。この理由について図５、図６を用いて説明する。

最初に、符号化処理性能が、リクエストされたすべての符号化を実行するのに十分な場合（Ｃ＜Ｈ）を考える。図５は低フレームレートの優先度を高くした場合の符号化処理の流れを示す概念図である。入力画像＃１のフレームレートを３０ｆｐｓ、入力画像＃２のフレームレートを１５ｆｐｓとする。また、入力画像＃１の１フレーム画像サイズ＜入力画像＃２の１フレーム画像サイズである。

入力画像＃１のフレームレートは３０ｆｐｓであるから、１ｓｅｃ間に３０フレームあり、１つのフレームの処理時間は最大１／３０ｓｅｃ必要とする。また、入力画像＃２のフレームレートは１５ｆｐｓであるから、１ｓｅｃ間に１５フレームあり、１つのフレームの処理時間は最大１／１５（＝２／３０）ｓｅｃ必要とする。

図に示すように、入力画像＃２の方を優先して先に処理した場合、入力画像＃２は、０／３０ｓｅｃから処理が開始し、０／３０ｓｅｃ〜２／３０ｓｅｃまでの時間ｔ３内で処理は終了しているが、入力画像＃１の１フレーム目は、入力画像＃２の処理終了時に処理が開始するので、０／３０ｓｅｃ〜１／３０ｓｅｃの時間ｔ１内で処理を開始できない。このため、続く２フレーム目と一緒に、１／３０ｓｅｃよりも短い時間内で２つのフレームを処理しなければならなくなるので、１フレーム目に対しては、処理が飛ばされて符号化が行われない可能性がある。

図６は高フレームレートの優先度を高くした場合の符号化処理の流れを示す概念図である。式（１）に示すような演算を行えば、高フレームレートの優先度が高くなる。
図を見ると、高フレームレートの優先度が高い場合には、入力画像＃１の１フレーム目は、０／３０ｓｅｃ〜１／３０ｓｅｃまでの時間ｔ１内で処理が開始し、時間ｔ１内で処理が終了するので、１／３０ｓｅｃ以内で符号化できている。また、入力画像＃１の２フレーム目は、１／３０ｓｅｃ〜２／３０ｓｅｃまでの時間ｔ２内で処理が開始し、時間ｔ２内で処理が終了するので、１／３０ｓｅｃ以内で符号化できている。さらに、入力画像＃２は、時間ｔ１内で処理が開始し、時間ｔ２内で処理が終了するので、２／３０ｓｅｃ以内で符号化できている。
このように、すべてのフレームが処理時間内に終了していることがわかる。

一方、符号化処理性能が、リクエストされたすべての符号化を実行するのに不十分な場合は（Ｈ≦Ｃ）、低フレームレート側を優先する。なぜなら、低フレームレートのほうが１フレームの重みが大きく、符号化し損なった場合の動画品質への影響が大きいと考えられるためである。

次に優先度判定の具体的な動作例について説明する。３系統の入力画像があり、それぞれ入力画像＃１〜＃３とする。そして、入力画像＃１〜＃３の符号化条件は下記の通りとする。

＃１：３０ｆｐｓ、画像サイズ１９６×１２８（マクロブロック数９６）
＃２：１５ｆｐｓ、画像サイズ１２８×１２８（マクロブロック数６４）
＃３：３０ｆｐｓ、画像サイズ１２８×６４（マクロブロック数３２）
また、入力画像＃１〜＃３はすべて優先度係数Ｍ＝１であり、すべてフレーム内符号化（Ｐ＝１）とする。そして、符号化実行部１５の性能は、事前の性能見積もりにより、２４００MB/sec程度と解っているものとする（MBはマクロブロックの意味）。

そして、符号化処理能力Ｃを式（３）を用いて、入力画像＃１〜＃３に対するＳ×Ｆの総和を計算すると、Ｃ＝９６×３０＋６４×１５＋３２×３０＝２８８０＋９６０＋９６０＝４８００MB/secであり、符号化実行部１５の処理性能を超えていることがわかる。したがって、優先度判定には式（２）が選択される。優先度の初期値は、式（２）から計算すると、それぞれ、＃１＝１／２８８０、＃２＝１／９６０、＃３＝１／９６０となる。

図７は符号化処理の流れを示す概念図である。図中では簡単にするため、優先度の逆数を示す（よって、逆数の小さいものほど優先度が高く符号化が優先される）。なお、優先度の逆数の下に書かれている○×は、そのフレームの入力画像の符号化を実行できたかどうかを表している。

ここで、符号化実行部１５では、ｎ系統の入力画像を符号化処理する場合には、ｎ＋１個の画像データ格納部（画像データ選択部１３から出力された画像データを格納するｎ＋１個の格納領域）を有している。これらの画像データ格納部から１つが実際の符号化処理のための格納領域となる。

例えば、入力画像＃１〜＃３であるならば、取り込み用の３つの画像データ格納部の他に１つの符号化処理用の画像データ格納部がある。この場合、１つの画像データ格納部の中から符号化処理用の画像データの読み出しが終了したならば、他の画像データ格納部を選択してここから画像データを読み出すことになる。このとき、先ほど符号化処理用に使用していた画像データ格納部と他の２つの画像データ格納部が入力画像＃１〜＃３の取り込み用になる。

〔Ｓ２１〕＃１の優先度＝２８８０、＃２の優先度＝９６０、＃３の優先度＝９６０であり、Ｈ≦Ｃなので、＃２→＃３→＃１の順で符号化を行う。１／３０ｓｅｃ以内で＃２の符号化が終了し、＃３の符号化へ移る。また、＃１は、ステップＳ２１以内に開始できないのでスキップされる。したがって、＃１は×、＃２は○、＃３は○となる。

〔Ｓ２２〕＃３の処理が継続される。＃１の優先度＝１４４０（ステップＳ２１で１回スキップされたため２８８０→１４４０となる）、＃３の優先度＝９６０なので、＃２の処理終了後、＃３→＃１の順で符号化を行う。ステップＳ２２以内で＃３の符号化が終了し、＃１の符号化へ移る。したがって、＃１は○、＃３は○となる。なお、＃２は１５ｆｐｓなので、２／３０ｓｅｃ間毎に処理が行われればよい。したがって、０／３０ｓｅｃ〜２／３０ｓｅｃ以内で１つの＃２が終了しているので、優先度及び○×の記号は、ここではハイフンで表示している。

〔Ｓ２３〕＃１の処理が継続される。＃１の優先度＝２８８０、＃２の優先度＝９６０、＃３の優先度＝９６０なので、＃１の処理終了後、＃２→＃３→＃１の順で符号化を行う。ただし、＃２の処理はステップＳ２３以内に開始できるが、＃３及び新たな＃１はステップＳ２３以内に開始できないので、＃１は×、＃２は○、＃３は×となる。

〔Ｓ２４〕＃２の処理が継続される。＃１の優先度＝１４４０（ステップＳ２３で１回スキップされたから２８８０→１４４０）、＃３の優先度＝４８０（ステップＳ２３で１回スキップされたから９６０→４８０）であり、＃２の処理終了後、＃３→＃１の順で符号化を行う。ただし、＃３の処理はステップＳ２４以内に開始できるが、＃１はステップＳ２４以内に開始できないので、＃１は×、＃３は○となる。また、２／３０ｓｅｃ〜４／３０ｓｅｃ以内で１つの＃２の処理が終了しているので、＃２の優先度及び○×の記号は、ハイフンで表示している。

〔Ｓ２５〕＃１の優先度＝７２０（ステップＳ２３、Ｓ２４で２回スキップされたから２８８０→１４４０→７２０）、＃２の優先度＝９６０、＃３の優先度＝９６０であり、＃１→＃２→＃３の順で符号化を行う。＃１の処理はステップＳ２５から開始し、＃２は４／３０ｓｅｃ〜６／３０ｓｅｃ以内に開始し、＃３はステップＳ２５以内に開始できないので、＃１は○、＃２は○、＃３は×となる。

〔Ｓ２６〕＃１の処理が継続される。＃１の優先度＝２８８０、＃２の優先度＝９６０、＃３の優先度＝４８０（ステップＳ２５で１回スキップされたから９６０→４８０）であり、＃１の処理終了後、＃３→＃２→＃１の順で符号化を行う。ただし、＃３、＃２の処理はステップＳ２６以内に開始し、＃１はステップＳ２６以内に開始できないので、＃１は×、＃３は○となる（＃２の○はステップＳ２５で付けたので、ここではハイフンで表示している）。

〔Ｓ２７〕＃２の処理が継続される。＃１の優先度＝１４４０（ステップＳ２６で１回スキップされたから２８８０→１４４０）、＃２の優先度＝９６０、＃３の優先度＝９６０であり、＃２の処理終了後、＃２→＃３→＃１の順で符号化を行う。ただし、新たな＃２の処理はステップＳ２７以内に開始するが、＃１と＃３はステップＳ２７以内に開始できないので、＃１は×、＃２は○、＃３は×となる。

〔Ｓ２８〕＃２の処理が継続される。＃１の優先度＝７２０（ステップＳ２６、Ｓ２７で２回スキップされたから２８８０→１４４０→７２０）、＃３の優先度＝４８０（ステップＳ２７で１回スキップされたから９６０→４８０）であり、＃２の処理終了後、＃３→＃１の順で符号化を行う。＃３の処理はステップＳ２８以内に開始し、＃１もステップＳ２８以内に開始している。したがって、＃１は○、＃３は○となる。なお、６／３０ｓｅｃ〜８／３０ｓｅｃ以内で１つの＃２の処理が終了しているので、＃２の優先度及び○×の記号は、ハイフンで表示している。以降、同様な動作が行われる。

以上説明したように、単一の符号化回路を持つ装置に複数の入力画像がある場合、簡単なハードウェア構成で、符号化効率を上げるための優先度判定計算を行って、最適な１つの入力画像を符号化する構成とした。これにより、入力画像を並列に効率よく符号化することが可能になる。

次に携帯電話機に適用した例について説明する。図８は携帯電話機によるブロードキャストを示す図である。携帯電話機２０は、カメラ部２１、画像処理部２２、画像データ配信部２３から構成される。カメラ部２１は画像を撮影して、撮影画像を格納するメモリを有する。画像処理部２２は、画像処理装置１０の機能を有する。画像データ配信部２３は、受信端末側が要求する仕様（画像サイズ、フレームレート等）に対応した、符号化後の画像データを配信する。

ここで、携帯電話機２０では、カメラ部２１で撮影した画像を、他の携帯電話機３０、パソコン４０、デジタル放送対応のテレビ５０などにリアルタイムで映像配信を行う。ただし、双方が携帯電話機であっても処理できる画像サイズやフレームレートは異なっているので、その際接続される端末の処理性能によって、画像サイズやフレームレートを最適なものにできることが望ましい。

図では、携帯電話機３０には低フレームレート／低画像サイズの画像データを配信し、パソコン４０、テレビ５０には高フレームレート／高画像サイズの画像データを配信している。

フレームレートや画像サイズにもとづき、優先度を計算し、効率よく並列に符号化処理できるようにしたので、受信側の要求する画像サイズ、フレームレートが増大していき、発信側の携帯端末の符号化性能を超えるような場合であっても、複数の受信端末に対応した符号化ストリームを発信することが可能になる。

なお、上記の説明では、画像処理装置１０を携帯電話機に応用した例を示したが、携帯電話機に限らず、テレビ会議システムのクライアント端末やその他の映像処理機器に幅広く適用可能である。

画像処理装置の原理図である。画像処理装置の構成を示す図である。調停制御部の構成を示す図である。調停制御の動作を示すフローチャートである。低フレームレートの優先度を高くした場合の符号化処理の流れを示す概念図である。高フレームレートの優先度を高くした場合の符号化処理の流れを示す概念図である。符号化処理の流れを示す概念図である。携帯電話機によるブロードキャストを示す図である。

符号の説明

１０画像処理装置
１３画像データ選択部
１４調停制御部
１５符号化実行部

Claims

画像データの符号化処理を行う画像処理装置において、
複数の入力画像データの中から、優先度情報にもとづき、１つの画像データを選択する画像データ選択部と、
符号化処理能力が処理限界値以内の場合には、前記入力画像データのフレームレートの高さに応じて優先度を高くし、前記符号化処理能力が前記処理限界値を超える場合には、前記入力画像データのフレームレートの低さに応じて優先度を高くするように、優先度を計算して、どの入力画像を優先して符号化するかの調停制御を行う調停制御部と、
符号化処理時間内で処理可能な、選択された画像データの符号化処理を実行する符号化実行部と、
を有することを特徴とする画像処理装置。
前記調停制御部は、符号化スキップ回数をＮ、フレームレートをＦ、優先度係数をＭ、フレーム内符号化またはフレーム間符号化のいずれであるかを示すＰ、マクロブロック数をＳとし、前記符号化実行部の符号化処理能力が処理限界値以内の場合、優先度は、（２^N・Ｆ）／（Ｍ・Ｐ・Ｓ）で計算して、符号化スキップ回数Ｎが多く、フレームレートＦが高い画像の優先度を上げ、特定画像の符号化処理を優先させるには優先度係数Ｍを下げることで特定画像の優先度を上げる調停制御を行うことを特徴とする請求項１記載の画像処理装置。
前記調停制御部は、符号化スキップ回数をＮ、フレームレートをＦ、優先度係数をＭ、フレーム内符号化またはフレーム間符号化のいずれであるかを示すＰ、マクロブロック数をＳとし、前記符号化実行部の符号化処理能力が処理限界値を超える場合には、優先度は、２^N／（Ｍ・Ｐ・Ｓ・Ｆ）で計算して、符号化スキップ回数Ｎが多く、フレームレートＦが低い画像の優先度を上げ、特定画像の符号化処理を優先させるには優先度係数Ｍを下げることで特定画像の優先度を上げる調停制御を行うことを特徴とする請求項１記載の画像処理装置。
カメラ機能を有する携帯電話機において、
カメラで撮影された複数の入力画像データの中から、優先度情報にもとづき、１つの画像データを選択する画像データ選択部と、符号化処理能力が処理限界値以内の場合には、前記入力画像データのフレームレートの高さに応じて優先度を高くし、前記符号化処理能力が前記処理限界値を超える場合には、前記入力画像データのフレームレートの低さに応じて優先度を高くするように、優先度を計算して、どの入力画像を優先して符号化するかの調停制御を行う調停制御部と、符号化処理時間内で処理可能な、選択された画像データの符号化処理を実行する符号化実行部と、から構成される画像処理部と、
受信端末側が要求する仕様に対応した、符号化後の画像データを配信する画像データ配信部と、
を有することを特徴とする携帯電話機。
前記調停制御部は、符号化スキップ回数をＮ、フレームレートをＦ、優先度係数をＭ、フレーム内符号化またはフレーム間符号化のいずれであるかを示すＰ、マクロブロック数をＳとし、前記符号化実行部の符号化処理能力が処理限界値以内の場合、優先度は、（２^N・Ｆ）／（Ｍ・Ｐ・Ｓ）で計算して、符号化スキップ回数Ｎが多く、フレームレートＦが高い画像の優先度を上げ、前記符号化実行部の符号化処理能力が処理限界値を超える場合には、優先度は、２^N／（Ｍ・Ｐ・Ｓ・Ｆ）で計算して、符号化スキップ回数Ｎが多く、フレームレートＦが低い画像の優先度を上げ、または特定画像の符号化処理を優先させるには優先度係数Ｍを下げることで特定画像の優先度を上げる調停制御を行うことを特徴とする請求項４記載の携帯電話機。