JPH08298663A - 画像処理方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 従来必要であった高価な画像データの受信用
バッファと、高速な通信路を不要にした画像処理方法及
びその装置を提供することを目的とする。 【構成】 動画像データを入力して符号化する画像処理
装置であって、並列に配列された複数の画像処理ユニッ
ト１１，１２と、複数の画像処理ユニットのそれぞれに
処理対象画像の順番を指示する制御部１とを有し、複数
の画像処理ユニット１１，１２のそれぞれは、入力され
る動画像データに含まれるフレームの順序を示す情報と
処理対象画像の順番とに基づいて、画像処理ユニットが
処理する対象画像データを取り込んで画像メモリに記憶
し、その画像メモリに記憶された画像データに基づい
て、画像圧縮部３９により符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像データを入力し
て符号化する画像処理方法及びその装置に関するもので
ある。

【０００２】

【従来の技術】従来より、ビデオ再生装置やテレビジョ
ン信号などの動画像信号を入力し、符号化等を行って再
生或は出力する装置が知られている。このような動画像
データでは、各フレームデータに、フレームの順番を示
す順序データが重畳されていなかったため、特定のフレ
ーム／フィールドを処理するために図８に示す様に、一
旦、動画像信号を入力して、その入力順にフレーム単位
で記憶するための入力バッファを設けて順序付けを行
い、その順序付けされたフレームデータを画像処理装置
に転送する必要があった。

【０００３】図８は、従来の画像処理装置の構成例を示
すブロック図で、ビデオテープ再生装置などの動画像供
給装置５から供給される画像データ２０１は、画像メモ
リ４によって一度バッファされ、順序を正確に特定した
後、ビデオバス２０２を経由して、並列に設けられてい
る画像処理エレメント２１，２２に送られる。これら画
像処理エレメント２１，２２のそれぞれでは、画像処理
を行い、その処理結果をシステムバス１０２を経由して
共有メモリ２に出力している。

【０００４】

【発明が解決しようとする課題】一般に、コンピュータ
のシステムバスなどに比べて、並列に画像を転送するバ
スは高価であり、また図８のような画像データのフレー
ムの順序を特定するための画像メモリ４も又、多くのメ
モリ容量を要するため高価なものとなる。従って、この
ような従来の構成では、装置全体のコストが高くなると
いう欠点がある。更に、動画像供給装置５より入力され
る画像データの順序付けが、並列に配置された画像処理
エレメントの手前の１箇所で行われる必要があるので、
比較的低速な既存のネットワークを介して、図８のよう
な構成で並列処理を行うのが困難であった。

【０００５】本発明は上記従来例に鑑みてなされたもの
で、従来必要であった高価な画像データの受信用バッフ
ァと、高速な通信路を不要にした画像処理方法及びその
装置を提供することを目的とする。

【０００６】又本発明の他の目的は、並行して配置され
た複数の画像処理ユニット間での画像データのやり取り
を低減し、安価な構成の画像処理方法及びその装置を提
供することにある。

【０００７】さらに本発明の他の目的は、低速な通信路
を使用し並列に画像処理を行うことができる画像処理方
法及びその装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、動画像データを入力して符号化する画像処理装置
であって、並列に配列された複数の画像処理ユニット
と、前記複数の画像処理ユニットのそれぞれに処理対象
画像の順番を指示する制御手段とを有し、前記複数の画
像処理ユニットのそれぞれは、前記動画像データに含ま
れるフレームの順序を示す情報と前記処理対象画像の順
番とに基づいて、当該画像処理ユニットが処理する対象
画像データを取り込んで記憶する記憶手段と、前記記憶
手段に記憶された画像データに基づいて前記画像データ
を符号化する符号化手段とを有する。

【０００９】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、動画像デー
タを入力して符号化する画像処理方法であって、並列に
配置された複数の画像処理ユニットのそれぞれに処理対
象画像の順番を指示する工程と、前記動画像データに含
まれるフレームの順序を示す情報と前記処理対象画像の
順番とに基づいて、当該画像処理ユニットが処理する対
象画像データを取り込んで記憶する工程と、記憶された
画像データに基づいて前記画像データを符号化する符号
化工程とを有する。

【００１０】

【作用】以上の構成において、並列に配置された複数の
画像処理ユニットのそれぞれに処理対象画像の順番を指
示し、入力される動画像データに含まれるフレームの順
序を示す情報と前記処理対象画像の順番とに基づいて、
画像処理ユニットが処理する対象画像データを取り込ん
で記憶し、その記憶された画像データに基づいて前記画
像データを符号化するように動作する。

【００１１】

【実施例】以下、添付図面を参照して本発明の好適な実
施例を詳細に説明する。

【００１２】［第１実施例］図１は本発明の第１実施例
の画像処理装置の構成を示すブロック図である。

【００１３】図１において、１は中央処理装置（ＣＰ
Ｕ）を含む制御部、２は共有メモリで、バス１０２を介
して画像処理エレメント１１，１２及び制御部１により
共有されている。３は動画像供給装置で、バス１０１を
介して各画像処理エレメント１１，１２に動画像データ
を供給している。１１，１２は画像入力及び圧縮処理エ
レメント（以下、１１，１２を各々ＰＥ１，ＰＥ２と略
記する）で、その構成は図２のブロック図で示されてい
る。

【００１４】図２は本発明の第１実施例の画像処理エレ
メント１１（ＰＥ１）の詳細な構成を示すブロック図
で、他の画像処理エレメント（ＰＥｎ）も同様の構成で
あるため、それら処理エレメントの構成の説明は省略す
る。

【００１５】図２において、３１はビデオ信号デコーダ
で、動画像供給装置３より供給される動画像データに含
まれる補助データ信号をデコードし、その順序番号３０
１を比較器３２に出力するとともに、比較器３２より入
力される時制御信号３０２を入力し、その時制御信号３
０２に応じて、入力した画像信号を格納するための画像
メモリ３５〜３８を選択し、その選択した画像メモリに
画像データを転送して記憶している。３２は比較器で、
ビデオ信号デコーダ３１より入力される順序信号３０１
とレジスタファイル３３のレジスタ３０５〜３０８のい
ずれかに記憶されている順序番号と一致した時に、時制
御信号３０２を出力している。

【００１６】３４は中央処理装置を含む制御部で、この
画像処理エレメント全体の動作を制御している。３５，
３６，３７，３８は画像メモリ、３９は画像圧縮部で、
画像メモリより読み出した画像データを圧縮して、圧縮
データメモリ４０に記憶している。３０１は画像データ
の補助データ信号の一部をデコードした順序番号を表す
信号、３０２は比較器３２よりビデオ信号デコーダ３１
に出力される、画像メモリへデータを書込むための時制
御信号である。また、レジスタ３０５，３０６，３０
７，３０８は、各々画像メモリ３５，３６，３７，３８
に書き込む画像フレームのフレーム番号を保持してい
る。

【００１７】図３は、本発明の実施例における画像圧縮
処理を模式的に表した図である。

【００１８】４１は順序番号が“１”の画像フレーム、
４２は順番番号が“２”の画像フレーム、４３は順序番
号が“３”の画像フレーム、４４は順序番号が“４”の
画像フレームを示している。以下、４ｎは順序番号が
“ｎ”の画像フレームを意味するものとする。なお、こ
こで重要なのは以上の４つのフレームである。

【００１９】図４は本発明の第１実施例の画像処理装置
における動作タイミングを示すタイミングチャートで、
４１〜４１３（４ｎ）は図３に示すようなフレームの順
番に対応している。

【００２０】５１は動画像供給装置３から供給される画
像データを示し、５２はその内、ＰＥ１に入力される画
像データの順序番号を示している。５３，５４，５５，
５６は、ＰＥ１の画像メモリ３５，３６，３７，３８の
ぞれぞれに蓄えられる画像データの順序番号を示してい
る。５７はＰＥ１の画像圧縮部３９で処理される画像デ
ータの順序番号を示し、５８はＰＥ１から共有メモリ２
に転送される画像データの順序を示している。また、５
９はＰＥ２から共有メモリ２に転送される画像データの
順序を示している。

【００２１】図５は本実施例で用いられる画像圧縮のコ
マンドの一例を示す図で、６１は６２，６３で示される
数値の持つ意味を示しており、６２はＰＥ１に送られる
コマンドの一例を示し、６３はＰＥ２に送られるコマン
ドの一例を示している。以下、図１〜図５を参照して本
発明の第１実施例の動作を説明する。

【００２２】この第１実施例の画像処理装置は、動画像
圧縮符号化コード（ＭＰＥＧ）等で採用されているよう
に、前後のキー画像フレームからの差分を用いて中間の
画像フレームを圧縮符号化する。本実施例では、簡単の
ためにキーフレーム４１と４４（イントラフレーム）を
用いて中間フレーム４２，４３（インターフレーム）を
符号化する場合で説明する。

【００２３】いま、ＰＥ１内の制御部３４が、キーフレ
ーム４１，４４を使用して中間フレーム４２を符号化す
るものとする。この第１実施例では、この命令は、図５
の６１で示すように、４つ以上の数値がカンマ（，）で
区切られている。本実施例では、第１番目の数値「４
１」は開始フレーム番号であり、第２番目の数値「３
０」は、全体で処理されるフレーム数（ここでは３０）
を示している。そして、各ＰＥは、第１番目の数値に第
２番目の数値を加算した数のフレームに関する処理が終
了すると、待機状態になる。また、第３番目の数値
「３」はイントラフレームの間隔を示し、ここでは
“３”に設定されている。ここでイントラフレーム（フ
レーム４１，４４）とはＭＰＥＧ等で規定されている１
つのフレームの情報のみを使って符号化されるフレーム
のことで、これらイントラフレームは他のフレームの情
報無しに符号化及び復号化することができる。尚、この
実施例では、イントラフレームは他の２つのフレームを
挟んで間隔が“３”となっている。

【００２４】次の第４番目及び第５番目の数値は、共有
メモリ２に書き出す付号を示している。ここではフレー
ム番号を間隔「３」で割った余りの値で示している。即
ち、ＰＥ１の場合は、第４番目と第５番目の数値がそれ
ぞれ“０”、“１”であるため、（４１＋３ｘＮ）と
（４１＋３ｘＮ＋１）番目（Ｎ＝０〜９）のフレームで
あり、かつ（４１＋３０）番目（最終フレームの次のフ
レーム）以下のフレームを共有メモリ２に書き出すよう
に指示されている。また同様に、ＰＥ２の第４番目の数
値が“２”であるため、（４１＋３ｘＮ＋２）番目（Ｎ
＝０〜９）のフレームで、かつ（４１＋３０）番目以下
であるフレームを共有メモリ２に書き出すように指示さ
れている。尚、これらコマンドに基づく制御は、ＰＥ
１，ＰＥ２内部の制御部３４がマイコン等と共有メモリ
２を用いたシステムで構成でき、制御部１との間でデー
タの授受が可能に構成されている。

【００２５】図１において、バス１０１を介して動画像
供給装置３より供給される画像データには、「ＣＣＩＲ
Ｒｅｃ．６０１スタジオ用ディジタルテレビの符号化
パラメータ」などで勧告されている補助データ信号を用
い、フィールドあるいはフレームの番号が各フィールド
或はフレーム毎に付加されている。これ以降、フレーム
に限定して説明を続けるが、フィールドにも同じ動作が
適用できることは明かである。これらは現在スタジオ用
のビデオテープ装置で使われている「タイムコード」を
補助データ信号に符号化したものでよい。このバス１０
１上の画像信号は、ＰＥ１とＰＥ２とに同時に供給され
ている。ＰＥ１の制御部３４はレジスタファイル３３の
順序番号レジスタ３０５〜３０８のそれぞれに、各フレ
ームの番号“４１”，“４２”，“４４”，“４５”を
書き込む。

【００２６】ビデオ信号デコーダ３１は、バス１０１上
の画像データの補助データ信号を常にデコードしている
が、この補助データに含まれる順序番号３０１を比較器
３２に出力する。比較器３２は、最初に入力した順序番
号「４１」とレジスタファイル３３のレジスタ３０５に
保存されているとを比較し、一致すると時制御信号３０
２をビデオ信号デコーダ３１に出力する。これにより、
その画像データは画像メモリ３５に書き込まれる。同様
にして、順序番号が「４２」，「４４」，「４５」の画
像データに対しても同様の処理が行なわれ、それぞれ画
像メモリ３６，３７，３８に書き込まれることになる。
これら入力した順序番号３０１と、順序番号レジスタ３
０５、３０６，３０７，３０８のそれぞれとの比較は、
４つの比較器を用いて行っても良く、或は１つの比較器
を使用して時分割で比較するようにしても良い。また、
プログラムによる制御の下に、制御部３４によって比較
するようにしても良い。

【００２７】本実施例では、比較器３２よりの時制御信
号３０２によって、ビデオ信号デコーダ３１より画像メ
モリ５３に、フレーム４１の画像データの書き込みが指
示される。このタイミングが、図４の５０１で示されて
いる。このフレーム４１はイントラフレームであるの
で、この画像データだけで符号化が可能である。尚、本
実施例では、符号化に要する時間を１フレームの転送時
間と仮定している。また、フレーム４１の画像は、図４
のタイミング５０２から符号化処理が開始され、次のフ
レーム・サイクルで共有メモリ２へ書き出される。その
後もフレーム４１の画像データが画像メモリ３５に保存
されたままである。

【００２８】またフレーム４２の画像データは、ビデオ
信号デコーダ３１を介して画像メモリ３６に取り込まれ
るが、このフレーム４２はインターフレームなので符号
化はフレーム４４の画像データが揃うまで行うことが出
来ず、そのまま画像メモリ３６に保存される。そして、
図４のタイミング５０３で、フレーム４４の画像データ
が画像メモリ３７に書き込まれる。この実施例では先に
イントラフレームの符号化を行なうため、図４のタイミ
ング５０４，５０５で、各フレーム４４，４２の符号化
が行われる。この時、フレーム４５の画像データは画像
メモリ３８に書き込まれている。このフレーム４５も、
フレーム４７の画像データが画像メモリ３５に書き込ま
れて符号化が行われるまで保存されている。

【００２９】尚、図４のタイミング図では示されていな
いが、ＰＥ２でも同様に、フレーム４１が画像メモリ３
５に、フレーム４３が画像メモリ３６に、そしてフレー
ム４４が画像メモリ３７に記憶され、これらの画像デー
タに基づいてフレーム４３が画像圧縮部３９により圧縮
されて共有メモリ２に出力される。

【００３０】［第２実施例］図６は本発明の第２の実施
例の画像処理装置の構成を示すブロック図で、前述の図
１と共通する部分は同じ番号で示し、それらの説明を省
略する。

【００３１】図６において、１０３はイーサネットなど
のネットワーク媒体である。前述の第１実施例で説明し
たように、動画像供給装置３より供給される画像データ
には、補助データとして順序番号の情報が付加されてい
るので、画像処理エレメント１１，１２で並行して行わ
れる画像処理中において、これら画像処理エレメント間
で授受される情報は極端に少ない。従って、ビデオ再生
装置などに較べて低速な通信媒体を使って、並列の画像
処理のエレメント同士を同期させることが可能になる。
尚、ここで、ネットワーク媒体１０３は、シリアル通信
路であってもよい。

【００３２】［第３の実施例］図７は本発明の第３の実
施例の画像処理エレメントの詳細な構成を示すブロック
図で、前述の図２と共通する部分は同じ番号で示し、こ
れらの説明を省略する。前述の第１実施例との相違点
は、第１実施例では各画像処理エレメント（ＰＥｎ）に
制御部３４を設けて制御していたのに対し、この第３実
施例では、この制御部３４の働きを図１の制御部１に代
行させることにより、各画像処理エレメント（ＰＥｎ）
における制御部３４を省略している点にある。

【００３３】図９は、図１の制御部１による処理を示す
フローチャートである。尚、前述の第３実施例のよう
に、制御部１と画像処理エレメントの制御部３４とが共
通である場合は、特に必要ない。

【００３４】ここでは、制御部１より各画像処理エレメ
ントに、例えば図５に示すようにコマンドが出力され
る。

【００３５】これにより、図１０のフローチャートで示
すように、各画像処理エレメントの制御部３４による処
理が実行される。ここでは、まずステップＳ１１で、開
始フレーム数をレジスタ３０５にストアし、ステップＳ
１２で、イントラフレーム間の中間フレームのうちの処
理対象フレームを他のレジスタ３０６，３０７のいずれ
かに記憶する。そしてステップＳ１３に進み、次のイン
トラフレームをレジスタ３０８に記憶して処理を終了す
る。尚、この実施例では、イントラフレーム間は３フレ
ームとしているので、レジスタファイル３３のレジスタ
数は４個であるが、それ以外の数値であっても良いこと
はもちろんである。

【００３６】図１１は、以上の設定に基づくビデオ信号
デコーダ３１の処理を示すフローチャートである。

【００３７】まずステップＳ２１で、バス１０１より画
像データを入力し、その画像データに含まれる順番番号
３０１を読取って比較器３２に出力する（ステップＳ２
２）。次にステップＳ２３に進み、比較器３２より時制
御信号３０２が入力されるかを判定し、時制御信号３０
２が入力されるとステップＳ２４に進み、その受信した
画像データを対応する画像メモリに記憶する。

【００３８】一致しない時、或は画像メモリに格納した
後ステップＳ２５に進み、そのフレームがイントラフレ
ームか否かを判定する。イントラフレームであればステ
ップＳ２８に進み、当該イントラフレームの符号化を画
像圧縮部３９に指示する。次にステップＳ２６に進み、
当該イントラフレーム以前に、処理されるべき中間フレ
ームが存在するか否かを判定する。中間フレームが存在
する時はステップＳ２７に進み、既に符号化されたイン
トラフレーム等の情報に基づいて、画像圧縮部３９に符
号化を指示する。これらステップＳ２６とＳ２７の処理
は、処理すべき中間フレームが存在しなくなるまで続け
られる。

【００３９】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置に本発明
を実施するプログラムを供給することによって達成され
る場合にも適用できる。

【００４０】以上説明したように本実施例によれば、動
画像データに、フレームあるいはフィールドを識別する
順序データを重畳し、この順序データを入力し識別して
特定されたビデオデータの処理を行うことにより、以下
に示すような効果がある。 （ａ）並列画像処理を行う画像処理装置の画像バッファ
と通信路を省略でき、安価な高速画像処理装置が構築出
来る。 （ｂ）複数の画像処理部同士の通信を減らすことが出来
る。 （ｃ）更に、従来不可能だった画像の通信速度に対して
比較的低速なネットワークを介して画像データを伝送し
ても、分散して実時間画像処理ができる。 （ｄ）又、例えば２つの画像処理ユニットを設け、一方
の処理ユニットでは偶数番目のフレームの入力処理を行
い、他方の処理ユニットでは奇数番目の処理を行なうこ
とを予め中央処理装置等で指定して、処理の最中は画像
処理ユニット同士で互いの情報交換をせずに画像処理を
行なうことができる。

【００４１】

【発明の効果】以上説明したように本発明によれば、従
来必要であった高価な画像データの受信用バッファと、
高速な通信路を不要にした画像処理方法及びその装置を
提供することができる。

【００４２】又本発明によれば、並行して配置された複
数の画像処理ユニット間での画像データのやり取りを低
減し、安価な構成の画像処理方法及びその装置を提供で
きる効果がある。

【００４３】さらに本発明によれば、低速な通信路を使
用し並列に画像処理を行うことができる効果がある。

【００４４】

【図面の簡単な説明】

【図１】本発明の第１実施例の画像処理装置の構成を示
すブロック図である。

【図２】第１実施例の画像処理エレメントの構成を示す
ブロック図である。

【図３】本発明の実施例における画像圧縮処理を模式的
に表した図である。

【図４】第１実施例の画像処理エレメントにおける画像
データの処理タイミングを示すタイミングチャートであ
る。

【図５】第１の実施例で制御部から画像処理エレメント
に送られる命令の一例を示す図である。

【図６】本発明の第３実施例の画像処理装置の構成を示
すブロック図である。

【図７】第３実施例の画像処理エレメントの構成を示す
ブロック図である。

【図８】従来の例を説明するための図である。

【図９】図１の制御部による処理を示すフローチャート
である。

【図１０】画像処理エレメントの制御部による処理を示
すフローチャートである。

【図１１】本実施例の画像処理エレメントのビデオ信号
デコーダにおける処理を示すフローチャートである。

【符号の説明】

１ 制御部 ２ 共有メモリ ３ 動画像供給装置 １１，１２ 画像処理エレメント ３１ ビデオ信号デコーダ ３２ 比較器 ３３ レジスタファイル ３４ 制御部 ３５〜３８ 画像メモリ ３９ 画像圧縮部 ４０ 圧縮データメモリ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 動画像データを入力して符号化する画像
   処理装置であって、 並列に配列された複数の画像処理ユニットと、 前記複数の画像処理ユニットのそれぞれに処理対象画像
   の順番を指示する制御手段とを有し、 前記複数の画像処理ユニットのそれぞれは、前記動画像
   データに含まれるフレームの順序を示す情報と前記処理
   対象画像の順番とに基づいて、当該画像処理ユニットが
   処理する対象画像データを取り込んで記憶する記憶手段
   と、 前記記憶手段に記憶された画像データに基づいて前記画
   像データを符号化する符号化手段と、を有することを特
   徴とする画像処理装置。
2. 【請求項２】 前記符号化手段は、動画像圧縮方法を使
   用して前記画像データを符号化することを特徴とする請
   求項１に記載の画像処理装置。
3. 【請求項３】 前記制御手段により指示された処理対象
   画像の順番を記憶する順番記憶手段と、前記順番記憶手
   段に記憶された順番と前記動画像データに含まれるフレ
   ームの順序を示す情報とを比較する比較手段とを有し、
   前記記憶手段は前記比較手段による比較が一致する時に
   対象画像データを取り込んで記憶するようにしたことを
   特徴とする請求項１又は２に記載の画像処理装置。
4. 【請求項４】 前記符号化手段により符号化された画像
   データを記憶する圧縮データ記憶手段を更に有すること
   を特徴とする請求項１乃至３のいずれか１項に記載の画
   像処理装置。
5. 【請求項５】 動画像データを入力して符号化する画像
   処理方法であって、 並列に配置された複数の画像処理ユニットのそれぞれに
   処理対象画像の順番を指示する工程と、 前記動画像データに含まれるフレームの順序を示す情報
   と前記処理対象画像の順番とに基づいて、当該画像処理
   ユニットが処理する対象画像データを取り込んで記憶す
   る工程と、 記憶された画像データに基づいて前記画像データを符号
   化する符号化工程と、を有することを特徴とする画像処
   理方法。
6. 【請求項６】 前記符号化工程では、動画像圧縮方法を
   使用して前記画像データを符号化することを特徴とする
   請求項５に記載の画像処理方法。
7. 【請求項７】 前記符号化工程により符号化された画像
   データを記憶する工程を更に有することを特徴とする請
   求項５又は６に記載の画像処理方法。