JPWO2005125215A1 - 画像データ符号化装置、および符号化方法 - Google Patents

Abstract

１つの画面データ全体に対する符号化割当情報量が不足しても、利用者の注目領域における画質劣化を低減させることを目的とする。複数のスライスによって１つの画面のデータが構成される画像データを符号化する装置が、複数のスライスの画像データを指示された順序、例えば画面中央のスライスを先頭とする順序で選択するスライスデータ選択部と、選択され、符号化された複数のスライス画像データを、該指示された順序とは異なるスライス順序で外部に出力する符号化スライスデータ出力部とを備える。

Description

本発明は画像データの符号化方式に係り、さらに詳しくはＭＰＥＧ方式における画像（映像）データの符号化において、人の視覚特性に基づいて重要な位置のスライスから符号化を行って、符号化割当情報量が不足しても画質劣化を比較的に低減できる画像符号化装置、および符号化方法に関する。

ビデオ信号高能率符号化方式としてのＭＰＥＧ方式は、コンピュータ、通信、放送、情報家電、エンターテイメントなど多くの分野に応用可能な符号化方式として広範に用いられている。

ＭＰＥＧ方式では、入力画像（映像）信号を符号化圧縮した後に圧縮後のビットストリームを外部に出力し、例えばＤＶＤやＨＤＤに保存する方法が用いられる。このような画像符号化装置においては、画面を横方向の画素の並びによって構成されるスライスを単位として符号化が行われる。

図１は、ＭＰＥＧ方式における画像符号化装置の従来例における符号化順序の説明図である。同図に示すように１つの画面が水平方向の画素の複数行によって構成されるスライス、例えば１０個のスライスに分割され、スライス単位に符号化が行われる。この符号化は従来においては画面の上部から下部、例えばスライス番号で昇順に行われるものであり、生成されたビットストリームもスライス番号の昇順で出力される。

図２は、このような符号化方式を用いる符号化装置の従来例の構成を示すブロック図である。同図において符号化装置１に入力された映像信号に対しては、スライス単位符号化部２によってスライス単位の符号化が行われ、符号化後のデータは符号化ストリームバッファ３に、例えば符号化順に一時的に格納され、１つの画面に対する符号化が終了すると符号化ストリームバッファ３内の符号化データが読み出され、外部に出力すべきビットレートに対応するビットストリームとしてストリーム出力部４から出力される。なお各スライスにはスタートコードが含まれており、これによってスライス単位の符号化が行われる。

図３は、従来の符号化方式における問題点の説明図である。図１、および図２で説明した従来の符号化方式においては、画面上部のスライスから画面下部のスライスに向かって順次スライス単位の符号化が行われるために、符号化時における情報量制御、すなわち例えば空間的に高周波成分を多く含む映像の符号化時に符号量の割当に失敗した場合には、画面下部のスライスに割り当てられるべき情報量が不足し、画面下部の領域全体に画質劣化が生じる可能性がある。図３において、スライスの位置が下、すなわち縦座標の値が小さくなると使用可能な情報量が枯渇し、充分な情報量が各スライスに割り当てられずに符号化時の量子化ステップを粗くせざるを得なくなるために画面下部に画質劣化が生じることになる。なお１つの画面に対する全体の情報量はビットレートによってほぼ決定され、符号化はその全体情報量の範囲で行われる。

次に従来においては、２つの符号化装置を並列動作させて、１つの画面に相当する映像信号を２つに分割し、各符号化装置に処理を分担させるマルチエンコード構成の符号化方式がある。図４は、そのような従来のマルチエンコード構成による画像のスライス単位符号化方式の説明図である。

図４において画面上の複数のスライスは、上部側のスライスと下部側のスライスの２つのグループに分割され、２つの符号化装置Ａ、およびＢによってそれぞれスライス単位の符号化が行われるものとすると、符号化装置Ａは画面の一番上のスライスから中央のスライスに向かって順次符号化を行い、これに対して符号化装置Ｂは画面中央部のスライスから画面最下部のスライスに向かって順にスライス単位の符号化を行うことになる。

このようなマルチエンコード構成の符号化方式では、２つの符号化装置に割り当てられるスライスが、画面上の境界部分では、一方の符号化装置Ａでは符号化最終位置のスライスとなり、他方の符号化装置Ｂでは符号化の最初の位置のスライスとなるため、例えば図３と同様に、最終符号化位置でのスライスに対する割当情報量が不足する場合には、画面中央の境界部分に、符号化装置Ａと符号化装置Ｂによる符号化結果の画像データの画質に大きな差が生じる可能性がある。このような差が発生した場合には、画面上の境界部分に線状の画質劣化が発生してしまうという問題点がある。

以上のような画像データの符号化や、その転送に関する従来技術として次の文献がある。
特開平７−２０３４３１号公報 「画像処理装置及び方法」 特開平８−２４２４４５号公報 「画像信号の符号化方法および伝送方法およびその復号化装置」

特許文献１には、画像を田の字形状に４分割し、各分割画像の中で転送される画素の順番が計算され、４分割画像のそれぞれから画素のデータを１つずつ取り出して転送することによって、画像データ全体を転送できない場合でも受信側で画像の概要を把握できるようにする画像処理方式が開示されている。

特許文献２には、ＭＰＥＧビデオ符号化においてスライス層に割り当てるマクロブロックの個数を画像の静動に応じて制御し、画質劣化の局所化と抑圧とを実現する画像信号符号化方式が開示されている。

しかしながらこのような従来技術においても、１つの画面に対応する画像データの符号化において任意の位置、例えばユーザが注目する領域のスライスに割り当てられるべき情報量が不足した場合には、注目領域に画質劣化が発生するという問題点を解決することができない。

本発明の目的は、上述の問題点に鑑み、任意の位置、特にユーザが注目する注目領域における画質劣化を最小限に抑えることができる画像符号化装置、および符号化方法を提供することである。

本発明の画像データ符号化装置は、画面の水平方向の画素の並びに対応する複数のスライスによって１つの画面のデータが構成される画像データを符号化する装置であり、少なくともスライスデータ選択手段と、符号化スライスデータ出力手段とを備える。

スライス選択手段は、１画面の画像データを構成する複数のスライスの画像データを指示されたスライス順序で選択するものであり、符号化スライスデータ出力手段は、選択され、符号化された複数のスライス画像データを、前述の指示された順序に対応して、その順序とは異なるスライス順序で外部に出力するものである。

本発明の画像データ符号化方法は、画面の水平方向の画素の並びに対応する複数のスライスによって１画面のデータが構成される画像データを符号化する方法であって、１画面の画像データを構成する複数のスライスの画像データを指示されたスライス順序で選択し、選択され、符号化された複数のスライス画像データを、前述の指示された順序に対応して、その順序とは異なるスライス順序で外部に出力するものである。

次に本発明の画像データマルチエンコードシステムは、１つの画面を上下２つの領域に分割し、その各領域の画像データをそれぞれ符号化する２台の符号化装置を有するシステムであり、各符号化装置が前述の２つに分割された領域のそれぞれに含まれる境界のスライスの画像データを先頭とし、互いに反対方向となる順序で境界のスライスに近いスライスの画像データを優先しながら、スライス画像データを選択し、その画像データの符号化を行うものである。

以上のように本発明によれば、１つの画面を構成する複数のスライスの画像データのうちで、例えばユーザの注目領域のスライスの画像データを先頭とし、その注目領域に近い位置のスライスの画像データを優先させる形式で、複数のスライス画像データを順次選択しながらスライス単位で画像データの符号化が行われ、外部にそれらの符号化後の画像データを出力するときには、外部に出力すべき方式、例えばＭＰＥＧ方式に基づいた順序でスライス画像データが出力される。

符号化装置の従来例におけるスライス単位符号化順序の説明図である。 符号化装置の従来例の構成を示すブロック図である。 符号化方式の従来例の問題点を説明する図である。 マルチエンコード方式の従来例におけるスライス選択順序の説明図である。 本発明の画像データ符号化装置の原理構成ブロック図である。 は、本発明の符号化装置の第１の実施例の構成を示すブロック図である。 第１の実施例におけるスライス単位符号化順序の説明図である。 第１の実施例における各スライスへの符号化割当情報量を説明する図である。 符号化装置の第２の実施例の構成を示すブロック図である。 第２の実施例におけるスライス単位符号化順序の説明図である。 第２の実施例における映像解析部の全体処理フローチャートである。 図１１におけるマクロブロックに対する処理のフローチャートである。 第２の実施例におけるスライス順序並び替え説明図（その１）である。 第２の実施例におけるスライス順序並び替え説明図（その２）である。 注目領域が複数の場合の第２の実施例におけるスライス単位符号化順序の説明図である。 本発明におけるマルチエンコードシステムの実施例の構成ブロック図である。 図１６のマルチエンコードシステムにおけるスライス単位符号化順序の説明図である。 マルチエンコードシステムの異なる実施例の構成ブロック図である。 図１８のマルチエンコードシステムにおけるスライス単位符号化順序の説明図である。 本発明を実現するためのプログラムのコンピュータへのローディングを説明する図である。

図５は、本発明の画像データ符号化装置の原理構成ブロック図である。この符号化装置１０は、画面の水平方向の画素の並びに対応する複数のスライスによって１画面のデータが構成される画像データを符号化する装置であり、スライスデータ選択部１１と符号化スライスデータ出力部１２とを少なくとも備える。

スライスデータ選択部１１は、１画面の画像を構成する複数のスライスの画像データを指示されたスライス順序で選択するものであり、符号化スライスデータ出力部１２は、選択され、符号化された複数のスライスデータを、前述の指示された順序に対応して、その順序とは異なるスライス順序で外部に出力するものである。

また本発明の画像データ符号化装置１０は、外部から与えられるモード信号に対応して画像データのスライス選択順序を指示する選択順序指示部をさらに備え、選択順序指示部は、画面の中央のスライス画像データを先頭として、その中央スライスに近い位置のスライスの画像データを優先させる形式で選択順序を指示することもできる。

また画像データ符号化装置１０は、入力画像データを解析して入力画像データ内の注目領域を検出し、その注目領域に相当するスライスの画像データを先頭として、注目領域に近い位置のスライスの画像データを優先させる形式で、スライスの選択順序を指示する選択順序指示部をさらに備え、またこの選択順序指示部が注目領域として複数の注目領域を検出し、その複数の各注目領域を含み、周辺の複数の周囲画像領域に対する交代的符号化を、その周囲領域の１つに対しては、注目領域に相当するスライス画像データを先頭とし、その注目領域に近い位置のスライスの画像データを優先させる形式で前述の選択順序を指示することもでき、さらに選択順序指示部が注目領域として肌色の画像を含む領域、移動体画像を含む領域、または低・中周波数の画像データを多く含む領域を検出することもできる。

次に本発明の画像データマルチエンコードシステムは、１つの画面を上下２つの領域に分割し、その各領域の画像データをそれぞれ符号化する２台の符号化装置を有するシステムであり、各符号化装置は、２つに分割された領域のそれぞれに含まれる境界のスライスの画像データを先頭とし、互いに反対方向となる順序でその境界のスライスに近い位置のスライス画像データを優先的に選択して画像データの符号化を行うものである。

さらに本発明の画像データ符号化方法は、画面の水平方向の画素の並びに対応する複数のスライスによって１画面のデータが構成される画像データを符号化する方法であり、１画面の画像データを構成する複数のスライスの画像データを指示された順序で選択し、選択され、符号化された複数のスライス画像データを、前述の指示された順序に対応して、その順序とは異なるスライス順序で外部に出力するものである。

本発明においては、この符号化方法を実現するために計算機によって用いられるプログラム、およびそのプログラムを記録した計算機読出し可能可搬型記憶媒体が用いられる。
以下本発明の実施の形態について図面を用いてさらに詳細に説明する。

図６は、本発明の画像データ符号化装置の第１の実施例の構成を示すブロック図である。同図を図２の従来例の符号化装置と比較すると、図２の構成要素に相当するスライス単位符号化部２２、符号化ストリームバッファ２３、およびストリーム出力部２４に加えて、スライス選択部２１、スライス入力順序指示部２５、およびスライス出力順序指示部２６が備えられている。そしてスライス入力順序指示部２５の内部には順序指示部２７が備えられている。

図６にその構成を示す第１の実施例では、外部から符号化装置２０に与えられるモード指示信号に対応してスライスの選択順序が決定され、スライス画像データの符号化が行われるものとする。この第１の実施形態では、このモード指示信号による指示の結果として画面中央部のスライスを先頭とし、その中央のスライスに近い位置のスライスの画像データを優先させながら画像データが符号化される。その理由は、本実施形態においては基本的に画面内でユーザが注目する注目領域における画質劣化を防ぐために、まずその注目領域のスライスを最も優先的に符号化し、次にその周囲のスライスの画像データを、注目領域のスライスに近い位置のスライスを優先させながら選択して画像データの符号化を行うものとし、第１の実施形態では、ユーザが画面の中央付近を注視する傾向があることに基づいて、画面中央部のスライスを先頭として符号化を行うものである。

なお、本発明の請求の範囲１におけるスライスデータ選択手段は図６のスライス選択部２１に、符号化スライスデータ出力手段はスライス出力順序指示部２６およびストリーム出力部２４に、また請求の範囲２における選択順序指示手段は順序指示部２７に相当する。

図７は、この画面中央部の注目領域のスライスの画像データを先頭に、周囲のスライスの画像データを、注目領域に近い位置のスライスから優先的に符号化を行うスライス単位符号化順序の説明図である。同図においてまず注目領域、ここではＭ番目のスライスを先頭としてその下のスライス、すなわち（Ｍ＋１）番目、次に（Ｍ−１）番目のスライスというように、注目領域に含まれるスライス、またはそれに近いスライスから優先的に画像データの符号化が行われ、最終的に最上部、または最下部のスライスの画像データの符号化が行われる形式となっている。なお図７で注目領域は画面の左側に片寄っているように示されているが、これは中央付近にスライス番号が記入されているためであり、特に意味はない。

すなわち図６において、モード指示信号として画面中央部のスライスを先頭とするスライス選択を行うべきことが順序指示部２７に与えられると、順序指示部２７は画面中央部のスライスを先頭として、図７に示されるような順序のスライス選択をスライス選択部２１に指示する。スライス選択部２１は入力される映像信号から、指定された切出しスライス順序にしたがってスライスを選択し、選択されたスライスをスライス単位符号化部２２に与える。

スライス単位符号化部２２からストリーム出力部２４までの動作は基本的に図２の従来例におけると同様であり、スライス単位符号化部２２によってスライス毎に符号化された符号化データは符号化ストリームバッファ２３に一時的に格納され、例えば１画面の符号化データが揃ったところで、ストリーム出力部２４によって、例えば外部に出力すべきビットレートに従ったビットストリームとして外部に出力される。

ストリーム出力にあたっては、スライス出力順序指示部２６からストリーム出力部２４にスライス出力順序が指示され、その順序に従った出力が行われる。スライス出力順序指示部２６に対しては、スライス入力順序指示部２５内の順序指示部２７から送り出しスライス順序、すなわち切り出しスライス順序に対応して決定される送り出しスライス順序が与えられる。そして符号化ストリームバッファ２３に符号化の順序に従って格納された符号化スライスデータを、ＭＰＥＧ方式に準拠して画面上部のスライスからスライス番号の昇順に従って画面の下部に向かって順次出力するためのスライス単位の符号化データの並べ替えの順序が、スライス出力順序としてストリーム出力部２４に与えられることになる。

図８は、この第１の実施形態における各スライスへの符号化割当情報量の説明図である。注目領域、ここでは画面中央部のスライスから符号化を開始するために、画面中央部のスライスに対する割当情報量を多めに設定し、画面中央部における画質劣化を最小限に抑え、その分画面最上部、または最下部のスライスに割り当てる情報量を少なめにすることによって、全体としての符号化情報量を抑制しながら画質劣化領域を画面上部、または下部のようなユーザが注視することの少ない領域に限定、かつ分散させることが可能となる。

図９は、本実施形態における符号化装置の第２の実施例の構成ブロック図である。この第２の実施例では、第１の実施例においては画面の中央部のスライスを先頭として、中央部のスライスに近いスライスから優先させて符号化を行うのに対して、任意の位置のスライスから任意の順番で符号化を行うものができるものとする。

すなわち第２の実施例では、第１の実施例において画面の中央部をユーザが注視する傾向があることを前提に中央部のスライスから符号化を行うのに対して、１つの画面の画像データからユーザが注目すると考えられる注目領域を検出し、その注目領域のスライスを先頭として符号化が行われる。

このような注目領域としては、人間の視覚特性としてその感度が特に肌色に敏感であることに基づいて、肌色の画像を含む領域を注目領域として検出したり、あるいは人間の視覚特性が移動体を追跡する傾向があるため、画面上で移動物体の含まれる画像領域を注目領域として検出したり、あるいは人間の視覚解像度が高周波画像データの領域よりも低周波から中周波領域の方に敏感な傾向があるため、そのような低周波、あるいは中周波の画像データを多く含む領域を注目領域として検出するものとする。

図９の符号化装置の第２の実施例を図６の第１の実施例と比較すると、スライス入力順序指示部２５の内部に、入力映像信号を解析して注目領域を検出する映像解析部２８が追加されている点が異なっている。そしてこの映像解析部２８によって検出された注目領域の位置に対応して、その位置のスライスを先頭とし、例えばその位置に近いスライスを優先させて選択し、スライス単位の符号化を行うものとする。順序指示部２７は、そのような符号化順序を切り出しスライス順序としてスライス選択部２１に指示し、同時にスライス出力順序指示部２６に送り出しスライス順序を与え、第１の実施例と同様にストリーム出力部２４によって符号化後のデータが、例えばＭＰＥＧ方式に準拠した順序でビットストリームとして外部に出力される。なお請求の範囲４における選択順序指示手段は図９の映像解析部２８と順序指示部２７に相当する。

図１０は、注目領域が画面の最下部にある場合のスライス単位の符号化順序の説明図である。同図においては注目領域が画面の最下部に存在するため、最下部のスライス、すなわちＮ番目のスライスからスライス番号が降順になるように、すなわち画面の上部に向かう順序でスライス単位の符号化が行われる。

第２の実施例では、前述のように映像解析部２８によって画面上の注目領域が検出される点に特徴があるため、この注目領域の検出を行う映像解析部２８の処理と、その処理に対応して符号化を行うべきスライス選択順序の変更について図１１から図１４を用いて説明する。

図１１は、映像解析部による処理の全体フローチャートである。同図において記号ＳＮｏはスライス番号、ＳＮｏＭａｘはスライス番号の最大値、ＭＢはマクロブロックを表すものとしてその処理を説明する。まずステップＳ１でスライス番号が０とされ、その最大値が例えば１０とされた後に、ステップＳ２でスライス番号がその最大値未満であるか否かが判定され、未満であればステップＳ３でマクロブロックプロセスが実行される。このプロセスについては図１２で説明するが、ある１つのスライスの中である評価対象データの値がある閾値を越えるマクロブロック、例えば肌色の画素の数がある閾値を超えるマクロブロックの数がいくつあるかを評価値として検出するものである。この評価値としては肌色となるような輝度信号と色信号の組合せに基づいた値を用いたり、注目領域として動画像領域を用いる場合には、動きベクトル信号に対応する値を用いることも可能である。

ある１つのスライス、最初はスライス番号が０のスライスに対するマクロブロックプロセスが終了すると、ステップＳ４でスライス番号がインクリメントされ、ステップＳ２以降が繰り返され、ステップＳ２でスライス番号がその最大値未満でないと判定された時点で処理を終了する。

図１２は、図１１のステップＳ３におけるマクロブロックプロセスの詳細処理フローチャートである。同図においてＭＮｏはマクロブロックの番号、ＭＮｏＭａｘはその最大値、ＳｉｇＶａｌは評価対象データの値、ＴＨは評価対象データに対する閾値、Ａ［ＳＮｏ］はスライス番号ＳＮｏに対する評価値を表すものとして処理を説明する。

まずステップＳ１０でマクロブロックの番号が０、その最大値が例えば２０とされ、ステップＳ１１でマクロブロックの番号がその最大値未満であるか否かが判定され、未満である時にはステップＳ１２で評価対象データの値が閾値を超えているか否かが判定され、超えている場合にはステップＳ１３で現在処理対象となっているスライス番号のスライスに対する評価値がインクリメントされた後に、閾値を超えていない場合には直ちにステップＳ１４でマクロブロックの番号がインクリメントされ、ステップＳ１１以降の処理が繰り返され、ステップＳ１１でマクロブロックの番号がその最大値未満でないと判定された時点で図１１のステップＳ４の処理に移行する。

図１３、および図１４は、スライスに対する評価値に応じたスライス符号化順序の並び替えの説明図である。図１３は、並び替えの前のスライスの番号０から９に対する評価値を示し、例えばスライス番号６に対する評価値が最大となっていることがわかる。

図１４は、この評価値に対応したスライスに対する符号化順序の並び替えの説明図である。図１３で説明したようにスライス番号６のスライスに対する評価値が最大であり、そのスライスを先頭として評価値が大きい順に、すなわち図１４では上から順番に各スライス番号のスライスに対応するデータの符号化が行われる。

図１５は、第２の実施例において注目領域が１つだけでなく、複数存在する場合のスライス単位符号化順序の説明図である。例えば、図１３でスライスに対する評価値をスライス番号に対応して並べた時に、最大の評価値を持つスライスが２ヶ所に存在することも当然考えられる。そのような場合には注目領域が２つ存在するものとして、例えば注目領域１と注目領域２とのそれぞれの周辺のスライスを交代させながら、各注目領域に近いスライスを優先させてスライス単位の符号化を行うことによって、各注目領域、およびその周辺のスライスの画像データに対する画質劣化を低減させることができる。

図１５においては、例えば注目領域１が注目領域２より優先順位が高いと決定されたものとして、まず注目領域１の周辺、次に注目領域２の周辺というようにスライス単位の符号化を行い、最後に最上部のスライス、最下部のスライスの順序で符号化を行うことによって、情報量が不足しても画質劣化の起こる領域を画面最上部、または最下部に限定することが可能となる。

このように第２の実施例では注目領域を検出し、注目領域のスライスを優先させる形式でスライス単位の符号化が行われるが、これに類似した考え方としてスライスの符号化後の情報量が大きいスライスを優先させてスライス符号化順序を決定する実施形態も考えられる。すなわちスライスの選択順序として符号化後のデータ量が大きいスライスを、符号化後のデータ量が小さいスライスより優先して符号化処理を行うことにより、符号化後のデータ量が大きいスライスに対する符号化割当情報量の不足を防止することができる。

図１６は、本実施形態におけるマルチエンコードシステムの実施例の全体構成ブロック図である。同図において２つの符号化装置２０_ａ、２０_ｂの動作は、全体制御部３０によって制御されるものとする。そしてこれらの２つの符号化装置はともに第１の実施例、すなわち図６に示す構成を持つものとし、全体制御部３０の内部のモード指示部３２からのモード指示に対応して動作するものとする。モード指示部３２に対しては、モード設定部３１によって動作モードの設定が行われる。

図１７は、図１６のマルチエンコードシステムにおけるスライス単位符号化順序の説明図である。本実施形態においては、図４で説明した従来例のように単純にＭＰＥＧ方式に従って２つの符号化装置がそれぞれ画面の上部から中央部に、また中央部から下部に向かってスライス番号の昇順にデータの符号化を行うのに比較して、例えば符号化装置２０_ａは中央部のスライスを先頭として上部に向かって、すなわちスライス番号の降順に符号化を行い、符号化装置２０_ｂは画面の中央部のスライスからスライス番号の昇順に下部に向かって順次符号化を行うことによって、従来例のように画面中央部に線状の画質劣化を生ずることがなく、符号化開始位置を非常に近くし、かつ例えば図８で説明したように符号化開始位置（中央部）のスライスに対して十分な情報量を割り当てることが可能となり、画面の中央付近を注視する傾向があるという人間の視覚特性にも適合した符号化を実現することができる。

本実施形態におけるマルチエンコードシステムでは、図１６に示したように２つの符号化装置の代わりに、それ以上の台数の符号化装置を用いた符号化を行うことも可能である。図１８は、そのようなマルチエンコードシステムの構成ブロック図である。同図においては、４台の符号化装置２０_ａから２０_ｄが用いられ、図１６におけると同様にモード指示部３２から各符号化装置に対してモード指示が与えられることによって、１つの画面データに対応する符号化が行われる。

図１９は、図１８のシステムにおけるスライス単位の符号化順序の説明図である。同図において符号化装置２０_ａは画面の上部から１／４の位置のスライスを先頭として画面上部に向かって、符号化装置２０_ｂは画面中央部のスライスから上部に向かって、符号化装置２０_ｃは画面中央部のスライスから下部に向かって、符号化装置２０_ｄは画面上部から３／４の位置のスライスから下部に向かって、それぞれ４つに分割された各領域のスライスに対する符号化を行うことになる。

以上において本発明の画像データ符号化装置および符号化方法についてその詳細を説明したが、この画像データ符号化装置は当然一般的なコンピュータシステムを基本として構成することが可能である。図２０はそのようなコンピュータシステム、すなわちハードウェア環境の構成ブロック図である。

図２０においてコンピュータシステムは中央処理装置（ＣＰＵ）５０、リードオンリメモリ（ＲＯＭ）５１、ランダムアクセスメモリ（ＲＡＭ）５２、通信インタフェース５３、記憶装置５４、入出力装置５５、可搬型記憶媒体の読取り装置５６、およびこれらの全てが接続されたバス５７によって構成されている。

記憶装置５４としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、このような記憶装置５４、またはＲＯＭ５１に図１１、図１２のフローチャートに示されたプログラムや、本発明の特許請求の範囲９のプログラムなどが格納され、そのようなプログラムがＣＰＵ５０によって実行されることにより、本実施形態における注目領域の検出、注目領域のスライスを先頭とするスライス単位符号化、マルチエンコードシステムにおける画像劣化防止などが可能となる。

このようなプログラムは、プログラム提供者５８からネットワーク５９、および通信インタフェース５３を介して、例えば記憶装置５４に格納されることも、また市販され、流通している可搬型記憶媒体６０に格納され、読取り装置５６にセットされて、ＣＰＵ５０によって実行されることも可能である。可搬型記憶媒体６０としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＤＶＤなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読取り装置５６によって読取られることにより、本実施形態における注目領域のスライスを先頭とする符号化などが可能となる。

本発明は、例えばＭＰＥＧ方式を用いて画像（映像）信号を符号化圧縮してビットストリームに変換する符号化装置の製造産業は当然のこととして、そのような符号化方式を用いるすべての産業において利用可能である。

Claims (11)

1. １． 画面の水平方向の画素の並びに対応する複数のスライスによって、１つの画面のデータが構成される画像データを符号化する装置であって、
   該１画面の画像データを構成する複数のスライスの画像データを指示されたスライス順序で選択するスライスデータ選択手段と、
   該選択され、符号化された複数のスライス画像データを、該指示された順序に対応して、該順序とは異なるスライス順序で外部に出力する符号化スライスデータ出力手段とを備えることを特徴とする画像データ符号化装置。
2. ２． 請求の範囲１記載の画像データ符号化装置において、
   前記スライス画像データの選択順序を外部から与えられるモード信号に対応して指示する選択順序指示手段をさらに備えることを特徴とする画像データ符号化装置。
3. ３． 請求の範囲２記載の画像データ符号化装置において、
   前記選択順序指示手段が、画面中央のスライス画像データを先頭とし、該中央のスライスに近い位置のスライスの画像データを優先させる形式で選択順序を指示することを特徴とする画像データ符号化装置。
4. ４． 請求の範囲１記載の画像データ符号化装置において、
   入力画像データを解析して、該入力画像データ内の注目領域を検出し、該注目領域に相当するスライスの画像データを先頭とし、該注目領域に近い位置のスライスの画像データを優先させる形式で、前記スライス画像データの選択順序を指示する選択順序指示手段をさらに備えることを特徴とする画像データ符号化装置。
5. ５． 請求の範囲４記載の画像データ符号化装置において、
   前記選択順序指示手段が、前記注目領域として複数の注目領域を検出し、該複数の各注目領域を含み、該注目領域の周辺の複数の周囲領域に対する交代的な符号化を、該周囲領域の１つに対しては注目領域に相当するスライス画像データを先頭とし、該注目領域に近い位置のスライスの画像データを優先させる形式で前記選択順序を指示することを特徴とする画像データ符号化装置。
6. ６． 請求の範囲４、または５記載の画像データ符号化装置において、
   前記選択順序指示手段が前記注目領域として肌色の画像を含む領域、移動体画像を含む領域、または低・中周波数画像データを多く含む領域を検出することを特徴とする画像データ符号化装置。
7. ７． １つの画面を上下２つの領域に分割し、該各領域の画像データをそれぞれ符号化する２台の符号化装置を有するシステムであって、
   該各符号化装置が、前記２つに分割された領域のそれぞれに含まれる境界のスライスの画像データを先頭とし、互いに反対方向となる順序でスライス画像データを選択し、該画像データの符号化を行うことを特徴するマルチエンコードシステム。
8. ８． 画面の水平方向の画素の並びに対応する複数のスライスによって、１つの画面のデータが構成される画像データを符号化する方法であって、
   該１画面の画像データを構成する複数のスライスの画像データを指示されたスライス順序で選択し、
   該選択され、符号化された複数のスライス画像データを、該指示された順序に対応して、該順序とは異なるスライス順序で外部に出力することを特徴とする画像データ符号化方法。
9. ９． 画面の水平方向の画素の並びに対応する複数のスライスによって、１つの画面のデータが構成される画像データを符号化する計算機によって使用されるプログラムであって、
   該１画面の画像データを構成する複数のスライスの画像データを指示されたスライス順序で選択する手順と、
   該選択され、符号化された複数のスライス画像データを、該指示された順序に対応して、該順序とは異なるスライス順序で外部に出力する手順とを計算機に実行させることを特徴とする画像データ符号化プログラム。
10. １０． 画面の水平方向の画素の並びに対応する複数のスライスによって、１つの画面のデータが構成される画像データを符号化する計算機によって使用される記憶媒体であって、
    該１画面の画像データを構成する複数のスライスの画像データを指示されたスライス順序で選択するステップと、
    該選択され、符号化された複数のスライス画像データを、該指示された順序に対応して、該順序とは異なるスライス順序で外部に出力するステップとを計算機に実行させるプログラムを格納した計算機読出し可能可搬型記憶媒体。
11. １１． 画面の水平方向の画素の並びに対応する複数のスライスによって、１つの画面のデータが構成される画像データを符号化する装置であって、
    前記複数のスライスの内、符号化後のデータ量が大きいスライスを符号化後のデータ量が小さいスライスより優先した順序にて符号化処理を行うスライスとして選択する選択手段と、
    該選択されたスライスの順序にて符号化処理を行う符号化手段と
    を備えることを特徴とする画像データ符号化装置。
    

Images