JP4100321B2

JP4100321B2 - セグメント単位画像符号化装置及びセグメント単位画像符号化プログラム

Info

Publication number: JP4100321B2
Application number: JP2003356693A
Authority: JP
Inventors: 裕倉持
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-10-16
Filing date: 2003-10-16
Publication date: 2008-06-11
Anticipated expiration: 2023-10-16
Also published as: JP2005123895A

Description

本発明はセグメント単位画像符号化装置及びセグメント単位画像符号化プログラムに係り、特にテレビ画像など時間的に連続する２次元画像を矩形領域や任意形状領域に分割し、前記領域単位に符号化するセグメント単位画像符号化装置及びセグメント単位画像符号化プログラムに関する。

従来、ディジタル記録装置やディジタル放送などに代表される画像高能率符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）方式が広く用いられている。このＭＰＥＧ方式では、２次元画像を既知の矩形領域（ブロック）に分割して符号化する。これに対して、圧縮効率の改善を目的とした任意形状領域の符号化方法としてセグメント単位画像符号化方法も従来より知られている（例えば、特許文献１参照）。この特許文献１には、図案の輝度と色差を特徴量として隣接画素を統合し、２種類のセグメンテーション画像を作成し、それぞれに特徴的なこれら２種類のセグメンテーション画像を組み合わせることで符号化効率の向上を図っている。

特開平１０−６９５４４号公報

上記のセグメントを単位とした動画像のセグメント単位画像符号化では、従来のブロックベースの符号化と同様に、フレーム間の動き検出によるセグメントのマッチングをとりながら符号化を行う。この方法は、セグメントが剛体で、かつ、フレーム間で見かけ上の大きさが変化しない場合には、大変効率の良い方法である。

しかし、実映像で物体が移動する場合には、撮影しているカメラから物体までの距離の変化や他物体との隠蔽が発生するため、セグメントの大きさや形状が変化しないことは稀である。このため、正確なセグメントの抽出は計算量が増大する割には符号量の削減効果が薄いという問題がある。更に、前フレームで異なる位置にあった２つの物体が、次フレームで近接する位置に移動した場合、照明条件の違うものが並存することやオーバーラップが発生し、セグメント境界が不自然に見えるという問題もある。

本発明は以上の点に鑑みなされたもので、セグメントベース符号化の特徴である符号化効率の良さを損なわずに、フレーム間でセグメント形状が変化する場合の符号化効率の極端な低下を防止し得るセグメント単位画像符号化装置及びセグメント単位画像符号化プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明のセグメント単位画像符号化装置は、供給される画像信号の２次元画像を複数のブロックに分割してブロック単位に符号化するセグメント単位画像符号化装置であって、供給される画像信号の２次元画像を第１の形状サイズのブロックの単位で分割する第１の分割手段と、第１の分割手段により分割されたブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各ブロック毎に算出する第１の算出手段と、ブロック特徴量が規定値より大きな値を持つブロックは孤立ブロックとして残し、ブロック特徴量が規定値以下の値を持つブロックのうち、ブロック特徴量が近似した値を持つ隣接ブロック同士を統合してセグメントとして作成する第１のセグメント作成手段と、第１のセグメント作成手段から出力される信号を入力として受け、セグメント単位及び孤立ブロック単位に所定の符号化を行って符号化データを出力する符号化手段とを有する構成としたものである。

この発明では、符号化される画像信号の２次元画像をブロックに分割し、ブロック毎に算出したブロック特徴量が規定値以下で、かつ、互いに近い値を持つ隣接ブロック同士を統合してセグメントを作成する一方で、分散が規定値より大きな値になる輝度エッジや色変化のある画像輪郭周辺部を含むブロックを孤立ブロックとして残すことで、フレーム間でセグメントの大きさや形状が異なる場合でも、２次元画像の物体内部と物体画像輪郭周辺部を別セグメントになるようなブロックベースのセグメンテーションを実現することができる。

また、上記の目的を達成するため、第２の発明のセグメント単位画像符号化装置は、第１の発明の構成に加えて、第１のセグメント作成手段から出力される孤立ブロックを、第１の形状サイズより小である第２の形状サイズの小ブロックの単位で分割する第２の分割手段と、第２の分割手段により分割された小ブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各小ブロック毎に算出する第２の算出手段と、第２の算出手段により算出されたブロック特徴量が規定値より大きな値を持つ小ブロックは孤立小ブロックとして残し、ブロック特徴量が規定値以下の値を持つ小ブロックのうち、ブロック特徴量が近似した値を持つ隣接する小ブロック又はセグメントと統合して新たなセグメントを作成する第２のセグメント作成手段と
を更に有し、符号化手段は、第２のセグメント作成手段から出力される信号を入力として受け、新たなセグメント単位及び孤立小ブロック単位に所定の符号化を行って符号化データを出力することを特徴とする。

この発明では、第１の発明の孤立ブロックを更にサイズが小なる小ブロックに分割し、各小ブロック毎に算出したブロック特徴量が規定値以下で、かつ、互いに近い値を持つ隣接小ブロック同士又は小ブロックとセグメントを統合して新たなセグメントを作成する一方で、分散が規定値より大きな値になる輝度エッジや色変化のある画像輪郭周辺部を含む小ブロックを孤立小ブロックとして残すようにしたため、第１の発明に比べてより予測誤差を少なくできる。

また、上記の目的を達成するため、第３の発明のセグメント単位画像符号化プログラムは、供給される画像信号の２次元画像を複数のブロックに分割してブロック単位に符号化するようにコンピュータを動作させるセグメント単位画像符号化プログラムであって、
コンピュータを、供給される画像信号の２次元画像を第１の形状サイズのブロックの単位で分割する第１の分割手段と、第１の分割手段により分割されたブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各ブロック毎に算出する第１の算出手段と、ブロック特徴量が規定値より大きな値を持つブロックは孤立ブロックとして残し、ブロック特徴量が規定値以下の値を持つブロックのうち、ブロック特徴量が近似した値を持つ隣接ブロック同士を統合してセグメントとして作成する第１のセグメント作成手段と、第１のセグメント作成手段から出力される信号を入力として受け、セグメント単位及び孤立ブロック単位に所定の符号化を行って符号化データを出力する符号化手段として機能させることを特徴とする。この発明では、第１の発明のセグメント単位画像符号化装置をコンピュータにより実現することができる。

更に、上記の目的を達成するため、第４の発明のセグメント単位画像符号化プログラムは、コンピュータを、第１のセグメント作成手段から出力される孤立ブロックを、第１の形状サイズより小である第２の形状サイズの小ブロックの単位で分割する第２の分割手段と、第２の分割手段により分割された小ブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各小ブロック毎に算出する第２の算出手段と、第２の算出手段により算出されたブロック特徴量が規定値より大きな値を持つ小ブロックは孤立小ブロックとして残し、ブロック特徴量が規定値以下の値を持つ小ブロックのうち、ブロック特徴量が近似した値を持つ隣接する小ブロック又はセグメントと統合して新たなセグメントを作成する第２のセグメント作成手段として更に機能させ、符号化手段を、第２のセグメント作成手段から出力される信号を入力として受け、新たなセグメント単位及び孤立小ブロック単位に所定の符号化を行って符号化データを出力するように機能させることを特徴とする。この発明は、コンピュータを第２の発明のセグメント単位画像符号化装置として機能させることができる。

本発明によれば、セグメンテーションをブロックベースの簡単な演算で実現でき、また、フレーム間でセグメントの大きさや形状が異なる場合でも、２次元画像の物体内部と物体画像輪郭周辺部を別セグメントになるようなブロックベースのセグメンテーションを実現するようにしたため、２次元画像の物体内部はセグメントベースの符号化を行い、符号化効率の極端に低下する物体画像輪郭周辺部をブロックベースで符号化することができる。

これにより、本発明によれば、２次元画像の物体内部ではセグメントベース符号化の特徴である符号化効率の良さが得られると共に、物体画像輪郭周辺部は従来のブロックベース符号化により符号化効率の極端な低下を防止でき、また、移動物体画像のセグメント境界の不自然さも防止できる。

次に、本発明を実施するための最良の形態について説明する。図１は本発明になるセグメント単位画像符号化装置の一実施の形態のブロック図を示す。同図において、入力端子１１にフレーム単位で入来した画像信号は、セグメンテーション部１２に供給され、ここで後述するように画像信号がブロックに分割され、各ブロック毎の特徴量を計算された後、各特徴量が近い値を持つ隣接ブロック同士が統合されてセグメントが作成されると共に、統合されずに残された画像の輪郭を含むブロックが孤立ブロックとして分離される。セグメンテーション部１２で作成された上記のセグメントと孤立ブロック及びその付加情報からなるセグメント情報は、フレーム画像信号と共に動き補償・予測誤差算出部１３へ出力される。

動き補償・予測誤差算出部１３は、セグメンテーション部１２から入力されるセグメント情報とセグメンテーション部１７から入力される１フレーム遅延画像信号のセグメント情報を基に予測画像信号を生成し、更にその予測画像信号を用いてセグメンテーション部１２から入力されるフレーム画像信号との差分である予測誤差信号を生成し、その予測誤差信号とセグメント情報及び動きベクトルをセグメント符号化器１４へ出力する。

なお、上記の動きベクトルは動き補償・予測誤差算出部１３において公知の方法で生成され、その生成の方法は問わないが、例えば、従来のブロック単位処理を行うＭＰＥＧ方式のようにして求められる。すなわち、ＭＰＥＧ方式では、入力フレーム画像信号の任意の位置にある画素をブロック単位で切り出し、符号化するブロックの画素と輝度値の絶対値誤差の和が最小を与える入力フレーム画像信号の切り出し位置を１画素ずつずらしながら探索し、入力フレーム画像信号の中で前記絶対値誤差の和が最小になる位置と、符号化対象フレームの中の符号化するブロックの位置の水平方向の差と垂直方向の差がベクトルとして求められる。

これと同様に、動き補償・予測誤差算出部１３においても、入力フレーム画像中を１画素ずつずらしながらセグメント形状に画素を切り出し、輝度値の絶対値誤差の和が最小になる位置を探索することで動きベクトルが求められる。

セグメント符号化部１４は、動き補償・予測誤差算出部１３から入力される各種情報を符号化し、出力端子１５より符号化データとして外部に出力すると共に、ローカルデコーダ１６へも出力する。ローカルデコーダ１６では、セグメント符号化器１４から入力される符号化データを基に画像を再合成し、次フレームの予測画像作成のためにセグメンテーション部１７へ１フレーム遅延画像信号を出力する。

上記の１フレーム遅延画像信号はセグメンテーション部１７で、セグメンテーション部１２と同様の操作によりセグメンテーションを行い、動き補償・予測誤差算出部１３へセグメンテーションされた１フレーム遅延画像信号を出力する。

図１の実施の形態では、セグメンテーション部１２、１７以外は従来と同じ技術を流用できるので詳細な説明は省略し、本発明の特徴であるセグメンテーション部１２、１７について以下で詳述する。また、図１の構成はセグメント単位で動画像を符号化するシステムの一例であって、本発明の主たる目的であるセグメント単位画像符号化装置及びプログラムを制限するものではない。

次に、セグメンテーション部１２及び１７の構成及び動作について説明する。ここで、セグメンテーション部１２及び１７は同一構成であるので、代表してセグメンテーション部１２の構成及び動作について、図２のフローチャートと、図３のセグメンテーション部の一実施の形態のブロック図とを併せ参照して説明する。

図１のセグメンテーション部１２に入力される画像信号の水平及び垂直の各画素数は８の倍数であるとすると、図２のステップＳ１で入力画像信号を水平・垂直８×８画素のブロックに分割し、各８×８画素ブロックの画素値平均と画素値分散を求める。このステップＳ１での動作は、図３の入力端子１２０、画像メモリ１２１及び８×８ブロック平均・分散演算器１２２により実現される。

まず、図３の入力端子１２０（図１の入力端子１１に相当）から入力される１フレーム分の画像信号が、画像メモリ１２１に蓄積される。画像メモリ１２１に蓄積された１フレーム分の画像信号は、後述する８×８ブロック平均・分散演算器１２２と４×４ブロック平均・分散演算器１２６へそれぞれ出力される。

次に、８×８ブロック平均・分散減算器１２２の動作を説明する。ここで、図４は、画像メモリ１２１に蓄積された画像信号を８×８画素のブロックに分割する例を示している。図４は画像信号の画素配列の一部を表現しており、黒丸は輝度（以後Ｙと表記する）と２つの色差（以後Ｕ，Ｖと表記する）の値を持つ画素を示している。

図４中のブロック枠２１のように、画面全体が水平・垂直８×８画素のブロックで均等に分割される。各ブロックは、水平位置をｘ，垂直位置をｙとしてＢ（ｘ，ｙ）により識別し、画面左上のブロック枠２１をＢ（０，０）、ブロック枠２２をＢ（１，０）、ブロック枠２３をＢ（０，１）として順次番号をつける。

更に、水平・垂直８×８画素に分割された各ブロックの画素値Ｙ，Ｕ，Ｖを画像メモリ１２１より読み出して８×８ブロック平均・分散演算器１２２で、各ブロック毎にＹ，Ｕ，Ｖそれぞれのブロック内平均とブロック内分散が計算される。８×８ブロック平均・分散演算器１２２で求められたブロックＢ（ｘ，ｙ）のＹ、Ｕ，Ｖの平均をそれぞれＹａ（ｘ，ｙ），Ｕａ（ｘ，ｙ），Ｖａ（ｘ，ｙ）とし、分散をＹｄ（ｘ、ｙ），Ｕｄ（ｘ，ｙ），Ｖｄ（ｘ，ｙ）で表現する。

以上の処理に続いて、図２のステップＳ１で求めたブロック内平均と分散を利用して、ステップＳ２において平坦部の大ブロックを統合するブロック統合処理によりセグメントを作成する。このステップＳ２での動作は、図３のブロック統合処理器１２３及びセグメントデータメモリ１２４により実現される。以下では、輝度値平均Ｙａ（ｘ，ｙ）と輝度値分散Ｙｄ（ｘ，ｙ）のみで統合処理を行う例を示すが、Ｙ，Ｕ，Ｖそれぞれの平均、分散を組み合わせて統合処理を行うことも当然可能である。

図５はブロック２５のＢ（ｘ，ｙ）を中心としてＢ（ｘ，ｙ）の統合対象となる周囲の８ブロックを示している。ブロックの統合は、中心ブロック２５に対して８つの周辺ブロックを１つずつ後述する判定式に基づき統合の有無を決定して行く。

判定式は、ブロック２５の輝度値平均をＹａ、輝度値分散をＹｄとし、ブロック２５の周辺ブロックの輝度値平均をＹａ’としたとき数１の（１）式及び数２の（２）式で表される。そして、この（１）式に示すＺ_１が正値となる周辺ブロックをブロック２５と統合する。

ここで、（１）式中のＣは正定数で、また、δは数２の（２）式で表される。この（２）式のδは図６に示すように、横軸にブロック２５の輝度値分散Ｙｄを示したときに縦軸で表される関数である。また、（２）式において、Ａは図６に示す特性中のδが０.５になるブロック２５の輝度値分散Ｙｄを示し、Ｔは図６に示す特性のスロープ部分の傾きを決定する定数である。このとき、ブロック２５の輝度値分散Ｙｄが規定値以上に大きい場合に（２）式のδ値が零となるように定数Ａ、Ｔを選択する。

次に、（１）式の動作を説明する。δ値が零の時には、（１）式のＺ_１値は正値をとることはないのでブロックの統合は行われない。すなわち、中心ブロック２５の輝度値分散Ｙｄが規定値以上に大きい場合には、周囲のブロックの状態に関係なくブロック統合は行われない。

これに対し、中心ブロック２５の輝度値分散Ｙｄが規定値よりも小さい場合には、分散Ｙｄの大きさに応じて中心ブロック２５の輝度値平均Ｙａと周辺ブロックの輝度値平均Ｙａ’の自乗誤差の許容範囲が可変されるように定数Ｃを選択する。これは、特徴量である輝度値分散Ｙｄが小さい平担な画像成分を持つブロック同士が隣接している場合ほど、統合され易いことを意味している。以上の操作を中心ブロック２５の周辺の８ブロックに対して順次行う。更に、中心ブロック２５の位置をずらしながら同様の判定（検査）を行い、全てのブロックを検査する。

これにより、例えば、図７（ａ）の画像３１のように円形の物体が中心にある画像を、直線で示される境界を持つ８×８画素のブロック単位に分割し、その後上記のブロック統合処理を行った結果は、図７（ｂ）に示すようになる。図７（ｂ）では、ブロック統合によりセグメント３２と３３が生成され、中心にある円形画像の周辺ブロック３４〜４３が輝度分散が大きな値になる輝度エッジを含むために孤立ブロックとして統合されずに残る。

図３に戻って説明するに、ブロック統合処理器１２３で求められた上記のセグメントの形状情報及び孤立ブロック情報は、セグメントデータメモリ１２４に出力されて蓄積される。セグメントデータメモリ１２４に蓄積されたセグメント形状情報及び孤立ブロック情報は、出力端子１２５から出力される。

更に、図２のステップＳ３では、前記ステップＳ２で統合されずに残された孤立ブロック、例えば図７（ｂ）に示した各々水平・垂直８×８画素のブロック３４〜４３を水平・垂直４×４画素の４つの小ブロックに分割し、各４×４画素ブロックの画素値平均と画素値分散を求める。このステップＳ３に相当する処理は、図３の４×４ブロック平均・分散演算器１２６で実現される。

４×４ブロック平均・分散演算器１２６は、セグメントデータメモリ１２４より出力される孤立ブロック情報、例えば図８（ａ）の水平・垂直８×８画素の孤立ブロック情報を得て、図８（ｂ）に示すような水平・垂直４×４画素の小ブロックに分割する。さらに、前記４×４画素ブロックの位置情報を基に、図３の４×４ブロック平均・分散演算器１２６は画像メモリ１２１から入力される画素値を用いて各４×４画素ブロックの画素値平均と画素値分散を求める。

以上の処理に続けて、前記各４×４画素ブロックは、図２のステップＳ４で孤立小ブロックの周辺セグメントとの統合処理が行われ、セグメント形状情報及び孤立ブロック情報が得られる。このステップＳ４での動作は、図３のブロック統合処理器１２７及びセグメントデータメモリ１２８により実現される。

例えば、図７（ｂ）に示した孤立ブロック４３は、図９（ａ）に示すように、水平・垂直４×４画素の４つの小ブロック４３１、４３２、４３３及び４３４に分割されるが、このうちの小ブロック４３１の統合処理では、周囲にある小ブロック４３２〜４３４の他に、図９（ｂ）に示すように、周囲の小ブロック４３５〜４３９をセグメント３２から統合判定時に限って切り取る。

また、後述する判定式で小ブロック４３１に対する周辺の小ブロック４３２〜４３９との統合判定を行うが、周辺の小ブロック４３５〜４３９が中心の小ブロック４３１に統合されると判定された場合には、小ブロック４３１は小ブロック４３１を含むセグメント３２に統合される。小ブロックの統合判定は数３に示す（３）式のＺ_２が正値のときに統合される。

また、（３）式中のＤ、Ｅ、Ｆは正定数で、分散の自乗誤差、及び平均の自乗誤差が小さいほど統合され易いように決定する。

例えば、図１０（ａ）の各小ブロックと周辺の小ブロックとを（３）式の判定式により統合した結果が図１０（ｂ）である。図１０（ｂ）の例では、２つのセグメント５１及び５２と円形の画像５３の周辺を囲む２０個の小ブロック５４が生成される。

図３のブロック統合処理器１２７で求められたセグメント形状情報及び孤立ブロック情報が、セグメントデータメモリ１２８に出力され蓄積される。セグメントデータメモリ１２８に蓄積されたセグメント形状情報及び孤立ブロック情報は、出力端子１２９から出力される。

以上の処理により、図１のセグメンテーション部１２より生成されたセグメント形状情報と孤立小ブロックの情報が出力され、図１の動き補償・予測誤差算出部１３へ供給される。次に、動き補償・予測誤差算出部１３での動作の一例を図１１及び図１２により説明する。図１１（ａ）に示す円形画像６１は１フレーム前の画像で、図１１（ｂ）に示す画像６２が現在の画像であるとする。

図１１（ａ）の円形画像６１は撮影しているカメラから遠ざかる方向へ移動しており、画像６２は遠ざかることにより大きさが小さくなる様子を示している。図１１（ｂ）の破線６３は、図１１（ａ）の時点での円形画像６１の位置及び大きさを示している。従って、画像の輪郭に対して正確なセグメンテーショシを行う従来方式の場合には、破線６３の大きさのセグメントが図１１（ｂ）に貼り付けられることになる。

これに対して、本実施の形態によれば、図１２（ａ）に示すセグメント７１が図１２（ｂ）に示す破線７２の位置に貼り付けられる。ここで、破線７２は図１１（ｂ）の遠ざかった画像６２の位置と大きさを示しており、破線７２の形を復元することが、子測誤差の少ない効率の良い符号化となる。本実施の形態によれば、図１２（ａ）のセグメント７１のエッジを含む周囲の孤立ブロックが破線７２に沿うように上書きされ、図１２（ｃ）に示すような合成画像７３が生成されるので、予測誤差の少ない効率の良い符号化ができる。

この結果、図１の動き補償・予測誤差算出部１３から生成された予測画像と原画像との誤差、セグメント情報、及び動きベクトルがセグメント符号化器１４に入力され、セグメント符号化器１４でエントロピー符号化などによる符号化されたデータが出力端子１５より出力される。

なお、本発明は、上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、上記の実施の形態では、輝度値平均Ｙａ（ｘ，ｙ）と輝度値分散Ｙｄ（ｘ，ｙ）のみをブロック特徴量として統合処理を行う例を示したが、Ｕ，Ｖなどの色差信号の色差値平均と色差分散のみをブロック特徴量として統合処理を行うことも可能であり、更には輝度値平均、色差値平均、輝度値分散及び色差分散の全てを併用してブロック特徴量として統合処理を行うことも可能である。

本発明のセグメント単位画像符号化装置の一実施の形態のブロック図である。図１中のセグメンテーション部での処理を示すフローチャートである。図１中のセグメンテーション部の一実施の形態のブロック図である。２次元画素配列のブロック分割例を示した説明図である。統合対象になる周辺ブロックの説明図である。統合判定で使用する分散値を用いた関数の特性図であるブロック統合の一例を示す説明図である。孤立ブロックの細分化の一例を示す説明図である。小ブロックの統合対象ブロックを説明するための図である。小ブロック統合の一例を示す説明図である。時間連続する２フレームの画像例である。本実施の形態による動き補償の動作を説明する図である。

符号の説明

１１、１２０入力端子
１２、１７セグメンテーション部
１３動き補償・予測誤差算出部
１４セグメント符号化器
１５、１２５、１２９出力端子
１６ローカルデコーダ
１２１画像メモリ
１２２８×８ブロック平均・分散演算器
１２３、１２７ブロック統合処理器
１２４、１２８セグメントデータメモリ
１２６４×４ブロック平均・分散演算器

Claims

供給される画像信号の２次元画像を複数のブロックに分割してブロック単位に符号化するセグメント単位画像符号化装置であって、
前記供給される画像信号の２次元画像を第１の形状サイズのブロックの単位で分割する第１の分割手段と、
前記第１の分割手段により分割された前記ブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各ブロック毎に算出する第１の算出手段と、
前記ブロック特徴量が規定値より大きな値を持つブロックは孤立ブロックとして残し、前記ブロック特徴量が前記規定値以下の値を持つブロックのうち、前記ブロック特徴量が近似した値を持つ隣接ブロック同士を統合してセグメントとして作成する第１のセグメント作成手段と、
前記第１のセグメント作成手段から出力される信号を入力として受け、前記セグメント単位及び前記孤立ブロック単位に所定の符号化を行って符号化データを出力する符号化手段と
を有することを特徴とするセグメント単位画像符号化装置。
前記第１のセグメント作成手段から出力される前記孤立ブロックを、前記第１の形状サイズより小である第２の形状サイズの小ブロックの単位で分割する第２の分割手段と、
前記第２の分割手段により分割された前記小ブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各小ブロック毎に算出する第２の算出手段と、
前記第２の算出手段により算出された前記ブロック特徴量が規定値より大きな値を持つ小ブロックは孤立小ブロックとして残し、前記ブロック特徴量が前記規定値以下の値を持つ小ブロックのうち、前記ブロック特徴量が近似した値を持つ隣接する小ブロック又は前記セグメントと統合して新たなセグメントを作成する第２のセグメント作成手段と
を更に有し、前記符号化手段は、前記第２のセグメント作成手段から出力される信号を入力として受け、前記新たなセグメント単位及び前記孤立小ブロック単位に所定の符号化を行って符号化データを出力することを特徴とする請求項１記載のセグメント単位画像符号化装置。
供給される画像信号の２次元画像を複数のブロックに分割してブロック単位に符号化するようにコンピュータを動作させるセグメント単位画像符号化プログラムであって、
前記コンピュータを、
供給される画像信号の２次元画像を第１の形状サイズのブロックの単位で分割する第１の分割手段と、
前記第１の分割手段により分割された前記ブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各ブロック毎に算出する第１の算出手段と、
前記ブロック特徴量が規定値より大きな値を持つブロックは孤立ブロックとして残し、前記ブロック特徴量が前記規定値以下の値を持つブロックのうち、前記ブロック特徴量が近似した値を持つ隣接ブロック同士を統合してセグメントとして作成する第１のセグメント作成手段と、
前記第１のセグメント作成手段から出力される信号を入力として受け、前記セグメント単位及び前記孤立ブロック単位に所定の符号化を行って符号化データを出力する符号化手段として機能させることを特徴とするセグメント単位画像符号化プログラム。
前記コンピュータを、
前記第１のセグメント作成手段から出力される前記孤立ブロックを、前記第１の形状サイズより小である第２の形状サイズの小ブロックの単位で分割する第２の分割手段と、
前記第２の分割手段により分割された前記小ブロック内の画素が持つ輝度値及び色差値の少なくとも一方の平均値と分散値の組み合わせをブロック特徴量として、各小ブロック毎に算出する第２の算出手段と、
前記第２の算出手段により算出された前記ブロック特徴量が規定値より大きな値を持つ小ブロックは孤立小ブロックとして残し、前記ブロック特徴量が前記規定値以下の値を持つ小ブロックのうち、前記ブロック特徴量が近似した値を持つ隣接する小ブロック又は前記セグメントと統合して新たなセグメントを作成する第２のセグメント作成手段として更に機能させ、前記符号化手段を、前記第２のセグメント作成手段から出力される信号を入力として受け、前記新たなセグメント単位及び前記孤立小ブロック単位に所定の符号化を行って符号化データを出力するように機能させることを特徴とする請求項１記載のセグメント単位画像符号化プログラム。