JPH1051770A - 画像符号化システム及び方法、及び画像分割システム - Google Patents

Abstract

(57)【要約】 【課題】 オブジェクト符号化における処理負荷を低減
し、符号化と復号処理を経ても高い画質を維持する。 【解決手段】 平滑ヒストグラム作成部８は、各画素の
輝度を表す値についてヒストグラムを作成するととも
に、該ヒストグラムを移動平均法を用いて平滑化する。
領域分割部９は、平滑ヒストグラムの谷の中央を領域分
割の境界値として、原画像データを分割する。閾値決定
部１０は、各分割領域に対し、画面中央寄りの分割領域
では小さく、画面周端寄りの分割領域では大きくなるよ
うに、閾値を割り付ける。領域統合部１１は、各分割領
域の画素数が、与えられた閾値以下の場合、隣接する分
割領域と統合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、マルチメディア
通信および画像通信等の画像伝送における画像符号化・
復号技術に係り、特にオブジェクト符号化を用いた低ビ
ットレートで且つ高品質の画像伝送のための画像符号化
システム及び方法、及び画像分割システムに関する。

【０００２】

【従来の技術】一般に、動画像の伝送に際しては、多量
の画像情報を短時間で伝送しなければならないため、Ｍ
ＰＥＧ（Moving Picture Exsperts Group）に代表され
るように、動画像データを圧縮して伝送データ量を低減
するための符号化（圧縮符号化）が行われる。動画像の
符号化方式は、動画像の１枚毎、即ちフレーム単位で圧
縮を行うフレーム内圧縮と、動画像の連続する各画像
間、即ちフレーム間の相関を利用したフレーム間圧縮と
の少なくとも一方により実現される。

【０００３】例えば、６４Kbps以下の低ビットレートで
のサービスが想定されるテレビ会議システム等の場合に
は、映像の動きが少なく、きわめて高いフレーム間の相
関が得られる。このため、復元後の画像品質は、フレー
ム間圧縮よりは、フレーム内圧縮の結果に大きく依存す
る。

【０００４】そこで、フレーム内圧縮の方式について検
討する。フレーム内圧縮の一般的な方式では、画像を例
えば８×８画素毎のブロックに分割し、各ブロックに離
散コサイン変換（ＤＣＴ：Discrete Cosine Transfor
m、以下、「ＤＣＴ」と称する）を適用して、周波数成
分の低域にエネルギーを集中させた上で、さらに高域成
分を粗く量子化することによって圧縮し、符号化してい
た。

【０００５】しかし、このような方式では、８×８画素
等のブロックを基本単位として、ブロック内で閉じた処
理を行うため、ブロック状の画像の歪み、即ちブロック
ノイズが生じやすい。また、ＤＣＴされた結果の高域成
分を粗く量子化することによって、像のエッジ部分でリ
ンギングが生じるため、モスキートノイズと呼ばれる輪
郭部の像の劣化が観測される。そして、これらの現象
は、特に圧縮率を高め、低ビットレートにした時に顕著
に現れるという問題があった。

【０００６】このように、ＭＰＥＧに代表される従来の
動画像符号化方式では、低ビットレートで符号化を行う
と、ブロックノイズの発生、および輪郭がぼやける等の
現象が顕著になる。このため、符号化と復号処理を経て
復元された画像の品質が低下してしまう。

【０００７】このような問題に対処するため、画像をオ
ブジェクト単位でとらえ、各オブジェクトの輪郭とその
オブジェクト内部のテクスチャを符号化することによっ
て情報量を圧縮する、オブジェクト符号化と称される手
法が注目されている。この手法は、ブロック単位の処理
ではないため、ブロックノイズは観測されない。また、
この手法では、像の輪郭成分を忠実に符号化するため、
モスキートノイズも観測されない。即ち、オブジェクト
符号化は、圧縮率を高めて低ビットレート化した際の画
質の劣化が少ない符号化手法である。

【０００８】オブジェクト符号化においては、画像から
オブジェクトの領域を分割して抽出するための領域分割
方法が重要である。従来のオブジェクト符号化における
領域分割方法としては、画素値の分布範囲を均等に分割
する方法や、同一の特徴を持つ隣接画素を一つの領域に
結合していくことにより、特徴が等しい領域を少しずつ
成長させ、画像全体の領域を分割する方法などが知られ
ている。一般に、これらの手法による領域分割処理の後
には、微小な領域を統合して符号量を削減する処理、即
ち微小領域の統合処理が行われる。

【０００９】

【発明が解決しようとする課題】上述したように、低ビ
ットレート化に好適なオブジェクト符号化では、画像か
らオブジェクト領域を分割抽出するための領域分割方法
がポイントとなる。しかし、従来の領域分割方法のう
ち、画素値の分布範囲を均等に分割する方法は、分割の
基準にオブジェクトの概念を含んでいないため、領域分
割の精度が低い。即ち、この方法では、オブジェクト領
域を他の領域から的確に分割して抽出することができな
い。

【００１０】また、同一の特徴を持つ隣接画素を一つの
領域に統合していくことによって、特徴が等しい領域を
漸次成長させ、画像全体の領域を分割する方法は、領域
分割の精度は高いが、処理負荷が大きい。即ち、この方
法では、オブジェクト領域を他の領域から高精度で抽出
することは可能となるが、このオブジェクト領域を分割
抽出するための処理が、処理装置における大きな負荷と
なる。このため、符号化処理を実現するための装置を構
成する上で問題がある。

【００１１】一方、領域分割処理後の微小領域の統合処
理に際しては、注視領域、つまり注目しているオブジェ
クト領域にも、そうでない領域にも、特に区別なく統合
処理が行われる。即ち、微小領域の統合処理には、オブ
ジェクト領域を分割抽出したことが活かされていない。

【００１２】この発明は、上述した事情に鑑みてなされ
たもので、オブジェクト符号化における処理負荷を低減
し、しかも符号化と復号の過程を経ても高い画質を維持
することを可能とする画像分割技術及び画像符号化技術
を提供することを目的とする。また、この発明は、オブ
ジェクト領域の分割精度が高く且つ処理負荷が小さい領
域分割を可能とすることを目的とする。さらに、この発
明は、注視しているオブジェクト領域を考慮した微小領
域の統合を実現することを他の目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するた
め、この発明の第１の観点に係る画像分割システムは、
対象画像の画素の値に関するヒストグラムを平滑化した
平滑ヒストグラムを作成する平滑ヒストグラム作成手段
と、前記平滑ヒストグラムの谷の部分を領域の境界とし
て前記対象画像を領域分割する領域分割手段と、を有す
ることを特徴とする。

【００１４】この画像分割システムは、平滑ヒストグラ
ムを作成して、該平滑ヒストグラムの谷の部分を領域の
境界として前記対象画像を領域分割する。従って、簡易
な処理であるにもかかわらず、オブジェクト抽出精度の
高い領域分割が可能となる。

【００１５】上記目的を達成するため、この発明の第２
の観点に係る画像符号化システムは、対象画像の画素の
値に関するヒストグラムを平滑化した平滑ヒストグラム
を作成する平滑ヒストグラム作成手段と、前記平滑ヒス
トグラムの谷の部分を領域の境界として前記対象画像を
領域分割する領域分割手段と、前記領域分割手段により
分割された領域に基づいて前記対象画像を符号化する符
号化手段と、を有することを特徴とする。

【００１６】この画像符号化システムによれば、オブジ
ェクト抽出精度の高い領域分割を行い、これを符号化す
ることが可能となる。

【００１７】上記目的を達成するため、この発明の第３
の観点に係る画像分割システムは、それぞれに少なくと
も複数段階の注視度のいずれかが割り当てられ、領域分
割された対象画像の各分割領域に対して、注視度に応じ
た所定の閾値を割り当て、注視度の高い分割領域よりも
注視度の低い分割領域について該閾値を大きな値とする
閾値決定手段と、前記各分割領域に含まれる画素数が前
記閾値よりも小さい場合にのみ、該分割領域を隣接する
分割領域と統合する領域統合手段と、を有することを特
徴とする。

【００１８】この画像分割システムは、注視度の高い分
割領域よりも、注視度の低い、例えば周辺寄りの分割領
域について大きな値の閾値を割り付け、各分割領域に含
まれる画素数がこの閾値よりも小さい場合にのみ、該分
割領域を隣接する分割領域と統合する。従って、注視領
域に対して、優先的に符号量が割り付けられ、符号化と
復号の過程を経た画像の品質を高めることができる。

【００１９】上記目的を達成するため、この発明の第４
の観点に係る画像符号化システムは、それぞれに少なく
とも複数段階の注視度のいずれかが割り当てられ、領域
分割された対象画像の各分割領域に対して、注視度に応
じた所定の閾値を割り当て、注視度の高い分割領域より
も注視度の低い分割領域について該閾値を大きな値とす
る閾値決定手段と、前記各分割領域に含まれる画素数が
前記閾値よりも小さい場合にのみ、該分割領域を隣接す
る分割領域と統合する領域統合手段と、前記領域統合手
段により統合された分割領域に基づいて前記対象画像を
符号化する符号化手段と、を有する。

【００２０】この画像符号化システムは、注視度の高い
分割領域よりも、注視度の低い、例えば周辺寄りの分割
領域について大きな値の閾値を割り付け、各分割領域に
含まれる画素数がこの閾値よりも小さい場合にのみ、該
分割領域を隣接する分割領域と統合する。従って、注視
領域に対して、優先的に符号量を割り付けて画像を符号
化することができ、復号後の画像の品質を高めることが
できる。

【００２１】上記目的を達成するため、この発明の第５
の観点に係る画像分割システムは、対象画像の画素の値
に関するヒストグラムを平滑化した平滑ヒストグラムを
作成する平滑ヒストグラム作成手段と、前記平滑ヒスト
グラムの谷の部分を領域の境界として前記対象画像を領
域分割する領域分割手段と、前記領域分割手段により領
域分割された各分割領域に対し、前記対象画像の注視度
の高い分割領域よりも注視度の低い分割領域について大
きな値として、所定の閾値を割り付ける閾値決定手段
と、前記各分割領域に含まれる画素数が前記閾値よりも
小さい場合にのみ、前記分割領域を隣接する分割領域と
統合する領域統合手段と、を有することを特徴とする。

【００２２】この画像分割システムは、平滑ヒストグラ
ムの谷の部分を領域の境界として前記対象画像を領域分
割する。従って、簡易な処理で、オブジェクト抽出精度
の高い領域分割が可能となる。また、注視度の低い分割
領域に大きな閾値を割り付け、各分割領域に含まれる画
素数がこの閾値よりも小さい場合にのみ、該分割領域を
隣接する分割領域と統合するので、符号化時に注視領域
に優先的に符号量を割り付け、復号後の画質を高めるこ
とができる。

【００２３】この発明の第６の観点に係る画像符号化シ
ステムは、対象画像の画素の値に関するヒストグラムを
平滑化した平滑ヒストグラムを作成する平滑ヒストグラ
ム作成手段と、前記平滑ヒストグラムの谷の部分を領域
の境界として前記対象画像を領域分割する領域分割手段
と、前記領域分割手段により領域分割された各分割領域
に対し、前記対象画像の注視度の高い分割領域よりも注
視度の低い分割領域について大きな値として、所定の閾
値を割り付ける閾値決定手段と、前記各分割領域に含ま
れる画素数が前記閾値よりも小さい場合にのみ、前記分
割領域を隣接する分割領域と統合する領域統合手段と、
前記領域統合手段により統合された分割領域に基づいて
前記対象画像を符号化する符号化手段と、を有すること
を特徴とする。

【００２４】この画像符号化システムは、平滑ヒストグ
ラムの谷の部分を領域の境界として前記対象画像を領域
分割する。従って、簡易な処理で、オブジェクト抽出精
度の高い領域分割が可能となる。また、注視度の低い分
割領域に大きな閾値を割り付け、各分割領域に含まれる
画素数がこの閾値よりも小さい場合にのみ、該分割領域
を隣接する分割領域と統合するので、符号化時に注視領
域に優先的に符号量を割り付け、復号後の画質を高める
ことができる。

【００２５】この発明の第７の観点に係る画像符号化方
法は、対象画像の画素の値に関するヒストグラムを平滑
化した平滑ヒストグラムを作成する平滑ヒストグラム作
成ステップと、前記平滑ヒストグラムの谷の部分を領域
の境界として前記対象画像を領域分割する領域分割ステ
ップと、前記領域分割ステップにより分割された領域に
基づいて前記対象画像を符号化する符号化ステップと、
を有することを特徴とする。

【００２６】この画像符号化方法は、平滑ヒストグラム
の谷の部分を領域の境界として前記対象画像を領域分割
し、後続する符号化ステップに渡すことができる。

【００２７】この発明の第８の観点に係る画像符号化方
法は、それぞれに少なくとも複数段階の注視度のいずれ
かが割り当てられ、領域分割された対象画像の各分割領
域に対して、注視度に応じた所定の閾値を割り当て、注
視度の高い分割領域よりも注視度の低い分割領域につい
て該閾値を大きな値とする閾値決定ステップと、前記各
分割領域に含まれる画素数が前記閾値よりも小さい場合
にのみ、該分割領域を隣接する分割領域と統合する領域
統合ステップと、前記領域統合ステップにより統合され
た分割領域に基づいて前記対象画像を符号化する符号化
ステップと、を有することを特徴とする。

【００２８】この画像符号化方法は、注視領域に優先的
に符号量を割り付けているので、高品質の画像を復号す
ることができる。

【００２９】前記平滑ヒストグラムは、例えば、前記対
象画像の画素の値のヒストグラムを作成し、前記ヒスト
グラムを移動平均法により平滑化することにより得られ
る。

【００３０】前記閾値決定ステップは、例えば、前記対
象画像の中央寄りの分割領域を周辺寄りの分割領域より
も注視度が高い分割領域とする。

【００３１】この発明の第９の観点に係る画像符号化方
法は、対象画像の画素の値に関するヒストグラムを平滑
化した平滑ヒストグラムを作成する平滑ヒストグラム作
成ステップと、前記平滑ヒストグラムの谷の部分を領域
の境界として前記対象画像を領域分割する領域分割ステ
ップと、前記領域分割ステップにより領域分割された各
分割領域に対し、前記対象画像の注視度の高い分割領域
よりも注視度の低い分割領域について大きな値として、
所定の閾値を割り付ける閾値決定ステップと、前記各分
割領域に含まれる画素数が前記閾値よりも小さい場合に
のみ、前記分割領域を隣接する分割領域と統合する領域
統合ステップと、前記領域統合ステップにより統合され
た分割領域に基づいて前記対象画像を符号化する符号化
ステップと、を有することを特徴とする。

【００３２】この画像符号化方法は、平滑ヒストグラム
の谷の部分を領域の境界として前記対象画像を領域分割
する。従って、簡易な処理で、オブジェクト抽出精度の
高い領域分割が可能となる。また、注視度の低い分割領
域に大きな閾値を割り付け、各分割領域に含まれる画素
数がこの閾値よりも小さい場合にのみ、該分割領域を隣
接する分割領域と統合するので、符号化時に注視領域に
優先的に符号量を割り付け、復号後の画質を高めること
ができる。

【００３３】

【発明の実施の形態】以下、図１〜図６を参照して、こ
の発明の実施の形態に係る画像伝送システムを説明す
る。

【００３４】図１は、この発明の実施の形態に係る画像
伝送システムの構成を示す。図１に示す画像伝送システ
ムは、カメラ１、符号化部２、復号部３およびディスプ
レイ４を備えている。

【００３５】カメラ１は、被写体を撮像し動画像の原画
像データを生成する。動画像のデータを生成する装置と
しては、カメラ１に限らず、予め撮像され編集された動
画像データを出力するビデオ再生装置等であってもよ
い。符号化部２は、カメラ１で生成された原画像データ
を符号化し、伝送系に送出する。この場合、伝送系は、
通信系だけでなく、記録再生系、記憶系等を含む広義の
伝送系を意味する。復号部３は、符号化部２で生成さ
れ、伝送系を介して伝送された符号化データを復号して
画像データを得る。ディスプレイ４は、復号された画像
データを表示する。

【００３６】符号化部２は、オブジェクト抽出部５、統
合処理部６と符号化処理部７を有する。オブジェクト抽
出部５は、さらに平滑ヒストグラム作成部８および領域
分割部９を具備する。統合処理部６はさらに、閾値決定
部１０と領域統合部１１を具備する。

【００３７】オブジェクト抽出部５は、カメラ１から与
えられた原画像データの各フレームを、オブジェクト毎
に領域分割して、分割領域としてオブジェクト領域を抽
出する。即ち、平滑ヒストグラム作成部８は、与えられ
た画像データの各フレーム、例えば、輝度フレームの画
素の値についてのヒストグラムを作成するとともに、該
ヒストグラムを例えば移動平均法を用いて平滑して、平
滑ヒストグラムを生成する。領域分割部９は、平滑ヒス
トグラムの谷の中央を領域分割の境界値として原画像デ
ータを分割し、分割領域を得る。

【００３８】統合処理部６は、オブジェクト抽出部５で
分割抽出された分割領域について、画素数が少ない微小
領域の内、画面周辺部寄りの分割領域を優先して統合す
る。即ち、閾値決定部１０は、各分割領域に対し、画面
中央寄りの分割領域では小さくなり、画面周端寄りの分
割領域では大きくなる閾値を割り付けて、分割領域毎の
閾値を決定する。領域統合部１１は、各分割領域の大き
さ、即ち、画素数が割り付けられた閾値以下の場合、隣
接する分割領域と統合する。

【００３９】符号化処理部７は、統合処理部６の領域統
合部１１で統合された結果の分割領域の輪郭に基づい
て、画像データの符号化を行い、伝送系に送出する。復
号部３は、復号処理部２１および画像再現部２２を有す
る。復号処理部２１は、伝送系を介して伝送された符号
化データを復号する。画像再現部２２は、復号処理部２
１の復号結果に基づいて分割領域を再現し、画像データ
を得て、ディスプレイ４に出力する。

【００４０】次に、図１のように構成した画像伝送シス
テムにおける画像符号化・復号処理について、図２およ
び図３に示すフローチャートを参照して具体的に説明す
る。図２は、主として符号化部２に係る処理の流れを示
している。 (1) カメラ１により生成された原画像データに基づい
て、例えば図４に示すような輝度フレームの画素の値
（輝度）に関するヒストグラムを作成する（ステップＳ
１１）。

【００４１】(2) 作成されたヒストグラムを、例えば移
動平均法により平滑化する（ステップＳ１２）。ここ
で、移動平均法における移動平均のピッチは、ビットレ
ートに応じて決定されるパラメータとなる。

【００４２】(3) 図５に示すように、平滑化されたヒス
トグラムにおける谷の中央を領域分割の境界値として領
域分割を行う（ステップＳ１３）。各分割領域の代表値
（代表色）は、境界値間の中央値または領域に含まれる
画素値の平均値とする。なお、ステップＳ１３における
分割領域は、１つの領域と判別する際に、注目点（注目
画素）の上下左右の画素の値（画素値）が同一の画素を
１つの領域と判別する４連結成分法により行うものとす
る。注目点の上下左右斜めの画素の値が同一の画素を１
つの領域と判別する８連結成分法を使用すること等も可
能である。この領域分割時に各分割領域に含まれる画素
数をカウントし、各画素の値を求め、画素値の和を求
め、代表値（代表色）（画素値の和／画素数）を計算し
ておく（ステップＳ１４）。

【００４３】この結果、例えば、図６（Ａ）に示すよう
に、画像が複数の分割領域に分割される。

【００４４】(4) 分割領域に含まれる画素数が所定の閾
値以下の場合には、分割領域の統合処理を行う（ステッ
プＳ１５〜Ｓ１８）。統合先の分割領域は、隣接する分
割領域の中で、最も代表値が近い領域とする。例えば、
図６（Ａ）の例では、中央の分割領域Ｒ１の画素数が閾
値１００よりも小さいため、代表値が最も近い領域Ｒ２
と、図６（Ｂ）に示すように統合される。

【００４５】また、閾値は、画面中央部の分割領域では
小さな閾値を、それ以外の分割領域では大きな閾値を割
り付ける。ここで、画面中央部とは、例えば、画面の中
心を含む矩形領域であって、その面積が画像全体の面積
の５０％に当たる領域とし、この領域に内包される分割
領域に小さな閾値を割り付ける。

【００４６】(5) ステップＳ１５〜Ｓ１８においては、
輝度フレームだけでなく、色差フレームの領域に関して
も、輝度フレームの領域分割結果に従って、当該分割領
域の代表値（代表色）（含まれる画素値の中央値または
平均値）を求める。

【００４７】ステップＳ１５〜Ｓ１８における領域統合
に際しては、まず、全分割領域について処理を完了した
か否かを確認し（ステップＳ１５）、完了していなけれ
ば、処理すべき分割領域を指定し、且つその領域に閾値
を割り付ける（ステップＳ１６）。指定された分割領域
の画素数が、閾値以下であるか否かを判定し（ステップ
Ｓ１７）、閾値以下ならば隣接する分割領域に統合する
（ステップＳ１８）。ステップＳ１７で閾値を超えてい
れば領域統合は行わずにステップＳ１５に戻る。ステッ
プＳ１５で、全分割領域について処理を完了したと判定
されたならば、領域統合処理を終了して、次の処理に移
る。

【００４８】(6) 各分割領域の輪郭を抽出する（ステッ
プＳ１９）。この輪郭は、ステップＳ１３の場合と同様
に、例えば、４連結成分法に基づいて決定する。 (7) さらに、ステップＳ１９においては、例えば、４連
結成分法を用いた場合、輪郭をたどって来た時に、輪郭
の次の連結関係は、常に３つのコード（上下左右のいず
れか）によって記述される。このことを利用して、輪郭
成分のチェインコード（輪郭を定義する画素列のある画
素から次の画素へ連結するためのコードの列）を求め
る。

【００４９】(8) 以上により求められたチェインコード
および代表値（代表色）をハフマン符号または算術符号
により符号化する（ステップＳ２０）。 (9) 符号化した結果を伝送系に出力して処理を終了する
（ステップＳ２１）。

【００５０】図３は、主として復号部３に係る処理の流
れを示している。 (1) 伝送系から与えられた符号化データを復号して、チ
ェインコードおよび代表値（代表色）を得る（ステップ
Ｓ３１）。 (2) 分割領域の輪郭を代表色で再現する（ステップＳ３
２）。ステップＳ３２の処理は、輝度フレームおよび色
差フレームの両者について行う。 (3) 各フレームをラスタスキャンし、次の輪郭が現れる
まで、左側に隣接する画素と同じ値をフレーム（に対応
する例えばフレームメモリ）に書き込んで、フレームを
再生する（ステップＳ３３）。 (4) 再生されたフレームをディスプレイ４に出力して処
理を終了する（ステップＳ３４）。

【００５１】なお、上述した領域の分割においては、輝
度フレームおよび色差フレームに対して、画素値に関す
るヒストグラムを作成し、このヒストグラムを移動平均
法により平滑化した結果を用いている。即ち、この平滑
化の結果の谷の部分を領域の境界として領域の分割を行
っている。図４および図５にそれぞれ示した平滑化前の
ヒストグラムおよび平滑化後のヒストグラムから読み取
れるように、ヒストグラムの山には、輝度分布の類似性
が反映されることから、領域分割にオブジェクトの概念
を導入した領域分割が行われる。しかも、平滑化という
きわめて簡易な処理で、オブジェクトに対応する適切な
領域分割が実現される。

【００５２】上述の説明では、画像フレームに対するヒ
ストグラムを作成してから平滑化するようにしたが、ヒ
ストグラムの作成と同時に平滑化するような演算を行
い、直接的に平滑化ヒストグラムを得るようにしてもよ
い。

【００５３】また、微小領域の統合では、当該領域に含
まれている画素数が、閾値よりも小さい場合に、隣接す
る領域との統合を行うが、ここでは、画素の注視点の分
布は、画面中央部を中心とする正規分布になることを利
用している。画面の中央寄りの部分では、閾値を小さく
して領域分割の結果をより忠実に再現するのに対し、画
面の周端寄りの部分では、閾値を大きくして統合対象と
する領域のサイズを大きくする。即ち、図７に示すよう
に、注視度の高い画面の中央部の領域ＲＡの部分では、
分割領域の統合処理を抑制し、符号量を優先的に割り付
けて符号化を行うようにする。そして、主として背景と
なる画面の周辺の領域ＲＢでは、分割領域の統合処理を
活性化して、符号化に係る符号量を削減する。このよう
に、注視領域に対して優先的に符号量を割り付けること
により、人の視覚特性に対応した符号化が可能となる。

【００５４】上述の説明では、画面の中央部が注視度が
高いとして、注視領域を判定するようにしたが、例えば
カメラ１等で撮像される画像は、注視領域に焦点を合わ
せて撮像されることから、注視領域では、一般に、画像
のエッジの鮮鋭度が高く、コントラストが強くなる。し
たがって、画像のエッジの鮮鋭度およびコントラスト等
を検出して、注視領域を判定し、その結果に従って、分
割画像の統合処理を行うようにしてもよい。

【００５５】また、符号化・復号される画像は輝度フレ
ームと色差フレームからなる画像に限定されず、この発
明は任意の画像に適用できる。

【００５６】上述したように、低ビットレートの符号化
に適したオブジェクト符号化による画像の符号化に当た
り、ヒストグラムの平滑化という簡易な処理で、オブジ
ェクトの抽出精度の高い領域分割が可能となる。また、
注視領域に対して優先的に符号量を割り付ける微小領域
の統合により、伝送後、即ち、符号化と復号処理後の復
元画像の視覚上の画質を向上させることができる。

【００５７】したがって、低ビットレートでの画像符号
化方式を実現することができ、ＰＨＳ（Personal Handy
Phone System）のような無線回線を用いて動画像を伝
送するサービス、および一般の電話回線に接続されるマ
ルチメディア端末における動画像伝送等が可能となる。
さらに、ビデオ電子メール（Video e-mail）およびイン
ターネットでの動画像伝送等においても、画像品質の向
上、および回線使用料の低減等の効果が得られる。

【００５８】なお、画像符号化・復号方法は、専用のシ
ステムによらず、通常のコンピュータシステムを用いて
実現可能である。例えば、カメラからの画像を取り込む
機能と通信機能を有するコンピュータに、上述の符号化
動作を実行するためのプログラムを格納した媒体（フロ
ッピーディスク、ＣＤ−ＲＯＭ等）から該プログラムを
インストールすることにより、上述の処理を実行する画
像符号化システムを構成することができる。さらに、こ
のコンピュータと通信が可能で、表示装置を備えるコン
ピュータに、上述の復号動作をするためのプログラムを
格納した媒体から該プログラムをインストールすること
により、上述の復号処理を実行する画像復号システムを
構成することができる。

【００５９】また、コンピュータにプログラムを供給す
るための媒体は、通信媒体（通信回線、通信ネットワー
ク、通信システムのように、一時的且つ流動的にプログ
ラムを保持する媒体）でも良い。例えば、通信ネットワ
ークの掲示板（ＢＢＳ）に該プログラムを掲示し、これ
をネットワークを介して配信してもよい。そして、この
プログラムを起動し、ＯＳの制御下で、他のアプリケー
ションプログラムと同様に実行することにより、上述の
処理を実行することができる。

【００６０】

【発明の効果】以上説明したように、この発明に係る画
像分割システムは、対象画像の画素値に関するヒストグ
ラムを平滑化した平滑ヒストグラムを作成して、該平滑
ヒストグラムの谷の部分を領域の境界として前記対象画
像を領域分割することにより、簡易な処理であるにもか
かわらず、オブジェクト抽出精度の高い領域分割を行
う。

【００６１】さらに、この発明に係る画像符号化システ
ム及び方法は、領域分割された対象画像の各分割領域に
対し、該対象画像の注視度の高い、例えば中央部寄りの
分割領域よりも、注視度の低い例えば周辺部寄りの分割
領域について大きな値として、所定の閾値を割り付け、
前記各分割領域に含まれる画素数が前記閾値よりも小さ
い場合にのみ、該分割領域を隣接する分割領域と統合す
ることにより、注視領域に対して優先的に符号量が割り
付けられ、符号化と復号処理を経た画像の視覚上の品質
が高い。

【００６２】即ち、この発明では、オブジェクト領域の
分割精度が高く且つ処理負荷が小さい領域分割と、注視
しているオブジェクト領域を考慮した微小領域の統合と
によって、オブジェクト符号化における処理負荷を低減
し、しかも符号化及び復号の過程を経ても高い画質を維
持することを可能とする画像符号化システム及び方法、
及び画像分割システムを提供することができる。

【図面の簡単な説明】

【図１】この発明の実施の形態に係る画像伝送システム
の構成を模式的に示すブロック図である。

【図２】図１の画像伝送システムの符号化動作を説明す
るためのフローチャートである。

【図３】図１の画像伝送システムの復号動作を説明する
ためのフローチャートである。

【図４】図１の画像伝送システムにおける動作を説明す
るための平滑化前のヒストグラムの一例を示す模式図で
ある。

【図５】図１の画像伝送システムにおける動作を説明す
るための平滑化後のヒストグラムの一例を示す模式図で
ある。

【図６】（Ａ）は分割領域の例を示す図であり、（Ｂ）
は統合処理後の分割領域の例を示す図である。

【図７】画像上の注視度の差を説明するための図であ
る。

【符号の説明】

１ カメラ ２ 符号化部 ３ 復号部 ４ ディスプレイ ５ オブジェクト抽出部 ６ 統合処理部 ７ 符号化処理部 ８ 平滑ヒストグラム作成部 ９ 領域分割部 １０ 閾値決定部 １１ 領域統合部 ２１ 復号処理部 ２２ 画像再現部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 太一 東京都江東区豊洲三丁目３番３号 エヌ・ ティ・ティ・データ通信株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】対象画像の画素の値に関するヒストグラム
   を平滑化した平滑ヒストグラムを作成する平滑ヒストグ
   ラム作成手段と、 前記平滑ヒストグラムの谷の部分を領域の境界として前
   記対象画像を領域分割する領域分割手段と、 を有することを特徴とする画像分割システム。
2. 【請求項２】対象画像の画素の値に関するヒストグラム
   を平滑化した平滑ヒストグラムを作成する平滑ヒストグ
   ラム作成手段と、 前記平滑ヒストグラムの谷の部分を領域の境界として前
   記対象画像を領域分割する領域分割手段と、 前記領域分割手段により分割された領域に基づいて前記
   対象画像を符号化する符号化手段と、 を有することを特徴とする画像符号化システム。
3. 【請求項３】それぞれに少なくとも複数段階の注視度の
   いずれかが割り当てられ、領域分割された対象画像の各
   分割領域に対して、注視度に応じた所定の閾値を割り当
   て、注視度の高い分割領域よりも注視度の低い分割領域
   について該閾値を大きな値とする閾値決定手段と、 前記各分割領域に含まれる画素数が前記閾値よりも小さ
   い場合にのみ、該分割領域を隣接する分割領域と統合す
   る領域統合手段と、 を有することを特徴とする画像分割システム。
4. 【請求項４】それぞれに少なくとも複数段階の注視度の
   いずれかが割り当てられ、領域分割された対象画像の各
   分割領域に対して、注視度に応じた所定の閾値を割り当
   て、注視度の高い分割領域よりも注視度の低い分割領域
   について該閾値を大きな値とする閾値決定手段と、 前記各分割領域に含まれる画素数が前記閾値よりも小さ
   い場合にのみ、該分割領域を隣接する分割領域と統合す
   る領域統合手段と、 前記領域統合手段により統合された分割領域に基づいて
   前記対象画像を符号化する符号化手段と、 を有することを特徴とする画像符号化システム。
5. 【請求項５】対象画像の画素の値に関するヒストグラム
   を平滑化した平滑ヒストグラムを作成する平滑ヒストグ
   ラム作成手段と、 前記平滑ヒストグラムの谷の部分を領域の境界として前
   記対象画像を領域分割する領域分割手段と、 前記領域分割手段により領域分割された各分割領域に対
   し、前記対象画像の注視度の高い分割領域よりも注視度
   の低い分割領域について大きな値として、所定の閾値を
   割り付ける閾値決定手段と、 前記各分割領域に含まれる画素数が前記閾値よりも小さ
   い場合にのみ、前記分割領域を隣接する分割領域と統合
   する領域統合手段と、 を有することを特徴とする画像分割システム。
6. 【請求項６】対象画像の画素の値に関するヒストグラム
   を平滑化した平滑ヒストグラムを作成する平滑ヒストグ
   ラム作成手段と、 前記平滑ヒストグラムの谷の部分を領域の境界として前
   記対象画像を領域分割する領域分割手段と、 前記領域分割手段により領域分割された各分割領域に対
   し、前記対象画像の注視度の高い分割領域よりも注視度
   の低い分割領域について大きな値として、所定の閾値を
   割り付ける閾値決定手段と、 前記各分割領域に含まれる画素数が前記閾値よりも小さ
   い場合にのみ、前記分割領域を隣接する分割領域と統合
   する領域統合手段と、 前記領域統合手段により統合された分割領域に基づいて
   前記対象画像を符号化する符号化手段と、 を有することを特徴とする画像符号化システム。
7. 【請求項７】対象画像の画素の値に関するヒストグラム
   を平滑化した平滑ヒストグラムを作成する平滑ヒストグ
   ラム作成ステップと、 前記平滑ヒストグラムの谷の部分を領域の境界として前
   記対象画像を領域分割する領域分割ステップと、 前記領域分割ステップにより分割された領域に基づいて
   前記対象画像を符号化する符号化ステップと、 を有することを特徴とする画像符号化方法。
8. 【請求項８】それぞれに少なくとも複数段階の注視度の
   いずれかが割り当てられ、領域分割された対象画像の各
   分割領域に対して、注視度に応じた所定の閾値を割り当
   て、注視度の高い分割領域よりも注視度の低い分割領域
   について該閾値を大きな値とする閾値決定ステップと、 前記各分割領域に含まれる画素数が前記閾値よりも小さ
   い場合にのみ、該分割領域を隣接する分割領域と統合す
   る領域統合ステップと、 前記領域統合ステップにより統合された分割領域に基づ
   いて前記対象画像を符号化する符号化ステップと、 を有することを特徴とする画像符号化方法。
9. 【請求項９】対象画像の画素の値に関するヒストグラム
   を平滑化した平滑ヒストグラムを作成する平滑ヒストグ
   ラム作成ステップと、 前記平滑ヒストグラムの谷の部分を領域の境界として前
   記対象画像を領域分割する領域分割ステップと、 前記領域分割ステップにより領域分割された各分割領域
   に対し、前記対象画像の注視度の高い分割領域よりも注
   視度の低い分割領域について大きな値として、所定の閾
   値を割り付ける閾値決定ステップと、 前記各分割領域に含まれる画素数が前記閾値よりも小さ
   い場合にのみ、前記分割領域を隣接する分割領域と統合
   する領域統合ステップと、 前記領域統合ステップにより統合された分割領域に基づ
   いて前記対象画像を符号化する符号化ステップと、 を有することを特徴とする画像符号化方法。