JPH0927023A - 画像領域統合方法 - Google Patents

Abstract

(57)【要約】 【課題】 動きの符号化を考慮した画像統合を実現す
る。 【解決手段】 まず画像領域を色差の小さい隣接領域か
ら順に統合する。最小色差が基準値に達するか、画像全
体の１％の大きさの領域が１０〜２０現れた時点でこの
統合を打ち切る。つづいて領域の大きさに基づく統合を
開始し、隣接する領域間で小さな領域を大きな領域へと
吸収統合していく。これら２段構えの統合により、領域
が突然全画像に渡って広がる事態が回避され、被写体ご
との輪郭が浮かび上がりやすくなる。被写体の輪郭情報
は動きの符号化に適合する情報である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像領域統合方
法、特に画像領域を順に統合していくことによって画像
領域の統合を図る方法に関する。

【０００２】

【従来の技術】国際符号化標準ＭＰＥＧに代表されるよ
うに、次世代の画像受信機器や各種画像通信サービスの
実現を考えたとき、画像の符号化は重要な基礎技術の１
つに挙げられる。すなわち、符号化効率または画像圧縮
率の向上を図り、限られた伝送レートの範囲で、より高
品質で自然な画像情報を提供しようというものである。

【０００３】ＭＰＥＧの符号化技術のひとつに離散コサ
イン変換（ディスクリート・コサイン・トランスフォー
メーション：ＤＣＴ）がある。この手法は、まず画像を
マトリクス状のブロックに分割する。最も簡単な例で
は、分割された各ブロックから低周波成分が抽出され、
ブロックに含まれる各画素の色が、例えば１つの代表色
によって一様に置換される。この後、ブロックの番号と
代表色を組にすることによって符号化が完了する。

【０００４】

【発明が解決しようとする課題】画像関連技術の流れに
おいて、動画像の動きを正確に把握または予測して符号
化する技術（以下単に「動きの符号化」という）が重要
になりつつある。画像符号化技術の目標のひとつは情報
家電等民生機器への適用にあり、その場合、低い伝送レ
ートの枠内で動画像をリアルタイムに伝送し、しかもこ
れを復号したときに得られる画像の品質が十分に高いこ
とが条件となる。これをクリアするには、動きの符号化
が必須だからである。

【０００５】上述したＭＰＥＧの符号化手法は、既存の
技術によるＬＳＩ化等、実現可能なものに絞りながら開
発されてきたため、将来の課題である、より良好な動き
の符号化の実現に直接利用することはできない。確か
に、ＭＰＥＧではブロック単位の画像符号化を行いなが
ら各ブロックの動きベクトルを伝送しているが、その動
きベクトルは、対象画像の内容に関係なくすべてブロッ
ク単位で計算される。これは、対象画像内のあらゆる物
体を同じ大きさのブロックだけで画一的に表現しようと
するのに等しく、この方法は原画像と生成画像の差分情
報の付加なしには成り立たない。ところが、通常この差
分情報の占める割合は大きくなりすぎるため、限られた
伝送レートによる十分な画像情報の伝送には自ずと限界
がある。

【０００６】［本発明の目的］本発明の目的は課題の発
見と解決にある。すなわち本発明は、（１）領域分割手
法を動きの符号化に有効利用する思想自体が存在しなか
ったことを課題とし、（２）ＤＣＴを基礎とする動きの
符号化では、低い圧縮効率および後述の領域間マッチン
グ効率の悪さによる限界がある点に配慮し、（３）予
め、動きの符号化を念頭においた領域ベースの画像領域
統合方法を開示することを目的とする。

【０００７】

【課題を解決するための手段】本発明の画像領域統合方
法は、繰り返し使用することの可能な複数の領域統合基
準を組み合わせて領域統合を進める。「繰り返し使用す
ることの可能な」とは、ある基準の後に別の基準を用い
た後、再度最初の基準を使用できることを意味する。統
合とは、複数の領域を併合して１つの領域にすることを
いう。画像領域とは、何等かの性質が共通する画素が集
まって形成される領域をいうが、この画素は１個でもよ
い。すなわち、領域の最小単位は画素である。

【０００８】また本発明は、画素の個別情報を基礎とし
て画像領域を統合する工程Ａと、画素の集合情報を基礎
として画像領域を統合する工程Ｂとを含む。個別情報と
は画素の色など、個々の画素のみによって定義可能な情
報をいい、集合情報とは例えば領域の形状など、複数画
素の集まりによって定義可能な情報をいう。工程Ａは個
別情報を基礎とする統合を行うが、統合の基礎を個別情
報におく限り、現実には複数画素の個別情報を統括的に
扱ってもよい。一例を挙げれば、複数画素の色の平均を
統合の基礎とすることができる。

【０００９】また本発明は、前記個別情報が画素ごとの
色情報、前記集合情報は画像領域の大きさであってもよ
い。「色情報」とは、光の反射によって人の網膜に投ず
るすべての性質に関する情報を指し、色の属性である輝
度、彩度、色相情報のいずれか１つでもよい。現実の情
報の形態としては、例えばＨＶＣまたはＲＧＢ色空間に
おける色番号などがある。この構成によれば、画像領域
が色情報と大きさの二方向から統合される。

【００１０】本発明では、例えば前記工程Ａと前記工程
Ｂをこの順に行う。従って、例えばまず色情報による統
合が進み、その統合の後に残っている領域が、今度は大
きさによって統合される。

【００１１】本発明の一態様として、前記色情報は領域
間の色差であり、前記工程Ａは位置的に近い複数の領域
間において色差が小さいものから順に統合していく。色
差は色の違いの度合いであり、色差が大きいほど色の違
いが大きくなる。「位置的に近い」としたのは、それら
の領域が物理的に意味をなす１つの実体（物体、被写
体）に含まれる可能性が高いためである。「色差が小さ
いものから」とした理由も同様である。例えば上下端で
微妙に色の違う赤いりんごを考えたとき、色は同じ赤に
属するため両端の色差は一般に小さく、上下端の距離も
画像中では比較的小さいと考えられるため、りんご全体
が１つの領域に統合される。一方、このときりんごと同
じ色のコップが画像中の別の個所にあっても、これらが
ある距離をおいている場合は統合されない。

【００１２】本発明のある態様では、前記工程Ｂは小さ
な領域から順に、位置的に近い他の領域に統合してい
く。動きの符号化の際に行われる領域マッチングを考え
たとき、画像中ある程度大きな領域の情報は重要であ
り、そうした領域を早々に形成するためである。この態
様により、次第に小さな領域は減り、かつ領域の総数も
減っていく。

【００１３】本発明のある態様では、領域間の最小色差
が基準値に達するまで前記工程Ａが行われ、以降前記工
程Ｂが行われる。工程Ａを行っていくと、次第に領域間
の色差が小さくなっていく。ここでは例えば、ＮＢＳ色
差といわれる単位で色差が６．０となるまで工程Ａを続
けていく。以降、こうして統合された領域が大きさの見
地から統合され始める。

【００１４】本発明の別の態様では、所定の大きさの領
域が一定の数に達するまで前記工程Ａが行われ、以降前
記工程Ｂが行われる。工程Ａが進むと、最小色差だけで
なく、領域の数も減っていく。領域自体は統合によって
大きくなっていく。そこで、例えば全画像サイズの１％
の大きさの領域が１０個程度現れたら工程Ａを止める。

【００１５】本発明では、単一の領域によって完全に取
り囲まれた領域（以下「孤立領域」という）について
は、前記工程Ｂによる統合を遅らせてもよい。このとき
孤立領域の大きさは原則として問題としない。通常孤立
領域はさほど大きくない場合が多いが、例えば人の顔に
おける目のごとく、画像情報として重要な場合がある。
そこで工程Ｂの例外処理として孤立領域が残される。さ
らに統合が進んだときは、状況によりこれを統合しても
よい。

【００１６】

【発明の実施の形態】本発明の好適な実施の形態を説明
する。既述のごとく、本発明の特徴は２以上の異なる工
程によって画像領域を統合する点にある。最初の工程Ａ
は色差、後の工程Ｂは領域の大きさに従い、それぞれ統
合を行う。

【００１７】［工程Ａ］色差による統合 本工程による統合には種々の方法が考えられるが、ここ
では本出願人がさきに特願平７−１４６５０７号で提案
した画像処理装置による領域統合を説明する。統合の手
順は以下の通りである。

【００１８】１．準備 ＨＶＣ均等色空間を複数の領域に分割して作成される色
テーブルを準備する。ＨＶＣ均等色空間とは、回転方向
にＨｕｅ（色相）、高さ方向にＶａｌｕｅ（輝度）、半
径方向にＣｈｒｏｍｅ（彩度）をとって色を立体的に分
類する円筒状の色空間で、ＲＧＢ色空間から既知の変換
式を通して得られる。ＨＶＣ均等色空間上の距離は、お
おむね人の目が感じる色の差に対応する。

【００１９】２．画素の置換 原画像を画素ごとに色テーブル中の最も近い色に割り当
てる。ここでは、色差が最小になる色を割り当てる。色
テーブルに含まれる色は色番号によって記述されるた
め、ここで各画素を色番号に置換する。

【００２０】３．画素の統合 色番号に置換された画素のうち、原画像において位置的
に近く、かつ色番号も近いもの、すなわち色差の小さい
ものを統合する。色番号の近い２色はＨＶＣ均等色空間
上で近い位置に存在し、人間の目からも近い色に感じら
れるため、自然な統合が可能となる。統合は、例えば２
つの画素の色番号を一方の色番号に揃えるか、２つの色
番号の平均を両画素の色番号とすることによって実現す
る。統合開始前は１つの画素が１つの領域に対応すると
考えることができたが、統合の開始に伴い、複数画素の
集合による領域が形成され始める。

【００２１】以上が１回の処理単位である。以降、画素
（または領域）が統合されるたびに、新たな領域と他の
領域の位置関係、色番号を比較し、上記３の統合処理を
繰り返し行う。繰り返しの回数が増えるに従い、画像が
ある程度の数の同一色領域に統合されていく。

【００２２】ここで、工程Ａの終了判定が問題となる。
判定方法には主に２つの方法が考えられる。

【００２３】（１）色差による判定 上記３の統合処理が行われるたびに、その時点で存在す
る領域間の最小色差を検索する。ここで最少色差が基準
値に達すれば、工程Ａを終了する。例えばＮＢＳ色差単
位では色差が次のように評価されているため、これを利
用する。

【００２４】 色 差 評 価 ０．０〜 ０．５ 色の差がほとんど認められない ０．５〜 １．５ 色の差がわずかに認められる １．５〜 ３．０ 色の差が相当認められる ３．０〜 ６．０ 色の差が著しい ６．０〜１２．０ 色の差がきわめて著しい １０．０〜 別の色系統に属する いずれの色差をもって基準値とするかは設計の自由度に
属するが、全体に領域間の色差が大きいほうに偏った画
像であれば、基準値自体を大きくすることもできる。本
実施の形態では仮に６．０とし、あまり統合が進まない
状態で終了する。この理由は、工程Ａを進めすぎると、
例えば後の動き符号化を考えたとき望ましくない画像が
生成されるためである。

【００２５】図１は工程Ａを進めすぎたときに生じる不
具合を示す図である。同図（ａ）は統合開始前の原画像
で、ここには右下り斜線で示す背景領域５の中に、主に
４つの形状の異なる被写体が映し出されている。（ｂ）
はある程度統合が進んだときの画像、（ｃ）は過度に統
合が進んだときの画像を示す。

【００２６】（ａ）→（ｂ）の変化について 図１（ａ）中の右上り斜線で示す領域１、２と、それぞ
れ隣接する白抜きの領域３、４との色差が小さいとき、
領域１と３、２と４が統合される。ここでは白抜きの領
域へ統合されるものとし、その結果が（ｂ）となる。領
域１、２以外にも右上り斜線で示す領域は存在するが、
これらは白抜きの領域と遠い位置にあるため、統合され
ない。

【００２７】（ｂ）→（ｃ）の変化について （ｂ）の状態まで進んだとき、背景領域５と白抜きの領
域の色差が小さくなったとすれば、これらが統合され
る。ここでも白抜きの領域に統合されるものとし、その
結果が（ｃ）となる。すなわち、白抜きの領域が画像全
体を横断する形で生じたことになる。

【００２８】以上、最終的に得られる画像（ｃ）は、原
画像から黒塗りの領域６等が浮き出しただけの状態にな
る。ところが、もともと原画像に存在した４つの被写体
とこれら黒塗りの領域とではその形状が全く異なるた
め、この黒塗りの領域をもとに各被写体の動きの符号化
を図ることは非常に難しい。実際にこの符号化を行おう
とすれば、画像フレーム（ピクチャ）間で対応する領域
が発見されない可能性が高く、最初から統合をやり直し
たり、（ｃ）から統合前の状態に少しずつ画像を戻しな
がら符号化の可否を判断していく他ない。その場合、当
然ながら処理が煩雑になり、処理効率も落ちる。こうし
た不具合を回避すべく、本実施の形態では色差が６．０
になった時点で、余裕を見て工程Ａを打ち切るものとす
る。

【００２９】（２）領域の状況による判定 前記の不具合は、「大きすぎる領域ができた状態」と言
い換えることもできる。従って、所定の大きさの領域が
一定の数に達すれば工程Ａを終了することにしてもよ
い。所定の大きさは、例えば全画像の１％の面積、一定
の数は例えば１０〜２０個程度とすることができる。当
然、これらの数値も画像によって変えてもよい。いずれ
にせよ、この時点で工程Ｂに移行すれば、以後小さな領
域が先に統合されるため、任意の領域が画像全体を横断
する形で急激に広がる事態を回避することが容易とな
る。

【００３０】なお工程Ａの終了画像は通常、人の目から
も原画像の類推が可能な許容範囲にある。従って、動き
の符号化を考えない場合はこの時点で画像統合処理を終
えることも可能である。

【００３１】［工程Ｂ］領域の大きさによる統合 つづいて工程Ｂにより、現存する領域を小さい順に統合
していく。領域の大きさは例えば画素数で判断する。小
さい領域を先に統合するのは、工程Ａの不具合を回避す
るための他、大きな領域ほどもとの被写体において占め
る面積比が大きいためである。すなわち、被写体全体の
輪郭抽出が動きの符号化の際に重要であり、小さな領域
を大きな領域に統合していくことで、被写体の輪郭を正
確に把握する狙いがある。

【００３２】工程Ｂは、ある程度領域の大きさが平均化
されてきた時点で処理を終了する。領域の大きさが揃う
と、２つの画像フレーム間で領域のマッチングをとる
際、大きさを比較するステップの重要性が低くなる。そ
の結果、動きの符号化に要するトータルの処理時間を短
縮することができるためである。通常、フレーム間の多
対多の対応づけには長い計算時間が必要であり、比較要
素の削減は重要な意味を持つ。

【００３３】図２は工程Ｂの結果得られる最終画像を示
す図で、図１（ｂ）の時点で工程Ａから工程Ｂへ移行し
た場合について示している。すなわち工程Ｂによれば、
色に関係なく小さな領域が位置的に近い他の領域へ統合
されていくため、最も大きな背景領域５を残して各被写
体の輪郭が浮かび上がってくる。こうして動きの符号化
に最適な最終画像が生成される。

【００３４】以上が工程Ｂの概要であるが、画像に孤立
領域が存在する場合には特別な配慮をなすことが望まし
い。すなわち、孤立領域は画像中にあって重要性が高い
か、または特徴的な領域である場合も多いため、たとえ
面積は小さくとも統合順位を下げることにする。もちろ
ん、孤立領域が無意味な点である場合も多く、極端に小
さい場合、例えば数画素以下の面積であれば統合すると
決めてもよい。

【００３５】以上の工程Ａ、Ｂにより、本発明の画像領
域統合方法は所期の目的を達成する。なお本発明につい
ては、以下の代替技術、改良技術などが考えられる。

【００３６】［工程Ａに関して］ １．ここでＨＶＣ均等色空間を用いたが、ＲＧＢ色空間
など別の色空間を用いてもよい。

【００３７】２．動きの符号化を考えた場合、必ずしも
人の目から見て自然な統合である必要はないため、色差
ではなく、例えば輝度差、彩度差、明度差など他の情報
による統合も考えられる。白黒画像の場合は輝度差によ
る統合が最も一般的と考えられる。

【００３８】３．画素の個別情報として、各画素のオプ
ティカルフローによる追跡結果情報を使用してもよい。
すなわち、追跡結果が同様の傾向を示す画素は互いに統
合できる場合が多いためである。

【００３９】４．当然ながら、これらの技術を併用して
もよい。

【００４０】［工程Ｂに関して］ １．最終画像に残る領域の各重心位置が適度に分散する
よう統合を進める。例えば、すべての領域の重心が画像
中心付近に集中したとき、複数フレーム間の領域マッチ
ングの効率が落ちる。重心が適度に分散していれば対応
領域の検索範囲が容易に限定でき、概して良好なマッチ
ング結果が得られる。そこで、統合できる候補が複数あ
る場合、統合後の各領域の重心位置が分散する結果をも
たらすものを選択する。

【００４１】２．複数の領域の出現パターンに規則性が
あるとき、それらの領域を統合する。例えば白黒の縞模
様の服を着た人が画像中に存在するとき、色情報による
統合だけでは、この人の輪郭を見い出すことが難しい。
そこで白黒の領域が一定の規則で繰り返し出現するよう
な場合は、これらの領域を統合する。縞模様の他に、テ
クスチュアや模様全般に適用可能である。ただし、規則
性は人の目から明らかな場合に限る必要はないため、例
えば比較的小さな領域から空間周波数を抽出し、微細テ
クスチュアや微細模様を検出することもできる。

【００４２】３．予め準備した画像パターンに一致する
領域を１つに統合する。例えば、テレビ電話を考えた場
合、中央には人の顔がくると考えられるため、中央部分
に肌色領域があり、その中に２つの黒い領域（目）があ
れば、これを顔として１つに統合する。人の移動に関し
て画像間マッチングをとる際に有益である。モデルベー
ス符号化への適用ということができる。ただしここで注
意すべきは、例えば顔が同じ場所で回転するような場
合、目の情報が重要となることである。この場合は目を
顔の領域に統合せず、孤立領域として残せばよい。

【００４３】４．動画像が対象であれば、過去の領域統
合状況を参照する。すなわち、直前の画像フレームに対
して行われた領域の統合は、そのまま次のフレームにも
有効な場合が多いためである。

【００４４】５．領域が複雑な形状にならないように凸
凹を埋めるよう統合を進める。形状が複雑だと、マッチ
ングの際、形状だけでエラーとして候補から外される領
域が増える。このため、最適マッチングを取り逃す恐れ
があるためである。

【００４５】６．当然ながら、これらの技術を併用して
もよい。

【００４６】

【発明の効果】本発明の画像領域統合方法によれば、最
低２つの工程を用いることにより、動きの符号化を配慮
した画像統合が可能となる。これらの工程がそれぞれ画
素の個別情報および集合情報に立脚する場合、特に効果
的である。さらに、工程Ａと工程Ｂをこの順に行うこと
により、例えば画像全体に広がるような好ましくない領
域の発生を回避しやすくなる。

【００４７】工程Ａが位置的に近い複数の領域間におい
て色差が小さいものから順に統合する場合、例えば同一
被写体に属する領域の統合が容易となる。工程Ｂが小さ
な領域から順に他の領域に統合していく場合、最終的に
被写体情報として重要な領域が残る可能性が高く、例え
ば動きの符号化に適した画像を生成することができる。

【００４８】領域間の最小色差が基準値に達するまで工
程Ａ、以降工程Ｂを行う場合は、工程Ａのみを過度に行
った場合に発生する不具合の解消が容易となる。これも
動きの符号化によい影響を及ぼす。

【００４９】所定の大きさの領域が一定の数に達するま
で工程Ａ、以降工程Ｂを行う場合も、好ましくない過大
領域の発生が抑制されるため、前記不具合の解消が容易
となる。

【００５０】工程Ｂにおいて孤立領域の統合順位を下げ
る場合は、画像情報として重要な領域を最終画像まで保
持することができる。

【図面の簡単な説明】

【図１】 工程Ａを進めすぎたときに生じる不具合を示
す図である。

【図２】 工程Ｂの結果得られた最終画像を示す図であ
る。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 繰り返し使用することの可能な複数の領
   域統合基準を組み合わせて領域統合を進めることを特徴
   とする画像領域統合方法。
2. 【請求項２】 画素の個別情報を基礎として画像領域を
   統合する工程Ａと、 画素の集合情報を基礎として画像領域を統合する工程Ｂ
   と、 を含むことを特徴とする画像領域統合方法。
3. 【請求項３】 請求項２に記載の画像領域統合方法にお
   いて、 前記個別情報は画素ごとの色情報であり、前記集合情報
   は画素の集合によって形成される画像領域の大きさであ
   ることを特徴とする画像領域統合方法。
4. 【請求項４】 請求項２、３のいずれかに記載の画像領
   域統合方法において、該方法は前記工程Ａと前記工程Ｂ
   をこの順に行うことを特徴とする画像領域統合方法。
5. 【請求項５】 請求項３、４のいずれかに記載の画像領
   域統合方法において、 前記色情報は領域間の色差であり、前記工程Ａは位置的
   に近い複数の領域間において色差が小さいものから順に
   統合していくことを特徴とする画像領域統合方法。
6. 【請求項６】 請求項３〜５のいずれかに記載の画像領
   域統合方法において、 前記工程Ｂは小さな領域から順に、位置的に近い他の領
   域に統合していくことを特徴とする画像領域統合方法。
7. 【請求項７】 請求項４〜６のいずれかに記載の画像領
   域統合方法において、該方法は、 領域間の最小色差が基準値に達するまで前記工程Ａを行
   い、以降前記工程Ｂを行うことを特徴とする画像領域統
   合方法。
8. 【請求項８】 請求項４〜７のいずれかに記載の画像領
   域統合方法において、該方法は、 所定の大きさの領域が一定の数に達するまで前記工程Ａ
   を行い、以降前記工程Ｂを行うことを特徴とする画像領
   域統合方法。
9. 【請求項９】 請求項６〜８のいずれかに記載の画像領
   域統合方法において、 前記工程Ｂは、単一の領域によって完全に取り囲まれた
   領域についてはその大きさに拘らず統合を遅らせること
   を特徴とする画像領域統合方法。