JP4907621B2 - 映像処理装置と方法及びその記録媒体 - Google Patents

Description

本発明は、映像に含まれる被写体の各対象を区別するためにラベリングを行い、これを用いて映像からオブジェクトを検出する映像処理装置及び方法に関する。

映像信号処理の多様な応用技法の中でラベリングとは、映像内で互いに離隔されている対象体（被写体）を区別しようとする場合用いられる映像処理技法を意味する。

このようなラベリング技法は、映像内に対象体が複数個存在する場合、ラベリング（ｌａｂｅｌｉｎｇ）の過程を通じて対象体ごとに固有番号を付与し、以後関心対象となる特定対象体のみをプロセスしようとする場合、上記特定の対象体に付与された固有番号を用いて活用する技法を意味する。

このようなラベリング技法は、映像処理が用いられる多様な応用例に適用することができ、特にその具体的な例として出入り統制などのために用いられる顔認識システムが挙げられる。すなわち、出入認証などのための顔認識の事前段階として、所定の光学装置から獲得された映像より顔領域を検出・分離する作業を行わなければならない場合に用いられ得る。

ラベリング技法及びこれを用いた映像における特定オブジェクトの検出技法は上記のように映像から顔領域を検出・分離するプロセッシングに該当し、これとともに虹彩認識、人体の特定身体部位認識または製造業の自動化ラインで不良品を識別する過程などにおいても幅広く用いられる。

ラベリングアルゴリズムとして提示される従来の技法は、再帰アルゴリズムと反復文を用いるアルゴリズムとに大別でき、上記の方法は過度な自分呼出方式を用いるかスタック構造を用いる方法を採用しており、所望の映像に対するフレーム情報またはライン情報を全てメモリに貯蔵し貯蔵された情報を用いる方式に該当する。

このような方式はハードウェアリソースが十分な場合には多少時間が所要されても適用可能であるが、携帯端末のように携帯性、簡便性及び移動性などを固有目的とした携帯装備においては、求められるハードウェアリソース、処理時間などの面から判断すれば、非常に適用しにくにという問題点がある。

このようなラベリング技法を前提とする顔検出技法及びこのような技法がデジタルカメラなどで活用されるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）などのアプリケーションにも上記のような問題点は依然としてあると言える。

対話型映像通話サービスが開始されている近来にはエンターテイメントの目的で顔を検出する機能が含まれた移動通信端末機が発売開始されており、このような動向はＨＣＩ（Ｈｕｍａｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｉｎｔｅｒａｃｔ）技術に対する移動端末機への底辺拡大への動向を示していると評価されている。

このような動向によって移動通信端末機などにも対象認識技法などが適用されているが、上記のような技法が採用される端末（携帯電話、デジタルカメラ、光学装置、認証システムなど）はフレームメモリまたはラインメモリを通じて入力映像を処理する技法に該当するので、これに符合するだけのメモリリソースが求められる。

すなわち、求められるハードウェアリソースが多くなるほどハードウェア端末はその経済性面で不利になり、上述したようにメモリ貯蔵及び貯蔵された情報の活用を基本にしているので、データ貯蔵、読み出し及び演算などの処理時間が長くなるという問題点も持っている。

本発明は、上記問題点を克服するために案出されたものであって、簡単な演算及び少ないメモリの使用でも有効なラベリング技法を行い、これに基づいて映像における対象体を検出する効率的な映像処理装置及び方法を提供することに目的がある。

また、上記のような方法をコンピュータにおいて具現するために、コンピュータで認識可能であり、かつ実行されるプログラムを記録した記録媒体を提供することに目的がある。

本発明の他の目的及び長所は以下に説明し、本発明の実施形態によって分かるであろう。また、本発明の目的及び長所は特許請求の範囲に示された構成と構成の組み合わせとによって実現できる。

上記目的を達成するための映像処理装置は、ラベリング変換のための変換マトリックス領域に属する二進化映像のピクセルのうちラベリング変換の対象ピクセルに隣接した周囲ピクセルの値を検出する検出部と、上記周囲ピクセルの値に上記二進化映像を示す値のみが存在する場合、既に付与されたラベル値と異なるラベル値を上記対象ピクセルに付与し、上記周囲ピクセルの値にラベル値が存在する場合、上記周囲ピクセルに存在するラベル値を上記対象ピクセルに付与するラベリング部と、を含む。

一方、本発明の他の側面による映像処理方法は、ラベリング変換のための変換マトリックス領域に属する二進化映像のピクセルのうちラベリング変換の対象ピクセルに隣接した周囲ピクセルの値を検出する検出段階と、上記周囲ピクセルの値に上記二進化映像を示す値のみが存在する場合、既に付与されたラベル値と異なるラベル値を上記対象ピクセルに付与し、上記周囲ピクセルの値にラベル値が存在する場合、上記周囲ピクセルに存在するラベル値を上記対象ピクセルに付与するラベリング段階と、を含む。

本発明によれば、デジタルカメラなどのデジタル光学装置で用いられる自動フォーカシング機能、自動ホワイトバランス機能及び自動露出機能などは、顔領域を基準にして上記のような機能を活用することができる。

多様な機能的活用性を有している本発明によるラベリング技法及びこれを用いたオブジェクト検出技法に基づいて、より効果的でありながらも少ないリソースを占める光学装置が具現できる。

上記のように本発明の映像処理装置は、各機能の効率性を高めると同時にハードウェア的にも簡単に具現できて、今後の移動端末機などに搭載される場合高い経済性に基づいた活用度の高い装備が具現できる。

以下、添付した図面を参照しながら本発明の望ましい実施形態を詳しく説明する。これに先立って、本明細書及び請求範囲に使われた用語や単語は通常的や辞書的な意味に限定して解釈されてはならず、発明者は自らの発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に則して、本発明の技術的思想に符合する意味と概念とで解釈されなければならない。従って、本明細書に記載された実施形態は本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想の全てを代弁するものではないため、本出願時点においてこれらに代替できる多様な均等物と変形例があり得ることを理解しなければならない。

本発明の詳細な説明に先立って本発明の説明に必要な用語及び定義などに関して記述する。

通常映像処理の基本となる映像の色相空間は、色相混合の観点、人間の視覚体系との類似性など色空間を眺める観点に応じて、ＲＧＢ、ＣＭＹＫ、ＨＳ系列、ＣＩＥ、Ｙ系列など多様な空間で表現することができ、異種の形態で表現された色空間の他の色空間への変換は簡単な数学的変換式によって変換できることは当業者間に自明であると言える。

また、入力映像は複数個のピクセルの合で表現され、上記ピクセルは該当ピクセルに関する映像情報（明度、色相、彩度など）を持つようになる。通常、上記映像情報は０から２５５段階まで段階的に区分され８ｂｉｔの情報で示すのが一般的であるが、適用される環境に応じて上記映像情報は１０、１２ｂｉｔなど多様な変形例が可能なのは言うまでもない。

従って、本発明を説明するにあたって一実施形態として示された一つの色空間座標系は上記のような観点から他の色空間座標にも同一または類似に適用可能であり、入力映像において一つのピクセルが持つ映像情報のｂｉｔサイズは一実施形態に過ぎないと理解されなければならない。

本発明による映像処理装置及び方法を、本発明の望ましい実施形態による映像処理装置の構成を示したブロック図である図１と、本発明の望ましい実施形態による映像処理方法の過程を示した流れ図である図３と参照して説明する。

本発明による映像処理装置１００は、ブロック変換部１３０、検出部１１０、ラベリング部１２０及びラベル情報算出部１４０を含む。

検出部１１０は、ピクセル値が臨界値よりも小さい値に該当する第１値と、臨界値よりも大きい値に該当する第２値とからなる二進化映像のピクセルのうち、ラベリング変換の対象となる対象ピクセルを基準にしてラベリング変換のための変換マトリックス領域に属する周囲ピクセルに対する値を検出する（Ｓ３２０）。

上記二進化映像とは、二進化の基準となる所定臨界値を基準にして該当するピクセル値を二分化して表現した映像を意味するものであって、例えば、臨界値が５０である場合５０より小さい値を持つピクセルは０と、５０より大きい値を持つピクセルは１と表現された映像を意味する。

二進化映像は０と１とのビットを用いて表現されることが一般的であるが、本発明においては上記０と１とで二進化映像を表現することはもちろん、基準となる臨界値を基準にして二分化されて表現され得る多様な記号的表現も可能なのはもちろん、本発明を説明するにおいて第１値は０と、第２値は１または１５と説明される部分は一つの例示に過ぎず、上記０と１または上記０と１５に制限されて解釈できないことは自明であると言える。

映像処理において上記変換マトリックスは、一定の長方形のマトリックスを意味するものであって、本発明の望ましい一実施形態の変換マトリックスに対するラベリングフィルターを示した図面である図６に示したように、長方形のマトリックスを意味する。

上記図６に示した変換マトリックスは３×３マトリックスを例示しているが、変換マットリックスは活用される形態や使用者が望むラベリングの程度に応じて多様な実施形態が可能なのはもちろん、上記のように３×３マトリックスの大きさを持つ場合、ピクセル間の間隔が一つずつ離隔されていても区分できるので精度面で最も望ましい形態を持つことができる。

上記図６に示した９個のピクセルのうち、ｂと表示されたピクセルが本発明の周囲ピクセルに該当し、ａと表示されたピクセルがラベリング変換の対象となる対象ピクセルになり、対象ピクセルの周囲に存在する上記周囲ピクセルが持つ値を上記検出部１１０が検出するようになる。

上記検出部１１０が周囲ピクセル（ｂ）に対する値を検出すれば、上記検出された周囲ピクセルのピクセル値を上記ラベリング部１２０に伝送する（Ｓ３３０）。その後、上記ラベリング部１２０は、上記対象ピクセル値が第２値であり、上記検出された周囲ピクセル値が上記第１値または第２値のみからなった場合、上記対象ピクセル値を既存のラベル値と区分されるラベル値に変換し、上記検出された周囲ピクセル値のうち第１値及び第２値以外のラベル値が存在する場合、上記対象ピクセル値を上記周囲ピクセルに存在する第１値及び第２値以外のラベル値に変換する（Ｓ３４０）。

上記Ｓ３４０段階は、上記周囲ピクセル値に上記二進化映像を示す値以外の値が存在するか否かによって、上記対象ピクセルのラベリング値を新しいラベル値に変換するか、上記周囲ピクセルのラベル値に変換するように二元的に運営してさらに有効で且つ簡便なラベル値の付与方法を実現することができる。

すなわち、対象ピクセル値が第２値（１）である場合、上記対象ピクセルは所定の臨界値より大きいピクセル値に該当するので、映像に存在する特定の客体に該当すると判断できる。従って、上記対象ピクセル値が第２値である場合にラベリング演算を行うことが望ましい。

もし、上記周囲ピクセルが持つピクセル値が二進化映像を示すための第１値、第２値のみから構成されていれば、すなわち、０と１の値以外の他の値がなければ、上記対象ピクセルに新しいラベル値を付与し、付与するラベル値は以前に付与されたラベル値と区分されるラベル値であるべきであることは言うまでもない。

また、もし、周囲ピクセルに０と１値以外の他のラベリング値が付与されていれば、すなわち、対象ピクセルと最寄りのピクセルにラベリング値が付与されたことがあれば、これは以前の演算でラベリング値が付与されたピクセルと隣接している客体に該当するので、上記周囲ピクセルに存在するラベル値を上記対象ピクセルに付与することで同一領域の客体としてラベリングするようになる。

このような過程は入力される映像情報を入力順序に従って順次読み取ることで演算できるので、一般的なラベリング技法で用いる再帰的用法や反復技法のようにフレームやラインを貯蔵する必要がないので、正確性を維持しながらさらに容易にラベリングを付与できるようになる。

以下、ラベリングの演算効率を維持しながら演算速度の向上及びメモリ占有をさらに低減するようにラベリング付与のための対象映像をブロック化するブロック化部に対して説明する。

本発明によるブロック変換部１３０は、ラベリングの対象映像をブロック化率に応じた所定個数のブロックに分割し、分割された上記各ブロック領域に該当するピクセルのうち臨界範囲に該当するピクセルの個数が基準個数より多い場合上記ブロックに第２値を付与し、小さい場合第１値を付与し、上記ブロックに付与された値を該当ピクセル値として有するブロック映像に上記対象映像を変換する（Ｓ３００）。

上記のように対象映像がブロック映像に変換される場合、上述した検出部１１０は上記ブロック変換部１３０で変換されたブロック映像を上記二進化映像として入力する（Ｓ３１０）。

具体的な例を挙げて上記ブロック変換、ブロック化された映像の検出及びラベリング過程に対する構成を以下で説明する。

説明と理解の便宜のため、ラベリング対象映像の大きさが１００×１００であると仮定し、上記１００×１００サイズを持つ対象映像を１０×１０映像にブロック変換する場合、上記ブロック化率は１０％になり、所定個数のブロックは１００個のブロックになる。上記ブロック化率及びこれに基づいた所定個数は、ハードウェアリソースなどに基づいて応用例及び多様な使用者環境に応じて決められると解釈されることは自明である。

すなわち、図５に示したように、ブロック映像の列の大きさであるａは１０となり行の大きさであるｂが１０となるように設定し、二進化映像を示す値は上述した例と異ならせて第１値は０と、第２値は１５と設定した。

上記のようなブロック化率によりブロック化される場合、一つのブロックは１００個の原映像のピクセルを代表するようになるので、１００個の各ブロックはそれぞれ１００個のピクセルを代表するようになって原対象映像の１００,０００個のピクセルを示す。

ブロック化変換過程において変換の基準となる臨界値は各ピクセルの映像情報のうち一つを用いることが望ましい。すなわち、ピクセルには上述したように色彩に対する情報、
輝度に対する情報など多様な色空間で表現される情報などを持つようになり、人体の顔に対する検出を前提とすれば、上記多様な映像情報のうち特に、Ｃｂ、Ｃｒ情報を基準にすることが望ましい。

すなわち、ピクセルの映像情報のうちＣｂ、Ｃｒなどの値が人体の色感を示す範囲で設定された臨界範囲に該当するピクセルの個数をカウントする。上記Ｃｂ、Ｃｒの値は黄人、黒人、白人の人種に応じて特に差がないので、多くの人種に対して汎用的に使うことができるという長所がある。

従って、Ｃｂ、Ｃｒ値に対する所定の臨界範囲を設定し、該当ピクセルが上記臨界範囲に該当するか否かを判断する過程を通じて一つのブロックに該当するピクセルのうち臨界範囲に属するピクセルの数が幾つであるか判断し、上記個数を所定の基準に従って設定された基準個数と比較して上記個数が基準個数より大きい場合には第２値（１５）を、小さい場合には第１値（０）を付与する方式で運用できる。

上記基準個数も、多様な映像環境、映像の対象体特性など多様な応用例に応じて変更可能な基準値として理解されることはもちろんである。

上記のような方式に従って上記ラベリングの対象映像は第２値（１５）と第１値（０）が付与されたブロックを該当ピクセルとして持つ、すなわち、１０×１０にブロック化されたブロック映像に変換される。

上記の過程によって変換されたブロック映像を下記表１で示せば次のようである。

上記表１においては、第２値を１５で示しており第１値は０で例示している。これは上述したように、二進化映像の第１値及び第２値を表現することができる多様な応用例の一つとして解釈されなければならないことを意味する。

対象映像の視覚的認知性及びラベリングによる区分のために、ブロック映像の大きさは３２×２４で上記ブロック化率を設定することが最も望ましい。上記の大きさで設定されたブロック映像の場合、通常の映像の特性に基づいて判断すれば、約１０個程度の客体が区分でき、これは客体ごとに付与されるラベルの個数がそれくらい必要であるということを意味する。

従って、上記ラベリング部１２０は上述したように４ビットサイズのビット列を用いて上記ラベル値が付与されるように構成することが望ましい。二進数で表現された４ビットの場合、１５個の値を持つことができるので対象体を区別して付与されるラベル値の個数として最も望ましいと言える。

また、ラベリング及びこれに基づいた対象検出の性能が低下しないように維持しながら演算処理モジュールとメモリの効率性のために、対象映像の３ないし１０％くらいにブロック化率を設定することが望ましい。

図５に示すように第１値を０に、第２値を１５に二進化値を付与した理由は、基準ラベル値と異なる新しいラベル値を付与するとき、０と１５との間の値を付与するようにアルゴリズムを適用して重複するビットが発生しないようにし、付与されたラベリング値の重複可否を判断する演算が省略できるようにするためである。

上記表１の（２,２）に位置するピクセルが対象ピクセルである場合、上記対象ピクセルは第２値に該当し、３×３変換マトリックス領域に属する周囲ピクセルのピクセル値のうち第１値、第２値以外の値が存在しないので、上記対象ピクセルには新しいラベリング値が付与される。上記（２,２）のピクセルがラベリング演算のスタートであると仮定し、新しいラベリング値である１を例示的に付与して説明する。

上記表２は次の段階を示しており、変換マトリックスは右側に１移動されて（２,３）に位置したピクセルが対象ピクセルになり、上記ラベリング過程において（２,２）のピクセル値は「１」の値でラベリングされているので、周囲ピクセルは左上端から右下端の順で列挙すれば、０,０,０,１,１５,１５,１５,１５であって８個のピクセルになる。

上記変換マットリックス領域に属した８個のピクセルのうち第１値、第２値（０,１５）以外に「１」というラベル値が存在するので、上記（２,３）対象ピクセルは「１」のラベル値に変換される。すなわち、最寄りのピクセルに付与されたラベル値が隣接ピクセルのラベル値に拡張する形式をとることになる。上記のような段階を続けて適用して２番目の行に対するラベリング演算の結果は、下記表３のようである。

上記表２及び表３に示したように、（２,８）ピクセルは対象ピクセルが１５（第２値）であるので変換対象になり、（２,６）及び（２,７）ピクセルの場合対象ピクセルの値が０であるのでラベリング変換がなされない。（２,８）ピクセルの場合、周囲の８個ピクセルに０,１５以外の他の値が存在せず、かつ、既にラベル「１」の値は付与されたので、新しいラベル値である「２」の値が付与される。

上記の方法により上記１０×１０ブロック映像がラベリングされたラベリング映像の結果は次のようである。

上記のように対象映像のすべてのピクセルを演算することになり、縁部に存在するピクセルが対象ピクセルである場合には制限された変換マトリックス領域を活用することができ、また、デフォルト（ｄｅｆａｕｌｔ）値に変換して運用するなど使用者の適用方式に従って多様な変形例が可能である。

以上で詳しく説明したように、対象映像で各客体が区分できるラベリング付与作業が完了した後、同一のラベリングが付与された領域に対する特性を把握することになる。

このようなラベリング領域に対する特性は本発明のラベル情報算出部１４０で担当し、上記ラベリング部１２０から上記ラベル値が付与されたラベル映像を入力し（Ｓ３５０）、上記ラベル領域の開始点情報、終了点情報及び面積情報のうち一つ以上を含むラベル情報をラベル領域ごとに算出する（Ｓ３６０）。

上記表４に示すようにラベル映像を上記ラベル情報算出部１４０が入力すれば、同一のラベル値が付与された領域の個数は５個になり、上記５個のラベル領域に対する映像特性情報であるラベル情報を算出することになる。

ラベル値「１」が付与されたラベル領域（ＲＯＩ（Ｒａｎｇｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域）の場合、開始点は（２,２）になり終了点は（４,５）になる。上記終了点などに対する情報は実際にラベル値が付与された領域のみを基準にして定めることもでき、同一のラベル値が付与された最大アウトラインを用いた領域を活用することもできる。上記終了点が（４,５）になるのは最大アウトライン領域を活用した場合の例になる。

面積情報は実際にラベル値が付与された領域を基準にして定める場合１０になり、最外角アウトラインを基準にする場合には１２になる。上記のような方法に従ってＲＯＩごとの特性情報を算出することになり、このような情報は今後の多様な応用例で基準データとして活用される。

また、本発明のラベル情報算出部１４０は統合部１４２を含むことができ、上記統合部１４２は上記ラベル情報に該当する上記ラベル領域が相互重畳される場合、重畳されたラベル領域を統合しこの統合されたラベル領域のラベル情報を算出するように構成される。

もし、上記表５に示したようなラベル映像が生成される場合、同一ではないラベル値（「１」,「２」）が付与されたＲＯＩ‐１とＲＯＩ‐２との二つの領域が相互重畳される。このような場合、付与されたラベル値は同一ではなくても映像で表現された客体は同一の区分領域内に包摂できるように構成することが望ましい。

すなわち、「１」が付与されたラベル領域であるＲＯＩ‐１と「２」が付与されたラベル領域であるＲＯＩ‐２とを統合し、この統合されたラベル領域のラベル情報を新たに算出することが望ましい。統合されたＲＯＩをＲＯＩ‐Ｍと称する場合、ＲＯＩ‐Ｍのラベル情報の中で開始点は（２,２）、終了点は（６,８）になる。０と表現されたピクセルを除いて実際にラベル値が付与された領域のみを基準にする応用例で面積情報を算出する場合面積情報は２２になる。

新しく統合されたラベル領域（ＲＯＩ‐Ｍ）は「１」または「２」のラベル値にラベリングすることができ、また他の新しいラベル値を付与することもできる。１と２のラベル値は他のラベル領域で用いられなかったので、統合されたラベル領域に付与できる。統合された領域であることが約束された記号によって表現されるように、他のラベル値として用いられなかった新しいラベル値（例えば１０以上の値）が付与できることは言うまでもない。

本発明の一実施形態による統合過程を示した図面である図７を参照すれば、図７の（ａ）映像は統合処理前の映像情報を意味し、（ｂ）映像は統合処理後の映像情報を意味する。すなわち、図７の（ａ）映像に存在する二つのラベル領域（Ａ,Ｂ）が上記の過程を通じて一つのラベル領域（Ｃ）に統合される。

以下、本発明の他の側面による映像処理装置及び方法に対する説明を図２及び図４を通じて詳しく説明する。

上記映像処理装置及び方法は上述したラベリング技法を採用する応用例であって、上述したように、人体の顔領域、身体の特定部位領域、不良品などの映像内の特定対象体を検出する技法に関するものである。

このような特定対象体を検出する内容を説明するにあたって、前述したラベリング内容と重複する説明は略し、また構成要素を示すための参照符号は説明の便宜のために異ならせて付与しただけであるので、参照符号が同一ではなくても担当する機能が同一、類似な構成要素は同一及び類似な構成を意味する。

本発明の他の望ましい実施形態による映像処理装置の構成を示したブロック図である図２及び本発明の望ましい実施形態による映像処理方法の過程を示した流れ図である図４を参照すれば、本発明による他の望ましい実施形態による映像処理装置２００は、ブロック変換部２３０、検出部２１０、ラベリング部２２０、ラベル情報算出部２４０、フィルタリング部２５０及び検出対象判断部２６０を含む。

上記ブロック変換部２３０、検出部２１０、ラベリング部２２０、ラベル情報算出部２４０などに対しては前述したので、重複する範囲で具体的な説明は略する。

本発明の他の望ましい実施形態による映像処理装置２００の検出対象判断部２６０は、上記ラベリング部２２０から上記ラベル値が付与されたピクセルに対する情報を入力し、上記ラベル値が付与された各ピクセルの統計的算出値を用いて検出対象を判断する。

上記ラベル値が付与された各ピクセルの統計的算出値は、平均、分散、分布図、標準偏差または上記ラベル値が付与されたピクセルの個数情報など多様な情報を活用して検出しようとする検出対象と符合するラベル値が付与されたピクセルを検出する。

上記検出の精度または効率を高めるために、上記映像処理装置２００は上記ラベル値が付与されたラベル映像において同一のラベル値が付与されたラベル領域の開始点情報、終了点情報及び面積情報のうち一つ以上を含むラベル情報をラベル領域ごとに算出するラベル情報算出部２４０をさらに含むように構成することが望ましい。

上記のようにラベル情報算出部２４０がさらに構成される場合、上記検出対象判断部２６０は、上記ラベル情報算出部２４０からラベル情報の伝送を受けて検出対象を判断する基準情報に符合する程度に応じて上記各ラベル領域に対するラベル情報を分類し、上記分類されたラベル情報を用いて検出対象領域を判断する判断部２６２を含んで検出対象を判断する。

すなわち、同一のラベル値が付与された各ラベル領域の多様な情報を入力して所望の検出対象の検出のための基準情報を用いて上記基準情報と符合する程度に応じて検出対象領域を検出する。

上記基準情報に対する具体的な要素は後述する。上記基準情報に符合する程度に応じて各ラベル領域を分類し分類された最上位ラベル領域を検出の対象として判断するか、上位所定順番のラベル領域を検出対象領域として選別することもできる。

上述したように映像処理装置２００にブロック変換部２３０がさらに構成される場合、上記ブロック変換部２３０は対象映像をブロック映像に変換し（Ｓ４００）、上記検出部２１０は上記ブロック変換部２３０で変換されたブロック映像を上記二進化映像として入力して（Ｓ４１０）、伝送された二進化映像の対象ピクセルを基準にして周囲ピクセル値を検出する（Ｓ４２０）。

また、上記映像処理装置２００のラベル情報算出部２４０は、上記ラベル情報に該当する上記ラベル領域が相互重畳される場合、重畳されたラベル領域を統合しこの統合されたラベル領域のラベル情報を算出する統合部２４２を含むことができる。

すなわち、ラベリング部２２０は、上記検出部２１０から検出されたピクセル値の伝送を受け（Ｓ４３０）、検出された周囲ピクセル値と対象ピクセル値とを用いてラベリング過程を行う（Ｓ４４０）。

ラベリング過程が完了すれば、上記ラベリング部２２０はラベル映像を上記ラベリング算出部２４０に伝送し（Ｓ４５０）、ラベリング算出部２４０及びラベリング算出部２４０に含まれる統合部２４２は、上記ラベル映像のラベル領域または統合されたラベル領域のラベル情報を算出する（Ｓ４６０）。

また、上記フィルタリング部２５０は、ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）に該当するブロックであって、上記ラベリング算出部２４０からラベル情報の伝送を受け（Ｓ４７０）、伝送されたラベル情報のうちフィルタリングの基準範囲を離れるラベル領域に該当するラベル情報を除去する（Ｓ４８０）。

上記フィルタリング部２５０は図８に示すように、所望の対象を検出するために基準範囲（例えば、ピクセル個数など）に符合しないラベル領域を排除する機能を担当する。

図８においては、ピクセル個数が基準範囲より少ない場合を除去する技法によって、（ａ）に示された５個のラベル領域が（ｂ）のように一つのラベル領域にフィルタリングされる過程を示している。すなわち、図８の（ａ）映像のＡ,Ｂ,Ｃ,Ｄ及びＥの５個のラベル領域のうち、上記Ａ,Ｂ,Ｃ,Ｄのピクセル個数（大きさが象徴され得る）が基準個数より少ないのでフィルタリングされ、図８の（ｂ）映像のようにピクセル個数が基準個数より多いＥラベル領域のみが残るようになる。

顔領域の検出を一つの例として挙げて補充的に説明すれば、上述したように顔領域の臨界範囲に該当する映像情報を持つピクセルに実際の顔領域に該当するピクセルだけでなく、映像に示されている多様な背景、被写体のうち一部に上記臨界範囲に該当するピクセルが含まれる可能性がある。

このように実際の顔領域ではないにもかかわらず類似な映像情報を持つ対象体を予め排除するために、ラベル領域が基準範囲を離れる場合これに該当するラベル領域に該当するラベル情報を除去する。

フィルタリングのための基準範囲はラベル領域の個数で範囲を定めることはもちろん、多様なラベル領域の情報を用いて定められ得、検出しようとする対象の特性に符合するように多様な実験または映像で示される対象体の特性などによって客観的に算出されるように構成することが望ましい。

一例として、通常顔を検出する場合、光学機械に近接して映像を獲得するので、獲得された映像で占める大きさに対する範囲で上記基準範囲を設定することができる。また、顔を代表する客体は通常映像の中心領域に位置する場合が一般的であるので、所定大きさ以上のラベル領域が映像の中心と所定距離範囲内に存在するかなどを基準にして定めることもでき、ラベル領域の大きさのみを絶対的に比較して特定大きさ以下のラベル領域を排除する方法で定めることもできる。

上記のようにフィルタリング部２５０で基準範囲を離れるラベル情報が除去された後（Ｓ４８０）、除去されていないラベル情報のみを検出対象判断部２６０に伝送し、上記検出対象判断部２６０、特に判断部２６２は上記除去されたラベル情報以外のラベル情報を用いて検出対象領域を判断する（Ｓ４９５）。

上記判断部２６２を含む検出対象判断部２６０が上記検出対象領域を検出するとき用いる上記基準情報は、全体映像の大きさに対比されたラベル領域の大きさに対する情報、ラベル領域の全体映像における位置に対する情報、ラベル領域の縦横の割合情報、ラベル領域内に存在する第２値の個数情報のうち選択された一つ以上の情報を用いて定めるように設定できる。

上述したようにフィルタリング段階が完了した場合でも、対象検出領域と映像情報（色相など）が類似範囲にある大きい領域が残存する可能性を完全に排除できない場合もある。

従って、上記判断部２６２は検出対象の候補群に該当するラベル領域（ＲＯＩ）のうち最寄りの検出対象を選択する過程を行う。

全体映像の大きさに対比されたラベル領域の大きさに対する情報を基準情報の一つとして用いる理由は、対象映像が全体映像において非常に小さいか非常に大きい領域を占める可能性よりは、全体映像に対比して適切な大きさを持つ確率がより高いという点に基づいている。すなわち、小さい領域であれば被写体の外部に存在する他の対象体である確率が高く、極端に大きい領域である場合には背景などに該当する対象体である確率が高いからである。

位置情報は光学装置などで顔などを撮影する場合、顔がイメージの中心に置かれる場合が縁部に置かれる場合より確率的に高いので、中心となる基準点から所定範囲離隔された距離を用いて上記のように検出対象を判断する一つの基準として設定できる。

また、ラベル領域の縦横の割合情報は検出しようとする対象体の物理的な特性を反映した情報であって、検出しようとする対象体の実際の形状的特性を反映して定められる基準情報に該当する。例えば、人体の顔が検出対象である場合には、縦横に対する割合が０.１や８内外の珍しい割合よりは、０.７ないし０.８の割合が人体の顔により符合する領域に該当するので、上記のような基準情報を用いて顔領域を検出する。

さらに、ラベル領域内に存在する第２値の個数情報またはラベル領域の大きさに対比された第２値の個数情報などを基準として用いることもできる。例えば、顔の場合、正方形状であるよりは楕円形状であるので、ラベル領域（ＲＯＩ）の正方形状に対比して楕円形状が占める領域に対する割合を利用すれば、すなわち、第２値の個数情報を利用すれば、さらに顔領域検出の精度を高めることができる。

上記のような基準情報は、検出対象の物理的特性及びこれを反映した映像的特性に応じて多様な情報として設定され得、上記基準情報の選択された組み合わせによる一つ以上の基準情報を用いるように構成し得る。

上記のような基準情報によってラベル領域ごとにスコア（点数）を付与し、最上位スコアを持ったラベル領域または最上位所定番目の順番を持つラベル領域などを所望の検出対象領域として検出できるようになる。

上記本発明による映像処理装置の各構成要素は、物理的に区分される構成要素であるよりは論理的な構成要素として理解すべきである。すなわち、それぞれの構成は本発明の技術思想を実現するために論理的に区分された構成要素に該当するので、それぞれの構成要素が統合または分離して行われても本発明の論理構成が行う機能が実現できれば、本発明の範囲内にあると解釈すべきである。

上述した本発明による映像処理方法は、コンピュータで読み取りできる記録媒体にコンピュータが読み取りできるコードとして具現することができる。コンピュータが読み取りできる記録媒体は、コンピュータシステムにより読み取りできるデータが貯蔵されるすべての種類の記録媒体を含む。コンピュータが読み取りできる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ‐ＲＯＭ、磁気テープ、フロッピーディスク、光データ貯蔵装置などがあり、また搬送波（例えば、インターネットを通じた伝送）の形態で具現されることも含む。

また、コンピュータが読み取りできる記録媒体は、ネットワークで連結されたコンピュータシステムに分散し、分散方式でコンピュータが読み取りできるコードが貯蔵され実行され得る。そして、上記映像ラベリング方法または映像オブジェクトの検出方法を具現するための機能的なプログラム、コード及びコードセグメントは本発明が属する技術分野のプログラマによって容易に推論され得る。

以上のように、本発明は、たとえ限定された実施例と図面とによって説明されたが、本発明はこれによって限定されず、本発明が属する技術分野において通常の知識を持つ者により本発明の技術思想と特許請求範囲の均等範囲内で多様な修正及び変形が可能なのは言うまでもない。

なお、本明細書に添付される下記の図面は本発明の望ましい実施形態を例示するものであって、発明の詳細な説明とともに本発明の技術思想をさらに理解させる役割を果たすものであるため、本発明はそのような図面に記載された事項にのみ限定されて解釈されてはいけない。

本発明の望ましい実施形態による映像処理装置の構成を示したブロック図である。 本発明の他の望ましい実施形態による映像処理装置の構成を示したブロック図である。 本発明の望ましい実施形態による映像処理方法を示した流れ図である。 本発明の望ましい実施形態による映像処理方法を示した流れ図である。 本発明の一実施形態によるブロック化されたブロック映像に対する図面である。 本発明の望ましい一実施形態の変換マトリックスに対するラベリングフィルターを示した図面である。 本発明の一実施形態による統合（ｍｅｒｇｅ）過程を示した図面である。 本発明の一実施形態によるフィルタリング過程を示した図面である。

符号の説明

１００ 映像処理装置、
１１０ 検出部、
１２０ ラベリング部、
１３０ ブロック変換部、
１４０ ラベル情報算出部、
２００ 映像処理装置、
２１０ 検出部、
２２０ ラベリング部、
２３０ ブロック変換部、
２４０ ラベル情報算出部。
２４２ 統合部
２５０ フィルタリング部、
２６０ 検出対象判断部、
２６２ 判断部。

Claims (21)

1. 二進化映像のピクセル中ラベリング変換の対象になる対象ピクセルと前記対象ピクセルに隣接した周囲ピクセルを含む変換マトリックスによって定義される前記変換マトリックス内の前記周囲ピクセルの二進化値とラベル値とを検出する検出部と、
   前記対象ピクセルにラベル値を付与し、全ての周囲ピクセルにラベル値が付与されていない場合、対象ピクセルに新しいラベル値を付与し、前記周囲ピクセルにラベル値が付与された場合、前記対象ピクセルに同一のラベル値を付与するラベリング部と、
   前記ラベリング部から出力されるラベル値が付与された映像の同一のラベル値が付与されたラベル領域の開始点情報、終了点情報及び面積情報のうち一つ以上を含むラベル情報を前記ラベル領域ごとに算出して、前記ラベル領域が相互に重なる場合、該ラベル情報に基づいて前記ラベル領域を統合し、前記統合されたラベル領域のラベル情報を算出するラベル情報算出部と、
   を含むことを特徴とする映像処理装置。
2. 前記二進化映像のピクセルは、臨界値よりも小さい第１値または臨界値よりも大きい第２値のうちいずれか一つを有することを特徴とする請求項１に記載の映像処理装置。
3. 前記ラベリング部は、前記対象ピクセルが第２値であり、前記周囲ピクセルの全ての値が第１値または第２値である場合、前記対象ピクセルに新しいラベル値を付与し、前記対象ピクセルが第２値であり、前記周囲ピクセルのうち一つが前記第１値または第２値以外のラベル値を有する場合、前記対象ピクセルに前記周囲ピクセルのラベル値を付与することを特徴とする請求項２に記載の映像処理装置。
4. ラベリングの対象映像をブロック化率に応じた所定個数のブロックに分割し、分割された各ブロック領域に該当するピクセルの中で臨界範囲に該当するピクセルの個数が基準個数より多い場合には前記ブロックに第２値を付与し、少ない場合には前記ブロックに第１値を付与して、前記ブロックに付与された値を該当ピクセル値として有するブロック映像に前記対象映像を変換するブロック変換部をさらに含み、
   前記検出部は、前記ブロック変換部で変換されたブロック映像を前記二進化映像として入力することを特徴とする請求項１から３のいずれかに記載の映像処理装置。
5. ラベル値が付与されたピクセルの統計的算出値を用いて検出対象を判断する検出対象判断部をさらに含むことを特徴とする請求項１に記載の映像処理装置。
6. 前記検出対象判断部は、前記ラベル情報が検出対象を判断する基準情報に符合する程度に応じて前記各ラベル領域に対するラベル情報を分類し、前記分類されたラベル情報を用いて検出対象領域を判断する判断部を含むことを特徴とする請求項５に記載の映像処理装置。
7. 前記ラベル情報算出部は、更に、前記ラベル領域が相互に重なる場合、前記ラベル情報に基づいて前記ラベル領域を統合して、前記統合されたラベル領域のラベル情報を算出する統合部を有することを特徴とする請求項１に記載の映像処理装置。
8. フィルタリングの基準範囲を離れるラベル領域を除去するフィルタリング部をさらに含み、
   前記判断部は、フィルタリング後の残されたラベル領域のみのラベル情報を用いることを特徴とする請求項６に記載の映像処理装置。
9. 前記検出対象を判断する基準情報は、全体映像の大きさに対する情報、ラベル領域の大きさに対する情報、ラベル領域の全体映像における位置情報、ラベル領域の縦横割合の情報、ラベル領域内に存在する第２値の個数情報のうち一つ以上の情報を用いて定められることを特徴とする請求項６に記載の映像処理装置。
10. 二進化映像のピクセル中ラベリング変換の対象になる対象ピクセルと前記対象ピクセルに隣接した周囲ピクセルを含む変換マトリックスによって定義される前記変換マトリックス内の前記周囲ピクセルの二進化値とラベル値とを検出する検出段階と、
    前記対象ピクセルにラベル値を付与し、全ての周囲ピクセルにラベル値が付与されていない場合、前記対象ピクセルに新しいラベル値を付与し、前記周囲ピクセルにラベル値が付与された場合、前記対象ピクセルに同一のラベル値を付与するラベリング段階と、
    前記ラベリング段階で出力されるラベル値が付与された映像の同一のラベル値が付与されたラベル領域の開始点情報、終了点情報及び面積情報のうち一つ以上を含むラベル情報を前記ラベル領域ごとに算出して、前記ラベル領域が相互に重なる場合、該ラベル情報に基づいて前記ラベル領域を統合し、前記統合されたラベル領域のラベル情報を算出するラベル情報算出段階と、
    を含むことを特徴とする映像処理方法。
11. 前記二進化映像のピクセルは、臨界値よりも小さい第１値または臨界値よりも大きい第２値のうちいずれか一つを有することを特徴とする請求項１０に記載の映像処理方法。
12. 前記ラベリング段階は、前記対象ピクセルが第２値であり、前記周囲ピクセルの全ての値が第１値または第２値である場合、前記対象ピクセルに新しいラベル値を付与し、前記対象ピクセルが第２値であり、前記周囲ピクセルのうち一つが前記第１値または第２値以外のラベル値を有する場合、前記対象ピクセルに前記周囲ピクセルのラベル値を付与することを特徴とする請求項１１に記載の映像処理方法。
13. ラベリングの対象映像をブロック化率に応じた所定個数のブロックに分割し、分割された前記各ブロック領域に該当するピクセルの中で臨界範囲に該当するピクセルの個数が基準個数より多い場合には前記ブロックに第２値を付与し、少ない場合には前記ブロックに第１値を付与して、前記ブロックに付与された値を該当ピクセル値として有するブロック映像に前記対象映像を変換するブロック変換段階をさらに含み、
    前記検出段階は、前記ブロック変換段階で変換されたブロック映像を前記二進化映像として入力することを特徴とする請求項１０乃至１２のいずれかに記載の映像処理方法。
14. ラベル値が付与されたピクセルの統計的算出値を用いて検出対象を判断する検出対象判断段階をさらに含むことを特徴とする請求項１０に記載の映像処理方法。
15. 前記検出対象判断段階は、前記ラベル情報が検出対象を判断する基準情報に符合する程度に応じて前記各ラベル領域に対するラベル情報を分類し、前記分類されたラベル情報を用いて検出対象領域を判断する判断段階を含むことを特徴とする請求項１４に記載の映像処理方法。
16. 前記ラベル情報算出段階は、更に、前記ラベル領域が相互に重なる場合、前記ラベル情報に基づいて前記ラベル領域を統合して、前記統合されたラベル領域のラベル情報を算出する統合段階を含むことを特徴とする請求項１０に記載の映像処理方法。
17. フィルタリングの基準範囲を離れるラベル領域を除去するフィルタリング段階をさらに含み、
    前記検出対象判断段階は、フィルタリング後の残されたラベル領域のみのラベル情報を用いることを特徴とする請求項１５に記載の映像処理方法。
18. 前記検出対象を判断する基準情報は、全体映像の大きさに対する情報、ラベル領域の大きさに対する情報、ラベル領域の全体映像における位置情報、ラベル領域の縦横割合の情報、ラベル領域内に存在する第２値の個数情報のうち一つ以上の情報を用いて定められることを特徴とする請求項１５に記載の映像処理方法。
19. 二進化映像のピクセル中ラベリング変換の対象になる対象ピクセルと前記対象ピクセルに隣接した周囲ピクセルを含む変換マトリックスによって定義される前記変換マトリックス内の前記周囲ピクセルの二進化値とラベル値とを検出する検出段階と、
    前記対象ピクセルにラベル値を付与し、前記全ての周囲ピクセルにラベル値が付与されていない場合、対象ピクセルに新しいラベル値を付与し、前記周囲ピクセルにラベル値が付与された場合、前記対象ピクセルに同一のラベル値を付与するラベリング段階と、
    前記ラベリング段階で出力されるラベル値が付与された映像の同一のラベル値が付与されたラベル領域の開始点情報、終了点情報及び面積情報のうち一つ以上を含むラベル情報を前記ラベル領域ごとに算出して、前記ラベル領域が相互に重なる場合、前記ラベル情報に基づいて前記ラベル領域を統合し、前記統合されたラベル領域のラベル情報を算出するラベル情報算出段階と、
    を含むことを特徴とする映像処理方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取りできる記録媒体。
20. 前記ラベル情報算出部は、第１の同一ラベル値が付与された第１の同一ラベル領域の第１の最大アウトラインと第２の同一ラベル値が付与された第２の同一ラベル領域の第２の最大アウトラインが重なる場合、前記統合領域を、前記第１および第２の最大アウトラインに基づいて形成することを特徴とする請求項１に記載の映像処理装置。
21. 前記ラベル情報算出段階は、第１の同一ラベル値が付与された第１の同一ラベル領域の第１の最大アウトラインと第２の同一ラベル値が付与された第２の同一ラベル領域の第２の最大アウトラインが重なる場合、前記統合領域を前記第１および第２の最大アウトラインに基づいて形成することを特徴とする請求項１０に記載の映像処理方法。