JP3831232B2

JP3831232B2 - 画像処理方法

Info

Publication number: JP3831232B2
Application number: JP2001342167A
Authority: JP
Inventors: 雄隆佐藤; 俊一金子; 悟五十嵐; 義典丹羽; 山本　　和彦
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2001-11-07
Filing date: 2001-11-07
Publication date: 2006-10-11
Anticipated expiration: 2021-11-07
Also published as: JP2003141546A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に係り、詳しくは継続的に情景を撮影した画像時系列から信頼性高くロバストに物体を検出し、背景から分離するための画像パタン検出技術に関する。
【０００２】
【従来の技術】
継続的に情景を撮影した画像時系列から信頼性高くロバスト（頑強）に物体を検出し、背景から分離するための画像パタン検出技術は、例えば、羽下哲司、藤原秀人、鷲見和彦“首振り、ズームカメラを用いたトラッキング型侵入監視システム”（信学技報、ＰＲＭＵ９９−６７、１９９９）や、Ｐ．Ｌ．Ｒｏｓｉｎ“ＴｈｒｅｓｈｏｌｄｉｎｇｆｏｒＣｈａｎｇｅＤｅｔｅｃｔｉｏｎ”（Ｐｒｏｃ．ＩＣＣＶ９８，ｐｐ．２７４−２７９，１９９８）に記載されているような環境監視の分野に利用される。
【０００３】
また、Ｄ．Ｋｏｌｌｅｒ，Ｊ．Ｗｅｂｅｒ，Ｔ．Ｈｕａｎｇ，Ｊ．Ｍａｌｉｋ，Ｇ．Ｏｇａｓａｗａｒａ，Ｂ．ＲａｏａｎｄＳ．Ｒｕｓｓｅｌ，”Ｔｏｗａｒｄｓｒｏｂｕｓｔａｕｔｏｍａｔｉｃｔｒａｆｆｉｃｓｃｅｎｅａｎａｌｙｓｉｓｉｎｒｅａｌ−ｔｉｍｅ”（Ｐｒｏｃ．ＩＣＰＲ９４，ｐｐ．１２６−１３１，１９９４）、金山憲司“道路交通システムにおける画像認識の現状と技術課題”（信学技報、ＰＲＭＵ９７−３２，１９９７．）に記載されているようなＩＴＳの分野にも利用される。
【０００４】
また、Ｃ．Ｗｒｅｎ，Ａ．Ａｚａｒｂａｙｅｊａｎｉ，Ｔ．Ｄａｒｒｅ１１，Ａ．Ｐｅｎｔｌａｎｄ“Ｐｆｉｎｄｅｒ：Ｒｅａｌ−ＴｉｍｅＴｒａｃｋｉｎｇｏｆｔｈｅＨｕｍａｎＢｏｄｙ”（ＩＥＥＥＴｔａｎｓ．ＰＡＭＩ，Ｖｏｌ．１９，Ｎｏ．７，ｐｐ．７８０−７８５，１９９７．）や、Ａ．Ｍｏｈａｎ，Ｃ．Ｐａｐａｇｅｏｒｇｉｏｕ，ａｎｄＴ．Ｐｏｇｇｉｏ“Ｅｘａｍｐｌｅ−ＢａｓｅｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｉｎＩｍａｇｅｓｂｙＣｏｍｐｏｎｅｎｔｓ”（ＩＥＥＥＴｒａｎｓ．ＰＡＭＩ，Ｖｏ１．２３，Ｎｏ．４，ｐｐ．３４９−３６１，２００１．）や、棚橋英樹、島田大輔、山本和彦、丹羽義典“全方向ステレオシステム（ＳＯＳ）を用いた移動物体追跡”（信学技報、ＰＲＭＵ９９−６７，１９９９．）に記載されているような人物検出およびトラッキングにも利用されるなど、様々な分野において重要となる基本技術である。
【０００５】
特に、山本和彦、棚橋英樹、桑島茂純、丹羽義典“実環境センシングのための全方向ステレオシステム（ＳＯＳ）”（電学論、Ｖｏｌ．１２１−Ｃ，Ｎｏ．５，ｐｐ．８７６−８８１，２００１．）のような実環境センシングにおいては、情景が複雑な背景を持つ場合が多く、画像時系列中から出現物体（イベント）のみを精度よく検出および分離することが、その後の認識処理などの性能に大きな影響を与える。
【０００６】
そこで、山田浩正、伊藤渡、上田博唯“背景差分法における波の誤検出抑制法の検討”（信学技報、ＰＲＭＵ９８−１０９，１９９８．）に記載された背景差分法や、影広達彦、太田友一“動画像からの背景画像の自動生成と適応的更新”（画像の認識・理解シンポジウム（ＭＩＲＵ’９４）講演論文集ＩＩ−ｐｐ．２６３−２７０，１９９４．）に記載されたフレーム間差分法など画像の明度差に基づく手法が多く提案されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、明度差に基づく手法では、演算量が少ないというメリットを持つ反面、照明条件の変化の影響を受けやすく、更に物体表面の明度と背景の明度が近い部位は検出できず、検出領域にいわゆる「虫食い」を生ずるなどの問題があり、このため人物のトラッキングなどでは、実験条件として単純背景と単純な服装が用いなければならないという問題があった。
【０００８】
また、明度差分の問題点を補うため、差分処理を空間微分と組み合わせることで明るさの変動や影などの影響を低減した改良法として、嶺直道、八木康史、谷内田正彦“空間微分画像と差分画像の結合による変化領域検出法”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．３，ｐｐ．６３１−６３４，１９９４．）や、高藤政雄、北村忠明、小林芳樹“空間微分及び差分処理を用いた車両抽出法”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２９７６−２９８５，１９９７．）などが提案されている。しかしながら、差分処理の段階である程度まとまった領域が検出され、かつ安定にエッジが得られているという条件が必要となるなどの問題点がある。
【０００９】
また、波部斉、和田俊和、松山隆司“照明変化に対して頑健な背景差分法”（情処学会研究会資料、ＣＶＩＭ１１５−３，ｐｐ．１７−２４，１９９９．）や、藤原秀人、関真規人、鷲見和彦、波部斉“テクスチャ背景差分とシルエットモデルを用いた車両追跡手法”（第６回画像センシングシンポジウム（ＳＳＩＩ２０００）講演論文集、ｐｐ．１７−２２，２０００．）等のテクスチャに注目した手法も提案されている。これは、背景画像と対象情景をそれぞれＮ×Ｎ画素のブロックに分割し、各ブロック間でテクスチャの相違を評価するものであり、ブロックをベクトルと見立て、ブロック間の正規化距離を評価するため、明度変動に対してブロック単位で対応できるという特徴を持つ。しかし、画像をブロック分割するため、得られる差分画像の分解能が低下する問題がある。
【００１０】
また、Ｔ．Ｈｏｒｐｒａｓｅｅｒｔ，Ｄ．Ｈａｒｗｏｏｄ，Ｌ．Ｓ．Ｄａｖｉｓ“ＡＳｔａｔｉｓｔｉｃａｌＡｐｐｒｏａｃｈｆｏｒＲｅａｌ−ｔｉｍｅＲｏｂｕｓｔＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｉｏｎａｎｄＳｈａｄｏｗＤｅｔｅｃｔｉｏｎ”（ｐｒｏｃ．ＩＣＣＶ９９，１９９９．）など、カラー情報に基づいた手法の提案のように画像間の差違を、明度と色度の要素に分解して扱うモデルを提案し、明るさの変動や影、検出領域の「虫食い」の問題を低減しているが、カラーカメラが必須となるほか、照明色やカメラ特性の影響を受けやすいなどの問題もある。
【００１１】
本発明は、継続的に情景を撮影した画像時系列から信頼性高くロバストに物体を検出して背景から分離することができる画像パタン検出技術に係る画像処理方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の画像処理方法では、コンピュータに、基準画像データの任意の画素である着目点から所定方向に画素の明度を前記着目点の明度と比較しながら探索する探索のステップと、前記探索のステップにより、前記着目点から所定方向に探索して、前記着目点との明度差が所定値より最初に大きくなった画素をペア点と決定するペア点決定のステップと、基準画像データにおいて前記ペア点決定のステップで決定されたペア点の明度を前記着目点の明度と比較したときの大小関係を示す基準評価値を算出して記憶する基準評価値記憶のステップと、比較画像データにおいて前記基準画像データにおける着目点に対応する位置の画素の明度及び前記ペア点に対応する位置の画素の明度と比較したときの大小関係を示す比較評価値を算出し、１つの着目点における全てのペア点に対応する基準評価値及び比較評価値に基づき、基準評価値及び比較評価値が一致した数が所定のしきい値より少ない着目点を抽出する画素と判定する判定のステップと、前記判定のステップでの判定結果に基づいて、所定条件の着目点の画素を抽出する抽出画素決定のステップとを実行させることを要旨とする。
【００１３】
請求項１に記載の画像処理方法では、基準画像データの着目点とペア点の明度の大小関係に基づく基準評価値と、比較画像データの比較評価値とに基づいて画像の一致を画素単位で判定するため、高い解像度で画像を処理することができるという作用がある。また、明度の大小関係に基づくため、明度の絶対値に左右されにくく照明状態の変化や影になった部分の一致も正確に判定できるという作用がある。
特に、所定の明度差以上の画素をペア点とすることで、ノイズの影響を小さくしたり、照明の影響を小さくしてよりロバストな判定をすることができるという作用がある。
また、複数の対応するペア点を比較することで、ノイズや照明の影響を小さくしてよりロバストな処理を行うことができるという作用がある。
そして、多数決的な処理を行いノイズや照明の影響を小さくしてよりロバストな処理を行うことができるという作用がある。
【００１４】
請求項２に記載の画像処理方法では、請求項１に記載の画像処理方法の構成に加え、前記ペア点が、１つの着目点に対して複数の方向においてそれぞれ決定されることを要旨とする。
【００１５】
請求項２に記載の画像処理方法では、請求項１に記載の画像処理方法の作用に加え、複数のペア点により、判定のための情報量が増加してノイズの影響を受けにくくできるとともに、複数の方向でペア点をとることで等方性が向上するという作用がある。
【００１６】
請求項３に記載の画像処理方法では、請求項１又は請求項２に記載の画像処理方法の構成に加え、前記ペア点は、少なくとも前記着目点からの１の方向において複数のペア点が決定されることを要旨とする。
【００１７】
請求項３に記載の画像処理方法では、請求項１又は請求項２に記載の画像処理方法の作用に加え、ペア点の数を増やして情報量を増すことでノイズの影響を受けにくくすることができるという作用がある。
【００２０】
請求項４に記載の画像処理方法では、請求項１乃至請求項３のいずれかに記載の画像処理方法の構成に加え、前記ペア点探索のステップは、前記着目点から所定の距離内で探索されることを要旨とする。
【００２１】
請求項４に記載の画像処理方法では、請求項１乃至請求項３のいずれかに記載の画像処理方法の作用に加え、探索範囲を限定することで、処理を高速化することができるという作用がある。
【００２２】
請求項５に記載の画像処理方法では、請求項１乃至請求項４にいずれかに記載の画像処理方法の構成に加え、前記ペア点決定のステップにおける所定の条件が、探索範囲内で所定の明度差以上の画素がない場合は、探索範囲内で最も明度差が大きな画素をペア点とすることを要旨とする。
【００２３】
請求項５に記載の画像処理方法では、請求項１乃至請求項４のいずれかに記載の画像処理方法の作用に加え、所定のしきい値以上の明度差がない場合でも最も特徴的な情報に基づいて判定できるという作用がある。
【００２４】
請求項６に記載の画像処理方法では、請求項１乃至請求項５のいずれかに記載の画像処理方法の構成に加え、前記ペア点決定のステップにおける所定の条件が、画像データの周端部に達した場合は、その探索範囲内で最大の明度差の画素をペア点と決定することを要旨とする。
【００２５】
請求項６に記載の画像処理方法では、請求項１乃至請求項５のいずれかに記載の画像処理方法の作用に加え、周端部においての精度を確保することができるという作用がある。
【００２６】
請求項７に記載の画像処理方法では、請求項１乃至請求項６のいずれかに記載の画像処理方法の構成に加え、前記基準評価値及び比較評価値は、２値で表現されることを要旨とする。
【００２７】
請求項７に記載の画像処理方法では、請求項１乃至請求項６のいずれかに記載の画像処理方法の作用に加え、比較のための評価値を２値とすることで高速な処理を行うことができるという作用がある。
【００３２】
請求項８に記載の画像処理方法では、請求項１乃至請求項７のいずれかに記載の画像処理方法の構成に加え、前記しきい値は、撮像系のノイズ分布に基づいて決定されることを要旨とする。
【００３３】
請求項８に記載の画像処理方法では、請求項１乃至請求項７のいずれかに記載の画像処理方法の作用に加え、判定の誤差の原因として影響が大きい撮像系のノイズに合わせたしきい値とすることで、最も適切な処理が可能になるという作用がある。
【００３４】
請求項９に記載の画像処理方法では、請求項１乃至請求項８のいずれかに記載の画像処理方法の構成に加え、前記判定のステップは、前記基準画像データにおけるペア点の明度と前記比較画像データにおける当該ペア点の明度との差が所定のしきい値より小さい場合には、このペア点に係る評価値を判定に用いないことを要旨とする。
【００３５】
請求項９に記載の画像処理方法では、請求項１乃至請求項８のいずれかに記載の画像処理方法の作用に加え、ノイズや照明の影響を受けやすいしきい値以下の明度差の情報を排除することで、ノイズや照明の影響を小さくできるという作用がある。
【００３６】
請求項１０に記載の画像処理方法では、請求項１乃至請求項９のいずれかに記載の画像処理方法の構成に加え、前記抽出画素決定のステップにより抽出された着目点の位置に基づいて２値画像を生成する２値画像生成のステップをさらに備えたことを要旨とする。
【００３７】
請求項１０に記載の画像処理方法では、請求項１乃至請求項９のいずれかに記載の画像処理方法の作用に加え、２値画像を生成することで判定後のあと処理を容易にすることができるという作用がある。
【００３８】
請求項１１に記載の画像処理方法では、請求項１０に記載の画像処理方法の構成に加え、前記２値画像生成のステップにより生成された２値画像を平滑化して補正画像を生成する補正画像生成のステップをさらに備えたことを要旨とする。
【００３９】
請求項１１に記載の画像処理方法では、請求項１０に記載の画像処理方法の作用に加え、平滑化の処理により領域化をすることで、ノイズによるいわゆる虫食いを補正することができるという作用がある。
【００４０】
請求項１２に記載の画像処理方法では、請求項１０又は請求項１１に記載の画像処理方法の構成に加え、前記２値画像若しくは前記補正画像に対応した位置の画素を比較画像データから抽出して抽出画像を生成する抽出画像生成のステップをさらに備えたことを要旨とする。
【００４１】
請求項１２に記載の画像処理方法では、請求項１０又は請求項１１に記載の画像処理方法の作用に加え、基準画像データに対して動きのあった画像の部分のみを切り出すことができるという作用がある。
【００４２】
請求項１３に記載の画像処理方法では、請求項１２に記載の画像処理方法の構成に加え、前記基準画像データを保存しつつ、前記比較画像データを更新して処理することを要旨とする。
【００４３】
請求項１３に記載の画像処理方法では、請求項１２に記載の画像処理方法の作用に加え、比較的処理時間がかかる基準画像データを保存しておくことで、比較画像が更新された場合でも高速な処理を行うことができるという作用がある。
【００４４】
請求項１４に記載の画像処理方法では、請求項１乃至請求項１３のいずれかに記載の画像処理方法の構成に加え、前記基準画像データ及び前記比較画像データがカラーデータであることを要旨とする。
【００４５】
請求項１４に記載の画像処理方法では、請求項１乃至請求項１３のいずれかに記載の画像処理方法の作用に加え、データがカラー画像であっても明度差を用いることで照明状態に起因する色相の変化に影響されず、ロバストな処理ができるという作用がある。また、各色要素を利用した場合には、情報量を増加させることができる。
【００４６】
請求項１５に記載の画像処理方法では、請求項１乃至請求項１３のいずれかに記載の画像処理方法の構成に加え、前記基準画像データ及び前記比較画像データがグレースケールのデータであることを要旨とする。
【００４７】
請求項１５に記載の画像処理方法では、請求項１乃至請求項１３のいずれかに記載の画像処理方法の作用に加え、明度差に基づいてロバストな処理ができるという作用がある。
【００４８】
【発明の実施の形態】
以下、本発明を具体化したＲａｄｉａｌＲｅａｃｈＦｉｌｔｅｒ（ＲＲＦ）を用いた画像処理方法の一実施形態を図１〜図１０に従って説明する。
【００４９】
まず、本発明の画像処理方法の概要を説明する。ＲＲＦは、明度変動の影響を抑えながら、ピクセル単位の分解能で局所的なテクスチャを評価するために、次の２つの特徴的な要素で構成されている。
【００５０】
まず、（１）着目点から水平、垂直を含む４５度間隔で放射状（８方向）に基準（判定しきい値Ｔ_B）以上の明度差を持つ点を探索し、ペア（８組）を組む。
【００５１】
次に、（２）各ペアにおける明度の大小関係（差分の正負）を２値符号（８組分＝計８ｉｔ）とし、着目画素の評価値とする。
【００５２】
（１）は主にノイズに対するロバスト性（頑強性）を得るためである。撮像系のノイズ特性を予め測定しておくことで、（２）における符号（明度の大小関係）が反転してしまう確率を得ることができ、それに基づき判定しきい値Ｔ_Bを合理的に決定することができる。判定しきい値Ｔ_B以上の明度差を持つ点をペア対象としていることで、ノイズ成分の大部分に影響されない（ノイズによって符号が反転しない）、頑健なペアを得ることができる。さらに、特性に等方性を持たせる目的のほか、多数決的処理を導入することで評価の安定性を向上させるために、８方向について８組のペアを形成する設計とした。
【００５３】
（２）は、主に明度変動に対するロバスト性を得るためのものである。明度そのものではなく、ペア間の明度の大小関係のみに着目することで、ペアを含む領域の明度オフセットを感知しない特性を得ている。従来、村瀬一郎、金子俊一、五十嵐悟“増分符号相関法による画像照合−光沢物体及び不良照明条件に対するロバスト画像処理−”（精密工学会誌、Ｖｏ１．６６，Ｎｏ．２，ｐｐ．２６１−２６５，１９９９．）や、村瀬一郎、金子俊一、五十嵐悟“増分符号相関法によるロバスト画像照合”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８３−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．１３２３−１３３１，２０００．）では、固定の隣接画素について明度の大小関係を評価する増分符号相関法が提案されており、照明変動に対するロバストな特性が実証されているが、ＲＲＦも基本的にその統計モデルに従う。
【００５４】
図１は、実画像によるＲＲＦ画像と、単純背景差分の生成例を示す図である。上段（ａ）は、基準画像データである背景画像（ｂａｃｋｇｒｏｕｎｄ）を示し、（ｂ）は、比較画像データである出現物体を含む対象シーン（ｓｃｅｎｅ）を示す。下段は単純背景差分の例で、２値化のしきい値（ｔｈ）を、５５（ｄ）〜９５（ｆ）まで変化させた例である。出現物体表面の明度分布と背景の明度が近い部位において「虫食い」を生じている。検出領域の拡大のためにしきい値を設定すると、出現物体の影による明度変化が強く検出される（ｄ）。影の検出を抑制するために、しきい値を設定すると、検出領域が更に縮小する（ｆ）。これらに対し、（ｃ）にＲＲＦ画像の生成例を示した。それぞれ明度分布の大きく異なる袖の部分、手の部分、紙の部分、のいずれも良好に検出できていることがわかる、また、（ｄ）で見られるような影の影響も受けていないことがわかる。
【００５５】
次に、ＲＲＦの説明のための定義を示す。まず、リーチ点の決定のために、画像内の任意の位置をベクトルＰ＝（ｘ，ｙ）^Tで表すものとする。また、放射状の延長腕（リーチ）を延長する方向を表す方向ベクトルｄ_k（ｋ＝０，１，…，７）を定義する。それぞれ、ｄ₀＝（１，０）^T、ｄ₁＝（１，１）^T、ｄ₂＝（０、１）^T、ｄ₃＝（−１、１）^T、ｄ₄＝（−１，０）^T、ｄ₅＝（−１，−１）^T、ｄ₆＝（０，−１）^T、ｄ₇＝（１，−１）^Tとする。つまり、方向ベクトルｄ_k（ｋ＝０，１，…，７）は、画面上で右水平方向から反時計回りに４５度ずつ回転させた方向となる。これらに基づいて、
【００５６】
【数１】

【００５７】
を満たす最小のリーチ長ｒ_k（＝１、２、３、…、Ｌ）を求める。なお、この手順が本発明の探索のステップ及びペア点決定のステップの一例に相当する。ここで、ｆは背景画像、Ｔ_Pは明度差のしきい値、Ｌはリーチの最大長を表す。なお、明度差のしきい値Ｔ_Pの設定については後述する。
【００５８】
図２は、実画像を用いたリーチの生成例を示す図である。＋印が着目画素を示し、その周囲の点がペア点を表す。比較的細かなテクスチャを持つ（ｅ）の領域では、リーチ長ｒ_kは非常に小さいことがわかる。また図では判別しづらいが、（ｄ）もカーペットの細かなテクスチャを含んでおり、リーチ長ｒ_kが小さくなっていることがわかる。これに対し、証明によるハイライトによって明度が飽和している壁面（ｂ）や、もともとテクスチャの弱い机上（ｆ）の領域では、リーチ長ｒ_kが大きなものとなっていることがわかる。
【００５９】
なお、この図からもわかるとおり、テクスチャの「細かさ」とは相対的なものである（例えば画像を縮小すれば（ｂ）の領域も細かなテクスチャの一部となる）。ＲＲＦでは、明度差のしきい値Ｔ_Pに基づいてリーチ長ｒ_kを伸ばすことにより、上記のような意味合いにおいて、テクスチャの「大きさ」に適応してスケーリングを行っていると考えることができる。
【００６０】
図３は、各画素におけるペアとして選ばれた回数（被ペア度数）を示す図である。照明により明度が飽和している部分では、その周囲が被ペア点となっていることがわかる。また、机上などテクスチャの弱い面においても、周囲のエッジ部分に被ペア点が集中していることがわかる。しかしながら、図２（ｅ）周辺に対応する部分のように密なテクスチャを持つ部分では、比較的均一に被ペア点が分布しており、図３は単なる微分画像とは性質を異にしていることがわかる。
【００６１】
次に、ＲＲＦ画像について説明する。ここでは、決定されたリーチ点を用いて、着目画素のＲＲＦ評価値の算出を行い、これを記憶する。この手順が本発明の基準評価値記憶のステップの一例に相当する。
【００６２】
【数２】

【００６３】
ここで得られたｂ_0(p)〜ｂ_7(p)の値（計８ｂｉｔ）を、背景画像の着目点の評価値とする。次に、対象シーンｇ（ｐ）についても、同様にＲＲＦ評価値の算出を行う。
【００６４】
【数３】

【００６５】
背景画像と対象シーン間のＲＲＦ評価値の類似性を評価するために、両者間の符号の一致数Ｂを得る。
【００６６】
【数４】

【００６７】
次に、各画素における一致数Ｂの値を、ある判定しきい値Ｔ_Bと比較することにより、類似する、あるいは類似しない画素を判定する。この手順が本発明の判定のステップの一例に相当する。この判定に基づいて２値画像Ｒ_(P)を次式で定義し、これをＲＲＦ画像と呼ぶ。この手順が本発明の抽出画素決定のステップ及び２値画像生成のステップの一例に相当する。
【００６８】
【数５】

【００６９】
判定しきい値Ｔ_Bの設定については、後述する。
【００７０】
次に、しきい値の設定について説明する。ＲＲＦにおいて設定すべきしきい値は、明度差のしきい値Ｔ_Pおよび判定しきい値Ｔ_Bの２つである。これらはいずれも、撮像系のノイズ特性を考慮することで、合理的な設定が可能である。
【００７１】
まず、明度差のしきい値Ｔ_Pについて説明する。明度差のしきい値Ｔ_P（（１）式）の目的は、ペアを結ぶ条件として一定以上の明度差を持つことを規定することで、ノイズに対する耐性を高めることである。一方で、必要以上に大きな明度差のしきい値Ｔ_Pは、リーチ長ｒ_kの大きなリーチを生み出す可能性があり、ペアの一方のみが影の影響などで明度変化した場合に、空間解像度の低下が起きる可能性がある。明度差のしきい値Ｔ_Pは、撮像系のノイズ特性を測定しておくことで、予め合理的に決定することができる。通常は、測定されたノイズ分布の標準備差２σ程度に明度差のしきい値Ｔ_Pを設定することで、ノイズ成分の大部分に影響されない最小の明度差のしきい値Ｔ_Pを決定することができる。
【００７２】
図４は、図１で用いた実画像に対し、実際に明度差のしきい値Ｔ_Pの値を変化させた図である。明度差のしきい値Ｔ_P＝０の場合（ａ）は、明度差によらずペアが生成される（常にｒ_k＝１になる）。このため、テクスチャの弱い壁面などでは、明度差をほとんど持たないペアが生成され、ノイズの影響を強く受けて誤検出が発生していることがわかる。一方、複雑なテクスチャを持つ、本の並びの部分については誤検出が少ないこともわかる。
【００７３】
これに対し、（ｂ）〜（ｄ）では、テクスチャの状況によって適切なリーチ長が設定されることで、頑健なペアが形成され、テクスチャの弱い面においてもノイズの影響を受けにくくなっていることがわかる。
【００７４】
背景画像と、物体を出現させずに撮像した対象シーンの差を取るという簡易的な方法で、撮像系のノイズ分布の標準備差σ＝３．６４を得た。約２σなる（ｄ）の例では、ノイズの大部分の影響を受けない出現物体の検出ができていることがわかる。
【００７５】
図５は、図２の例における明度差のしきい値Ｔ_Pと、リーチ長ｒ_kの平均および標準備差の関係を示したグラフである。縦軸にリーチ長ｒ_k（ピクセル）、横軸に明度差のしきい値Ｔ_Pをとったものである。明度差のしきい値Ｔ_Pを増やすことで、○で示すリーチ長ｒ_kの平均および△で示す標準偏差が大きくなることがわかる。
【００７６】
次に、判定しきい値Ｔ_Bについて説明する。判定しきい値Ｔ_Bは、画像間の類似している／類似していないを決定するためのしきい値である。（５）式は、それぞれのリーチの符号ｂ_k(p)とｂ’_k(p)の一致を判定するものであり、全て一致しなければ０、全て一致すれば８の値を取る。ここで、村瀬一郎、金子俊一、五十嵐悟“増分符号相関法による画像照合−光沢物体及び不良照明条件に対するロバスト画像処理−”（精密工学会誌、Ｖｏｌ．６６，Ｎｏ．２，ｐｐ．２６１−２６５，１９９９．）に記載されているように、１つのリーチが一致する（１をとる）頻度の期待値として、一定値ｑを用いることが可能であり、前書及び、村瀬一郎、金子俊一、五十嵐悟“増分符号相関法によるロバスト画像照合”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８３−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．１３２３−１３３１，２０００．）に記載されているように、ｋ＝０〜７の８通り中１が含まれる一致数Ｂの総数は、符号の一致と非一致を独立事象とみなすと、８回のベルヌーイ試行と考えられ、その確率分布は２項分布でモデル化できることが知られている。よって、一致数Ｂの確率密度関数も２項分布となり、
【００７７】
【数６】

【００７８】
【数７】

【００７９】
と表現できる。δ（）はクロネッカーのデルタである。類似する背景部分においては、ノイズを含まないと仮定すれば一致数Ｂ＝８となる。しかし、図６に示す、一致数Ｂの確率分布を示すグラフのように、実際にはノイズを含むため、ｐ₁のような確率密度を持つと考えられる（実際には一致数Ｂは離散値であるが、ここでは便宜上連続値として扱っている。）。一方、対象画像に出現物体が含まれているとき、それによって隠される背景画像の部分に対して一般に無相関であると考えられる。無相関画像間におけるリーチの符号ｂ_k(p)とｂ’_k(p)の一致確率の期待値はランダムなビット列の一致確率と同等と考えることができ、一定値ｑ＝０．５となり、ノイズも考慮すると図６のｐ₂のような確率密度を持つと考えられる。
【００８０】
ここで図６のように判定しきい値Ｔ_Bを設定したとすると、背景部分に物体が存在すると誤認識する過誤確率Ｐ₁は、
【００８１】
【数８】

【００８２】
と表され、同様に、物体の存在を認識できない過誤確率Ｐ₂は、
【００８３】
【数９】

【００８４】
となる。ここで背景部分に物体が存在すると誤認識する場合のコスト係数をｃ₁、物体の存在を認識できない場合のコスト係数をｃ₂とすると、判定しきい値Ｔ_Bを最適に決定するためには過誤確率ｃ₁Ｐ₁＋ｃ₂Ｐ₂を最小化すればよいことになる。∂（ｃ₁Ｐ₁＋ｃ₂Ｐ₂）／∂Ｔ_B＝０を解くことにより、判定しきい値Ｔ_Bは次の明快な方程式の解として求めればよい。
【００８５】
【数１０】

【００８６】
コスト係数に偏りを設定しないときには、単純にｐ₁（Ｔ_B）＝ｐ₂（Ｔ_B）という条件となる。図７は、図１に示した実画像を用いて実測した確率分布ｐ₁とｐ₂に相当するヒストグラムの例を示す（前節までの設定法に従い明度差のしきいＴ_P＝７、リーチの最大長Ｌ＝∞としている。）。これから２項分布による確率モデルが妥当であることがわかる。
【００８７】
図８に、実際に判定しきい値Ｔ_Bを変化させて得たＲＲＦ画像を示す。図７で示したとおり、背景部分と出現物体部分の分布は重視しており、判定しきい値Ｔ_Bを変化させることで、それぞれの密度が変動するのがわかる。この例では、判定しきい値Ｔ_B＝６程度が適当であることがわかる。
【００８８】
なお、この例からもわかるように、ＲＲＦ画像は、密度差を持つ２値画像として得られる。このため、例えば領域分割などに用いるためには、何らかの画素併合処理を後処理として加えることが必要になることが予想される。
【００８９】
続いて、ＲＲＦの特性について説明する。まず、ＲＲＦの適用可能範囲について考察する。ＲＲＦはテクスチャに基づいた手法であるため、適用対象に制約を持つ。まず、背景画像として人工画像や、画像全体が０あるいは２５５に明度飽和を起こしている画像のように、テクスチャが全く存在しない画像は、原理的に対応できないため想定外としている。次に、背景画像のテクスチャが弱い場合、あるいは照明条件による明度飽和によって部分的にテクスチャが欠落している場合については、テクスチャが弱い領域についてはリーチ長ｒ_Kが大きくなるため、例えば影を検出しやすくなるなど部分的に性能が低下することが予想されるが、撮像系のノイズ特性などを考慮し適切な明度差のしきい値Ｔ_Pを設定することで、性能を保持した運用が可能である。
【００９０】
なお、本手法で想定している画像は、本稿で用いている画像群のように、カメラを用いて実環境を撮像した画像時系列（あるいはその一部）である。このような画像においては、実際に本手法でテクスチャの弱さが問題となることは少ない。
【００９１】
以下、本画像処理方法の実験について説明する。図９に、環境内に出現する物体の検出例の画像を示す。このようにＲＲＦ画像から、環境内に出現する物体の画像を検出する手順が本発明の抽出画像生成のステップの一例に相当する。前出書“全方向ステレオシステム（ＳＯＳ）を用いた移動物体追跡”記載の全方位カメラシステム（ＳＯＳ）を用いて撮像した。ＳＯＳは２０ユニットのカメラにより全方位の映像を同時取得可能なシステムであるが、今回はそのうちの１ユニットから得られる画像のグレースケール情報（２４０×３２０、８ｂｉｔ）のみを用いた。なお、元画像は、カラーデータでもよいことはいうまでもない。
【００９２】
背景画像と、（１）〜（３）までの対象シーンに対し、明度差のしきい値Ｔ_P＝５、判定しきい値Ｔ_B＝６、リーチ最大長Ｌ＝∞としてＲＲＦ画像（中央列）を得た。ＲＲＦ画像を見ると、出現物体が、その明度分布によらず良好に検出できていることがわかる。
【００９３】
図１０は、図９（３）の例について単純背景差分をとった画像である。図１０（ａ）では、出現した人物のズボンが背景のカーペットと近い明度を持つため、検出が困難であることがわかる。また、この領域を検出するため２値化のしきい値（ｔｈ）を調整すると、人物の影が強く検出され、さらにズボンの領域は依然として不十分であることがわかる（ｂ）。左下に足の一部が現れた人物の影による明度変動で、変化の起きていないコピー機（左下隅）の領域も検出されてしまっていることもわかる。
【００９４】
図９右列は、密度差を持った画像として得られるＲＲＦ画像を領域化するために、２値画像であるＲＲＦ画像を濃淡画像として扱い、
（１）３×３ボックス平均による平滑化×８回
（２）しきい値１８０により２値化
という手順による後処理を加え、得られた領域に対応する対象シーンの部分を示したものである。簡易的な後処理であるが、比較的良好に領域化され、出現物体領域が抽出されていることがわかる。この手順が本発明の補正画像生成のステップの一例に相当する。今回背景画像は常に固定で実験を行ったため、人物によって動かされた椅子の領域が（３）で検出され続けていることがわかる。
【００９５】
処理時間は、例えば、ＡＭＤ社製のＣＰＵ、Ａｔｈｌｏｎ（登録商標）ｌ．４ＧＨｚを搭載したＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）上で画像１枚当たり、リーチ長の生成に約１１０ｍｓを要した。これに対し、ＲＲＦ画像の生成は主にビット演算による実装が可能であるので１ｍｓ以下であった。処理コストを要するリーチ長の生成は、背景画像１枚に対して１回行えばよく、背景画像更新までは再計算する必要はない。このことから、実時間処理への応用も検討できることがわかる。
【００９６】
上記実施形態のＲＲＦによる画像処理方法によれば、物体表面の明度分布、あるいは影などの対象シーンの明度変化に鈍感でありながらも出現物体をロバストに抽出することができた。
【００９７】
以下に、その効果を列挙する。
○（１）特に、明度変動の影響を抑えながら、ピクセル単位の分解能で局所的なテクスチャを評価することができるという効果がある。
○（２）輝度差のしきい値および判定しきい値は、撮像系のノイズ分布に基づいて最適な値に決定可能であるという効果がある。
○（３）実画像を用いた実験によって、従来の単純明度差分を用いた方法と比較して物体表面の明度分布や、影などの対象シーンの明度変化に対してロバストであるという効果がある。
○（４）比較的単純な後処理をＲＲＦ画像に加えることにより、良好な輪郭および連続性を保った領域の抽出が可能であるという効果がある。
○（５）計算時間は、リーチ長算出に時間を要するものの、ＲＲＦ画像の算出自体のコストは小さく、実時間処理への応用が可能であるという効果がある。
【００９８】
なお、上記実施形態は以下のように変更してもよい。
○ 本実施の形態では、最大リーチ長ＬはＬ＝∞（探索打ち切り無し）として制限されていないが、（１）式の条件を満たすリーチ長ｒ_kを探索する際、探索を打ち切るしきい値Ｌを有限の値に設定することもできる。Ｌを有限に設定することで、処理の高速化が図れるという効果がある。なお、打ち切った場合に（１）打ち切った点をペア点とする（２）打ち切った場合そのペアは用いない、などの条件を適宜設定する。
【００９９】
○ 本実施の形態では、リーチが画像端に達した場合、その画像端の画素をペア点としている。このため、画像端に近接する部位では、性能がやや低下することが予想される。この場合、画像端をペア点とするような構成とすることができる。
【０１００】
○ あるいは、画像端に達するまでの区間で明度差が最大になる点をペア点とするように設定することもできる。
【０１０１】
○ また、本実施の形態では、ペア点は８方向にリーチを伸ばして探索しているが、ペア点は、１方向で１点のみ、若しくは９方向以上で９点以上のペア点を設定することもできる。ペア点が少ない場合は、ノイズの影響を受けたり、等方性が悪化するなどの影響があるが、処理速度量を小さくできるとともに、処理速度を高めることができる。一方、ペア点を多く採れば、処理量は増加するが、ノイズの影響を小さくし、且つ評価が安定する。さらに、等法性を更に向上させることができるという効果がある。
【０１０２】
○ また、本実施の形態では、ペア点は、それぞれの探索方向において最初に検出された条件に適合する１点のみをペア点として決定しているが、１の探索方向において、複数のペア点を決定するようにしてもよい。この場合は、着目点から近い順に、条件に適合する点を２点以上所定数のペア点として決定する。なお、この場合は、最初のペア点が明度差が正のしきい値を超えたような場合は、２点目のペア点は、明度差が負のしきい値を超えた点を選択するようにしてもよい。また、所定の点数までペア点を決定できなかったような場合には、その着目点のデータは、評価に用いないようにしてもよいし、決定できたペア点のみを比較するようにしてもよい。
【０１０３】
○ さらに、ペア点は、複数の方向において、それぞれ複数のペア点を決定することができる。
【０１０４】
○ なお、カラーデータを用いる場合、ＲＧＢの各要素をグレースケールとして取り扱って、それぞれのカラーについて本実施の形態のようにペア点を決定するようにしてもよい。このようにすることで３つのペア点が決定でき、情報量が３倍になることで、精度の向上が期待できる。
【０１０５】
○ また、本実施の形態では、静止画及びその連続画のみを説明したが、検出された物体の画像を動画として生成することもできる。このように動画を生成すれば、環境内に出現した物体のみを動画として得ることができる。
【０１０６】
○ さらに、背景画像は、適宜、例えば一定時間ごとに更新するようにしてもよい。このように構成することで、一定時間動きがないものに関しては、その画像を排除することができるという効果がある。
【０１０７】
次に上記実施形態及び別例から把握できる技術的思想について以下に追記する。
○ （追記１）コンピュータに、基準画像データの任意の画素である着目点から所定方向に画素の明度を前記着目点の明度と比較しながら探索する探索のステップと、前記探索のステップにより所定の条件の画素であるペア点を決定するペア点決定のステップと、基準画像データにおいて前記ペア点決定のステップで決定されたペア点の明度を前記着目点の明度と比較したときの大小関係を示す基準評価値を算出して記憶する基準評価値記憶のステップと、比較画像データにおいて前記基準画像データにおける着目点に対応する位置の画素の明度及び前記ペア点に対応する位置の画素の明度と比較したときの大小関係を示す比較評価値を算出し、前記基準評価値と比較してその一致度の判定をする判定のステップと、前記判定のステップでの判定結果に基づいて、所定条件の着目点の画素を抽出する抽出画素決定のステップとを実行させることを特徴とする画像処理プログラム。
【０１０８】
○ （追記２）コンピュータに、基準画像データの任意の画素である着目点から所定方向に画素の明度を前記着目点の明度と比較しながら探索する探索のステップと、前記探索のステップにより所定の条件の画素であるペア点を決定するペア点決定のステップと、基準画像データにおいて前記ペア点決定のステップで決定されたペア点の明度を前記着目点の明度と比較したときの大小関係を示す基準評価値を算出して記憶する基準評価値記憶のステップと、比較画像データにおいて前記基準画像データにおける着目点に対応する位置の画素の明度及び前記ペア点に対応する位置の画素の明度と比較したときの大小関係を示す比較評価値を算出し、前記基準評価値と比較してその一致度の判定をする判定のステップと、前記判定のステップでの判定結果に基づいて、所定条件の着目点の画素を抽出する抽出画素決定のステップとを実行させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【０１０９】
○ （追記３）コンピュータを備えた画像処理システムであって、前記コンピュータを、基準画像データの任意の画素である着目点から所定方向に画素の明度を前記着目点の明度と比較しながら探索する探索手段と、前記探索のステップにより所定の条件の画素であるペア点を決定するペア点決定手段と、基準画像データにおいて前記ペア点決定のステップで決定されたペア点の明度を前記着目点の明度と比較したときの大小関係を示す基準評価値を算出して記憶する基準評価値記憶手段と、比較画像データにおいて前記基準画像データにおける着目点に対応する位置の画素の明度及び前記ペア点に対応する位置の画素の明度と比較したときの大小関係を示す比較評価値を算出し、前記基準評価値と比較してその一致度を判定をする判定手段と、前記判定のステップでの判定結果に基づいて、所定条件の着目点の画素を抽出する抽出画素決定手段として機能させることを特徴とする画像処理システム。
【０１１０】
【発明の効果】
以上、詳述したように、本発明の画像処理方法は、継続的に情景を撮影した画像時系列から信頼性高くロバストに物体を検出して背景から分離することができるという効果がある。
【図面の簡単な説明】
【図１】実画像によるＲＲＦ画像と、単純背景差分の生成例を示す図。
【図２】実画像を用いたリーチの生成例を示す図。
【図３】各画素におけるペアとして選ばれた回数（被ペア度数）を示す図。
【図４】図１で用いた実画像に対し、実際に明度差のしきい値Ｔ_Pの値を変化させた図。
【図５】図２の例における明度差のしきい値Ｔ_Pと、リーチ長ｒ_kの平均および標準備差の関係を示したグラフ。
【図６】一致数Ｂの確率分布を示すグラフ。
【図７】図１に示した実画像を用いて実測した確率分布ｐ₁とｐ₂に相当するヒストグラムの例
【図８】実際に判定しきい値Ｔ_Bを変化させて得たＲＲＦ画像。
【図９】環境内に出現する物体の検出例の画像。
【図１０】図９（３）の例について単純背景差分をとった画像。
【符号の説明】
ｂａｃｋｇｒｏｕｎｄ…背景画像
ｓｃｅｎｅ…対象シーン
ＲＲＦ…ＲａｄｉａｌＲｅａｃｈＦｉｌｔｅｒ
ｔｈ…ｔｈｒｅｓｈｏｌｄ

Claims

コンピュータに、
基準画像データの任意の画素である着目点から所定方向に画素の明度を前記着目点の明度と比較しながら探索する探索のステップと、
前記探索のステップにより、前記着目点から所定方向に探索して、前記着目点との明度差が所定値より最初に大きくなった画素をペア点と決定するペア点決定のステップと、
基準画像データにおいて前記ペア点決定のステップで決定されたペア点の明度を前記着目点の明度と比較したときの大小関係を示す基準評価値を算出して記憶する基準評価値記憶のステップと、
比較画像データにおいて前記基準画像データにおける着目点に対応する位置の画素の明度及び前記ペア点に対応する位置の画素の明度と比較したときの大小関係を示す比較評価値を算出し、１つの着目点における全てのペア点に対応する基準評価値及び比較評価値に基づき、基準評価値及び比較評価値が一致した数が所定のしきい値より少ない着目点を抽出する画素と判定する判定のステップと、
前記判定のステップでの判定結果に基づいて、所定条件の着目点の画素を抽出する抽出画素決定のステップと
を実行させることを特徴とする画像処理方法。
前記ペア点が、１つの着目点に対して複数の方向においてそれぞれ決定されること
を特徴とする請求項１に記載の画像処理方法。
前記ペア点は、少なくとも前記着目点からの１の方向において複数のペア点が決定されること
を特徴とする請求項１又は請求項２に記載の画像処理方法。
前記ペア点探索のステップは、前記着目点から所定の距離内で探索されること
を特徴とする請求項１乃至請求項３のいずれかに記載の画像処理方法。
前記ペア点決定のステップにおける所定の条件が、探索範囲内で所定の明度差以上の画素がない場合は、探索範囲内で最も明度差が大きい画素をペア点とすること
を特徴とする請求項１乃至請求項４のいずれかに記載の画像処理方法。
前記ペア点決定のステップにおける所定の条件が、画像データの周端部に達した場合は、その探索範囲内で最大の明度差の画素をペア点と決定すること
を特徴とする請求項１乃至請求項５のいずれかに記載の画像処理方法。
前記基準評価値及び比較評価値は、２値で表現されること
を特徴とする請求項１乃至請求項６のいずれかに記載の画像処理方法。
前記しきい値は、撮像系のノイズ分布に基づいて決定されること
を特徴とする請求項１乃至請求項７のいずれかに記載の画像処理方法。
前記判定のステップは、前記基準画像データにおけるペア点の明度と前記比較画像データにおける当該ペア点の明度との差が所定のしきい値より小さい場合には、このペア点に係る評価値を判定に用いないこと
を特徴とする請求項１乃至請求項８のいずれかに記載の画像処理方法。
前記抽出画素決定のステップにより抽出された着目点の位置に基づいて２値画像を生成する２値画像生成のステップをさらに備えたこと
を特徴とする請求項１乃至請求項９のいずれかに記載の画像処理方法。
前記２値画像生成のステップにより生成された２値画像を平滑化して補正画像を生成する補正画像生成のステップをさらに備えたこと
を特徴とする請求項１０に記載の画像処理方法。
前記２値画像若しくは前記補正画像に対応した位置の画素を比較画像データから抽出して抽出画像を生成する抽出画像生成のステップをさらに備えたこと
を特徴とする請求項１０又は請求項１１に記載の画像処理方法。
前記基準画像データを保存しつつ、前記比較画像データを更新して処理することを特徴とする請求項１２に記載の画像処理方法。
前記基準画像データ及び前記比較画像データがカラーデータであること
を特徴とする請求項１乃至請求項１３のいずれかに記載の画像処理方法。
前記基準画像データ及び前記比較画像データがグレースケールのデータであること
を特徴とする請求項１乃至請求項１３のいずれかに記載の画像処理方法。