JP5896661B2

JP5896661B2 - 情報処理装置、情報処理装置の制御方法、およびプログラム

Info

Publication number: JP5896661B2
Application number: JP2011200973A
Authority: JP
Inventors: 正雄山中; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-09-14
Filing date: 2011-09-14
Publication date: 2016-03-30
Anticipated expiration: 2031-09-14
Also published as: US20130064455A1; US8792725B2; JP2013061876A

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に画像の領域分割を行う情報処理装置、情報処理装置の制御方法、およびプログラムに関する。

画像を領域ごとに分割して、当該領域分割の結果を様々な画像処理アプリケーションに対して適用することが行われている。そのため、画像を適切に分割する技術が求められている。入力画像の適切な領域分割の手法として、非特許文献１に記載の方法が提案されている。非特許文献１では、画像をグラフとよばれるデータ構造によって表現し、エネルギー最小化問題に帰着させることにより、画像の領域分割を行う技術が開示されている。

また、入力画像の適切な領域分割の手法として、非特許文献２に記載の方法が提案されている。非特許文献２では、画像の分割と統合を組み合わせて領域分割を行う技術が開示されており、この手法では分割過程で所定領域内の低次特徴量の性質が一様になるまで再帰的に小さな部分領域に分割し、統合過程で隣接するそれらの部分領域を統合して多角形に成長させていくことにより、画像の領域分割を行っている。

X. Ren, J. Malik, "Learning a classification model for segmentation，" Proc. IEEE International Conference on Computer Vision, pp. 10-17, 2003. L. Chen, The lambda-connected segmentation and the optimal algorithm forsplit-and-merge segmentation, Chinese J. Computers, 14(1991), pp 321-331 E. Sharon, A. Brandt, and R. Basri, "Fast multiscale image segmentation，" Proc. IEEE Computer Vision and Pattern Recognition, pp. 70-77, 2000. Hido, S., Tsuboi, Y., Kashima, H., Sugiyama, M., & Kanamori, T. Statistical outlier detection using diret density ratio estimation. Knowledge and Information Systems, to appear. T. Kanamori, S. Hido, and M Sugiyama. A least-squares approach to direct importance estimation. Journal of Machine Learning Research, 10:1391-1445, Jul. 2009.

しかしながら、非特許文献１のようなグラフ理論に基づく領域分割手法の場合、計算量が増大するという課題がある。また、非特許文献２のようなsplit & merge法に基づく領域分割手法の場合、分割過程で所定領域内の低次特徴量の性質が一様であることを安定的に判断する手法が確立されていないことから精度良く領域分割ができない。また非特許文献１と同様に計算量が増大するという課題がある。

上記の課題に鑑み、本発明は、画像の領域分割の処理時間を短縮させる技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
画像に対して複数の局所領域を設定する設定手段と、
前記局所領域のそれぞれから複数種類の特徴量を抽出する抽出手段と、
前記それぞれの複数種類の特徴量に対するそれぞれの確率密度の所定の統計量に基づいて、前記局所領域同士の非類似度を算出する算出手段と、
前記非類似度に基づいて複数の局所領域を領域群として統合する統合手段と、
を備えることを特徴とする。

本発明によれば、画像の領域分割の処理時間を短縮させることができる。

第１実施形態に係る情報処理装置の機能構成を示す図。第１実施形態に係る情報処理装置の局所領域設定部１１の機能について説明するための図。第１実施形態に係る情報処理装置の非類似度算出部１３の機能について説明するための図。第１実施形態に係る情報処理装置の局所領域設定部１４の機能について説明するための図。第２実施形態に係る情報処理装置の局所領域設定部１１の機能について説明するための図。第２実施形態に係る情報処理装置の非類似度算出部１３の機能について説明するための図。第２実施形態に係る情報処理装置の非類似度算出部１３の機能について説明するための図。第２実施形態に係る情報処理装置の非類似度算出部１３の機能について説明するための図。第２実施形態に係る情報処理装置の非類似度算出部１３の機能について説明するための図。

（第１実施形態）
第１の実施形態について、図１乃至図４を参照して説明する。第１実施形態では、１つの画像における異なる位置に設定された局所領域同士（第１の局所領域および第２の局所領域）の非類似度に基づいて当該局所領域同士を領域群として統合する場合について説明する。

図１は、第１実施形態に係る情報処理装置１の概略構成を示すブロック図である。本実施形態に係る情報処理装置は、半導体集積回路（ＬＳＩ）を用いて実現される。図１に示すように情報処理装置１は、局所領域設定部１１と、特徴量抽出部１２と、非類似度算出部１４と、局所領域統合部１４とを備える。これらの各構成要素は、情報処理装置１が果たす各機能にそれぞれ対応しており、不図示のＣＰＵにより各構成要素の動作が制御される。

ここで、情報処理装置１が果たす機能を大別すると２つの機能がある。１つは局所領域への分割機能であり、局所領域設定部１１を用いて当該機能が実行される。もう一つは分割された局所領域を統合していくつかの集合領域へ分類する統合機能であり、特徴量抽出部１２、非類似度算出部１３、局所領域統合部１４を用いて当該機能が実行される。

情報処理装置１を用いて得られた領域分割結果は、情報処理装置１の上位階層に伝達され、様々な画像処理アプリケーションに適用される。

局所領域設定部１１は、図２（ａ）−（ｄ）に示されるように、情報処理装置１の外部から入力される対象画像中において複数の局所領域を設定する。

ここで、局所領域設定部１１は、図２（ａ）のように、任意の大きさの円形領域を等間隔で配置することにより局所領域を設定する。あるいは、局所領域設定部１１は、図２（ｂ）のように、任意の大きさの円形領域を部分的に重複させて等間隔に配置することにより局所領域を設定してもよい。あるいは、局所領域設定部１１は、図２（ｃ）のように、任意の大きさの円形領域をランダムに配置することにより局所領域を設定してもよい。

あるいは、局所領域設定部１１は、図２（ｄ）のように、画像中の低次元特徴量（輝度値、色成分、エッジ強度、テクスチャなど）の統計的分布の相違に基づいて分割することにより局所領域を設定してもよい。あるいは、局所領域設定部１１は、非特許文献３におけるSegmentation by Weighted Aggregation(SWA)を用いて局所領域を設定してもよい。あるいは、局所領域設定部１１は、情報処理装置１の上位階層から局所領域の位置、形状、大きさ、個数などを伝達することにより局所領域を設定してもよい。

特徴量抽出部１２は、局所領域設定部１１により設定された各々の局所領域から、低次元特徴量を無作為に抽出する。ここで、低次元特徴量の種類（輝度値、エッジ強度、テクスチャなど）およびそれら各々の個数は、情報処理装置１の上位階層より、入力画像の特性に応じてあらかじめ伝達される。

非類似度算出部１３は、図３（ａ）−（ｄ）に示されるように、局所領域設定部１１により設定された空間的に隣接する２つの局所領域Ａ（第１の局所領域）と局所領域Ｂ（第２の局所領域）との非類似度Ｄを、特徴量抽出部１２により抽出された低次元特徴量の統計的分布の相違に基づいて算出する。

具体的には、一方の局所領域Ａから得られた低次元特徴量と、もう一方の局所領域Ｂから得られた低次元特徴量とを用いて推定される確率密度の比に基づいて、非類似度Ｄを算出する。

ここで、一方の局所領域Ａにおける低次元特徴量の確率密度ｐ_Ａと、もう一方の局所領域Ｂにおける低次元特徴量の確率密度ｐ_Ｂとの密度比(Ｒ＝ｐ_Ａ／ｐ_Ｂ)は、例えば、非特許文献４に記載の密度比推定法（Kullback-Leibler Importance Estimation Procedure）を用いて算出できる。

あるいは、密度比（Ｒ＝ｐ_Ａ／ｐ_Ｂ）は、例えば、非特許文献５に記載の密度比推定法（Unconstrained Least-Squares Importance Fitting）を用いて算出してもよい。

これらの非特許文献４および非特許文献５では、局所領域Ａから得られた低次特徴量を訓練データとし、さらに、局所領域Ｂから得られた低次特徴量を検証データとすることで、密度比推定のためのモデルパラメータを交差確認法により決定することで密度比推定を行っている。

これらの密度推定法では、２つの局所領域間の類似度を算出する際に、各々の局所領域内部の低次元特徴量による確率密度の直接的な算出を避け、各々の局所領域内部の低次元特徴量による確率密度の比を直接的に算出している。そのため、２つの局所領域間の類似度を安定的に算出することができる。

これらの密度比推定法を用いて、非類似度Ｄは、特徴量抽出部１２によりで抽出される低次元特徴量が単一種類である場合（例えば、輝度値Ｙのみの場合）、密度比Ｒの標準偏差σの逆数１／σで与えられる。

また、非類似度Ｄは、特徴量抽出部１２により抽出される低次元特徴量が複数種類ある場合（例えば、輝度値Ｙ、エッジ強度Ｅ、テクスチャＴの３種類の場合）、各々の低次元特徴量による密度比Ｒの標準偏差(σ_Ｙ,σ_Ｅ,σ_Ｔ)の逆数(１／σ_Ｙ, １／σ_Ｅ, １／σ_Ｔ)による線形和を用いて、式（１）のように与えられる。

さらに、非類似度Ｄは、特徴量算出部１２により抽出される低次元特徴量が複数種類である場合（例えば、Ｎ種類の場合）は、式（１）を容易に拡張でき、式（２）のように与えられる。

あるいは、より一般的に、非類似度Ｄは式（３）のようにσ_ｎ（ｎ＝０〜Ｎ）に関する非線形関数としてもよい。

なお、非類似度算出部１３は、局所領域設定部１１により設定された、隣接するすべての局所領域間の非類似度Ｄを算出して、局所領域統合部１４へ出力する。局所領域統合部１４は、非類似度算出部１３により得られた空間的に隣接する２つの局所領域間の非類似度Ｄに基づいて、局所領域設定部１１により設定された局所領域を複数のかたまり（クラスタ）に統合する。

具体的には、空間的に隣接する２つの局所領域間の非類似度Ｄが所定閾値Ｔより小さい場合、この２つの局所領域を統合する。一方、隣接する２つの局所領域間の非類似度Ｄが所定閾値Ｔ以上である場合、この２つの局所領域を統合せずに区別した状態のままにする。

この処理を隣接するすべての局所領域間に対して実行することにより、図４（ａ）−（ｄ）に示されるようなクラスタを生成する。同色（ここでは黒色）の局所領域群が類似する低次元特徴量を含有する局所領域のひとかたまり（クラスタ）を表している。ここで、図４（ａ）−（ｄ）のそれぞれのクラスタは、図２（ａ）−（ｄ）のそれぞれの局所領域による領域分割に対応している。なお所定閾値Ｔは、情報処理装置１の上位階層から入力画像の特性に応じてあらかじめ伝達される。

このようにして得られた領域分割結果は、例えば、デジタルスチルカメラ内において、領域分割して得られた各々の領域内に存在する物体カテゴリを特定し、さらに所定の物体カテゴリを高画質化するような想定下においては、情報処理装置１を制御するデジタルスチルカメラ内のＣＰＵ等を情報処理装置１の上位階層として、当該上位階層へ伝達される。

以上説明したように、本実施形態によれば、画像の領域分割の処理時間を短縮させ、また領域分割の結果を使用したその後の処理を効率的に行うことができる。

（第２実施形態）
第２実施形態について、図１、図５乃至図９を参照して説明する。ただし、第１実施形態との相違のみを説明する。

第２実施形態では、時間的に隣接する異なる２つの画像、例えば動画像を構成する時間的に連続する２つのフレーム画像に対して、それぞれの画像において対応する位置に局所領域（第１の局所領域および第２の局所領域）をそれぞれ設定する。また同様に、異なる２つの画像のそれぞれにおいて対応する位置に局所領域（第３の局所領域および第４の局所領域）をそれぞれ設定する。ただし、第１の局所領域および第２の局所領域を設定した画像における位置とは異なる位置であるものとする。すなわち、第１の画像に対して第１の局所領域および第３の局所領域を設定し、第２の画像に対して第２の局所領域および第４の局所領域を設定することになる。

そして第１の局所領域および第２の局所領域に対してこれらの領域同士の非類似度を算出し、第３の局所領域および第４の局所領域に対してこれらの領域同士の非類似度を算出する。そして、時間的に隣接する２つの局所領域間の非類似度が閾値以上の局所領域群と、閾値より小さい局所領域群とに分類するため、第１の局所領域および第３の局所領域を局所領域群として統合し、また第２の局所領域および第４の局所領域を局所領域群として統合する。なお、ここでは１つの画像において異なる位置に設定された局所領域２つを統合しているが、２つ以上の局所領域を設定して複数の局所領域を統合してもよい。

以下、本実施形態に係る情報処理装置１の各構成要素の処理について説明する。局所領域設定部１１は、動画像から切り出された時間的に隣接する２枚の画像、すなわち、図５（ａ）−（ｂ）に示されるように、時刻Ｔの画像（図５（ａ））と、時刻Ｔ＋ΔＴの画像（図５（ｂ））の各々に対して複数の局所領域を設定する。

ここで、局所領域設定部１１は、図６（ａ）−（ｂ）に示されるように、時間的に隣接する２枚の画像に対して、任意の大きさの円形領域を等間隔で配置することにより局所領域を設定する。あるいは、局所領域設定部１１は、図７（ａ）−（ｂ）に示されるように、時間的に隣接する２枚の画像に対して、任意の大きさの円形領域を部分的に重複させて等間隔に配置することにより局所領域を設定してもよい。

あるいは、局所領域設定部１１は、図８（ａ）−（ｂ）に示されるように、時間的に隣接する２枚の画像に対して、任意の大きさの円形領域をランダムに配置することにより局所領域を設定してもよい。あるいは、局所領域設定部１１は、図９（ａ）−（ｂ）に示されるように、時間的に隣接する２枚の画像に対して、画像中の低次元特徴量（輝度値、色成分、エッジ強度、テクスチャなど）の統計的分布の相違に基づいて分割することにより局所領域を設定してもよい。

あるいは、局所領域設定部１１は、時間的に隣接する２枚の画像に対して、非特許文献３におけるSegmentation by Weighted Aggregation(SWA)を用いて局所領域を設定してもよい。あるいは、局所領域設定部11は、情報処理装置１の上位階層から、局所領域の位置、形状、大きさ、個数などを伝達することにより局所領域を設定してもよい。

非類似度算出部１３は、図６（ａ）−（ｂ）乃至図９（ａ）−（ｂ）に示されるように、局所領域設定部１１により設定された、時刻Ｔの画像（図６（ａ）、図７（ａ）、図８（ａ）、図９（ａ））における局所領域Ａと、時刻Ｔ＋ΔＴの画像（図６（ｂ）、図７（ｂ）、図８（ｂ）、図９（ｂ））における局所領域Ｂとの非類似度Ｄを、特徴量抽出部１２により抽出された低次元特徴量の統計的分布の相違に基づいて算出する。ただし、局所領域Ａと局所領域Ｂとの画像中の空間的な位置（画像中における二次元的な位置）および大きさは同一とする。ここで非類似度Ｄの具体的な算出方法は、第１実施形態と同様である。

局所領域統合部１４は、非類似度算出部１３により得られた時間的に隣接する２つの局所領域間の非類似度Ｄに基づいて、局所領域設定部１１により設定された局所領域を複数のかたまり（クラスタ）に統合する。

具体的には、時間的に隣接する２つの局所領域間の非類似度Ｄが所定閾値Ｔより大きい局所領域群と、所定閾値Ｔ以下である局所領域群とに分類する。これを時間的に隣接するすべての局所領域間に対して実行することにより、図４（ａ）−（ｄ）のようなクラスタを生成する。ここで、非類似度Ｄが所定閾値Ｔより大きい局所領域群を示す同色（この例では黒色）の局所領域群は、低次元特徴量の時間的変化が顕著な局所領域のかたまりを表す。なお所定閾値Ｔは、情報処理装置１の上位階層から入力画像の特性に応じてあらかじめ伝達される。

このようにして得られた領域分割結果は、例えば、セキュリティカメラ内において、領域分割して得られた各々の領域を移動物体と静止物体とに分類し、さらに、移動物体のカテゴリ（車体、人物、動物など）を特定するような想定下においては、情報処理装置１を制御するセキュリティカメラ内のＣＰＵを情報処理装置１の上位階層として、当該上位階層へ伝達される。従って、移動物体と静止物体とを分類し、さらに、移動物体のカテゴリ（車体、人物、動物など）を効率的に特定することが可能になる。

（第３実施形態）
第１および第２実施形態における局所領域設定部１１は、局所領域として、円形状のみならず、楕円形状、矩形形状など、その他の任意形状を用いてもよい。第１および第２実施形態における非類似度算出部１３は、式（２）の代わりに、局所領域の面積sを用いた式（４）を用いてもよい。

ここで、α_０、α_１、…、α_ｎ、α_Ｎは、機械学習により予め決定された定数である。また、ｓ^２／（２ｓ＋１）は、実験によって調節された関数形の代表例であり、必ずしもこの関数形に限定されない。あるいは、第１および第２実施形態における非類似度算出部１３は、式（２）の代わりに、局所領域の面積ｓの任意関数ｆ（ｓ）を用いた式（５）を用いてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

画像に対して複数の局所領域を設定する設定手段と、
前記局所領域のそれぞれから複数種類の特徴量を抽出する抽出手段と、
前記それぞれの複数種類の特徴量に対するそれぞれの確率密度の所定の統計量に基づいて、前記局所領域同士の非類似度を算出する算出手段と、
前記非類似度に基づいて複数の局所領域を領域群として統合する統合手段と、
を備えることを特徴とする情報処理装置。
前記所定の統計量は標準偏差の逆数の線形和であることを特徴とする請求項１に記載の情報処理装置。
前記複数種類の特徴量は、輝度値、エッジ強度、テクスチャであることを特徴とする請求項１または２に記載の情報処理装置。
前記設定手段は、第１の局所領域と第２の局所領域とを、１つの画像における異なる位置に設定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
前記抽出手段は、前記第１の局所領域と第２の局所領域とのそれぞれから複数種類の特徴量を抽出し、
前記算出手段は、前記抽出されたそれぞれの複数種類の特徴量の確率密度の所定の統計量に基づいて、前記第１の局所領域と前記第２の局所領域との非類似度を算出することを特徴とする請求項４に記載の情報処理装置。
前記統合手段は、前記非類似度が閾値より小さい場合に前記第１の局所領域と前記第２の局所領域とを前記領域群として統合することを特徴とする請求項５に記載の情報処理装置。
前記設定手段は、第１の画像に対して第１の局所領域を、第２の画像に対して前記第１の局所領域に対応する位置に第２の局所領域を、それぞれ設定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
前記抽出手段は、前記第１の局所領域と前記第２の局所領域とのそれぞれから複数種類の特徴量を抽出し、
前記算出手段は、前記抽出されたそれぞれの複数種類の特徴量の確率密度の所定の統計量に基づいて、前記第１の局所領域と前記第２の局所領域との非類似度を算出することを特徴とする請求項７に記載の情報処理装置。
前記設定手段は、前記第１の画像に対して第３の局所領域を、前記第２の画像に対して前記第３の局所領域に対応する位置に第４の局所領域を、それぞれ設定し、
前記抽出手段は、前記第３の局所領域と第４の局所領域とのそれぞれから複数種類の特徴量を抽出し、
前記算出手段は、前記抽出されたそれぞれの複数種類の特徴量の確率密度の所定の統計量に基づいて、前記第３の局所領域と前記第４の局所領域との非類似度を算出することを特徴とする請求項８に記載の情報処理装置。
前記統合手段は、前記第１の局所領域と前記第２の局所領域との非類似度が閾値より小さく、且つ前記第３の局所領域と第４の局所領域との非類似度が閾値より小さい場合に、前記第１の局所領域と前記第３の局所領域とを領域群として統合することを特徴とする請求項９に記載の情報処理装置。
前記統合手段は、前記第１の局所領域と前記第２の局所領域との非類似度が閾値より小さく、且つ前記第３の局所領域と第４の局所領域との非類似度が閾値より小さい場合に、前記第２の局所領域と前記第４の局所領域とを領域群としてさらに統合することを特徴とする請求項１０に記載の情報処理装置。
画像に対して複数の局所領域を設定する設定手段と、
前記局所領域のそれぞれから特徴量を抽出する抽出手段と、
前記それぞれの特徴量に対するそれぞれの確率密度に基づいて、前記局所領域同士の非類似度を算出する算出手段と、
前記非類似度に基づいて複数の局所領域を領域群として統合する統合手段と、
を備え、
前記設定手段は、第１の画像に対して第１の局所領域と第３の局所領域とを、第２の画像に対して前記第１の局所領域に対応する位置に第２の局所領域と前記第３の局所領域に対応する位置に第４の局所領域とを、それぞれ設定し、
前記抽出手段は、前記第１の局所領域と前記第２の局所領域とのそれぞれから特徴量を抽出し、
前記算出手段は、前記抽出されたそれぞれの特徴量の確率密度の比に基づいて、前記第１の局所領域と前記第２の局所領域との非類似度を算出することを特徴とする情報処理装置。
前記統合手段は、前記第１の局所領域と前記第２の局所領域との非類似度が閾値より小さく、且つ前記第３の局所領域と第４の局所領域との非類似度が閾値より小さい場合に、前記第１の局所領域と前記第３の局所領域とを領域群として統合することを特徴とする請求項１２に記載の情報処理装置。
前記統合手段は、前記第１の局所領域と前記第２の局所領域との非類似度が閾値より小さく、且つ前記第３の局所領域と第４の局所領域との非類似度が閾値より小さい場合に、前記第２の局所領域と前記第４の局所領域とを領域群としてさらに統合することを特徴とする請求項１３に記載の情報処理装置。
設定手段と、抽出手段と、算出手段と、統合手段と、を備える情報処理装置の制御方法であって、
前記設定手段が、画像に対して複数の局所領域を設定する設定工程と、
前記抽出手段が、前記局所領域のそれぞれから複数種類の特徴量を抽出する抽出工程と、
前記算出手段が、前記それぞれの複数種類の特徴量に対するそれぞれの確率密度の所定の統計量に基づいて、前記局所領域同士の非類似度を算出する算出工程と、
前記統合手段が、前記非類似度に基づいて複数の局所領域を領域群として統合する統合工程と、
を有することを特徴とする情報処理装置の制御方法。
請求項１５に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。