JP4769416B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、色の特徴量と形状の特徴量とを組み合わせて画像の判別を行う画像処理装置及び画像処理方法に関する。

従来、撮影画像から当該撮影画像に含まれる撮影対象を判別する際に用いられる特徴量には様々なものがある。特徴量の一つである色の特徴量（色ヒストグラム）は、照明条件の変化に弱いという欠点がある。又、色の変化の影響を受けないように画像の輝度を用いた形状（構図）の特徴量は、画像の持つ重要な情報であるカラー情報を破棄してしまっている。近年、これら色や形状の特徴量を用いるアルゴリズムを従属もしくは並列に適用して、対象の判別を行う方法が提案されている（例えば、特許文献１）。
特開２００３−２８９５５１号公報（「００８９」〜「００９１」段落、図１０）

しかしながら、従来の判別方法では、組み合わされた特徴量のうち、どの特徴量による推定結果を重視して判別を行えば良いのかが不明であり、個別の問題に合わせて人手によって設計を行う必要があった。

そこで、本発明は、上記の課題に鑑み、カラー情報及び構図情報を用いた一つの特徴量を抽出し、照明条件の変化があっても撮影画像から撮影画像に含まれる撮影対象を正しく判別する画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の第１の特徴は、撮影画像から撮影画像に含まれる未知の撮影対象を判別する画像処理装置であって、（イ）均等色空間で表現された撮影画像の信号を量子化し、均等色空間における各軸の量子化レベルの値の頻度を色の特徴量として抽出する第１の特徴量抽出手段と、（ロ）グレースケール画像で表現された撮影画像に基づいて、グレースケール画像における各ピクセルの輝度値を形状の特徴量として抽出する第２の特徴量抽出手段と、（ハ）色の特徴量及び形状の特徴量に基づいて、色の特徴量の次元数と形状の特徴量の次元数とを結合して得られる次元数の結合特徴量を抽出する第３の特徴量抽出手段と、（ニ）結合特徴量に基づいて、未知の撮影対象を判別する判別手段とを備える画像処理装置であることを要旨とする。ここで、「次元数」とは、ベクトルである、色の特徴量、形状の特徴量、結合特徴量の各要素数をいう。例えば、色の特徴量を１００次元、形状の特徴量を１５０次元とすると、結合特徴量の次元は２５０次元となる。

第１の特徴に係る画像処理装置によると、カラー情報及び構図情報を用いた一つの特徴量を抽出し、照明条件の変化があっても撮影画像から撮影画像に含まれる撮影対象を正しく判別することができる。

又、第１の特徴に係る画像処理装置の第２の特徴量抽出手段は、撮影画像に対してローパスフィルタ処理を施した後に、各ピクセルの輝度値を形状の特徴量として抽出してもよい。又、第１の特徴に係る画像処理装置の第２の特徴量抽出手段は、撮影画像に対してモルフォロジ処理を施した後に、各ピクセルの輝度値を形状の特徴量として抽出してもよい。この画像処理装置によると、撮影画像をぼかす処理を加えることで、画像の変化があっても、より安定した判別性能を得ることができる。

又、第１の特徴に係る画像処理装置は、複数の撮影画像の結合特徴量それぞれに基づいて算出された複数の所定のパラメータを記憶する記憶手段と、所定のパラメータを算出するパラメータ算出手段とを更に備え、判別手段は、所定のパラメータを用いることにより、撮影対象を判別してもよい。この画像処理装置によると、結合特徴量を用いて算出されたパラメータを用いて、未知の撮影対象の判別を行うことができる。

又、lを既知の撮影対象の番号、N^(l)をl番目の既知の撮影対象に対する撮影画像の数、vを結合特徴量の次元の番号、Vを結合特徴量の最大次元数、γを任意の値、x^(l)をl番目の既知の撮影対象に対する撮影画像の結合特徴量、θを所定のパラメータ、x’を未知の撮影対象が含まれる撮影画像の結合特徴量、Ｆ_(l)を未知の撮影対象がl番目の既知の撮影対象に属する度合いを示す判別値として、第１の特徴に係る画像処理装置のパラメータ算出手段は、以下の式によって、所定のパラメータを算出し、

判別手段は、以下の式によって得られた判別値が最も大きい撮影画像を、撮影対象として認識してもよい。

この画像処理装置によると、結合特徴量を用いて算出されたパラメータを用いて、判別値を算出し、未知の撮影対象の判別を行うことができる。

本発明の第２の特徴は、撮影画像から撮影画像に含まれる未知の撮影対象を判別する画像処理方法であって、（イ）均等色空間で表現された撮影画像の信号を量子化し、均等色空間における各軸の量子化レベルの値の頻度を色の特徴量として抽出する第１の特徴量抽出ステップと、（ロ）グレースケール画像で表現された撮影画像に基づいて、グレースケール画像における各ピクセルの輝度値を形状の特徴量として抽出する第２の特徴量抽出ステップと、（ハ）色の特徴量及び形状の特徴量に基づいて、色の特徴量の次元数と形状の特徴量の次元数とを結合して得られる次元の結合特徴量を抽出する第３の特徴量抽出ステップと、（ニ）結合特徴量に基づいて、未知の撮影対象を判別するステップとを含む画像処理方法であることを要旨とする。

第２の特徴に係る画像処理方法によると、カラー情報及び構図情報を用いた一つの特徴量を抽出し、照明条件の変化があっても撮影画像から撮影画像に含まれる撮影対象を正しく判別することができる。

本発明によると、カラー情報及び構図情報を用いた一つの特徴量を抽出し、照明条件の変化があっても、撮影画像から撮影画像に含まれる撮影対象を正しく判別する画像処理装置及び画像処理方法を提供することができる。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

（画像処理システム）
本実施形態に係る画像処理システムは、図１に示すように、ユーザの入力を受け付けて画像処理サーバ１（画像処理装置）に処理を依頼し、画像処理サーバ１での処理結果を出力する端末装置２ａ、２ｂ、２ｃと、通信ネットワーク（インターネット等）３を介して、端末装置２ａ、２ｂ、２ｃからの処理依頼を受け付けて処理を行い、端末装置２ａ、２ｂ、２ｃに処理結果を送信する画像処理サーバ１とを備える。

ユーザは、端末装置２ａ、２ｂ、２ｃを、学習モードと判別モードの２種類のモードを切り換えて使用することができる。「学習モード」とは、既知である撮影対象を撮影し、この撮影画像と撮影対象を特定する情報を画像処理サーバ１へ送信することにより、画像処理サーバ１が撮影画像を学習するモードである。一方、「判別モード」とは、未知である撮影対象を撮影し、この撮影画像を画像処理サーバ１へ送信することにより、画像処理サーバ１が撮影対象を判別し、判別結果を、端末装置２ａ、２ｂ、２ｃへ送信するモードである。

学習モードである場合、画像処理サーバ１は、端末装置２ａ、２ｂ、２ｃから受信した、撮影対象に関する情報や撮影対象を撮影した撮影画像から撮影対象のグルーピングを行い、各撮影対象情報及び画像を記憶する。

判別モードである場合、画像処理サーバ１は、端末装置２ａ、２ｂ、２ｃの位置情報と、端末装置２ａ、２ｂ、２ｃから受信した撮影画像が撮影された位置に近い、予め登録された撮影対象の情報を取り出し、撮影画像に含まれる撮影対象を確率的に判別する。又、画像処理サーバ１は、判別結果となる複数の撮影対象の候補と、各候補が撮影対象である確率と、それら撮影対象に関連する情報を端末装置２ａ、２ｂ、２ｃに送信する。

画像処理サーバ１は、図２に示すように、通信手段１１と、判別手段１２と、特徴量抽出手段１３と、登録手段１４と、学習手段１５と、演算装置１６と、記憶装置１７とを備える。

通信手段１１は、通信ネットワーク３（インターネット等）を介し、端末装置２ａ、２ｂ、２ｃから、撮影画像及び撮影対象の情報を受信する。又、通信手段１１は、判別モードである場合、通信ネットワーク３（インターネット等）を介し、端末装置２ａ、２ｂ、２ｃへ撮影対象の情報及び判別結果を送信する。

特徴量抽出手段１３は、撮影対象を判別する際の指標となる結合特徴量を抽出する。ここで、「結合特徴量」とは、色の特徴量及び形状の特徴量を結合した特徴量をいう。具体的には、特徴量抽出手段１３は、均等色空間で表現された撮影画像の信号を量子化し、均等色空間における各軸の量子化レベルの値の頻度を色の特徴量として抽出する。又、特徴量抽出手段１３は、グレースケール画像で表現された撮影画像に基づいて、グレースケール画像における各ピクセルの輝度値を形状の特徴量として抽出する。更に、特徴量抽出手段１３は、色の特徴量及び形状の特徴量に基づいて、色の特徴量の次元数と形状の特徴量の次元数とを結合して得られる次元数の結合特徴量を抽出する。即ち、特徴量抽出手段１３は、既知の撮影画像１枚毎に、次元数（V）分の要素を有する結合特徴量（x）を抽出する。結合特徴量（x）は、一定の要素数を有するベクトルである。

学習手段１５（パラメータ算出手段）は、式（１）を用いて、特徴量抽出手段１３によって抽出された結合特徴量に基づいて、V×Lの行列からなる学習パラメータθの各要素θ_(v,l)を算出する。ここで、結合特徴量は、1〜V個の次元（要素）を有する特徴量であり、各次元の番号をvと表す。

式（１）において、lは既知の撮影対象の番号、N^(l)はl番目の既知の撮影対象に対する撮影画像の数、vは結合特徴量の次元の番号、Vは結合特徴量の最大次元数、γは任意の値、 x^(l)はl番目の既知の撮影対象に対する撮影画像の結合特徴量、θは学習パラメータである。以下の説明において、小文字で記された文字は変数であり、大文字で記された文字は固定値である。

具体的には、学習手段１５（パラメータ算出手段）は、式（１）を用いて、l番目の既知の撮影対象に属する結合特徴量のv番目の次元の学習パラメータθ _(v,l)を算出する。

判別手段１２は、判別モードの際に受信した撮影画像について、式（２）を用いて、学習手段１５（パラメータ算出手段）によって算出された学習パラメータを用いることにより、未知の撮影対象を判別する。

式（２）において、x’は未知の撮影対象が含まれる撮影画像の結合特徴量、Ｆ_(l)は未知の撮影対象がl番目の既知の撮影対象に属する度合いを示す判別値である。

具体的には、判別手段１２は、l番目の既知の撮影対象に属する結合特徴量のv番目の次元の学習パラメータθ _(v,l)を用いて、未知の撮影対象が含まれる撮影画像に属する結合特徴量x’が、l番目の既知の撮影対象に属する度合いを示すＦ_(l)の値を算出する。ここで、Ｆ_(l)の値が大きいほど、未知の撮影対象は、l番目の既知の撮影対象である確率が高いと判断する。

このように、式（２）によるＦ_(l)の算出をL回行えば、Ｆ_(l)の値に応じて、未知の撮影対象がL種類の撮影対象のどれに属するかを順位付けて判別することができる。

登録手段１４は、演算装置１６を介して記憶装置１７に撮影画像毎の結合特徴量や学習パラメータを登録する。

演算装置１６は、通信手段１１と、判別手段１２と、特徴量抽出手段１３と、登録手段１４と、学習手段１５と、記憶装置１７の動作を制御する。

又、本発明の実施の形態に係る画像処理サーバ１は、処理制御装置（ＣＰＵ）を有し、通信手段１１、判別手段１２、特徴量抽出手段１３、登録手段１４、学習手段１５などをモジュールとしてＣＰＵに内蔵する構成とすることができる。これらのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。又、記憶装置１７は、複数の撮影画像の結合特徴量、複数の撮影画像それぞれに基づいて算出された複数の所定の学習パラメータ、撮影画像データ、登録対象情報、登録対象関連情報、判定値などを保存する記録媒体である。記録媒体は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。このような記録媒体によれば、撮影画像データ、学習パラメータ、登録対象情報などの保存、運搬、販売などを容易に行うことができる。

端末装置２ａ、２ｂ、２ｃは、学習モードと判別モードの２種類のモードを切り換えることができる。

学習モードである場合、端末装置２ａ、２ｂ、２ｃは、搭載されたカメラによって、既知の撮影対象を撮影する。端末装置２ａ、２ｂ、２ｃは、予めユーザによって登録された登録対象情報と登録対象関連情報とともに、撮影画像を画像処理サーバ１に送信する。ここで、「登録対象情報」とは、撮影画像に写っている撮影対象を特定するための情報である。又、「登録対象関連情報」とは、撮影対象の位置情報、撮影対象に関連する情報（名称、ＵＲＬなど）などである。

判別モードである場合、端末装置２ａ、２ｂ、２ｃは、搭載されたカメラによって、未知の撮影対象を撮影する。端末装置２ａ、２ｂ、２ｃは、位置情報とともに、撮影画像を画像処理サーバ１に送信する。そして、端末装置２ａ、２ｂ、２ｃは、画像処理サーバ１から判別結果となる複数の撮影対象の候補と、各候補が撮影対象である確率と、それら撮影対象に関連する情報を受信し、上述したＦ_(l)の値を元に「登録対象情報」と「登録対象関連情報」を順位付けて、ユーザに提示する。ユーザは、それら順位付けされた候補の中から所望のデータを簡単に取り出すことができる。

端末装置２は、図３に示すように、入力手段２１と、通信手段２２と、出力手段２３と、撮影手段２４と、測位手段２５と、演算装置２６と、記憶装置２７とを備える。

通信手段２２は、通信ネットワーク３（インターネット）を介し、画像処理サーバ１へ、撮影画像及び撮影対象の情報を送信する。又、通信手段２２は、判別モードである場合、通信ネットワーク３（インターネット）を介し、画像処理サーバ１から、撮影対象の情報及び判別結果を受信する。

撮影手段２４は、具体的には、搭載されたカメラなどを指し、対象を撮影し、撮影画像を取得する。

測位手段２５は、端末装置２の位置や撮影対象の位置を測定する。

入力手段２１は、タッチパネル、キーボード、マウス等の機器を指す。入力手段２１から入力操作が行われると対応するキー情報が演算装置２６に伝達される。出力手段２３は、モニタなどの画面を指し、液晶表示装置（ＬＣＤ）、発光ダイオード（ＬＥＤ）パネル、エレクトロルミネッセンス（ＥＬ）パネル等が使用可能である。

演算装置２６は、入力手段２１と、通信手段２２と、出力手段２３と、撮影手段２４と、測位手段２５と、記憶装置２７の動作を制御する。又、演算装置２６は、入力手段２１から入力されたキー情報などによって、学習モードと判別モードを切り換える切換手段として動作する。

記憶装置２７は、撮影画像、登録対象情報、登録対象関連情報などを保存する記録媒体である。

（画像処理方法）
次に、画像処理方法について、図４〜９を用いて説明する。

まず、撮影画像の登録方法について、図４を用いて説明する。

（イ）まず、ステップＳ１０１において、端末装置２は、学習モードにおいて既知の登録対象を撮影し、その画像を取得する。

（ロ）次に、ステップＳ１０２において、端末装置２は、登録対象情報を入力し、ステップＳ１０３において、端末装置２は、登録対象関連情報を入力する。登録対象情報及び登録対象関連情報の入力は、撮影前に予め行っていても構わない。

（ハ）次に、ステップＳ１０４において、端末装置２は、登録対象を撮影した地点の位置情報、測位誤差、撮影時刻、可能であれば撮影対象までの距離や方向を取得する。

（ニ）次に、ステップＳ１０５において、端末装置２は、画像処理サーバ１に登録対象情報、登録対象関連情報、位置情報、取得画像データを送信する。

（ホ）次に、ステップＳ１０６において、画像処理サーバ１は、登録対象情報、登録対象関連情報、位置情報、取得画像を送信する。そして、ステップＳ１０７において、画像処理サーバ１は、登録画像の特徴量を抽出する。この特徴量の抽出方法は、後に詳述する。

（へ）次に、ステップＳ１０８において、画像処理サーバ１は、登録対象情報、登録対象関連情報、登録対象画像、特徴量及び画像処理サーバ１での登録時刻を記憶装置１７に記憶する。

次に、撮影対象を学習する方法について、図５を用いて説明する。

（イ）まず、ステップＳ２０１において、画像処理サーバ１は、記憶装置１７から撮影対象情報、撮影対象関連情報、取得画像データ、特徴量を読み出す。

（ロ）次に、ステップＳ２０２において、画像処理サーバ１は、位置情報による対象のグルーピングを行って対象を絞り込む。後述する撮影対象の判別時に随時学習を行う場合は、端末装置２から端末装置２の位置情報を受信して、検索範囲内にある撮影対象を学習する。ここで、「検索範囲」とは、判別対象を中心として半径が（測位誤差）＋（対象までの距離）以内のエリアを指す。又、ここで用いる位置情報は、任意の位置を受け付けることが可能である。例えば、予め判別が行われそうな位置を用いて学習を行っても良いし、端末の位置情報を用いて判別する際に随時学習を行っても良い。

（ハ）次に、ステップＳ２０３において、画像処理サーバ１は、対象の学習を行う。具体的には、上述した式（１）を用いて学習パラメータの算出を行う。

（ニ）次に、ステップＳ２０４において、画像処理サーバ１は、対象の学習結果（学習パラメータ）を記憶する。

次に、撮影対象を判別する方法について、図６を用いて説明する。

（イ）まず、ステップＳ３０１において、端末装置２は、判別モードにおいて未知の判別対象を撮影し、画像を取得する。次に、ステップＳ３０２において、端末装置２は、判別対象関連情報（判別対象の位置情報、その測位誤差、対象までの距離等）を取得する。

（ロ）次に、ステップＳ３０３において、端末装置２は、画像処理サーバ１に判別対象関連情報及び判別画像を送信する。次に、ステップＳ３０４において、画像処理サーバ１は、判別対象関連情報及び判別画像を受信する。次に、ステップＳ３０５において、画像処理サーバ１は、判別画像の特徴量を抽出する。この特徴量の抽出方法は、後に詳述する。

（ハ）次に、ステップＳ３０６において、画像処理サーバ１は、判別対象の絞り込みを行う。次に、ステップＳ３０７において、画像処理サーバ１は、検索範囲の学習が完了しているか否か判断する。完了している場合は、ステップＳ３０８の処理に進み、完了していない場合は、ステップＳ３０９の処理に進む。

（ニ）ステップＳ３０９において、画像処理サーバ１は、図５のステップＳ２０３において説明した学習を行う。そして、ステップＳ３０８において、画像処理サーバ１は、判別画像の特徴量と学習パラメータを用いて対象判別を確率的に行う。具体的には、具体的には、上述した式（２）を用いて判定値を求め、判別候補となる撮影画像を求める。

（ホ）次に、ステップＳ３１０において、画像処理サーバ１は、判別結果の候補に関する撮影対象情報及び撮影対象関連情報を記憶装置１７から読み出し、撮影対象情報、撮影対象関連情報、判別結果を端末装置２に送信する。

（へ）次に、ステップＳ３１０において、端末装置２は、確率的な判別結果を元に撮影対象情報と撮影対象関連情報に優先度をつけて（例えば、確率の高い候補を画面の上部に表示するなど）ユーザに提示する。これにより、ユーザは未知の登録対象に関連したＵＲＬ等のアドレスを元にして、ネットワークからさらに対象に関連する情報を引き出すことができる。

図６に示す判別処理によると、例えば、ユーザが、端末装置２によって未知の撮影対象である店舗Ａを撮影し、その撮影画像を画像処理サーバ１へ送信すると、画像処理サーバ１が店舗Ａを判別し、店舗Ａの名称、ＵＲＬ等を端末装置２に送信することができる。このため、端末装置２は、撮影画像からその撮影対象に関する情報を容易に得ることができる。

次に、図４のステップＳ１０７における特徴量の抽出方法の詳細について、図７を用いて説明する。

（イ）まず、ステップＳ４０１において、画像処理サーバ１は、端末装置２に搭載したカメラによって対象の撮影画像を取得する。この取得した画像は、カメラや端末装置２の機能によりホワイトバランス等の一般的な画像補正を行われていてもよい。

（ロ）次に、ステップＳ４０２において、画像処理サーバ１は、取得画像にノイズ除去の画像補正処理を施す。この補正画像に対して、ステップＳ４０３及びＳ４０４において、色に関する特徴量と形状（構図）に関する特徴量を得る。色の特徴量及び形状（構図）の特徴量の作成方法については、後に詳述する。

（ハ）次に、ステップＳ４０５において、それらの特徴量の次元を結合して色及び形状の特徴量を同時に表現する。色の特徴量及び形状の特徴量は、一定の要素数を有するベクトル値である。例えば、色の特徴量がＶｃ次元（Ｖｃ個の要素を有するベクトル値）、形状（構図）の特徴量がＶｓ次元（Ｖs個の要素を有するベクトル値）であるとき、両者の特徴量を結合した特徴量の次元ＶがＶ＝Ｖｃ＋Ｖｓとなるように、独立の次元として結合を行う。尚、色の特徴量と形状（構図）の特徴量を結合する際には、それぞれのベクトルの大きさのバランスを取るために、それぞれの特徴量の次元の値の合計値で各次元の値を割り、ベクトルを正規化してから結合を行ってもよい。

次に、図７のステップＳ４０３における色の特徴量の作成方法の詳細について、図８を用いて説明する。

（イ）まず、ステップＳ５０１において、画像処理サーバ１は、補正画像を視覚的に均等な空間である均等色空間（Ｌ^*、ａ^*、ｂ^*）で表現する。

（ロ）次に、ステップＳ５０２において、画像処理サーバ１は、均等色空間における各軸を独立に等間隔で量子化を行う。

（ハ）次に、ステップＳ５０３において、Ｌ^*、ａ^*、ｂ^*の量子化レベルの値の頻度を色の特徴量とする。例えば、Ｌ^*、ａ^*、ｂ^*の３軸の量子化レベルを８とした場合には、２４（＝３×８）次元の特徴量となる。

図９は、図７のステップＳ４０４における形状（構図）の特徴量の作成方法を示す。

（イ）まず、ステップＳ６０１において、補正画像を均等色空間（Ｌ^*、ａ^*、ｂ^*）で表現して、Ｌ^*成分を取り出して、グレースケール画像にする。又、このとき、処理の高速化等のために必要に応じて、画像サイズを変更しても構わない。

（ロ）次に、ステップＳ６０４において、その画像の各ピクセルの値（輝度値）を構造の特徴量とする。例えば、１２０×１２０ピクセルのサイズの画像は１４４００（＝１２０×１２０）次元の特徴量となる。

（ハ）また、ステップＳ６０２において、グレースケール画像にモルフォロジ処理や、ステップＳ６０３において、画像周波数の低い成分のみを残すローパス画像処理を施してから、その画像の各ピクセルの値（輝度値）を構造の特徴量としてもよい。画像をぼかす処理を加えることで、画像の変化があっても、より安定した判別性能が得られる。

（作用及び効果）
本実施形態に係る画像処理装置及び画像処理方法によると、色の特徴量及び形状の特徴量を結合した結合特徴量に基づいて、撮影対象を判別することができる。このため、照明条件の変化があっても撮影画像から撮影対象を正しく判別することができる。

又、本実施形態に係る画像処理装置及び画像処理方法によると、撮影画像に対してローパスフィルタ処理を施した後に、あるいは、撮影画像に対してモルフォロジ処理を施した後に、各ピクセルの輝度値を形状の特徴量として抽出することができる。このように、撮影画像をぼかす処理を加えることで、画像の変化があっても、より安定した判別性能を得ることができる。

又、本実施形態に係る画像処理装置及び画像処理方法によると、複数の撮影画像の結合特徴量それぞれに基づいて算出された複数の所定のパラメータを記憶する記憶し、所定のパラメータを用いることにより、撮影対象を判別することできる。このため、結合特徴量を用いて算出されたパラメータを用いて、撮影対象の判別を行うことができる。

又、本実施形態に係る画像処理装置及び画像処理方法によると、上述した式（１）を用いて、所定のパラメータを算出し、式（２）によって得られた判別値が最も大きい撮影画像を、撮影対象として認識することができる。このため、結合特徴量を用いて算出されたパラメータを用いて、判別値を算出し、撮影対象の判別を行うことができる。

（その他の実施の形態）
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、実施形態に係る画像処理サーバ１は、通信手段１１と、判別手段１２と、特徴量抽出手段１３と、登録手段１４と、学習手段１５をモジュールとしてＣＰＵに内蔵する構成とすることができると説明したが、それらが二つあるいはそれ以上のＣＰＵに分かれていても構わない。その際はそれらのＣＰＵ間でデータのやりとりが行えるようにバスなどで装置間を接続しているとする。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施の形態に係る画像処理システムの構成ブロック図である。 本発明の実施の形態に係る画像処理サーバの構成ブロック図である。 本発明の実施の形態に係る端末装置の構成ブロック図である。 本発明の実施の形態に係る登録処理を示すフローチャートである。 本発明の実施の形態に係る学習処理を示すフローチャートである。 本発明の実施の形態に係る判別処理を示すフローチャートである。 本発明の実施の形態に係る特徴量作成処理を示すフローチャートである。 図７のステップＳ４０３の詳細を示すフローチャートである。 図７のステップＳ４０４の詳細を示すフローチャートである。

符号の説明

１ 画像処理サーバ
２ 端末装置
１１ 通信手段
１２ 対象判別手段
１３ 特徴量抽出手段
１４ 登録手段
１５ 学習手段
１６ 演算装置
１７ 記憶装置
２１ 入力手段
２２ 通信手段
２３ 出力手段
２４ 撮影手段
２５ 測位手段
２６ 演算装置
２７ 記憶装置

Claims (5)

1. 撮影画像に含まれる未知の撮影対象を判別する画像処理装置であって、
   前記撮影画像を構成する複数のピクセルについて、均等色空間を構成する複数の軸毎の値を複数の量子化レベルで量子化し、前記複数の量子化レベルのそれぞれにおいて前記複数の軸毎に量子化された値の頻度を色の特徴量として抽出する第１の特徴量抽出手段と、
   前記撮影画像を構成する複数のピクセルの輝度値を形状の特徴量として抽出する第２の特徴量抽出手段と、
   前記色の特徴量及び前記形状の特徴量を結合して、前記色の特徴量及び前記形状の特徴量の結合である結合特徴量を抽出する第３の特徴量抽出手段と、
   複数種類の既知の撮影対象に対応する前記結合特徴量と前記撮影画像に対応する前記結合特徴量との比較によって、前記未知の撮影対象が前記複数種類の既知の撮影対象のどれに属するかを順位付けて判別する判別手段とを備え、
   前記色の特徴量を構成するパラメータ数である次元数は、前記複数の量子化レベルの数と前記複数の軸の数との乗算結果であり、
   前記形状の特徴量を構成するパラメータ数である次元数は、前記複数のピクセルの数であり、
   前記結合特徴量を構成するパラメータ数である次元数は、前記色の特徴量の次元数と前記形状の特徴量の次元数との合計であり、
   前記複数種類の既知の撮影対象に対応する前記結合特徴量は、グルーピングされた撮影画像の学習によって構成されることを特徴とする画像処理装置。
2. 前記第２の特徴量抽出手段は、前記撮影画像を構成する複数のピクセルの輝度値に対してローパスフィルタ処理を施した後に、前記ローパスフィルタ処理が施された輝度値を前記形状の特徴量として抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の特徴量抽出手段は、前記撮影画像を構成する複数のピクセルの輝度値に対してモルフォロジ処理を施した後に、前記モルフォロジ処理が施された輝度値を前記形状の特徴量として抽出することを特徴とする請求項１に記載の画像処理装置。
4. ｌを前記複数種類の既知の撮影対象を識別する番号、N^(l)をｌ番目の既知の撮影対象に対する複数の撮影画像の数、ｖを前記結合特徴量の次元を識別する番号、Ｖを前記結合特徴量の次元素、γ_（ｌ）を前記l番目の既知の撮影対象に対応するスムージング係数、x^(l)を前記l番目の既知の撮影対象に対する前記複数の撮影画像に対応する前記結合特徴量、x’を前記未知の撮影対象が含まれる前記撮影画像に対応する前記結合特徴量とした場合に、
   前記ｌ番目の既知の撮影対象に対応する前記結合特徴量θ_{（ｖ，ｌ）}は、以下の式によって、算出され、
   

   

   前記未知の撮影対象が前記ｌ番目の既知の撮影対象に属するかを順位付けるための判別値Ｆ_（ｌ）は、以下の式によって算出され、
   

   

   前記判別手段は、前記判別値Ｆ_（ｌ）に基づいて、前記未知の撮影対象が前記複数種類の既知の撮影対象のどれに属するかを順位付けて判別することを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
5. 撮影画像に含まれる未知の撮影対象を判別する画像処理方法であって、
   前記撮影画像を構成する複数のピクセルについて、均等色空間を構成する複数の軸毎の値を複数の量子化レベルで量子化し、前記複数の量子化レベルのそれぞれにおいて前記複数の軸毎に量子化された値の頻度を色の特徴量として抽出する第１の特徴量抽出ステップと、
   前記撮影画像を構成する複数のピクセルの輝度値を形状の特徴量として抽出する第２の特徴量抽出ステップと、
   前記色の特徴量及び前記形状の特徴量を結合して、前記色の特徴量及び前記形状の特徴量の結合である結合特徴量を抽出する第３の特徴量抽出ステップと、
   複数種類の既知の撮影対象に対応する前記結合特徴量と前記撮影画像に対応する前記結合特徴量との比較によって、、前記未知の撮影対象が前記複数種類の既知の撮影対象のどれに属するかを順位付けて判別する判別ステップとを備え、
   前記色の特徴量を構成するパラメータ数である次元数は、前記複数の量子化レベルの数と前記複数の軸の数との乗算結果であり、
   前記形状の特徴量を構成するパラメータ数である次元数は、前記複数のピクセルの数であり、
   前記結合特徴量を構成するパラメータ数である次元数は、前記色の特徴量の次元数と前記形状の特徴量の次元数との合計であり、
   前記複数種類の既知の撮影対象に対応する前記結合特徴量は、グルーピングされた撮影画像の学習によって構成されることを特徴とする画像処理方法。

Images