JP6804965B2 - 画像処理装置、画像処理システム、および画像処理方法 - Google Patents

Description

本発明は、画像内に含まれる物体を検出するための画像処理技術に関する。

近年、スマートホンあるいはドライブレコーダーなどにより撮像された画像内の道路標識や店舗看板などの情報を読み取り、道路標識や店舗看板の種類と位置の情報を地図情報に付加するリッチコンテンツに対するニーズが高まっている。例えば、スマートホンあるいはドライブレコーダーなどの車載端末にて、車両から見える画像あるいは映像を撮像し、得られた画像あるいは映像に含まれる画像から標識など道路上付属物を検出する。そして、車載端末は、検出した道路上付属物の情報をセンタのサーバーに送信する。サーバーでは、道路上付属物の情報が正常に認識されたものであることを確認して地図情報に付加する。

特許文献１には、画像から道路上付属物を検出する技術が開示されている。特許文献１に記載の技術では、車両内に設置されたカメラで撮像した画像から道路標識を認識して、認識した道路標識の示す情報と地図情報とを比較し、それらに差分があったら、その差分の情報を地図情報に追加する。道路標識には、規制、指示、警告、案内等を示す本標識と、本標識の意味や内容を補足する補助標識がある。

ＷＯ２００６−１０１０１２号公報

しかしながら、運転者や歩行者のために道路に設置される標識には多くの種類があり、様々な種類の標識が車両から撮影した画像内に存在する可能性がある。また、そのような多くの標識の中にはよく似たものもある。そのため、多くの可能性のある標識の中から正しい標識を特定するのは容易ではない。また、車両からの撮影は、標識が設置された位置、撮影日の天候、撮影した時間帯などにより条件が様々に異なり、撮影される画像の明るさや影のかかり方などが大きく異なる。このため、実際に画像処理を行ってみると画像内の本標識や補助標識を誤認識することがある。その結果、この種のシステムにおいて標識の情報を正確に収集するのは困難であった。

また、車載端末が認識した標識の情報をサーバーに送信し、サーバーが受信した標識の情報を地図情報に付加するシステムでは、車載端末が標識を誤認識する場合がある。車載端末が標識を誤認識し、標識の情報と地図情報の間に、本来はない差分があると判断してしまうと、車載端末とサーバーの間で不要な通信が発生し、車載端末のデータ通信量を増大させてしまう。

本発明の目的は、画像から精度よく物体を認識する技術を提供することである。

本発明の一態様による画像処理装置は、
物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を記憶する記憶部と、
対象画像内における物体を検出する物体検出部と、
前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、前記選択した識別器を用いて、前記物体検出部が検出した物体を認識する物体認識部と、を有する。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

画像から物体を検出し、地図情報に付加された、物体および位置の情報をもとに好適な識別器を選びその識別器を用いて物体を識別するので、画像から精度よく物体を認識することができる。

第１の実施形態による画像処理装置の機能構成を示すブロック図である。 第１の実施形態による画像処理装置１のハードウェア構成例を示す図である。 明暗補正部１２の動作の一例を説明するための図である。 明暗補正部１２の動作の一例を説明するための図である。 色解析部１３の動作の一例を説明するための図である。 物体検出部１４の動作の一例を説明するための図である。 物体検出部１４の動作の一例を説明するための図である。 第１の実施形態における物体認識部１５の処理について説明するための図である。 信頼度判定部１６の動作の一例を説明するための図である。 描画部１８の動作の一例を説明するための図である。 第１の実施形態による画像処理装置１の動作例を示すフローチャートである。 第２の実施形態による警告装置１２００の構成を示す機能ブロック図である。 第３の画像処理装置を搭載したＰＯＩ情報作成システム１３００の構成を示す機能ブロック図である。 第４の画像処理装置を搭載した警告システム１４００の構成を示す機能ブロック図である。 第５の画像処理装置を搭載した簡易誘導システム１５００の構成を示す機能ブロック図である。

一般に、地図情報などの付加情報として道路上付属物を検出するためには、全てのルートを車両で走行し、道路付属物を撮影しなければならない。それには多額の調査費用がかかってしまう。また、新設された道路や工事により変更となった道路上の道路付属物をタイムリーに地図情報に反映できない。

そこで、以下に示す本発明の実施形態では、車載端末（例えば、スマートホン、ドライブレコーダー、カーナビ等）を使用し、複数（不特定多数）のユーザが撮影した画像から道路付属物を検出し、タイムリーに地図情報に反映することを可能としている。

ところで、車載端末で撮影した映像の画像内に映っている可能性がある標識には多種がある。標識には大きく分けて本標識と補助標識がある。本標識は、図柄の形状や色によって所定の内容を示すものが多い。補助標識は、文字や記号によって所定の情報を示すものが多い。標識の誤認識が多発すると標識の情報を効率よく収集できない恐れがある。

標識を認識して地図情報に反映するシステムにはサーバーにて地図情報を管理するものもある。スマートホンにて撮影した画像から標識を認識し、標識に変化があると、新たな標識情報をサーバーに送信し、サーバーはスマートホンから受信した標識情報に基づいて地図情報を更新する。その結果、地図情報には最新の標識情報が付加された状態が維持される。しかし、その構成では、スマートホンにて標識の誤認識が多発すると、標識が変化したことを意味する差分情報が多発し、スマートホンからサーバーへ標識情報を通知する通信が頻繁に発生し、データ通信量が増えてしまう。例えば、特許文献１の技術を用いることにより多種の本標識や補助標識の検出が可能であるが、誤認識の抑制は考慮されていないため、多種類の標識を認識対象とすることで誤認識が増えてスマートホンとサーバー間のデータ通信量が増える恐れがある。

そこで、以下に示す本発明の実施形態では、車載端末で撮影した画像から物体を認識するとき、地図情報に基づいて識別器を切り替えて用いることにより、誤認識を低減する技術を提案する。

また、本発明の実施形態では、映像内の画像の明るさが変わっても、画像内の背景と背景内の物体を分離し、物体検出の精度を向上する技術を提供する。

以下、添付図面を参照して本発明の実施形態について説明する。

添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

また、本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装や形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアプログラムとして実装しても良いし、専用ハードウェアとして、またはソフトウェアとハードウェアの組み合わせで実装しても良い。

以下では、ソフトウェアプログラムで実現される各処理部（例えば、明暗補正部等）」を主語（動作主体）として各処理について説明を行う。ソフトウェアプログラムはプロセッサ（ＣＰＵ等）によって実行されることにより、所定の処理をメモリ及び通信ポート（通信制御装置）を用いながら行うので、プロセッサを主語とすることも可能である。

（１）第１の実施形態
＜画像処理装置の機能構成＞
図１は、第１の実施形態による画像処理装置の機能構成を示すブロック図である。画像処理装置１は、入力部１０と、色空間変換部１１と、明暗補正部１２と、色解析部１３と、物体検出部１４と、物体認識部１５と、信頼度判定部１６と、更新部１７と、描画部１８と、記憶部１９と、制御部９１と、を有している。

当該画像処理装置１は、第１および第２の実施形態のように、スマートホン等の携帯移動端末装置内に実装しても良いし、第３〜第５の実施形態ように、携帯移動端末装置とネットワークを介して接続されるサーバー内に実装しても良い。

画像処理装置１における、入力部１０、色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体認識部１５、信頼度判定部１６、更新部１７、描画部１８、及び記憶部１９は、ソフトウェアプログラムによって実現しても良いし、ハードウェアモジュールとして実現することもできる。

入力部１０には、動画像データが入力される。例えば、入力部１０は、ドライブレコーダー等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得し、入力部１０に、その画像を入力画像として入力してもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、後述するように、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。

色空間変換部１１は、入力部１０からＲＧＢの入力画像を取得し、その入力画像の色空間をＬａｂに変換する。色空間が変更された画像は、明暗補正部１２に与えられる。

明暗補正部１２は、メモリ９０に記憶した過去画像の色の明るさ情報と現在の画像の色の明るさ情報を用いて、現在の画像の色の明るさ変化量を求め、その明るさ変化量を用いて明暗を補正した画像を作成する。その結果、補正された画像は明暗が強調され、物体が検出されやすくなる。

色解析部１３は、入力画像の３原色の関係を解析し、各画素における３原色間の差分値と色解析用の閾値を比較し、差分値が閾値より大きければ、その画素の色を補正する。その結果、補正された画像は色の部分が明確となり、物体が検出されやすくなる。

物体検出部１４は、明暗補正部１２による補正後の画像から、画像内の物体を背景から分離するための閾値を求める。更に、物体検出部１４は、その閾値を用いて、その画像内の背景と背景内の物体の領域を分離し、背景内の物体の領域を検出する。

物体検出部１４は、色解析部１３による補正後の画像から、矩形を構成する物体の領域を分離し、背景内の物体の領域を検出する。

物体認識部１５は、地図情報に応じて物体の識別器を切換え、物体検出部１４にて検出された物体が何かを識別する。例えば標識には様々な種類がある。標識を識別する場合、標識の種類に応じて、識別に適した識別器を準備しておく。地図情報には、標識の種類と設置位置の情報を含む標識情報（物体情報）が付加されている。物体認識部１５は、地図情報に付加されている標識情報を参照することで、物体検出部１４にて検出された物体の位置に設置されているであろう標識を知ることができる。標識に変更がなければ、物体検出部１４にて検出された物体は、地図情報に付加されている標識情報が示す標識であるはずである。また、標識に変更があったとしても類似する種類の標識に変更されている可能性が比較的高い。例えば、速度制限の標識が設置されていた位置には、制限速度の異なる速度制限の標識が設置される可能性が高い。これらのことを考慮して物体認識部１５が選択する識別器を決定してもよい。

信頼度判定部１６は、複数の画像から検出され、認識された物体の緯度および経度が示す位置に基づき、その物体がその位置で検出された検出頻度を算出し、その検出頻度から検出した物体の信頼度を判定する。

更新部１７は、物体認識部１５にて認識された物体について、信頼度判定部１６で算出された検出頻度を取得し、サーバーからその位置に存在すると登録されている物体の検出頻度を取得し、前者の検出頻度が後者の検出頻度より高ければ地図情報を更新する。

描画部１８は、物体認識部１５で物体が認識された画像において、認識された物体を囲む枠（検出枠）を画像上に描画する。

記憶部１９は、描画部１８で原画像上に検出枠を描画した画像のデータをメモリ９０に保存する。

制御部９１は、プロセッサがソフトウェアプログラムを実行することで実現され、画像処理装置１内の各部、すなわち、入力部１０、色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体認識部１５、信頼度判定部１６、更新部１７、描画部１８、及び記憶部１９に接続される。画像処理装置１の各部の動作は、上述した各部の自律的な動作、又は制御部９１の指示による動作である。

このように本実施形態の画像処理装置１では、色空間変換部１１で求めた色空間変換後の画像と、明暗補正部１２で算出した画像の明るさ（色の明るさ）の変化量を用いて、画像毎に画像の明暗強調割合を変更し、色解析部１３で原色の差分値を解析して色をマスクした画像が作成される。また、物体検出部１４で明暗補正後の画像から閾値が求まり、その閾値を用いて、画像内の背景と背景内の物体の領域が分離され、背景内の物体の領域が検出される。また、色解析部１３による色がマスクされた画像から矩形を構成する物体の領域が分離され、背景内の物体の領域が検出される。さらに、物体認識部１５にて地図情報を用いて識別器を切り替えながら物体を認識する処理により、画像における物体が認識される。認識された物体の検出頻度が高ければ、更新部１７で地図情報が更新される。

＜画像処理装置のハードウェア構成＞
図２は、第１の実施形態による画像処理装置１のハードウェア構成例を示す図である。

画像処理装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザが指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。

メモリ２０２は、入力部１０と、色空間変換部１１と、明暗補正部１２と、色解析部１３と、物体検出部１４と、物体認識部１５と、信頼度判定部１６と、更新部１７と、描画部１８と、記憶部１９とをそれぞれ実現するソフトウェアプログラムを格納する。

記憶装置２０３は、物体を検出し認識する処理を行う対象画像（後述の画像Ｎ）よりも前に撮影された過去画像（後述の画像Ｎ−１までの画像）、明暗補正部１２によって生成された画像の各画素値、算出された画像毎の閾値等を記憶している。

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスである。例えば、出力装置２０４は、描画部１８によって生成されたデータの画像をディスプレイ画面上に表示する。

入力装置２０５は、キーボード、マウス、マイク等のデバイスである。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像処理装置１に入力されたりする。

通信デバイス２０６は、ネットワークを介してデータ通信を行うデバイスであり、例えば、ネットワークに接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。通信デバイス２０６は、画像処理装置１としては必須の構成ではなく、携帯移動端末に通信デバイスが含まれる場合には、画像処理装置１は通信デバイス２０６を保持していなくても良い。

なお、ここでは本実施形態の画像処理装置１のハードウェア構成として、ＣＰＵ２０１、メモリ２０２、および記憶装置２０３などを備える情報処理装置である例を示したが、本発明がこれに限定されることはない。色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体認識部１５、信頼度判定部１６、更新部１７、および描画部１８の一部あるいは全部が専用ハードウェアで構成されていてもよい。

＜各部の構成と動作＞
以下、画像処理装置１の各部の構成と動作について詳細に説明する。

（i）色空間変換部１１
色空間変換部１１は、例えば、入力画像のＲＧＢ色空間をＬａｂ色空間に変換した画像を生成する。Ｌａｂ色空間変換により、入力画像のＬ値、ａ値、及びｂ値が取得される。Ｌ値は明度のような情報であり、ａ値およびｂ値は色情報である。

（ii）明暗補正部１２
図３は、明暗補正部１２の動作の一例を説明するための図である。色空間変換部１１で求めた、画像ＮをＬａｂ色空間に変換した後の画像を画像ＮＡとする。明暗補正部１２は、画像ＮＡの色情報（ａ値又はｂ値）を用いて、図４に示すように、画像ＮＡの領域Ｒ２内の色情報（色の明るさ：ａ値又はｂ値）の平均値ａｖｅＲ２を算出する。また、明暗補正部１２は、メモリ９０（記憶装置２０３に相当）から画像Ｎ−１の領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を読込む。画像Ｎ−１は画像Ｎの１つ前の画像である。

次に、明暗補正部１２は、下記式１を用いて、画像Ｎ−１までの過去の画像の色の明るさ（ａ値又はｂ値）の平均値をブレンドしたａｖｅＲ１と画像Ｎの色の明るさの平均値ａｖｅＲ２をブレンドした平均値ａｖｅＲＮを算出する。

ただし、式１において、Ｃ１＝Ｃ２＋Ｃ３である。ここで、補正画像における過去の画像からの色の明るさの変化を緩やかにしたい場合には過去の画像の重みＣ２を大きくすればよい。逆に、補正画像の色の明るさを現在の画像（現画像）の方に劇的に変化させたい場合には現画像の重みＣ３を大きくすればよい。ただし、Ｃ３を大きくして現画像を重視し過ぎると正確に明暗補正できない場合がある。そのため、ある程度は過去の画像も考慮する必要がある。つまり、Ｃ２をあまり小さくし過ぎるべきではない。過去の画像から補正画像への色の明るさの変化を緩やかにしたい場合、例えば、Ｃ２を０．９とし、Ｃ３を０．１に設定することが考えられる。また、補正画像の色の明るさを現画像の方に劇的に変化させたい場合、例えばＣ２及びＣ３を０．５に設定することが考えられる。

また、明暗補正部１２は、下記式２を用いて、倍率値ｖを算出する。倍率値ｖは、明暗をどの程度強調するかを示す値である。

ただし、式２において、ａｖｅＲ１の値がａｖｅＲ２の値以上の場合には、Ｅ１をａｖｅＲ２、Ｅ２をａｖｅＲ１とする。ａｖｅＲ１の値がａｖｅＲ２の値より小さい場合には、Ｅ１をａｖｅＲ１、Ｅ２をａｖｅＲ２とする。なお、倍率値ｖは固定値であっても良い。

さらに、明暗補正部１２は、下記式３を用いて、画像ＮＡの領域Ｒ２内の色の明るさの平均値よりも暗い画素についてはより暗く、画像ＮＡの領域Ｒ２内の色の明るさの平均値よりも明るい画素についてはより明るくなるように画像ＮＡを補正する。

このような補正をすることにより、入力された画像においては、背景に埋もれて見えづらかった物体が検出しやすくなる。ただし、式３において、ｃｎは、画像ＮＡの各画素のａ値もしくはｂ値を示す。領域Ｒ２は、検出および認識の対象となる物体が存在する可能性のある領域である。例えば、道路標識を対象とするのであれば、道路標識の高さを考慮し、画像の上部を領域Ｒ２とすればよい。

明暗補正部１２は画素毎に補正された画素値ｃｎＣｏｒを求め、画像ＮＡの明暗を補正した画像ＮＢを作成する。

（iii）色解析部１３
図５は、色解析部１３の動作の一例を説明するための図である。色解析部１３は、色の３原色であるR(Red)、G(Green)、B(Blue)について、下記（式４）を用いて、各原色の差分の絶対値s_R、s_G、s_Bを求める。各値s_R、s_G、s_Bが全て閾値Th_s以下（例えば、Th_s＝３０）の場合、原画の画素値を設定し、s_R、s_G、s_Bのどれか一つでも閾値Th_sを超える場合は、R、G、Bの値に全て0を設定し、色をマスクした画像ＭＢを作成する。ただし、式４において、absは絶対値を示す。

（iv）物体検出部１４
物体検出部１４は、下記（式５）を用いて、画像毎に閾値Ｔｈを求める。

ここで、ａｖｅＲＮは、式１で求めた、画像Ｎ−１までの過去の画像の色の明るさの平均値をブレンドしたａｖｅＲ１と画像Ｎの色の明るさの平均値ａｖｅＲ２をブレンドした平均値である。αは、閾値を平均値ａｖｅＲＮの上下に調整するパラメータである。平均値ａｖｅＲＮを閾値Ｔｈとして用いる場合よりも、より明るい画素だけを抽出したい場合はαをプラス（正）値とすればよい。平均値ａｖｅＲＮを閾値Ｔｈとして用いる場合よりも、より暗い画素だけを抽出したい場合はαをマイナス（負）値とすればよい。αの値を調整することにより、対象物体をより切り出しやすくすることができる。

画像ＮＡの画素がａ値の場合、物体検出部１４は、αをプラス値として画像毎に閾値Ｔｈを求める。そして、物体検出部１４は、画素値と閾値Ｔｈを比較し、画素値≧Ｔｈの画素は画素値をｓ値（例えば、ｓ＝２５５）に設定し、画素値＜Ｔｈの画素は画素値をｔ値（例えば、ｔ＝０）に設定する。そうすることにより背景と物体を明確に分離した画像が作成される。その結果、より明るい物体（主に赤、黄色の物体）を効率よく分離できるようになる。

或いは、画像ＮＡの各画素がｂ値の場合、物体検出部１４は、αをマイナス値として画像毎に閾値Ｔｈを求める。そして、物体検出部１４は、画素値≦Ｔｈの画素の画素値をｓ値（例えば、ｓ＝２５５）に設定し、画素値＞Ｔｈの画素の画素値をｔ値（例えば、ｔ＝０）に設定する。そうすることにより背景と物体を明確に分離した画像が作成される。その結果、より暗い物体（主に青、緑色の物体）を効率よく分離できるようになる。

従って、物体検出部１４の処理により、例えば、図６の画像ＮＢの領域Ｒ２は、物体検出部１４の処理を行うと、画像ＮＤに示すように背景と物体（例：本標識３１）に分離可能となる。領域Ｒ２から検出した物体には本標識の候補が多く含まれる。

また、物体検出部１４は、色解析部１３の処理により、画像ＭＢの領域Ｒ２から矩形を求め、背景と物体の領域を分離した画像を作成する。例えば、図７の画像ＭＢの領域Ｒ２について、物体検出部１４の処理を行うと、画像ＭＣに示すように背景と物体（例：補助標識３２）に分離可能となる。領域Ｒ２から検出した物体には補助標識の候補が多く含まれる。

（v）物体認識部１５
物体認識部１５は、地図情報に付加された標識情報に応じて標識の識別器を切換え、物体検出部１４にて検出された物体が何の標識（本標識、補助標識等）かを識別する処理を実行する。この場合、一例として、物体認識部１５は、ニューラルネットワークを用いて機械学習により画像の特徴量から識別器を作成し、その識別器を用いて、検出した物体を識別する。

例えば、予め、標識毎に、標識を３クラスに識別する識別器Ａと、標識をＮクラスに識別する識別器Ｂという２種類の識別器を作成しておく。識別器Ａは、例えば、判定値が０であれば物体が標識以外のものであることを示す。また、判定値が１であれば物体が対象標識であることを示す。また、判定値が２であれば、物体が対象標識以外の標識であることを意味する。

また、識別器Ｂは、例えば、判定値が０であれば物体が標識以外のものであることを示す。判定値が１であれば物体が「止まれ」の標識であることを示す。同様に、判定値により各種の標識であることを示し、判定値がＮであれば物体が「車両進入禁止」の標識であることを示す。ただし、Ｎは識別する標識の数を示す。

図８は、第１の実施形態における物体認識部１５の処理について説明するための図である。図８において、(a)(c)(e)(g)は地図情報に付加された標識情報を示している。(b)(d)(f)(h)は、標識を認識する対象画像である。

図８の(a)に示すように、地図の標識情報８２が最高速度５０の速度制限の標識である場合、最高速度５０の速度制限の標識を対象標識として識別する３クラス識別器Ａに切換え、図８の(b)に示す、物体検出部１４で検出した物体の標識８１を、３クラス識別器Ａを用いて識別する。

識別器Ａの判定結果が０の場合は、標識８１は標識でない物体であると判定されたため、画像処理装置１が搭載されたスマートホンはサーバーに標識８１の標識情報を送信しない。また、識別器Ａの判定結果が１の場合、標識８１は地図情報に付加された標識情報が示す標識と同じである。サーバーは既に標識８１の情報を把握しているため、スマートホンからサーバーに標識８１の標識情報を送信しない。

また、図８の(c)と(d)に示すように、地図の標識情報８４が最高速度６０の速度制限の標識であり、画像内の標識８３が最高速度５０の速度制限の標識であった場合、識別器Ａの判定結果は２となる。現地に設置された標識が変わった可能性があるため、スマートホンはサーバーに標識８３の画像と位置情報を送信する。

また、図８の(e)と(f)に示すように、地図の標識情報８５が最高速度５０の速度制限の標識であり、画像内で物体が検出されない場合、標識情報８５の標識が撤去された可能性があるため、スマートホンはサーバーに標識情報８５の標識がないという情報と位置情報を送信する。

また、図８の(g)の場合は地図に標識情報がないため、特定の標識を対象標識とした識別器を用いることができない。そのため、その場合にはＮクラス識別器Ｂを用いて、(h)に示す画像Ｎ内の標識８６を識別する。識別器Ｂの判定結果が０以外であれば、何か標識の可能性があるため、スマートホンはサーバーに標識８６の画像と位置情報を送信する。判定結果が０の場合は、標識８６は標識以外の物体である可能性が高いため、スマートホンはサーバーに何も送信しない。以上の処理により、物体検出部１４で検出した物体が識別したい標識、例えば本標識や補助標識等であるか否かを高い精度で判定することが可能となる。ただし、地図の標識情報は、車両の走行に合わせて地図情報と一緒に切り換る。

なお、ここでは地図情報に標識情報がない場合には、Ｎクラス識別器を用いて標識を識別することとしたが、これに限定されることはない。

他の例として、画像処理装置1を搭載した他の端末で既に標識が認識されていれば、他の端末からサーバーへ認識した標識について標識と位置の情報を通知し、サーバーは自装置に接続した端末にその情報を配信することにしてもよい。そして、情報を受信した端末は、その情報に基づいて識別器を選択することにしてもよい。

また、更に他の例として、地図情報に標識情報がない場合には、本実施形態で利用しているような３クラス（あるいは２クラス）の識別器を順次切り替えて、最も可能性が高い物体を選択することで、物体を認識することにしてもよい。

また、その際、３クラス（あるいは２クラス）の識別器の全部あるいは一部を用いた処理を並列処理することにしてもよい。

（vi）信頼度判定部１６
信頼度判定部１６は、図９に示すように、検出した物体の撮影時の位置情報から緯度および経度を求め、その位置の検出頻度を累積して、メモリ９０（記憶装置２０３に相当）に格納する。なお、物体の位置は、撮影時のスマートホンの位置情報と、スマートホンの方位情報と、画像から推定されるスマートホンから物体までの距離と、に基づいて算出することができる。

各標識の種別毎に、複数のユーザによる検出結果や同じユーザによる複数回の検出結果が蓄積される。そして、信頼度判定部１６は、累積した検出頻度を予め設定された閾値Ｔｈ_ｈと比較し、検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した物体の（緯度、経度）の信頼度Ｃが高いと判定する。このように信頼度を判定するのは、撮影する移動体（例えば、自動車）によって移動速度や撮影位置（高さや道路の走行位置）が異なる場合があるため、計測される緯度及び経度が微妙に異なることがあるためである。

（vii）更新部１７
更新部１７は、信頼度判定部１６が求めた標識Ａの検出頻度Ａ１とサーバーから受信した標識Ａと同じ位置の標識Ｂの検出頻度Ｂ１とを比較し、必要に応じて地図情報を更新する。すなわち、標識Ａと標識Ｂが同じ標識であれば、更新部１７は地図情報を更新しない。標識Ａと標識Ｂが異なる標識であり、検出頻度Ｂ１が検出頻度Ａ１（Ａ１がＴｈ＿ｈ以上）を超える場合は、更新部１７は、地図上の標識Ａから標識Ｂに変更する。標識Ａと標識Ｂが異なる標識であっても、検出頻度Ｂ１が検出頻度Ａ１を超えない場合、更新部１７は地図情報を更新しない。検出頻度Ａ１がＴｈ＿ｈ未満で検出頻度Ｂ１が閾値Ｔｈ＿Ｂ１以上である場合、更新部１７は地図上の標識Ａを標識Ｂに変更する。検出頻度Ａ１がＴｈ＿ｈ未満で検出頻度Ｂ１も閾値Ｔｈ＿Ｂ１未満である場合、更新部１７は地図情報を更新しない。

（viii）描画部１８
描画部１８は、物体認識部１５で認識された物体の信頼度Ｃが所定値よりも高いと判定された場合、図１０に示されるように、図３の画像Ｎに対して物体を囲むように検出枠を描画する（画像ＮＥ参照）。一方、物体の信頼度Ｃが低いと判定された場合、すなわち検出頻度が閾値Ｔｈ_ｈに達していない場合、描画部１８は、上述のような検出枠を画像Ｎ上に描画しない。

（ix）記憶部１９
記憶部１９は、描画部１８で原画像Ｎ上に検出枠を描画した画像のデータをメモリ９０に保存する。

＜画像処理装置の処理手順＞
図１１は、第１の実施形態による画像処理装置１の動作例を示すフローチャートである。以下では、各処理部、すなわち入力部１０、色空間変換部１１等を動作主体として説明するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

（i）ステップ１１０１
入力部１０は、入力された画像を受け付け、当該入力画像を色空間変換部１１に出力する。

（ii）ステップ１１０２
色空間変換部１１は、入力部１０が出力した画像ＮすなわちＲＧＢの色空間画像を、一例としてＬａｂ色空間画像に変換することにより画像ＮＡを求める。

（iii）ステップ１１０３
明暗補正部１２は、色空間変換部１１で求めた画像ＮＡから、画像ＮＡの領域Ｒ２内の色の明るさの平均値ａｖｅＲ２を算出する。また、明暗補正部１２は、メモリ９０から画像Ｎ−１（時間的に１つ前の画像）の領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を読込む。そして、明暗補正部１２は、上述の式１〜式３を用いて、明暗を補正した画像ＮＢを生成する。

（iv）ステップ１１０４
色解析部１３は、上述の式４を用いて、各３原色の差分の絶対値s_R、s_G、s_Bを求め、それらの値を閾値Th_sと比較し、色をマスクした画像ＭＢを作成する。例えば、図５の画像Ｎの領域Ｒ２は、図５の色解析後の画像ＭＢに示すように背景と物体に分離可能となる。

（v）ステップ１１０５
物体検出部１４は、上述の式５を用いて、画像毎に閾値Ｔｈを求める。

（vi）ステップ１１０６
物体検出部１４は、明暗を補正した画像ＮＢの各画素値ｃｎＣｏｒを閾値Ｔｈと比較する。すなわち、画像ＮＢの各画素がａ値のとき、ｃｎＣｏｒ≧閾値Ｔｈの場合、処理はステップ１１０７に移行する。一方、ｃｎＣｏｒ＜閾値Ｔｈの場合、処理はステップ１１０８に移行する。なお、画像ＮＢの各画素がｂ値のとき、ｃｎＣｏｒ≦閾値Ｔｈであれば物体検出部１４はステップ１１０７に移行する。一方、ｃｎＣｏｒ＞閾値Ｔｈであれば物体検出部１４はステップ１１０８に移行する。

（vii）ステップ１１０７
画像ＮＢの各画素がａ値及びｂ値の何れの場合でも、物体検出部１４は、補正値にｓ値（例えば、２５５）を設定する。

（viii）ステップ１１０８
画像ＮＢの各画素がａ値及びｂ値の何れの場合でも、物体検出部１４は、補正値にｔ値（例えば、０）を設定する。

（ix）ステップ１１０９
物体検出部１４は、対象画像内の全ての画素について補正値が求まるまで、上記ステップ１１０６から１１０８を繰り返す。ステップ１１０６から１１０８のステップを繰り返すことにより、例えば、図６の画像ＮＢの領域Ｒ２は、物体検出後の画像ＮＤに示す背景と物体（例：本標識３１）に分離可能となる。

（x）ステップ１１１０
物体検出部１４は、画像ＭＢの領域Ｒ２内から矩形を構成する物体の領域を求め、図７の画像ＭＣに示す物体（例：補助標識３２）を検出する。

（xi）ステップ１１１１
物体認識部１５は、標識毎の識別器ＡとＮクラス識別器Ｂをメモリ９０（記憶装置２０３）から読み出し、地図情報に応じてそれらの識別器を切換え、切換えた識別器を用いて、物体検出部１４が検出した物体の画像がどの標識に該当するか、もしくは標識以外のかを識別する。

（xii）ステップ１１１２
信頼度判定部１６は、検出した物体の撮影時の位置情報（緯度、経度）を累積し、累積した検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した物体の（緯度、経度）の信頼度Ｃが高いと判定する。一方、検出頻度が閾値Ｔｈ_ｈ未満であれば、信頼度Ｃは低いと判定される。物体検出部１４で検出した各物体について、信頼度の判定を行う。

（xiii）ステップ１１１３
更新部１７は、標識Ａと標識Ｂが同じ標識であれば、地図情報を更新しない。また、標識Ａと標識Ｂが異なる標識であり、標識Ｂの検出頻度Ｂ１が標識Ａの検出頻度Ａ１（Ａ１がＴｈ＿ｈ以上）を超える場合は地図上の標識Ａを標識Ｂに変更し、超えない場合は地図情報を更新しない。もしくは、検出頻度Ａ１がＴｈ＿ｈ未満で検出頻度Ｂ１が閾値Ｔｈ＿Ｂ１以上である場合は地図上の標識Ａを標識Ｂに変更し、超えない場合は地図情報を更新しない。

（xiv）ステップ１１１４
描画部１８は、物体である標識の信頼度Ｃが高い場合に、物体認識部１５で認識した物体を囲むように検出枠を画像Ｎ上に描画する。標識の信頼度Ｃが低い場合には、描画部１８は、検出枠を画像Ｎ上に描画することはしない。

（xv）ステップ１１１５
記憶部１９は、物体の検出枠を描画した画像のデータをメモリ９０（記憶装置２０３に相当）に保存する。

以上説明したように、本実施形態によれば、画像Ｎ−１までの過去の画像の色の明るさの平均値をブレンドしたａｖｅＲ１、及び処理対象の画像Ｎの色の明るさの平均値ａｖｅＲ２を用いて、画像Ｎの明暗を補正した画像ＮＢを作成し、画像ＮＢ毎に閾値Ｔｈを求めている。したがって、閾値Ｔｈを用いて、画像Ｎ内の背景と背景内の物体を分離することが可能となる。

また、色の３原色であるR、G、Bについて、各３原色のうちの２つの差分の絶対値s_R、s_G、s_Bを算出して、色をマスクした画像ＭＢを作成し、画像ＭＢ内の矩形を求めている。したがって、画像Ｎ内の背景と背景内の物体を分離することが可能となる。

また、画像処理装置１は、地図情報に応じて標識の識別器を切換えて、検出した物体を識別している。したがって、精度よく物体を識別することが可能となる。

また、検出した物体の位置情報を累積し、検出頻度を判定することで、検出した各物体の位置情報をより正確に求めることが可能となる。

また、スマートホンで求めた標識の検出頻度とサーバーから受信した標識の検出頻度を比較して、地図情報を更新している。したがって、より正確な標識情報を作成することが可能となる。

また、本実施形態による画像処理装置１の各処理部を実施するスマートホンのアプリケーションソフトウェアをサーバーから配信し、スマートホンでアプリケーションソフトウェアに含まれる画像処理装置１の各処理部を実施することで、画像内の物体を分離し、精度よく物体を識別することが可能となる。

このように、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像毎に画像内の領域を分離する閾値を求めることで、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することが可能となる。また、より正確な位置情報と共に、画像内から物体を検出し、かつ地図情報に応じて識別器を切換えることで、検出した物体を精度よく識別することが可能となる。また、２つの検出頻度を比較することで、より正確に地図情報を更新することが可能となる。さらに、不特定多数のユーザが撮影した車載スマートホンの映像内から物体を検出し、位置情報の検出頻度からより正確な位置を求めることで、新設さえた道路や工事により変更となった道路上の道路付属物をタイムリーに検出することが可能となる。

（２）第２の実施形態
図１２は、第２の実施形態による警告装置１２００の構成を示す機能ブロック図である。当該警告装置１２００は、例えば、ナビゲーションシステムとしてユーザを地図上で目的地までの経路に誘導し、リアルタイムで標識等の対象物の情報を当該ユーザから収集しつつ、所定マークの場所に近づいたときに警告（アラート）を出力する。警告の出力は、例えば、画面上の表示、或いは音声によって出力する。

なお、ここで、所定マークは、例えば、予め決められた場所であっても良いし、過去の車両走行中に当該ユーザがマーキングした場所であっても良い。予め決められた場所は、例えば、役所または警察署など汎用的な建物、ランドマーク的な建物などが考えられる。第２の実施形態による警告装置１２００は、ユーザから情報を収集（吸い上げ）しながら、ユーザにとって有益な情報を提供するものである。

警告装置１２００は、例えばスマートホンのような装置であり、図１２に示すように、画像データを撮影する撮像デバイス１２０１と、画像データから検出対象を含む画像を認識する画像処理装置１と、画像処理装置１から出力された認識後画像を表示する表示デバイス１２０２と、画像処理装置１から出力されたアラート情報を出力する出力デバイス１２０３と、を有している。ここで、撮像デバイス１２０１は、例えばＣＭＯＳセンサやＣＣＤカメラ等であってもよい。画像処理装置１は、第１の実施形態で説明した画像処理装置１に相当するものである。

画像処理装置１は、撮像デバイス１２０１で撮影した画像データ内から道路上付属物などの物体を認識する。また、画像処理装置１は、地図情報に応じて、速度標識などの本標識および補助標識を認識するための識別器を切り換えながら画像データ内から本標識および補助標識を認識する。

表示デバイス１２０２は、画像処理装置１から出力された速度標識や補助標識等の認識後画像を、警告装置１２００（例えば、スマートホンなど）の表示画面（図示せず）に表示する。

出力デバイス１２０３は、画像処理装置１から出力されたアラート情報を、警告装置１２００のスピーカーから出力したり、表示画面に表示したりする。

さらに、本実施形態の警告装置１２００は、アラートが出された地点の画像（検出、もしくは認識された画像）のデータを記録しておくようにしても良い。

アラート情報の通知の仕方は様々なものが考えられる。

例えば、検出した物体の内容と地図情報に付加されている物体情報が示す物体が一致した場合は、警告装置１２００は地図情報をユーザに通知する。

また、１回の検出において、検出した物体の内容と地図情報が一致しない場合は、警告装置１２００は、その時点ではアラート情報をユーザに通知しない。そして、同じ地点で複数回物体を検出できなかったが、地図情報には物体の情報がある場合、その地点での標識が変わった可能性があるため、警告装置１２００は、ユーザに標識を確認するように促すために、例えば、「標識を確認してください」というようなメッセージをユーザに通知する。

また、検出した本標識と補助標識の情報を組合せてユーザに通知してもよいし、本標識と補助標識の情報を分けてユーザに通知しても良い。

第２の実施形態の警告装置１２００は、例えばスマートホンにてアプリケーションを実行するという実装が可能である。車載のスマートホンは、撮影した映像内から速度標識などの本標識や補助標識を認識し、本標識や補助標識の認識後画像とアラート情報をセットにしてユーザに通知するということが可能となる。

（３）第３の実施形態
図１３は、第３の実施形態によるＰＯＩ(Point of Interest)情報作成システム１３００の構成を示す機能ブロック図である。ＰＯＩ情報作成システム１３００は、サーバー１３０３と、移動端末装置１３０７と、を有する。ＰＯＩは、誰か興味を示した特定の場所（ポイント）である。ＰＯＩ情報作成システム１３００は、移動端末装置１３０７からＰＯＩ情報を生成し、地図情報に付加したり地図情報に付加されたＰＯＩ情報を更新したりする。ＰＯＩ情報には、興味のあるポイントの画像と、そのポイントの位置情報が含まれる。移動端末装置１３０７は、ユーザの行動を通じてＰＯＩを知ることができる。例えば、ユーザが興味を示したことを意味する操作を移動端末装置１３０７に対して行ったら、そのときのポイントがＰＯＩであると判断すればよい。

移動端末装置１３０７は、例えばスマートホンのような装置であり、画像データを撮影する撮像デバイス１３０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置２と、検出対象を含む画像である検出後画像をサーバー１３０３に送信する通信デバイス１３０２と、サーバー１３０３から伝送されてきた、物体が認識された画像である認識後画像を表示する表示デバイス１３０５と、を有している。

ここで、撮像デバイス１３０１は、例えばＣＭＯＳセンサやＣＣＤカメラ等によって構成しても良い。画像処理装置２は、第１の実施形態で説明した画像処理装置１において、入力部１０から物体検出部１４までの処理を行って、対象画像内の物体を検出する。画像処理装置２は、物体認識部１５、信頼度判定部１６を行わず、検出後画像を通信デバイス１３０２に出力する。なお、検出後画像は、対象画像全体もしくは検出した物体を含む部分画像でも良い。通信デバイス１３０２は、第１の実施形態による画像処理装置１における通信デバイス２０６に相当するものである。

サーバー１３０３は、移動端末装置１３０７から送信されてきた画像データを受信する通信デバイス１３０４と、受信した画像データに対して、本発明の第１の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された認識後画像を格納する格納デバイス（メモリや記憶装置等）１３０６と、を有している。ここで、画像処理は、画像内の物体が検出する対象物であるか否かを精査し、物体を認識する画像処理である。またここで、通信デバイス１３０４は、第１の実施形態で説明した画像処理装置１の通信デバイス２０６に相当する。

画像処理装置１は、撮像デバイス１３０１で撮影した画像データ内から道路上付属物等の物体を認識する。画像処理装置１は、地図情報に応じて、施設情報やスポット情報などの特定看板の識別器に切換えることで、画像データ内から、地図情報に付加されている物体情報が示す特定看板あるいはその他の特定看板を認識する。これにより、特定看板が変更されたか否か等の情報を得ることが可能となる。

通信デバイス１３０４は、認識された特定看板等の認識後画像を移動端末装置１３０７の通信デバイス１３０２に送信する。

移動端末装置１３０７の通信デバイス１３０２は、受信した特定看板等の認識後画像を表示デバイス１３０５に送信する。

表示デバイス１３０５は、サーバー１３０３から伝送された特定看板等の認識後画像を、移動端末装置（例えばスマートホンなど）１３０７の表示画面に表示する。より具体的には、表示デバイス１３０５は、例えば、画面上に表示された地図情報上に特定された対象物の存在を示す情報（マーク）を表示する。

第３の実施形態によれば、車載スマートホンで撮影した映像内から特定看板を認識し、特定看板の認識後画像と位置情報をセットにして地図情報に付帯する物体情報として格納することで、ＰＯＩ情報作成システムを提供することが可能となる。

（４）第４の実施形態
図１４は、第４の実施形態による警告システム１４００の構成を示す機能ブロック図である。警告システム１４００は、サーバー１４０３と、移動端末装置１４０８と、を有する。当該警告システム１４００は、例えば、ナビゲーションシステムとしてユーザを地図上で目的地までの経路に誘導し、リアルタイムで標識等の対象物の情報を当該ユーザから収集しつつ、所定マークの場所に近づいたときに警告（アラート）を出力する。警告の出力は、例えば、画面上に表示する、或いは音声によって出力することが考えられる。

なお、ここで、所定マークは、例えば、予め決められた場所であっても良いし、過去の車両走行中に当該ユーザがマーキングした場所であっても良い。予め決められた場所とは、例えば、役所や警察署など汎用的な建物やランドマーク的な建物が考えられる。第４の実施形態による警告システムは、ユーザから情報を収集（吸い上げ）するとともに、ユーザに対してユーザにとって有益な情報を提供するものである。

移動端末装置１４０８は、例えばスマートホンのような装置であり、画像データを撮影する撮像デバイス１４０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置２と、サーバー１４０３とデータを送受信する通信デバイス１４０２と、サーバー１４０３から伝送された認識後画像を表示する表示デバイス１４０５と、サーバー１４０３から伝送されたアラート情報を出力する出力デバイス１４０６と、を有している。

ここで、撮像デバイス１４０１は、例えばＣＭＯＳセンサやＣＣＤカメラ等である。画像処理装置２は、第３の実施形態で説明した画像処理装置２に相当するものである。通信デバイス１４０２は、第１の実施形態の画像処理装置１における通信デバイス２０６に相当するものである。

サーバー１４０３は、移動端末装置１４０８から送信されてきた画像データを受信し移動端末装置１４０８に認識後画像データやアラート情報を送信する通信デバイス１４０４と、受信した画像データに対して、第１の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された認識後画像等を格納する格納デバイス（メモリや記憶装置等）１４０７と、を有している。

ここで、画像処理とは、画像データに含まれている物体が対象物か否かを精査し、物体を認識する処理である。また、ここで、通信デバイス１４０４は、第１の実施形態で説明した画像処理装置１の通信デバイス２０６に相当する。

画像処理装置１は、撮像デバイス１４０１で撮影した画像データ内から道路上付属物などの物体を認識する。また、画像処理装置１は、地図情報に応じて、速度標識などの本標識および補助標識を認識するための識別器を切り換えながら画像データ内から本標識および補助標識を認識する。

表示デバイス１４０５は、サーバー１４０３から伝送された速度標識や補助標識等の認識後画像を、移動端末装置１４０８（例えば、スマートホンなど）の表示画面（図示せず）に表示する。

出力デバイス１４０６は、サーバー１４０３から伝送されたアラート情報を、移動端末装置１４０８のスピーカーから出力したり、表示画面（図示せず）に表示したりする。

さらに、本実施形態の警告システム１４００は、アラートが出された地点の画像（検出、もしくは認識された画像）をサーバー１４０３及び／又は移動端末装置１４０８において記録するようにしても良い。

第４の実施形態によれば、警告システム１４００は、車載スマートホンで撮影した映像内から速度標識などの本標識や補助標識を認識し、本標識や補助標識の認識後画像とアラート情報をセットにしてスマートホンなどに伝送することで、警告システムを提供することが可能となる。

（５）第５の実施形態
図１５は、第５の実施形態による簡易誘導システム１５００の構成を示す機能ブロック図である。簡易誘導システム１５００は、サーバー１５０３と、移動端末装置１５０８と、を有している。簡易誘導システム１５００は、例えば、ユーザによって走行ルートが設定されると、当該ルート上に存在する標識（本標識、補助標識）等の対象物の情報をリアルタイムで収集しながら認識された標識を当該ユーザに提示し、当該ルート上で当該ユーザを誘導する。例えば、当該システムは、ナビゲーションシステムのように地図上でユーザを誘導するのではなく、音声により設定ルートにユーザを誘導する。例えば、設定ルート上で左折すべき個所の標識を検出したら「ここを左折です」などの音声でユーザを誘導する。

移動端末装置１５０８は、例えばスマートホンのような装置であり、画像データを撮影する撮像デバイス１５０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置２と、サーバー１５０３とデータを送受信する通信デバイス１５０２と、サーバー１５０３から伝送された認識後画像を表示する表示デバイス１５０５と、サーバー１５０３から伝送された誘導情報を出力する出力デバイス１５０６と、を有している。ここで、撮像デバイス１５０１は、例えばＣＭＯＳセンサやＣＣＤカメラ等である。画像処理装置２は、第３の実施形態で説明した画像処理装置２に相当するものである。通信デバイス１５０２は、第１実施形態の画像処理装置１における通信デバイス２０６に相当するものである。

サーバー１５０３は、移動端末装置１５０８から送信されてきた画像データを受信し移動端末装置１５０８に認識後画像データや誘導情報を送信する通信デバイス１５０４と、受信した画像データに対して、第１の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された認識後画像等を格納する格納デバイス１５０７と、を有している。ここで、画像処理は、対象物か否かを精査して認識する処理である。格納デバイス１５０７は、メモリや記憶装置等である。また、ここで、通信デバイス１５０４は、第１の実施形態で説明した画像処理装置１の通信デバイス２０６に相当する。

画像処理装置１は、撮像デバイス１５０１で撮影した画像データ内から道路上付属物などの物体を認識する。また、画像処理装置１は、地図情報に応じて、方面看板（道路案内標識）などの標識を認識するための識別器に切り換えながら画像データ内から方面看板を認識する。また、画像処理装置１は、認識した方面看板の矢印あるいは文字をパターンマッチングにより解読し、ユーザを誘導する方向や音声を出力するタイミングを判断する。

表示デバイス１５０５は、サーバー１５０３から伝送された方面看板等の認識後画像を、移動端末装置１５０８（例えばスマートホンなど）の表示画面（図示せず）に表示する。

出力デバイス１５０６は、サーバー１５０３から伝送された誘導情報を、移動端末装置１５０８のスピーカーから出力したり、表示画面（図示せず）に表示したりする。

第５の実施形態によれば、車載スマートホンで撮影した映像内から方面看板などの標識を認識し、標識の認識後画像と誘導情報をセットにしてスマートホンなどに伝送することで、簡易誘導システムを提供することが可能となる。

（６）まとめ

（i）第１の実施形態によれば、画像処理装置は、対象画像の色空間を変換し、変換された色空間における色情報を取得する処理と、対象画像において、検出すべき物体を含む対象領域における色情報の明るさの平均値を示す第１の平均値を算出する処理と、対象領域において、各画素の色情報の明るさと第１の平均値とを比較し、明暗を補正した補正画像を生成する処理と、補正画像に基づいて物体を抽出する処理と、を実行する。より具体的には、式３に示されるように、対象画像（画像Ｎ：現画像）の情報を用いて、色情報（ａ値やｂ値）の明るさの平均値よりも暗い画素はより暗く、当該平均値よりも明るい画素はより明るくなるように明暗補正されて補正画像（色の明暗をさらに強調した画像）が生成される。この際、倍率値ｖを導入し、過去の画像（画像Ｎ−１までの画像）の色情報の明るさの平均値をも考慮して明暗補正を行っても良い。このように明暗補正をして対象画像から所望の物体を抽出（検出）するので、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することができるようになる。過去の画像を考慮する場合には、時系列に変化する画像の明るさに応じて画像毎に画像内の領域を分離することができるようになる。

そして、画像処理装置は、対象画像において、検出すべき物体を含む対象領域における各画素の原色の差分値を算出する処理と、それらの差分値と閾値とを比較し、色をマスクした補正画像を生成する処理と、補正画像に基づいて物体を検出する処理と、を実行する。より具体的に、式４に示されるように、対象画像（画像Ｎ：現画像）の情報を用いて、白や黒色に類似した画素を残し、それ以外の画素をマスクした補正画像が生成される。この補正画像から所望の物体を抽出（検出）するので、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することができるようになる。

そして、画像処理装置は、地図情報に応じて標識の識別器を切換え、対象画像の中から抽出（検出）された物体を認識することで、物体を識別する。これにより、抽出した物体が何であるか識別することができるようになる。

さらに、画像処理装置は、対象画像Ｎを撮影した時に取得された位置情報（ＧＰＳ情報等）を用いて、例えば不特定多数のユーザによる識別物体の位置や同一ユーザによる複数回の処理結果による識別物体の位置を累積し、当該累積の結果得られるスマートホンとサーバーの検出頻度に応じて、識別した物体の信頼度を判定するようにしても良い。このようにすることにより、識別物体の正しい位置の情報をユーザに提供することができるようになる。

（ii）第２の実施形態によれば、車載スマートホンで撮影した映像内から速度標識などの本標識や補助標識を検出し、標識認識による警告装置を提供することが可能となる。

（iii）第３の実施形態によれば、車載スマートホンで撮影した映像内から施設情報やスポット情報を示す特定看板を検出し、特定看板認識によるＰＯＩ情報作成システムを提供することが可能となる。

（iv）第４の実施形態によれば、車載スマートホンで撮影した映像内から速度標識などの本標識や補助標識を検出し、標識認識による警告システムを提供することが可能となる。

（v）第５の実施形態によれば、車載スマートホンで撮影した映像内から方面看板などの標識を検出し、方面看板認識による簡易誘導システムを提供することが可能となる。

（vi）以上説明した各実施形態については、次のような変形が可能である。

色空間変換部１１では、入力画像をＬａｂ色空間に変換した画像を作成したが、ＨＳＶ色空間等の他の色空間の画像に変換してもよく、同様の効果を有する。

物体認識部１５では、３クラス識別器ＡとＮクラス識別器Ｂを用いて物体を認識したが、２クラス識別器Ａ等の他クラスの識別器Ａを用いてもよく、また、それぞれの組合せを用いて物体を認識してもよく、同様の効果を有する。

物体認識部１５は、地図の標識情報に応じて物体の識別器を切換え、対象画像内の物体を識別したが、地図の標識情報に応じて物体の識別器を切換えずに、複数の物体の識別器を用いて物体を判定し、それらの判定結果（例：0〜1の範囲の値）の最大値を用いて前記物体を識別してもよく、同様の効果を有する。

（vii）また、上述した各実施形態に示した画像処理装置あるいは画像処理システムの構成および動作は以下に示す各態様に整理することもできる。

（態様１）
画像処理装置は、
物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を記憶する記憶部と、
対象画像内における物体を検出する物体検出部と、
前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、前記選択した識別器を用いて、前記物体検出部が検出した物体を認識する物体認識部と、を有する。

よって、画像から物体を検出し、地図情報に付加された、物体および位置の情報をもとに好適な識別器を選びその識別器を用いて物体を識別するので、画像から精度よく物体を認識することができる。

（態様２）
上記態様１において、
前記物体識別部は、前記地図情報に付加された物体情報のうち、前記撮影位置から算出される位置に存在する物体の物体情報を抽出し、該抽出した物体情報に示す物体の識別に適した識別器を選択する。

よって、存在する可能性が最も高い物体の認識に適した識別器を用いて物体の識別を行うので、精度よく物体を認識することができる。

（態様３）
上記態様１において、
前記識別器は、画像内に存在する可能性のある標識のそれぞれを識別対象として識別対象毎に設けられ、前記対象画像内の物体が前記識別対象の標識であるか、前記識別対象でない標識であるかを判別するための識別器である。

識別器を可能性のある識別対象毎に設け、対象画像内の物体がその識別対象であるかないかという、高精度な識別が可能な識別分析法で識別を行うので、精度よく物体を認識することができる。地図情報に現在付加されている物体情報により示される物体が実際に路上に存在する場合には物体情報を更新する必要がないが、路上の物体を他の物体と誤認識してしまうと不要な更新処理が発生してしまう。本例では、そのような不要な更新処理の発生を有効に低減することができる。

（態様４）
上記態様１の画像処理装置は、
前記対象画像における物体が存在しうる対象領域の画像について、画素値が所定値よりも暗ければ所定量だけより暗くし、前記画素値が前記所定値よりも明るければ所定量だけより明るくするように前記画素値を補正し、補正後の画像を前記物体検出部に与える明暗補正部を更に有する。

対象領域の画像を、画素値が暗い画素はより暗く、明るい画素はより明るく補正するので、対象領域内の明暗が強調され、物体を正しく検出しやすくなる。

（態様５）
上記態様４において、
前記明暗補正部は、前記対象領域の画像を、Ｌａｂ色空間において、色の明るさを示すａ値およびｂ値について、画素値が前記対象領域における平均値よりも暗ければ所定量だけ暗くし、前記画素値が前記平均値よりも明るければ所定量だけ明るくするように前記画素値を補正し、補正後の画像を前記物体検出部に与える。

対象領域の画像を、色の明るさが対象領域の平均値より暗い画素はより暗く、対象領域の平均値より明るい画素はより明るく補正するので、対象領域の明るさの平均を基準に対象領域内の明暗が強調され、物体の種類を正しく検出しやすくなる。

（態様６）
上記態様4において、
前記物体認識部は、前記明暗補正部からの前記補正後の画像に基づいて、図柄の色および形により種類が区別される物体を識別する。

補正により明暗が強調されるので、図柄の色および形で種類が区別されるような物体の識別に好適な補正画像となり、物体を精度よく認識できるようになる。

（態様７）
上記態様４において、
前記物体認識部は、前記明暗補正部からの前記補正後の画像に基づいて、前記物体である道路標識のうち本標識を認識する。

補正により色の明るさの違いが強調されるので、主に図柄の色および形によって表現される本標識を精度よく認識することができる。

（態様８）
上記態様４において、
所定時間間隔で連続して複数の画像が撮影され、
前記明暗補正部は、過去の画像における前記対象領域の画素値を平均した第１平均値と、現在の画像における前記対象領域の画素値を平均した第２平均値と、を所定の割り合いでブレンドした第３平均値を算出し、
前記物体検出部は、前記第３平均値に基づく閾値を用いて、前記対象画像から物体を検出する。

物体を認識する前の段階で、物体を検出するとき、過去の画像と現在の画像を所定の割り合いでブレンドして求めた閾値により物体を検出するので、画像の時間的な変化の影響を緩和して物体の検出の精度を向上することができる。

（態様９）
上記態様１の画像処理装置が、
前記対象画像における物体が存在しうる対象領域における各画素について、ＲＧＢの原色同士の画素値の差分の絶対値の１つ以上が所定の閾値を超える画素の全３原色の画素値を０にする補正をし、補正後の画像を前記物体検出部に与える色解析部を更に有する。

対象領域の画像を、光の加減などで何らか他の色に見えている部分などを含め色の部分が黒に置き換えられるので、白色領域と白色領域内の黒領域が残る為、文字や記号形状が明確となり、物体を正しく検出しやすくなる。

（態様１０）
上記態様９において、
前記物体認識部は、前記色解析部からの前記補正後の画像に基づいて、文字または記号の形状により種類が区別される物体を認識する。

補正により色の部分が黒く置き換えられ、文字や記号の形状が明確となるので、文字や記号の形状で種類が区別される物体を精度よく認識することができる。

（態様１１）
上記態様９において、
前記物体認識部は、前記色解析部からの前記補正後の画像に基づいて、前記物体である道路標識のうち補助標識を認識する。

補正により色の部分が黒く置き換えられ、文字や記号の形状が明確となるので、主に文字や記号の形状によって表現される補助標識を精度よく認識することができる。

（態様１２）
上記態様１の画像処理装置は、
過去から現在までの対象画像から認識された、物体の存在する位置が同じである物体の中で検出頻度が最も高い物体の物体情報が付加されるように前記地図情報を維持する更新部を更に有する。

道路上の標識や店舗の看板などの物体は変わることがあるが、地図情報にしておく物体情報を同じ位置での検出頻度が高い物体の物体情報に維持しておくので、物体情報を実際に存在する物体と一致しているように維持することができる。

（態様１３）
画像処理システムは、
端末装置と、
前記端末装置が通信ネットワークを介して接続するサーバーと、を有し、
前記端末装置は、対象画像を撮影して前記対象画像内における物体を検出し、前記物体が検出されると前記サーバーに通知し、
前記サーバーは、物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を予め記憶しており、前記端末装置から前記物体が検出されたことを通知されると、前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、前記選択した識別器を用いて、前記物体検出部が検出した物体を認識する。

（態様１４）
画像処理方法は、
物体および位置を示す物体情報が付加される地図情報と、画像内の物体を認識するための複数の異なる識別器を記憶し、
対象画像内における物体を検出し、
前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、
前記選択した識別器を用いて前記検出した物体を認識する。

（態様１５）
上記態様１３に記載の画像処理システムであって、
前記端末装置は、ユーザが興味を示したポイントの画像と該画像の撮影位置を取得し、前記画像を対象画像として物体を検出すると前記サーバーに通知し、
前記サーバーは、前記認識した物体の画像を前記端末装置に送信し、
前記端末装置は、前記サーバーから受信した前記物体の画像を用いて作成した情報を表示する。

（態様１６）
状態態様１３に記載の画像処理システムであって、
前記サーバーは、前記認識した物体に対応するアラート情報を生成し、当該アラート情報と前記認識した物体の画像を前記端末装置に送信し、
前記端末装置は、前記サーバーから受信した前記物体の画像を表示すると共に、前記アラート情報を出力する。

（態様１７）
上記態様１３に記載の画像処理システムであって、
検出して識別する対象とする物体は道路案内標識であり、
前記サーバーは、前記認識した道路案内標識に対応する誘導情報を生成し、当該誘導情報と前記認識した道路案内標識の画像を前記端末装置に送信し、
前記端末装置は、前記サーバーから受信した前記道路案内標識の画像を表示画面上に表示すると共に、前記誘導情報を出力する。

（viii）各実施形態による画像処理装置１は、実施形態の機能を実現するソフトウェアプログラムコードによって実現することもできる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

１・・・画像処理装置、２・・・画像処理装置、１０・・・入力部、１１・・・色空間変換部、１２・・・明暗補正部、１３・・・色解析部、１４・・・物体検出部、１５・・・物体認識部、１６・・・信頼度判定部、１７・・・更新部、１８・・・描画部、１９・・・記憶部、９１・・・制御部、１２００・・・警告装置、１３００・・・ＰＯＩ情報作成システム、１４００・・・警告システム、１５００・・・簡易誘導システム

Claims (15)

1. 物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を記憶する記憶部と、
   対象画像内における物体を検出する物体検出部と、
   前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、前記選択した識別器を用いて、前記物体検出部が検出した物体を認識する物体認識部と、を有する画像処理装置。
2. 前記物体認識部は、前記地図情報に付加された物体情報のうち、前記撮影位置から算出される位置に存在する物体の物体情報を抽出し、該抽出した物体情報に示す物体の識別に適した識別器を選択する、
   請求項１に記載の画像処理装置。
3. 前記識別器は、画像内に存在する可能性のある標識のそれぞれを識別対象として識別対象毎に設けられ、前記対象画像内の物体が前記識別対象の標識であるか、前記識別対象でない標識であるかを判別するための識別器である、
   請求項１に記載の画像処理装置。
4. 前記対象画像における物体が存在しうる対象領域の画像について、画素値が所定値よりも暗ければ所定量だけより暗くし、前記画素値が前記所定値よりも明るければ所定量だけより明るくするように前記画素値を補正し、補正後の画像を前記物体検出部に与える明暗補正部を更に有する、請求項１に記載の画像処理装置。
5. 前記明暗補正部は、前記対象領域の画像を、Ｌａｂ色空間において、色の明るさを示すａ値およびｂ値について、画素値が前記対象領域における平均値よりも暗ければ所定量だけ暗くし、前記画素値が前記平均値よりも明るければ所定量だけ明るくするように前記画素値を補正し、補正後の画像を前記物体検出部に与える、請求項４に記載の画像処理装置。
6. 前記物体認識部は、前記明暗補正部からの前記補正後の画像に基づいて、図柄の色および形により種類が区別される物体を識別する、請求項４に記載の画像処理装置。
7. 前記物体認識部は、前記明暗補正部からの前記補正後の画像に基づいて、前記物体である道路標識のうち本標識を認識する、請求項４に記載の画像処理装置。
8. 所定時間間隔で連続して複数の画像が撮影され、
   前記明暗補正部は、過去の画像における前記対象領域の画素値を平均した第１平均値と、現在の画像における前記対象領域の画素値を平均した第２平均値と、を所定の割り合いでブレンドした第３平均値を算出し、
   前記物体検出部は、前記第３平均値に基づく閾値を用いて、前記対象画像から物体を検出する、
   請求項４に記載の画像処理装置。
9. 前記対象画像における物体が存在しうる対象領域における各画素について、ＲＧＢの原色同士の画素値の差分の絶対値の１つ以上が所定の閾値を超える画素の全３原色の画素値を０にする補正をし、補正後の画像を前記物体検出部に与える色解析部を更に有する、請求項１に記載の画像処理装置。
10. 前記物体認識部は、前記色解析部からの前記補正後の画像に基づいて、文字または記号の形状により種類が区別される物体を認識する、請求項９に記載の画像処理装置。
11. 前記物体認識部は、前記色解析部からの前記補正後の画像に基づいて、前記物体である道路標識のうち補助標識を認識する、請求項９に記載の画像処理装置。
12. 過去から現在までの対象画像から認識された、物体の存在する位置が同じである物体の中で検出頻度が最も高い物体の物体情報が付加されるように前記地図情報を維持する更新部を更に有する、
    請求項１に記載の画像処理装置。
13. 端末装置と、
    前記端末装置が通信ネットワークを介して接続するサーバーと、を有し、
    前記端末装置は、対象画像を撮影して前記対象画像内における物体を検出し、前記物体が検出されると前記サーバーに通知し、
    前記サーバーは、物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を予め記憶しており、前記端末装置から前記物体が検出されたことを通知されると、前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、前記選択した識別器を用いて、検出された前記物体を認識する、
    画像処理システム。
14. コンピュータが、
    物体および位置を示す物体情報が付加される地図情報と、画像内の物体を認識するための複数の異なる識別器を記憶し、
    対象画像内における物体を検出し、
    前記対象画像を撮影した位置である撮影位置と前記地図情報に付加された前記物体情報とに基づいていずれかの識別器を選択し、
    前記選択した識別器を用いて前記検出した物体を認識する、画像処理方法。
15. 前記サーバーで認識した物体情報を前記端末装置に通知し、
    前記端末装置は、前記サーバーから受信した前記物体の画像や情報を表示すると共に、前記サーバーが作成した情報を出力する、請求項１３に記載の画像処理システム。

Images