JP5767887B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP5767887B2 JP5767887B2 JP2011169584A JP2011169584A JP5767887B2 JP 5767887 B2 JP5767887 B2 JP 5767887B2 JP 2011169584 A JP2011169584 A JP 2011169584A JP 2011169584 A JP2011169584 A JP 2011169584A JP 5767887 B2 JP5767887 B2 JP 5767887B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signboard
- area
- unit
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
図1は、第1の実施形態における画像処理装置1のハードウェアの構成を示す概略ブロック図である。画像処理装置1は、入力部10と、制御部20と、記憶部30と、表示部40とを備える。
入力部10は、看板の撮影画像データ(以下、撮影画像データと称す)PIの入力を受け付ける。入力部10は、受け付けた撮影画像データPIを制御部20に出力する。ここで、撮影画像データは、ある看板が斜めから撮影されることにより得られた画像データである。
そして、制御部20は、生成した正面画像データFIが示す画像の特徴量に基づいて、看板が設定されている位置を示す位置情報Lを取得し、取得した位置情報Lを表示部40に表示させる。
領域分割部22は、分割したセグメントを示す分割セグメント情報を看板領域選択部23に出力する。また、領域分割部22は、分割したセグメントの画像のファイル(セグメント画像ファイル)を記憶部30に記憶させる。
正面画像生成部26は、生成した看板の正面画像を、正面看板画像ファイルとして記憶部30に記憶させる。また、正面画像生成部26は、生成した看板の正面画像データFIを属性取得部27に出力する。
面積上位領域抽出部23_1は、抽出した面積上位10セグメントを色差算出部23_2と、エッジ比算出部23_3と、矩形度算出部23_4とへ出力する。
ここで、平均色差は、看板内部の文字又は図形と、看板内部の背景部分とでは色差が大きいことに基づいて、数式化されたものである。
色差算出部23_2は、正規化後の平均色差を正規化色差Cとして、面積上位10セグメント分の正規化色差Cをスコア算出部23_5に出力する。
ここで、看板内部には文字又は図形が存在し、内部セグメントの外縁は、その文字又は図形の輪郭となる。その文字又は図形の輪郭が通常入り組んでいるため、セグメントが看板領域の場合の該セグメントの内側のエッジ長は、面積が同一で輪郭が入り組んでいないセグメントのエッジ長よりも長くなる。エッジ比は、セグメントが看板領域の場合に、1に近くなることを利用して、数式化されたものである。
エッジ比算出部23_3は、正規化後のエッジ比を正規化エッジ比Eとして、面積上位10セグメント分の正規化エッジ比Eをスコア算出部23_5に出力する。
具体的には、例えば、矩形度算出部23_4は、以下の式(1)に従って、矩形度Kを算出する。
矩形度算出部23_4は、算出した面積上位10セグメント分の矩形度Kを、スコア算出部23_5に出力する。
具体的には、例えば、スコア算出部23_5は、以下の式(2)に従って、スコアSを算出する。
スコア算出部23_5は、算出した各スコアSを、記憶部30のセグメント画像テーブルT1内の該当するセグメントIDの箇所に追記する。
スコア最大領域抽出部23_6は、抽出したセグメントIDをスコア最大セグメントIDとして、頂点選出部25に出力する。
続いて、頂点抽出部24の処理の詳細について説明する。図6は、第1の実施形態における頂点抽出部24の構成を示す概略ブロック図である。
頂点抽出部24は、線分抽出部24_1と、エッジ限定部24_2と、交点抽出部24_3と、四交点選出部24_4とを備える。
エッジ限定部24_2は、閾値距離以上の距離にある線分を除外することにより限定された線分を示す限定線分情報を交点抽出部24_3に出力する。
具体的には、例えば、四交点選出部24_4は、記憶部30の交点テーブルT3に記憶されている交点の座標を4つ取得し、4つの交点を頂点とする四角形が有する内角を全て算出する。四交点選出部24_4は、その四角形が有する内角がいずれも180度未満である場合、四角形が有する内角がいずれも180度未満であるか否かを示す凸包判定フラグを真とし、上記以外の場合、凸包判定フラグを偽とする。
図7の例のように、線分抽出部24_1は、入力された画像からエッジを抽出し、エッジの点の座標を示すエッジデータから線分を抽出する。
図10の例のように、交点抽出部24_3は、エッジ限定部24_2により限定された線分を直線化し、直線化した線分の交点を抽出する。
ここで、頂点座標列は、四角形を構成する4つの頂点の座標の列である。また、凸包判定フラグが真である場合、対応する四角形が有する内角がいずれも180度未満であることを示し、凸包判定フラグが偽である場合、対応する四角形が有する内角のいずれかが180度以上であることを示している。
続いて、頂点選出部25における処理の詳細について説明する。頂点選出部25は、看板領域選択部23のスコア最大領域抽出部23_6から入力されたスコア最大セグメントIDに関連付けられたエッジのピクセル座標を、記憶部30のセグメント画像テーブルT1から読み出す。
頂点選出部25は、読み出した頂点座標列毎に、以下の処理を行う。頂点選出部25は、その頂点座標列に含まれる4つの座標を頂点とする四角形のエッジが通るピクセルの座標を算出する。
頂点選出部25は、以上の処理を読み出した頂点座標列毎に行った後に、頂点選出部25は、重複する座標の数が最大の場合の頂点座標列(四角形を構成する4つの頂点の座標の列)を抽出する。これにより、頂点選出部25は、四つの頂点を抽出することができる。
座標変換部26_1は、頂点選出部25から入力された看板領域の四頂点の座標を、長方形を構成する四つの座標に座標変換する。座標変換部26_1は、座標変換したことにより得られた四つの座標を画素値生成部26_2に出力する。
画素値生成部26_2は、座標変換後の長方形内の画素値を記憶部30に記憶させる。
すなわち三次元空間中の頂点Pa´、頂点Pb´、頂点Pc´及び頂点Pd´からなる長方形は、射影変換された結果、頂点Pa、頂点Pb、頂点Pc及び頂点Pdを頂点とする四角形に変換されたものとする。
図15において、頂点Pa´、頂点Pb´、頂点Pc´及び頂点Pd´の座標と、頂点Pa、頂点Pb、頂点Pc及び頂点Pdの座標との関係をベクトル表記で表すと以下のように表される。
射影変換前後で、四角形151の対角線の交点Poが一致するので、以下の式が導出される。
なお、座標変換部26_1は、次の式(20)に従って、hを算出してもよい。
特徴量算出部27_1は、抽出した特徴量を正面看板画像特徴量として特徴量照合部27_2へ出力する。
これにより、画像処理装置1は、セグメントのエッジだけでなくセグメントの矩形度と色差とを用いて、分割したセグメントをスコア化しているので、看板が斜めから撮影された画像から看板セグメントを正確に抽出することができる。
これにより、画像処理装置1は、看板セグメントの情報を用いて多数存在する看板領域の四つの頂点の候補を絞り込むことができるので、短時間で看板領域の四つの頂点を抽出することができる。
これによれば、画像処理装置1は、看板の正面画像を得ることができたことで看板の正面画像の特徴量を算出できるので、予め記憶部30に記憶されている特徴量との照合の精度を高めることができる。その結果、画像処理装置1は、看板の正しい位置を取得することができる。
看板領域選択部23は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうち少なくもいずれか1つに基づいて、前記画像から看板の画像を表す看板領域を選択してもよい。
その一例として、看板領域選択部23は、矩形度だけに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、画像処理装置1の看板領域選択部23は、矩形度が予め決められた範囲(例えば、0.6から0.7)のセグメントを看板セグメントとして抽出してもよい。
例えば、看板領域選択部23は、セグメントの矩形度とそのセグメントとそのセグメントの周辺領域との色差とに基づいて、看板のセグメントを抽出してもよい。具体的には、例えば、看板領域選択部23は、矩形度が予め決められた範囲(例えば、0.6から0.8)であって正規化色差が予め決められた閾値(例えば、0.7)以上であるセグメントを看板セグメントとして抽出してもよい。
以上についてまとめると、看板領域選択部23は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか1つまたは2つ以上の組に基づいて、当該画像から看板の画像を表す看板領域を選択すればよい。
そして、座標変換部26_1は、頂点選出部25により選出された看板領域の全ての頂点の座標を、逆射影変換により、当該看板領域を正面から見た多角形の頂点座標に変換する。そして、画素値生成部26_2は、変換した後の頂点座標に基づいて、看板領域の画素値から看板領域を正面から見た多角形内の画素値を生成する。
続いて、第1の実施形態の変形例1について説明する。第1の実施形態の変形例1における画像処理装置1は、検索部28を更に備える。属性情報取得部27の属性読出部27_3は、看板IDに対応する店舗名(例えば、「居酒屋XXX」)を読み出す。
検索部28は、読み出した店舗名(例えば、「居酒屋XXX」)を検索キーにして、インターネットを介して外部データベースを検索し、その検索結果またはその店舗名の店舗が行っているクーポン情報を取得する。そして、検索部28は、取得した検索結果またはクーポン情報を表示部40に表示する。これにより、ユーザは、その店舗に関する情報またはその店舗クーポン情報を得ることができる。
続いて、第1の実施形態の変形例2について説明する。第1の実施形態の変形例1における画像処理装置1は、看板画像中の文字または図形を特定し、特定した文字または図形を検索キーとして外部データベースを検索することにより、看板の関連情報を取得する。
具体的には、例えば、記憶部30は、予め文字を表す文字画像と文字とが関連付けられた文字テーブル及び図形を表す図形画像と図形とが関連付けられた図形テーブルを記憶している。文字図形特定部29は、看板画像からエッジで囲まれた画像領域を抽出する。そして、文字図形特定部29は、抽出した画像領域と文字テーブルに記憶されている文字画像と照合し、画像領域の文字を特定する。文字を特定できなかった場合には、文字図形特定部29は、抽出した画像領域と図形テーブルに記憶されている図形画像と照合し、画像領域の図形を特定する。
続いて、第2の実施形態について説明する。図22は、第2の実施形態における測位システム2の概略ブロック図である。測位システム2は、画像処理装置1bと、端末装置100と、地図画像記憶装置300と、看板検索装置400とを備える。
端末装置100は、看板を撮像し、看板が撮像された撮影画像データPIを画像処理装置1bへ無線送信する。
地図画像記憶装置300には、地図画像データMIが記憶されている。地図画像記憶装置300は、看板検索装置400から受信した位置情報Lを伴った地図画像データMIの要求Rに応じて、その位置情報Lが示す位置の地図画像データMIを看板検索装置400へ送信する。
記憶部101には、制御部103により実行されるプログラムが記憶されている。
入力部102は、シャッターボタンが押された旨の入力を受け付け、受け付けたシャッターボタンが押された旨を制御部103に出力する。また、入力部102は、看板位置を要求する看板位置要求を受け付け、受け付けた看板位置要求を制御部103に出力する。
制御部103は、撮像部104により看板が撮像された撮影画像データPIを記憶部101に記憶させる。制御部103は、入力部103から看板位置要求が入力された場合、記憶部101から撮影画像データPIを読み出し、読み出した撮影画像データPIを通信部105へ出力する。
通信部105は、画像処理装置1b及び看板検索装置400と無線により通信可能である。通信部105は、制御部103から入力された撮影画像データPIを符号化し、符号化後の撮影画像データPIを変調し、変調後の撮影画像データPIを画像処理装置1bへ送信する。
また、通信部105は、無線により看板検索装置400から受信した変調後の重畳画像データTIを復調し、復調後の重畳画像データTIを復号し、元の重畳画像データTIを生成する。そして、通信部105は、生成した重畳画像データTIを制御部103に出力する。
また、通信部50は、制御部20bから入力された正面画像データFIを看板検索装置400へ送信する。
記憶部310には、位置情報Lと地図画像データMIとが記憶されている。
記憶部410には、看板画像ファイルと、看板画像ファイルテーブルT5と、かんばん特徴量テーブルT6と、看板属性テーブルT7とが記憶されている。
また、制御部430は、通信部420から入力された地図画像データMIに基づいて、看板の位置を地図上に重畳した重畳画像データTIを生成し、生成した重畳画像データTIを通信部420に出力する。そして、制御部430は、通信部420から重畳画像データTIを端末装置100へ無線送信させる。
また、本発明の実施形態では、画像処理装置の応用例として測位システム2を説明したが、応用例はこれに限ったものでない。
例えば、画像処理装置(1、1b)を、自動車が道路標識を認識して、運転手を支援する運転手支援システムに適用してもよい。道路標識は車に対して高いところ又は道路脇に設置されているので、読み出す常に自動車に搭載したカメラに正対しているわけではない。そのため、自動車に搭載したカメラで撮影された画像から道路標識の画像領域を検出する場合、多くの場合、自動車に搭載したカメラは斜めから道路標識を撮影する。
また、本発明の実施形態における画像処理装置を、銘板が撮像された画像から銘板を認識させることで作業を支援する保守管理システムに適用してもよい。
屋内には電子機器の筐体にはメーカーロゴや、型式・シリアル番号等が記載された銘板が存在する。屋外でも様々な設備に設置日や規格を示す銘板が取り付けられている。そのような銘板を全て正対して撮像することは、労力がかかることである。
これにより、画像処理装置1dは、銘板の正面画像を得た上で照合するので、銘板が何であるか否かより正確に判定することができる。その結果、銘板を正対して撮像する必要がないので、画像処理装置1dは、設備または機器の保守または管理にかかる労力を少なくすることができる。
2 測位システム
10 入力部
20 制御部
21 ノイズ除去部
22 領域分割部
23 看板領域選択部
23_1 面積上位領域抽出部
23_2 色差算出部
23_3 エッジ比算出部
23_4 矩形度算出部
23_5 スコア算出部
23_6 スコア最大領域抽出部
24 頂点抽出部
24_1 線分抽出部
24_2 エッジ限定部
24_3 交点抽出部
24_4 四交点選出部
25 頂点選出部
26 正面画像生成部
26_1 座標変換部
26_2 画素値生成部
27 属性取得部
27_1 特徴量算出部
27_2 特徴量照合部
27_3、27_3b 属性読出部
28、28b 検索部
29 文字図形特定部
30 記憶部
40 表示部
100 端末装置
300 地図画像記憶装置
400 看板検索装置
431 現在位置地図作成部
Claims (7)
- 画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域の外側のエッジ長と該画像領域内部に存在する内部画像領域の外側のエッジ長との比であるエッジ比のうち、少なくとも前記エッジ比を含む1つまたは2つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択部を備えることを特徴とする画像処理装置。
- 前記看板領域選択部は、前記画像領域の前記矩形度、該画像領域と該画像領域の周辺領域との前記色差、および該画像領域の前記エッジ比に基づいて、前記画像から前記看板領域を選択することを特徴とする請求項1に記載の画像処理装置。
- 前記画像から四角形の画像領域を形成する四頂点を抽出する頂点抽出部と、
前記看板領域に基づいて、前記頂点抽出部が抽出した四頂点から前記看板領域の四頂点を選出する頂点選出部と、
を備えることを特徴とする請求項1又は請求項2に記載の画像処理装置。 - 前記頂点選出部により選出された前記看板領域の四頂点の座標に基づいて、前記看板領域の画像から看板の正面画像を生成する正面画像生成部を備えることを特徴とする請求項3に記載の画像処理装置。
- 前記看板領域選択部が選択した看板領域の特徴量に基づいて、前記看板の属性を示す属性情報を取得する属性取得部を備えることを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域の外側のエッジ長と該画像領域内部に存在する内部画像領域の外側のエッジ長との比であるエッジ比のうち、少なくとも前記エッジ比を含む1つまたは2つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択手順を有することを特徴とする画像処理方法。 - コンピュータに、
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域の外側のエッジ長と該画像領域内部に存在する内部画像領域の外側のエッジ長との比であるエッジ比のうち、少なくとも前記エッジ比を含む1つまたは2つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択ステップを実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011169584A JP5767887B2 (ja) | 2011-08-02 | 2011-08-02 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011169584A JP5767887B2 (ja) | 2011-08-02 | 2011-08-02 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033406A JP2013033406A (ja) | 2013-02-14 |
JP5767887B2 true JP5767887B2 (ja) | 2015-08-26 |
Family
ID=47789244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011169584A Expired - Fee Related JP5767887B2 (ja) | 2011-08-02 | 2011-08-02 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5767887B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6543062B2 (ja) * | 2015-03-23 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6829575B2 (ja) * | 2016-10-03 | 2021-02-10 | グローリー株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
JP6835665B2 (ja) * | 2017-05-25 | 2021-02-24 | Kddi株式会社 | 情報処理装置及びプログラム |
JP7055186B2 (ja) * | 2020-12-16 | 2022-04-15 | ヤンマーパワーテクノロジー株式会社 | 物体識別システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002017220A1 (fr) * | 2000-08-22 | 2002-02-28 | Akira Kurematsu | Procede d'extraction de zones de caracteres dans une image |
US7171056B2 (en) * | 2003-02-22 | 2007-01-30 | Microsoft Corp. | System and method for converting whiteboard content into an electronic document |
JP4673140B2 (ja) * | 2005-06-21 | 2011-04-20 | 株式会社昭文社デジタルソリューション | 画像処理装置および方法 |
JP4525519B2 (ja) * | 2005-08-18 | 2010-08-18 | 日本電信電話株式会社 | 四辺形評価方法及び装置及びプログラム |
JP4712487B2 (ja) * | 2005-08-25 | 2011-06-29 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 |
JP4928310B2 (ja) * | 2007-03-02 | 2012-05-09 | キヤノン株式会社 | ナンバープレート認識装置、その制御方法、コンピュータプログラム |
-
2011
- 2011-08-02 JP JP2011169584A patent/JP5767887B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013033406A (ja) | 2013-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4380838B2 (ja) | ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム | |
Zhu et al. | Concrete column recognition in images and videos | |
US8180146B2 (en) | Method and apparatus for recognizing and localizing landmarks from an image onto a map | |
JP4970195B2 (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
JP4958497B2 (ja) | 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 | |
Kaminsky et al. | Alignment of 3D point clouds to overhead images | |
Palenichka et al. | Automatic extraction of control points for the registration of optical satellite and LiDAR images | |
EP2874097A2 (en) | Automatic scene parsing | |
CN105358937A (zh) | 用于测绘仪器的定位方法和所述测绘仪器 | |
EP3284012B1 (en) | Document scanner | |
CN104246793A (zh) | 移动设备的三维脸部识别 | |
Hebbalaguppe et al. | Telecom Inventory management via object recognition and localisation on Google Street View Images | |
Ghouaiel et al. | Coupling ground-level panoramas and aerial imagery for change detection | |
JP5767887B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN109584250B (zh) | 一种鲁棒的视觉区域自动划分标注的方法 | |
US11341183B2 (en) | Apparatus and method for searching for building based on image and method of constructing building search database for image-based building search | |
JP4517003B2 (ja) | 道路標識自動認識システム | |
Ma et al. | Remote sensing image registration based on multifeature and region division | |
WO2007108100A1 (ja) | 画像情報処理装置、判定方法、及びコンピュータプログラム | |
CN106778649A (zh) | 一种判断景点标识物的图像识别算法 | |
Zhu et al. | Large-scale architectural asset extraction from panoramic imagery | |
JP2009032109A (ja) | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 | |
CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
Amato et al. | Technologies for visual localization and augmented reality in smart cities | |
JP4313462B2 (ja) | 画像形成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5767887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |