JP6811965B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、機械学習を用いた画像処理装置、画像処理方法及びプログラムに関する。より詳しくは、インターネットなどから収集した様々な種類の画像から輪郭強調画像を生成する技術に関する。

インターネット上には、日々、数多くの文章や画像が投稿されている。特に、ソーシャル・ネットワーキング・サービス（social networking service：ＳＮＳ）は、手軽にコメントや写真を投稿できるため、事件、事故及び災害などに関する情報がリアルタイムで投稿されることがあり、投稿写真や投稿動画などがニュース・報道で利用され始めている。

また、ＳＮＳへの投稿された写真や動画（以下、投稿画像という。）には様々な情報が含まれており、これらの画像から事件、事故及び災害などの事象の発生場所などの有用な情報を短時間で抽出できれば、ニュースソースとしての価値をより高めることができる。画像から情報を抽出する方法としては、例えばＯＣＲ（Optical Character Recognition；光学的文字認識）技術を用いて、画像から各種文字情報を抽出する方法がある。

従来、機械学習を用いて、画像中の文字情報を抽出する方法も提案されている（特許文献１，２参照）。更に、文字情報の検出精度を向上させるために、多値画像に含まれる文字のエッジを強調する処理を行う画像処理装置も提案されている（特許文献３参照）。

特開２０１７−０８４２９９号公報 特開２０１７−１１７３４０号公報 特開２０１７−１１８４８０号公報

しかしながら、前述した従来の文字情報抽出方法は、以下に示す問題点がある。先ず特許文献１に記載の技術は、解像度が低い画像や文字に焦点が合っていない画像では精度良く文字情報を抽出することができない。また、特許文献２に記載の技術は、画像から文字を認識するのではなく、機械学習法により画像に含まれる文字を予想するものであるため、文字情報の検出精度が低く、また処理工程が多いため短時間で必要な情報を得ることはできない。

一方、特許文献３に記載の技術は、文字のエッジを強調した画像を用いて文字情報を抽出しているため検出精度を向上させることはできるが、エッジを検出して強調するには数多くの工程が必要であり、更に各工程で複雑な処理を行っているため処理速度が遅い。このため、特許文献３に記載の技術を用いても、投稿画像から短時間で、かつ、精度良く文字情報を抽出することはできない。

そこで、本発明は、様々な入力画像から輪郭強調画像を短時間で生成することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は、原画像と該原画像に対してぼかし処理を行ったぼかし画像とで構成される複数のデータセットを教師データとして構築された学習モデルを用いて、入力画像から輪郭のみが強調された情報抽出用の輪郭強調画像を生成する輪郭強調処理部を備える。
前記入力画像は、例えばインターネットを介して収集した投稿画像である。
前記ぼかし画像は、前記原画像の画像サイズを縮小し、更にぼかし処理を行ったものでもよい。
前記輪郭強調画像は、前記入力画像よりも画像サイズが大きくてもよい。
本発明の画像処理装置は、前記輪郭強調画像から文字情報を抽出する文字情報抽出部を有していてもよい。
その場合、前記文字情報抽出部は、地名に関する文字を選択的に抽出して出力することができる。
本発明の画像処理装置は、更に、前記文字情報抽出部で抽出された文字情報から前記入力画像の撮影場所を推定する撮影場所推定部を有していてもよい。

本発明に係る画像処理方法は、１又は複数の画像処理装置を用いて入力画像から輪郭のみが強調された情報抽出用の輪郭強調画像を生成する輪郭強調処理工程を有し、前記輪郭強調処理工程では、原画像と該原画像に対してぼかし処理を行ったぼかし画像で構成される複数のデータセットを教師データとして構築された学習モデルを用いて輪郭強調画像を生成する。
本発明の画像処理方法は、前記入力画像として、インターネットを介して収集した投稿画像を用いてもよい。
本発明の画像処理方法は、前記原画像の画像サイズを縮小した後、ぼかし処理を行いぼかし画像を生成する工程を有していてもよい。
前記輪郭強調処理工程では、前記ぼかし画像として、前記原画像の画像サイズを縮小し、更にぼかし処理を行ったものを用いることができる。
本発明の画像処理方法は、前記輪郭強調画像から文字情報を抽出する文字情報抽出工程を有していてもよい。
前記文字情報抽出工程では、前記輪郭強調画像に文字が存在するか否かを判別し、文字が存在する場合はその文字を認識して出力してもよい。
その場合、地名に関する文字を選択的に出力することができる。
前記文字情報抽出工程では、更に、前記文字情報抽出工程で抽出された文字情報から前記入力画像の撮影場所を推定する撮影場所推定工程を有していてもよい。

本発明に係るプログラムは、前述した画像処理方法をコンピュータに実行させるものである。

本発明によれば、複数の原画像とそのぼかし画像とで構成される複数のデータセットを教師データとして構築された学習モデルを用いているため、投稿画像のような多種多様の画像から情報抽出に好適な輪郭強調画像を短時間で生成することができる。

本発明の第１の実施形態の画像処理装置の構成例を示す概念図である。 機械学習で用いる教師データセットの例であり、Ａは原画像であり、Ｂはぼかし画像である。 処理前後の画像の例であり、Ａは入力画像であり、Ｂは輪郭強調画像である。 本発明の第２の実施形態の画像処理装置の構成例を示す概念図である。 本発明の第２の実施形態の画像処理方法を示すフローチャートである。

以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。

（第１の実施形態）
先ず、本発明の第１の実施形態に係る画像処理装置について説明する。図１は本実施形態の画像処理装置の構成例を示す概念図である。図１に示すように、本実施形態の画像処理装置１０は、入力画像から輪郭強調画像を生成する輪郭強調処理部１を備える。

［入力画像］
本実施形態の画像処理装置１０で処理される入力画像は、例えばインターネットを介して収集された投稿画像であるが、これらに限定されるものではなく、例えばドライブレコーダや監視カメラの画像など、輪郭強調処理が必要な又は輪郭強調処理により何らかの効果が期待される種々の画像を用いることができる。

［輪郭強調処理部１］
輪郭強調処理部１は、原画像とそのぼかし画像とで構成される複数のデータセットを教師データとして構築された学習モデル１１を備えている。そして、この輪郭強調処理部１では、学習モデル１１によって、入力画像に含まれる被写体の輪郭が強調された輪郭強調画像が生成される。

［学習部２］
本実施形態の画像処理装置１０には、教師データを用いた機械学習により学習モデル１１を生成する学習部２が設けられていてもよい。学習部２で行う機械学習では、原画像とこの原画像に対してぼかし処理を行ったぼかし画像の２つの画像で構成される複数のデータセットを教師データとして用いる。この教師データには、原画像が共通で、ぼかし画像のぼかし度合いが異なる２以上のデータセットが含まれていてもよい。

図２Ａ及び図２Ｂは機械学習で用いる教師データセットの例であり、図２Ａは原画像であり、図２Ｂはぼかし画像である。教師データセットは、例えば出力データに相当する原画像に図２Ａに示す画像を用いる場合は、入力データに相当するぼかし画像には、図２Ｂに示すような縦横のサイズを原画像の半分に縮小した後、ぼかし処理を施した画像を用いることができる。

学習部２には、前述した教師データセットが例えば１０００セット以上記憶されている。このように、原画像とそのぼかし画像をセットで学習させることにより、得られる学習モデル１１は、処理対象の入力画像よりも縦及び横のサイズが大きい画像を出力するようになる。その結果、例えば輪郭強調処理部１で生成した輪郭強調画像について文字認識を行う際に文字の認識率をより高めることができる。

なお、図１には学習部２が画像処理装置１０内に設けられている構成例を示しているが、学習部２は輪郭強調処理部１とは別の装置に設けられていてもよい。また、本実施形態の画像処理装置１０では、必要に応じて、輪郭強調処理部１での処理結果を学習部２の教師データに反映させて、学習モデル１１を更新することもできる。

［動作］
次に、本実施形態の画像処理装置１０の動作、即ち、画像処理装置１０を用いて画像を処理する方法について説明する。図３Ａ及び図３Ｂは処理前後の画像の例であり、図３Ａは入力画像であり、図３Ｂは輪郭強調画像である。本実施形態の画像処理方法は、画像処理装置１０の輪郭強調処理部１において、入力画像から輪郭強調画像を生成する輪郭強調処理工程を行う。

具体的には、輪郭強調処理工程では、図２Ａ，Ｂに示すような原画像とそのぼかし画像で構成される複数のデータセットを教師データとして構築された学習モデルを用いて、例えば図３Ａに示す入力画像から図３Ｂに示す輪郭強調画像を得る。その際、入力画像としては、例えばインターネットを介して収集した投稿画像を用いることができる。

本実施形態の画像処理方法では、教師データセットのぼかし画像として、原画像の画像サイズを縮小し、更にぼかし処理を行ったものを用いることができる。例えば、教師データセットに用いるぼかし画像が原画像の半分のサイズであった場合、輪郭強調処理工程により得られる輪郭強調画像のサイズは、入力画像の２倍の大きさとなる。

［プログラム］
前述した輪郭強調処理工程は、画像処理装置１０に設けられた各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本実施形態の画像処理方法は、コンピュータに、原画像とそのぼかし画像で構成される複数のデータセットを教師データとして構築された学習モデルを用いて、入力画像から輪郭強調画像を生成する輪郭強調処理機能を実行させることにより、実施することができる。

以上詳述したように、本実施形態の画像処理装置及び方法は、複数の原画像とそのぼかし画像で構成される複数のデータセットを教師データとして機械学習を行って構築した学習モデルを用いているため、画像サイズや撮影品質などが異なる様々な写真から輪郭強調画像を生成することができる。これにより、投稿画像からの情報抽出が容易になる。

本実施形態の画像処理装置及び方法により生成された輪郭強調画像は、文字認識による文字情報の抽出の他、物体認識にも利用することができる。例えば、この輪郭強調画像について物体認識を行うと、画像に写っている車や人、動物などを精度良く認識することができるため、本実施形態の画像処理装置や画像処理方法は、監視カメラの異常検出などにも利用することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。図４は本実施形態の画像処理装置の構成例を示す概念図である。なお、図４においては、図１に示す画像処理装置２０と同じ構成には同じ符号を付し、詳細な説明は省略する。

図４に示すように、本実施形態の画像処理装置２０は、入力画像から文字情報を抽出するものであり、輪郭強調処理部１及び学習部２に加えて文字情報抽出部３を備えている。この画像処理装置２０では、更に撮影場所推定部４を設け、抽出された文字情報から撮影場所を推定することもできる。

［文字情報抽出部３］
文字情報抽出部３は、輪郭強調処理された画像から文字情報を抽出するものである。文字情報抽出部３における文字情報抽出方法は、特に限定されるものではないが、例えば、鮮明化された画像中に文字が存在するか否かを判別し、文字が存在する場合はＯＣＲなどの手法によりその文字を認識して出力する。

ここで、投稿画像から抽出される文字情報としては、車のナンバー、住所表示板、標識、店の看板に記載されている地名などが挙げられる。地名に関する文字を選択的に認識及び出力することにより、撮影場所に関する文字情報を効率的に抽出することができる。なお、文字情報抽出部３は、前述した輪郭強調処理部１とは別の装置に設けられていてもよく、その場合は、輪郭強調処理部１で生成された輪郭強調画像を、文字情報抽出部３が設けられている装置に出力すればよい。

［撮影場所推定部４］
撮影場所推定部４は、文字情報抽出部３で抽出された文字情報から、投稿画像の撮影場所を推定するものであり、必要に応じて設けられる。この撮影場所推定部４は、前述した文字情報抽出部３とは別の装置に設けられていてもよく、その場合は、文字情報抽出部３で抽出された文字情報を、撮影場所推定部４が設けられている装置に出力すればよい。

［動作］
次に、本実施形態の画像処理装置２０の動作、即ち、画像処理装置２０を用いて投稿画像から文字情報を抽出し、その撮影場所を推定する方法について説明する。図５は本実施形態の画像処理方法を示すフローチャートである。本実施形態の画像処理方法では、入力画像としてインターネットを介して収集した投稿画像を用いて、その中に含まれる文字情報を抽出し、更に、必要に応じてその撮影場所を推定する。具体的には、図５に示すように、１又は２以上の画像処理装置２０を用いて、輪郭強調処理工程Ｓ１、文字情報抽出工程Ｓ２及び撮影場所推定工程Ｓ３を行う。

＜輪郭強調処理工程Ｓ１＞
輪郭強調処理工程Ｓ１では、原画像とそのぼかし画像で構成される複数のデータセットを教師データとして構築された学習モデルを用いて、投稿画像（入力画像）から被写体の輪郭を強調した輪郭強調画像を生成する。この輪郭強調処理は、入力画像の特定領域だけでなく、画像全体に対して実施する。これにより、画像に含まれる文字情報を、もれなくかつ精度よく抽出することができる。

＜文字情報抽出工程Ｓ２＞
文字情報抽出工程Ｓ２では、輪郭強調処理された画像に文字が存在するか否かを判別し、文字が存在する場合はその文字を認識して出力する。その際、文字情報の認識及び抽出方法は、特に限定されるものではなく、ＯＣＲ処理や機械学習法などの公知の技術を利用することができる。

また、文字情報抽出工程Ｓ２では、例えば地名などのように撮影場所の特定に有用な文字を選択的に抽出してもよい。これにより、効率的に投稿画像の撮像場所を特定することができる。

＜撮影場所推定工程Ｓ３＞
撮影場所推定工程Ｓ３では、前述した文字情報抽出工程Ｓ２で抽出された文字情報から投稿画像の撮影場所を推定する。例えば、投稿画像から抽出された文字情報が１つの地名であった場合は、その地名の場所を撮影場所と推定する。

一方、投稿画像に複数の地名が含まれていた場合は、住所表示板や標識などのようにより確実性の高いものを優先的に採用し、確実性の高い文字情報がない場合は、複数の情報を総合的に判定しより大きなくくりを採用する。具体的には、画像から抽出された文字情報が車のナンバーであり、「Ａ市」と「Ｂ市」であった場合はこれらの市がある「Ｘ県」と推定し、「Ｘ県Ａ市」と「Ｙ県Ｃ市」があった場合はＸ県とＹ県を含む「Ｚ地方」と推定する。あるいは、「Ａ市」又は「Ｂ市」、「Ｘ県」又は「まＹ県」と曖昧に認識することもできる。

［プログラム］
前述した各工程は、画像処理装置２０における各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本実施形態の画像処理方法は、コンピュータに、機械学習により構築した学習モデルを用いて投稿画像から輪郭強調画像を生成する機能と、輪郭強調画像から文字情報を抽出する機能を実行させることにより、実施することができる。

このコンピュータプログラムでは、文字情報抽出機能において、輪郭強調処理された画像中に文字が存在するか否かを判別し、文字が存在する場合はその文字を認識して出力するようにしてもよく、その場合、地名に関する文字を選択的に出力してもよい。また、このコンピュータプログラムには、更に、文字情報抽出機能により抽出された文字情報から投稿画像の撮影場所を推定する撮影場所推定機能を追加することもできる。

なお、前述した各機能は、一のプログラムに搭載されている必要はなく、機能毎にプログラムを作成し、それらを連動させることにより実行してもよい。その場合、各プログラムを２台以上のコンピュータ又は装置に分割して実装し、動作させることもできる。

一般に、ＯＣＲ処理の対象となっているのは文書を撮影した文書画像であり、スナップ写真などのように様々な被写体が映り込んでいる情景画像は、従来のＯＣＲ処理では、その中に含まれる看板や車のナンバーなどの文字情報を精度良く認識させることは難しい。これに対して、本実施形態の画像処理装置及び方法では、文字情報の抽出を行う前に、投稿画像に写っている被写体の輪郭を強調する処理を行っているため、画像に含まれる文字が認識されやすくなる。

その結果、本実施形態の画像処理装置及び方法によれば、位置情報が付与されていない投稿画像についても、撮影場所を推定することが可能となるため、事件・事故・災害などの事象の発生場所を短時間で特定することが可能となる。なお、本実施形態の画像処理装置及び方法における上記以外の構成及び効果は、前述した第１の実施形態と同様である。

１ 輪郭強調処理部
２ 学習部
３ 文字情報抽出部
４ 撮影場所推定部
１０、２０ 画像処理装置
１１ 学習モデル

Claims (16)

1. 原画像と該原画像に対してぼかし処理を行ったぼかし画像とで構成される複数のデータセットを教師データとして構築された学習モデルを用いて、入力画像から輪郭のみが強調された情報抽出用の輪郭強調画像を生成する輪郭強調処理部を有する画像処理装置。
2. 前記入力画像は、インターネットを介して収集した投稿画像である請求項１に記載の画像処理装置。
3. 前記ぼかし画像は、前記原画像の画像サイズを縮小し、更にぼかし処理を行ったものである請求項１又は２に記載の画像処理装置。
4. 前記輪郭強調画像は、前記入力画像よりも画像サイズが大きい請求項３に記載の画像処理装置。
5. 前記輪郭強調画像から文字情報を抽出する文字情報抽出部を有する請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記文字情報抽出部は、地名に関する文字を選択的に抽出して出力する請求項５に記載の画像処理装置。
7. 更に、前記文字情報抽出部で抽出された文字情報から前記入力画像の撮影場所を推定する撮影場所推定部を有する請求項５又は６に記載の画像処理装置。
8. １又は複数の画像処理装置によって、入力画像から輪郭のみが強調された情報抽出用の輪郭強調画像を生成する輪郭強調処理工程を有し、
   前記輪郭強調処理工程では、原画像と該原画像に対してぼかし処理を行ったぼかし画像とで構成される複数のデータセットを教師データとして構築された学習モデルを用いて輪郭強調画像を生成する画像処理方法。
9. 前記入力画像として、インターネットを介して収集した投稿画像を用いる請求項８に記載の画像処理方法。
10. 前記ぼかし画像として、前記原画像の画像サイズを縮小し、更にぼかし処理を行ったものを用いる請求項８又は９に記載の画像処理方法。
11. 前記輪郭強調処理工程では、前記入力画像よりも画像サイズが大きい輪郭強調画像を生成する請求項１０に記載の画像処理方法。
12. 前記輪郭強調画像から文字情報を抽出する文字情報抽出工程を有する請求項８〜１１のいずれか１項に記載の画像処理方法。
13. 前記文字情報抽出工程では、前記輪郭強調画像に文字が存在するか否かを判別し、文字が存在する場合はその文字を認識して出力する請求項１２に記載の画像処理方法。
14. 地名に関する文字を選択的に出力する請求項１２又は１３に記載の画像処理方法。
15. 更に、前記文字情報抽出工程で抽出された文字情報から前記入力画像の撮影場所を推定する撮影場所推定工程を有する請求項１２〜１４のいずれか１項に記載の画像処理方法。
16. 請求項８〜１５のいずれか１項に記載の画像処理方法を、コンピュータに実行させるプログラム。