JP7302410B2

JP7302410B2 - 画像認識装置、画像認識システム、画像認識方法及びプログラム

Info

Publication number: JP7302410B2
Application number: JP2019174630A
Authority: JP
Inventors: 秀剛奥城
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2023-07-04
Anticipated expiration: 2039-09-25
Also published as: US20220157050A1; JP2021051601A; WO2021060165A1

Description

本発明は、画像認識装置、画像認識システム、画像認識方法及びプログラムに関する。

近年、画像認識のためにＣＮＮ（Conventional Neural Network：畳み込みニューラルネットワーク）が用いられる場合がある。例えば特許文献１には、ＣＮＮを用いて人の姿勢などの画像認識を行う旨が記載されている。

特開２０１９－３５６５号公報

しかし、ＣＮＮは、後続の層に向かってのみ結合するため、時間経過に従った画像の変化パターンを認識することが困難である。ＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long Short Term Memory）を用いれば時間経過を認識可能であるが、再帰演算が必要となるため、演算処理の負荷が高くなってしまう。従って、演算処理の負荷を抑えつつ、時間経過に従った画像の変化パターンを適切に認識することが求められている。

本発明は、上記課題を鑑み、演算処理の負荷を抑えつつ、時間経過に従った画像の変化パターンを適切に認識することができる画像認識装置、画像認識システム、画像認識方法及びプログラムを提供することを目的とする。

本発明の一態様にかかる画像認識装置は、時間経過に従って撮像された複数の画像データを取得する画像取得部と、複数の前記画像データを並べた合成画像データを生成する合成画像生成部と、学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であるパターン情報を生成するパターン情報生成部と、を備える。

本発明の一態様に係る画像認識システムは、前記画像認識装置を含む画像認識システムであって、前記ＣＮＮモデルを生成する学習部を更に有し、前記学習部は、時間経過に従った変化パターンが既知の複数の学習用画像データを並べた学習用合成画像データを取得し、前記学習用合成画像データにラベルを付与することで、前記ＣＮＮモデルを生成する。

本発明の一態様にかかる画像認識方法は、時間経過に従って撮像された複数の画像データを取得する画像取得ステップと、複数の前記画像データを並べた合成画像データを生成する合成画像生成ステップと、学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であるパターン情報を生成するパターン情報生成ステップと、を含む。

本発明の一態様にかかるプログラムは、時間経過に従って撮像された複数の画像データを取得する画像取得ステップと、複数の前記画像データを並べた合成画像データを生成する合成画像生成ステップと、学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であるパターン情報を生成するパターン情報生成ステップと、をコンピュータに実行させる。

本発明によれば、演算処理の負荷を抑えつつ、時間経過に従った画像の変化パターンを適切に認識することができる。

図１は、本実施形態に係る画像認識システムの模式的なブロック図である。図２は、本実施形態の画像認識システムの他の例を示すブロック図である。図３は、画像取得部が取得する画像データの一例を示す模式図である。図４は、合成画像の一例を示す模式図である。図５は、ＣＮＮモデルの概念的な模式図である。図６は、教師データの一例を示す図である。図７は、パターン情報生成部によるパターン情報の算出結果の例を示す図である。図８は、画像認識装置による画像認識処理のフローを説明するフローチャートである。図９は、撮像条件と輝度変化との関係の例を示すグラフである。図１０は、撮像条件毎の合成画像データの一例を示す模式図である。図１１は、第２実施形態に係る教師データの一例を示す図である。図１２は、第２実施形態に係るパターン情報の算出結果の例を示す図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

図１は、本実施形態に係る画像認識システムの模式的なブロック図である。図１に示すように、本実施形態に係る画像認識システム１は、撮像装置１０と画像認識装置１２とを備える。画像認識システム１は、画像認識装置１２によって、ＣＮＮ（Conventional Neural Network：畳み込みニューラルネットワーク）モデルＣを用いて、撮像装置１０が撮像した画像の、時間経過に従った変化パターンを解析することで、画像認識を行う。なお、本実施形態では、撮像装置１０と画像認識装置１２とが別体の装置であるが、一体の装置であってもよい。

撮像装置１０は、例えばビデオカメラである。撮像装置１０は、所定のフレームレート毎に、所定のシャッタスピードで対象物を撮像することで、時間経過毎の複数の画像を撮像する。すなわち、撮像装置１０は、時間的に連続した複数の画像を撮像するといえる。なお、撮像装置１０は、例えば車両に搭載されるドライブレコーダに搭載されて、車両の周囲を撮像するが、それに限られず、任意の対象物を撮像するものであってよい。

画像認識装置１２は、例えばコンピュータであり、入力部１４と、出力部１６と、記憶部１８と、制御部２０とを備える。入力部１４は、作業者の操作を受け付ける装置であり、例えばマウスやキーボードやタッチパネルなどである。出力部１６は、情報を出力する装置であり、例えば制御部２０の制御内容などを表示する表示装置を含む。記憶部１８は、制御部２０の演算内容やプログラムの情報などを記憶するメモリである。記憶部１８は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つを含み、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などの揮発性の記憶装置を含んでよく、例えばＲＯＭからＲＡＭにＣＮＮモデルＣを読み出して実行してよい。記憶部１８は、ＣＮＮモデルＣを記憶する。ＣＮＮモデルＣについては後述する。

制御部２０は、演算装置、すなわちＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。制御部２０は、画像取得部３０と、合成画像生成部３２と、パターン情報生成部３４と、学習部３６とを有する。画像取得部３０と、合成画像生成部３２と、パターン情報生成部３４と、学習部３６とは、制御部２０が記憶部１８に記憶されたソフトウェア（プログラム）を読み出すことで実現され、後述する処理を実行する。

図２は、本実施形態の画像認識システムの他の例を示すブロック図である。図１の例では、学習部３６は、画像認識装置１２の制御部２０に含まれていたが、制御部２０に含めなくてもよく、例えば、画像認識装置１２とは異なるコンピュータやクラウドサーバ等に別途備えるようにしてもよい。学習部３６は、後述する学習に必要なデータを、記憶部１８、または画像認識装置１の外部の記憶装置等から読み出し、当該データに基づいて学習済みのＣＮＮモデルＣを生成し、記憶部１８に記憶させるようにしてもよい。図２は、学習部３６を画像認識装置１２とは異なる装置に備えた場合の例を示している。図２に示すように、この場合の画像認識システム１は、撮像装置１０及び画像認識装置１２に加えて、学習装置１２ａを備えている。図２の画像認識装置１２の制御部２０には、学習部３６が含まれない。学習装置１２ａは、例えばコンピュータであり、入力部１４ａと、出力部１６ａと、記憶部１８ａと、制御部２０ａとを備える。入力部１４ａ、出力部１６ａ、及び記憶部１８ａは、画像認識装置１２の入力部１４、出力部１６、及び記憶部１８と同様の構成である。制御部２０ａは、演算装置、すなわちＣＰＵであり、学習部３６を含んでいる。学習装置１２ａの学習部３６により生成されたＣＮＮモデルＣが、画像認識装置１２に送信されて、記憶部１８に記憶される。なお、図２の構成、すなわち学習部３６を画像認識装置１の外部に設ける構成は、後述の第２実施形態にも適用できる。

画像取得部３０は、撮像装置１０が撮像した画像のデータである画像データＰを取得する。画像取得部３０は、撮像装置１０が時間経過に従って撮像した複数の画像データＰを取得する。すなわち、画像取得部３０が取得する画像データＰは、時間的に連続する画像のデータである。例えば、画像取得部３０は、撮像装置１０が所定のフレームレートで撮像する毎に、画像データＰを取得する。

図３は、画像取得部が取得する画像データの一例を示す模式図である。ここで、撮像装置１０が定点撮像を行っていても、撮像装置１０の撮像画像（画像データＰ）は、時間経過に従って、予期し難い変化パターンで変化する場合がある。ここでの変化パターンとは、画像全体の輝度が時間経過に伴い変化することを指し、さらにいえば、時間経過に伴った輝度変化により画像がちらつく、いわゆるフリッカ現象を指す。図３の例では、画像データＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、・・・の順で、時間経過毎に撮像されており、例えば画像データＰ２は、画像データＰ１の直後に撮像装置１０に撮像された画像データである。図３の例では、画像データＰ２、Ｐ３、Ｐ４の画像全体の輝度が、他の画像データＰよりも小さくなっている。従って、図３における画像データＰを動画像として再生すると、時間経過に応じて輝度が変化して、フリッカとしてユーザに視認される。

このように、画像データＰの変化パターンによっては、フリッカなどのように動画像に悪影響を及ぼす場合があり、その動画像を適切に活用することができないおそれがある。画像データＰの変化パターンをユーザが確認して、悪影響を除去することも可能であるが、画像データＰの数が多くなった場合などにユーザへの負荷が大きくなるため、自動で画像データＰの変化パターンを認識することが求められる。それに対し、本実施形態に係る画像認識装置１２は、ＣＮＮモデルＣを用いて、画像データＰの時間経過に従った変化パターン（ここではフリッカが起きているか否か）を、認識する。ただし、ＣＮＮは、時間経過の観察が困難であるため、画像データＰの変化パターンを適切に認識できない場合がある。それに対し、本実施形態に係る画像認識装置１２は、画像取得部３０及び合成画像生成部３２により、ＣＮＮモデルＣに入力する画像データを加工することで、ＣＮＮモデルＣによって画像データＰの変化パターンを適切に認識することを可能としている。以下、具体的に説明する。

図１に示す画像取得部３０は、撮像装置１０から取得した画像データＰを縮小する処理、すなわちリサイズを行う。例えば、画像取得部３０は、取得した画像データＰに対し、所定数の画素毎に画素データ（画素の輝度値）をサンプリングして並べることで、画像データＰを縮小する。なお、画素データのサンプリングに限らず、例えば、所定数の画素から平均値、中央値、分散、標準偏差、最頻値、最大値、最小値、中点値、及び最大値と最小値との差分値、などの代表値を算出し、代表値を用いて画像データＰを縮小してもよい。

図４は、合成画像の一例を示す模式図である。合成画像生成部３２は、画像取得部３０から、縮小された画像データＰを取得する。合成画像生成部３２は、取得した画像データＰを並べて、合成画像データＱを生成する。すなわち、合成画像データＱは、時間経過に従って撮像された複数の画像データＰが並んだ画像データであり、言い換えれば撮像時刻が連続する複数の画像データＰが並んだ画像データである。本実施形態では、合成画像生成部３２は、マトリクス状に、すなわち方向Ｘ及び方向Ｙ（図４参照）に、画像データＰを並べるため、合成画像データＱは、マトリクス状に画像データＰが並んだものとなる。図４の（Ａ）の例では、時間経過に従って撮像された画像データＰ１から画像データＰ１６までの１６枚が、４行４列に並んでいる。ただし、合成画像データＱにおける画像データＰの並び順はこれに限られず、図４のように４行４列に画像データＰが並ぶことに限られず、マトリクス状に並ぶことにも限られない。なお、合成画像生成部３２は、画像取得部３０が縮小処理した画像データＰを取得するため、合成画像データＱは、縮小された画像データＰが並ぶ。ただし、画像データＰの縮小処理は必須でなく、合成画像データＱは、縮小されていない画像データＰが並ぶものであってもよい。

合成画像生成部３２は、複数の画像データＰを並べた合成画像データＱの各座標（各画素）における輝度値から、画像データＰの輝度の平均値を差し引いて、輝度の平均値が差し引かれた後の合成画像データＱを、後述のパターン情報生成部３４が用いる合成画像データＱとしてもよい。画像データＰの輝度の平均値とは、合成画像データＱに含まれる全ての画像データＰの輝度の平均値である。すなわち、図４の（Ａ）の例では、画像データＰ１からＰ１６の各座標（各画素）の輝度を平均した値である。これにより、パターン情報生成部３４が用いる合成画像データＱを、明暗の度合いがより鮮明になった画像とすることが可能となり、画像データＰの変化パターンをより適切に認識可能となる。

合成画像生成部３２は、画像取得部３０が新しい画像データＰを取得する毎に、言い換えれば撮像装置１０が撮像する毎に、その新しい画像データＰを取得する。そして、合成画像生成部３２は、新しく取得した画像データＰを合成画像データＱに並べることで、合成画像データＱを更新する。例えば、図４の（Ｂ）に示すように、合成画像生成部３２は、合成画像データＱに含まれている最も撮像時刻が遅い画像データＰ１６の次に撮像された画像データＰ１７を、取得する。合成画像生成部３２は、合成画像データＱに含まれている最も撮像時刻が早い画像データＰ１を、合成画像データＱから除去して、新しい画像データＰ１７を合成画像データＱに加える。そして、合成画像生成部３２は、合成画像データＱに含まれる画像データＰ、図４の例では画像データＰ２からＰ１７を、マトリクス状に並べて、合成画像データＱを更新する。

図１に示すパターン情報生成部３４は、合成画像生成部３２が生成した合成画像データＱを取得し、記憶部１８に記憶されている学習済みのＣＮＮモデルＣを読み出す。パターン情報生成部３４は、合成画像データＱに基づく入力データをＣＮＮモデルＣに入力することで、画像データＰの時間経過に従った変化パターンの情報である、パターン情報を生成する。ＣＮＮモデルＣは、学習部３６によって重み係数及びバイアス値が学習されたニューラルネットワークモデルである。パターン情報生成部３４によるパターン情報の生成処理を説明する前に、学習部３６による学習済みのＣＮＮモデルＣの生成について説明する。

図５は、ＣＮＮモデルの概念的な模式図である。ＣＮＮモデルＣは、ディープラーニングによって学習された分類器を構成するニューラルネットワークを定義するモデル（ニューラルネットワークの構成情報）と、変数とで構成される。ＣＮＮモデルＣは、入力されたデータと学習済みのデータとを比較して、類似の度合い、例えば類似度が何％であるか、を判定できるものである。ディープラーニングは、機械学習のうちの１つの手法であり、狭義には４層以上のニューラルネットワークから構成される。より詳しくは、ＣＮＮモデルＣは、図５に示すように、複数の畳み込み層及び複数のプーリング層を含む中間層Ｍと、全結合層を含む最終層Ｆと、を備える。ＣＮＮモデルＣは、入力データＩが入力された場合に、中間層Ｍと最終層Ｆとで演算を行って、出力データＯを出力する。

学習部３６は、教師データを用いてＣＮＮモデルＣにおける重み係数及びバイアス値を設定することで、学習済みのＣＮＮモデルＣを生成する。学習部３６は、学習用合成画像データＱａを、教師データとして取得する。学習用合成画像データＱａは、学習用画像データＰａがマトリクス状に並んだ画像データである。学習用画像データＰａは、時間経過に従って撮像された画像データ（撮像時刻が連続する画像データ）であり、予め撮像されたデータである。従って、学習用合成画像データＱａに含まれる学習用画像データＰａの時間経過に伴った変化パターンは、既知である。学習用合成画像データＱａは、画像認識の対象となる画像データＰの代わりに、学習用画像データＰａが並んでいる以外は、合成画像データＱと同様の処理で生成される。すなわち、学習用合成画像データＱａにおける学習用画像データＰａの並び方は、合成画像データＱにおける画像データＰの並び方と、同じである。なお、学習用画像データＰａは、時間経過に従って撮像された画像データであればよく、学習用画像データＰａとして撮像される対象物は任意であってよい。

学習用合成画像データＱａは、自身に含まれる学習用画像データＰａのパターン情報、すなわち学習用画像データＰａの時間経過に従った変化パターンが、既知である。すなわち、学習部３６は、学習用合成画像データＱａに含まれる学習用画像データＰａの変化パターンの情報も取得しているといえる。学習部３６は、学習用画像データＰａの変化パターンを示すラベルを、学習用合成画像データＱａに付与する。図６は、教師データの一例を示す図である。図６の例では、学習部３６は、教師データとして、フリッカが起きている学習用合成画像データＱａ１と、その学習用合成画像データＱａ１にフリッカが起きている旨の情報とを取得して、学習用合成画像データＱａ１にラベルＬ１を付与する。すなわち、ここでのラベルＬ１は、フリッカありのラベルである。学習部３６は、フリッカが起きている学習用合成画像データＱａを複数種類取得して、それらの学習用合成画像データＱａの全てに、共通するラベルＬ１を付与する。なお、学習部３６は、フリッカが起きている学習用合成画像データＱａに加え、フリッカが起きていない学習用合成画像データＱａも教師データとして取得してもよい。この場合、学習部３６は、フリッカが起きていない学習用合成画像データＱａに、ラベルＬ１とは異なるラベルＬ０を付与する。すなわち、ラベルＬ０は、フリッカ無しのラベルとなる。ただし、学習部３６は、少なくとも、フリッカが起きている学習用合成画像データＱａのみを教師データとして取得すればよく、言い換えれば、共通する１つのラベルが割り当てられる学習用合成画像データＱａのみを教師データとして取得すればよい。

より具体的には、学習部３６は、教師データとして取得した学習用合成画像データＱａに基づくデータを、入力データＩとしてＣＮＮモデルＣに入力して、その学習用合成画像データＱａがラベルＬ１である旨をＣＮＮモデルＣに入力する。これにより、学習部３６は、バックプロパケーション（誤差逆伝搬法）により、ＣＮＮモデルＣの重み係数及びバイアス値を算出する。すなわち、学習部３６は、学習用合成画像データＱａに基づく入力データＩをＣＮＮモデルＣに入力した場合に、その学習用合成画像データＱａのラベルがラベルＬ１であるという演算結果を出力するように、重み係数及びバイアス値を算出する。なお、学習部３６は、学習用合成画像データＱａを方向Ｘ及び方向Ｙにおいて複数の画像データに区分して、区分したそれぞれの画像データにおけるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の階調値を、入力データＩとする。ただし、入力データＩは、このような区分した画像データのＲ、Ｇ、Ｂの階調値に限られず、学習用合成画像データＱａに基づくデータであればよい。

学習部３６は、以上のようにして重み係数及びバイアス値を算出することで、学習済みのＣＮＮモデルＣを生成し、学習済みのＣＮＮモデルＣを、記憶部１８に記憶させる。学習部３６は、パターン情報生成部３４と一体の装置に組み込まれているが、パターン情報生成部３４と別の装置に組み込まれていてもよい。

図７は、パターン情報生成部によるパターン情報の算出結果の例を示す図である。パターン情報生成部３４は、学習部３６によって生成された学習済みのＣＮＮモデルＣを記憶部１８から読み出し、合成画像生成部３２が生成した合成画像データＱを取得する。パターン情報生成部３４は、合成画像データＱに基づく入力データＩを学習済みのＣＮＮモデルＣに入力する。これにより、パターン情報生成部３４は、ＣＮＮモデルＣでの演算により、画像データＰの時間経過に従った変化パターンを示すパターン情報を生成する。具体的には、合成画像データＱを区分したそれぞれの画像データにおけるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の階調値が、入力データＩとして学習済みのＣＮＮモデルＣに入力されて、演算が行われる。パターン情報生成部３４は、ＣＮＮモデルＣにより、合成画像データＱがラベルＬ１に割り当てられる確率を、出力データＯとして算出する。図７の例では、パターン情報生成部３４は、合成画像データＱがフリッカありのラベルＬ１に割り当てられる確率が９８％である旨の情報を、出力データＯとして算出している。学習時に、学習用合成画像データＱａに割り当てるラベルを、フリッカ有りのラベルＬ１とフリッカ無しのラベルＬ２としていた場合は、パターン情報生成部３４は、出力データＯとして、ラベルＬ１に割り当てられる確率と、ラベルＬ０に割り当てられる確率とを、算出することとなる。

パターン情報生成部３４は、例えば、割り当てられる確率が所定値以上となるラベルに、合成画像データＱが割り当てられると判定して、割り当てられるラベルに対応する変化パターンの情報を、パターン情報として導出する。図７の例では、パターン情報生成部３４は、合成画像データＱがラベルＬ１に割り当てられる確率が所定値以上となるため、フリッカが起きていると判断して、合成画像データＱにフリッカが起きている画像データＰが含まれている旨の情報を、パターン情報として導出する。合成画像データＱがラベルＬ１に割り当てられる確率が所定値未満である場合は、パターン情報生成部３４は、フリッカが起きていないと判断して、合成画像データＱにフリッカが起きている画像データＰが含まれていない旨の情報を、パターン情報として導出する。パターン情報生成部３４は、導出したパターン情報を、出力部１６に出力させる。

パターン情報生成部３４は、合成画像データＱが更新される毎に、ＣＮＮモデルＣでの演算を行って、パターン情報を導出する。従って、パターン情報生成部３４は、画像データＰの変化パターンを、連続的に認識することが可能となる。

画像認識装置１２は、以上のように学習済みのＣＮＮモデルＣを用いて、画像データＰの時間経過に従った変化パターンの情報を生成して、画像認識を行う。上述のように、ＣＮＮモデルＣは、経時変化の認識が困難であるため、画像データＰの変化パターンを認識することが困難である。それに対して、本実施形態に係る画像認識装置１２は、時間経過毎の画像データＰを１枚の合成画像データＱ上に並べて、合成画像データＱに基づく入力データＩを用いて、ＣＮＮモデルＣによる演算を実行する。従って、本実施形態によると、ＣＮＮモデルＣによって、画像データＰの経時変化を、１枚の合成画像データＱの特徴量として認識することができるため、画像データＰの変化パターンを適切に認識できる。例えばフリッカが生じている場合、合成画像データＱは、輝度が低い画像データと輝度が高い画像データとが並んだ、輝度の明暗パターンが含まれる画像となる。従って、画像認識装置１２は、ＣＮＮモデルＣによって、合成画像データＱの輝度の明暗パターンの特徴量を抽出して、その特徴量に基づきラベル分類することで、画像データＰの変化パターン、すなわちフリッカが生じているかを、認識することが可能となる。

次に、画像認識装置１２による画像認識処理のフローを、フローチャートに基づき説明する。図８は、画像認識装置による画像認識処理のフローを説明するフローチャートである。図８に示すように、画像認識装置１２は、画像取得部３０により、撮像装置１０が撮像した画像データＰを取得し（ステップＳ１０）、取得した画像データＰを縮小処理する（ステップＳ１２）。画像認識装置１２は、合成画像生成部３２により、画像取得部３０が縮小した画像データＰを取得し、合成画像データＱに追加する（ステップＳ１４）。すなわち、合成画像生成部３２は、合成画像データＱ内に画像データＰを並べる。そして、合成画像データＱ内に画像データＰが所定数蓄積されていない場合（ステップＳ１６；Ｎｏ）、ステップＳ１０に戻り、次のタイミングで撮像された画像データＰを取得して、その後の処理を続ける。合成画像データＱ内に画像データＰが所定数蓄積されている場合（ステップＳ１６；Ｙｅｓ）、画像認識装置１２は、パターン情報生成部３４により、合成画像データＱをＣＮＮモデルＣに入力して、パターン情報を生成する（ステップＳ１８）。具体的には、パターン情報生成部３４は、学習済みのＣＮＮモデルＣを読み出して、読み出したＣＮＮモデルＣに、合成画像データＱに基づく入力データＩを入力して、ＣＮＮモデルＣを用いて演算を実行する。そして、ＣＮＮモデルＣの演算結果である出力データＯ（例えば合成画像データＱがラベルに分類される確率の情報）から、パターン情報を生成する。そして、パターン情報が、フリッカが無いことを示す場合（ステップＳ２０；Ｙｅｓ）、画像認識装置１２は、パターン情報、すなわちフリッカが無い旨の情報を、出力部１６に出力する（ステップＳ２２）。一方、パターン情報が、フリッカがあることを示す場合（ステップＳ２０；Ｎｏ）、画像認識装置１２は、フリッカがあるとされた合成画像データＱに含まれる画像データＰを画像処理して、例えば輝度が低くなっている画像の輝度を引き上げる。そして、画像認識装置１２は、フリッカがあった旨のパターン情報と、画像処理した画像とを、出力部１６に出力する。これにより、本処理は終了する。

以上説明したように、本実施形態に係る画像認識装置１２は、画像取得部３０と、合成画像生成部３２と、パターン情報生成部３４とを備える。画像取得部３０は、時間経過に従って撮像された複数の画像データＰを取得する。合成画像生成部３２は、複数の画像データＰを並べた合成画像データＱを生成する。パターン情報生成部３４は、学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルＣを取得し、取得したＣＮＮモデルＣに合成画像データＱに基づく入力データＩを入力して、画像データＰの時間経過に従った変化パターンの情報であるパターン情報を生成する。本実施形態に係る画像認識装置１２は、時間経過毎の画像データＰを１枚の合成画像データＱ上に並べて、合成画像データＱに基づく入力データＩを用いて、ＣＮＮモデルＣによる演算を実行する。従って、本実施形態によると、ＣＮＮモデルＣによって、画像データＰの経時変化を１枚の合成画像データＱの特徴量として認識することができるため、演算処理の負荷を抑えつつ、画像データＰの時間経過に従った変化パターンを適切に認識できる。

また、合成画像生成部３２は、複数の画像データＰをマトリクス状に並べて、合成画像データＱを生成する。この画像認識装置１２によると、合成画像データＱを画像データＰがマトリクス状に並んだデータとするため、画像データＰが並んだ合成画像データＱのパターンを好適に認識することが可能となり、画像データＰの時間経過に従った変化パターンを適切に認識できる。

また、合成画像生成部３２は、画像取得部３０が画像データＰを取得する毎に、取得した画像データＰを合成画像データＱに並べることで、合成画像データＱを更新する。パターン情報生成部３４は、合成画像データＱが更新される毎に、パターン情報を生成する。この画像認識装置１２によると、画像データＰの変化パターンを、連続的に認識することが可能となる。

また、本実施形態に係る画像認識システム１は、画像認識装置１２を含む。画像認識システム１は、学習済みのＣＮＮモデルＣを生成する学習部３６を有してもよい。学習部３６は、時間経過に従った変化パターンが既知の学習用画像データＰａを並べた学習用合成画像データＱａを取得する。学習部３６は、学習用合成画像データＱａにラベルを付与することで、ＣＮＮモデルＣに学習させて、学習済みのＣＮＮモデルＣを生成する。この画像認識システム１によると、このようにして学習済みのＣＮＮモデルＣを生成するため、ＣＮＮモデルＣを用いて、画像データＰの時間経過に従った変化パターンを適切に認識できる。

パターン情報生成部３４は、パターン情報として、画像データＰの画像がフリッカを起こしているかを示す情報を生成する。この画像認識装置１２によると、時間経過毎の画像データＰを１枚の合成画像データＱ上に並べてＣＮＮモデルＣによる演算を実行するため、フリッカが起きているかを適切に検出することができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態に係る画像認識装置１２は、ＣＮＮモデルＣに学習させる際に複数種類のラベルを設定する点で、第１実施形態と異なる。第２実施形態において、第１実施形態と構成が共通する箇所は、説明を省略する。

図９は、撮像条件と輝度変化との関係の例を示すグラフである。図１０は、撮像条件毎の合成画像データの一例を示す模式図である。撮像装置１０は、例えば光源により照光された環境下で撮像を行う場合がある。この光源は電源の周波数に応じて照光するため、被写体の明るさは、図９の上のグラフに示すように、時間経過に伴い電源の周波数に合わせて変化する。そのため、撮像装置１０による撮像画像（画像データＰ）は、被写体が明るいタイミングで撮像されたものと、暗いタイミングで撮像されたものとが含まれる場合がある。例えば図９においては、時刻ｔ１、ｔ２、ｔ３において、それぞれ時間Δｓだけ撮像されている。この場合、時刻ｔ１での被写体の明るさが、時刻ｔ２、ｔ３での被写体の明るさより低くなるため、時刻ｔ１の画像データＰの輝度は、時刻ｔ２、ｔ３の画像データＰの輝度より低くなる。例えばこのような場合には、時間経過に応じて画像の明暗が生じることになるため、フリッカが発生する。

さらに言えば、例えば被写体が明るいタイミングで撮像された画像データＰの輝度は高くなる傾向があるため、画像データＰの輝度は、被写体の明るさ変化の周波数と、撮像装置１０による撮像タイミングとの関係に依存する。撮像タイミングは、撮像装置１０による撮像条件、ここではフレームレートとシャッタスピードにより設定される。従って、撮像条件が異なれば画像の明暗の変化の仕方が異なることとなり、フリッカが起きている画像データ同士でも、時間経過に応じた明暗の変化の仕方が異なる場合がある。このように明暗の変化の仕方が異なる場合、画像データＰを並べた合成画像データＱ同士は、１枚の画像における明暗パターンが互いに異なる画像となる場合がある。図１０は、合成画像データＱ同士の明暗パターンの違いを説明するための例である。図１０の例では、合成画像データＱ１、Ｑ２、Ｑ３、Ｑ４のそれぞれは、撮像条件が異なる画像データを並べたものとなっている。合成画像データＱ１、Ｑ２、Ｑ３は、フリッカが起きているが明暗パターンが互いに異なる。また、合成画像データＱ４は、明暗パターンが視認されずフリッカが起きていないものとなっている。

このように、合成画像データＱは、撮像条件が異なることにより、明暗パターンが異なる場合がある。このような場合にＣＮＮモデルＣで画像認識を行うと、明暗パターンが異なる合成画像データＱ同士の特徴量の一致率が低くなり、フリッカの認識精度が低下するおそれが生じる。それに対し、第２実施形態においては、学習時に、撮像条件毎にラベルを設定することで、明暗パターンが異なる合成画像データＱを区別して認識して、フリッカを高精度に認識することを可能としている。以下、具体的に説明する。

図１１は、第２実施形態に係る教師データの一例を示す図である。第２実施形態においては、学習部３６は、フリッカが起きている学習用合成画像データＱａと、その学習用合成画像データＱａに含まれる学習用画像データＰａの撮像条件とを、教師データとして取得する。さらに言えば、学習部３６は、フリッカが起きているが撮像条件が異なる複数の学習用合成画像データＱａを取得する。そして、学習部３６は、撮像条件毎にラベルを付与する。具体的には、学習部３６は、撮像条件が共通する学習用合成画像データＱａに同じラベルを付与し、撮像条件が異なる学習用合成画像データＱａには、異なるラベルを付与する。図１１の例では、学習部３６は、撮像条件がＭ１であってフリッカが起きている複数の学習用合成画像データＱａ１と、撮像条件がＭ２であってフリッカが起きている複数の学習用合成画像データＱａ２と、撮像条件がＭ３であってフリッカが起きている複数の学習用合成画像データＱａ３と、を取得する。そして、学習部３６は、学習用合成画像データＱａ１にラベルＬ１を付与し、学習用合成画像データＱａ２にラベルＬ２を付与し、学習用合成画像データＱａ３にラベルＬ３を付与する。すなわち、ラベルＬ１は、フリッカありであって撮像条件Ｍ１となるラベルであり、ラベルＬ２は、フリッカありであって撮像条件Ｍ２となるラベルであり、ラベルＬ３は、フリッカありであって撮像条件Ｍ３となるラベルである。ただし、ラベルの数は３つに限られず任意である。また、図１１の例では、学習部３６は、フリッカが起きている学習用合成画像データＱａのみを取得しているが、フリッカが起きていない学習用合成画像データＱａを取得してもよい。この場合、学習部３６は、フリッカが起きていない学習用合成画像データＱａに、フリッカが起きている学習用合成画像データＱａとは異なるラベルを付与してもよい。

なお、本実施形態における撮像条件は、フレームレートとシャッタスピードである。すなわち、学習部３６は、フレームレートとシャッタスピードとが共通する学習用合成画像データＱａに同じラベルを付与し、フレームレートとシャッタスピードとの少なくとも１つが異なる学習用合成画像データＱａに異なるラベルを付与する。ただし、撮像条件は、フレームレートとシャッタスピードに限られず、例えば画像の背景パターンによる違いなどが挙げられる。例えば、画像の背景の色や形状等に基づく複数の背景パターンを定義し、これらの背景パターン毎に異なるラベルを付与し、同一のグループとしてもよい。例えば、田舎の風景画像で背景に山が含まれているグループ、海水浴場の風景画像で背景に海が含まれているグループなど、所定の背景パターン毎にあらかじめ同じグループに分類してもよい。

そして、学習部３６は、学習用合成画像データＱａ１、Ｑａ２、Ｑａ３に基づくデータを、入力データＩとしてＣＮＮモデルＣに入力して、その学習用合成画像データＱａ１、Ｑａ２、Ｑａ３のそれぞれにラベルＬ１、Ｌ２、Ｌ３が割り当てられる旨を、ＣＮＮモデルＣに入力する。これにより、学習部３６は、バックプロパケーション（誤差逆伝搬法）により、ＣＮＮモデルＣの重み係数及びバイアス値を算出する。すなわち、学習部３６は、学習用合成画像データＱａ１、Ｑａ２、Ｑａ３に基づく入力データＩをＣＮＮモデルＣに入力した場合に、学習用合成画像データＱａ１、Ｑａ２、Ｑａ３のラベルが、それぞれラベルＬ１、Ｌ２、Ｌ３であるという演算結果を出力するように、重み係数及びバイアス値を算出する。

図１２は、第２実施形態に係るパターン情報の算出結果の例を示す図である。パターン情報生成部３４は、学習部３６が生成した学習済みのＣＮＮモデルＣを読み出し、合成画像データＱに基づく入力データＩを、ＣＮＮモデルＣに入力する。パターン情報生成部３４は、ＣＮＮモデルＣにより、合成画像データＱがそれぞれのラベルに割り当てられる確率を、出力データＯとして算出する。図１２の例では、パターン情報生成部３４は、合成画像データＱがラベルＬ１に割り当てられる確率が５％であり、合成画像データＱがラベルＬ２に割り当てられる確率が９％であり、合成画像データＱがラベルＬ３に割り当てられる確率が８５％である旨の情報を、出力データＯとして算出している。図１２の例では、パターン情報生成部３４は、合成画像データＱがフリッカありのラベルＬ３に割り当てられる確率が所定値以上となるため、フリッカが起きていると判断して、合成画像データＱにフリッカが起きている画像データＰが含まれている旨の情報を、パターン情報として導出する。本実施形態においては、パターン情報生成部３４は、合成画像データＱにフリッカが起きているか否かの情報を、パターン情報として出力するが、合成画像データＱにどのラベルが付与されたかの情報、言い換えれば、どの撮像条件で撮像されたかの情報も、パターン情報として出力してもよい。

このように、第２実施形態に係る画像認識装置１２は、学習時に撮像条件毎にラベルを付与して、学習済みのＣＮＮモデルＣを生成する。上述のように、合成画像データＱの明暗パターンは撮像条件に依存するため、撮像条件毎にラベルを付与することで、合成画像データＱを明暗パターン毎に分類することが可能となり、フリッカの検出精度を向上させることができる。

以上説明したように、第２実施形態に係る画像認識装置１２は、学習部３６が、ラベルを複数設定する。ラベルを複数設定することで、例えば合成画像データＱの明暗パターンが多様である場合にも、合成画像データＱに含まれる画像データＰの時間経過に従った変化パターンを適切に認識できる。

また、第２実施形態に係る学習部３６は、学習用画像データＰａの撮像条件毎にラベルを設定する。撮像条件毎にラベルを設定することで、合成画像データＱを明暗パターン毎に分類することが可能となり、画像データＰの時間経過に従った変化パターンを適切に認識できる。

また、第２実施形態に係る学習部３６は、学習用画像データＰａを撮像したシャッタスピードとフレームレートとの組み合わせ毎に、ラベルを設定する。シャッタスピードとフレームレートとの組み合わせ毎にラベルを設定することで、撮像タイミング毎にラベルを設定することが可能となり、合成画像データＱを明暗パターン毎に適切に分類して、画像データＰの時間経過に従った変化パターンを適切に認識することができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１画像認識システム
１０撮像装置
１２画像認識装置
２０制御部
３０画像取得部
３２合成画像生成部
３４パターン情報生成部
３６学習部
ＣＣＮＮモデル
Ｉ入力データ
Ｏ出力データ
Ｐ画像データ
Ｐａ学習用画像データ
Ｑ合成画像データ
Ｑａ学習用合成画像データ

Claims

時間経過に従って撮像された複数の画像データを取得する画像取得部と、
複数の前記画像データを並べた合成画像データを生成する合成画像生成部と、
学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であり、前記画像データの画像がフリッカを起こしているかを示すパターン情報を生成するパターン情報生成部と、
を備える、画像認識装置。
前記合成画像生成部は、複数の前記画像データをマトリクス状に並べて、前記合成画像データを生成する、請求項１に記載の画像認識装置。
前記合成画像生成部は、前記画像取得部が画像データを取得する毎に、取得した前記画像データを前記合成画像データに加えることで、前記合成画像データを更新し、
前記パターン情報生成部は、前記合成画像データが更新される毎に、前記パターン情報を生成する、
請求項１又は請求項２に記載の画像認識装置。
請求項１から請求項３のいずれか１項に記載の画像認識装置を含む画像認識システムであって、
前記ＣＮＮモデルを生成する学習部を更に有し、
前記学習部は、時間経過に従った変化パターンが既知の複数の学習用画像データを並べた学習用合成画像データを取得し、前記学習用合成画像データにラベルを付与することで、前記ＣＮＮモデルを生成する、画像認識システム。
前記学習部は、前記ラベルを複数種類設定する、請求項４に記載の画像認識システム。
前記学習部は、前記学習用画像データの撮像条件毎に、前記ラベルを設定する、請求項５に記載の画像認識システム。
前記学習部は、前記学習用画像データを撮像したシャッタスピードとフレームレートとの組み合わせ毎に、前記ラベルを設定する、請求項６に記載の画像認識システム。
時間経過に従って撮像された複数の画像データを取得する画像取得部と、
複数の前記画像データを並べた合成画像データを生成する合成画像生成部と、
学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であるパターン情報を生成するパターン情報生成部と、
を備える画像認識装置と、
前記ＣＮＮモデルを生成する学習部と、を有し、
前記学習部は、
時間経過に従った変化パターンが既知の複数の学習用画像データを並べた学習用合成画像データを取得し、前記学習用合成画像データにラベルを付与することで、前記ＣＮＮモデルを生成し、
前記学習用画像データの撮像条件毎に、前記ラベルを設定することで、前記ラベルを複数種類設定する、
画像認識システム。
時間経過に従って撮像された複数の画像データを取得する画像取得ステップと、
複数の前記画像データを並べた合成画像データを生成する合成画像生成ステップと、
学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であり、前記画像データの画像がフリッカを起こしているかを示すパターン情報を生成するパターン情報生成ステップと、
を含む、画像認識方法。
時間経過に従って撮像された複数の画像データを取得する画像取得ステップと、
複数の前記画像データを並べた合成画像データを生成する合成画像生成ステップと、
学習済みの畳み込みニューラルネットワークモデルであるＣＮＮモデルを取得し、取得した前記ＣＮＮモデルに前記合成画像データに基づく入力データを入力して、前記画像データの時間経過に従った変化パターンの情報であり、前記画像データの画像がフリッカを起こしているかを示すパターン情報を生成するパターン情報生成ステップと、
を、コンピュータに実行させる、プログラム。