JP7345101B2 - 画像認識装置および画像認識方法 - Google Patents

Description

本開示は、画像認識装置および画像認識方法に関する。

近年、画像を用いて情報処理を行う装置が普及しつつある。そのような装置は、種々の機械に搭載され得る。そのような機械として、自動運転車が挙げられる。そのような機械として、工場の自動化に利用されるロボットも挙げられる。

情報処理の一例は、画像に写っている物体の認識である。この認識を行うためのアルゴリズムが研究開発されている。特許文献１には、アルゴリズムの一例が記載されている。

ＷＯ２０１８／００３２１２Ａ１ ＷＯ２０１７／０９４２２９Ａ１

画像を用いた情報処理の精度を高める技術が要求されている。

本開示は、
第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて前記第１被写体の認識率を算出する処理回路と、
前記認識率が認識率閾値よりも小さい場合に、前記多重露光撮影の条件を変更する制御回路と、
を備える、画像認識装置を提供する。

本開示は、画像を用いた情報処理の精度を高める技術を提供する。

図１は、画像認識装置のブロック図である。 図２Ａは、多重露光撮影の仕方の説明図である。 図２Ｂは、多重露光撮影の仕方の説明図である。 図２Ｃは、画像認識装置のブロック図である。 図３は、多重露光撮影で得られる画像の説明図である。 図４Ａは、多重露光撮影の仕方の説明図である。 図４Ｂは、多重露光撮影で得られる画像の説明図である。 図５Ａは、多重露光撮影で得られる画像の説明図である。 図５Ｂは、多重露光撮影で得られる画像の説明図である。 図６は、画像認識装置の制御を表すフローチャートである。 図７Ａは、多重露光撮影の条件の変化を表す説明図である。 図７Ｂは、認識率の変化を表す説明図である。 図８は、露光間隔および認識率の変化を表す説明図である。 図９Ａは、多重露光撮影の条件の変化を表す説明図である。 図９Ｂは、認識率の変化を表す説明図である。 図１０は、ニューラルネットワークの説明図である。 図１１は、画像認識装置のブロック図である。 図１２は、画像認識装置の制御を表すフローチャートである。 図１３Ａは、多重露光撮影の条件の変化を表す説明図である。 図１３Ｂは、誤差Ｅの変化を表す説明図である。 図１４は、画像認識装置の制御を表すフローチャートである。 図１５は、露光間隔および認識率の変化を表す説明図である。 図１６は、画像認識装置の制御を表すフローチャートである。 図１７は、画像認識装置の制御を表すフローチャートである。 図１８は、露光間隔の変化を表す説明図である。 図１９は、画像認識装置の制御を表すフローチャートである。 図２０は、画像認識装置の制御を表すフローチャートである。 図２１Ａは、多重露光撮影の条件の変化を表す説明図である。 図２１Ｂは、誤差Ｅの変化を表す説明図である。 図２２は、画像認識装置の制御を表すフローチャートである。

（本開示の基礎となった知見）
特許文献１には、画像を用いた情報処理の一例が記載されている。特許文献１の情報処理では、１回の露光を行うことにより得られた画像が用いられる。

本発明者は、多重露光撮影された画像を用いることにより、情報処理の精度を高めることを検討した。

（本開示に係る一態様の概要）
本開示の第１態様に係る画像認識装置は、
第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて前記第１被写体の認識率を算出する処理回路と、
前記認識率が認識率閾値よりも小さい場合に、前記多重露光撮影の条件を変更する制御回路と、
を備える。

第１態様に係る技術は、認識率の算出精度を確保するのに適している。

本開示の第２態様において、例えば、第１態様に係る画像認識装置では、前記認識率が前記認識率閾値よりも小さい場合に変更される前記条件は、（ａ）前記第１画像を得るにあたって採用される各露光期間の長さ、（ｂ）前記第１画像を得るにあたって採用される各露光間隔の長さ、（ｃ）前記第１画像を得るにあたって採用される露光回数、（ｄ）前記第１画像の露光感度、（ｅ）前記第１画像を得るのに用いられる撮像装置のゲイン、（ｆ）前記第１画像を得るのに用いられる撮像装置の焦点距離、（ｇ）前記第１画像を得るのに用いられる撮像装置の絞り、および（ｈ）前記第１画像の出力解像度、からなる群より選択される少なくとも１つを含んでいてもよい。

第２態様の条件の変更は、認識率の向上に寄与し得る。

本開示の第３態様において、例えば、第１態様または第２態様に係る画像認識装置は、前記認識率を表示する内蔵表示装置、および、前記認識率を表示する外付け表示装置へと前記認識率を出力する出力インターフェースから選ばれる少なくとも１つをさらに備えていてもよい。

第３態様によれば、認識率を視認できる。

本開示の第４態様において、例えば、第１から第３態様のいずれか１つに係る画像認識装置は、前記第１画像を得るのに用いられる撮像装置をさらに備えていてもよい。

第４態様によれば、第１画像が容易に得られる。

本開示の第５態様において、例えば、第１から第４態様のいずれか１つに係る画像認識装置では、前記条件と前記第１画像とが対応付けられてもよい。

第５態様によれば、多重露光撮影の条件を情報として利用し易い。

本開示の第６態様において、例えば、第５態様に係る画像認識装置は、前記第１画像と対応付けられる前記条件として、前記制御回路において保持されている前記条件が用いられてもよい。

本開示の第７態様において、例えば、第５態様に係る画像認識装置は、前記第１画像を得るのに用いられる撮像装置をさらに備えていてもよく、前記第１画像と対応付けられる前記条件として、前記撮像装置において保持されている前記条件が用いられてもよい。

第６態様によっても第７態様によっても、多重露光撮影の条件と第１画像とを適切に対応づけることができる。

本開示の第８態様において、例えば、第１から第７態様のいずれか１つに係る画像認識装置では、前記処理回路は、前記第１画像および前記第１被写体の物体名にそれぞれ対応する教師画像および正解ラベルの組み合わせを複数組用いた教師あり学習を行ってもよく、前記教師あり学習後において、前記第１画像を用いて前記認識率を算出してもよい。

第８態様の処理回路によれば、認識率の算出精度を確保できる。

本開示の第９態様において、例えば、第８態様の画像認識装置は、前記教師画像を得るのに用いられる第２撮像装置をさらに備えていてもよい。

第９態様の撮像装置によれば、学習を行い易い。

本開示の第１０態様において、例えば、第８態様または第９態様の画像認識装置では、前記処理回路は、ニューラルネットワークで表現される演算モデルを読み込んでおり、前記処理回路は、前記教師あり学習を行ってもよく、前記教師あり学習後において、前記第１画像を用いて前記認識率を算出してもよい。

ニューラルネットワークは、画像を用いた情報処理に適している。

本開示の第１１態様において、例えば、第１から第１０態様のいずれか１つに係る画像認識装置では、前記処理回路による前記認識率の算出と、前記認識率が前記認識率閾値よりも小さい場合における前記制御回路による前記条件の変更と、が、終了条件が成立するまで繰り返されてもよい。

第１１態様は、高い認識率を得るのに適している。

本開示の第１２態様において、例えば、第１から第１１態様のいずれか１つに係る画像認識装置では、前記処理回路は、前記認識率である第１認識率であって前記第１被写体が第１物体であることの確からしさを表す第１認識率と、前記第１被写体が第２物体であることの確からしさを表す第２認識率と、を算出してもよく、前記制御回路は、前記第１認識率から前記第２認識率を差し引いた差分がＺ以下である場合にも、前記多重露光撮影の条件を変更してもよい。ここで、Ｚは、０以上の値である。

画像における被写体が特定の物体である可能性のみならず他の物体である可能性もあると認識され得るように、画像認識装置を構成することは可能である。第９態様に係る技術は、そのような画像認識装置において、利用可能である。

本開示の第１３態様において、例えば、第１から第１２態様のいずれか１つに係る画像認識装置では、前記処理回路は、前記認識率の算出を、互いに異なる前記条件により得られた複数の前記第１画像について行うことによって、複数の参照用の前記認識率を算出してもよく、前記制御回路は、複数の参照用の前記認識率を互いに比較することによって、ベースとなる前記条件であるベース条件を選択してもよく、前記処理回路は、前記ベース条件により得られた前記第１画像であって複数の参照用の前記認識率を算出するための前記第１画像とは異なる前記第１画像を用いて、前記認識率閾値と比較されるべき前記認識率を算出してもよい。

第１３態様は、高い認識率が得られる多重露光撮影の条件を素早く見出す観点から有利である。

本開示の第１４態様に係る画像認識装置は、
第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて、前記第１被写体の速度の推定範囲であって値Ｖ±誤差Ｅの範囲である推定範囲を算出する処理回路と、
前記誤差Ｅが誤差閾値よりも大きい場合に、前記多重露光撮影の条件を変更する制御回路と、
を備える。

第１４態様に係る技術は、第１被写体の速度の算出精度を確保するのに適している。

本開示の第１５態様に係る画像認識方法は、
第１被写体が多重露光撮影された第１画像を用いて前記第１被写体の認識率を算出することと、
前記認識率が認識率閾値よりも小さい場合に、前記多重露光撮影の条件を変更することと、を含む。

第１５態様に係る技術は、認識率の算出精度を確保するのに適している。

本開示の第１６態様に係る画像認識方法は、
第１被写体が多重露光撮影された第１画像を用いて、前記第１被写体の速度の推定範囲であって値Ｖ±誤差Ｅの範囲である推定範囲を算出することと、
前記誤差Ｅが誤差閾値よりも大きい場合に、前記多重露光撮影の条件を変更することと、を含む。

第１６態様に係る技術は、第１被写体の速度の算出精度を確保するのに適している。

本開示の第１７態様に係る画像認識装置は、
メモリとプロセッサとを備えた画像認識装置であって、
前記プロセッサは、
第１被写体が多重露光撮影された第１画像が入力され、
前記第１画像を用いて前記第１被写体の認識率を算出し、
前記認識率が認識率閾値よりも小さい場合に、前記多重露光撮影の条件を変更する。

第１７態様に係る技術は、認識率の算出精度を確保するのに適している。

本開示の第１８態様に係る画像認識装置は、
メモリとプロセッサとを備えた画像認識装置であって、
前記プロセッサは、
第１被写体が多重露光撮影された第１画像が入力され、
前記第１画像を用いて、前記第１被写体の速度の推定範囲であって値Ｖ±誤差Ｅの範囲である推定範囲を算出し、
前記誤差Ｅが誤差閾値よりも大きい場合に、前記多重露光撮影の条件を変更する。

第１８態様に係る技術は、第１被写体の速度の算出精度を確保するのに適している。

本開示の第１９態様に係る画像認識装置は、
第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて前記第１被写体の認識率を算出する処理回路と、
前記多重露光撮影の条件を変更する制御回路と、を備え、
前記処理回路は、前記認識率の算出を、互いに異なる前記条件により得られた複数の前記第１画像について行うことによって、複数の前記認識率を算出する。

第１９態様に係る技術は、認識率の算出精度を確保するのに適している。

本開示の第２０態様に係る画像認識装置は、
第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて、前記第１被写体の速度の推定範囲であって値Ｖ±誤差Ｅの範囲である推定範囲を算出する処理回路と、
前記多重露光撮影の条件を変更する制御回路と、を備え、
前記処理回路は、前記推定範囲の算出を、互いに異なる前記条件により得られた複数の前記第１画像について行うことによって、複数の前記誤差Ｅを算出する。

第２０態様に係る技術は、第１被写体の速度の算出精度を確保するのに適している。

画像認識装置の技術は、画像認識方法に適用できる。画像認識方法の技術は、画像認識装置に適用できる。

（実施の形態１）
図１に、実施の形態１における画像認識装置９９を示す。画像認識装置９９は、光学系１１０と、撮像装置１００と、画像形成回路１３０と、制御回路１２０と、処理回路１７０と、表示装置１６０と、を含む。画像形成回路１３０は、出力バッファ１４０を含む。

画像認識装置９９では、カメラ部８０が構成されている。カメラ部８０は、光学系１１０と、撮像装置１００と、画像形成回路１３０と、制御回路１２０と、を含む。

本実施の形態では、光学系１１０は、少なくとも１つのレンズを含む。制御回路１２０は、システムコントローラである。

以下の説明では、認識率という用語を使用することがある。認識率について説明する。本実施の形態では、画像認識装置９９は、画像における被写体を認識する。画像認識装置９９では、その認識の確からしさを表す数値として、認識率が算出される。

具体的には、画像認識装置９９は、被写体は認識率ＸでＹという物体である、という態様の認識を行い得る。Ｘは、０％以上１００％以下の値である。Ｙは、物体名である。Ｙは、例えば、自動車、人、家、標識、信号機である。

典型的には、認識率が採り得る値の数は２つよりも多い。認識率が採り得る値には０％よりも大きく１００％よりも小さい値が含まれる。典型的には、処理回路１７０では、計算機が構成されている。認識率は、その計算機の精度の範囲で、０％以上１００％以下の任意の値を採り得る。

［画像認識装置９９の構成要素の動作について］
撮像装置１００は、光学系１１０を通じて被写体を撮像する。具体的には、撮像装置１００は、イメージセンサを含む。撮像装置１００は、イメージセンサを用いて、撮像を行う。撮像装置１００は、撮像内容を表す信号を出力する。この信号は、ＲＡＷデータに対応する。

画像形成回路１３０は、この信号を画像に変換する。具体的には、画像形成回路１３０は、ＲＡＷデータを画像データに変換する。こうして、ＲＡＷデータが画像化される。以下、画像データを、単に画像と称することがある。画像形成回路１３０は、出力バッファ１４０を介して処理回路１７０へと、画像を出力する。

画像形成回路１３０は、各種画像処理を実行可能なものであってもよい。画像処理は、例えば、各種補正処理、色処理等である。補正処理として、暗フレーム補正、欠陥画素補正が例示される。色処理として、ホワイトバランス処理、色マトリクス処理、ベイヤー補間処理が例示される。他の画像処理も採用され得る。例えば、エッジ強調、２値化処理は、認識率の向上に寄与し得る。画像処理が実行された場合、画像形成回路１３０は、出力バッファ１４０を介して処理回路１７０へと、画像処理後の画像を出力する。

画像処理は、処理回路１７０に担当させてもよい。画像認識装置９９は、画像処理を行う構成要素を有していなくてもよい。

処理回路１７０は、画像を用いて認識率を算出する。具体的には、処理回路１７０は、画像における被写体が何であるのかを認識する。言い換えると、処理回路１７０は、画像における被写体の物体名を認識する。そして、処理回路１７０は、その認識の確からしさを表す認識率を算出する。

処理回路１７０は、表示装置１６０へと、画像と、認識した物体名と、その認識の認識率と、を出力する。また、処理回路１７０は、制御回路１２０へと、認識率を出力する。

表示装置１６０は、画像と、認識した物体名と、その認識の認識率と、を表示する。

制御回路１２０は、撮像装置１００の撮像条件を制御する。また、制御回路１２０は、画像形成回路１３０の画像形成条件を制御する。

［多重露光撮影について］
撮像装置１００は、多重露光撮影を実行できる。多重露光撮影により、１つの被写体の像を複数個含むＲＡＷデータを得ることができる。画像形成回路１３０は、そのようなＲＡＷデータを、１つの被写体の像を複数個含む画像に変換できる。以下、そのような画像を第１画像と称することがある。また、この１つの被写体を、第１被写体と称することがある。

処理回路１７０には、第１被写体が多重露光撮影された第１画像が入力される。処理回路１７０は、その第１画像を用いて、第１被写体の認識率を算出する。第１画像によれば、１つの被写体の像を１個だけ含む画像に比べ、画像における被写体の輪郭の鮮明さと、画像に含まれる動き情報の多さと、を両立させ易い。このため、第１画像は、高い認識率を得る観点から有利である。具体的に、処理回路１７０は、第１画像における第１被写体の物体名を認識し、その認識の確からしさを表す認識率を算出する。

以下、１つの被写体の像を１個だけ含む画像に比べ、第１画像が高い認識率を得る観点から有利である理由を、具体例を挙げながらさらに説明する。

１つの被写体の像を１個だけ含む画像も、動き情報を含んでいることがある。例えば、走行中の車を長い露光時間で撮影することを考える。その場合、ぶれが大きい被写体の像が得られる。ぶれが大きい被写体の像を含む画像によれば、被写体が移動しているのかどうかを判別し易い。なぜなら、そのような画像には、被写体に関する動き情報が含まれているためである。しかし、ぶれが大きい被写体の像では、被写体を特徴づける輪郭はぼやけている。このため、像に対応する被写体が車であると判別するのは難しい。

反対に、走行中の車を短い露光時間で撮影することを考える。その場合、ぶれが小さい被写体の像が得られる。ぶれが小さい被写体の像では、被写体を特徴づける鮮明な輪郭が得られ易い。このため、像に対応する被写体が車であると判別し易い。しかし、ぶれが小さい被写体の像では、画像から車が移動しているのかどうかを判別し難い。なぜなら、そのような画像は、被写体である車に関する動き情報に乏しいためである。

これらに対し、多重露光撮影により得られた画像では、画像における被写体の輪郭の鮮明さと、画像に含まれる動き情報の多さと、を両立させ易い。この両立が可能であることは、認識率の算出精度を確保する観点から有利である。また、この両立が可能であることは、後述の実施形態２において第１被写体の速度の算出精度を確保する観点からも有利である。

この両立が多重露光撮影により実現されている様子が、後に詳細に説明する図４Ｂの上側に現れている。具体的には、図４Ｂの例では、被写体Ｃの鮮明な輪郭が得られている。この鮮明な輪郭は、車を特徴づけている。このため、図４Ｂの画像から、像に対応する被写体が車であると判別し易い。また、図４Ｂの画像は、被写体Ｃの複数の像を含んでおり、従って動き情報を含んでいる。このため、画像から、被写体である車が走行中であると判別し易い。上述のように、これらを判別し易いことは、認識率の算出精度および第１被写体の速度の算出精度を確保する観点から有利である。

制御回路１２０は、認識率が認識率閾値よりも小さい場合に、多重露光撮影の条件を変更する。この変更は、認識率の向上に寄与し得る。認識率閾値は、例えば、１０％以上７０％以下の範囲にある特定の値である。

以上の説明から理解されるように、処理回路１７０および制御回路１２０は、認識率の算出精度向上に適した構成を有している。また、処理回路１７０および制御回路１２０の動作は、過度な演算負荷を必要としない。このため、本実施の形態の技術によれば、演算負荷の抑制と認識率の算出精度向上とを両立させることも可能である。

具体的には、本実施の形態では、多重露光撮影の条件が変更された場合において、その変更が反映された第１画像が、処理回路１７０に入力される。処理回路１７０は、その第１画像を用いて、認識率を再度算出する。

より具体的には、本実施の形態では、処理回路１７０による認識率の算出と、認識率が認識率閾値よりも小さい場合における制御回路１２０による条件の変更と、が、終了条件が成立するまで繰り返される。

多重露光撮影の条件の変更の態様は、特に限定されない。例えば、撮像装置１００がレジスタを有している場合がある。その場合、制御回路１２０は、そのレジスタに条件を書き込むことができる。この書き込みは、例えば、シリアル通信等により行うことができる。

認識率が認識率閾値よりも小さい場合に変更される多重露光撮影の条件は、例えば、条件（ａ）、条件（ｂ）、条件（ｃ）、条件（ｄ）、条件（ｅ）、条件（ｆ）、条件（ｇ）および条件（ｈ）からなる群より選択される少なくとも１つを含む。条件（ａ）は、第１画像を得るにあたって採用される各露光期間の長さである。条件（ｂ）は、第１画像を得るにあたって採用される各露光間隔の長さである。露光間隔は、露光期間の間の非露光期間に対応する。条件（ｃ）は、第１画像を得るにあたって採用される露光回数である。条件（ｄ）は、第１画像の露光感度である。条件（ｅ）は、第１画像を得るのに用いられる撮像装置１００のゲインである。条件（ｆ）は、第１画像を得るのに用いられる撮像装置１００の焦点距離である。条件（ｇ）は、第１画像を得るのに用いられる撮像装置１００の絞りである。条件（ｈ）は、第１画像の出力解像度である。これらの条件の変更は、認識率の向上に寄与し得る。

図１の例では、表示装置１６０は、画像認識装置９９の内部表示装置である。このように、画像認識装置９９は、認識率を表示する内部表示装置を備える。内部表示装置は、具体的には、第１画像と、認識した物体名と、その認識の認識率と、を表示し得る。

ただし、画像認識装置９９は、認識率を表示する外付け表示装置へと認識率を出力する出力インターフェースを備えていてもよい。具体的には、画像認識装置９９は、第１画像と、認識した物体名と、その認識の認識率と、を外付け表示装置へと出力する出力インターフェースを備えていてもよい。そして、外付け表示装置は、第１画像と、認識した物体名と、その認識の認識率と、を表示するものであってもよい。

画像認識装置９９は、内部表示装置および出力インターフェースの一方を備えていてもよい。画像認識装置９９は、これらの両方を備えていてもよい。

本実施の形態では、多重露光撮影の条件と第１画像とが対応付けられる。このようにすれば、多重露光撮影の条件を情報として利用し易い。この対応付けは、例えば、第１画像が得られた後になされる。

一例では、表示装置１６０は、第１画像が多重露光撮影された際の多重露光撮影の条件を、第１画像上に重ね合わせて表示する。この重ね合わせは、多重露光撮影の条件と第１画像との対応付けに該当する。別の例では、第１画像が多重露光撮影された際の多重露光撮影の条件が第１画像と対応する旨を表す情報が、テキストファイル形式で記憶される。この記憶も、多重露光撮影の条件と第１画像との対応付けに該当する。

一例では、第１画像と対応付けられる条件として、制御回路１２０において保持されている条件が用いられる。

別の例では、画像認識装置９９は、第１画像を得るのに用いられる撮像装置１００を備える。第１画像と対応付けられる条件として、撮像装置１００において保持されている条件が用いられる。

多重露光撮影の具体的態様について、図２Ａ、図２Ｂおよび図２Ｃを参照しながら説明する。

図２Ａおよび２Ｂでは、１フレーム期間中に複数回の露光期間が存在する形式が示されている。この形式では、１フレーム期間中に、複数回の露光動作が実行される。その後、露光により得られた信号が読み出される。図２Ａおよび２Ｂの「センサデータ出力」が、この読み出しに相当する。図２Ａおよび２Ｂの形式は、撮像装置１００のイメージセンサがグローバルシャッタ機能を有している場合に実現され得る。

具体的には、図２Ａの形式は、撮像装置１００が露光と読み出しとをシリアルに行うイメージセンサを有する場合に、実現され得る。この形式では、１フレーム期間中において、非露光の期間と露光の期間とが交互に現れ、その後、これらの複数回の露光により得られた信号が読み出される。本実施の形態では、図２Ａの形式が採用されている。

図２Ｂの形式は、撮像装置１００が露光と読み出しとをパラレルに行うイメージセンサを有する場合に、実現され得る。図２Ｂでは、フレームＦ１に、フレームＦ２が後続している。フレームＦ１の１フレーム期間中において、非露光の期間と露光の期間とが交互に現れる。これらの複数回の露光により得られた信号は、フレームＦ２において読み出される。このように、この形式では、あるフレームにおいて非露光の期間と露光の期間とが交互に現れ、これらの露光により得られた信号が、その次のフレームにおいて読み出される。

多重露光撮影およびグローバルシャッタ機能は、例えば、画素電極と対向電極とによって光電変換膜が挟まれた積層型の撮像装置で実現可能である。例えば、そのような積層型の撮像装置において、対向電極に印加する電圧を制御することによって露光期間と非露光期間とを設定できる。積層型の撮像装置の具体例については、特許文献２等を参照されたい。

変形例の画像認識装置９９では、撮像装置１００は、グローバルシャッタ機能を有さない。そのような画像認識装置９９であっても、第１被写体が多重露光撮影された第１画像を得ることは可能である。具体的には、変形例に係る画像形成回路１３０は、図２Ｃに示すように、フレームメモリ１５１およびフレーム加算回路１５２を含む。この変形例では、撮像装置１００は、イメージセンサで得たデータを、フレームメモリ１５１に出力する。この１つの出力データは、１つの被写体の像を１つだけ含む。フレームメモリ１５１では、複数の出力データが貯えられる。フレーム加算回路１５２は、これら複数の出力データのフレーム加算を行う。こうして、疑似的な多重露光画像が得られる。

本明細書では、このような疑似的な多重露光画像も、上記第１画像に含まれるものとする。疑似的な多重露光画像が得られる場合も、第１被写体が多重露光撮影されると言える。具体的に、この場合、撮像装置１００が、画像形成回路１３０と協働して第１被写体を多重露光撮影すると言える。また、「第１画像を得るにあたって採用される」という表現は、撮像装置１００において採用される場合と、画像形成回路１３０において採用される場合と、の両方を包含する意の表現である。

多重露光撮影の条件の設定は、図２Ａおよび図２Ｂの例では、撮像装置１００に対して行われ得る。この設定は、図２Ｃの例では、撮像装置１００および画像形成回路１３０に対して行われ得る。

図３、図４Ａ、図４Ｂ、図５Ａおよび図５Ｂを参照して、多重露光撮影で得られる画像について説明する。

図３は、多重露光撮影で得られる画像の一例である。図３の画像には、被写体Ａと、被写体Ｂと、被写体Ｃと、被写体Ｄと、が写っている。

被写体Ａおよび被写体Ｂは、静止している被写体である。静止した被写体の像を多重露光撮影により得た場合と通常露光撮影により得た場合とでは、多重露光撮影と通常露光撮影とで露光時間の合計が異なる場合、輝度値に差が生じる。ただし、それ以外に、見た目に大きな差は生じない。図３の例では、被写体Ａは、木である。被写体Ｂは、家である。

被写体Ｃおよび被写体Ｄは、動いている被写体である。動いている被写体を多重露光撮影すると、その被写体の複数の像が互いにずれて現れる。被写体Ｃは、動きが速い被写体である。被写体Ｃの各像の間には大きいずれがある。被写体Ｄは、動きが遅い被写体である。被写体Ｃの各像の間には小さいずれがある。図３の例では、被写体Ｃは、車である。被写体Ｄは、人間である。

図４Ａおよび図４Ｂを参照して、被写体Ｃの多重露光撮影について、さらに説明する。

図４Ａは、被写体Ｃの多重露光撮影において、図２Ａの形式が採用されていることを表している。図４Ａの具体例では、露光期間Ｔ１、Ｔ２およびＴ３がこの順に現れる。また、図４Ａには、露光間隔Ｗ１およびＷ２を示している。図示しているように、露光間隔は、露光期間の間の非露光期間に対応する。

図４Ｂの下側には、露光期間Ｔ１において得られる被写体Ｃの像と、露光期間Ｔ２において得られる被写体Ｃの像と、露光期間Ｔ３において得られる被写体Ｃの像と、が示されている。これらの像が多重化されると、図４Ｂの上側に示す多重露光画像が得られる。得られた多重露光画像は、イメージセンサから出力され得る。

図５Ａおよび図５Ｂを参照して、露光間隔と、得られる多重露光画像と、の関係を説明する。

図５Ａのブロック矢印は、被写体Ｃの進行方向を表している。図５Ｂは、その進行方向に被写体Ｃが動く場合の各像を示している。図５Ｂの上側の画像は、露光間隔が長い場合に得られる多重露光画像を表している。この場合、被写体Ｃの各像の間のずれが大きい。図５Ｂの下側の画像は、露光間隔が短い場合に得られる多重露光画像を表している。この場合、被写体Ｃの各像の間のずれが小さい。露光間隔に応じて、被写体Ｃの各像の間のずれの大きさが変化する。

［多重露光撮影の条件の変更の仕方の具体例］
図６のフローチャートに従って、多重露光撮影の条件が変更され得る。

ステップＳ１において、多重露光撮影の条件の初期値が設定される。この設定は、制御回路１２０によって行われ得る。ステップＳ１の後、フローは、ステップＳ２に進む。

ステップＳ２において、終了条件が成立しているか否かが判定される。この判定は、例えば、制御回路１２０によって行われる。終了条件の具体例については後述する。終了条件が成立している場合、フローは終了する。終了条件が成立していない場合、フローは、ステップＳ３に進む。

ステップＳ３において、撮像装置１００によって、撮像が行われる。撮像は、設定された多重露光撮影の条件に従って行われる。ステップＳ３の後、フローは、ステップＳ４に進む。

ステップＳ４において、撮像装置１００から、ＲＡＷデータが、画像形成回路１３０へと出力される。このＲＡＷデータは、ステップＳ３の撮像内容を表す。ステップＳ４の後、フローは、ステップＳ５に進む。

ステップＳ５において、画像形成回路１３０によって、ＲＡＷデータが画像化される。画像形成回路１３０は、得られた画像データを、処理回路１７０へと出力する。ステップＳ５の後、フローは、ステップＳ６に進む。

ステップＳ６において、処理回路１７０によって、認識処理が行われる。認識処理では、画像に含まれる被写体の認識が行われる。認識に用いられる画像は、上述の、第１被写体が多重露光撮影された第１画像である場合がある。この場合、処理回路１７０は、第１画像を用いて、第１被写体の認識率を算出する。そして、処理回路１７０は、認識率を、制御回路１２０へと出力する。具体的には、処理回路１７０は、第１画像における第１被写体の物体名を認識し、その認識の確からしさを表す認識率を算出する。そして、処理回路１７０は、認識率を、制御回路１２０へと出力する。ステップＳ６の後、フローは、ステップＳ７に進む。

ステップＳ７において、制御回路１２０によって、認識率が認識率閾値よりも小さいか否かが判定される。認識率が認識率閾値よりも小さい場合、フローは、ステップＳ８に進む。認識率が認識率閾値以上である場合、フローは、ステップＳ２に進む。

ステップＳ８において、制御回路１２０によって、多重露光撮影の条件が変更される。ステップＳ８の後、フローは、ステップＳ２に進む。

ステップＳ２の終了条件の第１の例は、画像認識装置９９の外部から終了命令が入力されたという条件である。終了命令が入力された場合、フローは終了する。終了命令が入力されていない場合、フローは、ステップＳ３に進む。

ステップＳ２の終了条件の第２の例は、画像認識装置９９の電源をオフにする命令が入力されたという条件である。この命令が入力された場合、フローは終了する。この命令が入力されていない場合、フローは、ステップＳ３に進む。

ステップＳ２の終了条件の第３の例は、直近のステップＳ６で算出された認識率が、第１上限閾値よりも大きいという条件である。認識率が第１上限閾値よりも大きい場合、フローは終了する。認識率が第１上限閾値以下である場合、フローは、ステップＳ３に進む。第１上限閾値は、典型的には、認識率閾値よりも大きい。

ステップＳ２の終了条件の第４の例は、直近のステップＳ６で算出された認識率が、第１下限閾値よりも小さいという条件である。認識率が第１下限閾値よりも小さい場合、フローは終了する。認識率が第１下限閾値以上である場合、フローは、ステップＳ３に進む。第１下限閾値は、典型的には、認識率閾値よりも小さい。

第３の例の条件または第４の例の条件が成立している場合にフローを終了させ、そうでない場合にフローをステップＳ３に進めてもよい。

ステップＳ２の終了条件の第５の例は、ステップＳ６で算出された認識率が第１上限閾値よりも大きいという状況が連続して第１閾値回数続いているという条件である。この状況が連続して第１閾値回数続いている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。この条件は、上記状況をもたらすフレームが連続して第１閾値回数続いて現れるという条件であるとも言える。

ステップＳ２の終了条件の第６の例は、ステップＳ６で算出された認識率が第１下限閾値よりも小さいという状況が連続して第２閾値回数続いているという条件である。この状況が連続して第２閾値回数続いている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。この条件は、上記状況をもたらすフレームが連続して第２閾値回数続いて現れるという条件であるとも言える。

第５の例の条件または第６の例の条件が成立している場合にフローを終了させ、そうでない場合にフローをステップＳ３に進めてもよい。その場合、第１閾値回数および第２閾値回数は、同じであってもよく、異なっていてもよい。

ステップＳ２の終了条件の第７の例は、図６の「開始」の後に、ステップＳ３の撮像が第３閾値回数行われているという条件である。ステップＳ３の撮像が第３閾値回数行われている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。この条件は、図６の「開始」の後に、フレームが第３閾値回数生成されたという条件であるとも言える。

図６のフローチャートを改変することも可能である。例えば、図２Ｃに従って疑似的な多重露光画像を形成する場合、フレーム加算がなされるように、図６のフローチャートが改変され得る。

図６のフローチャートに従った多重露光撮影の条件の変更は、認識率を向上させ得る。この点について、図７Ａおよび図７Ｂを参照して説明する。図７Ａおよび図７Ｂの例では、変更される上記条件は、露光間隔であるものとする。

図７Ａに、フレームｎにおける多重露光撮影の条件と、フレームｎ＋αにおける多重露光撮影の条件と、を示す。ｎおよびαは、自然数である。図７Ａは、図６のフローチャートに従って、露光間隔が２ｍｓから４ｍｓに変更されたことを表している。

図７Ｂに、フレームｎにおける認識率と、フレームｎ＋αにおける認識率と、を示す。図７Ｂの例では、第１被写体は、自動車であるものとする。図７Ｂは、図６のフローチャートに従って、第１被写体の認識率が向上したことを表している。具体的には、第１画像における第１被写体が自動車と認識した場合において、その認識の確からしさを表す認識率が３５％から８５％に上昇したことを表している。

図７Ａおよび図７Ｂの例では、ステップＳ７において認識率が認識率閾値よりも小さい場合に、露光間隔を長くしている。現実に、露光間隔を長くすることにより、認識率が上昇することもある。ただし、露光間隔を短くすることにより、認識率が上昇することもある。

このことは、ある多重露光撮影の条件が数値で表される場合に一般化できる。ステップＳ７において認識率が認識率閾値よりも小さい場合に、その数値を大きくしてもよいし、小さくしてもよい。数値を大きくする方向または小さくする方向に変化させることで認識率が上昇する場合、認識率が認識率閾値以上になるまでその数値をその方向に変化させることが考えられる。一方、数値をその方向に変化させると認識率が低下する場合、その数値を逆方向に変化させることが考えられる。そして、逆方向への数値の変化により認識率が上昇する場合、認識率が認識率閾値以上になるまでその数値を当該逆方向に変化させることが考えられる。

上記の数値を大きくすればするほど、あるいは小さくすればするほど認識率が上昇する場合もある。しかし、典型的には、上記の数値には、認識率を高めるための最適値が存在する。この典型的な場合においては、ある方向に数値を変化させていくと、その数値が最適値を跨ぐときに認識率の変化が増加から減少に転じる。その跨ぐときの付近の数値を採用することにより、認識率は極大値に近い値をとることができる。

図６のフローチャートに従った多重露光撮影の条件変更により、認識率は変化していく。その変化の態様の例を、図８を参照して説明する。図８の例では、変更される上記条件は、露光間隔であるものとする。

図８の例では、フレームＮに関するステップＳ７において、認識率が認識率閾値以上であると判定されている。このため、その次のフレームＮ＋１において、フレームＮの露光間隔が維持されている。

フレームＮ＋１に関するステップＳ７において、認識率が認識率閾値以上であると判定されている。このため、その次のフレームＮ＋２において、フレームＮ＋１の露光間隔が維持されている。

フレームＮ＋２に関するステップＳ７において、認識率が認識率閾値よりも小さいと判定されている。このため、その次のフレームＮ＋３において、フレームＮ＋２の露光間隔よりも長い露光間隔が採用されている。

フレームＮ＋３に関するステップＳ７において、認識率が認識率閾値よりも小さいと判定されている。このため、その次のフレームＮ＋４において、フレームＮ＋３の露光間隔よりも長い露光間隔が採用されている。

フレームＮ＋４に関するステップＳ７において、認識率が認識率閾値よりも小さいと判定されている。このため、その次のフレームＮ＋５において、フレームＮ＋４の露光間隔よりも長い露光間隔が採用されている。

図８の例では、フレームＮ＋５において、フレームＮ＋４よりも長い露光間隔が採用された結果、認識率が認識率閾値を超えるに至っている。

［画像における被写体が特定の物体である可能性のみならず他の物体である可能性もあると認識される得る画像認識装置において、利用可能な技術］
図７Ａおよび図７Ｂの例では、画像における被写体が自動車である可能性が認識されている。一方、画像における被写体が人である可能性および家である可能性は認識されていない。つまり、図７Ａおよび図７Ｂの例では、画像において被写体が特定の物体である可能性のみが認識されている。しかし、現実には、画像における被写体が特定の物体である可能性のみならず他の物体である可能性もあると認識されることもあり得る。以下、そのような場合に利用可能な技術を説明する。なお、以下では、図６、図７Ａ、図７Ｂおよび図８を参照して説明した内容については、その説明を省略することがある。

以下の説明では、第１認識率、第２認識率および第３認識率という用語を用いることがある。第１認識率は、第１被写体が第１物体であることの確からしさを表す。第１認識率は、図６のフローチャートの認識率に相当する。第２認識率は、第１被写体が第２物体であることの確からしさを表す。第３認識率は、第１被写体が第３物体であることの確からしさを表す。第１物体は、優先度が１である物体である。第２物体は、優先度が２である物体である。第３物体は、優先度が３である物体である。優先度の数値が小さいことは、優先度が高いことを意味する。つまり、これらの物体の中で、第１物体の優先度が最も高い。

第１認識率、第２認識率および第３認識率を算出し、これらの中で第１認識率が最大ではなかったとする。その場合、第１認識率、第２認識率および第３認識率の中で第１認識率が最大となるように、多重露光撮影の条件が変更される。

以下、図９Ａおよび９Ｂを参照して、この技術について、具体例を挙げて説明する。図９Ａおよび９Ｂの具体例では、第１物体は、人である。第２物体は、自動車である。第３物体は、家である。第１認識率は、第１被写体が人であることの確からしさを表す。第２認識率は、第１被写体が自動車であることの確からしさを表す。第３認識率は、第１被写体が家であることの確からしさを表す。この具体例では、変更される多重露光撮影の条件として、露光間隔が採用されている。

図９Ａに、フレームｎにおける多重露光撮影の条件と、フレームｎ＋αにおける多重露光撮影の条件と、を示す。ｎおよびαは、自然数である。図９Ａは、露光間隔が２ｍｓから４ｍｓに変更されたことを表している。

図９Ｂに、フレームｎにおける認識率と、フレームｎ＋αにおける認識率と、を示す。フレームｎでは、第１認識率は、４０％である。第２認識率は、７５％である。第３認識率は、２０％である。第１認識率は、第３認識率よりも高い。しかし、第１認識率は、第２認識率よりも低い。

このため、第１認識率、第２認識率および第３認識率の中で第１認識率が最大となるように、露光間隔が変更される。この変更の結果、フレームｎ＋αでは、第１認識率、第２認識率および第３認識率の中で第１認識率が最大となっている。具体的に、第１認識率は、６０％である。第２認識率は、３０％である。第３認識率は、認識なしである。認識なしは、０％と扱うことができる。

上述の説明では、画像における被写体が第１物体である可能性と、第２物体である可能性と、第３物体である可能性とが認識される場合について述べた。ただし、正解の物体の候補として認識される物体の数は、２つであってもよく、４以上であってもよい。

例えば、処理回路１７０は、上記の認識率である第１認識率であって第１被写体が第１物体であることの確からしさを表す第１認識率と、第１被写体が第２物体であることの確からしさを表す第２認識率と、を算出するように構成され得る。そして、制御回路１２０は、第１認識率から第２認識率を差し引いた差分がＺ以下である場合にも、多重露光撮影の条件を変更するものであり得る。ここで、Ｚは、０以上の値である。そのような処理回路１７０および制御回路１２０は、上述の技術の実現に適している。

Ｚは、０よりも大きい値、例えば１０％以上２０％以下の範囲の値であってもよい。このようにすれば、第１認識率を第２認識率よりも大きくすることができる。第１認識率と第２認識率との間に有意差が生じるようにすることにより、認識の信頼性を向上させることも可能である。

画像における被写体が特定の物体である可能性のみならず他の物体である可能性もあると認識され得る場合がある。その場合に利用可能な技術は、優先度を設定する技術に限られない。例えば、最初に得られた第１認識率および第２認識率のうち大きい方を、図６のフローチャートの認識率に対応付けてもよい。より一般的には、ある第１被写体についての物体名の複数の候補が、その確からしさを表す認識率とともに最初に得られたとする。その場合において、複数の認識率のうち最大のものを、図６のフローチャートの第１被写体の認識率に対応付けることができる。

［処理回路１７０の具体例］
一具体例では、処理回路１７０は、教師画像および正解ラベルの組み合わせを複数組用いた教師あり学習を行う。教師画像は、第１画像に対応する。正解ラベルは、第１被写体の物体名に対応する。先に説明したように、物体名は、例えば、自動車、人、家等である。処理回路１７０は、教師あり学習後において、第１画像を用いて認識率を算出する。このような処理回路１７０によれば、認識率の算出精度を確保できる。

本実施の形態では、画像認識装置９９は、第１画像を得るのに用いられる撮像装置１００を備える。以下、この撮像装置を、第１撮像装置と称することがある。画像認識装置９９は、教師画像を得るのに用いられる第２撮像装置を備える。本実施の形態では、第２撮像装置は、第１撮像装置１００と同じである。つまり、１つの第１撮像装置１００が、第１撮像装置および第２撮像装置の両方として用いられる。ただし、第２撮像装置は、第１撮像装置１００とは異なる撮像装置であってもよい。

一具体例では、処理回路１７０は、ニューラルネットワークで表現される演算モデルを読み込んでいる。処理回路１７０は、教師あり学習を行い、教師あり学習後において、第１画像を用いて認識率を算出する。このような処理回路１７０は、ニューラルネットワークに基づいて、教師あり学習を行い、教師あり学習後において、第１画像を用いて認識率を算出することができる。ニューラルネットワークは、画像を用いた情報処理に適している。ニューラルネットワークは、例えば、ＤＣＮＮ(Deep Convolutional Neural Network)である。

処理回路１７０が有するＤＣＮＮの例について、図１０を参照して説明する。図１０に示すＤＣＮＮは、入力層と、複数の中間層と、出力層と、を有する。

図１０に示すＤＣＮＮの学習について説明する。処理回路１７０は、ＤＣＮＮを学習させるために、教師画像に含まれる複数の画素の値からなるベクトルを入力層に入力する。そして、処理回路１７０は、中間層において畳み込みなどの処理を行う。これにより、教師画像に含まれる複数の画素の畳み込みがなされる。そして、処理回路１７０は、出力層からの出力と、入力された教師画像に対応する正解ラベルと、の誤差を算出する。

例えば、認識候補となる物体が人、自動車、及び家である場合、処理回路１７０は、出力層のノード数を３つに設定する。すなわち、出力層からの出力ベクトルは、第１ノードから出力される第１出力値と、第２ノードから出力される第２出力値と、第３ノードから出力される第３出力値と、からなる。処理回路１７０は、第１出力値を、教師画像の被写体が人であることの確からしさに対応させる。処理回路１７０は、第２認識率を、教師画像の被写体が自動車であることの確からしさに対応させる。処理回路１７０は、第３出力値を、教師画像の被写体が家であることの確からしさに対応させる。また、処理回路１７０は、正解ラベルに対応する教師ベクトルを生成する。上述の例では、正解ラベルが人である場合、教師ベクトル（１，０，０）を生成する。そして、処理回路１７０は、教師ベクトルと、ＤＣＮＮの出力層からの出力ベクトルとの誤差ベクトルを求める。処理回路１７０は、誤差ベクトルが０ベクトルに近づくように、中間層の各ノードの係数（例えば重み）を更新する。また、処理回路１７０は、中間層だけでなく入力層における各ノードの係数を更新してもよい。

処理回路１７０は、教師画像と正解ラベルとの組み合わせを複数用いることで、ＤＣＮＮを学習させる。ただし、ＤＣＮＮの学習の態様は上述の例に限らない。

処理回路１７０は、第１画像に対する認識率を算出するために、学習済みのＤＣＮＮを用いる。具体的には、処理回路１７０は、第１画像に含まれる複数の画素の値をＤＣＮＮの入力層に入力し、中間層において畳み込み処理を行う。そして、処理回路１７０は、出力層からの出力ベクトルに基づいて認識率を求める。上述の例において、出力ベクトル（０．０４，０．９２，０．０１）が求められた場合、処理回路１７０は、第１画像の第１被写体が自動車であることの確からしさを表す第１認識率０．９２を求める。

なお、処理回路１７０は、画像をＤＣＮＮに入力する前に、当該画像に前処理を行ってもよい。例えば、前処理には、フィルタリングによるノイズ除去が含まれる。これにより、学習及び認識の精度は向上する。

処理回路１７０において学習が行われることは、必須ではない。制御回路１２０は、テンプレートマッチング、特徴マッチング等によって、認識率を算出するように構成されていてもよい。処理回路１７０は、サポートベクターマシン(SVM：Support Vector Machine)のようなパターン認識モデルによって、認識率を算出するように構成されていてもよい。

［複数の撮像装置１００を用いた例］
図１１の例では、画像認識装置１９９は、２つのカメラ部８０を有する。これらの２つのカメラ部８０によって、処理回路１７０および表示装置１６０が共用されている。２つのカメラ部８０は、ステレオカメラを構成していてもよい。

２つのカメラ部８０の一方の多重露光撮影の条件は、他方の多重露光撮影の条件と異なっていてもよい。そのようにすれば、２並列で図６の認識処理等を実行できる。これにより、高速な画像認識が可能となる。

（実施の形態２）
以下、実施の形態２について説明する。以下では、実施の形態１と重複する説明は省略することがある。

実施の形態２では、認識率に代えて、第１被写体の速度に関する値が算出される。具体的には、処理回路１７０に、第１被写体が多重露光撮影された第１画像が入力される。処理回路１７０は、第１画像を用いて、第１被写体の速度の推定範囲を算出する。推定範囲は、値Ｖ±誤差Ｅの範囲である。推定範囲が値Ｖ±誤差Ｅの範囲であるとは、推定範囲が値Ｖ－誤差Ｅ以上、値Ｖ＋誤差Ｅ以下の範囲であることを指す。第１画像は、１つの被写体の像を１個だけ含む画像に比べ、第１被写体の速度の算出精度を確保するのに適している。なお、速度は、絶対値であってもよく、ベクトルであってもよい。

推定範囲についてさらに説明する。現実の速度の推定においては、誤差の存在が考慮されることがある。その場合、速度はある一点の値であるとのピンポイントな推定ではなく、速度はある範囲にあるとの幅のある推定がなされることがある。後者の幅のある推定が、上記推定範囲の算出に対応する。

制御回路１２０は、誤差Ｅが誤差閾値よりも大きい場合に、多重露光撮影の条件を変更する。誤差Ｅが大きいことは、第１被写体の速度の算出精度が低いことを示唆している。実施の形態２では、誤差Ｅが大きいときに、多重露光撮影の条件を変更する。この変更により、誤差Ｅを小さくすることができる。つまり、第１被写体の速度の算出精度が高いことが示唆される状況を得ることができる。誤差閾値は、例えば、３％以上２０％以下の範囲にある特定の値である。

具体的には、本実施の形態では、多重露光撮影の条件が変更された場合において、その変更が反映された第１画像が、処理回路１７０に入力される。処理回路１７０は、その第１画像を用いて、第１被写体の速度の推定範囲を再度算出する。

より具体的には、本実施の形態では、処理回路１７０による推定範囲の算出と、誤差Ｅが誤差閾値よりも大きい場合における制御回路１２０による条件の変更と、が、終了条件が成立するまで繰り返される。

処理回路１７０は、表示装置１６０へと、画像と、第１被写体の速度の推定範囲と、を出力する。処理回路１７０は、表示装置１６０へと、値Ｖおよび誤差Ｅを出力するように構成されていてもよい。また、処理回路１７０は、制御回路１２０へと、誤差Ｅを出力する。

表示装置１６０は、画像と、第１被写体の速度の推定範囲と、を表示する。表示装置１６０は、値Ｖおよび誤差Ｅを表示するように構成されていてもよい。

制御回路１２０は、撮像装置１００の撮像条件を制御する。制御回路１２０は、実施の形態１と同様に、多重露光撮影の条件を変更できる。変更される条件は、実施の形態１と同様、条件（ａ）～（ｈ）からなる群より選択される少なくとも１つを含み得る。また、制御回路１２０は、画像形成回路１３０の画像形成条件を制御する。

実施の形態２では、表示装置１６０は、画像認識装置９９の内部表示装置である。このように、画像認識装置９９は、第１被写体の速度の推定範囲を表示する内部表示装置を備える。内部表示装置は、具体的には、第１画像と、推定範囲と、を表示し得る。内部表示装置は、値Ｖおよび誤差Ｅを表示するように構成されていてもよい。

画像認識装置９９は、推定範囲を表示する外付け表示装置へと推定範囲を出力する出力インターフェースを備えていてもよい。具体的には、画像認識装置９９は、第１画像と、推定範囲と、を外付け表示装置へと出力する出力インターフェースを備えていてもよい。そして、外付け表示装置は、第１画像と、推定範囲と、を表示するものであってもよい。また、出力インターフェースは、値Ｖおよび誤差Ｅを出力するように構成されていてもよい。そして、外付け表示装置は、値Ｖおよび誤差Ｅを表示するように構成されていてもよい。

画像認識装置９９は、内部表示装置および出力インターフェースの一方を備えていてもよい。画像認識装置９９は、これらの両方を備えていてもよい。

実施の形態２でも、実施の形態１と同様、多重露光撮影の条件と第１画像とが対応付けられ得る。

実施の形態２でも、実施の形態１と同様、処理回路１７０は、教師画像および正解ラベルの組み合わせを複数組用いた教師あり学習を行う。教師画像は、第１画像に対応する。正解ラベルは、第１被写体の速度に対応する。処理回路１７０は、教師あり学習後において、第１画像を用いて、第１被写体の速度の推定範囲を算出する。このような処理回路１７０によれば、第１被写体の速度の算出精度が確保され易い。

実施の形態１の他の技術も、実施の形態２に適用され得る。

［多重露光撮影の条件の変更の仕方の具体例］
実施の形態２では、図１２のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図１２のフローチャートについて、説明する。以下の説明では、図６のフローチャートと重複する説明については、省略することがある。

ステップＳ１６において、処理回路１７０によって、画像に含まれる被写体の速度の推定範囲が算出される。この算出に用いられる画像は、上述の、第１被写体が多重露光撮影された第１画像である場合がある。この場合、処理回路１７０は、第１画像を用いて、第１被写体の速度の推定範囲を算出する。そして、処理回路１７０は、誤差Ｅを、制御回路１２０へと出力する。ステップＳ１６の後、フローは、ステップＳ１７に進む。

ステップＳ１７において、制御回路１２０によって、誤差Ｅが誤差閾値よりも大きいか否かが判定される。誤差Ｅが誤差閾値よりも大きい場合、フローは、ステップＳ８に進む。誤差Ｅが誤差閾値以下である場合、フローは、ステップＳ２に進む。

実施の形態２のステップＳ２の終了条件の第１の例は、実施の形態１のステップＳ２の終了条件の第１の例である。

実施の形態２のステップＳ２の終了条件の第２の例は、実施の形態１のステップＳ２の終了条件の第２の例である。

ステップＳ２の終了条件の第３の例は、直近のステップＳ１６で算出された誤差Ｅが、第２上限閾値よりも大きいという条件である。誤差Ｅが第２上限閾値よりも大きい場合、フローは終了する。誤差Ｅが第２上限閾値以下である場合、フローは、ステップＳ３に進む。第２上限閾値は、典型的には、誤差閾値よりも大きい。

ステップＳ２の終了条件の第４の例は、直近のステップＳ１６で算出された誤差Ｅが、第２下限閾値よりも小さいという条件である。誤差Ｅが第２下限閾値よりも小さい場合、フローは終了する。誤差Ｅが第２下限閾値以上である場合、フローは、ステップＳ３に進む。第２下限閾値は、典型的には、誤差閾値よりも小さい。

第３の例の条件または第４の例の条件が成立している場合にフローを終了させ、そうでない場合にフローをステップＳ３に進めてもよい。

ステップＳ２の終了条件の第５の例は、ステップＳ１６で算出された誤差Ｅが第２上限閾値よりも大きいという状況が連続して第４閾値回数続いているという条件である。この状況が連続して第４閾値回数続いている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。なお、この条件は、上記状況をもたらすフレームが連続して第４閾値回数続いて現れるという条件であるとも言える。

ステップＳ２の終了条件の第６の例は、ステップＳ１６で算出された誤差Ｅが第２下限閾値よりも小さいという状況が連続して第５閾値回数続いているという条件である。この状況が連続して第５閾値回数続いている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。なお、この条件は、上記状況をもたらすフレームが連続して第５閾値回数続いて現れるという条件であるとも言える。

第５の例の条件または第６の例の条件が成立している場合にフローを終了させ、そうでない場合にフローをステップＳ３に進めてもよい。その場合、第４閾値回数および第５閾値回数は、同じであってもよく、異なっていてもよい。

実施の形態２のステップＳ２の終了条件の第７の例は、実施の形態１のステップＳ２の終了条件の第７の例である。

図１２のフローチャートに従った多重露光撮影の条件の変更は、速度の算出精度を向上させ得る。この点について、図１３Ａおよび図１３Ｂを参照して説明する。なお、図１３Ａおよび図１３Ｂの例では、変更される上記条件は、露光間隔であるものとする。

図１３Ａに、フレームｎにおける多重露光撮影の条件と、フレームｎ＋αにおける多重露光撮影の条件と、を示す。ｎおよびαは、自然数である。図１３Ａは、図１２のフローチャートに従って、露光間隔が２ｍｓから４ｍｓに変更されたことを表している。

図１３Ｂに、フレームｎにおける値Ｖおよび誤差Ｅと、フレームｎ＋αにおける値Ｖおよび誤差Ｅと、を示す。両フレームにおいて、値Ｖは５０ｋｍ／ｈである。フレームｎにおける誤差Ｅは、１５ｋｍ／ｈである。フレームｎ＋αにおける誤差Ｅは、５ｋｍ／ｈである。フレームｎ＋αにおける誤差Ｅは、フレームｎにおける誤差Ｅよりも小さい。図１３Ｂは、図１２のフローチャートに従って、第１被写体の速度の算出精度が向上したことを表している。

（実施の形態３）
実施の形態３では、図１４のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図１４のフローチャートについて、説明する。以下の説明では、図６のフローチャートと重複する説明については、省略することがある。

ステップＳ１の後、フローは、ステップＳ２１に進む。ステップＳ２１では、移行条件が成立しているか否かが判定される。移行条件の具体例については後述する。移行条件が成立している場合、フローは、ステップＳ２６に進む。移行条件が成立していない場合、フローは、ステップＳ２２に進む。

ステップＳ２２では、図６のステップＳ３，Ｓ４，Ｓ５およびＳ６が、この順に実行される。ステップＳ２２の後、フローは、ステップＳ２３に進む。

ステップＳ２３において、ステップＳ６で認識処理が行われたフレームが「開始」から数えて偶数フレームなのか奇数フレームなのかが判定される。このフレームが偶数フレームの場合、フローは、ステップＳ２４に進む。このフレームが奇数フレームの場合、フローは、ステップＳ２５に進む。

ステップＳ２４において、制御回路１２０によって、多重露光撮影の条件が条件Ａに変更される。ステップＳ２４の後、フローは、ステップＳ２１に進む。

ステップＳ２５において、制御回路１２０によって、多重露光撮影の条件が条件Ｂに変更される。ステップＳ２５の後、フローは、ステップＳ２１に進む。

この具体例では、ステップＳ２１の移行条件は、「開始」から数えて認識率Ａと認識率ＢがそれぞれＪ回得られているという条件である。Ｊは、自然数である。Ｊは、例えば１である。認識率Ａは、ステップＳ２４で条件Ａが採用された状態で、ステップＳ２２のステップＳ６を実行することにより得られる認識率である。認識率Ｂは、ステップＳ２５で条件Ｂが採用された状態で、ステップＳ２２のステップＳ６を実行することにより得られる認識率である。条件Ａと条件Ｂとは、互いに異なる撮影条件である。

ステップＳ２６において、認識率Ａと認識率Ｂとが比較される。認識率Ａが認識率Ｂ以上である場合、フローは、ステップＳ２７に進む。認識率Ａが認識率Ｂよりも小さい場合、フローは、ステップＳ２８に進む。

フローがステップＳ２７に進んだ場合、条件Ａがベース条件に設定される。フローがステップＳ２８に進んだ場合、条件Ｂがベース条件に設定される。

上述の説明から理解されるように、認識率Ａおよび認識率Ｂは、ベース条件を設定するのに用いられる。認識率Ａおよび認識率Ｂを、参照用の認識率を称することができる。

ステップＳ２７またはステップＳ２８の後、ステップＳ２９では、図６のステップＳ３，Ｓ４，Ｓ５およびＳ６が、この順に実行される。

ステップＳ２９では、ステップＳ３の撮像が行われる。条件Ａがベース条件に設定された場合、ステップＳ２９の初回の撮像は、多重露光撮影の条件が条件Ａに設定された状態で行われる。条件Ｂがベース条件に設定された場合、ステップＳ２９の初回の撮像は、多重露光撮影の条件が条件Ｂに設定された状態で行われる。ステップＳ２９の後、フローは、ステップＳ２に進む。

ステップＳ２において、実施の形態１と同様、終了条件が成立しているか否かが判定される。終了条件が成立している場合、フローは終了する。終了条件が成立していない場合、フローは、ステップＳ７に進む。

ステップＳ７において、実施の形態１と同様、制御回路１２０によって、認識率が認識率閾値よりも小さいか否かが判定される。認識率が認識率閾値よりも小さい場合、フローは、ステップＳ８に進む。認識率が認識率閾値以上である場合、フローは、ステップＳ２９に進む。

ステップＳ８において、実施の形態１と同様、制御回路１２０によって、多重露光撮影の条件が変更される。ステップＳ８の後、フローは、ステップＳ２９に進む。

図１４のフローチャートによれば、ステップＳ２６において、条件Ａと条件Ｂのどちらによればより高い認識率が得られるのかが分かる。ステップＳ２９において、そのより高い認識率が得られる条件が、初回の多重露光撮影の条件として用いられる。このようにすることは、ステップＳ２９以降において、高い認識率が得られる多重露光撮影の条件を素早く見出す観点から有利である。

図１４のフローチャートに従った多重露光撮影の条件変更により、認識率が変化していく。その変化の態様の例を、図１５を参照して説明する。なお、図１５の例では、変更される上記条件は、露光間隔であるものとする。

図１５の例では、フレームＮに関するステップＳ２２において、条件Ａで多重露光撮影がなされている。

フレームＮ＋１に関するステップＳ２２において、条件Ｂで多重露光撮影がなされている。

この例では、条件Ａおよび条件Ｂは、露光間隔である。図１５の下図に示されているように、フレームＮ＋１の露光間隔は、フレームＮの露光間隔よりも短い。このことは、条件Ｂの露光間隔は、条件Ａの露光間隔よりも短いことを意味する。図１５の上図に示されているように、フレームＮ＋１の認識率は、フレームＮの認識率よりも低い。この状況では、ステップＳ２６で、認識率Ａ≧認識率Ｂと判定される。そして、フローはステップＳ２７に進み、条件Ａがベース条件に設定される。

ベース条件が条件Ａであるため、フレームＮ＋２において、条件ＡでステップＳ２９の多重露光撮影がなされる。そのフレームＮ＋２のステップＳ７において、認識率が認識率閾値よりも小さいと判定されている。このため、その次のフレームＮ＋３において、フレームＮ＋２の露光間隔よりも長い露光間隔が採用されている。

フレームＮ＋３に関するステップＳ７において、認識率が認識率閾値よりも小さいと判定されている。このため、その次のフレームＮ＋４において、フレームＮ＋３の露光間隔よりも長い露光間隔が採用されている。

フレームＮ＋４に関するステップＳ７において、認識率が認識率閾値よりも小さいと判定されている。このため、その次のフレームＮ＋５において、フレームＮ＋４の露光間隔よりも長い露光間隔が採用されている。

図１５の例では、フレームＮ＋５において、フレームＮ＋４よりも長い露光間隔が採用された結果、認識率が認識率閾値を超えるに至っている。

このように、実施の形態３では、処理回路１７０は、認識率の算出を、互いに異なる条件により得られた複数の第１画像について行うことによって、複数の参照用の認識率を算出する。制御回路１２０は、複数の参照用の認識率を互いに比較することによって、ベースとなる条件であるベース条件を選択する。ベース条件は、例えば、上記互いに異なる条件のうち最も大きい認識率が得られる条件である。処理回路１７０は、ベース条件により得られた第１画像であって複数の参照用の認識率を算出するための第１画像とは異なる第１画像を用いて、認識率閾値と比較されるべき認識率を算出する。

実施の形態３では、具体的には、多重露光撮影の条件として、条件Ａと条件Ｂとが準備されている。条件Ａを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ａを用いて得られた第１画像を用いて、第１画像における第１被写体の認識率である認識率Ａを算出する。条件Ｂを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ｂを用いて得られた第１画像を用いて、第１画像における第１被写体の認識率である認識率Ｂを算出する。制御回路１２０は、認識率Ａと認識率Ｂとを比較する。制御回路１２０は、この比較により、ベース条件を選択する。ベース条件は、条件ＡおよびＢのうち、高い認識率が得られたほうの条件である。処理回路１７０は、ベース条件により得られた第１画像であって認識率Ａおよび認識率Ｂを算出するための第１画像とは異なる第１画像を用いて、認識率閾値と比較されるべき認識率を算出する。

その後、処理回路１７０は、ベース条件により得られた第１画像を用いて第１被写体の認識率を算出する。制御回路１２０は、認識率が認識率閾値よりも小さい場合に、多重露光撮影の条件を変更する。具体的には、多重露光撮影の条件が変更された場合において、その変更が反映された第１画像が、処理回路１７０に入力される。処理回路１７０は、その第１画像を用いて、認識率を再度算出する。

（実施の形態４）
実施の形態４では、図１６のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図１６のフローチャートについて、説明する。以下の説明では、図１２および／または図１４のフローチャートと重複する説明については、省略することがある。

ステップＳ１の後、フローは、ステップＳ２１に進む。ステップＳ２１では、移行条件が成立しているか否かが判定される。移行条件の具体例については後述する。移行条件が成立している場合、フローは、ステップＳ３６に進む。移行条件が成立していない場合、フローは、ステップＳ３２に進む。

ステップＳ３２では、図１２のステップＳ３，Ｓ４，Ｓ５およびＳ１６が、この順に実行される。ステップＳ３２の後、フローは、ステップＳ２３に進む。

ステップＳ２３において、ステップＳ１６の被写体の速度の算出が行われたフレームが「開始」から数えて偶数フレームなのか奇数フレームなのかが判定される。このフレームが偶数フレームの場合、フローは、ステップＳ２４に進む。このフレームが奇数フレームの場合、フローは、ステップＳ２５に進む。

ステップＳ２４において、制御回路１２０によって、多重露光撮影の条件が条件Ａに変更される。ステップＳ２４の後、フローは、ステップＳ２１に進む。

ステップＳ２５において、制御回路１２０によって、多重露光撮影の条件が条件Ｂに変更される。ステップＳ２５の後、フローは、ステップＳ２１に進む。

この具体例では、ステップＳ２１の移行条件は、「開始」から数えて誤差ＥＡと誤差ＥＢがそれぞれＫ回得られているという条件である。Ｋは、自然数である。Ｋは、例えば１である。誤差ＥＡは、ステップＳ２４で条件Ａが採用された状態で、ステップＳ３２のステップＳ１６を実行することにより得られる誤差Ｅである。誤差ＥＢは、ステップＳ２５で条件Ｂが採用された状態で、ステップＳ３２のステップＳ１６を実行することにより得られる誤差Ｅである。

ステップＳ３６において、誤差ＥＡと誤差ＥＢとが比較される。誤差ＥＡが誤差ＥＢ以下である場合、フローは、ステップＳ２７に進む。誤差ＥＡが誤差ＥＢよりも大きい場合、フローは、ステップＳ２８に進む。

フローがステップＳ２７に進んだ場合、条件Ａがベース条件に設定される。フローがステップＳ２８に進んだ場合、条件Ｂがベース条件に設定される。

上述の説明から理解されるように、誤差ＥＡおよび誤差ＥＢは、ベース条件を設定するのに用いられる。誤差ＥＡおよび誤差ＥＢを、参照用の誤差Ｅを称することができる。

ステップＳ２７またはステップＳ２８の後、ステップＳ３９では、図１２のステップＳ３，Ｓ４，Ｓ５およびＳ１６が、この順に実行される。

ステップＳ３９では、ステップＳ３の撮像が行われる。条件Ａがベース条件に設定された場合、ステップＳ３９の初回の撮像は、多重露光撮影の条件が条件Ａに設定された状態で行われる。条件Ｂがベース条件に設定された場合、ステップＳ３９の初回の撮像は、多重露光撮影の条件が条件Ｂに設定された状態で行われる。ステップＳ３９の後、フローは、ステップＳ２に進む。

ステップＳ２において、実施の形態２と同様、終了条件が成立しているか否かが判定される。終了条件が成立している場合、フローは終了する。終了条件が成立していない場合、フローは、ステップＳ１７に進む。

ステップＳ１７において、実施の形態２と同様、制御回路１２０によって、誤差Ｅが誤差閾値よりも小さいか否かが判定される。誤差Ｅが誤差閾値よりも大きい場合、フローは、ステップＳ８に進む。誤差Ｅが誤差閾値以下である場合、フローは、ステップＳ３９に進む。

ステップＳ８において、実施の形態２と同様、制御回路１２０によって、多重露光撮影の条件が変更される。ステップＳ８の後、フローは、ステップＳ３９に進む。

図１６のフローチャートによれば、ステップＳ３６において、条件Ａと条件Ｂのどちらによればより小さい誤差Ｅが得られるのかが分かる。ステップＳ３９において、そのより小さい誤差Ｅが得られる条件が、初回の多重露光撮影の条件として用いられる。このようにすることは、ステップＳ３９以降において、小さい誤差Ｅが得られる多重露光撮影の条件を素早く見出す観点から有利である。

このように、実施の形態４では、処理回路１７０は、推定範囲の算出を、互いに異なる条件により得られた複数の第１画像について行うことによって、複数の参照用の誤差Ｅを算出する。制御回路１２０は、複数の参照用の誤差Ｅを互いに比較することによって、ベースとなる条件であるベース条件を選択する。ベース条件は、例えば、上記互いに異なる条件のうち最も小さい誤差Ｅが得られる条件である。処理回路１７０は、ベース条件により得られた第１画像であって複数の参照用の誤差Ｅを算出するための第１画像とは異なる第１画像を用いて、誤差閾値と比較されるべき誤差Ｅを算出する。

実施の形態４では、具体的には、多重露光撮影の条件として、条件Ａと条件Ｂとが準備されている。条件Ａを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ａを用いて得られた第１画像を用いて、誤差Ｅである誤差ＥＡを算出する。条件Ｂを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ｂを用いて得られた第１画像を用いて、誤差Ｅである誤差ＥＢを算出する。制御回路１２０は、誤差ＥＡと誤差ＥＢとを比較する。制御回路１２０は、この比較により、ベース条件を選択する。ベース条件は、条件ＡおよびＢのうち、小さい誤差Ｅが得られたほうの条件である。処理回路１７０は、ベース条件により得られた第１画像であって誤差ＥＡおよび誤差ＥＢを算出するための第１画像とは異なる第１画像を用いて、誤差閾値と比較されるべき誤差Ｅを算出する。

その後、処理回路１７０は、ベース条件により得られた第１画像を用いて、第１被写体の速度の推定範囲を算出する。制御回路１２０は、誤差Ｅが誤差閾値よりも大きい場合に、多重露光撮影の条件を変更する。具体的には、多重露光撮影の条件が変更された場合において、その変更が反映された第１画像が、処理回路１７０に入力される。処理回路１７０は、その第１画像を用いて、推定範囲を再度算出する。

（参考実施形態１）
参考実施形態１では、図１７のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図１７のフローチャートについて、説明する。以下の説明では、図６および／または図１４のフローチャートと重複する説明については、省略することがある。

ステップＳ１の後、フローは、ステップＳ２に進む。ステップＳ２において、実施の形態１と同様、終了条件が成立しているか否かが判定される。終了条件が成立している場合、フローは終了する。終了条件が成立していない場合、フローは、ステップＳ３に進む。

実施の形態１と同様、図６のステップＳ３，Ｓ４，Ｓ５およびＳ６が、この順に実行される。ステップＳ６の後、フローは、ステップＳ２３に進む。

ステップＳ２３において、実施の形態３と同様、ステップＳ６で認識処理が行われたフレームが「開始」から数えて偶数フレームなのか奇数フレームなのかが判定される。このフレームが偶数フレームの場合、フローは、ステップＳ２４に進む。このフレームが奇数フレームの場合、フローは、ステップＳ２５に進む。

ステップＳ２４において、実施の形態３と同様、制御回路１２０によって、多重露光撮影の条件が条件Ａに変更される。ステップＳ２４の後、フローは、ステップＳ２に進む。

ステップＳ２５において、実施の形態３と同様、制御回路１２０によって、多重露光撮影の条件が条件Ｂに変更される。ステップＳ２５の後、フローは、ステップＳ２に進む。

図１７のフローチャートに従った多重露光撮影の条件変更により、認識率が変化していく。その変化の態様の例を、図１８を参照して説明する。なお、図１８の例では、変更される上記条件は、露光間隔であるものとする。

図１８の例では、フレームＮ，Ｎ＋２およびＮ＋４に関するステップＳ３において、条件Ａで多重露光撮影がなされている。フレームＮ＋１，Ｎ＋３およびＮ＋５に関するステップＳ３において、条件Ｂで多重露光撮影がなされている。

この例では、条件Ａおよび条件Ｂは、露光間隔である。図１８に示されているように、フレームＮ＋１の露光間隔は、フレームＮの露光間隔よりも短い。このことは、条件Ｂの露光間隔は、条件Ａの露光間隔よりも短いことを意味する。

このように、図１８の例では、長い露光間隔での多重露光撮影と、短い露光間隔での多重露光撮影と、が繰り返される。典型的には、どちらかの露光間隔によって、高い認識率が得られる。このようにすれば、高い認識率が得られる条件が見出されるまでに実行されるフローチャートの繰り返し数を削減できる。この点で、図１８の例は、図６の例よりも有利であり得る。

このように、参考実施形態１では、画像認識装置９９は、処理回路１７０と、制御回路１２０と、を備える。処理回路１７０は、第１被写体が多重露光撮影された第１画像が入力され、第１画像を用いて第１被写体の認識率を算出する。制御回路１２０は、多重露光撮影の条件を変更する。処理回路１７０は、認識率の算出を、互いに異なる条件により得られた複数の第１画像について行うことによって、複数の認識率を算出する。

具体的には、多重露光撮影の条件として、条件Ａと条件Ｂとが準備されている。条件Ａを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ａを用いて得られた第１画像を用いて、第１画像における第１被写体の認識率を算出する。条件Ｂを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ｂを用いて得られた第１画像を用いて、第１画像における第１被写体の認識率を算出する。

（参考実施形態２）
参考実施形態２では、図１９のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図１９のフローチャートについて、説明する。以下の説明では、図１２および／または図１７のフローチャートと重複する説明については、省略することがある。

ステップＳ１の後、フローは、ステップＳ２に進む。ステップＳ２において、実施の形態２と同様、終了条件が成立しているか否かが判定される。終了条件が成立している場合、フローは終了する。終了条件が成立していない場合、フローは、ステップＳ３に進む。

実施の形態２と同様、図６のステップＳ３，Ｓ４，Ｓ５およびＳ１６が、この順に実行される。ステップＳ１６の後、フローは、ステップＳ２３に進む。

ステップＳ２３において、実施の形態４と同様、ステップＳ１６で被写体の速度の算出が行われたフレームが「開始」から数えて偶数フレームなのか奇数フレームなのかが判定される。このフレームが偶数フレームの場合、フローは、ステップＳ２４に進む。このフレームが奇数フレームの場合、フローは、ステップＳ２５に進む。

ステップＳ２４において、実施の形態４と同様、制御回路１２０によって、多重露光撮影の条件が条件Ａに変更される。ステップＳ２４の後、フローは、ステップＳ２に進む。

ステップＳ２５において、実施の形態４と同様、制御回路１２０によって、多重露光撮影の条件が条件Ｂに変更される。ステップＳ２５の後、フローは、ステップＳ２に進む。

このように、参考実施形態２では、画像認識装置９９は、処理回路１７０と、制御回路１２０と、を備える。処理回路１７０は、第１被写体が多重露光撮影された第１画像が入力され、第１画像を用いて、第１被写体の速度の推定範囲を算出する。制御回路１２０は、多重露光撮影の条件を変更する。処理回路１７０は、推定範囲の算出を、互いに異なる条件により得られた複数の第１画像について行うことによって、複数の誤差Ｅを算出する。

具体的には、多重露光撮影の条件として、条件Ａと条件Ｂとが準備されている。条件Ａを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ａを用いて得られた第１画像を用いて、第１被写体の速度の推定範囲を算出する。条件Ｂを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ｂを用いて得られた第１画像を用いて、推定範囲を算出する。

（実施の形態５）
以下、実施の形態５について説明する。以下では、実施の形態１および２と重複する説明は省略することがある。

実施の形態５では、第１被写体の速度に代えて、第１被写体を基準としたときの撮影装置１００の相対速度に関する値が算出される。第１被写体として静止している被写体を選択してもよい。その場合には、算出された撮影装置１００の相対速度は、撮影装置１００の速度、すなわち撮影装置１００が設置された移動体、例えば車両の速度である。本実施の形態では、静止している第１被写体を撮像することにより、撮像装置１００が設置された移動体の速度に関する値が算出される。具体的には、処理回路１７０に、第１被写体が多重露光撮影された第１画像が入力される。処理回路１７０は、第１画像と、第１被写体までの距離情報とを用いて、撮像装置１００が設置された移動体の速度の推定範囲を算出する。第１被写体までの距離情報は、例えばステレオカメラ、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ、レーザーレーダーおよびソナーなどの装置によって取得してもよい。

また、第１被写体が一定の大きさを有するものである場合には、第１画像における第１被写体の大きさに基づいて第１被写体までの距離情報を取得してもよい。なお、多重露光撮影された画像から撮像装置１００が設置された移動体の速度を算出する技術については、例えば、国際公開公報ＷＯ２０１８／１３９２１２号および米国出願公開公報２０１９／０１１３３３２号に記載されている。国際公開公報ＷＯ２０１８／１３９２１２号および米国出願公開公報２０１９／０１１３３３２号の開示内容の全てを、参考のために本明細書に援用する。推定範囲は、値Ｖ±誤差Ｅの範囲である。推定範囲が値Ｖ±誤差Ｅの範囲であるとは、推定範囲が値Ｖ－誤差Ｅ以上、値Ｖ＋誤差Ｅ以下の範囲であることを指す。第１画像は、１つの被写体の像を１個だけ含む画像に比べ、第１被写体の速度の算出精度を確保するのに適している。なお、速度は、絶対値であってもよく、ベクトルであってもよい。

推定範囲についてさらに説明する。現実の速度の推定においては、誤差の存在が考慮されることがある。その場合、速度はある一点の値であるとのピンポイントな推定ではなく、速度はある範囲にあるとの幅のある推定がなされることがある。後者の幅のある推定が、上記推定範囲の算出に対応する。

制御回路１２０は、誤差Ｅが誤差閾値よりも大きい場合に、多重露光撮影の条件を変更する。誤差Ｅが大きいことは、撮像装置１００が設置された移動体の速度の算出精度が低いことを示唆している。実施の形態５では、誤差Ｅが大きいときに、多重露光撮影の条件を変更する。この変更により、誤差Ｅを小さくすることができる。つまり、撮像装置１００が設置された移動体の速度の算出精度が高いことが示唆される状況を得ることができる。誤差閾値は、例えば、３％以上２０％以下の範囲にある特定の値である。

具体的には、本実施の形態では、多重露光撮影の条件が変更された場合において、その変更が反映された第１画像が、処理回路１７０に入力される。処理回路１７０は、その第１画像と第１被写体までの距離情報とを用いて、撮像装置１００が設置された移動体の速度の推定範囲を再度算出する。

より具体的には、本実施の形態では、処理回路１７０による推定範囲の算出と、誤差Ｅが誤差閾値よりも大きい場合における制御回路１２０による条件の変更と、が、終了条件が成立するまで繰り返される。

処理回路１７０は、表示装置１６０へと、画像と、撮像装置１００が設置された移動体の速度の推定範囲と、を出力する。処理回路１７０は、表示装置１６０へと、値Ｖおよび誤差Ｅを出力するように構成されていてもよい。また、処理回路１７０は、制御回路１２０へと、誤差Ｅを出力する。

表示装置１６０は、画像と、撮像装置１００が設置された移動体の速度の推定範囲と、を表示する。表示装置１６０は、値Ｖおよび誤差Ｅを表示するように構成されていてもよい。

制御回路１２０は、撮像装置１００の撮像条件を制御する。制御回路１２０は、実施の形態１と同様に、多重露光撮影の条件を変更できる。変更される条件は、実施の形態１と同様、条件（ａ）～（ｈ）からなる群より選択される少なくとも１つを含み得る。また、制御回路１２０は、画像形成回路１３０の画像形成条件を制御する。

実施の形態５では、表示装置１６０は、画像認識装置９９の内部表示装置である。このように、画像認識装置９９は、撮像装置１００が設置された移動体の速度の推定範囲を表示する内部表示装置を備える。内部表示装置は、具体的には、第１画像と、推定範囲と、を表示し得る。内部表示装置は、値Ｖおよび誤差Ｅを表示するように構成されていてもよい。

画像認識装置９９は、推定範囲を表示する外付け表示装置へと推定範囲を出力する出力インターフェースを備えていてもよい。具体的には、画像認識装置９９は、第１画像と、推定範囲と、を外付け表示装置へと出力する出力インターフェースを備えていてもよい。そして、外付け表示装置は、第１画像と、推定範囲と、を表示するものであってもよい。また、出力インターフェースは、値Ｖおよび誤差Ｅを出力するように構成されていてもよい。そして、外付け表示装置は、値Ｖおよび誤差Ｅを表示するように構成されていてもよい。

画像認識装置９９は、内部表示装置および出力インターフェースの一方を備えていてもよい。画像認識装置９９は、これらの両方を備えていてもよい。

実施の形態５でも、実施の形態１と同様、多重露光撮影の条件と第１画像とが対応付けられ得る。

実施の形態５でも、実施の形態１と同様、処理回路１７０は、教師画像および正解ラベルの組み合わせを複数組用いた教師あり学習を行う。教師画像は、第１画像に対応する。正解ラベルは、撮像装置１００が設置された移動体の速度に対応する。処理回路１７０は、教師あり学習後において、第１画像を用いて、撮像装置１００が設置された移動体の速度の推定範囲を算出する。このような処理回路１７０によれば、撮像装置１００が設置された移動体の速度の算出精度が確保され易い。

実施の形態１の他の技術も、実施の形態５に適用され得る。

［多重露光撮影の条件の変更の仕方の具体例］
実施の形態５では、図２０のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図２０のフローチャートについて、説明する。以下の説明では、図６のフローチャートと重複する説明については、省略することがある。

ステップＳ４６において、処理回路１７０によって、画像に含まれる被写体のうち建物や標識などの静止した被写体が特定され、その被写体を基準としたときの撮像装置１００が設置された移動体の速度の推定範囲が算出される。この算出に用いられる画像は、上述の、第１被写体が多重露光撮影された第１画像である場合がある。この場合、処理回路１７０は、第１画像を用いて、第１被写体を基準としたときの撮像装置１００が設置された移動体の速度の推定範囲を算出する。そして、処理回路１７０は、誤差Ｅを、制御回路１２０へと出力する。ステップＳ１６の後、フローは、ステップＳ１７に進む。

ステップＳ１７において、制御回路１２０によって、誤差Ｅが誤差閾値よりも大きいか否かが判定される。誤差Ｅが誤差閾値よりも大きい場合、フローは、ステップＳ８に進む。誤差Ｅが誤差閾値以下である場合、フローは、ステップＳ２に進む。

実施の形態５のステップＳ２の終了条件の第１の例は、実施の形態１のステップＳ２の終了条件の第１の例である。

実施の形態５のステップＳ２の終了条件の第２の例は、実施の形態１のステップＳ２の終了条件の第２の例である。

ステップＳ２の終了条件の第３の例は、直近のステップＳ４６で算出された誤差Ｅが、第２上限閾値よりも大きいという条件である。誤差Ｅが第２上限閾値よりも大きい場合、フローは終了する。誤差Ｅが第２上限閾値以下である場合、フローは、ステップＳ３に進む。第２上限閾値は、典型的には、誤差閾値よりも大きい。

ステップＳ２の終了条件の第４の例は、直近のステップＳ４６で算出された誤差Ｅが、第２下限閾値よりも小さいという条件である。誤差Ｅが第２下限閾値よりも小さい場合、フローは終了する。誤差Ｅが第２下限閾値以上である場合、フローは、ステップＳ３に進む。第２下限閾値は、典型的には、誤差閾値よりも小さい。

第３の例の条件または第４の例の条件が成立している場合にフローを終了させ、そうでない場合にフローをステップＳ３に進めてもよい。

ステップＳ２の終了条件の第５の例は、ステップＳ４６で算出された誤差Ｅが第２上限閾値よりも大きいという状況が連続して第４閾値回数続いているという条件である。この状況が連続して第４閾値回数続いている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。なお、この条件は、上記状況をもたらすフレームが連続して第４閾値回数続いて現れるという条件であるとも言える。

ステップＳ２の終了条件の第６の例は、ステップＳ４６で算出された誤差Ｅが第２下限閾値よりも小さいという状況が連続して第５閾値回数続いているという条件である。この状況が連続して第５閾値回数続いている場合、フローは終了する。そうでない場合、フローは、ステップＳ３に進む。なお、この条件は、上記状況をもたらすフレームが連続して第５閾値回数続いて現れるという条件であるとも言える。

第５の例の条件または第６の例の条件が成立している場合にフローを終了させ、そうでない場合にフローをステップＳ３に進めてもよい。その場合、第４閾値回数および第５閾値回数は、同じであってもよく、異なっていてもよい。

実施の形態２のステップＳ２の終了条件の第７の例は、実施の形態１のステップＳ２の終了条件の第７の例である。

図２０のフローチャートに従った多重露光撮影の条件の変更は、速度の算出精度を向上させ得る。この点について、図２１Ａおよび図２１Ｂを参照して説明する。なお、図２１Ａおよび図２１Ｂの例では、変更される上記条件は、露光間隔であるものとする。

図２１Ａに、フレームｎにおける多重露光撮影の条件と、フレームｎ＋αにおける多重露光撮影の条件と、を示す。ｎおよびαは、自然数である。図２１Ａは、図２０のフローチャートに従って、露光間隔が２ｍｓから４ｍｓに変更されたことを表している。

図２１Ｂに、フレームｎにおける値Ｖおよび誤差Ｅと、フレームｎ＋αにおける値Ｖおよび誤差Ｅと、を示す。両フレームにおいて、値Ｖは５０ｋｍ／ｈである。フレームｎにおける誤差Ｅは、１５ｋｍ／ｈである。フレームｎ＋αにおける誤差Ｅは、５ｋｍ／ｈである。フレームｎ＋αにおける誤差Ｅは、フレームｎにおける誤差Ｅよりも小さい。図２１Ｂは、図２０のフローチャートに従って、撮像装置１００が設置された移動体の算出精度が向上したことを表している。

（実施の形態６）
実施の形態６では、図２２のフローチャートに従って、多重露光撮影の条件が変更され得る。以下、図２２のフローチャートについて、説明する。以下の説明では、図２０および／または図１４のフローチャートと重複する説明については、省略することがある。

ステップＳ１の後、フローは、ステップＳ２１に進む。ステップＳ２１では、移行条件が成立しているか否かが判定される。移行条件の具体例については後述する。移行条件が成立している場合、フローは、ステップＳ３６に進む。移行条件が成立していない場合、フローは、ステップＳ４２に進む。

ステップＳ４２では、図２０のステップＳ３，Ｓ４，Ｓ５およびＳ４６が、この順に実行される。ステップＳ４２の後、フローは、ステップＳ２３に進む。

ステップＳ２３において、ステップＳ４６の撮像装置１００が設置された移動体の速度の算出が行われたフレームが「開始」から数えて偶数フレームなのか奇数フレームなのかが判定される。このフレームが偶数フレームの場合、フローは、ステップＳ２４に進む。このフレームが奇数フレームの場合、フローは、ステップＳ２５に進む。

ステップＳ２４において、制御回路１２０によって、多重露光撮影の条件が条件Ａに変更される。ステップＳ２４の後、フローは、ステップＳ２１に進む。

ステップＳ２５において、制御回路１２０によって、多重露光撮影の条件が条件Ｂに変更される。ステップＳ２５の後、フローは、ステップＳ２１に進む。

この具体例では、ステップＳ２１の移行条件は、「開始」から数えて誤差ＥＡと誤差ＥＢがそれぞれＫ回得られているという条件である。Ｋは、自然数である。Ｋは、例えば１である。誤差ＥＡは、ステップＳ２４で条件Ａが採用された状態で、ステップＳ４２のステップＳ１６を実行することにより得られる誤差Ｅである。誤差ＥＢは、ステップＳ２５で条件Ｂが採用された状態で、ステップＳ４２のステップＳ１６を実行することにより得られる誤差Ｅである。

ステップＳ３６において、誤差ＥＡと誤差ＥＢとが比較される。誤差ＥＡが誤差ＥＢ以下である場合、フローは、ステップＳ２７に進む。誤差ＥＡが誤差ＥＢよりも大きい場合、フローは、ステップＳ２８に進む。

フローがステップＳ２７に進んだ場合、条件Ａがベース条件に設定される。フローがステップＳ２８に進んだ場合、条件Ｂがベース条件に設定される。

上述の説明から理解されるように、誤差ＥＡおよび誤差ＥＢは、ベース条件を設定するのに用いられる。誤差ＥＡおよび誤差ＥＢを、参照用の誤差Ｅを称することができる。

ステップＳ２７またはステップＳ２８の後、ステップＳ４９では、図２０のステップＳ３，Ｓ４，Ｓ５およびＳ１６が、この順に実行される。

ステップＳ４９では、ステップＳ３の撮像が行われる。条件Ａがベース条件に設定された場合、ステップＳ４９の初回の撮像は、多重露光撮影の条件が条件Ａに設定された状態で行われる。条件Ｂがベース条件に設定された場合、ステップＳ４９の初回の撮像は、多重露光撮影の条件が条件Ｂに設定された状態で行われる。ステップＳ４９の後、フローは、ステップＳ２に進む。

ステップＳ２において、実施の形態４と同様、終了条件が成立しているか否かが判定される。終了条件が成立している場合、フローは終了する。終了条件が成立していない場合、フローは、ステップＳ１７に進む。

ステップＳ１７において、実施の形態４と同様、制御回路１２０によって、誤差Ｅが誤差閾値よりも小さいか否かが判定される。誤差Ｅが誤差閾値よりも大きい場合、フローは、ステップＳ８に進む。誤差Ｅが誤差閾値以下である場合、フローは、ステップＳ４９に進む。

ステップＳ８において、実施の形態４と同様、制御回路１２０によって、多重露光撮影の条件が変更される。ステップＳ８の後、フローは、ステップＳ４９に進む。

図２２のフローチャートによれば、ステップＳ３６において、条件Ａと条件Ｂのどちらによればより小さい誤差Ｅが得られるのかが分かる。ステップＳ４９において、そのより小さい誤差Ｅが得られる条件が、初回の多重露光撮影の条件として用いられる。このようにすることは、ステップＳ４９以降において、小さい誤差Ｅが得られる多重露光撮影の条件を素早く見出す観点から有利である。

このように、実施の形態６では、処理回路１７０は、推定範囲の算出を、互いに異なる条件により得られた複数の第１画像について行うことによって、複数の参照用の誤差Ｅを算出する。制御回路１２０は、複数の参照用の誤差Ｅを互いに比較することによって、ベースとなる条件であるベース条件を選択する。ベース条件は、例えば、上記互いに異なる条件のうち最も小さい誤差Ｅが得られる条件である。処理回路１７０は、ベース条件により得られた第１画像であって複数の参照用の誤差Ｅを算出するための第１画像とは異なる第１画像を用いて、誤差閾値と比較されるべき誤差Ｅを算出する。

実施の形態６では、具体的には、多重露光撮影の条件として、条件Ａと条件Ｂとが準備されている。条件Ａを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ａを用いて得られた第１画像を用いて、誤差Ｅである誤差ＥＡを算出する。条件Ｂを用いて、第１被写体が多重露光撮影される。処理回路１７０は、条件Ｂを用いて得られた第１画像を用いて、誤差Ｅである誤差ＥＢを算出する。制御回路１２０は、誤差ＥＡと誤差ＥＢとを比較する。制御回路１２０は、この比較により、ベース条件を選択する。ベース条件は、条件ＡおよびＢのうち、小さい誤差Ｅが得られたほうの条件である。処理回路１７０は、ベース条件により得られた第１画像であって誤差ＥＡおよび誤差ＥＢを算出するための第１画像とは異なる第１画像を用いて、誤差閾値と比較されるべき誤差Ｅを算出する。

その後、処理回路１７０は、ベース条件により得られた第１画像を用いて、第１被写体の速度の推定範囲を算出する。制御回路１２０は、誤差Ｅが誤差閾値よりも大きい場合に、多重露光撮影の条件を変更する。具体的には、多重露光撮影の条件が変更された場合において、その変更が反映された第１画像が、処理回路１７０に入力される。処理回路１７０は、その第１画像を用いて、推定範囲を再度算出する。

本開示による画像認識装置は、自動運転車、産業用ロボット、民生用ロボットなど様々な画像認識システムへの利用が可能である。

８０ カメラ部
９９，１９９ 画像認識装置
１００ 撮像装置
１１０ 光学系
１２０ 制御回路
１３０ 画像形成回路
１４０ 出力バッファ
１５１ フレームメモリ
１５２ フレーム加算回路
１６０ 表示装置
１７０ 処理回路
Ａ，Ｂ，Ｃ，Ｄ 被写体

Claims (16)

1. 第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて前記第１被写体の認識率を算出する処理回路と、
   前記認識率が認識率閾値よりも小さい場合に、前記多重露光撮影の条件を変更する制御回路と、
   を備える、画像認識装置。
2. 前記認識率が前記認識率閾値よりも小さい場合に変更される前記条件は、
   （ａ）前記第１画像を得るにあたって採用される各露光期間の長さ、
   （ｂ）前記第１画像を得るにあたって採用される各露光間隔の長さ、
   （ｃ）前記第１画像を得るにあたって採用される露光回数、
   （ｄ）前記第１画像の露光感度、
   （ｅ）前記第１画像を得るのに用いられる撮像装置のゲイン、
   （ｆ）前記第１画像を得るのに用いられる撮像装置の焦点距離、
   （ｇ）前記第１画像を得るのに用いられる撮像装置の絞り、および
   （ｈ）前記第１画像の出力解像度、
   からなる群より選択される少なくとも１つを含む、請求項１に記載の画像認識装置。
3. 前記認識率を表示する内蔵表示装置、および、前記認識率を表示する外付け表示装置へと前記認識率を出力する出力インターフェースから選ばれる少なくとも１つをさらに備える、請求項１または２に記載の画像認識装置。
4. 前記第１画像を得るのに用いられる撮像装置をさらに備える、請求項１から３のいずれか１項に記載の画像認識装置。
5. 前記条件と前記第１画像とが対応付けられる、請求項１から４のいずれか１項に記載の画像認識装置。
6. 前記第１画像と対応付けられる前記条件として、前記制御回路において保持されている前記条件が用いられる、請求項５に記載の画像認識装置。
7. 前記第１画像を得るのに用いられる撮像装置をさらに備え、
   前記第１画像と対応付けられる前記条件として、前記撮像装置において保持されている前記条件が用いられる、請求項５に記載の画像認識装置。
8. 前記処理回路は、前記第１画像および前記第１被写体の物体名にそれぞれ対応する教師画像および正解ラベルの組み合わせを複数組用いた教師あり学習を行い、前記教師あり学習後において、前記第１画像を用いて前記認識率を算出する、請求項１から７のいずれか１項に記載の画像認識装置。
9. 前記教師画像を得るのに用いられる第２撮像装置をさらに備える、請求項８に記載の画像認識装置。
10. 前記処理回路は、ニューラルネットワークで表現される演算モデルを読み込んでおり、
    前記処理回路は、前記教師あり学習を行い、前記教師あり学習後において、前記第１画像を用いて前記認識率を算出する、請求項８または９に記載の画像認識装置。
11. 前記処理回路による前記認識率の算出と、前記認識率が前記認識率閾値よりも小さい場合における前記制御回路による前記条件の変更と、が、終了条件が成立するまで繰り返される、請求項１から１０のいずれか１項に記載の画像認識装置。
12. 前記処理回路は、前記認識率である第１認識率であって前記第１被写体が第１物体であることの確からしさを表す第１認識率と、前記第１被写体が第２物体であることの確からしさを表す第２認識率と、を算出し、
    前記制御回路は、前記第１認識率から前記第２認識率を差し引いた差分がＺ以下である場合にも、前記多重露光撮影の条件を変更する、請求項１から１１のいずれか１項に記載の画像認識装置。
    ここで、Ｚは、０以上の値である。
13. 前記処理回路は、前記認識率の算出を、互いに異なる前記条件により得られた複数の前記第１画像について行うことによって、複数の参照用の前記認識率を算出し、
    前記制御回路は、複数の参照用の前記認識率を互いに比較することによって、ベースとなる前記条件であるベース条件を選択し、
    前記処理回路は、前記ベース条件により得られた前記第１画像であって複数の参照用の前記認識率を算出するための前記第１画像とは異なる前記第１画像を用いて、前記認識率閾値と比較されるべき前記認識率を算出する、請求項１から１２のいずれか１項に記載の画像認識装置。
14. 第１被写体が多重露光撮影された第１画像が入力され、前記第１画像を用いて、前記第１被写体の速度の推定範囲であって値Ｖ±誤差Ｅの範囲である推定範囲を算出する処理回路と、
    前記誤差Ｅが誤差閾値よりも大きい場合に、前記多重露光撮影の条件を変更する制御回路と、
    を備える、画像認識装置。
15. 第１被写体が多重露光撮影された第１画像を用いて前記第１被写体の認識率を算出することと、
    前記認識率が認識率閾値よりも小さい場合に、前記多重露光撮影の条件を変更することと、を含む、画像認識方法。
16. 第１被写体が多重露光撮影された第１画像を用いて、前記第１被写体の速度の推定範囲であって値Ｖ±誤差Ｅの範囲である推定範囲を算出することと、
    前記誤差Ｅが誤差閾値よりも大きい場合に、前記多重露光撮影の条件を変更することと、を含む、画像認識方法。

Images