JP6168022B2 - 画像認識装置 - Google Patents

Description

画像認識用の認識基準データを用いて画像中から特定の対象物を認識する画像認識装置に関する。

従来、例えば、人や車両等の対象物を検出する技術として、カメラ等により撮像された画像に対し、対象物の画像特徴が記述された認識基準データを用いてパターンマッチング等の画像認識アリゴリズムによる画像認識を行う技術が知られている。例えば、特許文献１には、眼の画像特徴を表すモデル（認識基準データ）を用いて、テンプレートマッチングの処理を行い、探索された眼の位置を追跡する技術が記載されている。

特開２０１４−６３２８１号公報

上述のような画像認識技術においては、画像認識に用いる認識基準データが故障することにより、対処物の誤認識が発生する可能性がある。これに対し、認識基準データの故障をリアルタイムで監視するのは、処理負荷が膨大となり現実的ではない。

本発明は上記問題を解決するためになされたものである。本発明の目的は、故障した認識基準データによる誤認識を防止するための技術を提供することである。

本発明の画像認識装置は、記憶手段と、画像認識手段と、認識判断手段とを備える。記憶手段は、画像の中から特定の対象物を認識する基準として用いられる認識基準データについて、同一の認識基準データを重複して複数記憶する。画像認識手段は、画像取得手段から取得される連続する複数フレームの画像に対して、フレームごとに記憶手段に記憶されている複数の認識基準データのうちの１つを交互に切替えて用いて、特定の対象物の認識を行う。認識判断手段は、画像認識手段により複数の認識基準データを用いてそれぞれ行われた複数の認識結果が、所定の一致条件を満たすことを条件に、画像認識手段による認識結果を有効なものとして出力する。

本発明では、同一の認識基準データを重複して記憶しておき、それぞれの認識基準データによる認識結果の一致状況に応じて認識結果を確定するようになっている。このようにすることで、たとえ、複数の認識基準データのうち一部が故障したとしても、故障した認識基準データを用いて連続して画像認識を行わないので、誤った認識基準データによる誤認識を防止できる。本発明の構成によれば、画像認識の実処理を阻害することなく、誤った認識基準データによる誤認識を回避するために有効なフォールトトレラント設計を実現できる。

第１実施形態の画像認識装置の構成を表すブロック図。 画像認識処理の手順を表すフローチャート。 第２実施形態の画像認識装置の構成を表すブロック図。 第２実施形態における処理の手順を表すフローチャート。 第３実施形態の画像認識装置の構成を表すブロック図。 第３実施形態における処理の手順を表すフローチャート。 認識結果判断テーブルを表す図。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
〈第１実施形態〉
［画像認識装置１ａの構成の説明］
第１実施形態の画像認識装置１ａの構成について、図１を参照しながら説明する。画像認識装置１ａは、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えるコンピュータ（非図示）で構成されており、カメラ１０により撮像された画像の中から特定の対象物を認識する画像認識処理を行う機能を有する。この画像認識装置１ａは、例えば、車両に搭載され、各種の車両制御（後述する）に用いられる物体情報の検出を担う車載システムとして具現化される。画像認識装置１ａは、本発明における特徴的な構成として、ＲＡＭ１１と、認識処理部１２と、認識結果判断部１３とを備える。

カメラ１０は、風景を撮像することで画像データを繰返し取得し、取得した画像データを認識処理部１２に出力する。ＲＡＭ１１は、ＣＰＵのメインメモリとして利用される記憶装置（ランダムアクセス・メモリ）である。このＲＡＭ１１には、認識処理部１２による画像認識で用いられる認識基準データが格納される。認識基準データは、画像認識における検出の対象となる人や物等の対象物の画像特徴が記述されているデータである。なお、ＲＡＭ１１には、異なる２つの記憶領域に同一の認識基準データがそれぞれ重複して展開されている。

認識処理部１２は、ＲＡＭ１１に展開されている認識基準データを用いて、カメラ１０により撮像された画像に対して周知の画像認識処理を行い、画像の中から対象物の画像を検出する。認識処理部１２は、ＲＡＭ１１に重複して展開されている２つの同一の認識基準データを、カメラ１０から入力される時系列の画像データのフレームごとに交互に切替えて画像認識処理を行い、フレームごとの認識結果を認識結果判断部１３に出力する。なお、認識基準データの切替えは、フレームごとにＲＡＭ１１の読出し先のアドレスを切替えることで行うことができる。

認識結果判断部１３は、認識処理部１２において連続する画像データのフレームごとに行われた画像認識処理の認識結果について、所定の確定条件を満たすか否かを判断する。確定条件としては、対象物を検出した（認識ＯＫ）、又は非検出（認識ＮＧ）の何れかを表す認識結果について、同じ内容を表す有効な認識結果が複数回連続して検出されることとする。認識結果判断部１３は、連続するフレームごとの認識結果が前記確定条件を満たす場合、その認識結果を有効な認識結果として出力する。一方、前記確定条件を満たさない場合、認識結果判断部１３は、その認識結果を無効とする。認識結果判断部１３から有効として出力された認識結果は、車両制御装置群２に出力され、車両の運転者に対する情報提示や走行安全に係る車両制御に用いられる。

車両制御装置群２は、車両におけるボディ系、パワートレイン系、シャーシ系といった各種制御対象の作動を制御する複数の装置からなる。その制御対象としては、例えば、操舵装置、スピーカ、ディスプレイ、制動装置、駆動装置、灯火等が例示される。車両制御装置群２を構成する各装置は、車両の走行状態や画像認識装置１ａによる対象物の認識結果に応じて制御対象の作動を制御する。具体的には、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール（ＡＣＣ）、車線維持、車線変更事故防止、ブラインドスポット
警報、ブラインドスポットモニタ、自動車線変更、クロストラフィック警報、踏み間違い防止、自動駐車等といった周知の車両制御を実行する。

［画像認識処理の説明］
画像認識装置１ａの各部が実行する画像認識処理の手順について、図２のフローチャートを参照しながら説明する。この処理は、カメラ１０により撮像された画像データのフレームごとに実行される。

Ｓ１００では、認識処理部１２が、処理対象となる１フレーム分の画像データを取得する。Ｓ１０２では、認識処理部１２が、ＲＡＭ１１に展開されている２つの認識基準データのうち、画像認識に用いる認識基準データを前回と異なる認識基準データに切替える。

Ｓ１０４では、認識処理部１２が、Ｓ１０２で切替えた認識基準データを用いて、Ｓ１００で取得した画像データの中から対象物の画像認識を行う。そして、認識処理部１２は、その認識結果を認識結果判断部１３に出力する。そして、Ｓ１０６では、認識結果判断部１３が、今回の認識結果と前回の認識結果とを比較し、確定条件を満たしているか否かを判断する。認識結果判断部１３は、今回の認識結果と前回の認識結果において、認識結果の内容（認識ＯＫ又は認識ＮＧ）が同じ場合、今回の認識結果を有効な認識結果として出力する。一方、今回の認識結果と前回の認識結果とが反対の内容である場合、今回の認識結果は無効にする。

［第１実施形態の効果］
第１実施形態の画像認識装置１ａによれば、次の効果を奏する。同一の認識基準データが二重にＲＡＭ１１に展開されており、画像データのフレームごとに交互に認識基準データを切替えて画像認識を行うことができる。このようにすることで、万が一片側の認識基準データが故障しても、故障した認識基準データを用いて連続して画像認識を行わないので、誤った認識基準データによる誤認識を防止できる。

また、画像認識に用いる認識基準データの切替えは、認識処理部１２がＲＡＭ１１にアクセスするアドレスを切替えるのみで実現可能であり、認識基準データの切替えによって認識処理部１２の処理時間は増加しない。したがって、本実施形態の構成によれば、画像認識の実処理を阻害することなく、誤った認識基準データによる誤認識を回避するために有効なフォールトトレラント設計を実現できる。

〈第２実施形態〉
［画像認識装置１ｂの構成の説明］
第２実施形態の画像認識装置１ｂの構成について、図３を参照しながら説明する。なお、図３において、第１実施形態の画像認識装置１ａと共通の構成には同一の符号を付し、重複する説明については省略する。

図３に例示されるとおり、画像認識装置１ｂは、ＲＡＭ１１と、認識処理部１２と、認識結果判断部１３と、故障検査部１４と、修復部１５と、ＲＯＭ１６とを備える。
故障検査部１４は、ＲＡＭ１１に展開されている２つの認識基準データについて故障の有無を検査し、検査結果を認識結果判断部１３及び修復部１５に出力する。ＲＡＭ１１には、同一の認識基準データが二重に展開されていることを前提としている。そこで、故障検査部１４は、ＲＡＭ１１に展開されている２つの認識基準データを互いに比較する。

比較の結果、２つの認識基準データの内容が一致する場合に故障なしと判断し、内容が相違する場合に故障ありと判断する。故障検査部１４は、ＲＡＭ１１の認識基準データに対する検査を所定の時間間隔で定期的に行う。

修復部１５は、故障検査部１４から取得した検査結果に応じて、ＲＡＭ１１に展開されている認識基準データを修復する。具体的には、修復部１５は、ＲＯＭ１６に記憶されている認識基準データに基づいて、ＲＡＭ１１に展開されている複数の認識基準データをそれぞれ書換える。ＲＯＭ１６は、読出し専用の記憶装置（リードオンリー・メモリ）である。このＲＯＭ１６には、ＲＡＭ１１に展開される認識基準データの原本となるオリジナルの認識基準データが記憶されている。

［画像認識装置１ｂの各部が実行する処理の説明］
画像認識装置１ｂの各部が実行する処理の手順について、図４のフローチャートを参照しながら説明する。

Ｓ２００では、認識処理部１２が画像認識処理を実行する。この画像認識処理では、図２のフローチャートのＳ１００〜Ｓ１０４の手順と同様に、カメラ１０により撮像された画像データのフレームごとに、ＲＡＭ１１に展開されている２つの認識基準データを交互に切替えて対象物の画像認識を行う。

一方、Ｓ２０２では、故障検査部１４が、予め定められたタイミングでＲＡＭ１１内の２つの認識基準データを比較し、故障の有無を検査する。故障検査部１４は、２つの認識基準データに対する検査結果（正常／故障）を認識結果判断部１３及び修復部１５にそれぞれ出力する。

Ｓ２０４では、認識結果判断部１３が、認識処理部１２による認識結果が、確定条件を満たしているか否かを判断する。認識結果判断部１３は、認識処理部１２による今回の認識結果と前回の認識結果とが一致する、すなわち、同じ内容の認識結果が複数回連続して検出されたことを条件に、今回の認識結果を有効な認識結果として出力する。一方、今回の認識結果と前回の認識結果とが相違する場合、今回の認識結果は無効にする。

ただし、故障検査部１４から故障の検査結果が出ている場合には、認識結果判断部１３は、複数の認識結果の内容に関わらず、その時の認識結果を無効にする。この場合、修復部１５から認識基準データの書換え完了通知を受信するまでの間、全ての認識結果を無効する。

一方、Ｓ２０６では、故障検査部１４による検査結果が正常であるか否かに応じて、修復部１５の処理が分岐する。検査結果が正常である場合（Ｓ２０６：正常）、修復部１５は何もしない。一方、検査結果が故障である場合（Ｓ２０６：故障）、修復部１５はＳ２０８の処理を実行する。Ｓ２０８では、修復部１５は、ＲＯＭ１６に記憶されている認識基準データの原本を用いて、ＲＡＭ１１に展開されている２つの認識基準データをそれぞれ書換える。このとき、修復部１５は、認識基準データ全体を書換えてもよいし、ＲＡＭ１１内の２つの認識基準データにおいて互いに相違する部分的な領域のみを書換えてもよい。

次のＳ２１０では、修復部１５は、書換え完了通知を認識結果判断部１３に出力する。これに対し、認識結果判断部１３は、書換え完了通知を受信することで、認識結果に対する無効状態を解除する。

［第２実施形態の効果］
第２実施形態の画像認識装置１ｂによれば、次の効果を奏する。ＲＡＭ１１に二重に展開された認識基準データについて故障の有無を定期的に検査し、故障が検出された場合、そのときの認識結果を無効にすることによってフェールセーフ機能を実現できる。そして
、認識基準データの故障が検出された場合、ＲＯＭ１６からＲＡＭ１１に認識基準データを再読込みすることで、ＲＡＭ１１の認識基準データを修復することができる。

〈第３実施形態〉
［画像認識装置１ｃの構成の説明］
第３実施形態の画像認識装置１ｃの構成について、図５を参照しながら説明する。なお、図５において、第１及び第２実施形態の画像認識装置１ａ，１ｂと共通の構成には同一の符号を付し、重複する説明については省略する。

図５に例示されるとおり、画像認識装置１ｂは、ＲＡＭ１１と、認識処理部１２と、修復部１５と、ＲＯＭ１６と、認識結果／故障判断部１７とを備える。第３実施形態においては、ＲＡＭ１１に同一の認識基準データが３重に展開されている。認識処理部１２は、ＲＡＭ１１に重複して展開されている３つの同一の認識基準データを、カメラ１０から入力される時系列の画像データのフレームごとに順次切替えて画像認識処理を行い、フレームごとの認識結果を認識結果／故障判断部１７に出力する。

認識結果／故障判断部１７は、連続する３つの画像データのフレームについて、ＲＡＭ１１に展開されている３つの認識基準データをそれぞれ用いて画像認識が行われた認識結果について、多数決論理に基づいて最終的な認識結果を確定する。また、認識結果／故障判断部１７は、３つの認識基準データによる認識結果について、多数決論理に基づいて認識基準データの故障の有無を判断する。認識結果／故障判断部１７は、認識基準データの故障を検出した場合、修復部１５に対して修復依頼を出力する。修復部１５は、認識結果／故障判断部１７からの修理依頼に応じて、ＲＡＭ１１に展開されている修復対象の認識基準データを修復する。

［画像認識装置１ｃの各部が実行する処理の説明］
画像認識装置１ｃの各部が実行する処理の手順について、図６のフローチャートを参照しながら説明する。

Ｓ３００では、認識処理部１２が、画像認識処理を実行する。この画像認識処理では、図２のフローチャートのＳ１００〜Ｓ１０４の手順と同様に、カメラ１０により撮像された画像データのフレームごとに、ＲＡＭ１１に展開されている３つの認識基準データを順番に切替えて対象物の画像認識を行う。

Ｓ３０２では、認識結果／故障判断部１７が、認識処理部１２から入力された連続する３つの画像データのフレームに対する認識結果の多数決に基づいて、最終的な認識結果を判断する。具体的には、認識結果／故障判断部１７は、ＲＡＭ１１内の３つの認識基準データによる認識結果それぞれが、対象物を検出した（認識ＯＫ）、又は非検出（認識ＮＧ）のどちらに該当するかについて、多数決論理の多数側（2-out-of-3、2oo3）に該当する認識結果を、最終的な認識結果に決定する。すなわち、図７に例示されるとおり、３つの認識基準データ１〜３による認識結果（認識ＯＫ又は認識ＮＧ）の中で２つ以上一致する認識結果が、最終的な認識結果に該当する。

図６のフローチャートの説明に戻る。Ｓ３０４では、認識結果／故障判断部１７は、認識処理部１２から入力された連続する３つの画像データのフレームに対する認識結果の多数決に基づいて、各認識基準データの故障の有無を判断する。具体的には、認識結果／故障判断部１７は、ＲＡＭ１１内の３つの認識基準データによる認識結果（認識ＯＫ又は認識ＮＧ）について、多数決論理における少数側（1-out-of-3、1oo3）に該当する認識結果を出した認識基準データを故障と判断し、修復対象に決定する。すなわち、図７に例示されるとおり、３つの認識基準データ１〜３による認識結果（認識ＯＫ又は認識ＮＧ）の中
で、１つだけ異なる認識結果を出した認識基準データが、修復対象に該当する。

図６のフローチャートの説明に戻る。Ｓ３０４における検査の結果、認識結果／故障判断部１７は、修復対象に決定した認識基準データを修復することを指示する修復依頼を修復部１５に出力する。Ｓ３０６では、修復部１５が、認識結果／故障判断部１７から取得した修復依頼に応じて、ＲＡＭ１１に展開されている修復対象の認識基準データを修復する。具体的には、修復部１５は、ＲＯＭ１６に記憶されている認識基準データの原本を用いて、修復対象の認識基準データのみを書換える。あるいは、ＲＡＭ１１に展開されている３つの認識基準データのうち、修復対象の認識基準データを、他の正常な認識基準データの内容に書換えてもよい。

［第３実施形態の効果］
第３実施形態の画像認識装置１ｃによれば、次の効果を奏する。ＲＡＭ１１に三重に展開された認識基準データによる３つの認識結果における多数決論理に基づいて、最終的な認識結果を決定できる。このようにすることで、３つの認識基準データのうち一部が故障しても、画像認識処理による認識結果の出力を継続できる。

また、ＲＡＭ１１に三重に展開された認識基準データによる３つの認識結果における多数決論理に基づいて、故障している認識基準基準データを特定することができる。このようにすることでＲＡＭ１１に展開されている３つの認識基準データのうち、故障している認識基準データのみを書換えるだけで済む。

〈変形例〉
上述の第２実施形態及び第３実施形態では、ＲＡＭ１１内の認識基準データに故障が検出されたときに、その認識基準データを修復する事例について説明した。これとは別に、認識基準データの故障の有無に関わらず、定期的にＲＡＭ１１内の認識基準データを再読込する構成であってもよい。

上述の第３実施形態では、連続する３つの画像データのフレームに対し、ＲＡＭ１１に展開されている３つの認識基準データをそれぞれ用いて画像認識が行われた認識結果について、多数決論理に基づいて最終的な認識結果を確定する事例を挙げた。これとは別に、１つの画像データのフレームに対して、ＲＡＭ１１に展開されている３つの認識基準データをそれぞれ用いて画像認識を行った認識結果について、多数決論理に基づいて最終的な認識結果を確定する構成であってもよい。この場合、１つの画像データのフレームについて３回画像認識を行うことから処理時間が増大するため、画像フレームの一部領域のみを対象に画像認識を行うことで処理負担を軽減してもよい。

１ａ，１ｂ，１ｃ…画像認識装置、１０…カメラ、１１…ＲＡＭ、１２…認識処理部、１３…認識結果判断部、１４…故障検査部、１５…修復部、１６…ＲＯＭ、１７…認識結果／故障判断部、２…車両制御装置群。

Claims (5)

1. 画像の中から特定の対象物を認識する基準として用いられる認識基準データについて、同一の認識基準データを重複して複数記憶する記憶手段（１１）と、
   画像取得手段から取得される連続する複数フレームの画像に対して、フレームごとに前記記憶手段に記憶されている複数の認識基準データのうちの１つを交互に切替えて用いて、前記特定の対象物の認識を行う画像認識手段（１２）と、
   前記画像認識手段により前記複数の認識基準データを用いてそれぞれ行われた複数の認識結果が、所定の一致条件を満たすことを条件に、前記画像認識手段による認識結果を有効なものとして出力する認識判断手段（１３）と、
   を備えることを特徴とする画像認識装置。
2. 請求項１に記載の画像認識装置において、
   前記記憶手段に記憶されている複数の認識基準データについて、故障の有無を検査する検査手段（１４）と、
   前記検査手段により故障があると判定された場合、前記記憶手段に記憶されている複数の認識基準データを修復する修復手段（１５）と、
   を備えることを特徴とする画像認識装置。
3. 請求項２に記載の画像認識装置において、
   前記検査手段は、定期的に故障の有無の検査を行うこと、
   を特徴とする画像認識装置。
4. 請求項１に記載の画像認識装置において、
   前記画像認識手段により前記複数の認識基準データを用いてそれぞれ行われた複数の認識結果において、多数決論理における少数側の認識結果に係る認識基準データを故障と特定する故障判断手段（１７）と、
   前記故障判断手段により故障と特定された認識基準データを修復する修復手段（１５）と、
   を備えることを特徴とする画像認識装置。
5. 請求項１ないし請求項４の何れか１項に記載の画像認識装置において、
   前記記憶手段に記憶されている複数の認識基準データを、認識基準データの原本を記憶している所定の読出用記憶手段（１６）から定期的に再読込みする再読込手段（１５）を備えること、
   を特徴とする画像認識装置。