JP7463686B2 - 画像記録装置、画像記録方法及び画像記録プログラム - Google Patents

Description

本発明は、画像記録装置、画像記録方法及び画像記録プログラムに関する。

車両を運転している際に旧車などとすれ違った場合に、その旧車を撮影し、画像として記録したいことがある。その場合、手動で撮影及び記録する必要があり、手間や安全上の問題があった。ここで、特許文献１には、運転支援装置に関する技術が開示されている。特許文献１にかかる運転支援装置は、運転中に撮影された外部の映像から先行車のストップランプ等を認識し、先行車のライト点灯が認識された場合、映像の記録を開始するものである。

特開２０１２－２２１１３４号公報

しかしながら、特許文献１では、画像認識がされる度に映像が記録され続けるため、同じ車両を何度も撮影及び記録してしまい、記憶容量が不足してしまうという問題点がある。

本発明は、上述の課題に鑑みてなされたものであり、記憶容量の使用を抑制しつつ、有用な画像を記録するための画像記録装置、画像記録方法及び画像記録プログラムを提供することを目的とする。

本発明の第１の態様は、所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象認識する画像認識部と、前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御部と、前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを更新するモデル更新部と、を備える画像記録装置を提供する。

本発明の第２の態様は、コンピュータが、所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象認識し、前記認識対象が認識された場合に、前記撮影画像を記録装置に記録し、前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを更新する画像記録方法を提供する。

本発明の第３の態様は、所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象認識する画像認識処理と、前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御処理と、前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを更新するモデル更新処理と、をコンピュータに実行させる画像記録プログラムを提供する。

本発明により、記憶容量の使用を抑制しつつ、有用な画像を記録するための画像記録装置、画像記録方法及び画像記録プログラムを提供することができる。

本実施形態１にかかる画像記録装置の構成を示すブロック図である。 本実施形態１にかかる画像記録処理の流れを示すフローチャートである。 本実施形態２にかかる画像記録装置の構成を示すブロック図である。 本実施形態２にかかる画像記録処理の流れを示すフローチャートである。

以下では、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜実施形態１＞
図１は、本実施形態１にかかる画像記録装置１００の構成を示すブロック図である。画像記録装置１００は、例えば、自動車等の移動体に搭載されたいわゆるドライブレコーダの一部である。画像記録装置１００は、画像取得部１１０と、画像認識部１２０と、辞書１３０と、記録制御部１４０と、記録装置１５０と、モデル更新部１６０とを備える。

画像記録装置１００は、車両の周辺を撮影する車載カメラと接続されている。そして、画像取得部１１０は、車載カメラによる撮影画像を定期的に取得し、画像認識部１２０へ出力する。

辞書１３０は、所定の認識対象を認識するための認識モデルの一例であり、学習済モデルとも呼ばれる。ここで、認識対象は、記録してコレクションとして保存しておきたい対象について、二次元形状の特徴量を定義した情報であり、例えば、人気の高い人気車種や旧車・名車、名所や旧跡、店舗などの建築物、観光地や風景などの観光ポイント、人物の服装等が挙げられるが、これらに限定されない。尚、認識モデルは、ニューラルネットワーク、サポートベクターマシン等で実現可能である。

また、辞書１３０は、入力された撮影画像から認識対象が認識できたか否かを示す認識結果を出力してもよい。特に、辞書１３０は、後述する認識精度が閾値を超えた場合に、認識対象として認識できたと判定してもよい。言い換えると、辞書１３０は、撮影画像に認識対象が写っていると、所定値以上の確からしさで認識できた場合に、認識対象として認識できたと判定してもよい。また、認識結果には、撮影画像に含まれる認識対象についてのラベルが含まれていても良い。尚、辞書１３０は、２以上の認識対象を認識できるモデルであってもよい。また、辞書１３０は、画像記録装置１００の外部に存在し、画像記録装置１００と通信回線を介して接続されていてもよい。

画像認識部１２０は、辞書１３０を用いて、車両の周辺の撮影画像から認識対象認識する。画像認識部１２０は、辞書１３０を用いて入力された画像データの特徴量に対して所定のロジックで演算を行い、定義された認識対象に対する確からしさ（認識精度）を算出し、出力する。認識精度は、例えば、０から１までの値で算出され、０は間違いなく認識対象でないこと、１は間違いなく認識対象であることを示し、数値が高いほど確からしい（認識精度が高い）ことを意味する。認識精度は、例えば、０から１００までの値としてパーセントで算出されてもよい。例えば、辞書１３０は、撮影画像を入力し、撮影画像から特徴量を算出し、設定されたパラメータを用いて特徴量に対して所定の演算を行い、演算結果を出力する処理が実装されたプログラムモジュールやモデル式である。ここで、パラメータは、重み付け係数とも呼ばれる。画像認識部１２０は、認識結果を記録制御部１４０及びモデル更新部１６０へ出力する。

記録制御部１４０は、撮影画像中に認識対象が認識された場合に、撮影画像を記録装置１５０に記録する。ここで、認識対象が認識された場合とは、辞書１３０による認識結果において撮影画像内に認識対象が含まれると判定された場合を示す。または、認識対象が認識された場合とは、認識精度が閾値を超えた場合であってもよい。

記録装置１５０は、ハードディスク又はフラッシュメモリ等の不揮発性記憶装置である。記録装置１５０は、ＳＤカード（登録商標）などの記憶媒体や、記憶媒体を挿入するスロットおよび記憶媒体を読み書きするコントローラであってもよい。記録装置１５０は、撮影画像１５１を記憶する。撮影画像１５１は、撮影時刻又は記録時刻等が対応付けられている。また、撮影画像１５１は、認識された対象物（認識対象）がラベル付けされていてもよい。

モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、撮影画像を記録装置１５０に記録した以後、認識対象の認識を抑制するように認識モデル、つまり辞書１３０を更新する。これにより、以後に同等の認識対象が撮影された場合には、認識が抑制されるため、記録装置１５０への撮影画像１５１の追加記録が抑止され易くなる。言い換えると、認識対象が認識され、撮影画像が記録装置１５０に記録された場合、その後は同じ認識対象の記録装置１５０への記録が抑制される。そのため、記憶容量の使用を抑制しつつ、有用な画像を記録することができる。

ここで、所定条件としては、認識対象が撮影画像上で所定値以上の大きさで撮影されていた場合、又は、認識対象が所定時間以上連続して撮影されていた場合が挙げられる。例えば、撮影画像内で認識対象がある程度以上のサイズで撮影されていれば、当該認識対象の記録としては十分といえる。または、認識対象が静止画よりは、動きが把握できるような画像群（映像）が撮影されれば、当該認識対象の記録としては十分といえる。よって、これらのいずれかを所定条件とすることで、以後の追加記録を抑制しつつ、質の高い画像群を保持することができる。所定値以上の大きさとは、例えば、撮影画像全体の画素数の１０％以上または５％以上の画素数で撮影されていることや、認識対象が占める画素数が所定値、例えば１０万画素以上で撮影されていることである。また所定時間以上とは、例えば、３０秒以上の期間撮影されていることである。尚、所定条件は上述したものに限定されない。

さらに、所定条件が撮影画像に含まれる認識対象が所定値以上の大きさで撮影されていた場合、記録制御部１４０は、過去に記録された所定値未満の大きさの撮影画像１５１を削除してもよい。これにより、有用な画像が残され、不要な画像が削除され、記録装置１５０の記憶容量を有効利用できる。

また、モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、以後の認識精度の閾値を上げるように、辞書１３０を更新するとよい。これにより、次回の画像認識においては認識精度の閾値が上がるため、以後に同等の認識対象が撮影された場合、同程度以下の認識の確からしさでは認識されなくなり、不要な画像の記録が抑制される。

また、モデル更新部１６０は、撮影画像内に占める認識対象の割合が所定値以上の場合を、所定条件としてもよい。この場合、モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、以後の認識対象の割合の所定値を高くするように、辞書１３０を更新する。例えば、撮影画像内に認識対象が含まれるが他の物体と重なって遮られている場合には、認識されにくくなる。また、撮影画像内に認識対象がより大きな割合で含まれている場合に記録対象として優先できる。さらに、以後は、撮影画像内に占める認識対象の割合がより高いものが記録対象となるため、撮影画像１５１の質が向上する。尚、このとき、記録制御部１４０は、過去に記録された所定値の割合未満の撮影画像１５１を削除してもよい。

または、モデル更新部１６０は、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、以後は所定の認識対象が認識されないように認識モデルを更新してもよい。例えば、モデル更新部１６０は、辞書１３０から当該認識対象を削除してもよい。つまり、辞書１３０において当該認識対象を認識対象外とすればよい。

尚、辞書１３０は、特定の対象物体についての複数の属性と優先度とを含めて認識対象としてもよい。例えば、認識対象が旧車である場合、色、前後左右、改造の有無等の属性が挙げられる。そして、各属性には個別に認識における優先度が対応付けられているものとする。この場合、認識結果には、認識対象の物体の種別と共に、撮影画像に含まれる属性も含むものとする。そして、モデル更新部１６０は、認識結果に上記属性が含まれることを所定条件とする。例えば、認識結果にある旧車の青の前方及び右側の属性が含まれていたとする。この場合、モデル更新部１６０は辞書１３０に対して、以後の当該旧車の属性「青」「前方」「右側」の優先度を下げるように更新する。言い換えると、以後、当該旧車の属性「青」「前方」「右側」の場合の認識および撮影画像の記録が抑制される。そのため、以後、辞書１３０は、入力される撮影画像が、ある旧車の「青」以外の色や、左側や後方である場合に、認識できた（認識精度を超えた）と判定する。つまり、「青」「前方」「右側」である場合と比べて優先して認識を行う。例えば、優先度は認識精度の閾値と対応付けてもよい。よって、認識対象のうち記録装置１５０に記録済みの属性については記録されにくくなり、未記録の属性について優先的に記録されるようになる。

尚、画像記録装置１００は、図示しない構成としてプロセッサ及びメモリを備えるものである。また、記憶装置１５０には、上述した画像認識部１２０、記録制御部１４０及びモデル更新部１６０の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置１５０からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、画像認識部１２０、記録制御部１４０及びモデル更新部１６０の機能を実現する。

図２は、本実施形態１にかかる画像記録処理の流れを示すフローチャートである。まず、画像取得部１１０は、撮影画像を取得する（Ｓ１０１）。次に、画像認識部１２０は、認識モデル（辞書１３０）を用いて、車両の周辺の撮影画像から認識対象を認識する（Ｓ１０２）。そして、画像記録装置１００は、画像認識に成功したか否かを判定する（Ｓ１０３）。つまり、認識対象が認識されたか否かを判定する。

認識対象が認識された場合、記録制御部１４０は、撮影画像を記録装置１５０に記録する（Ｓ１０４）。また、認識対象が認識された場合、モデル更新部１６０は、認識結果が所定条件を満たすか否かを判定する（Ｓ１０５）。認識結果が所定条件を満たす場合、モデル更新部１６０は、認識対象の認識を抑制するように認識モデルを更新する（Ｓ１０６）。

その後、ステップＳ１０１へ戻る。尚、ステップＳ１０３又はＳ１０５でＮＯと判定された場合も、ステップＳ１０１へ戻る。

このように、本実施形態により、自動車等の走行中にユーザが収集したい対象物の近くを通過した場合に、車載カメラによる撮影画像について辞書１３０を用いて画像認識がされることにより、当該対象物の画像を自動的に記録し、収集することができる。そして、記録した画像が所定条件を満たす場合には、以後に同程度の撮影画像については認識を抑制するため、記録装置１５０への撮影画像１５１の追加記録が抑止される。そのため、記憶容量の使用を抑制しつつ、有用な画像を記録することができる。

＜実施形態２＞
本実施形態２は、上述した実施形態１を改良したものである。図３は、本実施形態２にかかる画像記録装置１００ａの構成を示すブロック図である。画像記録装置１００ａは、図１の画像記録装置１００と比べてモデル更新部１６０がモデル更新部１６０ａに置き換わり、取得部１７０が追加されたものである。それ以外の構成は、図１と同等であるため、重複する説明は適宜省略する。

取得部１７０は、外部から新たな認識対象の学習用データを取得する。ここで、新たな認識対象とは、例えば、ユーザが所望する新たな対象物体の画像であるか、既に学習済みの認識対象における追加の属性の画像であってもよい。または、新たな認識対象とは、警察や自治体等から提供された盗難車や違反者の画像であってもよい。つまり、取得部１７０は、ネットワーク等を介して提供元から受信した画像群を学習用データとして取得する。取得部１７０は、外部から新たな認識対象の学習済モデルである認識モデル（辞書１３０）を取得してもよい。

本実施形態では、モデル更新部１６０ａは、取得部１７０により取得された学習用データを用いた学習を行い、認識モデル（辞書１３０）を更新するための学習部を備える。これにより、辞書１３０を効果的に学習させることができる。モデル更新部１６０ａは、学習部を備えず、取得部１７０により取得された認識モデル（辞書１３０）を従来の認識モデルに代えて導入する形態を、変形例としてもよい。

図４は、本実施形態２にかかる画像記録処理の流れを示すフローチャートである。まず、取得部１７０は、外部から配布された学習用データを取得する（Ｓ２０１）。次に、モデル更新部１６０ａは、学習用データを用いて学習し、認識モデル（辞書１３０）を更新する（Ｓ２０２）。

このように、本実施形態２では、外部から提供される新たな認識対象を辞書１３０に追加的に学習することで、辞書１３０をより効果的なものにすることができる。例えば、特定の地域で捜索等を行う際に、特定の地域内の多数の自動車に対して、捜索対象物の画像を一斉に配信することで、各自動車の辞書１３０を即座に学習させることができる。よって、より短時間に効率的に捜索を行うことができる。

＜その他の実施形態＞
撮影画像が撮影された位置情報を取得する図示しない位置情報取得部をさらに備えて、モデル更新部１６０は、認識対象が認識された位置の位置情報が、過去に同じ認識対象が認識された位置の位置情報と一致する場合を、所定条件としてもよい。これにより、同じ背景での画像が重複して記録されることを抑止できる。よって、記憶容量の使用を抑制しつつ、より多様な画像を記録できる。位置情報の取得は、例えば、ＧＮＳＳ（Global Navigation Satellite System）により取得することができる。

撮影画像が撮影された際の天気情報を取得する図示しない天気情報取得部をさらに備えて、モデル更新部１６０は、認識対象が認識された際の天気情報が、過去に同じ認識対象が認識された際の天気情報より良い場合を、所定条件としてもよい。これにより、少なくとも天候が悪い場合でも、例えば、雨の日で認識対象の写りが不十分であっても最低限の記録が可能となる。そして、同じ認識対象でも、同程度の悪天候であれば追加記録がされず、より良い天候の時に撮影された場合に限り追加記録ができる。天気情報の取得は、例えば、ネット上のサーバから通信により取得することができる。

また、画像認識部１２０は、車両の周辺の撮影画像から認識対象を認識した際に、ユーザに認識対象を認識した旨を図示しない報知部により報知することが好ましい。スピーカまたはモニタを備える報知部は、音声や画像によって、ユーザに認識対象を認識した旨を報知する。報知部は、記録制御部１４０が撮影画像を記録装置１５０に記録した際に、ユーザに撮影画像を記録した旨を報知する形態であってもよい。

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

例えば上記実施の形態では、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、モデル更新部が認識モデルを更新することで、同じ認識対象がその後は認識されないようにしているが、認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、記録制御部が記録を抑制することで、同じ認識対象がその後は記録されないようにしてもよい。この場合、撮影画像に認識対象が含まれている場合に認識はするが記録はされないことになり、上記実施の形態と同様の効果を得ることができる。

また、上述の通信装置の任意の処理は、CPU（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、CD-ROM（Read Only Memory）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

１００ 画像記録装置
１１０ 画像取得部
１２０ 画像認識部
１３０ 辞書
１４０ 記録制御部
１５０ 記録装置
１５１ 撮影画像
１６０ モデル更新部

Claims (7)

1. 所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象を認識した確からしさである認識精度を算出し、前記認識精度が所定の閾値以上である場合に、前記認識対象を認識したとする画像認識部と、
   前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御部と、
   前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを、前記認識精度の前記閾値を上げるように更新するモデル更新部と、
   を備え、
   前記モデル更新部は、
   前記撮影画像上で前記認識対象が所定値以上の大きさで撮影されていた場合、又は、前記認識対象が所定時間以上連続して撮影されていた場合を、前記所定条件とする
   画像記録装置。
2. 所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象を認識した確からしさである認識精度を算出し、前記認識精度が所定の閾値以上である場合に、前記認識対象を認識したとする画像認識部と、
   前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御部と、
   前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを、前記認識精度の閾値を上げるように更新するモデル更新部と、
   を備え、
   前記モデル更新部は、
   前記撮影画像内に占める前記認識対象の割合が所定値以上の場合を、前記所定条件とする
   画像記録装置。
3. 前記車両の位置情報を取得する位置情報取得部をさらに備えて、
   前記モデル更新部は、
   前記認識対象が認識された位置の位置情報が、過去に同じ認識対象が認識された位置の位置情報と一致する場合を、前記所定条件のひとつとする
   請求項１又は２に記載の画像記録装置。
4. 天気情報を取得する天気情報取得部をさらに備えて、
   前記モデル更新部は、
   前記認識対象が認識された際の天気情報が、過去に同じ認識対象が認識された際の天気情報より良い場合を、前記所定条件のひとつとする
   請求項１乃至３のいずれか１項に記載の画像記録装置。
5. 外部から新たな認識対象の学習用データを取得する取得部をさらに備え、
   前記モデル更新部は、
   前記学習用データを用いて前記認識モデルを学習して更新する
   請求項１乃至４のいずれか１項に記載の画像記録装置。
6. コンピュータが、
   所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象を認識した確からしさである認識精度を算出し、前記認識精度が所定の閾値以上である場合に、前記認識対象を認識したとし、
   前記認識対象が認識された場合に、前記撮影画像を記録装置に記録し、
   前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを、前記認識精度の前記閾値を上げるように更新するモデル更新処理を実行し、
   前記モデル更新処理は、
   前記撮影画像上で前記認識対象が所定値以上の大きさで撮影されていた場合、又は、前記認識対象が所定時間以上連続して撮影されていた場合を、前記所定条件とする
   画像記録方法。
7. 所定の認識対象を認識するための認識モデルを用いて、車両の周辺の撮影画像から前記認識対象を認識した確からしさである認識精度を算出し、前記認識精度が所定の閾値以上である場合に、前記認識対象を認識したとする画像認識処理と、
   前記認識対象が認識された場合に、前記撮影画像を記録装置に記録する記録制御処理と、
   前記認識対象が認識され、かつ、認識結果が所定条件を満たす場合に、前記認識モデルを、前記認識精度の前記閾値を上げるように更新するモデル更新処理と、
   を含む処理であって、
   前記モデル更新処理は、
   前記撮影画像上で前記認識対象が所定値以上の大きさで撮影されていた場合、又は、前記認識対象が所定時間以上連続して撮影されていた場合を、前記所定条件とする
   処理をコンピュータに実行させる画像記録プログラム。

Images