JP6958279B2

JP6958279B2 - 情報処理装置

Info

Publication number: JP6958279B2
Application number: JP2017223085A
Authority: JP
Inventors: 西村　和也; 義博大栄; 神丸　博文
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2021-11-02
Anticipated expiration: 2037-11-20
Also published as: US11093791B2; JP2019096972A; CN109815782A; US20190156147A1; CN109815782B

Description

本発明は、画像の情報を処理する情報処理装置に関する。

撮影された車両の前方の動画をデータベースに保存する際、データベースに保存されていない属性の動画、即ち撮影したことのない場所、時間、天候などの属性の動画のみを保存することで、変化に乏しいデータを大量に保存することを避ける技術が知られている（例えば、特許文献１参照）。

特開２００９−１２２９９７号公報

上記技術では、撮影したことのない場所などの動画は、変化の少ない動画であっても保存されるため、保存されるデータ量の削減には改善の余地がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、保存される画像のデータ量をより削減できる情報処理装置を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、車両に設置されたカメラで撮影された車外の撮影画像を取得する取得部と、前記取得部で取得された前記撮影画像における基準画像と、前記基準画像の後に撮影された所定数の撮影画像の後に撮影された判定対象画像との輝度値に基づいて、前記判定対象画像が前記基準画像に類似しているか判定する判定部と、前記判定部により前記基準画像に類似していると判定された前記判定対象画像を除外して、前記取得部で取得された前記撮影画像を保存する保存部と、を備える。前記保存部は、前記判定対象画像が前記基準画像に非類似であると判定された場合、前記判定対象画像、および、前記基準画像の後前記判定対象画像の前に撮影された撮影画像を保存する。

この態様によると、輝度値に基づいて判定対象画像が基準画像に類似しているか判定し、基準画像に類似していると判定された判定対象画像を除外して撮影画像を保存するので、保存されるデータ量をより削減できる。

前記情報処理装置は、前記基準画像と前記判定対象画像のそれぞれを複数のエリアに区画して、各エリアにおける輝度値の平均値を導出し、エリア毎に前記基準画像に対する前記判定対象画像の輝度値の平均値の変化量を導出する導出部をさらに備えてもよい。前記判定部は、前記変化量の絶対値が所定値未満であるエリアの数が所定数以上である場合に、前記判定対象画像が前記基準画像に類似していると判定してもよい。

前記情報処理装置は、前記判定部により前記基準画像に非類似であると判定された前記判定対象画像を、新たな前記基準画像として設定する設定部をさらに備えてもよい。

前記判定部は、前記撮影画像が撮影されている間に判定を行ってもよい。前記保存部は、前記判定対象画像が前記基準画像に類似していると判定された場合、前記判定対象画像、および、前記基準画像の後前記判定対象画像の前に撮影された撮影画像を保存しなくてもよい。

本発明によれば、保存される画像のデータ量をより削減できる。

実施の形態に係る車載システムの構成を示すブロック図である。図２（ａ）は、図１の情報処理装置で処理される基準画像の複数のエリアを示す図であり、図２（ｂ）は、判定対象画像の複数のエリアを示す図である。図１の車載システムを搭載した車両がトンネルを走行したときの撮影画像を示す図である。図１の情報処理装置における処理を示すフローチャートである。

図１は、実施の形態に係る車載システム１の構成を示すブロック図である。車載システム１は、自動車である車両に搭載されている。車載システム１は、カメラ１０と、情報処理装置２０とを備える。

カメラ１０は、車両に設置され、車外の撮影画像を連続して撮影する。複数の撮影画像は、動画を構成する。つまり、撮影画像は、静止画であり、フレームと呼ぶこともできる。撮影画像は、例えば、車両の前方の画像である。カメラ１０は、撮影した撮影画像を情報処理装置２０に順次出力する。

情報処理装置２０は、カメラ１０から出力された撮影画像を処理する。情報処理装置２０は、ドライブレコーダーと呼ぶこともできる。情報処理装置２０は、通信部２２と、処理部２４と、保存部２６とを備える。処理部２４は、取得部３０と、設定部３２と、導出部３４と、判定部３６とを備える。処理部２４の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

取得部３０は、カメラ１０で撮影された車外の撮影画像を順次取得する。設定部３２は、取得部３０で取得された撮影画像における基準画像と、基準画像の後に撮影された判定対象画像とを設定する。例えば、最初の基準画像は、１番目に撮影された撮影画像であり、最初の判定対象画像は、２番目に撮影された撮影画像である。

導出部３４は、基準画像と判定対象画像のそれぞれを複数のエリアに区画して、各エリアにおける輝度値の平均値を導出し、エリア毎に基準画像に対する判定対象画像の輝度値の平均値の変化量を導出する。

判定部３６は、基準画像と判定対象画像との輝度値に基づいて、判定対象画像が基準画像に類似しているか判定する。具体的には、判定部３６は、導出部３４で導出された変化量の絶対値が所定値未満であるエリアの数が所定数以上である場合に、判定対象画像が基準画像に類似していると判定する。一方、判定部３６は、変化量の絶対値が所定値未満であるエリアの数が所定数未満である場合に、判定対象画像が基準画像に非類似であると判定する。所定値と所定数は、実験などにより適宜定めることができる。判定部３６は、カメラ１０で撮影画像が撮影されている間に判定を行う。

図２（ａ）は、図１の情報処理装置２０で処理される基準画像１００ａの複数のエリアＡ１〜Ａ８を示す図であり、図２（ｂ）は、判定対象画像１００ｂの複数のエリアＡ１〜Ａ８を示す図である。一例として、基準画像１００ａと判定対象画像１００ｂは、それぞれ８つのエリアに区画されている。

例えば、所定数が５であると仮定し、６つのエリアＡ１〜Ａ６のそれぞれにおける基準画像１００ａに対する判定対象画像１００ｂの輝度値の平均値の変化量の絶対値が、所定値未満である場合、判定対象画像１００ｂが基準画像１００ａに類似していると判定される。

また、例えば、６つのエリアＡ１〜Ａ６のそれぞれにおける基準画像１００ａに対する判定対象画像１００ｂの輝度値の平均値の変化量の絶対値が、所定値以上である場合、判定対象画像１００ｂが基準画像１００ａに非類似であると判定される。

図１に戻る。保存部２６は、判定部３６により基準画像に類似していると判定された判定対象画像を除外して、取得部３０で取得された撮影画像を保存する。つまり、保存部２６は、基準画像を保存し、基準画像に類似していると判定された判定対象画像を保存せず、基準画像に非類似であると判定された判定対象画像を保存する。

設定部３２は、判定部３６により基準画像に非類似であると判定された判定対象画像を、新たな基準画像として設定し、この新たな基準画像の次に撮影された撮影画像を、新たな判定対象画像として設定する。

設定部３２は、判定部３６により判定対象画像が基準画像に類似していると判定された場合、基準画像を変更せず、基準画像に類似していると判定された判定対象画像の次に撮影された撮影画像を、新たな判定対象画像として設定する。

このように、設定部３２は、全ての撮影画像を、撮影された順番で判定対象画像として設定する。そして、導出部３４、判定部３６、保存部２６は、上述した処理を繰り返す。

図３は、図１の車載システム１を搭載した車両がトンネル２００を走行したときの撮影画像を示す図である。図３は、車両がトンネル２００内を方向ｄ１に走行したときのトンネル２００内の位置Ｐ１、位置Ｐ４、位置Ｐ５のそれぞれでの撮影画像と、撮影画像の複数の画素の輝度の度数分布とを示している。位置Ｐ１の撮影画像が、基準画像である。位置Ｐ２、位置Ｐ３の撮影画像等の図示は省略するが、位置Ｐ２、位置Ｐ３、位置Ｐ４の撮影画像は、それぞれ、位置Ｐ１の撮影画像に対して輝度値の変化量が比較的小さく、位置Ｐ１の撮影画像に類似していると判定される。その結果、位置Ｐ２から位置Ｐ４の撮影画像は、保存されない。

位置Ｐ５の撮影画像は、位置Ｐ１の撮影画像に対して輝度値の変化量が比較的大きく、位置Ｐ１の撮影画像に非類似であると判定される。よって、位置Ｐ５の撮影画像は、保存され、新たな基準画像として設定される。

このように、トンネル内などでは、輝度値の変化量が比較的小さい撮影画像が撮影される可能性がある。

図１に戻る。車両の図示しないイグニッションスイッチがオフされると、処理部２４は、保存部２６に保存された撮影画像を読み出して通信部２２に供給する。通信部２２は、図示しないサーバ装置と無線通信を行い、処理部２４から供給された撮影画像をサーバ装置に送信する。この処理は、情報処理装置２０への電源供給が遮断されるまでに行われる。無線通信の規格は特に限定されないが、例えば、３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）または５Ｇ（第５世代移動通信システム）を含む。

サーバ装置は、例えばデータセンターに設置され、複数の車両の情報処理装置２０から送信された撮影画像を車両毎に保存する。サーバ装置に保存された撮影画像は、様々な用途に利用される。例えば、サーバ装置は、ユーザからの要求に応じて、ユーザに指定された車両で撮影された撮影画像をユーザの端末装置に出力する。ユーザは、端末装置で撮影画像を確認して、その車両の走行状況を確認できる。

次に、以上の構成による情報処理装置の全体的な動作を説明する。図４は、図１の情報処理装置２０における処理を示すフローチャートである。図４の処理は、カメラ１０が撮影を開始すると開始され、カメラ１０が撮影を終了すると終了される。

設定部３２は、撮影画像における基準画像を設定し（Ｓ２０）、撮影画像における判定対象画像を設定する（Ｓ２２）。判定部３６は、判定対象画像が基準画像に類似しているか判定し（Ｓ２４）、類似している場合（Ｓ２４のＹ）、ステップ２２に戻る。類似していない場合（Ｓ２４のＮ）、保存部２６は、判定対象画像を保存し（Ｓ２６）、設定部３２は、判定対象画像を新たな基準画像として設定し（Ｓ２８）、ステップ２２に戻る。

このように本実施の形態によれば、輝度値に基づいて判定対象画像が基準画像に類似しているか判定し、基準画像に類似していると判定された判定対象画像を除外して撮影画像を保存するので、保存されるデータ量をより削減できる。また、サーバ装置に送信されるデータ量も削減できる。

また、輝度値に基づいて判定を行うので、輝度値以外の画像の特徴量などにもとづいて判定を行う場合と比較して、導出部３４での計算量を削減でき、高速に判定を行うことができる。

また、エリア毎に基準画像に対する判定対象画像の輝度値の平均値の変化量を導出し、変化量の絶対値が所定値未満であるエリアの数が所定数以上である場合に、判定対象画像が基準画像に類似していると判定するので、基準画像と判定対象画像の画素毎に輝度値を比較するよりも、高速に判定を行うことができる。

さらに、基準画像に非類似であると判定された判定対象画像を、新たな基準画像として設定するので、次の判定を適切に行うことができる。また、全ての撮影画像を、撮影された順番で判定対象画像として設定するので、全ての撮影画像について基準画像に類似しているか判定できる。

また、判定部３６は、撮影画像が撮影されている間に判定を行うので、イグニッションスイッチがオフされる時には判定を完了させることができる。そのため、イグニッションスイッチがオフされた時、撮影画像を迅速にサーバ装置に送信できる。

以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、処理部２４は、車両に設けられた図示しない加速度センサなどにより急加速、急減速または急ハンドルが検出された場合、急加速等が検出されたタイミングから第１所定時間だけ遡ったときから、急加速等が検出されたタイミングから第２所定時間が経過するまでの撮影画像を保存部２６に残して、他の撮影画像を消去してもよい。第１所定時間と第２所定時間は、実験などにより適宜定めることができる。この変形例では、上記実施の形態の処理により保存部２６に保存された撮影画像のうち、何らかのイベントにより急加速等が生じたタイミングの前後の撮影画像だけを残すので、保存されるデータ量をさらに削減できる。

また、全ての撮影画像を撮影された順番で判定対象画像として設定する一例について説明したが、設定部３２は、撮影画像を間引き、一部の撮影画像だけを判定対象画像として設定してもよい。例えば、設定部３２は、最初の基準画像として１番目に撮影された撮影画像を設定し、この撮影画像から所定数の撮影画像を飛ばして判定対象画像を設定してもよい。

この変形例では、保存部２６は、判定対象画像が基準画像に類似していると判定された場合、判定対象画像、および、基準画像と判定対象画像との間の撮影画像を保存しない。この場合、設定部３２は、基準画像を変更せず、基準画像に類似していると判定された判定対象画像の後に撮影された所定数の撮影画像を飛ばして新たな判定対象画像を設定する。また、保存部２６は、判定対象画像が基準画像に非類似であると判定された場合、判定対象画像、および、基準画像と判定対象画像との間の撮影画像を保存する。この場合、設定部３２は、基準画像に非類似であると判定された判定対象画像を、新たな基準画像として設定し、この新たな基準画像の後に撮影された所定数の撮影画像を飛ばして新たな判定対象画像を設定する。

この変形例によれば、処理部２４の処理を軽減できる。そのため、上記実施の形態と比較して処理能力が低い処理部２４を用いた上で、イグニッションスイッチがオフされる時には判定を完了させることができる。また、保存されるデータ量をさらに削減できる。

また、判定部３６は、基準画像と判定対象画像との輝度値に基づいて判定対象画像が基準画像に類似しているか判定すれば、上記実施の形態とは異なる判定方法を採用してもよい。例えば、判定部３６は、基準画像と判定対象画像の画素毎に輝度値を比較して、比較結果をもとに判定してもよい。この変形例では、情報処理装置２０の構成の自由度を向上できる。

１０…カメラ、２０…情報処理装置、２２…通信部、２４…処理部、２６…保存部、３０…取得部、３２…設定部、３４…導出部、３６…判定部。

Claims

車両に設置されたカメラで撮影された車外の撮影画像を取得する取得部と、
前記取得部で取得された前記撮影画像における基準画像と、前記基準画像の後に撮影された所定数の撮影画像の後に撮影された判定対象画像との輝度値に基づいて、前記判定対象画像が前記基準画像に類似しているか判定する判定部と、
前記判定部により前記基準画像に類似していると判定された前記判定対象画像を除外して、前記取得部で取得された前記撮影画像を保存する保存部と、
を備え、
前記保存部は、前記判定対象画像が前記基準画像に非類似であると判定された場合、前記判定対象画像、および、前記基準画像の後前記判定対象画像の前に撮影された撮影画像を保存することを特徴とする情報処理装置。
前記基準画像と前記判定対象画像のそれぞれを複数のエリアに区画して、各エリアにおける輝度値の平均値を導出し、エリア毎に前記基準画像に対する前記判定対象画像の輝度値の平均値の変化量を導出する導出部をさらに備え、
前記判定部は、前記変化量の絶対値が所定値未満であるエリアの数が所定数以上である場合に、前記判定対象画像が前記基準画像に類似していると判定することを特徴とする請求項１に記載の情報処理装置。
前記判定部により前記基準画像に非類似であると判定された前記判定対象画像を、新たな前記基準画像として設定する設定部をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
前記判定部は、前記撮影画像が撮影されている間に判定を行うことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
前記保存部は、前記判定対象画像が前記基準画像に類似していると判定された場合、前記判定対象画像、および、前記基準画像の後前記判定対象画像の前に撮影された撮影画像を保存しないことを特徴とする請求項１から４のいずれかに記載の情報処理装置。