JP6299371B2 - 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置 - Google Patents

Description

本発明は、撮像方向の傾き検出方法等に関する。

運転中に横断者に接触しそうになる等、ヒヤリハット、すなわち、運転者がヒヤリとしたりハッとしたりするような事象の発生しやすい位置の情報を運転者に知らせることが出来れば、事故の発生を防止することが出来る。このため、ドライブレコーダに記録された画像データを解析することで、ヒヤリハットの検出を行う従来技術が存在する。

特開平８−２８５５３４号公報 特開２００４−２３９６１３号公報 特開２００８−１２３０３６号公報

例えば、ヒヤリハットの検出を行う従来技術は、解析対象となる画像データが、車両に正常に設置された撮像装置により撮像された画像データであることが前提となっている。このため、例えば、撮像装置の撮像方向が傾いている場合、当該撮像装置によって撮像された画像データに対して解析を行っても、有効な解析結果を得られないことがある。

１つの側面では、撮像装置により取得された画像データに基づき、撮像方向の傾きを検出することができる撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置を提供することを目的とする。

第１の案では、コンピュータが下記の処理を実行する。コンピュータは、車両に搭載された撮像装置から撮像画像を取得する。コンピュータは、取得した該撮像画像から複数の線を抽出する。コンピュータは、撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、撮像装置の撮像方向の傾きを検出する。

本発明の１実施形態によれば、撮像装置により取得された画像データに基づき、撮像方向の傾きを検出することができる。

図１は、本実施例に係る画像処理装置の機能ブロック図である。 図２は、ドラレコ情報のデータ構造の一例を示す図である。 図３は、直線走行中にカメラに撮像された画像データを取得する処理を示すフローチャートである。 図４は、直線の情報のデータ構造の一例を示す図である。 図５は、抽出部の処理を補足説明するための図である。 図６は、抽出部の処理を補足説明するための図である。 図７は、直線テーブルのデータ構造の一例を示す図である。 図８は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。 図９は、撮像方向の傾き検出プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示する撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る画像処理装置の機能ブロック図である。画像処理装置１００は、撮像方向の傾き検出装置の一例である。図１に示すように、この画像処理装置１００は、図１に示すように、この画像処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、ネットワークを介して他の装置とデータ通信を実行する処理部である。例えば、通信部１１０は、通信装置等に対応する。

入力部１２０は、各種のデータを画像処理装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。表示部１３０は、制御部１５０から出力されるデータを表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１４０は、ドラレコ情報１４１を記憶する記憶部である。記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

ドラレコ情報１４１は、ドライブレコーダによって記録された各種のデータを含む。図２は、ドラレコ情報のデータ構造の一例を示す図である。図２に示すように、このドラレコ情報１４１は、フレーム番号、日時、速度、加速度、位置座標、画像を対応付けて保持する。

フレーム番号は、フレームを一意に識別する番号である。日時は、該当するフレームが撮像された日時である。速度は、該当するフレームを撮像した時点における、ドライブレコーダを搭載した車両の速度である。加速度は、該当するフレームを撮像した時点における、ドライブレコーダを搭載した車両の加速度である。位置座標は、該当するフレームが撮像された時点の、ドライブレコーダを搭載した車両の位置座標である。また、画像は、該当するフレームの画像データである。

制御部１５０は、取得部１５１と、抽出部１５２と、検出部１５３とを有する。制御部１５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

取得部１５１は、ドラレコ情報をドライブレコーダ等から取得する処理部である。取得部１５１は、ドライブレコーダ等から取得したドラレコ情報を、ドラレコ情報１４１として記憶部１４０に登録する。なお、取得部１５０は、カメラ等の撮像装置から画像データを順次取得し、取得した画像データをドラレコ情報１４１に順次登録してもよい。

抽出部１５２は、ドラレコ情報１４１を基にして、画像データから複数の直線を抽出する処理部である。抽出部１５２は、画像データから抽出した複数の直線の情報を、検出部１５３に出力する。

抽出部１５２は、車両の直線走行中にカメラに撮像された画像データを取得する処理、直線を抽出する処理を実行する。

抽出部１５２が、車両の直線走行中にカメラに撮像された画像データを取得する処理の一例について説明する。抽出部１５２は、ドラレコ情報１４１にアクセスし、速度が第１閾値以上で、かつ、加速度が第２閾値未満となるフレームの画像データを特定し、特定した画像データを取得する。抽出部１５２が特定したフレームの画像データが、直線走行中にカメラに撮像された画像データとなる。

図３は、直線走行中にカメラに撮像された画像データを取得する処理を示すフローチャートである。図３に示すように、抽出部１５２は、ｉの値を０に設定する（ステップＳ１０）。抽出部１５２は、フレーム番号［ｉ］の速度、加速度を取得する（ステップＳ１１）。

抽出部１５２は、速度≧第１閾値、かつ、加速度＜第２閾値の場合に、フレーム番号[ｉ]の画像データをデータＡに追加する（ステップＳ１２）。抽出部１５２は、ｉ＜最大フレーム番号であるか否かを判定する（ステップＳ１３）。抽出部１５２は、ｉ＜最大フレーム番号でない場合には（ステップＳ１３，Ｎｏ）、直線走行中にカメラに撮像された画像データを取得する処理を終了する。

一方、抽出部１５２は、ｉ＜最大フレーム番号である場合には（ステップＳ１３，Ｙｅｓ）、ｉの値に１を加算した値によって、ｉの値を更新し（ステップＳ１４）、ステップＳ１１に移行する。

続いて、抽出部１５２が、直線を抽出する処理について実行する。抽出部１５２は、図３で説明した処理によって、データＡに格納された各フレーム番号の画像データから直線の抽出を試みる。

抽出部１５２は、画像データに対してＣａｎｎｙフィルタを実行することで、エッジ成分を強調したエッジ画像データを生成する。そして、抽出部１５２は、エッジ画像データに対して、ハフ変換を実行することで、エッジ画像データから直線を抽出する。

なお、抽出部１５２は、エッジ画像データの中央部分に対して、ハフ変換を実行して直線を抽出する。抽出部１５２は、エッジ画像データの中央部分を除いた周辺部分は、画像の歪みが大きいため、かかる周辺部分から直線を抽出することを抑止する。

抽出部１５２は、データＡに格納された各フレーム番号の画像データに対して、上記処理を繰り返し実行することで、直線の情報を生成する。図４は、直線の情報のデータ構造の一例を示す図である。図４に示すように、この直線の情報は、フレーム番号と、直線識別番号と、始点座標と、終点座標とを対応付ける。フレーム番号は、フレームを一意に識別する番号である。直線識別番号は、直線を一意に識別する番号である。始点座標は、画像データ上の直線の始点座標を示す。終点座標は、画面データ上の直線の終点座標を示す。

図５は、抽出部の処理を補足説明するための図である。例えば、画像データの縦軸をｙ軸とし、横軸をｘ軸とする。抽出部１５２は、画像データ１０に対して、Ｃａｎｎｙフィルタを実行し、ハフ変換を実行することで、複数の直線１１ａを抽出する。なお、抽出部１５２は、中央部分１２に含まれる直線を抽出するものとする。例えば、直線１１ｂは、中央部分１２に含まれない直線であるため、抽出対象から除外される。なお、実際には、直線１１ａ，１１ｂ以外の直線も抽出されるが、ここでは、図示を省略する。

検出部１５３は、カメラの撮像方向の傾きが異常な傾きであるか否かを検出する処理部である。抽出部１５２から取得した直線の情報に含まれる直線と縦直線との間の角度が、−Ｍ°〜＋Ｍ°に含まれる直線を特定する。例えば、縦直線は、画像データのｙ軸に対して平行となる直線とする。例えば、Ｍの値をπ／１６とするが、利用者は適宜、Ｍの値を変更してもよい。

図６は、抽出部の処理を補足説明するための図である。図６において画像データ１０の縦軸をｙ軸とし、横軸をｘ軸とする。抽出部１５２は、直線１３と、縦直線１４との間の角度θが、−Ｍ°〜＋Ｍ°に含まれれば、直線１３を特定する。ここでは説明の便宜上、直線１３のみを示す。

検出部１５３は、特定した直線の情報を直線テーブルに格納する。検出部１５３は、直線の情報に含まれる各直線について、上記処理を繰り返し実行し、縦直線１４との間の角度が−Ｍ°〜＋Ｍ°に含まれる直線の情報を、直線テーブルに登録する。例えば、検出部１５３は、各フレーム番号の画像データ毎に、直線を抽出する。

図７は、直線テーブルのデータ構造の一例を示す図である。図７に示すように、この直線テーブルは、フレーム番号と、直線識別番号と、角度とを有する。フレーム番号、直線識別番号に関する説明は、図４の説明と同様である。角度は、直線識別番号に対応する直線と、縦直線との間の角度である。

検出部１５３は、直線テーブルに直線の情報を登録した後に、同一のフレーム番号毎に、直線の数を計数し、計数した直線の数が第３閾値以上であるか否かを判定する。検出部１５３は、計数した直線の数が第３閾値未満である場合には、カメラの撮像方向の傾きが異常な傾きでないと判定する。

これに対して、検出部１５３は、計数した直線の数が第３閾値以上である場合には、同一のフレーム番号毎に、直線と縦直線との角度の平均角度αを算出する。例えば、検出部１５３は、式（１）の条件を満たす場合に、カメラの撮像方向の傾きが異常な傾きであると判定する。これに対して、検出部１５３は、式（１）の条件を満たさない場合には、カメラの撮像方向の傾きは正常な傾きであると判定する。検出部１５３は、平均角度αからπ／２を減算した値の絶対値が、第４閾値よりも大きい場合に、カメラの撮像方向の傾きが異常な傾きであると判定する。

ａｂｓ（α−π／２）＞第４閾値・・・（１）

次に、本実施例に係る画像処理装置１００の処理手順について説明する。図８は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。図８に示すように、画像処理装置１００は、速度が第１閾値以上、かつ、加速度が第２閾値未満の画像データを取得する（ステップＳ１０１）。

画像処理装置１００の抽出部１５２は、取得した画像データに対して、Ｃａｎｎｙフィルタを適用し、エッジ成分を強調する（ステップＳ１０２）。抽出部１５２は、エッジ成分を強調した画像データに対して、ハフ変換を実行し、直線を抽出する（ステップＳ１０３）。

抽出部１５２は、画像データの中央付近に含まれる直線について、縦直線に対して−Ｍ°〜＋Ｍ°に収まる直線を抽出し、直線テーブルに格納する（ステップＳ１０４）。検出部１５３は、直線テーブルを基にして、第３閾値以上の直線を抽出したか否かを判定する（ステップＳ１０５）。検出部１５３は、第３閾値以上の直線を抽出していない場合には（ステップＳ１０５，Ｎｏ）、カメラの撮像方向の傾きが異常でないと判定する（ステップＳ１０６）。

一方、検出部１５３は、第３閾値以上の直線を抽出した場合には（ステップＳ１０５，Ｙｅｓ）、抽出した直線と縦直線との角度の平均角度を算出する（ステップＳ１０７）。検出部１５３は、平均角度が第４閾値を超えるか否かを判定する（ステップＳ１０８）。検出部１５３は、平均角度が第４閾値を超えない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０６に移行する。

一方、検出部１５３は、平均角度が第４閾値を超える場合には（ステップＳ１０８，Ｙｅｓ）、カメラの撮像方向の傾きが異常であると判定する（ステップＳ１０９）。

次に、本実施例に係る画像処理装置１００の効果について説明する。画像処理装置１００は、画像データから複数の線を抽出し、画像データの縦軸方向と、抽出した複数の線とのなす角の大きさに応じて、カメラの撮像方向の傾きを検出する。このため、画像処理装置１００によれば、画像データに基づき、カメラの撮像方向の傾きを検出することが出来る。

画像処理装置１００は、画像データの縦軸方向とのなす角が所定の大きさを超える線の数に応じて、撮像装置の撮像方向の傾きを検出する。このため、画像処理装置１００によれば、画像データに発生し得るノイズなどの影響を除外して、正確にカメラの撮像方向の傾きが異常であるか否かを判定することが出来る。

画像処理装置１００は、画像データの両横はじ部分を除く領域から抽出される線を基にして、カメラの撮像方向の傾きを検出する。このため、画像データの端に含まれるひずみの影響を除外して、正確にカメラの撮像方向の傾きが異常であるか否かを判定することが出来る。

なお、本実施例では一例として、画像データの縦軸方向と、抽出した複数の線とのなす角の大きさに応じて、カメラの撮像方向の傾きを検出していたが、これに限定されるものではない。例えば、画像処理装置１００は、画像データの横軸方向と、複数の線とのなす角の大きさに応じて、カメラの撮像方向の傾きを検出してもよい。

ここで、検出部１５３のその他の処理について説明する。例えば、画像処理装置１００の検出部１５３は、抽出部１５２から取得した直線の情報に含まれる直線と横直線との間の角度が、−Ｍ°〜＋Ｍ°に含まれる直線を特定する。例えば、横直線は、画像データのｘ軸に対して平行となる直線とする。この場合には、検出部１５３は、横直線との間の角度が−Ｍ°〜＋Ｍ°に含まれる直線の情報を、直線テーブルに登録する。

検出部１５３は、直線テーブルに直線の情報を登録した後に、同一のフレーム番号毎に、直線の数を計数し、計数した直線の数が第３閾値以上であるか否かを判定する。検出部１５３は、計数した直線の数が第３閾値未満である場合には、カメラの撮像方向の傾きが異常な傾きでないと判定する。

これに対して、検出部１５３は、計数した直線の数が第３閾値以上である場合には、同一のフレーム番号毎に、直線と横直線との角度の平均角度αを算出する。例えば、検出部１５３は、式（２）の条件を満たす場合に、カメラの撮像方向の傾きが異常な傾きであると判定する。これに対して、検出部１５３は、式（２）の条件を満たさない場合には、カメラの撮像方向の傾きは正常な傾きであると判定する。

ａｂｓ（α）＞第４閾値・・・（２）

次に、上記実施例に示した画像処理装置１００と同様の機能を実現する撮像装置取り付け状態評価プログラムを実行するコンピュータの一例について説明する。図９は、撮像方向の傾き検出プログラムを実行するコンピュータの一例を示す図である。

図９に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、抽出プログラム２０７ｂ、検出プログラム２０７ｃを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、抽出プログラム２０７ｂ、検出プログラム２０７ｃを読み出してＲＡＭ２０６に展開する。取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。抽出プログラム２０７ｂは、抽出プロセス２０６ｂとして機能する。検出プログラム２０７ｃは、検出プロセス２０６ｃとして機能する。

例えば、取得プロセス２０６ａは、取得部１５１に対応する。抽出プロセス２０６ｂは、抽出部１５２に対応する。検出プロセス２０６ｃは、検出部１５３に対応する。

なお、取得プログラム２０７ａ、抽出プログラム２０７ｂ、検出プログラム２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が取得プログラム２０７ａ、抽出プログラム２０７ｂ、検出プログラム２０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータが実行する撮像方向の傾き検出方法であって、
車両に搭載された撮像装置から撮像画像を取得し、
取得した該撮像画像から複数の線を抽出し、
前記撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、前記撮像装置の撮像方向の傾きを検出する、
処理を実行することを特徴とする撮像方向の傾き検出方法。

（付記２）コンピュータが実行する撮像方向の傾き検出方法であって、
車両に搭載された撮像装置から撮像画像を取得し、
取得した該撮像画像から複数の線を抽出し、
抽出した前記複数の線のうち、前記撮像画像の縦軸方向又は横軸方向とのなす角が所定の大きさを超える線の数に応じて、前記撮像装置の撮像方向の傾きを検出する、
処理を実行することを特徴とする撮像方向の傾き検出方法。

（付記３）前記複数の線は、前記撮像画像の両横はじ部分を除く領域から抽出される、ことを特徴とする付記１又は２に記載の撮像方向の傾き検出方法。

（付記４）コンピュータに、
車両に搭載された撮像装置から撮像画像を取得し、
取得した該撮像画像から複数の線を抽出し、
前記撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、前記撮像装置の撮像方向の傾きを検出する、
処理を実行させることを特徴とする撮像方向の傾き検出プログラム。

（付記５）コンピュータに、
車両に搭載された撮像装置から撮像画像を取得し、
取得した該撮像画像から複数の線を抽出し、
抽出した前記複数の線のうち、前記撮像画像の縦軸方向又は横軸方向とのなす角が所定の大きさを超える線の数に応じて、前記撮像装置の撮像方向の傾きを検出する、
処理を実行させることを特徴とする撮像方向の傾き検出プログラム。

（付記６）前記複数の線は、前記撮像画像の両横はじ部分を除く領域から抽出される、ことを特徴とする付記４又は５に記載の撮像方向の傾き検出プログラム。

（付記７）車両に搭載された撮像装置から撮像画像を取得する取得部と、
取得した該撮像画像から複数の線を抽出する抽出部と、
前記撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、前記撮像装置の撮像方向の傾きを検出する検出部と
を有することを特徴とする撮像方向の傾き検出装置。

（付記８）車両に搭載された撮像装置から撮像画像を取得する取得部と、
取得した該撮像画像から複数の線を抽出する抽出部と、
抽出した前記複数の線のうち、前記撮像画像の縦軸方向又は横軸方向とのなす角が所定の大きさを超える線の数に応じて、前記撮像装置の撮像方向の傾きを検出する検出部と
を有することを特徴とする撮像方向の傾き検出装置。

（付記９）前記複数の線は、前記撮像画像の両横はじ部分を除く領域から抽出される、ことを特徴とする付記７又は８に記載の撮像方向の傾き検出装置。

１００ 画像処理装置
１４０ 記憶部
１４１ ドラレコ情報
１５０ 制御部
１５１ 取得部
１５２ 抽出部
１５３ 検出部

Claims (7)

1. コンピュータが実行する撮像方向の傾き検出方法であって、
   車両に搭載された撮像装置から撮像画像を取得し、
   取得した該撮像画像の内、前記車両が所定の速度以上で走行している状態における前記撮像画像上の複数の線を抽出し、
   前記撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、前記撮像装置の撮像方向を軸とした回転の度合いに異常があるか否かを検出する、
   処理を実行することを特徴とする撮像方向の傾き検出方法。
2. コンピュータが実行する撮像方向の傾き検出方法であって、
   車両に搭載された撮像装置から撮像画像を取得し、
   取得した該撮像画像の内、前記車両が所定の速度以上で走行している状態における前記撮像画像上の複数の線を抽出し、
   抽出した前記複数の線のうち、前記撮像画像の縦軸方向又は横軸方向とのなす角が所定の範囲に含まれ、かつ、前記なす角が所定の閾値を超える線の数に応じて、前記撮像装置の撮像方向を軸とした回転の度合いに異常があるか否かを検出する、
   処理を実行することを特徴とする撮像方向の傾き検出方法。
3. 前記複数の線は、前記撮像画像の両横はじ部分を除く領域から抽出される、ことを特徴とする請求項１又は２に記載の撮像方向の傾き検出方法。
4. コンピュータに、
   車両に搭載された撮像装置から撮像画像を取得し、
   取得した該撮像画像の内、前記車両が所定の速度以上で走行している状態における前記撮像画像上の複数の線を抽出し、
   前記撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、前記撮像装置の撮像方向を軸とした回転の度合いに異常があるか否かを検出する、
   処理を実行させることを特徴とする撮像方向の傾き検出プログラム。
5. コンピュータに、
   車両に搭載された撮像装置から撮像画像を取得し、
   取得した該撮像画像の内、前記車両が所定の速度以上で走行している状態における前記撮像画像上の複数の線を抽出し、
   抽出した前記複数の線のうち、前記撮像画像の縦軸方向又は横軸方向とのなす角が所定の範囲に含まれ、かつ、前記なす角が所定の閾値を超える線の数に応じて、前記撮像装置の撮像方向を軸とした回転の度合いに異常があるか否かを検出する、
   処理を実行させることを特徴とする撮像方向の傾き検出プログラム。
6. 車両に搭載された撮像装置から撮像画像を取得する取得部と、
   取得した該撮像画像の内、前記車両が所定の速度以上で走行している状態における前記撮像画像上の複数の線を抽出する抽出部と、
   前記撮像画像の縦軸方向又は横軸方向と、抽出した複数の線とのなす角の大きさに応じて、前記撮像装置の撮像方向を軸とした回転の度合いに異常があるか否かを検出する検出部と
   を有することを特徴とする撮像方向の傾き検出装置。
7. 車両に搭載された撮像装置から撮像画像を取得する取得部と、
   取得した該撮像画像の内、前記車両が所定の速度以上で走行している状態における前記撮像画像上の複数の線を抽出する抽出部と、
   抽出した前記複数の線のうち、前記撮像画像の縦軸方向又は横軸方向とのなす角が所定の範囲に含まれ、かつ、前記なす角が所定の閾値を超える線の数に応じて、前記撮像装置の撮像方向を軸とした回転の度合いに異常があるか否かを検出する検出部と
   を有することを特徴とする撮像方向の傾き検出装置。

Images