JPWO2019138994A1 - 情報記録装置、情報記録方法、及び情報記録用プログラム - Google Patents

Abstract

移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録する。移動体の外部を移動体から撮像した外部画像に相当する外部画像情報を取得し、移動体の自動運転制御の状態を示す自動運転情報を取得し、外部画像情報及び自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得し、表示用情報を記録媒体に記録させる。

Description

本願は、自動運転が可能な移動体が置かれていた状況を示す情報、例えば移動体の外部を撮影した画像等を記録媒体に記録させる情報記録装置の技術分野に属する。

近年、例えば車両による移動中に事故等が発生した際の状況等を後から検証する等の目的に供させるべく、移動中の例えば車両の前方を撮像して記録するための、いわゆるドライブレコーダが一般化している。

当該検証に用いられる画像を撮像するドライブレコーダに関する先行技術としては、例えば下記特許文献１に記載されている先行技術がある。この先行技術においては、事故が発生したか否かを判断する際の閾値を車両の加速度が越えた場合、事故発生前に撮像された所定時間分の映像に対して、当該撮像時刻と同じ時刻に取得された高度データ及び勾配データを重畳して画像メモリに記録する構成とされている。

一方、特許文献２には、車両の各自動運転機能又は各自動運転レベルから車両の周囲の状況及び車両の運転状況の少なくとも一方に応じた自動運転機能又は自動運転レベルを自動的に選択し、車両の運転操作の一部又は全部を自動的に実施し、自動運転中の時刻とその時刻において選択された自動運転機能又は自動運転レベルとを記憶する自動運転システムが開示されている。

特開２０１３−２０６４１７号公報 国際公開第２０１６／０８００７０号パンフレット

特許文献１に開示された技術により記録された映像は、事故車又はその運転者の過失責任分担の判定には有益である。その一方で、自動運転が可能な車両においては、自動運転中に事故が発生する場合がある。このような場合には、自動運転による運転操作が事故の原因となる場合があり、このことが運転者の過失の割合に影響を与えることがあり得る。しかしながら、特許文献１に開示された技術では、記録された映像からは、ドライバによる運転操作に事故原因があるのか、又は自動運転による運転操作に事故原因があるのかを判断することができない。

一方、特許文献２に開示された技術によれば、車両に事故や故障等が発生した場合に、その時点で如何なる自動運転機能又は自動運転レベルが選択されていたかを事後的に把握することはできる。しかしながら、このようなことが可能となるのは、車両自体に、選択された自動運転機能又は自動運転レベルを記憶することが可能なシステムが予め組み込まれているからである。車両に情報記録装置を後付けするような場合には、選択された自動運転機能又は自動運転レベルを車両から情報記録装置が直接取得することが困難な場合がある。

本願は、以上の点に鑑みてなされたものであり、その課題の一例は、移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することが可能な情報記録装置及び情報記録方法並びに当該情報記録装置用のプログラムを提供することにある。

上記課題を解決するために、請求項１に記載の発明は、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する画像情報取得手段と、前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得手段と、前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得手段と、前記表示用情報を記録媒体に記録させる記録制御手段と、を備える情報記録装置であることを特徴とする。

請求項１０に記載の発明は、コンピュータにより実行される情報記録方法において、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する外部画像情報取得工程と、前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得工程と、前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得工程と、を含むことを特徴とする。

請求項１１に記載の発明は、コンピュータを、前記情報記録装置として機能させる情報記録装置用のプログラムであることを特徴とする。

実施形態に係る情報記録装置の概要構成の一例を示すブロック図である。 実施例に係るドライブレコーダの概要構成の一例を示すブロック図である。 実施例に係るドライブレコーダにおける表示画像データの記録処理の一例を示すフローチャートである。 実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図である。 変形例に係るドライブレコーダにおける自動運転制御の状態の取得処理の一例を示すフローチャートである。

先ず、本願を実施するための形態について、図１を用いて説明する。図１は、実施形態に係る情報記録装置の概要構成の一例を示すブロック図である。

図１に示すように、実施形態に係る情報記録装置Ｓは、画像情報取得手段１と、自動運転情報取得手段２と、表示用情報取得手段３と、記録媒体ＳＤに接続される記録手段４と、を備えて構成されている。

この構成において画像情報取得手段１は、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する。移動体の例として、車両、自動二輪車、自転車、航空機、及び船舶等が挙げられる。

自動運転情報取得手段２は、上記移動体の自動運転制御の状態を示す自動運転情報を取得する。

表示用情報取得手段３は、画像情報取得手段１により取得された外部画像情報及び自動運転情報取得手段２により取得された自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する。

記録手段４は、表示用情報取得手段３により取得された表示用情報を記録媒体に記録させる。

以上説明したように、実施形態に係る情報記録装置Ｓの動作によれば、移動体から外部を撮像した外部画像に相当する外部画像情報と、自動運転制御の状態を示す自動運転情報と、に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得し、該表示用情報を記録媒体ＳＤに記録させる。よって、移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することができる。

次に、上述した実施形態に対応する具体的な実施例について、図２乃至図４を用いて説明する。なお以下に説明する実施例は、車両に搭載されたドライブレコーダにおける画像データ等の記録処理に対して実施形態を適用した場合の実施例である。図２は、実施例に係るドライブレコーダの概要構成の一例を示すブロック図である。図３は、実施例に係るドライブレコーダにおける表示画像データの記録処理の一例を示すフローチャートである。図４は、実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図である。

実施例に係るドライブレコーダは、当該ドライブレコーダが搭載されている車両の前方風景を撮影可能に、当該車両の室内に設置される。なお以下の説明において、実施例に係るドライブレコーダが用いられる車両を、単に「自車両」と称する。自車両は、自動運転対応した車両である。自車両に搭載された自動運転制御システムにより、自車両の加速、操舵及び制動の少なくとも何れか１つの自動操作が行われる。自車両は、複数の自動運転レベルに対応している。複数の自動運転レベルは、例えば以下の通りに定義される。

レベル０：加速、操舵及び制動の全ての操作をドライバが行う状態である。

レベル１：加速、操舵及び制動の何れか１つの操作を自動運転制御システムが行う状態である。

レベル２：加速、操舵及び制動のうち何れか２つの操作を自動運転制御システムが行う状態である。

レベル３：加速、操舵及び制動の全ての操作を自動運転制御システムが行い、自動運転制御システムが要請した場合にドライバが操作を行う状態である。

レベル４：加速、操舵及び制動の全ての操作を自動運転制御システムが行い、ドライバは運転には全く関与しない状態である。

なお、自動運転レベルの定義は、上述したレベル０〜４に限定されるものではない。また、自動運転レベルの数は５段階に限定されるものではない。

実施例に係るドライブレコーダＤＲは、図２に示すように、操作ボタンやタッチパネル等からなる操作部１１、種々の情報を出力するディスプレイ１８及び必要な操作案内音声等を放音するスピーカ１９を備えている。これらに加えて実施例に係るドライブレコーダＤＲは、ＣＰＵ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなり且つドライブレコーダＤＲ全体を制御してその機能を発揮させる処理部９と、ＳＳＤ（Solid State Drive）等からなる記憶部１０と、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮像素子等からなるカメラ１２と、ＳＳＤ等からなる地図データ記録部１３と、ＧＰＳ（Global Positioning Sensor）センサ１４と、加速度センサ１５と、マイク１６と、車両インターフェース１７と、振動センサ２０と、例えば着脱式のＳＤ（Secure Digital）カード等であるメモリＳＤと、カメラ１２、地図データ記録部１３、ＧＰＳセンサ１４、加速度センサ１５、マイク１６、車両インターフェース１７及び振動センサ２０と処理部９とを接続するインターフェース２１と、により構成されている。また処理部９は、画像処理部２２と、記録部２３と、により構成されている。これら画像処理部２２及び記録部２３は、処理部９を構成する上記ＣＰＵ等を含むハードウェアロジック回路により実現されてもよいし、後述する実施例に係る表示画像データの記録処理に相当するプログラムを当該ＣＰＵが読み出して実行することにより、ソフトウェア的に実現されるものであってもよい。

このとき、インターフェース２１が実施形態に係る画像情報取得手段１の一例及び自動運転情報取得手段２の一例にそれぞれ相当し、画像処理部２２が実施形態に係る表示用情報取得手段３の一例に相当する。また、記録部２３が実施形態に係る情報記録装置Ｓの記録手段４の一例に相当し、メモリＳＤが実施形態に係る記録媒体ＳＤの一例に相当する。そして、インターフェース２１、画像処理部２２及び記録部２３により、実施形態に係る情報記録装置Ｓの一例を構成している。

以上の構成において操作部１１は、ドライブレコーダＤＲの一部に操作ボタンやタッチパネル等により構成されており、使用者による操作を受け付けて当該操作に対応する操作信号を処理部９に出力する。またディスプレイ１８は、処理部９の制御の下、ドライブレコーダＤＲの機能として使用者に提示すべき情報を、例えば画像又はアイコン等を用いて表示する。更にスピーカ１９は、処理部９の制御の下、ドライブレコーダＤＲの機能発揮のために必要な操作案内音声等を放音する。

次にカメラ１２は自車両の外部を撮像する。例えばカメラ１２は、自車両の移動方向前方を含む周囲をその撮像範囲としている。そしてカメラ１２は、当該撮像範囲内を撮像した外部画像に相当する撮像データを生成し、インターフェース２１を介して処理部９の画像処理部２２に出力する。実施例においてこの外部画像は動画像であるが、外部画像は静止画であってもよい。一方地図データ記録部１３は、地図データとして、一般的な道路データや交差点データを記録している。地図データ記録部１３は、画像処理部２２からの要求に応じて、インターフェース２１を介して道路データ等の地図データを画像処理部２２に出力する。

一方ＧＰＳセンサ１４は、図示しない航法衛星からの航法電波を受信した結果に基づいて、ドライブレコーダＤＲの現在位置を示す位置データを、インターフェース２１を介して画像処理部２２に出力する。ここで当該ドライブレコーダＤＲの現在位置は、換言すれば自車両の現在位置でもある。次に加速度センサ１５は、自車両に印加される加速度を、例えば自車両の進行方向、左右方向及び鉛直方向についてそれぞれ検出し、その検出結果としての加速度データを、インターフェース２１を介して画像処理部２２に出力する。画像処理部２２は、自車両の現在位置と道路データ等に基づいて、自車両周辺の地図画像や自車両を目的地に誘導するためのナビゲーション画像を生成してディスプレイ１８に出力してもよい。

他方マイク１６は、自車両の例えば車内の音又は音声を集音し、その集音結果としての音声データを、インターフェース２１を介して画像処理部２２に出力する。このとき、マイク１６が自車両の車外の音又は音声を集音できるものであってもよい。振動センサ２０は、自車両の運転席等の座席の振動を検出する。そして車両インターフェース１７は、例えばＣＡＮ（Controller Area Network）等の車内ネットワークを介して、自動運転制御の状態を示す自動運転データを取得し、インターフェース２１を介して画像処理部２２に出力する。自動運転制御の状態とは、例えば加速、操舵及び制動のうち何れの制御対象が自動運転制御下にあるか、或いは何れの自度運転レベルにて自動運転制御が行われているかである。

画像処理部２２は、インターフェース２１を介してそれぞれ取得された撮像データ及び自動運転データ等に基づいて、外部画像の少なくとも一部と、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像とを同時に表示するための表示画像データを取得する。記録部２３は、画像処理部２２により取得された表示画像データをメモリＳＤに記録させる。この場合に記録部２３は、当該表示画像データを汎用のフォーマットによりメモリＳＤに記録する。なお汎用のフォーマットとは、例えば、ＭＰ４（Moving Picture 4）フォーマット、ＡＶＩ（Audio video Interleave）フォーマット又はＭＯＶフォーマット等である。また画像処理部２２及び記録部２３は、表示画像データのメモリＳＤへの記録と並行して、対応する表示画像データに同期させて音声データをメモリＳＤに記録する。そしてメモリＳＤに記録された表示画像データ及び音声データ等は、例えば事故等の事後検証等時に、外部の図示しない再生装置等により表示又は再生される。

次に、上述した構成を備える実施例に係るドライブレコーダＤＲにおいて画像処理部２２を中心として実行される、実施例に係る表示画像データの記録処理について、図３を用いて説明する。

表示画像データの記録処理は、例えば、ドライブレコーダＤＲの電源がオンされたタイミングで開始される。

画像処理部２２は、初めに、インターフェース２１を介して撮像データを取得する。このとき、インターフェース２１は、情報記録装置Ｓの画像情報取得手段１として機能する。すなわち、インターフェース２１は、カメラ１２により撮影された外部画像の撮像データを取得して画像処理部２２へ出力する（ステップＳ１０）。

次いで、画像処理部２２は、インターフェース２１を介して自動運転データ等を取得する。自動運転データは、加速、操舵及び制動のそれぞれの操作が自動及び手動の何れであるかを示すデータであってもよいし、自動運転レベルを示すデータであってもよい。このとき、インターフェース２１は、情報記録装置Ｓの自動運転情報取得手段２として機能する。すなわち、インターフェース２１は、車両インターフェース１７を介して自動運転データ、現在日時、走行速度、及び自車両の現在位置の情報を取得して画像処理部２２へ出力する（ステップＳ２０）。

次いで、画像処理部２２は、ステップＳ１０及びＳ２０で取得された情報に基づいて、メモリＳＤに記録する表示画像データの生成処理等を行う。例えば、画像処理部２２は、自動運転データ等に基づいて、現在の自動運転制御の状態を示す自動運転制御状態画像を生成する。すなわち、画像処理部２２は、情報記録装置Ｓの表示用情報取得手段３として機能する。画像処理部２２は、自動運転制御の状態に加えて、現在日時、走行速度、及び自車両の現在位置等の、自車両が置かれている状況を示す情報の少なくとも何れか１つを示すように、自動運転制御画像を生成してもよい。画像処理部２２は、例えば画像合成により外部画像内に、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像を埋め込むことで表示画像データを生成してもよい。或いは、画像処理部２２は、外部画像と、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像とを別々のレイヤとして含む表示画像データを生成してもよい。画像処理部２２は、生成した表示画像データを一時的に処理部９のＲＡＭ等に記憶する（ステップＳ３０）。

そして、記録部２３は、加速度センサ１５が所定値より大きい加速度を検出した場合、このような加速度が検出されたタイミングの前後所定時間に取得されて一時的にＲＡＭ等に記憶されていた表示画像データを、記録情報として記録媒体ＳＤに記録させる。すなわち、記録部２３は、情報記録装置Ｓの記録手段４として機能する。所定値より大きい加速度を検出した場合、自車両の急制動が行われたり自車両に衝撃が加わったりした蓋然性がある。所定値より大きい加速度が検出されていない場合は、記録媒体ＳＤへの記録は行われない（ステップＳ４０）。なお、記録部２３は、所定値より大きい加速度が検出された場合に加えて、自動運転レベルが変化した場合に表示画像データをメモリＳＤに記録させてもよい。

その後画像処理部２２は、ドライブレコーダＤＲの上記電源がオフとされる等により実施例に係る表示画像データの記録処理を終了するか否かを判定する（ステップＳ５０）。ステップＳ５０の判定において当該記録処理を終了する場合（ステップＳ５０：ＹＥＳ）、画像処理部２２は、そのまま当該処理を終了する。一方ステップＳ５０の判定において、当該記録処理を継続する場合（ステップＳ５０：ＮＯ）、画像処理部２２は上記ステップＳ１０に戻って、上述してきた各処理を繰り返す。

次に、図３を用いて説明した実施例に係る表示画像データの記録処理の結果としてメモリＳＤに記録される表示画像データを用いて表示される画像について、図４を用いて説明する。図４に示すように、表示画像データを用いて上述した再生装置により表示される画像１００は、外部画像１１０及び自動運転制御状態画像１２０を含む。例えば画像１００は、自動運転制御状態画像１２０が外部画像１１０内に埋め込まれて生成される。図４において、自動運転制御状態画像１２０は、加速、操舵及び制動のそれぞれの操作が自動及び手動の何れであるかを示す。しかしながら、自動運転制御状態画像１２０は、自動運転レベルを示してもよい。或いは、自動運転制御状態画像１２０は、加速、操舵及び制動のうち操作が自動である制御対象を示してもよい。自動運転制御状態画像１２０は、自動運転制御の状態を示すことに加えて、現在日時、走行速度、及び現在位置の経緯度等の少なくとも何れか１つを示してもよい。また、外部画像と自動運転制御状態画像とを別々のレイヤとして含む表示画像データを用いて画像１００を表示する場合、再生装置に対するユーザの操作に基づいて、自動運転制御状態画像１２０の表示及び非表示の切り替えが可能であってもよい。自動運転制御状態画像１２０が非表示であるとき、外部画像１１０全体が表示される。これによって、外部画像１１０内において自動運転制御状態画像１２０によって隠れていた部分の確認が可能である。或いは、外部画像１１０と自動運転制御状態画像１２０とが別々に表示されてもよい。例えば、再生装置の画面に外部画像１１０を表示するための領域と自動運転制御状態画像１２０を表示するための領域がそれぞれ設定されており、外部画像１１０が表示されているとき、ユーザが所定の表示操作を行うと、この外部画像１１０の撮影時刻における自動運転制御の状態を示す自動運転制御画像１２０が、外部画像１１０の領域とは別の領域に表示される。

以上説明したように、実施例に係る動作によれば、自車両の外部を自車両から撮像した外部画像と、自車両の自動運転制御の状態と、に基づき、外部画像の少なくとも一部と、外部画像の撮像時刻における自動運転制御の状態を示す自動運転制御画像とを同時に表示するための表示画像データをメモリＳＤに記録するので、自車両の外部の状況等を事後的に確認する場合等において、自車両の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することができる。

また、自動運転状態画像を外部画像内に埋め込むことにより生成される画像に相当する表示画像データを取得する場合には、自動運転制御の状態と外部の状況等とを容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。

また、自動運転状態画像が、少なくとも自車両の加速、操舵及び制動のうち自動運転制御下にある対象を示す場合には、加速、操舵及び制動の何れの操作が自動であるかを容易に確認することができる。

また、自動運転状態画像が自動運転レベルを示す場合には、如何なる自動運転レベルで自動運転制御が行われていたかを容易に確認することができる。

また、メモリＳＤへの表示画像データの記録が汎用のフォーマットを用いて行われる場合には、表示画像データ自体の再生又は表示における汎用性を高めることができる。

なお、表示データが記録される記録媒体は、ドライブレコーダＤＲに備えられ又はドライブレコーダＤＲが直接アクセス可能なメモリＳＤに限定されるものではない。例えば、記録媒体は、自車両の外部にある図示せぬサーバ装置が備えるハードディスク等の記憶部であってもよい。例えば、ドライブレコーダＤＲは、サーバ装置と無線通信を行うための通信部を有する。ドライブレコーダＤＲは、自車両の急制動や衝撃を検出したこと等を契機として、通信部を通じて表示画像データをサーバ装置に送信することにより、サーバ装置の記憶部に記憶させてもよい。この場合、ドライブレコーダＤＲの通信部が情報記録装置Ｓの記録手段４に相当する。このような形態では、例えば表示画像データを自動車保険会社のサーバ装置に送信することで、自動車保険会社は、事故発生時に過失割合をより迅速に決定することができる。

［変形例］
上記実施例では、車両インターフェース１７を介して自車両の自動運転制御の状態を示す自動運転データを取得していた。しかしながら、以下にそれぞれ説明する方法で自動運転制御の状態を示す情報が取得されてもよい。以下に説明する変形例によれば、例えばドライブレコーダＤＲを自車両に後付けすること等により自車両の自動運転制御の状態を示す情報を自車両から車両インターフェース１７を介して直接取得することができない場合であっても、自動運転制御の状態を示す情報を取得することができる。

［変形例１］
インターフェース２１は、自車両のドライバにより行われた運転操作とこの運転操作時の自車両の挙動との関係性に基づいて、自動運転制御の状態を示す情報を取得してもよい。

例えば、カメラ１２は、自車両の外部を撮像する外部用カメラと、自車両の室内を撮像する１又は複数の室内カメラを含む。室内カメラは、ステアリングとその周辺、並びにアクセルペダル及びブレーキペダルとそれらの周辺を撮像範囲となるように室内に設置される。画像処理部２２は、室内カメラにより撮影された画像を解析して、パターン認識を用いて画像からドライバの手足を認識する。そして、画像処理部２２は、認識された手足の移動に基づいてドライバによる運転操作を特定する。

（１）加速
画像処理部２２は、例えばドライバによるアクセルペダルを踏み込む操作と、加速度センサ１５により検出された自車両の前後方向の加速度の変化とを比較して、アクセルペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、アクセルが踏み込まれていないのにもかかわらず、自車両の進行方向に正の加速度が生じた場合、両者に関係性がないと判定される。画像処理部２２は、関係性が認められる場合には加速の制御が手動で行われていると判定し、関係性が認められない場合には加速の制御が自動で行われていると判定する。

画像処理部２２は、外部用カメラにより撮像された外部の地物（例えば建造物、電柱、路面の塗装、交通標識、植物等）の外部画像内での移動速度の変化から、自車両の加速度を計算してもよい。或いは、画像処理部２２は、加速度に代えて、自車両の速度の変化を、アクセルペダルを踏み込む操作と比較してもよい。

（２）操舵
画像処理部２２は、例えばドライバによるステアリングの操作と、自車両の進行方向の変化とを比較して、ステアリングの操作と自車両の進行方向の変化とに関係性が認められるか否かを判定する。例えば、ステアリングがドライバにより右回転させられたときに自車両の進行方向が右方向に変化した場合、両者に関係性があると判定される。また、ステアリングがドライバにより左回転させられたときに自車両の進行方向が左方向に変化した場合、両者に関係性があると判定される。一方、ドライバがステアリングを操作していないのにもかかわらず、自車両の進行方向が変化した場合、両者に関係性がないと判定される。画像処理部２２は、関係性が認められる場合には操舵の制御が手動で行われていると判定し、関係性が認められない場合には操舵の制御が自動で行われていると判定する。

画像処理部２２は、例えば加速度センサ１５により検出される自車両の左右方向の加速度に基づいて、車両の進行方向の変化を特定してもよい。例えば、画像処理部２２は、右方向の加速度が生じた場合は自車両の進行方向が右方向に変化したと判定し、左方向の加速度が生じた場合は自車両の進行方向が左方向に変化したと判定する。或いは、画像処理部２２は、外部用カメラにより撮像された外部の地物の外部画像内での移動方向に基づいて、自車両の進行方向の変化を特定してもよい。或いは、自車両の進行方向の変化速度を検出するための角速度センサがドライブレコーダＤＲに備えられてもよい。角速度センサにより検出される角速度に基づいて、自車両の進行方向の変化を特定してもよい。

（３）制動
画像処理部２２は、例えばドライバによるブレーキペダルを踏み込む操作と、加速度センサ１５により検出された自車両の前後方向の加速度の変化とを比較して、ブレーキペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、ブレーキが踏み込まれたときに自車両の進行方向に負の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に負の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、ブレーキが踏み込まれていないのにもかかわらず、自車両の進行方向に負の加速度が生じた場合、両者に関係性がないと判定される。画像処理部２２は、関係性が認められる場合には制動の制御が手動で行われていると判定し、関係性が認められない場合には制動の制御が自動で行われていると判定する。

画像処理部２２は、外部用カメラにより撮像された外部の地物の外部画像内での移動速度の変化から、自車両の加速度を計算してもよい。或いは、画像処理部２２は、加速度に代えて、自車両の速度の変化を、ブレーキペダルを踏み込む操作と比較してもよい。

本実施例においては、室内カメラにより撮像された画像を解析することによって、ドライバによる運転操作が特定されていた。しかしながら、室内カメラに代えて、ステアリング及び操作ペダルにセンサが設置されてもよい。そして、画像処理部２２は、センサからの出力に基づいて、ドライバによる運転操作を特定してもよい。例えば、ステアリングに角速度センサ及び接触センサが設置される。接触センサによりドライバがステアリングに接触していることが検出されている状態で、角速度センサによりステアリングに角速度が生じていることが検出されたとき、画像処理部２２は、ドライバがステアリングを操作していると判定する。このとき、画像処理部２２は、角速度の正負に基づいてステアリングの回転方向を判定する。また、操作ペダルには荷重センサが設置される。画像処理部２２は、荷重センサにより検出される荷重が増大した場合には、ドライバが操作ペダルを踏み込んだと判定する。

［変形例２］
カメラ１２の室内カメラ、マイク１６及び振動センサ２０の少なくとも何れか１つは、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出してもよい。自車両の室内において、自動運転制御システムにより自動運転制御の状態が報知される。この報知は、自車両の室内にいるドライバ等の人が知覚可能（感覚器への刺激を通じて認識可能）なものである。報知の方法の例として、自車両の室内に備えられるインスツルメントパネルにおける表示、自車両に備えられるスピーカからの報知音の出力、及びステアリング又は運転席等の座席の振動が挙げられる。

画像処理部２２は、カメラ１２の室内カメラ、マイク１６又は振動センサ２０により検出された報知に基づいて、自動運転制御の状態を判定してもよい。

ここで、記憶部１０に、自動運転制御の状態ごとに、移動体の種類の例として自車両の車種に対応した報知の態様が記憶されもよい。そして、画像処理部２２は、検出された報知の態様と、記憶部１０に記憶された報知の態様との比較に基づいて、自動運転制御の状態を判定してもよい。

（１）インスツルメントパネルの表示
インスツルメントパネルに、例えば自動運転制御の状態を表示するためのディスプレイが備えられる。このディスプレイに、自動運転レベルが表示されてもよい。或いは、加速、操舵及び制動のそれぞれの操作が自動であるか手動であるかを示す情報が表示されてもよい。或いは、加速、操舵及び制動のうち操作が自動である制御対象が表示されてもよい。

室内カメラは、上記ディスプレイを撮像範囲とするように室内に設置される。室内カメラは、インスツルメントパネルにおける自動運転制御の状態の表示を、上記報知として検出する。画像処理部２２は、室内カメラによる撮像結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、室内カメラにより撮像された画像を解析することにより、ディスプレイに表示されている自車両の自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、画像中から、ディスプレイに表示されている自車両の自動運転制御の状態を認識する。例えば、記憶部１０には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応したインスツルメントパネルの表示を示す画像の特徴量等が予め記憶されてもよい。画像処理部２２は、例えば撮像されたインスツルメントパネルの表示の画像から抽出された特徴量と、記憶部１０に記憶された特徴量とを比較することにより、撮像された画像が何れの自動運転制御状態に対応するかを判定してもよい。

インスツルメントパネルにおける自動制御状態の表示は常時行われるが、この表示が非継続的に行われてもよい。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に、自動制御状態の表示が行われる。自動制御状態の表示が行われていないときに自動運転制御の状態を判定する必要がある。例えば、画像処理部２２は、室内カメラにより自動制御状態の表示が検出されていないとき、画像処理部２２により前回判定された自動運転制御の状態が継続していると判定してもよい。

（２）報知音
自車両の自動運転制御システムは、自車両のインスツルメントパネル等に備えられたスピーカにより、自動運転御状態を示す報知音を非継続的に出力させる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に報知音が出力される。報知音は、例えば「自動運転レベル２です。」等といった自動運転レベルを示す音声であってもよいし、例えば「ピッピッ」等といった自動運転レベルに対応したブザー音等であってもよい。

マイク１６は、自車両の室内音を集音することにより、自動運転制御の状態を示す報知音を、上記報知として検出する。画像処理部２２は、マイク１６による報知音の集音結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、マイク１６により集音された室内音に基づいて、自動運転制御の状態を判定する。例えば、記憶部１０には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応した報知音の特徴量等が予め記憶されてもよい。画像処理部２２は、例えば集音された報知音から抽出された特徴量と、記憶部１０に記憶された特徴量とを比較することにより、集音された報知音が何れの自動運転制御状態に対応するかを判定してもよい。

報知音は非継続的に出力されることから、報知音が出力されていないときにも自動運転制御の状態を判定する必要がある。例えば、画像処理部２２は、マイク１６により報知音が検出されていないとき、画像処理部２２により前回判定された自動運転制御の状態が継続していると判定してもよい。

（３）ステアリング又は座席の振動
ステアリング又は運転席等の座席にバイブレータが備えられる。自車両の自動運転制御システムは、バイブレータを駆動することにより、ステアリング又は座席に、自動運転制御の状態を示す振動を非継続的に生じさせる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時にステアリング又は座席が振動する。自動運転御状態に対応した態様でステアリング又は座席が振動する。例えば、振動が継続する時間長、振動の強さ、振動のパターン等が自動運転御状態に対応する。

振動センサ２０は、ステアリング又は座席の自動運転制御の状態を示す振動を、上記報知として検出する。画像処理部２２は、振動センサ２０による振動の検出結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、振動センサ２０により検出された振動に基づいて、自動運転制御の状態を判定する。例えば、記憶部１０には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応した、ステアリング又は座席の振動の態様を示す情報が予め記憶されてもよい。画像処理部２２は、例えば検出された振動の態様と、記憶部１０に記憶された情報が示す振動の態様とを比較することにより、検出された振動が何れの自動運転制御状態に対応するかを判定してもよい。

振動による報知は非継続的に行われることから、ステアリング又は座席が振動していないときにも自動運転制御の状態を判定する必要がある。例えば、画像処理部２２は、振動センサ２０により振動が検出されていないとき、画像処理部２２により前回判定された自動運転制御の状態が継続していると判定してもよい。

次に、本変形例に係るドライブレコーダＤＲにおいて画像処理部２２を中心として実行される、自車両の自動運転制御の状態を示す情報の取得処理について、図５を用いて説明する。自動運転制御の状態を示す情報の取得処理は、図３に示す記録処理のステップＳ２０で実行される。

図５に示すように、画像処理部２２は、自動運転制御の状態が検出されたか否かを判定する（ステップＳ１１０）。例えば、画像処理部２２は、室内カメラにより撮像されたインスツルメントパネルの画像の特徴量と、記憶部１０に記憶された、インスツルメントパネルによる自動運転制御の状態の表示の画像の特徴量との比較に基づいて、インスツルメントパネルに自動運転制御の状態が表示されていると判定される場合、自動運転制御の状態が検出されたと判定する。或いは、画像処理部２２は、マイク１６により集音された室内音の特徴量と、記憶部１０に記憶された報知音の特徴量との比較に基づいて、集音された室内音が報知音であると判定される場合、自動運転制御の状態が検出されたと判定する。或いは、画像処理部２２は、振動センサ２０によりステアリング又は座席の振動が検出された場合、自動運転制御の状態が検出されたと判定する。自動運転制御の状態が検出された場合、画像処理部２２は処理をステップＳ１２０に進める。なお、インスツルメントパネルによる自動運転制御の状態の表示が常時行われる場合、画像処理部２２は、ステップＳ１１０の判定を行わずに、ステップＳ１２０を実行すればよい。一方、自動運転制御の状態が検出されなかった場合、画像処理部２２は処理をステップＳ１３０に進める。

ステップＳ１２０において、画像処理部２２は、検出された報知に基づいて、自動運転制御の状態を判定する。例えば、インスツルメントパネルによる表示の場合、画像処理部２２は、ステップＳ１１０で実行された画像の特徴量の比較に基づいて、自動運転制御の状態を判定する。報知音の場合、画像処理部２２は、ステップＳ１１０で実行された音の特徴量の比較に基づいて、自動運転制御の状態を判定する。振動の場合、画像処理部２２は、振動センサにより検出された振動の態様と、記憶部１０に記憶された振動の態様を示す情報との比較に基づいて、自動運転制御の状態を判定する。画像処理部２２は、判定した自動運転制御の状態を示す情報を、メモリＳＤに記録させる表示画像データを生成するための情報として取得する。また、画像処理部２２は、判定した自動運転制御の状態を示す情報を、一時的にＲＡＭ等に記憶させる。

ステップＳ１３０において、画像処理部２２は、前回判定された自動運転制御の状態が継続していると判定する。そして、画像処理部２２は、ＲＡＭに一時的に記憶されている自動運転制御の状態を示す情報を、表示画像データを生成するための情報として取得する。

ステップＳ１２０又はＳ１３０を実行すると、画像処理部２２は、自動運転制御の状態を示す情報の取得処理を終了させて、図３に示すステップＳ３０に処理を進める。図３に示すステップＳ３０及びＳ４０において、表示画像データの生成及び記録が行われることにより、画像処理部２２により判定された自動運転制御の状態と、現在日時、自車両の位置及び外部画像データとが記録情報として記録される。なお、本変形例においては、インターフェース２１は、現在日時、自車両の位置及び外部画像データの少なくとも１つを状況情報を取得すればよい。そして、インターフェース２１は、状況情報が取得されたときに画像処理部２２により判定された自動運転制御の状態を取得し、記録部２３は、取得された状況情報と取得された自動運転制御の状態とを含む記録情報をメモリＳＤに記録すればよい。

以上説明したように、変形例２に係る動作によれば、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出し、検出された報知に基づいて、自動運転制御の状態を判定するので、自車両から直接自動運転状態を示す情報を取得しなくても、自動運転制御の状態を判定することができる。

また、インスツルメントパネルにおける自動運転制御の状態の表示を、上記報知として検出する場合、インスツルメントパネルにおける表示に基づいて、自動運転制御の状態を判定することができる。

また、自動運転制御の状態を示す報知音を、上記報知として検出する場合、報知音に基づいて、自動運転制御の状態を判定することができる。

また、自車両の操作ハンドル又は座席の、自動運転制御の状態を示す振動を、上記報知として検出する場合、振動に基づいて、自動運転制御の状態を判定することができる。

また、非継続的に行われる上記報知を検出し、自動運転制御の状態の報知が検出されていないとき、前回判定された自動運転制御の状態が継続していると判定する場合、報知が非継続に行われる場合であっても、自動運転制御の状態を適切に判定することができる。

また、検出された報知の態様と、記憶部１０に記憶された報知の態様との比較に基づいて、自動運転制御の状態の判定を行う場合、自動運転制御の状態を容易に判定することができる。

また、現在日時、自車両の位置及び外部画像の少なくとも１つである状況情報を取得し、判定された自動運転制御の状態であって、状況情報が取得されたときの自動運転制御の状態を取得し、状況情報と自動運転制御の状態とを含む記録情報をメモリＳＤに記録させる場合、自車両が置かれていた状況を、自車両の自動運転制御の状態と共に事後的に確認することができる。

１ 画像情報取得手段
２ 自動運転情報取得手段
３ 表示用情報取得手段
４ 記録手段
９ 処理部
１０ 記憶部
１２ カメラ
１４ ＧＰＳセンサ
１５ 加速度センサ
１６ マイク
１７ 車両インターフェース
２０ 振動センサ
２１ インターフェース
２２ 画像処理部
２３ 記録部
ＳＤ 記録媒体、メモリ
Ｓ 情報記録装置
ＤＲ ドライブレコーダ

請求項１０に記載の発明は、コンピュータにより実行される情報記録方法において、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する外部画像情報取得工程と、前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得工程と、前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得工程と、前記表示用情報を記録媒体に記録させる記録制御工程と、を含むことを特徴とする。

Claims (11)

1. 移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する画像情報取得手段と、
   前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得手段と、
   前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得手段と、
   前記表示用情報を記録媒体に記録させる記録制御手段と、
   を備える情報記録装置。
2. 前記表示用情報取得手段は、前記自動運転状態画像を前記外部画像内に埋め込むことにより生成される画像に相当する前記表示用情報を取得することを特徴とする請求項１に記載の情報記録装置。
3. 前記自動運転状態画像は、少なくとも前記移動体の加速、操舵及び制動のうち前記自動運転制御下にある対象を示すことを特徴とする請求項１又は２に記載の情報記録装置。
4. 前記自動運転状態画像は、自動運転のレベルを示すことを特徴とする請求項１又は２に記載の情報記録装置。
5. 前記自動運転情報取得手段は、前記移動体の運転者により行われた運転操作と該運転操作時の前記移動体の挙動との関係性に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
6. 前記自動運転情報取得手段は、前記移動体のインスツルメントパネルにおける前記自動運転制御の状態の表示の撮像結果に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
7. 前記自動運転情報取得手段は、前記移動体の室内に出力される、前記自動運転制御の状態を示す音の集音結果に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
8. 前記自動運転情報取得手段は、前記移動体のステアリング又は座席の、前記自動運転制御の状態を示す振動の検出結果に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
9. 前記外部画像は動画像であることを特徴とする請求項１乃至８の何れか１項に記載の情報記録装置。
10. コンピュータにより実行される情報記録方法において、
    移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する外部画像情報取得工程と、
    前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得工程と、
    前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得工程と、
    を含むことを特徴とする情報記録方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の情報記録装置として機能させることを特徴とする情報記録用プログラム。

Images