JP7343962B2 - 車載装置、車載装置用制御プログラム、及び車載装置用制御方法 - Google Patents

Description

本発明は、地図データ構造に関する。

近年、人間による車両の運転を補助する運転支援技術や、コンピュータ制御によって自動で車両を運転する自動運転技術等の技術（以下、「運転支援技術」という）が注目されている。

このような運転支援技術では、車両に、レーザ光を用いたリモートセンシング技術であるＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を実現するセンサ、グローバルポジショニングシステム（ＧＰＳ）、カメラ等のセンシングデバイスや制御装置が搭載された車両が用いられる。

このような背景の中、例えば、走行情報を解析する装置がある（例えば、特許文献１）。また、近年は、ドライブレコーダにも関心が高まっている。

特開２０１７－１０１９１号公報

自動運転制御において走行する移動体において、ドライブレコーダ等の撮像装置を最適に制御することが求められている。

本発明が解決しようとする課題としては、移動体の走行状況に応じて、撮像装置を最適に制御する地図データ構造の提供が一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、車両の走行に利用する地図データのデータ構造であって、車両が走行する道路の状況、環境に関する状況情報及び走行する該車両の状態のうち少なくともいずれか１つに関する情報と、撮像装置の制御に関する制御情報とを関係付けた情報である付加情報が前記地図データに付加されていることを特徴とする。

上記課題を解決するために、請求項４に記載の発明は、車両の現在の位置情報を取得する第１取得部と、車両が走行する道路の状況、環境に関する状況及び走行する該車両の状態のうち少なくともいずれか１つに関する情報と、撮像装置の制御に関する制御情報とを関係付けた付加情報が付加された地図データを取得する第２取得部と、前記位置情報に基づいて、前記地図データから前記状況情報を抽出し、抽出した該状況情報に対応する制御情報を決定する決定部と、決定した前記制御情報に基づいて前記撮像装置の動作を制御する制御部と、を備えることを特徴とする。

上記課題を解決するために、請求項６に記載の発明は、車両の現在の位置情報を取得する第１取得処理と、車両が走行する道路の状況、環境に関する状況及び走行する該車両の状態のうち少なくともいずれか１つに関する情報と、撮像装置の制御に関する制御情報とを関係付けた付加情報が付加された地図データを取得する第２取得処理と、前記位置情報に基づいて、前記地図データから前記状況情報を抽出し、抽出した該状況情報に対応する制御情報を決定する決定処理と、決定した前記制御情報に基づいて前記撮像装置の動作を制御する制御処理と、をコンピュータに実行させることを特徴とする。

上記課題を解決するために、請求項７に記載の発明は、車両の現在の位置情報を取得する第１取得工程と、車両が走行する道路の状況、環境に関する状況及び走行する該車両の状態のうち少なくともいずれか１つに関する情報と、撮像装置の制御に関する制御情報とを関係付けた付加情報が付加された地図データを取得する第２取得工程と、前記位置情報に基づいて、前記地図データから前記状況情報を抽出し、抽出した該状況情報に対応する制御情報を決定する決定工程と、決定した前記制御情報に基づいて前記撮像装置の動作を制御する制御工程と、を、コンピュータが実行することを特徴とする。

図１（ａ）は、本発明の一実施形態における地図データ構造と、それを記憶する地図データ記憶装置を説明する図、図１（ｂ）は、本発明の一実施形態における車載装置１１を説明する図 本発明の一実施例における車載システムのブロック図 図２に示された車載システム及びサーバ装置のブロック図 図２に示された車載システムにおける付加情報の一例を示す図 図４に示された付加情報に基づいて制御されるドライブレコーダの動作を説明するための図（その１） 図４に示された付加情報に基づいて制御されるドライブレコーダの動作を説明するための図（その２） 図２に示された車載システムによる全体処理のフローチャート

図１（ａ）は、本発明の一実施形態における地図データ構造と、それを記憶する地図データ記憶装置を説明する図である。

本実施形態の地図データ構造は、地図データ２と付加情報２ａとを含んだデータ構造である。付加情報２ａは、移動体が走行する道路の状況、環境に関する状況情報及び走行する該移動体の状態のうち少なくともいずれか１つに関する情報と、撮像装置の制御に関する制御情報とを関係付けた情報であって地図データ２に付加される情報である。地図データ２の一例としては、後述する地図データ２１が挙げられる。付加情報２ａの一例としては、後述する付加情報２２が挙げられる。

このように構成することにより、移動体の走行状況に応じて、撮像装置を最適に制御する地図データ構造の提供をすることができる。

制御情報は、撮像装置のフレームレート、画角、アスペクト比、撮影解像度、撮影記録方式、撮影画像の記録先メディア、記録モード、ホワイトバランスの設定のうち少なくともいずれか１つを指示する情報を含む。

このように構成することにより、撮像装置の動作を制御することができる。

地図データ記憶装置１は、地図データ２を記憶することができる。地図データ記憶装置１の一例としては、後述するサーバ装置４２が挙げられる。

図１（ｂ）は、本発明の一実施形態における車載装置４を説明する図である。車載装置４は、第１取得部５、第２取得部６、決定部７、制御部８を含む。車載装置４の一例としては、後述する車載装置１１が挙げられる。

第１取得部５は、移動体の現在の位置情報を取得する。第１取得部５の一例としては、後述するＳ２の処理を実行する制御部１２が挙げられる。

第２取得部６は、移動体が走行する道路の状況、環境に関する状況及び走行する該移動体の状態のうち少なくともいずれか１つに関する情報と、撮像装置９の制御に関する制御情報とを関係付けた付加情報２ａが付加された地図データ２を取得する。第２取得部６の一例としては、後述するＳ１の処理を実行する制御部１２が挙げられる。

決定部７は、位置情報に基づいて、地図データ２から状況情報を抽出し、抽出した状況情報に対応する制御情報を決定する。決定部７の一例として、後述するＳ３及びＳ４の処理を実行する制御部１２が挙げられる。

制御部８は、決定した制御情報に基づいて撮像装置９の動作を制御する。制御部８の一例として、後述するＳ５の処理を実行する制御部１２が挙げられる。このように構成することにより、移動体の走行状況に応じて、撮像装置を最適に制御することができる。

制御情報は、撮像装置９のフレームレート、画角、アスペクト比、撮影解像度、撮影記録方式、撮影画像の記録先メディア、記録モード、ホワイトバランスの設定のうち少なくともいずれか１つを指示する情報を含むことができる。このように構成することにより、撮像装置９の動作を制御することができる。

本発明の一実施例を図２～図７を用いて説明する。図２は、本発明の一実施例における車載システムのブロック図である。車載システム１０は、車載装置１１、ドライブレコーダ３１を含む。車載装置１１は、例えば、カーナビゲーション装置であってもよい。車載装置１１は、制御部１２、メモリ１３、入出力インターフェース１４、タッチパネル１５、車速センサ１６、スピーカ１７、グローバルポジショニングシステム（ＧＰＳ）受信機１８、自立航法センサ１９、記憶装置２０、通信部２３、バス２５を含む。以下では、インターフェースを「Ｉ／Ｆ」と称する。

バス２５は、制御部１２、メモリ１３、入出力Ｉ／Ｆ１４、タッチパネル１５、車速センサ１６、スピーカ１７、ＧＰＳ受信機１８、自立航法センサ１９、記憶装置２０、通信部２３を通信可能に接続する通信経路である。

制御部１２は、中央演算装置（ＣＰＵ）、ＭＰＵ（micro-processing unit）等によって構成されるプロセッサであり、車載装置１１全体の動作を制御する。メモリ１３は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）等のメモリデバイスである。

入出力Ｉ／Ｆ１４は、外部機器と接続して、外部機器と通信可能とするインターフェースである。タッチパネル１５は、ナビゲーションシステムの画面を表示するディスプレイであると共に、タッチ操作により制御部１２へ指示を入力するデバイスである。

車速センサ１６は、車両の速度を感知し、制御部１２に車速信号を送る。スピーカ１７は、音声による経路案内情報を出力する。

ＧＰＳ受信機１８は、アンテナ２４を介してＧＰＳ衛星（図示省略）からＧＰＳ情報（現在位置を示す位置情報および現在時刻を示す時刻情報を含む）を受信する。自立航法センサ１９は、角度センサおよび距離センサから成り（いずれも、図示省略）、ＧＰＳ受信機１８との組み合わせにより、移動体の現在位置を特定するために用いられる。

記憶装置２０は、大容量記憶装置であり、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリカードなど様々な形式の記憶装置を使用することができる。

記憶装置２０には、地図データ２１が記憶されている。地図データ２１には、付加情報２２が付加されている。地図データ２１は、移動体の経路誘導を行うための地図データである。本実施形態において、地図データ２１は、各道路の制限速度情報、交通規制情報（時間帯に応じた通行規制、一方通行など）を含む。付加情報２２は、移動体が走行する道路の状況に関する状況情報と、ドライブレコーダ３１の制御に関する制御情報とを対応付けた情報である。付加情報２２については、図４で説明する。

通信部２３は、不図示の無線中継器を介して、インターネット等の有線または無線のネットワーク上に構築された情報提供サーバ（図示省略）と通信を行う。本実施形態では、通信部２３は、主に道路交通情報（渋滞情報、工事等による一時的な交通規制情報など）を受信する。地図データ２１には、制限速度情報および交通規制情報、並びに情報提供サーバから取得する道路交通情報等の道路情報が含まれる。

ドライブレコーダ３１は、映像音声等を記録する移動体用の車載装置である。ドライブレコーダ３１は、制御部３２、撮像部３５、メモリ３３、入出力Ｉ／Ｆ３４、バス３６を含む。バス３６は、制御部３２、撮像部３５、メモリ３３、入出力Ｉ／Ｆ３４を相互に接続し、相互に通信可能とする通信経路である。

制御部３２は、中央演算装置（ＣＰＵ）、ＭＰＵ（micro-processing unit）等によって構成されるプロセッサであり、ドライブレレコーダ３１全体の動作を制御する。撮像部３５は、ＣＣＤ（Charge Coupled Device）等のカメラである。撮像部３５は、例えば移動体の前方における静止画及び動画を撮影することができる。

メモリ３３は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）等のメモリデバイスである。入出力Ｉ／Ｆ３４は、車載装置１１と接続して通信可能とするインターフェースである。入出力Ｉ／Ｆ３４は、有線ケーブルまたは無線により車載装置１１の入出力Ｉ／Ｆ１４と接続されている。

ここで、車載装置１１の記憶装置２０には、車載装置１１の制御部１２を、取得部２、決定部３、制御部４として機能させる本実施形態に係るプログラムが格納されている。制御部１２は、記憶装置２０から本実施形態に係るプログラムを読み出し、当該プログラムを実行する。当該プログラムは、プログラム提供者側から通信ネットワーク、および通信Ｉ／Ｆ２３を介して、例えば記憶装置２０に格納されてもよい。また、当該プログラムは、市販され、流通している可搬型記憶媒体に格納されていてもよい。この場合、この可搬型記憶媒体は不図示の読取装置にセットされて、制御部１２によってそのプログラムが読み出されて、実行されてもよい。可搬型記憶媒体としてはＣＤ－ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＩＣカード、ＵＳＢメモリ装置、半導体メモリカードなど様々な形式の記憶媒体を使用することができる。このような記憶媒体に格納されたプログラムが読取装置によって読み取られる。

なお、付加情報２２が付加された地図データ２１は、外部のサーバ装置からダウンロードするようにしてもよい。これについては、図３を用いて説明する。

図３は、本実施例における車載システム及びサーバ装置のブロック図である。車両４１は、車載システム１０として、車載装置１１、及びドライブレコーダ３１を搭載する。車載装置１１、ドライブレコーダ３１は、それぞれ図２で説明したものと同様なので、その説明を省略する。ただし、図３では車載装置１１の記憶装置２０には、付加情報２２を含む地図データ２１が予め記憶されていないものとする。

サーバ装置４２は、地図データ記憶装置として機能する。サーバ装置４２は、制御部４３、メモリ４４、通信部４５、記憶装置４６、バス４７を含む。バス４７は、制御部４３、メモリ４４、通信部４５、記憶装置４６を通信可能に接続する通信経路である。

制御部４３は、ＣＰＵ、ＭＰＵ等によって構成されるプロセッサであり、サーバ装置４２全体の動作を制御する。メモリ４４は、ＲＡＭ、ＲＯＭ等のメモリデバイスである。通信部４５は、外部の装置と通信を可能にするためのデバイスであり、インターネット４８等の有線または無線のネットワークと接続して通信を可能とする。本実施形態では、車載装置１１とサーバ装置４２はそれぞれ通信部２３、通信部４５を介して、相互に通信可能である。

記憶装置４６は、大容量記憶装置であり、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリカードなど様々な形式の記憶装置を使用することができる。

記憶装置４６には、地図データ２１が記憶されている。地図データ２１には、付加情報２２が付加されている。付加情報２２が付加された地図データ２１は、図２で説明したものと同様であるので、その説明を省略する。

図３の場合、車両４１に搭載された車載装置１１は、通信部２３を介して、サーバ装置４２の記憶装置４６に記憶されている付加情報２２が付加された地図データ２１をダウンロードして、車載装置１１の記憶装置２０またはメモリ１３に記憶する。

これにより、車載装置１１内に付加情報２２が付加された地図データ２１を予め記憶しておく必要はなく、必要に応じて車載装置１１と同様の機能を保持するデバイスに、付加情報２２が付加された地図データ２１をダウンロードすることができる。

図４は、本実施例における付加情報の一例を示す図である。付加情報２２は、「状況」２２ａ、「制御情報」２２ｂのデータ項目を含む。「状況」２２ａには、道路の状況や環境（例えば、高速道路、市街地、事故多発地点等）が格納されている。さらに、「状況」２２ａには、移動体の走行モード（例えば、自動運転レベル（高）、自動運転レベル（低）等）等の移動体の状態が格納されている。走行モード＝「自動運転レベル（高）」は、自動運転で自動車が走行するモードをいう。走行モード＝「自動運転レベル（低）」は、手動運転または一部自動運転で移動体が走行するモードをいう。本実施例における「状況」２２ａは、図４の内容には限定されない。時間帯（日中、夜間）、天候、学校や公園等の子供が多い地域等を設定してもよい。

「制御情報」２２ｂには、「状況」２２ａに対応するドライブレコーダ３１に対する制御情報が格納される。例えば、高速道路に対応して「画角を狭くする」という制御情報が格納されている。あるいは、画像認識処理の範囲を狭めるという制御方法としてもよい。これにより、比較的狭い範囲に絞って撮影することで、スピード優先の認識処理を行うことができるようになる。なお、本実施例での「画角を狭くする」とは、所定の画角より狭くしてもよいし、ドライブレコーダ３１に現在設定されている画角より狭くしてもよいことを表す。

また、市街地／事故多発地帯に対応して「画角を広くする」という制御情報が格納されている。これにより、より広範な領域の画像認識を行うことができる。なお、本実施例での「画角を広くする」とは、所定の画角より広くしてもよいし、ドライブレコーダ３１に現在設定されている画角より広くしてもよいことを表す。

また、曲がり角に対応して「画角を広くする」という制御情報が格納されている。あるいは、カメラを物理的に左右に動かすという制御情報としてもよい。これにより、より広範な領域の画像認識または移動体の進行方向に基づいた適切な領域の画像認識を行うことができるようになる。なお、図４の付加情報は一例であってこれに限定されない。

図５は、本実施例における付加情報に基づいて制御されるドライブレコーダの動作を説明するための図（その１）である。例えば、車両が高速道路を走行している場合、車載装置１１の制御部１２は、図５（ａ）に示すように、ドライブレコーダ３１の撮像部３５の画角を狭くするように制御したり、または画像認識処理の範囲を狭める制御を行うことができる。これにより、上述したように、移動体の前方の比較的狭い範囲に絞って撮影することで、スピード優先の認識処理を行うことができる。

また、例えば、車両が市街地を走行している場合には、制御部１２は、図５（ｂ）に示すように、ドライブレコーダ３１の撮像部３５の画角を広くする制御を行うことができる。これにより、上述したように、より広範な領域の画像認識を行うことができる。

また、図５には記載されていないが、車両が曲がり角を走行している場合には、車載装置１１の制御部１２は、ドライブレコーダ３１の撮像部３５の画角を広くする、あるいはカメラを物理的に左右に動かす制御を行うことができる。これにより、上述したように、より広範な領域の画像認識または移動体の進行方向に基づいた適切な領域の画像認識を行うことができる。

図６は、本実施例における付加情報に基づいて制御されるドライブレコーダの動作を説明するための図（その２）である。たとえば、車両の走行モードが自動運転レベル（高）に設定されている場合、車載装置１１の制御部１２は、符号５２示すように、カーブの先を追従するようにカメラを向け、画角を設定（画角を狭く）することができる。これにより、より遠くの状況を認識することができる。

また、たとえば、車両の走行モードが自動運転レベル（低）に設定されている場合、制御部１２は、符号５１に示すように、移動体の前方に対して、画角を広くとる制御を行う。これにより広範な領域を撮影することができる。

本実施例では、ドライブレコーダ３１の「制御情報」２２ｂとして、図４の内容の様に画角を設定する情報には限定されない。ドライブレコーダ３１の撮像部におけるフレームレート（例えば３０ｆｐｓ、６０ｆｐｓ等）、アスペクト比（例えば１６：９、４：３等）、撮影解像度（例えば動画：１９２０×１０８０、１２８０×７２０等、静止画：ＶＧＡ等）、撮影記録方式（例えば動画：ＡＶＩ、Ｈ．２６４等、静止画：ＪＰＥＧ、ＴＩＦＦ等）、撮影画像の記録先メディア（例えばドライブレコーダ３１に内蔵された不図示のＳＤカード等）、記録モード（常時録画タイプ、イベント記録（例えば衝撃感知、動き検知等）タイプ）、ホワイトバランス等を設定してもよい。

図７は、本実施例における車載システム１０による全体処理のフローチャートである。車載システム１０を搭載した車両４１が道路を走行しているとする。ここで、付加情報２２が付加された地図データ２１は、予め記憶装置２０に記憶されているか、またはサーバ装置４２からダウンロードされて記憶装置２０またはメモリ１３に保持されているものとする。
車載装置１１の制御部１２は、記憶部２０またはメモリ１３から、付加情報２２が付加された地図データ２１を読み込む（Ｓ１）。制御部１２は、ＧＰＳ受信機１８を介して現在位置を取得する（Ｓ２）。

制御部１２は、地図データ２１から現在位置に対応する道路の状況または環境を取得する（Ｓ３）。制御部１２は、付加情報２２から、Ｓ３で取得した道路の状況または環境に対応する制御情報を決定する（Ｓ４）。制御部１２は、入出力Ｉ／Ｆ１４を介して、決定した制御情報をドライブレコーダ３１へ送信する（Ｓ５）。

ドライブレコーダ３１は、入出力Ｉ／Ｆ３４を介して制御情報を受信する（Ｓ６）。制御部３５は、図５及び図６説明したように、受信した制御情報に基づいて、撮像部３５を制御する（Ｓ７）。これにより、撮像部３５は、フレームレートや画角の設定等を制御することができる。

終了条件を満たさない場合（例えば、車両が一時停止した場合等）（Ｓ８で「ＮＯ」）、Ｓ２の処理へ進み、上述の処理を繰り返す。終了条件を満たした場合（Ｓ８で「ＹＥＳ」）、本フローは終了する。

なお、静止画・動画の情報で欲しい地点のデータを取得するために、撮像装置の撮像方向を変えてもよい。撮像装置が取得した情報は、例えば、外部にあるサーバ装置に送信されてもよい。この場合、サーバ装置は受信した静止画・動画の情報に基づいて、地図データの差分更新等を行ってもよい。また、その情報を、事故や渋滞の集計、自動運転用教師データの生成等に用いてもよい。

また、方向（角度）を変えるのは撮像装置に限定されず、例えばＬｉＤＡＲ等のセンサであってもよい。この場合、ＬｉＤＡＲからの点群データを任意の移動体から数多く取得すれば、自動運転用データ（点群データ等）の整備にも活用できる。

本実施形態によれば、移動体の走行状況に応じて、撮像装置を最適に制御することができる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ 地図データ記憶装置
２ 地図データ
２ａ 付加情報
４ 車載装置
５ 第１取得部
６ 第２取得部
７ 決定部
８ 制御部
９ 撮像装置
１０ 車載システム
１１ 車載装置
１２ 制御部
２０ 記憶装置
２１ 地図データ
２２ 付加情報
２３ 通信部
３１ ドライブレコーダ
３２ 制御部
４１ 車両
４２ サーバ装置

Claims (3)

1. 移動体の現在の位置情報を取得する第１取得部と、
   前記移動体が走行する道路の状況、環境に関する状況情報、及び、該移動体の走行状態のうち少なくとも１つに関する情報と、撮像装置の制御に関し、前記撮像装置の画角に加えて、アスペクト比、撮影解像度、撮影記録方式、撮影画像の記録先メディア、記録モード、ホワイトバランスの設定のうち少なくとも１つを指示する情報を含む制御情報とを対応付けた付加情報が付加された地図データを取得する第２取得部と、
   前記位置情報に基づいて、前記地図データから前記状況情報を抽出し、抽出した該状況情報に対応する制御情報を決定する決定部と、
   決定した前記制御情報に基づいて前記撮像装置を制御する制御部とを備え、
   前記制御情報には、前記状況情報、及び、前記走行状態のうち少なくとも１つに関する情報に応じて、スピード優先の認識処理を行う際には画像認識を行うための前記画角をより狭くし、より広範な領域の画像認識を行う際には前記画角をより広くする情報が対応付けられる
   ことを特徴とする車載装置。
2. 移動体の現在の位置情報を取得する第１取得処理と、
   前記移動体が走行する道路の状況、環境に関する状況情報、及び、該移動体の走行状態のうち少なくとも１つに関する情報と、撮像装置の制御に関し、前記撮像装置の画角に加えて、アスペクト比、撮影解像度、撮影記録方式、撮影画像の記録先メディア、記録モード、ホワイトバランスの設定のうち少なくとも１つを指示する情報を含む制御情報とを対応付けた付加情報が付加された地図データを取得する第２取得処理と、
   前記位置情報に基づいて、前記地図データから前記状況情報を抽出し、抽出した該状況情報に対応する制御情報を決定する決定処理と、
   決定した前記制御情報に基づいて前記撮像装置を制御する制御処理とをコンピュータに実行させる車載装置用制御プログラムであって、
   前記制御情報には、前記状況情報、及び、前記走行状態のうち少なくとも１つに関する情報に応じて、スピード優先の認識処理を行う際には画像認識を行うための前記画角をより狭くし、より広範な領域の画像認識を行う際には前記画角をより広くする情報が対応付けられる
   ことを特徴とする車載装置用制御プログラム。
3. 移動体の現在の位置情報を取得する第１取得工程と、
   前記移動体が走行する道路の状況、環境に関する状況情報、及び、該移動体の走行状態
   のうち少なくとも１つに関する情報と、撮像装置の制御に関し、前記撮像装置の画角に加えて、アスペクト比、撮影解像度、撮影記録方式、撮影画像の記録先メディア、記録モード、ホワイトバランスの設定のうち少なくとも１つを指示する情報を含む制御情報とを対応付けた付加情報が付加された地図データを取得する第２取得工程と、
   前記位置情報に基づいて、前記地図データから前記状況情報を抽出し、抽出した該状況情報に対応する制御情報を決定する決定工程と、
   決定した前記制御情報に基づいて前記撮像装置を制御する制御工程とを、コンピュータが実行する車載装置用制御方法であって、
   前記制御情報には、前記状況情報、及び、前記走行状態のうち少なくとも１つに関する情報に応じて、スピード優先の認識処理を行う際には画像認識を行うための前記画角をより狭くし、より広範な領域の画像認識を行う際には前記画角をより広くする情報が対応付けられる
   ことを特徴とする車載装置用制御方法。

Images