JP7115325B2 - サーバ、車載装置、車両、プログラム、及び情報提供方法 - Google Patents

Description

本開示は、サーバ、車載装置、車両、プログラム、及び情報提供方法に関する。

車載カメラにより車両周辺を撮像して撮像画像を生成し、撮像画像を車室内で表示したり種々の画像処理に供したりする技術が知られている。車両の外部環境は、昼夜の別、天候といった要因に応じて明るさが変化する。よって、外部環境の明るさによらず、利用目的に適した撮像画像を撮像する技術が提案されている。たとえば、特許文献１には、車載カメラの周辺の明るさを照度センサにより検知し、明るさに応じて車載カメラの絞り、露光時間といった撮像モードを調整する技術が開示されている。

特開２０１８－０７４４４０号公報

特許文献１の技術は、撮像モードを切り替えることで撮像画像全体の輝度を調整する。しかしながら、撮像画像における部分的な明暗に基づいてユーザに有益な情報を提供し、もって利便性を向上させる余地がある。

そこで、上記に鑑み、本発明の目的は、ユーザにとっての利便性を向上させるサーバ等を提供することにある。

本開示の一実施形態に係るサーバは、歩道を含む車両周辺を撮像して撮像画像を生成する車載装置から、撮像日時及び撮像位置を受信する受信部と、前記撮像画像及び前記撮像位置から検出される、前記撮像日時における前記歩道の明暗情報を記憶する記憶部と、前記明暗情報を携帯端末に送信する送信部と、を有する。

本開示の別の態様に係る車載装置は、歩道を含む車両周辺を撮像して撮像画像を生成する撮像部と、前記撮像部が撮像を行うとき撮像日時及び撮像位置を取得する取得部と、前記撮像画像及び前記撮像位置から、前記撮像日時における前記歩道の明暗情報を検出する明暗情報検出部と、前記明暗情報をサーバに送信する送信部と、を有する。

本開示の別の態様に係るプログラムは、車載装置にて歩道を含む車両周辺が撮像されて生成される像画像及び撮像位置から検出される、撮像日時における道路の明暗情報を記憶するサーバから、前記明暗情報を受信する工程と、前記明暗情報を出力する工程と、を携帯端末に実行させる。

本開示の別の態様に係る情報提供方法は、車載装置とサーバによる情報提供方法であって、前記車載装置は、歩道を含む車両周辺を撮像して撮像画像を生成し、前記車載装置またはサーバは、前記撮像画像及び撮像位置から、撮像日時における前記歩道の明暗情報を検出し、前記サーバは、前記明暗情報を携帯端末に送信する。

本開示におけるサーバ等によれば、ユーザにとっての利便性を向上させることができる。

情報提供システムの構成を示す図である。 サーバの構成を示す図である。 車載装置の構成を示す図である。 車載装置の動作を示すフローチャート図である。 サーバの動作を示すフローチャート図である。 明暗情報検出の例を示す図である。 明暗情報検出の例を示す図である。 明暗情報の例を示す図である。 変形例における車載装置の動作を示すフローチャート図である。 変形例におけるサーバの動作を示すフローチャート図である。 情報提供システムの動作を示すシーケンス図である。 明暗情報の出力例を示す図である。 明暗情報の出力例を示す図である。

以下、図面を参照しつつ、本発明の一実施形態について説明する。

図１は、一実施形態に係る情報提供システム１の構成を示す。情報提供システム１は、サーバ１０と、車両１２に搭載される車載装置１１とを有する。サーバ１０と車載装置１１は、それぞれ有線または無線でネットワーク１５を介して互いに情報通信可能に接続される。サーバ１０は、複数の車両１２それぞれの車載装置１１と接続されてもよい。車両１２は、たとえば自動車であるが、これに限られずユーザが乗車可能な任意の車両であってもよい。また、ユーザが携帯する携帯端末１４は、有線または無線でネットワーク１５を介してサーバ１０と情報通信可能に接続される。

車載装置１１は、車両１２の移動中に歩道を含む車両１２の周辺を撮像して撮像画像を生成する。歩道は、車道からガードレール等により分離された歩道だけでなく、車道の歩行可能な路側帯も含む。また、車載装置１１は、撮像画像並びに撮像日時及び撮像位置、または少なくとも撮像日時及び撮像位置をサーバ１０に送信する。サーバ１０は、撮像画像及び撮像位置から検出される、撮像日時における歩道の明暗情報を記憶する。歩道の明暗情報は、昼間時に日陰を有する部分の位置、または夜間時に光源からの光を受ける部分の位置を有する。ここで、昼間時は日の出から日没までである。日陰は、建物または街路樹により日光が遮られて生成される。一方、夜間時は日没から日の出までである。歩道が光を受ける光源は、付近を往来する車両のヘッドランプ、街灯、建物から漏れる照明などである。そして、サーバ１０は、明暗情報を携帯端末１４に送信する。これにより、ユーザは、携帯端末１４により、歩道の明暗情報を取得することができる。ユーザは、たとえば昼間の日照の強いときに歩道の日陰の位置を認識できるので日陰の多い経路を選んだり、また、たとえば夜間に歩道の明るい部分が多い経路を選んだりして、歩行することができる。よって、ユーザは、より快適かつ安全に歩行することができ、利便性が向上する。

図２は、サーバ１０の構成を示す。サーバ１０は、通信部２０、記憶部２１、及び制御部２２を有する。サーバ１０は、１つ又は互いに通信可能な複数のコンピュータである。

通信部２０は、ネットワーク１５に接続する１つ以上の通信モジュールを含む。たとえば、通信部２０は、有線ＬＡＮ（Local Area Network）規格に対応する通信モジュールを含んでもよい。本実施形態において、サーバ１０は、通信部２０を介してネットワーク１５に接続される。

記憶部２１は、１つ以上のメモリを含む。記憶部２１に含まれる各メモリは、例えば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部２１は、サーバ１０の動作に用いられる任意の情報、制御・処理プログラム、及びデータベースを記憶する。

制御部２２は、１つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部２２は、記憶部２１に格納される制御・処理プログラムに従ってサーバ１０の動作を制御する。また、制御部２２は、現在時刻を把握する計時機能を有する。

図３は、車載装置１１の構成を示す。車載装置１１は、通信部３１、記憶部３２、検出部３３、撮像部３４、及び制御部３６を有する。車載装置１１は、単一の装置であってもよいし、複数の装置により構成されてもよい。

通信部３１は、１つ以上の通信モジュールを有する。通信モジュールは、たとえば、４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応するモジュールを含む。また、通信部３１は、ＤＣＭ（Data Communication Module）等の通信機を有してもよい。車載装置１１は、通信部３１を介してネットワーク１５に接続され、サーバ１０とデータ通信を行う。また、通信モジュールは、ＧＰＳ（Global Positioning System）受信モジュールを含む。車載装置１１は、通信部３１によりＧＰＳ信号を受信する。

記憶部３２は、１つ以上のメモリを含む。記憶部３２に含まれる各メモリは、たとえば半導体メモリ、磁気メモリ、または光メモリ等であるが、これらに限られない。各メモリは、たとえば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部３２は、車載装置１１の動作に用いられる任意の情報を記憶する。たとえば、記憶部３２は、制御・処理プログラム、及び組み込みソフトウェア等を記憶してもよい。

検出部３３は、たとえば、車速、ブレーキの制動力、加速度、舵角、ヨーレート、方角等を検出する、各種センサを有する。検出部３３は、所定の周期で、各種センサの検出結果を制御部３６に送る。

撮像部３４は、車載装置１１による撮像機能を実現する。撮像部３４は、たとえば、車両１２の進行方向前方の風景・被写体を撮像する１つまたは複数のカメラを有する。撮像部３４は、車両１２の側面方向、及び車両１２の後方を撮像するカメラを有してもよい。撮像部３４が有するカメラは、単眼カメラであってもよく、ステレオカメラであってもよい。撮像部３４は、自車両の周辺の風景・被写体を撮像し撮像画像を生成して制御部３６に送る。

制御部３６は、１つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。たとえば、車両１２に搭載されたＥＣＵ（Electronic Control Unit）が、制御部３６として機能してもよい。制御部３６は、車載装置１１の動作を統括的に制御する。また、制御部３６は、現在時刻を把握する計時機能を有する。

図１に戻ると、携帯端末１４は、ネットワーク１５に接続する通信モジュール、記憶部と制御部、及び入出力インタフェースを備えた、スマートフォン、タブレットなどの可搬型の電子機器である。携帯端末１４は、各種アプリケーションプログラムを制御部が実行することで、各種機能を実現する。また、携帯端末１４は、たとえば、ＧＰＳ信号を受信して自らの位置を検出する。

次いで、図４～９を用いて本実施形態における情報提供システム１の動作について説明する。

図４Ａは、車載装置１１の動作を示すフローチャート図である。図４Ａに示す手順は、車両１２が走行中に、任意の周期（たとえば、数ミリ秒～数秒周期）で実行される。または、車両１２が走行中の任意の事象（たとえば、ブレーキ制動・解除、一定の車速、一定の操舵などの検出）をトリガとして、実行されてもよい。

車載装置１１は、車両周辺を撮像する（手順Ｓ４１）。たとえば、制御部３６が、撮像部３４に撮像を指示し、撮像部３４が指示に応答して車両１２の周辺を撮像する。撮像領域はカメラの取付け位置に対応し、たとえば車両１２の前方、後方、または側方である。次いで、車載装置１１は、撮像情報を検出する（手順Ｓ４２）。撮像情報は、撮像位置、撮像時刻、車両１２の方角、及び撮像領域を含む。たとえば、制御部３６は、通信部３１からＧＰＳ信号を取得して、自らの現在位置を撮像位置として検出する。また制御部３６は、内部の計時機能により現在時刻を撮像時刻として取得する。さらに、制御部３６は、検出部３３から車両１２の方角を取得する。さらに、制御部３６は、撮像部３４から車両１２におけるカメラの向きを取得する。手順Ｓ４１及びＳ４２は順序が逆であってもよい。そして、車載装置１１は、撮像画像と撮像情報をサーバ１０に送信する（手順Ｓ４３）。たとえば、制御部３６が、撮像部３４から撮像画像を取得し、撮像画像及び撮像情報を、通信部３１によりサーバ１０に送信する。

図４Ｂは、サーバ１０の動作を示すフローチャート図である。図４Ｂに示す手順は、１つの車載装置１１から撮像画像を受信する際に実行される。まず、サーバ１０は、車載装置１１から撮像画像及び撮像情報を受信する（手順Ｓ４５）。たとえば、制御部２２は、通信部２０により撮像画像並びに、撮像位置、撮像時刻、車両１２の方角、及び撮像領域を含む撮像情報を受信する。

次いで、サーバ１０は、撮像画像から歩道の明暗情報を検出する（手順Ｓ４６）。歩道の明暗情報は、昼間時に日陰を有する部分の位置、または夜間時に光源からの光を受ける部分の位置である。

制御部２２は、月日及び時刻を含む撮像日時が昼間時か、または夜間時かを判断する。たとえば制御部２２は、予め記憶部２１に記憶される月日ごとの日の出と日時没の時刻を参照したり、またはネットワーク１５経由で月日ごとの日の出と日時没の時刻を取得して参照したりして、撮像日時がその日の日の出から日没までの昼間時か、日没から日の出までの夜間時かを判断する。

そして、制御部２２は、昼間時であれば日陰の部分を、夜間時であれば光源から光を受ける部分を、それぞれ撮像画像から画像認識により検出する。図５Ａ、５Ｂは、それぞれ昼間時と夜間時の車両１２の前方の撮像画像の模式的な例である。たとえば制御部２２は、図５Ａに示すような昼間時の撮像画像５１から歩道５３を検出し、さらに、建物５０１、街路樹５０２等と、それらによる歩道５３における日陰の部分５５を検出する。さらに、制御部２２は、サングラス、サンバイザー、日傘等、日照が強いときに用いられる蓋然性の高い装着具を身に付けた通行人５４を検出することを条件として、日陰の部分５５を検出してもよい。かかる装着物を身に付けた通行人５４を検出できれば、日照が強い蓋然性が高いので、ユーザに日陰の部分の位置を提示する必要性が高まる一方、そうでない場合に処理を省略することで、サーバ１０の負荷を軽減できる。または、制御部２２は、図５Ｂに示すような夜間時の撮像画像５２から歩道５３を検出し、近傍を往来する車両のヘッドランプ５０５、街灯５０４、建物の照明５０３等の光源と、それらによる歩道５３における光を受ける部分５６を検出する。なお、撮像画像に対する画像認識処理には、エッジ認識、色、形状、輝度等のパターン認識等が含まれる。また、画像認識処理として、機械学習等、任意の方法を用いてもよい。

さらに、制御部２２は、日陰の部分５５または光を受ける部分５６の地図上での位置を導出する。日陰の部分５５または光を受ける部分５６の地図上での位置は、撮像した車両１２からからの方角と距離、及び撮像位置から求められる。車両１２からの方角は、たとえば、撮像情報に含まれる、車両１２の検出部３３が検出した車両１２の方角と車両１２におけるカメラの向きとから求められる。また、車両１２からの距離は、たとえば、単眼カメラによる連続画像を用いるモーションステレオ法、またはステレオカメラの視差を用いるステレオ法などにより検出することができる。

そして、サーバ１０は、歩道の明暗情報を記憶する（手順Ｓ４８）。たとえば、制御部２２は、図６に示すような明暗情報６０を、記憶部２１に記憶させる。図６に示すように明暗情報６０は、撮像日時６１、時間帯６２、昼間時の場合の日陰をつくる物体６３、日陰の部分の位置６５、夜間時の場合の光源６６、光を受ける部分の位置６７が対応付けて記憶される。時間帯６２は、たとえば「昼間時」または「夜間時」である。日陰をつくる物体６３は、たとえば、「建物」、「街路樹」等である。光源６６は、たとえば、「ヘッドランプ」、「街灯」、「照明」等である。また、日陰の部分の位置６５及び光を受ける部分の位置６７は、地図上で特定可能な緯度・経度である。さらに、記憶部２１の容量に応じて、撮像日時ごとの撮像画像を撮像日時に対応付けて記憶部２１に記憶させてもよい。

ここで、図４Ａ、４Ｂの手順の変形例を、それぞれ図７Ａ、７Ｂに示す。図７Ａ、７Ｂは、それぞれ変形例における車載装置１１、サーバ１０の動作手順を示す。図７Ａ、７Ｂでは、図４Ａ、４Ｂと同じ手順には同じ符号が付してある。この変形例では、車載装置１１側で、車両周辺の撮像（手順Ｓ４１）、撮像情報検出（手順Ｓ４２）の後、制御部３６にて歩道の明暗情報検出（手順Ｓ４６ａ）を行い、検出した明暗情報をサーバ１０に送信（手順Ｓ７１）する。そして、サーバ１０は、車載装置１１ごとに明暗情報を受信し（手順Ｓ７２）、明暗情報を記憶（手順Ｓ４８）する。このような変形例によれば、サーバ１０の処理負荷を軽減することができる。

ここにおいて、手順Ｓ４６を実行するサーバ１０の制御部２２、または手順Ｓ４６ａを実行する車載装置１１の制御部３６が、「明暗情報検出部」に対応する。

図８は、サーバ１０と携帯端末１４の動作手順を示すシーケンス図である。図８の手順は、ユーザが、携帯端末１４により、たとえば明暗情報検出のためのアプリケーションプログラムを起動すると、実行される。

まず、携帯端末１４は、自らの現在位置を検出し（手順Ｓ８１）、現在位置をサーバ１０に送信する（手順Ｓ８２）。

次いで、サーバ１０は、携帯端末１４の現在位置を受信し（手順Ｓ８３）、その時点の時刻に対応する時間帯と、携帯端末１４の現在位置に対応する日陰の部分または光を受ける部分の位置とを有する明暗情報を抽出して（手順Ｓ８５）、抽出した明暗情報を携帯端末１４に送信する（手順Ｓ８６）。たとえば、制御部２２が、通信部２０により現在位置を受信する。そして、制御部２２が、記憶部２１に格納された明暗情報６０から、現在時刻に対応する時間帯６２を有し、かつ、その時間帯に応じ、携帯端末１４の現在位置に対応する日陰の部分の位置６５または光を受ける部分の位置６７を有する明暗情報６０を抽出する。携帯端末１４の現在位置に対応する位置は、たとえば携帯端末１４の現在位置から任意の距離範囲（たとえば数十～数百メートル）内を含む。そして、制御部２２は、抽出した明暗情報６０を、通信部２０から携帯端末１４に送信する。

次いで、携帯端末１４は、明暗情報を受信し（手順Ｓ８８）、出力する（手順Ｓ８９）。携帯端末１４は、たとえば、明暗情報をディスプレイに表示する。

図９Ａ、９Ｂは、携帯端末１４における出力例を示す。たとえば、携帯端末１４は、図９Ａに示すように、昼間時の地図９１に、現在時刻９２を表示し、現在位置９３と日陰の部分９５をアイコン等のオブジェクトにより表示する。また、携帯端末１４は、日陰をつくる物体の種別を、「建物」、「街路樹」のように文字で表示してもよい。また、たとえば、携帯端末１４は、図９Ｂに示すように、夜間時の地図９６に、現在時刻９２を表示し、現在位置９３と光を受ける部分９８をアイコン等のオブジェクトにより表示する。また、携帯端末１４は、光源の種別を、「ヘッドランプ」、「街灯」、「照明」のように文字で表示してもよい。

また、携帯端末１４は、日陰の部分の位置または光を受ける部分の位置を音声出力してもよい。出力される音声メッセージは、たとえば、「北５００メートルに日陰があります」、「西１００メートルを右折すると、左側の歩道が明るいです」などと、現在位置からの相対的な位置により日陰または光を受ける部分を伝えるメッセージであってもよいし、「〇〇通り左側に日陰があります」、「○○交差点を左折すると、右側の歩道が明るいです」など、近辺の地名により日陰または光を受ける部分を伝えるメッセージであってもよい。さらに、携帯端末１４は、サーバ１０から明暗情報６０に対応する撮像画像を取得しておき、たとえば、日陰の部分の位置または光を受ける部分の位置のアイコンがタップされると撮像画像をポップアップ表示させてもよい。そうすることで、ユーザが日陰または光を受ける部分を画像で認識することができるので、さらに利便性が向上する。

このように、本実施形態の情報提供システム１によれば、ユーザは、昼間時の日陰の部分の位置、または夜間時の光を受ける部分の位置を適宜選択して快適または安全に歩行することができるので、ユーザの利便性が向上する。また、複数の車両１２による撮像に基づきサーバ１０に明暗情報を集約するので、広範囲かつ、より即時的に、明暗情報をユーザに還元することができる。

また、上述において、携帯端末１４の現在位置に対応する日陰の部分の位置または光を受ける部分の位置をサーバ１０が提供するが、たとえば、携帯端末１４に現在位置の代わりにユーザが所望の位置を入力し、入力した位置に対応する日陰の部分の位置または光を受ける部分の位置を有する明暗情報をサーバ１０が抽出して携帯端末１４に送信することも可能である。そうすることで、ユーザは、たとえば、行動を計画する時間帯、位置に応じて、明暗情報を取得することができる。

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。たとえば、各手段または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段またはステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、車載装置１１の制御部３６に本実施形態にかかる動作を行わせるプログラムも本発明の範囲に含まれる。

さらに、本実施形態におけるネットワーク１５には、上述した例以外にも、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、セルラーネットワーク、ＷＰＡＮ(Wireless Personal Area Network)、ＰＳＴＮ(Public Switched Telephone Network)、地上波無線ネットワーク(Terrestrial Wireless Network)、光ネットワークもしくは他のネットワークまたはこれらいずれかの組合せが含まれる。無線ネットワークの構成要素には、たとえば、アクセスポイント(たとえば、Wi-Fiアクセスポイント)、フェムトセル等が含まれる。さらに、無線通信器機は、Bluetooth（登録商標）以外にも、Wi-Fi（登録商標）、セルラー通信技術またはその他の無線技術及び技術標準を用いた無線ネットワークに接続することができる。

このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本実施形態の範囲に含まれる。

１：情報提供システム、 １１：車載装置、 １２：車両、 １４：携帯端末

Claims (7)

1. 歩道を含む車両周辺を撮像して撮像画像を生成する車載装置から、撮像日時及び撮像位置を受信する受信部と、
   前記撮像画像及び前記撮像位置から検出される、前記撮像日時における前記歩道の明暗情報を記憶する記憶部と、
   前記明暗情報を携帯端末に送信する送信部と、
   を有するサーバであって、
   前記明暗情報は、前記歩道における昼間時に日陰を有する部分の位置、または前記歩道における夜間時に光源からの光を受ける部分の位置を有し、
   前記撮像画像から所定の装着具を装着した人物画像が検出されることを条件として、昼間時における前記日陰を有する部分の位置が検出される、
   サーバ。
2. 請求項１において、
   前記受信部は前記車載装置からさらに前記撮像画像を受信し、
   前記撮像画像及び前記撮像位置から、前記撮像日時における前記歩道の明暗情報を検出する明暗情報検出部をさらに有する、
   サーバ。
3. 請求項１において、
   前記受信部は、さらに、前記車載装置にて前記撮像画像及び前記撮像位置から検出される、前記撮像日時における前記歩道の明暗情報を当該車載装置から受信する、
   サーバ。
4. 歩道を含む車両周辺を撮像して撮像画像を生成する撮像部と、
   前記撮像部が撮像を行うとき撮像日時及び撮像位置を取得する取得部と、
   前記撮像画像及び前記撮像位置から、前記撮像日時における前記歩道の明暗情報を検出する明暗情報検出部と、
   前記明暗情報をサーバに送信する送信部と、
   を有する車載装置であって、
   前記明暗情報は、前記歩道における昼間時に日陰を有する部分の位置、及び前記歩道における夜間時に光源からの光を受ける部分の位置の両方またはいずれか一方を有し、
   前記明暗情報検出部は、前記撮像画像から所定の装着具を装着した人物画像を検出することを条件として、昼間時における前記日陰を有する部分の位置を検出する、
   車載装置。
5. 請求項４に記載の車載装置を有する車両。
6. 車載装置にて歩道を含む車両周辺が撮像されて生成される撮像画像及び撮像位置から検出される、撮像日時における道路の明暗情報を記憶するサーバから、前記明暗情報を受信する工程と、
   前記明暗情報を出力する工程と、
   を携帯端末に実行させるプログラムであって、
   前記明暗情報は、前記歩道における昼間時に日陰を有する部分の位置、または前記歩道における夜間時に光源からの光を受ける部分の位置を有し、
   前記撮像画像から所定の装着具を装着した人物画像が検出されることを条件として、昼間時における前記日陰を有する部分の位置が検出される、
   プログラム。
7. 車載装置とサーバによる情報提供方法において、
   前記車載装置は、歩道を含む車両周辺を撮像して撮像画像を生成し、
   前記車載装置またはサーバは、前記撮像画像及び撮像位置から、撮像日時における前記歩道の明暗情報を検出し、前記明暗情報は、前記歩道における昼間時に日陰を有する部分の位置、または前記歩道における夜間時に光源からの光を受ける部分の位置を有し、前記撮像画像から所定の装着具を装着した人物画像が検出されることを条件として、昼間時における前記日陰を有する部分の位置が検出され、
   前記サーバは、前記明暗情報を携帯端末に送信する、
   情報提供方法。

Images