JP7172880B2 - サーバ装置および画像提供方法 - Google Patents

Description

本発明は、経路案内に用いる画像を車載装置に提供する技術に関する。

特許文献１には、ＡＲ技術を用いて目的地へ先導するペースカーを表示する表示部を備える情報処理装置が開示されている。このペースカーは仮想的に生成された表示像であり、予め定めた車間距離と車速をもとに表示位置および形状が決定される。

特開２０１７－１２９４０６号公報

特許文献１に開示される技術では表示部がペースカーを表示して運転者を目的地に案内するが、このペースカーは仮想的に生成された表示像であるため、実際に見えるイメージと大きくずれている可能性がある。

本発明の目的は、運転者に案内経路を把握させやすくできる技術を提供することにある。

上記課題を解決するために、本発明のある態様のサーバ装置は、車載装置から車両前方を撮像した撮像画像およびその撮像画像を撮像した位置を示す撮像位置情報を取得する取得部と、交差点を曲がる車両を含む一連の撮像画像から生成されるモデル画像であって、交差点を曲がる車両をモデル車両として含むモデル画像を撮像位置情報に関連付けて保持する保持部と、モデル画像に対応する交差点を曲がる予定の車両に対してモデル画像を提供する提供部と、を備える。保持部は、モデル車両の大きさを複数の段階に分類したモデル車両の車種情報と、モデル画像とを関連付けて保持する。提供部は、モデル画像に含まれる交差点を曲がる予定の車両の車種情報に対応するモデル車両を含むモデル画像を提供する。

本発明の別の態様は、画像提供方法である。この方法は、取得部が車載装置から車両前方を撮像した撮像画像およびその撮像画像を撮像した位置を示す撮像位置情報を取得するステップと、保持部が交差点を曲がる車両を含む一連の撮像画像から生成されるモデル画像であって、交差点を曲がる車両をモデル車両として含むモデル画像を撮像位置情報に関連付けて保持するステップと、提供部がモデル画像に対応する交差点を曲がる予定の車両に対してモデル画像を提供するステップと、を含む。保持部は、モデル車両の大きさを複数の段階に分類したモデル車両の車種情報と、モデル画像とを関連付けて保持する。提供部は、モデル画像に含まれる交差点を曲がる予定の車両の車種情報に対応するモデル車両を含むモデル画像を提供する。

本発明によれば、運転者に案内経路を把握させやすくできる技術を提供できる。

実施例の表示装置に表示される経路案内画像を示す図である。 画像提供システムの概要を示す図である。 実施例の画像提供システムの機能ブロックを示す図である。 モデル画像を生成する処理のフローチャートである。 モデル画像を提供する処理のフローチャートである。

図１は、実施例の表示装置１０に表示される経路案内画像１０ａを示す図である。表示装置１０は、車両に搭載され、運転者に経路を案内するナビゲーション機能を画像で出力するディスプレイである。図１では、車両が走行路１６を走行中であるときに、ナビゲーション機能が走行路１６から案内路１８へ車両を誘導するために経路案内画像１０ａを表示させている。この経路案内画像１０ａは、車両前方を撮像した撮像画像にモデル画像１２および誘導画像１４を重ねて生成されている。

モデル画像１２は、先導車として交差点１７を左折する一連の過程を示す映像の１フレームであり、過去に実際に交差点１７を左折した車両の画像である。誘導画像１４は、誘導方向を示す矢印であって、交差点１７での左折を示す。

運転者が交差点１７にて左折するように誘導される場合、交差点１７にＰＯＩ（point of interest）などの目印がなければ、運転者が交差点１７の位置を把握しづらいことがある。そこで、表示装置１０の経路案内画像１０ａでは、モデル画像１２を表示して運転者が曲がるべき交差点１７を認識しやすくする。

また、経路案内用のモデル画像１２は実際に交差点１７を左折した車両の映像であるため、運転者は実際に運転された車両の動きを見ることができ、交差点１７をどのように曲がればよいか把握しやすくなる。例えば、矢印の案内だけでは車両がどの位置から曲り始めればよいか不明であるが、実際に走行した車両の映像が実際の道路画像の上に重ねて表示されるため、運転者がモデル画像１２に追従するように運転できる。

図２は、画像提供システム１の概要を示す図である。画像提供システム１は、サーバ装置２２と、複数の無線局４と、複数の車両６とを備える。サーバ装置２２および無線局４は、インターネットなどのネットワーク２を介して接続されてよい。

車両６には車載装置２０が搭載され、車載装置２０は無線通信機能を有して、基地局である無線局４経由でサーバ装置２２と接続する。車両６の台数は３台に限るものではなく、画像提供システム１では、多数の車両６が車両情報を生成し、サーバ装置２２に周期的に車両情報を送信する状況を想定している。サーバ装置２２はデータセンタに設置されて、車両６の車載装置２０から送信される車両情報を受信する。

図３は、実施例の画像提供システム１の機能ブロックを示す。画像提供システム１の各機能は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたシステムソフトウェアやアプリケーションプログラムなどによって実現される。したがって画像提供システム１の各機能はハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

車載装置２０は、車両前方の撮像画像を含めた車両情報をサーバ装置２２に送信する。また、車載装置２０は、経路案内中に必要に応じてサーバ装置２２からモデル画像１２の提供を受ける。サーバ装置２２は、複数の車載装置２０から撮像画像を収集して撮像画像からモデル画像を生成する第１サーバ装置２２ａと、モデル画像１２を車載装置２０に提供する第２サーバ装置２２ｂとを有する。第１サーバ装置２２ａおよび第２サーバ装置２２ｂは、同じデータセンタに設けられてよいが、異なるデータセンタにそれぞれ設けられてもよい。つまり、第１サーバ装置２２ａおよび第２サーバ装置２２ｂは１つのサーバ装置であってよいが、別々のサーバ装置であってもよい。

車載装置２０は、撮像部２４、位置検出部２６、ナビゲーション部２８、走行環境検出部３０、車両情報保持部３２、車載側通信部３４、画像処理部３６および表示制御部３８を備える。第１サーバ装置２２ａは、第１通信部４０ａ、第１取得部４２ａ、モデル生成部４４および第１保持部４８ａを有する。第２サーバ装置２２ｂは、第２通信部４０ｂ、第２取得部４２ｂ、モデル決定部４６、第２保持部４８ｂおよび提供部５０を有する。

撮像部２４は、車両前方を撮像した撮像画像を取得し、その撮像画像を取得した撮像時刻を取得する。撮像画像は、図１に示すように走行路を含んでいる。位置検出部２６は、ＧＰＳ（Global Positioning System）を利用して車両の位置情報およびその位置情報の取得時刻を取得する。

ナビゲーション部２８は、車両を目的地に案内するナビゲーション機能の実行し、乗員の入力によって目的地情報を取得し、現在の車両位置から目的地へ到達する案内経路情報を生成する。なお、案内経路情報は、車載装置２０から送信された目的地情報をもとにサーバ装置２２側で生成されてもよい。

走行環境検出部３０は、車外の走行環境を示す走行環境情報を検出し、その走行環境情報の検出時刻を取得する。走行環境情報は、例えば車両周辺の天気情報、車両周辺の明度、時間帯情報の少なくともいずれかを含む。車両周辺の天気情報および明度は、撮像部２４により検出された撮像画像を解析して検出してよい。車両周辺の明度は、光量センサの検出結果をもとに取得してもよい。

車両情報保持部３２は、車種情報および車両ＩＤを保持する。車載側通信部３４は、撮像画像、車両の位置情報、案内経路情報、走行環境情報および車種情報に車両ＩＤを付してサーバ装置２２の第１通信部４０ａおよび第２通信部４０ｂに送信する。これらの各車両情報の送信タイミングは異なってよい。例えば、撮像画像は、イグニッションオフしたタイミングや、１日毎、１週間毎などのタイミングでまとめて送信されてよい。一方、車両の位置情報、案内経路情報および走行環境情報は、車両走行中に周期的に送信されてよい。なお、車種情報は、車両ＩＤに関連付けてサーバ装置２２に予め保持されてよく、サーバ装置２２に送信されなくてもよい。

車載側通信部３４は、車両の位置および案内経路に応じてモデル画像１２を受信する。画像処理部３６は、詳細は後述するが撮像画像にモデル画像１２を重ねる処理を実行する。表示制御部３８は、画像処理部３６により生成された経路案内画像１０ａを表示装置１０に表示させる制御を実行する。なお、表示制御部３８は、経路案内画像１０ａの表示と同時に、経路案内画像１０ａの横に広域地図等やメニュー画像を表示させてよい。

第１サーバ装置２２ａで実行されるモデル生成処理は、撮像画像を受け取って即時に実行する必要はないため、例えば１週間毎に実行される。第１取得部４２ａは、第１通信部４０ａを介して、撮像画像と、車両の位置情報と、走行環境情報と、車両ＩＤを取得する。撮像画像の撮像時刻と車両の位置情報の取得時刻とのマッチングにより、撮像画像を撮像した位置を示す撮像位置情報を取得できる。また、撮像画像の撮像時刻と走行環境情報の検出時刻とのマッチングにより、撮像画像を撮像したときの走行環境情報を取得できる。

モデル生成部４４は、撮像画像に含まれる交差点を曲がるモデル車両の画像を抽出して、モデル画像１２を生成する。モデル生成部４４は、モデル画像１２の生成対象となっている交差点の位置を示す交差点位置情報を予め保持する。交差点位置情報は、ＰＯＩ等の目印ない交差点に設定される。これにより、目印のない交差点の撮像画像を収集できる。

モデル生成部４４は、交差点位置情報に示す位置で撮像された撮像画像を解析し、撮像画像に交差点を曲がるモデル車両が含まれていれば、交差点を曲がるモデル車両を撮像画像から切り取ってモデル画像１２にする。撮像画像を送信した車両の位置情報と、一連の撮像画像に示す交差点を曲がるモデル車両の動きとにもとづいて、交差点を曲がるモデル車両の経路、すなわち交差点を曲がる走行方向が導出される。なお、モデル画像１２は、モデル車両のみを切り取って生成されてよいが、モデル車両の周りの背景画像も含んで形で生成されてよい。

また、モデル生成部４４は、交差点を曲がるモデル車両の位置情報を、撮像画像と撮像位置情報とにもとづいて導出する。モデル生成部４４は、撮像画像を解析することで、モデル車両と撮像した車両との距離を導出し、導出した距離と撮像した車両の位置情報とにもとづいてモデル車両の位置情報を導出する。また、モデル生成部４４は、画像解析によりモデル車両の車種情報を導出する。車種情報はモデル車両の大きさを複数の段階に分類するものであり、例えば車両の大きさを３段階に分類する。モデル車両の走行方向は、車両の位置情報および撮像画像の解析によって導出される。

このように、モデル生成部４４は、撮像画像からモデル画像１２を抽出するとともに、モデル画像１２に示すモデル車両の走行方向、位置情報および車種情報を導出する。モデル生成部４４は、一連の撮像画像に対してモデル画像１２を抽出する処理を実行し、交差点を曲がるモデル車両の動きを示す一連の画像を生成する。

第１保持部４８ａは、モデル生成部４４により生成された一連のモデル画像１２を、モデル画像１２の撮像位置情報、モデル車両の走行方向、モデル車両の位置情報、モデル車両の車種情報、およびモデル車両を撮像したときの走行環境情報に関連付けて保持する。第１保持部４８ａは、モデル画像１２を含む撮像画像を、モデル画像１２とモデル画像１２以外の背景画像とを分離可能な形で保持する。

第２サーバ装置２２ｂで実行されるモデル提供処理は、車両の案内経路情報を受け取って即時に実行する。第２取得部４２ｂは、第２通信部４０ｂを介して、車両の位置情報と、走行環境情報と、案内経路情報と、車種情報と車両ＩＤを取得する。サーバ装置２２において、第１取得部４２ａおよび第２取得部４２ｂを区別しない場合は単に取得部４２という。

第２保持部４８ｂは、第１サーバ装置２２ａからモデル画像１２およびその属性情報を受け取り、モデル画像１２を保持する。第２保持部４８ｂは、モデル画像１２の撮像位置情報、モデル車両の走行方向、モデル車両の位置情報、モデル車両の車種情報、およびモデル車両を撮像したときの走行環境情報に関連付けてモデル画像１２を保持する。第１保持部４８ａおよび第２保持部４８ｂを区別しない場合は、単に保持部４８という。

モデル決定部４６は、取得部４２を介して取得した車両の位置情報および／または案内経路情報をもとに、所定の交差点を曲がる予定の車両に対して提供するモデル画像１２を決定する。所定の交差点は、モデル画像１２を生成する際に用いた交差点位置情報に示される交差点であって、例えば目印がない場所である。モデル決定部４６は、車両の案内経路情報を受け取ったタイミング、提供するモデル画像１２を決定する処理を開始してよい。つまり、運転者が目的地を設定して案内を受けるタイミングで、モデル画像１２を決定する処理が開始される。

モデル決定部４６は、取得部４２を介して取得した車両の車種情報と、モデル画像１２に関連付けられた車種情報とにもとづいて、所定の交差点を曲がる予定の車両に対して提供するモデル画像１２を決定する。つまり、モデル決定部４６は、車両の車種情報に対応するモデル車両の車種情報に関連付けられたモデル画像１２を提供することを決定する。これにより、運転者に自車両と同等の大きさのモデル車両の動きを示すことができ、運転者が交差点の曲り方を把握しやすくなる。

モデル決定部４６は、取得部４２を介して取得した車両の走行環境情報と、モデル画像１２に関連付けられた走行環境情報とにもとづいて、所定の交差点を曲がる予定の車両に対して提供するモデル画像１２を決定する。つまり、モデル決定部４６は、車両の走行環境情報に類似する走行環境情報に関連付けられたモデル画像１２を提供することを決定する。例えば、車両が雨天の夜に交差点を曲がる予定であれば、雨天の夜に撮像されたモデル画像１２が提供される。これにより、走行環境に応じたモデル画像１２を提供できるため、実際に走行したモデル車両の動きを運転者が把握しやすくなる。なお、走行環境情報が類似するとは、走行環境情報に含まれる天気情報、時間帯および明度のいずれかが異なった場合や、天気情報、時間帯および明度のいずれかが一致する場合を含むことを意味する。

提供部５０は、モデル決定部４６により決定されたモデル画像１２を第２通信部４０ｂを介して車載装置２０に提供する。すなわち、提供部５０は、モデル画像１２に含まれる交差点を曲がる予定の車両に対してモデル画像１２を提供する。提供部５０は、モデル車両の車種情報に対応する車両や、モデル画像１２を撮像したときの走行環境情報に類似する走行環境で走行している車両にモデル画像１２を提供する。このように、走行中の車両の大きさや走行環境に応じたモデル画像１２を提供できる。なお、モデル画像１２は、モデル車両の位置情報とともに車載装置２０に提供されてよい。

車載装置２０の画像処理部３６は、一連のモデル画像１２を受け取って、撮像部２４により検出された撮像画像にモデル画像１２を重ねる処理を実行する。画像処理部３６は、モデル車両の位置情報が自車両の位置情報と所定距離であるモデル画像１２を選び、そのモデル画像１２の背景画像と撮像画像の特徴点を位置合わせすることで、撮像画像上のモデル画像１２の位置座標を導出し、モデル画像１２の位置決めをする。画像処理部３６は、撮像画像に対して、導出した位置座標にモデル画像１２を重ねて経路案内画像１０ａを生成する。画像処理部３６は、モデル画像１２を重ねる撮像画像を選択する処理、つまりモデル画像１２を撮像画像に重ねて表示開始するタイミングを決定する処理と、撮像画像上のモデル画像１２の位置決めをする処理、撮像画像にモデル画像１２を重ねる処理を実行する。このように、モデル車両の位置情報とモデル画像１２の背景画像とを用いることで、モデル画像１２を撮像画像に精度良く配置できる。

また、画像処理部３６は、モデル画像１２を重ねる撮像画像を選択する処理において、自車両の位置情報がモデル画像１２に関連付けられた撮像位置情報にマッチする場合に、モデル画像１２と撮像画像とを重ねる処理を実行してよい。また、画像処理部３６はモデル車両の位置情報および撮像位置情報をもとにモデル画像１２と撮像画像とを重ねる処理を実行してよい。

図４は、モデル画像１２を生成する処理のフローチャートである。サーバ装置２２の取得部４２は、車両の位置情報、車両前方の撮像画像、および車両の走行環境情報を取得する（Ｓ１０）。モデル画像１２の生成処理は、１日分の撮像画像や１週間分の撮像画像に対して実行される。なお、位置情報、撮像画像および走行環境情報の取得タイミングは異なっていてよいが、位置情報、撮像画像、走行環境情報は、それぞれに付されたタイムスタンプによりマッチングすることが可能である。

モデル生成部４４は、撮像画像の撮像位置情報がモデル画像１２の生成対象となっている交差点位置情報にマッチするか、つまり目印がない交差点での撮像画像があるか判定する（Ｓ１２）。目印がない交差点での撮像画像がなければ（Ｓ１２のＮ）、本処理を終了する。

目印がない交差点での撮像画像があれば（Ｓ１２のＹ）、モデル生成部４４は、一連の撮像画像に交差点を曲がる車両が走行していることが示されているか判定する（Ｓ１４）。撮像画像に交差点を曲がる車両が示されていない場合（Ｓ１４のＮ）、本処理を終了する。

撮像画像に交差点を曲がる車両が示されている場合（Ｓ１４のＹ）、モデル生成部４４は、撮像画像に含まれる交差点を曲がる車両をモデル車両として抽出してモデル画像１２を生成する（Ｓ１６）。

モデル生成部４４は、撮像した車両とモデル車両との距離を画像解析により導出し、導出した距離と撮像位置情報をもとにモデル車両の位置情報を導出する（Ｓ１８）。また、モデル生成部４４は、画像解析によりモデル車両の車種情報を導出する（Ｓ２０）。

保持部４８は、モデル画像１２に走行環境情報、車種情報、モデル車両の位置情報および撮像位置情報を関連付けて保持する（Ｓ２２）。このように、モデル画像１２が複数の属性情報ともに保持される。

図５は、モデル画像１２を提供する処理のフローチャートである。運転中の車載装置２０は、車両の位置情報および案内経路情報をサーバ装置２２に周期的に送信し、サーバ装置２２の取得部４２は、車両の位置情報および案内経路情報を取得する（Ｓ２６）。

モデル決定部４６は、車両の案内経路情報をもとに所定の交差点を曲がる予定の車両であるか判定する（Ｓ２６）。車両が所定の交差点を曲がる予定を有しない場合（Ｓ２６のＮ）、本処理を終了する。

車両が所定の交差点を曲がる予定を有する場合（Ｓ２６のＹ）、取得部４２は、当該車両の走行環境情報および車種情報を取得し（Ｓ２８）、モデル決定部４６は、当該車両の走行環境情報および車種情報に対応するモデル画像１２を提供することを決定する（Ｓ３０）。提供部５０は、決定されたモデル画像１２を第２通信部４０ｂを介して車載装置２０に提供する（Ｓ３２）。

車載装置２０の画像処理部３６は、撮像画像にモデル画像１２を重ねて経路案内画像１０ａを生成、表示制御部３８は、経路案内画像１０ａを表示装置１０に表示させる（Ｓ３４）。

以上、本発明を実施形態および複数の実施例をもとに説明した。本発明は、上述の実施形態および実施例に限定されるものではなく、当業者の知識に基づいて各種の設計変更等の変形を加えることも可能である。

実施例では、表示装置１０が車載ディスプレイである態様を示したが、この態様に限られず、ヘッドアップディスプレイであってもよい。ヘッドアップディスプレイは、運転者の前方にモデル画像を投影することにより虚像である表示画像を実景に重畳して表示する。

また、実施例では、撮像画像にモデル画像１２を重ねる処理を車載装置２０が実行する態様を示したが、この態様に限られず、サーバ装置２２が撮像画像にモデル画像１２を重ねる処理を実行してよい。

１ 画像提供システム、 １０ 表示装置、 ２０ 車載装置、 ２２ サーバ装置、 ２２ａ 第１サーバ装置、 ２２ｂ 第２サーバ装置、 ２４ 撮像部、 ２６ 位置検出部、 ２８ ナビゲーション部、 ３０ 走行環境検出部、 ３２ 車両情報保持部、 ３４ 車載側通信部、 ３６ 画像処理部、 ３８ 表示制御部、 ４０ａ 第１通信部、 ４０ｂ 第２通信部、 ４２ａ 第１取得部、 ４２ｂ 第２取得部、 ４４ モデル生成部、 ４６ モデル決定部、 ４８ａ 第１保持部、 ４８ｂ 第２保持部、 ５０ 提供部。

Claims (4)

1. 車載装置から車両前方を撮像した撮像画像およびその撮像画像を撮像した位置を示す撮像位置情報を取得する取得部と、
   交差点を曲がる車両を含む一連の撮像画像から生成されるモデル画像であって、交差点を曲がる車両をモデル車両として含むモデル画像を撮像位置情報に関連付けて保持する保持部と、
   モデル画像に対応する交差点を曲がる予定の車両に対してモデル画像を提供する提供部と、を備え、
   前記保持部は、モデル車両の大きさを複数の段階に分類したモデル車両の車種情報と、モデル画像とを関連付けて保持し、
   前記提供部は、モデル画像に含まれる交差点を曲がる予定の車両の車種情報に対応するモデル車両を含むモデル画像を提供することを特徴とするサーバ装置。
2. 前記保持部が保持するモデル画像は、モデル車両とモデル車両の周りの背景画像とを含むことを特徴とする請求項１に記載のサーバ装置。
3. 前記取得部は、モデル画像を撮像したときの車両の走行環境を示す走行環境情報を取得し、
   前記保持部は、モデル画像を撮像したときの走行環境情報と、モデル画像とを関連付けて保持し、
   前記提供部は、モデル画像に含まれる交差点を曲がる予定の車両に対して、前記予定の車両の走行環境に類似する走行環境情報に関連付けられたモデル画像を提供することを特徴とする請求項１または２に記載のサーバ装置。
4. 取得部が、車載装置から車両前方を撮像した撮像画像およびその撮像画像を撮像した位置を示す撮像位置情報を取得するステップと、
   保持部が、交差点を曲がる車両を含む一連の撮像画像から生成されるモデル画像であって、交差点を曲がる車両をモデル車両として含むモデル画像を撮像位置情報に関連付けて保持するステップと、
   提供部が、モデル画像に対応する交差点を曲がる予定の車両に対してモデル画像を提供するステップと、を含み、
   前記保持部は、モデル車両の大きさを複数の段階に分類したモデル車両の車種情報と、モデル画像とを関連付けて保持し、
   前記提供部は、モデル画像に含まれる交差点を曲がる予定の車両の車種情報に対応するモデル車両を含むモデル画像を提供することを特徴とする画像提供方法。

Images