JP7021899B2 - 画像生成装置および画像生成方法 - Google Patents

Description

本発明は、画像生成装置および画像生成方法に関する。

近年、車両に搭載されるナビゲーション装置において、車両が注意して走行する必要があるヒヤリハット地点を通過する際に、ドライバに注意喚起を促す技術が提案されている（例えば、特許文献１参照）。

特開２０１０―１２８９８０号公報

しかしながら、従来技術は、単にヒヤリハット地点の存在をユーザに通知するためのものであって、ユーザに対してヒヤリハットのシチュエーションを直感的に把握させる上で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、ユーザに対してヒヤリハット時のシチュエーションを直感的に把握させることができる画像生成装置および画像生成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像生成装置は、検出部と、抽出部と、変換部と、対応付け部とを備える。前記検出部は、車両の走行データから危険回避運転を検出する。前記抽出部は、前記検出部によって前記危険回避運転が検出された場合に、前記車両の外部を継続的に撮像した撮像映像から移動物体を抽出する。前記変換部は、前記抽出部によって抽出された前記移動物体を抽象化したアニメーション画像へ変換する。対応付け部は、前記変換部によって変換された前記アニメーション画像に対して前記危険回避運転の位置情報を対応付ける。

本発明によれば、ユーザに対してヒヤリハットのシチュエーションを直感的に把握させることができる。

図１は、画像生成方法の概要を示す図である。 図２は、画像生成システムの構成例を示す図である。 図３は、画像生成装置のブロック図である。 図４は、車載カメラの設置位置を示す模式図である。 図５は、ユーザデータベースの具体例を示す図である。 図６は、ヒヤリハット地点データベースの具体例を示す図である。 図７は、３次元地図画像の一例を示す図である。 図８は、表示映像の概念図である。 図９は、車載装置のブロック図である。 図１０は、検索画面の一例を示す図である。 図１１は、表示画面の一例を示す図である。 図１２は、画像生成装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像生成装置および画像生成方法を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、図１を用いて実施形態に係る画像生成方法の概要について説明する。図１は、画像生成方法の概要を示す図である。かかる画像生成方法は、画像生成装置によって実行される。

実施形態に係る画像生成方法は、車両が急ブレーキ等を行った際のいわゆるヒヤリハット地点におけるヒヤリハットの事象を映像化してユーザに直感的に把握させるものである。

ここで、実施形態に係る画像生成方法に先立ち、従来技術について説明する。従来技術において、ヒヤリハット地点を車両が通過する際に、運転者へ注意喚起を促すものがある。

しかしながら、従来技術では、ディスプレイ上に表示された地図画像にヒヤリハット地点を重畳して表示したり、スピーカから注意喚起を促す音声を出力したりするのみであった。このため、従来技術では、ユーザは実際のシチュエーションを把握し難かった。

これに対して、ヒヤリハット時に撮像された実際の映像をユーザに提示することも考えられる。しかしながら、かかる場合に、映像に写る通行人や、通行車両のプライバシーが侵害されるおそれがあり、個人情報を保護する観点から好ましくない。

そこで、実施形態に係る画像生成方法では、個人情報を保護しつつ、ユーザに対してヒヤリハットの事例を直感的に把握させることとした。つまり、実施形態に係る画像生成方法では、映像に写る通行人や、通行車両を加工することで、プライバシーを保護しつつ、ヒヤリハットのシチュエーションをユーザに直感的に把握させることが可能となる。

具体的には、図１に示すように、まず、実施形態に係る画像生成方法では、車両の走行データから危険回避運転を検出する（ステップＳ１）。ここで、危険回避運転とは、例えば、急ブレーキ、急操舵等を含む。また、危険回避運転は、危険を回避できた場合のみならず、危険を回避しようとしたものの、危険を避けられなかった場合を含む。

次に、実施形態に係る画像生成方法では、車両の外部が撮像された撮像映像Ｌから移動物体を抽出する（ステップＳ２）。ここで、移動物体とは、撮像映像Ｌに写る通行人や、通行車両を示す。同図に示す例では、歩行者Ｐおよび通行車両Ｔｃを移動物体として抽出した場合について示す。なお、移動物体とは、時系列的な撮像映像Ｌにおいて静止中の歩行者や停止中の通行車両を含む。

続いて、実施形態に係る画像生成方法では、抽出した移動物体をアニメーション画像Ｇへ変換する（ステップＳ３）。アニメーション画像Ｇとは、例えば、３次元のポリゴン画像であるが、移動物体を抽象化したものであれば、その態様は問わない。

このように、実施形態に係る画像生成方法では、移動物体をアニメーション画像Ｇへ変換することで、歩行者Ｐや通行車両Ｔｃの個人情報を保護することが可能となる。

次に、実施形態に係る画像生成方法では、アニメーション画像Ｇに対して危険回避運転の位置情報を対応付ける（ステップＳ４）。ここで、位置情報とは、例えば、移動物体の実際の位置であり、移動物体の向き等を含む。

このように、実施形態に係る画像生成方法では、アニメーション画像Ｇに対して位置情報を対応付けることで、危険回避運転の実際のシチュエーションを地図画像上で表示することが可能となる。

これにより、運転者は、危険回避運転が多発するポイント（以下、ヒヤリハット地点と記載する）を通過する前に、かかるヒヤリハット地点のアニメーション画像Ｇを事前に確認することが可能となる。

このように、実施形態に係る画像生成方法では、危険回避運転を検出した場合に、撮像映像Ｌに写る移動物体をアニメーション画像Ｇに変換することで、ヒヤリハット時のシチュエーションを直感的に把握させることが可能となる。

次に、図２を用いて実施形態に係る画像生成システム１００について説明する。図２は、画像生成システム１００の構成例を示す図である。図２に示すように、画像生成システム１００は、画像生成装置１と、複数の車載装置５０とを備える。画像生成装置１と、複数の車載装置５０とは、ネットワークＮを介して双方向に情報を送受信することが可能である。

各車載装置５０は、それぞれ車両Ｃに搭載され、ＤＣＭ（Date Communication Module）などの車載通信モジュールやドライブレコーダ等を含む。車載装置５０は、それぞれ車両Ｃの走行データや、ドライブレコーダで撮像された撮像映像Ｌを含む情報を所定周期で画像生成装置１へ送信する。

画像生成装置１は、各車載装置５０から送信される情報に基づいて危険回避運転を検出し、かかる移動物体をアニメーション画像Ｇへ変換する処理を実行することとなる。

このように、実施形態に係る画像生成システム１００では、各車載装置５０から送信される情報を画像生成装置１へ集積することで、多様なシチュエーションにおける危険回避運転に関する事象をビッグデータ化することが可能となる。

例えば、ビッグデータ化した危険回避運転に関する情報は、運転者に対して事前にヒヤリハット時のシチュエーションを把握させるのみならず、交通安全に関する教育や、インフラの整備等に活用することが可能である。なお、ここでは、画像生成装置１が、車載装置５０と別体である場合について説明したが、画像生成装置１と、車載装置５０とは一体であってもよい。つまり、画像生成装置１を各車両Ｃに搭載し、車載装置５０の機能を兼ねることにしてもよい。

かかる場合に、画像生成システム１００では、画像生成装置１によって生成されたアニメーション画像Ｇを集約するサーバ装置を別途備えることにしてもよい。

次に、図３を用いて実施形態に係る画像生成装置１の構成例について説明する。図３は、画像生成装置１のブロック図である。図３に示すように、画像生成装置１は、通信部２と、制御部３と、記憶部４とを備える。通信部２は、上述した各車載装置５０とデータの送受信を行う通信インターフェースである。

制御部３は、検出部３１と、抽出部３２と、変換部３３と、対応付け部３４と、生成部３５とを備える。また、記憶部４は、ヒヤリハット地点データベース４１と、ユーザデータベース４２と、３次元地図データベース４３とを記憶する。

制御部３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部３の検出部３１、抽出部３２、変換部３３、対応付け部３４および生成部３５として機能する。

また、制御部３の検出部３１、抽出部３２、変換部３３、対応付け部３４および生成部３５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部４は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、ヒヤリハット地点データベース４１、ユーザデータベース４２および３次元地図データベース４３や各種プログラムの情報を記憶することができる。なお、画像生成装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部３の検出部３１は、車両Ｃの走行データから危険回避運転を検出する。具体的には、検出部３１は、各車載装置５０から送信される走行データから例えば、急ブレーキ、急操舵を危険回避運転として検出する。

より詳細には、検出部３１は、走行データのうち、車両Ｃの速度の推移や、車両Ｃに生じる加速度に基づいて急ブレーキを検出し、車両Ｃの舵角の推移に基づいて急操舵を検出する。また、検出部３１は、車両Ｃの加速度や、エアバッグの作動状況から車両Ｃの衝突を検出することもできる。

なお、検出部３１は、車両Ｃから撮像された撮像映像Ｌや、車両Ｃが備えるレーダ装置の検知結果に基づいて危険回避運転を検出することにしてもよい。

具体的には、検出部３１は、例えば、時系列の撮像映像Ｌから同一の特徴点を結んだベクトル、いわゆるオプティカルフローに基づいて車両Ｃの速度や旋回角を導出し、危険回避運転を検出することもできる。

このとき、検出部３１は、車両Ｃの進行方向について障害物の有無を撮像映像Ｌやレーダ装置の検知結果に基づいて判定することもできる。つまり、検出部３１は、検出した危険回避運転が障害物等による外的要因によるものか、運転者による内的要因によるものかを判定することもできる。

かかる場合に、検出部３１は、検出した危険回避運転のうち、外的要因による危険回避運転のみを危険回避運転として判定することもできる。つまり、内的要因に基づく危険回避運転を排除することで、外的要因に基づくヒヤリハット地点のみを抽出することが可能となる。

検出部３１は、危険回避運転を検出した場合、危険回避運転の発生した時刻を示す時刻情報および危険回避運転の発生地点、危険回避運転時を含む前後の時刻に撮像された撮像映像Ｌ等を含む情報を抽出部３２へ通知する。

抽出部３２は、検出部３１によって危険回避運転が検出された場合に、車両Ｃの外部が撮像された撮像映像Ｌから移動物体を抽出する。例えば、抽出部３２は、危険回避運転時を含む前後の時刻に撮像された撮像映像Ｌからテンプレート画像とのマッチング処理によって撮像映像Ｌに写る歩行者や他車両を移動物体として抽出することができる。

また、抽出部３２は、抽出した移動物体の撮像映像Ｌ上の座標位置およびかかる移動物体の種別等を示す移動物体情報を変換部３３へ通知する。なお、抽出部３２は、上記のマッチング処理のみならず、いわゆる背景差分法などその他の手法を用いて撮像映像Ｌから移動物体を抽出することにしてもよい。

変換部３３は、抽出部３２によって抽出された移動物体を抽象化したアニメーション画像Ｇへ変換する。例えば、変換部３３は、上記の移動物体情報に基づいて移動物体の種別に応じたアニメーション画像Ｇを撮像映像Ｌ上の座標位置に重畳することで移動物体をアニメーション画像Ｇへ変換する。変換部３３は、変換したアニメーション画像Ｇに関する情報を対応付け部３４へ出力する。

ここで、上述したように、アニメーション画像Ｇは、３次元のポリゴン画像であり、視点方向を変更可能な自由視点画像である。つまり、ユーザは、アニメーション画像Ｇに対して画像上で視点の角度を変えて視認することができる。このため、変換部３３は、アニメーション画像Ｇへの変換に際して、移動物体の実際の大きさや、撮像映像Ｌを撮像する車載カメラＣｍと移動物体との相対距離を決定する必要がある。

そこで、変換部３３は、車両Ｃの外部を撮像する車載カメラＣｍの設置位置に基づいて移動物体の実際の大きさや相対距離を決定する。図４は、車載カメラＣｍの設置位置を示す模式図である。図４に示すように、取り付け位置は、取付高さＨおよび取付俯角θを含む。

取付高さＨとは、路面から車載カメラＣｍのレンズまでの高さを示し、例えば、車両Ｃの車種や、取付位置に応じて異なる。また、取付俯角θとは、路面から車載カメラＣｍの垂線に対する撮像軸ａｘの角度を示す。

取付俯角θについても、取付高さＨと同様に車両Ｃ毎に固有の値である。なお、取付高さＨおよび取付俯角θに関する情報は、例えば、画像生成システム１００に対する車載装置５０の初期登録時に画像生成装置１に登録される。

変換部３３は、車載カメラＣｍの取付高さＨおよび取付俯角θに基づいて車載カメラＣｍの撮像領域を導出し、かかる撮像領域を路面上の座標系に変換する。そして、変換部３３は、かかる座標系に基づいて撮像映像Ｌに写る移動物体の実際の大きさや相対距離を決定する。

このように、変換部３３は、車載カメラＣｍ毎の取り付け位置に基づいて移動物体の実際の大きさや相対距離を決定することで、撮像映像Ｌから移動物体の大きさや相対距離を正確に導出することができる。

図３の説明に戻り、対応付け部３４について説明する。対応付け部３４は、変換部３３によって変換されたアニメーション画像Ｇにヒヤリハット地点の位置情報を対応付ける。例えば、対応付け部３４は、危険回避運転時の位置情報を各アニメーション画像Ｇへ対応付ける。

このとき、対応付け部３４は、危険回避運転前後の位置情報の推移に基づき、車両Ｃの進行方向、すなわち、車載カメラＣｍの撮像方向を推定し、かかる撮像方向に関する情報をアニメーション画像Ｇへ対応付ける。

つまり、対応付け部３４は、推定した撮像位置および撮像方向と、変換部３３によって導出された撮像映像Ｌ上における移動物体の位置情報とに基づいてアニメーション画像Ｇの正確な位置や向きを対応付けることができる。

また、対応付け部３４は、アニメーション画像Ｇに対して危険回避運転を行った運転者に関する運転者情報を対応付ける。かかる運転者情報は、記憶部４のユーザデータベース４２に格納される。

図５は、ユーザデータベース４２の具体例を示す図である。図５に示すように、ユーザデータベース４２には、運転者情報として「ユーザＩＤ」、「車両ＩＤ」、「性別」、「走行距離」、「運転スキル」、「違反回数」が互いに対応付けられる。

「ユーザＩＤ」は、運転者を識別する識別子であり、「車両ＩＤ」は、運転者が乗車する車両Ｃを識別する識別子である。また、「性別」は、運転者の性別を示し、「走行距離」は、運転者が車両Ｃを運転した距離を示す。

「運転スキル」は、運転者の運転に関する技量を示し、「違反回数」は、例えば、運転者が道路交通法を違反した回数を示す。なお、運転スキルについは、例えば、画像生成装置１に運転スキルを診断する診断部を設けることにしてもよいし、外部の装置で診断した運転スキルをユーザデータベース４２へ登録することにしてもよい。

このように、対応付け部３４は、運転者情報をアニメーション画像Ｇへ対応付けることで、各アニメーション画像Ｇの検索を容易にすることができる。つまり、ユーザＩＤ、性別、走行距離等の検索条件の入力によってアニメーション画像Ｇを容易に検索することができる。なお、かかる点の詳細については、図１０を用いて後述する。

さらに、対応付け部３４は、アニメーション画像Ｇに対して、危険回避運転時の時刻、天候等に関する情報を対応付けることもできる。そして、対応付け部３４は、アニメーション画像Ｇについて情報の対応付けを終えると、アニメーション画像Ｇを図３に示すヒヤリハット地点データベース４１に格納する。

図６は、ヒヤリハット地点データベース４１の具体例を示す図である。図６に示すように、ヒヤリハット地点データベース４１には、各アニメーション画像Ｇについて、「画像ＩＤ」、「ユーザＩＤ」、「位置」、「ヒヤリハット種別」、「日時」、「天候」等の情報が対応付けられて記憶される。

「画像ＩＤ」は、アニメーション画像Ｇを識別する識別子であり、「ユーザＩＤ」は、危険回避運転の運転者を示す識別子であり、ユーザＩＤには、図５に示したように、運転者情報が紐付けられる。

「位置」は、アニメーション画像Ｇを地図画像上で表示する位置を示す。「ヒヤリハット種別」は、危険回避運転時のヒヤリハットに関する事象を示す。「日時」は、危険回避運転が発生した日時を示し、「天候」は、ヒヤリハット時の天候を示す。

例えば、天候に関する情報は、「位置」および「日時」に基づいて外部の装置、もしくは、各車載装置５０から取得することができる。

図３の説明に戻り、生成部３５について説明する。生成部３５は、位置情報に基づき、アニメーション画像を撮像映像Ｌに対応した３次元地図画像に重畳させた表示映像Ｄを生成する。

かかる３次元地図画像は、記憶部４の３次元地図データベース４３に記憶される。図７は、３次元地図画像の一例を示す図である。図７に示すように、３次元地図画像は、例えば、ビルなどの建物を３次元的に表現した画像である。

３次元地図画像には、実際の位置情報が対応付けられており、生成部３５は、アニメーション画像Ｇに対応付けられた位置情報に基づき、３次元地図画像上にアニメーション画像Ｇを重畳する。

これにより、アニメーション画像Ｇを３次元地図画像上の実位置に重畳することが可能となる。また、アニメーション画像Ｇおよび３次元地図画像は、いずれも視点位置を変更可能である。

このため、表示映像Ｄにおいては、３次元地図画像およびアニメーション画像Ｇについて視点位置を変更して表示することが可能である。つまり、図８に示すように、車載カメラＣｍの撮像位置や、撮像軸ａｘを疑似的に変更させて表示映像Ｄを表示することが可能である。なお、図８は、表示映像Ｄの概念図である。

このように、視点位置を変更可能とすることで、任意の視点位置からヒヤリハットのシチュエーションを検証することが可能となる。すなわち、ヒヤリハット時の運転者の視点からの画像のみならず、他車両や、歩行者から車両Ｃを見た画像、さらに、全体を俯瞰した俯瞰画像等を表示映像Ｄとして表示することが可能となる。

つまり、生成部３５は、アニメーション画像Ｇを３次元地図画像に重畳することで、多様な角度からヒヤリハット時のシチュエーションを検証することが可能となる。

特に、生成部３５は、ドライバの視点位置や移動物体の視点位置を含む視点位置から見た表示画像Ｄを生成することで、ドライバおよび移動物体の双方の視点からヒヤリハットのシチュエーションを検証することができる。

つまり、ユーザが、ヒヤリハットの発生原因を多様な角度から解析することが可能となる。これにより、ユーザが、ヒヤリハットを未然に防ぐための運転知識を深めることできるので、ヒヤリハットの発生を抑止する効果が期待される。

また、アニメーション画像Ｇを重畳した３次元地図画像を表示し、実際に撮影された映像を表示しないことで、ヒヤリハットの事象を発生させたドライバやそのドライバの所属する企業（タクシー会社等）が特定されることを防止できる。これは、実際に撮影された映像には、個人を特定する私物や企業を示すマークを含む場合があるからである。

このように個人や企業を特定できないようにすることで、複数人や複数企業でヒヤリハット時のシチュエーションの検証に有効なシーンを安心して共有することができる。

また、生成部３５は、アニメーション画像Ｇに対応付けられた天候情報や時刻情報を反映させた表示映像Ｄを生成することも可能である。かかる点の詳細については、後述する。

次に、図９を用いて実施形態に係る車載装置５０について説明する。図９は、車載装置５０のブロック図である。図９に示すように、車載装置５０は、ナビゲーション装置６０、表示装置７０、車載カメラＣｍ、免許証リーダＬｌが接続される。

また、車載装置５０は、ブレーキセンサＳｃ１、アクセルセンサＳｃ２、ステアリングセンサＳｃ３、ＧセンサＳｃ４、ＧＰＳ（Global Positioning System）Ｓｃ５等から取得した情報を走行データとして画像生成装置１へ送信する。

車載カメラＣｍは、上述したように、いわゆるドライブレコーダであり、車両Ｃの前方を撮像した撮像映像Ｌを車載装置５０へ出力する。なお、車載カメラＣｍを車載装置５０に含める構成にすることにしてもよい。

免許証リーダＬｌは、運転者の免許証から情報を読み取る装置である。例えば、免許証リーダＬｌは、運転者の免許証から運転者の氏名、年齢、住所、免許証の色の区分等を読み取り、車載装置５０へ出力する。

なお、車載装置５０は、免許証リーダＬｌに代えて、運転者が撮像された撮像映像から運転者を識別したり、指紋等を用いた生体認証により運転者を識別したりすることにしてもよい。

車載装置５０は、通信部５１と、制御部５２とを備える。通信部５１は、画像生成装置１とデータを送受信する通信インターフェースである。制御部５２は、車載装置５０の全体を制御するＣＰＵとして機能する。

例えば、制御部５２は、車載カメラＣｍで撮像された撮像映像Ｌや走行データに対して運転者情報を紐付けて通信部５１を介して画像生成装置１へ送信する。

また、制御部５２は、ナビゲーション装置６０から車両Ｃの進路情報を取得し、かかる進路情報を画像生成装置１へ送信する。これにより、画像生成装置１から車載装置５０へ車両Ｃの進路上のヒヤリハット地点に関する表示映像Ｄが送信され、かかる表示映像Ｄが表示装置７０の表示部７１に表示される。

なお、車載装置５０に予め表示映像Ｄに関する情報を記憶しておき、車載装置５０がかかる情報に基づいて表示映像Ｄを選択して表示部７１に表示することにしてもよい。つまり、画像生成装置１によって生成された表示映像Ｄに関する情報を所定の周期で車載装置５０にアップデートして用いることにしてもよい。

ナビゲーション装置６０は、車両Ｃの現在地や、目的地までの経路を示すナビゲーション画像を生成し、表示装置７０へ出力する。表示装置７０は、例えば、タッチパネルディスプレイであり、表示部７１と、操作部７２とを備え、上記のナビゲーション画像や表示映像Ｄを表示する。

ところで、上述したように、アニメーション画像Ｇを含む表示映像Ｄには、運転者情報や、時刻情報、天候情報等が対応付けられる。このため、ユーザは、表示部７１に表示された検索画面を見ながら、操作部７２に対する操作によってアニメーション画像Ｇを条件検索することが可能である。

図１０は、検索画面の一例を示す図である。図１０に示すように、検索画面には、性別、天候、年代、時間帯、免許証等の検索条件が表示される。

かかる検索条件の各項目が選択されると、検索条件に合致するヒヤリハット地点Ｓが地図上に表示される。そして、例えば、地図上のヒヤリハット地点Ｓが選択されると、選択されたヒヤリハット地点Ｓにおけるアニメーション画像Ｇを含む表示映像Ｄが再生される。

これにより、ユーザは、所望するヒヤリハット地点Ｓにおけるヒヤリハットのシチュエーションを確認することが可能となる。また、表示映像Ｄの条件検索を可能とすることで、ユーザが所望する表示映像Ｄを簡便な操作で検索することができる。

また、画像生成システム１００では、所定の地点からヒヤリハット地点までの表示映像Ｄを再生することも可能である。図１１は、表示画面の具体例を示す図である。

図１１に示すように、表示画面には、車両Ｃの走行位置を示すアイコンＩが表示された地図画像Ｍと、表示映像Ｄが表示される。ここで、表示映像Ｄは、アイコンＩの位置における運転者の視点画像である。

つまり、表示映像Ｄは、車両Ｃが実際にアイコンＩの位置を走行した際に運転席から見える景色が表示される。このとき、車両Ｃにあわせて視点位置の高さを調整することも可能である。

すなわち、車両Ｃの運転席の高さに応じて視点位置の高さを変更して表示映像Ｄを表示することができる。これにより、リアリティーの高い表示映像Ｄを提供することが可能となる。

また、表示画面では、アイコンＩの移動に伴って、表示映像Ｄが更新される。すなわち、アイコンＩが移動すると、移動した位置から運転者が見える景色が表示映像Ｄに随時表示される。つまり、表示画像Ｄを再生した場合の時間的変化に連動して、車両Ｃの位置を示すアイコンＩを地図画像上で移動する。

同図に示す例では、地図画像Ｍ上に表示されたアイコンＩが右折後に、ヒヤリハット地点Ｓが見える場合を示す。このため、かかるアイコンＩの位置からは、ヒヤリハット地点Ｓを視認することはできないので、表示映像Ｄにはヒヤリハット地点Ｓは表示されず、かかるヒヤリハット地点Ｓの手前にある交差点が表示される。

このように、画像生成システム１００では、ヒヤリハット地点Ｓにおける表示映像Ｄだけでなく、ヒヤリハット地点Ｓに至るまでの表示映像Ｄを生成することが可能である。

これにより、運転者は、ヒヤリハット地点Ｓにおける表示映像Ｄのみならず、ヒヤリハット地点Ｓに至るまでの走行ルートにおける表示映像Ｄを事前に確認することができる。したがって、ユーザは、走行ルートとともにヒヤリハットの内容を確認することができる。

なお、この際に、例えば、走行ルートにおいて、ヒヤリハット地点Ｓの手前にある特徴的な構造物を強調して表示することにしてもよい。これにより、ユーザは、走行ルートを実際に走行する際に、かかる構造物を目印として、ヒヤリハット地点Ｓに近づいたことを認識することが可能となる。

つまり、かかる構造物を強調して表示することにより、ユーザに対してヒヤリハット地点Ｓの実際の位置を印象付けて記憶させることが可能となる。また、アイコンＩの移動に伴って、アイコンＩの位置から見える表示映像Ｄを表示することで、ユーザは、車両Ｃの位置とともに、かかる位置における風景を同時に視聴することが可能となる。

ところで、画像生成システム１００では、表示映像Ｄを車両Ｃのフロントガラスに見立てて、時刻や天候に応じて表示態様を変更することも可能である。具体的には、天候が雨や雪であれば、表示映像Ｄに雨や雪を表示する。

例えば、画像生成システム１００では、時刻に応じて表示映像Ｄの明るさを変化させて表示したり、降水量や積雪量に応じて雨や雪の量を調整して表示映像Ｄに重畳したりすることができる。また、表示映像Ｄにワイパが動作するアニメーションを重畳して表示することも可能である。かかる場合に、雨や雪の量に応じてワイパの速度を調整することもできる。

このように、画像生成システム１００では、時刻や天候を表示映像Ｄに反映させる。これにより、運転者は、時刻や天候から想定される視界の表示映像Ｄを視聴することができる。つまり、現在の運転状況にあわせてリアリティーの高い表示映像Ｄを提供することが可能となる。

次に、図１２を用いて実施形態に係る画像生成装置１が実行する処理手順について説明する。図１２は、画像生成装置１が実行する処理手順を示すフローチャートである。図１２に示すように、まず、画像生成装置１は、走行データを受信し（ステップＳ１０１）、危険回避運転を検出したか否かを判定する（ステップＳ１０２）。

抽出部３２は、検出部３１が危険回避運転を検出した場合（ステップＳ１０２，Ｙｅｓ）、撮像映像Ｌから移動物体を抽出する（ステップＳ１０３）。一方、危険回避運転を検出しなかった場合（ステップＳ１０２，Ｎｏ）、処理を終了する。

続いて、変換部３３は、移動物体をアニメーション画像Ｇへ変換し（ステップＳ１０４）、対応付け部３４は、アニメーション画像Ｇに対して危険回避運転の位置情報を対応付けて（ステップＳ１０５）、処理を終了する。

上述したように、実施形態に係る画像生成装置１は、検出部３１と、抽出部３２と、変換部３３と、対応付け部３４とを備える。検出部３１は、車両Ｃの走行データから危険回避運転を検出する。抽出部３２は、検出部３１によって危険回避運転が検出された場合に、車両Ｃの外部を継続的に撮像した撮像映像Ｌから移動物体を抽出する。

変換部３３は、抽出部３２によって抽出された移動物体を抽象化したアニメーション画像Ｇへ変換する。対応付け部３４は、変換部３３によって変換されたアニメーション画像Ｇに対して危険回避運転の位置情報を対応付ける。したがって、実施形態に係る画像生成装置１によれば、ユーザに対してヒヤリハット時のシチュエーションを直感的に把握させることができる。

ところで、上述した実施形態では、画像生成装置１が、ヒヤリハットに対する表示映像Ｄを生成する場合について説明したが、これに限定されるものではない。

そこで、以下では、画像生成装置１の変形例について説明する。変形例に係る画像生成装置１は、車両Ｃの走行データに基づいて運転者の視点画像を再現した表示映像Ｄを生成する。

このとき、例えば、画像生成装置１には、各道路における法定速度、道路標識に関する情報を記憶しておき、走行データから道路交通法の違反を検出することもできる。

画像生成装置１は、かかる違反を検出した場合に、違反内容を示すテロップを表示映像Ｄに重畳して表示することもできる。また、画像生成装置１は、撮像映像Ｌに写る信号機の点灯状態を検出し、信号無視等の違反を検出することも可能である。

なお、上述した実施形態では、車載装置５０を介して表示映像Ｄをユーザに提示する場合について説明したが、パソコン等の表示部を介して表示映像Ｄをユーザへ提示することにしてもよい。

かかる場合に、例えば、トラック、バス等を含む営業車両の運行を管理する管理者が営業所等で各運転者に対してヒヤリハット地点およびヒヤリハットのシチュエーションを事前に確認させることができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像生成装置
３１ 検出部
３２ 抽出部
３３ 変換部
３４ 対応付け部
３５ 生成部
Ｃ 車両
Ｄ 表示映像
Ｇ アニメーション画像

Claims (7)

1. 車両の走行データから危険回避運転を検出し、
   前記危険回避運転が検出された場合に、前記車両の外部を継続的に撮像した撮像映像から移動物体を抽出し、
   抽出された前記移動物体を抽象化したアニメーション画像へ変換し、
   変換された前記アニメーション画像に対して前記危険回避運転の位置情報を対応付ける制御部を備え、
   前記制御部は、
   現在の時刻または天候から想定されるドライバの視界を再現した前記危険回避運転に関する表示映像を生成すること
   を特徴とする画像生成装置。
2. 前記制御部は、
   前記位置情報に基づき、前記アニメーション画像を前記撮像映像に対応した３次元地図画像に重畳させた表示映像を生成すること
   を特徴とする請求項１に記載の画像生成装置。
3. 前記制御部は、
   前記車両のドライバおよび前記移動物体の視点位置を含んだ視点位置を変更可能にして、前記表示映像を生成すること
   を特徴とする請求項２に記載の画像生成装置。
4. 前記制御部は、
   前記表示映像を再生した場合の時間的変化に連動して、前記車両の位置を示すアイコン画像を地図画像上で移動させること
   を特徴とする請求項２または３に記載の画像生成装置。
5. 前記制御部は、
   天候情報および時刻情報に応じた前記表示映像を生成すること
   を特徴とする請求項２、３または４に記載の画像生成装置。
6. 前記制御部は、
   前記アニメーション画像に対して前記車両の運転者に関する運転者情報を対応付けること
   を特徴とする請求項１～５のいずれか一つに記載の画像生成装置。
7. 制御部により実行される画像生成方法であって、
   前記制御部は、
   車両の走行データから危険回避運転を検出し、
   前記危険回避運転が検出された場合に、前記車両の外部を継続的に撮像した撮像映像から移動物体を抽出し、
   抽出された前記移動物体を抽象化したアニメーション画像へ変換し、
   変換された前記アニメーション画像に対して前記危険回避運転の位置情報を対応付けて、
   現在の時刻または天候から想定されるドライバの視界を再現した前記危険回避運転に関する表示映像を生成する
   ことを特徴とする画像生成方法。

Images