JP7377372B2 - 画像処理装置および画像表示装置 - Google Patents

Description

本発明は、主に画像処理装置に関する。

特許文献１には、車両およびその周辺の様子を示す画像に仮想視点を設け、仮想視点を変更しながら該画像を視認可能とする画像処理技術が記載されている。特許文献１には、このような技術の用途の一例として盗難防止が示されている。

特開２０１５－７６０６２号公報

上記画像処理技術により得られる画像の用途の更なる多様化を図るのに際して、一層の技術改良が求められうる。

本発明は、上記画像処理技術により得られる画像の用途の多様化を比較的簡便に実現可能とすることを例示的目的とする。

本発明の一つの側面は画像処理装置に係り、前記画像処理装置は、車両の運転者の姿勢を示す運転者姿勢情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、或る車両およびその運転者について、前記運転者姿勢情報に基づく第１の運転者画像と、前記車両状態情報に基づく第１の車両画像とを重ね合わせて第１の合成画像を生成する第１の画像生成手段と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者姿勢情報に基づく第２の運転者画像と、前記車両状態情報に基づく第２の車両画像とを重ね合わせて第２の合成画像を生成する第２の画像生成手段と、前記第１の合成画像と前記第２の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備えることを特徴とする。

本発明によれば、上記画像処理技術により得られる画像の用途の多様化に有利となる。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。

画像表示システムの構成例を示す模式図。 車両の構成例を示す模式図。 画像処理方法の一例を示すフローチャート。 車両周辺画像を示す模式図。 運転者画像を示す模式図。 車両画像を示す模式図。 合成画像を示す模式図。 或る仮想視点における合成画像の例を示す図。 他の仮想視点における合成画像の例を示す図。 画像表示システムの他の構成例を示す模式図。 画像表示システムの他の構成例を示す模式図。 合成画像についての管理態様の一例を示す図。 比較用合成画像の生成方法の一例を示す図。 比較用合成画像の例を示す模式図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

（画像表示システムの一例）
図１は、実施形態に係る画像表示システムＳＹの構成例を示す模式図である。画像表示システムＳＹは、車両１、画像処理装置２および端末３を備えており、本実施形態では、これらはネットワークＮを介して相互通信可能とする。

車両１は、本実施形態では鞍乗型車両とする。ここで、鞍乗型車両は、運転者が車体を跨いで乗車する型のものを指し、その概念には、典型的な二輪車（スクータ型車両を含む。）の他、三輪車（前一輪且つ後二輪、又は、前二輪且つ後一輪の車両）、四輪バギーのような全地形対応車（ＡＴＶ）等も含まれる。尚、他の実施形態として、車両１は乗用型車両であってもよい。車両１は、撮像装置１１Ａ、撮像装置１１Ｂ、車両状態検出装置１２車両位置特定装置１３および通信装置１４を備える。

図２に例示されるように、撮像装置１１Ａは、車両１周辺の様子を示す画像を撮像可能となるように、車体周辺部に複数設けられ、それら複数の撮像装置１１Ａは、それらの撮像領域が車両１周辺の全域を含むように設けられる。即ち、複数の撮像装置１１Ａは、互いに隣り合う２つの撮像装置１１Ａの撮像領域が部分的に互いに重なるように設けられる。図中には、撮像装置１１Ａの指向方向が破線により模式的に示されるが、撮像装置１１Ａの実際の検出範囲は図示されたものより広範なものとする。

撮像装置１１Ｂは、運転者を前方および後方のそれぞれから撮像可能となるように、運転者の座席の前後にそれぞれ設けられる。図中には、撮像装置１１Ａ同様、撮像装置１１Ｂの指向方向が破線により模式的に示されるが、撮像装置１１Ｂの実際の検出範囲は図示されたものより広範なものとする。詳細については後述とするが、これにより、運転者の姿勢（挙動等を含む。）および付随的に容姿（服装等を含む。）を撮像可能となる。

撮像装置１１Ａ及び１１Ｂには、ＣＣＤ／ＣＭＯＳイメージセンサ等で構成された公知のカメラが用いられればよい。尚、本実施形態では、一例として、撮像装置１１Ａ及び１１Ｂに要するコストの低減のため、単眼カメラが用いられるものとする。

再び図１を参照して、車両状態検出装置１２は、車両１の状態を検出可能に車体の各部位に設けられる。車両１の状態は、本実施形態では、車速、転舵角（或いは操舵角）、車体の姿勢、及び、灯体（ヘッドライト、テールライト、ウィンカ等）の状態を含む。車両状態検出装置１２は、状態検出装置あるいは単に検出装置と表現されてもよい。

車速は、例えば、単位時間あたりの車輪の回転数に基づいて検出され、このことは、公知の速度センサを用いることにより実現可能である。転舵角は、例えば、車体に対する転舵輪の向き（或いは、車体に対するハンドルバーの向き）に基づいて検出され、このことは、公知の舵角センサを用いることにより実現可能である。車体の姿勢は、例えば、重力方向に対する車体の向きに基づいて検出され、このことは、公知の加速度センサを用いることにより実現可能である。また、灯体の状態は、例えば、光源の導通状態に基づいて検出され、このことは、公知の電流計を用いることにより実現可能である。

車両位置特定装置１３は、走行路における車両１の位置を特定する。走行路は、車両１が現に走行中の道路を示し、車両位置特定装置１３は、地図データ上における車両１の位置を示す。車両位置特定装置１３には、典型的にはＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサが用いられうる。車両位置特定装置１３は、位置特定装置あるいは単に特定装置と表現されてもよい。

通信装置１４は、撮像装置１１Ａ及び１１Ｂによる撮像結果、車両状態検出装置１２による検出結果、並びに、車両位置特定装置１３による特定結果を、ネットワークＮを介して画像処理装置２に送信する。通信装置１４は、送受信装置等と表現されてもよいし、本実施形態においては単に送信装置と表現されてもよい。

撮像装置１１Ａによる撮像結果は、車両１周辺の様子を示す情報（以下、車両周辺情報９０Ａとする。）を示す。本実施形態では、車両周辺情報９０Ａは画像情報ないし画像データとする。

撮像装置１１Ｂによる撮像結果は、運転者の姿勢を示す情報（以下、運転者姿勢情報９０Ｂとする。）を示す。本実施形態では、運転者姿勢情報９０Ｂは画像情報ないし画像データとする。

車両状態検出装置１２による検出結果は、車両１の状態を示す情報（以下、車両状態情報９０Ｃとする。）を示す。本実施形態では、車両状態情報９０Ｃは、車速、転舵角、車体の姿勢、及び、灯体の状態を示す信号群とする。

車両位置特定装置１３による特定結果は、車両１の走行路における位置を示す情報（以下、車両位置情報９０Ｄとする。）を示す。本実施形態では、車両位置情報９０Ｄは、ＧＰＳに基づいて取得可能であり、地図データ上における座標を示す信号群とする。

上述の情報９０Ａ～９０Ｄは、図１に示されるように、車両１からネットワークＮを介して画像処理装置２に送信される。

画像処理装置２は、通信部２１および演算部２２を備える。通信部２１は、ネットワークＮを介して画像処理装置２を車両１および端末３のそれぞれと通信可能とする。演算部２２は、詳細については後述とするが、画像処理を含む所定の演算処理を行う。演算部２２は、本実施形態では、ＣＰＵ及びメモリを含むプロセッサとし、その機能は所定のプログラムを実行することにより実現されるものとする。即ち、このプログラムは、ネットワーク又は記憶媒体を介して読み出され、コンピュータ上で実行されればよい。

尚、他の実施形態として、演算部２２は、ＰＬＤ（プログラマブルロジックデバイス）、ＡＳＩＣ（特定用途向け半導体集積回路）等の半導体装置で構成されてもよい。即ち、演算部２２の機能はハードウェアおよびソフトウェアの何れによっても実現可能である。

端末３は、本実施形態では携帯端末（例えばスマートフォン）とし、通信部３１、操作部３２および表示部３３を備える。端末３のユーザは、車両１の運転者であってもよいし、運転者とは異なる第三者であってもよい。通信部３１は、ネットワークＮを介して端末３を画像処理装置２と通信可能とする。操作部３２は、ユーザによる操作入力を受付け可能とし、操作部３２には、例えばタッチセンサ式操作パネル、ボタン／スイッチ式操作パネル等、公知の操作パネルが用いられうる。また、表示部３３は、画像を表示可能とし、表示部３３には、例えば液晶ディスプレイ、有機ＥＬディスプレイ等、公知のディスプレイが用いられうる。操作部３２および表示部３３は、本実施形態では、一体に設けられたもの（タッチパネル式ディスプレイ）とするが、他の実施形態として個別に設けられてもよい。

詳細については後述とするが、このような画像表示システムＳＹにおいて、車両１は、画像処理装置２と通信可能であり、撮像装置１１Ａ及び１１Ｂによる撮像結果、車両状態検出装置１２による検出結果、並びに、車両位置特定装置１３による特定結果を画像処理装置２に送信する。画像処理装置２は、これらに基づいて演算部２２により所定の画像処理を行って合成画像（以下、合成画像９０Ｘとする。）を生成し、合成画像９０Ｘを端末３に送信する。端末３は画像表示装置として機能し、ユーザは、端末３を用いて、操作部３２に操作入力しながら表示部３３にて合成画像９０Ｘを視認することができる。

（画像処理方法の一例）
図３は、合成画像９０Ｘを生成するための画像処理方法の一例を示すフローチャートである。本フローチャートの内容は、主に演算部２２により実行され、その概要は、上述の情報９０Ａ～９０Ｄに基づいて合成画像９０Ｘを生成する、というものである。尚、本フローチャートは、車両１の使用後（非走行時）に実行されるものとするが、車両１の使用時（走行中）に実行されてもよい。

ステップＳ１０００（以下、単に「Ｓ１０００」という。後述の他のステップについても同様とする。）では、車両周辺情報９０Ａを取得する。前述のとおり、車両周辺情報９０Ａは複数の撮像装置１１Ａにより得られ、それら複数の撮像装置１１Ａは、それらの撮像領域が車両１周辺の全域を含むように車体周辺部に設けられる。これにより、車両周辺情報９０Ａは、車両１周辺の全域の様子を示し、いわゆるパノラマビュー（３６０度パノラマビュー）を示す画像情報ないし画像データとして得られることとなる。詳細については後述とするが、車両周辺情報９０Ａに対応する車両１周辺の様子を示す画像が、車両周辺画像９０Ｐとして生成される。よって、車両周辺情報９０Ａを用いた画像処理は、球面座標系を用いることにより比較的簡便に行われうる。

Ｓ１０１０では、運転者姿勢情報９０Ｂを取得する。前述のとおり、運転者姿勢情報９０Ｂは、運転者の座席の前後に設けられた一対の撮像装置１１Ｂにより得られ、それら一対の撮像装置１１Ｂは、運転者を前方および後方から撮像可能に設けられる。よって、運転者姿勢情報９０Ｂは、運転者の姿勢（静止画の場合）、挙動（動画の場合）等、運転者の運転態様を示す画像情報ないし画像データとして得られ、付随的に容姿（例えば、骨格、服装（ウェア、ヘルメット等））を更に示してもよい。詳細については後述とするが、運転者姿勢情報９０Ｂに対応する運転者の画像が、運転者画像９０Ｑとして生成される。よって、運転者姿勢情報９０Ｂについての画像処理は、所定の人体モデルに基づく三次元座標系を用いることにより比較的簡便に行われうる。

Ｓ１０２０では、車両状態情報９０Ｃを取得する。前述のとおり、車両状態情報９０Ｃは、車両１の状態を検出可能に車体の各部位に設けられた車両状態検出装置１２により得られ、車両１の状態は、車速、転舵角、車体の姿勢、及び、灯体の状態を含む。詳細については後述とするが、車両状態情報９０Ｃに対応する車両１の画像が、車両画像９０Ｒとして生成される。よって、車両画像９０Ｒについての画像処理は、対応の車両モデルに基づく三次元座標系を用いることにより比較的簡便に行われうる。

Ｓ１０３０では、上述の情報９０Ａ～９０Ｃに基づいて画像９０Ｐ～９０Ｒをそれぞれ生成する。即ち、車両周辺情報９０Ａに基づいて車両周辺画像９０Ｐを生成し、運転者姿勢情報９０Ｂに基づいて運転者画像９０Ｑを生成し、また、車両状態情報９０Ｃに基づいて車両画像９０Ｒを生成する。

Ｓ１０４０では、画像９０Ｐ、９０Ｑ及び９０Ｒを重ね合わせて合成画像９０Ｘを生成する。前述のとおり、本実施形態では、車両周辺画像９０Ｐは球面座標系で処理され、運転者画像９０Ｑおよび車両画像９０Ｒは三次元座標系で処理される。

ここで、三次元座標系は、典型的には、座標中心から対象までの車体前後方向の距離ｘ、座標中心から対象までの車体左右方向の距離ｙ、及び、座標中心から対象までの車体上下方向の距離ｚを用いて、座標（ｘ、ｙ、ｚ）で示されうる。また、球面座標系は、典型的には、座標中心から対象までの距離ｒ、座標中心‐対象間を通る線と車体上下方向とが成す角θ、及び、座標中心‐対象間を通る線と車体前後方向とが成す角φを用いて、座標（ｒ、θ、φ）で示されうる。

図４Ａは、車両周辺画像９０Ｐを示す模式図である。車両周辺画像９０Ｐは、球面座標系で処理され、座標中心から距離ｒの位置に描写される。換言すると、パノラマビューとしての車両周辺画像９０Ｐが、半径ｒの球体の内壁に描かれる形となる。上記ｒは、車両１より外側の位置となるように設定されればよい。

図４Ｂは、運転者画像９０Ｑを示す模式図である。運転者画像９０Ｑは、三次元座標系で処理され、例えば所定の人体モデルに基づいて、頭部、肩部、胴体部（胸部および腹部）、腰部、腕部（上腕部および前腕部）、手部、脚部（大腿部および下腿部）、足部等が描写されうる。付随的に、服装が更に描写されてもよい。

図４Ｃは、車両画像９０Ｒを示す模式図である。車両画像９０Ｒは、三次元座標系で処理され、例えば、車両状態情報９０Ｃ（車速、転舵角、車体の姿勢、及び、灯体の状態を示す情報）に基づく状態の車両１の画像が描写されうる。例えば、コーナリング中の車両１については、車両画像９０Ｒは、車体が傾いた姿勢で描写されうる。

ここで、車両状態情報９０Ｃは、車体の姿勢を示す情報を含むため、撮像装置１１Ａ及び１１Ｂによる撮像結果は、車体の傾き度合いに応じて補正されるとよい。例えば、車体が傾斜角λ１で傾いた姿勢の間に撮像装置１１Ａにより車両周辺画像９０Ｐが取得された場合には、この画像９０Ｐは角度λ１相当だけ回転処理されうる。撮像装置１１Ａ及び１１Ｂによる撮像結果に対する補正処理は、画像処理装置２において行われてもよいが、車両１において行われてもよい。

図４Ｄは、合成画像９０Ｘを示す模式図である。画像９０Ｐ～９０Ｒは、座標中心、距離および方向が一致するように合成されればよい。尚、座標中心は、本実施形態では座席の直上の位置とするが、他の実施形態として、他の位置（例えば、車体の何れかの位置）であってもよい。

再び図３を参照して、Ｓ１０５０では、車両位置情報９０Ｄを取得し、また、合成画像９０Ｘ、其れを構成する画像９０Ｐ～９０Ｒ、及び、其れらを生成するための情報９０Ａ～９０Ｃに対して、車両１の走行路における位置を示す車両位置情報９０Ｄを付与する。詳細については後述とするが、これにより合成画像９０Ｘ（或いは、その生成の過程で用いられる情報９０Ａ～９０Ｃ及び／又は画像９０Ｐ～９０Ｒ）を他の合成画像９０Ｘ（或いは、その生成の過程で用いられる情報９０Ａ～９０Ｃ及び／又は画像９０Ｐ～９０Ｒ）に関連付けることが可能となる。

Ｓ１０６０では、端末３に合成画像９０Ｘを送信する。端末３のユーザは、操作部３２への操作入力により、任意の位置からの視点（以下、仮想視点）で合成画像９０Ｘを表示部３３に表示することができる。また、ユーザは、操作部３２への操作入力により、合成画像９０Ｘのズームインまたはズームアウトを行うことも可能である。

小括すると、Ｓ１０００～Ｓ１０２０では、演算部２２は、車両周辺情報９０Ａ、運転者姿勢情報９０Ｂおよび車両状態情報９０Ｃを取得する情報取得部として機能する。Ｓ１０３０～Ｓ１０４０では、演算部２２は、車両周辺画像９０Ｐ、運転者画像９０Ｑおよび車両画像９０Ｒを生成し、それら画像９０Ｐ～９０Ｒを重ね合わせて合成画像９０Ｘを生成する画像生成部として機能する。Ｓ１０５０では、演算部２２は、車両位置情報９０Ｄを用いて、或る合成画像９０Ｘと、過去に生成された複数の合成画像９０Ｘのうちの任意の１つと、を相互に関連付ける関連付け部として機能する。また、Ｓ１０６０では、演算部２２は、合成画像９０Ｘを送信する送信部として機能する。

尚、上記Ｓ１０００～Ｓ１０６０の説明においては、情報９０Ａ～９０Ｄの取得は、演算部２２のＣＰＵがメモリから情報９０Ａ～９０Ｄを読み出すことを指すものとし、画像処理装置２は、Ｓ１０００以前に情報９０Ａ～９０Ｄを車両１から一括で受信しうる。

（合成画像の一例）
図５Ａは、操作部３２および表示部３３が一体に設けられたタッチパネル式ディスプレイの場合における合成画像９０Ｘの一例を示し、図５Ｂは、合成画像９０Ｘの他の例（図５Ａとは異なる仮想視点での合成画像９０Ｘの例）を示す。表示部３３には、操作部３２の一部として、仮想視点を変更するためのアイコン８ａ及び８ｂ、ズームインを行うためのアイコン８ｃ、並びに、ズームアウトを行うためのアイコン８ｄが表示される。ユーザは、これらのアイコン８ａ等に対して所定の操作入力（例えば、タップ操作、スワイプ操作、フリック操作等）を行うことにより、所望の仮想視点から車両１およびその周辺の様子を視認することが可能となる。

仮想視点が変更された場合、合成画像９０Ｘにおける車両画像９０Ｒのサイズが変更され、付随的に運転者画像９０Ｑのサイズも変更されることにより、該変更に伴う合成画像９０Ｘの見え方が変わってしまうことの違和感が低減される場合がある。一方、車両周辺画像９０Ｐは球面座標系で処理されているため、仮想視点の変更の際、合成画像９０Ｘにおける車両周辺画像９０Ｐのサイズは維持されてもよい。

尚、車両周辺画像９０Ｐの画像処理に際して、球面座標系における距離ｒを比較的大きい値に設定することにより、仮想視点を変更した場合における車両周辺画像９０Ｐの変化の違和感（例えば歪み）を低減可能となる。その場合、画素数が比較的大きい撮像装置１１Ａが用いられることにより、車両周辺画像９０Ｐは鮮明に表示されうる。

上記Ｓ１０４０（合成画像９０Ｘの生成）に際して、画像９０Ｐ～９０Ｒは、互いに略同じ時間における様子を示すものであることが求められる。よって、画像９０Ｐ～９０Ｒおよび其れらを生成するための情報９０Ａ～９０Ｃには、本実施形態では車両位置情報９０Ｄが付与される。他の実施形態として、画像９０Ｐ～９０Ｒおよび情報９０Ａ～９０Ｃには、時間（何れのタイミングで撮像された画像か、或いは、何れのタイミングで取得された情報に基づいて生成された画像か）を示す属性情報が関連付けられてもよい。

また、前述のとおり、三次元座標系は、典型的には座標（ｘ、ｙ、ｚ）で示され、球面座標系は、典型的には座標（ｒ、θ、φ）で示されうる。よって、他の実施形態として、公知の座標変換を用いることにより、運転者画像９０Ｑおよび車両画像９０Ｒは、車両周辺画像９０Ｐ同様、球面座標系で処理されてもよい。或いは、車両周辺画像９０Ｐは、運転者画像９０Ｑおよび車両画像９０Ｒ同様、三次元座標系で処理されてもよい。

また、本実施形態では、撮像装置１１Ａとして単眼カメラを用いることとしたが、代替的に複眼カメラを用いることも可能である。これにより、撮像対象を距離情報と共に撮像可能となるため、比較的簡便に車両周辺画像９０Ｐを三次元座標系で処理することも可能となる。

画像表示システムＳＹによれば、ユーザ（例えば運転者）は、この合成画像９０Ｘを用いて、例えば、運転中の車両１およびその運転者の様子を所望の仮想視点から視認することも可能であるし、或いは、該様子を第三者に見せることも可能である。よって、本実施形態によれば、合成画像９０Ｘは、多様な用途で活用可能であり、一例として、運転操作の練習に活用することも可能である。

（合成画像の管理態様の一例）
図７は、上述のようにして得られる合成画像９０Ｘの管理態様を示す模式図である。合成画像９０Ｘは、例えば車両１、その運転者等で区別されうる識別子ごとに管理され、識別子ごとにデータベースＤＢに格納される。例えば、或る車両１ａおよび或る運転者Ｕａによる走行態様を示す動画は、複数の合成画像９０Ｘとして、データベースＤＢａａに格納される。また、或る車両１ａおよび他の運転者Ｕｂによる走行態様を示す動画は、複数の合成画像９０Ｘとして、データベースＤＢａｂに格納される。他の車両１ｂおよび或る運転者Ｕａによる走行態様を示す動画は、複数の合成画像９０Ｘとして、データベースＤＢｂａに格納される。また、他の車両１ｂおよび他の運転者Ｕｂによる走行態様を示す動画は、複数の合成画像９０Ｘとして、データベースＤＢｂｂに格納される。他のデータベースＤＢａｃ、ＤＢｂｃ等についても同様とする。

上記データベースＤＢａａ等は、識別子ごとに管理されうるが、以下では、単にデータベースＤＢと示される。尚、個々のデータベースＤＢに格納される合成画像９０Ｘの枚数は、典型的には、動画の時間およびフレームレートに応じた数量に従う。

（合成画像の活用態様の一例）
図８に例示されるように、演算部２２は、データベースＤＢに格納されている合成画像９０Ｘのうち、互いに異なる識別子に対応する任意の２つを比較用に合成することができる。例えば、演算部２２は、或る識別子に対応する合成画像（区別のため「合成画像９１Ｘ」とする。）と、他の識別子に対応する合成画像（区別のため「合成画像９２Ｘ」とする。）と、を重ね合わせて、比較用合成画像９３Ｘを生成することができる。

比較用合成画像９３Ｘは、合成画像９１Ｘおよび合成画像９２Ｘの間に基準以上の差異が存する場合には、その部分が強調されるように表示部３３に表示されてもよい。該強調された部分は、比較用合成画像９３Ｘにおいて合成画像９１Ｘおよび合成画像９２Ｘの少なくとも一方に表示されればよい。強調の方法としては、色付け、輪郭のハイライト等、公知の態様が採用可能である。このような表示態様によれば、合成画像９１Ｘ及び９２Ｘ間の差異をユーザに視認させ易くすることが可能となる。

合成画像９１Ｘは、車両周辺画像（区別のため「車両周辺画像９１Ｐ」とする。）と、運転者画像（区別のため「運転者画像９１Ｑ」とする。）と、車両画像（区別のため「車両画像９１Ｒ」とする。）と、が重ね合わされて成る。また、画像９１Ｐ、９１Ｑおよび９１Ｒをそれぞれ生成するための車両周辺情報、運転者姿勢情報および車両状態情報を、区別のため、それぞれ、「車両周辺情報９１Ａ」、「運転者姿勢情報９１Ｂ」および「車両状態情報９１Ｃ」とする。また、合成画像９１Ｘ、其れを構成する画像９１Ｐ～９１Ｒ、及び、其れらを生成するための情報９１Ａ～９１Ｃに対して付与される車両位置情報を、区別のため「車両位置情報９１Ｄ」とする。

合成画像９２Ｘは、車両周辺画像（区別のため「車両周辺画像９２Ｐ」とする。）と、運転者画像（区別のため「運転者画像９２Ｑ」とする。）と、車両画像（区別のため「車両画像９２Ｒ」とする。）と、が重ね合わされて成る。また、画像９２Ｐ、９２Ｑおよび９２Ｒをそれぞれ生成するための車両周辺情報、運転者姿勢情報および車両状態情報を、区別のため、それぞれ、「車両周辺情報９２Ａ」、「運転者姿勢情報９２Ｂ」および「車両状態情報９２Ｃ」とする。また、合成画像９２Ｘ、其れを構成する画像９２Ｐ～９２Ｒ、及び、其れらを生成するための情報９２Ａ～９２Ｃに対して付与される車両位置情報を、区別のため「車両位置情報９２Ｄ」とする。

車両位置情報９１Ｄ及び９２Ｄが同一の位置を示す場合、画像９１Ｑ及び９１Ｒ、並びに、画像９２Ｑ及び９２Ｒは、実質的に同一の位置を走行している際のものを示すこととなる。そのため、比較用合成画像９３Ｘは、車両位置情報９１Ｄ及び９２Ｄが同一の位置を示す場合に合成画像９１Ｘ及び９２Ｘを合成することにより、生成される。図７の例によれば、比較用合成画像９３Ｘは、或る車両１ａおよびその運転者Ｕａと、該車両１ａとは独立して走行した車両１ｂおよびその運転者Ｕｂと、を並べて（並走させた状態で）単一の画面に表示可能となる。

ここで、上述の場合、比較用合成画像９３Ｘの背景画像は、車両周辺画像９１Ｐ及び９２Ｐにより形成されることとなってしまうが、該背景画像の形成に画像９１Ｐ及び９２Ｐの双方は不要である。よって、比較用合成画像９３Ｘの生成に際しては、図８において「９１Ｐ／９２Ｐ」と示されるように画像９１Ｐ及び９２Ｐの一方は省略され、例えば、画像９１Ｐが背景画像として採用されうる。

上記背景画像の形成のため、他の実施形態として、合成画像９０Ｘを生成するＳ１０４０（図３参照）において、車両周辺画像９０Ｐは省略されていてもよい。この場合、合成画像９１Ｘの生成に際して車両周辺画像９１Ｐは省略され、また、合成画像９２Ｘの生成に際して車両周辺画像９２Ｐは省略され、そして、比較用合成画像９３Ｘの生成に際して、画像９１Ｐ及び９２Ｐの一方が背景画像として採用されうる。

また、演算部２２は、比較用合成画像９３Ｘの背景画像の形成に際して、車両周辺画像９１Ｐ及び９２Ｐの一方から他方へ切り替えることも可能とし、背景画像を任意に選択可能とする。

他の実施形態として、比較用合成画像９３Ｘの生成に際して、車両周辺画像９１Ｐ及び９２Ｐの双方は省略されてもよい。この場合、背景画像には、画像９１Ｐ及び９２Ｐとは異なる他の画像（例えば、単色画像、他の地域の風景を示す画像、仮想現実の画像など）が用いられてもよい。即ち、車両周辺画像として用いられる背景画像は、現実に車両１周辺の様子を示す画像でなくてもよい。この観点で、演算部２２は、車両周辺画像９１Ｐ及び９２Ｐを含む２以上の車両周辺画像を生成可能であり、比較用合成画像９３Ｘの生成に際しては、その背景画像を、該２以上の車両周辺画像の１つから他の１つに切替え可能とする。これにより、該２以上の車両周辺画像のうちの任意の１つを背景画像とすることができる。

図９は、比較用合成画像９３Ｘを示す模式図である。本実施形態によれば、或る走行態様ｅ１と、それとは独立した走行態様ｅ２とは、端末３の表示部３３において単一の画面に並んで／重ねられて表示されることとなる。態様ｅ１は、例えば、データベースＤＢａａに基づく走行態様（車両１ａおよびその運転者Ｕａの走行態様）を示す。態様ｅ２は、例えば、データベースＤＢｂｂに基づく走行態様（車両１ａとは独立して走行した車両１ｂおよびその運転者Ｕｂの走行態様）を示す。例えば、運転者Ｕａは、端末３のユーザとして比較用合成画像９３Ｘを参照することにより、自身の運転操作と、運転者Ｕｂの運転操作とを比較することが可能となり、運転操作の練習に活用可能となる。

小括すると、画像処理装置２（主に演算部２２）は、運転者姿勢情報９１Ｂ及び９２Ｂと、車両状態情報９１Ｃ及び９２Ｃと、車両位置情報９１Ｄ及び９２Ｄとを取得する。画像処理装置２は、或る車両およびその運転者について、運転者姿勢情報９１Ｂに基づく運転者画像９１Ｑと、車両状態情報９１Ｃに基づく車両画像９１Ｒとを重ね合わせて合成画像９１Ｘを生成する。また、画像処理装置２は、上記或る車両とは独立して走行した車両およびその運転者について、運転者姿勢情報９２Ｂに基づく運転者画像９２Ｑと、車両状態情報９２Ｃに基づく車両画像９２Ｒとを重ね合わせて合成画像９２Ｘを生成する。その後、画像処理装置２は、上記或る車両についての車両位置情報９１Ｄと、上記或る車両とは独立して走行した車両についての車両位置情報９２Ｄとに基づいて、合成画像９１Ｘと合成画像９２Ｘとを関連付ける。

このような画像処理によれば、２つの走行態様は、合成画像９１Ｘ及び９２Ｘに基づいて単一の画面上で（典型的には動画で）比較可能な状態となる。実施形態によれば、合成画像９１Ｘ及び９２Ｘは端末３に送信され、上記２つの走行態様は、端末３において比較用合成画像９３Ｘとして単一の画面に表示される。これにより、ユーザは、例えば、自身の走行態様を示す合成画像９１Ｘと、他の走行態様を示す合成画像９２Ｘと、が重ねられて表示された比較用合成画像９３Ｘを参照することができ、この画像９３Ｘを運転操作の練習に活用可能となる。

（第１の応用例）
上述の実施形態では、比較用合成画像９３Ｘは、或る車両１ａおよびその運転者Ｕａの走行態様と、該車両１ａとは独立して走行した車両１ｂおよびその運転者Ｕｂの走行態様と、を並べて表示することを例示した（図７参照）。

しかしながら、比較用合成画像９３Ｘに並べて表示される２つの走行態様は、互いに独立して走行した車両１であればよく、互いに異なる車両及び／又は運転者である必要はない。即ち、比較対象となる車両１は、略同時に走行した互いに異なる車両であってもよいし、互いに異なる期間に走行した同一の車両であってもよい。

よって、ユーザは、自身の走行態様と、他人の走行態様とを比較することも可能であるし、自身の現在の走行態様と、自身の過去の走行態様とを比較することも可能である。また、ユーザは、或る車両（例えば車両１ａ）を用いた場合の自身の現在または過去の走行態様と、他の車両（例えば車両１ｂ）を用いた場合の自身の現在または過去の走行態様とを比較することも可能である。よって、図７を参照しながら述べた合成画像９０Ｘの管理は、互いに独立して行われた走行について行われればよく、該管理に必要となる識別子は、車両１、その運転者の他、走行の時間帯、走行の場所等、多様な属性情報に基づいて決められうる。

（第２の応用例）
上述の実施形態によれば、車両位置情報９１Ｄ及び９２Ｄが同一の位置を示す場合、合成画像９１Ｘ及び９２Ｘが実質的に同一の位置を走行している態様を示すものとして、それらを合成して比較用合成画像９３Ｘを生成する。よって、車両位置情報９１Ｄ及び９２Ｄは、少なくとも車体前後方向（車両１の進行方向）において同一の位置を示すとよい。

一方、比較用合成画像９３Ｘに並べて表示される２つの走行態様ｅ１及びｅ２（図９参照）は、それらを参照するユーザにより適切に比較可能となるように、互いに近接して表示されることが好ましい場合がある。よって、比較用合成画像９３Ｘにおいては、走行態様ｅ１及びｅ２間の距離（車体左右方向での距離）は、ユーザにより指定されたものとなるように固定されてもよい。この場合、動画上では、走行態様ｅ１及びｅ２は、それらの間の距離が一定となるように表示されることとなる。

尚、走行態様ｅ１及びｅ２間の距離は、例えば０～１［ｍ（メートル）］等、ユーザにより任意に設定可能とする。走行態様ｅ１及びｅ２間の距離を０［ｍ（メートル）］とした場合、それらは重なって表示されることとなる。これにより、走行態様ｅ１及びｅ２を参照するユーザは、それらの差異を詳細に比較することが可能となる。

また、上記走行態様ｅ１及びｅ２の差異は、端末３の表示部３３において、該差異をユーザに通知するための文字、記号、アイコン等により視認可能に表示されてもよい。付随的／代替的に、上記差異を音で示すガイド（例えば音声ガイド）が付されてもよい。

（第３の応用例）
比較用合成画像９３Ｘの表示は、ユーザの要求に基づいて部分的に省略されてもよく、即ち、比較用合成画像９３Ｘを形成する合成画像９１Ｘ及び９２Ｘのうち、運転者画像９１Ｑ及び９２Ｑ、並びに、車両画像９１Ｒ及び９２Ｒ、の一部は省略されてもよい。

例えば、運転者画像９１Ｑ及び９２Ｑが省略され且つ車両画像９１Ｒ及び９２Ｒが表示された場合、ユーザは、車両１のコーナリング時の車体の傾きを比較可能となる。或いは、運転者画像９１Ｑ及び９２Ｑが表示され且つ車両画像９１Ｒ及び９２Ｒが省略された場合、ユーザは、車両１のコーナリング時の運転者の姿勢を比較可能となる。

車体及び／又は運転者の姿勢は、車両１の車速、コーナリングの曲率（旋回半径）により変わることが考えられる。よって、合成画像９１Ｘと関連付けが可能な合成画像９２Ｘは、所定条件に基づいて、例えば車速、走行の場所等に基づいて、制限されてもよい。

（第４の応用例）
上述の実施形態では、ユーザが比較用合成画像９３Ｘを運転操作の練習に活用する態様を例示したが、その用途は、ここで例示された態様に限られるものではない。例えば、実施形態の内容は、複数の車両１が略同時に走行している態様を示すＣＧ（コンピュータグラフィックス）を生成して仮想上のバイクレース動画を作成する際にも適用可能である。

この場合、車両位置情報９１Ｄ及び９２Ｄには、車体前後方向における所定量の位置ズレが許容されてもよい。この許容範囲は、例えば０～５［ｍ（メートル）］等、ユーザにより任意に設定可能とする。

このような用途においては、比較用合成画像９３Ｘの生成に要する合成画像９０Ｘの数量は３以上であってもよく、比較用合成画像９３Ｘは、視聴用合成画像、広告用合成画像、或いは単に合成画像等、多様な表現で換言されもよい。

また、このような用途においては、運転者画像９１Ｑ及び９２Ｑは運転者の姿勢を反映していなくてもよく、運転者姿勢情報９１Ｂ及び９２Ｂは単に運転者情報と表現されてもよい。

以上に示された幾つかの例は、他の応用例の其々に組み合わされてもよく、それらの何れの組合せが実施形態の内容に組み込まれてもよい。

（画像表示システムの変形例）
前述の画像表示システムＳＹによれば（図１参照）、画像処理装置２の機能は、車両１とは異なる場所（例えばサーバー）において実現され、合成画像９０Ｘの表示および仮想視点の変更は端末３において行われるものとしたが、この態様に限られるものではない。

図６Ａは、画像表示システムＳＹａの構成例を示す。本システムＳＹａにおいては、画像処理装置２は車両１に搭載される。この場合、車両１から端末３への合成画像９０Ｘの送信は、ネットワークＮを介して行われてもよいし、公知の通信手段（例えばｂｌｕｅ ｔооｔｈ（登録商標））により行われてもよい。

図６Ｂは、画像表示システムＳＹｂの構成例を示す。本システムＳＹｂにおいては、画像処理装置２は端末３に設けられる。即ち、端末３は、情報９０Ａ～９０Ｄを、ネットワークＮ等を介して車両１から受け取り、それらに基づいて合成画像９０Ｘを生成して表示部３３に表示すればよい。

更に他の例として、端末３は、車載用モニタ（例えば、カーナビゲーションシステム）であってもよい。この場合、運転者は、車両１を運転しながら、その周辺の様子を所望の仮想視点から視認することが可能となる。

（その他）
以上の説明においては、理解の容易化のため、各要素をその機能面に関連する名称で示したが、各要素は、実施形態で説明された内容を主機能として備えるものに限られるものではなく、それを補助的に備えるものであってもよい。

（実施形態のまとめ）
第１の態様は画像処理装置（例えば２）に係り、前記画像処理装置は、車両の運転者を示す運転者情報（例えば９０Ｂ、９１Ｂ、９２Ｂ）と、該車両の状態を示す車両状態情報（例えば９０Ｃ、９１Ｃ、９２Ｃ）とを取得する情報取得手段（例えばＳ１０１０、Ｓ１０２０、Ｓ１０５０）と、或る車両およびその運転者について、前記運転者情報に基づく第１の運転者画像（例えば９１Ｑ）と、前記車両状態情報に基づく第１の車両画像（例えば９１Ｒ）とを重ね合わせて第１の合成画像（例えば９１Ｘ）を生成する第１の画像生成手段（例えばＳ１０４０）と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第２の運転者画像（例えば９２Ｑ）と、前記車両状態情報に基づく第２の車両画像（例えば９２Ｒ）とを重ね合わせて第２の合成画像（例えば９２Ｘ）を生成する第２の画像生成手段（例えばＳ１０４０）と、前記第１の合成画像と前記第２の合成画像とを所定情報に基づいて関連付ける関連付け手段（例えばＳ１０５０）と、を備える
ことを特徴とする。これにより、第１～第２の合成画像に基づいて、或る第１の車両の走行態様と、該第１の車両とは独立して走行した第２の車両の走行態様と、を単一の画面上で（典型的には動画で）比較可能な状態にすることができる。尚、第１～第２の車両は、互いに独立して走行したものであればよく、互いに異なる期間に走行した同一の車両であってもよいし、略同時に走行した互いに異なる車両であってもよい。

第２の態様では、前記車両状態情報は、車速、転舵角、車体の姿勢、及び／又は、灯体の状態を示す情報を含む
ことを特徴とする。これにより、第１～第２の車両画像は、車速、転舵角、車体の姿勢、及び／又は、灯体の状態を示すことが可能となる。

第３の態様では、前記情報取得手段は、前記車両の走行路における位置を示す車両位置情報（例えば９０Ｄ、９１Ｄ、９２Ｄ）を更に取得し、前記所定情報は、前記或る車両についての前記車両位置情報および前記或る車両とは独立して走行した車両についての前記車両位置情報である
ことを特徴とする。これにより、第１～第２の合成画像を適切に関連付け可能となる。

第４の態様では、前記情報取得手段は、前記車両位置情報を、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づいて取得する
ことを特徴とする。これにより、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を並べて（並走させた状態で）単一の画面に表示させることが可能となる。

第５の態様では、前記情報取得手段は、更に、前記車両の周辺の様子を示す車両周辺情報（例えば９０Ａ、９１Ａ、９２Ａ）を取得し、前記画像処理装置は、前記車両周辺情報に基づいて車両周辺画像（例えば９０Ｐ、９１Ｐ、９２Ｐ）を生成する第３の画像生成手段（例えばＳ１０００）を更に備え、前記所定情報は前記車両周辺画像である
ことを特徴とする。これにより、車両周辺画像を背景画像として、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を表示させることが可能となる。

第６の態様では、前記第３の画像生成手段は、前記或る車両についての前記車両周辺情報に基づく前記車両周辺画像と、前記或る車両とは独立して走行した車両についての前記車両周辺情報に基づく前記車両周辺画像とを含む２以上の車両周辺画像を生成可能であり、前記関連付け手段は、前記関連付けられる車両周辺画像を、前記２以上の車両周辺画像の１つから他の１つに切替え可能とする
ことを特徴とする。これにより、２以上の車両周辺画像のうちの任意の１つを背景画像とすることができる。

第７の態様では、前記第３の画像生成手段は、前記車両周辺画像を球面座標系で処理する（図４Ａ及び図４Ｄ参照）
ことを特徴とする。これにより、車両周辺画像の処理を比較的簡便に実現可能となる。

第８の態様では、前記第１の画像生成手段は、前記第１の車両画像を三次元座標系で処理し、前記第２の画像生成手段は、前記第２の車両画像を三次元座標系で処理する（図４Ｂ、図４Ｃ及び図４Ｄ参照）
ことを特徴とする。これにより、第１～第２の車両画像の処理を比較的簡便に実現可能となる。

第９の態様では、前記運転者情報は、車両の運転者の姿勢を示す運転者姿勢情報（例えば９０Ｂ、９１Ｂ、９２Ｂ）である
ことを特徴とする。これにより、ユーザは、第１～第２の合成画像に基づいて、例えばコーナリング時の運転者の姿勢を比較可能となる。

第１０の態様は画像表示装置（例えば３）に係り、前記画像表示装置は、上述の画像処理装置（例えば２）と、前記第１の合成画像および前記第２の合成画像を用いて、前記或る車両およびその運転者と、前記或る車両とは独立して走行した車両およびその運転者と、を並べて又は重ねて単一の画面に表示するディスプレイ（例えば３３）と、を備える
ことを特徴とする。これにより、或る第１の車両の走行態様と、該第１の車両とは独立して走行した第２の車両の走行態様と、を比較しながら参照することが可能となる。

第１１の態様では、前記画像処理装置は、前記第１の合成画像および前記第２の合成画像の少なくとも一方について、それらの間に基準以上の差異が存する部分を強調するように前記ディスプレイに表示させる
ことを特徴とする。これにより、第１の合成画像および第２の合成画像の間の差異をユーザに視認させ易くすることが可能となる。

第１２の態様は画像表示装置（例えば３）に係り、前記画像表示装置は、上述の画像処理装置（例えば２）に通信可能な画像表示装置であって、前記第１の合成画像および前記第２の合成画像を並べて又は重ねて単一の画面に表示するディスプレイ（例えば３３）を備える
ことを特徴とする。これにより、或る第１の車両の走行態様と、該第１の車両とは独立して走行した第２の車両の走行態様と、を比較しながら参照することが可能となる。

第１３の態様では、前記ディスプレイの表示内容を任意の位置からの視点に変更するための操作入力を受け付ける操作部（例えば３２）を更に備える
ことを特徴とする。これにより、ユーザは、上記第１～第２の車両の走行態様を任意の視点で視認可能となる。尚、実施形態では、ディスプレイと操作部とは、それらが一体に構成されたタッチパネル式ディスプレイにより実現されるものとしたが、他の実施形態として、これらは別体で構成されてもよい。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

本願は、２０２０年９月３０日提出の日本国特許出願特願２０２０－１６５９９９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (13)

1. 車両の運転者を示す運転者情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、
   或る車両およびその運転者について、前記運転者情報に基づく第１の運転者画像と、前記車両状態情報に基づく第１の車両画像とを重ね合わせて第１の合成画像を生成する第１の画像生成手段と、
   前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第２の運転者画像と、前記車両状態情報に基づく第２の車両画像とを重ね合わせて第２の合成画像を生成する第２の画像生成手段と、
   前記第１の合成画像と前記第２の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記車両状態情報は、車速、転舵角、車体の姿勢、及び／又は、灯体の状態を示す情報を含む
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記情報取得手段は、前記車両の走行路における位置を示す車両位置情報を更に取得し、前記所定情報は、前記或る車両についての前記車両位置情報および前記或る車両とは独立して走行した車両についての前記車両位置情報である
   ことを特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記情報取得手段は、前記車両位置情報を、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づいて取得する
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記情報取得手段は、更に、前記車両の周辺の様子を示す車両周辺情報を取得し、
   前記画像処理装置は、前記車両周辺情報に基づいて車両周辺画像を生成する第３の画像生成手段を更に備え、
   前記所定情報は前記車両周辺画像である
   ことを特徴とする請求項１から請求項４の何れか１項記載の画像処理装置。
6. 前記第３の画像生成手段は、前記或る車両についての前記車両周辺情報に基づく前記車両周辺画像と、前記或る車両とは独立して走行した車両についての前記車両周辺情報に基づく前記車両周辺画像とを含む２以上の車両周辺画像を生成可能であり、
   前記関連付け手段は、前記関連付けられる車両周辺画像を、前記２以上の車両周辺画像の１つから他の１つに切替え可能とする
   ことを特徴とする請求項５記載の画像処理装置。
7. 前記第３の画像生成手段は、前記車両周辺画像を球面座標系で処理する
   ことを特徴とする請求項５または請求項６記載の画像処理装置。
8. 前記第１の画像生成手段は、前記第１の車両画像を三次元座標系で処理し、
   前記第２の画像生成手段は、前記第２の車両画像を三次元座標系で処理する
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記運転者情報は、車両の運転者の姿勢を示す運転者姿勢情報である
   ことを特徴とする請求項１から請求項８の何れか１項記載の画像処理装置。
10. 請求項１から請求項９の何れか１項記載の画像処理装置と、
    前記第１の合成画像および前記第２の合成画像を用いて、前記或る車両およびその運転者と、前記或る車両とは独立して走行した車両およびその運転者と、を並べて又は重ねて単一の画面に表示するディスプレイと、を備える
    ことを特徴とする画像表示装置。
11. 前記画像処理装置は、前記第１の合成画像および前記第２の合成画像の少なくとも一方について、それらの間に基準以上の差異が存する部分を強調するように前記ディスプレイに表示させる
    ことを特徴とする請求項１０記載の画像表示装置。
12. 請求項１から請求項９の何れか１項記載の画像処理装置に通信可能な画像表示装置であって、
    前記第１の合成画像および前記第２の合成画像を並べて又は重ねて単一の画面に表示するディスプレイを備える
    ことを特徴とする画像表示装置。
13. 前記ディスプレイの表示内容を任意の位置からの視点に変更するための操作入力を受け付ける操作部を更に備える
    ことを特徴とする請求項１０から請求項１２の何れか１項記載の画像表示装置。

Images