JP6830236B2 - 画像取得方法、画像表示システム、及びコンピュータプログラム - Google Patents

Description

本発明は、遮られている視野の画像を車両の搭乗者に提示することに関する。

特許文献１は、前方車両によって生成される死角を、前方車両から取得した画像によって補完することを開示している。

特開２００８−４４６１２号公報

特許文献１は、死角の原因となる車両が特定されており、かつ、その車両が前方にある場合に限定されたものしか開示していない。しかし、例えば、車両が、駐車場から道路に出る場合、運転者は、自車両の前方の道路を、運転者からみて左右方向に走行する周辺車両へ注意を払うことが必要となる。このような場合において、特許文献１の技術は対処ができない。

例えば、運転者からみて斜め前方にいる周辺車両によって運転者の視野が遮られている場合、運転者の視野が遮られている向きは、運転者からみて斜め前方であり、周辺車両にとっての前方とは異なる。したがって、特許文献１のように周辺車両が前方を撮影した画像を取得しても、その画像は遮られた視野を補完するには不適切である。

したがって、遮られた視野を撮像した画像を適切に取得することが望まれる。

本発明の一の態様は、画像取得方法である。実施形態において、画像取得方法は、車両の搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択し、選択された撮像手段によって撮像された画像を取得することを含む。撮像手段の選択により、適切な画像を取得できる。

本発明の他の態様は、画像を取得し、取得した画像を表示する画像表示システムである。本発明の他の態様は、画像表示のためのコンピュータプログラムである。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納され、コンピュータによって実行される。

車載システムのブロック図である。 車両のカメラ配置図である。 車室内の説明図である。 処理手順を示すフローチャートである。 車車間通信パケットのデータ構造図である。 周辺車両選択の説明図である。 周辺車両特定の説明図である。 カメラ選択の説明図である。 無線通信機のブロック図である。 画像変換の説明図である。 処理対象範囲の切替の説明図である。 探索範囲切替の説明図である。 奥行方向切替の説明図である。 奥行方向切替の説明図である。 奥行方向切替の説明図である。

［１．実施形態の概要］

（１）実施形態に係る画像取得方法は、
車両の搭乗者の視線を検出すること、
検出された前記視線に基づいて、前記搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択すること、
車両が、選択された前記撮像手段によって撮像された画像を受信すること、
を含む。搭乗者の視線に基づいて撮像手段を選択することで、視線に応じた適切な画像を受信できる。

（２）方法は、車両が、前記車両の周辺車両の位置を示す車両情報及び前記車両の周辺にある撮像手段の配置を示す撮像手段情報を受信すること、を更に含むのが好ましい。

（３）前記撮像手段を選択することは、
前記搭乗者の視野を遮っている前記周辺車両を、前記車両情報に基づいて選択すること、
選択された前記周辺車両によって遮られている範囲を撮像することができる撮像手段を、前記撮像手段情報に基づいて選択すること、
を含むのが好ましい。車両情報及び撮像手段情報によって、容易に撮像手段を選択することができる。

（４）前記撮像手段は、選択された前記周辺車両に設けられた撮像手段の中から選択されるのが好ましい。この場合、選択が容易である。

（５）前記車両情報及び前記撮像手段情報は、周辺車両からブロードキャスト送信されるのが好ましい。この場合、車両は、車両情報及び撮像手段情報を容易に受信できる。

（６）前記搭乗者の視野を遮る前記周辺車両は、前記車両と同じ方向に進行する前方車両以外の周辺車両であってもよい。この場合、前方車両以外の周辺車両によって遮られた範囲の画像を受信できる。

（７）方法は、前記車両が、選択された前記撮像手段によって撮像された画像のリクエストを、選択された前記撮像手段を搭載している周辺車両に送信すること、を更に含むのが好ましい。画像のリクエストにより、周辺車両から画像を必要に応じて受信できる。

（８）前記撮像手段情報及び前記車両情報の少なくとも一部は、第１無線通信によって受信され、前記画像は、前記第１無線通信とは通信方式の異なる第２無線通信によって受信されるのが好ましい。この場合、異なる通信方式を使い分けることができる。

（９）前記第２無線通信は、前記第１無線通信よりも高速な通信方式であるのが好ましい。第２無線通信が高速であれば、大容量データである画像を高速に送信できる。

（１０）実施形態に係る画像表示システムは、
車両の搭乗者の視線を検出する処理と、
検出された前記視線に基づいて、前記搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択する処理と、
車両が、選択された前記撮像手段によって撮像された画像を受信する処理と、
受信した画像に基づいて前記搭乗者に提示される画像を生成し、表示装置に表示させる処理と、実行するように構成されている。

（１１）実施形態に係るコンピュータプログラムは、
プロセッサに、
車両の搭乗者の視線を検出する処理と、
検出された前記視線に基づいて、前記搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択する処理と、
車両が、選択された前記撮像手段によって撮像された画像を受信する処理と、
受信した画像に基づいて前記搭乗者に提示される画像を生成し、表示装置に表示させる処理と、
を実行させる。

［２．車載システム］

図１は、車両に搭載されたシステム１００を示している。システム１００は、画像表示等の処理を行う。システム１００は、プロセッサ１０を備える。実施形態において、プロセッサ１０は、記憶装置２０に格納されたコンピュータプログラム２１を実行する。コンピュータプログラム２１は、車両の搭乗者に画像を提示するための処理等をプロセッサ１０に実行させるよう構成されている。なお、車両の搭乗者は、例えば、運転者であるが、同乗者であってもよい。

記憶装置２０は、プログラム２１のほか、自車両の車両情報２２を記憶している。車両情報２２は、自車両の識別子である車両ＩＤ及び車両属性情報を含む。車両属性情報は、例えば、車両サイズ種別、車幅、車長、車高を含む。車両サイズ種別は、例えば、大型、普通、二輪車といった車両種別を示す。実施形態の記憶装置２０は、地図データ２３も記憶している。

システム１００は、無線通信機（車載無線機）３０を備える。無線通信機３０は、例えば、高度道路交通システム（ＩＴＳ）のための無線通信規格に準拠した無線通信を行う。ＩＴＳのための無線通信規格は、例えば、７００ＭＨｚ高度道路交通システム標準規格（ＡＲＩＢ ＳＴＤ−Ｔ１０９）である。無線通信機３０は、他の車両に搭載された無線通信機との間での無線通信である車車間通信を行うことができる。また、無線通信機３０は、ＩＴＳ無線通信用基地局との間の無線通信である路車間通信を行うこともできる。

システム１００は、１又は複数の車載カメラ４０を備える。カメラ４０は、例えば図２に示すように、車両２００の前後左右に多数設置される。多数のカメラ４０によって、車両２００の周囲全体を撮像可能である。また、複数のカメラ４０から一つのカメラを選択することで、車両２００の周囲における任意の方向の画像を撮像できる。撮像された画像は、自車両の処理部１０に与えられ、処理部１０によって画像処理がなされる。また、撮像された画像は、他の車両に送信され、他の車両の処理部１０によって画像処理がなされる。

システム１００は、画像の撮像のため、カメラ４０に代えて又は加えて、レンジセンサを備えていても良い。レンジセンサは、レンジデータを生成する。レンジデータとは、レーザ光や又レーダ光等の反射時間や三角測量により画像上の各画素に観測位置からの距離が割り当てられた画像データである。

システム１００は、表示装置５０を備える。表示装置５０は、例えば、ヘッドアップディスプレイである。図３に示すように、ヘッドアップディスプレイは、画像投影器５１によって画像をガラス２１０に投影する。車両２００の搭乗者は、車両のガラス２１０越しに外部を視認できるとともに、ガラス２１０に投影された画像を視認することができる。画像投影器５１は、画像を、フロントガラス２１０に投影してもよいし（図３（ａ）参照）、サイドガラス２１０に投影してもよいし（図３（ｂ）参照）、リアガラスに投影してもよい。

実施形態において、表示装置５０は、周辺車両を透過した画像（透過画像）を表示する。透過表示（シースルービュー）により、周辺車両によって搭乗者の視野が遮られている範囲（死角）を補完することができる。なお、表示装置５０は、画像投影型に限られず、例えば、液晶ディスプレイ又は有機ＥＬディスプレイであってもよい。また、表示装置５０は、透過型が好ましいが、透過による外部視認の必要がない場合には非透過型であってもよい。

システム１００は、ＧＰＳ受信機６０を備える。ＧＰＳ受信機６０によって受信したＧＰＳ信号は、処理部１０に与えられる。処理部１０は、ＧＰＳ信号から、車両の位置情報（位置座標）及び時刻情報を取得することができる。

システム１００は、慣性計測装置（ＩＭＵ）７０を備える。処理部１０は、慣性計測装置７０の計測結果によって、車両２００の姿勢情報等を取得することができる。

システム１００は、車速センサ８０を備える。車速センサ８０は、車両２００の走行速度を検出する。処理部１０は、車速センサ８０によって、車両２００の速度情報を取得することができる。

システム１００は、視線検出器９０を備える。視線検出器９０は、例えば、車室内に設置されたカメラによって、搭乗者の目を撮像し、目の動きを検出することによって、視線Ｖを検出する（図３（ａ）参照）。処理部１０は、視線検出器９０によって検出された視線Ｖに基づいて、処理を行う。視線に基づく処理については後述する。

システム１００は、搭乗者（ユーザ）によって操作される操作器９５を備える。操作器９５は、例えば、ジョグダイアルである。操作器９５の使用の仕方については後述する。

本実施形態においては、車両２００以外の他の車両も、図１に示すシステム１００を備えているものとする。他の車両のシステム１００は、車両２００において表示される画像を提供するための処理を行う。

［３．透過表示］

［３．１ 車車間通信パケットのブロードキャスト］

図４に示すように、システム１００を搭載している各車両は、ＩＴＳのための無線通信規格における車車間通信期間において、車車間通信パケットＰ_ｖｖを定期的にブロードキャストする（ステップＳ２０１）。車両２００は、周辺車両から送信された車車間通信パケットＰ_ｖｖを受信することで、周辺車両の存在を把握できる。

図５は、車車間通信パケットＰ_ｖｖの例を示している。図５に示すパケットＰ_ｖｖは、車両ＩＤ３０１を有する。車両ＩＤ３０１は、パケットＰ_ｖｖの送信元を示す識別子である。パケットＰ_ｖｖは、時刻情報３０２を有する。時刻情報３０２は、パケットＰ_ｖｖの送信時刻を示す。

パケットＰ_ｖｖは、車両情報として、車両状態情報３０３を有する。車両状態情報３０３は、パケットＰ_ｖｖの送信側車両の位置及び挙動を示す情報である。より具体的には、車両状態情報３０３は、車両位置情報を含む。車両位置情報は、例えば、ＧＰＳ信号に基づいて生成される。車両位置情報により、パケットＰ_ｖｖの受信側は、送信側の位置を把握することができる。車両状態情報３０３は、車両方位情報を含む。車両方位情報は、例えば、慣性計測装置７０の計測結果に基づいて生成される。車両方位情報により、パケットＰ_ｖｖの受信側は、送信側の走行方向を把握することができる。

車両状態情報３０３は、速度情報を含む。速度情報は、例えば、車速センサ８０の検出結果に基づいて生成される。速度情報により、パケットＰ_ｖｖの受信側は、送信側の速度を把握することができる。車両状態情報３０３は、加速度情報を含む。加速度情報は、例えば、慣性計測装置７０の検出結果に基づいて生成される。加速度情報により、パケットＰ_ｖｖの受信側は、送信側の加速度を把握することができる。

パケットＰ_ｖｖは、車両情報として、車両属性情報３０４を有する。車両属性情報３０４は、パケットＰ_ｖｖの送信側車両の形状及び大きさを示す情報である。より具体的には、車両属性情報３０４は、車両サイズ種別を含む。車両サイズ種別は、例えば、大型、普通、二輪車といった車両種別を示す。車両属性情報３０４０は、車幅、車長、車高も含む。

車両属性情報３０４により、パケットＰ_ｖｖの受信側は、送信側の車両形状及び大きさを把握することができる。車両属性情報３０４は、パケットＰ_ｖｖの受信側において、視野が遮られている範囲を特定したり、搭乗者に提示する画像を生成したりするために用いられる。

パケットＰ_ｖｖは、撮像手段情報としてカメラ情報３１０を有する。カメラ情報３１０は、パケットＰ_ｖｖの送信側車両に搭載された１又は複数のカメラの配置及び撮像範囲を示す。ｎ個（ｎは１以上の整数）のカメラが搭載されている場合、カメラ情報３１０は、ｎ個のカメラ情報によって構成される。例えば、図２に示すように、車両２００に１４個のカメラ４０が搭載されていれば、パケットＰ_ｖｖは、１４個分のカメラ情報を有する。

各カメラのカメラ情報３１０は、車両２００におけるカメラの位置３１１、カメラの光軸方向３１２、カメラの画角３１３を有する。位置３１１は、車両２００におけるどの位置にカメラが配置されているかを示す（図２参照）。光軸方向３１２は、カメラ４０の光軸方向Ａを示す（図２参照）。画角３１３は、カメラ４０の画角を示す。

パケットＰ_ｖｖの受信側は、送信側車両のカメラ情報３１０に加えて送信側車両の位置及び方位を考慮することで、受信側の位置を基準としたカメラの位置及び撮像範囲を把握することができる。

［３．２ カメラ選択と画像リクエスト］

車車間通信パケットＰ_ｖｖを受信した車両の処理部１０は、自車両の搭乗者の視野が遮られている範囲を撮像することができるカメラを選択する処理を実行する。カメラ選択処理は、図４のステップＳ１０１からステップＳ１０４を含む。ステップＳ１０１では、視線の検出が行われる。視線の検出は、例えば、視線検出器９０によって運転者の視線方向Ｖを検出することによって行われる。視線の検出は、視線検出器９０によって視線を実測するものに限られず、視線を推定するための情報に基づいて視線方向を推定することによって行われても良い。

視線を推定するための情報は、例えば、車両の方向指示器の操作情報である。例えば、左折のための方向指示器の操作が行われた場合、運転者は、右方向からくる車両へ注意を払うため、処理部１０は、視線が右方向に向くものと推定できる。視線を推定するための情報は、カーナビゲーションシステムによって提供される経路案内情報における左折又は右折情報であってもよい。経路案内情報に従って車両が左折又は右折する場合、処理部１０は、曲がる方向とは逆方向に視線が向くものと推定できる。

視線方向Ｖが検出されると、ステップＳ１０２において、周辺車両のうち運転者視野に存在する車両を選択する処理が行われる。運転視野の範囲は、検出された視線方向及び自車両の位置に基づいて決定される。運転者視野に存在する車両は、運転視野の範囲と周辺車両の位置に基づいて選択される。例えば、図６に示すように、車両２０１は、周辺車両２０２，２０３，２０４，２０５の位置を、各周辺車両２０２，２０３，２０４，２０５からブロードキャスト通信によって得る。車両２０１の処理部１０は、視線方向Ｖを中心とする所定の視野角θ（例えば、視線方向の±３０°）内にある車両２０２，２０３を、各周辺車両の位置に基づいて、選択する。

ステップＳ１０３において、車両２０１の処理部１０は、自車両２０１からみて最も手前で運転者視野を遮っている車両２０２を特定する。車両２０２の特定のため、例えば、図７に示すように、処理部１０は、視野角θ内に疎な仮想的な光線Ｖ１，Ｖ２，Ｖ３，Ｖ４を生成する。また、処理部１０は、周辺車両２０２，２０３の車両属性情報３０４に基づいて、車両の形状及び大きさを識別する。そして、処理部１０は、各光線Ｖ１，Ｖ２，Ｖ３，Ｖ４が自車両２０１側からみて最初に交差する周辺車両２０２を特定する。なお、ステップＳ１０３において特定される周辺車両は複数でもよい。

ステップＳ１０３において特定された車両２０２が、運転者の視野を遮っている周辺車両（死角形成車両）である。図７において、死角形成車両２０２は、運転者の右斜め前方において、運転者の左側へ向かって走行している。運転者にとって、死角形成車両２０２によって遮られた右斜め前方が死角となっている。

ステップＳ１０４において、車両２０１の処理部１０は、車両２０２に搭載されたカメラ４０ａ，４０ｂ，４０ｃ，４０ｄのうち、車両２０２によって視野が遮られている範囲（死角）を撮像するカメラ４０ａを選択する。例えば、図８では、車両２０２には、右側カメラ４０ａ、後方カメラ４０ｂ、左側カメラ４０ｃ、前方カメラ４０ｄの４つが搭載されている。ステップＳ１０４の選択は、例えば、視線方向Ｖに最も近似する光軸方向Ａを持つカメラ４０ａを選択することによって行われる。また、ステップＳ１０４の選択は、各カメラ４０ａ，４０ｂ，４０ｃ，４０ｄの撮像範囲を求め、求められた撮像範囲と死角範囲との重なりが最も大きいカメラを選択することによって行われても良い。カメラの選択は、ブロードキャスト通信によって得られたカメラ情報３１０に基づいて行われる。

ステップＳ１０４において選択されるカメラは、死角形成車両２０２に搭載されたカメラ４０ａ，４０ｂ，４０ｃ，４０ｄであってもよいし、死角形成車両２０２の周辺の車両２０４に搭載されたカメラであってもよい。死角形成車両２０２の周辺の車両２０４に搭載されたカメラのカメラ情報３１０もブロードキャスト通信によって得られる。なお、ステップＳ１０４において選択されるカメラは複数であってもよい。また、ステップＳ１０４において選択されるカメラは、カメラ情報が得られるのであれば、車両に非搭載のカメラ、例えば、道路又は建物に設置されたカメラであってもよい。

ステップＳ１０５において、車両２０１の処理部１０は、選択されたカメラを搭載した車両２０２に対して、画像リクエストを送信する。画像リクエストは、選択されたカメラ４０ａを指定するための情報を含む。画像リクエストの送信先は、選択されたカメラを有していれば、車両以外の機器であってもよい。

ステップＳ２０２において、周辺車両２０２は、画像送信リクエストを受信する。その周辺車両２０２の処理部１０は、ステップＳ２０３において、画像リクエストおいて指定されたカメラ４０ａによって撮像された画像を、無線通信によって送信させる。

ステップＳ１０６において、車両２０１の処理部１０は、周辺車両２０２から送信された画像を受信する。ステップＳ１０７において、処理部１０は、受信した画像を運転者に提示するための画像変換を行う。画像変換によって、周辺車両２０２に遮られている視野範囲において、周辺車両２０２を透過したような画像が生成される。ステップＳ１０８において、処理部１０は、生成された画像をヘッドアップディスプレイ５０に表示させる。画像の変換の詳細については後述する。

［３．３ 通信方式］

図９に示すように、無線通信機３０は、第１通信方式の通信をする第１無線機３１ａ，３１ｂ及び第１通信方式とは異なる第２通信方式の通信をする第２無線機３２ａ，３２ｂを備える。第１通信方式は、例えば、ＩＴＳのための無線通信規格に準拠した通信方式である。ＩＴＳのための無線通信規格に準拠した通信方式は、一般に、狭帯域であり、大容量データの伝送には適していない。第２通信方式は、例えば、携帯電話のための通信規格に準拠した通信方式である。携帯電話のための通信規格は、例えば、ＬＴＥ又は第５世代移動通信システムのための通信規格などである。第２通信方式は、無線ＬＡＮ規格に準拠した通信方式であってもよい。実施形態において、第２通信方式は、第１通信方式よりも高速な通信方式であり、画像などの大容量データの伝送に適している。

実施形態において、車車間通信パケットＰｖｖの送受信は、第１無線機３１ａ，３１ｂ間で行われ、画像リクエスト及び画像の送受信は、第２無線機３２ａ，３２ｂ間で行われる。画像リクエスト及び画像の送受信は、第１無線機３１ａ，３１ｂによって行われても良いが、第２無線機３２ａ，３２ｂによって行われることで、大容量データである画像を高速に伝送できる。また、車両情報及びカメラ情報の一部又は全部の伝送を第２無線機３２ａ，３２ｂによって行っても良い。

［３．４ 画像変換］

図４のステップＳ１０７の画像変換では、例えば、周辺車両２０２から取得した画像を、運転者視点画像に変換する。運転者視点画像への変換は、例えば、homography変換により行えるが、透視投影変換により行ってもよい。図１０は、homography変換による画像変換の仕方を示している。なお、図１０では、説明の簡略化のため、周辺車両２０２は、自車両２０１の前方において自車両２０１と同方向に走行しているものとする。

自車両２０１の処理部１０は、周辺車両２０２に搭載されたカメラ４０ｐによって撮像されたシーンまでの平均的な距離（シーン距離）を、地図データなどに基づいて求め、シーンまでの平均的な距離の位置に、第１仮想平面を設定する。第１仮想平面は、例えば、自車両の進行に直交する平面として設定される。

処理部１０は、前方車両２０２に搭載されたカメラ４０ｐの画像上の点ｐ_１を第１仮想平面上の点ｐ_２に投影させるとともに、自車両２０１に搭載されたカメラ４０ｑの画像上の点ｐ_３を第１仮想平面上の点に投影させる。そして、前方車両２０２のカメラ４０ｐの画像を、自車両２０１の運転者Ｄの視点画像に変換する。つまり、カメラ４０ｐの画像上の点ｐ_１が、運転者視点画像上の点ｐ_４に変換される。

また、処理部１０は、次の方法により、homography変換を算出してもよい。まず、処理部１０は、周辺車両２０２のカメラ４０ｐの画像と自車両２０１のカメラ４０ｑの画像との間で特徴点やオプティカルフローなどの特徴量の対応付けを行う。そして、処理部１０は、その対応付けからステレオ法により特徴点の３次元位置を算出する。続いて、処理部１０は、各特徴点を運転者視点でのディスプレイ投影位置となる２次元位置を算出する。処理部１０は、算出した２次元位置と、周辺車両２０２のカメラ４０ｐの画像上の点との対応から、homography変換が算出される。なお、自車両２０１のカメラ４０ｑの画像において、周辺車両２０２が存在する範囲についての特徴量の対応付けは行われない。周辺車両２０２のカメラ４０ｐの画像には周辺車両２０２は写っていないため、周辺車両２０２が存在する範囲についての特徴量の対応付けを行わないことで、誤対応が軽減される。なお、周辺車両２０２が存在する範囲は、車両状態情報３０３及び車両属性情報３０４から算出することができる。

また、周辺車両２０２に搭載されたレンジセンサによって取得されたレンジデータを、車両２０１の処理部１０が取得できる場合、処理部１０は、次の方法により、運転者視点画像を生成できる。まず、処理部１０は、レンジデータを周辺車両２０２の座標系に変換し、さらに、変換されたレンジデータを自車両２０１の座標系に変換する。処理部１０は、変換されたレンジデータを、運転者視点画像へ変換するための透視投影フラスタム（透視投影変換行列）を算出する。

周辺車両２０２のカメラ４０ｐの画像から運転者視点画像が生成されると、処理部１０は、運転者視点における周辺車両２０２の領域を算出する。周辺車両２０２の領域の算出にあたっては、周辺車両２０２の車両属性情報３０４を用いて得られる車両形状を用いるのが好ましい。

処理部２０２は、運転者視点画像から、算出された周辺車両２０２の領域を抽出し、抽出された画像に対して、表示のための変換を行った上で、変換後の画像を表示装置５０に表示させる。画像の表示により、周辺車両２０２によって遮られている範囲（死角）の風景が、画像によって表示され、運転者は、周辺車両２０２を透過して死角を観察することができる。

［４．切替処理］
図１１は、透過表示のための処理対象範囲の切替処理の例を示している。図１１（ａ）は、搭乗者視線に応じて周辺車両を選択する第１モードＳ３０２と、前方車両だけを周辺車両とする第２モードＳ３０３との切替を示している。

第１モードでは、図４のステップＳ１０１からステップＳ１０４の処理によって、視線に応じてカメラが選択される。つまり、第１モードでは、自車両の周辺範囲のうち、視線の向く範囲が処理対象範囲となり、処理対象範囲において死角形成車両が探索される。そして、その処理対象範囲において形成された死角を補完するように、死角形成車両を透過した画像が表示装置５０に表示される。

第２モードでは、視線にかかわらず、前方車両に搭載された前方を撮影するカメラが選択される。つまり、第２モードでは、自車両の前方だけが、処理対象範囲であり、自車両の前方に存在する車両が探索され、前方車両を透過した画像が表示装置５０に表示される。高速道路の走行中など、車両がある程度の速度以上で走行している場合には、専ら、前方車両による死角が問題となるため、第２モードに切り替えることで、カメラ選択のための処理負荷を軽減できる。

モードの切り替え（ステップＳ３０１）は、例えば、車両の状況を示す情報に基づいて行われる。車両の状況を示す情報は、例えば、自車両の速度を示す情報、自車両が存在する場所の種別を示す情報である。例えば、処理部１０は、速度を示す情報に基づき、自車両の速度が、閾値以上であれば、第２モードに切り替え、閾値未満であれば、第１モードに切り替えることができる。また、処理部１０は、場所の種別を示す情報に基づき、自車両が道路上にいれば第２モードに切り替え、駐車場など道路以外の場所にいれば第１モードに切り替えることができる。場所の種別を示す情報は、例えば、地図データ２３から取得できる。モードの切り替えは、例えば、操作器９５へユーザ操作によって行われても良く、モード切替のためのトリガは特に限定されない。

図１１（ｂ）は、探索範囲の切替を示している。図１２に示すように、複数の探索範囲Ｃ１，Ｃ２，Ｃ３，Ｃ４が設定されているものとする。探索範囲Ｃ１，Ｃ２，Ｃ３，Ｃ４は、死角を形成している周辺車両を探索するための範囲であり、ここでは、探索範囲が、処理対象範囲である。

探索範囲Ｃ１は、車両２００の周囲全体に設定された範囲であるが、車両２００からの距離は、小さい。探索範囲Ｃ１は、例えば、車両２００が停止している（速度＝０ｋｍ／ｈ）か、非常に低速である場合に適している。

探索範囲Ｃ２は、車両２００の前方に設定された範囲であり、車両２００からの距離は、範囲Ｃ１よりも大きくなっている。探索範囲Ｃ２は、例えば、車両が中速（例えば、４０ｋｍ／ｈ）で走行している場合に適している。

探索範囲Ｃ３は、車両２００の前方に設定された範囲であり、車両２００からの距離はＣ２よりも大きくなっている。探索範囲Ｃ３は、範囲Ｃ２よりも左右幅狭くなっている。探索範囲Ｃ３は、例えば、車両が高速（例えば、８０ｋｍ／ｈ）で走行している場合に適している。

探索範囲Ｃ４は、車両２００の後方に設定された範囲である。探索範囲Ｃ４は、例えば、車両が後進する場合に適している。

死角が問題となり得る範囲は、車両２００の走行速度や走行方向等の車両の状況に応じて異なるため、処理部１０は、探索範囲を状況に応じて切り替えることで（ステップＳ４０１）、適切な探索範囲での死角形成車両の探索ができ、処理負荷の増加を抑制できる。探索範囲の切り替えは、速度、場所の種類など車両の状況を示す情報に基づいて行っても良いし、操作器９５への操作によって行っても良い。

処理部１０は、探索範囲内に位置する全ての車両を死角形成車両として扱っても良いし、探索範囲内において、搭乗者視線に応じた周辺車両だけを死角形成車両として扱っても良い。

図１１（ｃ）は、透過対象車両の奥行方向距離の切替を示している。ここで、透過対象車両とは、透過表示の対象となる死角形成車両である。ここでは、例えば、図１３（ａ）に示すように、自車両２０１の前方に複数の車両２０２，２０３，２０４，２０５が連なって走行しているものとする。また、奥行方向の切り替えは、ダイヤル方式の操作器９５の回転によって行われるものとする。

操作器９５の操作量（回転量）が０である場合、透過対象車両はないものとする。例えば、図１３（ｂ）に示すように、操作量（回転量）が１となった場合、透過対象車両は、自車両２０１の直前の１台の車両２０２が透過対象車両とされる。すなわち、車両２０２が存在する範囲Ｄ１が、処理対象範囲となる。自車両２０２においては、透過対象車両２０２によって撮像された画像から変換された画像が運転者に提示される。

図１３（ｃ）に示すように、操作量（回転量）が増加して２となった場合、透過対象車両は、自車両２０１の直前の２台の車両２０２，２０３が透過対象車両とされる。すなわち、車両２０２，２０３が存在する範囲Ｄ２が、処理対象範囲となる。自車両２０２においては、範囲Ｄ２における先頭車両２０３によって撮像された画像から変換された画像が運転者に提示される。

図１３において、奥行方向は、車両の進行方向（前方）であったが、車両２０１の搭乗者の視線方向であってもよい。図１４は、視線方向Ｖにおいて、透過対象車両を切り替える例を示している。なお、図１４は、例えば、駐車場に多数の車両が駐車されており、自車両２０１は、駐車場内を走行しているものとする。

例えば、図１４（ａ）に示すように、操作量（回転量）が１となった場合、透過対象車両は、視線方向Ｖにおいて、自車両２０１の直近の１台の車両２０２が透過対象車両とされる。すなわち、車両２０２が存在する範囲Ｅ１が、処理対象範囲となる。自車両２０１においては、透過対象車両２０２又はその近傍の車両によって死角範囲を撮像した画像から変換された画像が運転者に提示される。

図１４（ｂ）に示すように、操作量（回転量）が増加して２となった場合、透過対象車両は、視線方向Ｖにおいて、自車両２０１の直近の２台の車両２０２，２０３が透過対象車両とされる。すなわち、車両２０２，２０３が存在する範囲Ｅ２が、処理対象範囲となる。自車両２０１においては、透過対象車両２０２，２０３又はその近傍の車両によって死角範囲を撮像した画像から変換された画像が運転者に提示される。

奥行方向の切替は、操作器９５の操作に限られず、例えば、移動する物体（動物体）の検出結果に基づいて行っても良い。動物体の検出は、例えば、各車両に搭載されたカメラ４０又は超音波センサ等のセンサによって行うことができる。

図１５（ａ）に示すように、例えば、人Ｈが、視線方向Ｖ上の車両２０２の近傍を歩行している場合、その人Ｈの存在が、人Ｈ周辺の車両によって検出され、その検出結果が、車両２０１へ送信される。この場合、各車両の位置及び人Ｈの位置に基づき、車両２０１の処理部１０は、車両２０２を透過対象車両とする。すなわち、車両２０２が存在する範囲Ｅ１が、処理対象範囲となる。自車両２０１においては、透過対象車両２０２又はその近傍の車両によって死角範囲を撮像した画像から変換された画像が運転者に提示される。なお、人Ｈの検出は、自車両２０１において行っても良い。

また、図１５（ｂ）に示すように、人Ｈが、視線方向Ｖ上の車両２０３の近傍を歩行している場合、その人Ｈの存在が、人Ｈ周辺の車両によって検出され、その検出結果が、車両２０１へ送信される。この場合、各車両の位置及び人Ｈの位置に基づき、車両２０１の処理部１０は、車両２０２，２０３を透過対象車両とする。すなわち、車両２０２，２０３が存在する範囲Ｅ２が、処理対象範囲となる。自車両２０１においては、透過対象車両２０２，２０３又はその近傍の車両によって死角範囲を撮像した画像から変換された画像が運転者に提示される。

なお、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

１０ プロセッサ
２０ 記憶装置
３０ 無線通信機
４０ カメラ
５０ 表示装置
６０ ＧＰＳ受信機
７０ ＩＭＵ
８０ 車速センサ
９０ 視線検出器
９５ 操作器
１００ システム
２００ 車両
２０１ 車両
２０２ 車両
２０３ 車両
２０４ 車両
２０５ 車両

Claims (9)

1. 車両の搭乗者の視線を検出すること、
   検出された前記視線に基づいて、前記搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択すること、
   車両が、選択された前記撮像手段によって撮像された画像を受信すること、
   車両が、前記車両の周辺車両の位置を示す車両情報及び前記車両の周辺にある撮像手段の配置を示す撮像手段情報を受信すること、を含み、
   前記撮像手段を選択することは、
   前記搭乗者の視野を遮っている前記周辺車両を、前記車両情報に基づいて選択すること、
   選択された前記周辺車両によって遮られている範囲を撮像することができる撮像手段を、前記撮像手段情報に基づいて選択すること、
   を含む画像取得方法。
2. 前記撮像手段は、選択された前記周辺車両に設けられた撮像手段の中から選択される
   請求項１に記載の画像取得方法。
3. 前記車両情報及び前記撮像手段情報は、周辺車両からブロードキャスト送信される
   請求項１又は２に記載の画像取得方法。
4. 前記搭乗者の視野を遮る前記周辺車両は、前記車両と同じ方向に進行する前方車両以外の周辺車両である
   請求項１〜３のいずれか１項に記載の画像取得方法。
5. 前記車両が、選択された前記撮像手段によって撮像された画像のリクエストを、選択された前記撮像手段を搭載している周辺車両に送信すること、
   を更に含む請求項１〜４のいずれか１項に記載の画像取得方法。
6. 前記撮像手段情報及び前記車両情報の少なくとも一部は、第１無線通信によって受信され、
   前記画像は、前記第１無線通信とは通信方式の異なる第２無線通信によって受信される
   請求項１〜５のいずれか１項に記載の画像取得方法。
7. 前記第２無線通信は、前記第１無線通信よりも高速な通信方式である
   請求項６に記載の画像取得方法。
8. 車両の搭乗者の視線を検出する処理と、
   検出された前記視線に基づいて、前記搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択する処理と、
   車両が、選択された前記撮像手段によって撮像された画像を受信する処理と、
   受信した画像に基づいて前記搭乗者に提示される画像を生成し、表示装置に表示させる処理と、
   車両が、前記車両の周辺車両の位置を示す車両情報及び前記車両の周辺にある撮像手段の配置を示す撮像手段情報を受信する処理と、
   実行するように構成され、
   前記撮像手段を選択する処理は、
   前記搭乗者の視野を遮っている前記周辺車両を、前記車両情報に基づいて選択する処理、
   選択された前記周辺車両によって遮られている範囲を撮像することができる撮像手段を、前記撮像手段情報に基づいて選択する処理、
   を含む、画像表示システム。
9. プロセッサに、
   車両の搭乗者の視線を検出する処理と、
   検出された前記視線に基づいて、前記搭乗者の視野が周辺車両によって遮られている範囲を撮像することができる撮像手段を選択する処理と、
   車両が、選択された前記撮像手段によって撮像された画像を受信する処理と、
   受信した画像に基づいて前記搭乗者に提示される画像を生成し、表示装置に表示させる処理と、
   車両が、前記車両の周辺車両の位置を示す車両情報及び前記車両の周辺にある撮像手段の配置を示す撮像手段情報を受信する処理と、
   を実行させ、
   前記撮像手段を選択する処理は、
   前記搭乗者の視野を遮っている前記周辺車両を、前記車両情報に基づいて選択する処理、
   選択された前記周辺車両によって遮られている範囲を撮像することができる撮像手段を、前記撮像手段情報に基づいて選択する処理、
   を含む、コンピュータプログラム。

Images