JP6724834B2 - 表示装置の制御方法および表示装置 - Google Patents

Description

本発明は、表示装置の制御方法及び表示装置に関するものである。

移動体の姿勢の変化量に応じて、予め定義された基準立体座標系を変形させた変形立体座標系を設定し、変形した変形立体座標系に撮像画像を投影した映像を表示する技術が知られている（特許文献１）。

国際公開第２０１６−０７５８０９号公報

従来技術では、基準立体座標系の座標軸を傾斜させることで、変形立体座標系を設定している。そのため、移動体の姿勢の変化量によっては、変形立体座標系に撮像画像を投影すると、撮像画像間の不連続な繋がりが発生し、移動体の乗員に違和感を与えてしまうという問題がある。

本発明が解決しようとする課題は、移動体の乗員に違和感を与えることを抑制することである。

本発明は、移動体の姿勢の変化量が所定値よりも小さい移動体の部分に、予め定義された基準立体座標系の回転中心を設定し、移動体の姿勢の変化量に応じて、基準立体座標系を回転移動させた回転立体座標系を設定し、回転立体座標系に撮像画像を投影した映像を表示することにより、上記課題を解決する。

本発明によれば、移動体の乗員に違和感を与えることを抑制できる。

図１は、第１実施形態に係る表示装置を備える表示システムの構成図である。 図２は、自車両に搭載されたカメラの設置位置の一例を示す図である。 図３Ａは、自車両の静止状態における姿勢の一例を示す左側面図である。 図３Ｂは、自車両の静止状態における姿勢の一例を示す正面図である。 図４Ａは、自車両の動作状態における姿勢の一例を示す左側面図である。 図４Ｂは、自車両の動作状態における姿勢の一例を示す正面図である。 図５は、自車両の静止状態における投影面（基準立体座標系）を示す図である。 図６は、自車両の動作状態における投影面（基準立体座標系）の一例を示す図である。 図７は、自車両の動作状態における投影面（回転立体座標系）の一例を示す図である。 図８は、自車両の動作状態における参考例の投影面（立体座標系）の一例を示す図である。 図９は、第１実施形態に係る表示装置の制御手順を示すフローチャート図である。 図１０は、第１実施形態に係る表示装置の投影面補正処理を示すフローチャート図である。 図１１Ａは、変形例に係る表示装置の回転中心の設定方法を説明するための自車両の左側面図である。 図１１Ｂは、変形例に係る表示装置の回転中心の設定方法を説明するための自車両の正面図である。 図１２は、第２実施形態に係る表示装置を備える表示システムの構成図である。 図１３は、回転翼機に搭載されたカメラの設置位置の一例を示す図である。 図１４は、回転翼機の静止状態及び動作状態における投影面の一例を示す図である。 図１５は、第２実施形態に係る表示装置の制御手順を示すフローチャート図である。 図１６は、第２実施形態に係る表示装置の投影面補正処理を示すフローチャート図である。

≪第１実施形態≫
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム１に適用した場合を例にして説明する。本実施形態の表示システム１は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。

図１は、本実施形態に係る表示装置１００を含む表示システム１のブロック構成図である。図１に示すように、本実施形態の表示システム１は、表示装置１００と、移動体装置２００とを備える。表示装置１００と移動体装置２００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。

本実施形態の表示システム１が適用される移動体は、車両、海底探査機、装甲車、列車、フォークリフトその他の移動機能を備えるものを含む。本実施形態では、移動体が車両である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。

なお、本実施形態の表示システム１は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム１の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。

図１に示すように、本実施形態の移動体装置２００は、カメラ２０と、コントローラ３０と、センサ４０と、ナビゲーション装置５０と、乗員操作装置６０と、ディスプレイ７０と、を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。

本実施形態のカメラ２０は、車両（移動体の一例である。以下同じ）の所定位置に設けられている。カメラ２０は車両に少なくとも２つ設ければよく、設置した２つのカメラは互いに対向する位置にあるのが好ましい。車両に搭載されたカメラ２０は、車両及び／又は車両の周囲を撮像し、その撮像画像を表示装置１００に送出する。本実施形態における撮像画像は、車両の一部と車両の周囲の映像を含む。撮像画像のデータは、車両の周囲の地表との位置関係の算出処理、車両又は車両の周囲の映像の生成処理に用いられる。

図２は、自車両Ｖに搭載されたカメラ２０の設置位置の一例を示す図である。図２（Ａ）は自車両Ｖの正面図であり、図２（Ｂ）は自車両Ｖの左側面図であり、図２（Ｃ）は自車両Ｖの上面図である。図２（Ａ）〜（Ｃ）に示すように、自車両Ｖには、自車両Ｖの前方に前方カメラ２１が設置され、自車両Ｖの後方に後方カメラ２２が設置されており、前方カメラ２１と後方カメラ２２は対向している。また、自車両Ｖには、自車両Ｖの左側に左方カメラ２３が設置され、自車両Ｖの右側に右方カメラ２４が設置されており、左方カメラ２３と右方カメラ２４は対向している。同図に示す例では、前方カメラ２１は自車両Ｖのバンパーに設置され、後方カメラ２２は自車両Ｖのリアウィンド周辺に設置され、左方カメラ２３は左側ドアミラーに設置され、右方カメラ２４は右側ドアミラーに設置されている。なお、カメラ２０の設置位置は特に限定されず、その設置位置を任意に変更できる。

また、カメラ２０は、広角レンズを有しており、車両の周辺の対象物を撮像する。カメラ２０には、例えば、ＣＣＤカメラやＣＭＯＳカメラが挙げられる。同図に示す例では、前方カメラ２１は自車両Ｖの前方を撮像し、後方カメラ２２は自車両Ｖの後方を撮像し、左方カメラ２３は自車両Ｖの左側を撮像し、右方カメラ２４は自車両Ｖの右側を撮像する。なお、カメラ２０が撮像する方向は特に限定されず、その撮像方向を任意に設定できる。各カメラ２０は後述する制御装置１０からの指令又は予め設定されたタイミングで撮像画像を表示装置１００へ送出する。

本実施形態において、カメラ２０が撮像した撮像画像は、映像の生成に用いられるほか、対象物の検出、及び対象物までの距離の計測に用いられる。本実施形態のカメラ２０の撮像画像は、車両の周囲の対象物の映像を含む。本実施形態における対象物は、移動体周囲の地表、移動体周囲の物体を含む。

本実施形態において「地表」は、地球の表面、地球の地殻（土地）の表面を含む概念を示す用語である。本実施形態の用語「地表」は、陸地の表面、海の表面、河又は川の表面、湖の表面、海底の表面、道路の表面、駐車場の表面、ポートの表面、又はこれらのうち二つ以上を含む面を含む。なお、移動体が倉庫や工場などの施設（建屋）の屋内に存在する場合において、本実施形態の用語「地表」は、その施設の床面、壁面を含む意味を有する。「表面」とは、撮像時にカメラ２０側に表出される面である。また、対象物は、自車両Ｖの周囲に存在する他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体を含む。

本実施形態のカメラ２０は、画像処理装置２０１を備える。画像処理装置２０１は、カメラ２０の撮像画像のデータからエッジ、色、形状、大きさなどの特徴を抽出し、抽出した特徴から撮像画像に含まれる対象物の属性を特定する。画像処理装置２０１は、各対象物の特徴を予め記憶し、パターンマッチング処理により撮像画像に含まれる対象物を特定する。撮像画像のデータを用いて対象物の存在を検出する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。画像処理装置２０１は、カメラ２０の撮像画像のデータから抽出した特徴点の位置又は位置の経時的な変化から自車両から対象物までの距離を算出する。距離を算出する際に、画像処理装置２０１は、カメラ２０の設置位置、光軸方向、撮像特性などの撮像パラメータを用いる。撮像画像のデータを用いて対象物までの距離を計測する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。例えば、画像処理装置２０１は、車線の太さや、路面に描かれた標識の大きさから、自車両から対象物の距離を算出する。

本実施形態では、自車両Ｖとの位置関係を算出するためのデータを取得する手段として、測距装置２０２を備えてもよい。測距装置２０２は、カメラ２０とともに使用してもよいし、カメラ２０に代えて使用してもよい。測距装置２０２は、自車両Ｖの周囲に存在する対象物を検出し、対象物と自車両Ｖとの距離を計測する。つまり、測距装置２０２は、自車両Ｖの周囲の対象物を検出する機能を備える。測距装置２０２は、自車両Ｖから陸地の表面、海の表面、河又は川の表面、道路の表面までの距離を計測する。測距装置２０２は、自車両Ｖから他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体までの距離を計測する。測距装置２０２は、計測した対象物までの測距データを表示装置１００に送出する。

測距装置２０２は、レーダー測距装置であってもよいし、超音波測距装置であってもよい。本願出願時に知られた測距手法を利用できる。自車両Ｖに測距装置２０２を設置する測距装置２０２の個数は特に限定されない。また、自車両Ｖに測距装置２０２を設置する測距装置２０２の設置位置も、特に限定されない。測距装置２０２は、図２に示すカメラ２０の設置位置に対応する位置又はその近傍に設けてもよい。

本実施形態のコントローラ３０は、自車両Ｖを含む移動体の動作を制御する。コントローラ３０は、後述するセンサ４０の検出情報を含む、移動体の動作に関する各情報を集中的に管理する。

本実施形態のセンサ４０は、速度センサ４１と、前後加速度センサ４２と、横加速度センサ４３と、操舵角センサ４４と、姿勢センサ４５を含む。速度センサ４１は、自車両Ｖの移動速度を検出する。前後加速度センサ４２は、自車両Ｖの前後方向の加速度を検出する。横加速度センサ４３は、自車両Ｖの横方向（左右方向）の加速度を検出する。操舵角センサ４４は、自車両Ｖの右又は左方向への移動制御が開始されるトリガを検出する。自車両Ｖの速度の変化、加速度の変化、操舵角の変化、横加速度の変化は、自車両Ｖの姿勢に影響を与える。たとえば、自車両Ｖは、アクセルを踏んで加速操作を実行すると姿勢が変化する。反対にアクセルの踏み込み量を小さくしてエンジンのトルクを減少させても姿勢は変化する。表示装置１００は、速度センサ４１、前後加速度センサ４２、横加速度センサ４３、操舵角センサ４４の検出値から自車両Ｖの姿勢の変化を算出することができる。

また、姿勢センサ４５は、自車両Ｖの重量、重心、ホイールベースなどの車体構造と、ピッチング角、ヨー角、サスペンションストローク量などの車両の姿勢に関する情報に基づいて、自車両Ｖの姿勢を検出する。自車両Ｖの姿勢は、予め定義した評価値によって表現できる。自車両Ｖの姿勢の評価手法、姿勢の変化量の計測手法は、特に限定されない。自車両Ｖの姿勢の変化量を求めるために、横滑り防止装置、アンチロック・ブレーキシステム、空転防止装置その他の車両挙動制御装置が備える姿勢検出装置が検出した、車両の姿勢に関する検出結果を利用してもよい。

本実施形態のナビゲーション装置５０は、ＧＰＳ（Global Positioning System）５１１を備える位置検出装置５１と、地図情報５２と、道路情報５３と、地形情報５４と、を有する。本実施形態の地図情報５２は、地点と、道路、構造物、施設などが対応づけられた情報である。ナビゲーション装置５０は、地図情報５２を参照し、位置検出装置５１により検出された自車両Ｖの現在位置から目的地までの経路を求め、自車両Ｖを誘導する機能を備える。

本実施形態の道路情報５３は、位置情報と道路の曲率、傾斜などの情報が対応づけられた情報である。本実施形態の道路情報５３は、道路の曲率、傾斜が変化する位置と、その道路の曲率、傾斜変化量とを対応づけた情報を含んでもよい。ナビゲーション装置５０は、道路情報５３を参照し、位置検出装置５１により検出された現在位置において、自車両Ｖが走行する道路の曲率、傾斜角度の情報を得る。自車両Ｖが走行する道路の曲率、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。

本実施形態の地形情報５４は、位置情報ごとに、その位置の高度、その位置を含む領域の傾斜角度が対応づけられた情報である。本実施形態の地形情報５４は、位置の高度、その位置を含む領域の傾斜角度が変化する位置と、その位置の高度の変化量、その位置を含む領域の傾斜角度の変化量とを対応づけた情報を含んでもよい。本実施形態のナビゲーション装置５０は、地形情報５４を参照し、位置検出装置５１により検出された現在位置の高度、傾斜角度を得る。現在、自車両Ｖが存在する地点の高度、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。

本実施形態の乗員操作装置６０は、表示装置１００が起動する表示スイッチであり、自車両Ｖの乗員により操作される。表示スイッチがオンすると、表示装置１００は起動し、ディスプレイ７０に映像を表示する。反対に、スイッチがオフすると、表示装置１００は停止し、ディスプレイ７０に映像を表示しない。また、乗員操作装置６０は、後述する基準立体座標系を選択する構成や、仮想視点を設定する構成を備えていてもよい。

本実施形態のディスプレイ７０は、後述する表示装置１００が生成した、任意の仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を表示する。なお、本実施形態では、ディスプレイ７０を移動体に搭載させた表示システム１を例にして説明するが、移動体に持ち込み可能な可搬の表示装置１００側にディスプレイ７０を設けてもよい。

次に、本実施形態の表示装置１００について説明する。本実施形態の表示装置１００は、制御装置１０を備える。

図１に示すように、本実施形態に係る表示装置１００の制御装置１０は、移動体及びその周囲の映像を表示させるプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、表示装置１００の機能を実現させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。なお、動作回路として、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いてもよい。また、制御装置１０は、画像処理を実行するＧＰＵ（Graphics Processing Unit）を備えてもよい。

本実施形態に係る表示装置１００の制御装置１０は、画像取得機能と、姿勢算出機能と、座標系設定機能と、回転中心設定機能と、座標系補正機能と、表示制御機能とを実現する。本実施形態の制御装置１０は、さらに情報取得機能を備える。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。以降では、自車両Ｖの乗員が乗員操作装置６０を操作して、表示スイッチはオンしているものとして説明する。

以下、制御装置１０が実現する各機能についてそれぞれ説明する。

まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、カメラ２０が撮像した撮像画像のデータを取得する。表示装置１００は、図示しない通信装置を用いて移動体装置２００から撮像画像のデータを取得する。

次に、制御装置１０の情報取得機能について説明する。制御装置１０は、図示しない通信装置を用いて移動体装置２００から各種の情報を取得する。

制御装置１０は、移動体としての自車両Ｖの周囲の地表の位置情報を取得する。経時的に取得した地表の位置情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。また、地表の位置情報は、後述する基準立体座標系の回転中心の算出に用いられる。制御装置１０は、カメラ２０の撮像画像から自車両Ｖから地表までの距離を、自車両Ｖに対する地表の位置情報として算出する。制御装置１０は、地表の位置情報の算出処理にカメラ２０の撮像パラメータを用いてもよい。制御装置１０は、画像処理装置２０１が算出した地表の位置情報を取得してもよい。

地表の位置情報には、カメラ２０と地表までの距離が含まれるため、本実施形態では、制御装置１０は、地表の位置情報から、カメラ２０の地表に対する位置情報を取得する。制御装置１０は、４台のカメラ（前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４）それぞれの位置情報を取得することができる。取得したカメラ２０の位置情報は、後述する基準立体座標系の回転中心の算出に用いられる。

制御装置１０は、移動体である自車両Ｖの姿勢に関する姿勢情報を自車両Ｖから取得する。制御装置１０は、前後加速度センサ４２が検出した前後加速度、横加速度センサ４３が検出した横加速度、操舵角センサ４４が検出した操舵量、姿勢センサ４５が検出した自車両の姿勢の評価値を、姿勢情報として取得する。経時的に取得した姿勢情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。

制御装置１０は、移動体である自車両Ｖの位置情報を取得する。自車両Ｖの位置情報は、所定の立体座標系における自車両Ｖの位置（三次元位置）を示す情報である。自車両Ｖの姿勢が変化した場合には、自車両Ｖの位置情報も変化する。経時的に取得した自車両Ｖの位置情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。

本実施形態の制御装置１０は、自車両Ｖに対する地表の位置情報のみを取得してもよいし、自車両Ｖの位置情報のみを取得してもよい。また、制御装置１０は、地表の位置情報と自車両Ｖの位置情報との両方を取得してもよい。この場合において、制御装置１０は、所定の立体座標系における地表の位置情報と、同じ所定の立体座標系における自車両Ｖの位置情報とを取得することが好ましい。共通の座標における地表の位置情報と自車両Ｖの位置情報を用いることにより、地表と自車両Ｖとの位置関係を求める処理において、座標変換の処理を省くことができる。

本実施形態の制御装置１０は、自車両Ｖの周囲の地形情報を、移動体装置２００から取得する。移動体装置２００のナビゲーション装置５０が備える地形情報５４は、各地点の位置とその位置の地形を記憶する。制御装置１０は、ＧＰＳ５１１が検出した自車両Ｖの位置を含む周囲の領域の地形を、地形情報５４から抽出させ、現在位置における地形情報を取得する。地形情報は、地表の傾斜度、傾斜の向きなどの情報を含む。地形情報は、重力を基準とする座標系を用いて定義される。

次に、制御装置１０の姿勢算出機能について説明する。制御装置１０は、移動体である自車両Ｖの姿勢を算出する。自車両Ｖの姿勢は、自車両Ｖに設定された一又は複数の基準点の位置として算出する。本実施形態の制御装置１０は、自車両Ｖの姿勢を、予め定義された基準立体座標系に対する、自車両Ｖの基準点の位置（座標）または基準面の位置（座標）として算出する。自車両Ｖの基準点は、自車両Ｖ（移動体）の重心などを位置に設定する。自車両Ｖの基準面は、自車両Ｖの静止状態において、その自車両Ｖの基準点を含む面に設定する。なお、基準立体座標系については後述する。

制御装置１０は、自車両Ｖの姿勢から、その変化量を算出する。変化量は、異なるタイミングにおける自車両Ｖの姿勢の変化量、つまり経時的な変化量であってもよいし、基準の姿勢（位置）に対する、現在の自車両Ｖの姿勢の位置（位置）の変化量であってもよい。自車両Ｖの姿勢の変化量は、自車両Ｖが存在する空間の高さ方向の成分の位置の変化量を含む。自車両Ｖが地上に存在する場合には、重力方向に沿う成分の位置の変化量を含む。

また、制御装置１０は、自車両Ｖの静止状態における姿勢を基準の姿勢としてＲＯＭ１２に格納している。具体的には、制御装置１０は、自車両Ｖの静止状態における地表の位置情報を予めＲＯＭ１２に格納しており、位置情報には、カメラ２０の設置周辺における地表の位置情報が含まれている。

図３Ａ、３Ｂは、自車両Ｖの静止状態における姿勢を示す図である。図３Ａは自車両Ｖの左側面図であり、図３Ｂは自車両Ｖの正面図であり、それぞれの図において路面Ｇ０（地表）は水平線（ｘ軸と平行線）であらわされている。自車両Ｖの静止状態とは、自車両Ｖの全ての車輪は路面Ｇ０と接地している状態であり、自車両Ｖの姿勢が路面Ｇ０に対して傾いていない状態のことである。

図３Ａでは、路面Ｇ０に対する前方カメラ２１の位置情報は、路面Ｇ０からの基準位置Ｚ_ｒｅ１としてあらわされ、また、路面Ｇ０に対する後方カメラ２２の位置情報は、路面Ｇ０からの基準位置Ｚ_ｒｅ２としてあらわされる。同様に、図３Ｂでは、路面Ｇ０に対する左方カメラ２３の位置情報は、路面Ｇ０からの基準位置Ｚ_ｒｅ３として、また、路面Ｇ０に対する右方カメラ２４の位置情報は、路面Ｇ０からの基準位置Ｚ_ｒｅ４としてあらわされる。ＲＯＭ１２には、これらの４台のカメラのそれぞれの基準位置Ｚ_ｒｅ１〜Ｚ_ｒｅ４が予め記憶されており、本実施形態では、基準位置Ｚ_ｒｅ１〜Ｚ_ｒｅ４は、路面Ｇ０に対するカメラの高さの基準として扱われる。

制御装置１０は、自車両Ｖと地表との相対的な位置関係の変化を、自車両Ｖの姿勢の変化量として算出する。

制御装置１０は、自車両Ｖの位置に対する地表の位置の変化量を自車両Ｖの姿勢の変化量として算出する。カメラ２０は、移動体である自車両Ｖに搭載されているので、カメラ２０の撮像画像のデータから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。同様に、測距装置２０２は、移動体である自車両Ｖに搭載されているので、測距装置２０２の測距データから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。本実施形態では、自車両Ｖの位置に対する地表の位置の変化量を、自車両Ｖの姿勢の変化量として扱うことができる。

また、制御装置１０は、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として算出する。地表が静止物であるため、地表の位置に対する自車両Ｖの位置の変化、特に高さ方向（重力方向に沿う方向）の変化量を含む自車両Ｖの位置の変化は、自車両Ｖの姿勢の変化量として扱うことができる。地表の位置に対する自車両Ｖの位置の変化量を経時的に算出すれば、地表の位置に対する自車両Ｖの位置の変化量を求めることができる。本実施形態では、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として扱う。

制御装置１０は、自車両Ｖの位置情報と、自車両Ｖの周囲の地表の位置情報とを用いて、自車両Ｖと地表の位置の変化量を、自車両Ｖの姿勢の変化量として算出する。

制御装置１０は、取得した姿勢情報を用いて自車両Ｖの姿勢の変化量として算出する。本実施形態の制御装置１０は、自車両Ｖの加減速などの挙動、自車両Ｖの構造などによって生じる姿勢の変化を考慮して、自車両Ｖの姿勢の変化量を算出できる。制御装置１０は、取得した姿勢情報を用いて、先述した撮像画像（又は測距データ）から求めた自車両Ｖの姿勢の変化量を補正してもよい。

制御装置１０は、自車両Ｖの現在位置を含む周囲の地形情報を取得し、その地形情報を用いて、自車両Ｖの姿勢を算出する。制御装置１０は、移動体が自車両Ｖである場合には、自車両Ｖが移動する路面の傾斜方向及び傾斜角度から、自車両Ｖの姿勢を算出する。また、制御装置１０は、移動体が海底探査機である場合には、海底探査機が有するセンサから求めた海底面の傾斜方向及び傾斜角度から、海底探査機の姿勢を算出する。

次に、本実施形態の制御装置１０の座標系設定機能について説明する。撮像画像を投影するために予め定義された基準立体座標系は、ＲＯＭ１２に記憶されている。制御装置１０は、ＲＯＭ１２から基準立体座標系を読み出すことで、基準立体座標系を設定する。なお、基準立体座標系を設定する方法は、ＲＯＭ１２から読み出す方法に限定されない。例えば、自車両Ｖの乗員が乗員操作装置６０を介して入力する方法でもよく、又は自車両Ｖの乗員が乗員操作装置６０を介して予め用意された複数種の基準立体座標系から選択する方法でもよい。後に詳述するが、基準立体座標系は、カメラ２０の撮像画像を投影する際に用いられる。

基準立体座標系の態様は特に限定されない。基準立体座標系の形状としては、例えば、直方体、立方体、多角柱、円筒形状、球形状、半球形状等が挙げられる。基準立体座標系は、その内側に自車両Ｖ（移動体）が存在するときの周囲の映像を投影する座標である。このため、投影処理の基準となる仮想視点を、基準立体座標系の内側に設定する。仮想視点は、自車両Ｖ及び自車両Ｖの周辺を見る場面を想定して設定されるので、自車両Ｖの位置に応じて定義される。本実施形態では、仮想視点は、基準立体座標系とともに、予めＲＯＭ１２に記憶されている。なお、仮想視点は予め設定された視点に限定されず、自車両Ｖの乗員が乗員操作装置６０を介して任意に仮想視点を設定してもよい。なお移動体が海底探査機の場合には、海底探査機自身が映らないようにすることも考えられるので、仮想視点は基準立体座標系の内側でなくてもよい。

また、基準立体座標系は、自車両Ｖの静止状態における自車両Ｖの姿勢を基準として設定された座標系である。そのため、例えば、自車両Ｖの姿勢が静止状態の姿勢から傾くと、基準立体座標系は自車両Ｖの傾きに応じて傾く。本実施形態では、基準立体座標系に対する自車両Ｖの位置関係は、自車両Ｖの姿勢とは関係なく一定のものとする。

次に、本実施形態の回転中心設定機能について説明する。制御装置１０は、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの部分に回転中心を設定する。後に詳述するが、回転中心は、基準立体座標系を回転させる際に、基準立体座標系の中心として用いられる。所定値は、自車両Ｖの姿勢の変化量が小さいことを示す値である。なお、回転中心を設定する際に、所定値を用いることは必ずしも必要なことではない。所定値は、例えば、ＲＯＭ１２に予め格納されていてもよい。所定値は、自車両Ｖの姿勢の変化量をあらわす単位に応じて、距離、角度、速度、加速度等の単位であらわされる。所定値は、自車両Ｖの構造、走行する路面情報などの影響を考慮して実験的に求めることが好ましい。

本実施形態の制御装置１０は、自車両Ｖ（移動体）の姿勢の変化量に応じて、基準立体座標系の回転中心を設定する。制御装置１０は、回転中心を自車両Ｖの外縁を含む自車両Ｖのいずれかの位置に設定する。自車両Ｖの外縁には、自車両Ｖが外部の対象物と接する位置も含まれる。例えば、自車両Ｖが路面を走行中の場合には、自車両Ｖの外縁には、自車両Ｖの車輪と路面とが接地する位置が含まれる。なお、本実施形態では、自車両Ｖの車輪には、ホイールだけでなくホイールに装着されたタイヤも含む。

本実施形態では、制御装置１０は、カメラ２０から取得したカメラ２０の位置情報に基づいて、上述した回転中心を設定する。自車両Ｖの姿勢が変化すると、制御装置１０は、４台のカメラ（前方カメラ２１、後方カメラ２０、左方カメラ２３、右方カメラ２４）それぞれの位置情報を別々の情報として扱う。制御装置１０は、ＲＯＭ１２からカメラの基準位置を読み出し、読み出した基準位置と算出した現在の位置をそれぞれ比較することで、カメラ２０の高さ方向の変化量をそれぞれ算出する。

制御装置１０は、現在の前方カメラ２１の位置と、前方カメラ２１の基準位置とを比較することで、前方カメラ２１の高さ方向の変化量を算出する。制御装置１０は、前方カメラ２１と同様の手法により、後方カメラ２２の高さ方向の変化量を算出する。そして、制御装置１０は、前方カメラ２１の高さ方向の変化量と、後方カメラ２２の高さ方向の変化量を比較することで、前方カメラ２１、後方カメラ２２のうちカメラの高さ方向の変化量が小さい方のカメラを特定する。

また、制御装置１０は、現在の左方カメラ２３の位置と、左方カメラ２３の基準位置とを比較することで、左方カメラ２３の高さ方向の変化量を算出する。制御装置１０は、左方カメラ２３の高さの変化量を算出する方法と同様の手法により、右方カメラ２４の高さ方向の変化量を算出する。そして、制御装置１０は、左方カメラ２３の高さ方向の変化量と、右方カメラ２４の高さ方向の変化量を比較することで、左方カメラ２３、右方カメラ２４のうちカメラの高さ方向の変化量が小さい方のカメラを特定する。

制御装置１０は、特定したカメラの設置位置に対応する車輪が地表と接地する位置を、回転中心として設定する。カメラの設置位置に対応する車輪とは、前方カメラ２１に対する前輪、後方カメラ２２に対する後輪、左方カメラ２３に対する左側輪、及び右方カメラ２４に対する右側輪である。車輪が地表と接地する位置を特定する手法としては、例えば、自車両Ｖの静止状態において、車輪が接地する位置を予め算出して、ＲＯＭ１２に記憶させることが挙げられる。なお、車輪が地表と接地する位置を特定する方法は、特に限定されない。また、移動体が海底探査機の場合には、制御装置１０は、海底探査機が海底面と接地する位置を、回転中心として設定する。海底探査機が車輪を有する構造であれば、海底探査機の車輪と海底面とが接地する位置を回転中心としてもよい。

制御装置１０は、前方カメラ２１の高さ方向の変化量と後方カメラ２２の高さ方向の変化量を比較し、前方カメラ２１の高さ方向の変化量が後方カメラ２２の高さ方向の変化量よりも小さい場合には、前輪が地表と接地する位置を回転中心として設定する。反対に、制御装置１０は、後方カメラ２２の高さ方向の変化量が前方カメラ２１の高さ方向の変化量よりも小さい場合には、後輪が地表と接地する位置を回転中心として設定する。

また、制御装置１０は、左方カメラ２３の高さ方向の変化量と右方カメラ２４の高さ方向の変化量とを比較し、左方カメラ２３の高さ方向の変化量が右方カメラ２４の高さ方向の変化量よりも小さい場合には、左側輪が地表と接地する位置を回転中心として設定する。反対に、制御装置１０は、右方カメラ２４の高さ方向の変化量が左方カメラ２３の高さ方向の変化量よりも小さい場合には、右側輪が地表と接地する位置を回転中心として設定する。

このように、本実施形態の制御装置１０は、互いに対向する前方カメラ２１と後方カメラ２２それぞれの高さ方向の変化量を比較することで、自車両Ｖのうち前方又は後方のどちらの方が、自車両Ｖの姿勢の変化量が小さいかを判断する。また、互いに対向する左方カメラ２３と右方カメラ２４それぞれの高さ方向の変化量を比較することで、自車両Ｖのうち左方は右方のどちらの方が、自車両Ｖの姿勢の変化量が小さいかを判断する。これにより、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの範囲を容易に特定することができる。

ここで、自車両Ｖのうち車輪が地表と接地する位置は、自車両Ｖの姿勢の変化の影響が自車両Ｖの他の部分よりも小さい位置と仮定することができる。そのため、本実施形態では、制御装置１０は、前輪又は後輪が地表と接地する位置と左側輪又は右側輪が設置する位置を、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。

次に、図４Ａ、４Ｂに示す例を用いて、より具体的な説明をする。図４Ａ、４Ｂは、自車両Ｖの動作状態における姿勢の一例を示す図である。図４Ａは自車両Ｖの左側面図であり、図４Ｂは自車両Ｖの正面図である。図４Ａ、４Ｂは、自車両Ｖが路面Ｇ０を走行中に、自車両Ｖの左側前輪Ｗ１が障害物９０に乗り上げた場面であり、自車両Ｖの左側前輪Ｗ１以外の３つの車輪は路面Ｇ０と接地している場面である。なお、図４Ａ、４Ｂに点線で示されるカメラ２０（前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４）は自車両Ｖの静止状態におけるカメラの位置、また、基準位置Ｚ_ｒｅ１〜Ｚ_ｒｅ４は自車両Ｖの静止状態における路面Ｇ０に対する基準位置であり、図３Ａ、３Ｂにそれぞれ対応する。

制御装置１０は、図４Ａに示すように、前方カメラ２１^’の位置情報から、前方カメラ２１^’の路面Ｇ０に対する位置Ｚ１を算出する。制御装置１０は、算出した位置Ｚ１と前方カメラ２１の基準位置Ｚ_ｒｅ１を比較することで、前方カメラ２１^’の高さ方向の変化量ΔＺ１を算出する。同様に、制御装置１０は、後方カメラ２２^’の路面Ｇ０に対する位置Ｚ２と後方カメラ２２の基準位置Ｚ_ｒｅ２を比較することで、後方カメラ２２^’の高さ方向の変化量ΔＺ２を算出する。

そして、制御装置１０は、変化量ΔＺ１と変化量ΔＺ２を比較する。図４Ａに示す場面では、変化量ΔＺ２は変化量ΔＺ１よりも小さくなり、制御装置１０は、後方カメラ２２^’を、前方カメラ２１^’に比べて、自車両Ｖの姿勢の変化量が小さい方のカメラとして特定する。そして、制御装置１０は、後方カメラ２２^’の設置位置に対応する車輪が後輪であることを判断して、後輪（左側後輪Ｗ２）が路面Ｇ０と接地している位置を、回転中心Ｃ１として設定する。設定された回転中心Ｃ１は、基準立体座標系を、ｙ軸回りに回転移動させる際の中心として用いられる。なお、左側後輪Ｗ２及び右側後輪（図示なし）のうちどちらの後輪を利用するかは限定されず、制御装置１０は、２つの後輪のうちいずれか一方の後輪が路面Ｇ０と接地する位置を、回転中心Ｃ１として設定することができる。

また、制御装置１０は、図４Ｂに示すように、左方カメラ２３^’の位置情報から、左方カメラ２３^’の路面Ｇ０に対する位置Ｚ３を算出する。制御装置１０は、算出した位置Ｚ３と左方カメラ２３の基準位置Ｚ_ｒｅ３を比較することで、左方カメラ２３^’の高さ方向の変化量ΔＺ３を算出する。同様に、制御装置１０は、右方カメラ２４^’の路面Ｇ０に対する位置Ｚ４と右方カメラ２４の基準位置Ｚ_ｒｅ４を比較することで、右方カメラ２４^’の高さ方向の変化量ΔＺ４を算出する。

そして、制御装置１０は、変化量ΔＺ３と変化量ΔＺ４を比較する。図４Ｂに示す場面では、変化量ΔＺ４が変化量ΔＺ３よりも小さくなり、制御装置１０は、右方カメラ２４^’を、左方カメラ２３^’に比べて、自車両Ｖの姿勢の変化が小さい方のカメラとして特定する。そして、制御装置１０は、右方カメラ２４^’の設置位置に対応する車輪が右側輪であることを判断して、右側輪（右側前輪Ｗ３）が路面Ｇ０と接地している位置を、回転中心Ｃ２として設定する。設定された回転中心Ｃ２は、基準立体座標系を、ｘ軸回りに回転移動させる際の中心として用いられる。なお、右側前輪Ｗ３及び右側後輪（図示なし）のうちどちらの右側輪を利用するかは限定されず、制御装置１０は、２つの右側輪のうちいずれか一方の右側輪が路面Ｇ０と接地する位置を、回転中心Ｃ２として設定することができる。

次に、本実施形態の座標系補正機能について説明する。制御装置１０は、まず、カメラ２０の高さ方向の変化量に基づいて、自車両Ｖが基準の姿勢に対してどの程度の角度傾いている姿勢であるかを算出する。制御装置１０は、自車両Ｖの前後方向（ピッチ方向）において、どの程度の角度だけ傾斜しているか、また、自車両Ｖの左右方向（ロール方向）において、どの程度の角度だけ傾斜しているかをそれぞれ算出する。

具体的には、制御装置１０は、前方カメラ２１のアドレス（座標値）、前方カメラ２１^’のアドレス（座標値）、及び後方カメラ２２のアドレス（座標値）から、三角関数を使用してピッチ方向の角度変化量を算出する。なお、後方カメラ２２のアドレス（座標値）の代わりに、後方カメラ２２^’のアドレス（座標値）を用いてもよい。制御装置１０は、算出した角度をピッチ方向補正角度とする。また、制御装置１０は、左方カメラ２３のアドレス（座標値）、左方カメラ２３^’のアドレス（座標値）、及び右方カメラ２４のアドレス（座標値）から、三角関数を使用してピッチ方向の角度変化量を算出する。なお、後方カメラ２２のアドレス（座標値）の代わりに、後方カメラ２２^’のアドレス（座標値）を用いてもよい。制御装置１０は、算出した角度をロール方向補正角度とする。算出したそれぞれの補正角度は、後述する基準立体座標系を回転移動する際の回転角度として用いられる。なお、回転角度を算出する方法は上記方法に限定されず、本願出願時に知られた手法を適宜用いてもよい。

また、制御装置１０は、自車両Ｖの前後方向の傾斜角度（ピッチ方向補正角度）及び自車両Ｖの左右方向の傾斜角度（ロール方向補正角度）をそれぞれ算出するとともに、自車両Ｖの前後方向及び左右方向の傾斜方向をそれぞれ算出する。例えば、制御装置１０は、基準立体座標系におけるｘ軸、ｙ軸、ｚ軸で自車両Ｖの傾斜方向を示すことができる。なお、自車両Ｖの傾斜方向とは、自車両Ｖの基準姿勢（自車両Ｖの静止状態）に対しての傾斜方向である。

図４Ａを用いて、ピッチ方向補正角度と傾斜方向について説明する。図４Ａでは、前方カメラ２１の基準位置と後方カメラ２２の基準位置を結ぶ直線はラインＬ_ｒｅ１であらされる。ラインＬ_ｒｅ１は、自車両Ｖの静止状態における前方カメラ２１と後方カメラ２２の位置関係を示す。また、前方カメラ２１^’の位置と後方カメラ２２^’を結ぶ直線は、ラインＬ１であらわされる。ラインＬ１は、自車両Ｖの姿勢変化後における前方カメラ２１^’と後方カメラ２２^’の位置関係を示す。制御装置１０は、上述した変化量ΔＺ１及び変化量ΔＺ２を用いた方法により、ラインＬ_ｒｅ１とラインＬ１との間の角度φをピッチ方向補正角度として算出する。同時に、制御装置１０は、ｙ軸時計回りをピッチ方向の傾斜方向として算出する。

同様に、図４Ｂを用いて、ロール方向補正角度と傾斜方向について説明する。図４Ｂでは、左方カメラ２３の基準位置と右方カメラ２４の基準位置を結ぶ直線はラインＬ_ｒｅ２であらされる。ラインＬ_ｒｅ２は、自車両Ｖの静止状態における左方カメラ２３と右方カメラ２４の位置関係を示す。また、左方カメラ２３^’の位置と右方カメラ２４^’を結ぶ直線は、ラインＬ２であらわされる。ラインＬ２は、自車両Ｖの姿勢変化後における左方カメラ２３^’と右方カメラ２４^’の位置関係を示す。制御装置１０は、上述した変化量ΔＺ３及び変化量ΔＺ４を用いる方法により、ラインＬ_ｒｅ２とラインＬ２との間の角度θをピッチ歩行補正角度として算出する。同時に、制御装置１０は、ｘ軸反時計回りをロール方向の傾斜方向として算出する。

次に、本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影するために予め定義された基準立体座標系を回転移動させて、回転立体座標系を設定する。具体的に、制御装置１０は、基準立体座標系を、ｙ軸反時計回りに回転移動させるとともに、ｘ軸時計回りに回転移動させる。

制御装置１０は、基準立体座標系を、回転中心Ｃ１を中心として、ｙ軸反時計回りにピッチ方向補正角度だけ回転移動させる。また、制御装置１０は、基準立体座標系を、回転中心Ｃ２を中心として、ｘ軸時計回りにロール方向補正角度だけ回転移動させる。そして、制御装置１０は、回転立体座標系を撮像画像が投影される投影面として設定する。

図５〜７を用いて、自車両Ｖの姿勢と投影面との関係について説明する。図５〜７では、路面Ｇ０（地表）は水平線であらわされる。

図５は、自車両Ｖの静止状態における投影面（基準立体座標系Ｓ１）を示す図である。図５（Ａ）は自車両Ｖを左側面視する投影面を、図５（Ｂ）は自車両Ｖを正面視する投影面を、それぞれ示す。基準立体座標系Ｓ１は、底面Ｓ１_Ｂを有する円筒形状であり、自車両Ｖの四方を囲むようにあらわされる。図５（Ａ）（Ｂ）に示すように、自車両Ｖが路面Ｇ０に静止した状態では、基準立体座標系Ｓ１は、路面Ｇ０と接するようあらわされる。基準立体座標系Ｓ１の底面Ｓ１_Ｂは、実際の路面Ｇ０と重なり、路面Ｇ０と同一面となる。

図６は、自車両Ｖの動作状態における投影面（基準立体座標系Ｓ１^’）の一例を示す図である。図６（Ａ）は自車両Ｖを左側面視する投影面を、図６（Ｂ）は自車両Ｖを正面視する投影面を、それぞれ示す。図６（Ａ）（Ｂ）は、自車両Ｖが路面Ｇ０を走行中に、自車両Ｖの左側前輪Ｗ１が障害物９０に乗り上げた場面であり、図４Ａ、４Ｂに対応する場面である。図６（Ａ）（Ｂ）では、図４と同一のものには、図４と同一の符号を付している。自車両Ｖの左側前輪Ｗ１が障害物９０に乗り上げた状態では、基準立体座標系Ｓ１^’は、路面Ｇ０に対して傾いてあらわされる。基準立体座標系Ｓ１^’の底面Ｓ１_Ｂ ^’は、実際の路面Ｇ０と重ならず、路面Ｇ０と異なる面となる。

図６（Ａ）に示すように、自車両Ｖの前方には、基準立体座標系Ｓ１^’が路面Ｇ０よりも浮き上がった空間Ｓ_Ｐ１が発生し、自車両Ｖの後方には、基準立体座標系Ｓ１^’が路面Ｇ０よりも沈み込んだ空間Ｓ_Ｐ２が発生する。同様に、図６（Ｂ）に示すように、自車両Ｖの左方には、基準立体座標系Ｓ１^’が路面Ｇ０よりも浮き上がった空間Ｓ_Ｐ３が発生し、自車両Ｖの右方には、基準立体座標系Ｓ１^’が路面Ｇ０よりも沈み込んだ空間Ｓ_Ｐ４が発生する。つまり、自車両Ｖの姿勢が路面Ｇ０に対して変化すると、撮像画像を投影する投影面は、自車両Ｖの姿勢の変化に応じて路面Ｇ０に対して傾く。そのため、投影面には路面Ｇ０よりも沈み込んだ空間（空間Ｓ_Ｐ１、空間Ｓ_Ｐ３）と路面Ｇ０よりも浮き上がった空間（空間Ｓ_Ｐ２、Ｓ_Ｐ４）が発生する。

この投影面（基準立体座標系Ｓ１^’）に撮像画像を投影すると、実際の路面Ｇ０と、投影面の底面Ｓ１_Ｂ ^’とが平行関係でないため、撮像画像間の不連続な繋がりが生じてしまう。そのため、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは大きくなる。例えば、自車両Ｖが路面Ｇ０に対して垂直に位置する時の映像では、路面Ｇ０に対して垂直に表示された対象物が、自車両Ｖが路面Ｇ０に対して傾いた時の映像では、路面Ｇ０に対して傾いて表示される。

図７は、自車両Ｖの動作状態における投影面（回転立体座標系Ｒ１）の一例を示す図である。図７（Ａ）は、自車両Ｖを左側面視する投影面を、図７（Ｂ）は、自車両Ｖを正面視する投影面を、それぞれ示す。図７は、図６と同様の場面であるため、説明を省略を援用する。図７（Ａ）（Ｂ）に示すように、投影面として設定された回転立体座標系Ｒ１は、路面Ｇ０と接するようあらわされる。回転立体座標系Ｒ１の底面Ｒ１_Ｂは、路面Ｇ０とほぼ重なり、路面Ｇ０と略同一面となる。

回転立体座標系Ｒ１は、上述した方法により、制御装置１０により設定された座標系である。具体的には、制御装置１０は、互いに対向するカメラの高さの変化量に基づいて、回転中心Ｃ１及び回転中心Ｃ２を算出するとともに、ピッチ方向補正角度及びロール方向補正角度を算出する。そして、制御装置１０は、基準立体座標系Ｓ１^’を、回転中心Ｃ１を中心として、ｙ軸反時計回りにピッチ方向補正角度だけ回転移動させる。また、制御装置１０は、基準立体座標系Ｓ１^’を、回転中心Ｃ２を中心として、ｘ軸時計回りにロール方向補正角度だけ回転移動させる。

この投影面（回転立体座標系Ｒ１）に撮像画像を投影すると、実際の路面Ｇ０と、投影面の底面Ｒ１_Ｂとが略同一であるため、撮像画像間の不連続な繋がりの発生は抑制される。そのため、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは抑制される。上述の例では、自車両Ｖが路面Ｇ０に対して垂直に位置する時の映像では、路面Ｇ０に対して垂直に表示された対象物は、自車両Ｖが路面Ｇ０に対して傾いた時の映像でも、路面Ｇ０に対して垂直に立って表示される。

また、回転立体座標系Ｒ１と、図５（Ａ）（Ｂ）に示す基準立体座標系Ｓ１とを比較すると、それぞれの底面Ｒ１_Ｂと底面Ｓ１_Ｂはともに実際の路面Ｇ０と略同一面である。つまり、回転立体座標系Ｒ１は、自車両Ｖの姿勢が変化しても、基準立体座標系Ｓ１と路面Ｇ０の配置関係が維持するように、設定された座標系である。本実施形態では、基準立体座標系Ｓ１に円筒形状を用いた説明をしたが、例えば、底面を有さない球形状であっても、回転立体座標系Ｒ１と路面Ｇ０の配置関係は、基準立体座標系Ｓ１と路面Ｇ０の配置関係に維持される。つまり、回転立体座標系Ｒ１と路面Ｇ０の配置関係は、基準立体座標系Ｓ１の形態（形状）との関連なく維持される。

ここで、自車両Ｖの姿勢の変化により傾いた基準立体座標系Ｓ１^’を、自車両Ｖの中心（例えば、自車両Ｖの重心）に回転移動させた投影面に、撮像画像を投影して、自車両Ｖの周囲を含む映像を表示することが、一般的に知られている（図８参照）。しかし、自車両Ｖの中心（回転中心Ｃ１^’、Ｃ２^’）は、自車両Ｖの姿勢の変化量に依っては、自車両Ｖの姿勢の変化量が所定値よりも小さい部分とは限られない。そのため、基準立体座標系Ｓ１^’を自車両Ｖの中心に回転移動させた立体座標系Ｒ^’は、例えば、路面Ｇ０から浮いた状態となる恐れがある。立体座標系Ｒ^’と路面Ｇ０の配置関係は、基準立体座標系Ｓ１と路面Ｇ０の配置関係を維持できない恐れがある。

図８は、自車両Ｖの動作状態における参考例の投影面（立体座標系Ｒ１^’）の一例を示す図である。図８に示す立体座標系Ｒ^’は、基準立体座標系Ｓ１^’を自車両Ｖの中心（回転中心Ｃ１^’、Ｃ２^’）を中心として、ピッチ方向補正角度及びロール方向補正角度だけ回転移動させた座標系である。図８では、立体座標系Ｒ１^’が路面Ｇ０よりも浮き上がった空間Ｓ_Ｐ５、Ｓ_Ｐ６があらわされる。この投影面（立体座標系Ｒ１^’）に撮像画像を投影すると、実際の路面Ｇ０と、投影面の底面Ｒ１_Ｂ ^’とが平行関係であるため、撮像画像間の不連続な繋がりの発生は抑制される。しかし、撮像画像を投影した映像には、自車両Ｖの周囲の一部（空間Ｓ_Ｐ５、Ｓ_Ｐ６）が表示されず、自車両Ｖの乗員に違和感を与えることがある。

一方、本実施形態の回転立体座標系Ｒ１は、底面Ｒ１_Ｂが路面Ｇ０と略同一であるため、上述したような空間Ｓ_Ｐ５、Ｓ_Ｐ６は発生しない。そのため、撮像画像を投影すると、自車両Ｖの周囲の一部分が欠けることなく、自車両Ｖの周囲全体が表示されるため、乗員に違和感を与えることを抑制できる。

続いて、制御装置１０の表示制御機能について説明する。制御装置１０は、カメラ２０の撮像画像のデータを回転立体座標系Ｒ１に投影し、仮想視点から自車両Ｖ及び自車両Ｖの周囲を見た映像を生成し、表示させる。

制御装置１０は、カメラ２０から取得した撮像画像のデータを、回転立体座標系Ｒ１に投影し、設定された仮想視点から自車両Ｖ及びこの自車両Ｖの周囲を見た映像を生成する。自車両Ｖの姿勢の変化量が所定量未満である場合には、自車両Ｖの姿勢が変化していないと判断する。そして、基準立体座標系Ｓ１に撮像画像を投影する。他方、自車両Ｖの姿勢の変化量が所定量以上である場合には、自車両Ｖの姿勢が変化したと判断する。そして、回転立体座標系Ｒ１を設定し、これに撮像画像を投影する。「所定量」は、自車両Ｖの姿勢に変化があったか否かを判断するための変化量の閾値として設定する。「所定量」は、自車両Ｖのカメラ２０の撮像特性、基準立体座標系Ｓ１の態様、自車両Ｖの構造などの影響を考慮して実験的に求めることが好ましい。

制御装置１０は、カメラ２０から取得した撮像画像のデータを、回転立体座標系Ｒ１に投影する。投影手法は、特に限定されない。制御装置１０は、出願時に知られたプロジェクションマッピング技術を用いて、投影処理を実行してもよい。撮像画像のデータのアドレスと、回転立体座標系Ｒ１のアドレス（座標値）との対応情報を用いて、投影処理を実行してもよい。

本実施形態の表示装置１００は、回転立体座標系Ｒ１に投影された画像を用いて、仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を生成する。表示装置１００は、生成された映像を、ディスプレイ７０に表示する。ディスプレイ７０は、自車両Ｖに搭載し、移動体装置２００として構成してもよいし、表示装置１００側に設けてもよい。ディスプレイ７０は、二次元画像用のディスプレイでもよいし、三次元画像を映し出すディスプレイであってもよい。なお、移動体が海底探査機の場合には、海底探査機そのものを映像に表示させないようにしてもよい。この場合、制御装置１０は、撮像画像のデータを回転立体座標系Ｒ１に投影して、仮想視点から海底探査機の周囲を見た映像を生成する。

本実施形態の表示装置１００が表示させる映像には、予め準備された自車両Ｖを示すアイコン画像Ｖ^’を重畳させて表示してもよい。車両のアイコン画像Ｖ^’は、自車両Ｖの意匠に基づいて予め作成し、ＲＯＭ１２に記憶させてもよい。このように、自車両Ｖのアイコン画像Ｖ^’を映像に重畳させることにより、自車両Ｖの位置及び向きと周囲の映像との関係を分かりやすく示すことができる。

図９のフローチャートに基づいて、本実施形態の制御装置１０の動作を説明する。
ステップＳ１０１において、制御装置１０は、乗員操作装置６０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ１０２に進み、表示スイッチのオフが検出されると、ステップＳ１０１で待機する。

ステップＳ１０２において、制御装置１０は、自車両Ｖの周囲画像を取得するために、カメラ２０により撮像された撮像画像を取得する。制御装置１０は、自車両Ｖにカメラ２０が複数台搭載されている場合には、それぞれのカメラで撮像された撮像画像を取得する。取得した撮像画像は、映像の生成に用いられるほか、対象物の検出、及び対象物までの距離の計測に用いられる。

ステップＳ１０３において、制御装置１０は、ステップＳ１０２で取得した撮像画像を投影する投影用の座標を設定するため、ＲＯＭ１２に記憶された基準立体座標系Ｓを読み出す。なお、表示装置１００の動作中に、基準立体座標系Ｓを固定して使用することに限定されない。例えば、ＲＯＭ１２には複数種の基準立体座標系Ｓが記憶されている場合、この複数種の基準立体座標系Ｓから、自車両Ｖの乗員が乗員操作装置６０を介して選択する構成でもよい。

ステップＳ１０４において、制御装置１０は、ステップＳ１０３で設定した基準立体座標系Ｓに、ステップＳ１０２で取得した撮像画像を投影して生成する映像の視点である、仮想視点を設定する。制御装置１０は、ＲＯＭ１２に記憶された仮想視点を読み出す。なお、ＲＯＭ１２に記憶された一種類の仮想視点を使用することに限定されない。例えば、自車両Ｖの乗員が乗員操作装置６０を介して仮想視点を設定する構成でもよい。

ステップＳ１０５において、制御装置１０は、自車両Ｖの姿勢を算出する。制御装置１０は、ステップＳ１０２で取得した撮像画像だけでなく、センサ４０から取得した自車両Ｖの移動速度等を含む自車両の走行情報、ナビゲーション装置５０から取得した路面の凹凸状態から、自車両Ｖの姿勢に関する情報を算出する。例えば、制御装置１０は、カメラ２０の高さを自車両Ｖの姿勢に関する情報として算出する。

ステップＳ１０６において、制御装置１０は、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判定する。制御装置１０は、ステップＳ１０５で算出した現在の自車両Ｖの姿勢と、自車両Ｖの静止状態における姿勢とを比較することで、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判定する。制御装置１０は、ＲＯＭ１２に記憶された自車両Ｖの静止状態における姿勢を読み出して、自車両Ｖの基準姿勢とする。

制御装置１０は、自車両Ｖの姿勢の変化量が所定量以上である場合には、投影面を補正する必要があると判断し、投影面補正処理Ａを実行する。ステップＳ１０６では、制御装置１０は、ステップＳ１０２で取得した撮像画像を、ステップＳ１０３で設定した基準立体座標系Ｓに投影した映像の質について判断する。つまり、制御装置１０は、当該映像には、自車両Ｖの乗員に違和感を与える、又は当該映像に大きなノイズが生じる可能性があると判断する。反対に、自車両Ｖの姿勢の変化量が所定量未満である場合には、ステップＳ１０７へ進む。この場合に、制御装置１０は、基準立体座標系Ｓに撮像画像を投影した映像には、自車両Ｖの乗員に違和感を与えない、又は当該映像には大きなノイズが生じないと判断する。

次に、図１０を参照して、投影面補正処理Ａについて説明する。図１０は、本実施形態における投影面補正処理Ａのフローチャートである。ステップＳ１１０〜Ｓ１１５と、ステップＳ１１６〜Ｓ１２１は、それぞれまとまった１つのフローであり、制御装置１０は、これら２つのフローをシリアル又はパラレルで実行する。まず、ステップＳ１１０〜Ｓ１１５までを説明する。

ステップＳ１１０において、制御装置１０は、自車両Ｖに搭載された前後のカメラ（前方カメラ２１、後方カメラ２２）の路面に対する位置をそれぞれ検出する。なお、制御装置１０は、当該ステップで改めて２つのカメラの位置を検出することなく、ステップＳ１０２で取得した撮像画像から位置を算出してもよい。

ステップＳ１１１において、制御装置１０は、自車両Ｖのピッチ方向の傾斜角度を算出するため、ステップＳ１１０で検出した、前方カメラ２１の位置と後方カメラ２２の位置を、それぞれのカメラの基準位置と比較する。制御装置１０は、ＲＯＭ１２に記憶された前方カメラ２１の基準位置及び後方カメラ２２の基準位置を読み出す。制御装置１０は、前方カメラ２１の高さ方向の変化量ΔＺ１と、後方カメラ２２の高さ方向の変化量ΔＺ２を算出する。

ステップＳ１１２において、制御装置１０は、ステップＳ１１１で算出した変化量ΔＺ１と変化量ΔＺ２から、ピッチ方向の傾斜角度を算出する。制御装置１０は、算出した傾斜角度をＲＡＭ１３に一時的に格納する。なお、ステップＳ１１２において、制御装置１０は、ピッチ方向の傾斜方向を算出し、ＲＡＭ１３に一時的に格納してもよい。

ステップＳ１１３において、制御装置１０は、ステップＳ１１１で算出した変化量ΔＺ１と変化量ΔＺ２とを比較することで、前方カメラ２１と後方カメラ２２のうち高さ方向の変化量が小さいカメラを特定する。前方カメラ２１が後方カメラ２２よりも高さ方向の変化量が小さい場合には（ΔＺ１＜ΔＺ２）、ステップＳ１１４へ進む。反対に、前方カメラ２１が後方カメラ２２よりも高さ方向の変化量が小さい場合には（ΔＺ２＜ΔＺ１）、ステップＳ１１５へ進む。

ステップＳ１１４において、制御装置１０は、前輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ１として設定する。ステップＳ１１５において、制御装置１０は、後輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ１として設定する。ステップＳ１１４及びステップＳ１１５では、制御装置１０は、回転中心Ｃ１を姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。

次に、ステップＳ１１６〜Ｓ１２１までを説明する。

ステップＳ１１６において、制御装置１０は、自車両Ｖに搭載された左右のカメラ（左方カメラ２３、右方カメラ２４）の路面に対する位置をそれぞれ検出する。なお、制御装置１０は、当該ステップで改めて２つのカメラの位置を検出することなく、ステップＳ１０２で取得した撮像画像から位置を算出してもよい。

ステップＳ１１７において、制御装置１０は、ロール方向の傾斜角度を算出するため、ステップＳ１１６で検出した、左方カメラ２３の位置と右方カメラ２４の位置を、それぞれの基準位置と比較する。制御装置１０は、ＲＯＭ１２に記憶された左方カメラ２３の基準位置及び右方カメラ２４の基準位置を読み出す。制御装置１０は、左方カメラ２３の高さ方向の変化量ΔＺ３と、右方カメラ２４の高さ方向の変化量ΔＺ４を算出する。

ステップＳ１１８において、制御装置１０は、ステップＳ１１７で算出した変化量ΔＺ３と変化量ΔＺ４から、ロール方向の傾斜角度を算出する。制御装置１０は、算出した傾斜角度をＲＡＭ１３に一次的に格納する。なお、ステップＳ１１８において、制御装置１０は、ロール方向の傾斜方向を算出し、ＲＡＭ１３に一時的に格納してもよい。

ステップＳ１１９において、制御装置１０は、ステップＳ１１７で算出した変化量ΔＺ３と変化量ΔＺ４とを比較することで、左方カメラ２３と右方カメラ２４のうち高さ方向の変化量が小さいカメラを特定する。左方カメラ２３が右方カメラ２４よりも高さ方向の変化量が小さい場合には（ΔＺ３＜ΔＺ４）、ステップＳ１２０へ進む。反対に、右方カメラ２４が左方カメラ２３よりも高さ方向の変化量が小さい場合には（ΔＺ４＜ΔＺ３）、ステップＳ１２１へ進む。

ステップＳ１２０において、制御装置１０は、左側輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ２として設定する。ステップＳ１２１において、制御装置１０は、右側輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ２として設定する。ステップＳ１２０及びステップＳ１２１において、制御装置１０は、回転中心Ｃ２を姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。

ステップＳ１２２において、制御装置１０は、ステップＳ１０３で設定した基準立体座標系Ｓ１を、ステップＳ１１４又はステップＳ１１５で得られた回転中心Ｃ１を中心として、ピッチ方向の傾斜方向と反対方向に傾斜角度だけ回転移動させる。また、制御装置１０は、基準立体座標系Ｓ１を、ステップＳ１２０又はステップＳ１２１で得られた回転中心Ｃ２を中心として、ロール方向の傾斜方向と反対方向に傾斜角度だけ回転移動させる。なお、ステップＳ１２２において、制御装置１０は、ステップＳ１１２又はステップＳ１１８でＲＡＭ１３に一時的に格納した、傾斜角度及び傾斜方向を読み出す。

ステップＳ１２３において、制御装置１０は、ステップＳ１２２で回転移動させた基準立体座標系Ｓ１を回転立体座標系Ｒ１として設定する。そして、制御装置１０は、回転立体座標系Ｒ１を投影用の座標系として設定する。投影面補正処理Ａは終了し、図９に示すステップＳ１０７へ進む。

ステップＳ１０７において、ステップＳ１０３で設定された基準立体座標系Ｓ１又はステップＳ１２３で設定された回転立体座標系Ｒ１に、撮像画像を投影する処理を実行し、表示用の映像を生成する。

ステップＳ１０８において、制御装置１０は、生成した映像をディスプレイ７０に表示する。

最後に、ステップＳ１０９において、制御装置１０は、乗員操作装置６０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ１０５へ戻り、表示スイッチのオフが検出されると、制御装置１０の動作を終了する。

以上のように、本実施形態の制御装置１０は、姿勢の変化量が所定値よりも小さい自車両Ｖの部分に、予め定義された基準立体座標系Ｓ１の回転中心を設定する。そして、制御装置１０は、姿勢の変化量に応じて、基準立体座標系Ｓ１を回転移動させた回転立体座標系Ｒ１に撮像画像を投影して、仮想視点からの映像を表示する。これにより、自車両Ｖの姿勢が変化した場合であっても、投影面と路面Ｇ０の配置関係を、自車両Ｖの静止状態における当該配置関係に維持することができる。その結果、表示映像において、撮像画像間の不連続な繋がりの発生は抑制され、乗員に違和感を与えることを抑制できる。

また、本実施形態の自車両Ｖは、前後方向又は左右方向に、対向する２つのカメラを有し、制御装置１０は、この２つのカメラの高さ方向の変化量を比較する。そして、制御装置１０は、変化量の小さい方のカメラ側に、基準立体座標系Ｓ１の回転中心を設定する。これにより、姿勢の変化量が小さい自車両Ｖの部分を特定するための一次判断が容易となり、演算処理の負担を軽減することができる。

さらに、本実施形態の制御装置１０は、自車両Ｖの車輪が路面Ｇ０と接地する位置を、回転中心Ｃ１、Ｃ２として設定する。これにより、自車両Ｖの姿勢が変化した場合であっても、自車両Ｖの姿勢の変化量が所定値よりも小さい位置を、容易に特定することができる。

加えて、本実施形態の制御装置１０は、自車両Ｖの車輪のうち前輪又は後輪のいずれか一方側の車輪が路面Ｇ０と接地しない場合に、他方側の車輪が路面Ｇ０と接地する位置を、回転中心として設定するため、上記効果を奏する。

また、本実施形態の制御装置１０は、自車両Ｖの車輪のうち左側輪又は右側輪のいずれか一方側の車輪が路面Ｇ０と接地しない場合に、他方側の車輪が路面Ｇ０と接地する位置を、回転中心として設定するため、上記効果を奏する。

さらに、本実施形態の制御装置１０は、自車両Ｖの姿勢の傾斜方向を算出し、基準立体座標系Ｓ１を、算出した傾斜方向と反対方向に、回転移動させて回転立体座標系Ｒ１を設定する。これにより、自車両Ｖの姿勢に応じて傾いた基準立体座標系Ｓ１^’を、時間を要することなく路面Ｇ０と略同一面となる位置に戻すことができ、演算処理の負担を軽減することができる。

なお、本実施形態では、制御装置１０は、上記の方法で回転中心Ｃ１、Ｃ２を算出したが、これに限定されない。次に、回転中心Ｃ１、Ｃ２の算出方法が異なる変形例に係る制御装置１１０について説明する。

制御装置１１０は、上述した実施形態に係る制御装置１０と比べて、回転中心設定機能が異なる点以外は、同様の構成であるため、説明を援用する。

次に、図１１Ａ、１１Ｂを用いて、制御装置１１０の回転中心Ｃ１、Ｃ２の算出方法について説明する。図１１Ａ、１１Ｂは、自車両の動作状態における姿勢の一例を示す図である。図１１Ａは自車両Ｖの左側面図であり、図１１Ｂは自車両Ｖの正面図であり、図４Ａ、４Ｂにそれぞれ対応する。図１１Ａ、１１Ｂでは、図４Ａ、４Ｂを用いて説明した内容を援用する。

変形例に係る制御装置１１０は、上述した実施形態に係る制御装置１０と異なり、幾何学的な方法により、回転中心Ｃ１１、Ｃ２１を設定する。具体的に、制御装置１１０は、自車両Ｖの静止状態において、前方カメラ２１と後方カメラ２２のいずれもを通過するラインＬ_ｒｅ１と、自車両Ｖの動作状態における前方カメラ２１^’と後方カメラ２２^’のいずれもを通過するラインＬ１との交点を算出し、この交点を回転中心Ｃ１１として設定する。

同様に、制御装置１１０は、自車両Ｖの静止状態において、左方カメラ２３と右方カメラ２４のいずれもを通過するラインＬ_ｒｅ２と、自車両Ｖの動作状態における左方カメラ２３^’と右方カメラ２４^’のいずれもを通過するラインＬ２との交点を算出し、この交点を回転中心Ｃ２１として設定する。

このように、制御装置１１０は、自車両Ｖの静止状態における対向する２つのカメラの位置関係と、自車両Ｖの動作状態における対向する２つのカメラの位置関係とを比較して、回転中心Ｃ１１、Ｃ２１を設定する。制御装置１１０は、この２つの位置関係を示す２つの直線の交点を、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。

制御装置１１０が設定した回転中心Ｃ１１、Ｃ２１は、上述した実施形態に係る制御装置１０が設定した回転中心Ｃ１、Ｃ２と異なり、自車両Ｖの内側の範囲に設定される。なお、図１１Ａに点線で示される回転中心Ｃ１は、上述した実施形態に係る制御装置１０が設定した位置であり、図１１Ｂに示される回転中心Ｃ２は、上述した実施形態に係る制御装置１０が設定した位置である。

変形例に係る制御装置１１０は、座標系補正機能により、基準立体座標系Ｓ１を、回転中心Ｃ１１、Ｃ２１を中心として、回転移動させる。制御装置１１０は、回転移動した基準立体座標系Ｓ１を回転立体座標系Ｒ１^’’（図示しない）として設定する。回転立体座標系Ｒ１^’’と路面Ｇ０との配置関係は、基準立体座標系Ｓ１と路面Ｇ０の配置関係に維持される。

なお、変形例では、カメラ２０の位置関係から回転中心の位置を算出するため、上述した実施形態と比べて、自車両Ｖの姿勢の変化量が所定値よりも小さい位置を精度良く算出できる。そのため、回転立体座標系Ｒ１^’’と基準立体座標系Ｓ１とのズレを小さくすることができる。これにより、回転立体座標系Ｒ１^’’に撮像画像を投影した映像を表示すると、撮像画像間の不連続な繋がりの発生はより抑制される。

以上のように、変形例では、制御装置１１０は、自車両Ｖの静止状態において対向する前方カメラ２１（左方カメラ２３）及び後方カメラ２２（右方カメラ２４）のいずれもを通過する直線と、自車両Ｖの動作状態において前方カメラ２１^’（左方カメラ２３^’）及び後方カメラ２２^’（右方カメラ２４^’）のいずれもを通過する直線との交点を算出し、この交点を回転中心Ｃ１１（回転中心Ｃ２１）として設定する。これにより、自車両Ｖの姿勢の変化量が所定値よりも小さい位置を精度良く算出でき、基準立体座標系Ｓ１とのズレが小さい回転立体座標系Ｒ１^’’が設定される。その結果、回転立体座標系Ｒ１^’’に撮像画像を投影した映像を表示すると、撮像画像間の不連続な繋がりの発生はより抑制され、自車両Ｖの乗員に違和感を与えることをより効果的に抑制できる。

≪第２実施形態≫
第２実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム２に適用した場合を例にして説明する。本実施形態の表示システム２は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。

図１２は、本実施形態に係る表示装置３００を含む表示システム２のブロック構成図である。図１２に示すように、本実施形態の表示システム２は、表示装置３００と、移動体装置４００とを備える。表示装置３００と移動体装置４００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。

本実施形態の表示システム２が適用される移動体は、ヘリコプター、飛行機などの航空機その他の移動機能を備えるものを含む。本実施形態では、移動体がメインロータを有する回転翼機（ヘリコプター）である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。

なお、本実施形態の表示システム２は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム２の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。

図１２に示すように、本実施形態の移動体装置４００は、カメラ８０と、コントローラ３０と、センサ４０と、ナビゲーション装置５０と、乗員操作装置６０と、ディスプレイ７０と、を備える。これらの各装置は移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。なお、上述した実施形態と同様の構成には、同様の符号を付し、その説明を援用する。

本実施形態のカメラ８０は、回転翼機（移動体の一例である。以下同じ）の所定位置に設けられている。回転翼機に搭載されたカメラ８０は、回転翼機及び／又は回転翼機の周囲を撮像し、その撮像画像を表示装置３００に送出する。本実施形態における撮像画像は、回転翼機の一部と回転翼機の周囲の映像を含む。撮像画像のデータは、回転翼機の周囲の対象物との位置関係の算出処理、回転翼機又は回転翼機の周囲の映像の生成処理に用いられる。

図１３（Ａ）（Ｂ）は、回転翼機Ｒに搭載されたカメラ８０の設置位置の一例を示す図である。図１３（Ａ）は回転翼機Ｒの左側面図であり、図１３（Ｂ）は回転翼機Ｒの上面図である。図１３（Ａ）（Ｂ）に示すように、回転翼機Ｒには、回転翼機の前方に前方カメラ８１が設置され、回転翼機Ｒの後方に後方カメラ８２が設置されており、前方カメラ８１と後方カメラ８２は対向している。また、回転翼機Ｒには、回転翼機Ｒの左側に左方カメラ８３が設置され、回転翼機Ｒの右側に右方カメラ８４が設置されており、左方カメラ８３と右方カメラ８４は対向している。なお、カメラ８０の設置位置は特に限定されず、その設置位置を任意に変更できる。

カメラ８０は、上述した実施形態に係るカメラ２０と同様の機能を有するため、説明を援用する。本実施形態では、回転翼機Ｒがホバリングした状態を想定しているため、カメラ８０のレンズは、回転翼機Ｒの下方向を向いているのが好ましい。なお、回転翼機Ｒのホバリングとは、回転翼機Ｒが地表に対して水平な姿勢を保ちつつ空中で停止する状態のことである。

図１２に示すように、本実施形態では、センサ４０には、姿勢センサ４５の代わりに、ジャイロセンサ４６を含む。ジャイロセンサ４６は、回転翼機Ｒの姿勢の傾斜角度を検出する。

次に、本実施形態の表示装置３００について説明する。本実施形態の表示装置３００は、制御装置２１０を備える。

本実施形態に係る表示装置３００の制御装置２１０は、上述した実施形態の制御装置１０と比べて、回転中心設定機能が異なる点以外は、同様の機能を有する。また、本実施形態の制御装置２１０は、傾斜角算出機能を有する。なお、制御装置２１０は、情報取得機能により、ジャイロセンサ４６が検出した傾斜角度を、姿勢情報として取得する。経時的に取得した姿勢情報は、後述する回転翼機Ｒの姿勢の変化量の算出、回転翼機Ｒの前後方向又は左右方向の傾斜角度の算出に用いられる。

まず、制御装置２１０の傾斜角算出機能について説明する。本実施形態の制御装置２１０は、回転翼機Ｒの傾斜方向及び傾斜角度を算出する。制御装置２１０は、地表、海面その他任意の面を基準とすることができ、この基準に対して、回転翼機Ｒが前後方向にどの程度傾斜しているか、及び回転翼機Ｒが左右方向にどの程度傾斜しているかを算出する。算出した前後方向（ピッチ方向）の傾斜角度は、ピッチ方向補正角度として、また、算出した左右方向（ロール方向）の傾斜角度は、ロール方向補正角度として、基準立体座標系Ｓ２を回転移動させる際の角度として用いられる。

次に、制御装置２１０の回転中心機能について説明する。制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心として設定する。回転翼機Ｒのメインロータの回転軌跡の中心位置は、回転翼機Ｒの姿勢の変化の影響が回転翼機Ｒの他の部分よりも小さい部分と仮定することができる。そのため、本実施形態では、回転翼機Ｒのメインロータの回転軌跡の中心位置を、姿勢の変化量が所定値よりも小さい回転翼機Ｒの部分として扱う。図１３では、制御装置２１０により設定される回転中心は回転中心Ｃ３であらわされる。また、本実施形態では、上述した実施形態と異なり、制御装置２１０は、回転翼機Ｒの姿勢の変化量とは無関係に、回転翼機Ｒの一部であるメインロータの中心位置を回転中心として設定する。

なお、本実施形態のＲＯＭ１２には、回転翼機Ｒの静止状態における姿勢が基準の姿勢として記憶されている。具体的には、ＲＯＭ１２には、回転翼機Ｒの静止状態における回転翼機Ｒの姿勢情報が記憶されている。本実施形態の静止状態は、回転翼機Ｒのホバリングとするが、これに限定されず、回転翼機Ｒが着陸している状態であってもよい。

図１４を用いて、回転翼機Ｒの姿勢と投影面との関係について説明する。図１４は、回転翼機Ｒの静止状態及び動作状態における投影面の一例を示す図である。図１４（Ａ）〜（Ｃ）では、路面Ｇ０（地表）はｘｙ面に沿う面であらわされる。なお、基準立体座標系Ｓ２は、底面Ｓ２_Ｂを有する円筒状の形状であり、回転翼機Ｒの四方を囲むようにあらわされる。

図１４（Ａ）は、回転翼機Ｒの静止状態における投影面（基準立体座標系Ｓ２）を示す図である。図１４（Ａ）に示すように、回転翼機Ｒの静止状態では、基準立体座標系Ｓ２は、地表Ｇ１と垂直な関係となる。つまり、撮像画像に写り込む対象物（立木、鉄塔などの立体障害物）は地表Ｇ１に対して垂直な関係であり、投影面の底面Ｓ２_Ｂも地表Ｇ１に対して垂直な関係である。このため、この投影面にカメラ８０で撮像した撮像画像を投影しても、撮像画像間の不連続な繋がりは生じない。

図１４（Ｂ）は、回転翼機Ｒの動作状態における投影面（基準立体座標系Ｓ２^’）を示す図である。図１４（Ｂ）は、回転翼機Ｒの尾翼が上がり、回転翼機Ｒが前方に傾いた場面を示す。例えば、向かい風に対して回転翼機Ｒが流されないように、姿勢を安定させるためのホバリングが挙げられる。

図１４（Ｂ）に示すように、回転翼機Ｒの動作状態では、基準立体座標系Ｓ２^’は、地表Ｇ１に対して垂直関係でなく傾いてあらわせる。つまり、実際の対象物は地表Ｇ１に対して垂直であるが、投影面の底面Ｓ２^’ _Ｂは地表Ｇ１に対して傾いている。このため、この投影面に撮像画像を投影すると、撮像画像間に不連続な繋がりが生じてしまう。その結果、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは大きくなる。例えば、表示映像には、立体障害物が歪んで表示されてしまう。

図１４（Ｃ）は、回転翼機Ｒの動作状態における投影面（回転立体座標系Ｒ２）を示す図である。図１４（Ｃ）は、図１４（Ｂ）と同様の場面であるため、説明を援用する。

回転立体座標系Ｒ２は、上述した方法により、制御装置２１０により設定された座標系である。具体的には、制御装置２１０は、回転翼機Ｒの左右方向（ロール方向）の傾斜角度であるロール方向補正角度及び回転翼機Ｒの前後方向（ピッチ方向）の傾斜角度であるピッチ方向補正角度を算出する。そして、制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心Ｃ３として設定する。制御装置２１０は、ｙｚ面において、基準立体座標系Ｓ２^’を、回転中心Ｃ３として、ロール方向補正角度だけ回転移動させる。また、制御装置２１０は、基準立体座標系Ｓ２^’を、回転中心Ｃ３として、ｙ軸時計回りにピッチ方向補正角度だけ回転移動させる。

図１４（Ｃ）では、実際の対象物は地表Ｇ１に対して垂直な関係であり、投影面の底面Ｒ２_Ｂも地表Ｇ１に対して垂直な関係となる。このため、この投影面（回転立体座標系Ｒ２）に撮像画像を投影しても、撮像画像間の不連続な繋がりの発生は抑制される。そのため、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは抑制される。

また、本実施形態の回転立体座標系Ｒ２と、基準立体座標系Ｓ２とを比較すると、それぞれの底面Ｒ２_Ｂと底面Ｓ２_Ｂはともに地表Ｇ１に対して垂直な関係である。つまり、回転立体座標系Ｒ２は、回転翼機Ｒの姿勢が変化しても、基準立体座標系Ｓ２と地表Ｇ１の配置関係が維持するように、設定された座標系である。なお、回転立体座標系Ｒ２は、基準立体座標系Ｓ２と海面の配置関係が維持するように、設定された座標系であってもよい。

図１５のフローチャートに基づいて、本実施形態の制御装置２１０の動作を説明する。ステップＳ２０１〜ステップＳ２０４は、上述した実施形態のステップＳ１０１〜ステップＳ１０４に対応するため、説明を援用する。

ステップＳ２０５において、制御装置２１０は、回転翼機Ｒの姿勢を算出する。制御装置２１０は、ステップＳ２０２で取得した撮像画像だけでなく、センサ４０から取得した回転翼機Ｒの傾斜角度等から、回転翼機Ｒの姿勢に関する情報を算出する。

ステップＳ２０６において、制御装置２１０は、回転翼機Ｒの姿勢の変化量が所定量以上であるか否かを判定する。制御装置２１０は、ステップＳ２０５で算出した現在の回転翼機Ｒの姿勢と、回転翼機Ｒの静止状態における姿勢とを比較することで、回転翼機Ｒの姿勢の変化量が所定量以上であるか否かを判定する。制御装置２１０は、ＲＯＭ１２に記憶された回転翼機Ｒの静止状態における姿勢を読み出して、回転翼機Ｒの基準姿勢とする。

制御装置２１０は、回転翼機Ｒの姿勢の変化量が所定量以上である場合には、投影面を補正する必要があると判断し、投影面補正処理Ｂを実行する。反対に、回転翼機Ｒの姿勢の変化量が所定量未満である場合には、ステップＳ２０７へ進む。

次に、図１５を参照して、投影面補正処理Ｂについて説明する。図１６は、本実施形態における投影面補正処理Ｂのフローチャートである。

ステップＳ２１０において、制御装置２１０は、回転翼機Ｒのロール方向の傾斜角度と、回転翼機Ｒのピッチ方向の傾斜角度を算出する。例えば、制御装置２１０は、ジャイロセンサ４６の傾斜角度を用いて、それぞれの角度を算出し、ロール方向の傾斜角度をロール方向補正角度とし、ピッチ方向の傾斜角度をピッチ方向補正角度とする。

ステップＳ２１１において、制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心Ｃ３として設定する。制御装置１０は、回転中心Ｃ３を姿勢の変化量が所定値よりも小さい回転翼機Ｒの位置として扱う。ステップＳ２１２において、制御装置２１０は、ステップＳ２０３で設定した基準立体座標系Ｓ２を、ステップＳ２１１で得られた回転中心Ｃ３を中心として、ロール方向補正角度だけ回転移動させる。また、制御装置２１０は、基準立体座標系Ｓ２を、回転中心Ｃ３を中心として、ピッチ方向補正角度だけ回転移動させる。

ステップＳ２１３において、制御装置２１０は、ステップＳ２１２で回転移動させた基準立体座標系Ｓ２を回転立体座標系Ｒ２として設定する。そして、制御装置２１０は、回転立体座標系Ｒ２を投影用の座標系として設定する。投影面補正処理Ｂは終了し、図１５に示すステップＳ２０７へ進む。

ステップＳ２０７において、ステップＳ２０３で設定された基準立体座標系Ｓ２又はステップＳ２１３で設定された回転立体座標系Ｒ２に、撮像画像を投影する処理を実行し、表示用の映像を生成する。

ステップＳ２０８において、制御装置２１０は、生成した映像をディスプレイ７０に表示する。

最後に、ステップＳ２０９において、制御装置２１０は、乗員操作装置６０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ２０５へ戻り、表示スイッチのオフが検出されると、制御装置２１０の動作を終了する。

以上のように、本実施形態の制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心Ｃ３として設定する。これにより、回転翼機Ｒの姿勢が変化した場合であっても、姿勢の変化量が所定値よりも小さい回転翼機Ｒの部分を、投影面の回転中心とすることができ、その結果、回転立体座標系Ｒ２と地表との配置関係は、基準立体座標系Ｓ２と地表との配置関係が維持される。これにより、回転立体座標系Ｒ２に撮像画像を投影した映像を表示しても、乗員に違和感を与えることを抑制することができる。

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る表示装置の一態様としての表示装置１００を含む表示システム１、表示装置３００を含む表示システム２を例にして説明するが、本発明はこれに限定されるものではない。

また、本明細書では、本発明に係るコントローラの一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０、制御装置２１０を説明するが、これに限定されるものではない。

また、本明細書では、本発明に係る第１のカメラと、第２のカメラとを有する移動体の一態様として、前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４を搭載する自車両Ｖ及び前方カメラ８１、後方カメラ８２、左方カメラ８３、右方カメラ８４を搭載する回転翼機Ｒを例にして説明するが、本発明はこれに限定されるものではない。

１…表示システム
１００…表示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２００…移動体装置
２０…カメラ
２０１…画像処理装置
２０２…測距装置
３０…コントローラ
４０…センサ
４１…速度センサ
４２…前後加速度センサ
４３…横加速度センサ
４４…操舵角センサ
４５…姿勢センサ
５０…ナビゲーション装置
５１…位置検出装置
５１１…ＧＰＳ
５２…地図情報
５３…道路情報
５４…地形情報
６０…乗員操作装置
７０…ディスプレイ

Claims (11)

1. 表示制御機能を備えるコントローラを用いて、
   移動体に搭載されたカメラが撮像した撮像画像を取得し、
   前記移動体の姿勢の変化量を算出し、
   前記変化量が所定値よりも小さい前記移動体の部分に、前記撮像画像を投影するために予め定義された基準立体座標系の回転中心を設定し、
   前記変化量に応じて、前記基準立体座標系を前記回転中心で回転移動させた回転立体座標系を設定し、
   前記撮像画像のデータを前記回転立体座標系に投影して、仮想視点から前記移動体及び当該移動体の周囲を見た映像を生成し、
   前記映像をディスプレイに表示する表示装置の制御方法。
2. 請求項１に記載の表示装置の制御方法であって、
   前記移動体は、少なくとも対向する位置の第１のカメラ及び第２のカメラを有し、
   前記移動体の姿勢の変化量は、第１の変化量及び第２の変化量を含み、
   前記第１の変化量は、前記第１のカメラの高さ方向の変化量であり、
   前記第２の変化量は、前記第２のカメラの高さ方向の変化量であり、
   前記２つのカメラのうち、前記第１の変化量と前記第２の変化量のうち変化量が小さいカメラ側に、前記回転中心を設定する表示装置の制御方法。
3. 請求項１又は２に記載の表示装置の制御方法であって、
   基準面を移動する前記移動体が前記基準面と接する位置を、前記回転中心として設定する表示装置の制御方法。
4. 請求項３に記載の表示装置の制御方法であって、
   前記移動体は車両であって、
   前記基準面は路面であって、
   前記車両のタイヤが路面と接地する位置を、前記回転中心として設定する表示装置の制御方法。
5. 請求項４に記載の表示装置の制御方法であって、
   前記車両のタイヤのうち前輪タイヤ又は後輪タイヤのいずれか一方側のタイヤが前記路面と接地しない場合に、他方側のタイヤが前記路面と接地する位置を、前記回転中心として設定する表示装置の制御方法。
6. 請求項４に記載の表示装置の制御方法であって、
   前記車両のタイヤのうち左側輪タイヤ又は右側輪タイヤのいずれか一方側のタイヤが前記路面と接地しない場合に、他方側のタイヤが前記路面と接地する位置を、前記回転中心として設定する表示装置の制御方法。
7. 請求項１に記載の表示装置の制御方法であって、
   前記移動体はメインロータを有するヘリコプターであって、
   前記メインロータの回転軌跡の中心位置を、前記回転中心として設定する表示装置の制御方法。
8. 請求項３に記載の表示装置の制御方法であって、
   前記移動体は海底探査機であって、
   前記基準面は海底面であって、
   前記海底探査機が海底面と接地する位置を、前記回転中心として設定し、
   前記撮像画像のデータを前記回転立体座標系に投影して、仮想視点から前記海底探査機の周囲を見た映像を生成する表示装置の制御方法。
9. 請求項１に記載の表示装置の制御方法であって、
   前記移動体は、少なくとも対向する位置にある複数のカメラを有し、
   前記移動体の静止状態において前記対向するカメラのいずれもを通過する直線と、前記移動体の動作状態における前記直線との交点を算出し、前記交点を前記回転中心として設定する表示装置の制御方法。
10. 請求項１〜９のいずれか一項に記載の表示装置の制御方法であって、
    前記移動体の姿勢の変化方向を算出し、
    前記基準立体座標系を前記移動体の姿勢の変化方向と反対方向に回転移動させて、前記回転立体座標系を設定する表示装置の制御方法。
11. ディスプレイと、
    コントローラを備える表示装置であって、
    前記コントローラは、
    移動体に搭載されたカメラが撮像した撮像画像を取得し、
    前記移動体の姿勢の変化量を算出し、
    前記変化量が所定値よりも小さい前記移動体の部分に、前記撮像画像を投影するために予め定義された基準立体座標系の回転中心を設定し、
    前記変化量に応じて、前記基準立体座標系を前記回転中心で回転移動させた回転立体座標系を設定し、
    前記撮像画像のデータを前記回転立体座標系に投影して、仮想視点から前記移動体及び当該移動体の周囲を見た映像を生成し、
    前記ディスプレイに生成した前記映像を表示する表示装置。

Images