JP7296374B2 - 画像処理装置、移動装置、および方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動車等の移動装置に装着されたカメラの撮影画像に基づいて運転席の表示部（モニタ）に出力する表示画像の制御を行う画像処理装置、移動装置、および方法、並びにプログラムに関する。

昨今、自動車に装着したカメラの撮影画像を運転席のモニタに表示し、自動車の周囲、例えば自動車後方（リア方向）の状況を確認可能としたカメラモニタシステム（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）の搭載が可能となり、実際に自動車に導入され始めようとしている。

例えば、特許文献１（国際公開ＷＯ２０１８／０１２２９９号公報）には、自車両において、車両後部に設置したリアカメラの撮影した車両後方画像と、車両左右のバックミラー位置に設置したサイドカメラで撮影した左右後方画像、あるいはこれらの合成画像を表示部に表示するカメラモニタシステム（ＣＭＳ）を開示している。

国際公開ＷＯ２０１８／０１２２９９号公報

カメラモニタシステム（ＣＭＳ）は、いわゆる従来の車のバックミラーやサイドミラーと言った後写鏡で確認していた周囲の様子を、カメラ撮影画像で確認可能としたシステムである。
例えば、運転者の観察可能な表示部（モニタ）には、車両の後方を撮影するリアカメラの後方撮影画像と、車両の左右のサイドミラー位置の近傍に設置される左サイドカメラと右サイドカメラによって撮影される左後方撮影画像と右後方撮影画像、これらの３つの画像が個別に表示される。あるいはこれらの３枚の画像を適宜合成してモニタに生成した１枚の合成画像が表示される。

しかし、このような画像表示システムにおいて、リアカメラ、および左右サイドカメラの３枚の画像から連続した１枚の合成画像を生成して表示しようとした場合、３枚の画像のいずれかに撮影されていた被写体が合成画像から消えてしまい表示されないことがある。これは、リアカメラ、Ｌサイドカメラ、Ｒサイドカメラ、これら３つのカメラによって撮影される画像が、各々視点の異なる画像であり、合成画像生成時に１つの視点、例えばリアカメラの視点からの画像に変換する処理等に起因するものである。

合成画像生成時にリアカメラの視点を基準として合成画像を生成すると、左サイドカメラや右サイドカメラの撮影被写体、例えば、後方直近の大型車両の陰のバイクや遠方から高速で接近する車両等が合成画像から消えてしまう。これはリアカメラ視点からはバイク等が大型車両の陰の領域、すなわちオクルージョン領域になるためである。

本開示は、例えば、上述の問題点に鑑みてなされたものであり、異なる撮影視点を持つ複数カメラによる撮影画像を、運転者の挙動、例えば頭の動きに応じて順次、切り替えて表示することで、従来のバックミラーやサイドミラーを確認すると同様、様々な視点から観察される後方の画像をほぼ連続的（シームレスに）確認可能とした画像処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
移動装置の運転者の挙動を示す運転者情報と、
前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力し、
前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行するデータ処理部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
移動装置の周辺状況を異なる視点から撮影する複数のカメラと、
前記移動装置の運転者の挙動を示す運転者情報を検出する運転者情報検出部と、
前記運転者情報と、前記複数のカメラの撮影画像を入力し、前記運転者情報に応じて、表示部への出力画像を前記複数のカメラの撮影画像のいずれか、または仮想視点合成画像に切り替えるデータ処理部を有する移動装置にある。

さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
データ処理部が、
移動装置の運転者の挙動を示す運転者情報と、
前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力し、
前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行する画像処理方法にある。

さらに、本開示の第４の側面は、
移動装置において実行する表示画像制御方法であり、
複数のカメラが、前記移動装置の周辺状況を異なる視点から撮影する画像撮影ステップと、
運転者情報検出部が、前記移動装置の運転者の挙動を示す運転者情報を検出する運転者情報検出ステップと、
データ処理部が、
前記運転者情報と、前記複数のカメラの撮影画像を入力し、前記運転者情報に応じて、表示部への出力画像を前記複数のカメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御ステップを実行する表示画像制御方法にある。

さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
データ処理部に、
移動装置の運転者の挙動を示す運転者情報と、
前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力させ、
前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、運転者の頭の動きなどの運転者挙動に応じて表示部への出力画像を切り替えて表示する構成が実現される。
具体的には、例えば、移動装置の運転者の挙動を示す運転者情報と、移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力して、運転者情報に応じて、表示部への出力画像を切り替える。複数カメラは、例えば移動装置後部に設置された複数のリアカメラであり、例えば運転者の顔または視線方向を検出して、検出した運転者の顔または視線方向に対応する方向の画像を出力画像として選択して表示部に表示、あるいは運転者のジェスチャによって指示される方向の画像を選択して表示部に表示する。
本構成により、運転者の頭の動きなどの運転者挙動に応じて表示部への出力画像を切り替えて表示する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

自動車に搭載されるカメラモニタシステム（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）の概要について説明する図である。 ＣＭＳの利用例について説明する図である。 ＣＭＳの利用例について説明する図である。 ＣＭＳの利用例について説明する図である。 本開示の移動装置、画像処理装置の構成と処理について説明する図である。 本開示の移動装置、画像処理装置の構成と処理について説明する図である。 本開示の移動装置、画像処理装置の構成と処理について説明する図である。 表示部の画像表示例について説明する図である。 表示部の画像表示例について説明する図である。 表示部の画像表示例について説明する図である。 表示部の画像表示例について説明する図である。 移動装置、画像処理装置の構成と処理について説明する図である。 表示部の画像表示例について説明する図である。 表示部の画像表示例について説明する図である。 移動装置に対するカメラ配置例について説明する図である。 移動装置に対するカメラ配置例について説明する図である。 移動装置に対するカメラ配置と表示画像の例について説明する図である。 移動装置に対するカメラ配置と表示画像の例について説明する図である。 移動装置に対するカメラ配置と表示画像の例について説明する図である。 移動装置に対するカメラ配置と表示画像の例について説明する図である。 移動装置に対するカメラ配置と表示画像の例について説明する図である。 移動装置に対するカメラ配置例について説明する図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．車載カメラモニタシステム（ＣＭＳ）の概要について
２．本開示の画像処理装置、移動装置の構成例について
３．その他の実施例について
４．画像処理装置、および移動装置の実行する処理のシーケンスについて
５．画像理装置の構成例について
６．本開示の構成のまとめ

［１．車載カメラモニタシステム（ＣＭＳ）の概要について］
まず、図１以下を参照して自動車に搭載されるカメラモニタシステム（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒ Ｓｙｓｔｅｍ）の概要について説明する。
図１は、自動車１０に搭載されるＣＭＳの概要を説明する図である。ＣＭＳは、自動車に設置されたカメラで撮影された画像を、運転者が観察可能な表示部に表示するシステムである。
図１に示す自動車１０には、自動車１０の後方に設置されたリアカメラ１１、自動車１０の左側に設置された左サイドカメラ１２、自動車１０の右側に設置された右サイドカメラ１３が備えられ、これらの各カメラが各カメラの設置位置から観察した自動車１０の後方の画像を撮影する。

これらのカメラの撮影画像、またはこれらの撮影画像に基づいて生成された合成画像が、自動車１０内部の表示部２０に表示される。自動車１０の運転者は、表示部２０の表示画像を見て、自動車１０の後方の様子を確認することができる。

表示部２０に表示される具体的な画像例について、図２以下を参照して説明する。図２は、自動車１０の後方の様子を示す図である。図２において、自動車１０は図に示す矢印方向（前方）に向けて走行している。
この状態で、リアカメラ１１、左サイドカメラ１２、右サイドカメラ１３の３台のカメラは、各カメラ位置を視点位置とした画像を撮影する。

図３は、自動車１０の運転者が確認可能な表示部２０に表示された画像の一例を示す図である。図３に示す例は、表示部２０に、リアカメラ１１、左サイドカメラ１２、右サイドカメラ１３の３台のカメラの撮影画像を個別に表示した例である。表示部２０には、リアカメラ１１の撮影したリアカメラ画像２１が表示部２０の中央に表示され、左サイドカメラ１２の撮影した左サイドカメラ画像２２が表示部２０の左側に表示され、右サイドカメラ１３の撮影した右サイドカメラ画像２３が表示部２０の右側に表示されている。
運転者は、これら３枚の画像を見ることで、バックミラー、左右のサイドミラーを見るのと同様の周囲状況確認が可能となる。

しかし、このように３枚の画像を並べて表示した場合、運転者が主にバックミラーに相当する中央の画像にのみ注目してしまい、左右の画像に注意をしないと左右の画像に主に写りこんだ情報を見落としがちになるという問題がある。
図３に示す例において、左サイドカメラ画像２２に写っている自転車が中央のリアカメラ画像２１では大型車両の後ろに隠れてしまってほとんど見えない状態にある。このような場合、運転者が表示部２０の中央に表示されたリアカメラ画像２１のみに注目した場合、自転車に気づかないといった危険が発生する。

図３に示す例は、表示部２０に各カメラの撮影画像を個別に表示した例であるが、これら３枚の画像を一枚にまとめた合成画像を生成して表示部２０に表示する構成も提案され、利用されている。図４に合成画像の表示例を示す。

図４には表示部２０に表示される合成画像２５の一例を示している。この合成画像２５は、リアカメラ１１の視点を基準として生成した合成画像２５である。リアカメラ１１、左サイドカメラ１２、右サイドカメラ１３はそれぞれ異なる視点からの画像を撮影しているため、１枚の合成画像を生成する際には、各画像の視点位置の変換処理や、オブジェクト（被写体）のサイズ変換処理、位置調整処理等を行うことが必要となる。具体的には、例えばアフィン変換等の画像変換処理が行われる。

このような画像変換処理を行って複数の画像を接合して１枚の合成画像を生成する。図４に示す例は、左サイドカメラ１２や右サイドカメラ１３の撮影画像をリアカメラ１１の視点からの撮影画像に変換して生成した合成画像の例である。しかし、このような合成画像を生成すると、左サイドカメラや右サイドカメラには撮影されていた被写体が消えてしまう場合がある。

先に説明した図３の左サイドカメラ画像２２には、被写体としての自転車をはっきり確認することができていたが、図４に示す合成画像２５では、自転車は車両の後ろに隠れてしまい、ほとんど見えない状態となっている。これは自転車が、リアカメラ視点からはその前の大型車両の陰の領域、すなわちオクルージョン領域になるためである。

運転者はこのような合成画像２５を見ても後方から近づく自転車を確認することができず、突然、左折する等の運転を行ってしまうと、後方から近づく自転車に接触する等の事故を発生させる可能性がある。

［２．本開示の画像処理装置、移動装置の構成例について］
次に、図４以下を参照して、．本開示の画像処理装置、移動装置の構成例について説明する。本開示は、例えば、図４を参照して説明した問題点を解決するものである。具体的には、例えば、異なる撮影視点を持つ複数カメラによる撮影画像を、運転者の挙動、例えば頭や顔、視線の動き等に応じて順次、切り替えて表示する。

図５に本開示の自動車１０（移動装置）の一構成例を示す。図５に示す自動車１０は、先に図１を参照して説明したと同様、自動車１０の左側に左サイドカメラ１２、自動車１０の右側に右サイドカメラ１３が備えられている。自動車１０の後方には、３つのリアカメラ、すなわち、自動車１０の後部中央に設置されたリアＣ（中央）カメラ３１、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３が設置されている。

なお、自動車１０の後部に設置するカメラの数を本例では３台としているが、３台以外の様々な複数カメラの利用が可能である。３台以上の多数のカメラの利用例については、後段で説明する。

自動車１０後部に設置された３台のカメラの撮影領域の例を図６に示す。図６には、自動車１０後部中央に設置されたリアＣ（中央）カメラ３１、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３、これら３台のカメラの撮影領域を示している。

図６に示すように、３台のカメラは、それぞれ異なる視点から自動車後方を撮影し、その撮影領域の一部は重複する設定となっている。本開示の構成では、このような異なる撮影視点を持つ複数カメラによる撮影画像を、運転者の挙動、例えば頭の動きに応じて順次、切り替えて表示する。頭の動き検出は、従来のバックミラーやサイスドミラーを見る際の運転者の行動動作に匹敵する動きを検出し、その仕草を表示切り替えのトリガーとするためである。

図７は、先に説明した図２と同様の撮影環境を示している。自動車１０は、図に示す矢印方向（前方）に向かって走行している。
自動車１０の後方を大型車両が走行しており、その左後方を自転車が走行している。

図８は、自動車１０の運転者が確認可能な表示部２０に表示された画像の一例を示す図である。表示部２０の左側に左サイドカメラ１２の撮影した左サイドカメラ画像２２を表示し、表示部２０の右側に右サイドカメラ１３の撮影した右サイドカメラ画像２３を表示している。

表示部２０の中央部の画像表示領域は、リアカメラ画像切り替え表示領域４１として設定される。リアカメラ画像切り替え表示領域４１には、自動車１０の後部に設置した３台のカメラ、すなわち、自動車１０後部中央に設置されたリアＣ（中央）カメラ３１、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３、これら３台のカメラの撮影画像を、運転者の挙動、例えば頭の動きに応じて順次、切り替えて表示する。

図９を参照して、リアカメラ画像切り替え表示領域４１の画像表示例、すなわち、画像切り替え表示例について説明する。
図９には、運転者５０の頭の動き（顔や視線の方向）と、リアカメラ画像切り替え表示領域４１の画像表示例との対応データを示している。以下の３つの画像表示例を示している。
（Ｒ）リアＲカメラ撮影画像表示例
（Ｃ）リアＣカメラ撮影画像表示例
（Ｌ）リアＬカメラ撮影画像表示例

図９に示す（Ｒ）リアＲカメラ撮影画像表示例は、運転者５０の顔や視線方向が右方向の場合の画像表示例である。このように、自動車１０の運転者５０が右方向を見ている場合、表示部２０のリアカメラ画像切り替え表示領域４１には、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３の撮影画像が表示される。

また、図９に示す（Ｃ）リアＣカメラ撮影画像表示例は、運転者５０の顔や視線方向がほぼ正面方向の場合の画像表示例である。このように、自動車１０の運転者５０が正面方向を見ている場合、表示部２０のリアカメラ画像切り替え表示領域４１には、自動車１０の後部中央に設置されたリアＣ（中央）カメラ３１の撮影画像が表示される。

さらに、図９に示す（Ｌ）リアＬカメラ撮影画像表示例は、運転者５０の顔や視線方向が左方向の場合の画像表示例である。このように、自動車１０の運転者５０が左方向を見ている場合、表示部２０のリアカメラ画像切り替え表示領域４１には、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２の撮影画像が表示される。

なお、例えば運転者５０が、最初に右方向を見て、次に正面を見て、最後に左側を見るといった挙動を示した場合、表示部２０のリアカメラ画像切り替え表示領域４１の表示画像は、次のように順次、切り替えられる。まず、リアＲ（右）カメラ３３の撮影画像が表示され、次に、リアＣ（中央）カメラ３１の撮影画像に切り替えられ、さらに、リアＬ（左）カメラ３２の撮影画像の表示に切り替えられる。

自動車１０には運転者５０の挙動を検出する運転者情報検出部が設置されており、自動車１０の画像処理装置は、この運転者情報検出部の検出情報に基づいて表示部２０の表示画像の切り替え制御を実行する。

図９に示す３つの画像中、左側に示す（Ｌ）リアＬカメラ撮影画像表示例では、自転車の画像をはっきり確認することが可能となる。これは、リアＬ（左）カメラ３３が、自動車１０後部左側からの画像を撮影するカメラであり、自転車の前の大型車両の陰にならない自転車の画像を撮影できるためである。
運転者５０は、この画像を見て、自転車が大型車両の後ろにいることをはっきり確認することができる。

なお、図９に示す各画像は、先に図８を参照して説明した表示部２０の表示例のように、左サイドカメラ画像２２、右サイドカメラ画像２３とともに、これら２つの画像の中央領域に表示してもよいが、左サイドカメラ画像２２と、右サイドカメラ画像２３を非表示として、運転者５０の顔や視線方向に応じて図９に示す画像のみを単独で表示部２０に表示する構成としてもよい。

なお、図９では、運転者５０の顔や視線方向に応じて表示部２０の表示画像、すなわち、図８に示す表示部２０の中央領域であるリアカメラ画像切り替え表示領域４１の画像を切り替える設定として説明したが、例えば、運転者５０の顔や視線方向に応じてリアカメラ画像切り替え表示領域４１の位置を変更する構成としてもよい。すなわち、リアカメラ画像切り替え表示領域４１の位置を、運転者５０の顔や視線方向に一致する位置に変更する。

この画像位置変更表示例について、図１０を参照して説明する。図１０には、図９と同様、運転者５０の頭の動き（顔や視線の方向）と、リアカメラ画像切り替え表示領域４１の画像表示例との対応データを示している。以下の３つの画像表示例を示している。
（Ｒ）リアＲカメラ撮影画像表示例
（Ｃ）リアＣカメラ撮影画像表示例
（Ｌ）リアＬカメラ撮影画像表示例

図１０に示す表示部２０は、自動車のフロントパネル上部に設定され、左右方向に長い表示領域を有する。
図１０に示す（Ｌ）リアＬカメラ撮影画像表示例は、運転者５０の顔や視線方向が左方向の場合の画像表示例である。運転者５０が左方向を見ている場合、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２の撮影画像が、表示部の左端部に表示される。

また、図１０に示す（Ｃ）リアＣカメラ撮影画像表示例は、運転者５０の顔や視線方向がほぼ正面方向の場合の画像表示例である。運転者５０が正面方向を見ている場合、自動車１０の後部中央に設置されたリアＣ（中央）カメラ３１の撮影画像が、表示部の中央部に表示される。

さらに、図１０に示す（Ｒ）リアＲカメラ撮影画像表示例は、運転者５０の顔や視線方向が右方向の場合の画像表示例である。運転者５０が右方向を見ている場合、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３の撮影画像が、表示部の右端部に表示される。

この図１０に示す例は、リアカメラ画像切り替え表示領域４１の位置を、運転者５０の顔や視線方向に一致する位置に変更して表示した例である。このような表示位置制御を行うことで、運転者５０は、自分の視線方向に見たい画像が表示される。従って、運転者５０は、注意を向けた方向の画像をその視線方向のまま確実に確認することが可能となる。
なお、この画像表示位置の制御も、自動車１０に設置された運転者５０の挙動を検出する運転者情報検出部の検出情報に基づいて実行される。

さらに、運転者５０の顔や視線方向とは別に、例えば運転者５０の頭部の動きシーケンスや手や指による指示を実行して、この指示に従って表示画像を変更する構成としてもよい。
図１１を参照して、運転者５０の手や指による指示に従って表示画像を変更する構成としても例について説明する。

図１１に示す（Ｌ）リアＬカメラ撮影画像表示例は、運転者５０の指による指示が左方向の場合の画像表示例である。運転者５０の指が左方向を指している場合、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２の撮影画像が、表示部２０に表示される。

また、図１１に示す（Ｃ）リアＣカメラ撮影画像表示例は、運転者の指による指示がほぼ正面方向の場合の画像表示例である。運転者５０の指が正面方向を指している場合、自動車１０の後部中央に設置されたリアＣ（中央）カメラ３１の撮影画像が、表示部２０に表示される。

さらに、図１１に示す（Ｒ）リアＲカメラ撮影画像表示例は、運転者５０の指による指示が右方向の場合の画像表示例である。運転者５０の指が右方向を指している場合、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３の撮影画像が、表示部２０に表示される。

この図１１に示す例は、リアカメラ画像切り替え表示領域４１に表示される画像を、運転者５０の手や指による指示（ジェスチャ）に従って変更する例である。なお、頭部の動作シーケンスをジェスチャとして検出してもよい。このような制御を行うことで、運転者５０は、視線方向を大きく変更することなく、画像を切り替えることが可能となる。

図１２は、移動装置である自動車１０に設けられた画像切り替え表示制御のための構成例を示す図である。図１２に示すように、自動車１０には、運転者５０の顔や視線方向、あるいは手や指による指示（ジェスチャ）を検出する運転者情報検出部５２が設けられている。運転者情報検出部５２は具体的にはカメラ、あるいは動きセンサ等によって構成される。この運転者情報検出部５２の検出情報がデータ処理部６０に入力される。
データ処理部６０は、転者情報検出部５２の検出情報に基づいて表示部２０に表示される画像の切り替え処理や表示位置の変更を行う。

なお、表示部２０に表示される画像の切り替えは、ユーザ（運転者５０）による操作によって行う構成としてもよい。例えば図１３に示すように、例えば、表示部２０の近傍に設定された操作部、あるいはタッチパネル形式の表示部にユーザ操作部を表示して、ユーザがこの操作部を操作して表示画像を切り替える構成としてもよい。

図１３に示す（Ｌ）リアＬカメラ撮影画像表示例は、ユーザが操作部を左側に移動させた場合の表示部２０の表示画像の例である。この場合、自動車１０の後部左側に設置されたリアＬ（左）カメラ３２の撮影画像が表示部２０に表示される。
（Ｃ）リアＣカメラ撮影画像表示例は、ユーザが操作部を中央に移動させた場合の表示部２０の表示画像の例である。この場合、自動車１０の後部中央に設置されたリアＣ（中央）カメラ３１の撮影画像が表示部２０に表示される。
（Ｒ）リアＲカメラ撮影画像表示例は、ユーザが操作部を右側に移動させた場合の表示部２０の表示画像の例である。この場合、自動車１０の後部右側に設置されたリアＲ（右）カメラ３３の撮影画像が表示部２０に表示される。

なお、先に図９を参照して説明したと同様、図９～図１３に示す各画像は、先に図８を参照して説明した表示部２０の表示例のように、左サイドカメラ画像２２、右サイドカメラ画像２３とともに表示する設定が可能である。また、左サイドカメラ画像２２と、右サイドカメラ画像２３を非表示として、運転者５０の顔や視線方向、指示に応じて図９～図１３に示す画像のみを単独で表示部２０に表示する構成としてもよい。

図９～図１３を参照して説明した画像切り替え表示例は、自動車１０の後部に設置された３つのカメラ、すなわち、リアＬ（左）カメラ３２、リアＣ（中央）カメラ３１、リアＲ（右）カメラ３３、これら３つのカメラの撮影画像を運転者の頭部・顔の位置や視線方向、あるいは指示に基づいて切り替え表示する構成例である。
切り替え画像の対象として、さらに、これら３つのカメラの撮影画像に左サイドカメラ１２の撮影画像と、右サイドカメラ１３の撮影画像を追加する構成としてもよい。

この具体例について図１４を参照して説明する。
図１４に示す例は、運転者５０の顔や視線方向、あるいは指示、あるいは操作部に対する入力等に基づく表示部２０の表示画像切り替えシーケンスを示す図である。
例えば、運転者５０の顔や視線方向が右から左に変更されるに従って、表示部２０の表示画像は、以下の順番で、順次、切り替えられる。
（１）右サイドカメラ１３の撮影した右サイドカメラ画像
（２）リアＲカメラ３３の撮影したリアＲカメラ撮影画像
（３）リアＣカメラ３１の撮影したリアＣカメラ撮影画像
（４）リアＬカメラ３２の撮影したリアＬカメラ撮影画像
（５）左サイドカメラ１２の撮影した左サイドカメラ撮影画像
さらに、運転者５０の顔や視線方向が左から右に変更されるに従って、表示部２０の表示画像は、上記（５）～（１）の順番で、順次、切り替えられる。

［３．その他の実施例について］
図５～図１４を参照して説明した実施例は、自動車１０の後部に３つのカメラ、すなわち、リアＬ（左）カメラ３２、リアＣ（中央）カメラ３１、リアＲ（右）カメラ３３を設置して、これら３つのカメラの撮影画像を運転者の顔や視線方向、あるいは頭部等によるジェスチャ指示、あるいは操作部に対する入力に基づいて切り替え表示する構成例であった。
自動車１０の後部に設置するカメラの数は３以外の任意の複数とすることができる。

図１５に、自動車１０の後部に５つのカメラを設置した例を示す。図１５に示す例は、図５～図１４を参照して説明した実施例と同様の、リアＬ（左）カメラ３２、リアＣ（中央）カメラ３１、リアＲ（右）カメラ３３を設置し、さらに、リアＬ（左）カメラ３２と、リアＣ（中央）カメラ３１の中間視点からの画像を撮影するリアＣＬ（中央左）カメラ３４と、リアＣ（中央）カメラ３１と、リアＲ（右）カメラ３３の中間視点からの画像を撮影するリアＣＲ（中央右）カメラ３５を設けた例である。

図１６は、これら５つのカメラの撮影領域の例を示す図である。図１６には、自動車１０後部の左側から右側に設置された、リアＬ（左）カメラ３２、リアＣＬ（中央左）カメラ３４、リアＣ（中央）カメラ３１、リアＣＲ（中央右）カメラ３５、リアＲ（右）カメラ３３、これら５台のカメラの撮影領域を示している。

図１６に示すように、５台のカメラは、それぞれ異なる視点から自動車後方を撮影し、その撮影領域の一部は重複する領域となっている。これらの異なる撮影視点を持つ５台のカメラによる撮影画像を、運転者の挙動、例えば頭の動きに応じて順次、切り替えて表示することで、さらにスムーズな画像切り替え表示が可能となる。

図１７は、自動車１０の後部にさらに多くのカメラ（ｃ１～ｃｎ＝１５台）を配置して画像切り替えを行った場合の切り替え画像の例を示す図である。
このように多数のカメラの撮影手画像を順次、切り替えることで、運転者は、動画のようにスムーズに変化する画像を観察することが可能となる。

図１８に示す例は、自動車１０の後部に設置するカメラ数を図１７に示す例より少ない設定とした例である。このように、少ないカメラで画像切り替えを行っても良いが、カメラ間の視差の違いから画像がとびとびになる。このような場合、各画像の無限遠点１０１を、画像の一定位置に設定されるように、各カメラ撮影画像の較正処理を施して表示する。この処理を行うことで、各画像の切り替え時に発生する被写体のぶれを抑制することが可能となり、画像視聴者（運転者）は、不自然な変化のないスムーズに変化する画像を観察することが可能となる。

また、画像内の近傍点の横方向の像を運転者の頭部移動に合わせてスイープシフトする画像補正を行ってもよい。この処理を行うことで、運転者は、各カメラ画像間の切り替えを視覚的に直感で認識できる。

また、自動車１０の後部に設置するカメラ数が少なく、カメラ間の視差の違いから画像がとびとびになる場合は、２つの隣接カメラの撮影画像に基づいて、その中間視点の仮想視点画像を合成して表示する構成としてもよい。
すなわち、表示部への出力画像を複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行する構成とする。
図１９に仮想視点画像の生成例を示す。図１９に示す（１）カメラＣ３撮影画像と、（４）カメラＣ４撮影画像は隣接するカメラＣ３，Ｃ４の実際の撮影画像である。

これら２つの実撮影画像に基づいて、（２）（３）の仮想視点合成画像を生成する。
（２）仮想視点合成画像は、（１）カメラＣ３撮影画像を６５％、（４）カメラＣ４撮影画像を３５％の割合で合成して生成した合成画像である。
（３）仮想視点合成画像は、（１）カメラＣ３撮影画像を３５％、（４）カメラＣ４撮影画像を６５％の割合で合成して生成した合成画像である。
図１９に示す４枚の画像（１）～（４）を、順次、切り替えて表示することで、スムーズに変化する画像を運転者に提示することが可能となる。

ただし、他方で運転者にとって重要なのは、カメラ間の途中視点の画像の詳細を視認することではなく、後方の状況を判断することである。車の後方中心にあるリアＣカメラ３１で撮影したリアＣカメラ位置の取得画像と、側面に配したカメラから取り込まれた画像を一瞬目視しただけでは運転者は切り替わった状況の判断が出来ない場合がある。途中の画像を複数、切り替えながら運転者に提示する事で、運転者は感覚的に画像の切り替えを自然に認知することができ、瞬時の状況判断に必要な際の思考の混乱を避けることができる。

画像切り替えは、顔の向きや視線の方向などに基づく切り替え、さらに、手や首ふりなどのいわゆるジェスチャによる切り替え等が利用可能である。ジェスチャによる切り替えを可能とすることで無理な姿勢の維持を要しないメリットがある。ただし、顔の向きや視線の方向に依存しない画像切り替えを行う場合、運転者の観察姿勢は同じになるため、画像の切り替えや推移を示す情報、例えば切り替えマークなどの補助的情報を表示することが好ましい。

本開示の処理では、車両後方の複数の異なる視点から得らたカメラ画像を提供する事で、オクルージョンなく後方を適切に確認できる手段を提供し、且つその異なる視点のカメラ画像に連続性を持たせ、人の視覚特性を利用して切り替え途中の画像を擬似的に生成しモニタに提示することで運転者は視点の移動を感覚的に画像より把握して状況の把握低下や喪失を抑制した情報提供が可能となる。つまり人間工学的に見て、移り変わる異視点カメラ間をワープする画像を運転者が見る事で、良好な視点把握が可能となる。

図２０は、表示部２０に表示する画像にカメラ撮影視点を示すカメラ位置アイコン１０２を重畳して表示した例である。このように、画像に併せて、その画像を撮影したカメラの位置を示すカメラ位置アイコン１０２を表示することで、運転者は画像の撮影位置を即座に確認することが可能になり、画像にある被写体の位置をより早く認識できる。

図２１は、表示部２０に、自動車１０の後部の左端に設置したリア左端カメラによる撮影画像であるリア左端カメラ画像と、左サイドカメラ１２による撮影画像である左サイドカメラ画像を並べて表示した例である。このような表示を行うことで、自動車１０の左側の状況をより確実に把握することが可能となる。
なお、同様に、自動車１０の後部の右端に設置したリア右端カメラによる撮影画像と、右サイドカメラ１３による撮影画像を並べて表示することで、自動車１０の右側の状況をより確実に把握することが可能となる。

図２１に示す例では、カメラを車両バンパー近傍にカメラを模したピクトグラム表示として示した例であるが、単純な色のマーカや画面全体や左右の枠を、太く表示したり、点滅したり、流れゼブラ注意簡易表示をしたりしてもよく、運転者が画面を見て直感的にカメラ配置を理解できる表示であれば他の注意喚起表示でもよい。また複数の表示の組み合わせでもよい。また運転者の好みに応じて直感的理解を損なわない表示方法に切り替え可能な構成としてもよい。

なお、自動車１０の後部に配置する複数のカメラの設置態様としては、例えば、図２２に示すように、主に以下の２つの設置態様がある。
（ａ）放射型配置
（ｂ）直線型配置

（ａ）放射型配置は、所定の曲率を持つ曲線上にカメラを配置した例であり、より広い範囲の画像を撮影できるという特徴がある。一方、（ｂ）直線型配置は、撮影範囲は狭まるが、各画像に含まれるオブジェクトの変形量が少なく、表示画像の補正処理量が少なくなるというメリットがある。なお、収束型配置は（a）の放射型とは逆に後方の近傍点に収束した方角に配置も可能であるが、その設置態様に関しては左サイドカメラ１２や右サイドカメラ１３への方角の連続性は得られないデメリットがある。実際の設置するカメラの画像は中心射影像の投影像として各方角に光軸を配置する必要はなく、魚眼投影像から画像を変換して、仮想的中心射影像の光軸がそれぞれの設置様態に合わせた光軸になるよう画像変換を利用してもよい。

［４．画像処理装置、および移動装置の実行する処理のシーケンスについて］
次に、本開示の画像処理装置、および移動装置の実行する処理のシーケンスについて、図２３に示すフローチャートを参照して説明する。

図２３以下に示すフローの処理は、移動装置、または移動装置内に装着された画像処理装置において実行される。例えば装置内の記憶部に格納されたプログラムに従ってプログラム実行機能を有するＣＰＵ等のプロセッサを有するデータ処理部の制御の下で実行される。
以下、図２３に示すフローの各ステップの処理について説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、データ処理部は、運転者の顔、視線方向、ジェスチャ、または運転者の操作情報を検出する。
これは、例えば図１２に示すデータ処理部６０が、運転者情報検出部５２からの検出情報や、操作部に対する運転者の操作情報を入力する処理である。

（ステップＳ１０２）
次に、データ処理部はステップＳ１０２において、運転者の顔、視線方向の変化や、ジェスチャ、または運転者の操作情報の入力が検出されたか否かを判定する。
検出された場合は、ステップＳ１０３に進む。検出されない場合は、ステップＳ１０１の検出処理を継続する。

（ステップＳ１０３）
次に、データ処理部はステップＳ１０３において、ステップＳ１０２で入力した運転者の顔、視線方向、またはジェスチャ、または操作情報に応じた方向のカメラ撮影画像を選択する。
なお、例えば運転者視線方向と完全一致する画像がない場合は、最も近い方向の画像を選択する。

例えば運転者の顔、または視線、ジェスチャ、あるいは操作部に対する入力が左方向である場合は、自動車１０の後部の左側のカメラ（リアＬカメラ）によって撮影された画像を選択する。

また、例えば運転者の顔、または視線、ジェスチャ、あるいは操作部に対する入力が中央方向である場合は、自動車１０の後部の中央のカメラ（リアＣカメラ）によって撮影された画像を選択する。あるいは、例えば運転者の顔、または視線、ジェスチャ、あるいは操作部に対する入力が右方向である場合は、自動車１０の後部の右側のカメラ（リアＲカメラ）によって撮影された画像を選択する。

（ステップＳ１０４）
次に、データ処理部はステップＳ１０４において、ステップＳ１０３で選択した画像を表示部に表示する。
なお、表示部に対する表示画像は、選択されたリアカメラ撮影画像のみを表示する設定と、左右のサイドカメラによる２枚のサイドカメラ画像を併せて表示する設定等、様々な設定が可能である。

この図２３に示すフローは、ステップＳ１０２で入力した運転者の顔、視線方向、またはジェスチャ、または操作情報に応じた方向のカメラ撮影画像を選択する際、例えば運転者視線方向と完全一致する画像がない場合は、最も近い方向の画像を選択する処理を行う。
次に、このような場合、すなわち運転者視線方向と完全一致する画像がないような場合に、その方向の画像を合成する処理を行うシーケンスについて図２４に示すフローチャートを参照して説明する。
以下、図２４に示すフローの各ステップの処理について説明する。

（ステップＳ２０１）
まず、ステップＳ２０１において、データ処理部は、運転者の顔、視線方向、ジェスチャ、または運転者の操作情報を検出する。
これは、例えば図１２に示すデータ処理部６０が、運転者情報検出部５２からの検出情報や、操作部に対する運転者の操作情報を入力する処理である。

（ステップＳ２０２）
次に、データ処理部はステップＳ２０２において、運転者の顔、視線方向の変化や、ジェスチャ、または運転者の操作情報の入力が検出されたか否かを判定する。
検出された場合は、ステップＳ２０３に進む。検出されない場合は、ステップＳ２０１の検出処理を継続する。

（ステップＳ２０３）
次に、データ処理部はステップＳ２０３において、ステップＳ２０２で入力した運転者の顔、視線方向の変化や、ジェスチャ、または運転者の操作情報に応じた方向のカメラ撮影画像の有無を判定する。
一致する方向の撮影画像がある場合は、ステップＳ２０４に進む。
一方、一致する方向の撮影画像がない場合は、ステップＳ２０６に進む。

（ステップＳ２０４）
ステップＳ２０３において、ステップＳ２０２で入力した運転者の顔、視線方向の変化や、ジェスチャ、または運転者の操作情報に応じた方向のカメラ撮影画像が有ると判定した場合は、ステップＳ２０４～Ｓ２０５の処理を実行する。これは、主に切り替え時のカメラ配置が隣接している場合で画像の描写画像が飛躍していないケースに適した表示である。切り替え画像の撮影方向が離れている場合は、後述するステップＳ２０６に沿った切り替えを行う。

ステップＳ２０４では、ステップＳ２０２で入力した運転者の顔、視線方向、またはジェスチャ、または操作情報に応じた方向のカメラ撮影画像を選択する。
例えば、運転者の顔、または視線、ジェスチャ、あるいは操作部に対する入力が左方向である場合は、自動車１０の後部の左側のカメラ（リアＬカメラ）によって撮影された画像を選択する。

また、例えば運転者の顔、または視線、ジェスチャ、あるいは操作部に対する入力が中央方向である場合は、自動車１０の後部の中央のカメラ（リアＣカメラ）によって撮影された画像を選択する。あるいは、例えば運転者の顔、または視線、ジェスチャ、あるいは操作部に対する入力が右方向である場合は、自動車１０の後部の右側のカメラ（リアＲカメラ）によって撮影された画像を選択する。

（ステップＳ２０５）
次に、データ処理部はステップＳ２０５において、ステップＳ２０４で選択した画像を表示部に表示する。
なお、表示部に対する表示画像は、選択されたリアカメラ撮影画像のみを表示する設定と、左右のサイドカメラによる２枚のサイドカメラ画像を併せて表示する設定等、様々な設定が可能である。

（ステップＳ２０６）
一方、ステップＳ２０３において、ステップＳ２０２で入力した運転者の顔、視線方向の変化や、ジェスチャ、または運転者の操作情報に応じた方向のカメラ撮影画像が無いと判定した場合は、ステップＳ２０６～Ｓ２０７の処理を実行する。

まず、ステップＳ２０６において、ステップＳ２０２で入力した運転者の顔、視線方向の変化や、ジェスチャ、または運転者の操作情報に応じた方向のカメラ撮影画像を合成画像として生成する処理を実行する。
この合成画像生成処理は、例えば先に、図１９を参照して説明した画像合成処理である。

画像合成処理は、例えば隣接するカメラによる実撮影画像の単純な重み付け加算によって行うことが可能である。また、領域別の動体検出を行い検出情報に基づく補正をして中間仮想画像を生成しても良い。なお、実撮影画像間の中間視点の合成画像を運転者に提示することで、運転者の情報喪失が防止される。具体的には、例えば、リアＣ（中央）カメラ３１からサイドカメラへ撮影画像を切り替えると、一瞬にして画像が大きく変化する。このような場合に起こり得る運転者の情報喪失を防止するために有効となる。

なお、ステップＳ２０６に示す運転者の顔、視線方向またはジェスチャ、または、画像選択指示入力等は、緩やかな動きである場合、急峻な動きである場合等、様々なであり、ステップ２０６からステップ２０７では、検出された動きに応じて、１つ、または２つ以上の複数の中間画像、すなわち合成画像の生成ステップとして実行される。

（ステップＳ２０７）
次に、データ処理部はステップＳ２０７において、ステップＳ２０６で生成した合成画像を表示部に表示する。その他に、ステップＳ２０７の合成画像を表示部に出力する際に、図２１の表示部２０に、描写カメラ位置を画面に重畳表示することで、運転者は表示画像のカメラ位置を把握することが可能となる。なお、表示部に対する表示画像は、選択されたリアカメラ撮影画像のみを表示する設定と、左右のサイドカメラによる２枚のサイドカメラ画像を併せて表示する設定等、様々な設定が可能である。

また、本シーケンスの説明では、運転者の意志に基づく顔や視線、頭部移動、あるいはジェスチャ、操作などを行って画像を切り替えるものとして説明したが、例えば、運転者がサイドカメラ画像の確認を行うトリガーとして、リアＣ（中央）カメラ３１を見た際に、前述した図７、図８、図９を参照して説明したように、後方車両の陰に隠れた物体、すなわちオクルージョン領域の物体検出を行い、オクルージョン発生させている後方のオブジェクト境界にゼブラパターンや点滅重畳警告表示など、運転者の視覚的詳細確認を促すような警告表示を行う構成としてもよい。

つまり、後方に大型車両等が接近すると、中央カメラの撮影画像のみではオクルージョンにより大型車両に隠れた接近車両等を見落しがちとなる。このような場合にオクルージョン領域にオブジェクトがあることを示す警告表示を行う。この警告により、運転者に視点の異なるカメラの撮影画像による確認を促す。この処理により、オクルージョンがある場合でも運転者はカメラ視点を変え、確実に後方の状況を確認することが可能となり、安全性の向上が実現される。
なお、画像切り替えは一足飛びの異なるカメラ撮影画像を提供する構成としてもよいが、異なるカメラ撮影画像の間に、カメラ間の仮想視点の画像を出力して、画像推移や連続性を持たせた表示を行うことが好ましい。この処理により、運転者の状況把握の喪失を防ぎ、安全な後方確認が実現される。

［５．画像理装置の構成例について］
次に、上述した処理を実行する画像処理装置のハードウェア構成例について説明する。

図２５は、画像処理装置のハードウェア構成例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。

ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 移動装置の運転者の挙動を示す運転者情報と、
前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力し、
前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行するデータ処理部を有する画像処理装置。

（２） 前記複数カメラは、前記移動装置の後部に設置された複数のリアカメラであり、
前記データ処理部は、
前記運転者情報に応じて、前記複数のリアカメラの撮影画像のいずれか、または仮想視点合成画像を切り替えて表示する（１）に記載の画像処理装置。

（３） 前記複数カメラは、前記移動装置の後部に設置された複数のリアカメラと、前記移動装置の側面に設置されたサイドカメラであり、
前記データ処理部は、
前記運転者情報に応じて、前記複数のリアカメラ、およびサイドカメラの撮影画像のいずれか、または仮想視点合成画像を切り替えて表示する（１）に記載の画像処理装置。

（４） 前記データ処理部は、
前記移動装置の後部に設置された複数のリアカメラの撮影画像から、前記運転者情報に応じて選択した１枚のリアカメラ撮影画像と、
前記移動装置の側面に設置されたサイドカメラの撮影画像を並べて前記表示部に表示する（１）～（３）いずれかに記載の画像処理装置。

（５） 前記運転者情報は、前記運転者の顔または視線方向の検出情報であり、
前記データ処理部は、
前記運転者の顔または視線方向に対応する方向の画像を前記表示部に表示する（１）～（４）いずれかに記載の画像処理装置。

（６） 前記運転者情報は、前記運転者のジェスチャ検出情報であり、
前記データ処理部は、
前記運転者のジェスチャに対応する方向の画像を前記表示部に表示する（１）～（４）いずれかに記載の画像処理装置。

（７） 前記データ処理部は、
前記運転者の操作部に対する入力に応じた方向の画像を前記表示部に表示する（１）～（４）いずれかに記載の画像処理装置。

（８） 前記仮想視点合成画像は、
前記複数カメラの撮影画像に基づく合成画像であり、前記複数カメラの撮影視点の間の仮想視点からの撮影画像に相当する合成画像である（１）～（７）いずれかに記載の画像処理装置。

（９）前記運転者情報は、前記運転者の顔または視線方向の検出情報であり、
前記データ処理部は、
前記運転者の顔または視線方向に対応する方向の画像を、複数のカメラの撮影画像を合成して生成し、前記表示部に表示する（１）～（８）いずれかに記載の画像処理装置。

（１０） 前記データ処理部は、
前記表示部に対する画像の切り替え表示に際して、各画像の無限遠点の位置を一致させる画像較正処理を実行する（１）～（９）いずれかに記載の画像処理装置。

（１１） 移動装置の周辺状況を異なる視点から撮影する複数のカメラと、
前記移動装置の運転者の挙動を示す運転者情報を検出する運転者情報検出部と、
前記運転者情報と、前記複数のカメラの撮影画像を入力し、前記運転者情報に応じて、表示部への出力画像を前記複数のカメラの撮影画像のいずれか、または仮想視点合成画像に切り替えるデータ処理部を有する移動装置。

（１２） 前記複数のカメラは、前記移動装置の後部に設置された複数のリアカメラであり、
前記データ処理部は、
前記運転者情報に応じて、前記複数のリアカメラの撮影画像のいずれか、または仮想視点合成画像を切り替えて表示する（１１）に記載の移動装置。

（１３） 前記運転者情報検出部は、
前記運転者の顔、または視線方向を検出し、
前記データ処理部は、
前記運転者の顔、または視線方向に対応する方向の画像を前記表示部に表示する（１１）または（１２）に記載の移動装置。

（１４） 画像処理装置において実行する画像処理方法であり、
データ処理部が、
移動装置の運転者の挙動を示す運転者情報と、
前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力し、
前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行する画像処理方法。

（１５） 移動装置において実行する表示画像制御方法であり、
複数のカメラが、前記移動装置の周辺状況を異なる視点から撮影する画像撮影ステップと、
運転者情報検出部が、前記移動装置の運転者の挙動を示す運転者情報を検出する運転者情報検出ステップと、
データ処理部が、
前記運転者情報と、前記複数のカメラの撮影画像を入力し、前記運転者情報に応じて、表示部への出力画像を前記複数のカメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御ステップを実行する表示画像制御方法。

（１６） 画像処理装置において画像処理を実行させるプログラムであり、
データ処理部に、
移動装置の運転者の挙動を示す運転者情報と、
前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力させ、
前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、運転者の頭の動きなどの運転者挙動に応じて表示部への出力画像を切り替えて表示する構成が実現される。
具体的には、例えば、移動装置の運転者の挙動を示す運転者情報と、移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力して、運転者情報に応じて、表示部への出力画像を切り替える。複数カメラは、例えば移動装置後部に設置された複数のリアカメラであり、例えば運転者の顔または視線方向を検出して、検出した運転者の顔または視線方向に対応する方向の画像を出力画像として選択して表示部に表示、あるいは運転者のジェスチャによって指示される方向の画像を選択して表示部に表示する。また、異なるカメラ撮影画像の切り替え時に、適宜中間視点の合成画像を生成して表示して、運転者による状況把握の喪失を防止する。
本構成により、運転者の頭の動きなどの運転者挙動に応じて表示部への出力画像を切り替えて表示する構成が実現される。

１０ 自動車
１１ リアカメラ
１２ 左サイドカメラ
１３ 右サイドカメラ
２０ 表示部
２１ リアカメラ画像
２２ 左サイドカメラ画像
２３ 右サイドカメラ画像
２５ 合成画像
３１ リアＣ（中央）カメラ
３２ リアＬ（左）カメラ
３３ リアＲ（右）カメラ
３４ リアＣＬ（中央左）カメラ
３５ リアＣＲ（中央右）カメラ
４１ リアカメラ画像切り替え表示領域
５０ 運転者
５２ 運転者情報検出部
６０ データ処理部
１０１ 無限遠点
１０２ カメラ位置アイコン
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア

Claims (14)

1. 移動装置の運転者の挙動を示す運転者情報と、
   前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力して、
   前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行するデータ処理部を有し、
   前記運転者情報は、前記運転者の顔方向または視線方向の少なくともいずれかの方向情報を含み、
   前記データ処理部は、
   前記表示部への出力画像を、前記運転者の顔方向または視線方向に対応する方向の画像に、順次、切り替えて表示する画像処理装置。
2. 前記複数カメラは、前記移動装置の後部に設置された複数のリアカメラであり、
   前記データ処理部は、
   前記運転者情報に応じて、前記複数のリアカメラの撮影画像のいずれか、または仮想視点合成画像を切り替えて表示する請求項１に記載の画像処理装置。
3. 前記複数カメラは、前記移動装置の後部に設置された複数のリアカメラと、前記移動装置の側面に設置されたサイドカメラであり、
   前記データ処理部は、
   前記運転者情報に応じて、前記複数のリアカメラ、およびサイドカメラの撮影画像のいずれか、または仮想視点合成画像を切り替えて表示する請求項１に記載の画像処理装置。
4. 前記データ処理部は、
   前記移動装置の後部に設置された複数のリアカメラの撮影画像から、前記運転者情報に応じて選択した１枚のリアカメラ撮影画像と、
   前記移動装置の側面に設置されたサイドカメラの撮影画像を並べて前記表示部に表示する請求項１に記載の画像処理装置。
5. 前記運転者情報は、前記運転者のジェスチャ検出情報を含み、
   前記データ処理部は、
   前記運転者のジェスチャに対応する方向の画像を前記表示部に表示する請求項１に記載の画像処理装置。
6. 前記データ処理部は、
   前記運転者の操作部に対する入力に応じた方向の画像を前記表示部に表示する請求項１に記載の画像処理装置。
7. 前記仮想視点合成画像は、
   前記複数カメラの撮影画像に基づく合成画像であり、前記複数カメラの撮影視点の間の仮想視点からの撮影画像に相当する合成画像である請求項１に記載の画像処理装置。
8. 前記データ処理部は、
   前記運転者の顔または視線方向に対応する方向の画像を、複数のカメラの撮影画像を合成して生成し、前記表示部に表示する請求項１に記載の画像処理装置。
9. 前記データ処理部は、
   前記表示部に対する画像の切り替え表示に際して、各画像の無限遠点の位置を一致させる画像較正処理を実行する請求項１に記載の画像処理装置。
10. 移動装置の周辺状況を異なる視点から撮影する複数のカメラと、
    前記移動装置の運転者の挙動を示す運転者情報を検出する運転者情報検出部と、
    前記運転者情報と、前記複数のカメラの撮影画像を入力し、前記運転者情報に応じて、表示部への出力画像を前記複数のカメラの撮影画像のいずれか、または仮想視点合成画像に切り替えるデータ処理部を有し、
    前記運転者情報検出部が検出する前記運転者情報は、前記運転者の顔方向または視線方向の少なくともいずれかの方向情報を含み、
    前記データ処理部は、
    前記表示部への出力画像を、前記運転者の顔方向または視線方向に対応する方向の画像に、順次、切り替えて表示する移動装置。
11. 前記複数のカメラは、前記移動装置の後部に設置された複数のリアカメラであり、
    前記データ処理部は、
    前記運転者情報に応じて、前記複数のリアカメラの撮影画像のいずれか、または仮想視点合成画像を切り替えて表示する請求項１０に記載の移動装置。
12. 画像処理装置において実行する画像処理方法であり、
    データ処理部が、
    移動装置の運転者の挙動を示す運転者情報と、
    前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力し、
    前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行し、
    前記運転者情報は、前記運転者の顔方向または視線方向の少なくともいずれかの方向情報を含み、
    前記データ処理部は、
    前記表示部への出力画像を、前記運転者の顔方向または視線方向に対応する方向の画像に、順次、切り替えて表示する画像処理方法。
13. 移動装置において実行する表示画像制御方法であり、
    複数のカメラが、前記移動装置の周辺状況を異なる視点から撮影する画像撮影ステップと、
    運転者情報検出部が、前記移動装置の運転者の挙動を示す運転者情報を検出する運転者情報検出ステップと、
    データ処理部が、
    前記運転者情報と、前記複数のカメラの撮影画像を入力し、前記運転者情報に応じて、表示部への出力画像を前記複数のカメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御ステップを実行し、
    前記運転者情報は、前記運転者の顔方向または視線方向の少なくともいずれかの方向情報を含み、
    前記データ処理部は、
    前記表示部への出力画像を、前記運転者の顔方向または視線方向に対応する方向の画像に、順次、切り替えて表示する表示画像制御方法。
14. 画像処理装置において画像処理を実行させるプログラムであり、
    データ処理部に、
    移動装置の運転者の挙動を示す運転者情報と、
    前記移動装置の周辺状況を異なる視点から撮影する複数カメラの撮影画像を入力させ、
    前記運転者情報に応じて、表示部への出力画像を前記複数カメラの撮影画像のいずれか、または仮想視点合成画像に切り替える画像表示制御を実行させるプログラムであり、
    前記運転者情報は、前記運転者の顔方向または視線方向の少なくともいずれかの方向情報を含み、
    前記プログラムは、前記データ処理部に、
    前記表示部への出力画像を、前記運転者の顔方向または視線方向に対応する方向の画像に、順次、切り替えて表示させるプログラム。

Images