JP6258000B2 - 画像表示システム、画像表示方法及びプログラム - Google Patents

画像表示システム、画像表示方法及びプログラム Download PDF

Info

Publication number
JP6258000B2
JP6258000B2 JP2013226161A JP2013226161A JP6258000B2 JP 6258000 B2 JP6258000 B2 JP 6258000B2 JP 2013226161 A JP2013226161 A JP 2013226161A JP 2013226161 A JP2013226161 A JP 2013226161A JP 6258000 B2 JP6258000 B2 JP 6258000B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
vehicle
image
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013226161A
Other languages
English (en)
Other versions
JP2015088942A (ja
Inventor
美紀 村角
美紀 村角
正博 山田
正博 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2013226161A priority Critical patent/JP6258000B2/ja
Priority to US14/910,030 priority patent/US9961259B2/en
Priority to PCT/JP2014/072162 priority patent/WO2015041005A1/ja
Priority to DE112014004305.2T priority patent/DE112014004305B4/de
Priority to CN201480051322.7A priority patent/CN105556956B/zh
Publication of JP2015088942A publication Critical patent/JP2015088942A/ja
Application granted granted Critical
Publication of JP6258000B2 publication Critical patent/JP6258000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。
従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ(代表的にはドライバ)は、車両の周辺の様子をほぼリアルタイムに確認することができる。
また、近年では、複数のカメラで得られた複数の撮影画像を用いて仮想視点からみた車両の周辺を示す仮想視点画像を生成し、その仮想視点画像を表示する画像表示システムも知られている。このような仮想視点画像として、例えば、車両のドライバの視点からみた車両の周辺を示す仮想視点画像が提案されている。ユーザは、このようなドライバの視点からみた仮想視点画像を確認することにより、車両の周辺の様子を自分と同様の視点から確認でき、車両の周辺の様子を直感的に把握できる。
また、仮想視点の視線の向きを徐々に変更しながら仮想視点画像を連続的に生成し、アニメーションによって、ドライバの視点からみた車両の周辺の様子を車両の周囲を周回するように示す画像表示システムも提案されている(例えば、特許文献1参照。)。
特開2011−66763号公報
上記のような車両の周辺の様子を車両の周囲を周回するように示す画像表示システムは、仮想視点の視線の向きを徐々に変更しながら、車両の周辺の対象範囲の全体に向ける必要がある。したがって、ユーザが、この画像表示システムを利用して車両の周辺の比較的広い範囲を確認するためには、比較的長い時間(仮想視点の視線の向きを変更する時間)が必要となる。その結果、ユーザによっては車両の周辺の確認を煩わしいと感じる場合があり、改善する技術が望まれていた。
本発明は、上記課題に鑑みてなされたものであり、ユーザが、車両の周辺の様子を比較的短い時間で確認できる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、車両において用いられる画像表示システムであって、複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第1仮想視点からみた前記車両の周辺を示す第1画像を生成する第1生成手段と、前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第2仮想視点からみた前記車両の周辺を示す第2画像を生成する第2生成手段と、前記第1画像及び前記第2画像を同時に表示する表示手段と、前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ互いに逆回りに変更する変更手段と、を備えている。
また、請求項2の発明は、請求項1に記載の画像表示システムにおいて、前記変更手段は、前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ、前記車両の第1方向から該第1方向の反対の第2方向まで変更する。
また、請求項3の発明は、請求項1または2に記載の画像表示システムにおいて、前記変更手段は、前記第1仮想視点の視線の向きを前記車両の左方を経由して変更し、前記第2仮想視点の視線の向きを前記車両の右方を経由して変更し、前記表示手段は、相対的に左側の第1領域に前記第1画像を表示し、相対的に右側の第2領域に前記第2画像を表示する。
また、請求項4の発明は、請求項1または2に記載の画像表示システムにおいて、前記変更手段は、前記第1仮想視点の視線の向きを前記車両の前方を経由して変更し、前記第2仮想視点の視線の向きを前記車両の後方を経由して変更し、前記表示手段は、相対的に上側の第1領域に前記第1画像を表示し、相対的に下側の第2領域に前記第2画像を表示する。
また、請求項5の発明は、請求項3または4に記載の画像表示システムにおいて、前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとは、前記車両の中心線に関して互いに対称となる。
また、請求項6の発明は、請求項1ないし5のいずれかに記載の画像表示システムにおいて、前記第1仮想視点の視線の向きに応じて前記第1仮想視点の位置を移動するとともに、前記第2仮想視点の視線の向きに応じて前記第2仮想視点の位置を移動する移動手段、をさらに備えている。
また、請求項7の発明は、請求項1ないし6のいずれかに記載の画像表示システムにおいて、前記車両の周辺に存在する物体を検出する検出手段の検出結果を受信する受信手段、をさらに備え、前記変更手段は、前記第1仮想視点及び前記第2仮想視点のうちの一の仮想視点の視線の向きが前記物体に向く場合は、前記一の仮想視点の視線の向きが前記物体に向いていない場合と比較して、前記一の仮想視点を変更する速度を遅くする。
また、請求項8の発明は、請求項1ないし6のいずれかに記載の画像表示システムにおいて、前記車両の周辺に存在する物体を検出する検出手段の検出結果を受信する受信手段と、前記検出結果に基づき前記物体が存在する場合は前記表示手段が前記第1画像及び前記第2画像を表示する表示機能を有効化し、前記検出結果に基づき前記物体が存在しない場合は前記表示機能を無効化する制御手段と、をさらに備えている。
また、請求項9の発明は、車両において用いられる画像表示方法であって、(a)複数のカメラで得られた複数の撮影画像を取得する工程と、(b)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第1仮想視点からみた前記車両の周辺を示す第1画像を生成する工程と、(c)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第2仮想視点からみた前記車両の周辺を示す第2画像を生成する工程と、(d)前記第1画像及び前記第2画像を同時に表示する工程と、(e)前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ互いに逆回りに変更する工程と、を備えている。
また、請求項10の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、(a)複数のカメラで得られた複数の撮影画像を取得する工程と、(b)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第1仮想視点からみた前記車両の周辺を示す第1画像を生成する工程と、(c)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第2仮想視点からみた前記車両の周辺を示す第2画像を生成する工程と、(d)前記第1画像及び前記第2画像を同時に表示する工程と、(e)前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ互いに逆回りに変更する工程と、を実行させる。
請求項1ないし10の発明によれば、第1画像と第2画像とを同時に表示し、第1仮想視点の視線の向きと第2仮想視点の視線の向きとを互いに逆回りにそれぞれ変更する。このため、ユーザは、第1画像及び第2画像を確認することで、車両の周辺の様子を比較的短い時間で確認することができる。
また、特に請求項2の発明によれば、ユーザは、車両の周囲の全体の様子を比較的短い時間で確認することができる。
また、特に請求項3の発明によれば、車両の主に左方を示す第1画像が相対的に左側の第1領域に表示され、車両の主に右方を示す第2画像が相対的に右側の第2領域に表示される。このため、ユーザは、第1画像及第2画像のそれぞれが示す被写体が、車両の左方と右方とのいずれに存在するかを直感的に把握できる。
また、特に請求項4の発明によれば、車両の主に前方を示す第1画像が相対的に上側の第1領域に表示され、車両の主に後方を示す第2画像が相対的に下側の第2領域に表示される。このため、ユーザは、第1画像及び第2画像が示す被写体が、車両の前方と後方とのいずれに存在するかを直感的に把握できる。
また、特に請求項5の発明によれば、第1仮想視点の視線の向きと第2仮想視点の視線の向きとは車両の中心線に関して互いに対称となる。このため、ユーザは、第1画像及び第2画像のそれぞれが示す被写体の位置を容易に把握できる。
また、特に請求項6の発明によれば、第1仮想視点の視線の向きに応じて第1仮想視点の位置を移動するとともに、第2仮想視点の視線の向きに応じて第2仮想視点の位置を移動するため、第1画像及び第2画像に含まれる被写体の像の視認性を向上できる。
また、特に請求項7の発明によれば、仮想視点の視線の向きが物体に向く場合は、この仮想視点を変更する速度を遅くする。このため、ユーザは、第1画像あるいは第2画像が示す物体を詳細に確認することができる。
また、特に請求項8の発明によれば、検出手段が物体を検出した場合のみ、表示手段が第1画像及び第2画像を表示する表示機能が有効化される。このため、ユーザは、車両の周辺に物体が存在することを意識して、車両の周辺の様子を確認することができる。
図1は、第1の実施の形態の画像表示システムの構成を示す図である。 図2は、4つのカメラがそれぞれ撮影する方向を示す図である。 図3は、仮想視点画像を生成する手法を説明する図である。 図4は、車室内からみた車両の周辺を示す仮想視点画像を示す図である。 図5は、画像表示システムの動作モードの遷移を示す図である。 図6は、第1の実施の形態の表示画像を生成する手法を説明する図である。 図7は、第1の実施の形態の2つの仮想視点の遷移を示す図である。 図8は、第1画像及び第2画像の例を示す図である。 図9は、第1画像及び第2画像の例を示す図である。 図10は、第1画像及び第2画像の例を示す図である。 図11は、比較例における仮想視点の遷移を示す図である。 図12は、比較例で生成される仮想視点画像の例を示す図である。 図13は、第1の実施の形態の画像表示システムの動作の流れを示す図である。 図14は、第2の実施の形態の2つの仮想視点の遷移を示す図である。 図15は、第1画像及び第2画像の例を示す図である。 図16は、第1画像及び第2画像の例を示す図である。 図17は、第3の実施の形態の2つの仮想視点の遷移を示す図である。 図18は、第1画像及び第2画像の例を示す図である。 図19は、第4の実施の形態の2つの仮想視点の遷移を示す図である。 図20は、第5の実施の形態の表示画像を生成する手法を説明する図である。 図21は、第5の実施の形態の2つの仮想視点の遷移を示す図である。 図22は、第1画像及び第2画像の例を示す図である。 図23は、第1画像及び第2画像の例を示す図である。 図24は、第1画像及び第2画像の例を示す図である。 図25は、第6の実施の形態の2つの仮想視点の遷移を示す図である。 図26は、第7の実施の形態の2つの仮想視点の遷移を示す図である。 図27は、第8の実施の形態の2つの仮想視点の遷移を示す図である。 図28は、第9の実施の形態の画像表示システムの構成を示す図である。 図29は、物体検出装置の構成を主に示す図である。 図30は、複数のクリアランスソナーの配置位置を示す図である。 図31は、第9の実施の形態の2つの仮想視点の遷移の一例を示す図である。 図32は、第10の実施の形態の画像表示システムの動作の流れを示す図である。 図33は、設定画面の一例を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.構成>
図1は、第1の実施の形態の画像表示システム10の構成を示す図である。この画像表示システム10は、車両(本実施の形態では、自動車)において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する表示機能を有している。画像表示システム10のユーザ(代表的にはドライバ)は、この画像表示システム10を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
図に示すように、画像表示システム10は、複数のカメラ5、画像生成装置2、表示装置3、及び、操作ボタン4を備えている。複数のカメラ5はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置2に入力する。画像生成装置2は、車両の周辺を示す撮影画像を用いて、表示装置3に表示するための表示画像を生成する。表示装置3は、画像生成装置2で生成された表示画像を表示する。また、操作ボタン4は、ユーザの操作を受け付ける。
複数のカメラ5はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ5は、フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rを含んでいる。これら4つのカメラ5は、車両9において互いに異なる位置に配置され、車両9の周辺の異なる方向を撮影する。
図2は、4つのカメラ5がそれぞれ撮影する方向を示す図である。フロントカメラ5Fは、車両9の前端に設けられ、その光軸5Faは車両9の前後方向に沿って前方に向けられる。リアカメラ5Bは、車両9の後端に設けられ、その光軸5Baは車両9の前後方向に沿って後方に向けられる。左サイドカメラ5Lは、左側の左サイドミラー93Lに設けられ、その光軸5Laは車両9の左右方向に沿って左方に向けられる。また、右サイドカメラ5Rは、右側の右サイドミラー93Rに設けられ、その光軸5Raは車両9の左右方向に沿って右方に向けられる。
これらのカメラ5のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ5は180度以上の画角θを有している。このため、4つのカメラ5を利用することで、車両9の全周囲を撮影することが可能である。
図1に戻り、表示装置3は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置3は、ユーザが表示パネルの画面を視認できるように、車両9のインストルメントパネルなどに配置される。表示装置3は、画像生成装置2と同一のハウジング内に配置されて画像生成装置2と一体化されていてもよく、画像生成装置2とは別体の装置であってもよい。また、表示装置3は、表示パネルに重ねてタッチパネル31を備えており、ユーザの操作を受け付けることが可能である。表示装置3は、表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。
操作ボタン4は、ユーザの操作を受け付ける操作部材である。操作ボタン4は、例えば、車両9のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン4、及び、表示装置3のタッチパネル31を介して画像表示システム10に対する各種の操作を行うことができる。操作ボタン4及びタッチパネル31のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置2に入力される。
画像生成装置2は、各種の画像処理が可能な電子装置である。画像生成装置2は、画像取得部21と、画像生成回路22と、画像調整部23と、画像出力部24とを備えている。
画像取得部21は、4つのカメラ5で得られた4つの撮影画像を取得する。画像取得部21は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部21は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成回路22に入力する。
画像生成回路22は、撮影画像を用いて仮想視点画像を生成するハードウェア回路である。画像生成回路22は、同一の機能を有する第1生成部22aと第2生成部22bとを備えている。第1生成部22a及び第2生成部22bはそれぞれ、4つのカメラ5で取得された4つの撮影画像を合成し、仮想視点からみた車両9の周辺を示す仮想視点画像を生成する。第1生成部22a及び第2生成部22bはそれぞれ、各カメラ5において直近に得られた撮影画像を用いて仮想視点画像を連続的に(時間的に連続して)生成する。これにより、第1生成部22a及び第2生成部22bはそれぞれ、車両9の周辺をほぼリアルタイムに示す仮想視点画像を生成する。第1生成部22a及び第2生成部22bが、仮想視点画像を生成する手法の詳細については後述する。
画像調整部23は、表示装置3で表示するための表示画像を生成する。画像調整部23は、第1生成部22aで生成された仮想視点画像と、第2生成部22bで生成された仮想視点画像とを並べて含む表示画像を生成できる。
画像出力部24は、画像調整部23で生成された表示画像を表示装置3に出力して、表示画像を表示装置3に表示させる。これにより、仮想視点からみた車両9の周辺をほぼリアルタイムに示す仮想視点画像が表示装置3に表示される。
また、画像生成装置2は、制御部20と、操作受付部25と、信号受信部26と、記憶部27とをさらに備えている。制御部20は、例えば、CPU、RAM及びROMなどを備えたマイクロコンピュータであり、画像生成装置2の全体を統括的に制御する。
操作受付部25は、ユーザが操作を行った場合に操作ボタン4及びタッチパネル31から送出される操作信号を受信する。これにより、操作受付部25はユーザの操作を受け付ける。操作受付部25は、受信した操作信号を制御部20に入力する。
信号受信部26は、画像生成装置2とは別に車両9に設けられる他の装置から送出される信号を受信して、制御部20に入力する。信号受信部26は、車両9のシフトセンサ95から送出されるシフトポジションを示す信号を受信することが可能となっている。
記憶部27は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部27は、ファームウェアとしてのプログラム27a、及び、画像生成回路22が仮想視点画像の生成に用いる各種のデータを記憶する。このような仮想視点画像の生成に用いるデータは、車両9の車体の形状やサイズを示す車体データ27bを含む。
制御部20の各種の機能は、記憶部27に記憶されたプログラム27aの実行(プログラム27aに従ったCPUの演算処理)によって実現される。図中に示す表示制御部20a及び視点制御部20bは、プログラム27aの実行により実現される機能部の一部である。
表示制御部20aは、画像表示システム10の表示に係る動作を制御する。例えば、表示制御部20aは、車両9の状態やユーザの操作に応じて、画像表示システム10の動作モードを変更する。また、表示制御部20aは、画像調整部23を制御して、第1生成部22aで生成された仮想視点画像と第2生成部22bで生成された仮想視点画像とを並べて含む表示画像を生成させる。これにより、表示制御部20aは、第1生成部22aで生成された仮想視点画像と第2生成部22bで生成された仮想視点画像とを同時に表示装置3に表示させる。
視点制御部20bは、第1生成部22a及び第2生成部22bのそれぞれが生成する仮想視点画像における仮想視点の位置や視線の向きを制御する。例えば、視点制御部20bは、仮想視点の視線の向きを変更する。
<1−2.仮想視点画像の生成>
次に、画像生成回路22の第1生成部22a及び第2生成部22bが、仮想視点からみた車両9の周辺の様子を示す仮想視点画像を生成する手法について説明する。
図3は、第1生成部22aが仮想視点画像を生成する手法を説明する図である。第1生成部22aは、仮想視点画像の生成に仮想の立体的な投影面TSを用いることで、現実に近い臨場感のある仮想視点画像を生成する。
フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rは、車両9の前方、後方、左方及び右方をそれぞれ示す4つの撮影画像SF,SB,SL,SRを取得する。これら4つの撮影画像SF,SB,SL,SRには、車両9の全周囲のデータが含まれている。
第1生成部22aは、これら4つの撮影画像SF,SB,SL,SRに含まれるデータ(画素の値)を、仮想的な三次元空間における立体的な曲面である投影面TSに投影する。投影面TSは、例えば、略半球状(お椀形状)をしており、その中心領域(お椀の底部分)は車両9の位置として定められている。また、投影面TSにおける車両9の位置の外側は、車両9の周辺の領域に相当する。
撮影画像SF,SB,SL,SRに含まれるデータの位置と、投影面TSの位置とは予め対応関係が定められている。このような対応関係を示すテーブルデータは、記憶部27に記憶されている。第1生成部22aは、このテーブルデータを用いて、4つの撮影画像SF,SB,SL,SRに含まれるデータを、投影面TSの対応する位置に投影する。
第1生成部22aは、投影面TSにおいて車両9の前方に相当する部分に、フロントカメラ5Fの撮影画像SFのデータを投影する。また、第1生成部22aは、投影面TSにおいて車両9の後方に相当する部分に、リアカメラ5Bの撮影画像SBのデータを投影する。さらに、第1生成部22aは、投影面TSにおいて車両9の左方に相当する部分に左サイドカメラ5Lの撮影画像SLのデータを投影し、投影面TSにおいて車両9の右方に相当する部分に右サイドカメラ5Rの方向画像SRのデータを投影する。
このように投影面TSに撮影画像のデータを投影すると、第1生成部22aは、記憶部27に記憶された車体データ27bを用いて、車両9の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両9のモデルは、仮想的な三次元空間における車両9の位置である投影面TSの中心領域に配置される。
一方で、視点制御部20bが、三次元空間に対して仮想視点VPを設定する。この仮想視点VPは、位置と視線の向きとで規定される。視点制御部20bは、三次元空間における任意の位置に、任意の視線の向きで仮想視点VPを設定できる。
第1生成部22aは、視点制御部20bが設定した仮想視点VPに応じた投影面TSの一部の領域を用いて仮想視点画像CPを生成する。すなわち、第1生成部22aは、投影面TSのうち仮想視点VPからみて所定の視野角に含まれる領域のデータを画像として切り出す。切り出した画像は、車両9の周辺の被写体の像を含んでいる。これとともに、第1生成部22aは、設定した仮想視点VPに応じて車両9のモデルに関してレンダリングを行い、その結果となる二次元の車両像90を、切り出した画像に対して重畳する。この車両像90は、仮想視点VPからみた車両9の車体の形状を示す。これにより、第1生成部22aは、仮想視点VPからみた車両9の周辺と車両9の車体とを示す仮想視点画像CPを生成する。
例えば、図3に示すように、視点制御部20bが位置を車両9の直上とし視線の向きを下方とした仮想視点VPaを設定した場合には、第1生成部22aは車両9の周辺と車両9の車体とを俯瞰する仮想視点画像(俯瞰画像)CPaを生成する。また、視点制御部20bが位置を車両9の左後方とし視線の向きを車両9の前方とした仮想視点VPbを設定した場合には、第1生成部22aは車両9の左後方からみた車両9の周辺と車両9の車体とを示す仮想視点画像CPbを生成する。
また、視点制御部20bは、仮想視点VPの位置を、車両9の外部のみならず車両9の車室内にも設定できる。視点制御部20bが仮想視点VPの位置を車両9の車室内に設定した場合は、図4に示すように、第1生成部22aは、車両9の車室内からみた車両9の周辺と車両9の車体(内装)とを示す臨場感のある仮想視点画像CPcを生成する。
この仮想視点画像CPcにおいては、車両9の車室内の視点からみた車両9の周辺の被写体の像に、車室内の視点からみた車両9の車体(内装)を示す車両像90が重畳されている。ユーザは、このような仮想視点画像CPcを確認することで、車両9の周囲の様子を車室内の視点から確認でき、車両9の周辺の様子を直感的に把握できる。
車室内の視点からみた仮想視点画像CPcに含まれる車両像90は、車体底面に相当する部分と車体底面以外に相当する部分とに分けられる。車両像90における車体底面に相当する部分は非透明となっている。一方で、車両像90における車体底面以外に相当する部分は、タイヤ及びフレームなどの特徴のある一部を除いて透明あるいは半透明となっている。これにより、車室内の視点からみた仮想視点画像CPcに車両像90を含めたとしても、ユーザは車両9の周辺の被写体の様子を確認できる。
上記では第1生成部22aが仮想視点画像を生成する手法について説明したが、第2生成部22bが仮想視点画像を生成する手法も、上記で説明した第1生成部22aの手法と同一である。
第2生成部22bは、第1生成部22aとは独立して仮想視点画像を生成できる。また、視点制御部20bは、第2生成部22bが生成する仮想視点画像の仮想視点を、第1生成部22aが生成する仮想視点画像の仮想視点とは異なる位置及び視線の向きに設定できる。したがって、第1生成部22aと第2生成部22bとは、互いに異なる仮想視点からみた車両9の周辺を示す仮想視点画像を並行して生成できる。
<1−3.動作モード>
次に、画像表示システム10の動作モードについて説明する。図5は、画像表示システム10の動作モードの遷移を示す図である。画像表示システム10は、通常モードM0、俯瞰モードM1、及び、周囲確認モードM2の3つの動作モードを有している。表示制御部20aは、車両9の状態やユーザの操作に応じて制御部20のこれらの動作モードを切り替える。
通常モードM0は、画像生成装置2の機能を利用しない動作モードである。表示装置3がナビゲーション機能を有している場合は、通常モードM0において、表示装置3はナビゲーション機能に基づく地図画像などを表示する。
一方、俯瞰モードM1、及び、周囲確認モードM2は、画像生成装置2の機能を利用する動作モードである。これらの動作モードでは、画像生成装置2が連続的に生成する仮想視点画像を表示装置3が表示する。したがって、ユーザは、表示装置3に表示された仮想視点画像を確認することで、車両9の周辺の様子をほぼリアルタイムに把握できる。
俯瞰モードM1は、車両9の直上の視点から車両9の周辺を俯瞰する仮想視点画像である俯瞰画像を表示する動作モードである。これに対して、周囲確認モードM2は、車両9の車室内の視点からみた車両9の周辺を示す仮想視点画像を表示する動作モードである。
周囲確認モードM2では、表示装置3が、車室内の視点からみた2つの仮想視点画像を同時に表示する。そして、2つの仮想視点画像の仮想視点の視線の向きがそれぞれ変更され、表示装置3において車両9の周囲を示すアニメーションが行われる。ユーザは、このような2つの仮想視点画像を確認することにより、車両9の周囲の様子を確認することができる。
図5に示すように、画像表示システム10が起動すると、まず、表示制御部20aは、動作モードを周囲確認モードM2に設定する。この周囲確認モードM2の場合は、車両9の周囲を示すアニメーションが行われる。このアニメーションが完了すると、表示制御部20aは、動作モードを通常モードM0に切り替える。また、通常モードM0においてユーザが操作ボタン4を長押した場合(一定時間以上継続して押圧した場合)も、表示制御部20aは、動作モードを周囲確認モードM2に切り替える。
また、通常モードM0において、ユーザが操作ボタン4を通常の長さで押した場合、あるいは、車両9のシフトポジションがリバースとなった場合は、表示制御部20aは、動作モードを俯瞰モードM1に切り替える。また、俯瞰モードM1において、ユーザが操作ボタン4を押した場合は、表示制御部20aは、動作モードを通常モードM0に切り替える。
<1−4.周囲確認モード>
次に、周囲確認モードM2についてより詳細に説明する。前述のように、周囲確認モードM2では、表示装置3が、車室内の視点からみた2つの仮想視点画像を同時に表示する。より具体的には、表示装置3が、第1生成部22aが生成する仮想視点画像と、第2生成部22bが生成する仮想視点画像とを並べて含む表示画像を表示する。以下の説明では、第1生成部22aが生成する仮想視点画像を「第1画像」、第2生成部22bが生成する仮想視点画像を「第2画像」という。また、第1画像の仮想視点を「第1仮想視点」、第2画像の仮想視点を「第2仮想視点」という。
図6は、周囲確認モードM2において表示装置3が表示する表示画像DPを生成する手法を説明する図である。周囲確認モードM2においては、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を車両9の車室91の内部に設定する。
そして、第1生成部22aは、第1仮想視点VP1からみた車両9の周辺を示す第1画像CP1を生成する。一方で、第2生成部22bは、第2仮想視点VP2からみた車両9の周辺を示す第2画像CP2を生成する。第1生成部22aと第2生成部22bとは、これらの第1画像CP1及び第2画像CP2を並行して生成する。
画像調整部23は、このように生成された第1画像CP1と第2画像CP2とを左右に隣接して配置した表示画像DPを生成する。図に示すように、画像調整部23は、表示制御部20aの制御により、第1画像CP1を境界線BLの左側、第2画像CP2を境界線BLの右側にそれぞれ配置する。
表示装置3は、このように第1画像CP1及び第2画像CP2の双方を含む表示画像DPを表示する。したがって、表示装置3は、相対的に左側の表示領域RLに第1画像CP1を表示し、相対的に右側の表示領域RRに第2画像CP2を表示する。
また、視点制御部20bは、2つの仮想視点VP1,VP2それぞれの視線の向きを徐々に変更する。このように視点制御部20bが2つの仮想視点VP1,VP2の向きを徐々に変更している状態で、第1生成部22aが第1画像CP1を、第2生成部22bが第2画像CP2をそれぞれ連続的に(時間的に連続して)生成する。これにより、表示装置3の表示領域RL及び表示領域RRのそれぞれにおいて、車両9の周辺の様子を示すアニメーションが行われる。
図7は、周囲確認モードM2における2つの仮想視点VP1,VP2の遷移を示す図であり、車両9を平面視で示している。図中において、第1仮想視点VP1は実線の矢印、第2仮想視点VP2は破線の矢印によって示している。仮想視点VP1,VP2を示す矢印の始点は、仮想視点VP1,VP2の位置を示す。また、仮想視点VP1,VP2を示す矢印の向きは、仮想視点VP1,VP2の視線の向き(平面視での車両9に対する角度)を示す。
図7に示すように、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、車室91の内部における車両9の中心位置PCに設定する。中心位置PCは、車両9の前後方向の略中央となり、かつ、車両9の左右方向の略中央となる位置である。視点制御部20bは、第1仮想視点VP1の位置と第2仮想視点VP2の位置とを、この中心位置PCに維持する。
一方で、視点制御部20bは、第1仮想視点VP1の視線の向きと第2仮想視点VP2の視線の向きとをそれぞれ、車両9の前方からその反対の車両9の後方まで、互いに逆回りに変更する。
具体的には、まず、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを、初期方向である車両9の前後方向に沿った前方に向ける。そして、視点制御部20bは、第1仮想視点VP1の視線の向きを左回りに(矢印A11)、第2仮想視点VP2の視線の向きを右回りに(矢印A21)それぞれ一定の角速度で連続的に変更する。
これにより、視点制御部20bは、第1仮想視点VP1の視線の向きを、車両9の前方から車両9の左方を経由して、最終方向である車両9の前後方向に沿った後方まで連続的に変更する(矢印A11,A12)。また、これと並行して、視点制御部20bは、第2仮想視点VP2の視線の向きを、車両9の前方から車両9の右方を経由して、最終方向である車両9の前後方向に沿った後方まで連続的に変更する(矢印A21,A22)。
視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを同一の角速度で互いに逆回りに変更する。このため、第1仮想視点VP1の視線の向きと、第2仮想視点VP2の視線の向きとは、車両9の前後方向に沿った左右中心線CLaに関して常に互いに対称となる。
このように、第1仮想視点VP1の視線の向きは、車両9の前方から車両9の左方を経由するようにして車両9の後方まで変更される。一方で、第2仮想視点VP2の視線の向きは、車両9の前方から車両9の右方を経由するようにして車両9の後方まで変更される。したがって、図6に示すように、第1仮想視点VP1に基づく第1画像CP1を示す表示装置3の表示領域RLにおいては、車両9の周囲の左半分を周回するように示すアニメーションが行われる。また、これと並行して、第2仮想視点VP2に基づく第2画像CP2を示す表示装置3の表示領域RRにおいては、車両9の周囲の右半分を周回するように示すアニメーションが行われる。
図8は、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きが初期方向である車両9の前方に向けられた場合における、第1画像CP1及び第2画像CP2の例を示す図である。第1画像CP1は車両9の前方の左側の様子を示し、第2画像CP2は車両9の前方の右側の様子を示している。この場合は、境界線BLを無くし、第1画像CP1と第2画像CP2とを一体化した一つの画像としてもよい。
図9は、図8の場合に続いて、第1仮想視点VP1の視線の向きが車両9の左方、第2仮想視点VP2の視線の向きが車両9の右方にそれぞれ向けられた場合における、第1画像CP1及び第2画像CP2の例を示す図である。第1画像CP1は車両9の左方の様子を示し、第2画像CP2は車両9の右方の様子を示している。
図10は、図9の場合に続いて、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きが最終方向である車両9の後方に向けられた場合における、第1画像CP1及び第2画像CP2の例を示す図である。第1画像CP1は車両9の後方の左側の様子を示し、第2画像CP2は車両9の後方の右側の様子を示している。
ユーザは、このような車両9の周囲の左半分を示す第1画像CP1と、車両9の周囲の右半分を示す第2画像CP2とを同時に確認することができる。したがって、ユーザは、車両9の周囲の全体の様子を比較的短い時間で確認することができる。
図11は、比較例における仮想視点VPxの遷移を示す図である。この比較例においては一つの仮想視点VPxのみが設定される。そして、仮想視点VPxの視線の向きは、車両9の前方から左回りで一周して、車両9の前方に戻るように変更される(矢印Ax1,Ax2,Ax3,Ax4)。
図12は、この比較例の場合において生成される仮想視点画像の例を示す図である。この場合は、仮想視点VPxの視線の向きに応じて、車両9の前方、左方、後方及び右方をそれぞれ示す仮想視点画像Cx1,Cx2,Cx3,Cx4が生成される。そして、仮想視点VPxの視線の向きが車両9の前方に戻ると、車両9の前方を示す仮想視点画像Cx1が再び生成される。
この比較例の場合は、仮想視点画像が車両9の周囲の全体を示すためには、仮想視点の視線の向きを360°変更する必要がある。このため、仮想視点画像が車両の周辺の全体を示すためには比較的長い時間が必要となる。
これに対して、本実施の形態の画像表示システム10は、2つの仮想視点VP1,VP2の視線の向きをそれぞれ互いに逆回りに180°変更し(図7参照。)、これら2つの仮想視点VP1,VP2に基づいて生成した第1画像CP1及び第2画像CP2を同時に表示する。このため、視線の向きを変更する角速度が比較例と同一であるとすると、画像表示システム10は、比較例に対して半分の時間で車両9の周囲の全体を示すことができる。したがって、ユーザは、画像表示システム10を利用することで、車両9の周囲の全体の様子を比較的短い時間で確認することができる。
また、表示装置3は、車両9の主に左方を示す第1画像CP1を相対的に左側の表示領域RLに表示し、車両9の主に右方を示す第2画像CP2を相対的に右側の表示領域RRに表示する(図6参照。)。このため、ユーザは、第1画像CP1及び第2画像CP2のそれぞれが示す被写体が、車両9の左方と右方とのいずれに存在するかを直感的に把握できる。
また、第1仮想視点VP1の視線の向きと第2仮想視点VP2の視線の向きとは車両9の左右中心線CLaに関して互いに対称となる(図7参照。)。このため、ユーザは、第1画像CP1及び第2画像CP2のそれぞれが示す被写体の位置を容易に把握できる。
<1−5.動作の流れ>
次に、周囲確認モードM2における画像表示システム10の動作の流れについて説明する。図13は、周囲確認モードM2における画像表示システム10の動作の流れを示す図である。
動作モードが周囲確認モードM2となると、まず、視点制御部20bが、第1仮想視点VP1及び第2仮想視点VP2の位置及び視線の向きを設定する(ステップS11)。視点制御部20bは、2つの仮想視点VP1,VP2の双方の位置を車室91の内部の中心位置PCに設定するとともに、2つの仮想視点VP1,VP2の双方の視線の向きを初期方向である車両9の前方に向ける。
次に、車両9に設けられた4つのカメラ5のそれぞれが車両9の周辺を撮影する。そして、画像取得部21が、4つのカメラ5でそれぞれ得られた4つの撮影画像を取得する(ステップS12)。
次に、4つ撮影画像を用いて、画像生成回路22の第1生成部22aが第1画像CP1を生成する(ステップS13)。これと並行して、同一の4つ撮影画像を用いて、画像生成回路22の第2生成部22bが第2画像CP2を生成する(ステップS14)。
次に、画像調整部23が、第1生成部22aが生成した第1画像CP1と、第2生成部22bが生成した第2画像CP2とを並べて含む表示画像DPを生成する(ステップS15)。画像調整部23は、第1画像CP1を相対的に左側に配置し、第2画像CP2を相対的に右側に配置する。
次に、画像出力部24が表示画像DPを表示装置3に出力する。これにより、表示装置3が、第1画像CP1及び第2画像CP2の双方を含む表示画像DPを表示する(ステップS16)。表示装置3は、相対的に左側の表示領域RLに第1画像CP1を表示し、相対的に右側の表示領域RRに第2画像CP2を表示する。
次に、視点制御部20bが、2つの仮想視点VP1,VP2の視線の向きをそれぞれ、図7に示すように互いに逆回りに微小に変更する(ステップS18)。そして、処理は再びステップS12に戻り、上記ステップS12〜S16と同様の処理が繰り返される。このような処理(ステップS12〜S16,S18)が、所定の周期(例えば、1/30秒周期)で繰り返される。
このような処理により、視点制御部20bが2つの仮想視点VP1,VP2の向きを徐々に変更している状態で、第1生成部22aが第1画像CP1を、第2生成部22bが第2画像CP2をそれぞれ連続的に生成する。その結果、表示装置3の表示領域RL及び表示領域RRのそれぞれにおいて、車両9の周辺の様子を示すアニメーションが行われる。
視点制御部20bが、2つの仮想視点VP1,VP2の向きを最終方向である車両9の後方まで変更すると(ステップS17にてYes)、周囲確認モードM2における画像表示システム10の動作が終了する。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム10の構成及び動作は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、周囲確認モードM2において、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の双方の位置を中心位置PCに維持していた。これに対して、第2の実施の形態においては、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の位置を移動する。
図14は、第2の実施の形態の周囲確認モードM2における2つの仮想視点VP1,VP2の遷移を示す図である。図に示すように、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の双方の位置を、車両9の前後方向に直線的に移動する。
第2の実施の形態においても、第1仮想視点VP1の視線の向きと、第2仮想視点VP2の視線の向きとは、車両9の前後方向に沿った左右中心線CLaに関して常に互いに対称となる。また、第1仮想視点VP1の位置と第2仮想視点VP2の位置とは、常に同一となる。
まず、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを、初期方向である車両9の前後方向に沿った前方に向ける。これとともに、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、初期位置である車室91の前方中央の位置(以下、「前方中央位置」という。)PFに設定する。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を前方中央位置PFに維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、車両9の左右方向に沿った左方に向くように、第1仮想視点VP1の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A13)。また、これと並行して、視点制御部20bは、車両9の左右方向に沿った右方に向くように、第2仮想視点VP2の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A23)。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、車両9の前後方向に沿って後方に移動する。すなわち、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、前方中央位置PFから、最終位置である車室91の後方中央の位置(以下、「後方中央位置」という。)PBまで一定の速度で連続的に移動する(矢印B10)。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を後方中央位置PBに維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、車両9の前後方向に沿った後方に向くように、第1仮想視点VP1の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A14)。また、これと並行して、視点制御部20bは、車両9の前後方向に沿った後方に向くように、第2仮想視点VP2の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A24)。これにより最終的に、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きが、最終方向である車両9の後方に向く。
このように、視点制御部20bは、第1仮想視点VP1の視線の向きに応じて第1仮想視点VP1の位置を移動し、第2仮想視点VP2の視線の向きに応じて第2仮想視点VP2の位置を移動する。
すなわち、視点制御部20bは、第1仮想視点VP1の視線の向きを車両9の前方に向ける場合は、第1仮想視点VP1の位置を車室91の前方にする。また、視点制御部20bは、第1仮想視点VP1の視線の向きを車両9の後方に向ける場合は、第1仮想視点VP1の位置を車室91の後方にする。同様に、視点制御部20bは、第2仮想視点VP2の視線の向きを車両9の前方に向ける場合は、第2仮想視点VP2の位置を車室91の前方にする。また、視点制御部20bは、第2仮想視点VP2の視線の向きを車両9の後方に向ける場合は、第2仮想視点VP2の位置を車室91の後方にする。このように仮想視点VP1,VP2の視線の向きに近づくように仮想視点VP1,VP2の位置も移動することで、仮想視点画像CP1,CP2に含まれる車両9の被写体の像の視認性を向上できる。
図15は、第2の実施の形態において、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きが初期方向である車両9の前方に向けられた場合における、第1画像CP1及び第2画像CP2の例を示す図である。第1画像CP1は車両9の前方の左側の様子を示し、第2画像CP2は車両9の前方の右側の様子を示している。
また、図16は、第2の実施の形態において、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きが最終方向である車両9の後方に向けられた場合における、第1画像CP1及び第2画像CP2の例を示す図である。第1画像CP1は車両9の後方の左側の様子を示し、第2画像CP2は車両9の後方の右側の様子を示している。
第2の実施の形態では、仮想視点VP1,VP2の位置が移動するため、第1の実施の形態と比較して、仮想視点VP1,VP2の位置から車両9の車体端部までの距離が短い。このため、第2の実施の形態の仮想視点画像CP1,CP2(図15,図16参照。)においては、第1の実施の形態の仮想視点画像CP1,CP2(図8,図10参照。)と比較して、車両像90が示す車体の部分が少ない。
また、第2の実施の形態では、第1の実施の形態と比較して、仮想視点VP1,VP2の位置から車両9の周辺の被写体までの距離も短い。このため、第2の実施の形態の仮想視点画像CP1,CP2(図15,図16参照。)においては、第1の実施の形態の仮想視点画像CP1,CP2(図8,図10参照。)と比較して、含まれる被写体の像が大きい。したがって、仮想視点画像CP1,CP2に含まれる車両9の周辺の被写体の像の視認性が向上する。
一般に車両は前後方向に長いため、仮想視点VP1,VP2の視線の向きに応じて仮想視点VP1,VP2の位置を車両9の前後方向に移動させることにより、仮想視点画像CP1,CP2に含まれる被写体の像の視認性を効果的に向上できる。
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態の画像表示システム10の構成及び動作は、第2の実施の形態とほぼ同様であるため、以下、第2の実施の形態との相違点を中心に説明する。
第2の実施の形態では、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の位置を、車両9の前後方向にのみ移動していた。これに対して、第3の実施の形態では、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の位置を、車両9の前後方向とともに左右方向にも移動する。
図17は、第3の実施の形態の周囲確認モードM2における2つの仮想視点VP1,VP2の遷移を示す図である。図に示すように、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の位置を、車室91の周縁に沿って車両9の前後方向及び左右方向に直線的に移動する。
第3の実施の形態においても、第1仮想視点VP1の視線の向きと、第2仮想視点VP2の視線の向きとは、車両9の前後方向に沿った左右中心線CLaに関して常に互いに対称となる。また、第1仮想視点VP1の位置と第2仮想視点VP2の位置とは、左右中心線CLaに関して常に互いに対称となる。
まず、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを、初期方向である車両9の前後方向に沿った前方に向ける。これとともに、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、初期位置である前方中央位置PFに設定する。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、車両9の左右方向に沿って互いに逆方向に移動する。すなわち、視点制御部20bは、第1仮想視点VP1の位置を、前方中央位置PFから車室91の前方左端の位置PFLまで、車室91の前側の周縁に沿って左方に、一定の速度で連続的に移動する(矢印B11)。また、これと並行して、視点制御部20bは、第2仮想視点VP2の位置を、前方中央位置PFから車室91の前方右端の位置PFRまで、車室91の前側の周縁に沿って右方に、一定の速度で連続的に移動する(矢印B21)。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、車両9の左右方向に沿った左方に向くように、第1仮想視点VP1の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A15)。また、これと並行して、視点制御部20bは、車両9の左右方向に沿った右方に向くように、第2仮想視点VP2の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A25)。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、車両9の前後方向に沿って後方に移動する。すなわち、視点制御部20bは、第1仮想視点VP1の位置を、車室91の前方左端の位置PFLから後方左端の位置PBLまで、車室91の左側の周縁に沿って後方に、一定の速度で連続的に移動する(矢印B12)。また、これと並行して、視点制御部20bは、第2仮想視点VP2の位置を、車室91の前方右端の位置PFRから後方右端の位置PBRまで、車室91の右側の周縁に沿って後方に、一定の速度で連続的に移動する(矢印B22)。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、最終方向である車両9の前後方向に沿った後方に向くように、第1仮想視点VP1の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A16)。また、これと並行して、視点制御部20bは、最終方向である車両9の前後方向に沿った後方に向くように、第2仮想視点VP2の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A26)。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを維持しながら、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、車両9の左右方向に沿って互いに逆方向に移動する。すなわち、視点制御部20bは、第1仮想視点VP1の位置を、車室91の後方左端の位置PBLから後方中央位置PBまで、車室91の後側の周縁に沿って右方に、一定の速度で連続的に移動する(矢印B13)。また、これと並行して、視点制御部20bは、第2仮想視点VP2の位置を、車室91の後方右端の位置PBRから後方中央位置PBまで、車室91の後側の周縁に沿って左方に、一定の速度で連続的に移動する(矢印B23)。これにより最終的に、第1仮想視点VP1と第2仮想視点VP2との双方の位置が、最終位置である後方中央位置PBに移動する。
このように、第3実施の形態では、視点制御部20bは、仮想視点VP1,VP2の視線の向きに近づくように、仮想視点VP1,VP2の位置を車両9の前後方向とともに左右方向にも移動する。すなわち、視点制御部20bは、第1仮想視点VP1の視線の向きを車両9の左方に向ける場合は、第1仮想視点VP1の位置を車室91の左方に移動する。また、視点制御部20bは、第2仮想視点VP2の視線の向きを車両9の右方に向ける場合は、第2仮想視点VP2の位置を車室91の右方に移動する。このため、仮想視点画像CP1,CP2に含まれる被写体の像の視認性をさらに効果的に向上できる。
図18は、第3の実施の形態において、第1仮想視点VP1の視線の向きが車両9の左方、第2仮想視点VP2の視線の向きが車両9の右方にそれぞれ向けられた場合における、第1画像CP1及び第2画像CP2の例を示す図である。第1画像CP1は車両9の左方の様子を示し、第2画像CP2は車両9の右方の様子を示している。
図18に示す第3の実施の形態の仮想視点画像CP1,CP2においては、第1の実施の形態の仮想視点画像CP1,CP2(図9参照。)と比較して、車両像90が示す車体の部分が少なく、かつ、含まれる被写体の像が大きい。このように第3の実施の形態では、仮想視点VP1,VP2の視線の向きを車両9の側方に向けた場合においても、仮想視点画像CP1,CP2に含まれる車両9の周辺の被写体の像の視認性を向上できる。
また、視点制御部20bは、仮想視点VP1,VP2の視線の位置を車両9の車室91の周縁に沿って移動する。このため、車両像90が示す車体の部分をより少なくできるとともに、被写体の像をより大きくできる。
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態の画像表示システム10の構成及び動作は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の視線の向きを一定の角速度で連続的に変更していた。これに対して、第4の実施の形態においては、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の視線の向きを瞬時に切り替えて変更する。
図19は、第4の実施の形態の周囲確認モードM2における2つの仮想視点VP1,VP2の遷移を示す図である。第4の実施の形態においても、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の位置を、車室91の内部における車両9の中心位置PCに設定する。そして、視点制御部20bは、第1仮想視点VP1の視線の向きと第2仮想視点VP2の視線の向きとをそれぞれ、車両9の前方からその反対の車両9の後方まで、互いに逆回りに変更する。ただし、第4の実施の形態では、図に示すように、視点制御部20bは、第1仮想視点VP1の視線の向きを車両9の前方、左方及び後方にのみ向け、第2仮想視点VP2の視線の向きを車両9の前方、右方及び後方にのみ向ける。
まず、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを、初期方向である車両9の前後方向に沿った前方に向ける。そして、視点制御部20bは、この第1仮想視点VP1及び第2仮想視点VP2の視線の向きを、所定時間(例えば、0.5秒間)維持する。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを互いに逆向きに瞬時に切り替える。すなわち、視点制御部20bは、第1仮想視点VP1の視線の向きを、車両9の左右方向に沿った左方に瞬時に切り替える(矢印A17)。これと同時に、視点制御部20bは、第2仮想視点VP2の視線の向きを、車両9の左右方向に沿った右方に瞬時に切り替える(矢印A27)。そして、視点制御部20bは、この第1仮想視点VP1及び第2仮想視点VP2の視線の向きを、所定時間(例えば、0.5秒間)維持する。
次に、視点制御部20bは、第1仮想視点VP1と第2仮想視点VP2との双方の視線の向きを、最終方向である車両9の前後方向に沿った後方に瞬時に切り替える(矢印A18,A28)。そして、視点制御部20bは、この第1仮想視点VP1及び第2仮想視点VP2の視線の向きを、所定時間(例えば、0.5秒間)維持する。
このように第4実施の形態では、視点制御部20bは、仮想視点VPの視線の向きを瞬時に切り替えて変更する。このため、仮想視点VPの視線の向きを変更する時間を短縮することができる。その結果、ユーザは、車両9の周囲の全体の様子をさらに短い時間で確認することができる。
なお、この第4の実施の形態においては、第1画像CP1及び第2画像CP2の画角を、第1の実施の形態よりも広くすることが望ましい。また、第2の実施の形態あるいは第3の実施の形態と同様に、視点制御部20bが、仮想視点VP1,VP2の視線の向きに応じて仮想視点VP1,VP2の位置を移動してもよい。
<5.第5の実施の形態>
次に、第5の実施の形態について説明する。第5の実施の形態の画像表示システム10の構成及び動作は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、周囲確認モードM2において、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2の視線の向きを、車両9の前方からその反対の車両9の後方まで変更していた。これに対して、第5の実施の形態においては、視点制御部20bは、第1仮想視点及び第2仮想視点の視線の向きを、車両9の左方からその反対の右方まで変更する。
図20は、第5の実施の形態の周囲確認モードM2において表示装置3が表示する表示画像DPを生成する手法を説明する図である。
第5の実施の形態においても、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、車室91の内部における車両9の中心位置PCに維持する。そして、第1生成部22aは、第1仮想視点VP3からみた車両9の周辺を示す第1画像CP3を生成し、第2生成部22bは、第2仮想視点VP4からみた車両9の周辺を示す第2画像CP4を生成する。
画像調整部23は、このように生成された第1画像CP3と第2画像CP4とを上下に隣接して配置した表示画像DPを生成する。図に示すように、画像調整部23は、表示制御部20aの制御により、第1画像CP3を境界線BLの上側、第2画像CP4を境界線BLの下側にそれぞれ配置する。
表示装置3は、このように第1画像CP3及び第2画像CP4の双方を含む表示画像DPを表示する。したがって、表示装置3は、相対的に上側の表示領域RUに第1画像CP3を表示し、相対的に下側の表示領域RDに第2画像CP4を表示する。
また、視点制御部20bは、2つの仮想視点VP3,VP4それぞれの視線の向きを徐々に変更する。このように視点制御部20bが2つの仮想視点VP3,VP4の向きを徐々に変更している状態で、第1生成部22aが第1画像CP3を、第2生成部22bが第2画像CP4をそれぞれ連続的に生成する。これにより、表示装置3の表示領域RU及び表示領域RDのそれぞれにおいて、車両9の周辺の様子を示すアニメーションが行われる。
図21は、第5の実施の形態の周囲確認モードM2における2つの仮想視点VP3,VP4の遷移を示す図である。図中において、第1仮想視点VP3は実線の矢印、第2仮想視点VP4は破線の矢印によって示している。
図に示すように、視点制御部20bは、第1仮想視点VP3の視線の向きと第2仮想視点VP4の視線の向きとをそれぞれ、車両9の左方からその反対の車両9の右方まで、互いに逆回りに変更する。
具体的には、まず、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを、初期方向である車両9の左右方向に沿った左方に向ける。そして、視点制御部20bは、第1仮想視点VP3の視線の向きを右回りに(矢印A31)、第2仮想視点VP4の視線の向きを左回りに(矢印A41)それぞれ一定の角速度で連続的に変更する。
これにより、視点制御部20bは、第1仮想視点VP3の視線の向きを、車両9の左方から車両9の前方を経由して、最終方向である車両9の左右方向に沿った右方まで連続的に変更する(矢印A31,A32)。また、これと並行して、視点制御部20bは、第2仮想視点VP4の視線の向きを、車両9の左方から車両9の後方を経由して、最終方向である車両9の左右方向に沿った右方まで連続的に変更する(矢印A41,A42)。
視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを同一の角速度で互いに逆回りに変更する。このため、第1仮想視点VP3の視線の向きと、第2仮想視点VP4の視線の向きとは、車両9の左右方向に沿った前後中心線CLbに関して常に互いに対称となる。
このように、第1仮想視点VP3の視線の向きは、車両9の左方から車両9の前方を経由するようにして車両9の右方まで変更される。一方で、第2仮想視点VP4の視線の向きは、車両9の左方から車両9の後方を経由するようにして車両9の右方まで変更される。したがって、図20に示すように、第1仮想視点VP3に基づく第1画像CP3を示す表示装置3の表示領域RUにおいては、車両9の周囲の前半分を周回するように示すアニメーションが行われる。また、これと並行して、第2仮想視点VP4に基づく第2画像CP4を示す表示装置3の表示領域RDにおいては、車両9の周囲の後半分を周回するように示すアニメーションが行われる。
図22は、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きが初期方向である車両9の左方に向けられた場合における、第1画像CP3及び第2画像CP4の例を示す図である。第1画像CP3は車両9の左方の前側の様子を示し、第2画像CP4は車両9の左方の後側の様子を示している。この場合は、境界線BLを無くし、第1画像CP3と第2画像CP4とを一体化した一つの画像としてもよい。
図23は、図22の場合に続いて、第1仮想視点VP3の視線の向きが車両9の前方、第2仮想視点VP4の視線の向きが車両9の後方にそれぞれ向けられた場合における、第1画像CP3及び第2画像CP4の例を示す図である。第1画像CP3は車両9の前方の様子を示し、第2画像CP4は車両9の後方の様子を示している。
図24は、図23の場合に続いて、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きが最終方向である車両9の右方に向けられた場合における、第1画像CP3及び第2画像CP4の例を示す図である。第1画像CP3は車両9の右方の前側の様子を示し、第2画像CP4は車両9の右方の後側の様子を示している。この場合も、境界線BLを無くし、第1画像CP3と第2画像CP4とを一体化した一つの画像としてもよい。
このように第5の実施の形態においても、画像表示システム10は、2つの仮想視点VP3,VP4の視線の向きをそれぞれ互いに逆回りに180°変更し(図21参照。)、これら2つの仮想視点VP3,VP4に基づいて生成した第1画像CP3及び第2画像CP4を同時に表示する。したがって、ユーザは、画像表示システム10を利用することで、車両9の周囲の全体の様子を比較的短い時間で確認することができる。
また、表示装置3は、車両9の主に前方を示す第1画像CP3を相対的に上側の表示領域RUに表示し、車両9の主に後方を示す第2画像CP4を相対的に下側の表示領域RDに表示する(図20参照。)。このため、ユーザは、第1画像CP3及び第2画像CP4のそれぞれが示す被写体が、車両9の前方と後方とのいずれに存在するかを直感的に把握できる。
また、第1仮想視点VP3の視線の向きと第2仮想視点VP4の視線の向きとは車両9の前後中心線CLbに関して互いに対称となる(図21参照。)。このため、ユーザは、第1画像CP3及び第2画像CP4のそれぞれが示す被写体の位置を容易に把握できる。
<6.第6の実施の形態>
次に、第6の実施の形態について説明する。第6の実施の形態の画像表示システム10の構成及び動作は、第5の実施の形態とほぼ同様であるため、以下、第5の実施の形態との相違点を中心に説明する。
第5の実施の形態では、周囲確認モードM2において、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の双方の位置を中心位置PCに維持していた。これに対して、第6の実施の形態においては、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の位置を移動する。
図25は、第6の実施の形態の周囲確認モードM2における2つの仮想視点VP3,VP4の遷移を示す図である。図に示すように、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の双方の位置を、車両9の左右方向に直線的に移動する。
第6の実施の形態においても、第1仮想視点VP3の視線の向きと、第2仮想視点VP4の視線の向きとは、車両9の左右方向に沿った前後中心線CLbに関して常に互いに対称となる。また、第1仮想視点VP3の位置と第2仮想視点VP4の位置とは、常に同一となる。
まず、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを、初期方向である車両9の左右方向に沿った左方に向ける。これとともに、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、初期位置である車室91の左方中央の位置(以下、「左方中央位置」という。)PLに設定する。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を左方中央位置PLに維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、車両9の前後方向に沿った前方に向くように、第1仮想視点VP3の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A33)。また、これと並行して、視点制御部20bは、車両9の前後方向に沿った後方に向くように、第2仮想視点VP4の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A43)。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、車両9の左右方向に沿って右方に移動する。すなわち、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、左方中央位置PLから、最終位置である車室91の右方中央の位置(以下、「右方中央位置」という。)PRまで一定の速度で連続的に移動する(矢印B30)。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を右方中央位置PRに維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、車両9の左右方向に沿った右方に向くように、第1仮想視点VP3の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A34)。また、これと並行して、視点制御部20bは、車両9の左右方向に沿った右方に向くように、第2仮想視点VP4の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A44)。これにより最終的に、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きが、最終方向である車両9の右方に向く。
このように、視点制御部20bは、第1仮想視点VP3の視線の向きに応じて第1仮想視点VP3の位置を移動し、第2仮想視点VP4の視線の向きに応じて第2仮想視点VP4の位置を移動する。
すなわち、視点制御部20bは、第1仮想視点VP3の視線の向きを車両9の左方に向ける場合は、第1仮想視点VP3の位置を車室91の左方にする。また、視点制御部20bは、第1仮想視点VP3の視線の向きを車両9の右方に向ける場合は、第1仮想視点VP3の位置を車室91の右方にする。同様に、視点制御部20bは、第2仮想視点VP4の視線の向きを車両9の左方に向ける場合は、第2仮想視点VP4の位置を車室91の左方にする。また、視点制御部20bは、第2仮想視点VP4の視線の向きを車両9の右方に向ける場合は、第2仮想視点VP4の位置を車室91の右方にする。
このように仮想視点VP3,VP4の視線の向きに近づくように仮想視点VP3,VP4の位置も移動することで、仮想視点画像CP3,CP4に含まれる車両像90が示す車体の部分を少なくでき、かつ、含まれる被写体の像を大きくできる。その結果、仮想視点画像CP3,CP4に含まれる車両9の被写体の像の視認性を向上できる。
<7.第7の実施の形態>
次に、第7の実施の形態について説明する。第7の実施の形態の画像表示システム10の構成及び動作は、第6の実施の形態とほぼ同様であるため、以下、第6の実施の形態との相違点を中心に説明する。
第6の実施の形態では、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の位置を、車両9の左右方向にのみ移動していた。これに対して、第7の実施の形態では、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の位置を、車両9の左右方向とともに前後方向にも移動する。
図26は、第7の実施の形態の周囲確認モードM2における2つの仮想視点VP3,VP4の遷移を示す図である。図に示すように、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の位置を、車室91の周縁に沿って車両9の前後方向及び左右方向に直線的に移動する。
第7の実施の形態においても、第1仮想視点VP3の視線の向きと、第2仮想視点VP4の視線の向きとは、車両9の左右方向に沿った前後中心線CLbに関して常に互いに対称となる。また、第1仮想視点VP3の位置と第2仮想視点VP4の位置とは、前後中心線CLbに関して常に互いに対称となる。
まず、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを、初期方向である車両9の左右方向に沿った左方に向ける。これとともに、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、初期位置である左方中央位置PLに設定する。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、車両9の前後方向に沿って互いに逆方向に移動する。すなわち、視点制御部20bは、第1仮想視点VP3の位置を、左方中央位置PLから車室91の前方左端の位置PFLまで、車室91の左側の周縁に沿って前方に、一定の速度で連続的に移動する(矢印B31)。また、これと並行して、視点制御部20bは、第2仮想視点VP4の位置を、左方中央位置PLから車室91の後方左端の位置PBLまで、車室91の左側の周縁に沿って後方に、一定の速度で連続的に移動する(矢印B41)。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、車両9の前後方向に沿った前方に向くように、第1仮想視点VP3の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A35)。また、これと並行して、視点制御部20bは、車両9の前後方向に沿った後方に向くように、第2仮想視点VP4の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A45)。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、車両9の左右方向に沿って右方に移動する。すなわち、視点制御部20bは、第1仮想視点VP3の位置を、車室91の前方左端の位置PFLから前方右端の位置PFRまで、車室91の前側の周縁に沿って右方に、一定の速度で連続的に移動する(矢印B32)。また、これと並行して、視点制御部20bは、第2仮想視点VP4の位置を、車室91の後方左端の位置PBLから後方右端の位置PBRまで、車室91の後側の周縁に沿って右方に、一定の速度で連続的に移動する(矢印B42)。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを互いに逆回りに90°変更する。すなわち、視点制御部20bは、最終方向である車両9の左右方向に沿った右方に向くように、第1仮想視点VP3の視線の向きを、右回りに一定の角速度で連続的に変更する(矢印A36)。また、これと並行して、視点制御部20bは、最終方向である車両9の左右方向に沿った右方に向くように、第2仮想視点VP4の視線の向きを、左回りに一定の角速度で連続的に変更する(矢印A46)。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを維持しながら、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、車両9の前後方向に沿って互いに逆方向に移動する。すなわち、視点制御部20bは、第1仮想視点VP3の位置を、車室91の前方右端の位置PFRから右方中央位置PRまで、車室91の右側の周縁に沿って後方に、一定の速度で連続的に移動する(矢印B33)。また、これと並行して、視点制御部20bは、第2仮想視点VP4の位置を、車室91の後方右端の位置PBRから右方中央位置PRまで、車室91の右側の周縁に沿って前方に、一定の速度で連続的に移動する(矢印B43)。これにより最終的に、第1仮想視点VP3と第2仮想視点VP4との双方の位置が、最終位置である右方中央位置PRに移動する。
このように、第7実施の形態では、視点制御部20bは、仮想視点VP3,VP4の視線の向きに近づくように、仮想視点VP3,VP4の位置を車両9の左右方向とともに前後方向にも移動する。すなわち、視点制御部20bは、第1仮想視点VP3の視線の向きを車両9の前方に向ける場合は、第1仮想視点VP3の位置を車室91の前方に移動する。また、視点制御部20bは、第2仮想視点VP4の視線の向きを車両9の後方に向ける場合は、第2仮想視点VP4の位置を車室91の後方に移動する。このため、仮想視点画像CP3,CP4に含まれる被写体の像の視認性をさらに効果的に向上できる。
<8.第8の実施の形態>
次に、第8の実施の形態について説明する。第5の実施の形態の画像表示システム10の構成及び動作は、第5の実施の形態とほぼ同様であるため、以下、第5の実施の形態との相違点を中心に説明する。
第5の実施の形態では、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の視線の向きを一定の角速度で連続的に変更していた。これに対して、第8の実施の形態においては、視点制御部20bは、第1仮想視点VP3及び第2仮想視点VP4の視線の向きを瞬時に切り替えて変更する。
図27は、第8の実施の形態の周囲確認モードM2における2つの仮想視点VP3,VP4の遷移を示す図である。第8の実施の形態においても、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の位置を、車室91の内部における車両9の中心位置PCに設定する。そして、視点制御部20bは、第1仮想視点VP3の視線の向きと第2仮想視点VP4の視線の向きとをそれぞれ、車両9の左方からその反対の車両9の右方まで、互いに逆回りに変更する。ただし、第8の実施の形態では、図に示すように、視点制御部20bは、第1仮想視点VP3の視線の向きを車両9の左方、前方及び右方にのみ向け、第2仮想視点VP4の視線の向きを車両9の左方、後方及び右方にのみ向ける。
まず、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを、初期方向である車両9の左右方向に沿った左方に向ける。そして、視点制御部20bは、この第1仮想視点VP3及び第2仮想視点VP4の視線の向きを、所定時間(例えば、0.5秒間)維持する。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを互いに逆向きに瞬時に切り替える。すなわち、視点制御部20bは、第1仮想視点VP3の視線の向きを、車両9の前後方向に沿った前方に瞬時に切り替える(矢印A37)。これと同時に、視点制御部20bは、第2仮想視点VP4の視線の向きを、車両9の前後方向に沿った後方に瞬時に切り替える(矢印A47)。そして、視点制御部20bは、この第1仮想視点VP3及び第2仮想視点VP4の視線の向きを、所定時間(例えば、0.5秒間)維持する。
次に、視点制御部20bは、第1仮想視点VP3と第2仮想視点VP4との双方の視線の向きを、最終方向である車両9の左右方向に沿った右方に瞬時に切り替える(矢印A38,A48)。そして、視点制御部20bは、この第1仮想視点VP3及び第2仮想視点VP4の視線の向きを、所定時間(例えば、0.5秒間)維持する。
このように第8実施の形態では、視点制御部20bは、仮想視点VPの視線の向きを瞬時に切り替えて変更する。このため、仮想視点VPの視線の向きを変更する時間を短縮することができる。その結果、ユーザは、車両9の周囲の全体の様子をさらに短い時間で確認することができる。
なお、この第8の実施の形態においては、第1画像CP3及び第2画像CP4の画角を、第5の実施の形態よりも広くすることが望ましい。また、第6の実施の形態あるいは第7の実施の形態と同様に、視点制御部20bが、仮想視点VP3,VP4の視線の向きに応じて仮想視点VP3,VP4の位置を移動してもよい。
<9.第9の実施の形態>
次に、第9の実施の形態について説明する。第9の実施の形態の画像表示システム10の構成及び動作は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、視点制御部20bは、仮想視点VP1,VP2を一定の速度(角速度)で変更していた。これに対して、第9の実施の形態においては、画像表示システム10が車両9の周辺に存在する物体を検出する機能を有しており、視点制御部20bは、物体の検出結果に応じて仮想視点VP1,VP2を変更する速度を変えるようになっている。
図28は、第9の実施の形態の画像表示システム10の構成を示す図である。第9の実施の形態の画像表示システム10は、図1に示す第1の実施の形態の構成に加えて物体検出装置7をさらに備えている。物体検出装置7は、車両9の周辺に存在する物体を検出する。物体検出装置7は、物体を検出した検出結果を示す信号を画像生成装置2に出力する。画像生成装置2の信号受信部26は、この信号を受信して制御部20に入力する。
図29は、物体検出装置7の構成を主に示す図である。図に示すように、物体検出装置7は、装置全体を統括するソナー制御部71と、複数のクリアランスソナー72とを備えている。各クリアランスソナー72は、超音波を発信し、その超音波が物体で反射した反射波を受信することで、車両9の周辺に存在する物体を検出する。各クリアランスソナー72は、検出結果をソナー制御部71に入力する。
図30は、複数のクリアランスソナー72が車両9に配置される位置を示す図である。図30に示すように、車両9においては、10個のクリアランスソナー72が設けられている。車両9の前方及び後方においてはそれぞれ、3個のクリアランスソナー72が設けられている。また、車両9の左方及び右方においてはそれぞれ、2個のクリアランスソナー72が設けられている。
各クリアランスソナー72は、車両9における自装置の配置位置の近傍に存在する物体を検出する。このような複数のクリアランスソナー72により、物体検出装置7は、車両9の周辺に存在する物体を検出できる。また、ソナー制御部71は、物体を検出したクリアランスソナー72を特定することにより、車両9の周辺に存在する物体の位置も検出する。
物体検出装置7の検出結果は、このような物体の位置を含む。ソナー制御部71は、この検出結果を示す信号を画像生成装置2に出力する。画像生成装置2の視点制御部20bは、この物体検出装置7の検出結果に含まれる物体の位置に基づいて、仮想視点VP1,VP2を変更する速度を変える。
車両9の周辺に物体が存在しない場合は、視点制御部20bは、第1の実施の形態と同様に、仮想視点VP1,VP2の視線の向きを一定の角速度(以下、「基準角速度」という。)で連続的に変更する。一方、車両9の周辺に物体が存在する場合は、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2のいずれかの視線の向きが当該物体に向いているときに、仮想視点VP1,VP2の視線の向きを変更する角速度を基準角速度よりも遅くする。
図31は、第9の実施の形態の周囲確認モードM2における2つの仮想視点VP1,VP2の遷移の一例を示す図である。図31に示す例においては、車両9のフロントフェンダの近傍に物体OBが存在している。
この場合においても、まず、視点制御部20bは、2つの仮想視点VP1,VP2の視線の向きを初期方向である車両9の前方に向けた後、第1仮想視点VP1の視線の向きを左回りに、第2仮想視点VP2の視線の向きを右回りにそれぞれ変更する。
第1仮想視点VP1及び第2仮想視点VP2の視線の向きがいずれも物体OBに向いていない場合は、視点制御部20bは、2つの仮想視点VP1,VP2の視線の向きを変更する角速度を基準角速度とする(矢印A1a,A2a)。
また、第1仮想視点VP1及び第2仮想視点VP2のいずれかの視線の向きが物体OBに向いた場合は、視点制御部20bは、2つの仮想視点VP1,VP2の視線の向きを変更する角速度を、基準角速度よりも遅くする(矢印A1b,A2b)。
図31に示す例においては、第1仮想視点VP1の視線の向きが物体OBに向く。この場合において、第2仮想視点VP2の視線の向きは物体OBに向いていないが、2つの仮想視点VP1,VP2の視線の向きを対称とするため、視点制御部20bは、2つの仮想視点VP1,VP2の双方に関して視線の向きを変更する角速度を基準角速度よりも遅くする。
その後、第1仮想視点VP1及び第2仮想視点VP2の視線の向きがいずれも物体OBに向かなくなると、視点制御部20bは、2つの仮想視点VP1,VP2の視線の向きを変更する角速度を基準角速度に戻す(矢印A1c,A2c)。
このように第9の実施の形態では、第1仮想視点VP1及び第2仮想視点VP2のいずれかの視線の向きが物体に向く場合は、これらの視線の向きが物体に向いていない場合と比較して、第1仮想視点VP1及び第2仮想視点VP2を変更する速度を遅くする。このため、ユーザは、第1画像CP1あるいは第2画像CP2が示す当該物体を詳細に確認することができる。
なお、上記説明では、仮想視点の視線の向きを第1の実施の形態と同様に変更する場合に、物体の検出結果に応じて仮想視点を変更する速度を変えるようにしていた。これに対して、仮想視点の視線の向きを第2、第3、第5、第6及び第7の実施の形態のいずれかと同様に変更する場合に、物体の検出結果に応じて仮想視点を変更する速度を上記説明と同様に変えてもよい。仮想視点の位置を直線的に移動している場合に仮想視点の視線の向きが物体に向くときは、仮想視点の視線の向きが物体に向いていない場合と比較して、仮想視点の位置を移動する速度を遅くすればよい。また、仮想視点の視線の向きを図11に示す比較例と同様に変更する場合に、物体の検出結果に応じて仮想視点を変更する速度を上記説明と同様に変えてもよい。
また、上記説明では、第1仮想視点VP1及び第2仮想視点VP2のいずれか一方のみの視線の向きが物体OBに向いた場合であっても、視点制御部20bは、2つの仮想視点VP1,VP2の双方に関して変更する速度を遅くしていた。これに対して、視点制御部20bは、第1仮想視点VP1及び第2仮想視点VP2のうち、視線の向きが物体OBに向いている仮想視点のみに関して変更する速度を遅くしてもよい。
また、上記説明では、クリアランスソナー72を用いて車両9の周辺に存在する物体を検出していたが、画像認識やレーダなどの他の手法を用いて車両9の周辺に存在する物体を検出してもよい。
<10.第10の実施の形態>
次に、第10の実施の形態について説明する。第10の実施の形態の画像表示システム10の構成及び動作は、第9の実施の形態とほぼ同様であるため、以下、第9の実施の形態との相違点を中心に説明する。
第10の実施の形態の画像表示システム10は、第9の実施の形態と同様に物体検出装置7を備えており、車両9の周辺に存在する物体を検出する機能を有している。第10の実施の形態の画像表示システム10は、この物体の検出結果に応じて、周囲確認モードM2における表示装置3が第1画像CP1及び第2画像CP2を表示する表示機能の有効/無効を切り替える。
図32は、第10の実施の形態の周囲確認モードM2における画像表示システム10の動作の流れを示す図である。
動作モードが周囲確認モードM2となると、まず、物体検出装置7が車両9の周辺に存在する物体を検出する処理を実行する。そして、画像生成装置2の表示制御部20aが、この物体検出装置7の検出結果を取得する(ステップS21)。
物体検出装置7の検出結果に基づき物体が存在する場合は(ステップS22にてYes)、表示制御部20aは、表示装置3が第1画像CP1及び第2画像CP2を表示する表示機能を有効化する(ステップS23)。そして、処理は図13のステップS11へ進み、図13を用いて説明したように車両9の周辺の様子を示すアニメーションが行われる。この際、第9の実施の形態と同様に、第1仮想視点VP1及び第2仮想視点VP2のいずれかの視線の向きが物体に向く場合は、第1仮想視点VP1及び第2仮想視点VP2を変更する速度を遅くすることが望ましい。
一方、物体検出装置7の検出結果に基づき物体が存在しない場合は(ステップS22にてNo)、表示制御部20aは、表示装置3が第1画像CP1及び第2画像CP2を表示する表示機能を無効化する(ステップS24)。この場合は、車両9の周辺の様子を示すアニメーションが行われず、そのまま周囲確認モードM2における画像表示システム10の動作が終了する。
このように第10の実施の形態では、物体検出装置7が物体を検出した場合のみ、表示制御部20aが、表示装置3が第1画像CP1及び第2画像CP2を表示する表示機能を有効化する。このため、ユーザは、車両9の周辺に物体が存在することを意識して、車両9の周辺の様子を確認することができる。また、車両9の周辺に物体が存在しない場合は、周囲確認モードM2における画像表示システム10の動作時間を短くすることができる。
<11.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記第1ないし第4の実施の形態では、初期方向は車両9の前方としていたが車両9の後方としてもよい。また、上記第5ないし第8の実施の形態では、初期方向は車両9の左方としていたが車両9の右方としてもよい。初期方向を車両9の左方及び右方のいずれにするかは、車両9における運転席の位置に応じて決定することが望ましい。すなわち、右ハンドル車であれば車両9の左方を初期方向とし、左ハンドル車であれば車両9の右方を初期方向とすることが望ましい。このように運転席の位置の反対側となる方向を初期方向とすれば、ユーザ(主にドライバ)が、運転席から死角となる位置の車両9の周辺の様子を優先的に確認できる。
また、上記第1ないし第4の実施の形態では表示装置3が第1画像CP1と第2画像CP2とを左右に隣接して表示し、上記第5ないし第8の実施の形態では表示装置3が第1画像CP3と第2画像CP4とを上下に隣接して表示していたが、このような仮想視点画像の表示態様をユーザが選択できるようにしてもよい。
図33は、表示装置3に表示される設定画面30の一例を示す図である。このような設定画面30において、ユーザは、「一画面」ボタン32、「左右」ボタン33及び「上下」ボタン34のいずれかに触れることで、仮想視点画像の表示態様を選択できる。ユーザが、「左右」ボタン33に触れた場合は、第1ないし第4の実施の形態と同様に、表示装置3は第1画像CP1と第2画像CP2とを左右に隣接して表示する。一方、ユーザが、「上下」ボタン34に触れた場合は、第5ないし第8の実施の形態と同様に、表示装置3は第1画像CP3と第2画像CP4とを上下に隣接して表示する。また、ユーザが、「一画面」ボタン32に触れた場合は、図11と同様に一つの仮想視点の視線の向きが変更され、表示装置3は一つの仮想視点画像のみを表示する。
また、図33に示す設定画面30においては、ユーザは、スライダ35を操作して仮想視点を変更する速度を調整できる。これとともに、ユーザは、「前方」ボタン36、「後方」ボタン37、「左方」ボタン38及び「右方」ボタン39のいずれかに触れることで、初期方向を選択できる。なお、初期方向を選択するためのボタン36〜39は、ユーザが選択した表示態様に応じて、有効/無効を切り替えることが望ましい。
また、上記実施の形態の画像表示システム10は、車両9の周囲の全体を対象範囲として示すものであったが、車両9の周囲の一部の領域のみを対象範囲として示すものであってもよい。この場合においても、対象範囲において2つの仮想視点の視線の向きをそれぞれ互いに逆回りに変更し、これら2つの仮想視点に基づいて生成した第1画像及び第2画像を同時に表示することで、ユーザは対象範囲の様子を比較的短い時間で確認することができる。
また、上記第2の実施の形態では、視点制御部20bは、仮想視点VP1,VP2の位置を車両9の前後方向にのみ移動していた。これに対して、視点制御部20bは、仮想視点VP1,VP2の視線の向きに応じて、仮想視点VP1,VP2の位置を車両9の左右方向にのみ移動してもよい。また、上記第6の実施の形態では、視点制御部20bは、仮想視点VP3,VP4の位置を車両9の左右方向にのみ移動していた。これに対して、視点制御部20bは、仮想視点VP3,VP4の視線の向きに応じて、仮想視点VP3,VP4の位置を車両9の前後方向にのみ移動してもよい。
また、上記実施の形態では、第1生成部22a及び第2生成部22bはそれぞれ、4つのカメラ5の4つの撮影画像の全てを用いて仮想視点画像を生成しているが、4つの撮影画像のうちから選択される1以上3以下の撮影画像(少なくとも1つの撮影画像)を用いて仮想視点画像を生成してもよい。
また、上記実施の形態では、車両像90の車体底面以外に相当する部分は、透明あるいは半透明であるとしたが、非透明であってもよい。
また、上記実施の形態では、画像表示システム10は車両9に搭載される装置として説明したが、車両に持ち込んで使用可能なスマートフォンなどの可搬性のコンピュータであってもよい。
また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。
また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。
3 表示装置
7 物体検出装置
9 車両
10 画像表示システム
20b 視点制御部
22a 第1生成部
22b 第2生成部

Claims (10)

  1. 車両において用いられる画像表示システムであって、
    複数のカメラで得られた複数の撮影画像を取得する取得手段と、
    前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第1仮想視点からみた前記車両の周辺を示す第1画像を生成する第1生成手段と、
    前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第2仮想視点からみた前記車両の周辺を示す第2画像を生成する第2生成手段と、
    前記第1画像及び前記第2画像を同時に表示する表示手段と、
    前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ互いに逆回りに変更する変更手段と、
    を備えることを特徴とする画像表示システム。
  2. 請求項1に記載の画像表示システムにおいて、
    前記変更手段は、前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ、前記車両の第1方向から該第1方向の反対の第2方向まで変更することを特徴とする画像表示システム。
  3. 請求項1または2に記載の画像表示システムにおいて、
    前記変更手段は、前記第1仮想視点の視線の向きを前記車両の左方を経由して変更し、前記第2仮想視点の視線の向きを前記車両の右方を経由して変更し、
    前記表示手段は、相対的に左側の第1領域に前記第1画像を表示し、相対的に右側の第2領域に前記第2画像を表示することを特徴とする画像表示システム。
  4. 請求項1または2に記載の画像表示システムにおいて、
    前記変更手段は、前記第1仮想視点の視線の向きを前記車両の前方を経由して変更し、前記第2仮想視点の視線の向きを前記車両の後方を経由して変更し、
    前記表示手段は、相対的に上側の第1領域に前記第1画像を表示し、相対的に下側の第2領域に前記第2画像を表示することを特徴とする画像表示システム。
  5. 請求項3または4に記載の画像表示システムにおいて、
    前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとは、前記車両の中心線に関して互いに対称となることを特徴とする画像表示システム。
  6. 請求項1ないし5のいずれかに記載の画像表示システムにおいて、
    前記第1仮想視点の視線の向きに応じて前記第1仮想視点の位置を移動するとともに、前記第2仮想視点の視線の向きに応じて前記第2仮想視点の位置を移動する移動手段、
    をさらに備えることを特徴とする画像表示システム。
  7. 請求項1ないし6のいずれかに記載の画像表示システムにおいて、
    前記車両の周辺に存在する物体を検出する検出手段の検出結果を受信する受信手段、
    をさらに備え、
    前記変更手段は、前記第1仮想視点及び前記第2仮想視点のうちの一の仮想視点の視線の向きが前記物体に向く場合は、前記一の仮想視点の視線の向きが前記物体に向いていない場合と比較して、前記一の仮想視点を変更する速度を遅くすることを特徴とする画像表示システム。
  8. 請求項1ないし6のいずれかに記載の画像表示システムにおいて、
    前記車両の周辺に存在する物体を検出する検出手段の検出結果を受信する受信手段と、
    前記検出結果に基づき前記物体が存在する場合は前記表示手段が前記第1画像及び前記第2画像を表示する表示機能を有効化し、前記検出結果に基づき前記物体が存在しない場合は前記表示機能を無効化する制御手段と、
    をさらに備えることを特徴とする画像表示システム。
  9. 車両において用いられる画像表示方法であって、
    (a)複数のカメラで得られた複数の撮影画像を取得する工程と、
    (b)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第1仮想視点からみた前記車両の周辺を示す第1画像を生成する工程と、
    (c)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第2仮想視点からみた前記車両の周辺を示す第2画像を生成する工程と、
    (d)前記第1画像及び前記第2画像を同時に表示する工程と、
    (e)前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ互いに逆回りに変更する工程と、
    を備えることを特徴とする画像表示方法。
  10. 車両において用いられるコンピュータによって実行可能なプログラムであって、
    前記コンピュータに、
    (a)複数のカメラで得られた複数の撮影画像を取得する工程と、
    (b)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第1仮想視点からみた前記車両の周辺を示す第1画像を生成する工程と、
    (c)前記複数の撮影画像の少なくとも1つを用いて、前記車両の車室内にある第2仮想視点からみた前記車両の周辺を示す第2画像を生成する工程と、
    (d)前記第1画像及び前記第2画像を同時に表示する工程と、
    (e)前記第1仮想視点の視線の向きと前記第2仮想視点の視線の向きとをそれぞれ互いに逆回りに変更する工程と、
    を実行させることを特徴とするプログラム。
JP2013226161A 2013-09-19 2013-10-31 画像表示システム、画像表示方法及びプログラム Active JP6258000B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013226161A JP6258000B2 (ja) 2013-10-31 2013-10-31 画像表示システム、画像表示方法及びプログラム
US14/910,030 US9961259B2 (en) 2013-09-19 2014-08-25 Image generation device, image display system, image generation method and image display method
PCT/JP2014/072162 WO2015041005A1 (ja) 2013-09-19 2014-08-25 画像生成装置、画像表示システム、画像生成方法、および画像表示方法
DE112014004305.2T DE112014004305B4 (de) 2013-09-19 2014-08-25 Bildgenerierungsvorrichtung; Bildanzeigesystem; Bildgenerierungsverfahren und Bildanzeigeverfahren
CN201480051322.7A CN105556956B (zh) 2013-09-19 2014-08-25 图像生成装置、图像显示系统、图像生成方法以及图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013226161A JP6258000B2 (ja) 2013-10-31 2013-10-31 画像表示システム、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015088942A JP2015088942A (ja) 2015-05-07
JP6258000B2 true JP6258000B2 (ja) 2018-01-10

Family

ID=53051304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013226161A Active JP6258000B2 (ja) 2013-09-19 2013-10-31 画像表示システム、画像表示方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6258000B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
JP6665630B2 (ja) * 2016-03-30 2020-03-13 日産自動車株式会社 運転支援方法及び運転支援装置
JP7259914B2 (ja) * 2017-05-11 2023-04-18 株式会社アイシン 周辺監視装置
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5047650B2 (ja) * 2007-03-06 2012-10-10 クラリオン株式会社 車載カメラシステム
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5251804B2 (ja) * 2009-09-18 2013-07-31 三菱自動車工業株式会社 運転支援装置

Also Published As

Publication number Publication date
JP2015088942A (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
CN105556956B (zh) 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
JP5911775B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
US9479740B2 (en) Image generating apparatus
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6275396B2 (ja) 仮想カメラを対話形式で制御するシステムおよび方法
US20140114534A1 (en) Dynamic rearview mirror display features
JP6699370B2 (ja) 車両用画像処理装置
JP5622986B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
JP5669791B2 (ja) 移動体の周辺画像表示装置
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
US20120249796A1 (en) Image processing device, image processing system, and image processing method
JP2011004201A (ja) 周辺表示装置
US9162621B2 (en) Parking support apparatus
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP4927514B2 (ja) 運転支援装置
JP5977130B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP7135378B2 (ja) 周辺監視装置
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP6625157B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2019074850A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171206

R150 Certificate of patent or registration of utility model

Ref document number: 6258000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250