JP7443749B2 - 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 - Google Patents
画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 Download PDFInfo
- Publication number
- JP7443749B2 JP7443749B2 JP2019229157A JP2019229157A JP7443749B2 JP 7443749 B2 JP7443749 B2 JP 7443749B2 JP 2019229157 A JP2019229157 A JP 2019229157A JP 2019229157 A JP2019229157 A JP 2019229157A JP 7443749 B2 JP7443749 B2 JP 7443749B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- omnidirectional
- user
- chair
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 34
- 230000001133 acceleration Effects 0.000 claims description 88
- 238000001514 detection method Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法に関する。
全方位カメラ(360度カメラ)で撮影した上下左右全方位の画像をヘッドマウントディスプレイで表示するバーチャル・リアリティ画像表示システムが急速に普及している。以下、バーチャル・リアリティをVRと略記することがある。
特許文献1には、全方位カメラで撮影した画像の水平面を検出して、画像の傾きを補正することが記載されている。全方位カメラは、撮影した画像の水平面を検出して水平面を示す補助情報を画像信号に付加して出力することがある。
ところが、撮影した画像によっては画像の水平面を正しく検出することができず、画像信号に誤った補助情報を付加することがある。画像の水平面を3軸のセンサによって検出する場合においても、誤検出された水平面を示す補助情報が生成されることがある。VR画像表示システムが全方位カメラで撮影された全方位画像を表示するとき、画像信号に誤った補助情報が付加されていると、ヘッドマウントディスプレイのユーザが感じる重力方向と全方位画像の天頂が位置する方向とがずれるため、ユーザは違和感を覚える。
また、全方位カメラが移動しながら全方位画像を生成するとき、全方位カメラが撮影する被写体の前方とユーザが前方を向いているときにヘッドマウントディスプレイに表示される画像とを対応付ける必要がある。
本発明は、全方位カメラで撮影されてヘッドマウントディスプレイで表示される全方位画像の水平面の傾きを簡単に補正することができ、全方位カメラが撮影する被写体の前方とユーザが前方を向いているときにヘッドマウントディスプレイに表示される領域画像とを自動的に対応付けることができる画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法を提供することを目的とする。
本発明は、球状画像を生成する画像生成部と、前記球状画像を、移動体に配置されている全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像または全方位画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、前記領域画像抽出部によって抽出された前記重畳画像の領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、前記移動体が移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出する消失点検出部と、前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、前記移動体が左折したときには、前記ヘッドマウントディスプレイに供給する領域画像を右方向に所定の角度だけ傾け、前記移動体が右折したときには、前記ヘッドマウントディスプレイに供給する領域画像を左方向に所定の角度だけ傾ける画像傾け部とを備える画像調整装置を提供する。
本発明は、移動体に配置されている全方位カメラが被写体を撮影した全方位画像の画像データと、前記移動体または前記全方位カメラに取り付けられている加速度センサが検出した加速度検出信号とを画像送信サーバから受信する通信部と、ユーザの頭部に装着されて、前記全方位画像を前記ユーザに見せるヘッドマウントディスプレイと、前記ユーザによって操作されるコントローラと、前記ユーザが座る椅子と、球状画像を生成する画像生成部と、前記球状画像を前記全方位画像に重畳して重畳画像を生成する画像重畳部と、前記重畳画像または前記全方位画像のうち、前記ユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、前記ユーザが前記椅子に座った状態で、前記ユーザが前記コントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、前記全方位カメラが移動して前記全方位画像が変化しているとき、前記全方位画像の消失点を検出する消失点検出部と、前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、前記加速度検出信号が、前記移動体が左折していることを示すとき、前記椅子を所定の角度だけ右方向に傾け、前記加速度検出信号が、前記移動体が右折していることを示すとき、前記椅子を所定の角度だけ左方向に傾ける椅子制御部とを備えるバーチャル・リアリティ画像表示システムを提供する。
本発明は、球状画像を生成し、前記球状画像を移動体に配置されている全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像または全方位画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給し、抽出された前記重畳画像の領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正し、前記移動体が移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出し、前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を補正された水平面を維持しながら回転させ、前記移動体が左折したときには、前記ヘッドマウントディスプレイに供給する領域画像を右方向に所定の角度だけ傾け、前記移動体が右折したときには、前記ヘッドマウントディスプレイに供給する領域画像を左方向に所定の角度だけ傾ける画像調整方法を提供する。
本発明の画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法によれば、全方位カメラで撮影されてヘッドマウントディスプレイで表示される画像の水平面の傾きを簡単に補正することができ、全方位カメラが撮影する被写体の前方とユーザが前方を向いているときにヘッドマウントディスプレイに表示される画像とを自動的に対応付けることができる。
以下、各実施形態の画像調整装置、バーチャル・リアリティ画像表示システム、画像調整方法、及びバーチャル・リアリティ画像表示システムの制御方法について、添付図面を参照して説明する。
<第1実施形態>
図1において、通信部11には、全方位カメラ12と3軸の加速度センサ13が接続されている。図2に示すように、全方位カメラ12は、一例として、車両10のダッシュボード上に配置されている。図3に示すように、全方位カメラ12は、図2に示す配置状態において、車両10の前方を撮影する左目用魚眼レンズ12FL及び右目用魚眼レンズ12FRと、車両10の後方を撮影する左目用魚眼レンズ12RL及び右目用魚眼レンズ12RRとを備える。
図1において、通信部11には、全方位カメラ12と3軸の加速度センサ13が接続されている。図2に示すように、全方位カメラ12は、一例として、車両10のダッシュボード上に配置されている。図3に示すように、全方位カメラ12は、図2に示す配置状態において、車両10の前方を撮影する左目用魚眼レンズ12FL及び右目用魚眼レンズ12FRと、車両10の後方を撮影する左目用魚眼レンズ12RL及び右目用魚眼レンズ12RRとを備える。
全方位カメラ12は運転者の正面に配置されていてもよい。全方位カメラ12は車両10の内部に限定されず、車両10の外部、例えばルーフ上に配置されていてもよい。全方位カメラ12は車両10等の任意の移動体の任意の位置に配置されており、相対的に移動する被写体を撮影すればよい。
図3に示すように、全方位カメラ12の筐体には加速度センサ13が取り付けられている。加速度センサ13は筐体の内部に配置されていてもよい。加速度センサ13は、全方位カメラ12が取り付けられている移動体に取り付けられていてもよい。全方位カメラ12は、筐体の内部に、撮像素子及び映像信号処理回路等の構成を備える。全方位カメラ12は、左目用画像信号及び右目用画像信号を生成する。これにより、全方位カメラ12は3次元(3D)表示用の全方位画像データを生成する。
全方位カメラ12は、撮影した画像に基づいて画像の水平面を検出して水平面を示す補助情報を全方位画像データに付加して出力する。全方位カメラ12は、3軸のセンサを用いて画像の水平面を検出してもよい。全方位カメラ12は、水平面を示す補助情報を生成しなくてもよい。
図1に戻り、通信部11は、全方位カメラ12が生成した全方位画像データと、加速度センサ13が加速度を検出した加速度検出信号とを、ネットワーク20を介して画像送信サーバ31に供給する。全方位画像データには補助情報が付加されているが、単に全方位画像データと称することとする。典型的には、ネットワーク20はインターネットである。
メモリ32は、画像送信サーバ31に供給された全方位画像データ及び加速度検出信号を一時的に記憶する。画像送信サーバ31は、全方位カメラ12が生成した全方位画像データの配信を受けるクライアント側に配置されているVR画像表示システム40に、ネットワーク20を介して全方位画像データ及び加速度検出信号を送信する。
VR画像表示システム40は、通信部41、制御部42、画像生成部43、ヘッドマウントディスプレイ44、グローブ型コントローラ45、VR用椅子46、操作部47を備える。制御部42は画像処理部420を備える。少なくとも画像生成部43及び画像処理部420は画像調整装置を構成する。図4に示すように、第1実施形態における画像処理部420は、画像重畳部421、画像回転部422、消失点検出部423、前方設定部424、領域画像抽出部425を備える。
制御部42はマイクロコンピュータまたはマイクロプロセッサで構成されていてもよいし、マイクロコンピュータが備える中央処理装置(CPU)であってもよい。図4に示すように構成された画像処理部420は、CPUがコンピュータプログラムを実行することによって実現されてもよい。画像処理部420の少なくとも一部がハードウェアの回路によって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意である。
図5に示すように、画像送信サーバ31より送信された全方位画像データが示す全方位画像を見るユーザUsは、VR用椅子46に座った状態で頭部にヘッドマウントディスプレイ44を装着し、両手にグローブ型コントローラ45を装着している。
VR用椅子46は、基準の状態において、座面が所定の高さで水平に調整されている。この状態をVR用椅子46の基準の高さ及び基準の角度とする。VR用椅子46はシートベルト461を備え、ユーザUsはシートベルト461を締めている。ユーザUsがシートベルト461を締めているとき、制御部42には締めていることを示す信号が供給される。シートベルト461は安全装置の一例である。
通信部41はネットワーク20を介して画像送信サーバ31と通信して、画像送信サーバ31より送信された全方位画像データ及び加速度検出信号を受信する。通信部41は、全方位画像データ及び加速度検出信号を制御部42に供給する。画像生成部43は、操作部47によって球状画像データの出力が指示されたとき、コンピュータグラフィックスよりなる球状画像データを生成して制御部42に供給する。
図4において、画像重畳部421には、画像送信サーバ31より送信された全方位画像データと、画像生成部43によって生成された球状画像データとが入力される。画像重畳部421は、全方位画像データに球状画像データに重畳して重畳画像データを生成する。
重畳画像データは、画像回転部422及び前方設定部424を介して領域画像抽出部425に供給される。領域画像抽出部425には、ヘッドマウントディスプレイ44からヘッドマウントディスプレイ44(ユーザUsの顔)が向いている方向を示す方向情報が入力される。領域画像抽出部425は、入力された方向情報に基づき、重畳画像データまたは全方位画像データのうち、ユーザUsの顔が向いている方向に対応する領域画像データを抽出して、抽出した領域画像データをヘッドマウントディスプレイ44に供給する。
画像重畳部421は、全方位画像データに付加されている補助情報に基づいて全方位画像データの水平面を設定して、全方位画像データに球状画像データを重畳する。全方位画像データに補助情報が付加されていない場合には、画像処理部420は画像の水平面を検出して全方位画像データの水平面を設定すればよい。
図6は、球状画像データが示す球状画像VSSを概念的に示している。一例として、球状画像VSSは、複数の緯度を示す線画像及び複数の経度を示す線画像によって形成されている。ユーザUsのほぼ上半身は仮想的に球状画像VSSの内部に位置している。球状画像VSSはユーザUsの手が届く距離に位置するように表示されている。ユーザUsが図6では図示が省略されている全方位画像を見たとき、補助情報が誤っていたり、画像処理部420が水平面を誤って検出したりすると、全方位画像の天頂と球状画像VSSの天頂ZEとが一致せず、ユーザUsは違和感を覚える。
そこで、画像処理部420は、全方位画像の水平面の傾きを補正して、全方位画像の天頂と球状画像VSSの天頂ZEとを一致させるよう構成されている。図6において、球状画像VSSはユーザUsの手が届く距離に位置するように表示されている。グローブ型コントローラ45を手に装着したユーザUsは、手を伸ばすことによって球状画像VSSに触れている感覚を得ることができる。
グローブ型コントローラ45は、手が接触する内面にアクチュエータを備えるのがよい。制御部42が、グローブ型コントローラ45が球状画像VSSに触れる位置となるとアクチュエータを作動させるよう制御すれば、ユーザUsに球状画像VSSに触れている実感を与えることができる。
ユーザUsがグローブ型コントローラ45によって球状画像VSSに触れながら球状画像VSSを任意の方向に回転させると、画像回転部422には、グローブ型コントローラ45より出力された回転操作情報が入力される。画像回転部422は、回転操作情報に応答して全方位画像を回転させる。これによって、ユーザUsは全方位画像の水平面の傾きを簡単に補正することができる。結果として、全方位画像の天頂と球状画像VSSの天頂ZEとが一致し、ユーザUsが覚える違和感を解消することができる。画像回転部422は水平面の傾きの補正値を保持する。
水平面の補正後、ユーザUsは操作部47を操作して球状画像VSSを非表示とするのがよい。水平面の補正後、ユーザUsはグローブ型コントローラ45を外してもよい。
以上の全方位画像の水平面の補正は、車両10が停止している状態で可能である。水平面を補正しただけでは、ユーザUsは、全方位画像のどの方向が全方位カメラ12が撮影している被写体の前方であるかを認識することができない。
車両10が動き出すと、仮にユーザUsが前方を向いていて全方位画像の前方の領域画像データがヘッドマウントディスプレイ44に供給されるとすると、ユーザUsは、図7に示すように、消失点Vpを中心として景色が放射状に広がっていく領域画像44iを見る。全方位画像の前方が特定されていない状態では、消失点Vpが領域画像44i内に位置するとは限らない。
消失点検出部423は、少なくとも2フレームの画像に基づいてフレーム間の動きベクトルMVを検出する。消失点検出部423は、複数の動きベクトルMVを動きのマイナス方向に延長した交差する点を消失点Vpと検出する。消失点検出部423は、消失点Vpを検出する際に、左目用画像信号と右目用画像信号とのいずれを用いてもよい。
前方設定部424は、消失点検出部423が検出した消失点Vpに基づいて、全方位カメラ12が撮影している被写体の前方に対応する全方位画像の前方を特定する。前方設定部424は、全方位画像の前方とユーザUsが前方を向いているときに抽出された領域画像44iとを対応付けるように、全方位画像を補正された水平面を維持しながら回転させる。前方設定部424は、ユーザUsの顔が向いている正面に消失点Vpが位置するように全方位画像を回転させるのがよい。
このようにして、全方位画像の前方とユーザUsが前方を向いているときにヘッドマウントディスプレイ44に表示される領域画像44iとを自動的に対応付けることができる。なお、球状画像VSSをグローブ型コントローラ45によって回転させて、手動で前方を設定することも可能である。
VR用椅子46は、水平面内で回転自在で、左右方向及び前後方向に傾けることができ、高さを変化させることができるように構成されている。制御部42には、VR用椅子46の水平面内の回転角度、左右方向の傾き角度、前後方向の傾き角度、上下方向の位置情報が供給される。
前方設定部424は、消失点VpをVR用椅子46の水平面内の回転角度の方向に位置するように全方位画像を回転させてもよい。VR用椅子46の回転角度の方向はユーザUsが向いている前方と等価である。よって、消失点VpをVR用椅子46の回転角度の方向に位置するように全方位画像を回転させても、全方位画像の前方とユーザUsが前方を向いているときの領域画像44iとを対応付けることができる。
図8に示すフローチャートを用いて、第1実施形態で実行される処理を説明する。図7において、処理が開始されると、画像回転部422は、ステップS11にて、ユーザUsがVR用椅子46の水平の座面に座っている状態で、グローブ型コントローラ45によって球状画像VSSを回転させて全方位画像の水平面の傾きを補正する。画像処理部420(消失点検出部423)は、ステップS12にて、画像が変化しているか否かを判定する。画像が変化していなければ(NO)、画像処理部420はステップS12の処理を繰り返す。
ステップS12にて画像が変化していれば(YES)、車両10が移動しているということであり、消失点検出部423は、ステップS13にて、消失点Vpを検出する。前方設定部424は、ステップS14にて、消失点Vpが、ユーザUsが前方を向いているときに抽出された領域画像44i内に位置するように、全方位画像を水平面を維持しながら回転させて、処理を終了させる。
以上説明した第1実施形態によれば、全方位カメラ12で撮影されてヘッドマウントディスプレイ44で表示される全方位画像の水平面の傾きを簡単に補正することができる。また、第1実施形態によれば、全方位画像の前方とユーザUsが前方を向いているときにヘッドマウントディスプレイ44に表示される領域画像44iとを自動的に対応付けることができる。
<第2実施形態>
第2実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。
第2実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。
図9に示すように、制御部42は、椅子制御部第6実施形態においては、及びモード設定部4202を備える。制御部42が備える画像処理部420は、領域画像抽出部425より出力された領域画像データが供給される画像傾け部426を備える。領域画像抽出部425、画像傾け部426、及び椅子制御部4201には、加速度検出信号が入力される。なお、第2実施形態においては、領域画像抽出部425に加速度検出信号を入力しなくてもよい。
図10Aは、車両10が直進している状態で加速度センサ13が重力加速度の方向である角度θ0を検出しているときに、ユーザUsが領域画像44iを見ている状態を概念的に示している。ここでは、VR用椅子46の背もたれを省略して水平に調整された座面のみを示している。
図10Bに示すように、車両10が左折して加速度センサ13が左方向の所定の角度θ1を検出すると、椅子制御部4201は、VR用椅子46を右方向に所定の角度θ2だけ傾けるようVR用椅子46を制御する。これに合わせて、画像傾け部426は領域画像抽出部425より出力された領域画像44iを右方向に所定の角度θ3だけ傾ける。
車両10が右折した場合には、加速度センサ13は右方向の所定の角度θ1を検出するので、椅子制御部4201は、VR用椅子46を左方向に角度θ2だけ傾けるようVR用椅子46を制御し、画像傾け部426は領域画像44iを左方向に所定の角度θ3だけ傾ければよい。
角度θ2は角度θ1と同じ角度であってもよいし、異なる角度であってもよい。角度θ3は角度θ1と同じ角度であってもよいし、異なる角度であってもよい。角度θ2と角度θ3は同じ角度であってもよいし、異なる角度であってもよい。
ユーザUsにユーザUsが車両10に乗っているような臨場感を与えたいだけであれば、角度θ2及び角度θ3は角度θ1以下でよい。ユーザUsが車両10に乗っているような臨場感を与えるモードを通常モードとする。ユーザUsに車両10の動きを強調した臨場感を与えたい場合には、角度θ2及び角度θ3を角度θ1より大きくするのがよい。ユーザUsに車両10の動きを強調した臨場感を与えるモードを増強モードとする。
モード設定部4202には、操作部47によってユーザUsが設定した通常モードまたは増強モードが予め設定されている。
図11に示すフローチャートを用いて、第2実施形態で実行される処理を説明する。図11において、制御部42は、処理が開始されると、ステップS21にて、加速度センサ13が角度θ1を検出したか否かを判定する。加速度センサ13が角度θ1を検出しなければ(NO)、制御部42はステップS21の処理を繰り返す。加速度センサ13が角度θ1を検出すれば(YES)、制御部42(モード設定部4202)は、ステップS22にて、通常モードに設定されているか否かを判定する。
ステップS22にて通常モードに設定されていれば(YES)、ステップS23にて、椅子制御部4201はVR用椅子46を右方向または左方向にθ1≧θ2なる角度θ2だけ傾け、画像傾け部426は領域画像44iを右方向または左方向にθ1≧θ3なる角度θ3だけ傾ける。
ステップS22にて通常モードに設定されていなければ(NO)、増強モードに設定されているということである。ステップS24にて、椅子制御部4201はVR用椅子46を右方向または左方向にθ1<θ2なる角度θ2だけ傾け、画像傾け部426は領域画像44iを右方向または左方向にθ1<θ3なる角度θ3だけ傾ける。
制御部42は、ステップS23またはS24に続けてステップS25にて、加速度センサ13が角度θ0を検出したか否かを判定する。加速度センサ13が角度θ0を検出しなければ(NO)、制御部42または画像処理部420はステップS22~S25の処理を繰り返す。加速度センサ13が角度θ0を検出すれば(YES)、ステップS26にて、椅子制御部4201はVR用椅子46の角度を0に戻し、画像傾け部426は領域画像44iの角度を0に戻す。
制御部42は、ステップS27にて、画像送信サーバ31からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ(NO)、制御部42または画像処理部420はステップS21~S27の処理を繰り返す。画像データの受信を終了すれば(YES)、制御部42は処理を終了させる。
以上説明した第2実施形態によれば、第1実施形態が奏する効果に加えて、ユーザUsに、車両10が右折または左折したときに車両10の乗員が覚える感覚に相当する臨場感を与えることができる。通常モードと増強モードの2つのモードを選択可能とすることにより、ユーザUsが単に車両10に乗っているような臨場感を得たいか、車両10の動きを強調したより強い臨場感を得たいかをユーザUsの好みに応じて設定することができる。
なお、第2実施形態において、領域画像44iを傾けず、VR用椅子46のみを傾けてもよい。勿論、VR用椅子46を傾けるのに対応して、領域画像44iを傾けることが好ましい。
<第3実施形態>
第3実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、第2実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第3実施形態における制御部42の構成は図9と同じであってもよいが、モード設定部4202と画像傾け部426は省略可能である。
第3実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、第2実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第3実施形態における制御部42の構成は図9と同じであってもよいが、モード設定部4202と画像傾け部426は省略可能である。
図12Aに示すように、前方に走行している車両10が加速し、加速度センサ13が前方の角度θ4を検出すると、椅子制御部4201は、VR用椅子46を後方に所定の角度θ5だけ傾けるようVR用椅子46を制御する。これに合わせて、領域画像抽出部425は、角度θ5だけ傾ける前に抽出していた二点鎖線で示す領域画像44iから上方に所定の角度θ7だけ回転させた領域画像44iを抽出してヘッドマウントディスプレイ44に供給する。
図12Bに示すように、前方に走行している車両10が減速し、加速度センサ13が後方の角度θ4を検出すると、椅子制御部4201は、VR用椅子46を前方に所定の角度θ6だけ傾けるようVR用椅子46を制御する。これに合わせて、領域画像抽出部425は、角度θ6だけ傾ける前に抽出していた二点鎖線で示す領域画像44iから下方に所定の角度θ8だけ回転させた領域画像44iを抽出してヘッドマウントディスプレイ44に供給する。
角度θ5は角度θ4と同じ角度であってもよいし、角度θ4と異なる角度であってもよい。角度θ7は角度θ5と同じ角度であってもよいし、角度θ5と異なる角度であってもよい。角度θ6は角度θ4と同じ角度であってもよいし、角度θ4と異なる角度であってもよい。角度θ8は角度θ6と同じ角度であってもよいし、角度θ6と異なる角度であってもよい。
前方と後方の角度θ4が同じであったとしても、角度θ6を角度θ5より小さくすることが好ましい。VR用椅子46を後方に傾けるよりも前方に傾ける方がユーザUsは恐怖心を抱きやすい。そこで、角度θ6は角度θ5に1未満の値を乗算した角度とするのがよい。例えば、角度θ6を0.8×角度θ5とする。
図13に示すフローチャートを用いて、第3実施形態で実行される処理を説明する。図13において、制御部42は、処理が開始されると、ステップS31にて、加速度センサ13が前方の角度θ4を検出したか否かを判定する。加速度センサ13が前方の角度θ4を検出しなければ(NO)、制御部42は、ステップS32にて、加速度センサ13が後方の角度θ4を検出したか否かを判定する。なお、前方の角度θ4と後方の角度θ4とは必ずしも同じ角度ではなく、それぞれ任意の角度である。
加速度センサ13が後方の角度θ4を検出しなければ(NO)、制御部42はステップS31及びS32の処理を繰り返す。
ステップS31にて加速度センサ13が前方の角度θ4を検出すれば(YES)、ステップS33にて、椅子制御部4201はVR用椅子46を後方に角度θ5だけ傾け、領域画像抽出部425は上方に角度θ7だけ回転させた領域画像44iを抽出する。ステップS32にて加速度センサ13が後方の角度θ4を検出すれば(YES)、ステップS34にて、椅子制御部4201はVR用椅子46を前方に角度θ6だけ傾け、領域画像抽出部425は下方に角度θ8だけ回転させた領域画像44iを抽出する。
制御部42は、ステップS33またはS34に続けてステップS35にて、加速度センサ13が前方または後方の角度が0となったか否かを判定する。加速度センサ13が角度0を検出しなければ(NO)、制御部42または画像処理部420はステップS31~S35の処理を繰り返す。加速度センサ13が角度0を検出すれば(YES)、ステップS36にて、椅子制御部4201はVR用椅子46の前方または後方の角度を0に戻し、領域画像抽出部425は元の角度の領域画像44iを抽出する。
制御部42は、ステップS37にて、画像送信サーバ31からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ(NO)、制御部42または画像処理部420はステップS31~S37の処理を繰り返す。画像データの受信を終了すれば(YES)、制御部42は処理を終了させる。
以上説明した第3実施形態によれば、第1実施形態が奏する効果に加えて、ユーザUsに、車両10が加速または減速したときに車両10の乗員が覚える感覚に相当する臨場感を与えることができる。なお、第3実施形態において、領域画像44iを回転させず、VR用椅子46のみを傾けてもよい。勿論、VR用椅子46を傾けるのに対応して、領域画像44iを回転させることが好ましい。
<第4実施形態>
第4実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第2及び第3実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。図14に示すように、制御部42は椅子制御部4201を備える。制御部42が備える画像処理部420は、図3と同じ構成である。
第4実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第2及び第3実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。図14に示すように、制御部42は椅子制御部4201を備える。制御部42が備える画像処理部420は、図3と同じ構成である。
図15に示すように、第4実施形態においては、道路R0を走行している車両10が上り坂R1を走行し、上り坂R1と道路R2との境界の段差R12から飛び出した場合を想定している。このとき、段差R12から飛び出した車両10は弾道軌道Btを描いて道路R2に着地してさらに走行する。道路R0を走行している車両10が加速度10aで加速しているとすると、加速度センサ13が検出する加速度は、加速度10aの2乗と重力加速度Gの2乗との和の平方根となるから、重力加速度G以上となる。
車両10が段差R12から飛び出して弾道軌道Btを描いている最中は、加速度センサ13が検出する加速度は0または極めて小さな値となる。よって、加速度センサ13が検出する加速度が重力加速度G以上の所定の値から急激に低下したタイミングは、車両10が弾道軌道Btでの進行を開始したタイミングであると判定できる。また、車両10が道路R2に着地すると、加速度センサ13は重力加速度G以上の加速度を検出する。よって、加速度センサ13が検出する加速度が0または極めて小さな値から急激に上昇したタイミングは、車両10が弾道軌道Btでの進行を終了したタイミングであると判定できる。
車両10が道路R0及び上り坂R1を走行しているとき、VR用椅子46の高さは基準の高さにある。椅子制御部4201は、入力される加速度検出信号が所定の値から急激に低下すると、VR用椅子46を短時間に所定の高さだけ下げ、その後、徐々に基準の高さに戻すようVR用椅子46を制御する。また、椅子制御部4201は、入力される加速度検出信号が0または極めて小さな値から急激に上昇すると、VR用椅子46を短時間に所定の高さだけ上げ、その後、徐々に基準の高さに戻すようVR用椅子46を制御する。
図16示すフローチャートを用いて、第4施形態で実行される処理を説明する。図16おいて、制御部42は、処理が開始されると、ステップS41にて、弾道軌道Btの開始を検出したか否かを判定する。弾道軌道Btの開始を検出しなければ(NO)、制御部42はステップS41の処理を繰り返す。弾道軌道Btの開始を検出すれば(YES)、椅子制御部4201は、ステップS42にてVR用椅子46を第1の時間で下げ、ステップS43にてVR用椅子46を第1の時間より長い第2の時間で上げる。
続けて、制御部42は、ステップS44にて、弾道軌道Btの終了を検出したか否かを判定する。弾道軌道Btの終了を検出しなければ(NO)、制御部42はステップS44の処理を繰り返す。弾道軌道Btの終了を検出すれば(YES)、椅子制御部4201は、ステップS45にてVR用椅子46を第1の時間で上げ、ステップS46にてVR用椅子46を第2の時間で下げる。
ステップS45における第1の時間はステップS42における第1の時間と同じ時間でなくてもよい。ステップS46における第2の時間はステップS43における第2の時間と同じ時間でなくてもよい。
制御部42は、ステップS47にて、画像送信サーバ31からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ(NO)、制御部42(椅子制御部4201)はステップS41~S47の処理を繰り返す。画像データの受信を終了すれば(YES)、制御部42は処理を終了させる。
以上説明した第4実施形態によれば、第1実施形態が奏する効果に加えて、ユーザUsに、車両10が弾道軌道Btを描くように進行したときに車両10の乗員が覚える感覚に相当する臨場感を与えることができる。
<第5実施形態>
第5実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第4実施形態とは異なる方法で、ユーザUsに、車両10が弾道軌道Btを描くように進行したときに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第5実施形態における制御部42の構成は図14と同じである。
第5実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第4実施形態とは異なる方法で、ユーザUsに、車両10が弾道軌道Btを描くように進行したときに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第5実施形態における制御部42の構成は図14と同じである。
図17において、車両10が道路R0及び上り坂R1を走行しているとき、VR用椅子46の基準の角度となっている。椅子制御部4201は、入力される加速度検出信号が所定の値から急激に低下すると、VR用椅子46を後方に角度θ9だけ傾けるようVR用椅子46を制御する。
加速度センサ13が検出する加速度は弾道軌道BtのピークBtpにおいて最小となる。椅子制御部4201は、加速度センサ13が検出する加速度は最小となると、VR用椅子46を前方に角度θ10だけ傾けるようVR用椅子46を制御する。弾道軌道BtのピークBtpを過ぎないとピークBtpであることは検出できないため、後方に傾けられているVR用椅子46が前方への回転を開始するタイミングは車両10がピークBtpを過ぎた後となる。
椅子制御部4201は、車両10が道路R2に着地して加速度検出信号が急激に上昇すると、VR用椅子46の前後方向の角度を基準の角度に戻すようVR用椅子46を制御する。
図18示すフローチャートを用いて、第5施形態で実行される処理を説明する。図18おいて、制御部42は、処理が開始されると、ステップS51にて、弾道軌道Btの開始を検出したか否かを判定する。弾道軌道Btの開始を検出しなければ(NO)、制御部42はステップS51の処理を繰り返す。弾道軌道Btの開始を検出すれば(YES)、椅子制御部4201は、ステップS52にてVR用椅子46を後方に角度θ9だけ傾ける。
制御部42は、ステップS53にて、車両10が弾道軌道BtのピークBtpに到達したか否かを判定する。車両10がピークBtpに到達していなければ(NO)、椅子制御部4201はステップS52の処理を繰り返す。車両10がピークBtpに到達していれば(YES)、椅子制御部4201は、ステップS54にてVR用椅子46を前方に角度θ10だけ傾ける。
続けて、制御部42は、ステップS55にて、弾道軌道Btの終了を検出したか否かを判定する。弾道軌道Btの終了を検出しなければ(NO)、制御部42(椅子制御部4201)はステップS54及びS55の処理を繰り返す。弾道軌道Btの終了を検出すれば(YES)、椅子制御部4201は、ステップS56にて、VR用椅子46の前後方向の角度を基準の角度に戻す。
制御部42は、ステップS57にて、画像送信サーバ31からの画像データの受信を終了するか否かを判定する。画像データの受信を終了しなければ(NO)、制御部42(椅子制御部4201)はステップS51~S57の処理を繰り返す。画像データの受信を終了すれば(YES)、制御部42は処理を終了させる。
以上説明した第5実施形態によれば、第1実施形態が奏する効果に加えて、ユーザUsに、第4実施形態とは異なる方法で、車両10が弾道軌道Btを描くように進行したときに乗員が覚える感覚に相当する臨場感を与えることができる。
<第6実施形態>
第2、第3、及び第5実施形態において、加速度センサ13が検出した加速度に応じて角度θ2、θ3、θ5~θ10が設定される。車両10が異常な走行をしたり、事故が発生したりした場合には、加速度センサ13が異常な加速度を検出することがある。この場合には、加速度センサ13が検出した加速度に応じた角度θ2、θ3、θ5~θ10を設定することは好ましくない。
第2、第3、及び第5実施形態において、加速度センサ13が検出した加速度に応じて角度θ2、θ3、θ5~θ10が設定される。車両10が異常な走行をしたり、事故が発生したりした場合には、加速度センサ13が異常な加速度を検出することがある。この場合には、加速度センサ13が検出した加速度に応じた角度θ2、θ3、θ5~θ10を設定することは好ましくない。
そこで、第6実施形態においては、第2、第3、及び第5実施形態の構成において、図19のフローチャートで示す処理を実行する。図19において、制御部42は、ステップS61にて、角度θ2、θ3、θ5~θ10のうちのいずれかを計算したか否かを判定する。制御部42には、予め角度θ2、θ3、θ5~θ10の上限値が設定されている。制御部42は、ステップS62にて、ステップS61で計算した角度が上限値以内であるか否かを判定する。
ステップS61で計算した角度が上限値以内であれば(YES)、制御部42は、ステップS63にて、計算値を採用して処理を終了させる。ステップS61で計算した角度が上限値以内でなければ(NO)、制御部42は、ステップS64にて、角度を上限値に制限して処理を終了させる。
ここでは角度θ2、θ3、θ5~θ10の上限値を設定しているが、角度の上限値に加えて角速度の上限値を設定して、角速度の上限値以内に制限してもよい。特に、VR用椅子46を左右方向または前後方向に傾ける際の角速度は上限値以内とするのがよい。
図19のステップS62で使用される上限値は、ユーザUsがシートベルト461等の安全装置を装着しているか否かによって値を異ならせてもよい。図20のフローチャートで示すように、制御部42は、ステップS65にて、ユーザUsが安全装置を装着しているか否かを判定する。ユーザUsが安全装置を装着していれば(YES)、制御部42は、ステップS66にて、第1の上限値を設定して処理を終了させる。
ステップS65にてユーザUsが安全装置を装着していなければ(NO)、制御部42は、ステップS67にて、第1の上限値より小さい第2の上限値を設定して処理を終了させる。
以上のように、第6実施形態においては、椅子制御部4201は、加速度検出信号に応じてVR用椅子46を左右方向または前後方向に傾けるよう制御する。椅子制御部4201は、加速度検出信号に応じて計算したVR用椅子46を傾ける角度の計算値が所定の上限値以内であれば前記椅子をその計算値で傾け、計算値が上限値を超えればVR用椅子46を上限値で傾けるよう制御する。
具体的には、椅子制御部4201は、加速度検出信号が、移動体が左折していることを示すとき、VR用椅子46を右方向に所定の角度だけ傾け、加速度検出信号が、移動体が右折していることを示すとき、VR用椅子46を左方向に所定の角度だけ傾けるよう制御する。
これに合わせて、画像傾け部426は、加速度検出信号が、移動体が左折していることを示すとき、ヘッドマウントディスプレイ44に供給する領域画像44iを右方向に所定の角度だけ傾けるのがよい。画像傾け部426は、加速度検出信号が、移動体が右折していることを示すとき、ヘッドマウントディスプレイ44に供給する領域画像44iを左方向に所定の角度だけ傾けるのがよい。
このとき、加速度検出信号に応じて計算した領域画像44iを傾ける角度の計算値が所定の上限値以内であれば領域画像44iをその計算値で傾け、計算値が上限値を超えれば領域画像44iを上限値で傾けるよう制御するのがよい。
椅子制御部4201は、加速度検出信号が、前方に移動している移動体が加速していることを示すとき、VR用椅子46を後方に所定の角度だけ傾けるのがよい。椅子制御部4201は、加速度検出信号が、前方に移動している移動体が減速していることを示すとき、VR用椅子46を所定の前方に角度だけ傾けるのがよい。
これに合わせて、領域画像抽出部425は、加速度検出信号が、前方に移動している移動体が加速したことを示すとき、上方に所定の角度だけ回転させた領域画像44iを抽出してヘッドマウントディスプレイ44に供給するのがよい。領域画像抽出部425は、前方に移動している移動体が減速したことを示すとき、下方に所定の角度だけ回転させた領域画像44iを抽出してヘッドマウントディスプレイ44に供給するのがよい。
このとき、加速度検出信号に応じて計算した領域画像44iを上方または下方に回転させる角度の計算値が所定の上限値以内であれば領域画像44iをその計算値で回転させ、計算値が上限値を超えれば領域画像44iを上限値で回転させるよう制御するのがよい。
椅子制御部4201は、加速度検出信号が、移動体の弾道軌道Btでの進行の開始を示すとき、基準の角度となっているVR用椅子46を後方に傾けるようVR用椅子46を制御するのがよい。椅子制御部4201は、加速度検出信号が、弾道軌道BtのピークBtpを過ぎるとVR用椅子46を前方に傾けるようVR用椅子46を制御するのがよい。椅子制御部4201は、加速度検出信号が、移動体の弾道軌道Btでの進行の終了を示すとき、VR用椅子46を基準の角度に戻すようVR用椅子46を制御するのがよい。
第6実施形態によれば、第2実施形態、第3実施形態、第5実施形態が奏する効果に加えて、VR画像表示システム40の安全性を向上させることができる。
本発明は以上説明した第1~第6実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
10 車両(移動体)
11,41 通信部
12 全方位カメラ
13 加速度センサ
20 ネットワーク
31 画像送信サーバ
32 メモリ
40 バーチャル・リアリティ画像表示システム
42 制御部
43 画像生成部
44 ヘッドマウントディスプレイ
45 グローブ型コントローラ
46 VR用椅子
47 操作部
420 画像処理部
421 画像重畳部
422 画像回転部
423 消失点検出部
424 前方設定部
425 領域画像抽出部
426 画像傾け部
4201 椅子制御部
4202 モード設定部
11,41 通信部
12 全方位カメラ
13 加速度センサ
20 ネットワーク
31 画像送信サーバ
32 メモリ
40 バーチャル・リアリティ画像表示システム
42 制御部
43 画像生成部
44 ヘッドマウントディスプレイ
45 グローブ型コントローラ
46 VR用椅子
47 操作部
420 画像処理部
421 画像重畳部
422 画像回転部
423 消失点検出部
424 前方設定部
425 領域画像抽出部
426 画像傾け部
4201 椅子制御部
4202 モード設定部
Claims (5)
- 球状画像を生成する画像生成部と、
前記球状画像を移動体に配置されている全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像または全方位画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、
前記領域画像抽出部によって抽出された前記重畳画像の領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
前記移動体が移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出する消失点検出部と、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
前記移動体が左折したときには、前記ヘッドマウントディスプレイに供給する領域画像を右方向に所定の角度だけ傾け、前記移動体が右折したときには、前記ヘッドマウントディスプレイに供給する領域画像を左方向に所定の角度だけ傾ける画像傾け部と、
を備える画像調整装置。 - 移動体に配置されている全方位カメラが被写体を撮影した全方位画像の画像データと、前記移動体または前記全方位カメラに取り付けられている加速度センサが検出した加速度検出信号とを画像送信サーバから受信する通信部と、
ユーザの頭部に装着されて、前記全方位画像を前記ユーザに見せるヘッドマウントディスプレイと、
前記ユーザによって操作されるコントローラと、
前記ユーザが座る椅子と、
球状画像を生成する画像生成部と、
前記球状画像を前記全方位画像に重畳して重畳画像を生成する画像重畳部と、
前記重畳画像または前記全方位画像のうち、前記ユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、
前記ユーザが前記椅子に座った状態で、前記ユーザが前記コントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
前記全方位カメラが移動して前記全方位画像が変化しているとき、前記全方位画像の消失点を検出する消失点検出部と、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
前記加速度検出信号が、前記移動体が左折していることを示すとき、前記椅子を所定の角度だけ右方向に傾け、前記加速度検出信号が、前記移動体が右折していることを示すとき、前記椅子を所定の角度だけ左方向に傾ける椅子制御部と、
を備えるバーチャル・リアリティ画像表示システム。 - 前記加速度検出信号が、前記移動体が左折していることを示すとき、前記ヘッドマウントディスプレイに供給する領域画像を所定の角度だけ右方向に傾け、前記加速度検出信号が、前記移動体が右折していることを示すとき、前記ヘッドマウントディスプレイに供給する領域画像を所定の角度だけ左方向に傾ける画像傾け部をさらに備える請求項2に記載のバーチャル・リアリティ画像表示システム。
- 前記コントローラは、前記ユーザの手に装着されるグローブ型コントローラであり、
前記画像回転部は、仮想的に前記球状画像の内部に位置する前記ユーザが前記グローブ型コントローラによって前記球状画像を回転させる操作に応答して前記重畳画像を回転させる
請求項2に記載のバーチャル・リアリティ画像表示システム。 - 球状画像を生成し、
前記球状画像を移動体に配置されている全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像または全方位画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給し、
抽出された前記重畳画像の領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正し、
前記移動体が移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出し、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を補正された水平面を維持しながら回転させ、
前記移動体が左折したときには、前記ヘッドマウントディスプレイに供給する領域画像を右方向に所定の角度だけ傾け、前記移動体が右折したときには、前記ヘッドマウントディスプレイに供給する領域画像を左方向に所定の角度だけ傾ける
画像調整方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229157A JP7443749B2 (ja) | 2019-12-19 | 2019-12-19 | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 |
US17/118,117 US11417050B2 (en) | 2019-12-19 | 2020-12-10 | Image adjustment device, virtual reality image display system, and image adjustment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229157A JP7443749B2 (ja) | 2019-12-19 | 2019-12-19 | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021096755A JP2021096755A (ja) | 2021-06-24 |
JP7443749B2 true JP7443749B2 (ja) | 2024-03-06 |
Family
ID=76431479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229157A Active JP7443749B2 (ja) | 2019-12-19 | 2019-12-19 | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7443749B2 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056295A (ja) | 2003-08-07 | 2005-03-03 | Iwane Kenkyusho:Kk | 360度画像変換処理装置 |
JP2005244861A (ja) | 2004-02-27 | 2005-09-08 | Japan Science & Technology Agency | 撮像装置及び撮像系パラメータ校正方法 |
JP2006059202A (ja) | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
US20090153477A1 (en) | 2007-12-12 | 2009-06-18 | Saenz Valentin L | Computer mouse glove |
JP2011215063A (ja) | 2010-04-01 | 2011-10-27 | Tottori Univ | カメラ姿勢パラメータ推定装置 |
JP2012019452A (ja) | 2010-07-09 | 2012-01-26 | Mitsubishi Electric Corp | 画像処理装置及び画像処理方法 |
JP2016119570A (ja) | 2014-12-19 | 2016-06-30 | アイシン精機株式会社 | 車両周辺監視装置 |
WO2018043135A1 (ja) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP2019121858A (ja) | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 電子機器及びその制御方法 |
-
2019
- 2019-12-19 JP JP2019229157A patent/JP7443749B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056295A (ja) | 2003-08-07 | 2005-03-03 | Iwane Kenkyusho:Kk | 360度画像変換処理装置 |
JP2005244861A (ja) | 2004-02-27 | 2005-09-08 | Japan Science & Technology Agency | 撮像装置及び撮像系パラメータ校正方法 |
JP2006059202A (ja) | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
US20090153477A1 (en) | 2007-12-12 | 2009-06-18 | Saenz Valentin L | Computer mouse glove |
JP2011215063A (ja) | 2010-04-01 | 2011-10-27 | Tottori Univ | カメラ姿勢パラメータ推定装置 |
JP2012019452A (ja) | 2010-07-09 | 2012-01-26 | Mitsubishi Electric Corp | 画像処理装置及び画像処理方法 |
JP2016119570A (ja) | 2014-12-19 | 2016-06-30 | アイシン精機株式会社 | 車両周辺監視装置 |
WO2018043135A1 (ja) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP2019121858A (ja) | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 電子機器及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021096755A (ja) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4892731B2 (ja) | 乗り物酔い防止回復装置 | |
EP3340024B1 (en) | Information processing device | |
JP6734400B2 (ja) | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 | |
GB2557912A (en) | A system for providing a virtual reality experience | |
JP2017220224A (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム | |
US11417050B2 (en) | Image adjustment device, virtual reality image display system, and image adjustment method | |
JP7443749B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP7363454B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP7443751B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7380177B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7443750B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7322692B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP2018205429A (ja) | 表示制御装置 | |
US20180210545A1 (en) | Method Of Navigating Viewable Content Within A Virtual Environment Generated By A Virtual Reality System | |
JP5367954B2 (ja) | ゲームプログラム、ゲーム装置及び記憶媒体 | |
CN111868667A (zh) | 信息处理装置、信息处理方法和程序 | |
KR101750064B1 (ko) | 가상체험 시뮬레이션 장치 및 방법 | |
JPWO2019176035A1 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
JP7315362B2 (ja) | 映像出力システム及び映像出力方法 | |
CN108446012B (zh) | 虚拟现实移动画面显示方法及虚拟现实装置 | |
JP7006498B2 (ja) | ヘッドアップディスプレイ | |
JP6177965B1 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム | |
JP2022075212A (ja) | 移動体搭載映像装置 | |
CN118144652A (zh) | 车辆座椅控制方法、装置、设备及存储介质 | |
JP2019053553A (ja) | 遠隔運転システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7443749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |