JP7380177B2 - バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 - Google Patents
バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 Download PDFInfo
- Publication number
- JP7380177B2 JP7380177B2 JP2019229188A JP2019229188A JP7380177B2 JP 7380177 B2 JP7380177 B2 JP 7380177B2 JP 2019229188 A JP2019229188 A JP 2019229188A JP 2019229188 A JP2019229188 A JP 2019229188A JP 7380177 B2 JP7380177 B2 JP 7380177B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- chair
- omnidirectional
- user
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000001133 acceleration Effects 0.000 claims description 105
- 238000001514 detection method Methods 0.000 claims description 57
- 230000005540 biological transmission Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
図1において、通信部11には、全方位カメラ12と3軸の加速度センサ13が接続されている。図2に示すように、全方位カメラ12は、一例として、車両10のダッシュボード上に配置されている。図3に示すように、全方位カメラ12は、図2に示す配置状態において、車両10の前方を撮影する左目用魚眼レンズ12FL及び右目用魚眼レンズ12FRと、車両10の後方を撮影する左目用魚眼レンズ12RL及び右目用魚眼レンズ12RRとを備える。
第2実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。
第3実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、第2実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第3実施形態における制御部42の構成は図9と同じであってもよいが、モード設定部4202と画像傾け部426は省略可能である。
第4実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第2及び第3実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。図14に示すように、制御部42は椅子制御部4201を備える。制御部42が備える画像処理部420は、図3と同じ構成である。
第5実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第4実施形態とは異なる方法で、ユーザUsに、車両10が弾道軌道Btを描くように進行したときに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第5実施形態における制御部42の構成は図14と同じである。
第2、第3、及び第5実施形態において、加速度センサ13が検出した加速度に応じて角度θ2、θ3、θ5~θ10が設定される。車両10が異常な走行をしたり、事故が発生したりした場合には、加速度センサ13が異常な加速度を検出することがある。この場合には、加速度センサ13が検出した加速度に応じた角度θ2、θ3、θ5~θ10を設定することは好ましくない。
11,41 通信部
12 全方位カメラ
13 加速度センサ
20 ネットワーク
31 画像送信サーバ
32 メモリ
40 バーチャル・リアリティ画像表示システム
42 制御部
43 画像生成部
44 ヘッドマウントディスプレイ
45 グローブ型コントローラ
46 VR用椅子
47 操作部
420 画像処理部
421 画像重畳部
422 画像回転部
423 消失点検出部
424 前方設定部
425 領域画像抽出部
426 画像傾け部
4201 椅子制御部
4202 モード設定部
Claims (6)
- 移動体に配置されている全方位カメラが被写体を撮影した全方位画像の画像データと、前記移動体または前記全方位カメラに取り付けられている加速度センサが検出した加速度検出信号とを画像送信サーバから受信する通信部と、
ユーザの頭部に装着されて、前記全方位画像を前記ユーザに見せるヘッドマウントディスプレイと、
前記ユーザによって操作されるコントローラと、
前記ユーザが座る椅子と、
球状画像を生成する画像生成部と、
前記球状画像を前記全方位画像に重畳して重畳画像を生成する画像重畳部と、
前記重畳画像または前記全方位画像のうち、前記ユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、
前記ユーザが前記椅子に座った状態で、前記ユーザが前記コントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
前記全方位カメラが移動して前記全方位画像が変化しているとき、前記ヘッドマウントディスプレイに供給される前の前記全方位画像の前記画像データに基づいて消失点を検出する消失点検出部と、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
前記加速度検出信号に応じて、前記椅子を左右方向または前後方向に傾けるよう制御する椅子制御部と、
を備え
前記椅子制御部は、前記加速度検出信号に応じて計算した前記椅子を傾ける角度の計算値が所定の上限値以内であれば前記椅子を前記計算値で傾け、前記計算値が前記上限値を超えれば前記椅子を前記上限値で傾けるよう制御する
バーチャル・リアリティ画像表示システム。
- 前記椅子制御部は、前記加速度検出信号が、前記移動体が左折していることを示すとき、前記椅子を所定の角度だけ右方向に傾け、前記加速度検出信号が、前記移動体が右折していることを示すとき、前記椅子を所定の角度だけ左方向に傾けるよう制御し、
前記加速度検出信号が、前記移動体が左折していることを示すとき、前記ヘッドマウントディスプレイに供給する領域画像を所定の角度だけ右方向に傾け、前記加速度検出信号が、前記移動体が右折していることを示すとき、前記ヘッドマウントディスプレイに供給する領域画像を所定の角度だけ左方向に傾ける画像傾け部をさらに備える
請求項1に記載のバーチャル・リアリティ画像表示システム。 - 前記椅子制御部は、前記加速度検出信号が、前方に移動している前記移動体が加速していることを示すとき、前記椅子を所定の角度だけ後方に傾け、前記加速度検出信号が、前方に移動している前記移動体が減速していることを示すとき、前記椅子を所定の角度だけ前方に傾け、
前記領域画像抽出部は、前記加速度検出信号が、前方に移動している前記移動体が加速したことを示すとき、所定の角度だけ上方に回転させた領域画像を抽出して前記ヘッドマウントディスプレイに供給し、前方に移動している前記移動体が減速したことを示すとき、所定の角度だけ下方に回転させた領域画像を抽出して前記ヘッドマウントディスプレイに供給する
請求項1に記載のバーチャル・リアリティ画像表示システム。 - 前記椅子制御部は、前記加速度検出信号が、前記移動体の弾道軌道での進行の開始を示すとき、基準の角度となっている前記椅子を後方に傾け、前記加速度検出信号が、前記弾道軌道のピークを過ぎると前記椅子を前方に傾け、前記加速度検出信号が、前記移動体の弾道軌道での進行の終了を示すとき、前記椅子を前記基準の角度に戻すよう前記椅子を制御する請求項1に記載のバーチャル・リアリティ画像表示システム。
- 前記椅子制御部は、前記ユーザが安全装置を装着している場合には前記上限値として第1の上限値を設定し、前記ユーザが安全装置を装着していない場合には前記上限値として前記第1の上限値より小さい第2の上限値を設定する請求項1~4のいずれか1項に記載のバーチャル・リアリティ画像表示システム。
- 画像送信サーバから、移動体に配置されている全方位カメラが被写体を撮影した全方位画像の画像データと、前記移動体または前記全方位カメラに取り付けられている加速度センサが検出した加速度検出信号とを受信し、
球状画像を前記全方位画像に重畳して重畳画像を生成し、
前記重畳画像または前記全方位画像のうち、ヘッドマウントディスプレイを頭部に装着しているユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給し、
前記ユーザが椅子に座った状態で、前記ユーザがコントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正し、
前記全方位カメラが移動して前記全方位画像が変化しているとき、前記全方位画像の消失点を検出し、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を補正された水平面を維持しながら回転させ、
前記加速度検出信号に応じて、前記椅子を左右方向または前後方向に傾けるよう制御し、
前記加速度検出信号に応じて計算した前記椅子を傾ける角度の計算値が所定の上限値以内であれば前記椅子を前記計算値で傾け、前記計算値が前記上限値を超えれば前記椅子を前記上限値で傾けるよう制御する
バーチャル・リアリティ画像表示システムの制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229188A JP7380177B2 (ja) | 2019-12-19 | 2019-12-19 | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 |
US17/118,117 US11417050B2 (en) | 2019-12-19 | 2020-12-10 | Image adjustment device, virtual reality image display system, and image adjustment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229188A JP7380177B2 (ja) | 2019-12-19 | 2019-12-19 | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021096758A JP2021096758A (ja) | 2021-06-24 |
JP7380177B2 true JP7380177B2 (ja) | 2023-11-15 |
Family
ID=76431482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229188A Active JP7380177B2 (ja) | 2019-12-19 | 2019-12-19 | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7380177B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180122042A1 (en) | 2016-10-31 | 2018-05-03 | Adobe Systems Incorporated | Utilizing an inertial measurement device to adjust orientation of panorama digital images |
JP2018195348A (ja) | 2013-05-16 | 2018-12-06 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2019535090A (ja) | 2016-08-22 | 2019-12-05 | カン, ド ファンKANG, Too Hwan | 仮想現実アトラクション制御方法及びシステム |
-
2019
- 2019-12-19 JP JP2019229188A patent/JP7380177B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195348A (ja) | 2013-05-16 | 2018-12-06 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2019535090A (ja) | 2016-08-22 | 2019-12-05 | カン, ド ファンKANG, Too Hwan | 仮想現実アトラクション制御方法及びシステム |
US20180122042A1 (en) | 2016-10-31 | 2018-05-03 | Adobe Systems Incorporated | Utilizing an inertial measurement device to adjust orientation of panorama digital images |
Also Published As
Publication number | Publication date |
---|---|
JP2021096758A (ja) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4892731B2 (ja) | 乗り物酔い防止回復装置 | |
EP3340024B1 (en) | Information processing device | |
JP6734400B2 (ja) | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 | |
GB2557912A (en) | A system for providing a virtual reality experience | |
JP7380177B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
US11417050B2 (en) | Image adjustment device, virtual reality image display system, and image adjustment method | |
JP7443751B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7443749B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP7443750B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7363454B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP2017220224A (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム | |
CN111868667B (zh) | 信息处理装置、信息处理方法和程序 | |
JP7322692B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
TWI768590B (zh) | 減少虛擬實境之動暈症的方法與頭戴式減暈裝置 | |
JP2018205429A (ja) | 表示制御装置 | |
JP5367954B2 (ja) | ゲームプログラム、ゲーム装置及び記憶媒体 | |
KR101750064B1 (ko) | 가상체험 시뮬레이션 장치 및 방법 | |
JPWO2019176035A1 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
JP7315362B2 (ja) | 映像出力システム及び映像出力方法 | |
JP7006498B2 (ja) | ヘッドアップディスプレイ | |
JP2019053553A (ja) | 遠隔運転システム | |
JP6177965B1 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム | |
KR102343601B1 (ko) | 6dof 온라인 멀티 플레이어 vr 관광체험 시스템 | |
JP2022075212A (ja) | 移動体搭載映像装置 | |
CN118144652A (zh) | 车辆座椅控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7380177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |