JP7519754B2 - シミュレータ用映像表示システム - Google Patents
シミュレータ用映像表示システム Download PDFInfo
- Publication number
- JP7519754B2 JP7519754B2 JP2018134935A JP2018134935A JP7519754B2 JP 7519754 B2 JP7519754 B2 JP 7519754B2 JP 2018134935 A JP2018134935 A JP 2018134935A JP 2018134935 A JP2018134935 A JP 2018134935A JP 7519754 B2 JP7519754 B2 JP 7519754B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- simulated
- simulator
- virtual space
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 11
- 239000002131 composite material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
操縦者がみる仮想空間は、飛行機の操縦席前方と操縦席からみる機外の情景であり、機外の情景は操縦に伴う移動する飛行機の位置に応じた操縦席からみた情景であるが、操縦席前方の操縦桿、計器板等を含む操縦機器部分の映像は操縦機器の操作に応じて生成されなければ操縦操作と操縦者が視認する映像表示とに違和感が生じることがある。
初期には、仮想空間内にHMDのカメラによる現実映像を重畳するために、現実空間に配置したマーカないし色を基に重畳していた。
ところが、現実空間にマーカないし色を配置するため、システムが大掛かりなものとなってしまう。
図1は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、101は航空機シミュレータ用の模擬操縦席に備えられる操縦桿、計器板等の模擬操縦装置、102は模擬操縦装置101の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、103は頭部装着具、104は前記頭部装着具に取り付けた動画用のカメラ、105は模擬映像作成手段102が作成した仮想空間映像に前記カメラ104が撮影した現実映像を重畳する映像重畳手段、106は前記頭部装着具103の装着者の両眼を覆うように装着して前記映像重畳手段105が重畳する合成映像を表示する表示装置、107は本発明装置全体を制御する制御部(コンピュータにより構成される)である。
頭部装着具103は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ104は頭部装着具103が向いている方向を撮影する。操縦者は模擬操縦装置101の前に座り、表示装置106の表示映像を見ながら模擬操縦装置101を操作する。このとき、カメラ104が模擬操縦装置101の方向を撮影していれば、その映像を模擬映像作成手段102が作成する操縦席内の情景および航空機窓外の情景に重畳する。
模擬映像作成手段102が作成する情景の中に、カメラ104の映像を重畳する所定の領域がある場合は、その領域(合成領域)を特定の識別信号または色信号としておく。模擬映像作成手段102が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置101の位置は模擬映像作成手段102が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段105は模擬映像作成手段102が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域(合成領域)に前記カメラ104が撮影した現実映像を重畳して合成する。
表示装置106は前記映像重畳手段105が重畳する合成映像を頭部装着具103からの測定方向に応じてその方向に見た映像を表示する。
図2(a)は、模擬映像作成手段102が、あらかじめ設定した仮想空間内で模擬航空機を飛行させるときの操縦席と飛行状況に応じた飛行機窓外を操縦席からみた情景を作成したときの映像の一例である。さらに、模擬映像作成手段102はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域(図2(a)において、破線の閉曲線201aで示す)は、仮想空間を設定する際にあらかじめ定めておく。
図2(b)はカメラ104が撮影した実写映像の一例であり、操縦席前方ある計器板、操縦桿、タッチパネル等の模擬操縦装置101が撮影されている。この映像は操縦席からのものであるから、航空機の操縦状況にかかわらず、模擬操縦装置101とカメラ104との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図2(c)は合成映像の一例であり、図2(a)の映像に図2(b)の映像を映像重畳手段105により重畳した合成映像の一例である。模擬映像作成手段102で作成される映像の姿勢は現実映像を撮影するカメラ104の姿勢でみている方向が一致する。映像重畳手段105は、模擬映像作成手段102が作成した模擬映像の合成領域をカメラ104が撮影した映像に置き換えて、合成画像を得る。図2(c)においてカメラ104の映像を破線の閉曲線201aで示しているが、表示装置106には表示されない。
カメラ104で撮像した映像は模擬映像作成手段102の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置101を操作する状況がカメラ104から撮影されて表示装置106から見ることができ、その模擬操縦装置101の操作状況の模擬映像を作成する必要がない。
図3は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、301は移動体シミュレータ用の模擬操縦席に備えられる運転操作機器、計器板等の模擬操縦装置、302は模擬操縦装置301の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、303は頭部装着具、304は前記頭部装着具に取り付けた動画用のカメラ、305は模擬映像作成手段302が作成した仮想空間映像に前記カメラ304が撮影した現実映像を重畳する映像重畳手段、306は前記頭部装着具303の装着者の両眼を覆うように装着して前記映像重畳手段305が重畳する合成映像を表示する表示装置、307は本発明装置全体を制御する制御部(コンピュータにより構成される)である。
頭部装着具303は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ304は頭部装着具303が向いている方向を撮影する。操縦者は模擬操縦装置301の前に座り、表示装置306の表示映像を見ながら模擬操縦装置301を操作する。このとき、カメラ304が模擬操縦装置301の方向を撮影していれば、その映像を模擬映像作成手段302が作成する操縦席内の情景および移動体窓外の情景に重畳する。
模擬映像作成手段302が作成する情景の中に、カメラ304の映像を重畳する所定の領域がある場合は、その領域(合成領域)を特定の識別信号または色信号としておく。模擬映像作成手段302が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置301の位置は模擬映像作成手段302が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段305は模擬映像作成手段302が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域(合成領域)に前記カメラ304が撮影した現実映像を重畳して合成する。
表示装置306は前記映像重畳手段305が重畳する合成映像を頭部装着具303からの測定方向に応じてその方向に見た映像を表示する。
図4(a)は、模擬映像作成手段302が、あらかじめ設定した仮想空間内で模擬自動車を走行させるときの運転席と運転状況に応じた車両窓外を運転席(操縦席)からみた情景例えば道路上交差点付近の映像を作成したときの一例である。さらに、模擬映像作成手段302はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域(図4(a)において、破線の閉曲線401aで示す)は、仮想空間を設定する際にあらかじめ定めておく。
図4(b)はカメラ304が撮影した実写映像の一例であり、操縦席前方ある計器板、ハンドル、タッチパネル等の模擬操縦装置301が撮影されている。この映像は操縦席からのものであるから、移動体の操縦状況にかかわらず、模擬操縦装置301とカメラ304との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図4(c)は合成映像の一例であり、図4(a)の映像に図4(b)の映像を映像重畳手段305により重畳した合成映像の一例である。模擬映像作成手段302で作成される映像の姿勢は現実映像を撮影するカメラ304の姿勢でみている方向が一致する。映像重畳手段305は、模擬映像作成手段302が作成した模擬映像の合成領域をカメラ304が撮影した映像に置き換えて、合成画像を得る。図4(c)においてカメラ304の映像を破線の閉曲線401aで示しているが、表示装置306には表示されない。
カメラ304で撮像した映像は模擬映像作成手段302の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置301を操作する状況がカメラ304から撮影されて表示装置306から見ることができ、その模擬操縦装置301の操作状況の模擬映像を作成する必要がない。
102 模擬映像作成手段
103 頭部装着具
104 カメラ
105 映像重畳手段
106 表示装置
107 制御部
Claims (2)
- 航空機シミュレータ用の模擬操縦席と、模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像のあらかじめ定めた所定領域に前記カメラが撮影した現実映像である操縦者が視認する操縦席前方の操縦桿、計器板等を含む操縦機器部分の現実映像を、仮想空間の所定領域に、識別信号で特定される仮想空間と実空間との合成領域を設け、当該合成領域に現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。
- 移動体シミュレータ用の模擬操縦席と、移動体例えば電車あるいは自動車用の模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像のあらかじめ定めた所定領域に前記カメラが撮影した現実映像である操縦者が視認する操縦席前方のハンドル、計器板等を含む操縦機器部分の現実映像を、仮想空間の所定領域に、識別信号で特定される仮想空間と実空間との合成領域を設け、当該合成領域に現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018134935A JP7519754B2 (ja) | 2018-07-18 | 2018-07-18 | シミュレータ用映像表示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018134935A JP7519754B2 (ja) | 2018-07-18 | 2018-07-18 | シミュレータ用映像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020012968A JP2020012968A (ja) | 2020-01-23 |
| JP7519754B2 true JP7519754B2 (ja) | 2024-07-22 |
Family
ID=69170992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018134935A Active JP7519754B2 (ja) | 2018-07-18 | 2018-07-18 | シミュレータ用映像表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7519754B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7286113B2 (ja) * | 2021-03-30 | 2023-06-05 | 三菱プレシジョン株式会社 | 画像生成装置及び画像生成方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101279869B1 (ko) | 2012-03-23 | 2013-06-28 | 국방과학연구소 | 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176131A (ja) * | 1992-12-03 | 1994-06-24 | Namco Ltd | 画像合成装置及びこれを用いた仮想体験装置 |
| DE19653595C1 (de) * | 1996-12-20 | 1998-07-02 | Siemens Ag | Informationsanzeigesystem für mindestens eine Person |
| JPH10282877A (ja) * | 1997-04-08 | 1998-10-23 | Canon Inc | 画像生成方法、画像生成装置、シュミレーションシステム、及び記憶媒体 |
| JP2000061144A (ja) * | 1998-08-25 | 2000-02-29 | Namco Ltd | 画像生成装置、ゲーム装置及び情報記憶媒体 |
| JP6712423B2 (ja) * | 2016-04-28 | 2020-06-24 | 株式会社バンダイナムコアミューズメント | シミュレーションシステム |
-
2018
- 2018-07-18 JP JP2018134935A patent/JP7519754B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101279869B1 (ko) | 2012-03-23 | 2013-06-28 | 국방과학연구소 | 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020012968A (ja) | 2020-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9202385B2 (en) | Method for training a crew member of a, in particular, military vehicle | |
| US5394517A (en) | Integrated real and virtual environment display system | |
| KR20120044461A (ko) | 융합 현실을 이용한 가상 훈련 장치 및 방법 | |
| KR101279869B1 (ko) | 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법 | |
| KR102097180B1 (ko) | 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법 | |
| US11151775B2 (en) | Image processing apparatus, display system, computer readable recoring medium, and image processing method | |
| KR20120067854A (ko) | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 | |
| CN102665084A (zh) | 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法 | |
| CN105959665A (zh) | 一种针对于虚拟现实设备的全景3d视频生成方法 | |
| CN103050028A (zh) | 具有立体视觉随动功能的驾驶模拟器 | |
| JP2003312592A (ja) | 遠隔操縦システム | |
| JP7519754B2 (ja) | シミュレータ用映像表示システム | |
| US10567744B1 (en) | Camera-based display method and system for simulators | |
| KR20170009304A (ko) | 항공 시뮬레이션 장치 | |
| CN110275618A (zh) | 车辆部件显示方法和车辆部件显示装置 | |
| KR101892238B1 (ko) | Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법 | |
| CN117121474A (zh) | 影像显示系统、观测装置、信息处理方法及程序 | |
| US20200357179A1 (en) | Viewing device for aircraft pilot | |
| JP2020031413A (ja) | 表示装置、移動体、移動体制御システム、これらの製造方法、および映像の表示方法 | |
| KR101772431B1 (ko) | Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템 | |
| KR102490465B1 (ko) | 증강 현실 카메라를 사용한 후방 시야 방법 및 장치 | |
| Zintl et al. | A landing display concept with an augmented reality enhanced camera view for advanced air mobility vehicles | |
| CN112673620B (zh) | 用于辅助驾驶飞行器的光电装备 | |
| JPH08322064A (ja) | ヘッドマウントディスプレイ装置 | |
| CA3018454C (en) | Camera-based display method and system for simulators |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210714 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220419 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220524 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220623 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220713 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220902 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220913 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240709 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7519754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |