JP6328443B2 - カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム - Google Patents
カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム Download PDFInfo
- Publication number
- JP6328443B2 JP6328443B2 JP2014033241A JP2014033241A JP6328443B2 JP 6328443 B2 JP6328443 B2 JP 6328443B2 JP 2014033241 A JP2014033241 A JP 2014033241A JP 2014033241 A JP2014033241 A JP 2014033241A JP 6328443 B2 JP6328443 B2 JP 6328443B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- parallax
- pilot
- camera
- representative point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000000007 visual effect Effects 0.000 claims description 12
- 239000012634 fragment Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000003702 image correction Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Description
機外カメラは、ヘリコプタの機体下部などに搭載されており、パイロットのHMDの動きに合わせて可動し、撮影した外界映像をHMDに表示する。ここで、機外カメラとパイロットは視点位置が異なることから、機外カメラの視線方向にある目標は、パイロットの視線方向とは異なる位置に存在する。この見え方の違いを視差といい、近距離にある目標ほど、この視差は大きくなる。よって、ヘリコプタが、低高度のホバリング状態で地上目標を認識する場合、機外カメラの映像をそのままHMDに表示すると、パイロットが目標を肉眼で見た場合とは異なる視覚認識を持ってしまうという問題が発生する。
カメラ位置のオフセットから生じる視差を補正する技術である点では軌を一にするものの、本発明が課題とする機外カメラとパイロットの視点位置の違いに起因するHMD上の表示からパイロットが誤認をすることがないようにする技術とは分野を異にし、画像の補正手法においても異なる技術である。
本発明の視差に起因する誤認を防止する方法は、前記の各代表点で求めた視差を補間して、視野投影面の各座標における視差を算出し、機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした。
本発明の視差に起因する誤認を防止する方法は、Open GL(登録商標)のフラグメントシェーダーを用いリアルタイムで機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした。
本発明の視差に起因する誤認を防止する方法は、各代表点で求めた視差を補間して、視野投影面の各座標における視差を算出し、機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにしたことにより、機外カメラ映像がパイロット視点の映像とズレのないものにできる。また、Open GL(登録商標)のフラグメントシェーダーを用いたことにより、所望の補正画像を得ることができる。
そこで、機外カメラで撮影した映像に対して、視点位置を補正する処理を加えて、擬似的にパイロット視点の映像を生成しHMDに表示する。視点位置の補正は、図2に示すように、機外カメラ映像に対して、機外カメラ視点とパイロット視点の視差を加える画像補正処理を行う。機外カメラ視点とパイロット視点の視差は、機外カメラの視野範囲内の地表に視差を計算するための目標とする点として、代表点を設定し、機外カメラ視点およびパイロット視点からの代表点の見え方の違いを算出することで得られる。画像補正処理は、Open GL(登録商標)のフラグメントシェーダー機能を使用してリアルタイムで映像を歪曲させて擬似パイロット視点映像を生成する。
視点位置の補正により、パイロットのHMDに対して、ズレのないパイロット視点からの映像を表示させることが可能となること、これが本発明の概要である。
前記の表示計算機は、飛行する地域の標高データを持つ。また、GPSおよび慣性センサ、から現在の飛行位置、機体姿勢データを取得する。表示計算機は、これらのデータを基に、リアルタイムで機外カメラの映像を補正してHMDに出力する。以下に詳細な手順を示す。
ステップ1:機外カメラで撮影した映像を2D画像(テクスチャ)として取り込む。
ステップ2:機外カメラの鉛直下方で標高が0の位置を原点とし、図4に示すようなXYZ直交座標系を定義する。このとき、XY平面は地表の標高が0と仮定した場合の水平面とする。X方向は機外カメラのヘディング方向を指すものとする。原点は必ずしも標高0の位置である必要はないが、XY平面は水平面であることは必須の条件である。
ここで、標高0の位置を原点としたのは、自機の高度および標高、代表点の標高を同じグローバル座標空間のZ軸の値として表現し、対地高度を算出しやすくするためである。すなわち、自機の対地高度 =(自機高度−標高)として算出するが、例えば標高100の位置を原点とすると、自機の対地高度 = (自機高度-100)-(標高-100)となり、オフセットを考慮する必要があるためである。
ステップ4:自機の現在姿勢を慣性センサ等から取得する。
ステップ5:機外カメラの向きと視野角、対地高度から、機外カメラに映る視野範囲内の地表面に代表点を定義する。代表点は、XY平面において、X軸方向に、対地高度と原点からの距離に比例した間隔で複数配置する。また、X軸方向と同じ間隔で、X軸方向の左右にも水平視野角の範囲内に配置する。代表点は、機外カメラからの最大距離を設定し、視野範囲内であっても、最大距離以上は補正の対象外として配置しない。これによって処理負荷の軽減を図る。図5に代表点の配置イメージを示す。
ステップ8:機外カメラ視点を原点とする座標系、パイロット視点を原点とした座標系として、X´Y´Z´直交座標系を定義する。また、機外カメラの視野投影面、パイロットの視野投影面を定義する。図7に示すように、視野投影面は、面の中心で視線方向と垂直に交わる。また、視点から視野投影面の中心まで距離はlであるとする。
ステップ12:機外カメラの視線方向に対する代表点のY´´軸方向の視野角θ1から、視野投影面における代表点の座標Y´´軸成分Y1を算出する。
Y1 = b×tan(θ1)/tan(θ0) ‥‥ (1)
パイロットの視線方向に対する代表点のY´´軸方向の視野角θ2から、視野投影面における代表点の座標Y´´軸成分Y2を算出する。
Y2 = b×tan(θ2)/tan(θ0) ‥‥ (2)
このとき、Y1とY2の差が視差となる。各代表点について、機外カメラとパイロットの視差を算出する。図10参照。
ステップ13:代表点の機外カメラおよびパイロットのX´´Y´´視野投影面における視差を補間して、パイロットのX´´Y´´視野投影面の補正範囲内の各座標における視差を算出する。補間計算は、各代表点からのY´´軸方向の距離の逆数を重みとした平均値を算出する。
機外カメラのスクリーン各座標に対して、フラグメントシェーダーによって視差を加える。これが擬似的なパイロット視点映像となる。図13において左図が補正前のスクリーン画像であり、右図がシェーダーによる画像補正したスクリーン画像を示している。
ステップ15:この補正画像をHMDに表示する。
3 パイロット 4 表示計算機
5 代表点
Claims (4)
- 機外カメラと表示計算機を備え、機外カメラに映る視野範囲内の地表面に代表点を定義し、その代表点がパイロット視点からどの位置に見えるべきかを、地形データベースと機体の位置・姿勢及びパイロット並びに機外カメラの視点位置情報から算出することで、機外カメラ視点とパイロット視点の視差を算出するようにした視差に起因する誤認を防止する方法。
- 前記の各代表点で求めた視差を補間して、視野投影面の各座標における視差を算出し、機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした請求項1に記載の視差に起因する誤認を防止する方法。
- Open GL(登録商標)のフラグメントシェーダーを用い、リアルタイムで機外カメラ視点の映像を歪曲させて、疑似的にパイロット視点の映像を生成するようにした請求項1または2に記載の視差に起因する誤認を防止する方法。
- 機外カメラと、表示計算機と、HMDとを備え、前記機外カメラの撮影映像情報とGPSと慣性センサからの情報を前記表示計算機に取り込み、前記機外カメラに映る視野範囲内の地表面に代表点を定義し、その代表点がパイロット視点からどの位置に見えるべきかを、前記表示計算機で地形データベースと機体の位置・姿勢及びパイロット並びに機外カメラの視点位置情報から算出することで、機外カメラ視点とパイロット視点の視差を算出することを特徴とする視差に起因する誤認を防止するシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014033241A JP6328443B2 (ja) | 2014-02-24 | 2014-02-24 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014033241A JP6328443B2 (ja) | 2014-02-24 | 2014-02-24 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015158802A JP2015158802A (ja) | 2015-09-03 |
JP6328443B2 true JP6328443B2 (ja) | 2018-05-23 |
Family
ID=54182746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014033241A Active JP6328443B2 (ja) | 2014-02-24 | 2014-02-24 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6328443B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221204A1 (ja) * | 2017-05-31 | 2018-12-06 | 日本電産株式会社 | アレーアンテナを備える移動体、および、配車システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3266236B2 (ja) * | 1995-09-11 | 2002-03-18 | 松下電器産業株式会社 | 車載用ナビゲーション装置 |
JP3052286B2 (ja) * | 1997-08-28 | 2000-06-12 | 防衛庁技術研究本部長 | 飛行システムおよび航空機用擬似視界形成装置 |
JP2001211403A (ja) * | 2000-01-25 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | 頭部装着型表示装置及び頭部装着型表示システム |
JP3754401B2 (ja) * | 2002-07-08 | 2006-03-15 | 株式会社アドイン研究所 | 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム |
JP2007241085A (ja) * | 2006-03-10 | 2007-09-20 | Mitsubishi Electric Corp | 撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法 |
WO2013179425A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
-
2014
- 2014-02-24 JP JP2014033241A patent/JP6328443B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015158802A (ja) | 2015-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6883948B2 (ja) | リアルタイム多次元画像融合 | |
CA2680813C (en) | System for panoramic image processing | |
JP6440539B2 (ja) | 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 | |
US20060215027A1 (en) | Picked-up image display method | |
US9830713B1 (en) | Surveillance imaging system and method | |
JP5966935B2 (ja) | 赤外線目標検出装置 | |
CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
CN109155055B (zh) | 关注区域图像生成装置 | |
US10417520B2 (en) | Method and system for automatically detecting a misalignment during operation of a monitoring sensor of an aircraft | |
JP2011169658A (ja) | 撮影位置特定装置および撮影位置特定方法 | |
WO2020019175A1 (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
JP6328443B2 (ja) | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム | |
JP6799635B2 (ja) | 空撮画像位置特定システムおよび空撮画像位置特定方法。 | |
CN113566847B (zh) | 导航校准方法和装置、电子设备、计算机可读介质 | |
US20200088831A1 (en) | Mobile body detection device, mobile body detection method, and mobile body detection program | |
JP2019179015A (ja) | 経路表示装置 | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
US10943491B2 (en) | Method of synthetic visualization of a scene viewed from an aircraft and to a synthetic vision system for implementing such a method | |
KR102049433B1 (ko) | Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법 | |
JP2011195005A (ja) | 画像表示装置および画像表示装置用プログラム | |
US11914763B1 (en) | System and method for conformal head worn display (HWD) headtracker alignment | |
US20230336702A1 (en) | Processing device, processing system, and processing method | |
US10760913B2 (en) | Determining and reducing inertial navigation system drift | |
CN109799363B (zh) | 移动引擎虚拟速度矢量确定方法、存储介质和确定系统 | |
US10802276B2 (en) | Display system, related display method and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6328443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |