JP4328551B2 - 撮像姿勢制御装置 - Google Patents
撮像姿勢制御装置 Download PDFInfo
- Publication number
- JP4328551B2 JP4328551B2 JP2003057990A JP2003057990A JP4328551B2 JP 4328551 B2 JP4328551 B2 JP 4328551B2 JP 2003057990 A JP2003057990 A JP 2003057990A JP 2003057990 A JP2003057990 A JP 2003057990A JP 4328551 B2 JP4328551 B2 JP 4328551B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- angle information
- aircraft
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 72
- 238000001514 detection method Methods 0.000 claims description 40
- 210000003128 head Anatomy 0.000 description 34
- 230000033001 locomotion Effects 0.000 description 11
- 230000000903 blocking effect Effects 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 230000001720 vestibular Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010025482 malaise Diseases 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 241000356847 Otolithes Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000002842 otolith Effects 0.000 description 1
- 210000001265 otolithic membrane Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像姿勢制御装置に関し、特に、３軸（ロール軸・ピッチ軸・ヨー軸）回りに回転可能な撮像手段の姿勢を制御する撮像姿勢制御装置に関する。
【０００２】
【従来の技術】
近年、飛行中の外界の画像情報を所定の撮像装置によって取得し、この画像情報に基づいて外界映像を生成し、生成した外界映像を所定のディスプレイに表示することにより、操縦者の操縦を支援する技術が提案され、実用化されている。
【０００３】
例えば、相互に直交する３軸回りに回転可能で、撮像方向を任意に変更することができるジャイロ式駆動装置に取り付けられたビデオカメラ（例えば、特許文献１参照。）を、機体の外部に設置する技術が提案されている。このようなジャイロ式駆動装置を採用すると、機体が動揺した場合においても、ジャイロ・スタビライズ効果により、外界映像は安定した状態で維持されることとなる。
【０００４】
一方、航空機を操縦する際には、前記したような安定した外界映像だけではなく、地平線の傾斜や進行方向への指向を適切に示すとともに、操縦者の頭部や視線の動きに応じて変化する外界映像（視界情報）を提供する技術が必要となる。
【０００５】
かかる視界情報を提供する技術としては、操縦者の頭部に小型のディスプレイ（Head Mounted Display：以下、「ＨＭＤ」という）を装着するとともに、所定の駆動装置を介して機体にカメラを設置し、操縦者の頭部の動きを測定することにより操縦者の視線方向を検出し、検出した視線方向に従ってカメラを駆動する、というシステム（以下、「視界情報提供システム」という）が提案されている（例えば、特許文献２参照。）。
【０００６】
【特許文献１】
特開平５−１６７９０１号公報（第２頁、第２図）
【特許文献２】
特開２００１−３４４５９７号公報（第１頁、第１図）
【０００７】
【発明が解決しようとする課題】
しかし、前記したような視界情報提供システムで使用される駆動装置は、２軸（ピッチ軸・ヨー軸）回りにのみカメラを回転可能とする構造であるため、このシステムによって提供される視界情報を視認した操縦者（又は同乗者）が生理的不快感をおぼえる場合がある。
【０００８】
例えば、操縦者が一時的に横を向いたことによりカメラがヨー軸回りに回転し、視界情報が横向きになった状態において、機体がピッチング運動を行った場合には、機体があたかもロール運動を行っているような視界情報が表示される。一方、機体は実際にロール運動を行っているわけではないので、操縦者は、三半規管及び耳石からなる前庭器官により、機体がピッチング運動をしていることを感じる。この結果、操縦者が目から得た視界情報と、前庭器官から得た空間情報と、が矛盾することとなるため、操縦者は酔い易くなってしまう。
【０００９】
かかる現象は、外部が全く見えない場合（例えば、前記したＨＭＤを使用した場合）や、外部が見え難い場合（例えば、透過型の視界表示装置を使用した場合における夜間・悪天候時）において、顕著となる。
【００１０】
本発明の課題は、航空機の視界情報提供システムで用いられる撮像手段の姿勢を制御する撮像姿勢制御装置において、操縦者が目から得た視界情報と、他の器官から得た空間情報と、が矛盾することに起因する操縦者の生理的不快感を解消することである。
【００１１】
【課題を解決するための手段】
以上の課題を解決するために、請求項１に記載の発明は、航空機に搭載されロール軸・ピッチ軸・ヨー軸回りに回転可能な撮像手段の姿勢を制御する撮像姿勢制御装置において、操縦者の視線方向に係る情報を検出する視線方向情報検出手段と、前記視線方向に係る情報を参照して前記撮像手段を回転駆動するための駆動信号を出力し、この駆動信号に基づいて前記撮像手段を回転駆動させる駆動手段と、前記撮像手段のヨー角情報を検出する撮像姿勢情報検出手段と、前記航空機の機体のピッチ角情報を検出する機体姿勢情報検出手段と、前記撮像手段のヨー角情報及び前記航空機の機体のピッチ角情報を参照して前記撮像手段をロール軸回りに回転駆動させるための前記駆動信号を補正する補正手段と、を備えることを特徴とする。
【００１２】
請求項１に記載の発明によれば、補正手段により、撮像姿勢情報検出手段で検出した撮像手段の姿勢に係る情報と、機体姿勢情報検出手段で検出した航空機の姿勢に係る情報と、を参照して、撮像手段を回転駆動するための駆動信号を補正することができる。
【００１３】
例えば、操縦者が一時的に横を向いたことにより撮像手段がヨー軸回りに回転して撮像手段が横向きになった状態において、機体がピッチング運動を行った場合に、撮像手段の姿勢に係る情報（撮像手段のヨー角情報）と、航空機の姿勢に係る情報（機体のピッチ角情報）と、に基づいて、撮像手段をロール軸回りに回転駆動させるための駆動信号を補正することができる。従って、機体がピッチング運動を行っても、ロール軸はほぼ動かない視界情報を表示することができる。この結果、操縦者が目から得た視界情報と、前庭器官から得た空間情報と、の矛盾を解消することができるので、操縦者の酔いを防止することができる。
【００１４】
請求項２に記載の発明は、請求項１に記載の撮像姿勢制御装置において、前記補正手段は、前記撮像手段のヨー角情報及び前記航空機の機体のピッチ角情報を用いて、補正角情報を算出し、前記視線方向情報検出手段で検出された頭部ロール角情報から前記補正角情報を減算することにより、前記撮像手段をロール軸回りに回転駆動させるための前記駆動信号を補正することを特徴とする。
【００１５】
請求項３に記載の発明は、請求項１又は２に記載の撮像姿勢制御装置において、前記操縦者の頭部に装着され、前記撮像手段により生成された外界映像を表示する表示手段をさらに備えることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に基づいて詳細に説明する。本実施の形態では、航空機の視界情報提供システムにおいて使用される撮像姿勢制御装置について説明する。なお、視界情報提供システムは、操縦者の頭部に装着するＨＭＤ、機体に搭載するステレオカメラ、等を備えるものであり、本実施の形態に係る撮像姿勢制御装置は、ステレオカメラの姿勢を制御するように機能する。
【００１９】
まず、本実施の形態に係る撮像姿勢制御装置の構成について、図１及び図２を用いて説明する。図１は、撮像姿勢制御装置の構成を説明するためのブロック図であり、図２は、図１に示した撮像姿勢制御装置によって制御される撮像手段（ステレオカメラ１００）の概略図である。
【００２０】
撮像姿勢制御装置は、相互に直交するロール軸Ａ1・ピッチ軸Ａ2・ヨー軸Ａ3回りに回転可能なステレオカメラ１００（図２参照）の姿勢を制御するものである。ステレオカメラ１００は、所定の間隔をおいて配置された２台のカメラ１１０から構成されており、ステレオカメラ駆動装置２００を介して航空機の機体Ｂの前方下部に設置されている。
【００２１】
撮像姿勢制御装置は、図１に示すように、視線方向情報検出手段１０、演算装置２０、ステレオカメラ駆動装置２００、撮像姿勢情報検出手段３０、機体姿勢情報検出手段４０、補正手段５０、駆動阻止手段６０、等を備えて構成されている。
【００２２】
視線方向情報検出手段１０は、操縦者の視線方向に係る情報を検出するものである。本実施の形態では、「視線方向に係る情報」として、操縦者の頭部の姿勢情報（頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘT）を採用している。視線方向情報検出手段１０で検出した操縦者の頭部の姿勢情報は、演算装置２０に出力される。
【００２３】
視線方向情報検出手段１０は、操縦者の頭部に装着するＨＭＤ７０及び機体に搭載した３軸ジャイロセンサによって構成することができる。また、ＨＭＤ７０に搭載したセンサ（磁気センサ、光波センサ、音波センサ等）と、機体に搭載した信号（磁気信号、光波信号、音波信号等）発生手段と、によって視線方向情報検出手段１０を構成することもできる。
【００２４】
演算装置２０は、視線方向情報検出手段１０で検出した視線方向に係る情報を参照して、ステレオカメラ１００を回転駆動するための駆動信号を出力するものである。演算装置２０は、ローパスフィルタ２１、リミッタ２２、Ａ／Ｄ変換器２３、補正手段５０、駆動阻止手段６０、等を備えている。
【００２５】
ローパスフィルタ２１は、視線方向情報検出手段１０によって検出された情報（頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘT）の低周波部分（約数十Ｈｚ以下）のみを通過させて高周波ノイズを除去するフィルタであり、機体振動の影響を除去する。
【００２６】
リミッタ２２は、ステレオカメラ１００の２台のカメラ１１０が機体Ｂに当たるのを回避するために、カメラ１１０の回転角度を制限するという機能を果たす。リミッタ２２により、ステレオカメラ１００のロール軸Ａ1回りの回転角（ロール角Φ）と、ピッチ軸Ａ2回りの回転角（ピッチ角Θ）と、ヨー軸Ａ3回りの回転角（ヨー角Ψ）とを、ステレオカメラ１００が機体Ｂに当たらない範囲に制限する。なお、これらロール角Φ、ピッチ角Θ及びヨー角Ψの範囲は、機体Ｂに対するステレオカメラ駆動装置２００の取付位置により決定される。
【００２７】
なお、機体Ｂの進行方向を向いて右側のカメラ１１０が所定の基準位置から下方に傾斜する場合をロール角「正」とし、２台のカメラ１１０が所定の基準位置から上方を向く場合をピッチ角「正」とし、２台のカメラ１１０が所定の基準位置から右側を向く場合をヨー角「正」としている。
【００２８】
ステレオカメラ駆動装置２００は、演算装置２０で出力された駆動信号に基づいてステレオカメラ１００を回転駆動して、ステレオカメラ１００の姿勢を変更するものである。なお、演算装置２０及びステレオカメラ駆動装置２００は、本発明における駆動手段を構成する。
【００２９】
撮像姿勢情報検出手段３０は、ステレオカメラ１００の姿勢に係る情報を検出するものである。本実施の形態においては、「ステレオカメラ１００の姿勢に係る情報」として、ステレオカメラ１００のヨー角情報（ヨー軸Ａ3回りの回転角）Ψを採用している。
【００３０】
機体姿勢情報検出手段４０は、航空機の姿勢に係る情報を検出するものである。本実施の形態においては、「航空機の姿勢に係る情報」として、機体のピッチ角情報（機体の前後軸と水平面とのなす角）ΘBを採用している。撮像姿勢情報検出手段３０及び機体姿勢情報検出手段４０としては、ジャイロを用いた慣性機器や、光や電波等の電磁波を利用する装置等を採用することができる。
【００３１】
補正手段５０は、ステレオカメラ１００の姿勢に係る情報（ステレオカメラ１００のヨー角情報Ψ）及び航空機の姿勢に係る情報（機体のピッチ角情報ΘB）に基づいて、ステレオカメラ１００を回転駆動するための駆動信号を補正するものであり、演算装置２０内に設けられている。
【００３２】
本実施の形態における補正手段５０は、ステレオカメラ１００のヨー角情報Ψ及び機体のピッチ角情報ΘBを用いて、補正角情報ΦCを算出し、視線方向情報検出手段１０で検出された頭部ロール角情報ΦTからこの補正角情報ΦCを減算することにより、補正ロール角情報ΦFを算出している。すなわち、
ΦF＝ΦT−ΦC （１）
となる。ここで、補正角情報ΦCは、
ΦC＝ΘBｓｉｎΨ （２）
なる式で算出される。なお、機体のピッチ角情報ΘB及びステレオカメラ１００のヨー角情報Ψは、Ａ／Ｄ変換器２３によりデジタル信号に変換される。
【００３３】
駆動阻止手段６０は、視線方向情報検出手段１０で検出した視線方向に係る情報が所定レベルに達していない場合に、ステレオカメラ１００の回転駆動を阻止するものであり、演算装置２０内に設けられている。具体的に説明すると、視線方向情報検出手段１０で検出された頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘTの絶対値が、予め規定した規定値Φ0、Ψ0、Θ0未満であった場合には、駆動阻止手段６０は、ステレオカメラ駆動装置２００への駆動信号の出力を阻止する。
【００３４】
次に、本実施の形態に係る撮像姿勢制御装置によるステレオカメラ１００の姿勢制御動作について説明する。
【００３５】
まず、操縦者の頭部が横向きになると、視線方向情報検出手段１０は、操縦者の頭部の姿勢情報（頭部ヨー角情報ΨT）を検出する。視線方向情報検出手段１０で検出された頭部ヨー角情報ΨTは、演算装置２０に出力され、ローパスフィルタ２１を経て、駆動阻止手段６０に達する。駆動阻止手段６０で、頭部ヨー角情報ΨTの絶対値が規定値Ψ0以上である場合には、頭部ヨー角情報ΨTはそのままリミッタ２２を経由してステレオカメラ駆動装置２００に伝送される。一方、頭部ヨー角情報ΨTの絶対値が規定値Ψ0未満である場合には、駆動阻止手段６０は、ステレオカメラ駆動装置２００への駆動信号の出力を阻止する。
【００３６】
駆動阻止手段６０を通過した頭部ヨー角情報ΨTがステレオカメラ駆動装置２００に入力されると、ステレオカメラ駆動装置２００は、この頭部ヨー角情報ΨTに基づいてステレオカメラ１００をヨー軸Ａ3回りに回転させる。ステレオカメラ１００がヨー軸Ａ3回りに回転すると、撮像姿勢情報検出手段３０は、ステレオカメラ１００のヨー角情報Ψを検出する。そして、撮像姿勢情報検出手段３０によって検出されたヨー角情報Ψは、Ａ／Ｄ変換器２３でデジタル信号に変換された上で、演算装置２０の補正手段５０に伝送される。
【００３７】
このようにステレオカメラ１００がヨー軸Ａ3回りに回転した状態において、航空機がピッチング運動を行うと、機体姿勢情報検出手段４０は、機体のピッチ角情報ΘBを検出する。機体姿勢情報検出手段４０で検出されたピッチ角情報ΘBは、Ａ／Ｄ変換器２３を経由して、演算装置２０の補正手段５０に伝送される。
【００３８】
補正手段５０は、撮像姿勢情報検出手段３０で検出されたヨー角情報Ψと、機体姿勢情報検出手段４０で検出されたピッチ角情報ΘBと、を参照して補正ロール角情報ΦFを算出し、ステレオカメラ１００を回転駆動するための駆動信号を補正する。
【００３９】
例えば、視線方向情報検出手段１０で検出された頭部ロール角情報ΦTが０°（左右への傾斜なし）、撮像姿勢情報検出手段３０で検出されたヨー角情報Ψが３０°（右向き）、機体姿勢情報検出手段４０で検出されたピッチ角情報ΘBが３０°（上向き）である場合には、補正ロール角情報ΦFは、前記した（１）式及び（２）式を用いて、
ΦF＝ΦT−ΘBｓｉｎΨ＝０−３０×ｓｉｎ３０°＝−１５（°） （３）
と算出される。
【００４０】
すなわち、検出された頭部ロール角情報ΦTは０°であって、仮にこの情報ΦTがそのままステレオカメラ駆動装置２００に入力されるとステレオカメラ１００のロール角Φは所定の基準位置から傾斜することはないが、本実施の形態においては、補正手段５０により算出された補正ロール角情報ΦF（−１５°）がステレオカメラ駆動装置２００に入力されるため、ステレオカメラ１００は所定の基準位置から左側に１５°傾斜することとなる。このため、機体がピッチング運動をしてもロール軸はほぼ動かない視界情報を表示することができる。
【００４１】
以上説明した実施の形態に係る撮像姿勢制御装置においては、補正手段５０により、撮像姿勢情報検出手段３０で検出したステレオカメラ１００のヨー角情報Ψと、機体姿勢情報検出手段４０で検出した機体のピッチ角情報ΘBと、を参照して駆動信号を補正することができる。
【００４２】
すなわち、操縦者が一時的に横を向いたことによりステレオカメラ１００がヨー軸Ａ3回りに回転して横向きになった状態において、機体がピッチング運動を行った場合に、ステレオカメラ１００のヨー角情報Ψと、機体のピッチ角情報ΘBと、に基づいて補正ロール角情報ΦFを算出することにより、ステレオカメラ１００のロール軸Ａ1回りの回転駆動量を補正することができる。従って、操縦者は、機体がロール運動しているような錯覚を受けることがない。この結果、操縦者がＨＭＤ７０から得た視界情報と、前庭器官から得た空間情報と、の矛盾を解消することができるので、操縦者の酔いを防止することができる。
【００４３】
また、本実施の形態に係る撮像姿勢制御装置においては、視線方向情報検出手段１０で検出した情報（頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘT）の絶対値が、予め規定した規定値（Φ0、Ψ0、Θ0）未満である場合に、駆動阻止手段６０によってステレオカメラ１００の回転駆動を阻止することができる。従って、操縦者が視界情報の変更を望まない場合において、センサの共振や、機体の振動に起因する視線方向の変動、等によりステレオカメラ１００が回転して視界情報が変わってしまうのを防ぐことができる。この結果、安定した視界情報を操縦者に提供することができるので、操縦者は、疲労感の認知を含む生理的不快感をおぼえることがない。
【００４４】
なお、以上の実施の形態においては、視線方向情報検出手段１０として、操縦者の頭部の姿勢情報を検出するものを採用したが、操縦者の眼球の動きを検出するアイカメラ等を視線方向情報検出手段１０として採用することもできる。
【００４５】
また、本発明に係る撮像姿勢制御装置を搭載する航空機は、操縦者が搭乗する有人の航空機であるが、その種類は特に限定されることはない。すなわち、固定翼航空機、回転翼航空機、飛行船、等の各種有人航空機に本発明に係る撮像姿勢制御装置を搭載することができる。
【００４６】
また、本発明に係る撮像姿勢制御装置は、地上で遠隔操縦を行う航空機についても適用することができる。例えば、視線方向情報検出手段１０を装着したＨＭＤ７０等のディスプレイを地上操作員がかぶり、これ以外の装置を機体に搭載して運用することができる。
【００４７】
【発明の効果】
請求項１に記載の発明によれば、補正手段により、撮像姿勢情報検出手段で検出した撮像手段の姿勢に係る情報と、機体姿勢情報検出手段で検出した航空機の姿勢に係る情報と、を参照して駆動信号を補正することができる。例えば、操縦者が一時的に横を向いたことにより撮像手段が横向きになった状態において、機体がピッチング運動を行った場合に、撮像手段のヨー角と、機体のピッチ角と、に基づいて、撮像手段のロール軸回りの回転駆動量を補正することができる。この結果、機体がロール運動しているような錯覚を起こすことなく、視界情報を表示することができるので、操縦者が得た視界情報と、前庭器官から得た空間情報と、の矛盾を解消することができ、操縦者の酔いを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮像姿勢制御装置の構成を説明するためのブロック図である。
【図２】図１に示した撮像姿勢制御装置によって制御されるステレオカメラの概略図である。
【符号の説明】
１０ 視線方向情報検出手段
２０ 演算装置（駆動手段）
３０ 撮像姿勢情報検出手段
４０ 機体姿勢情報検出手段
５０ 補正手段
６０ 駆動阻止手段
７０ ＨＭＤ
１００ ステレオカメラ（撮像手段）
１１０ カメラ
２００ ステレオカメラ駆動装置（駆動手段）
Ａ1 ロール軸
Ａ2 ピッチ軸
Ａ3 ヨー軸
【発明の属する技術分野】
本発明は、撮像姿勢制御装置に関し、特に、３軸（ロール軸・ピッチ軸・ヨー軸）回りに回転可能な撮像手段の姿勢を制御する撮像姿勢制御装置に関する。
【０００２】
【従来の技術】
近年、飛行中の外界の画像情報を所定の撮像装置によって取得し、この画像情報に基づいて外界映像を生成し、生成した外界映像を所定のディスプレイに表示することにより、操縦者の操縦を支援する技術が提案され、実用化されている。
【０００３】
例えば、相互に直交する３軸回りに回転可能で、撮像方向を任意に変更することができるジャイロ式駆動装置に取り付けられたビデオカメラ（例えば、特許文献１参照。）を、機体の外部に設置する技術が提案されている。このようなジャイロ式駆動装置を採用すると、機体が動揺した場合においても、ジャイロ・スタビライズ効果により、外界映像は安定した状態で維持されることとなる。
【０００４】
一方、航空機を操縦する際には、前記したような安定した外界映像だけではなく、地平線の傾斜や進行方向への指向を適切に示すとともに、操縦者の頭部や視線の動きに応じて変化する外界映像（視界情報）を提供する技術が必要となる。
【０００５】
かかる視界情報を提供する技術としては、操縦者の頭部に小型のディスプレイ（Head Mounted Display：以下、「ＨＭＤ」という）を装着するとともに、所定の駆動装置を介して機体にカメラを設置し、操縦者の頭部の動きを測定することにより操縦者の視線方向を検出し、検出した視線方向に従ってカメラを駆動する、というシステム（以下、「視界情報提供システム」という）が提案されている（例えば、特許文献２参照。）。
【０００６】
【特許文献１】
特開平５−１６７９０１号公報（第２頁、第２図）
【特許文献２】
特開２００１−３４４５９７号公報（第１頁、第１図）
【０００７】
【発明が解決しようとする課題】
しかし、前記したような視界情報提供システムで使用される駆動装置は、２軸（ピッチ軸・ヨー軸）回りにのみカメラを回転可能とする構造であるため、このシステムによって提供される視界情報を視認した操縦者（又は同乗者）が生理的不快感をおぼえる場合がある。
【０００８】
例えば、操縦者が一時的に横を向いたことによりカメラがヨー軸回りに回転し、視界情報が横向きになった状態において、機体がピッチング運動を行った場合には、機体があたかもロール運動を行っているような視界情報が表示される。一方、機体は実際にロール運動を行っているわけではないので、操縦者は、三半規管及び耳石からなる前庭器官により、機体がピッチング運動をしていることを感じる。この結果、操縦者が目から得た視界情報と、前庭器官から得た空間情報と、が矛盾することとなるため、操縦者は酔い易くなってしまう。
【０００９】
かかる現象は、外部が全く見えない場合（例えば、前記したＨＭＤを使用した場合）や、外部が見え難い場合（例えば、透過型の視界表示装置を使用した場合における夜間・悪天候時）において、顕著となる。
【００１０】
本発明の課題は、航空機の視界情報提供システムで用いられる撮像手段の姿勢を制御する撮像姿勢制御装置において、操縦者が目から得た視界情報と、他の器官から得た空間情報と、が矛盾することに起因する操縦者の生理的不快感を解消することである。
【００１１】
【課題を解決するための手段】
以上の課題を解決するために、請求項１に記載の発明は、航空機に搭載されロール軸・ピッチ軸・ヨー軸回りに回転可能な撮像手段の姿勢を制御する撮像姿勢制御装置において、操縦者の視線方向に係る情報を検出する視線方向情報検出手段と、前記視線方向に係る情報を参照して前記撮像手段を回転駆動するための駆動信号を出力し、この駆動信号に基づいて前記撮像手段を回転駆動させる駆動手段と、前記撮像手段のヨー角情報を検出する撮像姿勢情報検出手段と、前記航空機の機体のピッチ角情報を検出する機体姿勢情報検出手段と、前記撮像手段のヨー角情報及び前記航空機の機体のピッチ角情報を参照して前記撮像手段をロール軸回りに回転駆動させるための前記駆動信号を補正する補正手段と、を備えることを特徴とする。
【００１２】
請求項１に記載の発明によれば、補正手段により、撮像姿勢情報検出手段で検出した撮像手段の姿勢に係る情報と、機体姿勢情報検出手段で検出した航空機の姿勢に係る情報と、を参照して、撮像手段を回転駆動するための駆動信号を補正することができる。
【００１３】
例えば、操縦者が一時的に横を向いたことにより撮像手段がヨー軸回りに回転して撮像手段が横向きになった状態において、機体がピッチング運動を行った場合に、撮像手段の姿勢に係る情報（撮像手段のヨー角情報）と、航空機の姿勢に係る情報（機体のピッチ角情報）と、に基づいて、撮像手段をロール軸回りに回転駆動させるための駆動信号を補正することができる。従って、機体がピッチング運動を行っても、ロール軸はほぼ動かない視界情報を表示することができる。この結果、操縦者が目から得た視界情報と、前庭器官から得た空間情報と、の矛盾を解消することができるので、操縦者の酔いを防止することができる。
【００１４】
請求項２に記載の発明は、請求項１に記載の撮像姿勢制御装置において、前記補正手段は、前記撮像手段のヨー角情報及び前記航空機の機体のピッチ角情報を用いて、補正角情報を算出し、前記視線方向情報検出手段で検出された頭部ロール角情報から前記補正角情報を減算することにより、前記撮像手段をロール軸回りに回転駆動させるための前記駆動信号を補正することを特徴とする。
【００１５】
請求項３に記載の発明は、請求項１又は２に記載の撮像姿勢制御装置において、前記操縦者の頭部に装着され、前記撮像手段により生成された外界映像を表示する表示手段をさらに備えることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に基づいて詳細に説明する。本実施の形態では、航空機の視界情報提供システムにおいて使用される撮像姿勢制御装置について説明する。なお、視界情報提供システムは、操縦者の頭部に装着するＨＭＤ、機体に搭載するステレオカメラ、等を備えるものであり、本実施の形態に係る撮像姿勢制御装置は、ステレオカメラの姿勢を制御するように機能する。
【００１９】
まず、本実施の形態に係る撮像姿勢制御装置の構成について、図１及び図２を用いて説明する。図１は、撮像姿勢制御装置の構成を説明するためのブロック図であり、図２は、図１に示した撮像姿勢制御装置によって制御される撮像手段（ステレオカメラ１００）の概略図である。
【００２０】
撮像姿勢制御装置は、相互に直交するロール軸Ａ1・ピッチ軸Ａ2・ヨー軸Ａ3回りに回転可能なステレオカメラ１００（図２参照）の姿勢を制御するものである。ステレオカメラ１００は、所定の間隔をおいて配置された２台のカメラ１１０から構成されており、ステレオカメラ駆動装置２００を介して航空機の機体Ｂの前方下部に設置されている。
【００２１】
撮像姿勢制御装置は、図１に示すように、視線方向情報検出手段１０、演算装置２０、ステレオカメラ駆動装置２００、撮像姿勢情報検出手段３０、機体姿勢情報検出手段４０、補正手段５０、駆動阻止手段６０、等を備えて構成されている。
【００２２】
視線方向情報検出手段１０は、操縦者の視線方向に係る情報を検出するものである。本実施の形態では、「視線方向に係る情報」として、操縦者の頭部の姿勢情報（頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘT）を採用している。視線方向情報検出手段１０で検出した操縦者の頭部の姿勢情報は、演算装置２０に出力される。
【００２３】
視線方向情報検出手段１０は、操縦者の頭部に装着するＨＭＤ７０及び機体に搭載した３軸ジャイロセンサによって構成することができる。また、ＨＭＤ７０に搭載したセンサ（磁気センサ、光波センサ、音波センサ等）と、機体に搭載した信号（磁気信号、光波信号、音波信号等）発生手段と、によって視線方向情報検出手段１０を構成することもできる。
【００２４】
演算装置２０は、視線方向情報検出手段１０で検出した視線方向に係る情報を参照して、ステレオカメラ１００を回転駆動するための駆動信号を出力するものである。演算装置２０は、ローパスフィルタ２１、リミッタ２２、Ａ／Ｄ変換器２３、補正手段５０、駆動阻止手段６０、等を備えている。
【００２５】
ローパスフィルタ２１は、視線方向情報検出手段１０によって検出された情報（頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘT）の低周波部分（約数十Ｈｚ以下）のみを通過させて高周波ノイズを除去するフィルタであり、機体振動の影響を除去する。
【００２６】
リミッタ２２は、ステレオカメラ１００の２台のカメラ１１０が機体Ｂに当たるのを回避するために、カメラ１１０の回転角度を制限するという機能を果たす。リミッタ２２により、ステレオカメラ１００のロール軸Ａ1回りの回転角（ロール角Φ）と、ピッチ軸Ａ2回りの回転角（ピッチ角Θ）と、ヨー軸Ａ3回りの回転角（ヨー角Ψ）とを、ステレオカメラ１００が機体Ｂに当たらない範囲に制限する。なお、これらロール角Φ、ピッチ角Θ及びヨー角Ψの範囲は、機体Ｂに対するステレオカメラ駆動装置２００の取付位置により決定される。
【００２７】
なお、機体Ｂの進行方向を向いて右側のカメラ１１０が所定の基準位置から下方に傾斜する場合をロール角「正」とし、２台のカメラ１１０が所定の基準位置から上方を向く場合をピッチ角「正」とし、２台のカメラ１１０が所定の基準位置から右側を向く場合をヨー角「正」としている。
【００２８】
ステレオカメラ駆動装置２００は、演算装置２０で出力された駆動信号に基づいてステレオカメラ１００を回転駆動して、ステレオカメラ１００の姿勢を変更するものである。なお、演算装置２０及びステレオカメラ駆動装置２００は、本発明における駆動手段を構成する。
【００２９】
撮像姿勢情報検出手段３０は、ステレオカメラ１００の姿勢に係る情報を検出するものである。本実施の形態においては、「ステレオカメラ１００の姿勢に係る情報」として、ステレオカメラ１００のヨー角情報（ヨー軸Ａ3回りの回転角）Ψを採用している。
【００３０】
機体姿勢情報検出手段４０は、航空機の姿勢に係る情報を検出するものである。本実施の形態においては、「航空機の姿勢に係る情報」として、機体のピッチ角情報（機体の前後軸と水平面とのなす角）ΘBを採用している。撮像姿勢情報検出手段３０及び機体姿勢情報検出手段４０としては、ジャイロを用いた慣性機器や、光や電波等の電磁波を利用する装置等を採用することができる。
【００３１】
補正手段５０は、ステレオカメラ１００の姿勢に係る情報（ステレオカメラ１００のヨー角情報Ψ）及び航空機の姿勢に係る情報（機体のピッチ角情報ΘB）に基づいて、ステレオカメラ１００を回転駆動するための駆動信号を補正するものであり、演算装置２０内に設けられている。
【００３２】
本実施の形態における補正手段５０は、ステレオカメラ１００のヨー角情報Ψ及び機体のピッチ角情報ΘBを用いて、補正角情報ΦCを算出し、視線方向情報検出手段１０で検出された頭部ロール角情報ΦTからこの補正角情報ΦCを減算することにより、補正ロール角情報ΦFを算出している。すなわち、
ΦF＝ΦT−ΦC （１）
となる。ここで、補正角情報ΦCは、
ΦC＝ΘBｓｉｎΨ （２）
なる式で算出される。なお、機体のピッチ角情報ΘB及びステレオカメラ１００のヨー角情報Ψは、Ａ／Ｄ変換器２３によりデジタル信号に変換される。
【００３３】
駆動阻止手段６０は、視線方向情報検出手段１０で検出した視線方向に係る情報が所定レベルに達していない場合に、ステレオカメラ１００の回転駆動を阻止するものであり、演算装置２０内に設けられている。具体的に説明すると、視線方向情報検出手段１０で検出された頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘTの絶対値が、予め規定した規定値Φ0、Ψ0、Θ0未満であった場合には、駆動阻止手段６０は、ステレオカメラ駆動装置２００への駆動信号の出力を阻止する。
【００３４】
次に、本実施の形態に係る撮像姿勢制御装置によるステレオカメラ１００の姿勢制御動作について説明する。
【００３５】
まず、操縦者の頭部が横向きになると、視線方向情報検出手段１０は、操縦者の頭部の姿勢情報（頭部ヨー角情報ΨT）を検出する。視線方向情報検出手段１０で検出された頭部ヨー角情報ΨTは、演算装置２０に出力され、ローパスフィルタ２１を経て、駆動阻止手段６０に達する。駆動阻止手段６０で、頭部ヨー角情報ΨTの絶対値が規定値Ψ0以上である場合には、頭部ヨー角情報ΨTはそのままリミッタ２２を経由してステレオカメラ駆動装置２００に伝送される。一方、頭部ヨー角情報ΨTの絶対値が規定値Ψ0未満である場合には、駆動阻止手段６０は、ステレオカメラ駆動装置２００への駆動信号の出力を阻止する。
【００３６】
駆動阻止手段６０を通過した頭部ヨー角情報ΨTがステレオカメラ駆動装置２００に入力されると、ステレオカメラ駆動装置２００は、この頭部ヨー角情報ΨTに基づいてステレオカメラ１００をヨー軸Ａ3回りに回転させる。ステレオカメラ１００がヨー軸Ａ3回りに回転すると、撮像姿勢情報検出手段３０は、ステレオカメラ１００のヨー角情報Ψを検出する。そして、撮像姿勢情報検出手段３０によって検出されたヨー角情報Ψは、Ａ／Ｄ変換器２３でデジタル信号に変換された上で、演算装置２０の補正手段５０に伝送される。
【００３７】
このようにステレオカメラ１００がヨー軸Ａ3回りに回転した状態において、航空機がピッチング運動を行うと、機体姿勢情報検出手段４０は、機体のピッチ角情報ΘBを検出する。機体姿勢情報検出手段４０で検出されたピッチ角情報ΘBは、Ａ／Ｄ変換器２３を経由して、演算装置２０の補正手段５０に伝送される。
【００３８】
補正手段５０は、撮像姿勢情報検出手段３０で検出されたヨー角情報Ψと、機体姿勢情報検出手段４０で検出されたピッチ角情報ΘBと、を参照して補正ロール角情報ΦFを算出し、ステレオカメラ１００を回転駆動するための駆動信号を補正する。
【００３９】
例えば、視線方向情報検出手段１０で検出された頭部ロール角情報ΦTが０°（左右への傾斜なし）、撮像姿勢情報検出手段３０で検出されたヨー角情報Ψが３０°（右向き）、機体姿勢情報検出手段４０で検出されたピッチ角情報ΘBが３０°（上向き）である場合には、補正ロール角情報ΦFは、前記した（１）式及び（２）式を用いて、
ΦF＝ΦT−ΘBｓｉｎΨ＝０−３０×ｓｉｎ３０°＝−１５（°） （３）
と算出される。
【００４０】
すなわち、検出された頭部ロール角情報ΦTは０°であって、仮にこの情報ΦTがそのままステレオカメラ駆動装置２００に入力されるとステレオカメラ１００のロール角Φは所定の基準位置から傾斜することはないが、本実施の形態においては、補正手段５０により算出された補正ロール角情報ΦF（−１５°）がステレオカメラ駆動装置２００に入力されるため、ステレオカメラ１００は所定の基準位置から左側に１５°傾斜することとなる。このため、機体がピッチング運動をしてもロール軸はほぼ動かない視界情報を表示することができる。
【００４１】
以上説明した実施の形態に係る撮像姿勢制御装置においては、補正手段５０により、撮像姿勢情報検出手段３０で検出したステレオカメラ１００のヨー角情報Ψと、機体姿勢情報検出手段４０で検出した機体のピッチ角情報ΘBと、を参照して駆動信号を補正することができる。
【００４２】
すなわち、操縦者が一時的に横を向いたことによりステレオカメラ１００がヨー軸Ａ3回りに回転して横向きになった状態において、機体がピッチング運動を行った場合に、ステレオカメラ１００のヨー角情報Ψと、機体のピッチ角情報ΘBと、に基づいて補正ロール角情報ΦFを算出することにより、ステレオカメラ１００のロール軸Ａ1回りの回転駆動量を補正することができる。従って、操縦者は、機体がロール運動しているような錯覚を受けることがない。この結果、操縦者がＨＭＤ７０から得た視界情報と、前庭器官から得た空間情報と、の矛盾を解消することができるので、操縦者の酔いを防止することができる。
【００４３】
また、本実施の形態に係る撮像姿勢制御装置においては、視線方向情報検出手段１０で検出した情報（頭部ロール角情報ΦT、頭部ヨー角情報ΨT及び頭部ピッチ角情報ΘT）の絶対値が、予め規定した規定値（Φ0、Ψ0、Θ0）未満である場合に、駆動阻止手段６０によってステレオカメラ１００の回転駆動を阻止することができる。従って、操縦者が視界情報の変更を望まない場合において、センサの共振や、機体の振動に起因する視線方向の変動、等によりステレオカメラ１００が回転して視界情報が変わってしまうのを防ぐことができる。この結果、安定した視界情報を操縦者に提供することができるので、操縦者は、疲労感の認知を含む生理的不快感をおぼえることがない。
【００４４】
なお、以上の実施の形態においては、視線方向情報検出手段１０として、操縦者の頭部の姿勢情報を検出するものを採用したが、操縦者の眼球の動きを検出するアイカメラ等を視線方向情報検出手段１０として採用することもできる。
【００４５】
また、本発明に係る撮像姿勢制御装置を搭載する航空機は、操縦者が搭乗する有人の航空機であるが、その種類は特に限定されることはない。すなわち、固定翼航空機、回転翼航空機、飛行船、等の各種有人航空機に本発明に係る撮像姿勢制御装置を搭載することができる。
【００４６】
また、本発明に係る撮像姿勢制御装置は、地上で遠隔操縦を行う航空機についても適用することができる。例えば、視線方向情報検出手段１０を装着したＨＭＤ７０等のディスプレイを地上操作員がかぶり、これ以外の装置を機体に搭載して運用することができる。
【００４７】
【発明の効果】
請求項１に記載の発明によれば、補正手段により、撮像姿勢情報検出手段で検出した撮像手段の姿勢に係る情報と、機体姿勢情報検出手段で検出した航空機の姿勢に係る情報と、を参照して駆動信号を補正することができる。例えば、操縦者が一時的に横を向いたことにより撮像手段が横向きになった状態において、機体がピッチング運動を行った場合に、撮像手段のヨー角と、機体のピッチ角と、に基づいて、撮像手段のロール軸回りの回転駆動量を補正することができる。この結果、機体がロール運動しているような錯覚を起こすことなく、視界情報を表示することができるので、操縦者が得た視界情報と、前庭器官から得た空間情報と、の矛盾を解消することができ、操縦者の酔いを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮像姿勢制御装置の構成を説明するためのブロック図である。
【図２】図１に示した撮像姿勢制御装置によって制御されるステレオカメラの概略図である。
【符号の説明】
１０ 視線方向情報検出手段
２０ 演算装置（駆動手段）
３０ 撮像姿勢情報検出手段
４０ 機体姿勢情報検出手段
５０ 補正手段
６０ 駆動阻止手段
７０ ＨＭＤ
１００ ステレオカメラ（撮像手段）
１１０ カメラ
２００ ステレオカメラ駆動装置（駆動手段）
Ａ1 ロール軸
Ａ2 ピッチ軸
Ａ3 ヨー軸
Claims (3)
- 航空機に搭載されロール軸・ピッチ軸・ヨー軸回りに回転可能な撮像手段の姿勢を制御する撮像姿勢制御装置において、
操縦者の視線方向に係る情報を検出する視線方向情報検出手段と、
前記視線方向に係る情報を参照して前記撮像手段を回転駆動するための駆動信号を出力し、この駆動信号に基づいて前記撮像手段を回転駆動させる駆動手段と、
前記撮像手段のヨー角情報を検出する撮像姿勢情報検出手段と、
前記航空機の機体のピッチ角情報を検出する機体姿勢情報検出手段と、
前記撮像手段のヨー角情報及び前記航空機の機体のピッチ角情報を参照して前記撮像手段をロール軸回りに回転駆動させるための前記駆動信号を補正する補正手段と、
を備えることを特徴とする撮像姿勢制御装置。 - 前記補正手段は、前記撮像手段のヨー角情報及び前記航空機の機体のピッチ角情報を用いて、補正角情報を算出し、前記視線方向情報検出手段で検出された頭部ロール角情報から前記補正角情報を減算することにより、前記撮像手段をロール軸回りに回転駆動させるための前記駆動信号を補正することを特徴とする請求項１に記載の撮像姿勢制御装置。
- 前記操縦者の頭部に装着され、前記撮像手段により生成された外界映像を表示する表示手段をさらに備えることを特徴とする請求項１又は２に記載の撮像姿勢制御装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003057990A JP4328551B2 (ja) | 2003-03-05 | 2003-03-05 | 撮像姿勢制御装置 |
| CA002459446A CA2459446C (en) | 2003-03-05 | 2004-03-03 | Image compensation apparatus |
| US10/792,129 US6999005B2 (en) | 2003-03-05 | 2004-03-04 | Image compensation apparatus |
| EP04005134A EP1455526A3 (en) | 2003-03-05 | 2004-03-04 | Image compensation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003057990A JP4328551B2 (ja) | 2003-03-05 | 2003-03-05 | 撮像姿勢制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004271557A JP2004271557A (ja) | 2004-09-30 |
| JP4328551B2 true JP4328551B2 (ja) | 2009-09-09 |
Family
ID=32821196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003057990A Expired - Fee Related JP4328551B2 (ja) | 2003-03-05 | 2003-03-05 | 撮像姿勢制御装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6999005B2 (ja) |
| EP (1) | EP1455526A3 (ja) |
| JP (1) | JP4328551B2 (ja) |
| CA (1) | CA2459446C (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10313659B2 (en) | 2016-09-15 | 2019-06-04 | Subaru Corporation | Stereoscopic distance measuring apparatus, stereoscopic distance measuring method, and computer readable medium |
| US10308374B2 (en) | 2016-10-19 | 2019-06-04 | Subaru Corporation | Stereo distance measuring apparatus, stereo distance measuring method, and computer readable medium |
| US10949981B2 (en) | 2018-04-03 | 2021-03-16 | Subaru Corporation | Position measuring method, position measuring apparatus, and position measuring system |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139015A (ja) * | 2004-11-11 | 2006-06-01 | Fujinon Corp | 立体カメラ用レンズシステム |
| US8780174B1 (en) * | 2010-10-12 | 2014-07-15 | The Boeing Company | Three-dimensional vision system for displaying images taken from a moving vehicle |
| JP5742179B2 (ja) * | 2010-11-05 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |
| JP6026088B2 (ja) | 2011-08-09 | 2016-11-16 | 株式会社トプコン | 遠隔操作システム |
| WO2013033954A1 (zh) | 2011-09-09 | 2013-03-14 | 深圳市大疆创新科技有限公司 | 陀螺式动态自平衡云台 |
| US8903654B2 (en) * | 2012-06-20 | 2014-12-02 | Raytheon Company | Non-causal attitude estimation for real-time motion compensation of sensed images on a moving platform |
| US20140090984A1 (en) * | 2012-10-01 | 2014-04-03 | Alcoa Inc. | Systems and methods for stereoscopic imaging of aluminum electrolysis pot tending operations |
| US8934023B2 (en) * | 2013-03-15 | 2015-01-13 | Freefly Systems, Inc. | Method and system for introducing controlled disturbance into an actively stabilized system |
| US8903568B1 (en) | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
| CN104903790B (zh) | 2013-10-08 | 2018-07-24 | 深圳市大疆灵眸科技有限公司 | 用于增稳和减振的装置和方法 |
| KR101429166B1 (ko) * | 2013-12-27 | 2014-08-13 | 대한민국 | 비행체에 탑재되는 촬영시스템 |
| US9900511B2 (en) | 2015-04-10 | 2018-02-20 | Freefly Systems, Inc. | Method, system, and device for controlling a stabilized camera remotely |
| WO2017017675A1 (en) * | 2015-07-28 | 2017-02-02 | Margolin Joshua | Multi-rotor uav flight control method and system |
| CN113311878A (zh) | 2016-05-31 | 2021-08-27 | 深圳市大疆灵眸科技有限公司 | 用于自适应云台的方法和系统 |
| CN107466385B (zh) * | 2016-08-03 | 2021-06-01 | 深圳市大疆灵眸科技有限公司 | 一种云台控制方法及系统 |
| US20180091797A1 (en) * | 2016-09-27 | 2018-03-29 | The Boeing Company | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
| KR101929114B1 (ko) * | 2017-03-08 | 2018-12-13 | 한서대학교 산학협력단 | 모션인식 기반의 원격제어 방법 |
| KR101929113B1 (ko) * | 2017-03-08 | 2018-12-13 | 한서대학교 산학협력단 | 모션인식 기반의 원격제어 시스템 |
| CN113055598B (zh) * | 2021-03-25 | 2022-08-05 | 浙江商汤科技开发有限公司 | 朝向数据补偿方法、装置、电子设备、可读存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3744387A (en) * | 1971-10-08 | 1973-07-10 | D Fuller | Camera with apparent image motion and direction compensation |
| US5523887A (en) * | 1988-01-21 | 1996-06-04 | Loral Fairchild Corporation | Stabilized imaging system |
| US5072218A (en) * | 1988-02-24 | 1991-12-10 | Spero Robert E | Contact-analog headup display method and apparatus |
| US5414521A (en) * | 1991-09-12 | 1995-05-09 | Ansley; David A. | Dynamic distortion correction apparatus and method |
| JP2609967B2 (ja) | 1991-12-13 | 1997-05-14 | 日本航空電子工業株式会社 | 被遠隔操作体の駆動装置 |
| US5798786A (en) * | 1996-05-07 | 1998-08-25 | Recon/Optical, Inc. | Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions |
| US6130705A (en) * | 1998-07-10 | 2000-10-10 | Recon/Optical, Inc. | Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use |
| JP2001344597A (ja) | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
| US6477326B1 (en) * | 2000-08-31 | 2002-11-05 | Recon/Optical, Inc. | Dual band framing reconnaissance camera |
-
2003
- 2003-03-05 JP JP2003057990A patent/JP4328551B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-03 CA CA002459446A patent/CA2459446C/en not_active Expired - Fee Related
- 2004-03-04 EP EP04005134A patent/EP1455526A3/en not_active Withdrawn
- 2004-03-04 US US10/792,129 patent/US6999005B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10313659B2 (en) | 2016-09-15 | 2019-06-04 | Subaru Corporation | Stereoscopic distance measuring apparatus, stereoscopic distance measuring method, and computer readable medium |
| US10308374B2 (en) | 2016-10-19 | 2019-06-04 | Subaru Corporation | Stereo distance measuring apparatus, stereo distance measuring method, and computer readable medium |
| US10949981B2 (en) | 2018-04-03 | 2021-03-16 | Subaru Corporation | Position measuring method, position measuring apparatus, and position measuring system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004271557A (ja) | 2004-09-30 |
| CA2459446A1 (en) | 2004-09-05 |
| US6999005B2 (en) | 2006-02-14 |
| EP1455526A3 (en) | 2009-11-18 |
| US20040174453A1 (en) | 2004-09-09 |
| EP1455526A2 (en) | 2004-09-08 |
| CA2459446C (en) | 2007-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4328551B2 (ja) | 撮像姿勢制御装置 | |
| JP6642432B2 (ja) | 情報処理装置及び情報処理方法、並びに画像表示システム | |
| US10310595B2 (en) | Information processing apparatus, information processing method, computer program, and image processing system | |
| CN104781873B (zh) | 图像显示装置、图像显示方法、移动装置、图像显示系统 | |
| JP6837805B2 (ja) | ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法 | |
| JP6540691B2 (ja) | 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム | |
| US11157078B2 (en) | Information processing apparatus, information processing method, and program | |
| CN106474751B (zh) | 用于观看电影的机电系统及其控制方法 | |
| JP2002312117A (ja) | 円筒映像球面映像コントロール装置 | |
| JP3252129B2 (ja) | ヘリコプタの操縦支援装置 | |
| TW200940116A (en) | A motion sickness prevention device | |
| JP2011257342A (ja) | ヘッドトラッキング装置及びヘッドトラッキング方法 | |
| CN205356558U (zh) | 遥控观看系统及其摄像端和观看端 | |
| CN110633015A (zh) | 一种驾驶员头部姿态检测装置 | |
| WO2021117606A1 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
| JP2020131921A (ja) | 動揺病抑制装置 | |
| JP2004056272A (ja) | 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法 | |
| JP4075253B2 (ja) | 赤外線映像供給装置 | |
| JPH10206788A (ja) | 車両用ヘッドマウントディスプレイ装置 | |
| US11726340B1 (en) | Systems and methods for transforming video data in an indirect vision system | |
| JPH09163267A (ja) | 光学視覚装置 | |
| CN210324105U (zh) | 一种驾驶员头部姿态检测装置 | |
| TWM619972U (zh) | 行駛系統的操控裝置 | |
| KR20060072273A (ko) | 헬멧을 이용한 실시간 영상 디스플레이 장치 및 그를이용한 무인항공기의 카메라 조절 장치 | |
| IT201900013200A1 (it) | Sistema di interazione multimediale, particolarmente per applicazioni turistiche e ludiche |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |