JP5155145B2 - 画像補正装置、方法、プログラム、集積回路、システム - Google Patents

Description

本発明は、画像を補正する技術に関し、特に、移動体に搭載されるカメラが撮影した画像を補正する技術に関する。

カメラが被写体を撮影できるようカメラの撮影位置や撮影方向を制御する技術が、従来、広く用いられている。
例えば、特許文献１には、第１のカメラを用いて監視対象領域を監視し、撮影映像に基づいて監視領域内の侵入者を検知して、侵入者を追尾するよう第２のカメラの撮影方向を制御する侵入物体監視システムが開示されている。また、特許文献２には、監視領域を移動する移動体にカメラを搭載し、移動体自身が被写体を追尾しつつカメラを制御して被写体を撮影する技術が開示されている。

しかし、飛行体などの移動体にカメラを搭載し、移動体を移動させながら撮影を行う場合、風などの外乱によって移動体が動いて、カメラの撮影映像に悪影響を及ぼすという問題がある。
例えば、移動体を移動させながら被写体を撮影している時に、外乱により移動体が動いて本来撮影を行うべき位置から外れて撮影を行うと、被写体を意図したように撮影できない。例えば、被写体が小さく写ったり、撮影画像の中の意図しない位置に写ったりする。従来の技術では、カメラが固定であったり、移動体が安定して移動できることを前提としているが、撮影画像に与える外乱の悪影響は大きく、この悪影響は無視できないものである。

このような外乱の悪影響に対処するために、移動体が外乱に対して安定して飛行等できるように移動体を機械制御して被写体を撮影する技術が、従来、用いられている。例えば、観測カメラの分野では、気球等の飛行体にカメラを搭載し、空中で飛行体を安定させて地上を撮影する技術がある。下記の特許文献３には、撮影装置を、気球が揺れ動いたとしても自重によって姿勢が復帰できるように吊すとともに、撮影装置の撮影方向を任意の向きに遠隔制御することにより、目的の場所を撮影する技術が開示されている。
日本国公開特許公報 特開２００１−３１９２７９号公報 日本国公開特許公報 特開２００４−３２８４８４号公報 日本国公開特許公報 特開昭６０−５３９４２号公報

上述の従来技術は、外乱があったとしても、カメラの撮影位置を本来の撮影位置に戻すよう制御することで、本来意図したような撮影を行う技術である。
しかし、外乱には規則性がない場合が大半であり、外乱をモデル化できず、移動体が安定して飛行するまでに時間がかかる。その間、本来意図したような撮影結果を得ることができない。つまり、外乱の及ぼす悪影響を回避することは難しい。

また、移動体に搭載されたカメラが撮影した映像に基づいて、移動体やカメラを制御する技術が提案されている。しかし、この場合、撮影された映像が本来意図したものであるか、外乱を受けた結果望ましくないものとなっているかを、映像に基づいて判断するのは困難である。
そこで、本発明は、カメラを搭載した移動体により撮影を行った場合に、外乱の悪影響があったとしても、本来意図したような画像を出力する画像補正装置を提供することを目的とする。

上記課題を解決するため、本発明は、移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正装置であって、前記カメラが撮影した撮影画像を取得する画像取得手段と、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得手段と、前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定手段と、前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力手段とを備えることを特徴とする。

上述の構成を備える画像補正装置は、撮影画像から、所定の画像抽出範囲の画像を抽出して出力する。画像抽出範囲の画像を出力画像とするので、撮影画像は、出力画像よりも大きいサイズの画像である。そのため、撮影時のカメラ位置と指定されたカメラ位置とに差分があったとしても、その差分が所定の大きさ以下であれば、撮影画像には、指定されたカメラ位置から撮影が行われた場合に出力画像として出力する画像が含まれている。この画像は、位置の差分の大きさや方向によって、撮影画像における位置や範囲が定まる。

したがって、外乱の影響があったとしても、指定されたカメラ位置から撮影が行われた場合に出力画像として出力する画像が含まれる出力画像抽出範囲の位置および範囲を、位置の差分に基づいて撮影画像から特定することにより、画像補正装置は、本来意図したような、外乱の悪影響がない画像を出力することができる。
上述の構成は、具体的には、以下のようにすればよい。

すなわち、本発明は、前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの撮影方向、または、前記指定されたカメラ位置における前記カメラの撮影方向の少なくともいずれかを示す撮影方向情報を取得するカメラ情報取得手段を備え、前記決定手段は、前記取得された前記撮影方向情報に基づいて、前記位置差分情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記撮影方向に直交する平面の成分とに分解する分解部と、前記撮影方向の成分に基づいて、前記標準の画像抽出範囲のサイズを補正し、補正後のサイズを、出力画像抽出範囲のサイズと決定する画像サイズ算出部と、前記撮影方向に直交する平面の成分に基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点と決定する画像基準点算出部とを含む画像補正装置としてもよい。

位置の差分のうち、カメラの撮影方向の成分は、要するに、実際の撮影が行われたカメラ位置が、指定されたカメラ位置よりも撮影対象面に近いか大きいかを示すものである。当然、指定されたカメラ位置よりも実際のカメラ位置が撮影対象面に近ければ、被写体は意図した大きさよりも大きく写るし、指定されたカメラ位置よりも実際のカメラ位置が撮影対象面に遠ければ、被写体は意図した大きさよりも小さく写る。

したがって、位置の差分のうち、カメラの撮影方向の成分に基づいて、出力画像抽出範囲のサイズを決定することで、出力画像における被写体の大きさを、本来意図したような大きさにすることができる。
また、位置の差分のうち、カメラの撮影方向に直交する平面の成分は、要するに、実際のカメラ位置から撮影した場合の撮影対象面が、指定されたカメラ位置から撮影した場合の撮影対象面とどれだけずれているかを示すものである。

したがって、位置の差分のうち、カメラの撮影方向に直交する平面の成分に基づいて、出力画像抽出範囲の基準点を決定することで、指定されたカメラ位置から撮影した場合に出力される画像を出力画像抽出範囲に含めることができる。
具体的には、前記位置差分情報に示される前記差分を、前記指定されたカメラ位置を始点とし、前記撮影画像の撮影が行われた時点のカメラ位置を終点とするベクトルで表したとき、前記撮影方向に直交する平面の成分は、前記ベクトルを前記撮影方向に直交する平面に射影した射影ベクトルであり、前記画像基準点算出部は、前記射影ベクトルの大きさに基づいて、前記移動させる基準点の移動量を算出し、前記射影ベクトルが前記撮影方向に直交する平面で示す方向の逆方向に、前記算出した移動量の分、前記標準の画像抽出範囲の基準点を前記移動させることとする。

また、前記カメラ情報取得手段は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの画角、または、前記指定されたカメラ位置における前記カメラの画角の少なくともいずれかを示す画角情報、および、前記撮影画像の撮影が行われた時点の前記カメラ位置から撮影対象までの距離、または、前記指定されたカメラ位置から撮影対象までの距離の少なくともいずれかを示す距離情報を取得し、前記画像基準点算出部は、前記取得された前記画角情報と、前記距離情報とに基づいて、撮影範囲の大きさを算出し、前記撮影範囲の大きさと、前記射影ベクトルの大きさとの比率に基づいて、前記基準点の前記移動量を算出することとすればよい。

基準点を移動させる方向および移動量は、上記射影ベクトルに基づいて定まる。射影ベクトルに基づいて、出力画像抽出範囲の基準点を決定することで、前記決定をより精度よく行うことができる。つまり、本来意図した画像を出力する精度を高めることができる。さらに、カメラの画角や、カメラ位置から撮影対象面までの距離を考慮して基準点の移動量を算出すれば、より正確に、出力画像抽出範囲の基準点を算出することができる。

また、位置の差分のうち、カメラの撮影方向の成分は、上述の通り、実際のカメラ位置が、本来のカメラ位置より撮影対象面まで遠いか近いかを示すものである。具体的に、どのようにして出力画像抽出範囲を決定するかは、以下のようにすればよい。
すなわち、前記差分を、前記指定されたカメラ位置を始点とし、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置を終点とするベクトルで表したとき、前記画像サイズ算出部は、前記ベクトルの撮影方向の成分の方向が、前記撮影方向情報に示される前記撮影方向と同一方向の場合は前記サイズを拡大し、前記ベクトルの撮影方向の成分が、前記撮影方向情報に示される前記撮影方向と反対方向の場合は前記サイズを縮小して前記サイズの決定を行うこととすればよい。

上述の構成を備える画像補正装置は、実際のカメラ位置が指定されたカメラ位置よりも撮影対象面まで近いか遠いかに応じて、出力画像抽出範囲のサイズを拡大または縮小するので、指定されたカメラ位置から撮影した場合と、実際のカメラ位置から撮影した場合とで、被写体の大きさを揃えることができる。つまり、本来意図したような画像を出力することができる。

より具体的には、前記画像サイズ算出部は、前記撮影方向の成分の大きさに応じて、前記サイズの補正の倍率を決定する倍率決定部を含み、決定した倍率に従って前記標準の画像抽出範囲のサイズを前記補正することとすればよい。
また、前記差分を、前記指定されたカメラ位置を始点とし、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置を終点とするベクトルで表し、前記ベクトルの撮影方向の成分の大きさをａ、前記指定されたカメラ位置から撮影対象までの距離をｂとし、前記カメラ情報取得手段は、さらに、前記指定されたカメラ位置から撮影対象までの距離を示す距離情報を取得し、前記倍率決定部は、前記ベクトルの撮影方向の成分の方向が、前記撮影方向情報に示される前記撮影方向と前記同一方向の場合は、前記倍率をｂ／（ｂ−ａ）と決定し、前記ベクトルの撮影方向の成分の方向が、前記撮影方向情報に示される前記撮影方向と反対方向の場合は、前記倍率をｂ／（ｂ＋ａ）と決定することとすればよい。

こうすることで、出力画像抽出範囲のサイズをより正確に決定することができる。
ところで、出力画像のサイズは一定である方が望ましい場合がある。画像表示ソフトウェアやハードウェアの制約により、表示できる画像サイズの幅が限られる場合があるからでる。しかし、画像サイズ算出部により出力画像抽出範囲のサイズが変更された場合、抽出した画像をそのまま出力すると、変更後の画像サイズの画像が出力され、出力画像の画像サイズが一定でなくなる。

そこで、前記補正画像出力手段は、前記出力画像抽出範囲の画像を前記撮影画像から抽出し、抽出した画像を、前記画像サイズ算出部により決定された前記倍率の逆数倍のサイズの画像に拡大または縮小する出力画像サイズ調節部を含み、前記出力画像サイズ調節部により前記倍率の逆数倍のサイズとなった画像を前記出力することとすればよい。
こうすることで、出力画像の画像サイズを一定にすることができる。

また、カメラのロール操作を考慮して出力画像抽出範囲を決定することとしてもよい。
すなわち、前記カメラは、撮影方向を回転軸として撮影範囲を回転させるロール操作を行うことができ、前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の、ロール操作が行われている回転量を角度で示すロール角情報を取得するロール角情報取得手段を備え、前記決定手段は、前記位置差分情報と、前記取得した前記ロール角情報とに基づいて前記修正を行って前記出力画像抽出範囲の前記決定を行うこととしてもよい。

具体的には、前記ロール角情報取得手段は、さらに、前記指定されたカメラ位置におけるロール操作が行われている回転量を示す指定ロール角情報を取得し、前記決定手段は、前記取得した前記ロール角情報に示される回転量と、前記指定ロール角情報に示される回転量との差分の回転量を示す差分回転量を算出する差分回転量算出部を含み、前記位置差分情報に基づいて前記修正した範囲の画像抽出範囲を、前記差分回転量算出部で算出した前記差分回転量に示される回転量に基づいて回転させ、回転後の画像抽出範囲を前記出力画像抽出範囲と前記決定することとしてもよい。

また、前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、前記決定手段は、前記位置差分情報に基づいて、前記標準の画像抽出範囲の基準点を移動させる方向および移動量を決定する画像基準点算出部と、前記画像基準点算出部が決定した方向および移動量に示される前記移動後の点を、前記標準の画像抽出範囲の基準点に基づいた点を回転の中心として、前記ロール角情報に示される回転量の分、前記ロール角情報の示す回転方向とは逆方向に回転させる画像基準点補正部とを含み、前記画像基準点補正部により前記回転された点を基準点とした場合の画像抽出範囲を、前記回転された点に基づいた点を回転の中心として、前記差分回転量算出部が算出した前記差分回転量に示される回転量の分、前記差分回転量の回転方向とは逆方向に回転させ、回転後の画像抽出範囲を出力画像抽出範囲と前記決定することとしてもよい。

上述の構成を備える画像補正装置は、実際のカメラ位置からの撮影時にカメラのロール操作が行われた場合においても、そのロール操作を考慮して、本来意図した画像が含まれる範囲を出力画像抽出範囲として決定することができる。
また、実際のカメラ位置からの撮影と、指定されたカメラ位置からの撮影とで、撮影方向が平行でない場合は、以下のようにすればよい。

すなわち、前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラの撮影方向と、前記指定されたカメラ位置における撮影方向との誤差を示す撮影方向誤差情報を取得する撮影方向誤差情報取得手段を備え、前記決定手段は、前記取得した撮影方向誤差情報と、前記位置差分情報とに基づいて前記修正して前記出力画像抽出範囲の前記決定を行うこととしてもよい。

具体的には、前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの撮影方向、または、前記指定されたカメラ位置における前記カメラの撮影方向の少なくともいずれかを示す撮影方向情報を取得するカメラ情報取得手段を備え、前記決定手段は、前記取得された前記撮影方向情報に基づいて、前記位置差分情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記撮影方向に直交する平面の成分とに分解し、前記撮影方向誤差情報に示される前記撮影方向の誤差を、前記撮影方向情報に示される前記撮影方向の成分と、前記直交する平面の成分とに分解する分解部と、前記差分の前記撮影方向成分と前記撮影方向の誤差の前記撮影方向成分とに基づいて、前記標準の画像抽出範囲のサイズを補正し、補正後のサイズを、出力画像抽出範囲のサイズと決定する画像サイズ算出部と、前記差分の前記直交する平面の成分と前記撮影方向の誤差の前記直交する平面の成分とに基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点と決定する画像基準点算出部とを含むこととしてもよい。

撮影方向に誤差がある場合でも、この撮影方向の誤差は、結局、カメラの撮影方向成分と、撮影方向に直交する平面の成分とに分解することができるので、撮影方向の誤差を考慮して出力画像抽出範囲を決定することができる。
また、移動体がローリングやピッチングなどの運動を行っていてその運動の分の差が、指定されたカメラ位置と、実際のカメラ位置とである場合、この運動の影響で、カメラの撮影方向が本来意図した方向からずれることがある。例えば、指定されたカメラ位置では、ピッチングが行われないことを意図していても、実際のカメラ位置において移動体がピッチングを行っていたとすると、そのピッチングの分、撮影方向に誤差ができる。この場合も、結局、上述のように、撮影方向の誤差を、撮影方向成分と撮影方向に直交する平面の成分とに分解すれば、出力画像抽出範囲を決定することができる。

すなわち、前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点における前記移動体と、前記指定されたカメラ位置における移動体との、ローリング角度、ピッチング角度、ヨーイング角度の差分の少なくとも１つを示す移動体運動誤差情報を取得する運動後差情報取得手段を備え、前記決定手段は、前記取得した位置差分情報と、前記移動体運動誤差情報とに基づいて前記修正して前記出力画像抽出範囲の前記決定を行うとしてもよい。

具体的には、前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの撮影方向、または、前記指定されたカメラ位置における前記カメラの撮影方向の少なくともいずれかを示す撮影方向情報を取得するカメラ情報取得手段を備え、前記決定手段は、前記取得された前記撮影方向情報に基づいて、前記位置差分情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記撮影方向に直交する平面の成分とに分解し、前記移動体運動誤差情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記直交する平面の成分とに分解する分解部と、前記位置差分情報に示される前記差分の前記撮影方向成分と前記移動体運動誤差情報に示される前記差分の前記撮影方向成分との和に基づいて、前記標準の画像抽出範囲のサイズを補正し、補正後のサイズを、出力画像抽出範囲のサイズと決定する画像サイズ算出部と、前記位置差分情報に示される前記差分の前記直交する平面の成分と前記移動体運動誤差情報に示される前記差分の前記直交する平面の成分との和に基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点を決定する画像基準点算出部とを含むこととしてもよい。

これにより、移動体の運動の誤差を考慮して出力画像抽出範囲を決定することができる。
また、本発明は、前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、前記決定手段は、前記位置差分情報に示される位置の差分に基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点と決定する画像基準点算出部を含むこととしてもよい。

例えば、指定されたカメラ位置と、実際のカメラ位置とで、位置の差分のうち、撮影方向の成分が小さく、撮影画像におよぼす影響が無視できる程度である場合には、出力画像抽出範囲の位置のみを決定し、画像サイズをそのままにしておいてもよい。こうすることで、出力画像抽出範囲の決定を高速化できる。
また、本発明は、前記決定手段は、前記位置差分情報に示される位置の差分に基づいて、前記標準の画像抽出範囲のサイズを拡大または縮小し、拡大または縮小後のサイズを、出力画像抽出範囲のサイズと決定することとしてもよい。

例えば、指定されたカメラ位置と、実際のカメラ位置都で、位置の差分のうち、撮影方向に直交する平面の成分が小さく、撮影画像におよぼす影響が無視できる程度である場合には、出力画像抽出範囲のサイズのみを決定し、基準点の位置をそのままにしておいてもよい。こうすることで、出力画像抽出範囲の決定を高速化できる。
また、本発明は、具体的には、前記移動体は、前記移動体が移動すべき経路を示す指令情報に基づいて移動および前記カメラによる撮影を行い、前記画像補正装置は、さらに、前記指令情報を取得する指令情報取得手段を備え、前記指定されたカメラ位置とは、前記指令情報に示される経路上の位置である、という構成により実現される。

また、本発明の実施の方法としては、以下のようにしてもよい。
すなわち、前記画像補正装置は、さらに、前記標準の画像抽出範囲を修正する修正方法を、前記差分と対応づけた画像補正情報を取得して記憶する画像補正情報取得手段を備え、前記決定手段は、前記位置差分情報に示される差分と対応している前記修正方法を、前記記憶している前記画像補正情報から読み出し、前記対応している前記修正方法に従って前記決定を行うこととしてもよい。

具体的には、前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、前記画像補正情報は、前記差分と対応付けて、前記出力画像抽出範囲のサイズおよび基準点の位置とを記憶しており、前記決定手段は、前記画像補正情報に示される前記サイズおよび前記基準点の位置を、前記出力画像抽出範囲と前記決定することとしてもよい。

この場合、位置の差分に応じてどのように出力画像抽出範囲を決定するかを予め取得して記憶しているので、出力画像抽出範囲の位置やサイズを算出する処理は不要であり、処理を高速化できる。
また、本発明は、以下のようにしてもよい。
すなわち、前記移動体は、カメラの撮影により映像を生成し、
前記画像補正装置は、前記生成された映像を構成する各画像について、前記決定手段により前記出力画像抽出範囲の前記決定を行い、前記補正画像出力手段は、各画像について前記決定された出力画像抽出範囲の画像を抽出して映像として出力する映像出力部を含むこととしてもよい。

これにより、画像補正装置は、移動体が撮影した映像を補正し、補正後の映像を出力することができる。
また、本発明は、以下のようにしてもよい。
すなわち、移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正システムであって、カメラ位置の指定を受け付ける位置指定受付手段と、受け付けた指定にかかるカメラ位置を位置指定情報として記憶する位置指定情報記憶手段と、前記移動体が実際に移動した経路を示す移動軌跡情報を取得する移動軌跡情報取得手段と、前記位置指定情報と、前記取得した移動軌跡情報とに基づいて、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、前記指定されたカメラ位置との差分を算出する位置差分算出手段と、前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記位置差分算出手段により算出された前記差分に基づいて修正し、出力画像抽出範囲として決定する決定手段と、前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力手段とを含むこととしてもよい。

こうすることで、移動体が画像を撮影した後でも、後から移動体が移動すべき経路を指定し、指定した経路から移動体が撮影したならば得られたであろう出力画像を出力することができる。
また、本発明は、移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正方法であって、前記画像補正方法は、前記カメラが撮影した撮影画像を取得する画像取得ステップと、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得ステップと、前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定ステップと、前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力ステップとを含むことを特徴とする画像補正方法でもある。

また、本発明は、移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正処理を画像補正装置に行わせるための制御プログラムであって、前記制御プログラムは、前記カメラが撮影した撮影画像を取得する画像取得ステップと、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得ステップと、前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定ステップと、前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力ステップとを含むことを特徴とする制御プログラムでもある。

また、本発明は、移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正処理を実行する集積回路であって、前記カメラが撮影した撮影画像を取得する画像取得部と、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得部と、前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定部と、前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力部とを含むことを特徴とする集積回路でもある。

＜実施の形態＞
以下、本発明について、画像補正装置１を中心に説明する。
１．１ 概要
本発明の画像補正装置１は、移動体２に搭載されたカメラ２４により撮影された画像を補正して出力する。移動体２とは、例えば、ガス気球などの飛行体である。以下、移動体２がガス気球である場合を例にして説明する。移動体２はカメラ２４を搭載している。室内や公園等の場において、移動体２は、移動指令装置３と通信を行って得られた指令情報７０に従って移動および撮影を行う。

図１は、本発明の構成の概要を示した図である。
図１には、画像補正装置１と、移動体２と、移動指令装置３が示されている。
まず、移動指令装置３、移動体２、画像補正装置１が発揮する機能を順に簡単に説明する。
１．１．１ 移動指令装置３の概要
移動指令装置３は、移動体２が移動すべき経路およびカメラ２４の撮影方法を指令する。具体的には、移動体２が移動すべき移動経路およびカメラ２４の撮影方法に関する情報が含まれている指令情報７０を移動体２に送信する。なお、移動指令装置３は、指令情報７０を画像補正装置１にも送信する。

１．１．２ 移動体２の概要
移動体２は、風などの外乱の影響を受けていても移動指令装置３に指令された経路に沿うように自機の移動を制御しつつ、カメラ２４による撮影を行う。
具体的には、移動体２は、指令情報７０を移動指令装置３から受け付けて、指令情報７０に示される移動経路および撮影方法により移動と撮影とを行うよう自機を制御する。

移動体２は、上部に気球２１、下部に雲台２３およびカメラ２４、後部にプロペラ２２を備えている。移動体２は、自機の位置を逐次取得し、指令情報７０に示される移動経路との誤差を位置差分情報８０として記録する。風などの外乱の影響を受けて移動体２の位置が指令情報７０に示される移動経路から外れた場合には、位置の誤差を修正して前記移動経路に復帰するよう、プロペラ２２を制御する。

また、移動体２は、指令情報７０に示される撮影方法により撮影を行うよう、雲台２３によりカメラ２４の撮影方法を制御する。カメラ２４により撮影された画像に識別子を付して画像を記憶し、撮影の時点と前記識別子とを対応づけた撮影画像情報９０を生成する。撮影画像情報９０は、カメラ２４により撮影された画像を管理するための情報である。
移動体２は、撮影画像と、位置差分情報８０と、撮影画像情報９０とを、画像補正装置１へ送信する。

１．１．３ 画像補正装置１の概要
画像補正装置１は、移動体２が送信する撮影画像と、位置差分情報８０と、撮影画像情報９０とを取得する。位置差分情報８０には移動体２が実際にいた位置と本来いるべき位置との誤差が時刻と対応づけて示されている。画像補正装置１は、この誤差に基づいて、各時点において撮影された撮影画像を補正する。

１．１．４ 移動体２の位置およびカメラ２４の撮影方向の表現
移動体２の位置とカメラ２４の撮影方向について、補足する。
移動体２の位置は、実空間上の３次元の座標で表現されるとする。実空間上の３次元の座標系を、グローバル座標系と称する。図１には、グローバル座標系を（ｘ，ｙ，ｚ）と示している。ここで、実施の形態１では、ｘｙ平面を、地表に平行な平面とし、ｚ軸を高さ方向とする。

また、カメラ２４の撮影方向は、カメラ２４を座標の原点としたカメラ座標系で表現することとする。
図２は、カメラ座標系を示す図である。
図２（ａ）は移動体２の斜視図である。図２（ａ）に示すように、カメラ座標系は、カメラ２４を原点とし、ｐ軸、ｑ軸、ｒ軸の３軸からなる。本実施形態では、移動体２の前部と後部とを結ぶ方向をｐ軸、移動体２の上部と下部とを結ぶ方向をｒ軸とする。ｐ軸とｒ軸とは直交することとする。ｐ軸およびｒ軸からなる平面に直交する方向をｑ軸とする。すなわち、カメラ座標系は、移動体２の前後方向の軸をｐ軸、そして、移動体２の左右の方向をｑ軸、上下方向の軸をｒ軸として表される。なお、各軸の正方向については、例えば、ｐ軸は移動体２の後部から前部への方向を正とする。ｑ軸は、移動体２の右側面から左側面への方向を正とする。ｒ軸は、移動体２の下部から上部への方向を正とする。

図２（ｂ）は、移動体２の平面図であり、図２（ｃ）は、移動体２の背面図である。
カメラ２４の撮影方向は、カメラ座標系の原点を始点とする単位ベクトルで、ｐ、ｑ、ｒの各軸の成分を用いて"（ｐ，ｑ，ｒ）"と表すこととする。例えばカメラ２４の撮影方向が"（１，０，０）"である場合、カメラ２４は移動体２の前方を向いている。カメラ２４の撮影方向が"（０，１，０）"である場合、カメラ２４は移動体２の左方を向いている。

１．１．５ 実施の形態１における前提条件
ここで、実施の形態１における前提条件を説明する。
まず、移動体２の運動についての前提条件を説明する。
移動体２のような飛行体の運動は、主に、ローリングとピッチングとヨーイングとに分けられる。

移動体２が前後方向の軸、つまりｐ軸を中心に回転する運動を移動体２のローリングという。要するに移動体２が右や左に傾く運動である。
移動体２の左右側面を貫く軸方向、つまりｑ軸を中心に移動体２が回転する運動をピッチングという。要するに移動体２が機首を上下に振る運動である。
移動体２の上下方向の軸、つまりｒ軸を中心に移動体２が回転する運動をヨーイングという。要するに移動体２が機首を左右に振る運動である。

実施の形態１では、移動体２は、移動体２のローリングとピッチングが発生しにくい、または、ローリングやピッチングが発生したとしても直ちに元の釣り合い位置に戻る性質を備えているものとする。つまり、移動体２は、横安定と縦安定に優れた構成を備えているとする。なお、移動体２などの飛行体の横安定性と縦安定性を向上させる技術は、従来から広く研究され開示されており、本発明の特徴部分ではないため詳細な説明を省略する。

続いて、カメラ２４の操作についての前提条件を説明する。
移動体２に搭載されているカメラ２４は、チルト操作、パン操作、ロール操作を行うことができる。移動体２の上下方向の軸を中心にカメラ２４を回転させることをパン操作という。パン操作を行うと、移動体２から見た場合に、移動体２の左方または右方にカメラ２４を向けることとなる。また、ｐ軸およびｑ軸からなる平面に対するカメラ２４の傾きを操作することをチルト操作という。チルト操作を行うと、移動体２から見た場合に、移動体２の上方または下方にカメラ２４を向けることとなる。また、カメラ２４の撮影方向の軸を中心にカメラ２４を回転させることをロール操作という。

実施の形態１においては、カメラ２４は、チルト操作とパン操作が行われることとし、カメラ２４のロール操作は行われないこととする。
なお、実際には、移動体２が移動するときには上昇や下降、左旋回や右旋回などを行うので、ローリングやピッチングを行うのであるが、ローリングやピッチングがカメラの撮影画像に与える影響は、無視できる程度に小さいものとする。つまり、撮影画像が、あたかもロール操作が行われたように大きく回転して、例えば地平線を水平に撮影したいにもかかわらず地平線が撮影画像において斜めに撮影されるなどの悪影響は出ない程度の運動であるとする。または、ローリングやピッチングによって移動体２が傾いた場合に、その傾きを考慮して、撮影画像が無視できないほどに回転しないよう、自動的にカメラのロール操作が行われることとする。

以下、移動体２、画像補正装置１の構成を順に説明する。なお、移動指令装置３は、指令情報７０を送信する通信機能を有していればよく、特に構成要素に特徴があるわけではないので、構成の詳細な説明を省略する。
１．２ 移動体２の構成
移動体２の構成を具体的に説明する。

図３は、移動体２の構成を示す機能ブロック図である。
図３に示すように、移動体２は、移動体本体２０と、気球２１と、プロペラ２２と、雲台２３と、カメラ２４とからなる。なお、気球とプロペラと雲台とカメラとを備えた移動体は、従来より様々な場面で利用されている。例えばビル内部や屋外などで災害が発生した時に、人が踏み込むには危険な地帯を上方から撮影するといった場面などで広く利用されている。したがって、移動体２の具体的な実装、つまり気球の大きさや移動体２の重量等の説明は省略する。

１．２．１ 気球２１
気球２１は、上述のように移動体２の上部に備えられている。本実施形態では、上述のように気球２１はガス気球としている。気球２１には、空気より軽い気体、例えばヘリウムガスが封入されており、移動体２を空中に浮遊させるだけの浮力を移動体２に与える。
１．２．２ プロペラ２２
プロペラ２２は、上述のように移動体２の後部に備えられている。移動体２は、プロペラ２２を制御することで、移動体２の移動を制御することができる。

１．２．３ 雲台２３
雲台２３は、カメラ２４のカメラアングルを可動にする。つまり、カメラ２４にパン操作やチルト操作などを行わせることができる。
１．２．４ カメラ２４
カメラ２４は、本来撮影すべき画角よりも広角の画像を撮影する。例えば、画像撮影範囲が、出力画像に要求される撮影範囲の２〜４倍程度の広角の画像を撮影する。

１．２．５ 移動体本体２０
移動体本体２０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random AccessMemory）等からなり、コンピュータプログラムを実行することにより、プロペラ２２や雲台２３やカメラ２４の動作を制御する。また、通信機能を有し、移動指令装置３や画像補正装置１と通信を行う。

移動体本体２０は、具体的には、指令情報取得部２０１と、位置誤差算出部２０２と、位置管理部２０３と、ＧＰＳ２０４と、方向誤差算出部２０５と、方向管理部２０６と、ジャイロ２０７と、位置差分情報送信部２０８と、プロペラ動力補正部２０９と、プロペラ動力制御部２１０と、カメラアングル補正部２１１と、カメラアングル制御部２１２と、撮影画像取得部２１３と、撮影画像情報送信部２１４とからなる。

１．２．６ 指令情報取得部２０１
指令情報取得部２０１は、通信機能を有し、移動指令装置３と通信を行う。
具体的に説明すると、指令情報取得部２０１は、移動指令装置３から送信される指令情報７０を取得する。
１．２．６．１ 指令情報７０
ここで、後の説明の便宜のために、指令情報７０を詳しく説明する。

図７は、指令情報７０を示す図である。
図７（ａ）に示すように、指令情報７０の１件のレコードは、時刻７１と、位置７２と、移動方向７３と、撮影方向７４と、画角７５と、撮影対象面までの距離７６とからなる。
時刻７１は、時刻を示す。各レコード間の時刻の間隔は、どんなものでもよい。例えば１秒や１分ごととする。

位置７２は、時刻７１に示される時点において移動体２がいるべきグローバル座標系における座標を示す。座標のｘ軸、ｙ軸、ｚ軸の各成分を、"（ｘ，ｙ，ｚ）"と表すこととする。
移動方向７３は、時刻７１に示される時点において移動体２が向くべき方向を示す。方向は、グローバル座標系の原点"（０，０，０）"を始点とする単位ベクトルとして表されることとする。移動体２は、位置７２に示される座標において、この単位ベクトルに平行な方向を向くように制御される。例えば、移動方向７３に"（０，−１，０）"と示されている場合、移動体２が向くべき方向は、ｙ軸に平行な方向（すなわちｘｚ平面に直交する方向）となる。

撮影方向７４は、時刻７１に示される時点においてカメラ２４が向くべき方向を示す。なお、上述したように、カメラ２４の向きはカメラ座標系で表現されるため、撮影方向７４にはカメラ座標系における方向が示されている。
画角７５は、時刻７１に示される時点におけるカメラ２４の画角の設定を示す。例えばカメラ２４の焦点距離の長さをミリメートル単位で画角７５として指令情報７０に含めることとする。なお、画角７５は、角度で示してもよい。また、水平方向および垂直方向の画角が異なる場合は、それぞれを画角７５において示すこととしてもよい。

撮影対象面までの距離７６は、カメラ２４から撮影対象面までの距離を示す。撮影対象面とは、例えば、カメラ２４の撮影方向のベクトルに直交する平面であって、撮影対象となる被写体が含まれる平面である。この平面は、地表面などの実際にある平面とは異なり、仮想的な平面である。要するに、撮影対象面までの距離とは、撮影の対象である被写体までの距離ということであるが、必ずしも被写体の存在を前提にしてはいないので、任意の距離を設定してもよい。したがって、撮影対象面までの距離は、撮影対象までの距離と同等でもある。撮影対象面までの距離７６は、例えば、メートルを単位とする距離で表現する。

１．２．６．２ 指令情報７０の補足説明
指令情報７０は、図７に示すように、各時刻において移動体２が位置すべき座標である位置７２と、移動体２が向くべき方向である移動方向７３と、カメラ座標系においてカメラ２４が向くべき方向である撮影方向７４とを含む。移動体２は、各時刻において位置７２に示される座標を通過するようにプロペラ２２を制御しつつ、撮影方向７４に示される方向に撮影を行うようカメラ２４を制御する。つまり、指令情報７０は、移動体２が移動すべき経路および撮影方法を示したものといえる。

図７（ｂ）に、上記指令情報７０に示される、移動体２の移動すべき移動経路を簡単に図示する。なお、図７（ｂ）において、"×"印は、時刻７１に示される時刻において、移動体２が位置すべき座標を示している。実線は、移動体２が移動すべき移動経路であり、破線は、移動体２が撮影を行うべき撮影方向である。なお、撮影方向７４は、カメラ座標系で表現されたカメラの撮影方向なので、グローバル座標系においてカメラが撮影している方向は、移動方向７３に示されるベクトルと、撮影方向７４に示されるベクトルとの和に平行な方向になる。

１．２．７ 位置誤差算出部２０２
位置誤差算出部２０２は、移動体２が風などの外乱を受けることで、本来いるべき位置からどの程度離れているかを算出する。
具体的には、位置誤差算出部２０２は、指令情報取得部２０１が取得した指令情報７０の、時刻７１と位置７２取得する。また、「１．２．８ 位置管理部２０３」で後述する位置管理部２０３から、移動体２が実際に位置している座標の情報を取得する。時刻７１に示される時点になった時に、位置７２、すなわち移動体２が位置すべき座標の情報と、位置管理部２０３から受け付けた実際に位置している座標の情報とに基づいて、位置すべき座標と実際に位置している座標との誤差をベクトルで算出する。算出されるベクトルを、位置誤差ベクトルとする。

例えば、図４に示すように、位置７３に示される、移動体２が本来位置すべき座標４０ａを始点とし、外乱の影響で本来位置すべき座標から離れている、移動体２が実際に位置している座標４０ｂを終点とするベクトルを位置誤差ベクトルとする。
１．２．８ 位置管理部２０３
位置管理部２０３は、移動体２が実際に位置している座標を管理する。

具体的には、ＧＰＳ２０４から逐次出力される、移動体２が実際に位置している座標の情報を受け付けて記憶する。また、移動体２の実際の位置を、より精度良く管理するために、高度計などを備えて、移動体２の気圧高度を逐次測定してＧＰＳ高度を補正して記憶するなどとしてもよい。
１．２．９ ＧＰＳ２０４
ＧＰＳ２０４は、ＧＰＳ（Global Positioning System ）機能を有し、移動体２が実際に位置している座標を、ＧＰＳ機能により逐次取得する。取得した座標を、逐次、位置管理部２０３へ出力する。ＧＰＳ２０４により測定される座標の誤差は、小さいほど望ましい。

なお、ＧＰＳ機能については、従来から知られている技術であるため、詳細な説明を省略する。
１．２．１０ 方向誤差算出部２０５
方向誤差算出部２０５は、外乱の影響を受けることで、移動体２が本来向くべき方向からどれだけずれているかを算出する。

具体的には、方向誤差算出部２０５は、指令情報取得部２０１が取得した指令情報７０の、時刻７１と移動方向７３とを指令情報取得部２０１から取得する。また、「１．２．１１ 方向管理部２０６」で後述する方向管理部２０６から、移動体２が実際に向いている方向についての情報を受け付ける。時刻７１に示される時刻になった時に、移動方向７３、すなわち移動体２が向くべき方向についての情報と、方向管理部２０６から取得した、実際に向いている方向についての情報とに基づいて、向くべき方向と実際に向いている方向との誤差をベクトルで算出する。算出されるベクトルを、方向誤差ベクトルとする。

例えば、図５（ａ）に示すように、移動体２が実際に向いている方向を示す単位ベクトル５０ａから、移動体２が本来向くべき方向を示す単位ベクトル５０ｂを引いたベクトル差を、方向誤差ベクトル５０ｃとする。
方向誤差算出部２０５は、算出した方向誤差ベクトルを、カメラアングル補正部２１１とプロペラ動力補正部２０９とへ出力する。

１．２．１１ 方向管理部２０６
方向管理部２０６は、移動体２がグローバル座標系において実際に向いている方向を管理する。
具体的には、ジャイロ２０７から逐次出力される、移動体２が実際に向いている方向の情報を受け付けて記憶する。

１．２．１２ ジャイロ２０７
ジャイロ２０７は、ジャイロ機構により、移動体２が実際に向いている方向を検出する。検出によって得られた、移動体２が実際に向いている方向を、逐次、方向管理部２０６へ出力する。
なお、ジャイロ機構による方向の検出については、従来から知られている技術であるため詳細な説明を省略する。

１．２．１３ 位置差分情報送信部２０８
位置差分情報送信部２０８は、通信機能を有し、画像補正装置１と通信を行う。
具体的には、位置差分情報送信部２０８は、位置誤差算出部２０２が算出した位置誤差ベクトルを、算出の時点と対応付けて、位置差分情報８０として画像補正装置１へ送信する。

１．２．１４ プロペラ動力補正部２０９
プロペラ動力補正部２０９は、指令情報取得部２０１が取得した指令情報７０に示される、移動体２が移動すべき経路に沿って移動するようにプロペラ動力を補正する。
具体的には、プロペラ動力補正部２０９は、指令情報７０の、時刻７１、位置７２、移動方向７３を取得する。また、位置誤差算出部２０２から、位置誤差ベクトルを取得する。また、方向誤差算出部２０５から、方向誤差ベクトルを取得する。

プロペラ動力補正部２０９は、位置誤差ベクトルと方向誤差ベクトルとに基づいて、移動体２が位置すべき座標および移動体２が向くべき方向に復帰するのに必要なプロペラ動力の補正量を逐次算出してプロペラ補正情報としてプロペラ動力制御部２１０へ出力する。基本的には、誤差のベクトルがゼロになるようにプロペラ動力を補正すればよい。
１．２．１５ プロペラ動力制御部２１０
プロペラ動力制御部２１０は、時刻７１と、位置７２と、移動方向７３と、プロペラ補正情報とをプロペラ動力補正部２０９から取得して、指令情報７０に示される移動経路、つまり時刻７１に示されるそれぞれの時刻に、位置７２および移動方向７３に示される位置および方向になるようにプロペラ２２のプロペラ動力を制御する。また、プロペラ補正情報に基づいてプロペラ動力を補正する。

なお、位置および方向の誤差がなくなるように、プロペラにより飛行体の移動を制御する技術は従来広く知られているため、詳細な説明を省略する。
１．２．１６ カメラアングル補正部２１１
カメラアングル補正部２１１は、本来向くべき方向にカメラ２４が向くように、カメラ２４の撮影方向を補正する。

移動体２は、指令情報７０の撮影方向７４により、所定の時点においてカメラ２４が撮影を行うべき撮影方向を管理している。この撮影方向は、上述のように、カメラ座標系で表現されている。つまり、撮影方向７４には、移動体２から見た場合のカメラ２４の撮影すべき方向が示されているのであって、移動体２がグローバル座標系において向いている方向とは無関係に定義されている。したがって、移動体２の移動方向が本来向くべき方向からずれていると、カメラ２４の撮影方向もまた、グローバル座標系において本来撮影すべき撮影方向からずれてしまう。この撮影方向の誤差を修正するには、移動体２の方向誤差ベクトルを用いてカメラ２４の撮影方向を補正すればよい。

例えば、図５（ｂ）に示すように、カメラ２４の実際の撮影方向を示す単位ベクトル５０ｄに、上記方向誤差ベクトルの逆ベクトル５０ｅを足すと、カメラ２４の本来の撮影方向を示す単位ベクトル５０ｆを求めることができる。
カメラアングル補正部２１１は、指令情報取得部２０１から時刻７１、撮影方向７４を取得する。また、方向誤差算出部２０５から、方向誤差ベクトルを受け付ける。カメラアングル補正部２１１は、方向誤差ベクトルに基づいて、撮影方向７４に示されるカメラ２４の撮影方向を補正してカメラ２４の本来の撮影方向を示す単位ベクトルを算出する。補正後のカメラ２４の撮影方向に関する情報を、カメラアングル制御部２１２へ出力する。

１．２．１７ カメラアングル制御部２１２
カメラアングル制御部２１２は、カメラアングル補正部２１１から補正後のカメラ２４の撮影方向に関する情報を取得して、雲台２３により、カメラ２４の撮影方向を制御する。つまり、移動体２が外乱の影響を受けて本来向くべき方向からずれた方向を向いたとしても、カメラ２４のグローバル座標系における撮影方向が、グローバル座標系において本来撮影を行うべき方向に平行になるように雲台２３を制御する。

なお、実施の形態１においては、カメラアングル制御部２１２の制御により、カメラ２４のグローバル座標系における撮影方向が、ほぼ常にグローバル座標系において本来撮影を行うべき方向に平行となっているものとする。
１．２．１８ 撮影画像取得部２１３
撮影画像取得部２１３は、カメラ２４を制御して、逐次、カメラ２４に画像を撮影させる。撮影された画像に、例えばファイル名などの識別子を付して記憶する。また、撮影された画像の識別子と、撮影が行われた時刻とを対応づけて撮影画像情報９０として記憶する。

１．２．１９ 撮影画像情報送信部２１４
撮影画像情報送信部２１４は、通信機能を有し、画像補正装置１に対して、カメラ２４により撮影された画像、および、撮影画像情報９０を送信する。
具体的には、撮影画像取得部２１３に記憶されている画像、および、撮影画像情報９０を取得して画像補正装置１へ送信する。

１．２．２０ その他
また、上述したように、指令情報７０には、画角７５や、撮影対象面までの距離７６などの情報が含まれる。移動体本体２０は、図示していないが、画角７５や撮影対象面までの距離７６などの情報に基づいて、カメラ２４が撮影を行うための各種パラメータの設定を行う。例えば、焦点距離の設定や、発光、輝度や色差の調整、などを行う。

１．３ 画像補正装置１の構成
次に、画像補正装置１の構成を具体的に説明する。
図６は、画像補正装置１の構成を示す機能ブロック図である。
図６に示すように、画像補正装置１は、位置差分情報取得部１１と、撮影画像情報取得部１２と、カメラ情報取得部１３と、画像補正処理部１４と、画像出力部１５とからなる。

画像補正装置１は、具体的には、CPU、ROM、RAM等を備えるコンピュータシステムである。プログラムに従って、画像の補正処理を行う。画像補正装置１は、通信機能を有しており、移動指令装置３および移動体２と通信を行う。
１．３．１ 位置差分情報取得部１１
位置差分情報取得部１１は、移動体２の位置差分情報送信部２０８から送信される位置差分情報８０を取得して画像補正処理部１４へ出力する。

１．３．２ 撮影画像情報取得部１２
撮影画像情報取得部１２は、移動体２の撮影画像情報送信部２１４から送信される画像と撮影画像情報９０とを取得して画像補正処理部１４へ出力する。
１．３．３ カメラ情報取得部１３
カメラ情報取得部１３は、移動指令装置３から送信される指令情報７０を取得して画像補正処理部１４へ出力する。

１．３．４ 画像補正処理部１４
画像補正処理部１４は、位置差分情報８０に含まれる位置誤差ベクトルに基づいて、各時点においてカメラ２４により撮影された広角の撮影画像から、出力画像として抽出すべき画像抽出範囲を決定し、決定した画像抽出範囲の画像を撮影画像から抽出して出力する。

画像補正処理部１４は、広角の撮影画像から出力画像を抽出するための標準の画像抽出範囲を記憶している。画像抽出範囲は、撮影画像における位置を示す基準点と、抽出する大きさ、すなわち画像サイズとで表される。実施の形態１では、上記基準点は、画像抽出範囲の中心点を示すこととする。すなわち、画像抽出範囲は、中心点と、画像サイズとによって表現される。また、標準の画像抽出範囲の中心点（すなわち基準点）は、広角の撮影画像の中心点と一致しているとする。移動体２に位置の誤差がない場合は、標準の画像抽出範囲の画像を撮影画像から抽出して出力する。なお、画像抽出範囲については後述する。

具体的に画像補正処理部１４を説明すると、画像補正処理部１４は、位置差分情報８０を位置差分情報取得部１１から取得する。また、カメラ２４により撮影された画像と撮影画像情報９０とを撮影画像情報取得部１２から取得する。また、指令情報７０をカメラ情報取得部１３から取得する。
また、図示するように、画像補正処理部１４は、画像中心点算出部１０１と、画像サイズ算出部１０２とを含む。

画像中心点算出部１０１は、位置誤差ベクトルに基づいて、出力画像を抽出するための画像抽出範囲の中心点の位置を算出する。
画像サイズ算出部１０２は、位置誤差ベクトルに基づいて、出力画像を抽出するための画像抽出範囲の画像サイズを算出する。
画像補正処理部１４は、位置差分情報８０から、時刻８１に示される各時点における位置誤差ベクトルを取得する。画像補正処理部１４は、標準の画像抽出範囲を、位置誤差ベクトルに基づいて修正する。つまり、標準の画像抽出範囲の中心点を、位置誤差ベクトルに基づいて移動させ、また、画像サイズを、位置誤差ベクトルに基づいて拡大または縮小して、出力画像を抽出するための出力画像抽出範囲として決定する。

画像抽出範囲を決定するまでの処理を簡単に説明すると、まず、画像補正処理部１４は、指令情報７０から、ある時点において移動体２が向くべき方向、つまり移動方向７３と、カメラ座標系で表現されたカメラ２４の撮影方向、つまり撮影方向７４とを取得して、実空間上、つまりグローバル座標系においてカメラ２４が向くべき方向を示す単位ベクトルを算出する。この単位ベクトルを、撮影方向の単位ベクトルと呼ぶこととする。なお、この単位ベクトルの示す方向は、カメラアングル補正部２１１の補正により、カメラ２４がグローバル座標系において実際に撮影している撮影方向と平行である。

前記撮影方向の単位ベクトルは、グローバル座標系で表されている。また、位置誤差ベクトルもグローバル座標系で表される。したがって、位置誤差ベクトルを、カメラ２４の撮影方向の成分と、カメラ２４の撮影方向に直交する平面の成分とに分解することができる。
画像補正処理部１４は、このように位置誤差ベクトルの成分を分解し、さらに、指令情報７０に含まれる、画角７５や撮影対象面までの距離７６を用いて、標準の画像抽出範囲を修正して出力画像を抽出するための出力画像抽出範囲を決定する。画像補正処理部１４は、位置誤差ベクトルのうち、カメラ２４の撮影方向に直交する平面の成分を用いて、画像中心点算出部１０１により基準点の位置を修正する。位置誤差ベクトルのうち、カメラ２４の撮影方向の成分を用いて、画像サイズ算出部１０２により画像サイズを修正する。このようにして、標準の画像抽出範囲の中心点と画像サイズとを修正して、出力画像抽出範囲を決定する。この処理は、後で詳しく説明する。

画像補正処理部１４は、出力画像抽出範囲を決定すると、その抽出範囲の画像を撮影画像から抽出して、画像サイズの調整を行って画像出力部１５へ出力する。
要するに、画像補正処理部１４は、広角に撮影された画像から、位置の誤差がなかった場合に出力するであろう画像の範囲を、位置の誤差を用いて、特定する。特定した範囲の画像を抽出して出力する。

１．３．５ 画像出力部１５
画像出力部１５は、画像補正処理部１４から出力される画像を受け付けて、映像信号としてディスプレイ４へ出力する。
１．４ データ
次に、位置差分情報８０、撮影画像情報９０について説明する。

１．４．１ 位置差分情報８０
図８は、位置差分情報８０を示す図である。
図８（ａ）に示すように、位置差分情報８０の１件のレコードは、時刻８１と、位置誤差８２とからなる。
時刻８１は、時刻を示す。

位置誤差８２は、時刻８１に示される時点における位置誤差ベクトルを示す。
図８（ｂ）に、上記位置誤差８２に示される誤差がある場合の移動体２の移動経路、つまり移動体２の実際の移動経路を簡単に図示する。なお、移動体２が本来移動すべき経路は、図７に示した指令情報７０の通りとする。なお、図８（ｂ）において、"○"印は、時刻８１に示される時点において、移動体２が実際にいた位置の座標を表している。実線は、移動体２が実際に移動した移動経路である。破線は、移動体２が実際に撮影を行った撮影方向である。この撮影方向は、カメラアングル補正部２１１によって補正された撮影方向なので、移動体２が実際に撮影を行うべき位置からの撮影方向と平行である。

なお、本来移動体２が移動すべき移動経路と、実際に移動体２が移動した移動経路とを、図９および図１０に示す。
図９は、本来移動体２が各時刻において位置すべき座標と、実際に移動体２が移動した移動経路とをｘｙ平面に投影した図である。
同図においては、本来移動体２が各時点において位置すべき座標は、図７の指令情報７０と対応している。図９においては、"×"印を付すことで、移動体２が各時点において位置すべき座標を示す。また、移動体２が各時点において撮影を行うべき撮影方向を破線で示す。

また、移動体２が実際に移動した移動経路は、図８の位置差分情報８０と対応している。移動体２が実際に移動した経路を実線で示す。また、移動体２が実際に撮影を行った撮影方向は、移動体２が本来撮影を行うべき撮影方向と平行であるので、図９では移動体２が実際に撮影を行った撮影方向の図示を省略する。
図１０は、本来移動体２が各時刻において位置すべき座標と、実際に移動体２が移動した移動経路とをｘｚ平面に投影した図である。

詳細な説明は、図９と同様であるので省略する。
１．４．２ 撮影画像情報９０
図１１は、撮影画像情報９０を示す図である。
図１１に示すように、撮影画像情報９０の１件のレコードは、時刻９１と、画像識別子９２とからなる。

時刻９１は、画像が撮影された時点を示す。
画像識別子９２は、カメラ２４によって撮影された画像の各々を識別する識別子を示す。例えば画像のファイル名である。
１．５ 動作
次に、移動体２と画像補正装置１の動作を説明する。

１．５．１ 移動体２の動作
移動体２は、指令情報７０に示されるように移動しながら、逐次、画像の撮影を行っている。
図１２は、移動体２の動作を示すフローチャートである。
指令情報取得部２０１は、移動指令装置３から指令情報７０を取得する（ステップＳ１２９）。位置誤差算出部２０２は、位置管理部２０３から自機の位置を取得する（ステップＳ１２２）。位置誤差算出部２０２は、指令情報７０と自機の位置とに基づいて位置誤差ベクトルを算出する（ステップＳ１２３）。

また、方向誤差算出部２０５は、移動体２が実際に向いている方向を方向管理部２０６から取得する（ステップＳ１２４）。方向誤差算出部２０５は、方向誤差ベクトルを算出する（ステップＳ１２５）。
プロペラ動力補正部２０９は、指令情報７０と、位置誤差ベクトルと、方向誤差ベクトルとに基づいて、移動体２が本来移動すべき移動経路を通過するよう、プロペラ動力を補正する（ステップＳ１２６）。

また、カメラアングル補正部２１１は、方向誤差ベクトルと、指令情報７０とに基づいて、カメラアングルを補正する（ステップＳ１２７）。
位置差分情報送信部２０８は、位置差分情報８０を画像補正装置１へ送信する（ステップＳ１２８）。
また、撮影画像情報送信部２１４は、撮影画像と、撮影画像情報９０とを画像補正装置１へ送信する（ステップＳ１２９）。

移動体２は、各構成要素を機能させて、上述の処理を逐次繰り返す。
１．５．２ 画像補正装置１の動作
図１３は、画像補正装置１の動作を示すフローチャートである。
画像補正装置１は、指令情報７０や位置差分情報８０等に示されるそれぞれの時刻における位置誤差ベクトルやカメラ２４の撮影方向を用いて画像抽出範囲を決定し、各時刻において撮影された撮影画像から画像を抽出して出力する。

以下、具体的に説明すると、画像補正装置１は、移動体２から送信される撮影画像および撮影画像情報９０を、撮影画像情報取得部１２により取得する（ステップＳ１３１）。また、移動体２から送信される位置差分情報８０を、位置差分情報取得部１１により取得する（ステップＳ１３２）。また、移動指令装置３から送信される指令情報７０を、カメラ情報取得部１３により取得する（ステップＳ１３３）。

上述の「１．３．４ 画像補正処理部１４」で説明したように、画像補正処理部１４は、位置差分情報８０の位置誤差８２に示される位置誤差ベクトルを、カメラ２４の撮影方向の成分と、カメラ２４の撮影方向に直交する平面の成分とに分解する。
画像補正装置１は、画像中心点算出部１０１により、位置誤差ベクトルの、カメラ２４の撮影方向に直交する平面の成分に基づいて、出力画像を抽出するための画像抽出範囲の中心点を決定する（ステップＳ１３４）。

また、画像サイズ算出部１０２により、位置誤差ベクトルの、カメラ２４の撮影方向の成分に基づいて、出力画像を抽出するための画像抽出範囲の画像サイズを決定する（ステップＳ１３５）。
画像補正装置１は、決定された中心点および画像サイズにより定まる画像抽出範囲の画像を、撮影画像から抽出する（ステップＳ１３６）。なお、ステップＳ１３４およびステップＳ１３５の処理は、後で詳しく説明する。

画像補正装置１は、抽出した画像を、画像出力部１５によりディスプレイ４に出力する（ステップＳ１３７）。
画像補正装置１は、上述の処理を繰り返し行う。
１．６ 画像抽出範囲の決定方法
ここで、画像中心点算出部１０１と画像サイズ算出部１０２とが、撮影画像から出力画像を抽出するための出力画像抽出範囲を決定する処理について、詳しく説明する。

上述のように、画像中心点算出部１０１は、位置誤差ベクトルの、カメラ２４の撮影方向に直交する平面の成分（以下、「直交平面成分」という）に基づいて、出力画像抽出範囲の中心点を定める。
また、画像サイズ算出部１０２は、位置誤差ベクトルの、カメラ２４の撮影方向の成分（以下、「撮影方向成分」という）に基づいて、出力画像抽出範囲の画像サイズを定める。

本来のカメラ位置からのカメラ２４の撮影方向と実際のカメラ位置からの撮影方向は平行である。したがって、位置誤差ベクトルのうち、撮影方向成分の誤差は、要するに、カメラ２４が、本来撮影すべき位置よりも撮影対象面に対して距離が近いか遠いかを示している。撮影対象面までの距離が本来の撮影位置からよりも近いのであれば、より近距離から撮影しているので、被写体が本来のカメラ２４の位置よりも大きく写る。また、撮影対象面までの距離が本来の位置からよりも遠いのであれば、被写体が小さく写る。そこで、例えば、被写体が大きく写った場合は、出力画像抽出範囲の画像サイズを、標準の画像抽出範囲のものよりも大きくして画像を抽出する。

ただし、このままだと、画像サイズが大きい画像を出力してしまうので、抽出した画像を、本来の出力画像のサイズにあわせて縮小してから出力すればよい。こうすれば、本来のカメラ２４の位置から撮影した場合に出力するであろう画像と同様の画像を出力することができる。
また、カメラ位置の誤差のうち、直交平面成分の誤差は、要するに、被写体が画像のどこに写るかに影響を与えるものである。例えば、本来、被写体を画像の中心付近に写すことを意図しているとする。カメラ２４が、本来の撮影位置よりも高い高度から撮影していたとする。そうすると、カメラ２４の撮影方向は本来撮影すべき位置からの撮影方向と平行なので、被写体が、画像の中心から下側よりに写ってしまう。

そこで、直交平面成分の誤差がある場合は、その誤差の方向の逆側に、標準の画像抽出範囲の中心点をずらし、ずらした点を出力画像抽出範囲の中心点とすることで、本来の位置から撮影した場合に出力するであろう画像と同様の画像を出力することができる。
１．６．１ 実際のカメラ位置が本来の位置に一致している場合
図１４は、実際のカメラ位置が本来のカメラ位置に一致している場合に、画像補正処理部１４が画像抽出範囲を決定する過程を示す図である。

この場合、位置誤差ベクトルがゼロなので、当然、出力画像抽出範囲は、標準の画像抽出範囲と同一である。
図１４（ａ）は、カメラ位置と、カメラ２４が撮影対象面に対して撮影する実際の撮影範囲の大きさを示している。なお、同図（ａ）では、撮影対象面に平行な視点からカメラ位置と撮影範囲を眺めた場合の図を示している。撮影対象面とカメラの撮影方向とは直交する。本来のカメラ位置１６０ａは、実際のカメラ位置１６５ａと一致している。また、撮影方向１６４ａは、本来のカメラ位置１６０ａと実際のカメラ位置１６５ａとで一致している。また、撮影対象面における本来の撮影範囲１６１ａは、実際の撮影範囲１６６ａと一致している。

図１４（ｂ）は、広角に撮影された撮影画像１５０ａと、標準の画像抽出範囲１５１ａと、出力画像１５２ａとを示している。
画像補正処理部１４は、標準の画像抽出範囲１５１ａを出力画像抽出範囲と決定し、出力画像抽出範囲の画像を、撮影画像１５０ａから抽出し、出力画像１５２ａとして出力する。

１．６．２ 位置誤差ベクトルが撮影方向と直交している場合
図１５は、位置誤差ベクトルが撮影方向と直交している場合に、画像補正処理部１４が出力画像抽出範囲を決定する過程を示す図である。
図１５（ａ）は、カメラ位置と、カメラ２４が撮影対象面に対して撮影する実際の撮影範囲の大きさを示している。図１４（ａ）と同様に、撮影対象面に平行な視点からカメラ位置と撮影範囲を眺めた場合の図を示している。本来のカメラ位置１６０ｂと実際のカメラ位置１６５ｂとが、位置誤差ベクトル１６９ｂの分、撮影方向に直行する平面においてずれている。撮影方向１６４ｂは、本来のカメラ位置１６０ｂと実際のカメラ位置１６５ｂとで平行である。また、撮影対象面における本来の撮影範囲１６１ｂと、実際の撮影範囲１６６ｂとが、位置誤差ベクトル１６９ｂの分だけずれている。

位置誤差ベクトル１６９ｂは、撮影方向１６４ｂと直交しているので、位置誤差ベクトル１６９ｂの撮影方向成分はゼロである。したがって、画像補正処理部１４は、画像抽出範囲の中心点の補正を行い、画像サイズの補正は行わない。
ここで、位置誤差ベクトル１６９ｂのうち、直交平面成分のベクトルをα（ｉ，ｊ）とする。なお、ベクトルαの成分ｉは、撮影対象面の水平方向と平行な成分を示し、ベクトルαの成分ｊは、撮影対象面の垂直方向と平行な成分を示すこととする。

上述のように、カメラ２４の撮影方向は、実際のカメラ位置１６５ｂと本来のカメラ位置１６０ｂとで平行である。また、撮影対象面は、カメラ２４の撮影方向１６４ｂに対して直交する。したがって、撮影対象面において、実際の撮影範囲１６６ｂは、本来の撮影範囲１６１ｂからベクトルα（ｉ，ｊ）だけずれたものであるとわかる。
図１６に、撮影対象面における、本来のカメラ位置と実際のカメラ位置との撮影範囲を示す。図１６に示すように、本来の撮影範囲１６１ｂを、位置誤差ベクトル１６９ｂ（ベクトルα）だけずらすと、実際の撮影範囲１６６ｂと一致する。図１６において、本来の撮影範囲１６１ｂの中心点を、本来の中心点１６２ｂとして示す。また、実際の撮影範囲１６６ｂの中心点を、実際の中心点１６７ｂとして示す。

また、図１６では、本来の撮影範囲１６１ｂのうち、本来のカメラ位置から撮影された場合に標準の画像抽出範囲として抽出される範囲を、本来の標準抽出対象範囲１６３ｂとして示す。要するに、撮影範囲のうち、本来意図した画像として出力する範囲を示す。同様に、実際の撮影範囲１６６ｂのうち、実際のカメラ位置から撮影された場合に標準の画像抽出範囲として抽出される範囲を、実際の標準抽出範囲１６８ｂとして示す。要するに、実際に撮影された画像のうち、標準の画像抽出範囲に示される画像に相当する部分である。

図１６に示すように、実際のカメラ位置から撮影された撮影対象面の撮影範囲を、ベクトルαの逆ベクトル、−αだけずらせば、本来のカメラ位置から撮影された撮影対象面の撮影範囲と一致する。ということは、実際の標準抽出範囲１６８ｂを、ベクトルαの逆ベクトルだけ移動させると、本来の標準抽出範囲１６３ｂに一致することとなる。
本来、出力したい画像は、本来の撮影範囲１６１ｂのうち、本来の標準抽出範囲１６３ｂに示される範囲の画像である。この点を考慮して、出力画像抽出範囲を決定すればよい。

図１５（ｂ）は、広角に撮影された撮影画像１５０ｂと、標準の画像抽出範囲１５１ｂと、出力画像１５２ｂと、出力画像抽出範囲１５３ｂと、中心点の補正量１５４ｂとを示している。中心点の補正量１５４ｂは、撮影画像１５０ｂの中心点（すなわち、標準の画像抽出範囲１５１の中心点）を、どれだけ移動させて出力画像抽出範囲の中心点とするかを示す。

ここで、撮影対象面までの距離を「ｂ」とする。撮影対象面までの距離は、指令情報７０の撮影対象面までの距離７６に示されているので既知である。また、カメラ２４の水平画角の角度を「θ」、垂直画角の角度を「ω」とする。カメラ２４の画角は、指令情報７０の画角７５に示されているので既知である。また、撮影画像１５０ｂの画像サイズを、縦「ｍ」ピクセル、横「ｎ」ピクセルとする。そうすると、撮影対象面の範囲の大きさを距離で示すと、水平方向が「２ｂ・ｔａｎ（θ／２）」、垂直方向が「２ｂ・ｔａｎ（ω／２）」となる。また、位置誤差ベクトルのうち、直交平面成分のベクトルはα（ｉ，ｊ）である。撮影対象面においては、実際のカメラ位置からの撮影対象面を、ベクトルαの逆ベクトルだけ撮影対象面を動かすことで、本来のカメラ位置からの撮影対象面に一致させることができる。

したがって、縦「ｍ」ピクセル、横「ｎ」ピクセルの撮影画像１５０ｂにおいて、標準の画像抽出範囲１５１ｂの中心点をどれだけ移動させればよいかというと、水平方向に「ｖ」ピクセル、垂直方向に「ｗ」ピクセル動かすとすると、水平方向に関しては、（ベクトルαの逆ベクトルのｉ成分：撮影対象面の水平方向の大きさ＝中心点の水平方向への移動量：撮影画像の水平方向のサイズ）であるから、−ｉ：２ｂ・ｔａｎ（θ／２）＝ｖ：ｎより、「ｖ＝−ｉｎ／｛２ｂ・ｔａｎ（θ／２）｝」となる。垂直方向に関しては、同様に、「ｗ＝−ｊｍ／｛２ｂ・ｔａｎ（ω／２）｝」となる。

画像補正処理部１４は、標準の画像抽出範囲１５１ｂの中心点から水平方向に「ｖ」ピクセル、垂直方向に「ｗ」ピクセル移動した点を、出力画像抽出範囲１５３ｂの中心点と決定する。なお、出力画像抽出範囲１５３ｂの画像サイズは、上述のように標準の画像抽出範囲１５１ｂと同サイズである。
１．６．３ 位置誤差ベクトルの方向が撮影方向と一致している場合
図１７は、位置誤差ベクトルの方向が撮影方向と一致している場合に、画像補正処理部１４が出力画像抽出範囲を決定する過程を示す図である。

図１７（ａ）は、カメラ位置と、カメラ２４が撮影対象面に対して撮影する実際の撮影範囲の大きさを示している。図１４（ａ）と同様に、撮影対象面に平行な視点からカメラ位置と撮影範囲を眺めた場合の図を示している。本来のカメラ位置１６０ｃと、実際のカメラ位置１６５ｃとが、位置誤差ベクトル１６９ｃの分、撮影方向にずれている。撮影方向１６４ｃと、位置誤差ベクトル１６９ｃとが示す方向が一致している。また、実際の撮影範囲１６６ｃが、本来の撮影範囲１６１ｃよりも小さい。

要するに、本来のカメラ位置よりも撮影対象面までの距離が短い場合である。位置誤差ベクトル１６９ｃの方向は、撮影方向１６４ｃと一致しているので、位置誤差ベクトル１６９ｃの直交平面成分はゼロである。したがって、画像補正処理部１４は、画像を抽出するための画像サイズの補正を行う。
ここで、位置誤差ベクトル１６９ｃの大きさを「ａ」とする。本来のカメラ位置から撮影対象面までの距離を「ｂ」とする。「ｂ」は、指令情報７０の撮影対象面までの距離７６から得られる。実際のカメラ位置から撮影対象面までの距離は、「ｂ−ａ」となる。

本来の撮影範囲１６１ｃと、実際の撮影範囲１６６ｃとの、縦、横の長さの比は、ともに「ｂ：（ｂ−ａ）」となる。つまり、実際の撮影範囲１６６ｃの大きさは、撮影範囲の縦、横ともに、本来の撮影範囲１６１ｃの「（ｂ−ａ）／ｂ」倍した大きさとなる。言い換えると、実際の撮影範囲１６１ｃの縦、横をともに「ｂ／（ｂ−ａ）」倍した範囲の大きさが、本来の撮影範囲１６６ｃの大きさとなる。したがって、出力画像抽出範囲１５３ｃの画像サイズを、縦、横ともに標準の画像抽出範囲１５１ｃの画像サイズの「ｂ／（ｂ−ａ）」倍とすればよい。なお、中心点は、上述のように、標準の画像抽出範囲１５１ｃと出力画像抽出範囲１５３ｃとで一致している。

図１７（ｂ）は、広角に撮影された撮影画像１５０ｃと、標準の画像抽出範囲１５１ｃと、出力画像１５２ｃと、出力画像抽出範囲１５３ｃとを示している。
画像補正処理部１４は、標準の画像抽出範囲１５１ｃの中心点を出力画像抽出範囲１５３ｃの中心点とし、出力画像抽出範囲１５３ｃの画像サイズを、縦、横ともに標準の画像抽出範囲１５１ｃのｂ／（ｂ−ａ）倍と決定する。つまり、中心点を中心に、標準の画像抽出範囲１５１ｃの画像サイズを拡大する。

ただし、このままの画像サイズであると、出力画像１５２ｃの画像サイズが大きくなってしまうので、画像補正処理部１４は、出力画像抽出範囲１５３ｃの範囲の画像を撮影画像から抽出し、抽出した画像を、縦、横ともに（ｂ−ａ）／ｂ倍して縮小する。縮小後の画像を、出力画像１５２ｃとして出力する。
１．６．４ 位置誤差ベクトルの方向が撮影方向の反対方向である場合
図１８は、位置誤差ベクトルの方向が撮影方向の反対方向である場合に、画像補正処理部１４が出力画像抽出範囲を決定する過程を示す図である。

図１８（ａ）は、カメラ位置と、カメラ２４が撮影対象面に対して撮影する実際の撮影範囲の大きさを示している。図１４（ａ）と同様に、撮影対象面に平行な視点からカメラ位置と撮影範囲を眺めた場合の図を示している。本来のカメラ位置１６０ｄと、実際のカメラ位置１６５ｄとが、位置誤差ベクトル１６９ｄの分、撮影方向１６４ｄに示す方向と反対側にずれている。また、実際の撮影範囲１６６ｄが、本来の撮影範囲１６１ｄよりも大きい。

要するに、本来のカメラ位置よりも撮影対象面までの距離が遠い場合である。位置誤差ベクトル１６９ｄの方向は、撮影方向１６４ｄと平行（ただし、向きは逆）なので、位置誤差ベクトル１６９ｄの直交平面成分はゼロである。したがって、画像補正処理部１４は、画像を抽出するための画像サイズの補正を行う。
上述の「１．６．３ 位置誤差ベクトルの方向が撮影方向と一致している場合」、および、図１６の場合と同様に、位置誤差ベクトル１６９ｄの大きさを「ａ」、本来のカメラ位置から撮影対象面までの距離を「ｂ」とする。そうすると、実際のカメラ位置から撮影対象面までの距離は、「ｂ＋ａ」となる。上述の図１６に示した例と同様に考えると、出力画像抽出範囲１５３ｄは、縦、横ともに標準の画像抽出範囲１５１ｄの「ｂ／（ｂ＋ａ）」倍とすればよいことがわかる。

図１８（ｂ）は、広角に撮影された撮影画像１５０ｄと、標準の画像抽出範囲１５１ｄと、出力画像１５２ｄと、出力画像抽出範囲１５３ｄとを示している。
画像補正処理部１４は、出力画像抽出範囲１５３ｄの画像サイズを、縦、横ともに標準の画像抽出範囲１５１の「ｂ／（ｂ＋ａ）」倍と決定する。これは、標準の画像抽出範囲１５１ｄよりも画像サイズが小さい。

画像補正処理部１４は、出力画像抽出範囲１５３ｄの範囲の画像を撮影画像から抽出し、抽出した画像を、縦、横ともに「（ｂ＋ａ）／ｂ」倍して拡大する。拡大後の画像を、出力画像１５２ｄとして出力する。
１．６．５ 一般的な場合
図１９は、画像補正処理部１４が、位置誤差ベクトルを撮影方向成分と直交平面成分とに分解して出力画像抽出範囲を決定する処理の過程を示す図である。

位置誤差ベクトルが撮影方向成分のみの場合を、「１．６．３ 位置誤差ベクトルの方向が撮影方向と一致している場合」「１．６．４ 位置誤差ベクトルの方向が撮影方向の反対である場合」で説明した。また、位置誤差ベクトルが直交平面成分のみの場合を、「１．６．２ 位置誤差ベクトルが撮影方向と直交している場合」で説明した。
一般的な場合として、位置誤差ベクトルが撮影方向成分と直交平面成分とに分解される場合は、上述の処理を組み合わせればよい。

すなわち、位置誤差ベクトルを、撮影方向に直交する平面に射影した射影ベクトル（つまり、位置誤差ベクトルの直交平面成分）をα（ｉ，ｊ）、撮影方向成分の大きさを「ａ」、本来のカメラ位置から撮影対象面までの距離を「ｂ」とすると、出力画像抽出範囲１５３ｅの中心点を、「１．６．２ 位置誤差ベクトルが撮影方向と直交している場合」で示したように決定し、出力画像抽出範囲１５３ｅの画像サイズを、「１．６．３ 位置誤差ベクトルの方向が撮影方向と一致している場合」または「１．６．４ 位置誤差ベクトルの方向が撮影方向の反対である場合」で示したように決定すればよい。

１．７ 実施の形態１の変形例１
以上のように実施の形態１について説明してきたが、以下のように変形してもよい。
１．７．１ 変形例１・経路を後から指定
上述の実施の形態１の説明では、指令情報７０に示される移動経路に沿うように移動体２が移動し撮影した画像を、画像補正装置１が補正する場合を説明した。つまり、移動体２の移動経路が、撮影の前に予め指定されている場合を説明した。本発明は、これに限らず、移動体２の移動経路を、画像の撮影が行われた後で指定することとしてもよい。

この場合は、画像補正装置１は、実際に撮影された画像に基づいて、後から指定した経路に沿って移動体２が撮影を行ったならば得られるであろう画像を出力する。
図２０に、変形例１の概要を示す。図２０には、カメラが実際に移動した軌跡を軌跡１７０として示す。また、カメラが実際に撮影した方向を、実際の撮影方向１７１（１７１ａ、１７１ｂ、・・）として示す。また、ユーザが後から指定した経路を、ユーザ指定経路１７２として示す。

図２０に示すように、ユーザが経路を指定する際に参考になるよう、軌跡１７０と、各時点における実際の撮影方向１７１（１７１ａ、１７１ｂ、・・）とをディスプレイに表示する。ユーザは、ディスプレイに表示された軌跡を参考にして、カメラが移動すべき経路を指定する。例えばユーザに経路を描かせてもよいし、カメラの実際の軌跡を軸としてパイプ状などの表示方法で経路の候補を複数表示し、ユーザに経路を選択させてもよい。

こうしてユーザが指定したユーザ指定経路１７２が決定すると、軌跡１７０上の点と、ユーザ指定経路１７２上の点との位置誤差ベクトルを算出することができる。算出した位置誤差ベクトルと、実際の撮影方向１７１の情報があれば、後は、上述で詳しく説明したように、位置誤差ベクトルに基づいて出力画像抽出範囲を決定することで、ユーザ指定経路１７２上の点から撮影した場合に得られる出力画像を、撮影画像から抽出することができる。

ここで、位置誤差ベクトルを算出するには、軌跡１７０上の１点に対応する、ユーザ指定経路１７２上の点が必要となる。軌跡１７０上の１点に対して、位置誤差ベクトルを算出するのに用いるユーザ指定経路１７２上の点は、どのようにでもとることができる。例えば、軌跡１７０上の１点を含む平面であって、グローバル座標系におけるカメラを搭載した移動体の移動方向に直交する平面と、ユーザ指定経路１７２との交点を、位置誤差ベクトルを算出するためのユーザ指定経路１７２上の点とする。移動体の移動方向は、軌跡１７０に基づいて得られることとする。

もちろん、これ以外の方法で位置誤差ベクトルを算出するためのユーザ指定経路１７２上の点を決定してもよい。例えば、軌跡１７０上の１点と、その点から実際に撮影した実際の撮影方向１７１をベクトルで表し、このベクトルとを含む平面が、ユーザ指定経路１７２と交差する点を、位置誤差ベクトルを算出するためのユーザ指定経路１７２上の点としてもよい。

このようにして、位置誤差ベクトルを算出するためのユーザ指定経路１７２上の点を決定すると、画像補正装置１は、図２１に示すように、決定された点であるユーザ指定経路上の点１８０ａを始点とし、この点と対応する軌跡上の１点１８０ｂを終点とするベクトルを、位置誤差ベクトルとして算出する。
１．７．２ 変形例１の構成の例
移動体２の移動経路を後から指定する場合の構成の一例を、図２２に示す。

図２２に示すように、上述の変形例１は、例えば、画像補正装置１０００と、カメラ装置２０００と、経路指定装置３０００と、ディスプレイ４からなる構成で実現できる。
１．７．３ カメラ装置２０００の構成
カメラ装置２０００は、移動しながら撮影を行う装置である。カメラ装置２０００は、自装置が移動した経路（自装置が通過した座標および移動方向）と、撮影を行った時点におけるカメラの撮影方向とを記憶している。例えば、移動体２の位置管理部２０３、ＧＰＳ２０４、方向管理部２０６、ジャイロ２０７と同等の機能を有することで、自機が通過した座標およびその時の移動方向を記憶する。また、カメラによって撮影を行った時刻と対応づけて、カメラの撮影方向や撮影時の画角などを記憶する。

なお、画角が固定の場合は、画角が変化しないので撮影があるたびに画角を記憶する必要はない。撮影方向についても同様である。
また、カメラ装置２０００は、撮影時における撮影対象面までの距離を記憶する。撮影対象面までの距離は、距離センサなどによりカメラの撮影方向に存在する建築物、構造物、地表面等までの距離を測定することで得られる。あるいは、撮影対象面までの距離は、カメラ装置２０００が求めるのではなく、カメラ装置２０００の移動経路に基づいて、撮影後に他の装置等によって求めたり、ユーザにより指定したりすることとしてもよい。

このようにして、カメラ装置２０００は、例えば図２３に示すような移動軌跡情報７０ａを生成して記憶する。カメラ装置２０００は、移動軌跡情報７０ａを、画像補正装置１０００と経路指定装置３０００へ送信する。
また、カメラ装置２０００は、移動体２の撮影画像取得部２１３および撮影画像情報送信部２１４と同等の機能を有しており、撮影画像情報９０を生成して画像補正装置１０００へ送信する。

１．７．３．１ 移動軌跡情報７０ａ
ここで、移動軌跡情報７０ａについて説明する。
図２３に示すように、移動軌跡情報７０ａの１件のレコードは、時刻７１ａと、位置７２ａと、移動方向７３ａと、撮影方向７４ａと、画角７５ａと、撮影対象面までの距離７６ａとからなる。移動軌跡情報７０ａは、指令情報７０と実質的にほぼ同等の情報である。違いは、移動軌跡情報７０ａが、カメラ装置２０００が実際に移動した経路等を示す情報であるのに対し、指令情報７０は、移動体２が移動すべき経路等を示す情報である点である。

時刻７１ａは、時刻を示す。
位置７２ａは、時刻７１ａに示される時点においてカメラ装置２０００が実際にいたグローバル座標系における座標を示す。
移動方向７３ａは、時刻７１ａに示される時点においてカメラ装置２０００が実際に向いていたグローバル座標系における方向を示す。

撮影方向７４ａは、時刻７１ａに示される時点においてカメラ装置２０００のカメラが向いていた方向を示す。撮影方向７４ａには、カメラ座標系における方向が示されている。なお、カメラ装置２０００のカメラのカメラ座標系は、どのように定義してもよい。例えば、移動体２と同様にｐ軸、ｑ軸、ｒ軸を定義することとしてもよい。
画角７５ａは、時刻７１ａに示される時点におけるカメラ装置２０００のカメラの画角を示す。

撮影対象面までの距離７６ａは、カメラ装置２０００のカメラから撮影対象面までの距離を示す。
１．７．４ 経路指定装置３０００の構成
経路指定装置３０００は、カメラ装置２０００から移動軌跡情報７０ａを取得して、ディスプレイ４にカメラが実際に移動した軌跡を表示する。

詳しく図示していないが、経路指定装置３０００は、移動軌跡情報７０ａの位置７２ａ等に基づいて、カメラ装置２０００が実際に移動した経路を３次元表現等で描画する画像処理部を備える。カメラ装置２０００などの移動体が各時点において位置していた座標の情報に基づいて、移動体が実際に移動した軌跡をディスプレイに表示する技術は、従来から知られており、また、本発明の特徴部分でもないので、詳細な説明は省略する。

また、経路指定装置３０００は、例えばキーボード、タッチパネルなどの、ユーザからの入力を受け付ける操作受付部を備え、ユーザから経路の指定を受け付ける。経路の指定を受け付けると、ユーザ指定の経路と、移動軌跡情報７０ａとから、画像撮影の各時点における位置誤差ベクトルを算出する。例えば、移動体２の位置誤差算出部２０２と同等の機能を有することで、位置誤差ベクトルを算出することができる。算出した位置誤差ベクトルを、それぞれの時点と対応づけて位置差分情報８０として記憶する。これは、上述の実施例において説明した位置差分情報８０と同等の情報である。

経路指定装置３０００は、位置差分情報８０を、画像補正装置１０００へ送信する。
１．７．５ 画像補正装置１０００の構成
画像補正装置１０００は、上述の実施例で説明した画像補正装置１とほぼ同等の機能を有している。異なる点は、カメラ情報取得部１０１３が取得する情報が、移動軌跡情報７０ａである点と、位置差分情報８０を、経路指定装置３０００から取得する点と、撮影画像情報９０を、カメラ装置２０００から取得する点である。なお、「１．７．３．１ 移動軌跡情報７０ａ」で上述したように、移動軌跡情報７０ａは、実質的には指令情報７０と同等の情報である。ここで、「１．７．３ カメラ装置２０００の構成」で上述したように、撮影対象面までの距離をカメラ装置２０００が測定しない場合は、移動軌跡情報７０ａには、撮影対象面までの距離７６ａの情報が含まれていない。この場合、画像補正装置１０００は、撮影対象面までの距離７６ａについての情報を、撮影対象面までの距離を算出した別の装置から取得するか、ユーザから撮影対象面までの距離の指定を受け付ける。

また、画像補正装置１０００は、位置差分情報取得部１０１１、撮影画像情報取得部１０１２、カメラ情報取得部１０１３、画像補正装置１０１０、画像出力部１０１５からなり、画像補正処理部１０１０は、画像中心点算出部１１０１と、画像サイズ算出部１１０２とを含む。
これらの構成要素は、それぞれ、図６に示した画像補正装置１の位置差分情報取得部１１、撮影画像情報取得部１２、カメラ情報取得部１３、画像補正処理部１４、画像出力部１５、画像中心点算出部１０１、画像サイズ算出部１０２と同等の機能を有しているため、詳細な説明を省略する。

１．７．６ 画像補正装置１０００の動作
画像補正装置１０００は、移動軌跡情報７０ａの移動方向７３ａと撮影方向７４ａとからカメラの撮影方向を算出することができる。したがって、画像補正処理部１０００は、算出した位置誤差ベクトルを、カメラの撮影方向の成分と、撮影方向に直交する成分とに分解することで、画像補正装置１と同様の方法で、出力画像抽出範囲を決定することができる。画像補正装置１と同様の方法で処理を行えばよいので、詳細な説明は省略する。

１．８ 実施の形態１の変形例２
上述の実施の形態１の説明では、カメラ２４のロール操作がないものとして説明したが、ロール操作が行われる場合も、本発明に含まれる。
以下、変形例２について説明する。なお、以下の説明では、位置誤差ベクトルの撮影方向成分の誤差がないものとして説明する。撮影方向成分に誤差がある場合は、撮影方向成分の誤差について、上述の「１．６．３ 位置誤差ベクトルの方向が撮影方向と一致している場合」「１．６．４ 位置誤差ベクトルの方向が撮影方向の反対方向である場合」で説明した処理を行って出力画像抽出範囲の画像サイズを決定すればよい。

カメラのロール操作が行われる場合であっても、要するに、実際のカメラ位置から撮影した場合の撮影範囲を、どのように動かせば、本来のカメラ位置から撮影した場合の撮影範囲に一致するかを考慮すればよい。
以下、ロール操作が行われたときに、撮影方向を軸にしてカメラ２４が回転した角度をロール角度という。

なお、ロール操作を考慮する場合、移動体２は、撮影時のロール操作の回転量を記憶することとする。そして、各撮影時点でのロール操作の回転量を示すロール角情報を画像補正装置１へ送信することとする。画像補正装置１は、送信されたロール角情報を取得することとする。
１．８．１ 撮影位置が同一の場合
まず、撮影位置が同一で、本来のカメラ位置からの撮影と、実際のカメラ位置からの撮影とでロール角度が異なる場合を説明する。

図２４は、ロール角度が異なる場合の、本来のカメラ位置と実際のカメラ位置との撮影範囲を示す図である。
なお、本来のカメラ位置からの撮影では、ロール操作が行われず、ロール角度が０とする。実際のカメラ位置からの撮影では、反時計回りに角度θだけロール操作が行われたとする。

図２４（ａ）では、本来のカメラ位置から撮影した場合の本来の撮影範囲３０ａを、点線で示す。また、実際のカメラ位置から撮影した場合の実際の撮影範囲３１ａを、実線で示す。なお、本来の撮影範囲３０ａの中に、出力画像として抽出される範囲を点線で示している。
本来の撮影範囲３０ａを、撮影範囲３０ａの中心を基準にして反時計回りにθだけ回転させたのが、実際の撮影範囲３１ａである。したがって、実際の撮影範囲３１ａを、本来の撮影範囲３０ａに一致させるには、実際の撮影範囲３１ａの中心を基準にして時計回りにθだけ回転させればよい。また、本来のカメラ位置から撮影した場合の標準の画像抽出範囲の画像が、実際の撮影画像では時計回りにθだけ回転して写っていることとなる。したがって、実際の撮影範囲３１ａの撮影画像における、標準の画像抽出範囲を、中心点を基準に時計回りにθだけ回転させると、出力すべき画像の画像抽出範囲が得られることとなる。

図２４（ｂ）は、実際のカメラ位置から撮影した撮影画像３２ａと、標準の画像抽出範囲３３ａを示す図である。
この標準の画像抽出範囲３３ａを、時計回りにθ（反時計回りに−θ）回転させたものが、出力画像抽出範囲３４ａである。出力画像抽出範囲３４ａを、図２４（ｃ）に示す。
出力画像抽出範囲３４ａの画像を、撮影画像３２ａから抽出して得られた画像が、出力画像３５ａとなる。図２４（ｄ）に、出力画像３５ａを示す。

なお、本来のカメラ位置からの撮影において、ロール操作が行われない場合を説明したが、要するに、撮影位置が同一で、本来のカメラ位置からの撮影と、実際のカメラ位置からの撮影とでロール角度が異なる場合は、そのロール角度の差の分だけ、撮影範囲が回転していることになる。
したがって、実際のカメラ位置からの撮影範囲を、そのロール角度の差の分、逆方向に回転させれば、本来のカメラ位置からの撮影範囲と一致する。ということは、実際のカメラ位置から撮影された撮影画像の、標準の画像抽出範囲を、画像抽出範囲の中心点を中心に、ロール角度の分、逆方向に回転させると、出力画像抽出範囲が得られる。

１．８．２ 撮影位置が異なる場合
次に、一般的な場合として、カメラのロール操作が行われつつ、カメラの撮影方向に直行する平面上で、本来のカメラ位置と実際のカメラ位置とで位置の誤差がある場合を説明する。
本来のカメラ位置からの撮影ではロール操作が行われず、実際のカメラ位置からの撮影では、反時計回りにθだけロール操作が行われたとする。

カメラの撮影方向に直交する平面をｉ軸とｊ軸で表し、ｉ軸は、ロール操作が行われていない、本来のカメラ位置からの撮影対象面における撮影範囲の水平方向と平行、ｊ軸は本来のカメラ位置からの撮影対象面における撮影範囲の垂直方向と平行であるとする。位置誤差ベクトルの、撮影方向に直行する平面の成分を、ベクトルα（ｉ，ｊ）とする。
図２５は、ロール角度および撮影位置が異なる場合の、本来のカメラ位置と実際のカメラ位置との撮影範囲を示す図である。

図２５（ａ）に、本来のカメラ位置から撮影した場合の本来の撮影範囲３０ｂを、点線で示す。また、実際のカメラ位置から撮影した場合の実際の撮影範囲３１ｂを、実線で示す。位置誤差ベクトルαを撮影対象面に射影した射影ベクトルを、射影ベクトル３６ｂとして示す。なお、撮影方向に直行する平面と、撮影対象面とは平行であるため、図２５（ａ）では、撮影方向に直行する平面のｉ軸およびｊ軸も図示している。

図２５（ａ）に示すように、実際の撮影範囲３１ｂを、本来の撮影範囲３０ｂに一致させるには、実際の撮影範囲３１ｂを、ｉ軸およびｊ軸からなる平面において射影ベクトル３６ｂの逆ベクトルだけ移動させるとともに、ロール角度の分、逆方向に回転させればよい。また、本来意図したような出力画像を得るには、実際の撮影範囲３１ｂの撮影画像における、標準の画像抽出範囲を、画像抽出範囲の中心点を基準に時計回りにθだけ回転させて、さらに、標準の画像抽出範囲の中心点を、ロール角度を考慮して射影ベクトルに基づいて移動させればよい。

図２５（ｂ）は、実際のカメラ位置から撮影した撮影画像３２ｂの標準の画像抽出範囲を、時計回りにθ（反時計回りに−θ）回転させた画像抽出範囲を点線で示している。この画像抽出範囲の中心点を、標準の中心点３８ｂとして示す。
ただし、このままでは、位置の誤差を考慮していないので、本来のカメラ位置から得られるであろう出力画像を抽出することはできない。

ここで、ベクトルαは、ロール操作が行われていない場合の、撮影対象面における撮影範囲の水平方向をｉ軸、垂直方向をｊ軸としていることに留意する。仮に、実際のカメラ位置からの撮影においてロール操作を行っていない場合は、本来の撮影範囲の水平方向および垂直方向と、実際の撮影範囲の水平方向および垂直方向がそれぞれ平行である。そのため、ベクトルαを撮影対象面に射影した射影ベクトル３６ｂの示す方向の逆方向に、実際の撮影画像においても標準の画像抽出範囲の中心点を移動させれば出力画像抽出範囲の中心点が得られることとなる。

しかし、実際の撮影においてロール操作が行われていると、撮影対象面において、本来の撮影範囲の水平方向および垂直方向が、実際の撮影範囲の水平方向および垂直方向と、それぞれ平行とはなっていない。また、射影ベクトル３６ｂは、ベクトルα（ｉ，ｊ）を撮影対象面に射影したベクトルである。したがって、実際の撮影範囲を、本来の撮影範囲に一致させるには、まず、実際の撮影範囲の水平方向をｉ’軸、垂直方向をｊ’軸として、実際の撮影範囲の中心点を、射影ベクトル３６ｂの成分、つまりベクトルα（ｉ，ｊ）分、ベクトルαとは逆方向に移動させる。つまり、ｉ’軸方向にーｉ、ｊ’軸方向に−ｊだけ移動させる。

そして、移動させた点を、実際の撮影範囲の、もともとの中心点を基準にして時計回りにθ（半時計周りに−θ）だけ回転させると、本来の撮影範囲の中心点に一致する。
実際の撮影画像から出力画像抽出範囲を決定する際も、この点を考慮する。要するに、実際の撮影においてロール操作が行われなかったと仮定した場合の、出力画像抽出範囲の中心点を、標準の画像抽出範囲の中心点を基準にして時計回りにθ（半時計周りに−θ、つまりロール操作の逆回転）だけ回転させる。回転させた点が、ロール操作が行われた場合の出力画像抽出範囲の中心点である。

図２５（ｃ）は、実際の撮影においてロール操作が行われなかったと仮定した場合の、出力画像抽出範囲の中心点３７ｂを示す図である。本来の撮影範囲の水平方向および垂直方向が、撮影方向に直交する平面のｉ軸およびｊ軸とそれぞれ平行で、ベクトルαおよび射影ベクトル３６ｂを、ｉ軸およびｊ軸の成分で表現しているので、ロール操作が行われなかったと仮定した場合の出力画像抽出範囲の中心点を移動させる方向は、射影ベクトル３６ｂの各成分により表現される方向の逆方向である。

この中心点３７ｂを、標準の中心点３８ｂを基準にθだけ時計回りに回転させた点が、出力画像抽出範囲３３ｂの中心点３９ｂである。図２５（ｄ）に、出力画像抽出範囲３３ｂとその中心点３９ｂを示す。
１．８．３ ロール操作がある場合のまとめ
要するに、本来の撮影ではロール操作が行われず、実際の撮影ではロール操作が半時計周りにθだけ行われ、かつ、撮影方向に直行する平面に位置の誤差がある場合は、実施の形態１で説明した、ロール操作がない場合の出力画像抽出範囲の中心点を、標準の画像抽出範囲の中心点を基準にして時計回りにθ（半時計周りに−θ）だけ回転させ、さらに、出力画像抽出範囲そのものを、出力画像抽出範囲の中心点を基準に時計回りにθだけ回転させればよい。

なお、本来の撮影においてもロール操作が行われるべきである場合は、まず、実際の撮影画像から、本来の撮影においてロール操作が行われなかった場合の出力画像抽出範囲を決定し、さらに、決定した出力画像抽出範囲を、その出力画像抽出範囲の中心点を基準にして、本来の撮影において行われるべきロール操作のロール角度の分だけ同じ方向に回転させればよい。

この場合は、画像補正装置１は、本来の撮影において行われるべきロール操作の回転量を示す指定ロール角情報を取得することとする。
１．９ 実施の形態１の変形例３
上述の実施の形態１の説明では、カメラ２４の撮影方向は、指令情報７０に示される、本来向くべき方向と平行であるとして説明した。

これに限らず、画像補正装置１は、カメラ２４の撮影方向が、本来向くべき方向からずれている場合、つまり本来向くべき方向と平行でない場合であっても、そのずれを考慮して、撮影画像から出力画像抽出範囲を決定することができる。
１．９．１ 撮影方向に誤差がある場合
上述のように、本発明は、位置誤差ベクトルを、撮影方向成分と、直交平面成分とに分解して出力画像抽出範囲を決定した。ここで、カメラ２４の撮影方向が本来向くべき方向と平行ではなく、撮影方向に誤差がある場合、この誤差のベクトルを撮影方向誤差ベクトルとする。撮影方向はベクトルで表されるため、撮影方向誤差ベクトルは、例えば、実際の撮影方向を示すベクトルから本来の撮影方向を示すベクトルを引いた差分のベクトルとする。この撮影方向誤差ベクトルは、撮影方向の成分と、撮影方向に直交する平面の成分とに分解することができる。そうすると、位置誤差ベクトルを撮影方向成分と直交平面成分とに分解したときと同様の方法で、撮影方向の誤差を考慮して出力画像抽出範囲を決定することができる。

ここで、上述の実施形態では、撮影方向のベクトルは、単位ベクトルで表現することとした。撮影方向誤差ベクトルのうち、撮影方向に直行する平面の成分は、カメラ位置から撮影対象面までの距離が長くなるほど、拡大することに留意しなければならない。これに対し、撮影方向誤差ベクトルのうち、撮影方向の誤差は、拡大しない。
図２６に、撮影方向誤差ベクトルがある場合の、カメラ位置と撮影対象面を図示する。

図２６（ａ）には、本来の撮影方向４１ａと、実際の撮影方向４２ａと、撮影方向誤差ベクトル４３ａと、本来の撮影範囲４４ａと、実際の撮影範囲４５ａと、誤差４６ａと、カメラ位置４９ａとが示されている。
カメラ位置４９ａは、本来の撮影位置と実際の撮影位置とで同一とする。本来の撮影方向４１ａと、実際の撮影方向４２ａとの誤差の角度が、θで表されるとする。

ここで、実際の撮影方向４２ａは、移動体２が実際の撮影方向を記録する等の方法により既知であるとする。
本来の撮影方向４１ａと、実際の撮影方向４２ａは、上述のように、単位ベクトルとして表される。撮影対象面までの距離を「ｂ」とする。撮影対象面までの距離は、本来の撮影位置および実際の撮影位置とでほぼ同じとする。そうすると、撮影方向誤差ベクトル４３ａのうち、直交平面成分の誤差は、撮影対象面において「ｂ」倍となる。すなわち、誤差４６ａの大きさは、撮影方向誤差ベクトル４３ａのうち、直交平面成分の誤差の「ｂ」倍となる。

図２６（ｂ）に、撮影方向誤差ベクトルのうち、直交平面成分を示すベクトルβ（ｉ，ｊ）を図示する。
図２６（ｃ）に、撮影対象面における、本来の撮影範囲４４ａと、実際の撮影範囲４５ａと、誤差４６ａとを示す。また、撮影方向誤差ベクトルのうち、直交平面成分を示すベクトルβを、ベクトルβ４７ａとして示す。誤差４６ａは、図示するように、ベクトルβ４７ａの「ｂ」倍である。撮影方向に誤差がある場合は、誤差４６ａを、位置誤差ベクトルの直交平面成分とみなして、上述の実施の形態１と同様の方法で、出力画像抽出範囲の中心点を決定すればよい。

同様に、撮影方向誤差ベクトルのうち、撮影方向の成分に基づいて、上述の実施の形態１の「１．６．３ 位置誤差ベクトルの方向が撮影方向と一致している場合」「。６．４ 位置誤差ベクトルの方向が撮影方向の反対方向である場合」で説明したようにして、出力画像抽出範囲の画像サイズを拡大または縮小すればよい。
１．９．２ 撮影方向に誤差がある場合の補足
なお、撮影方向誤差ベクトルのうち、撮影方向に直交する平面の成分に基づく誤差が撮影画像に与える影響は、撮影対象面までの距離が長くなるほど拡大する。そのため、撮影対象面までの距離が比較的長い場合は、撮影方向誤差ベクトルのうち、撮影方向の成分に基づく誤差は、直交平面成分に基づく誤差と比べて撮影画像に及ぼす誤差の影響が小さくなる場合がある。要するに、撮影方向に誤差があっても、被写体までの距離が遠ければ、撮影画像中の被写体の大きさはそれほど変わらないということである。

したがって、撮影方向誤差ベクトルのうち、撮影方向の成分については、誤差がないものと近似して、出力画像抽出範囲の画像サイズの拡大または縮小を行わないこととしてもよい。こうすると、画像補正装置１の処理を高速化でき、リアルタイム性のある処理を要する場合に有用である。
なお、撮影方向に誤差があり、カメラの位置にも誤差がある場合は、上述の誤差４６ａと、位置誤差ベクトルの直交平面成分とを合成して、合成したベクトルに基づいて出力画像抽出範囲の中心点を決定すればよい。

１．９．３ 移動体２の運動がある場合
なお、上述の実施の形態１では、移動体２は、ローリングとピッチングが発生しにくいもの、あるいはローリングやピッチングによって撮影画像には大きな影響が出ないとして説明したが、本来の撮影方法と実際の撮影方法とで、移動体２がローリングやピッチングを行っている等の相違がある場合、カメラ２４の撮影方向が、本来の撮影方法と実際の撮影方法とで異なることとなる。

移動体２が実際の撮影においてローリングやピッチングを行っている場合、例えばローリングが行われていれば、カメラ２４の撮影方向が、ｐ軸まわりに回転するということである。つまり、本来撮影すべき方向と、実際撮影した方向とが異なる。このように、移動体２の運動が、ｐ軸やｑ軸やｒ軸まわりの運動、つまりカメラ座標系における回転として表現できるので、この運動は、結局、カメラの撮影方向の誤差として扱えばよいことになる。

上述の通り、カメラ２４の撮影方向の誤差である、撮影方向誤差ベクトルを、撮影方向の成分と、撮影方向に直行する平面の成分とに分解することで、移動体２の運動を考慮して出力画像抽出範囲を決定することができる。
例えば、移動体２が実際に撮影を行ったときのローリングの角度やピッチングの角度やヨーイングの角度を移動体２が記憶しておき、画像補正装置１は、移動体２からこれらの情報を取得する。そして、本来移動体２が移動を行うときのローリングの角度やピッチングの角度やヨーイングの角度についての情報を取得することで、実際のローリングの角度等の情報との差分を求め、移動体２の運動の誤差を示す移動体運動誤差情報を取得する。この移動体運動誤差情報が取得できれば、カメラの撮影方向の誤差がわかる。その後は、上述のように、カメラの撮影方向の誤差に基づいて画像の抽出を行えばよい。

１．１０ その他の補足
以上のように本発明にかかる画像補正装置１について実施の形態に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施の形態で示した画像補正装置１に限られないことは勿論である。
１．１０．１ 位置差分情報送信部２０８の送信タイミング
位置差分情報送信部２０８が位置差分情報８０を画像補正装置１へ送信するタイミングについて補足すると、位置差分情報送信部２０８は、位置誤差算出部２０２から位置誤差ベクトルを受け付けるたびに、逐次、送信することとしてもよい。この場合は、画像補正装置１は各時点の誤差ベクトルを受信することになるので、移動体２のカメラ２４により撮影された画像を、リアルタイムに補正することができる。また、位置差分情報送信部２０８は、ある程度、各時点の位置誤差ベクトルを蓄積してからまとめて画像補正装置１へ送信してもよい。

また、撮影画像情報送信部２１４が撮影画像情報９０およびカメラ２４により撮影された画像を画像補正装置１へ送信するタイミングについても、同様である。すなわち、撮影画像情報送信部２１４は、撮影画像取得部２１３に記憶されている画像、および、撮影画像情報９０を、画像が撮影されるたびに逐次読み出して送信することとしてもよい。この場合は、画像補正装置１は、上述のようにリアルタイムに補正することができる。また、ある程度、画像が蓄積されてからまとめて画像補正装置１へ送信してもよい。

１．１０．２ 移動体２のバリエーション
上述の実施例では、移動体２が飛行体である場合について説明したが、これに限られない。要するに、外乱の影響を受ける移動体であれば本発明を適用できる。例えば、ボート、ヨット、帆船などの、水面に浮かんで移動する浮遊移動体であってもよい。これら浮遊移動体は、移動に際して風の影響を受けやすい。また、波の影響により、浮遊移動体が揺れ動く。この他にも、例えば、地上を走行する走行体であってもよい。山岳や荒れ地を移動体が走行する場合、石などの障害物により、移動体が跳ねる場合がある。また、地上、水上に限らず、水中を移動する移動体であってもよい。水流の影響で移動体が移動に影響を受ける場合がある。

１．１０．３ 構成のバリエーション
なお、上述の実施の形態の説明では、画像補正装置１と、移動体２と、移動指令装置３とが別々の装置であるとして説明してきたが、別々の装置に分けられている必要はない。例えば移動体２が移動指令装置３や画像補正装置１の機能を有していてもよい。また、画像補正装置１が移動指令装置３の機能を有していてもよい。例えば、上述の実施の形態の説明では、移動体２が位置誤差や方向誤差を算出してプロペラ動力の補正やカメラアングル補正を行うこととしているが、これらの処理を、移動指令装置３が遠隔操作により移動体２に指令することとしてもよい。また、画像補正装置１は、指令情報７０を、移動指令装置３から取得することとしているが、移動体２から取得することとしてもよい。

また、図６では、ディスプレイ４が画像補正装置１の外部にあるように図示されているが、画像補正装置１にディスプレイ４が含まれていてもよい。
なお、上述の実施の形態の説明では、移動体２は、位置誤差ベクトルや方向誤差ベクトルに基づいて、画像補正やプロペラ動力補正やカメラアングル補正を行うこととしているが、この他に、外乱を計測して得られたデータに基づいて、撮影画像から画像を抽出する出力画像抽出範囲の決定や、プロペラ動力補正やカメラアングル補正を行うとしてもよい。外乱を計測するには、例えば風圧センサ等を用いる。移動体２が水上や水中を移動する場合には水圧センサを用いるとよい。また、移動体２が地上を走行する場合は、圧力センサを用いるとよい。

また、移動体２の速度や加速度等に基づいて、出力画像抽出範囲の決定やプロペラ動力補正やカメラアングル補正を行うとしてもよい。
また、ＧＰＳ２０４やジャイロ２０７を用いて移動体２の位置や方向を取得するとしているが、他の装置が移動体２の位置や方向を測定し、移動体２に通知することとしてもよい。

また、移動体２が気球２１やプロペラ２２により飛行する場合を説明したが、翼や羽、ジェット等、他の装置を用いてもよい。
また、上述の実施形態では、画像補正装置１は、指令情報７０を受け付けることで、本来のカメラ２４の撮影方向７４の情報を取得して、撮影方向７４に示される情報に基づいて、位置誤差ベクトルを分解していたが、移動体２がカメラ２４の撮影方向を逐次記憶し、カメラ２４の実際の撮影方向を取得して、実際の撮影方向に基づいて、位置誤差ベクトルを分解して画像の補正を行うこととしてもよい。

また、撮影対象面までの距離は、指令情報７０に示されるように本来のカメラ位置からの距離としているが、移動体２が撮影対象面までの距離を測定できる場合は、実際のカメラ位置からの距離を用いて、画像サイズの補正等を行ってもよい。
また、位置誤差ベクトルや方向誤差ベクトルなど、誤差を示すためのベクトルの算出方法は、上述の実施の形態の方法に限らない。例えば、移動体２が本来位置している座標を終点とし、実際位置している座標を始点としたベクトルを位置誤差ベクトルとしてもよい。方向誤差ベクトルについても同様に、移動体２が本来向くべき方向を示す単位ベクトルから実際に向いている方向を示す単位ベクトルを引いたベクトル差を方向誤差ベクトルとしてもよく、さまざまな算出方法が考えられる。撮影方向誤差ベクトルについても同様である。

１．１０．４ 映像の補正
なお、上述の実施形態では、画像補正装置１は、移動体２のカメラ２４が撮影した画像を補正することとして説明したが、移動体２が映像を撮影する場合、その映像を構成する１枚１枚の画像について、出力画像抽出範囲を決定して画像を順に抽出し、抽出した画像を順に出力することで、移動体２が撮影した映像を補正する映像補正装置とすることもできる。例えば、災害発生の現場や、屋外競技などのイベント会場などにおいて、安価で小型な移動体にカメラを搭載して上空から撮影させ、映像補正装置は、撮影された映像をリアルタイムで受け付けて、その映像を構成する１枚１枚の画像を逐次補正して出力するなどの利用形態が想定できる。人が撮影する場合は、カメラを人が操作するので、操作者が意図したような映像を撮影できるのは当然であるが、この場合、ヘリコプター等に搭乗して撮影することとなり、移動体は比較的大きくならざるを得ない上に、一般的に高コストである。

１．１０．５ 画像補正の方法のバリエーション
なお、上述の実施形態で説明した方法の他に、撮影画像から出力画像抽出範囲を決定する方法は、以下のようなものがある。
例えば、位置誤差ベクトルと、撮影対象面までの距離と、画角とに基づいて、標準の画像抽出範囲から中心点を移動させる方向および移動量、拡大または縮小する画像サイズの倍率等を、予め算出しておく。算出結果を、画像補正情報として、画像補正装置１に記憶させることとしてもよい。つまり、上述の位置誤差ベクトルがある場合に、実際の撮影対象面を本来の撮影対象面まで移動させるのに必要なベクトルの向きおよび方向を記憶していればよい。これらの補正量は、実験やシミュレーションなどにより算出しておく。後は、そのベクトルの大きさに基づいて、画像抽出範囲の中心点の移動量が定まる。

１．１０．６ その他
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレィユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の画像補正装置は、カメラを搭載した移動体が撮影する際に、外乱の影響を受け、本来撮影したかった画像からずれが生じてしまうという頻繁に起こりうる事象に対し、移動体の位置の誤差に基づいて画像を補正して、本来撮影したかった画像を得ることができ、有用である。また、映像を構成する画像の各々を補正することで、映像を出力する映像補正装置としても用いることができる。

本発明の構成の概要を示した図。 カメラ座標系を示す図。 移動体２の構成を示す機能ブロック図。 位置誤差ベクトルの算出の一例を示す図。 方向誤差ベクトルの算出の一例を示す図。 画像補正装置１の構成を示す機能ブロック図。 指令情報７０を示す図。 位置差分情報８０を示す図。 本来移動体２が各時刻において位置すべき座標と、実際に移動体２が移動した移動経路とをｘｙ平面に投影した図。 本来移動体２が各時刻において位置すべき座標と、実際に移動体２が移動した移動経路とをｘｚ平面に投影した図。 撮影画像情報９０を示す図。 移動体２の動作を示すフローチャート。 画像補正装置１の動作を示すフローチャート。 実際のカメラ位置が本来のカメラ位置に一致している場合に、画像補正処理部１４が画像抽出範囲を決定する過程を示す図。 位置誤差ベクトルが撮影方向と直交している場合に、画像補正処理部１４が出力画像抽出範囲を決定する過程を示す図。 撮影対象面における、本来のカメラ位置と実際のカメラ位置との撮影範囲を示す図。 位置誤差ベクトルの方向が撮影方向と一致している場合に、画像補正処理部１４が出力画像抽出範囲を決定する過程を示す図。 位置誤差ベクトルの方向が撮影方向の反対方向である場合に、画像補正処理部１４が出力画像抽出範囲を決定する過程を示す図。 画像補正処理部１４が、位置誤差ベクトルを撮影方向成分と直交平面成分とに分解して出力画像抽出範囲を決定する処理の過程を示す図。 変形例１の概要を示す図。 変形例における、位置誤差ベクトルの算出の一例を示す図。 移動体２の移動経路を後から指定する場合の構成の一例を示す図。 移動軌跡情報７０ａを示す図。 ロール角度が異なる場合の、本来のカメラ位置と実際のカメラ位置との撮影範囲を示す図。 ロール角度および撮影位置が異なるばあいの、本来のカメラ位置と実際のカメラ位置との撮影範囲を示す図。 撮影方向誤差ベクトルがある場合の、カメラ位置と撮影対象面を示す図。

符号の説明

１ 画像補正装置
２ 移動体
３ 移動指令装置
４ ディスプレイ
２０ 移動体本体
２１ 気球
２２ プロペラ
２３ 雲台
２４ カメラ
２０１ 指令情報取得部
２０２ 位置誤差算出部
２０３ 位置管理部
２０４ ＧＰＳ
２０５ 方向誤差算出部
２０６ 方向管理部
２０７ ジャイロ
２０８ 位置差分情報送信部
２０９ プロペラ動力補正部
２１０ プロペラ動力制御部
２１１ カメラアングル補正部
２１２ カメラアングル制御部
２１３ 撮影画像取得部
２１４ 撮影画像情報送信部
１０００ 画像補正装置
１０１０ 画像補正処理部
１０１１ 位置差分情報取得部
１０１２ 撮影画像情報取得部
１０１３ カメラ情報取得部
１１０１ 画像中心点算出部
１１０２ 画像サイズ算出部
１０１５ 画像出力部
２０００ カメラ装置
３０００ 経路指定装置

Claims (25)

1. 移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正装置であって、
   前記カメラが撮影した撮影画像を取得する画像取得手段と、
   前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得手段と、
   前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定手段と、
   前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力手段とを備える
   ことを特徴とする画像補正装置。
2. 前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、
   前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの撮影方向、または、前記指定されたカメラ位置における前記カメラの撮影方向の少なくともいずれかを示す撮影方向情報を取得するカメラ情報取得手段を備え、
   前記決定手段は、前記取得された前記撮影方向情報に基づいて、前記位置差分情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記撮影方向に直交する平面の成分とに分解する分解部と、
   前記撮影方向の成分に基づいて、前記標準の画像抽出範囲のサイズを補正し、補正後のサイズを、出力画像抽出範囲のサイズと決定する画像サイズ算出部と、
   前記撮影方向に直交する平面の成分に基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点と決定する画像基準点算出部とを含む
   ことを特徴とする請求項１記載の画像補正装置。
3. 前記位置差分情報に示される前記差分を、前記指定されたカメラ位置を始点とし、前記撮影画像の撮影が行われた時点のカメラ位置を終点とするベクトルで表したとき、
   前記撮影方向に直交する平面の成分は、前記ベクトルを前記撮影方向に直交する平面に射影した射影ベクトルであり、
   前記画像基準点算出部は、前記射影ベクトルの大きさに基づいて、前記移動させる基準点の移動量を算出し、前記射影ベクトルが前記撮影方向に直交する平面で示す方向の逆方向に、前記算出した移動量の分、前記標準の画像抽出範囲の基準点を前記移動させる
   ことを特徴とする請求項２記載の画像補正装置。
4. 前記カメラ情報取得手段は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの画角、または、前記指定されたカメラ位置における前記カメラの画角の少なくともいずれかを示す画角情報、および、前記撮影画像の撮影が行われた時点の前記カメラ位置から撮影対象までの距離、または、前記指定されたカメラ位置から撮影対象までの距離の少なくともいずれかを示す距離情報を取得し、
   前記画像基準点算出部は、前記取得された前記画角情報と、前記距離情報とに基づいて、撮影範囲の大きさを算出し、前記撮影範囲の大きさと、前記射影ベクトルの大きさとの比率に基づいて、前記基準点の前記移動量を算出する
   ことを特徴とする請求項３記載の画像補正装置。
5. 前記差分を、前記指定されたカメラ位置を始点とし、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置を終点とするベクトルで表したとき、
   前記画像サイズ算出部は、前記ベクトルの撮影方向の成分の方向が、前記撮影方向情報に示される前記撮影方向と同一方向の場合は前記サイズを拡大し、前記ベクトルの撮影方向の成分が、前記撮影方向情報に示される前記撮影方向と反対方向の場合は前記サイズを縮小して前記サイズの決定を行う
   ことを特徴とする請求項２記載の画像補正装置。
6. 前記画像サイズ算出部は、前記撮影方向の成分の大きさに応じて、前記サイズの補正の倍率を決定する倍率決定部を含み、決定した倍率に従って前記標準の画像抽出範囲のサイズを前記補正する
   ことを特徴とする請求項２記載の画像補正装置。
7. 前記差分を、前記指定されたカメラ位置を始点とし、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置を終点とするベクトルで表し、前記ベクトルの撮影方向の成分の大きさをａ、前記指定されたカメラ位置から撮影対象までの距離をｂとし、
   前記カメラ情報取得手段は、さらに、前記指定されたカメラ位置から撮影対象までの距離を示す距離情報を取得し、
   前記倍率決定部は、前記ベクトルの撮影方向の成分の方向が、前記撮影方向情報に示される前記撮影方向と前記同一方向の場合は、前記倍率をｂ／（ｂ−ａ）と決定し、前記ベクトルの撮影方向の成分の方向が、前記撮影方向情報に示される前記撮影方向と反対方向の場合は、前記倍率をｂ／（ｂ＋ａ）と決定する
   ことを特徴とする請求項６記載の画像補正装置。
8. 前記補正画像出力手段は、前記出力画像抽出範囲の画像を前記撮影画像から抽出し、抽出した画像を、前記画像サイズ算出部により決定された前記倍率の逆数倍のサイズの画像に拡大または縮小する出力画像サイズ調節部を含み、
   前記出力画像サイズ調節部により前記倍率の逆数倍のサイズとなった画像を前記出力する
   ことを特徴とする請求項６記載の画像補正装置。
9. 前記カメラは、撮影方向を回転軸として撮影範囲を回転させるロール操作を行うことができ、
   前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の、ロール操作が行われている回転量を角度で示すロール角情報を取得するロール角情報取得手段を備え、
   前記決定手段は、前記位置差分情報と、前記取得した前記ロール角情報とに基づいて前記修正を行って前記出力画像抽出範囲の前記決定を行う
   ことを特徴とする請求項１記載の画像補正装置。
10. 前記ロール角情報取得手段は、さらに、前記指定されたカメラ位置におけるロール操作が行われている回転量を示す指定ロール角情報を取得し、
    前記決定手段は、前記取得した前記ロール角情報に示される回転量と、前記指定ロール角情報に示される回転量との差分の回転量を示す差分回転量を算出する差分回転量算出部を含み、
    前記位置差分情報に基づいて前記修正した範囲の画像抽出範囲を、前記差分回転量算出部で算出した前記差分回転量に示される回転量に基づいて回転させ、回転後の画像抽出範囲を前記出力画像抽出範囲と前記決定する
    ことを特徴とする請求項９記載の画像補正装置。
11. 前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、
    前記決定手段は、前記位置差分情報に基づいて、前記標準の画像抽出範囲の基準点を移動させる方向および移動量を決定する画像基準点算出部と、
    前記画像基準点算出部が決定した方向および移動量に示される前記移動後の点を、前記標準の画像抽出範囲の基準点に基づいた点を回転の中心として、前記ロール角情報に示される回転量の分、前記ロール角情報の示す回転方向とは逆方向に回転させる画像基準点補正部とを含み、
    前記画像基準点補正部により前記回転された点を基準点とした場合の画像抽出範囲を、前記回転された点に基づいた点を回転の中心として、前記差分回転量算出部が算出した前記差分回転量に示される回転量の分、前記差分回転量の回転方向とは逆方向に回転させ、回転後の画像抽出範囲を出力画像抽出範囲と前記決定する
    ことを特徴とする請求項１０記載の画像補正装置。
12. 前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラの撮影方向と、前記指定されたカメラ位置における撮影方向との誤差を示す撮影方向誤差情報を取得する撮影方向誤差情報取得手段を備え、
    前記決定手段は、前記取得した撮影方向誤差情報と、前記位置差分情報とに基づいて前記修正して前記出力画像抽出範囲の前記決定を行う
    ことを特徴とする請求項１記載の画像補正装置。
13. 前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、
    前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの撮影方向、または、前記指定されたカメラ位置における前記カメラの撮影方向の少なくともいずれかを示す撮影方向情報を取得するカメラ情報取得手段を備え、
    前記決定手段は、前記取得された前記撮影方向情報に基づいて、前記位置差分情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記撮影方向に直交する平面の成分とに分解し、前記撮影方向誤差情報に示される前記撮影方向の誤差を、前記撮影方向情報に示される前記撮影方向の成分と、前記直交する平面の成分とに分解する分解部と、
    前記差分の前記撮影方向成分と前記撮影方向の誤差の前記撮影方向成分とに基づいて、前記標準の画像抽出範囲のサイズを補正し、補正後のサイズを、出力画像抽出範囲のサイズと決定する画像サイズ算出部と、
    前記差分の前記直交する平面の成分と前記撮影方向の誤差の前記直交する平面の成分とに基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点と決定する画像基準点算出部とを含む
    ことを特徴とする請求項１２記載の画像補正装置。
14. 前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点における前記移動体と、前記指定されたカメラ位置における移動体との、ローリング角度、ピッチング角度、ヨーイング角度の差分の少なくとも１つを示す移動体運動誤差情報を取得する運動後差情報取得手段を備え、
    前記決定手段は、前記取得した位置差分情報と、前記移動体運動誤差情報とに基づいて前記修正して前記出力画像抽出範囲の前記決定を行う
    ことを特徴とする請求項１記載の画像補正装置。
15. 前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、
    前記画像補正装置は、さらに、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置における前記カメラの撮影方向、または、前記指定されたカメラ位置における前記カメラの撮影方向の少なくともいずれかを示す撮影方向情報を取得するカメラ情報取得手段を備え、
    前記決定手段は、前記取得された前記撮影方向情報に基づいて、前記位置差分情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記撮影方向に直交する平面の成分とに分解し、前記移動体運動誤差情報に示される前記差分を、前記撮影方向情報に示される前記撮影方向の成分と、前記直交する平面の成分とに分解する分解部と、
    前記位置差分情報に示される前記差分の前記撮影方向成分と前記移動体運動誤差情報に示される前記差分の前記撮影方向成分との和に基づいて、前記標準の画像抽出範囲のサイズを補正し、補正後のサイズを、出力画像抽出範囲のサイズと決定する画像サイズ算出部と、
    前記位置差分情報に示される前記差分の前記直交する平面の成分と前記移動体運動誤差情報に示される前記差分の前記直交する平面の成分との和に基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点を決定する画像基準点算出部とを含む
    ことを特徴とする請求項１４記載の画像補正装置。
16. 前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、
    前記決定手段は、前記位置差分情報に示される位置の差分に基づいて、前記標準の画像抽出範囲の基準点を移動させ、移動後の基準点を出力画像抽出範囲の基準点と決定する画像基準点算出部を含む
    ことを特徴とする請求項１記載の画像補正装置。
17. 前記決定手段は、前記位置差分情報に示される位置の差分に基づいて、前記標準の画像抽出範囲のサイズを拡大または縮小し、拡大または縮小後のサイズを、出力画像抽出範囲のサイズと決定する
    ことを特徴とする請求項１記載の画像補正装置。
18. 前記移動体は、前記移動体が移動すべき経路を示す指令情報に基づいて移動および前記カメラによる撮影を行い、
    前記画像補正装置は、さらに、前記指令情報を取得する指令情報取得手段を備え、
    前記指定されたカメラ位置とは、前記指令情報に示される経路上の位置である
    ことを特徴とする請求項１記載の画像補正装置。
19. 前記画像補正装置は、さらに、
    前記標準の画像抽出範囲を修正する修正方法を、前記差分と対応づけた画像補正情報を取得して記憶する画像補正情報取得手段を備え、
    前記決定手段は、前記位置差分情報に示される差分と対応している前記修正方法を、前記記憶している前記画像補正情報から読み出し、前記対応している前記修正方法に従って前記決定を行う
    ことを特徴とする請求項１記載の画像補正装置。
20. 前記画像抽出範囲は、基準点によりその画像抽出範囲の撮影画像における位置が定められ、
    前記画像補正情報は、前記差分と対応付けて、前記出力画像抽出範囲のサイズおよび基準点の位置とを記憶しており、
    前記決定手段は、前記画像補正情報に示される前記サイズおよび前記基準点の位置を、前記出力画像抽出範囲と前記決定する
    ことを特徴とする請求項１９記載の画像補正装置。
21. 前記移動体は、カメラの撮影により映像を生成し、
    前記画像補正装置は、前記生成された映像を構成する各画像について、前記決定手段により前記出力画像抽出範囲の前記決定を行い、
    前記補正画像出力手段は、各画像について前記決定された出力画像抽出範囲の画像を抽出して映像として出力する映像出力部を含む
    ことを特徴とする請求項１記載の画像補正装置。
22. 移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正システムであって、
    カメラ位置の指定を受け付ける位置指定受付手段と、
    受け付けた指定にかかるカメラ位置を位置指定情報として記憶する位置指定情報記憶手段と、
    前記移動体が実際に移動した経路を示す移動軌跡情報を取得する移動軌跡情報取得手段と、
    前記位置指定情報と、前記取得した移動軌跡情報とに基づいて、前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、前記指定されたカメラ位置との差分を算出する位置差分算出手段と、
    前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記位置差分算出手段により算出された前記差分に基づいて修正し、出力画像抽出範囲として決定する決定手段と、
    前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力手段とを含む
    ことを特徴とする画像補正システム。
23. 移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正方法であって、
    前記画像補正方法は、
    前記カメラが撮影した撮影画像を取得する画像取得ステップと、
    前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得ステップと、
    前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定ステップと、
    前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力ステップとを含む
    ことを特徴とする画像補正方法。
24. 移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正処理を画像補正装置に行わせるための制御プログラムであって、
    前記制御プログラムは、
    前記カメラが撮影した撮影画像を取得する画像取得ステップと、
    前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得ステップと、
    前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定ステップと、
    前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力ステップとを含む
    ことを特徴とする制御プログラム。
25. 移動体に搭載されたカメラにより撮影されて生成された画像を補正して出力する画像補正処理を実行する集積回路であって、
    前記カメラが撮影した撮影画像を取得する画像取得部と、
    前記撮影画像の撮影が行われた時点の前記カメラのカメラ位置と、指定されたカメラ位置との差分を示す位置差分情報を取得する差分取得部と、
    前記撮影画像から出力画像を抽出するための標準の画像抽出範囲を、前記記憶されている前記位置差分情報に基づいて修正し、出力画像抽出範囲として決定する決定部と、
    前記決定された出力画像抽出範囲の画像を、前記撮影画像から抽出して出力する補正画像出力部とを含む
    ことを特徴とする集積回路。

Images