JP4970296B2 - オルソフォト画像の生成方法、および撮影装置 - Google Patents

オルソフォト画像の生成方法、および撮影装置 Download PDF

Info

Publication number
JP4970296B2
JP4970296B2 JP2008010828A JP2008010828A JP4970296B2 JP 4970296 B2 JP4970296 B2 JP 4970296B2 JP 2008010828 A JP2008010828 A JP 2008010828A JP 2008010828 A JP2008010828 A JP 2008010828A JP 4970296 B2 JP4970296 B2 JP 4970296B2
Authority
JP
Japan
Prior art keywords
image
camera
focal length
platform
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008010828A
Other languages
English (en)
Other versions
JP2009177251A (ja
Inventor
正 笹川
菊生 橘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2008010828A priority Critical patent/JP4970296B2/ja
Priority to US12/863,682 priority patent/US8717361B2/en
Priority to PCT/JP2009/050808 priority patent/WO2009093587A1/ja
Priority to EP09703910.1A priority patent/EP2247094B1/en
Priority to CN200980102630.7A priority patent/CN101919235A/zh
Publication of JP2009177251A publication Critical patent/JP2009177251A/ja
Application granted granted Critical
Publication of JP4970296B2 publication Critical patent/JP4970296B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明はオルソフォト画像の生成方法、および撮影装置に関するものである。
地形図の作成のため、あるいは写真図として広く利用されているオルソフォト画像は、上空から対象領域を撮影して得られた中心投影画像を正射投影変換処理することにより生成されるもので、その撮影機器に関して、近年、作業効率の向上などを目的として、従来のアナログカメラからデジタルカメラに切り換えられる傾向にある。例えば、航空機から撮影を行うアナログカメラとしての従来のアナログ航空カメラに代替するものとして、オーストリアのVEXCEL社のUCD(UltraCamD)がある。
このUCDは、従来のアナログ航空カメラと同様に所定のエリアを一括的に記録するいわゆるエリアセンサに分類されるもので、能力が十分とは言えない撮像素子によってアナログ航空カメラに匹敵する解像度、撮影範囲を得るために、複数のCCDおよびレンズを搭載している。撮影の対象領域は、複数のCCDおよびレンズを利用して複数のパンクロマティック画像として分割撮影されることによって広範囲に及び、かつ、パンクロマティック画像としての地上解像度が高められる。さらに、撮影画像のカラー画像化は、上述とは別の複数のCCD、レンズによってより低解像度のカラー画像を取得し、上述のパンクロマティック画像と合成処理する、いわゆるパンシャープン処理を施すことによって実現される。
また、類似する技術として、特許文献1に記載されたものがある。この従来例は、航空カメラのように移動するプラットフォームに撮影機器を搭載したり、撮影距離が極めて遠隔になったり、さらには地上座標系等の汎用性のある座標情報を取得するようなものではなく、単に壁面を撮影対象とするものであり、壁画全体をインデックス画像として撮影するとともに、壁画を分割した詳細画像として撮影する。詳細画像は、インデックス画像の対応点を利用して標定され、インデックス画像を基準に貼り合わされ、また、インデックス画像を基準に明るさ、色調を調整される。
特開2000-182059号公報
しかしながら、上述したUCDを用いた撮影では、複数のCCDおよびレンズ、すなわち複数のカメラを用いて対象領域を分割撮影するに際し、これら複数のカメラを単一の焦点に収斂させ、あたかも単一のアナログ航空カメラのように機能させることから、極めて精密なカメラ調整が要求されるという欠点がある。特に航空機などの移動するプラットフォームからの撮影では、気流などの環境条件によってかかる要求を十分に満たせない場合がある。
また、上述のように単一のカメラ焦点で広範な対象領域を撮影する場合、特に撮影距離が極めて大きくなる上空からの撮影においては、焦点から離れた位置に生じる歪みが大きく、また、地上解像度も対象領域の中心部と周辺部で大きく異なってしまうために、画質の均一性に欠けるという欠点もある。
本発明は、以上の欠点を解消すべくなされたものであって、撮影を比較的容易にすることができ、画質に優れたオルソフォト画像の生成方法の提供を目的とする。また、本発明の他の目的は、かかるオルソフォト画像の生成方法を利用した撮影に適した撮影装置の提供にある。
本発明によれば上記目的は、
航空機等のプラットフォームから対象領域1を分割撮影し、
次いで、対象領域1の標高モデル5の標高情報を用いて各分割撮影画像2を正射投影変換処理して対象領域1全域のオルソフォト画像を生成するオルソフォト画像の生成方法であって、
前記対象領域1の分割撮影は、対象領域1上を飛行するプラットフォームの飛行方向に対する直交方向にプラットフォームからの俯角を異ならせ、かつ、所定の地上解像度を基準に焦点距離fを異ならせてなされる複数の撮影をプラットフォームの飛行方向に沿って繰り返してなされ、
前記対象領域1の標高モデル5は、プラットフォームからの俯角および焦点距離fを共通にしてプラットフォームの飛行方向に沿って撮影された複数の分割撮影画像2のそれぞれを撮影重複領域4によりステレオマッチングさせて短冊状領域の標高モデル3の複数を生成した後、この複数の短冊状領域の標高モデル3同士をプラットフォームの飛行方向に対する直交方向になされた複数の撮影での撮影重複領域4に応じた重複領域間でマッチングさせて生成されるオルソフォト画像の生成方法を提供することにより達成される。
航空機等のプラットフォームから俯角を異ならせて広域の対象領域1を分割撮影する本発明において、各撮影は所定の地上解像度を満たすように焦点距離fを異ならせて行われる。したがって焦点を一点に収斂させるための複数のカメラの精密な調整は必要なく、撮影に用いる各カメラは撮影領域に対応する撮影姿勢をある程度保持できれば足りることから、撮影を比較的容易に行うことができる。また、焦点距離fの調整によって各分割撮影画像2が所定の地上解像度を備えることにより、複数の分割撮影画像2、2、・・を組み合わせて生成される対象領域1全域に渡る広域の撮影画像の画質を、上述した従来例に比べてより均質化することができ、かつ、極めて向上させることができる。
また、一般に中心投影の撮影画像は、撮影時の焦点を原点とする座標系で表すことができるものであり、上述したように焦点を共通にした複数のデジタルカメラを用いる上記UCDにおいては、単にそれぞれの座標軸周りでの回転や縮尺を調整することで,分割撮影画像や、これに基づいて生成される数値としての標高情報を備えた標高モデル同士を良好にマッチングさせることができるという利点がある。また、これによれば、アナログ航空カメラを用いていたときの従来のマッチング手法をそのまま流用することもできる。これに対し本願発明は、撮影距離が極めて大きい航空カメラなどの場合には、分割撮影画像間で焦点距離fをやや異ならせたときにも、各分割撮影画像に基づいて生成される上記標高モデル3、すなわち、いわゆる数値地形モデル(Digital Terrain Model)や数値表層モデル(Digital Surface Model)同士を調整してマッチングさせることにより適宜の精度が維持できることを活用するもので、アナログカメラを再現したに過ぎない従来例とは異なる新たなマッチング手法を提案するものである。
さらに、上述した撮影としてカラー撮影を行った場合には、パンシャープン処理によるラジオメトリック解像度の劣化を解消し、地上解像度および色深度のバランスが取れたオルソフォト画像を得ることができ、また、パンシャープン処理を省くことによって作業効率をより高めることができる。
加えて、上述したプラットフォームからの俯角の異なる撮影において、プラットフォーム直下方向を含めて撮影した場合には、より正射投影に近い画像を取得できることから、精度の高い撮影画像、および該撮影画像に基づく精度の高い標高モデル5を得ることができる。この場合において、対象領域1の直下方向以外の標高モデル3について、直下方向の標高モデル3を基準に追い出すようにして位置合わせ、すなわち直下のものを元に順次外方向へ拡張した場合には、対象領域全域の標高モデル5の精度をより高めることができる。
また、上述した標高モデル3、3同士のマッチングは、具体的には、プラットフォームからの俯角の異なる分割撮影画像同士に適宜の撮影重複領域4を設け、この撮影重複領域4間でマッチングを図ることによって行うことができる。標高モデル3、3同士のマッチングは、標高モデル3に標高情報を付与する地上基準点を利用して行うほか、撮影重複領域4内にメッシュを設定し、このメッシュのセル6単位で行うこともできる。上述したように焦点距離fの異なる分割撮影画像に基づいて生成される標高モデル3、3同士をマッチングさせるこの発明において、このようなセル6単位の座標合わせには、複数のセル6、6、・・単位等の各セル6、6同士の最良の位置合わせを行なうため、最小二乗法を用いることが望ましい。焦点距離fが異なることによって標高モデル3、3間に生じる較差は、平面上において生じるほか、高さ方向にも生じるため、望ましくは縦、横、高さ方向に同時に較差の調整を図るべきであるが、上空から地表を撮影する場合には高さ方向に生じる較差が大部分を占めることになるため、高さ方向にのみ調整を図ることで較差の是正効率を高めることもできる。
さらに、以上のオルソフォト画像の生成には、
対象領域1を上空から複数のカメラ7、7・・で分割して撮影する撮影装置であって、
直下方向を向く姿勢に保持される直下視カメラ7Aと、
斜め下方方向を向く姿勢に保持される斜視カメラ7Bと、
前記斜視カメラ7Bの直下方向に対する姿勢の傾斜角度に従って前記直下視カメラ7Aに被写体の解像度をほぼ一致させた斜視カメラ7Bの焦点距離f’を設定する焦点距離設定部8とを有し、
かつ、前記焦点距離設定部8は、前記複数のカメラ7、7・・の各々の焦点距離fを設定、管理し、直下視カメラ7Aの焦点距離fの設定変更に応じて、設定変更後の直下視カメラ7Aにほぼ一致する被写体解像度に斜視カメラ7Bの焦点距離f’を設定変更する撮影装置。
撮影の対象領域1の広さや地形などによって航空機等の飛行高さが変更される航空写真に基づくオルソフォト画像の生成には、飛行高さの変更に対する撮影条件の設定変更が容易な撮影装置を用いることが望ましい。地上解像度を均一化させた対象領域1の上方、上空からの分割撮影は、上述したプラットフォーム直下方向を撮影する直下視カメラ7Aの焦点距離fが決定された場合には、その他の方向、すなわちプラットフォームから所定角度の斜め下方方向を撮影する斜視カメラ7Bの焦点距離f’もその俯角によって一義的に決定されることを考慮し、本発明においては、かかる斜視カメラ7Bの焦点距離f’について、直下視カメラ7Aの焦点距離fに応じて設定する焦点距離設定部8が設けられ、飛行高さの変更に伴う複数のカメラ7、7・・間の調整作業が軽減される。
以上の説明から明らかなように、本発明によれば、撮影を比較的容易にすることができ、画質に優れたオルソフォト画像の生成方法を提供することができるため、地形図の作成や写真図の取得をより効率的に行うことができる。また、かかるオルソフォト画像の生成方法を利用した撮影に適した撮影装置を提供することで、撮影時の作業効率を極めて向上させることができる。
図1に対象領域1の分割撮影の概要を示す。デジタルカメラ7を用いて、図示しない上空の航空機(プラットフォーム)から地表の広域の対象領域1を分割撮影した複数の分割撮影画像2を合成等して生成される極めて広範な対象領域1のオルソフォト画像を取得するこの実施の形態において、一度の飛行で対象領域1の全域を撮影できるように、航空機には図1(a)に示すように、飛行方向に対する直交方向に分割撮影画像を複合させて広範囲を撮影する撮影装置Aが搭載される。
この撮影装置Aは、航空機の直下を撮影する直下視カメラ7Aと、斜め下方を撮影する斜視カメラ7Bとを有し、この実施の形態では4台の斜視カメラ7Bによって直下視カメラ7Aの撮影範囲を飛行方向に対する直交方向に拡幅するようにして、合計5台のカメラ7の撮影範囲が飛行方向に対する直交方向に略帯状をなして複合する。各カメラ7の撮影範囲には、このカメラ7と隣接する撮影範囲をもつ他のカメラ7の撮影範囲が一部重合し、撮影重複領域4を形成する例えば全幅の30%などのサイドラップ率Rsが設定され、追って説明するように分割撮影画像2に基づいて生成される標高モデル3、3同士の位置合わせに利用される。各カメラ7としては、例えば有効画素数がおよそ2000万と描写力に優れ、撮像素子としてCMOSを搭載した比較的安価なキャノン株式会社の商品名「EOS−1 Ds Mark III」が使用される。
また、上記撮影装置Aには、各カメラ7の撮影姿勢、すなわち航空機からの俯角を所定に保持する姿勢保持部11と、焦点距離fを管理する焦点距離設定部8とが設けられる。各カメラ7は姿勢保持部11によって撮影姿勢、および各カメラ7間の相対位置を保持され、また、斜視カメラ7Bについては任意の撮影姿勢に変更できるようにされる。
焦点距離設定部8は、例えば、各カメラ7に接続した可搬型のコンピュータなどにより構成され、各カメラ7の焦点距離fを設定、管理し、また、上記姿勢保持部11に接続されて各カメラ7の撮影姿勢を検出できるようにされる。この焦点距離設定部8は、上記姿勢保持部11から得られる各斜視カメラ7Bの撮影姿勢、より詳細には各斜視カメラ7Bの撮影姿勢の直下方向に対する傾斜角度と、直下視カメラ7Aに設定された焦点距離fとに従い、各斜視カメラ7Bに直下視カメラ7Aによる撮影の地上解像度とほぼ一致する地上解像度を発揮させる焦点距離f’を設定する。
すなわち、撮影の対象領域を平面と見なすことにより、この平面に平行に飛行する航空機からの俯角によって、例えば各斜視カメラ7Bの直下視カメラ7Aに対する相対的な撮影距離の比率を演算し、この比率と直下視カメラ7Aに設定されている焦点距離fとに基づいて、各斜視カメラ7Bについて、直下視カメラ7Aと同等の地上解像度を得ることができる焦点距離f’を設定する。図2(a)は直下視カメラ7Aとこれに隣接する撮影範囲を備えた1台の斜視カメラ7Bとの関係を模式的に示したもので、斜視カメラ7Bの撮影距離D’は、斜視カメラ7Bのレンズの主点12と、対象領域1の撮影範囲の中心点である撮影主点13との間の距離を基準に決定される。なお、図2(a)において14は直下視カメラ7Aのレンズ、15はその主点、16は焦点、17は直下視カメラ7Aの撮影主点、Dは直下視カメラ7Aの撮影距離、18は斜視カメラ7Bのレンズ、19は焦点である。また、同図において座標系の軸線方向を示す矢印は、それぞれのカメラ7A、7Bの撮影姿勢に基づく座標系の軸線方向を示すものである。なお、斜視カメラ7Bは、焦点距離fの変更に伴って画角を調整することによって所定の撮影範囲を維持するようにされる。
以上の撮影装置Aを搭載した航空機を図1(b)において白抜きの矢印で示す方向に飛行させ、該矢印上の白丸の点で示す位置、すなわち所定位置間隔で撮影を行うと、同図に示すように、一度の飛行により、広い範囲について複数の撮影画像によってカバーすることができる。なお、同図においてRoは各カメラ7の飛行方向の撮影画像間に設定される例えば全長の60%などのオーバーラップ率であり、これによって対象領域1は全域に渡って重複して撮影されることになる。また、この撮影装置Aを搭載した上述の航空機にはGPSおよびIMU(Inertial Measurement Unit)が搭載され、これにより撮影時のカメラ7の位置および姿勢(ロール角ω,ピッチ角φ,ヨー角κ)が記録されて各分割撮影画像2の外部標定要素が取得できるようにされる。
また、以上の撮影装置A、航空機を用いた撮影に際しては、撮影の対象領域1の広さなどに応じた航空機の航路、およびこれに応じた上述した各カメラ7の焦点距離f等の設定の計画が予め立案され、また、対象領域1には、基準点測量により平面位置及び標高が予め測定されたGCP20(Ground Control Point,地上基準点)が設置される。図3(a)は対象領域1の一例を示すもので、21は高架としての道路、22はビルであり、二点鎖線は撮影装置Aの5台のカメラ7による一回の撮影範囲である。
航空機の飛行に伴って順次取得される撮影画像のうち、図3(b)は理解を容易にするために直下視カメラ7Aの一部のみの分割撮影画像2’の範囲を二点鎖線で対象領域1に重ね、また、各分割撮影画像2’の範囲を飛行方向の直交方向にややずらして表したものである。図4(a)は図3(b)の要部拡大図である。上述したように飛行方向に所定のオーバーラップ率Roに従って撮影重複領域4が形成されている。
なお、以下においては、理解を容易にするために本発明の処理手順を図示しながら説明するが、実際には、例示するような図化を要することなく、分割撮影画像2に対する演算のみで処理が行われる。また、以下に示す方法は、以下に示す手順が記述されたプログラムが動作するコンピュータによって自動処理が可能であり、このようにオルソフォト画像生成装置Bとして構成されたコンピュータのブロック図を図2(b)に示す。
オルソフォト画像生成装置Bは、撮影画像入力部23a、撮影条件入力部23b、および地上基準点位置データ入力部23cからなる入力部23と、演算部24とを有する。上述のようにして撮影された撮影画像は撮影画像入力部23aに、撮影時のGPS、IMUによるカメラ位置とカメラ姿勢の情報は撮影条件入力部23bに、GCP20の位置情報は地上基準点位置データ入力部23cに各々入力される。
演算部24は、標定点設定部24aと、標高モデル生成部24bと、標高モデル間マッチング部24cと、正射投影変換処理部24dと、モザイク処理部24eとを有し、上述したように撮影画像入力部23aに入力された分割撮影画像2は、先ず、標定点設定部24aによって二枚以上の分割撮影画像2に撮影されている適宜の領域を標定点25として抽出される。この標定点25の抽出は焦点距離fが同一のカメラ7の分割撮影画像2、2間に限られ、すなわち、飛行方向に並ぶ分割撮影画像2、2同士の相対位置を関連付けるものとして機能する。上述した図4(a)に標定点25を黒丸で示す。
標高モデル生成部24bは、以上のようにして飛行方向に関連づけられて一連の短冊状をなす複数の撮影画像と、上述したように撮影条件入力部23bに入力された個々の分割撮影画像2に対応するカメラ位置およびカメラ姿勢の情報と、分割撮影画像2に表示され、上述したように撮影条件入力部23bに入力されたGCP20の位置情報とに基づいて、上述した撮影画像と同様の短冊状領域のDSM3(Digital Surface Model,標高モデル)を生成する。DSM3の生成は、例えば、上述したオーバーラップ率Roによって対象領域1全域に及ぶ撮影重複領域4を利用したステレオマッチングによって行うことが可能であり、このステレオマッチングに際し、撮影重複領域4を形成している相互のカメラ7、7のカメラ位置およびカメラ姿勢の情報を利用することによってマッチングの精度を高めることができ、また、GCP20の位置情報を利用することで、マッチングによって形成されるステレオモデルに位置情報を付与することができる。図4(a)にGCP20を白丸で示し、同図(b)に生成された短冊状領域のDSM3を示す。
このようにして生成され、5台のカメラ7に対応した5本の短冊状領域のDSM3は、標高モデル間マッチング部24cによってマッチングされ、これにより、広域の対象領域1全域に及ぶDSM5が生成される。標高モデル間マッチング部24cは、隣接する短冊状領域のDSM3同士の重複領域、すなわち上述したサイドラップ率Rsに基づいて飛行方向の直交方向に発生する撮影重複領域4を利用し、隣接する短冊状領域のDSM3、3同士のマッチングを行う。図5(a)に対象領域1の中央部分をカバーする短冊状領域のDSM3と、上述した図4(b)においてこの中央部分のDSM3の右側に隣接する短冊状領域のDSM3’のみを抜粋して示す。
このDSM3、3’間のマッチングは、短冊状領域のDSM3、3’同士の重複領域4、およびGCP20の近傍などについて例えば5m間隔などのメッシュを設定し、このメッシュのDSM3、3’間で相互に対応する各セル6の座標値に関し、DSM3、3’間で近似調整することにより行われる。図5(b)に上述した図5(a)の2本の短冊状領域のDSM3、3’について、全域にメッシュを設定したときの要部拡大図を示す。なお、このようにセル6の広さを撮影画像の画素よりも大きくした場合には、各セル6の座標値については、例えば当該セル6の中央部の画素の座標値を適用することができる。
図5(b)に示すように、今、近似調整対象であるDSM3、3’同士の重複領域4に属するセル6の一方のDSMのものを6A、他方のDSMのものを6Bとする。作業効率を考慮して高さ方向、すなわち標高方向のみについて近似調整を行うこの実施の形態において、各々のセル6A,6Bの座標値を(kikiki)とするとき、変換後のZ座標kiki’=kika+kb・kikc・kiという一次式の調整式を満たすものと仮定する。kはコース番号、iはセル番号を示す。ここでka,kb,kcは未知数である。
具体的には、上述した調整式に基づき、kika+kb・kikc・kik+1ik+1a+k+1b・k+1ik+1c・k+1iという方程式を満たすa,b,cを求めることにより近似調整を行う。但し、kik+1ikik+1iを条件とする。以上の近似調整を上述した短冊状領域のDSM3、3’間の重複領域4等に属する全てのセル6、6・・について行い、DSM3、3’同士の重複領域4を整合させ、また、この整合に従ってDSM3、3’同士の位置関係を調整する。なお、上述したGCP20の近傍のセル6については座標値の信頼性が高いため、以上の重複領域4に属するセル6の整合に比して重み付けをして調整を図ることが望ましい。
また、以上の短冊状領域のDSM3、3’間のマッチングは、より信頼性の高い直下視カメラ7Aの分割撮影画像に基づくDSM3と、対象領域1において、この直下視カメラ7Aの撮影範囲に隣接する領域を撮影範囲とする斜視カメラ7Bの分割撮影画像に基づくDSM3との間において行った上で、さらに、このようにして短冊状領域のDSM3がマッチングされたDSMと、直下視カメラ7Aの撮影範囲からより離れた他の斜視カメラ7Bの分割撮影画像2に基づくDSM3との間でマッチングを行うことにより、より信頼性を高めることができる。
以上のようにして矩形状領域の複数のDSM3、3、・・をマッチングし、得られた対象領域1全域に及ぶ広範囲のDSM5を図6(a)に示す。この後、上述した演算部24は、正射投影変換処理部24dによって上述した矩形状をなす複数の撮影画像、すなわち、標定点25によって単一のカメラ7の飛行方向に並ぶ分割撮影画像2を関連づけたものについて、以上の広範囲のDSM5を利用して、順次、正射投影変換処理をする。図6(a)に直下視カメラ7Aによって撮影された各分割撮影画像2を標定点25によって関連づけた矩形状をなす撮影画像について、上記DSM5に重ねて二点鎖線で示す。
正射投影変換処理部24dは、適宜の正射変換ソフトウェアによって構成され、各カメラ7によって中心投影で撮影された撮影画像を正射投影に変換する。この正射変換に際しては、図6(b)に例示するように、カメラ7’の撮影時の光路が対象領域1に存在する高い構造物などによって遮られ、図7に示す白点の座標が黒点の座標として認識された、すなわち位置情報が撮影画像に正確に反映されなかった場合について、上述したDSM5の標高情報を利用して補正が加えられる。この補正は、図7に示すように、上述したIMUや姿勢保持部11等によって特定される光路の傾斜角度θと、DSM5によって特定される構造物の高さhに基づき、三角関数を用いることにより行うことができる。
以上の正射投影変換処理部24dによる処理後の撮影画像を図8(a)に示す。この状態で、撮影画像は上述同様各カメラ7の飛行方向に連続する撮影範囲に対応した矩形状をなし、矩形状の各撮影画像には上述したサイドラップ率Rsに基づく撮影重複領域4が形成されている。これら矩形状の撮影画像は、適宜のモザイクソフトウェアにより構成されるモザイク処理部24eによって撮影重複領域4を利用して結合され、これにより、図8(b)に示すように、対象領域1全域が一体にまとめられた広域のオルソフォト画像が生成される。このオルソフォト画像はオルソフォト画像生成装置Bの出力部26から出力することができる。
なお、以上においては一度の飛行で対象領域1の全域を撮影できる場合を示したが、複数コースに分けて撮影した場合にも、各コース間を位置合わせして合成することにより、同様に対象領域1全域のオルソフォト画像を得ることができる。この場合、モザイク処理部24eによって各コースの撮影画像を合成して対象領域1全域に及ぶオルソフォト画像とすることも可能であるが、GCP20や標定点25を用いてDSM3を形成する前段階でコース間を合成すれば、対象領域1全域のDSM5の精度をより高めることができ、生成される対象領域1全域のオルソフォト画像の精度をより向上させることができる。
また、以上においては単一の直下視カメラ7Aと複数の斜視カメラ7Bによって帯状に複合して撮影された撮影画像について、GPSによって位置情報を得られた所定飛行位置で得る場合を示したが、例えば、斜視カメラ7Bの撮影姿勢等を変更して直下視カメラ7Aの撮影範囲の周囲を斜視カメラ7Bの撮影範囲で囲むように撮影すれば、各カメラ7の撮影画像を複合して比較的大きな矩形形状の撮影画像を取得することもできる。
さらに、撮影装置Aにおける斜視カメラ7Bの配置を航空機の飛行方向に直下視カメラ7Aと並ぶようにし、各カメラ7の撮影タイミングを飛行速度に応じて異ならせて直下視カメラ7Aと斜視カメラ7Bの撮影地点を同位置にすれば、DSM3の精度をより向上させることもできる。
撮影装置および該撮影装置を用いた撮影状況を示す図である。 オルソフォト画像の生成方法の概要を示す図で、(a)は撮影時の焦点距離と撮影距離との関係等を説明する図、(b)はオルソフォト画像生成装置のブロック図である。 対象領域の撮影状況を説明する図である。 各カメラの撮影画像に対応した矩形状の標高モデルを生成するステップを説明する図である。 各カメラの撮影画像に基づいて生成した標高モデル同士をマッチングさせるステップを説明する図である。 対象領域全域の標高モデルを用いて飛行方向に長寸の矩形状をなす撮影画像に正射投影変換処理を施す状況を説明する図である。 正射投影変換処理ステップにおける画像補正を説明する図である。 飛行方向に長寸の矩形状をなす撮影画像のオルソフォト画像、および対象領域全域のオルソフォト画像を説明する図である。
符号の説明
1 対象領域
2 分割撮影画像
3 各撮影画像に基づいて生成した標高モデル
4 撮影重複領域
5 対象領域全域の標高モデル
6 セル
7 カメラ
7A 直下視カメラ
7B 斜視カメラ
焦点距離設定部
f 焦点距離

Claims (5)

  1. 航空機等のプラットフォームから対象領域を分割撮影し、
    次いで、対象領域の標高モデルの標高情報を用いて各分割撮影画像を正射投影変換処理して対象領域全域のオルソフォト画像を生成するオルソフォト画像の生成方法であって、
    前記対象領域の分割撮影は、対象領域上を飛行するプラットフォームの飛行方向に対する直交方向にプラットフォームからの俯角を異ならせ、かつ、所定の地上解像度を基準に焦点距離を異ならせてなされる複数の撮影をプラットフォームの飛行方向に沿って繰り返してなされ、
    前記対象領域の標高モデルは、プラットフォームからの俯角および焦点距離を共通にしてプラットフォームの飛行方向に沿って撮影された複数の分割撮影画像のそれぞれを撮影重複領域によりステレオマッチングさせて短冊状領域の標高モデルの複数を生成した後、この複数の短冊状領域の標高モデル同士をプラットフォームの飛行方向に対する直交方向になされた複数の撮影での撮影重複領域に応じた重複領域間でマッチングさせて生成されるオルソフォト画像の生成方法。
  2. 前記撮影としてカラー撮影を行い、地上解像度および色深度のバランスが取れたオルソフォト画像を得る請求項1記載のオルソフォト画像の生成方法。
  3. 前記分割撮影はプラットフォーム直下方向への撮影を含み、
    直下方向の撮影画像に基づく短冊状領域の標高モデルを基準に他の方向の撮影画像に基づく短冊状領域の標高モデルを位置合わせして短冊状領域の標高モデル同士をマッチングさせる請求項1または2記載のオルソフォト画像の生成方法。
  4. 前記撮影重複領域に応じた重複領域にメッシュを設定し、メッシュの複数のセル単位で短冊状領域の標高モデル間の座標値の差の二乗和を最小にしてマッチングさせる請求項1ないし3のいずれかに記載のオルソフォト画像の生成方法。
  5. 対象領域を上空から複数のカメラで分割して撮影する撮影装置であって、
    直下方向を向く姿勢に保持される直下視カメラと、
    斜め下方方向を向く姿勢に保持される斜視カメラと、
    前記斜視カメラの直下方向に対する姿勢の傾斜角度に従って前記直下視カメラに被写体の解像度をほぼ一致させた斜視カメラの焦点距離を設定する焦点距離設定部とを有し、
    かつ、前記焦点距離設定部は、前記複数のカメラの各々の焦点距離を設定、管理し、直下視カメラの焦点距離の設定変更に応じて、設定変更後の直下視カメラにほぼ一致する被写体解像度に斜視カメラの焦点距離を設定変更する撮影装置。
JP2008010828A 2008-01-21 2008-01-21 オルソフォト画像の生成方法、および撮影装置 Expired - Fee Related JP4970296B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008010828A JP4970296B2 (ja) 2008-01-21 2008-01-21 オルソフォト画像の生成方法、および撮影装置
US12/863,682 US8717361B2 (en) 2008-01-21 2009-01-21 Method for generating orthophoto image
PCT/JP2009/050808 WO2009093587A1 (ja) 2008-01-21 2009-01-21 オルソフォト画像の生成方法、および撮影装置
EP09703910.1A EP2247094B1 (en) 2008-01-21 2009-01-21 Orthophotographic image creating method and imaging device
CN200980102630.7A CN101919235A (zh) 2008-01-21 2009-01-21 正射影像图像的生成方法以及摄影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008010828A JP4970296B2 (ja) 2008-01-21 2008-01-21 オルソフォト画像の生成方法、および撮影装置

Publications (2)

Publication Number Publication Date
JP2009177251A JP2009177251A (ja) 2009-08-06
JP4970296B2 true JP4970296B2 (ja) 2012-07-04

Family

ID=40901095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008010828A Expired - Fee Related JP4970296B2 (ja) 2008-01-21 2008-01-21 オルソフォト画像の生成方法、および撮影装置

Country Status (5)

Country Link
US (1) US8717361B2 (ja)
EP (1) EP2247094B1 (ja)
JP (1) JP4970296B2 (ja)
CN (1) CN101919235A (ja)
WO (1) WO2009093587A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
FR2954520B1 (fr) * 2009-12-18 2012-09-21 Thales Sa Procede de designation d'une cible pour un armement a guidage terminal par imagerie
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
WO2012131151A1 (en) * 2011-03-28 2012-10-04 Nokia Corporation Methods and apparatuses for generating a panoramic image
JP5775354B2 (ja) 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
EP2527787B1 (en) 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP5966256B2 (ja) 2011-05-23 2016-08-10 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5882693B2 (ja) * 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
CN102506824B (zh) * 2011-10-14 2014-08-27 航天恒星科技有限公司 一种城市低空无人机系统生成数字正射影像图的方法
IL216515A (en) 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
JP6122591B2 (ja) 2012-08-24 2017-04-26 株式会社トプコン 写真測量用カメラ及び航空写真装置
EP2787319A1 (de) * 2013-04-05 2014-10-08 Leica Geosystems AG Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät
US9437016B2 (en) * 2013-08-07 2016-09-06 Toshiba Medical Systems Corporation Image domain pansharpening method and system for spectral CT with large pixel energy discriminating detectors
CN103646384B (zh) * 2013-12-20 2016-06-22 江苏大学 一种遥感扫描成像平台飞行速度的优化方法
CN103716541B (zh) * 2013-12-23 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种拍摄大分辨率照片的方法及终端
WO2015199772A2 (en) * 2014-03-28 2015-12-30 Konica Minolta Laboratory U.S.A., Inc. Method and system of stitching aerial data using information from previous aerial images
US9052571B1 (en) 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
US9440750B2 (en) 2014-06-20 2016-09-13 nearmap australia pty ltd. Wide-area aerial camera systems
US9185290B1 (en) 2014-06-20 2015-11-10 Nearmap Australia Pty Ltd Wide-area aerial camera systems
US9641736B2 (en) 2014-06-20 2017-05-02 nearmap australia pty ltd. Wide-area aerial camera systems
CN104200527B (zh) * 2014-09-02 2016-03-09 西安煤航信息产业有限公司 一种真正射影像的生成方法
JP6413542B2 (ja) * 2014-09-22 2018-10-31 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US11768508B2 (en) 2015-02-13 2023-09-26 Skydio, Inc. Unmanned aerial vehicle sensor activation and correlation system
JP6498488B2 (ja) * 2015-03-26 2019-04-10 株式会社パスコ 法面点検方法、法面撮影装置、および車両
EP3158728A4 (en) * 2015-04-20 2017-06-14 SZ DJI Technology Co., Ltd. Imaging system
FR3038482B1 (fr) * 2015-06-30 2017-08-11 Parrot Bloc camera apte a etre embarque dans un drone pour cartographier un terrain et procede de gestion de capture d'images par un bloc camera
CN105005993B (zh) * 2015-07-08 2018-02-16 西安电子科技大学 一种基于异构投影的三维地形快速精确匹配方法
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
US9592912B1 (en) 2016-03-08 2017-03-14 Unmanned Innovation, Inc. Ground control point assignment and determination system
CN105759558A (zh) * 2016-04-15 2016-07-13 中国科学院上海技术物理研究所 一种大视场推扫式恒地元遥感相机系统
CN110770649A (zh) * 2017-03-03 2020-02-07 安科迪有限公司 用于贯穿场景跟踪一或多个物体的多相机系统
JP6653674B2 (ja) * 2017-03-14 2020-02-26 朝日航洋株式会社 桟橋上部工下面の検査装置、桟橋上部工下面の検査システムおよび桟橋上部工下面の検査方法
JP6278544B1 (ja) * 2017-03-22 2018-02-14 国立研究開発法人国立環境研究所 モニタリング装置
US11463610B2 (en) * 2017-05-10 2022-10-04 Mobileye Vision Technologies Ltd. Cross field of view for autonomous vehicle systems
KR101863188B1 (ko) * 2017-10-26 2018-06-01 (주)아세아항측 3차원 문화재 모델 구축 방법
CN107862720B (zh) * 2017-11-24 2020-05-22 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
TWI663577B (zh) 2018-06-04 2019-06-21 宏碁股份有限公司 針對非平面螢幕之色不均瑕疵補償系統
CN110581943B (zh) * 2018-06-11 2021-04-02 宏碁股份有限公司 针对非平面屏幕的色不均瑕疵补偿系统
CN109489640B (zh) * 2018-09-30 2021-04-13 上海航天控制技术研究所 一种用于恒地元分辨率对地遥感的线列探测器
FR3087037B1 (fr) 2018-10-03 2021-06-04 Soletanche Freyssinet Procede d'acquisition d'images
JP2020088821A (ja) * 2018-11-30 2020-06-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像生成装置、画像生成方法、プログラム、及び記録媒体
RU2712645C1 (ru) * 2019-01-04 2020-01-30 Родион Николаевич Юрьев Геопозиционная мишень
KR102197654B1 (ko) * 2019-01-09 2021-01-04 네이버랩스 주식회사 영상 처리 장치 및 이에 의한 진정사 영상 생성 방법
CN112154484A (zh) * 2019-09-12 2020-12-29 深圳市大疆创新科技有限公司 正射影像生成方法、系统和存储介质
WO2021046861A1 (zh) * 2019-09-12 2021-03-18 深圳市大疆创新科技有限公司 正射影像生成方法、系统和存储介质
KR102117276B1 (ko) * 2019-12-10 2020-06-01 (주)태영정보시스템 Dsm 데이터를 이용한 영상모자이크 작업시 접합선 생성 향상기법
CN111750830B (zh) * 2019-12-19 2023-02-14 广州极飞科技股份有限公司 地块测绘方法及测绘系统
CN111415296B (zh) * 2020-03-17 2024-01-19 东南数字经济发展研究院 一种无人机倾斜摄影的地面分辨率计算方法
CN111415295B (zh) * 2020-03-17 2024-01-12 东南数字经济发展研究院 一种倾斜摄影三维模型的拍摄分辨率正射图生成方法
KR102426282B1 (ko) * 2020-04-20 2022-07-29 한국국토정보공사 도로선형 기반의 3차원 공간객체 위치보정 방법
GB2615041A (en) * 2020-10-19 2023-07-26 Pictometry Int Corp Variable focal length multi-camera aerial imaging system and method
CN112509129B (zh) * 2020-12-21 2022-12-30 神思电子技术股份有限公司 一种基于改进gan网络的空间视场图像生成方法
KR102520189B1 (ko) * 2021-03-02 2023-04-10 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
CN112801044B (zh) * 2021-03-11 2023-05-23 重庆紫光华山智安科技有限公司 视频图像处理方法、装置、视频客户端及解析平台
US11663911B2 (en) 2021-06-03 2023-05-30 Not A Satellite Labs, LLC Sensor gap analysis
US11670089B2 (en) 2021-06-03 2023-06-06 Not A Satellite Labs, LLC Image modifications for crowdsourced surveillance
JPWO2023127020A1 (ja) * 2021-12-27 2023-07-06
CN114268742B (zh) * 2022-03-01 2022-05-24 北京瞭望神州科技有限公司 一种天眼芯片处理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US167709A (en) * 1875-09-14 Improvement in wooden frames for hinged awnings
CA2047525A1 (en) * 1990-08-31 1992-03-01 Gerald W. Plunk Oblique photographic database generation
US6130705A (en) * 1998-07-10 2000-10-10 Recon/Optical, Inc. Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use
JP3251557B2 (ja) 1998-12-21 2002-01-28 国際航業株式会社 壁面の画像・損害・修復情報登録管理システム及び方法
US6704460B1 (en) * 2000-07-10 2004-03-09 The United States Of America As Represented By The Secretary Of The Army Remote mosaic imaging system having high-resolution, wide field-of-view and low bandwidth
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
WO2004028134A2 (en) * 2002-09-20 2004-04-01 M7 Visual Intelligence, Lp Vehicule based data collection and porcessing system
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
IL163565A (en) * 2004-08-16 2010-06-16 Rafael Advanced Defense Sys Airborne reconnaissance system
JP4356689B2 (ja) * 2005-12-08 2009-11-04 ソニー株式会社 カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム

Also Published As

Publication number Publication date
US8717361B2 (en) 2014-05-06
US20100295855A1 (en) 2010-11-25
EP2247094B1 (en) 2013-08-14
EP2247094A1 (en) 2010-11-03
JP2009177251A (ja) 2009-08-06
CN101919235A (zh) 2010-12-15
EP2247094A4 (en) 2011-07-20
WO2009093587A1 (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP4970296B2 (ja) オルソフォト画像の生成方法、および撮影装置
CN107492069B (zh) 基于多镜头传感器的图像融合方法
JP4181800B2 (ja) ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
JP6674822B2 (ja) 点群データ生成用画像の撮影方法、及び当該画像を用いた点群データ生成方法
CN103557841B (zh) 一种提高多相机合成影像摄影测量精度的方法
CN104457710B (zh) 一种基于非量测数码相机的航空数字摄影测量方法
US20210385381A1 (en) Image synthesis system
KR101150510B1 (ko) 3차원 고해상도 정규화식생지수 도시 모델 생성방법
KR20110027654A (ko) 케스케이드형 카메라 및/또는 보정 특성을 포함하여 넓은 영역의 이미지를 상세하게 캡쳐하는 시스템 및 방법
JP6964772B2 (ja) 撮像装置、無人移動体、撮像方法、システム、及びプログラム
WO2018198634A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
JPWO2008152740A1 (ja) デジタル空撮3次元計測システム
JP6616967B2 (ja) 地図作成装置、および地図作成方法
CN108537885B (zh) 山体创面三维地形数据的获取方法
JP2017026577A (ja) 三次元測量写真の作成方法
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
JP3808833B2 (ja) 空中写真測量方法
JP5991821B2 (ja) 写真測量装置
KR100956446B1 (ko) 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법
KR100952136B1 (ko) 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법
CN113052974A (zh) 物体三维表面的重建方法和装置
CN115950435A (zh) 无人机巡检影像的实时定位方法
JP4223860B2 (ja) 画像マッチング方法
JP5885974B2 (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
JP4248232B2 (ja) ラインセンサ出力画像における影領域の補正方法及び影補正装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120113

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4970296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees