JP5689561B1 - 画像補正装置および画像補正プログラム - Google Patents

Abstract

【課題】高精度の撮影画像が地図に投影された地図画像を作成すること。【解決手段】画像補正装置１は、補正前画像に対して四角形の四隅の頂点の入力を受け付け、その四隅の頂点から構成される四角形の内部を四角形の形状に合わせて縦線および横線で区切るグリッド線のコントロール下に置き、補正前画像のうちのグリッド線のコントロール下に置かれた領域を抽出し、抽出した領域のグリッド線の各横線の長さを互いに同一の比率になるように補正し、その補正結果である矩形形状の補正後画像を地図に投影する地表面の平面画像とする画像補正部２２を有する。【選択図】図１

Description

本発明は、画像補正装置および画像補正プログラムに関する。

人工衛星や航空機に搭載されたセンサが地表を撮影した観測画像を地図に投影することによって、実際の風景が直観的にわかる地図を作成することができる。ここで、はるか上空から地表を撮影するという物理的制約により、画像中に含まれる形状歪が発生してしまう。例えば、山の起伏によって、山の表側の部分は観測画像に写るものの、山の裏側の部分が隠れる現象が発生する。

そこで、特許文献１には、地表の起伏の影響で各画素が不等間隔となった観測画像に対して、歪量の算出と不等間隔画素の補間を行うことにより、精密な歪補正を行う旨が記載されている。

特公平７−２７５５２号公報

一方、特許文献１の手法では、はるか上空から地表を撮影するという物理的制約により、観測画像の解像度は荒く（低く）なってしまう。例えば、地図の詳細として細い路地を確認するためには、観測画像を拡大する必要があるが、もともとの解像度が荒い画像では、拡大により画像がぼやけるだけである。

そこで、本発明は、高精度の撮影画像が地図に投影された地図画像を作成することを、主な課題とする。

前記課題を解決するために、本発明の画像補正装置は、
地図に投影する地表面を含めて略水平から撮影された補正前画像が格納されている記憶手段と、
前記補正前画像に対して四角形の四隅の頂点の入力を受け付け、その四隅の頂点から構成される四角形の内部を四角形の形状に合わせて縦線および横線で区切るグリッド線のコントロール下に置き、
前記補正前画像のうちの前記グリッド線のコントロール下に置かれた領域を抽出し、その抽出した領域の前記グリッド線の各横線の長さを互いに同一の比率になるように補正し、その補正結果である矩形形状の補正後画像を地図に投影する地表面の平面画像とする画像補正部と、を有することを特徴とする。
その他の手段は、後記する。

本発明によれば、高精度の撮影画像が地図に投影された地図画像を作成することができる。

本発明の一実施形態に関する画像補正システムを示す構成図である。 本発明の一実施形態に関する測定器と測定データとの関係（図２（ａ））と、測定器の測定箇所（図２（ｂ））と、地図測定データの定義箇所（図２（ｃ））とを示す説明図である。 本発明の一実施形態に関するデータ定義部の定義処理（図３（ａ）が第１段階、図３（ｂ）が第２段階、図３（ｃ）が第３段階）を示す説明図である。 本発明の一実施形態に関するメッシュ状の測定作業（図４（ａ））と、その地図測定データ（図４（ｂ））を示す説明図である。 本発明の一実施形態に関する画像補正用画面を示す画面図である。 本発明の一実施形態に関する補正前画像の入力工程を示す画面図である。 本発明の一実施形態に関する画像範囲指定の準備工程を示す画面図である。 本発明の一実施形態に関する画像範囲指定工程を示す画面図である。 本発明の一実施形態に関する補正後画像の確認工程を示す画面図である。 本発明の一実施形態に関する地図表示用画面を示す画面図である。 本発明の一実施形態に関する補正後画像の位置合わせ工程を示す画面図である。 本発明の一実施形態に関する地図測定データの表示工程を示す画面図である。 本発明の一実施形態に関する図１８の画面図の一部拡大を示す画面図である。 本発明の一実施形態に関する図１８の画面図の別の一例を示す画面図である。 本発明の一実施形態に関する画像補正部の補正処理のための射影変換を示す説明図である。 本発明の一実施形態に関する画像補正部の補正処理を示す説明図である。 本発明の一実施形態に関する画像指定範囲の修正支援処理を示す説明図である。

以下、本発明の一実施形態を、図面を参照して詳細に説明する。

図１は、画像補正システムを示す構成図である。
画像補正システムは、画像補正装置１と、ＧＰＳ（Global Positioning System）端末６と、測定器７と、カメラ８と、地図サーバ９とを有する。
なお、画像補正装置１は、演算処理を行う際に用いられる記憶手段としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータを搭載または内蔵しているものとする。このコンピュータのメモリは、ＲＡＭ（Random Access Memory）などにより構成される。演算処理は、ＣＰＵ（Central Processing Unit）によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。

測定器７は、ユーザの把持または台車などの機械移動手段によって移動可能であり、地表面に対して各種の測定データ１１を測定するために用いられる。例えば、地表面の放射線量を測定するときには、測定器７は、ケーブル形状であり途中である程度（直角まで）曲げることができるプラスチックシンチレーションファイバとして構成される（詳細は、図２参照）。プラスチックシンチレーションファイバは、放射線が当たると光る性質をもつ。

本実施形態では、地表面を撮影した画像として、真上（上空）から真下の地表面に向けて撮影した航空写真などの「平面画像」と、人がカメラ８を手に持って略水平方向に向けて撮影した風景写真などの「水平画像」とを用語として使い分ける。
カメラ８は、補正前画像として地表面を含む水平画像を撮影するために用いられる。なお、水平画像を撮影するときのカメラの向きは水平方向に限定せず、クレーンに備え付けられたカメラ８から斜め下に見下ろした視点（俯瞰視点）などの略水平方向でもよい。つまり、カメラ８で撮影する水平画像には、地表面が画像全体でなくても、部分的に写っていればよい。

ＧＰＳ端末６は、自身の位置情報（緯度経度データ）を測定するための端末である。ユーザは、例えば、カメラ８の撮影画像に写る基準点（例えば、撮影画像の左下点）の緯度経度データを、ＧＰＳ端末６を用いて測定する。そして、画像補正装置１は、カメラ８の撮影画像と、その撮影画像の基準点におけるＧＰＳ端末６の緯度経度データとを対応づけて入力を受け付けてもよい。なお、ＧＰＳ端末６は、省略してもよく、その場合は、カメラ８の撮影画像が単独で画像補正装置１に入力される。
地図サーバ９は、線分の集合体として描画された図形地図データ、または、事前に撮影された航空写真などの平面画像データを、地図背景データ３３として画像補正装置１に提供するサーバである。

画像補正装置１は、測定データ１１と、データ定義部１２と、地図測定データ１３と、現場撮影データ２１と、画像補正部２２と、地図補正データ２３と、入力部３２と、地図背景データ３３と、地図作成部４１と、出力部４２とを有する。
データ定義部１２は、測定器７から入力された測定データ１１を地図上に配置することで、地図測定データ１３を作成する。
画像補正部２２は、カメラ８から入力された補正前画像（水平画像）を補正することで、地図補正データ２３（平面画像に見える補正後画像）を出力する。
入力部３２は、指定された緯度経度の地図背景データ３３を地図サーバ９から入力する。なお、緯度経度の指定は、手動（ユーザの手入力）でもよいし、自動（ＧＰＳ端末６の測定結果）でもよい。
地図作成部４１は、３つの地図素材（地図測定データ１３、地図補正データ２３、地図背景データ３３）のうちの少なくとも２つを重ねることで、地図を作成する。
出力部４２は、地図作成部４１が作成した地図を画面表示などで出力する。

図２（ａ）は、測定器７と測定データ１１を示す説明図である。
ここでは、２人のユーザが、測定器７であるプラスチックシンチレーションファイバの両端点を測定現場に持って行くことで、測定データ１１を測定する。プラスチックシンチレーションファイバはケーブル形状（線分）なので、その測定データはケーブル上の各位置で取得される。
測定データ１１は、例えば、左側のユーザが把持する開始点（地点Ａ、０ｍ）から、右側のユーザが把持する終了点（地点Ｃ、１０ｍ）までは、開始点に近いほど高い測定値が測定され、開始点から遠いほど低い測定値が測定されたとする。

図２（ｂ）は、測定器７の測定箇所を示す説明図である。測定器７のプラスチックシンチレーションファイバは、開始点から７ｍまでは（地点Ａ→地点Ｄ→地点Ｂ）東方向に直進し、地点Ｂで北方向に曲がり終了点（地点Ｃ）へと至るように、測定現場に設置されたとする。
図２（ｃ）は、地図測定データ１３の定義箇所を示す説明図である。
地図作成部４１は、図２（ｂ）の測定器７で設置された１０ｍ分の測定データ１１を、地図背景データ３３上に重ねて表示する。ここで、図２（ａ）に示すように測定データ１１は、横軸を長さ方向とし、縦軸を測定値とする１次元のデータであるため、そのままでは、２次元空間である地図背景データ３３上に重ねる位置を特定できない。

そこで、データ定義部１２は、図２（ａ）の測定データ１１（直線）を、図２（ｂ）の測定器７の現場位置に合うように、２次元の位置（折れ線）を定義する。さらに、データ定義部１２は、２次元の位置が定義された測定データ１１を所定のブロック（図１２で後記するメッシュのセル）で区切り、そのブロックごとの測定データ１１の代表値（測定値＝「高、中、低」）を地図測定データ１３として作成する。ブロックの代表値は、例えば、ブロック内に位置する測定データ１１の平均値である。
その結果、開始点（地点Ａ、０ｍ）に近いブロックは「高」のブロック、開始点からやや遠いブロックは「中」のブロック、終了点に近いブロックは「低」のブロックがそれぞれ地図測定データ１３として作成される。つまり、地図測定データ１３の表示内容は、測定データ１１に連動している。

図３は、データ定義部１２の定義処理を示す説明図である。
まず、図３（ａ）に示す第１段階では、データ定義部１２は、ユーザからのマウスクリックなどにより、地図上の開始点（地点Ａ）の位置の指定を受け付ける。なお、図３（ａ）では図示を省略したが、位置を指定しやすくするなどの理由で、地図上にグリッドを併せて表示してもよい。
この第１段階では、ケーブル長１０ｍの範囲内が次のケーブル通過点の候補である。よって、データ定義部１２は、地点Ａを中心としケーブル長１０ｍを半径とする円を併せて表示することで、次のケーブル通過点がこの円の外部に誤って指定されることを予防する。

次に、図３（ｂ）に示す第２段階では、地点Ａから東に７ｍの位置が、次のケーブル通過点（地点Ｂ）として指定される。これにより、残りのケーブル長は１０−７＝３ｍなので、データ定義部１２は、地点Ｂを中心として、残りの３ｍを半径とする円を併せて表示する。
さらに、図３（ｃ）に示す第３段階では、地点Ｂから北に３ｍの位置が指定され、残りのケーブル長は０ｍなので、この北に３ｍの位置が終了点（地点Ｃ）となる。
以上により、データ定義部１２は、図２（ｂ）の測定箇所を地図上に定義する。

なお、データ定義部１２は、図３で示したように、折れ線で測定データ１１の表示位置を定義する代わりに、図４に示すように、複数回の測定をまとめたメッシュ状の面データとして、表示位置を定義してもよい。
図４（ａ）では、測定器７は、「地点Ａ１−地点Ｃ１」間の１回目の測定から始めて、「地点Ａ２−地点Ｃ２」間の２回目の測定、…「地点Ａ６−地点Ｃ６」間の６回目の測定というように、１ｍ間隔で６回の測定データ１１を取得している。ここで、データ定義部１２は、図４（ｂ）に示すように、６回の測定を１つのメッシュ状の面データ（地図測定データ１３）としてまとめることにより、面データを地図上に定義（配置）する手間を６回から１回へと削減することができる。

図５は、画像補正用画面１００を示す画面図である。
画像補正用画面１００は、画像表示欄１１１と、画像登録名入力欄１０１と、画像ファイル名入力欄１０２と、画像範囲指定入力欄１０３と、拡大縮小入力欄１０４と、画像回転入力欄１０５と、画像表示入力欄１０６とを有する。
画像表示欄１１１は、補正前画像として入力させるカメラ８の撮影画像を表示する。
画像登録名入力欄１０１は、現場撮影データ２１として登録されているカメラ８の写真データのうち、登録名から補正前画像を入力させる欄である。
画像ファイル名入力欄１０２は、現場撮影データ２１として登録されているカメラ８の写真データのうち、ファイル名から補正前画像を入力させる欄である。
画像範囲指定入力欄１０３は、画像表示欄１１１から画像指定範囲（グリッド表示）の入力画面を起動させる欄である。
拡大縮小入力欄１０４は、画像表示欄１１１の画像を拡大または縮小させるときに、それぞれ入力させる欄である。
画像回転入力欄１０５は、画像表示欄１１１の画像を左回転または右回転させるときに、それぞれ入力させる欄である。
画像表示入力欄１０６は、画像表示欄１１１の画像表示のオプションを入力させる欄であり、例えば、画像表示欄１１１の大きさ全体に補正前画像の全体が表示されるようにする「全体表示」がオプションとして入力される。

図６は、補正前画像の入力工程を示す画面図である。
画像登録名入力欄１０１に「写真データＡ」が入力される、または、画像ファイル名入力欄１０２に「ファイルＡ１．ＪＰＧ」が入力されると、画像補正部２２は、入力に該当する補正前画像を現場撮影データ２１から読み込む。
ここでは、田園風景に対してカメラ８を略水平に向けて撮影した水平画像が、補正前画像として読み込まれている。この水平画像の上側には山が写り、下側には地表面が写っている。

図７は、画像範囲指定の準備工程を示す画面図である。
画像範囲指定入力欄１０３がクリックされると、画像補正部２２は、図６で入力された画像表示欄１１１の補正前画像の前面から重ねて、縦横の線が直行するグリッド線で区切られた画像指定範囲を表示する。画像指定範囲は、補正前画像からの画像の切りだし範囲を示す。
この画像指定範囲は、画像範囲左上点１２１と、画像範囲右上点１２２と、画像範囲左下点１２３と、画像範囲右上点１２４とで囲われた矩形であり、これらの四隅の各端点には、マウスのドラッグ操作などにより画像表示欄１１１内の任意の位置に移動可能であるハンドル（取っ手とも呼ばれる）が付されている。
なお、画像指定範囲を構成する各頂点１２１〜１２４は、ユーザに編集させるために表示する必要があるが、縦横の線が直行するグリッド線は画面表示してもよいし、画面表示せずに内部処理用に用意するだけでもよい。

図８は、画像範囲指定工程を示す画面図である。
画像補正部２２は、画像指定範囲のハンドルの移動操作（マウスドラッグ操作）をユーザから受け、画像指定範囲の輪郭とその内部のグリッド線とを更新する。例えば、補正前画像の下側に写っている地表面を切り出すために、図７の画像範囲左上点１２１および画像範囲右上点１２２のハンドルがそれぞれ下側に移動されている。
このようにして、補正前画像の一部である地表面が写っている領域が、頂点１２１〜１２４で囲われる四角形の画像指定範囲を示すグリッド線のコントロール下に置かれる。
なお、「補正前画像の一部がグリッド線のコントロール下に置かれる」とは、換言すると、「補正前画像の一部が切り出し対象の領域（つまり、補正対象の領域）として範囲指定され、その切り出し対象の領域がグリッド線で区切られる」ことである。

なお、補正前画像の地表面を略正方形に切り出したい場合、図８に示すように、遠近感を考慮して手前側が長く奥行側が短い台形の画像指定範囲となる。
補正前画像が水平画像であるときには、遠近感によって同じ長さの直線でも、撮像側（手前側）は長く写り、手前側に対向する側（奥行側）は短く写るためである。
しかし、撮影されている画像の実際の距離について、画像指定範囲として略正方形に切り出すので、画像範囲左上点１２１から画像範囲右上点１２２までの距離は、例えば１０ｍであり、画像範囲左下点１２３から画像範囲右下点１２４までの距離も、同様に１０ｍである。
そして、確認ボタンがクリックされると、図９の画面図へと移行し、閉じるボタンがクリックされると、図１０の画面図へと移行する。

図９は、補正後画像の確認工程を示す画面図である。図９の補正後画像は、図８の水平画像（補正前画像）から切り出された画像を、平面画像に見えるように補正した画像である。
画像補正部２２は、図８でグリッド線のコントロール下に置かれた補正前画像の各画素を、図９に示す略正方形（矩形）の補正後画像表示欄１１２へと切り出す。
補正後画像表示欄１１２は、補正後画像左上点１４１と、補正後画像右上点１４２と、補正後画像左下点１４３と、補正後画像右上点１４４とで四隅を囲われている。

画像補正部２２は、図８でグリッド線のコントロール下に置かれた補正前画像の台形領域が、図９の補正後画像表示欄１１２に示す略正方形（矩形）の領域になるように、補正前画像の一部を切り出す。
なお、図８の台形は、左下点１２３と右下点１２４とを接続する下底（手前）から、左上点１２１と右上点１２２とを接続する上底（奥）に進むほど、横方向のグリッド線が短くなっていく。そこで、画像補正部２２は、台形の下底側の補正量を小さくし（左右にあまり広げないなど）、上底側の補正量を大きくすることで（左右に大きく広げるなど）、台形を略正方形（矩形）へと補正する。

よって、画像補正部２２は、図８の左上点１２１が図９の左上点１４１になるように、図８の右上点１２２が図９の右上点１４２になるように、図８の左下点１２３が図９の左下点１４３になるように、図８の右下点１２４が図９の右下点１４４になるように、それぞれ対応させる。
つまり、画像補正部２２は、図８でコントロール下に置かれたグリッド線内部の画像の奥行き部分および中間部分の縦横の比率を、手前側と同一の比率になるように補正して、その結果を補正後画像表示欄１１２に表示する。
換言すると、画像補正部２２は、図８の台形のグリッド線が、図７の矩形のグリッド線のように縦横直行する形状に戻るように、補正する。

図１０は、地図表示用画面２００を示す画面図である。
地図表示用画面２００は、地図表示欄２１１と、測定データ説明欄２１２（詳細は、図１２）とを有する。地図表示欄２１１の内部には、補正後画像表示２０１と、回転用ボタン２０２とが表示される。
地図表示欄２１１には、地図作成部４１が作成した地図が表示される。地図作成部４１は、地図測定データ１３、地図補正データ２３（例えば、補正後画像表示２０１）、地図背景データ３３の順に前面から重ねて表示することで、地図を作成する。
図１０の段階では、入力部３２で緯度経度が指定された位置の地図背景データ３３が、解像度が荒いことによりぼんやりと（破線で）表示される。その前面には、図９の補正後画像表示欄１１２で表示された補正後画像が地図の中央に10m×10mのデフォルトサイズで補正後画像表示２０１として表示されている。
ここで、ＧＰＳ端末６が測定した緯度経度情報が補正前画像に対応づけて入力されていた場合、入力された緯度経度情報が示す位置に補正後画像表示２０１を表示してもよい（画像補正装置１の第１の画像位置決定部）。これにより、ユーザの手入力の負担を軽減できる。

また、回転用ボタン２０２は、ドラッグ操作により補正後画像表示２０１を回転するためのボタンである。さらに、補正後画像表示２０１の境界部（四隅を含む８カ所）のハンドル（矩形）は、ドラッグ操作により補正後画像表示２０１の大きさの変更を受け付ける。また、補正後画像表示２０１の中心部のハンドル（矩形）は、ドラッグ操作により補正後画像表示２０１の位置移動を受け付ける。

図１１は、図１０の段階から補正後画像表示２０１の回転および移動による位置合わせが行われた後の画面図である。
補正後画像表示２０１の下部中央から左上部に向かう小道が、地図背景データ３３の交差点に合致するように、位置合わせされている（画像補正装置１の第２の画像位置決定部）。これにより、ユーザの目視による手助けを借りて、正確な位置決定ができる。

図１２は、図１１の段階から、さらに地図測定データ１３を前面に重ねて表示した画面図である。地図作成部４１は、地図測定データ１３とそのグリッド表示と（図２で説明）を、図１１の地図表示欄２１１の前面に重ねる。
なお、図２（ｃ）の説明では、測定値を「高、中、低」の３段階で示したが、図１２では、測定データ説明欄２１２に示すように、それぞれ異なる線量率の範囲を示す６種類のマークで、各グリッドセルの測定値（代表値）を示している。なお、６種類のマークとする代わりに、同じマークで表示色を６種類に変えるなど、６種類の表示形態が区別できればよい。

図１３は、図１２の画面図の一部拡大を示す画面図である。
セル表示２２１は、黒丸表示なので、測定データ説明欄２１２を参照することで、この位置の線量率が「0.85〜0.99」の範囲内であることがわかる。
セル表示２２２は、白四角表示なので、測定データ説明欄２１２を参照することで、この位置の線量率が「0.61〜0.84」の範囲内であることがわかる。
このように、ぼんやりとした地図背景データ３３の上に地図測定データ１３を重ねるより（図１４参照）、くっきりとした地図補正データ２３の上に地図測定データ１３を重ねる（図１３参照）ことで、各測定値がどの位置で測定されたのかを、よりわかりやすく閲覧者に把握させることができる。

図１５は、画像補正部２２の補正処理のための射影変換を示す説明図である。
前記したように、画像補正部２２は、図８の頂点１２１〜１２４で囲われる四角形（台形）などで例示される画像指定範囲内の各画素を、図９の頂点１４１〜１４４で囲われる矩形内の各位置に対応づける。この対応付けを行う位置手法として、以下では、射影変換（ホモグラフィ）を用いた手法を例示する。

射影変換では、図１５の右側に示された射影前平面から、図１５の左側に示された射影後平面への射影が行われる。
射影前平面は、図９の頂点１４１〜１４４で囲われる矩形である。左上の頂点a1（xa1,ya1）は頂点１４１に対応し、右上の頂点a2（xa2,ya2）は頂点１４２に対応し、左下の頂点a3（xa3,ya3）は頂点１４３に対応し、右下の頂点a4（xa4,ya4）は頂点１４４に対応する。
射影後平面は、図８の頂点１２１〜１２４で囲われる四角形（台形）である。左上の頂点b1（xb1,yb1）は頂点１２１に対応し、右上の頂点b2（xb2,yb2）は頂点１２２に対応し、左下の頂点b3（xb3,yb3）は頂点１２３に対応し、右下の頂点b4（xb4,yb4）は頂点１２４に対応する。
以下に、射影変換の式を挙げる。射影前平面の点（xa,ya）は、h11〜h33の行列要素をもつ３×３のホモグラフィ行列によって、射影後平面の点（xb,yb）に射影される。また、xbおよびybをそれぞれ求める式（xb=の式と、yb=の式）は、ホモグラフィ行列の行列式を展開することで、それぞれ得られる。

画像補正部２２は、台形（射影後平面）の４頂点と、矩形（射影前平面）の４頂点とで、左上の頂点どうしなどの対応する４組の頂点をそれぞれ射影変換の式へと代入することで、８つの連立方程式を作成する。そして、画像補正部２２は、８つの連立方程式を解くことによって、ホモグラフィ行列の９つの行列要素（h11〜h33）を求めることができる。なお、ホモグラフィ行列は、９つの行列要素から構成されるが、そのうちの１つの行列要素（例えば、h33）を正規化して１にすることで、求める行列要素（自由度）を８つにすることができる。

図１６は、画像補正部２２の補正処理を示す説明図である。画像補正部２２は、頂点以外の各四角形内の各画素について、補正前画像（＝図１５の射影後平面）の位置から、補正後画像（＝図１５の射影前平面）の位置へと対応づける。この位置の対応付け処理は、図１５の射影変換の逆関数（逆変換）を求めればよい。具体的には、以下に示す行列式をもとに、補正前画像の点（xa,ya）から補正後画像の点（xb,yb）に対応づける。

なお、台形と矩形とで四角形の形状や大きさが異なるため、矩形内には、台形から対応づけられて逆変換された点（画素の色が塗られる点）と、台形から対応づけられない点（画素が塗られずに空白の点）とが混在することもある。そこで、画像補正部２２は、空白の点の画素を塗るために、その空白の点の周囲に存在する色が塗られた点をもとに、空白の点の画素を推定して補間してもよい。
この画素補間アルゴリズムは、例えば、以下のような手法を用いることができる。
・ニアレストネイバー（最近隣画素の値を用いる）
・バイリニア補間（近傍４画素を加重平均する）
・バイキュービック補間（近傍１６画素でサンプリングを近似する）

以上、図１５および図１６で説明したように、画像補正部２２は、射影逆変換処理と、画素補間とを行うことで、図８の頂点１２１〜１２４で囲われる補正前画像内の各画素をもとに、図９の頂点１４１〜１４４で囲われる矩形（補正後画像）の各画素を決定する。
なお、図１５および図１６では、図８および図９と対応づけて説明をわかりやすくするために、平面の領域内とをそれぞれグリッド線で覆い、メッシュ状に図示した。しかし、前記した射影変換の式（ホモグラフィ行列の式）では、点（xa,ya）と点（xb,yb）との対応を求める用途に用いるので、頂点などの領域内の座標情報があれば計算可能であり、グリッド線の情報は不要である。
よって、画像補正装置１は、図１５および図１６で説明した射影変換をもとに、画像補正処理を行うときには、頂点に関する処理は行うものの、グリッド線に関する処理（表示処理、計算処理）を省略してもよい。

図１７は、画像指定範囲の修正支援処理を示す説明図である。
画像補正部２２は、図８で説明したように、画像指定範囲は、ユーザによって直接入力されるので、補正が困難な形状が指定されることもある。そこで、画像補正部２２は、そのような困難な形状の修正を支援するための処理を行ってもよい。以下、２種類の修正支援処理を例示する。

図１７（ａ）は、４つの頂点ｂ１〜ｂ４のうちの頂点ｂ２が不自然な位置に入力された場合を示す（符号３０１）。画像補正部２２は、頂点ｂ２の内角が１８０度以上（内角超過）であることにより、頂点ｂ２が不自然であると判定する。このとき、画像補正部２２は、頂点ｂ２や各辺の色を変えるなどの強調表示などによって、不自然な頂点ｂ２をユーザに警告し、その頂点ｂ２の位置の修正をユーザに促す。その結果、ユーザは、頂点ｂ２の位置を妥当な位置（より右上の位置）へと修正することができる（符号３０２）。
なお、画像補正部２２は、不自然な位置に入力された後の警告（事後対策）の代わりに、そもそも各頂点についての内角が１８０度以上になるような頂点位置の入力を制限する（事前対策）こととしてもよい。

図１７（ｂ）は、４つの頂点ｂ１〜ｂ４のうちの頂点ｂ２，ｂ４が不自然な位置に入力された場合を示す（符号３１１）。画像補正部２２は、線分ｂ１−ｂ２と、線分ｂ３−ｂ４とが交差することにより、そもそも４つの頂点ｂ１〜ｂ４が四角形を形成していないと判定する。このとき、画像補正部２２は、２線分の交差を解消するように、頂点ｂ２と頂点ｂ４の位置を入れ替える（符号３１２）。その結果、ユーザは、頂点の修正操作をすることなく（自動的に）、画像指定範囲として適切な四角形を入力することができる。

以上説明した本実施形態では、画像補正部２２が、水平画像の一部（図８の画像点１２１〜１２４で囲われたグリッド範囲）を、平面画像にみえるように（図９の画像点１４１〜１４４で囲われた矩形範囲）補正することを、主な特徴とする。
これにより、地上から撮影された水平画像に含まれる遠近感による形状歪を補正することができるので、高精度の撮影画像が地図に投影された地図画像を作成することができる。

なお、地表面付近の空中に位置するカメラ８から地表面の一部を撮像（例えば、クレーン写真）した場合、遠近感によって同じ長さの直線でも、撮像側（手前側）は長く写り、手前側に対向する側（奥行側）は短く写る傾向がある。例えば、クレーン写真で地表面を正方形に撮像した場合、手前側が長く、奥行側が短い台形となる（図８参照）。

このような台形状画像を平面地図上に正確に貼付する場合、ユーザが画像編集装置を用いて手作業で台形状画像の補正作業を行う方法もある。その場合、画面上の四隅や縦横各辺の中央等に画面のサイズ変更、回転等の補正作業を行うための「取っ手」（以下、「ハンドル」という。）が表示され、操作者はそれぞれのハンドル部分を手動により操作して、台形状になっている画像の奥行き部分の水平方向の線分、及び中間部分の水平方向の線分をそれぞれ左右に広げて、手前側の水平方向の線分の長さに合わせて、平面図に相当する形状に補正する。

このような手作業による補正作業において、奥行き部分と中間部分の水平方向の線分の長さは個別にしか変化せず、連動して変化しないため、補正後の画像の形状がいびつな形状となりやすく、操作者が目分量により奥行き部分と中間部分とを少しずつ補正して、平面図に近づけようとしていた。このため、操作者の作業が煩雑となり、さらに実際の平面図と誤差が生じやすい。

そこで、本実施形態の画像補正装置１では、補正前画像に対して、一旦縦横の線が直行した状態のグリッド線を表示させる（図７参照）。そして、画像補正部２２は、グリッド線の境界点１２１〜１２４のハンドルをユーザに移動させることで、補正前画像からグリッド線のコントロール下に置く領域を決定する。
その後、画像補正部２２は、グリッド線のコントロール下に置かれた地表面の領域に対して、補正前画像上での縦のライン、横のラインに合わせてグリッド線の縦ライン、横ラインを補正させて取り込み、グリッド線を縦横直行する形状に戻して画像の奥行き部分および中間部分の縦横の比率を手前側と同一の比率に自動的に補正して、正確な平面図を作成することを可能とした。
このように、画像補正部２２が遠近感の補正を機械的に実行することで、操作者が画像の奥行き部分及び中間部分の補正作業を個別に目分量で行う必要が無くなり、作業が容易となり、また、誤差なく平面図を作成することが可能となる。このため航空写真を手配する必要もなくなるため、コストダウンに貢献する効果が顕著である。

ここで、特許文献１の手法と、本実施形態の手法との対比説明を行う。
両方法では、撮影画像を地図に投影するために補正する点と、補正前画像の画素位置と補正後画像の画素位置とを対応づけるためにグリッドを用いる点で共通している。
一方、特許文献１の手法では、上空から撮影された山などの起伏による形状歪を補正することが目的なので、補正前画像も補正後画像もともに平面画像であり、補正前画像の一部をグリッドのコントロール下において抽出する概念は存在しない（つまり、補正前画像の画像全体が補正後画像の画像全体に投影される）。
しかし、本実施形態の手法では、地上から撮影された遠近感による形状歪を補正することが目的なので、補正前画像は水平画像であり、その補正前画像の一部（地表面が写っている領域）をグリッドのコントロール下において抽出することとしている。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１ 画像補正装置
６ ＧＰＳ端末
７ 測定器
８ カメラ
９ 地図サーバ
１１ 測定データ
１２ データ定義部
１３ 地図測定データ
２１ 現場撮影データ
２２ 画像補正部
２３ 地図補正データ
３２ 入力部
３３ 地図背景データ
４１ 地図作成部
４２ 出力部

Claims (9)

1. 地図に投影する地表面を含めて略水平から撮影された補正前画像が格納されている記憶手段と、
   前記補正前画像に対して四角形の四隅の頂点の入力を受け付け、その四隅の頂点から構成される四角形の内部を四角形の形状に合わせて縦線および横線で区切るグリッド線のコントロール下に置き、
   前記補正前画像のうちの前記グリッド線のコントロール下に置かれた領域を抽出し、その抽出した領域の前記グリッド線の各横線の長さを互いに同一の比率になるように補正し、その補正結果である矩形形状の補正後画像を地図に投影する地表面の平面画像とする画像補正部と、を有することを特徴とする
   画像補正装置。
2. 地図に投影する地表面を含めて略水平から撮影された補正前画像が格納されている記憶手段と、
   前記補正前画像に対して画像指定範囲となる四角形の四隅の頂点の入力を受け付け、
   前記入力を受け付けた前記画像指定範囲の各頂点座標と、地図に投影する地表面の平面画像内の矩形領域の各頂点座標との対応関係をもとに、前記平面画像内の矩形領域から、前記画像指定範囲内の領域への射影変換を行うためのホモグラフィ行列を求め、
   前記求めたホモグラフィ行列をもとに、前記補正前画像のうちの前記画像指定範囲内の各画素を、前記平面画像の矩形領域内の各画素へと対応づけることにより、前記対応づけた平面画像を補正後画像として求める画像補正部と、を有することを特徴とする
   画像補正装置。
3. 前記画像補正部は、前記補正前画像から対応づけられた前記補正後画像の画素をもとに、その画素の周辺に位置する別の前記補正前画像から対応づけられなかった前記補正後画像の画素を補間することを特徴とする
   請求項２に記載の画像補正装置。
4. 前記画像補正部は、前記四角形の四隅の頂点の入力を受け付けた後、その四隅の頂点のうちの２頂点を結ぶ第１線分と、残りの２頂点を結ぶ第２線分とが交差している場合、第１線分に属する１頂点の位置と、第２線分に属する１頂点の位置とを入れ替えることを特徴とする
   請求項１ないし請求項３のいずれか１項に記載の画像補正装置。
5. 前記記憶手段には、さらに、投影対象の地図背景データが格納されており、
   前記地図背景データ上の前記補正後画像を配置する位置の決定処理として、前記補正後画像に対する位置移動操作、画像サイズの変更操作、および、画像回転操作のうちの少なくとも１つの操作を受け付け、その受け付けた処理に従って前記補正後画像を配置する位置を決定する画像位置決定部を有することを特徴とする
   請求項１ないし請求項４のいずれか１項に記載の画像補正装置。
6. 前記記憶手段には、さらに、投影対象の地図背景データと、前記補正前画像に写る所定の位置の緯度経度データとが格納されており、
   前記地図背景データ上の前記補正後画像を配置する位置の決定処理として、前記補正後画像に対応する前記補正前画像の緯度経度データを参照して、前記補正後画像を配置する位置を決定する画像位置決定部を有することを特徴とする
   請求項１ないし請求項４のいずれか１項に記載の画像補正装置。
7. 地図に投影する地表面を含めて略水平から撮影された補正前画像が格納されている記憶手段を有する画像補正装置を、
   前記補正前画像に対して四角形の四隅の頂点の入力を受け付け、その四隅の頂点から構成される四角形の内部を四角形の形状に合わせて縦線および横線で区切るグリッド線のコントロール下に置き、
   前記補正前画像のうちの前記グリッド線のコントロール下に置かれた領域を抽出し、その抽出した領域の前記グリッド線の各横線の長さを互いに同一の比率になるように補正し、その補正結果である矩形形状の補正後画像を地図に投影する地表面の平面画像とする画像補正部として機能させることを特徴とする
   画像補正プログラム。
8. 地図に投影する地表面を含めて略水平から撮影された補正前画像が格納されている記憶手段を有する画像補正装置を、
   前記補正前画像に対して画像指定範囲となる四角形の四隅の頂点の入力を受け付け、
   前記入力を受け付けた前記画像指定範囲の各頂点座標と、地図に投影する地表面の平面画像内の矩形領域の各頂点座標との対応関係をもとに、前記平面画像内の矩形領域から、前記画像指定範囲内の領域への射影変換を行うためのホモグラフィ行列を求め、
   前記求めたホモグラフィ行列をもとに、前記補正前画像のうちの前記画像指定範囲内の各画素を、前記平面画像の矩形領域内の各画素へと対応づけることにより、前記対応づけた平面画像を補正後画像として求める画像補正部として機能させることを特徴とする
   画像補正プログラム。
9. 前記画像補正部は、前記補正前画像から対応づけられた前記補正後画像の画素をもとに、その画素の周辺に位置する別の前記補正前画像から対応づけられなかった前記補正後画像の画素を補間することを特徴とする
   請求項８に記載の画像補正プログラム。