JP4230173B2

JP4230173B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4230173B2
Application number: JP2002172221A
Authority: JP
Inventors: 研一小堀; 達男中村; 利昭中岡; 英司藤原; 修一米澤
Original assignee: Suminoe Textile Co Ltd
Current assignee: Suminoe Textile Co Ltd
Priority date: 2002-06-13
Filing date: 2002-06-13
Publication date: 2009-02-25
Anticipated expiration: 2022-06-13
Also published as: JP2004021366A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば空中写真等の複数枚のカラー写真画像をつなぎ合わせて１枚の写真画像を得るのに好適に用いられる画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
上記のような画像処理装置として、例えば特許第２７８７７４０号に記載されているものが知られている。この画像処理装置では、それぞれの空中写真画像データを基礎となる地図データの上にそれぞれ正しく貼り付けていくことにより、複数の空中写真画像を歪みなくつなぎ合わせるものとなされている。
【０００３】
ところで、上記のようなそれぞれの空中写真画像は、予めハードディスク装置等の記憶装置に記憶されており、つなぎ合わせ処理に際しては、必要な画像をハードディスク装置等からメインメモリに読み出して処理されることになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、空中写真画像データはそのサイズがきわめて大きく、このため複数の空中写真画像データをメインメモリに読み出すと、メインメモリの残容量が少なくなるとか容量が不足する事態が生じ得る。このため、空中写真画像データをつなぎ合わせるための処理に際して、ハードディスク装置へのスワップが多発し、処理速度がきわめて遅くなり、完成までに多くの時間を要していた。
【０００５】
一方また、前述したような空中写真画像は、その性質上歪みが避けられず、これを地図画像上に貼り付ける場合には、空中写真画像と地図画像との画像ずれを防止するために、予め空中写真画像データを地図画像に合致するように変換処理しておく必要がある。
【０００６】
しかし、特許第２７８７７４０号に記載されているような従来の変換処理では、高精度な変換を行うことができず、空中写真画像と地図画像との画像ずれが発生していた。
【０００７】
一方また、カラーの空中写真画像は、１枚の画像であってもその性質上場所によって色が微妙に異なるうえ、各画像をつなぎ合わせた場合にも、画像間で色差を生じてしまう。このような色差の修正作業が従来の画像処理装置では極めて厄介であった。
【０００８】
この発明は、このような技術的背景に鑑みてなされたものであって、空中写真画像をつなぎ合わせるための処理等のように、写真画像データを処理する際に、処理速度の高速化を図り処理時間を短くできる画像処理装置及び方法を提供し、さらに空中写真画像データを地図画像と合致するように高精度に変換できる画像処理装置及び方法を提供し、さらには空中写真画像等の写真画像の色補正を簡単に行うことができる画像処理装置及び方法を提供することを課題としている。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、この発明の一つは、メインメモリと、写真画像データが格納されたファイルが開かれた際に、写真画像データについての複数のカラーモードを有するピクセルデータを前記ファイルから読み出すピクセルデータ読み出し手段と、前記ピクセルデータ読み出し手段によって読み出されたピクセルデータに基づいて、１つのカラーモードによる表示用データを作成する表示用データ作成手段と、前記表示用データ作成手段によって作成された表示用データの大きさを段階的に縮小する変倍手段と、前記表示用データ作成手段によって作成された表示用データ及び前記変倍手段によって縮小された表示用データの中から１つを選択して、その表示用データを前記メインメモリに読み込む表示用データ読み込み手段と、前記表示用データ読み込み手段により読み込まれた表示用データとしての空中写真画像とそれに対応する地域の地図画像を表示する表示手段と、前記表示手段により表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントを、６カ所以上指定するポイント指定手段と、前記ポイント指定手段によって指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対して２次以上の多項式を用いた疑似アフィン変換処理を実行する疑似アフィン変換処理手段と、疑似アフィン変換処理された前記空中写真画像を前記地図画像上に張り付けて合成する合成手段と、を備えたことを特徴とする画像処理装置にある。
【００１０】
この画像処理装置では、ハードディスク装置等の記憶装置から、写真画像データが格納されたファイルが開かれると、ピクセルデータ読み出し手段は、前記ファイルから写真画像データについてのピクセルデータを読み出す。このピクセルデータは、複数のカラーモードを有している。表示用データ作成手段は、このピクセルデータに基づいて、１つのカラーモードによる表示用データを作成する。また、この表示用データは変倍手段によって段階的に縮小される。そして、画面サイズ、スクロールバーの位置、表示倍率の設定値等に基づいて、表示用データ読み込み手段は、前記の表示用データ及び縮小データの中から１つを選択して、その表示用データを前記メインメモリに読み込む。メインメモリに読み込まれた表示用データを用いて、画像処理が施されることになる。
【００１１】
従って、この表示用データは元の写真画像データに比べて、複数のカラーモードのうちの１つのカラーモードによるデータのみで構成されているから、サイズが小さいものになっている。このため、１枚の写真画像データについてはもとより、複数枚の写真画像データをメインメモリに読み出しても、メインメモリの使用容量を抑制でき、ひいては空中写真画像データのつなぎ合わせ処理等の画像処理時に、ハードディスク装置へのスワップの発生を抑制でき、処理速度が速くなる。
【００１３】
しかも、表示手段により表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントを、少なくとも６カ所以上指定し、これらの指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対して２次以上の多項式を用いた疑似アフィン変換処理を実行するから、空中写真画像と地図画像とが高精度に合致するように、空中写真画像データを変換することができる。このため、疑似アフィン変換処理された前記空中写真画像を前記地図画像上に張り付けて合成することにより、両者は高精度に合致した状態で合成される。
【００１４】
上記画像処理装置において、前記合成手段により合成され前記表示手段に表示された写真画像上の第１のポイントと第２のポイントとを指定するポイント指定手段と、色補正の方向性を指示する方向性指示手段と、前記ポイント指定手段によって第１、第２のポイントが指定され、かつ前記方向性指示手段によって色補正の方向性が指示されると、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、前記写真画像の色補正を実行する色補正手段と、をさらに備えた構成としても良い。
【００１５】
この場合には、ポイント指定手段によって第１、第２のポイントが指定され、かつ方向性指示手段によって色補正の方向性が指示されると、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、色補正手段は、写真画像の色補正を実行する。従って、ユーザは、ポイント指定手段による第１、第２のポイントの指定と、方向性指示手段による色補正の方向性の指示とを行えば、写真画像データの色補正が自動的に実行される。
【００１６】
また、前記合成手段により合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とするつなぎ合わせ手段と、前記表示手段に表示された前記つなぎ合わされた第１、第２の写真画像の色合わせを指示する色合わせ指示手段と、前記色合わせ指示手段によって色合わせが指示されると、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正を実行する色補正手段と、を備えた構成としても良い。
【００１７】
この画像処理装置では、第１の写真画像と第２の写真画像とが一部が重複する態様でつなぎ合わされて表示された状態で、色合わせ指示手段によって前記第１、第２の写真画像データの色合わせが指示されると、色補正手段は、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正を実行する。従って、ユーザーは、合わせ指示手段による前記第１、第２の写真画像の色合わせの指示を行えば、つなぎ合わされた写真画像の色補正が自動的に実行される。
【００１８】
また、前記合成手段により合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とするつなぎ合わせ手段と、前記表示手段に表示された前記つなぎ合わされた第１、第２の写真画像の重複部分の色補正を指示する色補正指示手段と、前記色補正指示手段によって色補正が指示されると、前記第１、第２の写真画像の重複部分の色補正を実行する色補正手段と、を備えた構成としても良い。
【００１９】
この画像処理装置では、第１の写真画像と第２の写真画像とが一部が重複する態様でつなぎ合わされて表示された状態で、色補正指示手段によって前記第１、第２の写真画像の重複部分の色補正が指示されると、色補正手段は、前記第１、第２の写真画像の重複部分の色補正を実行する。従って、ユーザは、色補正指示手段による色補正を指示すれば、前記第１、第２の写真画像の重複部分の色補正が自動的に実行される。
【００２０】
上記色補正の態様として、一方の写真画像から他方の写真画像へと滑らかに色を変化させるか、急激に変化させるか、ランダムに変化させるかを選択する選択手段をさらに備えた構成としても良い。この選択手段の選択によって、色補正の態様として、一方の写真画像から他方の写真画像へと滑らかに色を変化させることもできるし、急激に変化させることもできるし、ランダムに変化させることもできる。
【００２１】
この発明の第２のものは、画像処理装置のＣＰＵが、写真画像データが格納されたファイルが開かれた際に、写真画像データについての複数のカラーモードを有するピクセルデータを前記ファイルから読み出し、前記読み出されたピクセルデータに基づいて、１つのカラーモードによる表示用データを作成し、前記作成された表示用データの大きさを段階的に縮小し、前記作成された表示用データ及び前記縮小された表示用データの中から１つを選択して、その表示用データをメインメモリに読み込み、前記読み込まれた表示用データとしての空中写真画像とそれに対応する地域の地図画像を表示手段に表示し、ユーザによって、前記表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントが、少なくとも６カ所以上指定されると、前記ＣＰＵは、前記指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対して２次以上の多項式を用いた疑似アフィン変換処理を実行し、疑似アフィン変換処理された前記空中写真画像を前記地図画像上に張り付けて合成する、ことを特徴とする画像処理装置における画像処理方法にある。
【００２２】
この画像処理方法では、写真画像データが格納されたファイルが開かれると、前記ファイルから写真画像データについてのピクセルデータが読み出される。このピクセルデータは、複数のカラーモードを有している。このピクセルデータに基づいて、１つのカラーモードによる表示用データが作成されるとともに、この表示用データは段階的に縮小される。そして、画面サイズ、スクロールバーの位置、表示倍率の設定値等に基づいて、前記大きさの異なる表示用データ及び縮小データの中から１つが選択され、その表示用データが前記メインメモリに読み込まれる。メインメモリに読み込まれた表示用データを用いて、画像処理が施されることになる。
【００２３】
従って、この表示用データは元の写真画像データに比べて、複数のカラーモードのうちの１つのカラーモードによるデータのみで構成されているから、サイズが小さいものとなっている。このため、１枚の写真画像データについてはもとより、複数枚の写真画像データをメインメモリに読み出しても、メインメモリの使用容量を抑制でき、ひいては空中写真画像データのつなぎ合わせ処理等の画像処理時に、ハードディスク装置へのスワップの発生を抑制でき、処理速度が速くなる。
【００２５】
しかも、表示手段に表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントが、少なくとも６カ所以上指定され、これらの指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対し２次以上の多項式を用いた疑似アフィン変換処理が実行される。従って、空中写真画像と地図画像とが高精度に合致するように、空中写真画像データを変換することができる。
【００２６】
上記画像処理方法においてさらに、前記ＣＰＵは、前記合成された写真画像を表示手段に表示し、ユーザにより、前記表示された写真画像上の第１のポイントと第２のポイントが指示されるとともに、色補正の方向性が指示されると、前記ＣＰＵは、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、前記写真画像の色補正を実行する、構成としても良い。
【００２７】
この画像処理方法では、第１、第２のポイントが指定され、かつ色補正の方向性が指示されると、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、写真画像の色補正が自動的に実行される。
【００２８】
上記画像処理装置において、さらに、前記ＣＰＵは、前記合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とし、前記つなぎ合わされた第１、第２の写真画像を表示手段に表示し、ユーザにより、前記表示された第１、第２の写真画像の色合わせが指示されると、前記ＣＰＵは、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正を実行する構成としても良い。
【００２９】
この画像処理方法では、第１の写真画像と第２の写真画像とが一部が重複する態様でつなぎ合わされて表示された状態で、前記第１、第２の写真画像の色合わせが指示されると、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正が自動的に実行される。
【００３０】
上記画像処理装置において、さらに、前記ＣＰＵは、前記合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とし、前記つなぎ合わされた第１、第２の写真画像を表示手段に表示し、ユーザにより、前記表示された第１、第２の写真画像の重複部分の色補正が指示されると、前記ＣＰＵは、前記第１、第２の写真画像の重複部分の色補正を実行する構成としても良い。
【００３１】
この画像処理方法では、第１の写真画像と第２の写真画像とが一部が重複する態様でつなぎ合わされて表示された状態で、前記第１、第２の写真画像の重複部分の色補正が指示されると、前記第１、第２の写真画像の重複部分の色補正が自動的に実行される。
【００３２】
【発明の実施の形態】
以下、この発明の一実施形態を図面を参照して説明する。
【００３３】
この実施形態では、写真画像が空中写真画像であり、画像処理が、複数枚の前記空中写真画像をつなぎ合わせる処理である場合を例にとって説明する。
【００３４】
図１は、この発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
【００３５】
図１において、１は画像処理装置の全体を統括的に制御するＣＰＵである。このＣＰＵ１は、ＲＯＭ２に格納されている画像処理プログラムに従って動作する。
【００３６】
３はメインメモリとしてのＲＡＭであり、このＲＡＭ３に読み出された写真画像データに対して画像処理が施されることになる。４は記憶手段としてのハードディスク装置である。このハードディスク装置４には、つなぎ合わせ前の複数枚の空中写真画像データが格納されている。
【００３７】
５は液晶表示装置やＣＲＴ等からなる表示装置であり、ＲＡＭ３に記憶されている写真画像データ等を表示する。６は画像処理のための各種の操作を指示する操作部であり、マウスやキーボード等を備えている。
【００３８】
次に、図１の画像処理装置を用いた画像処理方法について説明する。
【００３９】
前記ハードディスク装置４には、航空機等から撮影された複数枚の空中写真画像データのファイルが格納されている。各ファイルは、例えば１００メガバイトのデータサイズを有している。
【００４０】
図２は、前記ハードディスク装置４のファイルを開いて、表示装置５に表示させるまでの処理を示すフローチャートである。なお、以下の説明及び図面において、ステップを「Ｓ」と略記する。
【００４１】
まず、Ｓ１で、ユーザによる操作部６からの指示を受けて、ＣＰＵ１はハードディスク装置４に格納されている空中写真画像データのファイルを開く。この実施形態では、複数個の空中写真画像データのファイルを同時的に開くことができるようになっている。空中写真画像データのファイルは、ヘッダ部分とピクセルデータ部分とからなる。この実施形態では、前記ファイルはＴｉｆｆ形式のものとなされており、ＢＧＲ、ＣＭＹＫ、Ｌａｂ、グレースケール、インデックスカラーの各カラーモードに対応している。
【００４２】
次いで、Ｓ２で、Ｔｉｆｆファイルから幅、長さ等ピクセルデータ以外の必要事項を読み込んだ後、Ｓ３でピクセルデータを読み込む。そして、Ｓ４で、読み込んだピクセルデータをファイルに書き出して、ピクセルデータファイルを作成する。
【００４３】
図３（Ａ）に、ＢＧＲ（またはＲＧＢ）カラーモードにおける幅１０ピクセル×長さ５ピクセルのピクセルデータを、図３（Ｂ）に、ＣＭＹＫカラーモードにおける幅７ピクセル×長さ５ピクセルのピクセルデータを示す。各ピクセルデータのサイズは、幅×長さ×１ピクセル当たりのバイト数になる。ちなみに、各カラーモードの１ピクセル当たりのバイト数は、ＢＧＲ：３バイト、ＣＭＹＫ：４バイト、Ｌａｂ：３バイト、グレースケール：１バイト、インデックスカラー：１バイトである。
【００４４】
次に、Ｓ５で、ピクセルデータを、ＢＧＲ、ＣＭＹＫ、Ｌａｂ、グレースケール、インデックスカラーのうちの１つのカラーモードに変換して、表示用データを作成する。この実施形態では、ＢＧＲのカラーモードに変換している。なお、この実施形態では、ＢＧＲＮ（Ｎは常に０）のファイル形式を採用している。前記ＢＧＲＮにおける「Ｎ」は、本来は必要ではないが、コーディングを楽にするためにＮを付した形式としている。図４のファィルａは、前記変換されたＢＧＲＮファイルである。
【００４５】
次に、Ｓ６で、前記ＢＧＲＮカラーモードに変換した表示用データをファイルに書き出して、表示用ＢＧＲＮファイルを作成する。
【００４６】
次いで、Ｓ７で、前記表示用データを縦横√２分の１に縮小し、Ｓ８でこれを前記表示用ＢＧＲＮファイルに書き出したのち、Ｓ９で、データの幅か長さが１ピクセルになったかどうかを判断する。
【００４７】
データの幅か長さが１ピクセルになっていなければ（Ｓ９にてＮＯ）、Ｓ７に戻り、データの幅か長さが１ピクセルになるまで、データの縮小、表示用ファイルへの書き出し、データの幅か長さが１ピクセルになったかどうかの判断を繰り返す。図４のｂ〜ｅに段階的に縮小されたデータを示す。
【００４８】
前記Ｓ９の判断において、データの幅か長さが１ピクセルになっている場合には（Ｓ９にてＹＥＳ）、Ｓ１０に進んで、表示装置５の画面のサイズ、スクロールバーの位置、表示倍率の設定値より、表示に必要なデータサイズを判断し、前記表示用ファイルの中の大きさの異なる表示用データの中から１つを選択して、その表示用データをメインメモリ３に読み込む。
【００４９】
そして、Ｓ１１で、読み込んだ表示用データを、表示装置５の画面に表示する。また、この表示用データを用いて画像処理が実行される。
【００５０】
このように、この実施形態によれば、メインメモリ３には画像ファイルのピクセルデータのうちカラーモード変換された表示用データが記憶されることになり、この表示用データは元のピクセルデータに比べてサイズが小さくなっており、従ってデータ量も少ないものとなっている。また、縮小された表示用データが用いられる場合には、さらにサイズが小さくデータ量も少ないものとなっている。このため、複数枚の空中写真画像データを、表示装置５に表示させた場合であっても、メインメモリ３に記憶されるデータ量は元の空中写真画像データに比べて遙かに少ないものとなるから、空中写真画像データの高速表示が可能となると共に、画像処理速度も速くなる。
【００５１】
なお、複数個の空中写真画像データのファイルを同時的に開いた場合には、上述した処理が空中写真画像データの各ファイルについて実行される。また、サイズの異なる表示用データが格納された表示用ファイルの大きさは、カラーモードに関係なく、データの幅×長さ×４×２となる。
【００５２】
上記のようにしてメインメモリ３に記憶され、表示装置５に表示された複数個の空中写真画像についてのつなぎ合わせを、次のようにして行う。
【００５３】
まず、空中写真画像と地図画像とを表示装置５の表示画面に表示させる。地図画像データも予めハードディスク装置４に記憶されている。
【００５４】
図５は表示装置５の表示画面であり、左側に１つの空中写真画像１０が右側にそれに対応する地図画像２０が表示されている。なお、画面には、メインメモリ３に記憶されている他の空中写真画像リスト３０も表示されている。
【００５５】
空中写真画像１０はその性質上画像の歪みが避けられない。そこで、空中写真画像１０の歪みを解消して地図画像２０と合致させるために、疑似アフィン変換処理を行う。つまり、前記図５に示した画面の状態で、ポイント指定手段としての操作部６のマウス等により、上側ツールバー４０のポイント指定ツール４１をクリックしてポイント指定モードとする。この状態で、操作部６により、空中写真画像１０と地図画像２０上のそれぞれ対応するポイントを画面上で指定する。
【００５６】
図６はポイントを指定した状態の画面を示し、ポインタ５１の先端が指定ポイントとなっている。ポイント指定後、図７に示す左端ツールバー６０の画像変換指示ツール６１をクリックすると、同図に示すように確認用のダイアログ・ボックス７１が表示され、「ＯＫ」ボタンをクリックすると、ＣＰＵ１は、指定された地図画像１０上の各ポイントと空中写真画像２０上の各ポイントとが合致するように、空中写真画像データに対して疑似アフィン変換処理を実行する。
【００５７】
前記ポイント指定は最低４カ所行えばよい。４カ所指定することによって１次多項式による疑似アフィン変換処理を実行することができる。次式（１）は、疑似アフィン変換処理において、空中写真画像データのｘｙ座標をｉｊ座標に変換するための１次多項式である。
【００５８】
【数１】

【００５９】
望ましくは６カ所以上指定するのがよい。６カ所以上指定することによって２次多項式による疑似アフィン変換処理を実行することができ、精細な変換処理を行うことができ、空中写真画像データを地図データに精細に合致させることができる。次式（２）は、疑似アフィン変換処理において、空中写真画像データのｘｙ座標をｉｊ座標に変換するための２次多項式である。
【００６０】
【数２】

【００６１】
さらに望ましくは、１０カ所以上指定するのがよい。１０カ所以上指定することによって３次多項式による疑似アフィン変換処理を実行することができ、高精細な変換処理を行うことができ、空中写真画像データを地図データに高精細に合致させることができる。次式（３）は、疑似アフィン変換処理において、空中写真画像データのｘｙ座標をｉｊ座標に変換するための３次多項式である。
【００６２】
【数３】

【００６３】
この実施形態では、図７のダイアログ・ボックス７１に示すように、疑似アフィン変換処理に関して、「標準」（１次の疑似アフィン変換処理）、「詳細」（２次の疑似アフィン変換処理）、「高精細」（３次の疑似アフィン変換処理）の３つの処理の中からいずれかを指定できるものとなされている。
【００６４】
疑似アフィン変換処理後、図８に鎖線で示すように、ユーザが空中写真画像１０の範囲を指定して、左端ツールバー６０の切り抜き用ツール６２をクリックすると、同図に示すように確認用のダイアログ・ボックス７２が表示される。「ＯＫ」ボタンをクリックすると、ＣＰＵ１は、空中写真画像１０を前記各指定したポイント同士が合致するように地図画像２０上に貼り付けて合成する。空中写真画像１０は、疑似アフィン変換処理により歪みが修正され地図画像２０に合致させられているから、地図画像２０上に空中写真画像１０がずれなく合成される。図９は合成後の画面である。
【００６５】
次に、この実施形態では、エッジ抽出フィルタを用いることにより、空中写真画像１０の建造物等のエッジ部分の強調と陰影の形成とを行い、地図画像２０上の空中写真画像１０を立体化処理するものとなされている。
【００６６】
こうして、１つの空中写真画像１０と地図画像２０との合成を行った後、隣接する他の空中写真画像についても、上記と同様にポイント指定、疑似アフィン変換処理、地図画像との合成処理、立体化処理を行い、以後必要に応じて他の空中写真画像についてもこの操作を繰り返す。地図画像２０上に、隣接する空中写真画像を貼り付けていくことにより、隣接する空中写真画像同士がつなぎ合わさった画像が自動的に得られていく。
【００６７】
図１０に隣接する３枚の空中写真画像１０、１１、１２をつなぎ合わせた状態の画面を示す。隣接する空中写真画像同士は、境界部分が重なった状態で合成されている。
【００６８】
次に、色補正を行う。空中写真画像はその性質上、１枚の画像の中であっても部位によって色差が生じることがある。また、画像間で色差が生じることもある。さらには、境界における重複部分にも色差を生じることがある。そこで、色差を解消するために色補正を行う。
【００６９】
まず、１枚の画像の中での色補正の方法について説明する。
【００７０】
図１１は、色補正前の表示装置５の表示画面である。この画面では、右側に２枚の空中写真画像１１及び１２をつなぎ合わせた画像が、左側に色補正を行う１枚の空中写真画像１２がそれぞれ表示されている。
【００７１】
ユーザはまず、左側の空中写真画像１２において、操作部６により上側ツールバー４０のポイント指定ツール４１をクリックしたのち、操作部６によりポインタ５１を操作して、画面上で基準点Ｐと比較点Ｑの２点を設定する。次いで、左端ツールバー６０の色補正ツールをクリックして色補正の方向性を指示する。この実施形態では、色補正ツールは、濃度補正ツール６３と輝度補正ツール６４とからなる。
【００７２】
前記濃度補正ツール６３には、前記設定した基準点Ｐと比較点Ｑを基にそれぞれ、同心円方向に濃度補正を行う同心円状濃度補正ツール６３ａと、水平方向に濃度補正を行う水平濃度補正ツール６３ｂと、垂直方向に濃度補正を行う垂直濃度補正ツール６３ｃと、右上がり斜め４５度方向に濃度補正を行う右上がり濃度補正ツール６３ｄと、左上がり斜め４５度方向に濃度補正を行う左上がり濃度補正ツール６３ｅが設けられている。
【００７３】
同様に、前記輝度補正ツール６４には、前記設定した基準点Ｐから比較点Ｑに向けてそれぞれ、同心円方向に輝度補正を行う同心円状輝度補正ツール６４ａと、水平方向に輝度補正を行う水平輝度補正ツール６４ｂと、垂直方向に輝度補正を行う垂直輝度補正ツール６４ｃと、右上がり斜め４５度方向に輝度補正を行う右上がり輝度補正ツール６４ｄと、左上がり斜め４５度方向に輝度補正を行う左上がり輝度補正ツール６４ｅが設けられている。
【００７４】
色補正の方向性を指示した後、ユーザ確認を求めるダイアログ・ボックス７３が表示される。ユーザが「ＯＫ」ボタンをクリックすると、自動的に色補正が実行される。この実施形態では、基準点Ｐから比較点Ｑに向けて水平方向に色補正を行うものとなされている。
【００７５】
この実施形態において、図１に示した画像処理装置による具体的な色補正は以下のようにして行われる。
【００７６】
即ち、まず設定された基準点Ｐと比較点Ｑの座標をＰ（ｐｘ，ｐｙ）、Ｑ（ｑｘ，ｑｙ）とすると、まず２点間の距離Ｌを求める。例えば、同心円状、右上がり斜め４５度方向、水平方向の各方向に色補正を行う場合の距離は次式のようになる。
【００７７】
【数４】

【００７８】
次に、前記基準点Ｐ及び比較点Ｑの周辺の平均濃度（輝度を補正する場合は平均輝度）ｃ１、ｃ２を求める。
【００７９】
次に、単位距離当たりの色差Δｃを次式より求める。
【００８０】
【数５】

【００８１】
次に、画像の全ピクセルに対して、基準点Ｐからの距離Ｈｉｊを求める。ピクセルの座標を（ｉ，ｊ）とすると、例えば、同心円状、右上がり斜め４５度方向、水平方向の各方向に色補正を行う場合の基準点Ｐからの距離Ｈｉｊは次式のようになる。
【００８２】
【数６】

【００８３】
次に、各ピクセルの基準点からの距離に応じて色を補正する。点（ｉ，ｊ）におけるピクセルの返還後の色ｒＣｉｊは次式となる。
【００８４】
【数７】

【００８５】
なお、左上がり斜め４５度方向、垂直方向の各方向の色補正も同様の手順で行えばよい。
【００８６】
このように、ユーザにより基準点Ｐ、比較点Ｑの設定とツールによる方向性の指定とがなされれば、対応した色補正が自動的に実行されるから、面倒な操作を要することなく極めて簡単に、１枚の画像についての色補正をすることができる。
【００８７】
次に、隣接画像間での色補正の方法について説明する。
【００８８】
図１２は、色補正前の表示装置５の表示画面である。この画面では、隣接する３枚の空中写真画像１０、１１、１２をつなぎ合わせた画像が表示されている。
【００８９】
この画面において、ユーザは操作部材６により左側ツールバー６０の中の２画像間の色補正ツール６５をクリックすると、自動的に隣接する２画像間の色補正（色合わせ）が実行される。この色補正は、ＣＰＵ１が２画像の境界領域の重複部分１１ａ、１２ａの色差を判断し、この色差が解消されるように画像全体を補正することによって行われる。
【００９０】
従って、ユーザは、２画像間の色補正を指示するだけの簡単な操作で、２画像間の色補正が実行される。
【００９１】
なお、重複部分の色差をＣＰＵ１が正しく判断するためには、２つの画像が重複部分１１ａ、１２ａにおいて精度良く合致していることが必要となるが、前述したように、２次あるいは３次の多項式による疑似アフィン処理を実施することにより、精度良く合致したものとなり、ＣＰＵ１は重複部分１１ａ、１２ａの色差を適正に判断することができる。
【００９２】
次に、隣接画像間の重複部分の色補正について説明する。
【００９３】
図１３は、色補正前の表示装置５の表示画面である。この画面では、隣接する３枚の空中写真画像１０、１１、１２をつなぎ合わせた画像が表示されている。
【００９４】
この画像において、ユーザは操作部材６により左端ツールバー６０の中の重複部分の色補正ツール６６をクリックすると、色補正の態様を選択するダイアログ・ボックス７４が表示される。この実施形態では、重複部分の色補正の条件（図中のダイアログ・ボックス７４ではブレンド条件と記されている）として、「滑らかに」、「急激に」、「ランダム」、「透過」のうちから一つを選択できるようになっている。「滑らかに」を選択すると、一方の画像から他方へ、色が滑らかに変化するように補正される。「急激に」を選択すると、一方の画像から他方へ、色が急激に変化するように補正される。「ランダム」を選択すると、一方の画像から他方へ、色がランダムに変化するように補正される。「透過」を選択すると、一方の画像の重複部分がなくなり、他方の画像の重複部分のみが存在する状態となる。
【００９５】
いずれかの条件を選択して、「ＯＫ」ボタンをクリックすると、その条件で重複部分１１ａ、１２ａの色補正が実行される。
【００９６】
このように、ユーザは、重複部分１１ａ、１２ａの色補正の指示と色補正の態様を選択するだけで、重複部分の色補正が自動的に実行される。
【００９７】
以上のような処理を実行することにより、複数の空中写真画像が歪みなく精確につなぎ合わされ、かつ色差も解消されたサイズの大きな空中写真画像が得られる。つなぎ合わせ処理や色補正に用いられる各空中写真画像データは、前述したとおり元データに比べてサイズが格段に小さくなっているから、つなぎ合わせ処理や色補正を高速に行うことができる。
【００９８】
上記によりつなぎ合わされた画像は、必要に応じて切り取られ、ハードディスク装置４等にファイル保存される。
【００９９】
【発明の効果】
請求項１に係る発明によれば、元データからピクセルデータを読み出してサイズの小さい表示用データを作成し、さらにこの表示用データを縮小し、これらの中から適当な表示用データをメインメモリに記憶させて、表示手段による表示や画像処理を行うから、１枚の写真画像データについてはもとより、複数枚の写真画像データをメインメモリに読み出しても、メインメモリの使用容量を抑制でき、ひいては空中写真画像データのつなぎ合わせ処理等の画像処理時に、ハードディスク装置へのスワップの発生を抑制でき、処理速度を高速化することができる。
【０１００】
しかも、表示手段により表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントを、少なくとも６カ所以上指定し、これらの指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対して２次以上の多項式を用いた疑似アフィン変換処理を実行するから、空中写真画像と地図画像とが高精度に合致するように、空中写真画像を変換することができる。このため、疑似アフィン変換処理された前記空中写真画像を前記地図画像上に張り付けて合成することにより、両者を高精度に合致させることができる。
【０１０１】
請求項２に係る発明によれば、ユーザが、ポイント指定手段による第１、第２のポイントの指定と、方向性指示手段による色補正の方向性の指示を行うと、写真画像の色補正が自動的に実行されるから、１つの写真画像について色補正を行う場合の操作を簡素化できる。
【０１０２】
請求項３に係る発明によれば、ユーザが、色合わせ指示手段による第１、第２の写真画像の色合わせの指示を行えば、隣接する写真画像の色補正が自動的に実行されるから、隣接する写真画像の色補正の操作を簡素化できる。
【０１０３】
請求項４に係る発明によれば、ユーザが色補正指示手段による色補正を指示すれば、第１、第２の写真画像の重複部分の色補正が自動的に実行されるから、重複部分の色補正の操作を簡素化できる。
【０１０４】
請求項５に係る発明によれば、重複部分の色補正の態様として、一方の写真画像から他方の写真画像へと滑らかに色を変化させることもできるし、急激に変化させることもできるし、ランダムに変化させることもでき、種々の態様の色補正が可能となる。
【０１０５】
請求項６に係る発明によれば、元の写真画像データに比べてサイズの小さい表示用データをメインメモリに記憶させて、表示装置への表示や画像処理を行うから、１枚の写真画像データについてはもとより、複数枚の写真画像データをメインメモリに読み出しても、メインメモリの使用容量を抑制でき、ひいては空中写真画像データのつなぎ合わせ処理等の画像処理時に、ハードディスク装置へのスワップの発生を抑制でき、処理速度が速くなる。
【０１０６】
しかも、空中写真画像と地図画像とが高精度に合致するように、空中写真データを変換することができる。
【０１０７】
請求項７に係る発明によれば、第１、第２のポイントが指定され、かつ色補正の方向性が指示されると、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、写真画像の色補正が自動的に実行されるから、１つの写真画像データて色補正を行う場合の操作を簡素化できる。
【０１０８】
請求項８に係る発明によれば、第１、第２の写真画像の色合わせが指示されると、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正が自動的に実行されるから、つなぎ合わされた写真画像の色補正の操作を簡素化できる。
【０１０９】
請求項９に係る発明によれば、第１、第２の写真画像の重複部分の色補正が指示されると、前記第１、第２の写真画像の重複部分の色補正が自動的に実行されるから、重複部分の色補正の操作を簡素化できる。
【図面の簡単な説明】
【図１】この発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は図１の画像処理におけるファイルの読み出し処理手順を示すフローチャートである。
【図３】（Ａ）はＢＧＲ（ＲＧＢ）カラーモードに変換したピクセルデータ構造の一例を示し、（Ｂ）はＣＭＹＫカラーモードに変換したピクセルデータ構造の一例を示す。
【図４】表示用ファイルに格納されたデータを示す図である。
【図５】写真画像を地図画像に貼り付ける前の状態を示す表示装置の表示画面図である。
【図６】疑似アフィン変換処理に際して複数箇所のポイントを指定した状態を示す表示装置の表示画面図である。
【図７】図６のポイント指定後にユーザに確認のためのダイアログ・ボックスが表示された状態を示す表示装置の表示画面図である。
【図８】写真画像と地図画像の合成前の確認のためのダイアログ・ボックスが表示された状態を示す表示装置の表示画面図である。
【図９】写真画像と地図画像の合成後の状態を示す表示装置の表示画面図である。
【図１０】３枚の写真画像を地図画像に合成した状態を示す表示装置の表示画面図である。
【図１１】１つの画像における色補正を実行する前の確認のためのダイアログ・ボックスが表示された状態を示す表示装置の表示画面図である。
【図１２】画像間での色補正を行う際の表示装置の表示画面図である。
【図１３】隣接する画像の境界領域における重複部分の色補正を行う際の表示装置の表示画面図である。
【符号の説明】
１・・・・・・ＣＰＵ
３・・・・・・ＲＡＭ（メインメモリ）
４・・・・・・ハードディスク装置
５・・・・・・表示装置
６・・・・・・操作部
１０・・・・・・空中写真画像
２０・・・・・・地図画像

Claims

メインメモリと、
写真画像データが格納されたファイルが開かれた際に、写真画像データについての複数のカラーモードを有するピクセルデータを前記ファイルから読み出すピクセルデータ読み出し手段と、
前記ピクセルデータ読み出し手段によって読み出されたピクセルデータに基づいて、１つのカラーモードによる表示用データを作成する表示用データ作成手段と、
前記表示用データ作成手段によって作成された表示用データの大きさを段階的に縮小する変倍手段と、
前記表示用データ作成手段によって作成された表示用データ及び前記変倍手段によって縮小された表示用データの中から１つを選択して、その表示用データを前記メインメモリに読み込む表示用データ読み込み手段と、
前記表示用データ読み込み手段により読み込まれた表示用データとしての空中写真画像とそれに対応する地域の地図画像を表示する表示手段と、
前記表示手段により表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントを、６カ所以上指定するポイント指定手段と、
前記ポイント指定手段によって指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対して２次以上の多項式を用いた疑似アフィン変換処理を実行する疑似アフィン変換処理手段と、
疑似アフィン変換処理された前記空中写真画像を前記地図画像上に張り付けて合成する合成手段と、
を備えたことを特徴とする画像処理装置。
前記合成手段により合成され前記表示手段に表示された写真画像上の第１のポイントと第２のポイントとを指定するポイント指定手段と、
色補正の方向性を指示する方向性指示手段と、
前記ポイント指定手段によって第１、第２のポイントが指定され、かつ前記方向性指示手段によって色補正の方向性が指示されると、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、前記写真画像の色補正を実行する色補正手段と、
をさらに備えている請求項１に記載の画像処理装置。
前記合成手段により合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とするつなぎ合わせ手段と、
前記表示手段に表示された前記つなぎ合わされた第１、第２の写真画像の色合わせを指示する色合わせ指示手段と、
前記色合わせ指示手段によって色合わせが指示されると、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正を実行する色補正手段と、
をさらに備えている請求項１に記載の画像処理装置。
前記合成手段により合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とするつなぎ合わせ手段と、
前記表示手段に表示された前記つなぎ合わされた第１、第２の写真画像の重複部分の色補正を指示する色補正指示手段と、
前記色補正指示手段によって色補正が指示されると、前記第１、第２の写真画像の重複部分の色補正を実行する色補正手段と、
をさらに備えている請求項１に記載の画像処理装置。
色補正の態様として、一方の写真画像から他方の写真画像へと滑らかに色を変化させるか、急激に変化させるか、ランダムに変化させるかを選択する選択手段をさらに備えている請求項４に記載の画像処理装置。
画像処理装置のＣＰＵが、
写真画像データが格納されたファイルが開かれた際に、写真画像データについての複数のカラーモードを有するピクセルデータを前記ファイルから読み出し、
前記読み出されたピクセルデータに基づいて、１つのカラーモードによる表示用データを作成し、
前記作成された表示用データの大きさを段階的に縮小し、
前記作成された表示用データ及び前記縮小された表示用データの中から１つを選択して、その表示用データをメインメモリに読み込み、
前記読み込まれた表示用データとしての空中写真画像とそれに対応する地域の地図画像を表示手段に表示し、
ユーザによって、前記表示された空中写真画像とそれに対応する地域の地図画像上のそれぞれ対応するポイントが、少なくとも６カ所以上指定されると、前記ＣＰＵは、
前記指定された地図画像上のポイントに空中写真画像上のポイントが合致するように、空中写真画像データに対して２次以上の多項式を用いた疑似アフィン変換処理を実行し、
疑似アフィン変換処理された前記空中写真画像を前記地図画像上に張り付けて合成する、
ことを特徴とする画像処理装置における画像処理方法。
さらに、前記ＣＰＵは、
前記合成された写真画像を表示手段に表示し、
ユーザにより、前記表示された写真画像上の第１のポイントと第２のポイントが指示されるとともに、色補正の方向性が指示されると、
前記ＣＰＵは、前記第１、第２のポイント間の距離及び前記色補正の方向性に基づいて、前記写真画像の色補正を実行する、
請求項６に記載の画像処理方法。
さらに、前記ＣＰＵは、
前記合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とし、
前記つなぎ合わされた第１、第２の写真画像を表示手段に表示し、
ユーザにより、前記表示された第１、第２の写真画像の色合わせが指示されると、
前記ＣＰＵは、前記第１、第２の写真画像の重複部分の色差に基づいて、第１、第２の写真画像の色補正を実行する、
請求項６に記載の画像処理方法。
さらに、前記ＣＰＵは、
前記合成された第１の写真画像と第２の写真画像とを一部が重複する態様でつなぎ合わせて１つの写真画像とし、
前記つなぎ合わされた第１、第２の写真画像を表示手段に表示し、
ユーザにより、前記表示された第１、第２の写真画像の重複部分の色補正が指示されると、
前記ＣＰＵは、前記第１、第２の写真画像の重複部分の色補正を実行する、
請求項６に記載の画像処理方法。