JP4662258B2 - 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 - Google Patents

Description

本発明は、撮影された画像から長方形などの四辺形を抽出して、該四辺形を用いてあおり補正を行う画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体に関する。

近年、デジタルカメラは広く普及し、風景や人物に限らず、時刻表やポスター、掲示板等をメモ代りに撮影するのにも用いられるようになってきた。しかしながら、撮影された時刻表やポスター等は、撮影する位置により“あおり”が生じて、画像が歪むため、撮影されたポスター等は読みづらく、撮影された画像をそのまま再利用するには最適なものでなかった。

あおりは、実際の被写体は矩形であるのに対し、撮影される画像が、撮影する位置により台形等に歪む現象である。時刻表やポスター等の平面状の被写体をデジタルカメラで撮影する場合、このようなあおりを補正し、あたかも被写体に正対した位置から撮影した画像に変換する必要がある。

従来からデジタルカメラで撮影された画像から撮影時のあおりを補正する方法が種々提案されている（例えば、特許文献１、特許文献２参照）。従来技術では、一般に撮影された画像から長方形等を抽出し、長方形が平面になるように射影変換を行っている。また、一部では、抽出された複数の長方形を画像に重ね合わせて表示し、撮影者の選択した長方形に基づいて射影変換することも行っている。

特開２０００−３４１５０１号公報 特開２００５−１２２３２０号公報

撮影された画像から長方形を抽出し、該長方形を用いてあおり補正を行う場合、抽出された複数の長方形を使用者に提示することは現実的には妥当な方法である。なぜなら撮影画像から撮影者が所望する被写体を１つ見つけ出すためには撮影者の意図を画像から読み取らなければならなく、仮に二人の撮影者が瓜二つの画像を撮影したとしても、撮影者二人の所望する被写体は異なることがあるからである。

しかし、抽出される長方形は重なりあっている場合が多く、単純に一枚の画像に複数の長方形を同時に表示する方法では、複数の長方形の区別がつきにくく、使用者は何回も同じ長方形を閲覧して確認しなければならない。
また、撮影者の意図を画像から読み取ることは難しいので、撮影者の所望する長方形が、長方形の自動抽出処理から得られるとは限らない。しかし、従来技術では抽出した長方形しか選択できない。所望する長方形を得るには、再度撮影する必要があり、非常に手間がかかる。また、走行中の車の車窓から看板などを撮影した場合に所望の長方形が得られなかった場合には再度撮影することさえできない。

本発明は、あおり補正の前処理として、抽出された複数の長方形等の四辺形を画像に重ねて表示し、撮影者に選択せしめる場合、撮影者が複数の四辺形を瞬時に区別でき、最適なものを簡単に選択することを可能とする画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体を提供することにある。
また、本発明は、撮影者の意図した四辺形形状が得られない場合、表示中の四辺形の形状を修正することを可能とする画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体を提供することにある。

本発明は、入力画像から複数の四辺形を抽出する手段と、各々の四辺形に対応して、入力画像に当該四辺形を重畳し、四辺形領域を強調した複数の重畳画像を作成するとともに、複数の重畳画像中の一つを注目重畳画像として、他の重畳画像とは区別がつくように作成する手段と、前記注目重畳画像を含む複数の重畳画像を表示する手段と、利用者の操作に応じて前記注目重畳画像を切り替え、最終的に利用者の決定した注目重畳画像を選択する手段と、前記選択した注目重畳画像に対応する四辺形のデータに基づいて射影変換行列を算出し、該射影変換行列に基づいて入力画像に対して射影変換を施す手段とを有することを特徴とする。

また、本発明は、注目重畳画像を含む複数の重畳画像を同時に表示することを特徴とする。あるいは、注目重畳画像を含む複数の重畳画像を順次切り替えて表示することを特徴とする。さらに、注目重畳画像を拡大して表示することを特徴とする。

また、本発明は、選択した注目重畳画像について、利用者の操作に応じて四辺形の形状を変更する手段を更に有し、入力画像に対して射影変換を施す手段は、前記変更後の四辺形のデータに基づいて射影変換行列を算出し、該射影変換行列に基づいて入力画像に対して射影変換を施すことを特徴とする。

また、本発明は、入力画像から複数の四辺形を抽出する手段は、入力画像から複数のエッジ領域を検出するエッジ領域検出手段と、前記検出された複数のエッジ領域に対応する複数の線分を抽出する手段と、前記抽出された複数の線分から、２つの線分（以下、線分ペア）の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する手段と、複数の線分ペアから、２つの線分ペアの組み合わせを選択し、それぞれ、２つの線分ペアの４つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する手段と、前記算出された四辺形評価値に基づいて複数の四辺形を選択する手段とを有することを特徴とする。

本発明によれば、デジタルカメラなどにおいて、抽出された複数の長方形等の形状を画像に重ねて表示し、撮影者に選択せしめる場合、撮影者は最適なものを簡単に選択することが可能になる。また、撮影者の意図した形状が抽出されない場合、形状を修正することで、再度撮影することなく、撮影者の意図した形状を得ることが可能になる。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は本発明の画像処理機能を備えたデジタルカメラ装置の一実施形態を示す全体的構成図である。図１において、撮影部１１はレンズ１１１、絞り１１２、シャッター１１３、光電変換素子１１４及び前処理部１１５などで構成される。シャッター１１３の操作により、被写体光がレンズ１１１、絞り１１２を通して光電変換素子１１４に受光し、アナログ画像信号に変換される。光電変換素子１１４には、例えば、ＣＣＤ（電荷結合素子）が使用される。前処理部１１５は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理部やＡ／Ｄ変換部を備えており、光電変換素子１１４から出力されたアナログ画像信号に対して増巾・クランプなどの前処理を施した後、該アナログ画像信号をデジタル画像信号に変換する。

撮影部１１の前処理部１１５から出力されたデジタル画像信号は、カメラ信号処理部１２を通してフレームメモリ１５に格納される。フレームメモリ１５には、ＶＲＡＭ，ＳＲＡＭ，ＤＲＡＭなどの半導体メモリが使用され、カメラ信号処理部１２での処理対象の画像信号を一時保持するのに利用される。

カメラ信号処理部１２はデジタル信号処理プロセッサ（ＤＳＰ）などにより構成されている。このカメラ信号処理部１２に、本発明の画像処理機能としての形状領域強調画像生成・表示制御部１２０が備えられているが、その詳細は後述する。ＲＯＭ１３はカメラ信号処理部１２で使用されるプログラムを保持するプログラムメモリ、ＲＡＭ１４はカメラ信号処理部１２の処理途中のデータや、その他の必要なデータなどを一時的に保持するのに用いられる作業用メモリである。

ＣＰＵ１６はマイコンなどにより構成され、撮像部１１及びカメラ信号処理部１２などの動作を制御する。なお、ＲＯＭ１３、ＲＡＭ１４は、ＣＰＵ１６で兼用することでもよい。

フレームメモリ１５の画像信号はカメラ信号処理部１２に読み出され、該カメラ信号処理部１２において画像圧縮などの処理が施された後、インターフェース部（Ｉ／Ｆ）１７を介して外部記憶装置２０に記録されることにより保存される。外部記憶装置２０には、ＩＣメモリカードや光磁気ディスクなどが使用されるが、モデムカードやＩＳＤＮカードなどを利用して、ネットワークを経由して遠隔地の端末等に画像信号を送信することも可能である。逆に、外部記憶装置２０から読み出された画像信号は、Ｉ／Ｆ１７を介してカメラ信号処理部１２に送信され、カメラ信号処理部１２において伸長処理が施され、フレームメモリ１５に格納される。

一方、本デジタルカメラ装置の背面には、図２に示すように、表示部１８と操作部１９が並設されている。表示部１８は、例えば液晶表示装置により構成される。また、操作部１９は上下左右ボタン１９１〜１９４、決定ボタン１９５などで構成されている。

画像の表示は、フレームメモリ１５あるいはＲＡＭ１４内の画像信号をカメラ信号処理部１２、Ｉ／Ｆ１７を介して表示部１８に送信することによって行われる。この表示部１８の表示内容と連携して、ボタン１９１〜１９５を押下することにより、操作信号がＩ／Ｆ１７を介してカメラ信号処理部１２、形状領域強調画像生成・表示制御部１２０に取り込まれ、様々な処理、表示制御が実行されるが、これについては後述する。

以下に、形状領域強調画像生成・表示制御部１２０の構成例および動作処理について説明する。形状領域強調画像生成・表示制御部１２０は、その処理のためのプログラムをＲＯＭ１３に格納して、それをカメラ信号処理部１２のデジタル信号処理プロセッサ（ＤＳＰ）に実行させる構成とするか、あるいは、その処理機能の一部または全部をハードウェアとして構成することでもよい。

なお、以下の実施例の説明では、説明の便宜上、４つの四辺形（四辺形候補）が使用されるとするが、四辺形の数はいくつであっても適用することができる。

図３に、形状領域強調画像生成・表示制御部１２０の一実施例の機能ブロック図を示す。図３において、形状領域強調画像生成・表示制御部１２０は、撮影画像を入力として、該入力画像から四辺形を抽出する四辺形抽出部２０１と、四辺形抽出部２０１により抽出された四辺形を入力画像に重畳して、形状領域強調画像の重畳画像を作成する重畳画像作成部２０２、必要に応じ四辺形抽出部２０１で抽出された四辺形を変形する四辺形抽出結果変形部２０３、変形前あるいは変形後の四辺形データから射影変換行列を算出し、入力画像に対して射影変換を施す射影変換処理部２０４、各処理部で指示された内容を基に重畳画像や射影変換画像などを表示部１７に表示する制御を司る画像表示制御部２０５からなる。四辺形情報記憶部２０６は、各処理部での処理途中・結果等の四辺形等に関する情報を記憶する記憶部であり、例えば、ＲＡＭ１４が用いられる。この四辺形情報記憶部２０６は、抽出された四辺形の形状を記憶する四辺形記憶部２０７、入力画像に四辺形が重畳された画像を記憶する重畳画像記憶部２１２、重畳画像記憶部２１２に記憶されている画像のうち、一つの重畳画像を注目重畳画像として記憶する注目重畳画像管理部２１７、入力画像に対して射影変換を施した画像を記憶する射影変換画像記憶部２１８、入力画像を記憶しておく入力画像記憶部２１９、四辺形の形状変形するため撮影者が選択した四辺形の頂点の座標を記憶すると同時に、表示部１７に表示する際の色を記憶する頂点情報記憶部２２０などからなる。なお、入力画像記憶部２１９はフレームメモリ１４が兼ねてもよい。以下、各部２０１〜２０５の処理・動作を詳述する。

＜四辺形抽出部２０１＞
四辺形抽出部２０１は、入力画像記憶部２１９に記憶されている撮影画像を取り込み、該入力画像から四辺形を抽出する、ここでは、撮影画像は図４に示す画像とする。
四辺形抽出部２０１では、図４の撮影画像を入力画像として、該入力画像から種々の組み合わせの四辺形を抽出して評価し、評価値に基づいて順序付けし、上位から４つの四辺形（四辺形を表現する４つの頂点の組）を選択して四辺形記憶部２０７に記憶する。ここで、４つの四辺形を順序付けに基づいて、上位から、第一四辺形候補２０８、第二四辺形候補２０９、第三四辺形候補２１０、第四四辺形候補２１１とする。なお、先に述べたように、一般には対象とする四辺形の数はいくつであってもよい。

四辺形抽出部２０１には、従来技術の任意の四辺形抽出法（例えば、特許文献１、２等）を用いてもよいが、本出願人が別途出願（特願２００５−２４３９５８）の手法を用いれば、より高精度かつ高速に四辺形を抽出することが可能である。これについては後述する。

＜重畳画像作成部２０２＞（その１）
重畳画像作成部２０２では、入力画像記憶部２１９に記憶されている入力画像と、四辺記憶部２０７に記憶された各四辺形候補（第一四辺形候補２０８、第二四辺形候補２０９、第三四辺形候補２１０、第四四辺形候補２１１）を用いて、形状領域強調画像である第一重畳画像２１３、第二重畳画像２１４、第三重畳画像２１５、第四重畳画像２１６を作成し、重畳画像記憶部２１２に記憶する。同時に、四つの重畳画像中の一つを注目重畳画像として注目重畳画像管理部２１７に記憶する。デフォルトでは、第一重畳画像２１３が注目重畳画像となる。
なお、重畳画像の作成には種々のやり方があるが、ここでは代表的な実施形態（その１）を説明して、様々なバリエーションについては後述する。

図５に重畳画像作成の第一の実施形態（その１）の処理フローチャートを示す。図５の処理は各四辺形候補と入力画像（ＲＧＢ２５６階調とする）の全ての画素に対して実施される。
入力画像の各画素の座標と画素値（Ｖｒ，Ｖｇ，Ｖｂ）を入力する（ステップ３０１）。ここで、Ｖｒは赤（Ｒ）の画素値、Ｖｇは緑（Ｇ）の画素値、Ｖｂは青（Ｂ）の画素値を表す。次に、一つの四辺形候補を入力する（ステップ３０２）。ここでは、まず、第一の四辺形候補２０８を入力するとする。そして、入力画像の各画素を注目画素として、以下の処理を行う。

注目画素の座標に注目し、注目画素が四辺形の周囲上の画素か、それ以外かを判定する（ステップ３０３）。四辺形の周囲の画素とは、四辺形抽出部２０１で抽出された４頂点をブレゼンハムの直線描画アルゴリズムで結んだ際に辺上となる画素を、四辺形の周囲上の画素（四辺形の周囲を線幅１と設定した場合）とする。なお、線幅２の四辺形の周囲上の画素とは、線幅１の四辺形の周囲上の画素と、線幅１の四辺形の周囲上の画素に隣接する画素を合わせた画素を指す。以後線幅３、線幅４の四辺形の周囲上の画素も同様に定義できる。四辺形の周囲上の画素以外で、四辺形の周囲上の画素に囲まれている、四辺形の内部に位置する画素を四辺形内部の画素、四辺形周囲、四辺形内部のどちらにも当てはまらない画素を四辺形外部の画素と呼ぶ。

注目画素が四辺形の周囲上の画素の場合には、当該注目画素の画素値を（２５５，０，０）（赤）に設定する（ステップ３０４）。また、注目画素が四辺形の周囲上の画素でない場合は、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ３０５）。

次に、作成する重畳画像が注目重畳画像か否かを判定する（ステップ３０６）。そして作成する重畳画像が注目重畳画像である場合は、注目画素が画像の外周上か否かを判定する（ステップ３０７）。画像の外周上とは、画像の外周部３画素のことで、例えば、３２０×２４０の画像の場合、Ｘ座標が０，１，２，３，３１７，３１８，３１９またはＹ座標が０，１，２，２３７，２３８，２３９である画素は画像の外周上の画素である。注目画素が画像の外周上である場合には、当該注目画素の画素値を（２５５，２５５，０）（黄）に設定する。

以上の処理を入力画像の各画素について実施することにより、第一四辺形候補２０８に対応する領域が赤色で強調された第一重畳画像２１３が作成され、また、該第一重畳画像２１３が注目重畳画像であれば、該画像の外周部がさらに黄色で強調される。作成された第一重畳画像２１３は重畳画像記憶部２１２に記憶される。

以下同様にして、重畳画像作成部２０２では、第二四辺形候補２０９を入力として、第二重畳画像２１４を、第三四辺例候補２１０を入力として第三重畳画像２１５を、第四四辺形候補２１１を入力として第四重畳画像２１６を作成し、重畳画像記憶部２１２に記憶する。同時にそのうちの注目重畳画像は注目重畳画像管理部２１７に記憶する。

この４枚の重畳画像の作成が完了すると、重畳画像作成部２０２は、画像表示制御部２０５に対して、例えば、第一重畳画像２１３を左上、第二重畳画像２１４を右上、第三重畳画像２１５を左下、第四重畳画像２１６を右下として同時に表示するように指示する。画像表示制御部２０５では、重畳画像記憶部２１２から各重畳画像２１３〜２１６を読み出し、重畳画像作成部２０２の指示にしたがって表示部１９に表示する。図６に、このときの表示例を示す。なお、図６では、第一重畳画像２１３が注目重畳画像であることを示している。

なお、表示形態としては、図６のように４枚の重畳画像を均一の大きさにする以外に、例えば、図７のように、注目重畳画像のみ前方に大きく表示することも考えられる。また、図８のように、４枚の重畳画像と同時に入力画像（図４）を表示することも考えられる。

＜四辺形抽出結果変形部２０３＞
撮影者は、表示部１８に表示された各重畳画像を見て、必要に応じて操作部１９の上下左右ボタン、決定ボタンを操作し、注目重畳画像の切り換え、四辺形の変形を指示する。
四辺形抽出結果変形部２０３では、操作部１９からの操作情報を入力として、注目重畳画像を選択し、その四辺形を変形して、重畳画像作成部２０２に対して改めて重畳画像の作成を指示する。図９に四辺形抽出結果変形部２０３の処理状態遷移図を示す。

図９において、４０１〜４０４は四辺形抽出結果変形部２０３の各処理を表し、４１１〜４１９は撮影者の指示を表す。撮影者の指示は、図２に示す操作部１９の上ボタン１９１、左ボタン１９２、下ボタン１９３、右ボタン１９４、決定ボタン１９５を押下することにより入力される。以下、各処理について詳述する。なお、初期状態として、表示部１７には、図６のように各重畳画像が表示されており、注目重畳画像は第一重畳画像２１３とする。

(ｉ) 四辺形領域選択処理
四辺形領域選択処理４０１では、４つの四辺形から撮影者が一つの四辺形を選択する処理を行う。初期状態では、注目重畳画像管理部２１７に記憶されている注目重畳画像（第一重畳画像２１３）に対応する四辺形が選択されている。
撮影者が右ボタン１９４を押下すると（ステップ４１１）、注目重畳画像管理部２１７に記憶されている注目重畳画像が第一重畳画像２１３から、第二重畳画像２１４に切り替わる。そして重畳画像作成部２０２により、第一重畳画像２１３、第二重畳画像２１４、第三重畳画像２１５、第四重畳画像２１６が更新され、重畳画像作成部２０２により、表示画像を更新するよう、画像表示制御部２０５に指示を行う。これを受けて、画像表示制御部２０５は表示部１７の表示画像を更新する。初期状態の表示内容が図６のとき、右ボタン１９４の押下で表示内容は図１０のように更新される。
また、初期状態において、撮影者が左ボタン１９２を押下すると（ステップ４１１）、注目重畳画像管理部２１７に記憶されている注目重畳画像が第一重畳画像２１３から、第四重畳画像２１６に切り替わる。そして重畳画像作成部２０２により、第一重畳画像２１３、第二重畳画像２１４、第三重畳画像２１５、第四重畳画像２１６が更新され、重畳画像作成部２０２により表示画像を更新するよう、画像表示制御部２０５に指示を行う。
このように、右ボタン１９４が一度押されるたびに、注目重畳画像管理部２１７に記憶されている注目重畳画像が重畳画像記憶部２１２に記憶されている順序の昇順に切り替わる。また、左ボタン１９２が一度押されるたびに、注目重畳画像管理部２１７に記憶されている注目重畳画像が重畳画像記憶部２１２に記憶されている順序の降順に切り替わる。撮影者により決定ボタン１９５が押下されると（ステップ４１２）、四辺形形状決定処理４０２に移行する。ここでは、結局、図６の表示状態（第一重畳画像２１３が注目重畳画像）で、決定ボタン１９５から押下されたとする。

(ii) 四辺形形状決定処理
四辺形領域変形処理４０２では、注目重畳画像管理部２１７に記憶されている注目重畳画像に対応する四辺形に変形が必要か否かを決定する。
上ボタン１９１、左ボタン１９２、下ボタン１９３、右ボタン１９４のいずれかを押下すると（ステップ４１３）、選択された四辺形の頂点うち、ひとつの頂点の色が変わり、修正頂点選択処理４０３へと移行する。図１１は、注目重畳画像として選択された第一重畳画像２１３に対応する四辺形に変形が必要と決定され、該四辺形の左上頂点が選択された状態を示している。なお、修正頂点選択処理４０３へと移行する目的は、撮影者の所望する四辺形と注目重畳画像管理部２１７に記憶されている注目重畳画像に対応する四辺形が異なるのを修正するためである。
また、選択された頂点は、頂点情報記憶部２２０に該頂点の座標、表示の際の色が記憶されるが、重畳画像記憶部２１２のデータは変更されていない。そのため、四辺形抽出結果変形部２０３から画像表示制御部２０５に頂点を表示しないよう指示を行えば、図１１の表示状態から図６の表示状態に戻ることができる。なお、決定ボタン１９５を押すと（ステップ４１９）、射影変換処理部２０４の処理に移行する。

(iii) 修正頂点選択処理
修正頂点選択処理４０３では、選択された四辺形を表す４本の頂点のうち、位置を修正する頂点を決定する。撮影者が左ボタン１９２、右ボタン１９４を押下すると（ステップ４１４）、頂点情報記憶部２２０に記憶される頂点の座標と表示する際の頂点の色が切り替わり、画像表示制御部２０５に対し、表示する頂点情報を更新するよう指示を行う（図１２）。
なお、四辺形の頂点は順序付けて設定されており、右ボタン２３と左ボタン２１で４頂点を切り替えることができる。また撮影者が上ボタン１９１を押すと（ステップ４１５）、決定された頂点の色が変わり（図１３）、頂点位置変更処理４０４に移行する。また、撮影者が決定ボタン１９５を押すと（ステップ４１６）、四辺形領域決定処理４０２に移行する。

(iv) 頂点位置変更処理
頂点位置変更処理４０４では、撮影者が選択された頂点の位置を変更する。撮影者が、上ボタン１９１、左ボタン１９２、下ボタン１９３、右ボタン１９４のいずれかを押下すると（ステップ４１８）、押したボタンの方向に応じ、注目重畳画像管理部２１７に記憶されている注目重畳画像に対応する四辺形の形状も修正され、重畳画像作成部２０２により重畳画像が更新され、同時に頂点情報記憶部２２０に記憶されている頂点の座標も更新され、画像表示制御部２０５に修正後の四辺形形状の表示が指示される。そのため、表示部１７の表示上では、頂点が移動した表示が行われる（図１４）。また、撮影者が決定ボタン１９５を押すと（ステップ４１７）、修正頂点選択処理４０３に移行する。

＜射影変換処理部２０４＞
射影変換処理部２０４では、注目重畳画像管理部２１７に記憶されている注目重畳画像（例えば、第一重畳画像）に対応する変形後の四辺形（変形不要の場合には、抽出された元々の四辺形）のデータに基づき射影変換行列を算出する。射影変換行列の算出方法は既知であり、例えば、特許文献２などに詳述されているので、ここでは省略する。

射影変換処理部２０４は、算出された射影変換行列を使用して、入力画像記憶部２１９に記憶されている入力画像（撮影画像）に対して射影変換を施し、射影変換後の入力画像を射影変換画像記憶部２１８に記憶し、画像表示制御部２０５に射影変換後の入力画像を表示するように指示する。画像表示制御部２０５では、射影変換画像記憶部２１８から射影変換後の入力画像を読み出し、表示部１８に表示する。

図１５に、射影変換された入力画像の一例を示す。図１５の（ａ），（ｂ）とも図４の入力画像について、第一重畳画像２１３に対応する第一四辺形候補２０８を基に射影変換行列を算出し、射影変換した画像を示したものである。なお、図１５の（ｂ）は、抽出された四辺形が画像内で最大となるように射影変換行列を算出して、入力画像を射影変換したものである。

＜画像表示制御部２０５＞
画像表示制御部２０５は、重畳画像作成部２０２、四辺形抽出結果変形部２０３、射影変換処理部２０４などの指示に基づき、重畳画像記憶部２１２や注目重畳画像管理部２１７や入力画像記憶部２１９、あるいは射影変換画像記憶部２１８などに記憶されている画像を読み出し、表示部１８に表示する制御を行う。この画像表示制御部２０５の動作については、これまで、重畳画像作成部２０２、四辺形抽出結果変形部２０３および射影変換処理部２０４の動作と関連して説明した如くであるので、ここでは、説明を省略する。

［重畳画像作成部２０２のバリエーション］
先に述べたように、重畳画像作成部２０２での重畳画像（形状領域強調画像）の作成法としては、先の実施形態（その１）以外にも様々なバリエーションが考えられる。以下にいくつかのバリエーションを示す。

＜重畳画像作成部２０２＞（その２）
図１６に、本実施形態の重畳画像作成の処理フローチャートを示す。先の図５の処理と同様に、図１６の処理は各四辺形候補と入力画像（ＲＧＢ２５６階調）の全ての画素に対して実施される。
入力画像の各画素の座標と画素値（Ｖｒ，Ｖｇ，Ｖｂ）を入力する（ステップ５０１）。また、一つの四辺形候補を入力する（ステップ５０２）。ここでは、初めに第一四辺形候補２０８を入力するとする。本実施形態では、まず、作成する重畳画像が注目重畳画像か否かを判定する（ステップ５０３）。そして、作成する重畳画像が注目重畳画像である場合はステップ５０４に、注目重畳画像でない場合はステップ５０８に進み、入力画像の各画素を注目画素として、以下の処理を行う。

まず、注目重畳画像である場合（ステップ５０４）を考える。注目画素が四辺形の内部の場合には、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ５０５）。注目画素が四辺形の周囲の場合には、当該注目画素の画素値を（０，０，２５５）（青）に設定する（ステップ５０６）。また、注目画素が四辺形の外周の場合には、当該注目画素の画素値を（０，０，０）（黒）に設定する（ステップ５０７）。

次に、注目重畳画像でない場合（ステップ５０８）を考える。注目画素が四辺形の内部の場合には、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ５０９）。注目画素が四辺形の周囲の場合には、当該注目画素の画素値を（２５５，０，０）（赤）に設定する（ステップ５１０）。また、注目画素が四辺形の外周の場合には、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ５１１）。

以上の処理を入力画像の各画素について実施することにより、第一四辺形候補２０８に対応する第一重畳画像２１３として、該第一重畳画像２１３が注目重畳画像ならば、第一四辺形候補２０８に対応する領域が青で強調され、外部は黒でうまった画像が作成され、また、注目重畳画像でないならば、単に第一四辺形候補２０８に対応する領域が赤で強調された画像が作成される。作成された第一重畳画像２１３は重畳画像記憶部２１２に記憶される。

以下同様にして、第二四辺形候補２０９を入力として、第二重畳画像２１４を、第三四辺例候補２１０を入力として第三重畳画像２１５を、第四四辺形候補２１１を入力として第四重畳画像２１６を作成し、重畳画像記憶部２１２に記憶する。同時にそのうちの注目重畳画像は注目重畳画像管理部２１７に記憶する。

この４枚の重畳画像の作成が完了すると、重畳画像作成部２０２は、画像表示制御部２０５に対して、例えば、第一重畳画像２１３を左上、第二重畳画像２１４を右上、第三重畳画像２１５を左下、第四重畳画像２１６を右下として同時に表示するように指示する。画像表示制御部２０５では、重畳画像記憶部２１２から各重畳画像２１３〜２１６を読み出し、重畳画像作成部２０２の指示にしたがって表示部１９に表示する。図１７に、本実施形態の場合の表示例を示す。図１７では、第一重畳画像２１３が注目重畳画像であることを示している。なお、表示形態としては、先の実施形態（その１）の場合と同様に、注目重畳画像のみ前方に大きく表示すること、あるいは、４枚の重畳画像と同時に入力画像（図４）を表示することも考えられる。

＜重畳画像作成部２０２＞（その３）
図１８に、本実施形態の重畳画像作成の処理フローチャートを示す。先の図５の処理と同様に、図１８の処理は各四辺形候補と入力画像（ＲＧＢ２６５階調）の全ての画素に対して実施される。
入力画像の各画素の座標と画素値（Ｖｒ，Ｖｇ，Ｖｂ）を入力する（ステップ６０１）。また、一つの四辺形候補を入力する（ステップ６０２）。ここでは、初めに第一四辺形候補２０８を入力するとする。そして、まず、作成する重畳画像が注目重畳画像か否かを判定する（ステップ６０３）。そして、作成する重畳画像が注目重畳画像である場合はステップ６０４に、注目重畳画像でない場合はステップ６１０に進み、入力画像の各画素を注目画素として、以下の処理を行う。

まず、注目重畳画像である場合（ステップ６０４）を考える。注目画素が四辺形の内部の場合、Ｙ座標が４の倍数か否か判定する（ステップ６０５）。そして、注目画素のＹ座標が４の倍数のときは、当該注目画素の画素値を（０，０，０）（黒）に設定する（ステップ６０６）。注目画素のＹ座標が４の倍数でないときは、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ６０７）。また、注目画素が四辺形の周囲の場合には、当該注目画素の画素値を（２５５，０，０）（赤）に設定する（ステップ６０８）。また、注目画素が四辺形の外周の場合には、当該注目画素の画素値を（Ｖｒ／２，Ｖｇ／２，Ｖｂ／２）に設定する（ステップ６０９）。

次に注目重畳画像でない場合（ステップ６１０）を考える。注目画素が四辺形の内部の場合には、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ６１１）。注目画素が四辺形の周囲の場合、四辺形の頂点からの距離が所定の閾値以下か否か判定する（ステップ６１２）。そして、注目画素の四辺形の頂点からの距離が閾値以下のときには、当該注目画素の画素値を（２５５，０，０）（赤）に設定する（ステップ６１３）。注目画素の四辺形の頂点からの距離が閾値以上のときには、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ６１４）。注目画素が四辺形の外周の場合には、当該注目画素の画素値を同様に（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ６１４）。

以上の処理を入力画像の各画素について実施することで、第一四辺形候補２０８に対応する第一重畳画像２１３として、該第一重畳画像２１３が注目重畳画像ならば、第一四辺形候補２０８に対応する領域が赤で強調され、内部は一定間隔で黒の横線が付加され、外部は灰色に変換された画像が作成され、また、注目重畳画像でないならば、第一四辺形候補２０８に対応する領域のうち、四つの各頂点から所定の長さのみ赤で強調された画像が作成される。この作成された第一重畳画像２１３は重畳画像記憶部２１２に記憶される。

以下同様にして、第二四辺形候補２０９を入力として、第二重畳画像２１４を、第三四辺例候補２１０を入力として第三重畳画像２１５を、第四四辺形候補２１１を入力として第四重畳画像２１６を作成し、重畳画像記憶部２１２に記憶する。同時にそのうちの注目重畳画像は注目重畳画像管理部２１７に記憶する。

この４枚の重畳画像の作成が完了すると、重畳画像作成部２０２は、画像表示制御部２０５に対して、例えば、第一重畳画像２１３を左上、第二重畳画像２１４を右上、第三重畳画像２１５を左下、第四重畳画像２１６を右下として同時に表示するように指示する。画像表示制御部２０５では、重畳画像記憶部２１２から各重畳画像２１３〜２１６を読み出し、重畳画像作成部２０２の指示にしたがって表示部１９に表示する。図１９に、本実施形態の場合の表示例を示す。図１９では、第一重畳画像２１３が注目重畳画像であることを示している。なお、表示形態としては、先の実施形態（その１）の場合と同様に、注目重畳画像のみ前方に大きく表示すること、あるいは、４枚の重畳画像と同時に入力画像を表示することも考えられる。

＜重畳画像作成部２０２＞（その４）
図２０に、本実施形態の重畳画像作成の処理フローチャートを示す。先の図５の処理と同様に、図２０の処理は各四辺形候補と入力画像（ＲＧＢ２５６階調）の全ての画素に対して実施される。
入力画像の各画素の座標と画素値（Ｖｒ，Ｖｇ，Ｖｂ）を入力する（ステップ７０１）。また、一つの四辺形候補を入力する（ステップ７０２）。ここでは、初めに第一四辺形候補２０８を入力するとする。そして、まず、作成する重畳画像が注目重畳画像か否かを判定する（ステップ７０３）。そして、作成する重畳画像が注目重畳画像である場合はステップ７０４に、注目重畳画像でない場合はステップ７０７に進み、入力画像の各画素を注目画素として、以下の処理を行う。
まず、注目重畳画像である場合（ステップ７０４）を考える。注目画素が四辺形の内部の場合には、当該注目画素の画素値を（２５５−Ｖｒ，２５５−Ｖｇ，２５５−Ｖｂ）に設定する（ステップ７０５）。注目画素が四辺形の内部でない場合には、当該注目画素の画素値を（Ｖｒ／２，Ｖｇ／２，Ｖｂ／２）に設定する（ステップ７０６）。

次に、注目重畳画像でない場合（ステップ７０７）を考える。注目画素が四辺形の外部の場合には、あらかじめ、四辺形内部の画素値の平均値（Ａｒ，Ａｇ，Ａｂ）を算出しておき（ステップ７０９）、当該注目画素の画素値を（２５５−Ａｒ，２５５−Ａｇ，２５５−Ａｂ）に設定する（ステップ７１０）。注目画素が四辺形の外部でない場合には、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ７０８）。

以上の処理を入力画像の各画素について実施することにより、第一四辺形候補２０８に対応する第一重畳画像２１３として、該第一重畳画像２１３が注目重畳画像ならば、四辺形から内部は、対応する入力画像が反転されて強調され、外部は灰色に変換された画像が作成され、また、注目重畳画像でないならば、四辺形から内部は、入力画像のままで、外部は、四辺形内部の画素値平均の反転画像となる画像が作成される。作成された第一重畳画像２１３は重畳画像記憶部２１２に記憶される。

以下同様にして、第二四辺形候補２０９を入力として、第二重畳画像２１４を、第三四辺例候補２１０を入力として第三重畳画像２１５を、第四四辺形候補２１１を入力として第四重畳画像２１６を作成し、重畳画像記憶部２１２に記憶する。同時にそのうちの注目重畳画像は注目重畳画像管理部２１７に記憶する。

この４枚の重畳画像の作成が完了すると、重畳画像作成部２０２は、画像表示制御部２０５に対して、例えば、第一重畳画像２１３を左上、第二重畳画像２１４を右上、第三重畳画像２１５を左下、第四重畳画像２１６を右下として同時に表示するように指示する。画像表示制御部２０５では、重畳画像記憶部２１２から各重畳画像２１３〜２１６を読み出し、重畳画像作成部２０２の指示にしたがって表示部１９に表示する。図２１に、本実施形態の場合の表示例を示す。図２１では、第一重畳画像２１３が注目重畳画像であることを示している。なお、表示形態としては、先の実施形態（その１）の場合と同様に、注目重畳画像のみ前方に大きく表示すること、あるいは、４枚の重畳画像と同時に入力画像（図４）を表示することも考えられる。

＜重畳画像作成部２０２＞（その５）
図２２に、本実施形態の重畳画像作成の処理フローチャートを示す。先の図５の場合と同様に、図２２の処理は各四辺形候補と入力画像（ＲＧＢ２５６階調）の全ての画素に対して実施される。
入力画像の各画素の座標と画素値（Ｖｒ，Ｖｇ，Ｖｂ）を入力する（ステップ８０１）。また、一つの四辺形候補を入力する（ステップ８０２）。ここでは、初めに第一四辺形候補２０８を入力するとする。そして、入力画素の各画素を注目画素として、以下の処理を行う。

注目画素が、抽出された四辺形（第一四辺形候補）の内部か、周囲か、外部か判定する（ステップ８０３）。注目画素が四辺形の内部の場合には、当該注目画素の画素値は（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ８０４）。注目画素が四辺形の周囲の場合には、当該注目画素の画素値を、一定間隔ごとに、（２５５，０，０）（赤）あるいは（０，０，２５５）（青）と交互に設定する（ステップ８０５）。注目画素が四辺形の外部の場合には、当該注目画素の画素値は（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ８０６）。そして、全ての画素に対する処理が終了した場合などに、所定の画素領域に、当該重畳画像の番号に対応する数字を設定する（ステップ８０７）。例えば、背景を（２５５，２５５，２５５）、数字を（０，０，０）として設定する。

以上の処理を各四辺形毎に繰り返すことにより、各々、四辺形部分が赤と青で交互に強調された重畳画像が作成される。同時に、第一重畳画像には「１」、第二重畳画像には「２」、第三重畳画像には「３」、第四重畳画像には「４」が書き込まれる。

図２３乃至図２６に、本実施形態における重畳画像の具体例を示す。ここで、図２３は第一重畳画像、図２４は第二重畳画像、図２５は第三重畳画像、図２６は第四重畳画像を示している。この場合、重畳画像は一枚ずつ表示し、右ボタン、左ボタンなどの押下で切替えるようにする。

＜重畳画像作成部２０２＞（その６）
図２７に、本実施形態の重畳画像作成の処理フローチャートを示す。本実施形態は、第一から第四の各四辺形候補に対して一枚の重畳画像を作成するものである。
入力画像の各画素の座標と画素値（Ｖｒ，Ｖｇ，Ｖｂ）を入力する（ステップ９０１）。また、第一から第四の四辺形候補を入力する（ステップ９０２）。そして、第一から第四の四辺形候補のうちの一つの四辺形候補を注目四辺形とし、入力画素の各画素を注目画素として、各四辺形候補と、入力画像の全ての画素に対して以下の処理を行う。

注目画素が第一四辺形候補、第二四辺形候補、第三四辺形候補、第四四辺形候補の周囲上か否か判定する（ステップ９０３）。そして、周囲上でない場合には、当該注目画素の画素値を（Ｖｒ，Ｖｇ，Ｖｂ）のままとする（ステップ９０４）。なお、例えば、第一四辺形候補の周囲の線幅を２、残りの四辺形候補の周囲の線幅を１とする。

注目画素が第一四辺形候補、第二四辺形候補、第三四辺形候補、第四四辺形候補の周囲上の場合には、当該注目画素が注目四辺形の周囲上か否か判定する（ステップ９０５）。なお、ここでは、注目四辺形の周囲の線幅は２、残りの四辺形の周囲の線幅は１とする。注目画素が注目四辺形の周囲上の場合には、当該注目画素の画素値を（２５５，０，０）（赤）と設定する（ステップ９０６）。注目画素が、注目四辺形以外の四辺形の周囲上の場合には、当該注目画素の画素値を（０，０，２５５）と設定する（ステップ９０７）。なお、注目画素が注目四辺形の周囲上かつそれ以外の四辺形の周囲上の場合は、注目四辺形の周囲上とする。

図２８に、本実施形態で得られる重畳画像の一例を示す。これは第一四辺形候補を注目四辺形とした場合を示している。
同様にして、注目四辺形を切り替えることにより、第二四辺形候補周囲のみが赤、他の四辺形候補周囲は青の重畳画像や、第三四辺形候補周囲のみが赤で、他の四辺形周囲は青の重畳画像などが作成される。なお、注目四辺形の切り替えは、右ボタン、左ボタン等の押下で行う。

以上、重畳画像作成のいくつかのバリエーションを説明したが、これ以外にも種々の方法が考えられる。これまで説明した方法も含めて、以下にもとめて記述しておく。
形状強調画像が入力画像の画素値に依存するタイプの関数としては、
１．入力画像の輝度値（ＲＧＢ）を他の座標系（ＨＳＶ座標系など）に変換して、変換後の座標系に対し、処理を施し、ＲＧＢ座標系に再変換する関数。
２．入力画像の各画素の周囲の画素値の平均値を算出し、出力値とする関数。
３．入力画像の各画素に対して近傍画素の変化量（微分フィルタ、ガウシアンフィルタなど）などを算出し、出力値とする関数。
４．入力画像の各画素に対して、モザイク処理を行う関数。
５．入力画像の各画素に対して、エンボス加工を行う関数。
６．他の領域（四辺形の内部領域ならば四辺形の外部領域）の（入力時の）平均画素値を算出し、それを入力として出力値を算出する関数。
などがあげられる。

入力画像の輝度値に依存しないタイプの関数としては、
１．領域を市松模様で塗りつぶす関数。
２．領域を白（単一色１）と黒（単一色２）の縦線で表示する関数。
３．領域を真っ白（単一色１）に塗りつぶし、黒（単一色２）でごま塩ノイズを作る関数。
などが挙げられる。

入力画像の輝度値に依存する画素と、依存しない画素を兼ね合わせたタイプの関数としては、入力画像の輝度値に依存する関数と、入力画像の輝度値に依存しない関数とを融合した関数が考えられ、例えば一番目の関数で処理をした画像の上の特定の座標に文字などの記号で塗りつぶす、などが考えられる。
また、先の実施形態（その６）でも触れたように、四辺形周囲の線幅を変化させることも考えられる。

次に、四辺形抽出部２０１の一実施形態として、入力画像から高精度かつ高速に四辺形候補を抽出する方法（特願２００５−２４３９５８）について詳述する。

図２９は、本実施形態の四辺形抽出部２０１の機能ブロック図を示す。四辺形抽出部２０１はエッジ領域検出部２０１１、線分抽出部２０１２、線分生成部２０１３、線分ペア分類・評価部２０１４、四辺形評価部２０１５、四辺形選択部２０１６、から構成される。以下、各部での処理を詳述する。

＜エッジ領域抽出＞
エッジ領域検出部２０１１では、撮影画像である入力画像からエッジ領域を検出する。具体的には、輝度変化の大きい部分を抽出してエッジ領域とする。図３０にエッジ領域検出の処理フローチャートを示す。

まず、入力画像に対してＳobelフィルタやＣannyフィルタなどのエッジ検出フィルタによりフィルタリングを施し、各画素に対して、Ｘ方向の輝度変化量（ｇｈ）、Ｙ方向の輝度変化量（ｇｖ）を計算する（ステップ１００１）。そして、Ｘ変化量ｇｈ、Ｙ変化量ｇｖを入力とする関数ｆ（ｇｈ，ｇｖ）の戻り値が閾値（≦ｇｖ^２＋ｇｈ^２）以上の画素をエッジ部（エッジ画素）とし、関数ｆ（ｇｈ，ｇｖ）の戻り値が閾値以下の画素はエッジ部とみなさず、非エッジ画素とする（ステップ１００２）。次に、Ｘ変化量ｇｈとＹ変化量ｇｖによる２次元空間を複数のグループに分割し、各エッジ画素を、その方向に応じてグループ分けする（ステップ１００３）。実施例では、後述するように、ｇｈとｇｖによる２次元空間を８つに分割し、各エッジ画素をグループ１からグループ８までの８つのグループに区別する。最後に、各グループごとにラベル等で識別してエッジ画像を作成し（ステップ１００４）、エッジ領域分割を行う（ステップ１００５）。

以下に、エッジ検出処理について、より具体的に説明する。ここでは、入力画像の輝度画像は図３１（ｃ）の如くとし、エッジ検出フィルタには図３１（ａ），（ｂ）に示すＳobelフィルタを使用するとする。図３１（ｃ）において、（ｘ00，ｙ00）は画素座標、ｖ00は画素値を表している。他の画素についても同様である。

いま、対象画素は、画素（ｘ11，ｙ11）とする。画素（ｘ11，ｙ11）のＸ方向の輝度変化量ｇｈは、図３１（ａ）に示すＸ方向のＳobelフィルタを図３１（ｃ）の輝度画像に施すことで、次のように求まる。
ｇｈ＝ｖ00×(−１)＋ｖ10×(−２)＋ｖ20×(−１)＋ｖ02×１＋ｖ12×２＋ｖ22×１
また、画素（ｘ11，ｙ11）のＹ方向の輝度変化量ｇｖは、図３１（ｂ）に示すＹ方向のＳobelフィルタを図３１（ｃ）の輝度画像に施すことで、次のように求まる。
ｇｖ＝ｖ00×(−１)＋ｖ01×(−２)＋ｖ02×(−１)＋ｖ20×１＋ｖ21×２＋ｖ22×１
画素（ｘ11，ｙ11）の輝度変化量ｇを、ｇ＝ｇｈ^２＋ｇｖ^２として求め、ｇが所定の閾値（例えば、５０とする）以上の場合、該画素（ｘ11，ｙ11）をエッジ画素とし、閾値以下の場合は非エッジ画素とする。

各画素について上記処理を繰り返すことで、入力画像のエッジ部分が抽出される。入力画像のエッジ部分が抽出されたなら、図３２に示すように、Ｘ方向の輝度変化量ｇｈとＹ方向の輝度変化量ｇｖによる２次元空間を８つに分割し、その方向に応じて、各エッジ画素をグループ１からグループ８のいずれかにグループ分けする。このようにエッジ画素をエッジ方向で区別することで、被写体の周囲に存在するであろう４本のエッジを区別して扱うことができる（長方形の各辺を異なるエッジ領域として抽出することができる）。また、ハフ変換を使用しないでエッジ検出するため、処理を高速化できる。

エッジ画像は、エッジ画素には０（黒）、非エッジ画素には２５５（白）を割り当てることにより作成される。ここでは、エッジ画像は１〜８の各方向グループごとに作成するとする。すなわち、８枚のエッジ画素を作成する。８枚のエッジ画像が、どの方向グループに属するかはラベル等で識別できるようにする。そして、各エッジ画像について、黒連結領域ごとに領域分割し、分割されたそれぞれの領域をエッジ領域とする。ここで、エッジ領域のうち、所定閾値より少ないエッジ画素数から構成されているエッジ領域（黒連結領域）はノイズとして除去する。

なお、エッジ画像は１枚のみとし、各エッジ画素について、例えば、各方向グループごとに異なる色などを割り振って区別することも可能である。

＜線分抽出＞
線分抽出部２０１２では、エッジ領域検出部２０１１で検出された各エッジ領域の画素情報に対して主成分分析を行うことにより各エッジ領域に対応する線分を抽出する。この線分抽出を各方向グループについて行う。図３３に線分抽出の全体的処理フローチャートを示す。また、図３４に具体例を示す。

まず、各エッジ領域の画素情報に対して主成分分析を行い（ステップ１１０１）、線分（直線）を抽出する（ステップ１１０２）。いま、図３４（ａ）のようなエッジ領域が存在したとする。このエッジ領域の画素情報を用いて主成分分析を行うことで、図３４（ｂ）に描かれているような線分（直線）が抽出される。ここで、主成分分析を行った際に、同時に第一主成分の寄与率を求めておき、エッジの線らしさとして直線と併せて保存しておく。続いて図３４（ｃ）に示すように、エッジ領域を囲う最小の矩形を定めて、該矩形と線分の交点を求め、エッジ領域に対応する線分の２端点（の座標）を決定する（ステップ１１０３）。

以上の処理を８枚のエッジ画像から検出された各エッジ領域について実施することで、入力画像中の各エッジ領域に対応する線分の抽出がひとまず完了する。

続いて、ノイズの影響などで、本来一本の直線であるものが途切れて検出されてしまう場合を補うために、８枚のエッジ画像ごとに、各エッジ領域の主成分方向（２方向）に探索を行って隣接するエッジ領域を見つけ、必要なら隣接エッジ領域を統合し、あらためて線分の抽出をやり直す（ステップ１１０４）。図３５に隣接エッジ領域の統合処理のフローチャートを示す。また、図３６に具体的処理例を示す。図３６は、１枚のエッジ画像中の一部分で、エッジ領域３００１、３００２、３００３の３つのエッジ領域が存在することを表している。

まず、着目するエッジ領域の主成分方向（２方向）に規定する画素数だけ探索を行い（ステップ１１１０）、隣接エッジ領域が存在するか否か判定する（ステップ１１１１）。図３６の場合、矢印３０１１、３０１２に示すように、例えばエッジ領域３００１の左右の２つの端点から規定の画素数だけ探索する。図３６で矢印の長さが、探索する規定の画素数を示している。該規定の画素数は、一定値にしてもよいし、エッジ領域に対応する線分の長さをもとに設定してもよい。

図１０の例では、エッジ領域３００１の端点からエッジ領域３００２は規定の画素数以内しか離れていないので、エッジ領域３００１とエッジ領域３００２は隣接エッジ領域と判定されるが、エッジ領域３００１とエッジ領域３００３は規定の画素数以上離れているので、隣接エッジ領域とは判定されない。

次に、隣接エッジ領域が存在する場合、隣接エッジ領域同士の画素情報を合成した合成画素情報を作成し（ステップ１１１２）、合成画素情報に対して主成分分析を行う（ステップ１１１３）。そして、このとき算出されたエッジの線らしさが閾値以上であるか判定し（ステップ１１１４）、閾値以上である場合（主成分の割合が多い）、隣接エッジ領域を統合したエッジ領域を作成して、元のエッジ領域を除去する（ステップ１１１５）。そして、作成した領域に関して、再びステップ１１１０からの処理を行う。これを全てのエッジ領域に対して繰返し、その後、あらためて図３３の処理を実施する。

図３６の場合、隣接エッジ領域と判定されたエッジ領域３０１とエッジ領域３０２の画素情報の合成画素情報を作成し、該合成画素情報に対して主成分分析を行う。そして、エッジの線らしさが閾値以上なら、エッジ領域３０１とエッジ領域３０２を統合して新たなエッジ領域を作成し、エッジ領域３０１とエッジ領域３０２は除去する。そして、新たなエッジ領域に着目して再びステップ１１１０からの処理を行う。

以上のような処理を８枚のエッジ画像について、全てのエッジ領域に対して繰り返す。そして、最終的に残った各エッジ領域に対して図７の処理を行うことで、線分の抽出が完了する。

ここまでの処理では、分かり易いように、８枚のエッジ画像から抽出されたエッジ領域を別々に処理するとしたが、以下の処理では、８枚のエッジ画像から抽出されたエッジ領域を区別せずに扱う。ここで、エッジ領域の総計はＮ１であり、したがって、線分抽出部２０１２で抽出された線分の総計はＮ１本となる。各線分には通し番号がふられているとする。

＜線分生成＞
線分生成部２０１３では、線分抽出部２０１２で抽出されたＮ１本の線分から、必要に応じて新たな線分を生成する処理を行う。エッジ領域抽出部２０１１において、エッジ方向を８方向に分けたことに起因して、同一線分であるにもかかわらず、複数の線分に分割されて認識されてしまう線分が存在する場合がある。そのような場合を補う処理を線分生成部２０１３で行う。線分生成部２０１３は、入力画像が歪曲ゆがみを持つ場合、被写体の背景が複雑な色をしている場合などに対応するための処理である。図３７に線分生成部２０１３の処理フローチャートを示す。また、図３８に具体例を示す。

線分抽出部２０１２で抽出されたＮ１本の線分を入力として（ステップ１２００）、番号ｉと番号ｊの２本の線分を取り出し（ステップ１２０１）、Ｎ１本の線分から２本の線分を選ぶすべての組合せである、Ｎ１×（Ｎ１−１）／２個の線分ペアを生成する（ステップ１２０２）。ここで、各線分ペアには通し番号をつけておく。そして、カウント値Ｃntを１に初期設定し、また、Ｎ２＝Ｎ１とした後（ステップ１２０３）、以下の処理を行う。Ｃntは処理対象線分ペアの番号を表し、Ｎ２は既存の線分（Ｎ１本）＋新たな線分の総計を表す。

カウント値ＣntがＮ１×（Ｎ−１）／２を超えたか判定し（ステップ１２０４）、超えたから処理を終える。超えない場合、Ｃnt番目（最初は１番目）の線分ペアを選択し（ステップ１２０５）、当該線分ペアを構成する２つの線分（線分Ａ、線分Ｂとする）の成す角度を０〜９０°の範囲で算出する（ステップ１２０６）。そして、該線分ペアＡ，Ｂの成す角度が所定の閾値（例えば、５度）以下か判定し（ステップ１２０７）、閾値以上の場合にはＣntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。例えば、線分Ａと線分Ｂの位置関係が、図３８（ａ），（ｂ）のような場合には、線分ペアＡ，Ｂの成す角はθで表される。ここで、図３８の（ａ）は、線分ペアＡ，Ｂの成す角θが閾値以上の場合を示し、（ｂ）は線分ペアの成す角度θが閾値以下の場合を示しているとする。

線分ペアＡ，Ｂの成す角度が閾値以下の場合（例えば、図３８の（ｂ）の場合）、次に、当該線分ペアの距離を測定する（ステップ１２０８）。ここで、線分ペアＡ，Ｂの距離は、以下の１から４の距離の内、最小の値と定義する。
１．線分Ｂを無限に延長した直線と、線分Ａの始点との距離
２．線分Ｂを無限に延長した直線と、線分Ａの終点との距離
３．線分Ａを無限に延長した直線と、線分Ｂの始点との距離
４．線分Ａを無限に延長した直線と、線分Ｂの終点との距離

求まった線分ペアＡ，Ｂの距離が所定の閾値以下か判定し（ステップ１２０９）、閾値以上（距離が離れすぎている）の場合には、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。

一方、線分ペアの距離が所定の閾値以下の場合には、当該線分ペアの線分Ａの始点と終点、線分Ｂの始点と終点との組み合わせの４通りの距離を計算し、そのうちの最大値（距離１）と最小値（距離２）を求める（ステップ１２１０）。そして、次の式（１）
Ｖ＜（線分Ａの長さ＋線分Ｂの長さ＋距離２）／距離１ （１）
を満足するか否か判定する（ステップ１２１１）。ここで、Ｖは所定の閾値である。満足しない場合には、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。

上記式（１）を満たす場合、当該線分ペアを構成する線分Ａと線分ＢのＸ，Ｙ座標の大小関係を比較して、以下の条件
［条件］
（線分Ａの始点と終点のＸ座標が、線分Ｂの始点と終点のＸ座標よりも大きい。
または、線分Ａの始点と終点のＸ座標が、線分Ｂの始点と終点のＸ座標よりも小さい。）
かつ、
（線分Ａの始点と終点のＹ座標が、線分Ｂの始点と終点のＹ座標よりも大きい。
または、線分Ａの始点と終点のＹ座標が、線分Ｂの始点と終点のＹ座標よりも小さい。）
を満足するか否か判定する（ステップ１２１２）。満足しない場合には、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４に戻る。

上記条件を満たす場合、新しい線分を生成する（ステップ１２１３）。新しい線分は、ステップ１２１０で算出した、当該線分ペアの線分Ａの始点と終点、線分Ｂの始点と終点との組み合わせの４通りのうち、距離が最大となる２頂点の組を始点、終点に持つ線分Ｃとする。図３８（ｂ）の例の場合、図３８（ｃ）のように新しい線分Ｃが生成される。既存の線分はそのまま残し、この生成された線分に後続の通し番号を付けて追加する（ステップ１２１４）。そして、Ｎ２を＋１し（ステップ１２１５）、Ｃntを＋１して（ステップ１２１６）、ステップ１２０４へ戻る。

以上の処理を、Ｎ１×（Ｎ１−１）／２個のすべての線分ペアについて繰り返すことで、所望の線分が生成され追加される。このようにして、既存のＮ１本の線分に、この線分生成部２０１３で新たに生成されて追加された線分を加えて、合計Ｎ２本の線分が得られる。

なお、ここでは、図３７のステップ１２０７、１２０９、１２１１、１２１３の各条件がすべて満たす場合に、新しい線分を生成するとしたが、必要に応じて、そのうちの一部の条件でも満たす時、新しい線分を生成するようにしてもよい。また、生成された線分Ｃと既存の線分で新たに線分ペアを作成し、この線分ペアについて、更に新しい線分を生成すべきか否か判定するようにしてもよい。

＜線分ペア分類・評価＞
線分ペア分類・評価部２０１４では、既存のＮ１本の線分と、線分生成部２０１３で新たに生成された（Ｎ２−Ｎ１）本の線分とを加えたＮ２本の線分から、番号ｉと番号ｊの２本の線分を取り出し（これを線分ペアｉ，ｊと呼ぶ）、線分ペアの分類と評価値を設定する。ここでは、無関係、対辺関係、隣接関係の３種類に分類するとする。図３９に線分ペア分類・評価部２０１４の処理フローチャートを示す。

既存の線分に、線分生成部２０１３で生成された線分が加わったＮ２本の線分を入力として（ステップ１３００）、番号ｉと番号ｊの２本の線分（線分ペアｉ，ｊ）を取り出し（ステップ１３０１）、Ｎ２本の線分から２本の線分を選ぶすべての組み合わせである、Ｎ２本（Ｎ２−１）／２個の線分ペアを生成する（ステップ１３０２）。各線分ペアには通し番号をつけておく。そして、カウント値Ｃntを１に初期設定した後（ステップ１３０３）、以下の処理を行う。

カウント値ＣntがＮ２×（Ｎ２−１）／２を超えたか判定し（ステップ１３０４）、超えたなら処理を終える。超えない場合、Ｃnt番目（最初は１番目）の線分ペアを選択し（ステップ１３０５）、当該線分ペアを構成する２つの線分（線分Ａ、線分Ｂとする）の成す角度を０〜９０°の範囲で算出する（ステップ１３０６）。線分ペアの成す角度は、図３８に示したと同様である。ここで、線分ペアの成す角度に応じて以下の処理を行う。なお、α、βは、例えば、統計等によりあらかじめ決めておく。

線分ペアの成す角度が０〜α度の場合には、当該線分ペアの距離を測定する（ステップ１３０７）。そして、線分ペアの距離が所定の閾値以下か判定し（ステップ１３０８）、閾値以下のときは、線分ペアの分類を「無関係」とし、更に該線分ペアの評価値を０に設定する（ステップ１３０９）。線分ペアの距離が閾値以上のときは、該線分ペアの分類を「対辺関係」とし、更に該線分ペアの評価値を０に設定する（ステップ１３１０）。その後、Ｃntを＋１して（ステップ１３１４）、ステップ１３０４へ戻る。

線分ペアの成す角度がα〜β度の場合には、当該線分ペアの分類を「対辺関係」として（ステップ１３１１）、ステップ１３１３の処理に進む。また、線分ペアの成す角度がβ〜９０度の場合には、当該線分ペアの分類を「隣接関係」として（ステップ１３１２）、ステップ１３１３の処理に進む。その後、Ｃntを＋１して（ステップ１３１４）、ステップ１３０４へ戻る。

ステップ１３１３では、当該線分ペアの評価値を、次のようにして求めて設定する。評価値は０〜１までの値で表現する。
１．線分Ａを無限に延長した直線と、線分Ｂを無限に延長した直線の交点Ｏを求める。
２．交点Ｏと線分Ａの始点とのユークリッド距離、交点Ｏと線分Ａの終点とのユークリッド距離を求め、小さい方の距離を距離Ａとする。
３．交点Ｏと線分Ｂの始点とのユークリッド距離、交点Ｏと線分Ｂの終点とのユークリッド距離を求め、小さい方の距離を距離Ｂとする。
４．距離Ａ、距離Ｂを式（２）に代入することにより評価値（Ｖａｌｕｅ）を算出する。

なお、Ｃonst．１は画像サイズに応じた定数である。交点Ｏが画像領域外に存在するときには、Ｃonst．１の値を変更することで、抽出したい四辺形の頂点が画像領域外に存在するときなどにも対応することができる。

本実施例では、線分ペアの分類を３種類（対辺関係、隣接関係、無関係）とし、線分ペアの評価値を１種類としたが、対辺関係にも評価値を設ける方法も考えられる。ただし、分類や評価値の数を増やすと処理時間が増大する。

＜四辺形評価＞
四辺形評価部２０１５では、線分ペア分類・評価部２０１４で得られたＲ組（Ｒ＝Ｎ２（Ｎ２−１）／２）の線分ペアから２組を順次取り出して、その種類と評価値に基づいて、当該２組の線分ペアが形成する四辺形に関して評価値の設定を行う。図４０に四辺形評価部２０１５の処理フローチャートを示す。

線分ペア分類・評価部２０１４で得られたＮ２×（Ｎ２−１）／２個の線分ペアを入力として（ステップ１４００）、Ｐ＝１，Ｒ＝Ｎ２×（Ｎ２−１）／２と設定し（ステップ１４０１）、Ｒ組（Ｒ＝Ｎ２×（Ｎ２−１）／２）の線分ペアから２組の線分ペアの組み合わせをすべて抽出して（ステップ１４０２〜１４０６）、以下の処理を行う。

２組の線分ペアを抽出し、線分ペアＰ、線分ペアＱとする（ステップ１４０７）。なお、線分ペアＰは線分ｉと線分ｊから構成される線分ペアｉ，ｊと等価であり、同様に線分ペアＱは線分ペアｋ，ｌと等価である。

まず、線分ペアＰと線分Ｑが「対辺関係」か否かを調べる（ステップ１４０８）。線分ペアＰと線分Ｑが両方とも「対辺関係」である場合、線分ペアＰ，Ｑを構成する線分ｉ、線分ｊ、線分ｋ、線分ｌが四辺形を成す可能性がある。そこで、次に、４つの線分ペア（線分ペアｊ，ｋ、線分ペアｉ，ｌ、線分ペアｊ，ｋ、線分ペアｊ，ｌ）の評価値が０より大きいか否かを調べる（ステップ１４０９）。４つの線分ペアがすべて０より大きい評価値である場合、線分（直線）ｉと線分ｋの交点ｋの交点ｍ１、線分ｉと線分ｌの交点ｍ２、線分ｊと線分ｌの交点ｍ３、線分ｊと線分ｋの交点ｍ４からなる四辺形を生成する（ステップ１４１０）。そして、この四辺形の評価値Ｖ（ｉ，ｋ，ｊ，ｌ）を、４つの線分ペアの評価値の和とする（ステップ１４１１）。

本実施例では線分ペアの評価値が０より大きいか否かにより判別を行ったが、あらかじめ線分ペアの評価値に対しソートなどを行い、評価値が上位の線分ペアのみを利用するように評価値に閾値を設けると更に処理時間が短くなる。また、ｍ１，ｍ２，ｍ３，ｍ４の座標が画像領域から遠い位置に存在する場合は、Ｖ（ｉ，ｋ，ｊ，ｌ）＝０としてもよい。加えて、四辺形ｍ１ｍ２ｍ３ｍ４が凸四辺形でない場合もＶ（ｉ，ｋ，ｊ，ｌ）＝０としてもよい。

次に、四辺形ｍ１ｍ２ｍ３ｍ４の面積Ｓを求め、Ｖ（ｉ，ｋ，ｊ，ｌ）に乗算する（ステップ１４１２）。なおＳを乗算する代わりに、Ｓとともに単調増加する関数ｇ（Ｓ）を作成し、ｇ（Ｓ）をＶ（ｉ，ｋ，ｊ，ｌ）に乗算、加算することでもよい。

次に、形状により四辺形ｍ１ｍ２ｍ３ｍ４を評価する（ステップ１４１３）。これは、例えば、次のようにして行う。線分ペアｉ，ｊの交点と線分ペアｋ，ｌの交点を２つの消失点とし、２つの消失点を無限遠点に変換するような射影変換行列を求める。この射影変換行列を求めるには、四辺形ｍ１ｍ２ｍ３ｍ４が三次元平面上に存在する平行四辺形であると仮定することで、平面の単位法線ベクトル（ａ，ｂ，ｃ）を算出し（例えば、森北出版、金谷健一著、「画像理解」）を参照）、単位法線ベクトルをカメラの光軸と一致させるような回転移動行列を、入力画像撮影時の焦点距離を利用して求めることができる。そして、四辺形ｍ１ｍ２ｍ３ｍ４を射影変換した射影平行四辺形ｎ１ｎ２ｎ３ｎ４を考え、射影平行四辺形の一つの角度θ（０°〜９０°）を算出する。もし、θが９０°以上となった場合は、そのほかの平行四辺形の角の角度を算出する。求めたθをＶ（ｉ，ｋ，ｊ，ｌ）に乗算する。なお、θを乗算する代わりに、θとともに単調増加する関数ｆ（θ）を作成し、ｆ（θ）をＶ（ｉ，ｋ，ｊ，ｌ）に乗算、加算することでもよい。また、上記面積Ｓやｇ（ｓ）で重み付けされたＶ（ｉ，ｋ，ｊ，ｌ）に、さらにθやｆ（０）を重み付けすることでもよい。

次に、四辺形ｉ，ｋ，ｊ，ｌを構成する４つの線分ペアの交点ｍ１ｍ２ｍ３ｍ４と、評価値Ｖ（ｉ，ｋ，ｊ，ｌ）とをメモリ等に登録する（ステップ１４１４）。

＜四辺形選択＞
四辺形選択部２０１６では、四辺形評価部２０１５にて登録された四辺形のうち、評価値Ｖ（ｉ，ｋ，ｊ，ｌ）が高い順に一つあるいはそれ以上の四辺形（四辺形候補）を選択する。なお、必要に応じて面積による評価値あるいは形状による評価値のいずれか一方を用いて選択することでもよい。図３では、第一四辺形候補２０８、第二四辺形候補２０９、第三四辺形候補２１０、第四四辺形候補２１１が選択されるとしたものである。

以上、本発明の一実施形態について説明したが、本発明は、この実施形態に限定されるものではなく、種々の変更、拡張が可能である。

本発明の画像処理機能が適用されるデジタルカメラ装置の一実施形態の構成図である。 本デジタルカメラ装置の背面の表示部と操作部の一例を示す図である。 本発明の画像処理機能である形状領域強調画像生成・表示制御部の一実施形態の機能ブロック図である。 入力画像の一例である。 図３中の重畳画像作成部の第一実施形態の処理フローチャート例である。 第一実施形態の重畳画像例である。 第一実施形態の別の重畳画像例である。 第一実施形態の更に別の重畳画像例である。 図３中の四辺形抽出結果変形部の一実施形態の処理状態遷移図である。 注目重畳画像の切り替えの一例である。 注目重畳画像に対応する四辺形の変形を説明する図である。 同じく注目重畳画像に対応する四辺形の変形を説明する図である。 同じく注目重畳画像に対応する四辺形の変形を説明する図である。 同じく注目重畳画像に対応する四辺形の変形を説明する図である。 射影変換画像の一例である。 図３中の重畳画像作成部の第二実施形態の処理フローチャート例である。 第二実施形態の重畳画像例である。 図３中の重畳画像作成部の第三実施形態の処理フローチャート例である。 第三実施形態の重畳画像例である。 図３中の重畳画像作成部の第四実施形態の処理フローチャート例である。 第四実施形態の重畳画像例である。 図３中の重畳画像作成部の第五実施形態の処理フローチャート例である。 第五実施形態の重畳画像例である。 同じく第五実施形態の重畳画像例である。 同じく第五実施形態の重畳画像例である。 同じく第五実施形態の重畳画像例である。 図３中の重畳画像作成部の第六実施形態の処理フローチャート例である。 第六実施形態の重畳画像例である。 図３中の四辺形抽出部の一実施形態を示す機能ブロック図である。 図２９中のエッジ領域検出部の処理フローチャート例である。 エッジ検出フィルタの一例と該フィルタが適用される輝度画像の一例である。 輝度の縦変化量と横変化量による２次元空間の分割の一例である。 図３９中の線分抽出部の全体的処理フローチャート例である。 線分抽出の具体例である。 図３３中のステップ１１０４の詳細な処理フローチャート例である。 隣接エッジ領域の探索の具体例である。 図２９中の線分生成部の処理フローチャート例である。 線分生成の具体例である。 図２９中の線分ペア分類・評価部の処理フローチャート例である。 図２９中の四辺形評価部の処理フローチャート例である。

符号の説明

２０１ 四辺形抽出部
２０２ 重畳画像作成部
２０３ 四辺形抽出結果変形部
２０４ 射影変換処理部
２０５ 画像表示制御部
２０６ 四辺形情報記憶部
２０７ 四辺形記憶部
２１２ 重畳画像記憶部
２１７ 注目重畳画像管理部
２１８ 射影変換画像記憶部
２１９ 入力画像記憶部
２２０ 頂点情報記憶部

Claims (14)

1. 入力画像から四辺形を抽出し該四辺形を用いてあおり補正を行う画像処理方法であって、
   入力画像から複数の四辺形を抽出する工程と、
   各々の四辺形に対応して、入力画像に当該四辺形を重畳し、四辺形領域を強調した複数の重畳画像を作成するとともに、複数の重畳画像中の一つを注目重畳画像として、他の重畳画像とは区別がつくように作成する工程と、
   前記注目重畳画像を含む複数の重畳画像を表示する工程と、
   利用者の操作に応じて前記注目重畳画像を切り替え、最終的に利用者の決定した注目重畳画像を選択する工程と、
   前記選択した注目重畳画像に対応する四辺形のデータに基づいて射影変換行列を算出し、該射影変換行列に基づいて入力画像に対して射影変換を施す工程と、
   を有することを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記注目重畳画像を含む複数の重畳画像を同時に表示することを特徴とする画像処理方法。
3. 請求項１に記載の画像処理方法において、
   前記注目重畳画像を含む複数の重畳画像を順次切り替えて表示することを特徴とする画像処理方法。
4. 請求項２もしくは３に記載の画像処理方法において、
   前記注目重畳画像を拡大して表示することを特徴とする画像処理方法。
5. 請求項１乃至４のいずれか１項に記載の画像処理方法において、
   前記選択した注目重畳画像について、利用者の操作に応じて四辺形の形状を変更する工程を更に有し、
   前記入力画像に対して射影変換を施す工程は、前記変更後の四辺形のデータに基づいて射影変換行列を算出し、該射影変換行列に基づいて入力画像に対して射影変換を施すことを特徴とする画像処理方法。
6. 請求項１乃至５のいずれか１項に記載の画像処理方法において、
   前記入力画像から複数の四辺形を抽出する工程は、
   入力画像から複数のエッジ領域を検出するエッジ領域検出工程と、
   前記検出された複数のエッジ領域に対応する複数の線分を抽出する工程と、
   前記抽出された複数の線分から、２つの線分（以下、線分ペア）の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する工程と、
   複数の線分ペアから、２つの線分ペアの組み合わせを選択し、それぞれ、２つの線分ペアの４つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する工程と、
   前記算出された四辺形評価値に基づいて複数の四辺形を選択する工程と、
   を有することを特徴とする画像処理方法。
7. 入力画像から四辺形を抽出し該四辺形を用いてあおり補正を行う画像処理装置であって、
   入力画像から複数の四辺形を抽出する手段と、
   各々の四辺形に対応して、入力画像に当該四辺形を重畳し、四辺形領域を強調した複数の重畳画像を作成するとともに、複数の重畳画像中の一つを注目重畳画像として、他の重畳画像とは区別がつくように作成する手段と、
   前記注目重畳画像を含む複数の重畳画像を表示する手段と、
   利用者の操作に応じて前記注目重畳画像を切り替え、最終的に利用者の決定した注目重畳画像を選択する手段と、
   前記選択した注目重畳画像に対応する四辺形のデータに基づいて射影変換行列を算出し、該射影変換行列に基づいて入力画像に対して射影変換を施す手段と、
   を有することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記注目重畳画像を含む複数の重畳画像を同時に表示することを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置において、
   前記注目重畳画像を含む複数の重畳画像を順次切り替えて表示することを特徴とする画像処理装置。
10. 請求項８もしくは９に記載の画像処理装置において、
    前記注目重畳画像を拡大して表示することを特徴とする画像処理装置。
11. 請求項７乃至１０のいずれか１項に記載の画像処理装置において、
    前記選択した注目重畳画像について、利用者の操作に応じて四辺形の形状を変更する工手段を更に有し、
    前記入力画像に対して射影変換を施す手段は、前記変更後の四辺形のデータに基づいて射影変換行列を算出し、該射影変換行列に基づいて入力画像に対して射影変換を施すことを特徴とする画像処理装置。
12. 請求項７乃至１１のいずれか１項に記載の画像処理装置において、
    前記入力画像から複数の四辺形を抽出する手段は、
    入力画像から複数のエッジ領域を検出するエッジ領域検出手段と、
    前記検出された複数のエッジ領域に対応する複数の線分を抽出する手段と、
    前記抽出された複数の線分から、２つの線分（以下、線分ペア）の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する２つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する手段と、
    複数の線分ペアから、２つの線分ペアの組み合わせを選択し、それぞれ、２つの線分ペアの４つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する手段と、
    前記算出された四辺形評価値に基づいて複数の四辺形を選択する手段と、
    を有することを特徴とする画像処理装置。
13. 画像を表示するためのディスプレイを備えたデジタルカメラ装置であって、
    請求項７乃至１２のいずれか１項に記載の画像処理装置の各手段を具備することを特徴するデジタルカメラ装置。
14. 請求項１乃至６のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムを記録したことを特徴とする記録媒体。

Images