JP6486603B2 - 画像処理装置 - Google Patents

Description

本発明は、斜めから撮像された撮像画像を正対する位置から撮像された画像に補正する画像処理装置に関する。

近年、文書や名刺、黒板、看板などをデジタルカメラや携帯電話に搭載されたカメラで撮像し、画像として保存する用途が拡がっている。文書などを画像として保存する場合、画像上での形状が変形しないよう、対象物に対して正対する位置から撮像することが望ましい。しかしながら、正対する位置から撮像すると撮像者の影が画像に映り込んでしまい画質が劣化する場合や、正対する位置にカメラを配置することが出来ない場合があり、そのような場合、斜めから撮像することがある。文書などを斜めから撮像する場合、実物とは異なる形状に変形して撮像されるため、好ましい画像として保存できない。

そこで、斜めから撮像された画像を、正対する位置から撮像された画像に補正する技術がある。例えば、特許文献１では、被写体の複数の点をユーザに指定させ、その情報に基づいて補正パラメータを算出し画像を補正することで、正対する位置から撮像した画像に補正する画像補正装置が開示されている。

特開２００５−１１５７１１号公報

しかしながら、特許文献１に記載の画像補正装置は以下の課題を有している。書類などを斜めから撮像する場合は、以下の課題がある。図２７（Ａ）は、被写体２７０１を斜めから撮像した画像を示している。また、図２７（Ｂ）、（Ｃ）はそれぞれ、図２７（Ａ）の上部と下部の拡大図を示している。図２７（Ａ）は、被写体２７０１の下部にフォーカスを合わせて撮像されており、図２７（Ｂ）に示すように、被写体２７０１の下部は鮮明に撮像されているが、図２７（Ｃ）に示すように、被写体２７０１の上部は不鮮明に撮像されている。図２７（Ａ）のように、書類などの被写体を斜めから撮像する場合、被写体の位置によって撮像装置からの距離が異なるため、フォーカス位置から離れるに従ってぼけて撮像される。特に、近景にある被写体を撮像する場合は、被写界深度が狭くなるため、大きくぼけることになる。撮像画像がぼけている場合、補正した画像も同様にぼけてしまい、高画質な補正画像が得られない。また、ぼけているため、撮像画像から直線やコーナーを検出することが難しく、補正する被写体を正確に検出することが困難となる。

本発明は上記の点に鑑みてなされたものであり、斜めから撮像されたフォーカス位置の異なる複数の画像を合成することで被写界深度を拡大するとともに、正対画像に補正することができる画像処理装置を提供することを目的とする。

本発明の一観点によれば、異なるフォーカス位置で撮像された複数の画像の位置合わせを行い、前記位置合わせを行った複数の画像の合焦度に基づいて画像を合成し被写界深度の深い合成画像を生成する画像合成部を備える画像処理装置であって、前記合成画像から補正する領域を選択する補正対象領域選択部と、前記補正対象領域選択部で選択された領域を正対画像に補正する補正画像生成部と、を有することを特徴とする画像処理装置が提供される。

「複数の画像の合焦度に基づいて」とは、例えば、高い画像の画素を選択または加重平均することである。

本発明によれば、斜めから撮像されたフォーカス位置の異なる複数の画像を合成することで被写界深度を拡大するとともに、正対した位置から撮像した画像に補正することができる。

本発明の第１の実施形態に係る画像処理装置を含む撮像装置の一構成例を示す機能ブロック図である。 画像処理装置の制御部の一構成例を示す機能ブロック図である。 異なるフォーカス位置で撮像された複数の画像から被写界深度の深い画像を合成する画像処理の流れを示すフローチャート図である。 図３の処理を行う画像処理装置の一構成例を示す機能ブロック図である。 被写体を斜めから撮像した画像を示しており、図５（Ａ）は近景、図５（Ｂ）は中景、図５（Ｃ）は遠景にフォーカスを合わせて撮像した画像である。図５（Ｄ）は合成画像である。 斜めから撮像された画像から補正対象位置を選択し、補正画像を生成する画像処理の流れを示すフローチャート図である。 図６の処理を行う画像処理装置の一構成例を示す機能ブロック図である。 フォーカス位置に依存する被写体の画像例を示す図である。 ハフ変換において、直線Ｌと画像中央（原点）からの距離をρとし、直線と直交する直線とｘ軸とのなす角をθとする場合を示す図である。 補正対象領域選択を示す図であり、図１０（Ａ）は、エッジ画像を示しており、図１０（Ｂ）は、エッジ画像上に、抽出した直線を重ねて表示した画像を示す図である。 選択された補正対象領域を示す図である。 撮像装置の光軸をｘ軸、画像（撮像素子）の水平方向をｘ軸、垂直方向をｙ軸とした空間に、図１１の四角形を配置した図である。 図１３（Ａ）は、四角形の向かい合う２辺をｗｉｄｔｈに合わせて補正する様子を示す図であり、図１３（Ｂ）は、向かい合う２辺をｈｅｉｇｈｔに合わせて補正する様子を示す図である。 図１４（Ａ）は、被写体を撮像した画像を示し、図１４（Ｂ）は画像のエッジ画像を示す図である。 画像において、補正対象領域として４本の線で囲まれる領域を選択した様子を示す図である。 水平な平面を斜め方向から撮像する図である。 加速度センサを具備する撮像装置の様子を示す図である。 垂直な平面を撮像装置で撮像する様子を示す図である。 平面を横（側方）から見た図を示す図である。 異なるフォーカス位置で撮像した５枚の画像中のある被写体におけるコントラストの大きさを例示した図である。 異なるフォーカス位置で撮像した５枚の画像中のある被写体におけるコントラストの大きさを例示した図である。 図２２（Ａ）は撮像画像を示しており、図２２（Ｂ）は、被写体の４辺と推定できる選択した直線を画像外に延長し、４本の直線の交点を頂点とする四角形を補正対象領域とした様子を示す図である。 図２３（Ａ）は撮像画像を示しており、図２３（Ｂ）は、正対画像に補正し、補正画像上で長方形となるよう、被写体の上辺と平行な直線を設定した様子を示す図である。 図２４（Ａ）は撮像画像を示しており、図２４（Ｂ）のように直線が多数ある場合は、適切に直線を選択する様子を示す図である。 撮像画像を示しており、画像内には実際には長方形をなす第１の被写体と第２の被写体が存在する様子を示す図である。 長方形の被写体２６０１を斜めから撮像した画像である。 図２７（Ａ）は、被写体を斜めから撮像した画像を示し、図２７（Ｂ）、（Ｃ）はそれぞれ、図２７（Ａ）の上部と下部の拡大図を示す図である。

本明細書において、斜めから撮像するとは、正対しない位置から撮影することを意味する。
以下、図面を参照しながら本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置（図１では、画像処理部１０４として示されている。）を含む撮像装置１０の一構成例を示す機能ブロック図である。

撮像装置１０は、制御装置１００、撮像部１０１、画像表示部１０２を含んで構成される。

制御装置１００は、制御部１０３、画像処理部１０４、記憶装置１０５を含んで構成される。

撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）等の撮像デバイスやレンズ、レンズ駆動部などを含んで構成される。

画像表示部１０２は、制御装置１００から出力された出力画像信号が示す画像を表示する。画像表示部１０２は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。画像表示部１０２は、タッチパネル機能を備えていてもよい。タッチパネルとは、表示画面に表示された絵や領域に触れることを感知して外部へ情報信号として出力する装置である。タッチパネルには、操作した位置の電圧を感知する抵抗膜方式や、指先と導電膜の間での静電容量の変化を捉えて位置を検出する静電容量方式などがあり、操作者の画面上での位置情報や操作に対応した動作を行なう。

制御部１０３は、撮像部１０１のレンズ（図示せず）の駆動や、電源ボタンやシャッタボタンなどの入力装置（図示せず）からの入力信号の受信、画像表示部１０２への画像表示などの制御を行う。制御部１０３は、撮像装置１０に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のハードウェアがプログラムを実行することで実現される。

制御部１０３は、図２に示すように、フォーカス制御部１０３−１と、被写体選択受付部１０３−２と、撮像制御部１０３−３とを有している。画像処理部１０４は、入力された複数の入力画像に対して鮮鋭度などを解析し、解析結果に基づいて１枚の画像を合成する。また、画像処理部１０４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアで実現することができる。

図３は、本実施形態において、異なるフォーカス位置で撮像された複数の画像から被写界深度の深い画像を合成する画像処理の流れを示すフローチャート図である。撮像部１０１で撮像されたフォーカス位置の異なる複数の画像は、画像処理部１０４に入力される（Ｓ３０１）。次に、複数の画像の中から、特徴点抽出用の画像が設定され、特徴点が抽出される（Ｓ３０２）。特徴点が抽出されると、特徴点を抽出した画像以外の画像から、Ｓ３０２で抽出された特徴点に対応する対応点を探索する（Ｓ３０３）。対応点が探索されると、特徴点と対応点の位置関係から、複数の画像間の回転量や並進量やフォーカス位置の変化に伴う拡大縮小率を算出し、複数の画像間で対応する位置を一致させる補正パラメータを算出する（Ｓ３０４）。補正パラメータが算出されると、合成時に基準とする画像に、他の画像が一致するよう、他の画像を補正する（Ｓ３０５）。各画像の対応する位置が一致するよう補正されると、各画像の合焦度を評価する（Ｓ３０６）。そして、画像の各領域について、各画像の合焦度に基づいて、フォーカスの合っている画像の画素値を選択して合成することで、被写界深度の拡大した画像を生成する（Ｓ３０７）。尚、Ｓ３０１〜Ｓ３０７までは、図４に示すように、機能部として、特徴点抽出部１０４−１、対応点探索部１０４−２、補正パラメータ算出部１０４−３、画像補正部１０４−４、合焦度評価部１０４−５、画像合成部１０４−６として設けられていても良い。

図５（Ａ）、（Ｂ）、（Ｃ）は被写体５０１を斜めから撮像した画像を示しており、図５（Ａ）は近景、図５（Ｂ）は中景、図５（Ｃ）は遠景にフォーカスを合わせて撮像した画像であり、後述の方法で図５（Ａ）、（Ｂ）、（Ｃ）を合成することで、図５（Ｄ）に示すような近景から遠景までフォーカスの合った画像を生成する。

次に、図３に示したフローチャートの各ステップの詳細について述べる。
Ｓ３０１では、異なるフォーカス位置で複数の画像を撮像する。各画像のフォーカス位置は、隣接するフォーカス位置間に位置する被写体が大きくぼけない程度の間隔に設定すれば、後述するＳ３０７の画像合成において不自然にぼけた領域が存在しない、好適な被写界深度拡大画像が得られる。また、フォーカス位置をユーザに指定させることで、以下の効果が得られる。例えば、撮像装置に備える表示画面に撮像するシーンのプレビュー画面を表示し、ユーザに被写体の最も近景側を選択させ、その選択された位置を基準に他の画像のフォーカス位置を中景・遠景側に設定すると、近景から遠景まで鮮明に撮像された被写界深度拡大画像を合成することができる。また、オートフォーカス機能の合焦度を含むフォーカス情報に基づいてフォーカス位置を設定すれば、撮像時のユーザの操作は、通常のオートフォーカス機能を用いて１枚の画像を撮像する場合と同様の操作となり、ユーザへの負担が小さい。オートフォーカス機能によりフォーカス位置を設定する場合に、画像中央にフォーカスが合うよう設定すれば、以下の効果が得られる。平面に置かれた被写体を斜めから撮像する場合、撮像装置から被写体までの距離は、画面内で一定の方向に変化するため、画面中央部は必ず中景の距離に位置する領域が撮像されることになる。したがって、画面中央に位置する被写体にフォーカスが合うよう１つのフォーカス位置を設定し、他のフォーカス位置を、オートフォーカスで設定したフォーカス位置より近い側と遠い側にそれぞれ設定すれば、近景・中景・遠景それぞれにフォーカスの合った画像を撮像することが出来る。また、フォーカス位置を変えて複数枚撮像する際に、フォーカス位置の移動方法を同一方向にすることで、以下の効果がある。後述のＳ３０２、３０３の特徴点抽出処理、対応点探索処理において、特徴点に対応する対応点を探索する場合、複数の画像間の類似度が高い方が探索しやすい。フォーカス位置を同一方向に変化させて撮像する場合、フォーカス位置が隣接する画像間の撮像間隔が短いことから、被写体位置のずれが小さく、精度の高い対応点探索が可能になる。

次に、Ｓ３０２、Ｓ３０３における特徴点抽出処理と対応点探索処理について述べる。特徴点を抽出するための画像を「特徴点抽出画像」とする。また、特徴点抽出画像の特徴点に対応する点を探索する画像を「対応点探索画像」とする。Ｓ３０３で対応点探索画像の対応点を探索する際、比較する２つの画像の類似度が高い方が、対応点を探索しやすいため、例えば、画像が３枚の場合には、フォーカス位置が中間である中景の被写体に合焦している画像を特徴点抽出画像とすることが好ましい。画像が３枚の時と同様に、画像が４枚以上の場合でも、比較する２つの画像の類似度が高くなるよう、特徴点抽出画像と対応点探索画像をそれぞれ設定すると良い。

次に、Ｓ３０２の特徴点抽出処理について述べる。特徴点としては、対応点探索に好適な領域の位置を抽出する。例えば、被写体における角部を含むコーナー形状は、特徴点として好適である。コーナー形状が含まれる位置を特徴点として対応点を探索すれば、類似度の高い位置が１点に決まる可能性が高く、信頼度の高い対応点探索が可能となる。コーナー形状を特徴点として抽出する場合は、モラベックのコーナー検出法やハリスのコーナー検出法など既知のコーナー検出法により特徴量評価領域を評価し、抽出することができる。また、コーナー形状と同様に、Ｔ字や十字、エッジの先端といった形状も、被写体における角部や辺部を含むため特徴点として好適である。なお、画像の解像度が大きい場合、特徴量評価領域の解像度も相対的に大きくなり、処理量が増大するため、画像の解像度に応じて画像を縮小し、縮小した画像上で特徴点抽出することで、処理量を削減することができる。

次に、Ｓ３０３の対応点探索処理について述べる。複数の画像間で対応する位置を探索する方法として、例えば、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を比較する画像から選択する方法である。類似度の評価には様々な評価関数が用いられる。例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と言われる、両画像の画素値や輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。

次に、Ｓ３０４の補正パラメータの算出処理とＳ３０５の画像補正処理について述べる。文書などの静止した被写体を撮像する場合、撮像時に撮像装置が大きく動かなければ、画像全体を１つのパラメータで拡大縮小、回転、並進することで、精度良く補正することができる。Ｓ３０４では、Ｓ３０２、３０３で抽出、探索した特徴点と対応点が一致するよう、補正パラメータとして拡大縮小率、回転量、並進量を算出する。

次に、Ｓ３０６の合焦度評価処理について述べる。合焦度は画像のコントラストで評価することができる。コントラストは、例えば、注目画素を中心とする所定の領域内における、隣接画素間の画素値の差から算出することができる。フォーカスが合わず画像がぼけていれば、ぼけにより平均化され隣接画素の画素値の差は小さくなるため、隣接画素間の画素値の差が大きいほどフォーカスが合っていると判断することができる。コントラスト算出に用いる画素値は、例えば、ＲＧＢ値を用いることができる。また、ＲＧＢ値のうち、いずれか１色だけ用いることで処理量を削減することができる。また、ＹＵＶ形式の画像であれば、Ｙ値を用いてもよい。Ｙ値を用いることで、ＲＧＢ３色用いる場合と比較して処理量を低減することができる。また、ＲＧＢ値からＹ値を算出して用いてもよい。ＲＧＢ値からＹ値の算出は、例えば、以下の式で算出することができる。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ・・・（式０）

次に、Ｓ３０７の画像合成処理について述べる。Ｓ３０７では、Ｓ３０６で算出した各画像の合焦度に基づいて、画像の各位置において最も合焦度の高い画像の画素を選択して合成することで、被写界深度の深い画像を合成する。被写体が２つのフォーカス位置の間に位置する場合は、合焦度の高い画像が複数存在する可能性があるため、合焦度に基づいて加重平均して合成してもよい。青空などの平坦領域については、どのフォーカス位置で撮像した画像もコントラストが小さく画像間のコントラストの差がない。そのような領域は、補正基準画像の画素値を選択してもよいし、複数の画像を平均化してもよい。複数の画像を平均化することで、ノイズが低減される効果が得られる。

以上説明したように、文書などの被写体を斜めから撮像する場合に、異なるフォーカス位置で複数の画像を撮像し、合焦度の高い画像の画素を選択して合成することで、被写界深度の深い画像を合成することができる。被写界深度の深い画像を合成することで、後述の方法で、斜めから撮像した画像を正対画像に補正した場合に、近景から遠景まで全域にフォーカスの合った高画質な補正画像を得ることが出来る。更に、全域にフォーカスが合うことで、より好適に、後述の直線検出や補正対象領域抽出を行うことができる。

次に、文書などの被写体を斜めから撮像した画像を、正対画像に補正する方法について述べる。図６は、本実施形態において、斜めから撮像された画像から補正対象位置を選択し、補正画像を生成する画像処理フローを示している。上述のＳ３０１からＳ３０７によって、被写界深度拡大画像が生成される（Ｓ６０１）。

次に、被写界深度拡大画像から、エッジ成分を抽出したエッジ画像を生成する（Ｓ６０２）。エッジ画像が生成されると、エッジ画像中から直線を検出する（Ｓ６０３）。直線が検出されると、検出された直線で囲まれた補正対象領域を選択する（Ｓ６０４）。補正対象領域が選択されると、選択された領域を正対した位置から撮像した画像に補正するための補正パラメータを算出する（Ｓ６０５）。補正パラメータが算出されると、補正パラメータに基づいて補正画像を生成する（Ｓ６０６）。尚、Ｓ６０１〜Ｓ６０６までは、図７に示すように、機能部として、エッジ画像生成部１０４−７、直線検出部１０４−８、補正対象領域選択部１０４−９、補正パラメータ算出部１０４−１０、補正画像生成部１０４−１１として設けられていても良い。

次に、図６に示したフローチャートの各ステップの詳細について述べる。
Ｓ６０２では、エッジ画像を生成する。エッジ画像は隣接画素との画素値の差分を計算することで生成することが出来る。注目画像の画素値をｆ（ｘ、ｙ）として、
ｆ（ｘ、ｙ）−ｆ（ｘ−１、ｙ）・・・（式１）
を計算すれば、ｙ方向のエッジを検出することが出来る。また、
ｆ（ｘ、ｙ）−ｆ（ｘ、ｙ−１）・・・（式２）
を計算すれば、ｘ方向のエッジを検出することが出来る。また、
ｆ（ｘ、ｙ）−ｆ（ｘ−１、ｙ−１）・・・（式３）
ｆ（ｘ、ｙ）−ｆ（ｘ＋１、ｙ−１）・・・（式４）
を計算すれば、斜め方向のエッジを検出することが出来る。また、
４×ｆ（ｘ、ｙ）−ｆ（ｘ、ｙ−１）−ｆ（ｘ−１、ｙ）−ｆ（ｘ＋１、ｙ）−ｆ（ｘ、ｙ−１）・・・（式５）
と上下左右４近傍との差分を計算すれば、ｘ、ｙ方向のエッジを大きさ検出することが出来る。

図８（Ａ）は、被写体８０２全体にフォーカスの合った画像８０１を示している。また、図８（Ｂ）は、被写体８０２の手前側にフォーカスを合わせて撮像した画像８０３を示している。図８（Ｃ）は、画像８０１に対してラプラシアンフィルタをかけて算出したエッジ画像８０４を示しており、被写体８０２の上下左右の４辺のエッジを確認することが出来る。一方、図８（Ｄ）は、入力画像８０３に対してラプラシアンフィルタをかけて算出したエッジ画像８０５を示しており、被写体８０２の上辺を確認することが出来ない。したがって、画像８０３とエッジ画像８０５では、後述する補正対象領域の設定を好適に行うことが困難となるが、画像８０１のように近景から遠景まで全域にフォーカスの合った画像であれば、補正対象領域を設定しやすくなる。

次に、Ｓ６０３の直線検出について述べる。直線は、エッジ画像に対しハフ変換を行うことで検出することが出来る。ハフ変換は、画像上の直線を、画像上の所定の位置からの距離ρ、所定の直線とのなす角がθとなる直線として表す方法である。画像上の点（ｘ、ｙ）を通り、ｘ軸とのなす角をθとすると、原点から直線までの距離ρは、
ρ＝ｘ×ｃｏｓθ＋ｙ×ｓｉｎθ・・・（式６）
と表わされる。したがって、直線は（ρ、θ）の組み合わせにより表わすことが出来る。そして、（ρ、θ）で表わされる直線上にあるエッジ数を計数し、線上に多くのエッジが存在する直線を、直線として検出する方法である。図９は、ハフ変換において、直線Ｌと画像中央（原点）からの距離をρとし、直線と直交する直線とｘ軸とのなす角をθとする場合を示している。

次に、Ｓ６０４の補正対象領域選択について述べる。図１０（Ａ）は、エッジ画像１００１を示しており、図１０（Ｂ）は、エッジ画像１００１上に、抽出した直線を重ねて表示した画像１００２を示している。画像１００２に示すように、四角形をなす４本の直線Ｌ１〜Ｌ４までを抽出し、４直線Ｌ１〜Ｌ４までで囲まれる四角形の領域ＡＲ１を、補正対象領域とする。

次に、Ｓ６０５の補正パラメータ算出について述べる。Ｓ６０５では、Ｓ６０４で抽出された四角形（補正対象領域）の領域ＡＲ１を正対した位置から撮像した画像に補正するパラメータを算出する。図１１は、Ｓ６０４で選択された補正対象領域を示しており、四角形１１０１の各点の座標を、Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）とする。ここで、Ｐ１からＰ４の各座標は、撮像素子上の位置（画像上の座標×画素ピッチで表わされる）とする。

図１２は、撮像装置の光軸をｚ軸、画像（撮像素子）の水平方向をｘ軸、垂直方向をｙ軸とした空間に、図１１の四角形１１０１を配置した図である。Ｐ１、Ｐ２、Ｐ３、Ｐ４は画像上の点であり、ｚ座標は撮像装置の焦点距離ｆである。Ｑ１（Ｘ１、Ｙ１、Ｚ１）、Ｑ２（Ｘ２、Ｙ２、Ｚ２）、Ｑ３（Ｘ３、Ｙ３、Ｚ３）、Ｑ４（Ｘ４、Ｙ４、Ｚ４）はそれぞれ、Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応する実空間内の点を示す。Ｑ１、Ｑ２、Ｑ３、Ｑ４がなす四角形１２０１が長方形であると仮定すると、Ｑ２、Ｑ３、Ｑ４の座標は、
Ｘ２＝Ｘ１＋ΔＸ１・・・（式７）
Ｙ２＝Ｙ１＋ΔＹ１・・・（式８）
Ｚ２＝Ｚ１＋ΔＺ１・・・（式９）
Ｙ３＝Ｘ１＋ΔＸ１＋ΔＸ２・・・（式１０）
Ｘ３＝Ｙ１＋ΔＹ１＋ΔＹ２・・・（式１１）
Ｚ３＝Ｚ１＋ΔＸ１＋ΔＺ２・・・（式１２）
Ｘ４＝Ｘ１＋ΔＸ２・・・（式１３）
Ｙ４＝Ｙ１＋ΔＹ２・・・（式１４）
Ｚ４＝Ｚ１＋ΔＺ２・・・（式１５）
となる。

ここで、ΔＸ１、ΔＹ１、ΔＺ１は、ベクトルＱ１Ｑ２のＸ成分、Ｙ成分、Ｚ成分であり、ΔＸ２、ΔＹ２、ΔＺ２はベクトルＱ１Ｑ４のＸ成分、Ｙ成分、Ｚ成分である。そして、四角形１２０１を含む平面上の点Ｑ（Ｘ，Ｙ、Ｚ）が撮像される画像上の点をＰ（ｘ、ｙ、ｆ）とすると、
ｘ＝Ｘ×ｆ／Ｚ・・・（式１６）
ｙ＝Ｙ×ｆ／Ｚ・・・（式１７）
となる。

更に、１２０１が長方形をなす条件から、
Ｘ１＝ｘ１×Ｚ１／ｆ・・・（式１８）
Ｙ１＝ｙ１×Ｚ１／ｆ・・・（式１９）
Ｚ１＝Ｚ１・・・（式２０）
ΔＸ１＝（ｘ２−ｘ１＋ｋ１×ｘ２）×Ｚ１／ｆ・・・（式２１）
ΔＸ１＝（ｙ２−ｙ１＋ｋ１×ｙ２）×Ｚ１／ｆ・・・（式２２）
ΔＸ１＝ｋ１×Ｚ１・・・（式２３）
ΔＸ２＝（ｘ４−ｘ１＋ｋ２×ｘ４）×Ｚ１／ｆ・・・（式２４）
ΔＸ２＝（ｙ４−ｙ１＋ｋ２×ｙ４）×Ｚ１／ｆ・・・（式２５）
ΔＸ２＝ｋ２×Ｚ１・・・（式２６）
となる。ｋ１、ｋ２は
ｋ１＝（（ｘ１−ｘ２＋ｘ３−ｘ４）×（ｙ４−ｙ３）−（ｘ４−ｘ３）×（ｙ１−ｙ２＋ｙ３−ｙ４））／（（ｘ２−ｘ３）×（ｙ４−ｙ３）−（ｘ４−ｘ３）×（ｙ２−ｙ３））・・・（式２７）
ｋ２＝（（ｘ２−ｘ３）×（ｙ１−ｙ２＋ｙ３−ｙ４）−（ｘ１−ｘ２＋ｘ３−ｘ４）×（ｙ２−ｙ３））／（（ｘ２−ｘ３）×（ｙ４−ｙ３）−（ｘ４−ｘ３）×（ｙ２−ｙ３））・・・（式２８）
と表わされる。

１２０１上の点Ｑは、ベクトルＱ１Ｑ２をＶ１、ベクトルＱ１Ｑ４をＶ２とすると、
Ｐ＝Ｑ１＋ｍ×Ｖ１＋ｎ×Ｖ２・・・（式２９）
と表わされる。

上述の関係式から、点Ｑに対応する画像上の点Ｐ（ｘ、ｙ）は、
ｘ＝（ｍ×（ｘ２−ｘ１＋ｋ１×ｘ２）＋ｎ×（ｘ４−ｘ１＋ｋ２×ｘ４）＋ｘ１）／（１＋ｍ×ｋ２＋ｎ×ｋ１）・・・（式３０）
ｙ＝（ｍ×（ｙ２−ｙ１＋ｋ１×ｙ２）＋ｎ×（ｙ２−ｙ１＋ｋ１×ｙ２）＋ｙ１）／（１＋ｍ×ｋ１＋ｎ×ｋ２）・・・（式３１）
と表わされる。

また、Ｖ１、Ｖ２の長さは
｜Ｖ１｜＝（（ｘ２−ｘ１＋ｋ１×ｘ２）＾２＋（ｙ２−ｙ１＋ｋ１×ｙ２）＾２＋
（ｋ１×ｆ）＾２）＾０．５／（ｆ／Ｚ１）・・・（式３２）
｜Ｖ２｜＝（（ｘ４−ｘ１＋ｋ２×ｘ４）＾２＋（ｙ４−ｙ１＋ｋ２×ｙ４）＾２＋
（ｋ２×ｆ）＾２）＾０．５／（ｆ／Ｚ１）・・・（式３３）
と表わされるから、長方形Ｑ１Ｑ２Ｑ３Ｑ４の長辺と短辺の比は、
｜Ｖ１｜／｜Ｖ２｜＝（ｘ２−ｘ１＋ｋ１×ｘ２）＾２＋（ｙ２−ｙ１＋ｋ１×ｙ２）＾２＋（ｋ１×ｆ）＾２）＾０．５／（（ｘ４−ｘ１＋ｋ２×ｘ４）＾２＋（ｙ４−ｙ１＋ｋ２×ｙ４）＾２＋（ｋ２×ｆ）＾２）＾０．５）・・・（式３４）
と表わされる。

四角形１１０１を、水平解像度ｗｉｄｔｈ、垂直解像度ｈｅｉｇｈｔの画像内に納まるように補正する場合、補正前の点を（ｓ、ｔ）、補正後の点を（ｕ、ｖ）とすると、補正前の点（ｓ、ｔ）は式３０、式３１から算出することができ、長辺と短辺の比｜Ｖ１｜／｜Ｖ２｜が画像の縦横比ｗｉｄｔｈ／ｈｅｉｇｈｔより大きい場合は、
ｍ＝ｕ×（｜Ｖ１｜／｜Ｖ２｜）／ｗｉｄｔｈ・・・（式３５）
ｎ＝ｖ／ｗｉｄｔｈ・・・（式３６）
とすれば、図１３（Ａ）に示すように、四角形１１０１の向かい合う２辺をｗｉｄｔｈに合わせて補正することが出来る（矢印参照）。また、長辺と短辺の比｜Ｖ１｜／｜Ｖ２｜が画像の縦横比ｗｉｄｔｈ／ｈｅｉｇｈｔより小さい場合は、ｍとｎを
ｍ＝ｕ／ｈｅｉｇｈｔ・・・（式３７）
ｎ＝ｖ／（（｜Ｖ１｜／｜Ｖ２｜）×ｈｅｉｇｈｔ）・・・（式３８）
とすれば、図１３（Ｂ）に示すように、向かい合う２辺をｈｅｉｇｈｔに合わせて補正することが出来る（矢印参照）。

なお、上述の式から補正画像を生成する場合、補正前の（ｓ、ｔ）は必ずしも画素上に存在するとは限らないため、バイリニア法やニアレストネーバー法、バイキュービック法などの補間方法により画素値を算出すればよい。

以上述べたように、文書などの被写体を斜めから撮像する場合に、異なるフォーカス位置で複数撮像し、複数の画像の位置合わせを行い、複数の画像の中からフォーカスの合った画素を選択して合成することで被写界深度の深い画像を生成し、被写界深度の深い画像から補正対象領域を選択し、正対した位置から撮像した画像に補正を行うことで、画像全体がぼけのない高画質な補正画像を生成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、Ｓ６０４の補正対象領域選択に画像から得られる情報や撮像装置の撮像条件を利用して精度を向上する。

第１の実施形態では、補正対象領域選択部で選択された領域を、実空間内で長方形をなすと仮定して正対画像に補正する。しかしながら、選択した補正対象部が、必ずしも長方形をなしているとは限らない。図１４（Ａ）は、被写体１４０２と被写体１４０３を撮像した画像１４０１を示している。被写体１４０２は実空間で長方形であり、正対画像を得たい被写体である。図１４（Ｂ）は画像１４０１のエッジ画像１４０４を示している。画像１４０４には、補正対象として選択したい被写体１４０２のエッジからなる直線以外に、被写体１４０３のエッジからなる直線も存在する。例えば、画像１４０４において、補正対象領域として図１５に灰色で示す４本の線Ｌ１１〜Ｌ１４までで囲まれる領域を選択した場合、実際には長方形ではない領域を長方形に補正することになり、補正画像が変形する。そこで、第２の実施形態では、撮像装置の光軸と被写体のなす角θを算出し、選択した補正対象領域が実際に長方形であるかを判定する形状判定部を有する。

図１６は、水平な平面１６０１を斜め方向から撮像する図を示しており、原点をＯとし、原点から撮像素子１６０２までの距離（焦点距離）をｆ、原点から平面１６０１までの距離をｗとする。ＸＺ平面と平面１６０１との交線をＵ軸、ＹＺ平面と平面１６０１との交線をＶ軸とし、Ｚ軸と平面１６０１の交点をＰ（０、０）とする。また、平面１６０１に垂直な軸をｇ軸とし、Ｚ軸とｇ軸のＹＺ平面内でのなす角をθとする。また。平面１６０１上の点Ｑ(ｕ、ｖ)は、撮像素子１６０２上の点ｑ（ｘ、ｙ）に対応しており、ｘ、ｙはそれぞれ、
ｘ＝ｆ×ｕ／（ｗ＋ｖ×ｓｉｎθ）・・・（式３９）
ｙ＝f×ｖ×ｃｏｓθ／（ｗ＋ｖ×ｓｉｎθ）・・・（式４０）
と表わせる。点ｑ（ｘ、ｙ）は点Ｑ(ｕ、ｖ)を斜めから見た場合に投影される座標であるから、点Ｑ(ｕ、ｖ)を正面から見た場合に投影される座標に変換する。変換前の座標を（ｘ’、ｙ’、ｚ’）、変換後の座標を（ｕ、ｖ、１）とすると、変換パラメータをａ１１からａ３３を用いて、
ｘ’＝ａ１１×ｕ＋ａ１２×ｖ＋ａ１３・・・（式４１）
ｙ’＝ａ２１×ｕ＋ａ２２×ｖ＋ａ２３・・・（式４２）
ｚ’＝ａ３１×ｕ＋ａ３２×ｖ＋ａ３３・・・（式４３）
と表わすことができ、撮像素子上での変換前後の座標の関係は、
ｘ＝ｘ’／ｚ’＝（ａ１１×ｕ＋ａ１２×ｖ＋ａ１３）／（ａ３１×ｕ＋ａ３２×ｖ＋ａ３３）・・・（式４４）
ｙ＝ｙ’／ｚ’＝（ａ２１×ｕ＋ａ２２×ｖ＋ａ２３）／（ａ３１×ｕ＋ａ３２×ｖ＋ａ３３）・・・（式４５）
となる。式３９、４０、４４、４５から、変換パラメータａ１１からａ３３はそれぞれ、
ａ１１＝１・・・（式４６）
ａ１２＝０・・・（式４７）
ａ１３＝０・・・（式４８）
ａ２１＝０・・・（式４９）
ａ２２＝ｃｏｓθ・・・（式５０）
ａ２３＝０・・・（式５１）
ａ３１＝０・・・（式５２）
ａ３２＝ｓｉｎθ／ｆ・・・（式５３）
ａ３３＝ｗ／ｆ・・・（式５４）
となる。

以上述べた変換は、画像の垂直方向の変換を表わす。また、同様に、水平方向の変換は、Ｚ軸とｇ軸のＸＺ平面でのなす角をφとすると、変換パラメータをｂ１１からｂ３３を用いて、
ｘ’＝ｂ１１×ｕ＋ｂ１２×ｖ＋ｂ１３・・・（式５５）
ｙ’＝ｂ２１×ｕ＋ｂ２２×ｖ＋ｂ２３・・・（式５６）
ｚ’＝ｂ３１×ｕ＋ｂ３２×ｖ＋ｂ３３・・・（式５７）
と表わせ、変換パラメータｂ１１からｂ３３はそれぞれ、
ｂ１１＝ｃｏｓφ・・・（式５８）
ｂ１２＝０・・・（式５９）
ｂ１３＝０・・・（式６０）
ｂ２１＝０・・・（式６１）
ｂ２２＝１・・・（式６２）
ｂ２３＝０・・・（式６３）
ｂ３１＝ｓｉｎφ／ｆ・・・（式６４）
ｂ３２＝０・・・（式６５）
ｂ３３＝ｗ／ｆ・・・（式６６）
となる。

カメラの光軸がｇ軸に対して、ＸＺ平面内でも傾いており、ＹＺ平面内でも傾いている場合は、式４１、４２、４３、式５５、５６、５７の合成により、変換パラメータを求めることができる。

以上述べたように、平面に対する光軸の傾きが得られれば、正対画像に補正することが可能である。正対画像が得られれば、選択した補正対象領域が、正対画像上でどのような形状をしているかを確認することができ、補正対象領域として適切か否かを判定することができる。

次に、平面に対する光軸の傾き算出方法について述べる。撮像装置の傾きを得る方法として、例えば、加速度センサによる測定値を利用する方法がある。ここでは、角度を加速度センサなどの角度検出部（図１の角度検出部１０６）により求める例を示す。

図１７は、加速度センサを具備する撮像装置１７０１を示している。図１７に示すように、撮像装置１７０１の光軸方向をＺ軸とし、撮像装置１７０１の上向きをＹ軸、横向きをＸ軸とする。そして、重力加速度のかかる方向をｇ軸とする。加速度センサで重力加速度を検出し、検出した重力加速度をＸ、Ｙ、Ｚ軸成分に分けることで、ｇ軸方向に対する撮像装置の角度を求めることができる。また、被写体までの距離を算出し、算出した距離に基づいて被写体と撮像装置の光軸とのなす角を算出することで、更に、補正対象領域を適切に選択することが出来る。

上述の加速度センサの値を用いる方法の場合、撮像装置と重力加速度とのなす角が算出されるため、撮像する平面と重力加速度が所定の角度をなしているという前提が必要となる、前述の例では、平面は水平であると仮定した。しかしながら、実際に撮像する平面は水平でない場合もある。

図１８は、垂直な平面１８０１を撮像装置１８０２で撮像しており、撮像装置１８０２の光軸であるＺ軸は水平であり、Ｙ軸と重力加速度の働く方向ｇ軸が平行な状態となっている。図１８のような状況においては、平面１８０１と撮像装置１８０２とのなす角は、Ｙ軸方向の回転角度に依存するが、加速度センサから得られる各方向の成分ｇｘ、ｇｙ、ｇｚは、
ｇｘ＝０・・・（式６７）
ｇｙ＝ｇ・・・（式６８）
ｇｚ＝０・・・（式６９）
で一定であるから、加速度センサの値から平面１８０１と撮像装置１８０２とのなす角を算出することは出来ない。

そこで、被写体までの距離を算出して、撮像装置と平面のなす角を算出する。図１９は、平面１９０１を横（側方）から見た図を示しており、撮像装置の光軸であるＺ軸と平面１９０１とのなす角はθである。原点Ｏを図に示すようにとり、平面１９０１とＺ軸との交点をＰとし、Ｐとは異なる平面１９０１上の点をＱとし、ＱからＺ軸に下ろした垂線とＺ軸との交点をＱ’とし、Ｏから平面１９０１に下ろした垂線と平面１９０１の交点をＲとする。また、∠ＰＯＱはαであり、ＯＰの長さをＬ１、ＯＱ’の長さをＬ２、ＯＲの長さをＨとする。三角形ＯＰＲからＨは、
Ｈ＝Ｌ１×ｓｉｎθ・・・（式７０）
三角形ＯＱＱ’からＯＱは、
ＯＱ＝Ｌ２／ｃｏｓα・・・（式７１）
三角形ＯＱＲからＨは、
Ｈ＝Ｌ２／ｃｏｓα×ｓｉｎ（θ−α）・・・（式７２）
と表わすことができ、式（７０）、（７２）から
ｓｉｎθ＝Ｌ２×ｓｉｎα／（Ｌ１＾２×ｃｏｓα＾２−２×Ｌ１×Ｌ２×ｃｏｓα＾２＋Ｌ２＾２）＾０．５・・・（式７３）
と計算でき、平面１９０１と撮像装置とのなす角θを算出することができる。

式（７０）から式（７３）により、Ｚ軸と平面とのなす角、即ち、平面に対する撮像装置のＸ軸方向の回転量の算出方法について述べたが、Ｙ軸、Ｚ軸についても同様に、被写体までの距離情報から、平面に対する傾きを算出することができる。

以上に説明したように、撮像装置から撮像する平面までの距離を算出することで、平面の向きに依らず、撮像装置と平面のなす角を算出することができ、算出した角度に基づいて正対画像に補正することで、長方形の領域を好適に補正対象領域として選択することが出来る。

また、被写体までの距離は、測距センサで測定することが出来る。また、２つの撮像装置を設け、視点の異なる２枚の画像の視差値から距離を算出することも出来る。また、フォーカス位置の異なる複数の画像から距離を推定することも出来る。

図２０は、異なるフォーカス位置で撮像した５枚の画像中のある被写体（図示せず）におけるコントラストの大きさを示している。縦軸はコントラストの大きさ、横軸は撮像時のフォーカス位置を示しており、コントラストが大きいほど、フォーカスが合っていることを示している。図２０において、３枚目の画像の点２００３が最もコントラストが大きくなっていることから、被写体は、３枚目の撮像時のフォーカス位置２００６近くにある可能性が高いことがわかる。

また、図２１は、異なるフォーカス位置で撮像した５枚の画像中のある被写体（図示せず）におけるコントラストの大きさを示している。図２１の場合、３枚目の画像の点２１０３と４枚目の画像の点２１０４が最もコントラストが大きくなっていることから、被写体は、３枚目の撮像時のフォーカス位置と４枚目の撮像時のフォーカス位置の間２１０６にある可能性が高い。図２０、図２１を用いて説明したように、フォーカス位置の異なる画像から被写体までの距離を算出することで、被写体と撮像素子との距離を求め、図１９に示すように、撮像装置と平面とのなす角を求めることが出来る。

以上述べたように、第２の実施形態では、加速度センサから得られる撮像装置の傾きや被写体までの距離から、平面と撮像装置の光軸とのなす角を求め、求めたなす角に基づいて撮像画像を正対画像に補正することで、選択した補正対象領域が実際に長方形であるか否かを判定することで、補正対象領域を誤った形状に補正する確率を低減することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図２６（Ａ）、（Ｂ）は、長方形の被写体２６０１を斜めから撮像した画像である。図２６（Ａ）のように、被写体２６０１全体が画像内に入っていれば、被写体２６０１の４隅の点を指定することは出来るが、図２６（Ｂ）のように、被写体２６０１の一部が画像外となっている場合は、被写体２６０１の４隅の点を指定することが出来ないため、正しい補正パラメータを算出することが出来ず、正対する位置から撮像された画像（以後、「正対画像」と呼ぶ）に補正することが困難となる。また、ユーザに指定させることは、ユーザにとって負担となるため、自動で補正する被写体を指定する方が好ましい。

そこで、第３の実施形態では、補正対象領域の候補が多数ある場合や、４本の直線が抽出出来ない場合において、画像から得られる情報や撮像装置の撮像条件を利用して、好適に補正対象領域を選択する。

図２２（Ａ）は撮像画像２２０１を示しており、画像２２０１内には補正対象としたい被写体２２０２がある。図２２（Ａ）では、被写体２２０２の４隅が画像内に映っていないため、直接指定することは出来ない。そこで、図２２（Ｂ）に示すように、被写体２２０２の４辺と推定できる選択した直線Ｌ２１〜Ｌ２４を画像外に延長し、４本の直線の交点２２０３、２２０４、２２０５、２２０６を頂点とする四角形を補正対象領域とする。

図２３（Ａ）は撮像画像２３０１を示しており、画像２３０１内には補正対象としたい被写体２３０２がある。図２３（Ａ）では、画像内に３本の直線しかないため、図２２のように、直線を延長することで長方形の補正対象領域を選択することが出来ない。そこで、平面と撮像装置の光軸とのなす角に基づいて、図２３（Ｂ）に示すように正対画像に補正し、補正画像上で長方形となるよう、被写体２３０２の上辺２３０３と平行な直線を設定する。直線を設定する場合、画像２３０１内に含まれる被写体２３０２をすべて含むよう、図２３（Ｂ）に点線で示す直線２３０４を選択すればよい。直線２３０４は、画像２３０１内に点線で示す直線２３０５に対応しており、図２３（Ａ）における補正対象領域は、画像２３０１内の３直線と、直線２３０５で囲まれる四角形とすればよい。補正対象領域を選択するために十分な直線が得られていない場合も、平面と撮像装置の光軸とのなす角から好適に長方形をなす領域を選択することが出来る。

次に、補正対象領域の候補が多数ある場合について述べる。図２４（Ａ）は撮像画像２４０１を示しており、画像２４０１内には補正対象としたい被写体２４０２がある。図２４（Ｂ）は、画像２４０１のエッジ画像２４０３を示している。エッジ画像２４０３には、補正対象領域としたい被写体２４０２の外枠のエッジ２４０４、２４０５、２４０６、２４０７以外にも、エッジ２４０８、２４０９、２４１０が含まれる。

図２４（Ｂ）のように直線が多数ある場合は、適切に直線を選択する必要がある。特に、被写界深度の深い画像の場合は、近景から遠景までフォーカスが合っているため、画像全体から多くの直線が抽出される可能性が高い。適切に直線を選択する方法として、第２の実施形態で述べたように、正対画像上で長方形であるかを判定することで、長方形でない斜めの直線を除外することが出来る。

また、図２４（Ｂ）のように、エッジ２４０８、２４０９、２４１０はいずれも被写体２４０２のエッジ２４０６やエッジ２４０７と平行である場合は、いずれの直線を選択しても長方形をなすことになる。そこで、平行な直線が複数ある場合は、他の直線との交点の有無から信頼度を判定することが出来る。水平方向の５本のエッジ２４０６、２４０７、２４０８、２４０９、２４１０のうち、垂直方向のエッジ２４０４、２４０５と交点を持つエッジは、２４０６と２４０７であり、２４０８、２４０９、２４１０は交わっていないことから、２４０６と２４０７の方が選択する直線として好適であると判定することが出来る。

また、文書や名刺、黒板、看板などは長方形である場合が多く、補正対象領域の４隅がコーナーであるため、交点の中でも、コーナー形状の交点はより信頼度が高いと言える。

また、補正対象領域の縦横比から判定することも出来る。選択した補正対象領域の縦横比は式（３４）で求め、１：１００など、現実的でない縦横比が算出された場合は、除外することが出来る。

また、ユーザは補正対象領域を意図して小さく撮像する可能性は低いため、選択された補正対象領域が画像の一部（例えば、第一象限のみ、など）に偏っている場合は、他に適切な補正対象領域が存在する可能性が高い。

図２５は撮像画像２５０１を示しており、画像２５０１内には実際には長方形をなす被写体２５０２と被写体２５０３がある。図２５の場合、被写体２５０２のエッジ、被写体２５０３のエッジ共に抽出することが出来、信頼度の高い補正対象領域が２つ存在することになる。このような場合は、より面積の大きい被写体２５０３のエッジを補正対象領域とする方が好適である。面積の小さい被写体２５０２のエッジを補正対象領域とすると、被写体２５０３の一部が画像外となり、情報が失われてしまうためである。

以上述べたように、第３の実施形態では、画像から得られる情報や撮像装置の撮像条件を利用して、信頼度の高い補正対象領域を選択することで、直線が多数ある場合や、４本の直線が抽出出来ない場合においても、好適に補正対象領域を選択する。

処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

本発明は、以下の開示を含む。
（１）
異なるフォーカス位置で撮像された複数の画像の位置合わせを行い、前記位置合わせを行った複数の画像の合焦度に基づいて画像を合成し被写界深度の深い合成画像を生成する画像合成部を備える画像処理装置であって、
前記合成画像から補正する領域を選択する補正対象領域選択部と、
前記補正対象領域選択部で選択された領域を正対画像に補正する補正画像生成部と、を有することを特徴とする画像処理装置。
斜めから撮像されたフォーカス位置の異なる複数の画像を合成することで被写界深度を拡大するとともに、正対した位置から撮像した画像に補正することで、補正する被写体を正確に検出することができる。
（２）
前記画像合成部は、
合焦度の高い画像の画素を選択または加重平均することを特徴とする（１）に記載の画像処理装置。
複数の画像を平均化することで、ノイズが低減される効果が得られる。
（３）
さらに、前記合成画像のエッジ画像を生成するエッジ画像生成部と、前記エッジ画像中から直線を検出する直線検出部と、を備え、
前記補正対象領域選択部は、前記直線検出部により検出された直線で囲まれた領域を補正対象領域として選択する（１）又は（２）に記載の画像処理装置。
前記直線検出部により検出された直線で囲まれた領域を補正対象領域として選択することで、補正対象領域を正確に特定することができる。
（４）
さらに、前記補正対象領域選択部により選択された領域を前記補正画像生成部により正対した位置から撮像した画像に補正するための補正パラメータを求める補正パラメータ算出部を有する（１）から（３）までのいずれか１に記載の画像処理装置。
（５）
前記補正対象領域選択部により選択した補正対象領域が、長方形であるか否かを判定する形状判定部を有する（１）から（４）までのいずれか１に記載の画像処理装置。
実際には長方形ではない領域を長方形に補正することがなくなる。
（６）
前記形状判定部は、
撮像装置の光軸と被写体のなす角θを算出し、選択した補正対象領域が実際に長方形であるかを判定する（５）に記載の画像処理装置。
長方形か否かを簡単に判定することが可能となる。
（７）
前記補正対象領域選択部は、
撮像装置の光軸と撮像する平面とのなす角を算出する角度検出部で検出した角度に基づいて正対画像に補正した画像上で略長方形をなす領域を前記補正対象領域として選択することを特徴とする（１）に記載の画像処理装置。
（８）
前記補正対象領域選択部は、
前記補正対象領域の候補が複数存在する場合に、前記複数の補正対象領域の面積に基づいて前記補正対象領域を選択することを特徴とする（１）又は（７）に記載の画像処理装置。
（９）
さらに、撮像装置の光軸と被写体のなす角を算出し、求めたなす角に基づいて撮像画像を正対画像に補正することで、選択した補正対象領域が実際に長方形であるか否かを判定する（１）又は（７）に記載の画像処理装置。
（１０）
前記補正対象領域選択部は、
前記補正対象領域の候補が複数存在する場合に、水平方向のエッジのうち、垂直方向のエッジと交点を持つエッジを優先的に選択する（１）又は（７）に記載の画像処理装置。
交点を持つ方を優先することで対象領域を適切に判定できる。
（１１）
前記交点の中でも、コーナー形状の交点を優先する（１０）に記載の画像処理装置。
文書や名刺、黒板、看板などは長方形である場合が多く、補正対象領域の４隅がコーナーであるため、交点の中でも、コーナー形状の交点はより信頼度が高い。
（１２）
複数の長方形がある場合には、より面積の大きい領域を選択する（１）又は（７）に記載の画像処理装置。
面積の小さい被写体のエッジを補正対象領域とすると、被写体の一部が画像外となり、情報が失われてしまうためである。
（１３）
（７）又は（８）に記載の画像処理装置を備えた撮像装置であって、
前記角度検出部は、前記平面までの距離に基づいて前記なす角を検出することを特徴とする撮像装置。
（１４）
前記角度検出部は、前記複数の画像の合焦度と撮像時のフォーカス設定値から前記平面までの距離を算出し、算出した距離に基づいて前記なす角を検出することを特徴とする（１３）に記載の撮像装置。
（１５）
異なるフォーカス位置で撮像された複数の画像の位置合わせを行い、前記位置合わせを行った複数の画像の合焦度に基づいて画像を合成し被写界深度の深い合成画像を生成する画像合成部を備える画像処理装置における画像処理方法であって、
前記合成画像から補正する領域を選択する補正対象領域選択ステップと、
前記補正対象領域選択ステップで選択された領域を正対画像に補正する補正画像生成ステップと、を有することを特徴とする画像処理方法。
（１６）
（１５）に記載の画像処理方法を、コンピュータに実行させるためのプログラム。

本発明は、画像処理装置に利用できる。

１０…撮像装置、１００…制御装置、１０１…撮像部、１０２…画像表示部、１０３…制御部、１０４…画像処理部、１０５…記憶装置。

Claims (3)

1. 異なるフォーカス位置で撮像された複数の画像を合成した合成画像を生成する画像合成部と、
   前記合成画像から、撮像装置の光軸と撮像された平面とがなす角に基づいて正対画像に補正した場合に略長方形となる領域を選択する補正対象領域選択部と、
   前記補正対象領域選択部で選択された領域を正対画像に補正する補正画像生成部と、を有する画像処理装置、および
   前記平面までの距離に基づいて前記なす角を検出する角度検出部を備えていることを特徴とする撮像装置。
2. 前記補正対象領域選択部は、
   前記領域の候補となる候補領域が複数存在する場合に、各候補領域の面積に基づいて前記領域を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記角度検出部は、前記複数の画像の合焦度と撮像時のフォーカス設定値から前記平面までの距離を算出し、算出した距離に基づいて前記なす角を検出することを特徴とする請求項１または２に記載の撮像装置。