JP4169462B2

JP4169462B2 - 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体

Info

Publication number: JP4169462B2
Application number: JP2000253005A
Authority: JP
Inventors: 憲彦村田; 貴史北口; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-08-26
Filing date: 2000-08-23
Publication date: 2008-10-22
Anticipated expiration: 2020-08-23
Also published as: US7268803B1; JP2001134751A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル式画像入力装置で被写体面を斜め方向から撮影したときに生ずる画像の斜め撮影による歪みを補正する画像処理装置及び画像処理方法に関する。
【０００２】
また、本発明は、被写体面を分割して撮影した複数枚の画像から画像の斜め撮影による歪みの無い合成画像を作成する画像処理装置及び画像処理方法に関する。
【０００３】
本発明は、デジタルスチルカメラ及びデジタルビデオカメラを利用した紙面入力及び画像合成、非接触ハンディスキャナ、並びに、その他のデジタル式画像機器に適用される。
【０００４】
【従来の技術】
近年、コンピュータ・ネットワークの急速な進歩とともに、あらゆる局面で重要な情報を素早く取得する必要性が生じている。それに伴い、携帯型の入力装置を用いて平面状の文書や写真を簡便かつ高精度に入力することへの要求が高まっている。従来、デジタルスチルカメラのような画像入力装置を用いて、Ａ４版程度の大きさの紙面文書等の被写体面を撮影して得られた画像情報を活用するという応用例がある。
【０００５】
しかし、この応用例では、画像入力装置の撮像面が被写体面に対して平行ではない状態で紙面を撮影した場合に、得られた画像に斜め撮影による画像の歪みが生じ、取得した紙面情報の判読性が低下することが知られている。この斜め撮影による画像の歪みを、以降「あおり歪み」と呼ぶ。
【０００６】
このあおり歪みを補正するため、従来、幾つかの発明が提案されている。例えば、特開平３−９４３８３号に記載された発明は、既知の固定形状を想定し、この固定形状内に入力画像を配置して、固定形状の歪み方を調べることにより、本来の平面上での形状に復元する変換パラメータを発見し、入力画像のあおり歪みを補正する。しかし、特開平３−９４３８３号に記載された発明では、撮影対象を形状が既知の固定図形内に配置する必要があるので、撮影対象、例えば、紙面を撮影するために面倒な作業が必要である。
【０００７】
また、特開平５−１０１２２１号に記載された発明は、被写体面に直交格子を導入した後に被写体面を撮影し、撮影された画像中の各格子点の空間座標を求め、撮像面に設けられた座標系に直交変換を施して射影することにより、画像歪みを補正する。しかし、この特開平５−１０１２２１号に記載された発明では、被写体面に直交格子を重ね合わせ、各格子点の２次元座標を手動で入力するという作業が必要であり、簡便な動作で被写体面を撮影することが困難である。
【０００８】
また、特開平９−２８９６００号に記載された発明は、カメラの撮像面と被写体面とのなす傾斜角を入力する角度設定部と、被写体までの距離を測定する測距部とを設け、角度設定部を用いて入力された傾斜角に対応した状態で被写体面を撮影することにより、入力された傾斜角と、測距部で検出された被写体面距離とに基づいて、被写体を正面から見た画像に一致するように撮影された画像を補正する。しかし、特開平９−２８９６００号に記載された発明では、角度設定部を操作して、撮像面と被写体面とのなす傾斜角を手動で正確に入力することは非常に困難であり、その結果として高い精度で画像のあおり歪みを補正することが困難になる。
【０００９】
さらに、特開平１１−９８４８５号に記載された発明は、回転軸に固定されたカメラの方向に関する情報に基づいて、撮影対象の幾何形状が正しく再現されるように画像のあおり歪みを補正する。この場合、原稿面と撮像面との間の距離及び傾斜角はカメラの機械的な構造及び配置によって決定される。そのため、特開平１１−９８４８５号に記載された発明では、カメラを一定の高さに固定し、かつ、回転軸周りに回転可能になるように設置する必要があるため、装置が大掛かりになると共に装置コストが上昇するという欠点がある。また、この発明は、カメラ固定機構の機械的構造によって利用者が被写体を撮影する条件が制限され、すなわち、携帯型の画像入力装置に適用できないという欠点がある。
【００１０】
一方、携帯型の画像入力装置を用いて獲得されるべき情報は、Ａ４版程度のサイズには限られず、例えば、新聞紙等の大面積の紙面情報、並びに、パネルや壁に描かれた情報を高い解像度で読み込むことが要求される。そのため、従来、携帯可能な画像入力装置でこれらの大きい被写体を分割撮影して、得られた複数枚の画像を貼り合わせて、１枚の合成画像を作成して解像度の大きい画像を得るという応用例が知られている。この応用例は、被写体が平面状であるとみなせる場合には、アフィン変換や射影変換のような幾何補正式を用いて、被写体の一部を分割撮影した画像を貼り合わせる技術である。この技術の概要は、文献『コンピュータビジョン −技術評論と将来展望−』（松山隆司ほか、新技術コミュニケーションズ）に記載されている。上記技術の原理は、各分割画像の被写体像を、規準となる画像における被写体の見え方に変換して、画像を貼り合わせるということである。しかし、基準となる画像において被写体像にあおり歪みが生じていた場合、貼り合わせた画像においてもあおり歪みが含まれるという問題点がある。
【００１１】
この原理についてさらに詳しく説明すると、図３７に示されるように、被写体像を写像する基準となる画像面Ｉ0 を想定し、この基準となる画像面Ｉ0 を引き伸ばした面に分割画像Ｉで得られた被写体像を写像することにより、合成画像を作成する。すなわち、この合成画像は、基準となる画像面Ｉ0 を拡大した広画角の光学系を用いて、被写体面を撮影した画像と等価である。したがって、合成画像においては、通常の撮影よりも遠近の効果が反映され、より大きなあおり歪みが生じ易いという問題点がある。
【００１２】
【発明が解決しようとする課題】
本発明は、以上の従来技術の問題点に鑑みてなされたものであり、撮像面と被写体面とが正対していない状態で携帯型デジタル画像入力装置によって獲得された被写体面の画像の歪みを補正する画像処理方法の提供を目的とする。また、本発明は、携帯型デジタル画像入力装置によって獲得された複数の画像から画像のあおり歪みの補正された高精細な合成画像を容易に作成することができる画像処理方法の提供を目的とする。
【００１３】
さらに、本発明は、上記画像の歪みを補正し、高精細な合成画像を作成する画像処理方法を実施する画像処理装置、デジタルカメラ、及び、画像処理システム、並びに、画像処理プログラムを記録した記録媒体の提供を目的とする。
【００１４】
【課題を解決するための手段】
上記の課題を解決するため、本発明の画像処理方法は、平面状の被写体である被写体面を斜め撮影したことによる画像の歪みを補正する画像処理方法であって、撮影装置にて前記被写体面を互いに重複して撮影した少なくとも２枚の視差のある画像を入力する工程と、前記入力された少なくとも２枚の視差のある画像のうち、互いに被写体面が重複する第１及び第２の画像に対し、前記被写体面の重複部分について前記第１の画像から特徴点及び前記第２の画像から当該特徴点に対応する点である対応点を検出する工程と、前記検出された特徴点と対応点とに基づいて、前記第１又は第２の画像を撮影したときの当該撮影装置と被写体面の向きとの関係を算出する工程と、前記算出された前記撮影装置と被写体面の向きとの関係に基づいて、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正する工程とを含むことを特徴とする。
【００１７】
また、上記の課題を解決するため、本発明の画像処理装置は、平面状の被写体である被写体面を斜め撮影したことによる画像の歪みを補正する画像処理装置であって、撮影装置にて前記被写体面を互いに重複して撮影した少なくとも２枚の視差のある画像を入力する画像入力部と、前記画像入力部が入力した少なくとも２枚の視差のある画像のうち、互いに被写体面が重複する第１及び第２の画像に対し、前記被写体面の重複部分について前記第１の画像から特徴点及び前記第２の画像から当該特徴点に対応する点である対応点を検出する対応検出部と、前記対応検出部が検出した特徴点と対応点とに基づいて、前記第１又は第２の画像を撮影したときの当該撮影装置と被写体面の向きとの関係を算出すると共に、前記算出された前記撮影装置と被写体面の向きとの関係に基づいて、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正する画像歪み補正部とを備えることを特徴とする。
【００１９】
また、上記の課題を解決するため、本発明のデジタルカメラは、上記の画像処理装置を備えることを特徴とする。
【００２１】
また、上記の課題を解決するため、本発明のコンピュータ読み取り可能な記録媒体は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したことを特徴とする。
【００２２】
【発明の実施の形態】
図１は本発明による画像処理システムの一実施例の略構成図である。同図に示すように、画像処理システムは、被写体を撮影し上記被写体の画像を表すデジタル映像信号を発生させるデジタル撮像部２と、デジタル映像信号に画像処理を施す画像処理部３とを含み、上記被写体面の斜め撮影による画像の歪みを補正する。画像処理部３は、上記デジタル撮像部２に接続され、被写体面が投影された少なくとも２枚の視差のある画像を記憶する画像メモリ４と、上記画像メモリ４に記憶された上記画像の中の一対の第１及び第２の画像に対し、上記被写体面の同一部分に対応した上記第１の画像の特徴点及び上記第２の画像の対応点を検出する対応検出部５と、上記特徴点と上記対応点に基づいて上記被写体面の向きを計算し、上記被写体面の向きを用いて上記一対の画像の中のいずれか一方の画像を上記被写体面と平行な面に投影することにより、歪みが補正された新たな画像を上記画像メモリに作成する画像歪み補正部６とを含む。
【００２３】
画像処理部３は、上記画像メモリ４に記憶された上記２枚以上の画像の視差が無くなるように上記２枚以上の画像を座標変換し、貼り合わせることにより作成された合成画像を上記画像メモリ４に記憶させる画像合成部７を更に有する。
【００２４】
また、画像処理部３は、上記画像メモリ４に記憶された画像が撮影されたときの上記デジタル撮像部２の光学系の幾何情報を取得し、上記一対の画像の間の上記幾何情報の関係を検出する幾何関係検出部８を更に有し、上記対応検出部５並びに上記画像歪み補正部６は、上記第１及び第２の画像に関する上記幾何関係検出部からの幾何情報の関係を利用する。
【００２５】
さらに、画像処理部３は、上記画像メモリ４に記憶された上記画像を画像面に垂直な軸周りに回転させることにより上記画像面内での上記画像の傾きを補正する傾き補正部９をさらに有する。
【００２６】
また、上記画像歪み補正部６は、上記被写体面と上記平行な面との間の距離を調整する部分を含む。
【００２７】
次に、図２に示されるように、画像処理装置１を用いて、被写体面を互いの一部が重複するように２枚の画像（それぞれ基準（＝ベース）画像、参照画像とする）を撮影し、基準画像におけるあおり歪みを補正するという例に関して、本発明の第１実施例の構成・動作を説明する。
【００２８】
図３は、本発明の第１実施例による画像処理装置１の構成図である。画像処理装置１は、撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１２と、信号処理部１２の出力が供給されるメモリ制御部１３、主制御部１４及びインタフェース（以下Ｉ／Ｆと略記する）１６と、メモリ制御部１３の指令により画像信号を蓄積するフレームメモリ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表示部１７と、Ｉ／Ｆ１６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶装置１８とを有する。
【００２９】
また、画像処理装置１は、互いに重複する領域を持つ画像間の特徴点及び対応点を抽出する対応検出部１９と、対応検出部１９の出力を基に、撮影した画像におけるあおり歪みを補正する画像歪み補正部２０とを更に有する。
【００３０】
以下、上記の各ブロックの詳細を説明する。撮像部１１は、レンズ１１１、絞り１１２、シャッター１１３、光電変換素子１１４及び前処理部１１５より構成されている。この撮像部１１には、例えば、一般に市販されている「デジタルカメラ」又はその一部を利用してもよい。光電変換素子１１４には、例えば、ＣＣＤ（電荷結合素子）が使用される。また、前処理部１１５は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理やアナログ／デジタル変換器（以下、Ａ／Ｄ変換器と略す）を備えており、光電変換素子１１４により出力されたアナログ映像信号に対して増幅・クランプ等の前処理を施した後、上記アナログ映像信号をデジタル映像信号に変換する。
【００３１】
信号処理部１２は、デジタル信号処理プロセッサ（ＤＳＰ）等により構成されており、撮像部１１から得られたデジタル信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。
【００３２】
メモリ制御部１３は、こうして処理された画像信号をフレームメモリ１５に格納したり、逆に、フレームメモリ１５に格納された画像信号を読み出す。フレームメモリ１５は、少なくとも２枚の画像を格納可能であり、一般的にＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリが使用される。
【００３３】
主制御部１４は、画像処理装置１の各部を集中的に制御し、マイコンなどにより構成される。
【００３４】
フレームメモリ１５から読み出された画像信号は、信号処理部１２において画像圧縮等の信号処理が施された後、Ｉ／Ｆ１６を介して外部記憶装置１８に保存されることにより記録される。外部記憶部１８は、ＩＣメモリカードや光磁気ディスク等が使用できるが、モデムカードやＩＳＤＮカードを利用して、ネットワークを経由して画像信号を遠隔地の記録媒体に直接送信しても構わない。逆に、外部記憶装置１８に記録された画像信号の読み出しは、Ｉ／Ｆ１６を介して信号処理部１２に画像信号を送信し、信号処理部１２において画像伸張を施すことにより行われる。
【００３５】
一方、外部記憶装置１８及びフレームメモリ１５から読み出された画像信号の表示は、信号処理部１２において画像信号に対してデジタル／アナログ変換（以降、Ｄ／Ａ変換と略す）や増幅などの信号処理を施した後、Ｉ／Ｆ１６を介して表示部１７に送信することによって行われる。表示部１７は、例えば、画像処理システムを構成する画像処理装置の筐体に設置された液晶表示装置により形成することが可能である。
【００３６】
以下の説明では、基準画像や参照画像などの画像は被写体の面を撮影して得られた画像を表す。この被写体の面の画像は、被写体を撮影して得られた画像を面毎に領域分割することにより取得される。このように画像を面毎に領域分割する手法は、例えば、文献：安居院猛、長尾智晴共著の「画像の処理と認識」の第９章、昭晃堂に記載されている。
【００３７】
次に、対応検出部１９について説明する。対応検出部１９は、互いに重複した領域を持つ２枚の画像において、同一の部分を撮影した箇所を検出する。ここでは、相関演算を用いた方法について説明する。図４は、対応検出部１９の詳細構成図である。同図に示すように、対応検出部１９は、特徴点設定部１９１及び相関演算部１０２を含む。フレームメモリ１５（図３）には、基準画像と参照画像とが蓄積されている。特徴点設定部１９１は、基準画像において特徴点の位置を決定し、Ｎ及びＰが窓の大きさを定める非負の整数を表すとき、特徴点を中心とした（２Ｎ＋１）（２Ｐ＋１）の濃淡パターンを抽出し、相関窓を作成する。特徴点の位置は、角（コーナー）のように画像の濃度パターンが特徴的である箇所を抽出することにより決定される。相関演算部１９２は、基準画像で作成した相関窓の濃淡パターンと略一致する箇所を、参照画像において相関演算を用いて検出し、これを対応点として決定する。
【００３８】
ここで、相関演算によるプロックマッチングにより対応点を検出する一例を図５のブロックマッチングの説明図を参照して説明する。同図に示されるように、（２Ｎ＋１）（２Ｐ＋１）の相関窓を用いたブロックマッチングでは、基準画像におけるｉ番目の特徴点（ｘi0，ｙi0）と、参照画像における点（ｘi0＋ｄｘi ，ｙi0＋ｄｙi ）の相互相関値Ｓi は、次式により計算される。
【００３９】
【数１】

各特徴点に対して、相互相関値Ｓi の最大値が予め定められた閾値以上である点を求めることにより、参照画像における対応点が求められる。Ｓi の最大値が閾値以下であるならば、対応点は存在しないとする。
【００４０】
次に、画像歪み補正部２０の構成及び動作について説明する。画像歪み補正部２０は、対応検出部１９が出力した特徴点と対応点の関係を用いて、被写体面を正面から撮影した画像に変換することにより、あおり歪みを補正する。画像歪み補正部２０は、図６に示されるように、特徴点と対応点の組から基準画像及び参照画像の画像面並びに被写体面の３次元情報を計算する３次元演算部２０１、上記３次元情報から画像の歪みを補正するパラメータを計算するパラメータ算出部２０２、及び、基準画像を変換して歪みが補正された画像を作成する座標変換部２０３より構成される。
【００４１】
図７は、被写体面と画像面の関係モデルを表す図であり、図８は、光学系のモデルを表す図である。以下、図７のように、被写体面に対して基準画像及び参照画像を撮影し、撮像部１１の光学系は、図８のように、
・ｘ軸：画像面右向きを正
・ｙ軸：画像面下向きを正
・ｚ軸：光軸方向（但し、被写体に向かう方向を正）
・原点o ：撮像部１１の光学中心
・ｆ：焦点距離
とする中心射影モデルとしたときに、歪み補正画像を作成する方法について詳細に説明する。
【００４２】
３次元演算部２０１は、対応検出部１９から与えられた特徴点と対応点の関係より、以下の３次元パラメータ｛Ｒ，ｔ，ｎ｝を算出する。
・基準画像撮影時に対する参照画像撮影時の撮像部１１の姿勢Ｒ
・基準画像撮影時から参照画像撮影時への撮像部１１の単位並進ベクトルｔ
・被写体面の向きｎ
特徴点と対応点の関係から３次元パラメータ｛Ｒ，ｔ，ｎ｝を求める方法として、主に以下の（ａ）及び（ｂ）の２通りの方法が考えられる。
（ａ）８組以上の特徴点と対応点の組より、各画像撮影時のカメラの位置・姿勢及び各対応点の３次元座標を計算する。ここで、例えば、紙面である被写体面が平面であると仮定して、得られた３次元座標を１つの平面に当てはめる。
【００４３】
この方法は、汎用の運動立体視技術であり、線形演算を用いて３次元パラメータ｛Ｒ，ｔ，ｎ｝を一意に求めることができる。この運動立体視技術の詳細は、３次元計測やコンピュータビジョンに関する一般的な文献、例えば、「３次元ビジョン」（徐剛・辻三郎共著、共立出版）に記載されている。
（ｂ）４組以上の特徴点と対応点の組より、射影変換行列を計算する。次に、得られた射影変換行列より、各画像撮影時のカメラの位置・姿勢及び被写体面の向きを算出する。
【００４４】
この方法は、被写体面が平面であるという拘束条件の下で成立する基準画像から参照画像への座標変換式（射影変換行列）を求めてから、カメラの向きと被写体面の向きを算出するものである。
【００４５】
本発明の第１実施例による３次元演算部２０１は、（ａ）、（ｂ）のいずれの方法を実施するように構成しても構わないが、以下では、（ｂ）の方法に基づく動作について説明する。
【００４６】
最初に、射影変換行列の算出手順を説明する。図９は基準画像から参照画像への射影変換の説明図である。同図に示されるように、この射影変換は、基準画像に写った被写体像を、参照画像撮影時の被写体の見え方に変換することを意味する。今、基準画像における点（ｘs ，ｙs ）と参照画像における点（ｘr ，ｙr ）が対応関係にある場合、射影変換は以下の式で表される。
【００４７】
【数２】

（２）式における８つの未知数ｂ1 〜ｂ8 を、
【００４８】
【数３】

のように行列Ｂとしてまとめ、これを射影変換と呼ぶ。射影変換Ｂを求めるには、基準画像と参照画像との間の４組以上の特徴点（ｘs1，ｙs1）と対応点（ｘr1，ｙr1）（ｉ＝１，．．．，Ｎ；Ｎ≧４）を用いる。（ｘs1，ｙs1）と（ｘr1，ｙr1）を（２）式に代入して、未知数ｂ1 〜ｂ8 の解を求めればよい。しかし、実際には、画像に重畳するノイズ等の誤差の影響によって（２）式は厳密には成立しないので、次に示す最小自乗演算を用いて解を求める。
【００４９】
【数４】

（４）式は以下のように変形される。
【００５０】
【数５】

また、（５）式は、以下のようにベクトルのノルムという形で書き換えられる。
【数６】

（６）式の形で表される最小自乗問題は、一般に次式を解くことにより解法されることが知られている。
【００５１】
【数７】

したがって、射影変換行列Ｂは、特徴点と対応点の対応付けの組を用いて、簡単な線形演算によって求めることができる。
【００５２】
続いて、射影変換行列Ｂより３次元パラメータ｛Ｒ，ｔ，ｎ｝を求める手順を説明する。３次元パラメータ｛Ｒ，ｔ，ｎ｝をそれぞれ、以下のように表す。
【００５３】
【数８】

また、基準画像撮影時を基準とした被写体面の方程式を、
【００５４】
【数９】

とおく。この時、３次元パラメータ｛Ｒ，ｔ，ｎ｝を用いて射影変換の式を表すと、次式が導かれる。
【００５５】
【数１０】

各変数はスケール倍の自由度を有している。（１２）式の右辺の分母及び分子をそれぞれＨ33ｆで割ると、（２）式と射影変換行列Ｂが得られる。すなわち、射影変換行列Ｂから変数｛Ｈij｝を容易に計算できることが分かる。
【００５６】
次に、変数｛Ｈij｝から３次元パラメータ｛Ｒ，ｔ，ｎ｝を求める。そのため、（１３）式〜（２１）式を未知数｛ａ，ｂ，ｃ，ｄ，Ｒij，ｔx ，ｔy ，ｔz ｝について解けばよい。但し、各変数がスケール倍の自由度を有しているため、被写体面の距離を表す変数ｄと並進運動ベクトルｔの大きさのスケールは不定であるので、
【００５７】
【数１１】

と仮定する。｛Ｈij｝より未知数｛ａ，ｂ，ｃ，ｄ，Ｒij，ｔx ，ｔy ，ｔz ｝の解を導出する計算過程は、文献「画像理解−３次元認識の数理」（金谷健一著、森北出版）に詳細に記載されている。以下では、その結果を(i) 〜(vi)にまとめる。
(i) （１２）式の｛Ｈij｝を
【００５８】
【数１２】

と表し、各要素に適当な定数をかけて、ｄｅｔ［Ｈ］＝１となるようにする。
(ii)対照行列ＨＨ^Tの固有値をσ1 ²，σ2 ²，σ3 ²とし、対応する固有ベクトルｕ1 ，ｕ2 ，ｕ3 を互いに直交し、この順に右手系を作る単位ベクトルにとる。但し、σ1 ≧σ2 ≧σ3 とする。
(iii) σ1 ＝σ2 ＝σ3 ならば、運動パラメータは、
ｔx ＝ｔy ＝ｔz ＝０，Ｒ＝Ｈ（２４）
であり、被写体面のパラメータ｛ａ，ｂ，ｃ，ｄ｝は不定である。そうでなければ、次のように２組の解が得られる。
(iv)被写体面のパラメータ｛ａ，ｂ，ｃ，ｄ｝は次のように定まる。
【００５９】
【数１３】

但し、ε＝±１であり、ｃ＞０となるようにεを選ぶ。
(v) 単位並進運動ベクトルｔは次のように定まる。
【００６０】
【数１４】

(vi)回転行列Ｒは次のように定まる。
【００６１】
【数１５】

したがって、行列Ｂより３次元パラメータ｛Ｒ，ｔ，ｎ｝の解が２通り得られるが、大抵の場合は、導出された値より真の解を判別することができる。
【００６２】
尚、途中の計算で撮像部１１の焦点距離ｆが使用されているが、ｆの値は撮像部１１の光学系パラメータを内部メモリ（図示しない）に記憶する等の方法により容易に得ることが可能である。また、撮像部１１の光学系の焦点距離が可変で基準画像と参照画像の焦点距離が異なる場合でも、双方の画像の焦点距離は、光学系にエンコーダを設置する等の方法により検出可能であるため、上記の３次元パラメータ算出手順をそのまま適用することが可能である。
【００６３】
次に、パラメータ算出部２０２は、被写体面を撮影したときの撮像部１１の向きと、３次元演算部２０１で算出された被写体面の向きｎとの関係に基づいて、あおり補正パラメータを計算する。図１０は、本発明の第１実施例による画像の歪み補正の原理を説明する図である。同図に示す如く、３次元演算部２０１によって向きが算出した被写体面に平行な面を被投影面とし、歪みを含む被写体像を持つ画像面を被投影面に向けて投影するという射影変換を行うことにより画像の歪みを補正する。したがって、本例において、歪みを補正するパラメータを求めることは、射影変換の式を求めることに相当する。以下、この歪みを補正するパラメータの計算方法について説明する。
【００６４】
図１１に示されるように、基準画像撮影時の撮像部１１の光軸方向である装置座標系のｚ軸を、被写体面と平行な被投影面の単位法線ベクトルに一致させる座標変換を示す回転行列Ｒ’を求める。装置座標系のｚ軸方向はベクトル（０，０，１）で表現され、一方、被投影面の単位法線ベクトルは、被写体面の法線ベクトルｎ＝（ａ，ｂ，ｃ）と一致する。この場合、次の関係式が成立する。
【００６５】
【数１６】

（２９）式を満たす回転行列Ｒ’は多数存在するが、ここでは回転行列Ｒ’を次式のように定義する。
【００６６】
【数１７】

これは、図１２に示されるように、以下の手順で装置座標系（ｘｙｚ座標系）を回転させて、ｘ’ｙ’ｚ’座標系に変換することに相当する。
(i) 装置座標系を、ｙ軸周りだけにβだけ回転し、この回転によりできる座標系をｘ1 ｙ1 ｚ1 座標系とする。
(ii)装置座標系を、ｘ1 軸周りにαだけ回転する。
この（２９）〜（３１）式を用いると、回転角は次式のように導出される。
【００６７】
【数１８】

以上で求められた回転角を（３０）式及び（３１）式に代入することにより、装置座標系のｚ軸を被投影面の単位法線ベクトルに一致させる座標変換を示す回転行列Ｒ’が一意に定められる。
【００６８】
続いて、画像の歪みを補正する補正パラメータ、すなわち、基準画像の画像面の１点を被投影面に投影する射影変換の式を求める。そのため、基準画像撮影時の装置座標系を基準にして表現した３次元ベクトルｐと、上記の回転行列Ｒ’と、被写体面の向きを表すベクトルｎ＝（ａ，ｂ，ｃ）を用いる。図１０において、画像面の１点に対応する３次元ベクトルｐを延長した時に、被投影面と交差する点Ｐを座標変換後の画像座標とする。点Ｐに対応する３次元ベクトルＰは、装置座標系を基準として次式のように表現される。
【００６９】
【数１９】

（３４）式において、ｋは、撮像部１１の光学中心ｏから、被投影面までの距離を表す拡大係数であるため、ｋは作成される歪み補正画像の大きさを表している。また、３次元ベクトルＰは、点Ｐを基準画像撮影時の装置座標系を基準にして表現したベクトルであるため、次式のように回転行列Ｒ’を用いることによって、撮像部１１を被写体面と正対させた時の装置座標系を基準にして表現した３次元ベクトルＰ’に座標変換する。
【００７０】
【数２０】

したがって、（３５）式の３次元ベクトルＰ’のＸ座標、Ｙ座標を座標変換後の画像座標とすることにより、あおり歪みを補正した画像座標を得ることができる。以上の手順によって、（３５）式を用いて基準画像の歪みを補正するパラメータが算出された。
【００７１】
画像歪み補正部２０に関する説明の最後として、座標変換部２０３について説明する。座標変換部２０３は、パラメータ算出部２０２により算出された歪み補正パラメータを基に、基準画像を座標変換して歪み補正画像を作成する。具体的には、座標変換後の座標（Ｘ，Ｙ）に対応する変換前の座標（ｘs ，ｙs ）を（３５）式から計算し、計算された座標（ｘs ，ｙs ）の近傍における画素値を基にして座標（Ｘ，Ｙ）における画素値を決定する。座標（Ｘ，Ｙ）における画素値は、例えば、計算された座標（ｘs ，ｙs ）の近傍における画素値に、双一次補間法やＢ−スプライン補間法等の既知の補間方法を適用することにより補間演算することができる。
【００７２】
最後に、本発明の第１実施例による画像処理装置１において実施することができる画像の歪みを補正する画像処理方法を図１３のフローチャートを参照して説明する。
【００７３】
まず、撮像部１１により被写体面を撮影し、この画像を基準画像として入力する（ステップ１）。次に、基準画像と一部が重複するように、視点を変化させて被写体面を異なる方向から撮影し、これを参照画像として入力する（ステップ２）。基準画像と参照画像との間で特徴点と対応点の組を検出し（ステップ３）、特徴点と対応点の関係に基づいて射影変換行列を求める（ステップ４）。射影変換行列を基に、先に説明した手順に従って基準画像撮影時の撮像部１１と被写体面の向きの関係を示す回転行列Ｒ’を算出することにより、あおり歪みを補正するパラメータを算出する（ステップ５）。以上で得られたパラメータを基に、（３５）式の座標変換を施すことにより画像のあおり歪みを補正し（ステップ６）、処理を終了する。
【００７４】
次に、図１４に示されるように、画像処理装置１を用いて、異なる場所から同一の被写体面の静止画像を、画像の一部が重複するように、視点１から視点ＫまでのＫ箇所から順に撮影した場合の本発明の第２実施例の動作について説明する。視点１で撮影した画像を画像１、視点２で撮影した画像を画像２、以下同様に呼ぶことにする。また、画像１と画像２、画像２と画像３のように、隣り合う順序で撮影された画像ｊと画像ｊ＋１との間には重複領域が存在する。本発明の第２実施例では、画像Ｊ（１≦Ｊ≦Ｋ）に対して各画像を貼り合わせ（以降、この貼り合わされた画像を合成画像と呼ぶ）、さらに、この合成画像のあおり歪みを補正する。
【００７５】
図１５は、本発明の第２実施例による画像処理装置１の構成図である。画像処理装置１は、撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１２と、信号処理部１２の出力が供給されるメモリ制御部１３、主制御部１４及びＩ／Ｆ１６と、メモリ制御部１３の指令により画像信号を蓄積するフレームメモリ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表示部１７と、Ｉ／Ｆ１６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶装置１８とを有する。
【００７６】
また、画像処理装置１は、互いに重複する領域を持つ画像間の特徴点及び対応点を抽出する対応検出部１９と、対応検出部１９が出力した特徴点と対応点の関係に基づいて座標変換を行うことにより、互いに重複する領域を持つ画像を貼り合わせる画像合成部２１と、対応検出部１９の出力を基に、撮影した画像におけるあおり歪みを補正する画像歪み補正部２０とを更に有する。
【００７７】
本発明の第２実施例における撮像部１１、信号処理部１２、メモリ制御部１３、主制御部１４、フレームメモリ１５、Ｉ／Ｆ１６、表示部１７、外部記憶装置１８、及び対応検出部１９の構成並びに動作は、第１実施例の場合と同様であるので説明を省略する。ここでは、画像合成部２１及び画像歪み補正部２０の構成並びに動作について説明する。
【００７８】
画像合成部２１は、対応検出部１９より出力された特徴点と対応点との関係を基に、基準画像を参照画像に座標変換することにより画像を貼り合わせる。ここでは、座標変換として射影変換を用いる場合について説明する。射影変換行列Ｂは、（３）式のように８つの係数ｂ1 〜ｂ8 で表され、これらの係数は第１実施例と同様の手順で算出される。したがって、Ｋ−１組の画像対に対して、射影変換行列Ｂ1 ，Ｂ2 ，．．．，ＢK-1 が得られ、任意の画像ｊ（１≦ｊ≦Ｋ）を画像Ｊに貼り合わせることができる。
【００７９】
画像歪み補正部２０は、図１６に示されるように、３次元演算部２０１、パラメータ算出部２０２、及び座標変換部２０３により構成され、画像合成部２１が作成した合成画像における歪みを補正する。画像歪み補正部２０では、画像合成部２１において得られたＫ−１個の射影変換行列Ｂ1 ，Ｂ2 ，．．．，ＢK-1 が利用される。
【００８０】
第１実施例に関して説明したように、基準画像から参照画像への射影変換は、図９に示されるように、基準画像を参照画像での見え方に変換することを指す。すなわち、画像合成部２１が作成した合成画像においては、画像Ｊ撮影時の画像面に被写体面を中心射影した像が擬似的に生成されているため、画像Ｊを撮影した時に被写体面と撮像部１１が正対していなかった場合、合成画像は画像Ｊと同様のあおり歪みを含む。したがって、画像Ｊのあおり歪みを補正するのと同じ手順で、合成画像のあおり歪みを補正することができる。
【００８１】
３次元演算部２０１は、第１実施例の場合と同様に、画像Ｊを基準とした３次元パラメータ｛Ｒ，ｔ，ｎ｝を求める。具体的には、以下に示す射影変換行列Ｂを用いて、（２３）〜（２８）式の計算を行えばよい。
【００８２】
【数２１】

パラメータ算出部２０２も第１実施例の場合と同様に動作する。３次元演算部２０１が算出した３次元パラメータ｛Ｒ，ｔ，ｎ｝を用いて（２９）〜（３５）式の計算を行うことにより、あおり歪みを補正するパラメータを算出する。
【００８３】
座標変換部２０３は、パラメータ算出部２０２により算出された歪み補正パラメータを基に、合成画像を座標変換することにより、合成画像のあおり歪みを補正する。具体的には、座標変換後の座標（Ｘ，Ｙ）に対応する変換前の座標を（３５）式に基づいて計算し、計算された変換前の座標近傍における画素値を基に座標（Ｘ，Ｙ）における画素値を決定する。補間演算は、双一次補間法やＢ−スプライン補間法等の既存の方法を用いて行えばよい。
【００８４】
次に、本発明の第２実施例による画像処理装置１において実施することができる画像の歪みを補正する画像処理方法を図１７のフローチャートを参照して説明する。
【００８５】
まず、撮像部１１により被写体面を撮影し、この画像を基準画像として入力する（ステップ１）。次に、基準画像と一部が重複するように、視点を変化させて被写体面を異なる方向から撮影し、これを参照画像として入力する（ステップ２）。基準画像と参照画像との間で特徴点と対応点の組を検出し（ステップ３）、特徴点と対応点の関係に基づいて射影変換行列を求める（ステップ４）。さらに画像の入力を続行するかどうかを判定し（ステップ１１）、続行する場合には、現在の参照画像を基準画像に置き換えて（ステップ１２）、ステップ２からステップ４までの動作を繰り返し行う。続行しない場合には、画像の入力を終了し、入力が終了した時点で、例えば、Ｋ枚の画像が得られている場合には、射影変換行列を基に、入力した各画像を画像Ｊ（１≦Ｊ≦Ｋ）に貼り合わせることにより、合成画像を作成する（ステップ１３）。更に、画像Ｊを基準画像として（３６）式の射影変換行列Ｂを基に、先に説明した手順に従って基準画像撮影時の撮像部１１と被写体面の向きの関係を示す回転行列Ｒ’を算出することにより、あおり歪みを補正するパラメータを算出する（ステップ１４）。以上で得られたパラメータを基に、（３５）式の座標変換を施すことにより合成画像のあおり歪みを補正し（ステップ１５）、処理を終了する。
【００８６】
尚、上記第２実施例では、画像を貼り合わせた後に、合成画像のあおり歪みを補正しているが、画像を貼り合わせる際に同時にあおり歪みの補正を行い、あおり歪みの補正された合成画像を作成することも可能である。
【００８７】
次に、図１８を参照して本発明の第３実施例による画像処理装置１を説明する。同図に示すように、画像処理装置１は２つの光学系１１−１及び１１−２を含む撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１２と、信号処理部１２の出力が供給されるメモリ制御部１３、主制御部１４及びＩ／Ｆ１６と、メモリ制御部１３の指令により画像信号を蓄積するフレームメモリ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表示部１７と、Ｉ／Ｆ１６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶装置１８とを有する。
【００８８】
また、画像処理装置１は、光学系１１−１と光学系１１−２で撮影された２枚の画像間の特徴点及び対応点を抽出する対応検出部１９と、対応検出部１９の出力を基に、撮影した画像におけるあおり歪みを補正する画像歪み補正部２０と、光学系１１−１と１１−２の相対的な幾何関係を出力する幾何検出部２２とを更に有する。
【００８９】
撮像部１１における各光学系１１−１及び１１−２は、それぞれ、第１実施例の光学系と同様に、レンズ、絞り、シャッター、及び光電変換素子により構成される。
【００９０】
本発明の第３実施例における信号処理部１２、メモリ制御部１３、主制御部１４、フレームメモリ１５、Ｉ／Ｆ１６、表示部１７、及び外部記憶装置１８の構成並びに動作は、第１実施例の場合と同様であるので説明を省略する。ここでは、幾何検出部２２、対応検出部１９、及び画像歪み補正部２０の構成並びに動作について説明する。
【００９１】
幾何検出部２２は、光学系１１−１及び１１−２の各光学系の幾何関係を検出するように以下の通り構成することができる。
・光学系１１−１と光学系１１−２を既知の位置・姿勢に固定し、その幾何情報を画像処理蔵置１に内蔵された記憶装置（図示せず）に保持させる。
・光学系１１−１と光学系１１−２を平行移動・回転可能とし、光学系にエンコーダ等を設置して、平行移動量及び回転量を検出できるようにする。
【００９２】
これにより、例えば、光学系１１−１で撮影した画像を基準画像とし、光学系１１−２で撮影した画像を参照画像に置き換える、３次元パラメータ｛Ｒ，ｎ，ｔ｝の中で、回転行列Ｒと並進運動ベクトルｔが既知である。幾何検出部２２は、このような構成を用いて得られた光学系の幾何情報を、対応検出部１９及び画像歪み補正部２０に出力する。
【００９３】
対応検出部１９の構成及び動作は、第１実施例の場合と同様であるが、幾何検出部２２の検出結果の幾何情報を受け取ることにより、対応点の探索範囲を大幅に制限することができる。以下、探索範囲の制限による処理の高速化について説明する。
【００９４】
光学系の幾何関係が既知である場合、例えば、図１９に示されるように、基準画像における点（ｘs ，ｙs ）が与えられると、２つの光学中心と点（ｘs ，ｙs ）の３点で構成される平面（エピポーラ面）を知ることができる。その結果として、参照画像上における対応点（ｘr ，ｙr ）は、エピポーラ面と画像面との光線（エピポーラ線）上に存在する。すなわち、基準画像で抽出された任意の特徴点が与えられると、参照画像においてエピポーラ線を決定することができるため、参照画像においてこのエピポーラ線上を走査して、（１）式の相関演算を行なうことにより対応点が検出できる。このため、対応点の探索範囲がエピポーラ線上に限定されるので、対応点検出に要する時間が短縮され、処理を高速化することができる。
【００９５】
図２０は、本発明の第３実施例による画像歪み補正部２０の構成図である。画像歪み補正部２０は、対応検出部１９が出力した特徴点と対応点の関係、並びに、幾何検出部２２が出力した光学系の幾何関係を用いて、基準画像を被写体面を正面から撮影した画像に変換することにより、あおり歪みを補正する。画像歪み補正部２０は、３次元演算部２０１と、パラメータ算出部２０２と、座標変換部２０２とにより構成される。以下、図１９に示されるように、各光学系が図８に示されるような中心射影モデルであり、被写体面に対して光学系１１−１で基準画像を撮影し、光学系１１−２で参照画像を撮影した場合を想定して、歪み補正画像を作成する方法について詳細に説明する。
【００９６】
３次元演算部２０１は、特徴点と対応点の関係と、光学系の幾何関係（すなわち、３次元パラメータ｛Ｒ，ｔ｝）とを基に、被写体面の向きｎを算出する。ｎは、主として以下の２つの方法で求められる。
（ａ）同一直線上にない３組以上の特徴点と対応点の組と、｛Ｒ，ｔ｝とに基づいて、各特徴点の３次元座標を計算する。ここで、被写体面が平面であると仮定して、得られた３次元座標を１つの平面に当てはめる。
（ｂ）４組以上の特徴点と対応点の組より、射影変換行列を計算する。得られた射影変換行列と｛Ｒ，ｔ｝とを基に、被写体面の向きｎを算出する。
【００９７】
ここで、第３実施例による３次元演算部２０１は、方法（ａ）に従って動作する場合を考える。図１９において、基準画像における点（ｘs ，ｙs ）に対応する３次元ベクトルと、参照画像における点（ｘr ，ｙr ）に対応する３次元ベクトルと、２つの光学系の基線とが既知であるため、三角測量によって容易に各特徴点の３次元座標（ｘ，ｙ，ｚ）を得ることができる。こうして得られた同一直線上に無いＮ個の３次元座標を、
【００９８】
【数２２】

とおくと、以下の最小自乗演算
【００９９】
【数２３】

を行うことにより、被写体面の向きｎ及びｄを算出すればよい。
【０１００】
パラメータ算出部２０２の動作は、第１実施例と同じであり、幾何検出部２２が出力したＲ、ｔと、３次元演算部２０１が算出したｎとを用いて、（２９）〜（３５）式の計算を行うことにより、あおり歪みを補正するパラメータが算出される。
【０１０１】
座標変換部２０３の動作も第１実施例の場合と同様であり、パラメータ算出部２０２により算出された歪み補正パラメータを基に、基準画像を座標変換することによりあおり歪みを補正する。
【０１０２】
さらに、本発明の第３実施例による画像処理装置１において実施することができる画像の歪みを補正する画像処理方法を図２１のフローチャートを参照して説明する。
【０１０３】
まず、撮像部１１により被写体面を撮影し、得られた２枚の画像をそれぞれ基準画像及び参照画像として入力する（ステップ２１）。次に、基準画像と参照画像との間で特徴点と対応点の組を検出する（ステップ２２）。得られた特徴点と対応点の関係、並びに、光学系の幾何関係｛Ｒ，ｔ｝に基づいて、三角測量により各特徴点の３次元座標を求め（ステップ２３）、（３８）式の最小自乗演算により被写体面の向きｎを求めることにより、先に説明した手順に従って光学系１１−１と被写体面の向きの関係を示す回転行列Ｒ’を算出することにより、あおり歪みを補正するパラメータを算出する（ステップ２４）。以上で得られたパラメータを基に、（３５）式の座標変換を施すことにより画像のあおり歪みを補正し（ステップ２５）、処理を終了する。
【０１０４】
次に、図２２に示された本発明の第４実施例による画像処理装置１について説明する。第４実施例では、Ｋ個の光学系で同一の被写体面の静止画像を、隣り合う画像の一部が重複するように撮影し、あおり歪みが補正される。この第４実施例は、第２実施例の適用例を示す図１４において、視点ｊを光学系ｊと置き換え、光学系ｊで撮影した画像を画像ｊと置き換え、画像１と画像２、画像２と画像３のように隣り合う光学系で撮影した画像ｊと画像ｊ＋１との間で重複領域を持ち、画像Ｊ（１≦Ｊ≦Ｋ）に対して各画像を貼り合わせて合成画像を作成し、更にこの合成画像のあおり歪みを補正する。
【０１０５】
本発明の第４実施例による画像処理装置１は、Ｋ個の光学系１１−１、１１−２、．．．，１１−Ｋを含む撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１２と、信号処理部１２の出力が供給されるメモリ制御部１３、主制御部１４及びＩ／Ｆ１６と、メモリ制御部１３の指令により画像信号を蓄積するフレームメモリ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表示部１７と、Ｉ／Ｆ１６を経由して画像信号をはじめとする種々の信号の読み書きを行う外部記憶装置１８とを有する。
【０１０６】
また、画像処理装置１は、互いに重複する領域を持つ画像間の特徴点及び対応点を抽出する対応検出部１９と、対応検出部１９が出力した特徴点と対応点の関係を基に座標変換することにより、互いに重複する領域を持つ画像を貼り合わせる画像合成部２１と、対応検出部１９の出力を基に、画像合成部２１により作成された合成画像におけるあおり歪みを補正する画像歪み補正部２０と、光学系１１−１〜１１−Ｋの相対的な幾何関係を出力する幾何検出部２２とを更に有する。
【０１０７】
撮像部１１における各光学系１１−１〜１１−Ｋは、それぞれ、第１実施例の光学系と同様に、レンズ、絞り、シャッター、及び光電変換素子により構成される。また、本発明の第４実施例における信号処理部１２、メモリ制御部１３、主制御部１４、フレームメモリ１５、Ｉ／Ｆ１６、表示部１７、外部記憶装置１８、及び画像合成部２１の構成並びに動作は、第２実施例の場合と同様であり、対応検出部１９及び幾何検出部２２の構成並びに動作は、第３実施例の場合と同様であるので説明を省略する。ここでは、画像歪み補正部２０の構成並びに動作について説明する。
【０１０８】
図２３は、第４実施例による画像歪み補正部２０の構成図である。同図に示すように、画像歪み補正部２０は、３次元演算部２０１と、パラメータ算出部２０２と、座標変換部２０３とにより構成され、第２実施例の場合と同様に、貼り合わせの基準となる画像Ｊのあおり歪みを補正するのと同じ手順で、画像合成部２１が作成した合成画像における歪みを補正する。
【０１０９】
３次元演算部２０１は、第３の実施例と同様の手順で、光学系Ｊを基準にした被写体面の向きｎを求める。すなわち、幾何検出部２２により、画像Ｊにおける点（ｘs ，ｙs ）に対応する３次元ベクトルと、画像Ｊ＋１（但し、Ｊ＝Ｋの場合には、画像Ｊ−１）における点（ｘr ，ｙr ）に対応する３次元ベクトルと、２つの光学系の基線とが既知であるため、三角測量によって各特徴点の３次元座標（ｘ，ｙ，ｚ）を計算する。こうして得られた同一直線上に無いＮ個の３次元座標を用いて、（３８）式の最小自乗演算を行うことにより、被写体面の向きｎ及びｄを得ることができる。
【０１１０】
パラメータ算出部２０２の動作は、第２実施例と同じであり、幾何検出部２２が出力したＲ、ｔと、３次元演算部２０１が算出したｎとを用いて、（２９）〜（３５）式の計算を行うことにより、あおり歪みを補正するパラメータを算出する。
【０１１１】
座標変換部２０３の動作も第２実施例の場合と同様であり、パラメータ算出部２０２により算出された歪み補正パラメータを基に、基準画像を座標変換することによりあおり歪みを補正する。
【０１１２】
さらに、本発明の第４実施例による画像処理装置１において実施することができる画像の歪みを補正する画像処理方法を図２４のフローチャートを参照して説明する。
【０１１３】
まず、撮像部１１により被写体面を撮影したＫ枚の画像を入力する（ステップ３１）。次に、互いに一部の重複領域を持つ画像対において、各光学系の幾何関係を用いて特徴点と対応点の組を検出し（ステップ３２）、特徴点と対応点の関係から射影変換行列を求める（ステップ３３）。続いて、射影変換行列を基に、入力した各画像を画像Ｊ（１≦Ｊ≦Ｋ）に貼り合わせることにより、合成画像を作成する（ステップ３４）。各特徴点の３次元座標を求め（ステップ３５）、されに、画像Ｊを基準画像とした（３６）式の射影変換行列Ｂを基に、先に説明した手順に従って画像Ｊ撮影時の撮像部１１と被写体面の向きの関係を示す回転行列Ｒ’を算出することにより、あおり歪みを補正するパラメータを算出する（ステップ３６）。以上で得られたパラメータを基に（３５）式の座標変換を施すことにより合成画像のあおり歪みを補正し（ステップ３７）、処理を終了する。
【０１１４】
上記本発明の第１実施例乃至第４実施例では、撮影時における光軸の向きと被写体面の向きとの関係を表す回転行列Ｒ’を用いて座標変換することにより、所定の画像の歪みを補正すると説明したが、この座標変換は、被写体面の法線ベクトルを回転軸とする１軸周りの自由度を残している。すなわち、撮影時の画像処理装置１の姿勢によっては、図２５の（ａ）に示すように、画像面上で被写体像が傾いた歪み補正画像が作成される。そこで、本発明の第５実施例では、上記第１実施例乃至第４実施例に傾き補正部２３を付加し、図２５の（ｂ）に示すように傾きの誤差が殆ど無い歪み補正画像を作成することを目的とする。
【０１１５】
図２６は、本発明の第５実施例による傾き補正部２３の説明図である。同図に示す如く、傾き補正部２３は、回転角設定部２３１と、回転中心設定部２３２と、座標変換部２３３とを有する。回転角設定部２３１と回転中心設定部２３２は、スイッチ等により構成され、例えば、画像処理装置１の筐体上で表示部１７と隣り合う位置に配置される。回転角設定部２３１は画面上での回転角θを指定し、回転中心設定部２３２は画面上での回転中心座標を指定する。座標変換部２３３は、回転角設定部２３１で設定された回転角θと、回転中心設定部２３２で設定された回転中心座標とを用いて、次式に従って所望の画像における座標（ｘ’，ｙ’）を座標（ｘ”，ｙ”）に変換し、傾きを補正した画像を作成する。
【０１１６】
【数２４】

具体的には、座標変換後の座標（ｘ”，ｙ”）に対応する変換前の座標（ｘ’，ｙ’）を（３９）式に基づいて計算し、計算された座標（ｘ’，ｙ’）の近傍における画素値を基に座標（ｘ”，ｙ”）における画素値を決定する。補間演算は、双一次補間法やＢ−スプライン補間法等の既存の方法を用いて行えばよい。
【０１１７】
本発明の第６実施例は、第１実施例乃至第５実施例では、あおり歪みを補正した画像若しくは合成画像の大きさを、補正前の画像若しくは合成画像の大きさと概ね等しくなるように調整することに関係する。図２７は、かかる調整を行うよう構成された本発明の第６実施例による画像歪み補正部２０の構成図である。
【０１１８】
本例の場合、画像歪み補正部２０は、第１実施例の画像歪み補正部と比較して、画像正規化部２０４が付加され、パラメータ算出部２０２の出力を基に、あおり歪みを補正した画像の大きさを正規化する。
【０１１９】
画像正規化部２０４は、（３５）式における拡大係数の値ｋを決定し、あおり歪みを補正した画像又は合成画像の大きさを適切に調整する。先に説明したように、拡大係数ｋは、装置座標系の光学中心ｏと被写体面に平行な投影面との距離を表し、作成される歪み補正画像の大きさを規定する。そこで、図２８に示されるように、装置座標系の焦点距離ｆ、並びに、装置座標系の光軸（ｚ軸）と投影面の法線ベクトルとのなす角度φを用いて、
ｋ＝ｆ・ｃｏｓφ （４０）
とすることにより、あおり歪みを補正した画像の大きさが、図２８に網掛け部として示されたような大きさになり、補正前の画像の大きさと概ね等しくなる。ここで、装置座標系を基準にした光軸の単位ベクトル［００１］^Tと、（１０）式で示された投影面の法線ベクトルｎとを用いて、
【０１２０】
【数２５】

という関係が成立するので、（４０）式は、次の用に変形される。
【０１２１】
ｋ＝ｆ・ｃ（４２）
したがって、最適なｋの値を簡単に算出することができる。
【０１２２】
本発明の第７実施例は、上記第１実施例乃至第５実施例において、あおり歪みを補正した画像又は合成画像の解像度を、補正前の解像度に保持することに関する発明である。図２９は、一例として、このような解像度の保持が実現されるよう構成された本発明の第７実施例による画像歪み補正部２０の構成図である。
【０１２３】
本例の場合、画像歪み補正部２０は、第１実施例の画像歪み補正部と比較して、画像解像度設定部２０５が付加され、パラメータ算出部２０２の出力を基に、あおり歪みを補正した画像の大きさを自由に設定することができる。
【０１２４】
画像解像度設定部２０５は、あおり歪み補正後の画像の解像度が補正前と比べて失われないように、（３５）式における拡大係数ｋの値を決定する。図３０を参照して、第７実施例の手順を説明すると、補正前の画像の端点Ｐにおいて、補正前の画像面と投影面とが交わるようにｋの値を設定すれば、補正時に縮小処理が施される箇所が無くなるので、補正前の画像の解像度を保持することができる。すなわち、以下の手順で係数ｋの値を算出すればよい。
(i) ｘｙｚ座標系補正前の画像の四隅に対応する３次元ベクトルをそれぞれ
【０１２５】
【数２６】

とおく。
(ii)（３０）式の回転行列Ｒ’を用いて、Ｐi をｘ’ｙ’ｚ’座標系を基準にしたベクトルＰi ’にそれぞれ変換する。
【０１２６】
【数２７】

(iii) 係数ｋを以下のように定める。
【０１２７】
ｋ＝ｍａｘ（ｚi ’）（ｉ＝１，．．．，４）（４５）
以上の手順で、画像解像度設定部２０５において係数ｋを算出することにより、補正前の画像の解像度を損なうことなく、あおり歪みを補正した画像を作成することができる。
【０１２８】
本発明の第８実施例は、上記第１実施例乃至第５実施例において、あおり歪みを補正した画像又は合成画像を、所望の大きさに設定することに関する発明である。図２９は、一例として、このような解像度の保持が実現されるよう構成された本発明の第８実施例による画像歪み補正部２０の構成図である。
【０１２９】
本例の場合、画像歪み補正部２０は、第１実施例の画像歪み補正部と比較して、画像サイズ設定部２０６が付加され、パラメータ算出部２０２の出力を基に、あおり歪みを補正した画像の大きさを自由に設定することができる。
【０１３０】
画像サイズ設定部２０６は、あおり歪み補正後の画像が利用者の指示した大きさになるように、（３５）式における拡大係数ｋの値を決定する。画像サイズ設定部２０６が起動されると、図３２に示されるように表示部１７の画面に、画像の倍率を示す数値が表示され、利用者は所望の倍率をカーソルキーやボタン（図示せず）で選択することにより、あおり歪み補正後の画像の大きさを設定する。例えば、５０％の倍率を選択した場合、第６実施例と同様の手順で、次式によりｋの値を算出することができる。
【０１３１】
ｋ＝０．５ｆ・ｃ（４６）
他の倍率を選択した場合にも同様の手順でｋの値を算出することができる。
【０１３２】
以上の各実施例は、本発明のほんの一例を説明したに過ぎず、特許請求の範囲は上記実施例によって限定・縮小されるべきではない。本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。例えば、対応検出部１９において相関法による濃度マッチングにより対応点を検出すると説明したが、時空間微分法などの別の手法で行っても構わない。また、あおり歪みパラメータの算出方法は、（３０）式に示されたｙ軸、ｘ軸の順の回転には限定されず、他のパラメータ算出方法も適用可能である。傾き補正部２３の構成は、第５実施例の説明には限定されず、スキュー補正のように、文字列の傾きを検出して、文字列が水平（又は垂直）となるように自動補正するような構成でもよい。また、傾きを自動補正した画像に対し、さらに第５実施例で示したような手動補正を加えてもよい。さらに、第６実施例及び第８実施例で説明した拡大係数ｋの計算方法は、（４２）式や（４６）式には限定されず、例えば、図３３に示すように、補正前の画像の四隅Ｐ1 、Ｐ2 、Ｐ3 、Ｐ4 に対して補正後の座標Ｐ1 ’、Ｐ2 ’、Ｐ3 ’、Ｐ4 ’に対する外接矩形（破線で示す）の大きさに基づいて、ｋの値を計算してもよい。
【０１３３】
図３４は、本発明による画像処理装置を含む画像入力システムの構成図である。画像入力システムは、例えば、デジタルカメラのような被写体を撮影するカメラ３０１と、種々の画像処理やユーザインタフェース機能を実現するパーソナルコンピュータ３０２とを含む。パーソナルコンピュータで実行される各種処理の各ステップは、例えば、ＣＤ−ＲＯＭ３０３のような記録媒体からパーソナルコンピュータのドライブを用いて読み込まれ、パーソナルコンピュータのメモリに直接ロードされ、パーソナルコンピュータのＣＰＵで実行される。或いは、プログラムは、パーソナルコンピュータの補助記憶装置（図示しない）に一旦記憶され、必要に応じてメモリにロードされてＣＰＵにより実行される。画像処理されるべき被写体の画像は、例えば、通信ポートを介してカメラ３０１から受信され、メモリに直接的に読み込まれて処理され、或いは、カメラ３０１からＩＣメモリ３０４のような補助記憶装置に一旦保存された後、必要に応じてパーソナルコンピュータのメモリに読み込まれて処理される。ユーザは、パーソナルコンピュータのキーボードやマウス３０５のような入力装置と、ディスプレイ装置やプリンタ装置のような出力装置とを介して、システムにコマンドを送り、或いは、システムからメッセージを受ける。
【０１３４】
ここで、上記の本発明による画像入力システムは、種々の形態で実現することができることに注意する必要がある。すなわち、本発明の画像処理装置は、第一に、撮像部と画像処理部のすべてを一体化したデジタルカメラの形として実現することができ、第二に、撮像部と画像処理部の一部を含むデジタルカメラと、画像処理部の残りの部分を含む画像処理ユニット、例えば、コンピュータ及びそのコンピュータによって実行されるプログラムとの形として実現することができ、第三に、撮像部を実現するデジタルカメラと、デジタルカメラと電気的若しくは記憶媒体を介して接続され画像処理部を実現す画像処理ユニットとの形として実現することができる。さらに、画像処理部をデジタルカメラとそれ以外の画像処理ユニットに分けて実装する場合に、その分け方は、用途、製造コスト等を考慮して設計的に自由に変更することができる点に注意する必要がある。
【０１３５】
図３５は、上記本発明の第１実施例に基づく画像入力システムの構成図である。この例では、レンズ１１１と、絞り１１２と、シャッター１１３と、光電変換素子１１４と、前処理部１１５とを含む撮像部１１は、必ずカメラ３１０側に実装されなければならない。一方、信号処理部１２と、メモリ制御部１３と、主制御部１４と、フレームメモリ１５と、Ｉ／Ｆ１６と、表示部１７と、外部記憶装置１８と、対応検出部１９と、画像歪み補正部２０とを含む画像処理部は、カメラ、若しくは、パーソナルコンピュータのどちら側に実装しても構わない。
【０１３６】
また、図３６は、上記本発明の第２実施例に基づく画像入力システムの構成図である。この例では、レンズ１１１と、絞り１１２と、シャッター１１３と、光電変換素子１１４と、前処理部１１５とを含む撮像部１１は、必ずカメラ３１０側に実装されなければならない。また、画像処理の効率の観点から、好ましくは、対応検出部１９、画像歪み補正部２０、及び、画像合成部２１は、パーソナルコンピュータ側に実装される。一方、残りの信号処理部１２と、メモリ制御部１３と、主制御部１４と、フレームメモリ１５と、Ｉ／Ｆ１６と、表示部１７と、外部記憶装置１８は、カメラ、若しくは、パーソナルコンピュータのどちら側に実装しても構わない。
【０１３７】
また、本発明による画像処理装置の構成は、上記の実施例で説明された例に限定されることなく、画像処理装置の各々の構成要件をソフトウェア（プログラム）で構築し、ディスク装置等に記録しておき、必要に応じてコンピュータにインストールして画像処理を行うことも可能である。さらに、構築されたプログラムをフロッピーディスクやＣＤ−ＲＯＭ等の可搬記録媒体に格納し、このような画像処理装置を用いる場面で汎用的に使用することも可能である。
【０１３８】
図３８は、本発明における画像処理装置の構成例を示した図である。この例では、画像処理装置における各種の制御及び処理を行うＣＰＵ４０１と、ＳＤＲＡＭ４０２と、ＨＤＤ４０３と、マウス等のポインティングデバイス、キーボード、ボタン等の各種入力Ｉ／Ｆ４０４と、電源４０５と、表示Ｉ／Ｆ４０６を介して接続されるＣＲＴ等のディスプレイ４０９と、ＣＤ−ＲＷドライブ等の記録装置４０７と、デジタルカメラやプリンタ等の外部機器やインターネット等の電気通信回線と有線又は無線接続するための外部Ｉ／Ｆ４０８とを、バスを介して接続することにより構成される。
【０１３９】
上記の画像処理装置において、ＳＤＲＡＭ４０２は、ＣＰＵ４０１の作業領域として利用されるとともに、本発明における画像処理方法の各工程を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記憶領域として利用される。処理プログラムは、例えば、記録装置４０７を介してＳＤＲＡＭ４０２にロードされ、又はＨＤＤ４０３に一旦保存された後に必要なときにＳＤＲＡＭ４０２にロードされ、又は外部Ｉ／Ｆ４０８に接続された電気通信回線を介してＳＤＲＡＭ４０２にロードされる。処理の対象となる画像は、記録装置４０７又は外部Ｉ／Ｆ４０８に接続されたデジタルカメラ等の外部機器若しくは電気通信回線を介して入力される。
【０１４０】
図３９は、本発明におけるデジタルカメラの構成例を示した図である。この例では、デジタルカメラにおける各種の制御及び処理を行うＣＰＵ４０１と、ＳＤＲＡＭ４０２と、ＲＯＭ４１０と、カメラ本体に設置されたボタン等の各種入力Ｉ／Ｆ４０４と、電源４０５と、表示Ｉ／Ｆ４０６を介して接続されるＬＣＤ（液晶ディスプレイ）４１８と、ＣＦ（コンパクトフラシュ）カード等の記録装置４０７と、プリンタ等の外部機器やインターネット等の電気通信回線と有線又は無線接続するための外部Ｉ／Ｆ４０８とを、バスを介して接続することにより構成される。
【０１４１】
さらに、上記のデジタルカメラは、レンズ４１１と、絞り４１２と、シャッター４１３と、ＣＣＤ（電荷結合素子）等の光電変換素子４１４と、上記光電変換素子４１４のタイミング制御、並びに上記光電変換素子４１４により得られた画像信号に対して相関二重サンプリングやアナログ／デジタル変換等のデジタル化処理を行う駆動部４１５と、上記駆動部４１５により得られたデジタル信号に対してＡＷＢ（オートマチック・ホワイト・バランス）、エッジ強調やガンマ補正等の前処理、及び画像圧縮／伸長処理を行う前処理回路４１６と、フォーカス、ズーム、アイリス、シャッタースピード等を制御するためにレンズ４１１、絞り４１２、シャッター４１３を駆動するモータ駆動部４１７とを備えている。
【０１４２】
上記のデジタルカメラにおいて、ＲＯＭ４１０は、ＣＰＵ４０１の作業領域として利用されるとともに、本発明における画像処理方法の各工程を実行するための処理プログラムの記憶領域として利用される。ＳＤＲＡＭ４０２は、ＣＰＵ４０１の作業領域として利用されるとともに、本発明における画像処理方法の各工程を実行するための処理プログラムや、その他制御プログラム等の固定情報の記憶領域として利用される。処理プログラムは、例えば、ＲＯＭ４１０に予め格納され、又は記録装置４０７を介してＳＤＲＡＭ４０２にロードされ、又は外部Ｉ／Ｆ４０８に接続された電気通信回線を介してＳＤＲＡＭ４０２にロードされる。制御プログラムは、例えば、ＲＯＭ４１０に予め格納される。
【０１４３】
図３８に示した上記画像処理装置、及び図３９に示した上記デジタルカメラの構成と、図３に示した本発明の第１実施例による画像処理装置の構成との対応関係は、例えば、以下のようになる。図３９の駆動部４１５及び前処理回路４１６が図３の前処理部１１５に対応し、図３９のモータ駆動部４１７、駆動部４１５、前処理回路４１６、レンズ４１１、絞り４１２、シャッター４１３及び光電変換素子４１４を含む構成が図３の撮像部１１に対応し、図３８及び図３９のＣＰＵ４０１及びＲＯＭ４１０が図３の主制御部１４に対応し、図３８及び図３９のＣＰＵ４０１及び前処理回路４１６が図３の信号処理部１２に対応し、図３８及び図３９のＣＰＵ４０１が図３のメモリ制御部１３に対応し、図３８及び図３９のＳＤＲＡＭ４０２が図３のフレームメモリ１５に対応し、図３８及び図３９の表示Ｉ／Ｆ４０６及び外部Ｉ／Ｆ４０８が図３のＩ／Ｆ１６に対応し、図３８のディスプレイ４０９又は図３９のＬＣＤ４１８が図３の表示部１７に対応し、図３８のＨＤＤ４０３及び記録装置４０７又は図３９の記録装置４０７が図３の外部記憶部１８に対応し、図３８及び図３９のＣＰＵ４０１が図３の対応検出部１９、画像歪み補正部２０及び画像合成部２１に対応する。
【０１４４】
【発明の効果】
請求項１乃至５、１０、１１、１２及び１３に記載された発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、被写体面を少なくとも２枚撮影することにより、簡単に画像のあおり歪みを補正することができるので、その結果として、元の被写体面と幾何形状が近く、判読性の高い画像が得られる。
【０１４５】
請求項６及び１４に記載された発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、特にあおり歪みの目立ちやすい合成画像を補正して、元の被写体面と幾何形状が近い高精細画像が得られる。
【０１４６】
請求項７及び１５に記載された発明によれば、任意の被写体面を任意の視点・姿勢で撮影した場合でも、簡便に所定の画像のあおり歪みを補正することができる。また、光学系を少なくとも２つ設けることにより、１回の撮影動作であおり歪みを補正することができ、その結果手持ちで被写体を２枚以上撮影する場合に比べて撮影ミスの可能性が減少するので、より安定にあおり歪みを補正することができる。また、互いの光学系の幾何関係を利用することにより、対応付けの探索範囲が狭くなるので、処理を高速化することができる。また、幾何関係が既知であるため、画像のあおり歪みを補正するパラメータを一層高精度に算出することができ、あおり歪み補正精度が一層向上する。
【０１４７】
請求項８及び１６に記載された発明によれば、撮影した各々の画像や貼り合わせた画像における被写体像の傾きを補正することにより、あおり歪み補正による効果を向上させることができる。その結果、後段でＯＣＲ等の文字認識処理を行う場合の認識精度が向上し、文書情報の取得から符号化までのコストを大幅に削減することができる。
【０１４８】
請求項９及び１７に記載された発明によれば、あおり歪みを補正した画像の大きさを補正前の画像の大きさと同等にすることにより、画像の解像度を失うことなくあおり歪みを補正することができる。また、あおり歪みを補正した画像の解像度を、補正前の画像の解像度に保持することにより、画像の解像度を損なうことなくあおり歪みを補正することができる。その結果、より判読性の高い画像が得られる。さらに、あおり歪みを補正した画像の大きさを設定可能にすることにより、残りのメモリ容量が少ない場合でも設定値を小さくすることにより、あおり歪みを補正した画像を得ることができる。また、高い解像度が必要な場合には、設定値を大きくして、あおり歪みを補正した高精細な画像が得られる。その上、あおり歪み補正後の画像の容量がわかるので、利用者は残りの記憶容量を把握しながら、被写体面の撮影を進めることができる。
【図面の簡単な説明】
【図１】本発明による画像処理システムの一実施例の略構成図である。
【図２】本発明の第１実施例の適用例を説明する図である。
【図３】本発明の第１実施例による画像処理装置の構成図である。
【図４】本発明の第１実施例による対応検出部の構成図である。
【図５】ブロックマッチングの説明図である。
【図６】本発明の第１実施例による画像歪み補正部の構成図である。
【図７】被写体面と画像面の関係モデルの説明図である。
【図８】光学系のモデルの説明図である。
【図９】基準画像から参照画像への射影変換の説明図である。
【図１０】本発明の第１実施例による画像の歪み補正の原理を説明する図である。
【図１１】装置座標系と被投影面の単位法線ベクトルの関係を示す図である。
【図１２】回転行列の表現の説明図である。
【図１３】本発明の第１実施例による画像処理方法のフローチャートである。
【図１４】本発明の第２実施例の適用例を説明する図である。
【図１５】本発明の第２実施例による画像処理装置の構成図である。
【図１６】本発明の第２実施例による画像歪み補正部の構成図である。
【図１７】本発明の第２実施例による画像処理方法のフローチャートである。
【図１８】本発明の第３実施例による画像処理装置の構成図である。
【図１９】対応点の探索の説明図である。
【図２０】本発明の第３実施例による画像歪み補正部の構成図である。
【図２１】本発明の第３実施例による画像処理方法のフローチャートである。
【図２２】本発明の第４実施例による画像処理装置の構成図である。
【図２３】本発明の第４実施例による画像歪み補正部の構成図である。
【図２４】本発明の第４実施例による画像処理方法のフローチャートである。
【図２５】（ａ）は画像面上の傾いた被写体像を示し、（ｂ）は本発明の第５実施例によって傾き補正がなされた画像面上の被写体像を示す図である。
【図２６】本発明の第５実施例による傾き補正部の説明図である。
【図２７】本発明の第６実施例による画像歪み補正部の構成図である。
【図２８】本発明の第６実施例による画像の正規化の説明図である。
【図２９】本発明の第７実施例による画像歪み補正部の構成図である。
【図３０】本発明の第７実施例による解像度を保持する原理の説明図である。
【図３１】本発明の第８実施例による画像歪み補正部の構成図である。
【図３２】本発明の第８実施例による表示画面例を示す図である。
【図３３】拡大係数ｋの別の計算方法を示す図であり、（ａ）は補正前の画像を、（ｂ）は補正後の画像を示す。
【図３４】本発明における画像入力システムの略構成図である。
【図３５】本発明の第１実施例に基づく画像入力システムの構成図である。
【図３６】本発明の第２実施例に基づく画像入力システムの構成図である。
【図３７】分割画像の被写体像を基準となる画像面に写像して合成画像を作成する原理を説明する図である。
【図３８】本発明における画像処理装置の構成図である。
【図３９】本発明におけるデジタルカメラの構成図である。
【符号の説明】
２デジタル撮像部
３画像処理部
４画像メモリ
５対応検出部
６画像歪み補正部
７画像合成部
８幾何関係検出部
９傾き補正部

Claims

平面状の被写体である被写体面を斜め撮影したことによる画像の歪みを補正する画像処理方法であって、
撮影装置にて前記被写体面を互いに重複して撮影した少なくとも２枚の視差のある画像を入力する工程と、
前記入力された少なくとも２枚の視差のある画像のうち、互いに被写体面が重複する第１及び第２の画像に対し、前記被写体面の重複部分について前記第１の画像から特徴点及び前記第２の画像から当該特徴点に対応する点である対応点を検出する工程と、
前記検出された特徴点と対応点とに基づいて、前記第１又は第２の画像を撮影したときの当該撮影装置と被写体面の向きとの関係を算出する工程と、
前記算出された前記撮影装置と被写体面の向きとの関係に基づいて、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正する工程と、
を含むことを特徴とする画像処理方法。
前記算出する工程は、前記検出された特徴点と対応点とに基づいて、前記第１の画像撮影時に対する前記第２の画像撮影時の当該撮影装置の姿勢と、前記第１の画像撮影時から前記第２の画像撮影時への前記撮影装置の単位並進ベクトルと、をさらに算出し、
前記補正する工程は、前記算出された前記撮影装置の姿勢と前記撮影装置の単位並進ベクトルと前記撮影装置と被写体面の向きとの関係に基づいて、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正することを特徴とする請求項１に記載の画像処理方法。
前記入力する工程は、前記被写体面が投影された画像面の幾何情報を入力する工程を有し、
前記検出する工程は、前記第１の画像及び前記第２の画像に対応した画像面の幾何情報の関係を利用し、
前記算出する工程は、前記第１の画像及び前記第２の画像に対応した画像面の幾何情報の関係を利用することを特徴とする請求項１に記載の画像処理方法。
前記算出する工程は、前記特徴点と前記対応点の関係から、前記第１の画像と前記第２の画像の間の射影変換を算出する工程を含むことを特徴とする請求項１に記載の画像処理方法。
前記被写体面と平行な面に投影された画像の前記平行な面内での傾きを補正する工程をさらに有することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
前記補正する工程は、前記被写体面と前記平行な面との間の距離を調整する工程を含むことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
前記入力する工程により入力された、前記被写体面を互いに重複して撮影した２枚以上の画像を、視差が無くなるように座標変換して貼り合わせることで合成画像を作成する工程をさらに含み、前記作成された合成画像を前記第１の画像とし、前記補正する工程により、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
平面状の被写体である被写体面を斜め撮影したことによる画像の歪みを補正する画像処理装置であって、
撮影装置にて前記被写体面を互いに重複して撮影した少なくとも２枚の視差のある画像を入力する画像入力部と、
前記画像入力部が入力した少なくとも２枚の視差のある画像のうち、互いに被写体面が重複する第１及び第２の画像に対し、前記被写体面の重複部分について前記第１の画像から特徴点及び前記第２の画像から当該特徴点に対応する点である対応点を検出する対応検出部と、
前記対応検出部が検出した特徴点と対応点とに基づいて、前記第１又は第２の画像を撮影したときの当該撮影装置と被写体面の向きとの関係を算出すると共に、前記算出された前記撮影装置と被写体面の向きとの関係に基づいて、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正する画像歪み補正部と、
を備えることを特徴とする画像処理装置。
前記画像歪み補正部は、前記検出された特徴点と対応点とに基づいて、前記第１の画像撮影時に対する前記第２の画像撮影時の当該撮影装置の姿勢と、前記第１の画像撮影時から前記第２の画像撮影時への前記撮影装置の単位並進ベクトルと、をさらに算出し、前記算出された前記撮影装置の姿勢と前記撮影装置の単位並進ベクトルと前記撮影装置と被写体面の向きとの関係に基づいて、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正することを特徴とする請求項８に記載の画像処理装置。
前記画像入力部は、前記被写体面が投影された画像面の幾何情報を入力し、前記対応検出部は、前記第１の画像及び前記第２の画像に対応した画像面の幾何情報の関係を利用し、前記画像歪み補正部は、前記第１の画像及び前記第２の画像に対応した画像面の幾何情報の関係を利用することを特徴とする請求項８に記載の画像処理装置。
前記画像歪み補正部は、前記特徴点と前記対応点の関係から、前記第１の画像と前記第２の画像の間の射影変換を算出することを特徴とする請求項８に記載の画像処理装置。
前記画像歪み補正部は、前記被写体面と平行な面に投影された画像の前記平行な面内での傾きを補正することを特徴とする請求項８乃至１ 1 のいずれか一項に記載の画像処理装置。
前記画像歪み補正部は、前記被写体面と前記平行な面との間の距離を調整することを特徴とする請求項８乃至１１のいずれか一項に記載の画像処理装置。
前記画像歪み補正部は、前記画像入力部により入力された、前記被写体面を互いに重複して撮影した２枚以上の画像を、視差が無くなるように座標変換して貼り合わせることで合成画像を作成し、前記作成された合成画像を前記第１の画像とし、前記第１又は第２の画像のいずれか一方の画像を、前記被写体面と平行な面に投影して当該画像の前記歪みを補正することを特徴とする請求項８乃至１０のいずれか一項に記載の画像処理装置。
請求項８乃至１４のいずれか一項に記載の画像処理装置を備えることを特徴とするデジタルカメラ。
請求項１乃至７のいずれか一項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。