JP4169464B2 - 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4169464B2 JP4169464B2 JP2000261565A JP2000261565A JP4169464B2 JP 4169464 B2 JP4169464 B2 JP 4169464B2 JP 2000261565 A JP2000261565 A JP 2000261565A JP 2000261565 A JP2000261565 A JP 2000261565A JP 4169464 B2 JP4169464 B2 JP 4169464B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- image processing
- correspondence
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 150
- 238000003672 processing method Methods 0.000 title claims description 30
- 238000012937 correction Methods 0.000 claims description 94
- 238000001514 detection method Methods 0.000 claims description 56
- 230000003287 optical effect Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 85
- 238000004364 calculation method Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 52
- 238000003384 imaging method Methods 0.000 description 38
- 230000009466 transformation Effects 0.000 description 38
- 239000011159 matrix material Substances 0.000 description 36
- 238000006243 chemical reaction Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 28
- 239000002131 composite material Substances 0.000 description 20
- 238000005259 measurement Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法と画像処理装置及び記録媒体に関し、さらに詳しくは、撮影状態によらず適正な画像を得るための画像処理方法と画像処理装置、及び該画像処理方法を実現するためのコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
コンピュータネットワークの急速な進歩と共にビジネスのあり方も多様化し、あらゆる局面で重要な情報を素早く取得する必要が生じている。それに伴い、至る所で携帯型の入力装置を駆使してビジネスに必要な商品や文書情報を簡便かつ高精細に入力することへの要求が高まっている。特に、デジタルスチルカメラの急速な普及及びその高解像化に伴い、撮影した画像に加工・処理を施すことにより、仕事や娯楽に有効な電子情報として活用しようという応用例も見られるようになった。
【０００３】
代表的な第一の応用例としては、Ａ４紙面や大型のポスター等の被写体面を撮影するとき、撮像面と被写体面が平行でない状態で撮影した場合には、画像の歪み（これを「あおり歪み」ともいう。）が生じるが、これを補正することによって取得した文書画像情報の判読性を向上させる技術がある。ここで、「あおり歪み」を補正したい画像においては、被写体の所望の範囲が写されていることが要求される。すなわち、ユーザは撮影した複数枚の画像のうち少なくとも１枚は被写体の所望の範囲が含まれるように撮影する必要がある。従って、撮影した複数枚の画像のうちあおり歪みを補正する対象を選択できるインタフェース（Ｉ／Ｆ）や、撮影時にユーザへ相応の注意を促すインタフェースが望まれている。
【０００４】
また、第二の応用例としては、携帯可能な画像入力装置で新聞紙等の大面積の紙面情報やパネルや壁に描かれた絵柄等を分割撮影して、得られた複数枚の画像を貼り合わせることにより１枚の合成画像を作成するものがある。すなわち、ＣＣＤ（Charge Coupled Device）に代表される撮像素子の画素数増加に伴い、デジタルカメラの解像度は近年向上しているが、上記のように細かいパターンを有する被写体、すなわち高い周波数成分を含む被写体を撮影して電子化するにはまだまだ解像度が不足する。従って、画像を貼り合わせることにより擬似的に高精細画像を作成して、デジタルカメラの解像度不足を補うというアプローチがなされている。
【０００５】
このような応用例は、被写体が平面状とみなせる場合にアフィン変換や射影変換のような幾何補正式を用いて、被写体の一部分を分割撮影した画像を貼り合わせる技術であり、各分割画像の被写体像を基準となる画像における被写体の見え方に変換して貼り合わせるというものである。なお、このような技術の概要は文献『コンピュータビジョン−技術評論と将来展望−』（松山隆司ほか、新技術コミュニケーションズ）に記載されている。
【０００６】
しかしながら、このような応用例において、基準となる画像において被写体像にあおり歪みが生じていた場合には、貼り合わせた合成画像においてもあおり歪みが含まれてしまうという問題がある。すなわち、分割的に撮影して得られた複数の画像のうち、どの画像を基準にして貼り合わせを実行するかによって、生成される合成画像におけるあおり歪みの大きさが変化する。この問題について図１を参照しつつ説明する。
【０００７】
図１（ａ）に示されるように、例えばある被写体面ＰＬを三方向Ｄ１〜Ｄ３から撮影し、それぞれ画像ＩＭ１〜ＩＭ３が得られたとき、被写体面ＰＬに対して左斜め方向から撮影して得られた画像ＩＭ１を基準にしてこれら三つの画像を貼り合わせると、図１（ｂ）に示されるような合成画像ＩＭＡが得られる。また、ほぼ正面方向から撮影した画像ＩＭ２を基準にして同様に貼り合わせると、図１（ｃ）に示されるような合成画像ＩＭＢが得られる。ここで、図１（ｂ）及び図１（ｃ）に示されるように、上記の両合成画像ＩＭＡ，ＩＭＢは、あおり歪みの大きさが大きく異なる。
【０００８】
従って、撮影した複数枚の画像のうち少なくとも１枚は被写体面ＰＬにほぼ正対して撮影されたものであることが望まれるため、撮影された複数枚の画像のうち貼り合わせの際に基準とする画像を選択するインタフェース、及びその貼り合わせの基準となる画像を撮影する時にユーザに注意を促すインタフェースが望まれている。
【０００９】
【発明が解決しようとする課題】
本発明は、上述の点に鑑みてなされたものであり、歪みを補正してより適正な画像を容易に得るための画像処理方法と画像処理装置、及び該画像処理方法を実現するためのコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法であって、撮影により得られた複数の画像内における重複部分の対応関係を特定する第一のステップと、複数の画像の中から歪みを補正する対象を選択する第二のステップと、第一のステップにおいて特定された対応関係に応じて、第二のステップで選択された画像の歪みを補正する第三のステップとを有することを特徴とする画像処理方法を提供することにより達成される。このような手段によれば、歪みを補正する対象が選択されるため、適正な画像を得るために最適な画像を補正対象とすることができる。
【００１１】
ここで、第二のステップでは、画像内において被写体が占める領域の広さに応じて補正の対象を自動的に選択するようにしてもよい。このような手段によれば、必要とされる書画情報量が最も豊富な画像の歪みを自動的に補正することができる。
【００１２】
また、第二のステップでは、画像内において検出される直線状パターンの向きに応じて補正の対象を自動的に選択するようにしてもよい。このような手段によれば、被写体にほぼ正対した位置から撮影された画像を自動的に補正対象とすることができる。
【００１３】
また、第二のステップでは、第一のステップにおいて特定された対応関係に応じて補正の対象を自動的に選択するようにすれば、精度の高い補正を確実に実行することができる。
【００１４】
また、第二のステップでは、撮影毎に検出された被写体の向きに応じて補正の対象を自動的に選択するようにすれば、被写体に対してほぼ正対した位置から撮影された画像を自動的に補正対象とすることができる。
【００１５】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法であって、撮影により得られた複数の画像内における重複部分の対応関係をそれぞれ特定する第一のステップと、複数の画像の中から歪みが最も少ない画像を選択する第二のステップと、第一のステップにおいて特定された対応関係に応じて、複数の画像の歪みをそれぞれ補正し、第二のステップにおいて選択された画像と合成する第三のステップとを有することを特徴とする画像処理方法を提供することにより達成される。このような手段によれば、歪みが最も少ない画像を基準に合成画像が生成されるため、より適正な合成画像を得ることができる。
【００１６】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、撮影により得られた複数の画像内における重複部分の対応関係を検出する対応検出手段と、複数の画像の中から歪みが最も少ない画像を選択する選択手段と、対応検出手段において検出された対応関係に応じて、複数の画像の歪みをそれぞれ補正し、選択手段において選択された画像と合成する画像合成手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。
【００１７】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、これから撮影する複数の画像のうち、歪みを補正する際の基準とする画像を予め選択する選択手段と、選択手段によりなされた選択に応じて、次に撮影する画像が基準とされる画像となることをユーザへ通知する通知手段と、撮影することにより得られた基準とされる画像と他の画像との間における重複部分の対応関係を検出する対応検出手段と、対応検出手段により検出された対応関係に応じて、基準とされる画像の歪みを補正する補正手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、歪みを補正する際の基準とする画像の撮影において、ユーザへ注意を喚起できる。
【００１８】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、撮影により得られた複数の画像内における重複部分の対応関係を検出する対応検出手段と、複数の画像の中から歪みを補正する対象を選択する選択手段と、対応検出手段により検出された対応関係に応じて、選択手段により選択された画像の歪みを補正する補正手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。
【００１９】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、被写体を同時に撮影する複数の光学手段と、複数の光学手段で撮影される画像のうち補正の対象とする画像を選択する選択手段と、選択手段により選択された画像と他の画像との間における重複部分の対応関係を検出する対応検出手段と、対応検出手段により検出された対応関係に応じて、選択された画像の歪みを補正する補正手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、一度の撮影により複数の方向から撮影された複数の被写体像を得ることができるため、歪みを補正するために必要とされる撮影回数を減らすことができる。
【００２０】
ここで、選択手段は、画像内において被写体が占める領域の広さに応じて補正の対象を自動的に選択するものとし、あるいは、画像内において検出される直線状パターンの向きに応じて補正の対象を自動的に選択するものとすることができる。また、選択手段は、対応検出手段により検出された対応関係に応じて補正の対象を自動的に選択するものとし、あるいは、撮影毎に検出された被写体の向きに応じて補正の対象を自動的に選択するものとしてもよい。
【００２１】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みをコンピュータにより補正するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムは、コンピュータに対し、撮影により得られた複数の画像内における重複部分の対応関係を特定させ、複数の画像の中から歪みを補正する対象を選択させ、特定された対応関係に応じて、選択された画像の歪みを補正させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。このような手段によれば、適正な画像を得るために最適な画像を容易に補正対象とすることができる。
【００２２】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みをコンピュータにより補正するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムは、コンピュータに対し、撮影により得られた複数の画像内における重複部分の対応関係をそれぞれ特定させ、複数の画像の中から歪みが最も少ない画像を選択させ、特定された対応関係に応じて、複数の画像の歪みをそれぞれ補正させて、選択された画像と合成させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。このような手段によれば、より適正な合成画像を容易に得ることができる。
【００２３】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
［実施の形態１］
図２は、本発明の実施の形態１に係る画像処理方法及び画像処理装置を説明するための図である。ここで、本実施の形態においては、図２に示されるように、画像処理装置１により被写体面ＰＬの少なくとも一部が重複するよう２枚の画像３，４が撮影され、これら２枚の画像３，４のうちいずれか一方、例えば画像３のあおり歪みを補正して最終的に歪み補正画像５を得るという例により説明される。
【００２４】
図３は、本発明の実施の形態１に係る画像処理装置１の構成を示す図である。図３に示されるように、画像処理装置１は撮像部１１と、信号処理部１２と、メモリ制御部１３と、主制御部１４と、フレームメモリ１５と、インタフェース１６と、表示部１７と、外部記憶部１８と、撮影モード設定部１９と、基準画像設定部２０と、対応検出部２１と、画像歪み補正部２２とを備える。そして、撮像部１１はレンズ１１１と、絞り１１２と、シャッター１１３と、光電変換素子１１４と、前処理部１１５とを含む。
【００２５】
ここで、信号処理部１２は、前処理部１１５とメモリ制御部１３、主制御部１４及びインタフェース１６に接続される。また、メモリ制御部１３はさらにフレームメモリ１５と基準画像設定部２０に接続される。主制御部１４はさらに、メモリ制御部１３と撮影モード設定部１９及び基準画像設定部２０に接続される。
【００２６】
またフレームメモリ１５は、メモリ制御部１３と対応検出部２１及び画像歪み補正部２２に接続される。また、インタフェース１６はさらに表示部１７及び外部記憶部１８に接続される。そして、基準画像設定部２０はさらに画像歪み補正部２２に接続される。また、対応検出部２１はさらに画像歪み補正部２２に接続される。
【００２７】
一方、撮像部１１においては、レンズ１１１と絞り１１２、シャッター１１３、光電変換素子１１４が光軸上でこの順に配置され、光電変換素子１１４は前処理部１１５に接続される。
【００２８】
上記において、撮影モード設定部１９により撮影モードが切り替えられ、基準画像設定部２０であおり歪みを補正する画像が設定される。また対応検出部２１は、少なくとも一部が相互に重複した二つの画像において、両画像間の特徴点及び対応点を抽出する。そして、画像歪み補正部２２は対応検出部２１から供給された信号に応じて、撮影した画像におけるあおり歪みを補正する。なお、上記における基準画像の設定や対応検出部２１の動作、あおり歪みの補正については、後において詳しく説明する。
【００２９】
また、撮像部１１の光電変換素子１１４には例えばＣＣＤが使用される。また、前処理部１１５にはプリアンプや自動利得制御回路（Auto Gain Control−AGC）等からなるアナログ信号処理部やアナログ−デジタル変換器（Ａ／Ｄ変換器）が備えられ、光電変換素子１１４より出力されたアナログ映像信号に対して、増幅やクランプ等の前処理が施された後、上記アナログ映像信号がデジタル映像信号に変換される。
【００３０】
また、信号処理部１２はデジタル信号処理プロセッサ（DSPプロセッサ）等により構成され、撮像部１１において得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正など種々の画像処理を施す。また、メモリ制御部１３はこのようにして処理された画像信号をフレームメモリ１５へ格納したり、逆にフレームメモリ１５に格納された画像信号を読み出す。また、主制御部１４はマイコンなどにより構成される。また、フレームメモリ１５は少なくとも２枚の画像を格納し、一般的にはVRAM、SRAM、DRAM等の半導体メモリが使用される。
【００３１】
ここで、フレームメモリ１５から読み出された画像信号は、信号処理部１２において画像圧縮等の信号処理が施された後、インタフェース１６を介して外部記憶部１８に保存される。この外部記憶部１８はインタフェース１６を介して供給される画像信号などの種々の信号を読み書きし、ＩＣメモリカードや光磁気ディスク等により構成される。ここで外部記憶部１８として、モデムカードやＩＳＤＮカードが使用されれば、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信することもできる。
【００３２】
また、逆に外部記憶部１８に記録された画像信号の読み出しは、インタフェース１６を介して信号処理部１２へ画像信号が送信され、信号処理部１２において画像伸長が施されることによって行われる。一方、外部記憶部１８及びフレームメモリ１５から読み出された画像信号の表示は、信号処理部１２において画像信号に対してデジタル−アナログ変換（Ｄ／Ａ変換）や増幅などの信号処理を施した後、インタフェース１６を介して表示部１７に送信することにより行われる。ここで表示部１７は、インタフェース１６を介して供給された画像信号に応じて画像を表示し、例えば画像処理装置１の筐体に設置された液晶表示装置より構成される。
【００３３】
図４は、図３に示された画像処理装置を示す斜視図である。図４に示されるように、本実施の形態に係る画像処理装置１は電源スイッチ１０１と、シャッター１０２と、ファインダ１０３と、撮影モード設定部１９に撮影モードを設定するための撮影モード設定キー１０４と、表示部１７に映された画像を上方向へスクロールするための上方向スクロールキー２０１と、表示部１７に映された画像を下方向へスクロールするための下方向スクロールキー２０２と、決定キー２０３とを含む。
【００３４】
以下において、上記のような構成を有する画像処理装置の動作を、図４と図５に示されたフローチャートとを参照しつつ説明する。まず最初に、電源スイッチ１０１を切り替えて画像処理装置１を起動し、撮影モードの選択を行う。ここで、上記撮影モードは通常のスナップ写真を撮影する通常モードと、撮影した画像のあおり歪みを補正した画像を生成するあおり補正モードよりなる。そして、この撮影モードの選択は、ユーザが撮影モード設定キー１０４を操作することによりなされる。なお撮影モード設定部１９として、画像処理装置１の本体には撮影モード設定キー１０４が設けられる。但し、撮影モード設定部１９は、本体とは別個に設けられるハードウェア又はソフトウェア等で構成しても良い。
【００３５】
そして図５に示されるように、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【００３６】
一方、ステップＳ１においてあおり補正モードが選択されると、ステップＳ２へ進む。そして、ユーザは撮像部１１により被写体面ＰＬを少なくとも二枚撮影し、画像処理装置１には被写体像が取り込まれる。なお、このとき互いに被写体像の一部が重なり合うように各々の画像が撮影される必要がある。
【００３７】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。なお、上記指示は撮影モード設定キー１０４をもう一度押して通常モードに切り替えることによりなされる他、撮影終了を指示するためのスイッチを別途設けてもよい。
【００３８】
また、撮影中においては図６に示されるように、表示部１７に例えば「１枚目」等のような現在の撮影枚数と、「撮影モード設定キーを押すと終了」等のような撮影終了方法とをオーバーレイ表示しても良い。
【００３９】
そして、上記のように撮影が終了すると、ステップＳ４以下においてあおり歪みを補正する動作に入るが、まずステップＳ４においてどの画像のあおり歪みを補正するかを選択して該画像を設定する。なお、この時選択された画像は、以下において「基準画像」とも呼ぶ。そして、この基準画像の設定は基準画像設定部２０において行われる。以下において、基準画像設定部２０の構成及び動作を詳しく説明する。
【００４０】
図７は、図３に示された基準画像設定部２０のレイアウトを示す図である。図７に示されるように、基準画像設定部２０は上方向スクロールキー２０１と、下方向スクロールキー２０２及び決定キー２０３を含む。そして、図７に示されるようにステップＳ３においてユーザにより撮影終了の指示がなされると、表示部１７において「基準画像設定」という文字がオーバレイ表示され、ユーザに基準画像を選択するよう指示される。
【００４１】
するとユーザにより、上方向スクロールキー２０１や下方向スクロールキー２０２が操作され、上記ステップＳ２において撮影された画像が順次切り替えつつ表示される。なお、上方向スクロールキー２０１を押すことにより、現在表示されている画像の１つ前に撮影された画像が表示され、また下方向スクロールキー２０２を押すことにより、現在表示されている画像の１つ後に撮影した画像が表示される。そして、基準画像として選択される画像が表示部１７に表示されている状態で決定キー２０３を押すと、その時点で表示されている画像が基準画像として決定される。
【００４２】
そして上記基準画像としては、撮影された複数の画像の中で被写体面ＰＬが最も広い領域に渡り写っており、かつ、撮影時における撮像面の被写体面に対してなす角ができるだけ小さい画像が、ユーザにより選択される。
【００４３】
ここで、被写体領域と上記傾斜角とを装置内部で計算し、該計算の結果に応じてあおり歪みを補正する対象、すなわち基準画像として最適な画像を自動的に選択するようにすることも考えられる。図８は、このような動作を実現する画像処理装置２の構成を示す図である。図８に示されるように、画像処理装置２には図３に示された画像処理装置１に含まれた基準画像設定部２０の代わりに被写体領域決定部２３が備えられる。
【００４４】
そして、上記被写体領域決定部２３は、撮影した画像において被写体が占める領域を検出する処理を行い、例えば文献『画像の処理と認識』（安居院猛・長尾智晴共著、昭晃堂）に記載されているように、（ａ）領域成長法や領域分割法のように画像上でクラスタリングを行う方法、（ｂ）ヒストグラムによる領域分割など、特徴空間上でクラスタリングを行う方法、（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、（ｄ）テクスチャ解析、などの領域分割方法が適用される。但し、被写体面が矩形である場合には、画像上での被写体の四隅の頂点座標が外部入力されることにより、被写体の領域が一意に決定される。
【００４５】
このように被写体領域決定部２３で得られた被写体の領域を示すデータは、画像歪み補正部２２へ供給され、該領域が最も広い画像が画像歪み補正部２２で選択される。さらに画像歪み補正部２２では、以下において詳述するように、撮像面の被写体面ＰＬに対してなす角度が計算されるため、上記領域が最も広い画像が複数ある場合、すなわち例えば被写体面の全体が写っている画像が複数ある場合には、上記角度が最も小さい画像が最終的に基準画像として選択される。
【００４６】
なお、以上のような自動的に基準画像を選択する機能は、以下におけるいずれの実施の形態においても同様に適用できる。
【００４７】
次にステップＳ５へ進み、上記のように決定された基準画像の中において特徴点が検出され、該基準画像の少なくとも一部において重複する画像（以下において、「参照画像」とも呼ぶ。）の中においては上記特徴点と同一箇所を示す対応点が検出される。このような特徴点と対応点の検出は、図３に示された対応検出部２１により行われる。そこで、以下においてこの対応検出部２１の構成及び動作を詳しく説明する。
【００４８】
対応検出部２１は、上記のように互いに重複した領域を持つ２枚の画像において、撮影した同一の部分を検出するものである。そして、ここでは相関演算を用いた方法について説明する。
【００４９】
図９は、図３に示された対応検出部２１の構成を示す図である。図９に示されるように、対応検出部２１はフレームメモリ１５に接続された特徴点設定部２１１と、特徴点設定部２１１及びフレームメモリ１５に接続された相関演算部２１２とを備える。なお、図３に示されたフレームメモリ１５には、基準画像と参照画像とが格納されている。
【００５０】
ここで特徴点設定部２１１は、基準画像において特徴点の位置を決定したのち、その特徴点を中心とする（２Ｎ＋１）×（２Ｐ＋１）個の濃淡パターンを抽出し、相関窓と呼ばれる領域のデータを作成する。なお上記特徴点の位置は、角（corner）のように画像の濃度パターンが特徴的である箇所を抽出することにより決定される。
【００５１】
また相関演算部２１２は、基準画像に基づいて作成した相関窓の濃淡パターンとほぼ一致する箇所を、参照画像内において相関演算を実行することにより検出し、これを対応点と決定する。ここで、相関演算によるブロックマッチングにより対応点を検出する一例について、図１０を参照しつつ説明する。
【００５２】
図１０に示されるように、（２Ｎ＋１）×（２Ｐ＋１）個の濃淡パターンからなる相関窓２１５，２１６のブロックマッチングにおいて、基準画像７内の座標（ｘｉ０，ｙｉ０）を有するｉ番目の特徴点２１３と、参照画像９内の座標（ｘｉ０＋ｄｘｉ，ｙｉ０＋ｄｙｉ）を有する対応点２１７の相互相関値Ｓｉは、次式により計算される。
【００５３】
【数１】
なお、上記式（１）においてＩｓ（ｘ，ｙ）は基準画像７の座標点（ｘ，ｙ）における濃度を示し、 Ｉｒ（ｘ，ｙ）は参照画像９の座標点（ｘ，ｙ）における濃度を示す。また、／Ｉｓ（ｘ，ｙ）は基準画像７における相関窓２１５内の座標点（ｘ，ｙ）を中心とした（２Ｎ＋１）×（２Ｐ＋１）個のパターンにおける平均濃度を示し、／Ｉｒ（ｘ，ｙ）は参照画像９における相関窓２１６内の座標点（ｘ，ｙ）を中心とした（２Ｎ＋１）×（２Ｐ＋１）個のパターンにおける平均濃度を示す。また、Ｋは定数を示す。
【００５４】
そして、上記式（１）により各特徴点２１３に対して、相互相関値Ｓｉの最大値が予め定められた閾値以上である点を求めることにより、参照画像９における対応点２１７が求められる。なお、相互相関値Ｓｉの最大値が閾値以下ならば、対応点は存在しないものとされる。
【００５５】
このようにして、特徴点と対応点の検出が終了すると、図５に示されたステップＳ６において基準画像７のあおり歪みを補正するパラメータを計算すると共に、ステップＳ７において該パラメータを基に画像のあおり歪みを補正した画像を作成し動作を終了する。なお以下においては、それぞれ上記パラメータを「歪み補正パラメータ」、あおり歪みを補正した画像を「歪み補正画像」ともいう。
【００５６】
そして、上記歪み補正パラメータの計算及び歪み補正画像の生成は、画像歪み補正部２２により実行される。以下において、この画像歪み補正部２２の構成及び動作について詳しく説明する。
【００５７】
画像歪み補正部２２は、対応検出部２１が検出した特徴点と対応点の関係を用いて、被写体面を正面から撮影した画像に変換することにより、あおり歪みを補正する。そして、この画像歪み補正部２２の構成は図１１に示される。図１１に示されるように、画像歪み補正部２２は３次元演算部２２１とパラメータ算出部２２２及び座標変換部２２３を含む。ここで、３次元演算部２２１は対応検出部２１と基準画像設定部２０に接続され、パラメータ算出部２２２は３次元演算部２２１に接続される。また、座標変換部２２３はパラメータ算出部２２２とフレームメモリ１５及び基準画像設定部２０に接続される。
【００５８】
以下において、画像歪み補正部２２の動作を説明する。なお以下においては、図１２に示されるように、被写体面ＰＬに対して基準画像７及び参照画像９が撮影されると共に、撮像部１１の光学系は図１３に示されるように、ｘ軸に関しては画像面２２４の右向きを正、ｙ軸に関しては画像面２２４の下向きを正、光軸方向のｚ軸に関しては撮像部１１の光学中心である原点Ｏから画像面２２４へ向かう向きを正、該光学系の焦点距離はｆとされる中心射影モデル（perspective projection model）とされる場合を例として説明する。
【００５９】
図１１に示された３次元演算部２２１は、上記特徴点２１３と対応点２１７との関係により、以下の３次元パラメータを算出する。すなわち、図１２に示される基準画像撮影時を基にした参照画像撮影時における撮像部１１の向きの変化を示す回転行列Ｒと、基準画像撮影時を基にした参照画像撮影時における撮像部１１の位置の変化を示す並進運動ベクトルｔと、被写体面ＰＬの向きを示す法線ベクトルｎとが算出される。そして、これら３つの３次元パラメータ{Ｒ，ｔ，ｎ}を求める方法は、主に以下の二つとされる。
【００６０】
すなわち第一の方法として、８つ以上の特徴点と対応点の組により、各画像撮影時のカメラの位置や姿勢、及び各対応点の３次元座標を計算した上で、被写体が平面であると仮定して、該得られた３次元座標を１つの平面に当てはめる方法がある。
【００６１】
また第二の方法として、４つ以上の特徴点と対応点の組より、射影変換行列（homography matrix）を計算し、得られた射影変換行列により各画像撮影時のカメラの位置や姿勢、及び被写体面の向きを算出する方法がある。
【００６２】
ここで、上記第一の方法は、汎用の運動立体視技術であり、線形演算により上記パラメータ{Ｒ，ｔ，ｎ}が一意に求められるが、その詳細は３次元計測やコンピュータビジョンに関する一般的な文献（例えば『３次元ビジョン』徐剛・辻三郎共著、共立出版）に記録されている。一方、上記第二の方法は、被写体が平面であるという拘束条件のもとで成立する座標変換式（射影変換行列）を求めてから、カメラの向きと被写体面の向きを算出するものである。そして、３次元演算部２２１は、いうまでもなく上記第一及び第二のいずれの方法も採ることができるが、ここでは第二の方法に基づいた動作を説明する。
【００６３】
まず射影変換行列の算出手順を詳しく説明する。ここで、基準画像から参照画像への射影変換とは、図１４に示されるように、基準画像７に写った被写体像が参照画像９と同じ方向から撮影された場合に得られる像に変換された画像１０を得ることを指す。そして、この射影変換を数式で表すと、基準画像における点（ｘｓ，ｙｓ）と参照画像における点（ｘｒ，ｙｒ）とが対応関係にある場合には、次式のようになる。
【００６４】
【数２】
そして、上記の式（２）における８つの未知数ｂ１〜ｂ８を
【００６５】
【数３】
と行列Ｂとしてまとめ、これを射影変換行列と呼ぶ。この射影変換行列Ｂを求めるには、基準画像における座標が（ｘｓｉ，ｙｓｉ）である特徴点と、参照画像における座標が（ｘｒｉ，ｙｒｉ）である対応点（ｉ＝１，…，Ｎ；Ｎ≧４）との組を４組以上用いる。ここで、座標（ｘｓｉ，ｙｓｉ）と座標（ｘｒｉ，ｙｒｉ）を上記式（２）へ代入してｂ１〜ｂ８の解を求めればよいが、実際には画像に重畳するノイズ等の誤差により式（２）は成立しないので、以下に示す最小自乗演算を用いて解くことになる。
【００６６】
【数４】
そして、上記式（４）は以下のように変形される。
【００６７】
【数５】
上記式（５）の左辺をｂ１〜ｂ８でそれぞれ変微分して得られた導関数の値が０になるという拘束条件を利用すると、ｂ１〜ｂ８は連立一次方程式を解くことにより計算される。すなわち、射影変換行列Ｂは上記対応付けられた組を用いて、簡単な線形演算により求めることができる。
【００６８】
続いて、射影変換行列Ｂより３次元パラメータ{Ｒ，ｔ，ｎ}を求める手順を説明する。被写体面の法線ベクトルｎを
【００６９】
【数６】
とし、基準画像撮影時を基準とした被写体面の方程式を、
【００７０】
【数７】
ここで、｜ｄ｜は原点から被写体面ＰＬまでの距離を示し、ｒ＝［ｘ ｙ ｚ］Ｔ とおかれる。また焦点距離ｆを用いて、式（２）は次式のように書き直される。
【００７１】
【数８】
さらに式（８）は
【００７２】
【数９】
と変形される。但し、
【００７３】
【数１０】
である。この時、式（９）の行列Ｈとパラメータ{Ｒ，ｔ，ｎ，ｄ}との関係は、次式のようになる。
【００７４】
【数１１】
但し、ｓ’は定数であり、行列Ｈの各要素はスケール倍の自由度を有している。また、式（３）の射影変換行列Ｂから式（９）の行列Ｈへの変換は、次式により行うことができる。
【００７５】
【数１２】
以下において、行列Ｈより未知のパラメータ{Ｒ，ｔ，ｎ，ｄ}を求める手順を示す。但し、被写体面との距離を表す変数ｄと並進運動ベクトルｔの大きさのスケールは不定であるので、
【００７６】
【数１３】
と仮定する。ここで、パラメータ{Ｒ，ｔ，ｎ，ｄ}の解を導出する計算過程は、文献『画像理解−３次元認識の数理−』（金谷健一著、森北出版）に詳細が記されているが、その結果をまとめると以下のようになる。
（i）式（９）の行列Ｈの各要素に適当な定数をかけて、ｄｅｔ［Ｈ］＝１となるようにする。（ii）対称行列ＨＨＴの固有値をσ１ ２，σ２ ２，σ３ ２とし、対応する固有ベクトルｕ１，ｕ２，ｕ３を互いに直交し、この順に右手系を作る単位ベクトルにとる。但しσ１≧σ２≧σ３＞０とする。（iii）σ１＝σ２＝σ３ならば、運動パラメータは、
【００７７】
【数１４】
であり、被写体面のパラメータ｛ｎ，ｄ｝は不定である。そうでなければ、次のように２組の解が得られる。（iv）被写体面のパラメータ｛ｎ，ｄ｝は、次のように定まる。
【００７８】
【数１５】
【００７９】
【数１６】
但しε＝±１であり、εをｃ＞０になるように選ぶ。また、（v）単位並進運動ベクトルｔは次のように定まる。
【００８０】
【数１７】
また、回転行列Ｒは次のように
定まる。
【００８１】
【数１８】
従って、行列Ｂよりパラメータ{Ｒ，ｔ，ｎ，ｄ}の解が２通り得られるが、大抵の場合は導出された値より真の解を判別することができる。なお、途中の計算で撮像部１１の焦点距離ｆを使用するが、焦点距離ｆの値は撮像部１１の光学系パラメータを内部メモリ（図示せず）に記憶するなどの方法により容易に得ることが可能である。また、撮像部１１の光学系の焦点距離が可変で基準画像と参照画像の焦点距離が異なる場合でも、双方の画像の焦点距離が既知であれば、上記３次元パラメータ算出手順をそのまま適用でき、焦点距離は光学系にエンコーダを設置するなどの方法により検出可能である。
【００８２】
次に、図１１に示されたパラメータ算出部２２２は、被写体面を撮影した時の撮像部１１と３次元演算部２２１で算出された被写体面の向きとの関係に基づき、あおり歪みを補正するパラメータを計算する。ここで、本実施の形態においては図１５に示されるように、３次元演算部２２１が算出した被写体面に平行な平面を被投影面３１として、あおり歪みを有する被写体像を含む画像面３０を投影するという射影変換を行うことにより、画像のあおり歪みが補正される。ここで例えば、画像面３０上の点Ｐ１は被投影面３１上の点Ｐ２に投影される。以下において上記あおり歪みを補正するパラメータの計算方法を説明する。
【００８３】
まず、図１６に示されるように、装置座標系３３におけるｚ軸を被投影面３１の単位法線ベクトルに一致させる座標変換を示す回転行列Ｒ’を求める。この場合、次の関係式が成立する。
【００８４】
【数１９】
そして、上記式（９）を満たす回転行列Ｒ’は多数存在するが、ここでは回転行列Ｒ’を次式のように定義する。
【００８５】
【数２０】
但し、ここでＲ’ｘとＲ’ｙはそれぞれ次のように示される。
【００８６】
【数２１】
これは、図１７に示されるように、以下の順序で装置座標系（ｘｙｚ座標系）３３を回転させて、ｘ’ｙ’ｚ’座標系に変換することに相当する。（i）装置座標系３３をｙ軸の回りにだけβ回転させる。そして、この回転により得られる座標系をｘ１ｙ１ｚ１座標系とする。（ii）装置座標系をｘ１軸の回りにαだけ回転する。
【００８７】
ここで、式（１９）と式（２０）を用いると、回転角は次式のように導出される。
【００８８】
【数２２】
そして、このように求められた回転角を式（２０）及び式（２１）に代入することにより、行列Ｒ’を一意に定めることができる。
【００８９】
次に、画像面３０上の座標を被投影面３１上に座標変換する。すなわち、図１５において、画像面３０の点Ｐ１に対応する３次元ベクトルｐを延長したときに被投影面３１と交差する点Ｐ２を、座標変換後の座標とする。そして、装置座標系３３を基準とした点Ｐ１に対応する３次元ベクトルｐは、次式で示される。
【００９０】
【数２３】
ここで、ｋは撮像部１１の光学中心ｏから被投影面までの距離を表す拡大係数であるため、ｋは作成される歪み補正画像の大きさを表している。また３次元ベクトルｐは、基準画像撮影時の装置座標系３３を基準にして点Ｐ１を表したベクトルであるが、これを回転行列Ｒ’を用いて次式のように座標変換することにより、撮像部１１を被写体面と正対させた時の３次元ベクトルｐ’に変換される。
【００９１】
【数２４】
従って、式（２５）のｘ座標とｙ座標を座標変換後に得られる座標とすることにより、あおり歪みを補正した画像が得られる。そして、以上のような手順により、式（２５）を用いて基準画像のあおり歪みを補正するパラメータを算出することができる。
【００９２】
次に、座標変換部２２３はパラメータ算出部２２２により算出されたあおり歪み補正パラメータを基に、基準画像を座標変換して歪み補正画像を作成する。具体的には、座標変換後の座標（Ｘ，Ｙ）に対応する変換前の座標（ｘｓ，ｙｓ）を式（２５）に基づいて計算し、計算された座標（ｘｓ，ｙｓ）の近傍における画素値を基に座標（Ｘ，Ｙ）における画素値を補間演算により決定する。なお、この補間演算は双一次補間法やＢ−スプライン補間法などの既存の方法を用いて行えばよい。
【００９３】
以上のように、本発明の実施の形態１に係る画像処理装置によれば、互いに少なくとも一部が重なり合うように被写体面が２枚以上撮影されたときには、その撮影された任意の画像におけるあおり歪みを補正してより適正な被写体の全体像を得ることができる。
【００９４】
すなわち、上記手順においては全ての画像において被写体の全範囲を撮影する必要はなく、例えば図１４に示されるように、被写体の全体を撮影した画像と、被写体の一部分のみを撮影した画像があれば足りる。そしてこのような場合、基準画像設定部２０により被写体の全体を撮影した画像の方を基準画像として選ぶことができるので、あおり歪みが補正された被写体の全体像を生成することができる。
【００９５】
また歪み補正画像を上記の方法により生成するためには、最低限二枚の被写体像があればよいので、撮影する枚数を二枚に限定すれば、ユーザにとって画像の入力や撮影及び基準画像の設定が簡略化されるだけではなく、画像を記憶するために必要なメモリ容量や特徴点及び対応点の検出、射影変換行列の計算に要する計算コストを小さくすることができる。
［実施の形態２］
図１８は、本発明の実施の形態２に係る画像処理方法及び画像処理装置を説明するための図である。図１８（ａ）に示されるように、同一の被写体面ＰＬの静止画像が、画像の一部においてそれぞれ重複するように複数の方向ｄ１〜ｄｋから撮影された場合における、本実施の形態に係る画像処理装置６の動作について説明する。
【００９６】
ここで、図１８（ａ）に示されるように、方向Ｄｎから撮影することにより画像ｉｍｎ（ｎ＝１，２…，ｊ，…，ｋ）が得られ、例えば画像ｉｍ１と画像ｉｍ２のように隣り合う方向において撮影することにより得られた画像ｉｍｊと画像ｉｍ（ｊ＋１）（１≦ｊ≦ｋ−１）との間ではそれぞれ重複領域があるとする。
【００９７】
そして、本実施の形態２に係る画像処理装置においては、図１８（ｂ）に示されるように、基準画像として選択されたいずれか一つの画像ｉｍｊに整合するように他の画像が貼り合わされ、合成画像ＩＭＣが得られる。
【００９８】
図１９は、本実施の形態２に係る画像処理装置６の構成を示す図である。図１９に示されるように、画像処理装置６は、図３に示された上記実施の形態１に係る画像処理装置１と同様な構成を有するが、画像歪み補正部２２の代わりに画像合成部２４が備えられる点で相違するものである。ここで、画像合成部２４は対応検出部２１で得られた特徴点と対応点の関係を基に座標変換することにより、互いに重複する領域を持つ画像を貼り合わせるが、この動作については後に詳しく説明する。
【００９９】
図２０は、図１９に示された本実施の形態２に係る画像処理装置６の動作を示すフローチャートである。まず最初に、電源スイッチ１０１を切り替えて画像処理装置１を起動し、撮影モードの選択を行う。ここで、上記撮影モードは通常のスナップ写真を撮影する通常モードと、撮影した画像のあおり歪みを補正した画像を生成するあおり補正モードよりなる。そして、この撮影モードの選択は、ユーザが撮影モード設定キー１０４を操作することによりなされる。なお撮影モード設定部１９として、画像処理装置１の本体には撮影モード設定キー１０４が設けられる。但し、撮影モード設定部１９は、本体とは別個に設けられるハードウェア又はソフトウェア等で構成しても良い。
【０１００】
そして図５に示されるように、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【０１０１】
一方、ステップＳ１においてあおり補正モードが選択されると、ステップＳ２へ進む。そして、ユーザは撮像部１１により被写体面ＰＬを少なくとも二枚撮影し、画像処理装置６には被写体像が取り込まれる。なお、このとき互いに被写体像の一部が重なり合うように各々の画像が撮影される必要がある。
【０１０２】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。なお、上記指示は撮影モード設定キー１０４をもう一度押して通常モードに切り替えることによりなされる他、撮影終了を指示するためのスイッチを別途設けてもよい。
【０１０３】
そして、上記のように被写体の撮影が終了すると、ステップＳ４以下において、複数枚の画像を貼り合せた合成画像を生成する動作に入る。まずステップＳ４において、どの画像を基準に合成画像を生成するかを選択する。なお、このとき選択された画像が上記基準画像であり、以下においては例として図１８に示される画像ｉｍｊが基準画像として選択された場合について説明する。また、この基準画像の設定は基準画像設定部２０においてなされるが、基準画像設定部２０の構成及び動作は上記実施の形態１における場合と同様である。
【０１０４】
次に、ステップＳ５において、図１８（ａ）に示された隣接する方向から撮影された画像対、すなわち画像ｎと画像（ｎ＋１）（１≦ｎ≦ｋ−１）との間において特徴点と、該特徴点と同一の箇所を示す対応点を検出する。この特徴点と対応点の検出は、対応検出部２１により行われる。ここで、対応検出部２１の構成及び動作は上記実施の形態１における場合と同様である。
【０１０５】
そして、特徴点と対応点の検出が終了すると、得られた両点の関係を基に、基準画像に整合するよう座標変換した上で画像が貼り合わされる。ここで、座標変換として射影変換を用いるとき、ステップＳ６において射影変換行列を計算すると共に、ステップＳ７において上記貼り合わせにより合成画像が生成される。このような射影変換行列の算出及び合成画像の生成は、画像合成部２４により実行される。以下において、この画像合成部２４の構成及び動作について詳しく説明する。
【０１０６】
図２１は、図１９に示された画像合成部２４の構成を示す図である。図２１に示されるように、画像合成部２４は射影変換算出部２３１と座標変換部２３２とを含む。ここで、射影変換算出部２３１は基準画像設定部２０と対応検出部２１とに接続され、座標変換部２３２は基準画像設定部２０とフレームメモリ１５及び射影変換算出部２３１に接続される。
【０１０７】
そして、射影変換算出部２３１は４つ以上の特徴点と対応点の組を用いて、式（３）で示した射影変換行列Ｂを算出する。その算出手順は上記実施の形態１における場合と同様であり、式（５）の最小自乗計算を行えばよい。ここで、本実施の形態においては、（ｋ−１）個の画像対間における射影変換行列を計算し、さらに各々の画像から基準画像への射影変換行列を求める必要がある。
【０１０８】
より具体的には、図１８に示されるように画像ｉｍｎ（ｎ＝１〜ｋ−１）から画像ｉｍ（ｎ＋１）への射影変換行列をＢｎ、また画像ｉｍｎから画像ｉｍｊへの射影変換行列を
【０１０９】
【数２５】
とおくと、この射影変換行列は次式に基づいて計算できる。
【０１１０】
【数２６】
ここで、座標変換部２３２は、射影変換算出部２３１により算出された式（２６）により示される射影変換行列を基に、画像ｎを基準とされる画像ｉｍｊに貼り合わされる。具体的には、まず基準画像における座標変換後の座標（Ｘ，Ｙ）に対応する、画像ｎにおける座標変換前の座標（ｘ，ｙ）を次式に基づき計算する。
【０１１１】
【数２７】
但しｓは、式（２７）における左辺の列ベクトルの第三成分を１とするための定数である。次に、座標変換前の座標（ｘ，ｙ）近傍における画素値を基に、座標（Ｘ，Ｙ）の画素値を補間演算により決定する。そして、この補間演算は双一次補間法やＢ−スプライン補間法などの既存の方法を用いて行えばよい。
【０１１２】
以上のように、本実施の形態に係る画像処理装置６によれば、互いに一部が重なり合うように被写体面ＰＬを２枚以上撮影し、選択した基準画像に対して他の画像を貼り合わせることにより、被写体面ＰＬの広い領域に渡る合成画像が生成される。この場合基準画像設定部２０により、被写体に対してほぼ正対する方向から撮影された画像、すなわちあおり歪みの小さい画像を基準画像として選ぶことができるため、結果的にあおり歪みの小さい全体的な被写体像を、上記合成画像として得ることができる。
［実施の形態３］
上記実施の形態１及び２に係る画像処理装置においては、先に被写体像が２枚以上入力又は撮影された後に、歪み補正の対象とされ又は合成画像の基準とされる基準画像が選択される。これに対し、本実施の形態３に係る画像処理装置は、被写体を撮影する前に予め上記基準画像が設定される。
【０１１３】
図２２は、本発明の実施の形態３に係る画像処理装置８の構成を示す図である。図２２に示されるように、本実施の形態に係る画像処理装置８は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、通知部２６をさらに備える点で相違するものである。ここで、通知部２６は主制御部１４と基準画像設定部２０に接続される。
【０１１４】
なお、該画像処理装置８に含まれたシャッター１１３及びインタフェース１６は主制御部１４に接続され、ファインダ２４１はインタフェース１６に接続される。
【０１１５】
次に、本発明の実施の形態３に係る画像処理装置８の動作を、図２３のフローチャートを参照しつつ説明する。まず、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【０１１６】
一方、ステップＳ１においてあおり補正モードが選択されると、ステップＳ２へ進む。そしてステップＳ２においては、あおり歪みの補正対象とする画像、すなわち基準画像が基準画像設定部２０に設定される。ここで基準画像設定部２０は、図２４に示されるように、カーソルキー２０４と決定キー２０３とを含む。そして、表示部１７には「基準画像設定」という文字がオーバレイ表示されると共に、ユーザにこれから撮影する枚数と、該撮影において何枚目に撮る画像を基準画像とするのかを指定する基準画像指定値とを設定するよう指示される。ここで、例えばユーザはカーソルキー２０４の上又は下方向スクロールキーを操作することにより撮影枚数と基準画像の設定間を切り替え、かつ左又は右方向スクロールキーを操作することにより枠内の設定値を増減させることによって、所望の撮影枚数と基準画像指定値とを設定することができる。なお、決定キー２０３が押されることにより上記基準画像の設定が完了される。
【０１１７】
次に、ステップＳ３においてユーザは少なくとも２枚以上の被写体像の撮影を開始する。なおこのとき、互いに一部が重なり合うように各画像が撮影される必要がある。そして、画像を撮影する度にシャッター１１３から主制御部１４へ撮影信号が供給されることによって、主制御部１４に内蔵されたカウンタがインクリメントされ、該カウンタから次の撮影が何枚目であるかを示す枚数特定信号が通知部２６へ供給される。ここで、基準画像設定部２０より上記基準画像指定値を示す信号が通知部２６に内蔵されたレジスタに供給され、該レジスタに基準画像指定値が格納されているため、ステップＳ４において通知部２６は常に該レジスタに格納された上記基準画像指定値と上記枚数特定信号が示す値とを比較し、今度撮影する画像が基準画像とされるものであるか否かを判断する。
【０１１８】
そして、上記比較において両者の値が一致し、これから撮影しようとする画像が基準画像とされるものである場合には、ステップＳ５へ進み、通知部２６はユーザに基準画像の撮影であることを通知する。すなわち、このとき通知部２６からは主制御部１４を介してインタフェース１６へ通知信号が供給され、図２５に示されるように、該通知信号に応じてインタフェース１６によりファインダ２４１内の被写体像３５横のインジケータ２４２が点灯される。従って、撮影時にユーザにより容易に基準画像の撮影であるか否かが認識される。なお上記における通知は、表示部１７へ所定のテキストやシンボルを表示すること等によって行っても良い。
【０１１９】
次にステップＳ６へ進むが、ステップＳ４において次に撮影する画像が基準画像とされないと判断された場合には、直接ステップＳ６へ進む。そして、このステップＳ６においては、被写体の撮影（被写体画像の入力）が終了したか否かが判断され、終了しないと判断された場合にはステップＳ３へ戻る。一方、終了すると判断された場合にはステップＳ７へ進む。ここで、撮影の終了はユーザの指示に応じて判断され、該指示は撮影モード設定部１９における設定が通常モードに切り替えられ、又は撮影終了のために設けられたスイッチが押されること等によりなされるものとすることができる。
【０１２０】
次に、ステップＳ７では基準画像の中において特徴点が検出され、該基準画像の少なくとも一部において重複する画像の中においては上記特徴点と同一箇所を示す対応点が検出される。このような特徴点と対応点の検出は、図２２に示された対応検出部２１により行われる。なお、該対応検出部２１の構成及び動作は、上記実施の形態１の場合と同様である。
【０１２１】
そして、ステップＳ８において基準画像のあおり歪みを補正するためのパラメータを算出すると共に、ステップＳ９において上記パラメータを基にあおり歪みを補正した画像を生成して動作を終了する。なお、該パラメータの算出及びあおり歪みを補正した画像の生成は画像歪み補正部２２により行われるが、この画像歪み補正部２２の構成及び動作は上記実施の形態１の場合と同様である。
【０１２２】
以上のように、本実施の形態３に係る画像処理装置８によれば、撮影前に基準画像指定値を設定することにより、ユーザによる画像撮影において、次に撮影する画像が基準画像とされるものであるか否かが通知部２６によってユーザに通知されるため、ユーザは基準画像の撮影を容易に認識することができる。そしてユーザは、基準画像の撮影時には被写体の所望の領域が撮影範囲に入るよう特に注意を払うことができる。またさらに、基準画像の撮影ミスを減少させることができる。
【０１２３】
なお、通知部２６により基準画像指定値の設定に応じてユーザへ基準画像の撮影を通知する技術は、上記実施の形態２に係る画像処理装置６にも適用可能であることはいうまでもない。
［実施の形態４］
上記実施の形態に係る画像処理装置は、撮像部に含まれた単一の光学系を移動させることにより、被写体を異なる方向から少なくとも２度撮影する必要があったが、本実施の形態に係る画像処理装置では撮像部４１に２以上の光学系が並設され、一度の撮影で異なる方向から撮影された被写体像が複数枚得られるようにされる。
【０１２４】
図２６は、本発明の実施の形態４に係る画像処理装置４０の構成を示す図である。図２６に示されるように、本実施の形態４に係る画像処理装置４０は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、撮像部４１には２つの光学系１１Ａ，１１Ｂを含む点で相違するものである。
【０１２５】
以下において、本実施の形態に係る画像処理装置の動作を図２７のフローチャートを参照しつつ説明する。まず最初に、画像処理装置４０を起動し、撮影モードの選択を行う。ここで、上記撮影モードは通常のスナップ写真を撮影する通常モードと、撮影した画像のあおり歪みを補正した画像を生成するあおり補正モードよりなる。そして、この撮影モードの選択は、ユーザが撮影モード設定キーを操作することによりなされる。なお撮影モード設定部１９として、画像処理装置４０の本体には撮影モード設定キー１０４が設けられる。但し、撮影モード設定部１９は、本体とは別個に設けられるハードウェア又はソフトウェア等で構成しても良い。
【０１２６】
そして図２７に示されるように、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【０１２７】
一方、ステップＳ１においてあおり補正モードが選択されるとステップＳ２へ進み、基準画像設定部２０に対してあおり歪みを補正する対象としての基準画像が設定される。ここで基準画像設定部２０には、図２８に示されるように、上方向スクロールキー２０１及び下方向スクロールキー２０２と決定キー２０３とが含まれる。また、表示部１７には「基準画像設定」という文字がオーバレイ表示されると共に、いずれの光学系１１Ａ、１１Ｂで撮影された画像を上記基準画像とするかという選択がユーザに求められる。
【０１２８】
すると、ユーザは上方向スクロールキー２０１又は下方向スクロールキー２０２を操作することにより、例えば三角形で示されるポインタを表示部１７上で動かし、光学系１１Ａを選択する「カメラ１」という表示、あるいは光学系１１Ｂを選択する「カメラ２」という表示のいずれかを指定する。そして、上記ポインタがいずれかの光学系を指定した状態で決定キー２０３を押すと、該指定した光学系により撮影された画像が上記基準画像とされる。ここで、上記基準画像の設定情報は基準画像設定部２０から主制御部１４へ供給される。
【０１２９】
次に、ステップＳ３においてユーザは被写体の撮影を行う。このとき表示部１７には、主制御部１４による制御により、ステップＳ２で選択された光学系で撮影された画像のみを表示することとすれば、あおり歪みを補正しようとする画像が被写体の所望の範囲を含んでいるか否かがユーザにより容易に確認される。
【０１３０】
そしてステップＳ４においては、基準画像内で特徴点が検出されると共に、基準画像と重複した領域を有する画像内で該特徴点と同一の箇所を示す対応点が検出される。なお、この特徴点及び対応点の検出は、対応検出部２１により実行されるが、この対応検出部２１の構成及び動作は上記実施の形態１の場合と同様である。
【０１３１】
次に、ステップＳ５において基準画像のあおり歪みを補正するためのパラメータを算出すると共に、ステップＳ６において該パラメータを基にあおり歪みを補正した画像を生成し、動作を終了する。ここで、上記パラメータの算出及びあおり歪みを補正した画像の生成は画像歪み補正部２２により実行されるが、この画像歪み補正部２２の構成及び動作は上記実施の形態１の場合と同様である。
【０１３２】
以上のように、本実施の形態４に係る画像処理装置４０によれば、撮像部４１は光学系を少なくとも２つ備えるため、ユーザは１回の撮影動作により上記実施の形態に係る画像処理装置により得られる補正画像を得ることができる。また、選択した光学系において撮影された画像のみを表示部１７に表示するようにすれば、あおり歪みを補正しようとする画像が被写体の所望の範囲を含んでいるか否かがユーザにより容易に確認できるので、ユーザは基準画像の撮影に一層注意を払うことができ、撮影ミスの可能性を減少させることができる。
【０１３３】
また、図２６に示された撮像部４１には光学系が３つ以上含まれてもよく、このような複数の光学系を含む撮像部は、上記実施の形態２に係る画像処理装置６に備えられてもよいことはいうまでもない。
【０１３４】
なお、上記全ての実施の形態に係る画像処理装置においては、被写体を撮像部により撮影する代わりに、ハードディスク等の記憶装置やＣＤ−ＲＯＭ等の記憶媒体に格納された２枚以上の被写体像を外部記憶部１８等に取り込み、これらの被写体像を用いて補正画像を生成してもよい。また、撮影モード設定部１９や基準画像設定部２０、対応検出部２１、画像歪み補正部２２及び画像合成部２４等が撮像部１１，４１とは別の筐体、例えば計算機等に収められているものも上記実施の形態と同様に考えられる。
【０１３５】
また、対応検出部２１では、相関法による濃度マッチングにより対応点が検出されると説明したが、時空間微分法など別の手法で行っても良い。さらに、あおり歪みパラメータの算出においては、上記のような式（２０）に示された座標変換に限られず、他のパラメータ算出方法を適用してもよい。
［実施の形態５］
上記実施の形態においては、画像処理の対象とする基準画像に対して座標変換パラメータを算出し、補間演算を用いて歪み補正画像が生成されたが、該基準画像は豊富な書画情報を含み、かつ補間演算による画像の劣化が少ない画像、すなわち比較的被写体に正対した状態で撮影された画像であることが好ましい。そこで、以下においては、最適な基準画像を自動的に選択する画像処理方法と、該方法を実行する画像処理装置について説明する。
【０１３６】
図２９は、本発明の実施の形態５に係る画像処理装置における第一の構成例を示す図である。図２９に示されるように、本実施の形態５に係る画像処理装置５０は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、基準画像設定部２０の代わりに被写体領域判定部２５と基準画像自動選択部２７とを備える点で相違するものである。
【０１３７】
ここで、被写体領域判定部２５及び基準画像自動選択部２７は、それぞれ主制御部１４に接続され、被写体領域判定部２５の出力端は基準画像自動選択部２７に接続される。また、基準画像自動選択部２７の出力端は、画像歪み補正部２２に接続される。
【０１３８】
なお、本実施の形態５に係る画像処理装置５０においても、図４に示されるように、上記実施の形態１に係る画像処理装置１と同様な構成とすることができる。
【０１３９】
以下において、本実施の形態５に係る画像処理装置５０の動作を、図３０に示されたフローチャートを参照しつつ説明する。ここで、本実施の形態５に係る画像処理装置５０は、上記実施の形態１に係る画像処理装置１と同様に動作するため、以下においては相違点を中心に詳しく説明する。
【０１４０】
まずステップＳ１において、ユーザにより、あおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択される場合にはステップＳ１０へ進み、該ユーザにより所望のスナップ写真が撮影される。
【０１４１】
一方、ステップＳ１においてユーザによりあおり補正モードが選択されるときには、ステップＳ２へ進む。そして、ステップＳ２においては、撮像部１１により少なくとも二回撮影された被写体像がフレームメモリ１５へ取り込まれる。なおこのとき、互いに該被写体像の一部が重なり合うように、各々の画像が撮影される必要がある。
【０１４２】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。
【０１４３】
そして、ステップＳ４では、対応検出部２１により被写体像の中において特徴点が検出され、該被写体像の少なくとも一部において重複する参照画像の中においては、上記特徴点と同一箇所を示す対応点が検出される。次に、特徴点と対応点の検出が終了すると、以下においてあおり歪みを補正する動作に入る。そしてまず、ステップＳ５において、基準画像自動選択部２７はあおり歪み補正の対象とする基準画像を自動選択する。以下において、基準画像自動選択部２７について詳しく説明する。
【０１４４】
なお、上記実施の形態１に係る画像処理装置１と同様に、ステップＳ６においては、ステップＳ５において選択された基準画像に対してあおり歪みを補正するためのパラメータを計算し、ステップＳ７において該パラメータを基に画像のあおり歪みを補正した画像を作成し、動作を終了する。
【０１４５】
あおり歪みを補正する場合、上記基準画像としては、撮影された複数の画像の中で被写体面が最も広い領域に渡って写っており、ユーザの必要とする書画情報量が豊富である画像が選択されると好適である。また、撮影時における撮像面の被写体面に対してなす角（以下において、「あおり角」とも呼ぶ）ができるだけ小さい画像が選択されると好適である。その理由について、図３１を参照しつつ説明する。
【０１４６】
図２９に示された画像歪み補正部２２は、上記のように式（２５）による座標変換を実行することによってあおり歪み補正を行うが、あおり角φに応じて該補正動作が変化する。ここでは、説明を簡単なものにするためあおり角φがｙ軸周りに限られ、かつ被写体面に平行な被投影面３１の大きさが撮像面３２の大きさに等しいと仮定する。
【０１４７】
図３１（ａ）に示されるように、あおり角φが比較的小さい場合における該座標変換においては、撮像面３２の左端近傍の点は、原点ｏに向かうベクトルで示される変分により被投影面３１へ投影される。なお、このような座標変換によって被投影面３１内における斜線部において、被写体像の解像度が低下する。
【０１４８】
一方、図３１（ｂ）に示されるように、該座標変換においてあおり角φが比較的大きい場合には、撮像面３２の左端近傍の点は、図３１（ａ）に示される変分より大きな変分を伴い、すなわち原点ｏに対する位置ベクトルがより大きく縮小されるように被投影面３１に投影される。そして、該座標変換により被写体像の解像度が低下する領域は、図３１（ａ）の場合に比して大きくなることが分かる。
【０１４９】
従って、以上より、あおり角φが小さいほど画像歪み補正部２２による座標変換に起因した解像度の劣化は少なくなることが分かる。
【０１５０】
また、図２９に示された被写体領域判定部２５は、撮影した画像において被写体が占める領域を検出するが、例えば文献『画像の処理と認識』（安居院猛・長尾智晴共著、昭晃堂）に記載されているように、（ａ）領域成長法や領域分割法のように画像上でクラスタリングを行う方法、（ｂ）ヒストグラムによる領域分割など、特徴空間上でクラスタリングを行う方法、（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、（ｄ）テクスチャ解析、などの領域分割方法が適用される。そして、被写体領域判定部２５は、該判定結果に応じて被写体の広い範囲を撮影した画像を上記基準画像として選択する。その結果、基準画像として豊富な書画情報を含む画像を自動的に選択することができる。
【０１５１】
ここで、本発明の実施の形態５に係る画像処理装置は、図３２に示されるような構成とすることもできる。すなわち、図３２に示された画像処理装置５１は、図２９に示された画像処理装置５０と同様な構成を有するが、被写体領域判定部２５の代わりに直線状パターン検出部２８を備える点で相違するものである。
【０１５２】
一般的に、文書を初めとする被写体面においては、文字列や罫線など互いに平行な関係にある直線状パターンが多数存在する。しかし、撮影時におけるあおり角が大きい場合には、本来平行であるはずの直線状パターンが、異なる向きを持つ直線状パターンとして画像に投影される。従って、画像に投影された直線状パターンの向きのばらつきを調べることにより該あおり角の大小を判別し、あおり角の小さな画像を自動的に基準画像として選択することができる。
【０１５３】
ここで、図３２に示された直線状パターン検出部２８は、撮影された複数の画像において直線状パターンを検出する処理を行う。そして、以下に該直線状パターンの検出方法の一例を説明する。
【０１５４】
まず、該複数の画像において微分を取ることにより、エッジ画像を作成する。次に、作成されたエッジ画像における断片的なエッジ点群を直線状セグメントに分割し、それぞれの直線状セグメントを以下の式（２８）に示される直線方程式に当てはめる。
ａｘ＋ｂｙ＋ｃ＝０ （ａ２＋ｂ２＝１） （２８）
ここで、上記式（２８）への当てはめは、直線状セグメントを構成する点群を用いて、最小自乗法を適用することによりなされる。そして、直線状セグメントに対する直線の当てはめが終了すると、直線の向きを表すパラメータである（ａ，ｂ）のばらつきを求める。このようにして、上記複数の画像全てに対して（ａ，ｂ）のパラメータのばらつきを求めることにより、各画像における直線の向きのばらつきを知ることができる。そして、最も直線の向きのばらつきが小さい画像を、自動的に基準画像として選択することができる。
【０１５５】
また、基準画像の自動選択においては、以下のような方法を適用することもできる。まず、上記複数の画像において上記と同様な方法でエッジ画像を作成する。次に、該エッジ画像内の全ての点に対してHough変換を施す。ここでHough変換とは、断片的なエッジより直線を検出するために使用される数学的変換であり、検出したい線を表現する式のパラメータにより構成される空間で、クラスタリングする方法をいう。そして、より具体的には、画像上の点列をｘ軸となす角θと直線の長さρとにより示されるθ−ρ空間へ投影する。
【０１５６】
図３３は、図３３（ａ）に示された画像空間から図３３（ｂ）に示されるθ−ρ空間へのHough変換を説明する図である。図３３に示されるように、Hough変換により画像上の各点Ｐ１〜Ｐ３は、それぞれ対応する曲線Ｌ１〜Ｌ３に変換される。そして、このような変換を画像上の全点について実行すると、θ−ρ空間において該曲線の軌跡が集中している点ＣＰが生じるが、この点ＣＰはエッジ画像において多くのエッジ点を通る直線に相当する。ここで、この点ＣＰの座標を（θ，ρ）とすれば、次の式（２９）に対応する直線が検出されたことになる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ （２９）
そして、上記複数の画像すべてに対し、該曲線が集中する点ＣＰを多数抽出し、これらの点におけるθのばらつきを求めることにより、各画像における直線の向きのばらつきを知ることができる。このようにして、最も直線の向きのばらつきが小さな画像を、自動的に基準画像として選択すれば良い。
【０１５７】
図３４は、本発明の実施の形態５に係る画像処理装置における第三の構成例を示す図である。図３４に示されるように、本実施の形態５に係る画像処理装置は、図２９に示された被写体領域判定部２５や、図３２に示された直線状パターン検出部２８を備えることなく、基準画像自動選択部２７を対応検出部２１に接続することとしても良い。
【０１５８】
上記対応検出部２１により検出された特徴点と対応点の組は射影変換行列Ｂ、すなわちあおり歪みを補正するパラメータの計算に使用される。このとき一般的には、該パラメータは、上記特徴点と対応点の組が多数あり、かつそれらが広範囲に分散しているほど精度良く算出される。そこで、撮影された複数の画像に対して、対応検出部２１により検出された特徴点と対応点の組、及びそれらの画像における分散を調べ、それらの値が最大である画像を自動的に基準画像として選択しても良い。
【０１５９】
また、上記の相関法に基づく対応検出においては、一般的に画像中に特徴のあるパターンが多いほど、数多くの特徴点と対応点が検出される。そして、特徴のあるパターンが多いことは、ユーザにとって有用な書画情報が画像中に多く含まれている可能性が高いので、特徴点及び対応点が豊富な画像を基準画像として自動選択すれば、必要な書画情報を含む画像をあおり歪み補正の対象とすることができ好適である。
【０１６０】
図３５は、本発明の実施の形態５に係る画像処理装置における第四の構成例を示す図である。図３５に示されるように、本実施の形態５に係る画像処理装置は、図２９に示された被写体領域判定部２５や、図３２に示された直線状パターン検出部２８の代わりに、平面計測部２９を備えることとしても良い。
【０１６１】
ここで、平面計測部２９は、各画像の撮影時における撮像部１１に対する被写体の向きを計測する。図３６は、図３５に示された平面計測部２９の構成例を示す図である。図３６に示されるように、平面計測部２９はスポット光源２７１と、受光素子２７２と、３次元座標算出部２７３と、平面算出部２７４とを備え、スポット光源２７１は発光ダイオードや半導体レーザ等からなる光源２７１ａと、ポリゴンミラー等の走査ミラー２７１ｂと、走査ミラー２７１ｂの動きを制御する駆動部２７１ｃとを含む。
【０１６２】
ここで、上記スポット光源２７１においては、光源２７１ａにより発生されたスポット光が被写体面ＰＬに当るように、走査ミラー２７１ｂが駆動部２７１ｃにより制御される。また、受光素子２７２は、スポット光源２７１に対する位置が予め測定されている場所に設置されたＰＳＤ（Position sensitive detector）やＣＣＤ等の光電変換素子により構成され、被写体面ＰＬからの反射光の向きを検出する。なお、撮像部１１に含まれた光電変換素子１１４を、上記における受光素子２７２として使用してもよい。
【０１６３】
また、３次元座標算出部２７３は、スポット光源２７１が照射したスポット光の向きと、スポット光源２７１と受光素子２７２との位置関係、及び受光素子２７２が検出した反射光の向きに応じて、三角測量の原理を用いることにより画像処理装置５３を基準とした被写体面ＰＬの３次元座標（Ｘ，Ｙ，Ｚ）を算出する。そして、平面算出部２７４は、３次元座標算出部２７３により算出された同一直線上にない３点以上の３次元座標を用いて、平面方程式を推定する。例えば、求める平面方程式を、
ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０（ａ２＋ｂ２＋ｃ２＝１，ｃ＞０） （３０）
とおき、３点以上の３次元座標を用いて、上記平面方程式における４つのパラメータ（ａ，ｂ，ｃ，ｄ）を最小自乗法により計算する。その結果、上記あおり角φは次式（３１）により計算される。
φ＝ｃｏｓ−１ｃ （３１）
従って、撮影された複数の画像全てに対して被写体面の向きを計測し、そのあおり角φが最小である画像を自動的に基準画像として選択すればよい。
【０１６４】
その他、画像歪み補正部２２の説明において記したように、対応検出部２１により検出された特徴点と対応点との組を用いることによっても、該被写体の向きを求めることができる。従って、本実施の形態５に係る画像処理装置は、いったん画像歪み補正部２２において式（１４）ないし式（１８）を実行して被写体の向きを求め、得られた結果を基準画像自動選択部２７へ出力するという構成とすることもできる。
［実施の形態６］
以下においては、図１８に示されるように、同一の被写体面ＰＬにおける静止画像が、画像の一部においてそれぞれ重複するように複数の方向から撮影された場合を前提とした実施の形態を説明する。なお、ここでは図１８に示されるように、方向ｄｊから撮影することにより画像ｉｍｊ（１≦ｊ≦Ｋ）が得られ、例えば画像ｉｍ１と画像ｉｍ２のように隣り合う方向において撮影することにより得られた画像ｉｍｊと画像ｉｍ（ｊ＋１）（１≦ｊ≦Ｋ−１）との間ではそれぞれ重複領域があるものとする。そして、本実施の形態６に係る画像処理装置においては、基準画像として選択されたいずれか一つの画像に整合するように、他の画像が貼り合わされ合成画像が生成される。
【０１６５】
図３７は、本発明の実施の形態６に係る画像処理装置６０の構成を示す図である。図３７に示されるように、本実施の形態６に係る画像処理装置６０は、図１９に示された実施の形態２に係る画像処理装置６と同様な構成を有するが、基準画像設定部２０の代わりに基準画像自動選択部２７を備える点で相違するものである。
【０１６６】
上記のような構成を有する本実施の形態６に係る画像処理装置６０は、実施の形態２に係る画像処理装置６と同様に動作するが、以下において、本実施の形態６に係る画像処理装置６０の動作を、図３８に示されたフローチャートを参照しつつ相違点を中心に説明する。
【０１６７】
まずステップＳ１において、ユーザにより、画像合成モードを選択するか否か判断され、画像合成モードが選択されず通常モードが選択される場合にはステップＳ１０へ進み、該ユーザにより所望のスナップ写真が撮影される。
【０１６８】
一方、ステップＳ１においてユーザにより画像合成モードが選択されるときには、ステップＳ２へ進む。そして、ステップＳ２においては、撮像部１１により撮影された複数の被写体像がフレームメモリ１５へ取り込まれる。なおこのとき、互いに該被写体像の一部が重なり合うように、各々の画像が撮影される必要がある。
【０１６９】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。
【０１７０】
そして、ステップＳ４では、対応検出部２１により画像ｉｍｊと画像ｉｍ（ｊ＋１）との間において特徴点が検出され、該画像ｉｍｊの少なくとも一部において重複する画像ｉｍ（ｊ＋１）の中においては、上記特徴点と同一箇所を示す対応点が検出される。
【０１７１】
次に、該特徴点と該対応点の検出が終了すると、以下において複数枚の画像を貼り合せた合成画像を生成する動作に入る。そしてまずステップＳ５において、基準画像自動選択部２７は、該合成において基準とする基準画像を自動的に選択する。ここで、基準画像自動選択部２７は、上記あおり角ができるだけ小さい画像を自動的に基準画像として選択する。そして、このような選択を行うことにより、あおり歪みの小さな合成画像を得ることができる。
【０１７２】
そして、ステップＳ６においては、ステップＳ５において選択された基準画像を基準とした合成を行うための射影変換行列を算出し、ステップＳ７において該射影変換行列を用いて合成画像を生成し、動作を終了する。
［実施の形態７］
図３９は、本発明の実施の形態７に係る画像処理装置の構成を示す図である。図３９に示されるように、本実施の形態７に係る画像処理装置７０は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、基準画像自動選択部２７と、切り替え部４５とをさらに備える点で相違するものである。
【０１７３】
ここで、基準画像自動選択部２７は主制御部１４により制御される。また、切り替え部４５はその入力端が基準画像設定部２０及び基準画像自動選択部２７に接続されると共に、出力端が画像歪み補正部２２に接続される。
【０１７４】
また、切り替え部４５は、基準画像の選択方法を切り替えるものであり、図４０に示されるように、上方向スクロールキー２０１と下方向スクロールキー２０２、及び決定キー２０３とを含む。ここで、表示部１７に表示されるメニューキー（図示していない）をユーザが選択的に押すことにより、図４０に示されるような「基準画像の選択」という文字がオーバレイ表示された画面が表示部１７に表示される。
【０１７５】
そして、上方向スクロールキー２０１又は下方向スクロールキー２０２が該ユーザにより操作されることにより、図４０に示された三角形のカーソルが上下移動する。このとき、該カーソルが「ＡＵＴＯ」の文字を指している状態において決定キー２０３が押されると基準画像を自動的に選択することが決定され、図３９に示された基準画像自動選択部２７が選択的に活性化される。一方、該カーソルが「ＭＡＮＵＡＬ」の文字を指している状態において決定キー２０３が押されると基準画像を手動により設定することが決定され、図３９に示された基準画像設定部２０が選択的に活性化される。
【０１７６】
従って、本実施の形態７に係る画像処理装置によれば、切り替え部４５による切り替えにより、基準画像設定部２０又は基準画像自動選択部２７のいずれか一方を選択的に画像歪み補正部２２に接続することができるため、ユーザは基準画像の選択方法として自動又は手動のいずれかを任意に選択することができる。
【０１７７】
なお、上述したいずれの実施の形態においても、該実施の形態に係る画像処理方法をコンピュータプログラムとして記述することができる。そして、図４１に示されるように、該プログラムを格納した記録媒体３０１を画像処理装置１に装着し、画像処理装置１に該プログラムを実行させることにより、上記画像処理を容易に実現することができる。
【０１７８】
また、図４２に示されるように、該プログラムを格納したＣＤ−ＲＯＭ３０２をパーソナルコンピュータ（パソコン）ＰＣに装着し、該プログラムをパソコンＰＣで実行することによっても、上記画像処理を実現することができる。なお、パソコンＰＣへ装着され該プログラムを格納する記録媒体としては、上記ＣＤ−ＲＯＭ３０２に限られず、例えばＤＶＤ−ＲＯＭ等であってもよいことはいうまでもない。
【０１７９】
以下において、上記画像処理方法を該プログラムの実行により実現する場合の具体例を説明する。この場合には、画像処理装置１及びパソコンＰＣは、内蔵されたメモリやハードディスクなどの記憶装置及びＣＤ−ＲＯＭ等の記録媒体に格納された２枚以上の被写体像を、計算機に搭載された各種インタフェースを介して上記信号処理部１２へ取り込む。
【０１８０】
また、上記における撮影モードの設定は、パソコンＰＣのキーボードにおける所定のキーを押し、又は画面上に表示されたアイコンをマウスクリックすることにより遂行される。一方、基準画像を手動により選択する場合には、入力された複数の画像を画面上に間引きして表示し、計算機に使用されるキーボードの上下カーソルキーを押すか、あるいはマウスによりアイコンをクリックすること等により、上記間引きされた画像が選択される。そして、所望の画像が選択された状態で改行キーが押されると、該画像が基準画像として設定される。
【０１８１】
また、撮像部１１を構成する光学系の焦点距離ｆについては、予め該光学系の焦点距離を測定しておき、該記録媒体の内部に記録しておく。そして、ユーザは画面上において、実際の撮影の際に使用した光学系の焦点距離を選択する。ここで、該焦点距離はヘッダ情報として記録しておくこともできる。すなわち、例えば画像データとしてExifフォーマットを使用する場合、そのヘッダ情報として撮影時の焦点距離を記録することができる。そして、本実施の形態に係る画像処理装置はこのヘッダ情報を読み取ることにより、該焦点距離を得ることができる。なお、上記のような方法が取れない場合には、ダイアログボックス等をパソコンＰＣなどの画面に表示して、該ダイアログボックス内においてユーザに直接焦点距離を手入力させるとよい。
【０１８２】
また、上記における被写体の向きについても、上記焦点距離と同様に扱うことができる。すなわち、平面計測部２９又は画像歪み補正部２２により計測された被写体の向きを、予め画像データファイル内のヘッダ情報として記録しておき、本実施の形態に係る画像処理装置は該ヘッダ情報を読み込むことにより該被写体の向きを得ることとしても良い。
【０１８３】
このとき、例えば画像データとしてExifフォーマットを使用する場合には、被写体の向きを記録するためのフィールドは存在しないが、Maker Noteと呼ばれる製造者が自由に利用できるフィールドに被写体の向きを記録することができる。
【０１８４】
また、上記のような方法を取ることが出来ない場合には、焦点距離の場合と同様に、ダイアログボックス等をパソコンＰＣ等の画面上に表示して、ユーザに直接被写体の向きを入力させるようにすると良い。
【０１８５】
なお、上記本発明の実施の形態は、デジタルスチルカメラやデジタルビデオカメラを利用した紙面情報入力、分割画像の貼り合わせ合成等の画像処理に適用でき、また非接触ハンディスキャナやその他の画像機器にも応用できる。
【発明の効果】
上述の如く、本発明によれば、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法において、複数の画像の中から歪みを補正する対象を選択することにより、適正な画像を得るために最適な画像を補正対象とすることができるため、より精度のよい該補正を実現することができる。
【０１８６】
また、複数の画像の中から歪みが最も少ない画像を選択して、歪みを補正した画像を該選択された画像と合成すれば、より適正な合成画像を得ることができる。
【０１８７】
ここで、画像内において被写体が占める領域の広さに応じて補正の対象を自動的に選択すれば、必要とされる書画情報量が最も豊富な画像の歪みを自動的に補正することができるため、確実に適正な画像を得ることができる。
【０１８８】
また、画像内において検出される直線状パターンの向きに応じて補正の対象を自動的に選択すれば、被写体にほぼ正対した位置から撮影された画像を自動的に補正対象とすることができるため、解像度が高い適正な画像を得ることができる。
【０１８９】
また、特定された対応関係に応じて補正の対象を自動的に選択すれば、精度の高い補正を確実に実行することができるため、画像処理の信頼性を高めることができる。
【０１９０】
また、撮影毎に検出された被写体の向きに応じて補正の対象を自動的に選択すれば、被写体に対してほぼ正対した位置から撮影された画像を自動的に補正対象とすることができるため、解像度が高い適正な画像を得ることができる。
【０１９１】
また、次に撮影する画像が歪みを補正する際の基準とされる画像となることをユーザへ通知する通知手段を備えた画像処理装置によれば、歪みを補正する際に基準とされる画像の撮影においてユーザへ注意が喚起されるため、ユーザの不注意などによる撮影ミスが回避され、動作の信頼性及び補正画像の品質を高めることができる。
【０１９２】
また、被写体を同時に撮影する複数の光学手段と、複数の光学手段で撮影される画像のうち補正の対象とする画像を選択する選択手段とを備えた画像処理装置によれば、一度の撮影により複数の方向から撮影された複数の被写体像を得ることができるため、歪みを補正するために必要とされる撮影回数を減少させることによって操作が簡便にされると共に、より簡易に歪み補正がされた画像を得ることができる。
【図面の簡単な説明】
【図１】従来の技術における問題点を説明するための図である。
【図２】本発明の実施の形態１に係る画像処理方法及び画像処理装置を説明するための図である。
【図３】本発明の実施の形態１に係る画像処理装置の構成を示す図である。
【図４】図３に示された画像処理装置を示す斜視図である。
【図５】本発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。
【図６】図３に示された表示部における撮影時の表示例を示す図である。
【図７】図３に示された基準画像設定部のレイアウトを示す図である。
【図８】本発明の実施の形態１に係る画像処理装置の他の例を示す図である。
【図９】図３に示された対応検出部の構成を示す図である。
【図１０】図９に示された相関演算部の動作を説明する図である。
【図１１】図３に示された画像歪み補正部の構成を示す図である。
【図１２】図３に示された画像歪み補正部の動作を説明する第一の図である。
【図１３】図３に示された撮像部の光学系を説明する図である。
【図１４】図１１に示された３次元演算部による射影変換を説明する図である。
【図１５】図３に示された画像歪み補正部の動作を説明する第二の図である。
【図１６】図１１に示されたパラメータ算出部の動作を説明する第一の図である。
【図１７】図１１に示されたパラメータ算出部の動作を説明する第二の図である。
【図１８】本発明の実施の形態２に係る画像処理方法及び画像処理装置を説明するための図である。
【図１９】本発明の実施の形態２に係る画像処理装置の構成を示す図である。
【図２０】 本発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。
【図２１】 図１９に示された画像合成部の構成を示す図である。
【図２２】本発明の実施の形態３に係る画像処理装置の構成を示す図である。
【図２３】本発明の実施の形態３に係る画像処理装置の動作を示すフローチャートである。
【図２４】図２２に示された基準画像設定部に対する基準画像の設定を説明する図である。
【図２５】図２２に示された通知部の動作を説明する図である。
【図２６】本発明の実施の形態４に係る画像処理装置の構成を示す図である。
【図２７】本発明の実施の形態４に係る画像処理装置の動作を示すフローチャートである。
【図２８】図２６に示された基準画像設定部に対する基準画像の設定を説明する図である。
【図２９】本発明の実施の形態５に係る画像処理装置における第一の構成例を示す図である。
【図３０】本発明の実施の形態５に係る画像処理装置の動作を示すフローチャートである。
【図３１】解像度劣化におけるあおり角依存性を説明する図である。
【図３２】本発明の実施の形態５に係る画像処理装置における第二の構成例を示す図である。
【図３３】本発明の実施の形態５に係る画像処理方法において用いられるHough変換を説明する図である。
【図３４】本発明の実施の形態５に係る画像処理装置における第三の構成例を示す図である。
【図３５】本発明の実施の形態５に係る画像処理装置における第四の構成例を示す図である。
【図３６】図３５に示された平面計測部の構成を示す図である。
【図３７】本発明の実施の形態６に係る画像処理装置の構成を示す図である。
【図３８】本発明の実施の形態６に係る画像処理装置の動作を示すフローチャートである。
【図３９】本発明の実施の形態７に係る画像処理装置の構成を示す図である。
【図４０】図３９に示された切り替え部の動作を説明する図である。
【図４１】本発明の実施の形態に係る画像処理装置と記録媒体を示す図である。
【図４２】本発明の実施の形態に係るコンピュータとコンピュータ読み取り可能な記録媒体を示す図である。
【符号の説明】
１，２，６，８，４０，５０〜５３，６０，７０ 画像処理装置
３，４，１０，ＩＭ１〜ＩＭ３，ｉｍ１，ｉｍ２，ｉｍｊ，ｉｍｋ 画像
５ 歪み補正画像
７ 基準画像
９ 参照画像
１１，４１ 撮像部
１１Ａ，１１Ｂ 光学系
１２ 信号処理部
１３ メモリ制御部
１４ 主制御部
１５ フレームメモリ
１６ インタフェース（Ｉ／Ｆ）
１７ 表示部
１８ 外部記憶部
１９ 撮影モード設定部
２０ 基準画像設定部
２１ 対応検出部
２２ 画像歪み補正部
２３ 被写体領域決定部
２４ 画像合成部
２５ 被写体領域判定部
２６ 通知部
２７ 基準画像自動選択部
２８ 直線状パターン検出部
２９ 平面計測部
３０ 画像面
３１ 被投影面
３２ 撮像面
３３ 装置座標系
３５ 被写体像
４５ 切り替え部
１０１ 電源スイッチ
１０２ シャッター
１０３ ファインダ
１０４ 撮影モード設定キー
１１１ レンズ
１１２ 絞り
１１３ シャッター
１１４ 光電変換素子
１１５ 前処理部
２０１ 上方向スクロールキー
２０２ 下方向スクロールキー
２０３ 決定キー
２０４ カーソルキー
２１１ 特徴点設定部
２１２ 相関演算部
２１３ 特徴点
２１５，２１６ 相関窓
２１７ 対応点
２２１ ３次元演算部
２２２ パラメータ算出部
２２３ 座標変換部
２２４ 画像面
２３１ 射影変換算出部
２３２ 座標変換部
２４１ ファインダ
２４２ インジケータ
２７１ スポット光源
２７１ａ 光源
２７１ｂ 走査ミラー
２７１ｃ 駆動部
２７２ 受光素子
２７３ ３次元座標算出部
２７４ 平面算出部
３０１ 記録媒体
３０２ ＣＤ−ＲＯＭ
ＰＬ 被写体面
ＰＣ パーソナルコンピュータ（パソコン）
Ｄ１〜Ｄ３，ｄ１，ｄ２，ｄｊ，ｄｋ 方向
ＩＭＡ，ＩＭＢ，ＩＭＣ 合成画像
【発明の属する技術分野】
本発明は画像処理方法と画像処理装置及び記録媒体に関し、さらに詳しくは、撮影状態によらず適正な画像を得るための画像処理方法と画像処理装置、及び該画像処理方法を実現するためのコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
コンピュータネットワークの急速な進歩と共にビジネスのあり方も多様化し、あらゆる局面で重要な情報を素早く取得する必要が生じている。それに伴い、至る所で携帯型の入力装置を駆使してビジネスに必要な商品や文書情報を簡便かつ高精細に入力することへの要求が高まっている。特に、デジタルスチルカメラの急速な普及及びその高解像化に伴い、撮影した画像に加工・処理を施すことにより、仕事や娯楽に有効な電子情報として活用しようという応用例も見られるようになった。
【０００３】
代表的な第一の応用例としては、Ａ４紙面や大型のポスター等の被写体面を撮影するとき、撮像面と被写体面が平行でない状態で撮影した場合には、画像の歪み（これを「あおり歪み」ともいう。）が生じるが、これを補正することによって取得した文書画像情報の判読性を向上させる技術がある。ここで、「あおり歪み」を補正したい画像においては、被写体の所望の範囲が写されていることが要求される。すなわち、ユーザは撮影した複数枚の画像のうち少なくとも１枚は被写体の所望の範囲が含まれるように撮影する必要がある。従って、撮影した複数枚の画像のうちあおり歪みを補正する対象を選択できるインタフェース（Ｉ／Ｆ）や、撮影時にユーザへ相応の注意を促すインタフェースが望まれている。
【０００４】
また、第二の応用例としては、携帯可能な画像入力装置で新聞紙等の大面積の紙面情報やパネルや壁に描かれた絵柄等を分割撮影して、得られた複数枚の画像を貼り合わせることにより１枚の合成画像を作成するものがある。すなわち、ＣＣＤ（Charge Coupled Device）に代表される撮像素子の画素数増加に伴い、デジタルカメラの解像度は近年向上しているが、上記のように細かいパターンを有する被写体、すなわち高い周波数成分を含む被写体を撮影して電子化するにはまだまだ解像度が不足する。従って、画像を貼り合わせることにより擬似的に高精細画像を作成して、デジタルカメラの解像度不足を補うというアプローチがなされている。
【０００５】
このような応用例は、被写体が平面状とみなせる場合にアフィン変換や射影変換のような幾何補正式を用いて、被写体の一部分を分割撮影した画像を貼り合わせる技術であり、各分割画像の被写体像を基準となる画像における被写体の見え方に変換して貼り合わせるというものである。なお、このような技術の概要は文献『コンピュータビジョン−技術評論と将来展望−』（松山隆司ほか、新技術コミュニケーションズ）に記載されている。
【０００６】
しかしながら、このような応用例において、基準となる画像において被写体像にあおり歪みが生じていた場合には、貼り合わせた合成画像においてもあおり歪みが含まれてしまうという問題がある。すなわち、分割的に撮影して得られた複数の画像のうち、どの画像を基準にして貼り合わせを実行するかによって、生成される合成画像におけるあおり歪みの大きさが変化する。この問題について図１を参照しつつ説明する。
【０００７】
図１（ａ）に示されるように、例えばある被写体面ＰＬを三方向Ｄ１〜Ｄ３から撮影し、それぞれ画像ＩＭ１〜ＩＭ３が得られたとき、被写体面ＰＬに対して左斜め方向から撮影して得られた画像ＩＭ１を基準にしてこれら三つの画像を貼り合わせると、図１（ｂ）に示されるような合成画像ＩＭＡが得られる。また、ほぼ正面方向から撮影した画像ＩＭ２を基準にして同様に貼り合わせると、図１（ｃ）に示されるような合成画像ＩＭＢが得られる。ここで、図１（ｂ）及び図１（ｃ）に示されるように、上記の両合成画像ＩＭＡ，ＩＭＢは、あおり歪みの大きさが大きく異なる。
【０００８】
従って、撮影した複数枚の画像のうち少なくとも１枚は被写体面ＰＬにほぼ正対して撮影されたものであることが望まれるため、撮影された複数枚の画像のうち貼り合わせの際に基準とする画像を選択するインタフェース、及びその貼り合わせの基準となる画像を撮影する時にユーザに注意を促すインタフェースが望まれている。
【０００９】
【発明が解決しようとする課題】
本発明は、上述の点に鑑みてなされたものであり、歪みを補正してより適正な画像を容易に得るための画像処理方法と画像処理装置、及び該画像処理方法を実現するためのコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法であって、撮影により得られた複数の画像内における重複部分の対応関係を特定する第一のステップと、複数の画像の中から歪みを補正する対象を選択する第二のステップと、第一のステップにおいて特定された対応関係に応じて、第二のステップで選択された画像の歪みを補正する第三のステップとを有することを特徴とする画像処理方法を提供することにより達成される。このような手段によれば、歪みを補正する対象が選択されるため、適正な画像を得るために最適な画像を補正対象とすることができる。
【００１１】
ここで、第二のステップでは、画像内において被写体が占める領域の広さに応じて補正の対象を自動的に選択するようにしてもよい。このような手段によれば、必要とされる書画情報量が最も豊富な画像の歪みを自動的に補正することができる。
【００１２】
また、第二のステップでは、画像内において検出される直線状パターンの向きに応じて補正の対象を自動的に選択するようにしてもよい。このような手段によれば、被写体にほぼ正対した位置から撮影された画像を自動的に補正対象とすることができる。
【００１３】
また、第二のステップでは、第一のステップにおいて特定された対応関係に応じて補正の対象を自動的に選択するようにすれば、精度の高い補正を確実に実行することができる。
【００１４】
また、第二のステップでは、撮影毎に検出された被写体の向きに応じて補正の対象を自動的に選択するようにすれば、被写体に対してほぼ正対した位置から撮影された画像を自動的に補正対象とすることができる。
【００１５】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法であって、撮影により得られた複数の画像内における重複部分の対応関係をそれぞれ特定する第一のステップと、複数の画像の中から歪みが最も少ない画像を選択する第二のステップと、第一のステップにおいて特定された対応関係に応じて、複数の画像の歪みをそれぞれ補正し、第二のステップにおいて選択された画像と合成する第三のステップとを有することを特徴とする画像処理方法を提供することにより達成される。このような手段によれば、歪みが最も少ない画像を基準に合成画像が生成されるため、より適正な合成画像を得ることができる。
【００１６】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、撮影により得られた複数の画像内における重複部分の対応関係を検出する対応検出手段と、複数の画像の中から歪みが最も少ない画像を選択する選択手段と、対応検出手段において検出された対応関係に応じて、複数の画像の歪みをそれぞれ補正し、選択手段において選択された画像と合成する画像合成手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。
【００１７】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、これから撮影する複数の画像のうち、歪みを補正する際の基準とする画像を予め選択する選択手段と、選択手段によりなされた選択に応じて、次に撮影する画像が基準とされる画像となることをユーザへ通知する通知手段と、撮影することにより得られた基準とされる画像と他の画像との間における重複部分の対応関係を検出する対応検出手段と、対応検出手段により検出された対応関係に応じて、基準とされる画像の歪みを補正する補正手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、歪みを補正する際の基準とする画像の撮影において、ユーザへ注意を喚起できる。
【００１８】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、撮影により得られた複数の画像内における重複部分の対応関係を検出する対応検出手段と、複数の画像の中から歪みを補正する対象を選択する選択手段と、対応検出手段により検出された対応関係に応じて、選択手段により選択された画像の歪みを補正する補正手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。
【００１９】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、被写体を同時に撮影する複数の光学手段と、複数の光学手段で撮影される画像のうち補正の対象とする画像を選択する選択手段と、選択手段により選択された画像と他の画像との間における重複部分の対応関係を検出する対応検出手段と、対応検出手段により検出された対応関係に応じて、選択された画像の歪みを補正する補正手段とを備えたことを特徴とする画像処理装置を提供することにより達成される。このような手段によれば、一度の撮影により複数の方向から撮影された複数の被写体像を得ることができるため、歪みを補正するために必要とされる撮影回数を減らすことができる。
【００２０】
ここで、選択手段は、画像内において被写体が占める領域の広さに応じて補正の対象を自動的に選択するものとし、あるいは、画像内において検出される直線状パターンの向きに応じて補正の対象を自動的に選択するものとすることができる。また、選択手段は、対応検出手段により検出された対応関係に応じて補正の対象を自動的に選択するものとし、あるいは、撮影毎に検出された被写体の向きに応じて補正の対象を自動的に選択するものとしてもよい。
【００２１】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みをコンピュータにより補正するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムは、コンピュータに対し、撮影により得られた複数の画像内における重複部分の対応関係を特定させ、複数の画像の中から歪みを補正する対象を選択させ、特定された対応関係に応じて、選択された画像の歪みを補正させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。このような手段によれば、適正な画像を得るために最適な画像を容易に補正対象とすることができる。
【００２２】
また、本発明の目的は、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みをコンピュータにより補正するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、該プログラムは、コンピュータに対し、撮影により得られた複数の画像内における重複部分の対応関係をそれぞれ特定させ、複数の画像の中から歪みが最も少ない画像を選択させ、特定された対応関係に応じて、複数の画像の歪みをそれぞれ補正させて、選択された画像と合成させることを特徴とするコンピュータ読み取り可能な記録媒体を提供することにより達成される。このような手段によれば、より適正な合成画像を容易に得ることができる。
【００２３】
【発明の実施の形態】
以下において、本発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
［実施の形態１］
図２は、本発明の実施の形態１に係る画像処理方法及び画像処理装置を説明するための図である。ここで、本実施の形態においては、図２に示されるように、画像処理装置１により被写体面ＰＬの少なくとも一部が重複するよう２枚の画像３，４が撮影され、これら２枚の画像３，４のうちいずれか一方、例えば画像３のあおり歪みを補正して最終的に歪み補正画像５を得るという例により説明される。
【００２４】
図３は、本発明の実施の形態１に係る画像処理装置１の構成を示す図である。図３に示されるように、画像処理装置１は撮像部１１と、信号処理部１２と、メモリ制御部１３と、主制御部１４と、フレームメモリ１５と、インタフェース１６と、表示部１７と、外部記憶部１８と、撮影モード設定部１９と、基準画像設定部２０と、対応検出部２１と、画像歪み補正部２２とを備える。そして、撮像部１１はレンズ１１１と、絞り１１２と、シャッター１１３と、光電変換素子１１４と、前処理部１１５とを含む。
【００２５】
ここで、信号処理部１２は、前処理部１１５とメモリ制御部１３、主制御部１４及びインタフェース１６に接続される。また、メモリ制御部１３はさらにフレームメモリ１５と基準画像設定部２０に接続される。主制御部１４はさらに、メモリ制御部１３と撮影モード設定部１９及び基準画像設定部２０に接続される。
【００２６】
またフレームメモリ１５は、メモリ制御部１３と対応検出部２１及び画像歪み補正部２２に接続される。また、インタフェース１６はさらに表示部１７及び外部記憶部１８に接続される。そして、基準画像設定部２０はさらに画像歪み補正部２２に接続される。また、対応検出部２１はさらに画像歪み補正部２２に接続される。
【００２７】
一方、撮像部１１においては、レンズ１１１と絞り１１２、シャッター１１３、光電変換素子１１４が光軸上でこの順に配置され、光電変換素子１１４は前処理部１１５に接続される。
【００２８】
上記において、撮影モード設定部１９により撮影モードが切り替えられ、基準画像設定部２０であおり歪みを補正する画像が設定される。また対応検出部２１は、少なくとも一部が相互に重複した二つの画像において、両画像間の特徴点及び対応点を抽出する。そして、画像歪み補正部２２は対応検出部２１から供給された信号に応じて、撮影した画像におけるあおり歪みを補正する。なお、上記における基準画像の設定や対応検出部２１の動作、あおり歪みの補正については、後において詳しく説明する。
【００２９】
また、撮像部１１の光電変換素子１１４には例えばＣＣＤが使用される。また、前処理部１１５にはプリアンプや自動利得制御回路（Auto Gain Control−AGC）等からなるアナログ信号処理部やアナログ−デジタル変換器（Ａ／Ｄ変換器）が備えられ、光電変換素子１１４より出力されたアナログ映像信号に対して、増幅やクランプ等の前処理が施された後、上記アナログ映像信号がデジタル映像信号に変換される。
【００３０】
また、信号処理部１２はデジタル信号処理プロセッサ（DSPプロセッサ）等により構成され、撮像部１１において得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正など種々の画像処理を施す。また、メモリ制御部１３はこのようにして処理された画像信号をフレームメモリ１５へ格納したり、逆にフレームメモリ１５に格納された画像信号を読み出す。また、主制御部１４はマイコンなどにより構成される。また、フレームメモリ１５は少なくとも２枚の画像を格納し、一般的にはVRAM、SRAM、DRAM等の半導体メモリが使用される。
【００３１】
ここで、フレームメモリ１５から読み出された画像信号は、信号処理部１２において画像圧縮等の信号処理が施された後、インタフェース１６を介して外部記憶部１８に保存される。この外部記憶部１８はインタフェース１６を介して供給される画像信号などの種々の信号を読み書きし、ＩＣメモリカードや光磁気ディスク等により構成される。ここで外部記憶部１８として、モデムカードやＩＳＤＮカードが使用されれば、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信することもできる。
【００３２】
また、逆に外部記憶部１８に記録された画像信号の読み出しは、インタフェース１６を介して信号処理部１２へ画像信号が送信され、信号処理部１２において画像伸長が施されることによって行われる。一方、外部記憶部１８及びフレームメモリ１５から読み出された画像信号の表示は、信号処理部１２において画像信号に対してデジタル−アナログ変換（Ｄ／Ａ変換）や増幅などの信号処理を施した後、インタフェース１６を介して表示部１７に送信することにより行われる。ここで表示部１７は、インタフェース１６を介して供給された画像信号に応じて画像を表示し、例えば画像処理装置１の筐体に設置された液晶表示装置より構成される。
【００３３】
図４は、図３に示された画像処理装置を示す斜視図である。図４に示されるように、本実施の形態に係る画像処理装置１は電源スイッチ１０１と、シャッター１０２と、ファインダ１０３と、撮影モード設定部１９に撮影モードを設定するための撮影モード設定キー１０４と、表示部１７に映された画像を上方向へスクロールするための上方向スクロールキー２０１と、表示部１７に映された画像を下方向へスクロールするための下方向スクロールキー２０２と、決定キー２０３とを含む。
【００３４】
以下において、上記のような構成を有する画像処理装置の動作を、図４と図５に示されたフローチャートとを参照しつつ説明する。まず最初に、電源スイッチ１０１を切り替えて画像処理装置１を起動し、撮影モードの選択を行う。ここで、上記撮影モードは通常のスナップ写真を撮影する通常モードと、撮影した画像のあおり歪みを補正した画像を生成するあおり補正モードよりなる。そして、この撮影モードの選択は、ユーザが撮影モード設定キー１０４を操作することによりなされる。なお撮影モード設定部１９として、画像処理装置１の本体には撮影モード設定キー１０４が設けられる。但し、撮影モード設定部１９は、本体とは別個に設けられるハードウェア又はソフトウェア等で構成しても良い。
【００３５】
そして図５に示されるように、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【００３６】
一方、ステップＳ１においてあおり補正モードが選択されると、ステップＳ２へ進む。そして、ユーザは撮像部１１により被写体面ＰＬを少なくとも二枚撮影し、画像処理装置１には被写体像が取り込まれる。なお、このとき互いに被写体像の一部が重なり合うように各々の画像が撮影される必要がある。
【００３７】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。なお、上記指示は撮影モード設定キー１０４をもう一度押して通常モードに切り替えることによりなされる他、撮影終了を指示するためのスイッチを別途設けてもよい。
【００３８】
また、撮影中においては図６に示されるように、表示部１７に例えば「１枚目」等のような現在の撮影枚数と、「撮影モード設定キーを押すと終了」等のような撮影終了方法とをオーバーレイ表示しても良い。
【００３９】
そして、上記のように撮影が終了すると、ステップＳ４以下においてあおり歪みを補正する動作に入るが、まずステップＳ４においてどの画像のあおり歪みを補正するかを選択して該画像を設定する。なお、この時選択された画像は、以下において「基準画像」とも呼ぶ。そして、この基準画像の設定は基準画像設定部２０において行われる。以下において、基準画像設定部２０の構成及び動作を詳しく説明する。
【００４０】
図７は、図３に示された基準画像設定部２０のレイアウトを示す図である。図７に示されるように、基準画像設定部２０は上方向スクロールキー２０１と、下方向スクロールキー２０２及び決定キー２０３を含む。そして、図７に示されるようにステップＳ３においてユーザにより撮影終了の指示がなされると、表示部１７において「基準画像設定」という文字がオーバレイ表示され、ユーザに基準画像を選択するよう指示される。
【００４１】
するとユーザにより、上方向スクロールキー２０１や下方向スクロールキー２０２が操作され、上記ステップＳ２において撮影された画像が順次切り替えつつ表示される。なお、上方向スクロールキー２０１を押すことにより、現在表示されている画像の１つ前に撮影された画像が表示され、また下方向スクロールキー２０２を押すことにより、現在表示されている画像の１つ後に撮影した画像が表示される。そして、基準画像として選択される画像が表示部１７に表示されている状態で決定キー２０３を押すと、その時点で表示されている画像が基準画像として決定される。
【００４２】
そして上記基準画像としては、撮影された複数の画像の中で被写体面ＰＬが最も広い領域に渡り写っており、かつ、撮影時における撮像面の被写体面に対してなす角ができるだけ小さい画像が、ユーザにより選択される。
【００４３】
ここで、被写体領域と上記傾斜角とを装置内部で計算し、該計算の結果に応じてあおり歪みを補正する対象、すなわち基準画像として最適な画像を自動的に選択するようにすることも考えられる。図８は、このような動作を実現する画像処理装置２の構成を示す図である。図８に示されるように、画像処理装置２には図３に示された画像処理装置１に含まれた基準画像設定部２０の代わりに被写体領域決定部２３が備えられる。
【００４４】
そして、上記被写体領域決定部２３は、撮影した画像において被写体が占める領域を検出する処理を行い、例えば文献『画像の処理と認識』（安居院猛・長尾智晴共著、昭晃堂）に記載されているように、（ａ）領域成長法や領域分割法のように画像上でクラスタリングを行う方法、（ｂ）ヒストグラムによる領域分割など、特徴空間上でクラスタリングを行う方法、（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、（ｄ）テクスチャ解析、などの領域分割方法が適用される。但し、被写体面が矩形である場合には、画像上での被写体の四隅の頂点座標が外部入力されることにより、被写体の領域が一意に決定される。
【００４５】
このように被写体領域決定部２３で得られた被写体の領域を示すデータは、画像歪み補正部２２へ供給され、該領域が最も広い画像が画像歪み補正部２２で選択される。さらに画像歪み補正部２２では、以下において詳述するように、撮像面の被写体面ＰＬに対してなす角度が計算されるため、上記領域が最も広い画像が複数ある場合、すなわち例えば被写体面の全体が写っている画像が複数ある場合には、上記角度が最も小さい画像が最終的に基準画像として選択される。
【００４６】
なお、以上のような自動的に基準画像を選択する機能は、以下におけるいずれの実施の形態においても同様に適用できる。
【００４７】
次にステップＳ５へ進み、上記のように決定された基準画像の中において特徴点が検出され、該基準画像の少なくとも一部において重複する画像（以下において、「参照画像」とも呼ぶ。）の中においては上記特徴点と同一箇所を示す対応点が検出される。このような特徴点と対応点の検出は、図３に示された対応検出部２１により行われる。そこで、以下においてこの対応検出部２１の構成及び動作を詳しく説明する。
【００４８】
対応検出部２１は、上記のように互いに重複した領域を持つ２枚の画像において、撮影した同一の部分を検出するものである。そして、ここでは相関演算を用いた方法について説明する。
【００４９】
図９は、図３に示された対応検出部２１の構成を示す図である。図９に示されるように、対応検出部２１はフレームメモリ１５に接続された特徴点設定部２１１と、特徴点設定部２１１及びフレームメモリ１５に接続された相関演算部２１２とを備える。なお、図３に示されたフレームメモリ１５には、基準画像と参照画像とが格納されている。
【００５０】
ここで特徴点設定部２１１は、基準画像において特徴点の位置を決定したのち、その特徴点を中心とする（２Ｎ＋１）×（２Ｐ＋１）個の濃淡パターンを抽出し、相関窓と呼ばれる領域のデータを作成する。なお上記特徴点の位置は、角（corner）のように画像の濃度パターンが特徴的である箇所を抽出することにより決定される。
【００５１】
また相関演算部２１２は、基準画像に基づいて作成した相関窓の濃淡パターンとほぼ一致する箇所を、参照画像内において相関演算を実行することにより検出し、これを対応点と決定する。ここで、相関演算によるブロックマッチングにより対応点を検出する一例について、図１０を参照しつつ説明する。
【００５２】
図１０に示されるように、（２Ｎ＋１）×（２Ｐ＋１）個の濃淡パターンからなる相関窓２１５，２１６のブロックマッチングにおいて、基準画像７内の座標（ｘｉ０，ｙｉ０）を有するｉ番目の特徴点２１３と、参照画像９内の座標（ｘｉ０＋ｄｘｉ，ｙｉ０＋ｄｙｉ）を有する対応点２１７の相互相関値Ｓｉは、次式により計算される。
【００５３】
【数１】
【００５４】
そして、上記式（１）により各特徴点２１３に対して、相互相関値Ｓｉの最大値が予め定められた閾値以上である点を求めることにより、参照画像９における対応点２１７が求められる。なお、相互相関値Ｓｉの最大値が閾値以下ならば、対応点は存在しないものとされる。
【００５５】
このようにして、特徴点と対応点の検出が終了すると、図５に示されたステップＳ６において基準画像７のあおり歪みを補正するパラメータを計算すると共に、ステップＳ７において該パラメータを基に画像のあおり歪みを補正した画像を作成し動作を終了する。なお以下においては、それぞれ上記パラメータを「歪み補正パラメータ」、あおり歪みを補正した画像を「歪み補正画像」ともいう。
【００５６】
そして、上記歪み補正パラメータの計算及び歪み補正画像の生成は、画像歪み補正部２２により実行される。以下において、この画像歪み補正部２２の構成及び動作について詳しく説明する。
【００５７】
画像歪み補正部２２は、対応検出部２１が検出した特徴点と対応点の関係を用いて、被写体面を正面から撮影した画像に変換することにより、あおり歪みを補正する。そして、この画像歪み補正部２２の構成は図１１に示される。図１１に示されるように、画像歪み補正部２２は３次元演算部２２１とパラメータ算出部２２２及び座標変換部２２３を含む。ここで、３次元演算部２２１は対応検出部２１と基準画像設定部２０に接続され、パラメータ算出部２２２は３次元演算部２２１に接続される。また、座標変換部２２３はパラメータ算出部２２２とフレームメモリ１５及び基準画像設定部２０に接続される。
【００５８】
以下において、画像歪み補正部２２の動作を説明する。なお以下においては、図１２に示されるように、被写体面ＰＬに対して基準画像７及び参照画像９が撮影されると共に、撮像部１１の光学系は図１３に示されるように、ｘ軸に関しては画像面２２４の右向きを正、ｙ軸に関しては画像面２２４の下向きを正、光軸方向のｚ軸に関しては撮像部１１の光学中心である原点Ｏから画像面２２４へ向かう向きを正、該光学系の焦点距離はｆとされる中心射影モデル（perspective projection model）とされる場合を例として説明する。
【００５９】
図１１に示された３次元演算部２２１は、上記特徴点２１３と対応点２１７との関係により、以下の３次元パラメータを算出する。すなわち、図１２に示される基準画像撮影時を基にした参照画像撮影時における撮像部１１の向きの変化を示す回転行列Ｒと、基準画像撮影時を基にした参照画像撮影時における撮像部１１の位置の変化を示す並進運動ベクトルｔと、被写体面ＰＬの向きを示す法線ベクトルｎとが算出される。そして、これら３つの３次元パラメータ{Ｒ，ｔ，ｎ}を求める方法は、主に以下の二つとされる。
【００６０】
すなわち第一の方法として、８つ以上の特徴点と対応点の組により、各画像撮影時のカメラの位置や姿勢、及び各対応点の３次元座標を計算した上で、被写体が平面であると仮定して、該得られた３次元座標を１つの平面に当てはめる方法がある。
【００６１】
また第二の方法として、４つ以上の特徴点と対応点の組より、射影変換行列（homography matrix）を計算し、得られた射影変換行列により各画像撮影時のカメラの位置や姿勢、及び被写体面の向きを算出する方法がある。
【００６２】
ここで、上記第一の方法は、汎用の運動立体視技術であり、線形演算により上記パラメータ{Ｒ，ｔ，ｎ}が一意に求められるが、その詳細は３次元計測やコンピュータビジョンに関する一般的な文献（例えば『３次元ビジョン』徐剛・辻三郎共著、共立出版）に記録されている。一方、上記第二の方法は、被写体が平面であるという拘束条件のもとで成立する座標変換式（射影変換行列）を求めてから、カメラの向きと被写体面の向きを算出するものである。そして、３次元演算部２２１は、いうまでもなく上記第一及び第二のいずれの方法も採ることができるが、ここでは第二の方法に基づいた動作を説明する。
【００６３】
まず射影変換行列の算出手順を詳しく説明する。ここで、基準画像から参照画像への射影変換とは、図１４に示されるように、基準画像７に写った被写体像が参照画像９と同じ方向から撮影された場合に得られる像に変換された画像１０を得ることを指す。そして、この射影変換を数式で表すと、基準画像における点（ｘｓ，ｙｓ）と参照画像における点（ｘｒ，ｙｒ）とが対応関係にある場合には、次式のようになる。
【００６４】
【数２】
【００６５】
【数３】
【００６６】
【数４】
【００６７】
【数５】
【００６８】
続いて、射影変換行列Ｂより３次元パラメータ{Ｒ，ｔ，ｎ}を求める手順を説明する。被写体面の法線ベクトルｎを
【００６９】
【数６】
【００７０】
【数７】
【００７１】
【数８】
【００７２】
【数９】
【００７３】
【数１０】
【００７４】
【数１１】
【００７５】
【数１２】
【００７６】
【数１３】
（i）式（９）の行列Ｈの各要素に適当な定数をかけて、ｄｅｔ［Ｈ］＝１となるようにする。（ii）対称行列ＨＨＴの固有値をσ１ ２，σ２ ２，σ３ ２とし、対応する固有ベクトルｕ１，ｕ２，ｕ３を互いに直交し、この順に右手系を作る単位ベクトルにとる。但しσ１≧σ２≧σ３＞０とする。（iii）σ１＝σ２＝σ３ならば、運動パラメータは、
【００７７】
【数１４】
【００７８】
【数１５】
【数１６】
【００８０】
【数１７】
定まる。
【００８１】
【数１８】
【００８２】
次に、図１１に示されたパラメータ算出部２２２は、被写体面を撮影した時の撮像部１１と３次元演算部２２１で算出された被写体面の向きとの関係に基づき、あおり歪みを補正するパラメータを計算する。ここで、本実施の形態においては図１５に示されるように、３次元演算部２２１が算出した被写体面に平行な平面を被投影面３１として、あおり歪みを有する被写体像を含む画像面３０を投影するという射影変換を行うことにより、画像のあおり歪みが補正される。ここで例えば、画像面３０上の点Ｐ１は被投影面３１上の点Ｐ２に投影される。以下において上記あおり歪みを補正するパラメータの計算方法を説明する。
【００８３】
まず、図１６に示されるように、装置座標系３３におけるｚ軸を被投影面３１の単位法線ベクトルに一致させる座標変換を示す回転行列Ｒ’を求める。この場合、次の関係式が成立する。
【００８４】
【数１９】
【００８５】
【数２０】
【００８６】
【数２１】
【００８７】
ここで、式（１９）と式（２０）を用いると、回転角は次式のように導出される。
【００８８】
【数２２】
【００８９】
次に、画像面３０上の座標を被投影面３１上に座標変換する。すなわち、図１５において、画像面３０の点Ｐ１に対応する３次元ベクトルｐを延長したときに被投影面３１と交差する点Ｐ２を、座標変換後の座標とする。そして、装置座標系３３を基準とした点Ｐ１に対応する３次元ベクトルｐは、次式で示される。
【００９０】
【数２３】
【００９１】
【数２４】
【００９２】
次に、座標変換部２２３はパラメータ算出部２２２により算出されたあおり歪み補正パラメータを基に、基準画像を座標変換して歪み補正画像を作成する。具体的には、座標変換後の座標（Ｘ，Ｙ）に対応する変換前の座標（ｘｓ，ｙｓ）を式（２５）に基づいて計算し、計算された座標（ｘｓ，ｙｓ）の近傍における画素値を基に座標（Ｘ，Ｙ）における画素値を補間演算により決定する。なお、この補間演算は双一次補間法やＢ−スプライン補間法などの既存の方法を用いて行えばよい。
【００９３】
以上のように、本発明の実施の形態１に係る画像処理装置によれば、互いに少なくとも一部が重なり合うように被写体面が２枚以上撮影されたときには、その撮影された任意の画像におけるあおり歪みを補正してより適正な被写体の全体像を得ることができる。
【００９４】
すなわち、上記手順においては全ての画像において被写体の全範囲を撮影する必要はなく、例えば図１４に示されるように、被写体の全体を撮影した画像と、被写体の一部分のみを撮影した画像があれば足りる。そしてこのような場合、基準画像設定部２０により被写体の全体を撮影した画像の方を基準画像として選ぶことができるので、あおり歪みが補正された被写体の全体像を生成することができる。
【００９５】
また歪み補正画像を上記の方法により生成するためには、最低限二枚の被写体像があればよいので、撮影する枚数を二枚に限定すれば、ユーザにとって画像の入力や撮影及び基準画像の設定が簡略化されるだけではなく、画像を記憶するために必要なメモリ容量や特徴点及び対応点の検出、射影変換行列の計算に要する計算コストを小さくすることができる。
［実施の形態２］
図１８は、本発明の実施の形態２に係る画像処理方法及び画像処理装置を説明するための図である。図１８（ａ）に示されるように、同一の被写体面ＰＬの静止画像が、画像の一部においてそれぞれ重複するように複数の方向ｄ１〜ｄｋから撮影された場合における、本実施の形態に係る画像処理装置６の動作について説明する。
【００９６】
ここで、図１８（ａ）に示されるように、方向Ｄｎから撮影することにより画像ｉｍｎ（ｎ＝１，２…，ｊ，…，ｋ）が得られ、例えば画像ｉｍ１と画像ｉｍ２のように隣り合う方向において撮影することにより得られた画像ｉｍｊと画像ｉｍ（ｊ＋１）（１≦ｊ≦ｋ−１）との間ではそれぞれ重複領域があるとする。
【００９７】
そして、本実施の形態２に係る画像処理装置においては、図１８（ｂ）に示されるように、基準画像として選択されたいずれか一つの画像ｉｍｊに整合するように他の画像が貼り合わされ、合成画像ＩＭＣが得られる。
【００９８】
図１９は、本実施の形態２に係る画像処理装置６の構成を示す図である。図１９に示されるように、画像処理装置６は、図３に示された上記実施の形態１に係る画像処理装置１と同様な構成を有するが、画像歪み補正部２２の代わりに画像合成部２４が備えられる点で相違するものである。ここで、画像合成部２４は対応検出部２１で得られた特徴点と対応点の関係を基に座標変換することにより、互いに重複する領域を持つ画像を貼り合わせるが、この動作については後に詳しく説明する。
【００９９】
図２０は、図１９に示された本実施の形態２に係る画像処理装置６の動作を示すフローチャートである。まず最初に、電源スイッチ１０１を切り替えて画像処理装置１を起動し、撮影モードの選択を行う。ここで、上記撮影モードは通常のスナップ写真を撮影する通常モードと、撮影した画像のあおり歪みを補正した画像を生成するあおり補正モードよりなる。そして、この撮影モードの選択は、ユーザが撮影モード設定キー１０４を操作することによりなされる。なお撮影モード設定部１９として、画像処理装置１の本体には撮影モード設定キー１０４が設けられる。但し、撮影モード設定部１９は、本体とは別個に設けられるハードウェア又はソフトウェア等で構成しても良い。
【０１００】
そして図５に示されるように、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【０１０１】
一方、ステップＳ１においてあおり補正モードが選択されると、ステップＳ２へ進む。そして、ユーザは撮像部１１により被写体面ＰＬを少なくとも二枚撮影し、画像処理装置６には被写体像が取り込まれる。なお、このとき互いに被写体像の一部が重なり合うように各々の画像が撮影される必要がある。
【０１０２】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。なお、上記指示は撮影モード設定キー１０４をもう一度押して通常モードに切り替えることによりなされる他、撮影終了を指示するためのスイッチを別途設けてもよい。
【０１０３】
そして、上記のように被写体の撮影が終了すると、ステップＳ４以下において、複数枚の画像を貼り合せた合成画像を生成する動作に入る。まずステップＳ４において、どの画像を基準に合成画像を生成するかを選択する。なお、このとき選択された画像が上記基準画像であり、以下においては例として図１８に示される画像ｉｍｊが基準画像として選択された場合について説明する。また、この基準画像の設定は基準画像設定部２０においてなされるが、基準画像設定部２０の構成及び動作は上記実施の形態１における場合と同様である。
【０１０４】
次に、ステップＳ５において、図１８（ａ）に示された隣接する方向から撮影された画像対、すなわち画像ｎと画像（ｎ＋１）（１≦ｎ≦ｋ−１）との間において特徴点と、該特徴点と同一の箇所を示す対応点を検出する。この特徴点と対応点の検出は、対応検出部２１により行われる。ここで、対応検出部２１の構成及び動作は上記実施の形態１における場合と同様である。
【０１０５】
そして、特徴点と対応点の検出が終了すると、得られた両点の関係を基に、基準画像に整合するよう座標変換した上で画像が貼り合わされる。ここで、座標変換として射影変換を用いるとき、ステップＳ６において射影変換行列を計算すると共に、ステップＳ７において上記貼り合わせにより合成画像が生成される。このような射影変換行列の算出及び合成画像の生成は、画像合成部２４により実行される。以下において、この画像合成部２４の構成及び動作について詳しく説明する。
【０１０６】
図２１は、図１９に示された画像合成部２４の構成を示す図である。図２１に示されるように、画像合成部２４は射影変換算出部２３１と座標変換部２３２とを含む。ここで、射影変換算出部２３１は基準画像設定部２０と対応検出部２１とに接続され、座標変換部２３２は基準画像設定部２０とフレームメモリ１５及び射影変換算出部２３１に接続される。
【０１０７】
そして、射影変換算出部２３１は４つ以上の特徴点と対応点の組を用いて、式（３）で示した射影変換行列Ｂを算出する。その算出手順は上記実施の形態１における場合と同様であり、式（５）の最小自乗計算を行えばよい。ここで、本実施の形態においては、（ｋ−１）個の画像対間における射影変換行列を計算し、さらに各々の画像から基準画像への射影変換行列を求める必要がある。
【０１０８】
より具体的には、図１８に示されるように画像ｉｍｎ（ｎ＝１〜ｋ−１）から画像ｉｍ（ｎ＋１）への射影変換行列をＢｎ、また画像ｉｍｎから画像ｉｍｊへの射影変換行列を
【０１０９】
【数２５】
【０１１０】
【数２６】
【０１１１】
【数２７】
【０１１２】
以上のように、本実施の形態に係る画像処理装置６によれば、互いに一部が重なり合うように被写体面ＰＬを２枚以上撮影し、選択した基準画像に対して他の画像を貼り合わせることにより、被写体面ＰＬの広い領域に渡る合成画像が生成される。この場合基準画像設定部２０により、被写体に対してほぼ正対する方向から撮影された画像、すなわちあおり歪みの小さい画像を基準画像として選ぶことができるため、結果的にあおり歪みの小さい全体的な被写体像を、上記合成画像として得ることができる。
［実施の形態３］
上記実施の形態１及び２に係る画像処理装置においては、先に被写体像が２枚以上入力又は撮影された後に、歪み補正の対象とされ又は合成画像の基準とされる基準画像が選択される。これに対し、本実施の形態３に係る画像処理装置は、被写体を撮影する前に予め上記基準画像が設定される。
【０１１３】
図２２は、本発明の実施の形態３に係る画像処理装置８の構成を示す図である。図２２に示されるように、本実施の形態に係る画像処理装置８は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、通知部２６をさらに備える点で相違するものである。ここで、通知部２６は主制御部１４と基準画像設定部２０に接続される。
【０１１４】
なお、該画像処理装置８に含まれたシャッター１１３及びインタフェース１６は主制御部１４に接続され、ファインダ２４１はインタフェース１６に接続される。
【０１１５】
次に、本発明の実施の形態３に係る画像処理装置８の動作を、図２３のフローチャートを参照しつつ説明する。まず、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【０１１６】
一方、ステップＳ１においてあおり補正モードが選択されると、ステップＳ２へ進む。そしてステップＳ２においては、あおり歪みの補正対象とする画像、すなわち基準画像が基準画像設定部２０に設定される。ここで基準画像設定部２０は、図２４に示されるように、カーソルキー２０４と決定キー２０３とを含む。そして、表示部１７には「基準画像設定」という文字がオーバレイ表示されると共に、ユーザにこれから撮影する枚数と、該撮影において何枚目に撮る画像を基準画像とするのかを指定する基準画像指定値とを設定するよう指示される。ここで、例えばユーザはカーソルキー２０４の上又は下方向スクロールキーを操作することにより撮影枚数と基準画像の設定間を切り替え、かつ左又は右方向スクロールキーを操作することにより枠内の設定値を増減させることによって、所望の撮影枚数と基準画像指定値とを設定することができる。なお、決定キー２０３が押されることにより上記基準画像の設定が完了される。
【０１１７】
次に、ステップＳ３においてユーザは少なくとも２枚以上の被写体像の撮影を開始する。なおこのとき、互いに一部が重なり合うように各画像が撮影される必要がある。そして、画像を撮影する度にシャッター１１３から主制御部１４へ撮影信号が供給されることによって、主制御部１４に内蔵されたカウンタがインクリメントされ、該カウンタから次の撮影が何枚目であるかを示す枚数特定信号が通知部２６へ供給される。ここで、基準画像設定部２０より上記基準画像指定値を示す信号が通知部２６に内蔵されたレジスタに供給され、該レジスタに基準画像指定値が格納されているため、ステップＳ４において通知部２６は常に該レジスタに格納された上記基準画像指定値と上記枚数特定信号が示す値とを比較し、今度撮影する画像が基準画像とされるものであるか否かを判断する。
【０１１８】
そして、上記比較において両者の値が一致し、これから撮影しようとする画像が基準画像とされるものである場合には、ステップＳ５へ進み、通知部２６はユーザに基準画像の撮影であることを通知する。すなわち、このとき通知部２６からは主制御部１４を介してインタフェース１６へ通知信号が供給され、図２５に示されるように、該通知信号に応じてインタフェース１６によりファインダ２４１内の被写体像３５横のインジケータ２４２が点灯される。従って、撮影時にユーザにより容易に基準画像の撮影であるか否かが認識される。なお上記における通知は、表示部１７へ所定のテキストやシンボルを表示すること等によって行っても良い。
【０１１９】
次にステップＳ６へ進むが、ステップＳ４において次に撮影する画像が基準画像とされないと判断された場合には、直接ステップＳ６へ進む。そして、このステップＳ６においては、被写体の撮影（被写体画像の入力）が終了したか否かが判断され、終了しないと判断された場合にはステップＳ３へ戻る。一方、終了すると判断された場合にはステップＳ７へ進む。ここで、撮影の終了はユーザの指示に応じて判断され、該指示は撮影モード設定部１９における設定が通常モードに切り替えられ、又は撮影終了のために設けられたスイッチが押されること等によりなされるものとすることができる。
【０１２０】
次に、ステップＳ７では基準画像の中において特徴点が検出され、該基準画像の少なくとも一部において重複する画像の中においては上記特徴点と同一箇所を示す対応点が検出される。このような特徴点と対応点の検出は、図２２に示された対応検出部２１により行われる。なお、該対応検出部２１の構成及び動作は、上記実施の形態１の場合と同様である。
【０１２１】
そして、ステップＳ８において基準画像のあおり歪みを補正するためのパラメータを算出すると共に、ステップＳ９において上記パラメータを基にあおり歪みを補正した画像を生成して動作を終了する。なお、該パラメータの算出及びあおり歪みを補正した画像の生成は画像歪み補正部２２により行われるが、この画像歪み補正部２２の構成及び動作は上記実施の形態１の場合と同様である。
【０１２２】
以上のように、本実施の形態３に係る画像処理装置８によれば、撮影前に基準画像指定値を設定することにより、ユーザによる画像撮影において、次に撮影する画像が基準画像とされるものであるか否かが通知部２６によってユーザに通知されるため、ユーザは基準画像の撮影を容易に認識することができる。そしてユーザは、基準画像の撮影時には被写体の所望の領域が撮影範囲に入るよう特に注意を払うことができる。またさらに、基準画像の撮影ミスを減少させることができる。
【０１２３】
なお、通知部２６により基準画像指定値の設定に応じてユーザへ基準画像の撮影を通知する技術は、上記実施の形態２に係る画像処理装置６にも適用可能であることはいうまでもない。
［実施の形態４］
上記実施の形態に係る画像処理装置は、撮像部に含まれた単一の光学系を移動させることにより、被写体を異なる方向から少なくとも２度撮影する必要があったが、本実施の形態に係る画像処理装置では撮像部４１に２以上の光学系が並設され、一度の撮影で異なる方向から撮影された被写体像が複数枚得られるようにされる。
【０１２４】
図２６は、本発明の実施の形態４に係る画像処理装置４０の構成を示す図である。図２６に示されるように、本実施の形態４に係る画像処理装置４０は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、撮像部４１には２つの光学系１１Ａ，１１Ｂを含む点で相違するものである。
【０１２５】
以下において、本実施の形態に係る画像処理装置の動作を図２７のフローチャートを参照しつつ説明する。まず最初に、画像処理装置４０を起動し、撮影モードの選択を行う。ここで、上記撮影モードは通常のスナップ写真を撮影する通常モードと、撮影した画像のあおり歪みを補正した画像を生成するあおり補正モードよりなる。そして、この撮影モードの選択は、ユーザが撮影モード設定キーを操作することによりなされる。なお撮影モード設定部１９として、画像処理装置４０の本体には撮影モード設定キー１０４が設けられる。但し、撮影モード設定部１９は、本体とは別個に設けられるハードウェア又はソフトウェア等で構成しても良い。
【０１２６】
そして図２７に示されるように、ステップＳ１においてあおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択されると、ステップＳ１０へ進みユーザにより所望の被写体のスナップ写真が撮影される。
【０１２７】
一方、ステップＳ１においてあおり補正モードが選択されるとステップＳ２へ進み、基準画像設定部２０に対してあおり歪みを補正する対象としての基準画像が設定される。ここで基準画像設定部２０には、図２８に示されるように、上方向スクロールキー２０１及び下方向スクロールキー２０２と決定キー２０３とが含まれる。また、表示部１７には「基準画像設定」という文字がオーバレイ表示されると共に、いずれの光学系１１Ａ、１１Ｂで撮影された画像を上記基準画像とするかという選択がユーザに求められる。
【０１２８】
すると、ユーザは上方向スクロールキー２０１又は下方向スクロールキー２０２を操作することにより、例えば三角形で示されるポインタを表示部１７上で動かし、光学系１１Ａを選択する「カメラ１」という表示、あるいは光学系１１Ｂを選択する「カメラ２」という表示のいずれかを指定する。そして、上記ポインタがいずれかの光学系を指定した状態で決定キー２０３を押すと、該指定した光学系により撮影された画像が上記基準画像とされる。ここで、上記基準画像の設定情報は基準画像設定部２０から主制御部１４へ供給される。
【０１２９】
次に、ステップＳ３においてユーザは被写体の撮影を行う。このとき表示部１７には、主制御部１４による制御により、ステップＳ２で選択された光学系で撮影された画像のみを表示することとすれば、あおり歪みを補正しようとする画像が被写体の所望の範囲を含んでいるか否かがユーザにより容易に確認される。
【０１３０】
そしてステップＳ４においては、基準画像内で特徴点が検出されると共に、基準画像と重複した領域を有する画像内で該特徴点と同一の箇所を示す対応点が検出される。なお、この特徴点及び対応点の検出は、対応検出部２１により実行されるが、この対応検出部２１の構成及び動作は上記実施の形態１の場合と同様である。
【０１３１】
次に、ステップＳ５において基準画像のあおり歪みを補正するためのパラメータを算出すると共に、ステップＳ６において該パラメータを基にあおり歪みを補正した画像を生成し、動作を終了する。ここで、上記パラメータの算出及びあおり歪みを補正した画像の生成は画像歪み補正部２２により実行されるが、この画像歪み補正部２２の構成及び動作は上記実施の形態１の場合と同様である。
【０１３２】
以上のように、本実施の形態４に係る画像処理装置４０によれば、撮像部４１は光学系を少なくとも２つ備えるため、ユーザは１回の撮影動作により上記実施の形態に係る画像処理装置により得られる補正画像を得ることができる。また、選択した光学系において撮影された画像のみを表示部１７に表示するようにすれば、あおり歪みを補正しようとする画像が被写体の所望の範囲を含んでいるか否かがユーザにより容易に確認できるので、ユーザは基準画像の撮影に一層注意を払うことができ、撮影ミスの可能性を減少させることができる。
【０１３３】
また、図２６に示された撮像部４１には光学系が３つ以上含まれてもよく、このような複数の光学系を含む撮像部は、上記実施の形態２に係る画像処理装置６に備えられてもよいことはいうまでもない。
【０１３４】
なお、上記全ての実施の形態に係る画像処理装置においては、被写体を撮像部により撮影する代わりに、ハードディスク等の記憶装置やＣＤ−ＲＯＭ等の記憶媒体に格納された２枚以上の被写体像を外部記憶部１８等に取り込み、これらの被写体像を用いて補正画像を生成してもよい。また、撮影モード設定部１９や基準画像設定部２０、対応検出部２１、画像歪み補正部２２及び画像合成部２４等が撮像部１１，４１とは別の筐体、例えば計算機等に収められているものも上記実施の形態と同様に考えられる。
【０１３５】
また、対応検出部２１では、相関法による濃度マッチングにより対応点が検出されると説明したが、時空間微分法など別の手法で行っても良い。さらに、あおり歪みパラメータの算出においては、上記のような式（２０）に示された座標変換に限られず、他のパラメータ算出方法を適用してもよい。
［実施の形態５］
上記実施の形態においては、画像処理の対象とする基準画像に対して座標変換パラメータを算出し、補間演算を用いて歪み補正画像が生成されたが、該基準画像は豊富な書画情報を含み、かつ補間演算による画像の劣化が少ない画像、すなわち比較的被写体に正対した状態で撮影された画像であることが好ましい。そこで、以下においては、最適な基準画像を自動的に選択する画像処理方法と、該方法を実行する画像処理装置について説明する。
【０１３６】
図２９は、本発明の実施の形態５に係る画像処理装置における第一の構成例を示す図である。図２９に示されるように、本実施の形態５に係る画像処理装置５０は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、基準画像設定部２０の代わりに被写体領域判定部２５と基準画像自動選択部２７とを備える点で相違するものである。
【０１３７】
ここで、被写体領域判定部２５及び基準画像自動選択部２７は、それぞれ主制御部１４に接続され、被写体領域判定部２５の出力端は基準画像自動選択部２７に接続される。また、基準画像自動選択部２７の出力端は、画像歪み補正部２２に接続される。
【０１３８】
なお、本実施の形態５に係る画像処理装置５０においても、図４に示されるように、上記実施の形態１に係る画像処理装置１と同様な構成とすることができる。
【０１３９】
以下において、本実施の形態５に係る画像処理装置５０の動作を、図３０に示されたフローチャートを参照しつつ説明する。ここで、本実施の形態５に係る画像処理装置５０は、上記実施の形態１に係る画像処理装置１と同様に動作するため、以下においては相違点を中心に詳しく説明する。
【０１４０】
まずステップＳ１において、ユーザにより、あおり補正モードを選択するか否か判断され、あおり補正モードが選択されず通常モードが選択される場合にはステップＳ１０へ進み、該ユーザにより所望のスナップ写真が撮影される。
【０１４１】
一方、ステップＳ１においてユーザによりあおり補正モードが選択されるときには、ステップＳ２へ進む。そして、ステップＳ２においては、撮像部１１により少なくとも二回撮影された被写体像がフレームメモリ１５へ取り込まれる。なおこのとき、互いに該被写体像の一部が重なり合うように、各々の画像が撮影される必要がある。
【０１４２】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。
【０１４３】
そして、ステップＳ４では、対応検出部２１により被写体像の中において特徴点が検出され、該被写体像の少なくとも一部において重複する参照画像の中においては、上記特徴点と同一箇所を示す対応点が検出される。次に、特徴点と対応点の検出が終了すると、以下においてあおり歪みを補正する動作に入る。そしてまず、ステップＳ５において、基準画像自動選択部２７はあおり歪み補正の対象とする基準画像を自動選択する。以下において、基準画像自動選択部２７について詳しく説明する。
【０１４４】
なお、上記実施の形態１に係る画像処理装置１と同様に、ステップＳ６においては、ステップＳ５において選択された基準画像に対してあおり歪みを補正するためのパラメータを計算し、ステップＳ７において該パラメータを基に画像のあおり歪みを補正した画像を作成し、動作を終了する。
【０１４５】
あおり歪みを補正する場合、上記基準画像としては、撮影された複数の画像の中で被写体面が最も広い領域に渡って写っており、ユーザの必要とする書画情報量が豊富である画像が選択されると好適である。また、撮影時における撮像面の被写体面に対してなす角（以下において、「あおり角」とも呼ぶ）ができるだけ小さい画像が選択されると好適である。その理由について、図３１を参照しつつ説明する。
【０１４６】
図２９に示された画像歪み補正部２２は、上記のように式（２５）による座標変換を実行することによってあおり歪み補正を行うが、あおり角φに応じて該補正動作が変化する。ここでは、説明を簡単なものにするためあおり角φがｙ軸周りに限られ、かつ被写体面に平行な被投影面３１の大きさが撮像面３２の大きさに等しいと仮定する。
【０１４７】
図３１（ａ）に示されるように、あおり角φが比較的小さい場合における該座標変換においては、撮像面３２の左端近傍の点は、原点ｏに向かうベクトルで示される変分により被投影面３１へ投影される。なお、このような座標変換によって被投影面３１内における斜線部において、被写体像の解像度が低下する。
【０１４８】
一方、図３１（ｂ）に示されるように、該座標変換においてあおり角φが比較的大きい場合には、撮像面３２の左端近傍の点は、図３１（ａ）に示される変分より大きな変分を伴い、すなわち原点ｏに対する位置ベクトルがより大きく縮小されるように被投影面３１に投影される。そして、該座標変換により被写体像の解像度が低下する領域は、図３１（ａ）の場合に比して大きくなることが分かる。
【０１４９】
従って、以上より、あおり角φが小さいほど画像歪み補正部２２による座標変換に起因した解像度の劣化は少なくなることが分かる。
【０１５０】
また、図２９に示された被写体領域判定部２５は、撮影した画像において被写体が占める領域を検出するが、例えば文献『画像の処理と認識』（安居院猛・長尾智晴共著、昭晃堂）に記載されているように、（ａ）領域成長法や領域分割法のように画像上でクラスタリングを行う方法、（ｂ）ヒストグラムによる領域分割など、特徴空間上でクラスタリングを行う方法、（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、（ｄ）テクスチャ解析、などの領域分割方法が適用される。そして、被写体領域判定部２５は、該判定結果に応じて被写体の広い範囲を撮影した画像を上記基準画像として選択する。その結果、基準画像として豊富な書画情報を含む画像を自動的に選択することができる。
【０１５１】
ここで、本発明の実施の形態５に係る画像処理装置は、図３２に示されるような構成とすることもできる。すなわち、図３２に示された画像処理装置５１は、図２９に示された画像処理装置５０と同様な構成を有するが、被写体領域判定部２５の代わりに直線状パターン検出部２８を備える点で相違するものである。
【０１５２】
一般的に、文書を初めとする被写体面においては、文字列や罫線など互いに平行な関係にある直線状パターンが多数存在する。しかし、撮影時におけるあおり角が大きい場合には、本来平行であるはずの直線状パターンが、異なる向きを持つ直線状パターンとして画像に投影される。従って、画像に投影された直線状パターンの向きのばらつきを調べることにより該あおり角の大小を判別し、あおり角の小さな画像を自動的に基準画像として選択することができる。
【０１５３】
ここで、図３２に示された直線状パターン検出部２８は、撮影された複数の画像において直線状パターンを検出する処理を行う。そして、以下に該直線状パターンの検出方法の一例を説明する。
【０１５４】
まず、該複数の画像において微分を取ることにより、エッジ画像を作成する。次に、作成されたエッジ画像における断片的なエッジ点群を直線状セグメントに分割し、それぞれの直線状セグメントを以下の式（２８）に示される直線方程式に当てはめる。
ａｘ＋ｂｙ＋ｃ＝０ （ａ２＋ｂ２＝１） （２８）
ここで、上記式（２８）への当てはめは、直線状セグメントを構成する点群を用いて、最小自乗法を適用することによりなされる。そして、直線状セグメントに対する直線の当てはめが終了すると、直線の向きを表すパラメータである（ａ，ｂ）のばらつきを求める。このようにして、上記複数の画像全てに対して（ａ，ｂ）のパラメータのばらつきを求めることにより、各画像における直線の向きのばらつきを知ることができる。そして、最も直線の向きのばらつきが小さい画像を、自動的に基準画像として選択することができる。
【０１５５】
また、基準画像の自動選択においては、以下のような方法を適用することもできる。まず、上記複数の画像において上記と同様な方法でエッジ画像を作成する。次に、該エッジ画像内の全ての点に対してHough変換を施す。ここでHough変換とは、断片的なエッジより直線を検出するために使用される数学的変換であり、検出したい線を表現する式のパラメータにより構成される空間で、クラスタリングする方法をいう。そして、より具体的には、画像上の点列をｘ軸となす角θと直線の長さρとにより示されるθ−ρ空間へ投影する。
【０１５６】
図３３は、図３３（ａ）に示された画像空間から図３３（ｂ）に示されるθ−ρ空間へのHough変換を説明する図である。図３３に示されるように、Hough変換により画像上の各点Ｐ１〜Ｐ３は、それぞれ対応する曲線Ｌ１〜Ｌ３に変換される。そして、このような変換を画像上の全点について実行すると、θ−ρ空間において該曲線の軌跡が集中している点ＣＰが生じるが、この点ＣＰはエッジ画像において多くのエッジ点を通る直線に相当する。ここで、この点ＣＰの座標を（θ，ρ）とすれば、次の式（２９）に対応する直線が検出されたことになる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ （２９）
そして、上記複数の画像すべてに対し、該曲線が集中する点ＣＰを多数抽出し、これらの点におけるθのばらつきを求めることにより、各画像における直線の向きのばらつきを知ることができる。このようにして、最も直線の向きのばらつきが小さな画像を、自動的に基準画像として選択すれば良い。
【０１５７】
図３４は、本発明の実施の形態５に係る画像処理装置における第三の構成例を示す図である。図３４に示されるように、本実施の形態５に係る画像処理装置は、図２９に示された被写体領域判定部２５や、図３２に示された直線状パターン検出部２８を備えることなく、基準画像自動選択部２７を対応検出部２１に接続することとしても良い。
【０１５８】
上記対応検出部２１により検出された特徴点と対応点の組は射影変換行列Ｂ、すなわちあおり歪みを補正するパラメータの計算に使用される。このとき一般的には、該パラメータは、上記特徴点と対応点の組が多数あり、かつそれらが広範囲に分散しているほど精度良く算出される。そこで、撮影された複数の画像に対して、対応検出部２１により検出された特徴点と対応点の組、及びそれらの画像における分散を調べ、それらの値が最大である画像を自動的に基準画像として選択しても良い。
【０１５９】
また、上記の相関法に基づく対応検出においては、一般的に画像中に特徴のあるパターンが多いほど、数多くの特徴点と対応点が検出される。そして、特徴のあるパターンが多いことは、ユーザにとって有用な書画情報が画像中に多く含まれている可能性が高いので、特徴点及び対応点が豊富な画像を基準画像として自動選択すれば、必要な書画情報を含む画像をあおり歪み補正の対象とすることができ好適である。
【０１６０】
図３５は、本発明の実施の形態５に係る画像処理装置における第四の構成例を示す図である。図３５に示されるように、本実施の形態５に係る画像処理装置は、図２９に示された被写体領域判定部２５や、図３２に示された直線状パターン検出部２８の代わりに、平面計測部２９を備えることとしても良い。
【０１６１】
ここで、平面計測部２９は、各画像の撮影時における撮像部１１に対する被写体の向きを計測する。図３６は、図３５に示された平面計測部２９の構成例を示す図である。図３６に示されるように、平面計測部２９はスポット光源２７１と、受光素子２７２と、３次元座標算出部２７３と、平面算出部２７４とを備え、スポット光源２７１は発光ダイオードや半導体レーザ等からなる光源２７１ａと、ポリゴンミラー等の走査ミラー２７１ｂと、走査ミラー２７１ｂの動きを制御する駆動部２７１ｃとを含む。
【０１６２】
ここで、上記スポット光源２７１においては、光源２７１ａにより発生されたスポット光が被写体面ＰＬに当るように、走査ミラー２７１ｂが駆動部２７１ｃにより制御される。また、受光素子２７２は、スポット光源２７１に対する位置が予め測定されている場所に設置されたＰＳＤ（Position sensitive detector）やＣＣＤ等の光電変換素子により構成され、被写体面ＰＬからの反射光の向きを検出する。なお、撮像部１１に含まれた光電変換素子１１４を、上記における受光素子２７２として使用してもよい。
【０１６３】
また、３次元座標算出部２７３は、スポット光源２７１が照射したスポット光の向きと、スポット光源２７１と受光素子２７２との位置関係、及び受光素子２７２が検出した反射光の向きに応じて、三角測量の原理を用いることにより画像処理装置５３を基準とした被写体面ＰＬの３次元座標（Ｘ，Ｙ，Ｚ）を算出する。そして、平面算出部２７４は、３次元座標算出部２７３により算出された同一直線上にない３点以上の３次元座標を用いて、平面方程式を推定する。例えば、求める平面方程式を、
ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０（ａ２＋ｂ２＋ｃ２＝１，ｃ＞０） （３０）
とおき、３点以上の３次元座標を用いて、上記平面方程式における４つのパラメータ（ａ，ｂ，ｃ，ｄ）を最小自乗法により計算する。その結果、上記あおり角φは次式（３１）により計算される。
φ＝ｃｏｓ−１ｃ （３１）
従って、撮影された複数の画像全てに対して被写体面の向きを計測し、そのあおり角φが最小である画像を自動的に基準画像として選択すればよい。
【０１６４】
その他、画像歪み補正部２２の説明において記したように、対応検出部２１により検出された特徴点と対応点との組を用いることによっても、該被写体の向きを求めることができる。従って、本実施の形態５に係る画像処理装置は、いったん画像歪み補正部２２において式（１４）ないし式（１８）を実行して被写体の向きを求め、得られた結果を基準画像自動選択部２７へ出力するという構成とすることもできる。
［実施の形態６］
以下においては、図１８に示されるように、同一の被写体面ＰＬにおける静止画像が、画像の一部においてそれぞれ重複するように複数の方向から撮影された場合を前提とした実施の形態を説明する。なお、ここでは図１８に示されるように、方向ｄｊから撮影することにより画像ｉｍｊ（１≦ｊ≦Ｋ）が得られ、例えば画像ｉｍ１と画像ｉｍ２のように隣り合う方向において撮影することにより得られた画像ｉｍｊと画像ｉｍ（ｊ＋１）（１≦ｊ≦Ｋ−１）との間ではそれぞれ重複領域があるものとする。そして、本実施の形態６に係る画像処理装置においては、基準画像として選択されたいずれか一つの画像に整合するように、他の画像が貼り合わされ合成画像が生成される。
【０１６５】
図３７は、本発明の実施の形態６に係る画像処理装置６０の構成を示す図である。図３７に示されるように、本実施の形態６に係る画像処理装置６０は、図１９に示された実施の形態２に係る画像処理装置６と同様な構成を有するが、基準画像設定部２０の代わりに基準画像自動選択部２７を備える点で相違するものである。
【０１６６】
上記のような構成を有する本実施の形態６に係る画像処理装置６０は、実施の形態２に係る画像処理装置６と同様に動作するが、以下において、本実施の形態６に係る画像処理装置６０の動作を、図３８に示されたフローチャートを参照しつつ相違点を中心に説明する。
【０１６７】
まずステップＳ１において、ユーザにより、画像合成モードを選択するか否か判断され、画像合成モードが選択されず通常モードが選択される場合にはステップＳ１０へ進み、該ユーザにより所望のスナップ写真が撮影される。
【０１６８】
一方、ステップＳ１においてユーザにより画像合成モードが選択されるときには、ステップＳ２へ進む。そして、ステップＳ２においては、撮像部１１により撮影された複数の被写体像がフレームメモリ１５へ取り込まれる。なおこのとき、互いに該被写体像の一部が重なり合うように、各々の画像が撮影される必要がある。
【０１６９】
次に、ステップＳ３において被写体像の入力が終了したか否かが判断され、終了していない場合にはステップＳ２へ戻り、さらに被写体像の入力が継続される。一方、ユーザによる撮影終了の指示により被写体像の入力を終了した場合には、ステップＳ４へ進む。
【０１７０】
そして、ステップＳ４では、対応検出部２１により画像ｉｍｊと画像ｉｍ（ｊ＋１）との間において特徴点が検出され、該画像ｉｍｊの少なくとも一部において重複する画像ｉｍ（ｊ＋１）の中においては、上記特徴点と同一箇所を示す対応点が検出される。
【０１７１】
次に、該特徴点と該対応点の検出が終了すると、以下において複数枚の画像を貼り合せた合成画像を生成する動作に入る。そしてまずステップＳ５において、基準画像自動選択部２７は、該合成において基準とする基準画像を自動的に選択する。ここで、基準画像自動選択部２７は、上記あおり角ができるだけ小さい画像を自動的に基準画像として選択する。そして、このような選択を行うことにより、あおり歪みの小さな合成画像を得ることができる。
【０１７２】
そして、ステップＳ６においては、ステップＳ５において選択された基準画像を基準とした合成を行うための射影変換行列を算出し、ステップＳ７において該射影変換行列を用いて合成画像を生成し、動作を終了する。
［実施の形態７］
図３９は、本発明の実施の形態７に係る画像処理装置の構成を示す図である。図３９に示されるように、本実施の形態７に係る画像処理装置７０は、図３に示された実施の形態１に係る画像処理装置１と同様な構成を有するが、基準画像自動選択部２７と、切り替え部４５とをさらに備える点で相違するものである。
【０１７３】
ここで、基準画像自動選択部２７は主制御部１４により制御される。また、切り替え部４５はその入力端が基準画像設定部２０及び基準画像自動選択部２７に接続されると共に、出力端が画像歪み補正部２２に接続される。
【０１７４】
また、切り替え部４５は、基準画像の選択方法を切り替えるものであり、図４０に示されるように、上方向スクロールキー２０１と下方向スクロールキー２０２、及び決定キー２０３とを含む。ここで、表示部１７に表示されるメニューキー（図示していない）をユーザが選択的に押すことにより、図４０に示されるような「基準画像の選択」という文字がオーバレイ表示された画面が表示部１７に表示される。
【０１７５】
そして、上方向スクロールキー２０１又は下方向スクロールキー２０２が該ユーザにより操作されることにより、図４０に示された三角形のカーソルが上下移動する。このとき、該カーソルが「ＡＵＴＯ」の文字を指している状態において決定キー２０３が押されると基準画像を自動的に選択することが決定され、図３９に示された基準画像自動選択部２７が選択的に活性化される。一方、該カーソルが「ＭＡＮＵＡＬ」の文字を指している状態において決定キー２０３が押されると基準画像を手動により設定することが決定され、図３９に示された基準画像設定部２０が選択的に活性化される。
【０１７６】
従って、本実施の形態７に係る画像処理装置によれば、切り替え部４５による切り替えにより、基準画像設定部２０又は基準画像自動選択部２７のいずれか一方を選択的に画像歪み補正部２２に接続することができるため、ユーザは基準画像の選択方法として自動又は手動のいずれかを任意に選択することができる。
【０１７７】
なお、上述したいずれの実施の形態においても、該実施の形態に係る画像処理方法をコンピュータプログラムとして記述することができる。そして、図４１に示されるように、該プログラムを格納した記録媒体３０１を画像処理装置１に装着し、画像処理装置１に該プログラムを実行させることにより、上記画像処理を容易に実現することができる。
【０１７８】
また、図４２に示されるように、該プログラムを格納したＣＤ−ＲＯＭ３０２をパーソナルコンピュータ（パソコン）ＰＣに装着し、該プログラムをパソコンＰＣで実行することによっても、上記画像処理を実現することができる。なお、パソコンＰＣへ装着され該プログラムを格納する記録媒体としては、上記ＣＤ−ＲＯＭ３０２に限られず、例えばＤＶＤ−ＲＯＭ等であってもよいことはいうまでもない。
【０１７９】
以下において、上記画像処理方法を該プログラムの実行により実現する場合の具体例を説明する。この場合には、画像処理装置１及びパソコンＰＣは、内蔵されたメモリやハードディスクなどの記憶装置及びＣＤ−ＲＯＭ等の記録媒体に格納された２枚以上の被写体像を、計算機に搭載された各種インタフェースを介して上記信号処理部１２へ取り込む。
【０１８０】
また、上記における撮影モードの設定は、パソコンＰＣのキーボードにおける所定のキーを押し、又は画面上に表示されたアイコンをマウスクリックすることにより遂行される。一方、基準画像を手動により選択する場合には、入力された複数の画像を画面上に間引きして表示し、計算機に使用されるキーボードの上下カーソルキーを押すか、あるいはマウスによりアイコンをクリックすること等により、上記間引きされた画像が選択される。そして、所望の画像が選択された状態で改行キーが押されると、該画像が基準画像として設定される。
【０１８１】
また、撮像部１１を構成する光学系の焦点距離ｆについては、予め該光学系の焦点距離を測定しておき、該記録媒体の内部に記録しておく。そして、ユーザは画面上において、実際の撮影の際に使用した光学系の焦点距離を選択する。ここで、該焦点距離はヘッダ情報として記録しておくこともできる。すなわち、例えば画像データとしてExifフォーマットを使用する場合、そのヘッダ情報として撮影時の焦点距離を記録することができる。そして、本実施の形態に係る画像処理装置はこのヘッダ情報を読み取ることにより、該焦点距離を得ることができる。なお、上記のような方法が取れない場合には、ダイアログボックス等をパソコンＰＣなどの画面に表示して、該ダイアログボックス内においてユーザに直接焦点距離を手入力させるとよい。
【０１８２】
また、上記における被写体の向きについても、上記焦点距離と同様に扱うことができる。すなわち、平面計測部２９又は画像歪み補正部２２により計測された被写体の向きを、予め画像データファイル内のヘッダ情報として記録しておき、本実施の形態に係る画像処理装置は該ヘッダ情報を読み込むことにより該被写体の向きを得ることとしても良い。
【０１８３】
このとき、例えば画像データとしてExifフォーマットを使用する場合には、被写体の向きを記録するためのフィールドは存在しないが、Maker Noteと呼ばれる製造者が自由に利用できるフィールドに被写体の向きを記録することができる。
【０１８４】
また、上記のような方法を取ることが出来ない場合には、焦点距離の場合と同様に、ダイアログボックス等をパソコンＰＣ等の画面上に表示して、ユーザに直接被写体の向きを入力させるようにすると良い。
【０１８５】
なお、上記本発明の実施の形態は、デジタルスチルカメラやデジタルビデオカメラを利用した紙面情報入力、分割画像の貼り合わせ合成等の画像処理に適用でき、また非接触ハンディスキャナやその他の画像機器にも応用できる。
【発明の効果】
上述の如く、本発明によれば、被写体に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法において、複数の画像の中から歪みを補正する対象を選択することにより、適正な画像を得るために最適な画像を補正対象とすることができるため、より精度のよい該補正を実現することができる。
【０１８６】
また、複数の画像の中から歪みが最も少ない画像を選択して、歪みを補正した画像を該選択された画像と合成すれば、より適正な合成画像を得ることができる。
【０１８７】
ここで、画像内において被写体が占める領域の広さに応じて補正の対象を自動的に選択すれば、必要とされる書画情報量が最も豊富な画像の歪みを自動的に補正することができるため、確実に適正な画像を得ることができる。
【０１８８】
また、画像内において検出される直線状パターンの向きに応じて補正の対象を自動的に選択すれば、被写体にほぼ正対した位置から撮影された画像を自動的に補正対象とすることができるため、解像度が高い適正な画像を得ることができる。
【０１８９】
また、特定された対応関係に応じて補正の対象を自動的に選択すれば、精度の高い補正を確実に実行することができるため、画像処理の信頼性を高めることができる。
【０１９０】
また、撮影毎に検出された被写体の向きに応じて補正の対象を自動的に選択すれば、被写体に対してほぼ正対した位置から撮影された画像を自動的に補正対象とすることができるため、解像度が高い適正な画像を得ることができる。
【０１９１】
また、次に撮影する画像が歪みを補正する際の基準とされる画像となることをユーザへ通知する通知手段を備えた画像処理装置によれば、歪みを補正する際に基準とされる画像の撮影においてユーザへ注意が喚起されるため、ユーザの不注意などによる撮影ミスが回避され、動作の信頼性及び補正画像の品質を高めることができる。
【０１９２】
また、被写体を同時に撮影する複数の光学手段と、複数の光学手段で撮影される画像のうち補正の対象とする画像を選択する選択手段とを備えた画像処理装置によれば、一度の撮影により複数の方向から撮影された複数の被写体像を得ることができるため、歪みを補正するために必要とされる撮影回数を減少させることによって操作が簡便にされると共に、より簡易に歪み補正がされた画像を得ることができる。
【図面の簡単な説明】
【図１】従来の技術における問題点を説明するための図である。
【図２】本発明の実施の形態１に係る画像処理方法及び画像処理装置を説明するための図である。
【図３】本発明の実施の形態１に係る画像処理装置の構成を示す図である。
【図４】図３に示された画像処理装置を示す斜視図である。
【図５】本発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。
【図６】図３に示された表示部における撮影時の表示例を示す図である。
【図７】図３に示された基準画像設定部のレイアウトを示す図である。
【図８】本発明の実施の形態１に係る画像処理装置の他の例を示す図である。
【図９】図３に示された対応検出部の構成を示す図である。
【図１０】図９に示された相関演算部の動作を説明する図である。
【図１１】図３に示された画像歪み補正部の構成を示す図である。
【図１２】図３に示された画像歪み補正部の動作を説明する第一の図である。
【図１３】図３に示された撮像部の光学系を説明する図である。
【図１４】図１１に示された３次元演算部による射影変換を説明する図である。
【図１５】図３に示された画像歪み補正部の動作を説明する第二の図である。
【図１６】図１１に示されたパラメータ算出部の動作を説明する第一の図である。
【図１７】図１１に示されたパラメータ算出部の動作を説明する第二の図である。
【図１８】本発明の実施の形態２に係る画像処理方法及び画像処理装置を説明するための図である。
【図１９】本発明の実施の形態２に係る画像処理装置の構成を示す図である。
【図２０】 本発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。
【図２１】 図１９に示された画像合成部の構成を示す図である。
【図２２】本発明の実施の形態３に係る画像処理装置の構成を示す図である。
【図２３】本発明の実施の形態３に係る画像処理装置の動作を示すフローチャートである。
【図２４】図２２に示された基準画像設定部に対する基準画像の設定を説明する図である。
【図２５】図２２に示された通知部の動作を説明する図である。
【図２６】本発明の実施の形態４に係る画像処理装置の構成を示す図である。
【図２７】本発明の実施の形態４に係る画像処理装置の動作を示すフローチャートである。
【図２８】図２６に示された基準画像設定部に対する基準画像の設定を説明する図である。
【図２９】本発明の実施の形態５に係る画像処理装置における第一の構成例を示す図である。
【図３０】本発明の実施の形態５に係る画像処理装置の動作を示すフローチャートである。
【図３１】解像度劣化におけるあおり角依存性を説明する図である。
【図３２】本発明の実施の形態５に係る画像処理装置における第二の構成例を示す図である。
【図３３】本発明の実施の形態５に係る画像処理方法において用いられるHough変換を説明する図である。
【図３４】本発明の実施の形態５に係る画像処理装置における第三の構成例を示す図である。
【図３５】本発明の実施の形態５に係る画像処理装置における第四の構成例を示す図である。
【図３６】図３５に示された平面計測部の構成を示す図である。
【図３７】本発明の実施の形態６に係る画像処理装置の構成を示す図である。
【図３８】本発明の実施の形態６に係る画像処理装置の動作を示すフローチャートである。
【図３９】本発明の実施の形態７に係る画像処理装置の構成を示す図である。
【図４０】図３９に示された切り替え部の動作を説明する図である。
【図４１】本発明の実施の形態に係る画像処理装置と記録媒体を示す図である。
【図４２】本発明の実施の形態に係るコンピュータとコンピュータ読み取り可能な記録媒体を示す図である。
【符号の説明】
１，２，６，８，４０，５０〜５３，６０，７０ 画像処理装置
３，４，１０，ＩＭ１〜ＩＭ３，ｉｍ１，ｉｍ２，ｉｍｊ，ｉｍｋ 画像
５ 歪み補正画像
７ 基準画像
９ 参照画像
１１，４１ 撮像部
１１Ａ，１１Ｂ 光学系
１２ 信号処理部
１３ メモリ制御部
１４ 主制御部
１５ フレームメモリ
１６ インタフェース（Ｉ／Ｆ）
１７ 表示部
１８ 外部記憶部
１９ 撮影モード設定部
２０ 基準画像設定部
２１ 対応検出部
２２ 画像歪み補正部
２３ 被写体領域決定部
２４ 画像合成部
２５ 被写体領域判定部
２６ 通知部
２７ 基準画像自動選択部
２８ 直線状パターン検出部
２９ 平面計測部
３０ 画像面
３１ 被投影面
３２ 撮像面
３３ 装置座標系
３５ 被写体像
４５ 切り替え部
１０１ 電源スイッチ
１０２ シャッター
１０３ ファインダ
１０４ 撮影モード設定キー
１１１ レンズ
１１２ 絞り
１１３ シャッター
１１４ 光電変換素子
１１５ 前処理部
２０１ 上方向スクロールキー
２０２ 下方向スクロールキー
２０３ 決定キー
２０４ カーソルキー
２１１ 特徴点設定部
２１２ 相関演算部
２１３ 特徴点
２１５，２１６ 相関窓
２１７ 対応点
２２１ ３次元演算部
２２２ パラメータ算出部
２２３ 座標変換部
２２４ 画像面
２３１ 射影変換算出部
２３２ 座標変換部
２４１ ファインダ
２４２ インジケータ
２７１ スポット光源
２７１ａ 光源
２７１ｂ 走査ミラー
２７１ｃ 駆動部
２７２ 受光素子
２７３ ３次元座標算出部
２７４ 平面算出部
３０１ 記録媒体
３０２ ＣＤ−ＲＯＭ
ＰＬ 被写体面
ＰＣ パーソナルコンピュータ（パソコン）
Ｄ１〜Ｄ３，ｄ１，ｄ２，ｄｊ，ｄｋ 方向
ＩＭＡ，ＩＭＢ，ＩＭＣ 合成画像
Claims (20)
- 平面状の被写体である被写体面に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法であって、
前記撮影により得られた複数の前記画像内における重複部分の対応関係を特定する第一のステップと、
前記複数の画像の中から、前記画像内において前記被写体が占める領域の広さに応じて、前記歪みを補正する際の基準とする前記画像を自動的に選択する第二のステップと、
前記第一のステップにおいて特定された前記対応関係に応じて、前記第二のステップで選択された前記画像の前記歪みを補正する第三のステップとを有することを特徴とする画像処理方法。 - 前記第二のステップでは、前記画像内において前記被写体が占める領域の広さに代えて、前記画像内において検出される直線状パターンの向きに応じて選択する請求項１に記載の画像処理方法。
- 前記第二のステップでは、前記画像内において前記被写体が占める領域の広さに代えて、前記第一のステップにおいて特定された前記対応関係に応じて選択する請求項１に記載の画像処理方法。
- 前記第二のステップでは、前記画像内において前記被写体が占める領域の広さに代えて、前記撮影毎に検出された前記被写体の向きに応じて選択する請求項１に記載の画像処理方法。
- 前記第三のステップは、前記第一のステップにて算出された対応関係に基づいて、前記被写体面と平行な面に投影して前記第二のステップで選択された画像の前記歪みを補正することを特徴とする請求項１乃至４の何れか一に記載の画像処理方法。
- 平面状の被写体である被写体面に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理方法であって、
前記撮影により得られた複数の前記画像内における重複部分の対応関係をそれぞれ特定する第一のステップと、
前記複数の画像の中から、前記歪みを補正する際の基準とする前記画像であって、前記歪みが最も少ない前記画像を自動的に選択する第二のステップと、
前記第一のステップにおいて特定された前記対応関係に応じて、前記複数の画像の前記歪みをそれぞれ補正し、前記第二のステップにおいて選択された前記画像と合成する第三のステップとを有することを特徴とする画像処理方法。 - 前記第三のステップは、前記第一のステップにて算出された対応関係に基づいて、前記被写体面と平行な面に投影して前記第二のステップで選択された画像と合成することを特徴とする請求項６に記載の画像処理方法。
- 前記第一のステップは、複数の前記画像内における重複部分について、一の画像から特徴点及び他の画像から当該特徴点に対応する点である対応点を検出し、さらに、前記検出された特徴点と前記対応点とに基づいて、前記一の画像又は前記他の画像を撮影したときの撮影装置と被写体面の向きとの関係を前記対応関係として算出することを特徴とする請求項１乃至７の何れか一に記載の画像処理方法。
- 前記第一のステップは、複数の前記画像内における重複部分について、一の画像から特徴点及び他の画像から当該特徴点に対応する点である対応点を検出し、さらに、前記検出 された特徴点と対応点とに基づいて、前記一の画像撮影時に対する前記他の画像撮影時の撮影装置の姿勢と、前記一の画像撮影時から前記他の画像撮影時への前記撮影手段の単位並進ベクトルとを前記対応関係として算出することを特徴とする請求項１乃至７の何れか一に記載の画像処理方法。
- 平面状の被写体である被写体面に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、
前記撮影により得られた複数の前記画像内における重複部分の対応関係を検出する対応検出手段と、
前記複数の画像の中から、前記歪みを補正する際の基準とする前記画像であって、前記歪みが最も少ない前記画像を自動的に選択する選択手段と、
前記対応検出手段において検出された前記対応関係に応じて、前記複数の画像の前記歪みをそれぞれ補正し、前記選択手段において選択された前記画像と合成する画像合成手段とを備えたことを特徴とする画像処理装置。 - 前記画像合成手段は、前記対応検出手段にて算出された対応関係に基づいて、前記被写体面と平行な面に投影して前記選択手段で選択された画像と合成することを特徴とする請求項１０に記載の画像処理装置。
- 平面状の被写体である被写体面に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、
前記撮影により得られた複数の前記画像内における重複部分の対応関係を検出する対応検出手段と、
前記複数の画像の中から、前記画像内において前記被写体が占める領域の広さに応じて、前記歪みを補正する際の基準とする前記画像を自動的に選択する選択手段と、
前記対応検出手段により検出された前記対応関係に応じて、前記選択手段により選択された前記画像の前記歪みを補正する補正手段とを備えたことを特徴とする画像処理装置。 - 平面状の被写体である被写体面に対して少なくとも一部が重複するよう複数の方向から撮影された画像の歪みを補正する画像処理装置であって、
前記被写体を同時に撮影する複数の光学手段と、
前記複数の光学手段で撮影される前記画像のうち、前記画像内において前記被写体が占める領域の広さに応じて、前記歪みを補正する際の基準とする前記画像を自動的に選択する選択手段と、
前記選択手段により選択された前記画像と他の前記画像との間における重複部分の対応関係を検出する対応検出手段と、
前記対応検出手段により検出された前記対応関係に応じて、前記選択された画像の前記歪みを補正する補正手段とを備えたことを特徴とする画像処理装置。 - 前記選択手段は、前記画像内において前記被写体が占める領域の広さに代えて、前記画像内において検出される直線状パターンの向きに応じて選択する請求項１２又は１３に記載の画像処理装置。
- 前記選択手段は、前記画像内において前記被写体が占める領域の広さに代えて、前記対応検出手段により検出された前記対応関係に応じて選択する請求項１２に記載の画像処理装置。
- 前記選択手段は、前記画像内において前記被写体が占める領域の広さに代えて、前記撮影毎に検出された前記被写体の向きに応じて選択する請求項１２又は１３に記載の画像処理装置。
- 前記補正手段は、前記対応検出手段にて算出された対応関係に基づいて、前記被写体面と平行な面に投影して前記選択手段で選択された画像の前記歪みを補正することを特徴とする請求項１２乃至１６の何れか一に記載の画像処理装置。
- 前記対応検出手段は、複数の前記画像内における重複部分について、一の画像から特徴点及び他の画像から当該特徴点に対応する点である対応点を検出し、さらに、前記検出された特徴点と前記対応点とに基づいて、前記一の画像又は前記他の画像を撮影したときの撮影装置と被写体面の向きとの関係を前記対応関係として算出することを特徴とする請求項１０乃至１７の何れか一に記載の画像処理装置。
- 前記対応検出手段は、複数の前記画像内における重複部分について、一の画像から特徴点及び他の画像から当該特徴点に対応する点である対応点を検出し、さらに、前記検出された特徴点と対応点とに基づいて、前記一の画像撮影時に対する前記他の画像撮影時の撮影装置の姿勢と、前記一の画像撮影時から前記他の画像撮影時への前記撮影手段の単位並進ベクトルとを前記対応関係として算出することを特徴とする請求項１０乃至１７の何れか一に記載の画像処理装置。
- 請求項１乃至９の何れか一に記載の画像処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000261565A JP4169464B2 (ja) | 1999-12-28 | 2000-08-30 | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 |
| US09/940,432 US7313289B2 (en) | 2000-08-30 | 2001-08-29 | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-375651 | 1999-12-28 | ||
| JP37565199 | 1999-12-28 | ||
| JP2000261565A JP4169464B2 (ja) | 1999-12-28 | 2000-08-30 | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001250114A JP2001250114A (ja) | 2001-09-14 |
| JP4169464B2 true JP4169464B2 (ja) | 2008-10-22 |
Family
ID=26582720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000261565A Expired - Fee Related JP4169464B2 (ja) | 1999-12-28 | 2000-08-30 | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4169464B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7242818B2 (en) * | 2003-01-17 | 2007-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Position and orientation sensing with a projector |
| JP4124096B2 (ja) | 2003-10-29 | 2008-07-23 | 株式会社ニコン | 画像処理方法および画像処理装置、並びにプログラム |
| JP4238749B2 (ja) * | 2004-03-10 | 2009-03-18 | カシオ計算機株式会社 | 画像処理装置、画像投影装置、画像処理方法及びプログラム |
| JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
| JP4982343B2 (ja) * | 2007-12-04 | 2012-07-25 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像評価方法、プログラム及び情報記憶媒体 |
| CN102789574B (zh) * | 2012-07-02 | 2015-07-29 | 湖北微驾技术有限公司 | 基于三棱镜光学传感器的指纹图像几何矫正算法 |
| KR101692652B1 (ko) * | 2012-10-24 | 2017-01-03 | 가부시키가이샤 모르포 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
| JP6665575B2 (ja) * | 2016-02-23 | 2020-03-13 | ブラザー工業株式会社 | プログラム |
| IT202000006076A1 (it) * | 2020-03-23 | 2021-09-23 | Sacmi | Metodo per ispezionare la parete laterale di un oggetto |
-
2000
- 2000-08-30 JP JP2000261565A patent/JP4169464B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001250114A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6389179B1 (en) | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image | |
| US7313289B2 (en) | Image processing method and apparatus and computer-readable storage medium using improved distortion correction | |
| US7899270B2 (en) | Method and apparatus for providing panoramic view with geometric correction | |
| US7583858B2 (en) | Image processing based on direction of gravity | |
| JP4363151B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| JP4169462B2 (ja) | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 | |
| US7760962B2 (en) | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced | |
| US20060078215A1 (en) | Image processing based on direction of gravity | |
| US6211911B1 (en) | Image processing apparatus | |
| JP4341629B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| US8466989B2 (en) | Camera having image correction function, apparatus and image correction method | |
| US20050276481A1 (en) | Particular-region detection method and apparatus, and program therefor | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| JPH09322060A (ja) | 撮像装置、画像合成装置及び画像合成システム | |
| JP2007074578A (ja) | 画像処理装置、撮影装置、及びプログラム | |
| US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| US6493031B1 (en) | Visual information processing method and apparatus for extracting feature quantities from a two-dimensional image signal | |
| JP4169464B2 (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2001177716A (ja) | 画像処理方法と画像処理装置 | |
| CN114485953A (zh) | 温度测量方法、装置及系统 | |
| JP4363154B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP4324271B2 (ja) | 画像処理装置およびその方法 | |
| JP2005038021A (ja) | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム | |
| KR101132976B1 (ko) | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |