JP4363151B2 - 撮影装置、その画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影装置、その画像処理方法及びプログラムに関するものである。

デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。

このように書類や黒板の撮影を行う場合、その撮影対象物を正面かつ垂直に撮影することが望ましい。しかし、机上におかれた書類の撮影を正面かつ垂直に撮影することは困難である。また、黒板を撮影する場合も、撮影者の位置によって、黒板を正面から撮影することが難しい場合もある。また、正面から撮影できたとしても、ライトの映り込みなどの理由で正面から撮影するのを避けた方が好ましい場合もある。このように書類などの対象物を斜め方向から撮影した場合、文字等が斜め、または台形に歪む。もちろん、これらの文字の判読は可能である。しかし、判読できたとしても、読むには非常に疲れやすいものである。またこれらの画像は歪みをもっているので、この画像を再利用することも難しい。

このような不具合を解消するものとして、例えば、２つの視差のある画像を用いて画像の歪みを補正するようにしたものがある（例えば、特許文献１参照）。

また、既知の固定形状を想定し、この固定形状内に入力画像を配置して、固定形状の歪み方を調べることにより、本来の平面上での形状に復元する変換パラメータを発見し、入力画像のあおり歪みを補正するものもある（例えば、特許文献２参照）。

また、被写体面に直交格子を導入した後に被写体面を撮影し、撮影された画像中の各格子点の空間座標を求め、撮像面に設けられた座標系に直交変換を施して射影することにより、画像歪みを補正するものもある（例えば、特許文献３参照）。

また、カメラの撮像面と被写体面とのなす傾斜角を入力する角度設定部と、被写体までの距離を測定する測距部とを設け、角度設定部を用いて入力された傾斜角に対応した状態で被写体面を撮影することにより、入力された傾斜角と、測距部で検出された被写体面距離とに基づいて、被写体を正面から見た画像に一致するように撮影された画像を補正するものもある（例えば、特許文献４参照）。

また、回転軸に固定されたカメラの方向に関する情報に基づいて、撮影対象の幾何形状が正しく再現されるように画像のあおり歪みを補正するものもある（例えば、特許文献５参照）。

また、入力された画像の上下左右の４つの部分画像を作成し、それぞれの部分画像の傾きを基に不等辺四角形を作成し、不等辺四角形の互いに対向する水平方向の２辺が平行となるようにあおり回転変換を行なうことにより、水平あおり角αを求めてから互いに平行な２辺と垂直に交わる直線が垂直方向となす角をスキュー回転角βとして求める。残りの対向する２辺が平行となるように垂直方向にあおり回転変換することにより、垂直あおり角γを求める。水平あおり角αとスキュー回転角βと垂直あおり角γを用いて、入力された画像に幾何変換を施して実現をおこなっているものがある（例えば、特許文献６参照）。
特開２００１−１３４７５１号公報 特開平３−９４３８３号公報 特開平５−１０１２２１号公報 特開平９−２８９６００号公報 特開平１１−９８４８５号公報 特開２０００−３４１５０１号公報

しかし、特許文献１に記載されている装置では、２つの視差のある画像を用意することは、１つのレンズで構成されるカメラでは、２箇所からの撮影が必要になり、非常に煩わしい。

また、特許文献２に記載されている装置では、撮影対象物を、形状が既知の固定図形内に配置する必要があるので、撮影対象物として、例えば、紙面を撮影するために面倒な作業が必要になる。

また、特許文献３に記載されている装置では、被写体面に直交格子を重ね合わせ、各格子点の２次元座標を手動で入力するという作業が必要であり、簡便な動作で被写体面を撮影することが困難である。

また、特許文献４に記載されている装置では、角度設定部を操作して、撮像面と被写体面とのなす傾斜角を手動で正確に入力することは非常に困難であり、その結果として高い精度で画像のあおり歪みを補正することが困難になる。

また、特許文献５に記載されている装置では、原稿面と撮像面との間の距離及び傾斜角はカメラの機械的な構造及び配置によって決定され、カメラを一定の高さに固定し、かつ、回転軸周りに回転可能になるように設置する必要があるため、装置が大掛かりになると共に装置コストが上昇してしまう。

また、特許文献６に記載されている装置では、多くの回転変換処理を行わなければならず、演算数が多くなり、高価な演算装置を必要とする。また、処理時間も多く費やすことになる。

本発明は、このような従来の問題点に鑑みてなされたもので、容易に撮影対象物の画像を補正することが可能な撮影装置、その画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
撮影対象物を撮影する撮影装置において、
前記撮影対象物を撮影する撮影部と、
前記撮影部で撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部と、を備え、
前記画像処理部は、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記画像の形状と実際の撮影対象物の形状とを３次元の座標系を設定することで対応させて、前記撮影対象物の画像の頂点位置から、前記画像と実際の撮影対象物との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の縦横比を求める縦横比取得部と、
前記射影パラメータ取得部が求めた射影パラメータと前記縦横比取得部が求めた縦横比とを用いて前記撮影対象物の画像の画像変換を行う画像変換部と、を備えたことを特徴とする。

前記射影パラメータ取得部は、
前記撮影部、前記撮影対象物が存在する空間に、３次元の（Ｕ，Ｖ，Ｗ）座標系を設定し、前記撮影対象物を射影する投影面を前記空間に配置して、前記投影面上に（Ｘ，Ｙ，Ｚ）座標系を設定し、前記撮影対象物を矩形として、数１及び数２に示す関係式から求められた数３に示す関係式と数４に示す射影変換式とを対応させて、数５に示す射影パラメータからなる射影変換式を取得するものであり、
前記縦横比取得部は、数６に示す関係式から撮影対象物の縦横比を求め、
前記画像変換部は、数６及び数７に示す関係式と数５に示す射影変換式とを対応させて、前記撮影対象物の画像の画像変換を行うようにしてもよい。
但し、ｆ：撮影部が有するレンズの焦点距離
但し、
画像変換後の画像ｐ（ u , v）の画像サイズを（ 0≦ u＜ u m a x , 0≦v＜ v m a x）とする。

前記形状取得部は、前記撮影対象物の画像の解像度を低減して縮小画像を生成し、生成した縮小画像に基づいて前記撮影対象物の画像の輪郭を取得するようにしてもよい。

前記撮影対象物の画像データを記憶する記憶部を備えてもよい。

前記記憶部は、前記撮影対象物の画像データとして、前記撮影部で撮影することによって得られた画像処理前の画像データを記憶するようにしてもよい。

前記記憶部は、前記撮影対象物の画像データとして、前記画像処理部が画像処理を行った画像を記憶するようにしてもよい。

前記撮影対象物の画像を表示する表示部を備えてもよい。

前記画像処理部は、前記表示部に前記撮影対象物の画像を、画像処理を施す画像よりも低い解像度のプレビュー画像を表示させるようにしてもよい。

本発明の第２の観点に係る画像処理装置は、
撮影によって得られた原稿画像の歪みを補正する画像処理装置において、
前記原稿画像から前記原稿画像の輪郭を取得し、取得した前記輪郭から前記原稿画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記原稿画像の形状と実際の原稿の形状とを３次元の座標系を設定することで対応させて、前記原稿画像の頂点位置から、前記原稿画像と実際の原稿の形状との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記撮影部が有するレンズの焦点距離と前記原稿画像の頂点位置とに基づいて実際の原稿の縦横比を求める縦横比取得部と、
前記射影パラメータ取得部が求めた射影パラメータと前記縦横比取得部が求めた縦横比とを用いて前記原稿画像の画像変換を行う画像変換部と、を備えたことを特徴とする。

本発明の第３の観点に係る画像処理方法は、
撮影部により撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得するステップと、
取得した前記画像の形状と実際の撮影対象物の形状とを３次元の座標系を設定することで対応させて、前記撮影対象物の画像の頂点位置から、前記画像と実際の撮影対象物との関係を示す射影パラメータを求めるステップと、
前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の縦横比を求めるステップと、
求めた射影パラメータと縦横比とを用いて前記撮影対象物の画像の画像変換を行うステップと、を備えたことを特徴とする。

本発明の第４の観点に係るプログラムは、
撮影部を有した撮影装置が備えるコンピュータに、
前記撮影部により撮影対象物を撮影することによって得られた前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像の形状を取得する手順、
取得した前記画像の形状と実際の撮影対象物の形状とを３次元の座標系を設定することで対応させて、前記撮影対象物の画像の頂点位置から、前記撮影対象物の画像と実際の撮影対象物との関係を示す射影パラメータを求める手順、
前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の縦横比を求める手順、
求めた射影パラメータと縦横比とを用いて、前記撮影対象物の画像の歪みを補正するように前記画像に対して画像変換を行う手順、
を実行させるためのものである。

本発明によれば、容易に撮影対象物の画像を補正することができる。

以下、本発明の実施の形態に係る撮影装置を図面を参照して説明する。
尚、実施形態では、撮影装置をデジタルカメラとして説明する。

本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、撮影対象物として、白板２等の文字、図、写真等を撮影し、撮影によって得られた画像から、画像の歪みを検出して補正し、あたかも正面から撮影したような画像を生成するものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。

撮影レンズ部１１は、光を集光するレンズ等を備え、白板２等の文字、図、写真等からの光を集光するものである。

液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。
シャッタボタン１３は、撮影対象を撮影するときに押下するものである。

このデジタルカメラ１は、図２に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正、画像効果処理等の画像処理を行うためのものである。

デジタルカメラ１が、図３（ａ）にそれぞれ示すように、白板２の文字等を、向かって左方向、右方向から撮影すると、液晶モニタ１２には、図３（ｂ），（ｃ）に示すように、白板２と文字、図、写真等の画像が歪んで表示される。画像処理装置２５は、この図３（ｂ），（ｃ）に示すような画像に対して画像処理を施すことにより、図３（ｄ）に示すような、正面から撮影したような画像を生成する。

画像処理装置２５は、画像歪みを補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。

さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の処理等を行う。
（１）撮影画像からのアフィンパラメータ抽出
（２）抽出したアフィンパラメータによる画像変換
（３）画像変換の調整処理
（４）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
尚、これらの処理内容については、後述する。

操作部２６は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２６は、ユーザが、これらのキー、スイッチを押下すると、応答してこのときの操作情報をＣＰＵ３０に送信する。

操作部２６は、図４に示すように、上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４と、右回転キー１１５と、左回転キー１１６と、を備える。

上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４とは、射影変換を行なうための射影変換キーである。上縮小キー１１１は、Ｘ軸を中心に画像の上部と下部とを比較し、上部が大きい場合に、上部を紙面に向かって下方向に回転させるときに押下するキーである。

下縮小キー１１２は、Ｘ軸を中心に画像の上部と下部を比較し、下部が大きい場合に、下部を紙面に向かって下方向に回転させるときに押下するキーである。

右縮小キー１１３と左縮小キー１１４とは、Ｙ軸側を中心に左右のひずみを調整するときに押下するキーであり、右縮小キー１１３は、右が大きいときに押下するキーであり、左縮小キー１１４は、左が大きいときに押下するキーである。

右回転キー１１５と左回転キー１１６とは、画像の回転を調整するための回転補正キーである。右回転キー１１５は、画像を右に回転するときに押下するキーであり、左回転キー１１６は、画像を左に回転するときに押下するキーである。

また、操作部２６は、この他に、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。撮影キーは、撮影対象物を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等の機能を有するキーである。

コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。

操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６から、撮影キーが押下された旨の操作情報が送信されると、各部を撮影モードに設定する。ＣＰＵ３０は、撮影モードに設定した状態で、シャッタボタン１３が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、再生キーが押下された旨の操作情報が送信されると、各部を再生モードに設定する。

また、ＣＰＵ３０は、操作部２６から、射影変換キー、回転補正キーが押下された旨の操作情報が送信されると、これらの操作情報を画像処理装置２５に送信して、画像処理装置２５を制御する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。

ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録し、記録する際、画像データに関するヘッダ情報も画像ファイルのヘッダ情報記憶領域に記録する

次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザが撮影ボタンを押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図５に示すフローチャートに従って撮影処理を実行する。

ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１２）。

シャッタボタン１３が押下されたと判定した場合（ステップＳ１２においてＹｅｓ）、ＣＰＵ３０は、イメージセンサ２２に対して、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１３）。

ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１４）。

ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１５）。
読み込みが終了していないと判定した場合（ステップＳ１５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。

画像データをすべて読み込んで画像転送も終了したと判定した場合（ステップＳ１５においてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１６）。

ＣＰＵ３０は、圧縮データを作成するように画像処理装置２５を制御し、画像処理装置２５は、圧縮データを作成する（ステップＳ１７）。
ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に記録し、画像処理装置２５が作成した圧縮データを保存する（ステップＳ１８）。

次に、画像処理装置２５は、ＣＰＵ３０の制御の下、撮影画像から正面画像を作るための射影パラメータを抽出する（ステップＳ１９）。

ＣＰＵ３０、画像処理装置２５は、射影パラメータを抽出できたか否かを判定する（ステップＳ２０）。
抽出できたと判定した場合（ステップＳ２０においてＹｅｓ）、画像処理装置２５は、抽出した射影パラメータに基づいて射影変換画像を作成する（ステップＳ２１）。

操作部２６の射影変換キー、回転補正キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、操作部２６からの操作情報を画像処理装置２５に送信し、画像処理装置２５は、送信された操作情報に従って、画像変換の調整処理を行う（ステップＳ２２）。

画像処理装置２５は、画像効果補正用パラメータを抽出し（ステップＳ２３）、画像効果処理を行う（ステップＳ２４）。

画像処理装置２５は、画像効果処理が行われた画像データに対して、圧縮処理を行い、圧縮データを作成する（ステップＳ２５）。

画像処理装置２５は、作成された圧縮データをメモリカード３１に記録する（ステップＳ２６）。

一方、射影パラメータを抽出することができなかったと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ３０は、警告処理を行う（ステップＳ２７）。

ＣＰＵ３０等は、このようにして撮影処理を終了させる。尚、ユーザがキーを操作しない限り、ＣＰＵ３０等は、この撮影処理を繰り返し実行する。

次に、画像処理装置２５が行う画像処理について説明する。
まず、画像処理装置２５が画像処理に用いるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数８によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。
最終的な座標（ｘ，ｙ）は、次の数９によって算出される。
数９は、射影変換するための式であり、座標ｘ、ｙは、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはa13,a23,a33である。また、他のパラメータは、パラメータa33で正規化されることができるので、a33を１としてもよい。

図６は、四角形の撮影画像の各頂点の座標を示したものである。デジタルカメラ１で撮影された四角形と実際の撮影対象物（白板２）との関係について、図７に基づいて説明する。

この図７において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）)ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。
また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図７に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。
投影スクリーン上の座標系をx,yとすると、この投影スクリーン上に投影される画像がデジタルカメラ１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（x,y）とする。このとき、座標ｐは、射影変換より次の数１０によって表される。
数１０より、図７に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数１１に示す関係が求められる。
このとき、射影係数α、βは次の数１２によって表される。

次に、射影変換について説明する。
撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数１３によって表される。
この数１３に、数１１の関係式を代入すると、座標ｘとｙとは、次の数１４によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数１５によって表される。

この数１５にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ（u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数１６によって表される。
しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ（u,v）とｍ、ｎの値との関係は、数１０から、次の数１７によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１７に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１８に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。
尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１７，数１８に従って、射影変換を行うことができる。

画像処理装置２５は、このようなアフィン変換を行うため、まず、撮影した撮影対象物の画像から射影パラメータを抽出する（図５のステップＳ１９）。
画像処理装置２５が実行する射影パラメータの抽出処理を図８に示すフローチャートに基づいて説明する。

画像処理装置２５は、撮影した撮影対象物の画像から、この撮影対象物の画像の４すみの座標点（四角形輪郭）を抽出する（ステップＳ３１）。画像処理装置２５は、図９に示すフローチャートに示す四角形の輪郭を抽出する。

即ち、画像処理装置２５は、画像処理の演算数を減らすため、入力画像から縮小輝度画像を生成する（ステップＳ４１）。
画像処理装置２５は、生成した縮小輝度画像から、撮影対象物のエッジ画像を生成する（ステップＳ４２）。

画像処理装置２５は、撮影対象物のエッジ画像から、このエッジ画像に含まれる直線パラメータを検出する（ステップＳ４３）。
画像処理装置２５は、検出した直線パラメータから、撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ４４）。

画像処理装置２５は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（図８のステップＳ３２）。
画像処理装置２５は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定する（ステップＳ３３）。

四角形を抽出できなかったと判定した場合（ステップＳ３３においてＮｏ）、ＣＰＵ３０は、この射影パラメータ抽出処理を終了させる。

一方、四角形を抽出できたと判定した場合（ステップＳ３３においてＹｅｓ）、ＣＰＵ３０は、画像処理装置２５から、抽出した四角形を取得して、表示装置２４に送り、液晶モニタ１２に、四角形のプレビュー画像を表示させる（ステップＳ３４）。

ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてＹＥＳキー、ＮＯキーのいずれが押下されたか否かを判定する（ステップＳ３５）。

ＮＯキーが押下されたとＣＰＵ３０が判定した場合（ステップＳ３５においてＮｏ）、画像処理装置２５は、次の候補の四角形を指定する（ステップＳ３６）。

一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ３５においてＹｅｓ）、ＣＰＵ３０は、抽出した四角形の頂点から、アフィンパラメータを算出する（ステップＳ３７）。

次に、この射影パラメータの抽出処理を、さらに具体的に説明する。
画像処理装置２５がステップＳ４１において生成した縮小輝度画像の一例を図１０（ａ）に示す。画像処理装置２５は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１０（ｂ）に示すようなエッジ画像を生成する（ステップＳ４２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１１（ａ）は、フィルタΔ１の係数を示し、図１１（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ（x,y）に適用すると、変換後の画素値ｇ（x,y）は、次の数１９によって表される。

図１０（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２５は、このエッジ画像から、ラドン変換を行って直線パラメータを検出する（ステップＳ４３の処理）。

ラドン変換は、ｎ次元のデータを、（ｎ−１）次元の投影データに対応させる積分変換である。具体的には、図１２（ａ），（ｂ）に示すように、画像データをｆ（x,y）として、ｘ−ｙ座標系から角度θだけ回転したｒ−θ座標系を考える。θ方向の画像投影データｐ（r,θ）は、次の数２０によって定義される。

この数２０による変換がラドン変換と呼ばれるものである。
図１２（ａ）に示すような画像データｆ（x,y）は、ラドン変換により、図１２（ｂ）に示すような画像投影データｐ（r,θ）に変換される。

このようなラドン変換によれば、図１３（ａ）に示すようなｘ−ｙ座標系の直線Ｌは、極座標系では、ρ＝ｘcosα＋ｙsinαで表される。この直線Ｌは、ｐ（ρ,α）の点に全て投影されるので、ｐ（r,θ）のピークを検出することで、直線の検出が可能になる。画像処理装置２５は、この原理を用いて、エッジ画像から、ラドン変換によりデータｐ（r,θ）を生成する。

次に、画像処理装置２５は、生成したデータｐ（r,θ）から、そのピーク点を抽出する。このため、画像処理装置２５は、図１４に示すフローチャートに従って、このピーク点の抽出処理を実行する。

画像処理装置２５は、ｐ（r,θ）での最大値ｐmaxを探す（ステップＳ５１）。
画像処理装置２５は、閾値ｐth ＝ pmax * k（ｋは０以上１までの定数値）を求める（ステップＳ５２）。

画像処理装置２５は、ｐthを閾値にしてｐ（r,θ）から２値画像Ｂ（r,θ）を生成する（ステップＳ５３）。
画像処理装置２５は、Ｂ（r,θ）の画像ラベリングを行う。このとき得られたラベル数をＮ１とする（ステップＳ５４）。

画像処理装置２５は、各ラベル領域内でｐ（r,θ）が最大値のところのr,θを調べる。そして、画像処理装置２５は、この値を、それぞれｒi,θi （ｉ＝１〜Ｎl）として取得する（ステップＳ５５）。これが直線のパラメータとなる。

次に、画像処理装置２５は、検出した直線パラメータを用いて四角形候補を生成する場合（図９のステップＳ４４の処理）、図１５（ａ）に示すように、４本の直線が四角形を形成すれば、例えば、対向する直線ａ１，ａ３は、対向する直線ａ１，ａ３以外の２本の直線ａ２，ａ４と、それぞれ、交点ｐ１，ｐ４，ｐ２，ｐ３を有することになる。この場合、ＣＰＵ３０は、四角形を抽出できたと判定する（図８のステップＳ３３においてＹｅｓ）。

一方、図１５（ｂ），（ｃ）に示すように、４つの交点がなければ、ＣＰＵ３０は、四角形を抽出できなかったと判定する（ステップＳ３３においてＮｏ）。

次に、画像処理装置２５は、抽出した四角形の候補の中から、撮影対象物の辺を表すものとして、最もふさわしい四角形を選択する。
この方法はいくつか考えられ、本実施の形態では、撮影された四角形のうち、最外郭の四角形を選ぶものとする。最外郭の四角形とは、図６に示すように候補となる四角形をＸ，Ｙ軸の平行線で囲んで長方形を形成し、そのうち、面積が最も大きいものをいう。

長方形Ｒiの４つの頂点の座標を、それぞれ、（x0,y0），（x1,y1），（x2,y2），（x3,y3）とすると、四角形の面積Ｓiは、次の数２１によって表される。

画像処理装置２５は、図１６に示すフローチャートに従って、この四角形を選択する。
画像処理装置２５は、候補数Ｎｒの四角形のうちから、いずれかの四角形を選択する（ステップＳ６１）。
画像処理装置２５は、選択した四角形の面積Ｓiを、数１７に従って求める（ステップＳ６２）。

画像処理装置２５は、候補数Ｎｒをデクリメントする（ステップＳ６３）。
画像処理装置２５は、候補数Ｎｒが０になったか否かを判定する（ステップＳ６４）。
候補数Ｎｒが０にはなっていないと判定した場合（ステップＳ６４においてＮｏ）、画像処理装置２５は、ステップＳ６１〜Ｓ６３の処理を、再度、実行する。

このような処理を繰り返し行うことによって、候補数Ｎｒが０になったと判定した場合（ステップＳ６４においてＹｅｓ）、画像処理装置２５は、求めた面積Ｓiの大きい順に、候補となる四角形のデータを並べ替える（ステップＳ６５）。

そして、画像処理装置２５は、一番目の四角形を最優先の四角形の輪郭とする。このように複数の四角形の候補があっても常に最大外郭の四角形が優先的に選択される。このように最大外郭の四角形を優先的に選択するのは、通常、意識的に撮影対象物が撮影画角内の最大になるように、ズーム調整や撮影位置の調整が行われ、最大外郭の四角形が撮影対象物の輪郭と考えられるからである。

従って、概ね、撮影対象物の輪郭が自動的に抽出されることが期待される。また、誤って四角形が抽出されたとしても、ユーザは、一般には、最大外郭の四角形から順次、確認することになる。このため、撮影対象物の輪郭を示す直線が抽出されていれば、真の撮影対象物の四角形は、ＮＯキーを順次押下することによって選択されることになる。

このようにして、選択された撮影対象物の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数１２，数１５に従って、数１５に示す行列内の各要素であるアフィンパラメータを求めることができる。

（１）撮影対象画像からのアフィンパラメータ抽出
このような考え方に基づいて、画像処理装置２５は、四角形の頂点からアフィンパラメータを取得する。この処理を、図１７に示すフローチャートに基づいて説明する。

画像処理装置２５は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１２に従って、射影係数α、βを算出する（ステップＳ７１）。

画像処理装置２５は、数１７に従って撮影対象物の縦横比ｋを算出する（ステップＳ７２）。
画像処理装置２５は、画像の中心点（ｕc,ｖc）を指定する（ステップＳ７３）。
画像処理装置２５は、最大画像サイズｖmax/ｕmaxと数１７で表される縦横比ｋとを比較する（ステップＳ７４）。

ｖmax/ｕmax≦ｋの場合（ステップＳ７４においてＮｏ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１８の条件（１）に従って、ｍ，ｎの値を求める（ステップＳ７５）。

ｖmax/ｕmax＞ｋの場合（ステップＳ７４においてＹｅｓ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１８の条件（２）に従ってｍ，ｎの値を求める（ステップＳ７６）。

画像処理装置２５は、算出したｍ、ｎと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１５に従って、アフィン変換行列Ａfを求める（ステップＳ７７）。
画像処理装置２５は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ７８）。

尚、四角形が認識できないような場合（図８のステップＳ３３においてＮｏ）のように、画像撮影条件等が不適であり、射影パラメータが得られない場合がある。このような場合、図１８（ａ）に示すような警告文を、液晶モニタ１２に表示させ、撮影者に領域が検出できなかったことを適切に警告し、撮影者に、図１８（ｂ）に示すようなカメラ撮影設定モードにして撮影条件を変更させ、再度撮影を促すようにしたほうが好ましい。さらに再度、撮影条件を変えるように警告をした方が好ましい場合がある。

ＣＰＵ３０は、このように適正な射影パラメータが得られなかった場合、図１９に示すフローチャートに従って、警告処理を行う（図５のステップＳ２７）。

ＣＰＵ３０は、表示装置２４を制御して、図１８（ａ）に示すような警告文を液晶モニタ１２に表示させる（ステップＳ８１）。

ＣＰＵ３０は、ＹＥＳキー、ＮＯキーのいずれが押下されたかを、操作部２６から送信された操作情報に基づいて判定する（ステップＳ８２）。

ＮＯキーが押下されたと判定した場合（ステップＳ８２においてＮｏ）、ＣＰＵ３０は、この警告処理を終了させる。

一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ８２においてＹｅｓ）、ＣＰＵ３０は、撮影モードに切り替えて（ステップＳ８３）、この警告処理を終了させる。

（２）抽出したアフィンパラメータによる画像変換
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。
まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２０に示すように、元の画像の点ｐ（x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ（u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めたほうが好ましい。

尚、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ（u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２２に従って算出される。

変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めるため、画像処理装置２５は、図２１に示すフローチャートの処理を実行する。
画像処理装置２５は、変換画像の画素位置ｕを０に初期化する（ステップＳ９１）。

画像処理装置２５は、変換画像の画素位置ｖを０に初期化する（ステップＳ９２）。
画像処理装置２５は、数１２及び数１５で得られたアフィンパラメータＡを用いて変換画像の画素位置（u,v）を代入し、数９に従って、元の画像の画素位置（x,y）を求める（ステップＳ９３）。

画像処理装置２５は、求めた画素位置（x,y）から、数２２に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ９４）。
画像処理装置２５は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ９５）。

画像処理装置２５は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ９６）。

座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ９６においてＮｏ）、画像処理装置２５は、ステップＳ９３〜Ｓ９５を再度実行する。

ステップＳ９３〜Ｓ９５の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ９６においてＹｅｓ）、画像処理装置２５は、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ９７）。

画像処理装置２５は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ９８）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ９８においてＮｏ）、画像処理装置２５は、再度、ステップＳ９２〜Ｓ９７の処理を実行する。

ステップ９２〜Ｓ９７の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ９８においてＹｅｓ）、画像処理装置２５は、この画像変換処理を終了させる。

（３）画像変換の調整
次に、一度画像変換を行った画像に対して行われる調整（図５のステップＳ２２）について説明する。
抽出された四角形の頂点の座標に若干の誤差等が含まれているような場合、図２２（ａ）に示すように、得られたアフィンパラメータで射影した結果が好ましくない場合がある。このため、本実施形態のデジタルカメラ１は、一度画像変換した画像に対して調整を行い、図２２（ｂ）に示すような画像を得るために、ユーザによって射影変換の調整を行えるように構成されている。

ユーザが操作部２６の射影変換キー、回転補正キーを操作すると、操作部２６は、ユーザの操作に応答して、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を判別し、判別結果に従って画像処理装置２５を制御する。

尚、図２３に示すように、補正画像の補間画素Ｑ（u',v'）を求める際に、補間画素Ｑ（u',v'）に対して逆変換Ａiを行って、補間画素Ｑ（u',v'）に対応する補正画像Ｐ（u,v）を求め、さらに補正画像Ｐ（u,v）に対して逆変換を行って、元の画像のｐ（x,y）を求め、画像ｐ（x,y）に対して画素補間を行う。また、射影変換と拡大変換等、画像変換を２段変換する場合は、２つの変換を合成した変換行列を求めておいて、元の画像に対して変換を一度で行う。この方が、変換を２回行うより画像を高速に求めることができ、かつ、画像の劣化は少なくてすむ。

変換前の画像を、Ｘ軸，Ｙ軸を中心に角度θだけ回転して得られた変換後の画像から、変換前の画像を取得する場合の回転逆変換行列Ａrは、次の数２３によって表される。
変換前の画像を、Ｘ軸，Ｙ軸を中心にしてＳc倍拡大して得られた変換後の画像から、変換前の画像を取得する場合の拡大行列Ａscは、次の数２４によって表される。

尚、一度、画像を拡大すると、アフィンパラメータの調整や計算で丸め誤差の処理等が行われる場合がある。このため、画像を拡大する場合、その前に元の等倍のアフィンパラメータに復帰させるようにしておく必要がある。

変換前の画像をＸ，Ｙ方向に、それぞれ、Ｔx，Ｔyだけ移動させることによって得られた変換後の画像から、変換前の画像を取得する場合の移動行列Ａsは、次の数２５によって表される。

補正前の画像をＸ，Ｙ方向に、それぞれ、α，βだけ傾斜することによって得られた変換後の画像から、変換前の画像を取得する場合の射影効果行列Ａpは、次の数２６によって表される。
そして、２段の逆変換を実行する場合、その逆変換行列Ａは、次の数２７によって表される。

尚、本実施形態では、射影効果パラメータα、βは0.1刻み、角度補正パラメータθは１度刻みに設定するものとする。但し、実際の補正の効果を確かめながら各パラメータの調整幅を決定することができる。

このような考え方に基づいて実行される画像変換の調整処理を、図２４に示すフローチャートに基づいて説明する。
ＣＰＵ３０は、画像の中心座標Ｘc，Ｙcを設定する（ステップＳ１０１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいて射影補正キーが押下されたか否かを判定する（ステップ１０２）。
射影変換キーが押下されたと判定した場合（ステップＳ１０２においてＹｅｓ）、ＣＰＵ３０は、射影変換キーとして、上縮小キー１１１、下縮小キー１１２、右縮小キー１１３、左縮小キー１１４のうちの押下されたキーの種別を判別する（ステップＳ１０３〜Ｓ１０６）。

押下された射影変換キーが上縮小キー１１１であると判別した場合、ＣＰＵ３０は、数２６に示す射影効果行列Ａpに、α＝0.1、β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０３）。

押下された射影変換キーが下縮小キー１１２であると判別した場合、ＣＰＵ３０は、数２６に示す射影効果行列Ａpに、α＝-0.1，β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０４）。

押下された射影変換キーが右縮小キー１１３であると判別した場合、ＣＰＵ３０は、数２６に示す射影効果行列Ａpに、α＝０，β＝0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０５）。

押下された射影変換キーが左縮小キー１１４であると判別した場合、ＣＰＵ３０は、数２６に示す射影効果行列Ａpに、α＝０，β＝-0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０６）。

射影変換キーは押下されなかったと判定した場合（ステップ１０２においてＮｏ）、ＣＰＵ３０は、回転補正キーが押下されたか否かを判定する（ステップＳ１０７）。
回転補正キーが押下されたと判定した場合（ステップＳ１０７においてＹｅｓ）、ＣＰＵ３０は、押下された回転補正キーの種別を判別する（ステップＳ１０８、Ｓ１０９）。

押下された回転補正キーが右回転キー１１５であると判別した場合、ＣＰＵ３０は、数２３に示す回転逆変換行列Ａrに、θ＝−１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０８）。

押下された回転補正キーが左回転キー１１６であると判別した場合、ＣＰＵ３０は、数２３に示す回転逆変換行列Ａrに、θ＝１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０９）。

また、射影変換キー又は回転補正キーが押下されたと判定して、逆変換行列Ａiを設定した場合（ステップＳ１０３〜Ｓ１０６，Ｓ１０８，Ｓ１０９）、ＣＰＵ３０は、数２７に従って、逆変換行列Ａを求める（ステップＳ１１０）。

ＣＰＵ３０は、求めた変換行列Ａを画像処理装置２５に供給し、逆変換行列Ａに基づいて画像変換を行うように画像処理装置２５を制御する。画像処理装置２５は、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行い（ステップＳ１１１）、この画像変換の調整処理を終了させる。
一方、回転補正キーが押下されていないと判定した場合（ステップＳ１０７においてＮｏ）、ＣＰＵ３０は、そのまま、この画像変換の調整処理を終了させる。

このようにして得られたアフィンパラメータを用いて、前述した方法にて画像変換を行うことにより、補正画像に対して、さらに画像をマニュアル調整することもできる。

例えば、図２２に示すような画像を調整する場合、画像が左方向に歪んでいるので、まず右回転キー１１５を押下すると、画像処理装置２５は、画像を右回転させる。このまま、右回転キー１１５が押下されて、文字列が正しく表示されたときに右回転キー１１５の押下が停止すると、画像処理装置２５は、画像の右回転を停止させる。

次に画像の左側が右側に比較して大きいので左縮小キー１１４が押下されると、画像処理装置２５は、画像の左右を調整する。このまま、左縮小キー１１４が押下されて左右のバランスが揃ったときに左縮小キー１１４の押下が停止すると、画像処理装置２５は、左縮小処理を停止させる。

この方法は、元画像に対して一度だけの画像変換だけで、画像を得ることができるので、一度射影補正をおこなった画像に対して再度、回転、射影変換するより画質の良い画像を得ることができる。

（３）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
次に、このように得られた画像から、画像効果補正用パラメータを抽出する処理と、このパラメータを用いて行う画像効果処理と、について説明する。画像効果処理は、より鮮明な画像を得るための処理である。

このようにして得られた画像は、結果として白板２や書類などを切り出した画像である。ヒストグラム補正などの画像効果を行なう場合、元の画像から補正パラメータを求めて補正を行うより、切り出す画像からパラメータを求めた方が、より有効なパラメータの取得が期待される。

本実施形態では、補正画像データから輝度（Ｙ）からヒストグラムを作成し、そのヒストグラムに応じて画像効果処理を行うものとする。

尚、画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値といった画像効果処理に必要な変数である。

画像効果補正用パラメータを抽出するには、輝度のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。

輝度ヒストグラムは、画像に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に画素の数を計数することにより生成される。図２５に輝度ヒストグラムの一例を示す。図２５において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像効果を補正するには、画像効果補正用パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象物の背景色の輝度値を示すものと考えられる。

尚、画像効果を補正して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。

具体的に、撮影対象物の背景色は、以下の判別式に従って判別される。
（２−ａ）白の判定条件
白判定条件は、次の数２８によって表され、数２８に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。
（２−ｂ）黒の判定条件
黒判定条件は、次の数２９によって表され、数２９に示す条件を満足したときに、撮影対象物の背景色は黒（ｂ）と判定される。

また、数２８，２９に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。尚、カラー閾値は、例えば、５０に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このような考え方に基づいて、画像処理装置２５は、図２６に示すフローチャートに従って画像効果補正用パラメータの抽出処理を実行する。
画像処理装置２５は、各輝度（Ｙ）値を有する画素の数を計数して、図２５に示すような輝度ヒストグラムを生成する（ステップＳ１２１）。

画像処理装置２５は、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ１２２）。

画像処理装置２５は、輝度ヒストグラムのピーク値（Ｙpeak）から、数２８，２９に示す判定条件式に従って撮影対象物の背景色を判別する（ステップＳ１２３）。
画像処理装置２５は、画像効果補正用パラメータと撮影対象物の背景色のデータをメモリ２３に記憶する（ステップＳ１２４）。

次に、画像処理装置２５は、このように抽出した画像効果補正用パラメータを用いて画像効果処理（図５のステップＳ２４）を行う。
前述のように、画像効果処理を効果的に行うには、背景色によって処理内容を換える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、図２７（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２７（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２７（ｃ）に示すような変換を行う。尚、図２７（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２７（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２７（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、図２７（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２７（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、図２７（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

尚、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリカード３１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像効果処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

このような考え方に基づいて、画像処理装置２５は、図２８に示すフローチャートに従って、画像効果処理を実行する。
画像処理装置２５は、保存した画像効果補正用パラメータをメモリ２３から読み出す（ステップＳ１３１）。

画像処理装置２５は、背景が白か否かを判定する（ステップＳ１３２）。
背景が白と判定した場合（ステップＳ１３２においてＹｅｓ）、画像処理装置２５は、背景をより白くして、視認性が良くなるように、図２７（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う（ステップＳ１３３）。

背景が白ではないと判定した場合（ステップＳ１３２においてＮｏ）、画像処理装置２５は、背景が黒か否かを判定する（ステップＳ１３４）。

背景が黒であると判定した場合（ステップＳ１３４においてＹｅｓ）、画像処理装置２５は、背景が黒の場合、図２７（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する（ステップＳ１３５）。

背景が黒ではないと判定した場合（ステップＳ１３４においてＮｏ）、画像処理装置２５は、図２７（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う（ステップＳ１３６）。

本実施形態のデジタルカメラ１では、モードを撮影モードだけでなく再生モードに設定することもできる。
操作部２６の再生キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。

ＣＰＵ３０は、この操作情報に基づいて、モードが再生モードになったことを判別すると、図２９に示すフローチャートに従って、再生処理を実行する。
ＣＰＵ３０は、メモリカード３１内に記録されている画像ファイルの中から、ユーザの選択された一枚の画像を選択する（ステップＳ１４１）。

ＣＰＵ３０は、この選択した画像ファイルをメモリカード３１から読み出し、メモリ２３に書き込む（ステップＳ１４２）。
ＣＰＵ３０は、読み出した画像から縮小画像を作成する（ステップＳ１４３）。

ＣＰＵ３０は、メモリ２３上のプレビュー画像用の記憶領域に書き込む（ステップＳ１４４）。これにより撮影モード時と同じように、この縮小画像がプレビュー画像として表示装置２４から表示される。ユーザはこの表示を見ることで、再生画像を確認することができる。

ユーザがこの表示を視認して、他の画像を見たい場合にＮＯキーを押下すると、操作部２６はこの操作情報をＣＰＵ３０に送信する。
ＣＰＵ３０は、この操作情報に従って、次の画像が指定されたか否かを判定する（ステップＳ１４５）。

次の画像が指定されたと判定した場合（ステップＳ１４５においてＹｅｓ）、ＣＰＵ３０は、次の画像を選択し（ステップＳ１４６）、再度ステップＳ１４２〜Ｓ１４４を実行する。

次の画像が指定されなかったと判定した場合（ステップＳ１４５においてＮｏ）、ＣＰＵ３０は、この再生モードが終了したか否かを判定する（ステップＳ１４７）。
撮影キーが押下されなければ、ＣＰＵ３０は、再生モードは終了していないと判定して（ステップＳ１４７においてＮｏ）、ステップ１４５（次の画像が指定されたか否かの判定）に戻る。

一方、撮影キーが押下されると、ＣＰＵ３０は、操作部２６から、この操作情報を受信して再生モードが終了したと判定し（ステップＳ１４７においてＹｅｓ）、再生処理を終了させる。

次に、パラメータのファイルヘッダへの書き込みについて説明する。
元画像と補正画像とを、共にＪＰＥＧフォーマットの画像として記録する際に、元画像のファイル名を画像ファイルのヘッダ（オプションデータ）領域に記録する。補正画像を再度修正したい場合に、修正画像ファイルを補正するのでは元の画像から作成することによって劣化の少ない画像を作成することができる。この画像編集は、デジタルカメラ１内で行われてもよい。しかし、画像編集は、コンピュータで行われることもできる。コンピュータで画像編集を行えば、さらに高度の画像補正を行えることが期待される。

さらに、ヘッダに画像処理を行ったときのパラメータを記録することにより、コンピュータは、この元画像にこのパラメータを用いて、補正画像を再度、容易に作成することができる。このため、ユーザは即時、その前回の補正画像から手を加えやすくなる。

ヘッダ情報は、データの種類（データ名）と、それぞれのデータのバイト数と、その内容と、を含む。
ＣＰＵ３０は、このヘッダ情報を、ヘッダ情報記憶領域に順次、元画像データの画像ファイル名、補正画像の画像サイズ、アフィンパラメータ、ヒストグラムテーブルを作成するための入出力のデータセットを記憶する。

入出力データセットは、入力データと出力データとの関係を示すデータのセットであり、入出力関係を示す直線の傾斜が変化する変化点毎に、入力データの小さい方から順に並べて、入力データと出力データとを組にしたものである。

変化点の入力データが、小さい方から、順に、x1,x2,…,xmとして、対応する出力データがy1，y2，...，ymとすると、データセットは、（x1,y1），（x2,y2），…，（xm,ym）のｍ個のデータセットで表される。この場合、入力データｘは、xi＜ｘ＜xi+1であれば、出力データｙは次の数３０によって表される。

例えば、入力データと出力データとの関係が、図２７（ａ）に示すような関係である場合、ＣＰＵ３０は、（0，0）、（最小値，０）、（ピーク値、一定輝度値（＝２３０））、（最大値，２５５）、（255，255）の５つのデータセットをメモリカード３１に記憶する。

同様に、入出力データの関係が、図２７（ｂ）に示すような関係である場合、ＣＰＵ３０は、（0，0），（最小値，0），（ピーク値，一定輝度値（＝２０）），（最大値，255），（255，255）の５つのデータセットをメモリカード３１に記憶する。

入出力データの関係が、図２７（ｃ）に示すような関係である場合、ＣＰＵ３０は、（0，0），（最小値，0），（最大値，255），（255，255）の４つのデータセットをメモリカード３１に記憶する。

このような輝度値のデータセットを記録することにより、様々なヒストグラムを記述することができる。ＣＰＵ３０は、このようなデータを補正画像データの記録（図５のステップＳ２６）と同時に、メモリカード３１に記録する。

次に、補正画像の編集処理について説明する。
画像データを一度保存した後、この画像データを再度補正したい場合がある。この場合、前述のように、元の画像データを一括して補正した方が、画像劣化が少ないという点で、好ましい。

ユーザがコントロールキーを操作して画像の編集モードを指定すると、ＣＰＵ３０は、図３１に示すフローチャートに従って、画像の編集処理を実行する。
ＣＰＵ３０は、操作部２６から送信された操作情報に従って、補正画像を選択する（ステップＳ１５１）。

ＣＰＵ３０は、メモリカード３１のヘッダ情報記憶領域からヘッダ情報を読み込む（ステップＳ１５２）。
ＣＰＵ３０は、元画像を読み込む（ステップＳ１５３）。
ＣＰＵ３０は、読み込んだ補正画像、ヘッダ情報、元画像を画像処理装置２５に送り、再度、補正するように、画像処理装置２５を制御する（ステップＳ１５４）。

画像処理装置２５は、補正画像、ヘッダ情報、元画像を、ＣＰＵ３０から取得して、射影変換画像を作成する（ステップＳ１５５）。画像処理装置２５は、作成した射影変換画像のデータを表示装置２４に送り、表示装置２４は、この画像を液晶モニタ１２に表示する。

ユーザが射影変換キー、回転補正キーを操作すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を取得して、画像処理装置２５を射影手動補正処理を行うように制御する。

画像処理装置２５は、図２４に示すフローチャートに従って射影手動補正処理を行う（ステップＳ１５７）。
画像処理装置２５は、ヘッダ情報と共に射影手動補正処理された補正画像をメモリカード３１に記録し（ステップＳ１５８）、この編集処理を終了させる。

以上説明したように、本実施形態によれば、画像処理装置２５は、撮影対象物（白板２）の画像から輪郭を取得して、撮影対象物の形状を取得し、撮影対象物の四角形の頂点位置から、射影パラメータを求めて撮影対象物の画像を射影変換するようにした。

従って、撮影対象物が四角形であれば、自動的に画像の歪みを容易に補正することができる。また、その結果として、元の撮影対象物の画像に等しい判読性の高い画像を得ることができる。

また、撮影対象物が縦、横の比が不明な四角形であり、かつ、任意の撮影対象物を任意の視点・姿勢で撮影した場合でもデジタルカメラ１の焦点距離を用いることにより、画像の歪みを補正することができる。

また、射影パラメータを求めるのにプレビューなどに用いる解像度の低い縮小画像を用いるので、演算数は低減され、効率よく演算処理を行うことができ、画像処理を高速に行うことができる。

また、撮影された画像から、複数の四角形が抽出された場合に、最大外郭の四角形を優先的に選択し、ＮＯキーやカーソルキー等によって、四角形が大きい方から順に選択されるように構成されているため、複数の撮影対象物の輪郭の候補があっても、速やかに撮影対象物の輪郭を取得することができ、結果として簡単な手法で判読性の高い画像を得ることができる。

また、歪み補正を行った画像から画像処理補正用パラメータを求めるようにしたので、より良好な画像効果補正を行うことができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、補正画像の作成に用いたパラメータを補正画像のファイルに保存した。しかし、元画像のファイルにこのパラメータを保存することもできる。元画像のファイルにパラメータを保存すれば、補正画像を保存しなくても、元画像から容易に補正画像を作成することができる。

この場合のヘッダ情報は、図３２に示すように、画像サイズと射影パラメータと画像効果補正用パラメータとのみで構成される。また、撮影処理を行う際、デジタルカメラ１は、変換後の画像を保存せずに、すぐに射影パラメータの抽出処理を行う。

この撮影処理（２）の内容を図３３のフローチャートに示す。
画像処理装置２５は、射影補正画像を作成し（ステップＳ１６１〜１６９）、画像の調整、変換画像の効果処理、ヘッダの補正データ作成を行う（ステップＳ１７０〜Ｓ１７２）。

ＣＰＵ３０は、図３２に示すヘッダ情報を作成する（ステップＳ１７３）。
画像処理装置２５は、元画像データを圧縮し、ＣＰＵ３０は、作成したヘッダ情報を、圧縮した元画像データと共にメモリカード３１に記録する（ステップＳ１７４）。

また、再編集処理も図３１に示す処理内容とは異なるものになる。即ち、再編集処理は、補正画像ではなく、元画像に対して行われる。この処理内容を図３４のフローチャートに示す。
ＣＰＵ３０は、元画像を選択し、元画像のファイルからヘッダ情報を読み出す（ステップＳ１８１，Ｓ１８２）。

画像処理装置２５は、すぐに射影補正画像を作成し（ステップＳ１８３）、画像効果処理を行う（ステップＳ１８４）。
ＣＰＵ３０と画像処理装置２５とは、射影手動補正処理を行い、補正終了後、ＣＰＵ３０は、変更された射影補正パラメータに基づいてヘッダ情報を作成し、作成したヘッダ情報を元画像のファイルに再度記録する（ステップＳ１８５〜Ｓ１８７）。

また、上記実施形態では、画像補正をデジタルカメラ１で行うようにした。しかし、画像補正をコンピュータで行うことも可能である。この場合、コンピュータをコンピュータインタフェース部２７に接続し、コンピュータが図３１に示すフローチャートに従って画像の編集処理を実行する。コンピュータがこのような画像の編集処理を行えば、コンピュータは、マウス等を備え、デジタルカメラ１に比べて操作情報の入力も容易になるので、操作性が向上する。また、コンピュータの表示装置は、デジタルカメラ１の液晶モニタ１２よりも大きいのが一般的であるので、画像を詳細に視認して、画像補正を精度良く行うことが可能になる。

また、上記実施形態では、四角形を取得できない場合、警告を行うようにした。しかし、警告を行う代わりに、撮影した画像を表示して、コントロールキー等を用いて、ユーザに四角形の４点を指定させるように構成されることもできる。そして、この指定された４点を用いてアフィンパラメータを求めるようにすることもできる。

尚、上記実施の形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい

本発明の実施形態に係るデジタルカメラで白板を撮影するときの状態を示す説明図である。 図１に示すデジタルカメラの構成を示すブロック図である。 図２に示す画像処理装置の機能の説明図である。 図２に示す操作部が備える各キーの説明図である。 デジタルカメラが実行する撮影処理の内容を示すフローチャートである。 図２に示す画像処理装置の切り抜き対象の四角形を示す説明図である。 射影パラメータの抽出とアフィン変換の基本的な考え方を説明するための説明図である。 図２に示す画像処理装置が実行する射影パラメータ抽出処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形輪郭抽出処理の内容を示すフローチャートである。 縮小輝度画像とエッジ画像の説明図である。 Robertsフィルタの機能の説明図である。 ラドン変換の原理を説明するためのイメージ図である。 Ｘ、Ｙ座標系の直線をラドン変換して極座標系のデータを取得する動作を説明するための図である。 図２に示す画像処理装置が実行する極座標系のデータからのピーク点検出処理の内容を示すフローチャートである。 ピーク点を検出して抽出した直線から、四角形を検出する考え方を示す説明図である。 図２に示す画像処理装置が実行する検出した四角形の選択処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形の頂点からアフィンパラメータを求める処理の内容を示すフローチャートである。 四角形を抽出できなかった場合の警告の内容を示す説明図である。 図２に示すＣＰＵが実行する警告処理の内容を示すフローチャートである。 射影変換後の画像から元の画像を得るための逆変換の説明図である。 図２に示す画像処理装置が実行するアフィン変換による画像変換処理の内容を示すフローチャートである。 射影変換によって画像の歪みを補正することができなかった例を示す説明図である。 元の画像、射影変換画像、拡大した射影変換画像との対応関係を説明するための図である。 図２に示す画像処理装置が実行する補正調整と画像変換処理の内容を示すフローチャートである。 輝度ヒストグラムの一例を示す説明図である。 図２に示す画像処理装置が実行する画像効果補正用パラメータの抽出処理の内容を示すフローチャートである。 画像効果処理を示す説明図であり、（ａ）は、背景色が白の場合の画像効果処理を示し、（ｂ）は、背景が黒の場合の画像効果処理を示し、（ｃ）は、背景が白又は黒以外の場合の画像効果処理を示す。 図２に示す画像処理装置が実行する画像効果処理の内容を示すフローチャートである。 図２に示すＣＰＵ、画像処理装置が実行する再生処理の内容を示すフローチャートである。 ヘッダ情報の内容を示す説明図である。 図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。 元画像のみを保存する場合のヘッダ情報の内容を示す説明図である。 元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する撮影処理（２）の内容を示すフローチャートである。 元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、２・・・白板、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、３０・・・ＣＰＵ、３１・・・メモリカード

Claims (11)

1. 撮影対象物を撮影する撮影装置において、
   前記撮影対象物を撮影する撮影部と、
   前記撮影部で撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部と、を備え、
   前記画像処理部は、
   前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得する形状取得部と、
   前記形状取得部が取得した前記画像の形状と実際の撮影対象物の形状とを３次元の座標系を設定することで対応させて、前記撮影対象物の画像の頂点位置から、前記画像と実際の撮影対象物との関係を示す射影パラメータを求める射影パラメータ取得部と、
   前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の縦横比を求める縦横比取得部と、
   前記射影パラメータ取得部が求めた射影パラメータと前記縦横比取得部が求めた縦横比とを用いて前記撮影対象物の画像の画像変換を行う画像変換部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記射影パラメータ取得部は、
   前記撮影部、前記撮影対象物が存在する空間に、３次元の（Ｕ，Ｖ，Ｗ）座標系を設定し、前記撮影対象物を射影する投影面を前記空間に配置して、前記投影面上に（Ｘ，Ｙ，Ｚ）座標系を設定し、前記撮影対象物を矩形として、数１及び数２に示す関係式から求められた数３に示す関係式と数４に示す射影変換式とを対応させて、数５に示す射影パラメータからなる射影変換式を取得するものであり、
   前記縦横比取得部は、数６に示す関係式から撮影対象物の縦横比を求め、
   前記画像変換部は、数６及び数７に示す関係式と数５に示す射影変換式とを対応させて、前記撮影対象物の画像の画像変換を行う、
   ことを特徴とする請求項１に記載の撮影装置。
   但し、ｆ：撮影部が有するレンズの焦点距離
   但し、
   画像変換後の画像ｐ（ u , v）の画像サイズを（ 0≦ u＜ u m a x , 0≦v＜ v m a x）とする。
3. 前記形状取得部は、前記撮影対象物の画像の解像度を低減して縮小画像を生成し、生成した縮小画像に基づいて前記撮影対象物の画像の輪郭を取得する、
   ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記撮影対象物の画像データを記憶する記憶部を備えた、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記記憶部は、前記撮影対象物の画像データとして、前記撮影部で撮影することによって得られた画像処理前の画像データを記憶する、
   ことを特徴とする請求項４に記載の撮影装置。
6. 前記記憶部は、前記撮影対象物の画像データとして、前記画像処理部が画像処理を行った画像を記憶する、
   ことを特徴とする請求項４に記載の撮影装置。
7. 前記撮影対象物の画像を表示する表示部を備えた、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮影装置。
8. 前記画像処理部は、前記表示部に前記撮影対象物の画像を、画像処理を施す画像よりも低い解像度のプレビュー画像を表示させる、
   ことを特徴とする請求項７に記載の撮影装置。
9. 撮影によって得られた原稿画像の歪みを補正する画像処理装置において、
   前記原稿画像から前記原稿画像の輪郭を取得し、取得した前記輪郭から前記原稿画像の形状を取得する形状取得部と、
   前記形状取得部が取得した前記原稿画像の形状と実際の原稿の形状とを３次元の座標系を設定することで対応させて、前記原稿画像の頂点位置から、前記原稿画像と実際の原稿の形状との関係を示す射影パラメータを求める射影パラメータ取得部と、
   前記撮影部が有するレンズの焦点距離と前記原稿画像の頂点位置とに基づいて実際の原稿の縦横比を求める縦横比取得部と、
   前記射影パラメータ取得部が求めた射影パラメータと前記縦横比取得部が求めた縦横比とを用いて前記原稿画像の画像変換を行う画像変換部と、を備えた、
   ことを特徴とする画像処理装置。
10. 撮影部により撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
    前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得するステップと、
    取得した前記画像の形状と実際の撮影対象物の形状とを３次元の座標系を設定することで対応させて、前記撮影対象物の画像の頂点位置から、前記画像と実際の撮影対象物との関係を示す射影パラメータを求めるステップと、
    前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の縦横比を求めるステップと、
    求めた射影パラメータと縦横比とを用いて前記撮影対象物の画像の画像変換を行うステップと、を備えた、
    ことを特徴とする撮影装置の画像処理方法。
11. 撮影部を有した撮影装置が備えるコンピュータに、
    前記撮影部により撮影対象物を撮影することによって得られた前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像の形状を取得する手順、
    取得した前記画像の形状と実際の撮影対象物の形状とを３次元の座標系を設定することで対応させて、前記撮影対象物の画像の頂点位置から、前記撮影対象物の画像と実際の撮影対象物との関係を示す射影パラメータを求める手順、
    前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の縦横比を求める手順、
    求めた射影パラメータと縦横比とを用いて、前記撮影対象物の画像の歪みを補正するように前記画像に対して画像変換を行う手順、
    を実行させるためのプログラム。