JP4341629B2

JP4341629B2 - 撮像装置、画像処理方法及びプログラム

Info

Publication number: JP4341629B2
Application number: JP2006019681A
Authority: JP
Inventors: 義裕手島; 敬一櫻井
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-01-27
Filing date: 2006-01-27
Publication date: 2009-10-07
Anticipated expiration: 2026-01-27
Also published as: US8249382B2; JP2007201948A; US20070177818A1

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に紙面文書や名刺などの用紙を撮影する場合に用いて好適な撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

紙面文書や名刺などの用紙を撮影対象とした場合、用紙を机の上などに置き、撮影者がその真上からカメラを下に向けて撮影しなければならないため、用紙が傾いて撮影される可能性が高い。

従来、このように傾いて撮影された画像を補正する方法として、例えば特許文献１が知られている。この特許文献１には、斜め方向から撮影した画像から撮影対象の輪郭情報を抽出し、その輪郭情報に基づいて撮影画像の歪みを補正する技術が開示されている。
特開２００５−１１５７１１号公報

しかしながら、用紙を撮影対象とした場合、その用紙を机の上などに置いて撮影するため、机の縁などが邪魔になって、撮影対象である用紙だけの輪郭情報を正しく抽出できないことがある。輪郭情報を抽出できないと、撮影画像の歪みを補正できない。このため、例えば机の縁が入り込まないように、用紙を真ん中に置いて注意して撮影しなければならなかった。

また、複数枚の用紙を撮影して、これらの撮影画像を保存しておくような場合に、各用紙を重ね置きしながら撮影すると、前に撮影した用紙が邪魔で、新たに置いた用紙の輪を正しく抽出できず、撮影画像を補正できない。このため、各用紙を１枚１枚置き換えて撮影するといった面倒な作業が必要であった。

本発明は前記のような点に鑑みなされたもので、背景に影響されずに、撮影対象の輪郭情報を正しく抽出して、その撮影画像の歪みを補正することのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の撮像装置は、任意の場所に撮影対象を置いて撮影した画像を取得する画像取得手段と、この画像取得手段によって得られた撮影画像と前記撮影対象を置く前に撮影した画像との差分画像を作成する差分画像作成手段と、この差分画像作成手段によって作成された差分画像から前記撮影対象の輪郭情報を抽出する輪郭抽出手段と、この輪郭抽出手段によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを補正する画像処理手段とを具備して構成される。

このような構成によれば、任意の場所に撮影対象を置いて撮影した画像とその撮影対象を置く前に撮影した画像との差分画像から撮影対象だけの画像を得て、撮影対象の輪郭情報を正しく抽出することができる。したがって、背景に影響されずに、撮影画像の歪みを補正することができる。

本発明の撮像装置は、任意の場所に複数の撮影対象を重ね置きしながら連続的に撮影した画像を順次取得する画像取得手段と、この画像取得手段によって順次得られる各撮影画像毎にその直前の撮影画像との差分画像を順次作成する差分画像作成手段と、この差分画像作成手段によって順次作成される差分画像から新たに置かれた撮影対象の輪郭情報を順次抽出する輪郭抽出手段と、この輪郭抽出手段によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを順次補正する画像処理手段とを具備して構成される。

このような構成によれば、任意の場所に複数の撮影対象を重ね置きしながら連続的に撮影した場合に、各撮影画像毎にその直前の撮影画像との差分画像を作成することにより、新たに置かれた撮影対象だけの画像を得て、当該撮影対象の輪郭情報を正しく抽出することができる。したがって、複数の撮影対象を１つ１つ個別に撮影しなくとも、これらの撮影画像の歪みを補正することができる。

本発明によれば、例えば紙面文書や名刺などの用紙を撮影対象として場合でも、背景に影響されずに、撮影対象の輪郭情報を正しく抽出して、その撮影画像の歪みを補正することができる。

以下、図面を参照して本発明の実施形態を説明する。

（１）装置構成
図１は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の撮影状態を示す図である。

本実施形態に係るデジタルカメラ１は、机などの台座３の上に置かれた用紙２を撮影対象とし、その撮影対象が傾いて撮影された場合に、あたかも正面から撮影したような画像に補正する機能を備える。前記用紙２とは、例えば紙面文書や名刺などである。

図１に示すように、このデジタルカメラ１には、撮影レンズ部１１、液晶モニタ１２、シャッタキー１３が設けられている。

撮影レンズ部１１は、光を集光するレンズ等を備え、被写体からの光を集光するものである。液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。シャッタキー１３は、撮影タイミングを指示するための操作ボタンである。

図２は同実施形態におけるデジタルカメラ１の回路構成を示すブロック図である。

デジタルカメラ１は、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、ＣＰＵ３０と、メモリカード３１とを備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に撮影対象からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタキー１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒間３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタキー１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。また、イメージセンサ２２はＣＰＵ３０によって撮像感度（ＩＳＯ感度）の設定が可能になっており、被写体の明るさに応じて調整が可能になっている。

メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、ＣＰＵ３０に制御されて、メモリ２３に一時記憶された画像データに対して画像処理を行うためのものである。ここで、本実施形態において、画像処理装置２５は、以下のような処理を行う。

（１）縮小画像の作成処理
（２）輝度画像の作成処理
（３）画像の位置合わせ処理
（４）差分画像の作成処理
（５）２値エッジ画像の作成処理
（６）矩形検出処理
（７）画像変換処理
（８）画像の圧縮処理
以下、それぞれの処理について説明する。

（１）縮小画像の作成処理
画像処理装置２５は、元画像からいくつかの近傍の画素の平均化を行うことによって画素数を減らした縮小画像の作成ができる。元画像のサイズが（Ｘｂｍａｘ，Ｙｂｍａｘ）で縮小画像のサイズが（Ｘｓｍａｘ，Ｙｓｍａｘ）である場合は、数１に示すように、縮小画像の画素ｑ（ｋ，ｌ）（１≦ｋ≦Ｘｓｍａｘ，１≦ｌ≦Ｙｓｍａｘ）は、元画像ｐ（ｘ，ｙ）の周辺近傍９点の平均で求める方法が考えられる。

例えば、元画像がＸＧＡ（１０２４×７６８）で縮小画像がＱＶＧＡ（３２０×２４０）であるときは、Ｘｂｍａｘ＝１０２４，Ｙｂｍａｘ＝７６８，Ｘｓｍａｘ＝３２０，Ｙｓｍａｘ＝２４０で計算を行えば良い。

（２）輝度画像の作成処理
カメラ内の画像データがＲＧＢの場合、以下の数２の式から、各画素の輝度値Ｙを算出して、輝度画像を作成する。

（３）画像の位置合わせ処理
画像処理装置２５は、撮影時のカメラの位置ずれが発生していると考え、２枚の画像の位置を合わせる。まず、特徴点探索の代表的手法であるＫＬＴ法を用いて一定数の特徴点抽出を行う。その場合、図１に示す台座３の中心付近に撮影対象である用紙２が置かれると考えられるため、中心付近を避けて特徴点を抽出するものとする。

ＫＬＴ法は、勾配法を利用した手法で、時空間における各画素の輝度勾配の拘束条件から特徴点の探索を行う。すなわち、ある時刻ｔにおける画像上のある点（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ，ｔ）は、微小時間Δｔ後の移動点の輝度Ｉ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ）と変わらないと仮定すると、以下の数３の式が成り立つ。

さらに数３の式から、以下の数４の式が導き出せる。

ここで、ｕ，ｖはｘ，ｙの速度ベクトル、Ｉ_x，Ｉ_yは空間的な輝度勾配、Ｉ_tを時間的な輝度勾配とする。数４に示されるオプティカルフローの拘束方程式と、局所領域においてオプティカルフローは一定であるという条件から特徴点探索を行う。

次に、それらエラーを含む一定多数の特徴点から、ＲＡＮＳＡＣ法により、繰り返し計算を行い、正しい特徴点を選び出す。ＲＡＮＳＡＣ法は、サンプルの中からいくつかをランダムに取り出し、そのサンプルからあるパラメータを計算する。すべてのサンプルに対して、求めたパラメータが適合するかを調べ、適合するサンプルの数が十分大きくなるまで繰り返す。選び出した、正しい特徴点から画像の変換行列を求め、アフィン変換により２つの画像の位置を合わせる。このとき、位置合わせは、最初に撮影した参照画像を変換して、次に撮影した対象画像に合わせる。

（４）差分画像の作成処理
画像処理装置２５は、前記（３）の画像の位置合わせ処理にて、位置が合った２枚の輝度画像を用いて、数５の式に従って各画素の差分をとり、差分画像を作成する。差分画像の例を図５（ｇ），（ｈ）に示す。

（５）２値エッジ画像の作成
画像処理装置２５は、元画像（通常は縮小画像である）からエッジを検出し、そのエッジ部分を強調した２値画像を作成する。２値エッジ画像の作成には、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いる。Ｒｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１，Δ２を取得し、これらを平均化することによって、画像のエッジを検出するものである。ある着目した座標（ｘ，ｙ）の画素値ｆ（ｘ，ｙ）に適用すると、変換後の画素値ｇ（ｘ，ｙ）は、次の数６の式で表される。

このようにして得られたエッジ画像の２値化を行う。このときの２値化の閾値ＴＨは固定的に決めても良いし、可変閾値法などの方法で求めても良い。数６の式で得られたエッジ画像ｇ（ｘ，ｙ）から数７のエッジ２値画像ｈ（ｘ，ｙ）が得られる。

（６）撮影対象の矩形検出
撮影対象の矩形検出とは、撮影画像から矩形の輪郭の抽出を行う処理のことである。本実施形態では、矩形検出処理は、台座３の輪郭検出および用紙２の輪郭検出に用いられる。

画像処理装置２５は、前記（２）の２値エッジ画像作成処理にて撮影画像から２値エッジ画像を作成する。

画像処理装置２５は、生成したエッジ画像に対して、ハフ変換を行い、用紙の輪郭を形成する直線を検出する。

ハフ変換とは、線分を抽出する手法の１つであり、図３（ａ）に示すＸ−Ｙ平面上の直線Ｌを構成する点を、図３（ｂ）に示すρ−θ平面上に投票して、ρ−θ平面上の投票数に変換する変換手法である。すなわち、直線Ｌに原点Ｏから垂線を下ろして、その垂線の長さをρ、ｘ軸とのなす角をθとすると、数８のような式で表される。

各点の座標（ｘ，ｙ）において角度θを０から３６０°まで変化させた場合、同一直線はρ−θ平面では一点で表される。このため、投票数の多いρ−θ座標を直線と判断することができる。この際、投票数は、直線上のピクセル数になるため、直線の長さとみなすことができる。したがって、投票数の極端に少ないρ−θ座標は、短い直線を表し、直線の候補から除外される。

ハフ変換を用いる手法では、調査対象の点、角度θが多くなるに従って、処理速度が低下するため、検出できる角度の精度まで画像を縮小した方が好ましい。この理由から矩形検出に用いる画像は縮小画像が用いられる。これにより、調査対象を減らすことができる。

さらに、以下の方法により調査角度を減らすことができる。

調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの１８０°≦θ＜０°の範囲で負になる。

しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（矩形）の各辺は、上下左右に存在することになる。この場合、ρ−θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、以下の数９で表される範囲で測定した方がより効率的である。

また、ρの値が正の値か負の値かによって、辺の上下、または辺の左右を特定することが可能である。このように、従って、撮影対象の中心が画像の中心近辺に位置する場合、輪郭を構成する辺をより効率的に選択することが可能となる。

ここで、図１のように、台座３に置いた用紙２を撮影する場合に、デジタルカメラ１は用紙２をほぼ真上から撮影することになるので、用紙形状（矩形）の歪は少なくなる。すなわち、撮影対象が用紙である場合には、相対する辺は平行であり、縦横の辺はほぼ直交する。

直線は各辺を形成するため、相対する辺も特定される。この中から直線のθが同一の直線同士を平行とみなすことができる。さらに、直交する別方向の直線のうち、２本の平行線が存在すれば、輪郭の矩形（長方形）が特定される。

これらの矩形（長方形）のそれぞれの面積を求め、その中で最大面積の矩形を用紙２の輪郭として特定する。矩形の面積は上下辺のρをそれぞれ、ρｔ（正値），ρｂ（負値）、また左右の辺のρをρｌ（正値），ρｒ（負値）とすると、面積は数１０で表される。

このようにして、特定された輪郭（４本の直線）から、ρ−θ座標系からＸ−Ｙ座標系に変換して、４つの交点（ｘ₀，ｙ₀），（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），（ｘ₃，ｙ₃）を求める。このような処理にて矩形検出処理を行う。

なお、差分画像の矩形検出を行う場合に、新たに撮影対象として置かれた用紙の下に前の用紙がずれて重なっていると、その前の用紙の輪郭の一部が画像データとして残るため（図５（ｈ）のＬ１参照）、ハフ変換による辺の候補がいくつも抽出される可能性があるが、内側に存在する辺はノイズとして処理し、最も外側の辺（図５（ｈ）のＬ２参照）を新たに撮影対象として置かれた用紙の輪郭辺として検出するものとする。

（７）画像変換処理（切り出し、射影補正）
画像変換処理は、画像の切り出しと射影補正等を含む処理である。切り出し処理は、抽出した矩形の輪郭（４つの頂点）に基づいて、撮影画像から撮影対象である用紙２の画像を切り出す処理である。通常、補正を行わずに切り出した用紙２の画像は歪んだものになる。

射影補正処理は、切り出された画像を射影変換して、当該画像の歪みを補正して正面化する処理である。画像処理装置２５は、この歪みを補正するため、画像の空間変換に幅広く応用されているアフィン変換を用いる。画像処理装置２５は、用紙２の元画像から、射影補正画像とのアフィン変換の関係を示すアフィンパラメータＡを抽出する。そして、このアフィンパラメータＡに基づいて射影補正画像の各画素Ｐ（ｕ，ｖ）に対応する元画像の画素点ｐ（ｘ，ｙ）を求めることによって射影補正処理を行う。

次に、アフィン変換についての基本的な考え方（実現方法）について説明する。
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに、２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（ｕ，ｖ）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（ｘ，ｙ）が次の数１１によって関係付けられることによる。射影変換もこのアフィン変換により行われることができる。

最終的な座標（ｘ，ｙ）は、次の数１２の式によって算出される。

数１２は、射影変換するための式であり、座標（ｘ，ｙ）は、ｚ′の値に従い、０に向かって縮退する。すなわち、ｚ′に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ₁₃，ａ₂₃，ａ₃₃である。また、他のパラメータは、パラメータａ₃₃で正規化されることができるので、ａ₃₃を１としても良い。

図４は矩形状の撮影対象物（用紙２）を撮影した場合での撮影画像上の矩形と実際の撮影対象物の画像との関係について説明するための図である。図中に各頂点の座標を示した。

図４において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１によって得られた撮影画像の３次元座標系である。Ａベクトル（Ａu ，Ａv ，Ａw ）と、Ｂベクトル（Ｂu ，Ｂv ，Ｂw ）とは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。また、Ｓベクトル（Ｓu ，Ｓv ，Ｓw ）は、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図４に示す撮影画像の仮想スクリーンは、デジタルカメラ１で映し出されている画像を仮想的に示したもので、この仮想スクリーンに表示した撮影対象物の画像の射影を行うためのものである。スクリーン上の座標系を（ｘ，ｙ）とすると、このスクリーン上に投影される画像がデジタルカメラ１にて撮影された画像と考えれば良い。

投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物上の任意の点Ｐ（ｕ，ｖ，ｗ）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（ｘ，ｙ）とする。このとき、座標ｐは、射影変換より次の数１３によって表される。

数１３より、図４に示すように４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３と投影スクリーンへの投影点ｐ０，ｐ１，ｐ２，ｐ３との関係から、次の数１４に示す関係が求められる。

このとき、射影係数α，βは次の数１５によって表される。

次に、射影変換について説明する。
撮影対象物上の任意の点Ｐ＝（ｘ，ｙ）は、Ｓ，Ａ，Ｂベクトルを用いて、次の数１６によって表される。

この数１６の式に、数１４の関係式を代入すると、座標ｘと座標ｙとは、次の数１７によって表される。

この関係を、アフィン変換の式（数１１）に当てはめると、座標（ｘ′，ｙ′，ｚ′）は、次の数１８によって表される。

この数１８の式にｍ，ｎを代入することにより、撮影画像の対応点（ｘ，ｙ）が求められる。なお、対応点（ｘ，ｙ）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めれば良い。

前記ｍ，ｎは、予め補正画像ｐ（ｕ，ｖ）を出力する画像サイズ（０≦ｕ＜ｕｍａｘ，０≦ｖ＜ｖｍａｘ）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数１９によって表される。

しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ（ｕ，ｖ）とｍ，ｎの値との関係は、数１３、数１４から、次の数２０によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、前記数２０の式に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（ｕ，ｖ）の画像サイズを（０≦ｕ＜ｕｍａｘ，０≦ｖ＜ｖｍａｘ）であるとすると、次の数２１に従ってｍ，ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。

なお、カメラが固定焦点である場合、レンズの焦点距離ｆの値を予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値はレンズのズーム倍率に応じて変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係を示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、前記数２０、数２１に従って射影変換を行う。

以上から、入力画像ｐ（ｘ，ｙ）から、出力画像Ｐ（ｕ，ｖ）の値を得るためには、まず、４つの頂点（ｘ₀，ｙ₀），（ｘ₁，ｙ₁），（ｘ₂，ｙ₂），（ｘ₃，ｙ₃）から、数１１でα，βを求める。次に数２０でｋの計算を行う。

次に、数２１で出力画像の座標値（ｕ，ｖ）から（ｍ，ｎ）を求め、この（ｍ，ｎ）を数１８に代入し（ｘ′，ｙ′，ｚ′）を求め、数１２から入力画像の対応画素座標（ｘ，ｙ）を得る。このように得られた画素座標は整数でないので、対応座標の画素は近傍の画素から補間などを行って計算を行えば良い。例えば、バイリニア補間法であれば、次の数２２の式で求められる。

（８）画像の圧縮
画像の圧縮処理は、画像データを圧縮する処理である。コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１が接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭやフラッシュメモリなどによって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。なお、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。

操作部２６には、シャッタキー１３の他、電源キー、撮影キー、再生キーなどが含まれる。この操作部２６のキー操作に伴い、当該キーに対応した操作情報が送信される。ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４、画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６から撮影キーが押下された旨の操作情報が送信されると、各部を撮影モードに設定する。ＣＰＵ３０は、撮影モードに設定した状態で、シャッタキー１３が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタキー１３が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、再生キーが押下された旨の操作情報が送信されると、各部を再生モードに設定する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１にプレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えばＪＰＥＧフォーマットで圧縮した画像データを記録する。

ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録する。

次に、図６を参照して具体的な処理の流れについて説明する。
図６は撮影処理の動作を示すフローチャートである。なお、このフローチャートで示される処理は、マイクロコンピュータであるＣＰＵ３０がプログラムコード記憶装置２９に記憶されたプログラムを読み込むことによって実行される。

まず、台座３の上に何も置かれていない状態で、ユーザがデジタルカメラ１のシャッタキー１３を押下して撮影を行う。撮影画像例を図５（ａ）に示す。この場合、台座３だけの画像が撮影されることになる。

ＣＰＵ３０は、光学レンズ装置２１、イメージセンサ２２などを制御してレンズ上に撮像している画像を読み出し、メモリ２３に取り込む（ステップＳ１１）。取り込まれた画像は画像処理部２５に与えられ、縮小画像の作成処理（１）および輝度画像の作成処理（２）により縮小輝度画像が作成される（ステップＳ１２）。このときの縮小輝度画像は、差分画像を作成するための参照画像Ｉｒとしてメモリ２３に保存される（ステップＳ１０３）。輝度画像例を図５（ｄ）に示す。

なお、この縮小輝度画像は、撮影画像のデータ量を減らしておくことで、後段の差分画像の作成処理を効率的に行うために作成されるものであり、必ずしも必要としない。

参照画像Ｉｒの保存後、ＣＰＵ３０は、成功フラグを“０”にセットして次の撮影を待つ（ステップＳ１４）。成功フラグとは、画像補正が成功したか否かを示す識別情報であり、例えばメモリ２３に設けられたフラグ領域に記憶されている。

ここで、台座３の上に１枚目の用紙２ａを置いた状態で、ユーザが再びデジタルカメラ１のシャッタキー１３を押下して撮影を行う。撮影画像例を図５（ｂ）に示す。この場合、台座３上に置かれた用紙２ａの画像が撮影される。

ＣＰＵ３０は、光学レンズ装置２１、イメージセンサ２２などを制御してレンズ上に撮像している画像を読み出し、メモリ２３に取り込む（ステップＳ１５）。取り込まれた画像は画像処理部２５に与えられ、縮小画像の作成処理（１）および輝度画像の作成処理（２）により縮小輝度画像が作成される（ステップＳ１６）。このときの縮小輝度画像は、差分画像を作成するための対象画像Ｉｔとしてメモリ２３に保存される（ステップＳ１７）。輝度画像例を図５（ｅ）に示す。

次に、撮影時にカメラの位置ずれが発生していることを考慮して、画像の位置合わせ処理（３）により、メモリ２３に保存された参照画像Ｉｒと対象画像Ｉｔとの位置合わせが行なわれる（ステップＳ１８）。この位置合わせ後の参照画像Ｉｒと対象画像Ｉｔを用いて、差分画像の作成処理（４）により差分画像Ｉｄが作成され（ステップＳ１９）、さらに、２値エッジ画像の作成処理（５）により２値エッジ画像Ｉｂが作成される（ステップＳ２０）。差分画像例を図５（ｇ）に示す。この場合、台座３上の用紙２ａだけの画像が差分画像Ｉｄとして得られる。

次に、矩形対象検出処理（６）により、この差分画像Ｉｄに対応した２値エッジ画像Ｉｂから矩形領域が検出される（ステップＳ２０）。矩形領域が検出できた場合には（ステップＳ２２のＹｅｓ）、ＣＰＵ３０は、その矩形領域を切り出し候補として撮影プレビュー画像に合わせて液晶モニタ１２上に表示する（ステップＳ２３）。

なお、例えば「枠あり写真」のように、内側に矩形の枠が付いている写真であれば、その写真の輪郭を表す矩形領域だけでなく、その内側にある枠についても矩形領域の一つとして検出される。また、紙面上に矩形状の図面が描かれている用紙であれば、その用紙の輪郭を表す矩形領域だけでなく、その内側に描かれた図面についても矩形領域の一つとして検出されることになる。

ここで、多数の矩形領域が検出された場合には、これらを切り出し候補として表示し、その中の１つをユーザに選択させるものとする。その際、検出された矩形領域のうち、まず、一番外側の矩形領域を第１候補として強調表示する。ユーザはこれを見て、図示せぬカーソルキー等の操作により「選択」または「次候補表示」を選択する。ユーザにより「次候補表示」が選択されると（ステップＳ２５のＹｅｓ）、１つ内側の矩形領域が次候補として強調表示される。

強調表示された矩形領域が選択されると（ステップＳ２４のＹｅｓ）、ＣＰＵ３０は、その矩形領域を撮影対象の輪郭情報として取得し、数２３の式に従って当該矩形領域の頂点座標を元画像の座標系に変換した後、この座標情報と元画像データに基づいて画像変換処理（７）により撮影対象の切り出しと正面化処理を行う（ステップＳ２６）。

正面化処理とは、射影補正のことであり、傾いて撮影された画像の歪みを補正して正面化する処理である。この正面化処理によって画像の歪みを正しく補正できた場合に成功フラグに“１”がセットされる。ＣＰＵ３０は、この補正後の画像を表示装置２４で表示するメモリ領域にコピーして表示させる（ステップＳ２７）。

一方、矩形領域が検出されなかった場合（ステップＳ２２のＮｏ）、または、切り出し候補として適切な矩形領域が存在しなかった場合（ステップＳ２５のＮｏ）、ＣＰＵ３０は、撮影対象の切り出しや正面化処理を行わずに、今回撮影された画像をそのまま表示する（ステップＳ２７）。このときの成功フラグは初期設定時の“０”である。

次に、ＣＰＵ３０は、画像処理装置２３にて当該画像の圧縮処理を行った後（ステップＳ２８）、外部機器ＩＯ装置２８を通じてメモリカード３１に保存する（ステップＳ３２）。その際、成功フラグに応じて保存先を分けて保存する。

すなわち、成功フラグが“１”であれば（ステップＳ２９のＹｅｓ）、ＣＰＵ３０は、保存先に成功フォルダを指定し（ステップＳ３０）、そこに前記ステップＳ２８で圧縮処理された画像データ（補正後の画像）を保存する（ステップＳ３２）。また、成功フラグが“０”であれば（ステップＳ２９のＮｏ）、ＣＰＵ３０は、保存先に失敗フォルダを指定し（ステップＳ３１）、そこに前記ステップＳ２８で圧縮処理された画像データ（補正されていない画像）を保存する（ステップＳ３２）。

なお、前記失敗フォルダに保存された画像については、そのまま使用するか、後にユーザが所定の操作により手動補正を行うものとする。

画像保存後、次の撮影に備えるべく、ＣＰＵ３０は、メモリ２３に現在記憶されている対象画像Ｉｔ（今回の撮影で得られた画像）を新たな参照画像Ｉｒとして保存し直す（ステップＳ３３）。

次に、前回撮影した用紙２ａの上に新たな撮影対象として別の用紙２ｂを重ねて置き、ユーザがシャッタキー１３を押下して撮影を行う。撮影画像例を図５（ｃ）に示す。この場合、台座３上に２枚重ねて置かれた用紙２ａと用紙２ｂの画像が撮影される。

ＣＰＵ３０は、光学レンズ装置２１、イメージセンサ２２などを制御してレンズ上に撮像している画像を読み出し、メモリ２３に取り込む（ステップＳ１５）。取り込まれた画像は画像処理部２５に与えられ、縮小画像の作成処理（１）および輝度画像の作成処理（２）により縮小輝度画像が作成される（ステップＳ１６）。このときの縮小輝度画像は、差分画像を作成するための対象画像Ｉｔとしてメモリ２３に保存される（ステップＳ１７）。輝度画像例を図５（ｆ）に示す。

次に、撮影時にカメラの位置ずれが発生していることを考慮して、画像の位置合わせ処理（３）により、メモリ２３に保存された参照画像Ｉｒと対象画像Ｉｔとの位置合わせが行なわれる（ステップＳ１８）。この位置合わせ後の参照画像Ｉｒと対象画像Ｉｔを用いて、差分画像の作成処理（４）により差分画像Ｉｄが作成され（ステップＳ１９）、さらに、２値エッジ画像の作成処理（５）により２値エッジ画像Ｉｂが作成される（ステップＳ２０）。差分画像例を図５（ｈ）に示す。この場合、直前に置かれた用紙２ａの上に撮影対象として新たに重ねて置かれた用紙２ｂだけの画像が差分画像Ｉｄとして得られる。なお、この時点では、図５（ｈ）のＬ１で示すような用紙２ａの輪郭の一部を構成する辺はノイズとして除去されているものとする。

この正面化処理によって画像を補正できた場合に成功フラグに“１”がセットされる。ＣＰＵ３０は、この補正後の画像を表示装置２４で表示するメモリ領域にコピーして表示させる（ステップＳ２７）。

すなわち、成功フラグが“１”であれば（ステップＳ２９のＹｅｓ）、ＣＰＵ３０は、保存先に成功フォルダを指定し（ステップＳ３０）、そこに前記ステップＳ２８で圧縮処理された画像データ（補正後の画像）を保存する（ステップＳ３２）。また、成功フラグが“０”であれば（ステップＳ２９のＮｏ）、ＣＰＵ３０は、保存先に失敗フォルダを指定し（ステップＳ３１）、そこに前記ステップＳ２８で圧縮処理された画像データ（補正できなかった画像）を保存する（ステップＳ３２）。

以降、新たな撮影対象を置いて撮影を行う度に、ステップＳ１４〜ステップＳ３３までの処理が繰り返され、これらの撮影画像がメモリカード３１の中に順次保存されることになる。

このように、撮影対象を置く前に台座だけを撮影した画像と、その台座の上に撮影対象とする用紙（紙面文書や名刺等）を置いて撮影した画像との差分画像を作成することで、背景をなくした用紙だけの画像を得ることができ、その差分画像から当該用紙の輪郭情報を正しく抽出して、撮影画像の歪みを補正することができる。

さらに、別の用紙を続けて撮影する場合でも、その都度、用紙を置き換えるようなことをしなくとも、その直前に撮影した用紙の上に新たに撮影すべき用紙を重ね置きすれば、直前に撮影した画像を参照画像とした差分画像が作成され、その差分画像から新たに置かれた用紙だけの輪郭情報を正しく抽出することができる。したがって、複数枚の用紙を撮影対象とした場合でも、これらの用紙の置き方などを気にせずに、１枚１枚重ね置きして撮影していくだけで、これらの撮影画像を補正した形でメモリに順次保存して管理することできる。

また、輪郭情報を抽出できずに補正できなかった画像は失敗フォルダに保存されるため、後にその画像を読み出して手動補正すれば、成功フォルダ内の画像と一緒に管理することができる。

なお、前記実施形態では、補正できた画像（成功画像と称す）と補正できなかった画像（失敗画像と称す）とを別々のフォルダに分けて管理したが、例えば成功画像のファイル名の末尾に“Ｓ”、失敗画像のファイル名の末尾に“Ｆ”の識別情報を付加して判別可能なファイル名として同一フォルダに保存、管理することでも良い。

また、前記実施形態では、紙面文書や名刺等の用紙を撮影対象として説明したが、本発明はこれに限るものではなく、用紙以外のものであっても、机の上などに重ね置きしながら撮影できるものであれば、適用可能である。

また、撮影対象の輪郭形状は矩形（四角形）に限らず、様々な形状でも適用可能である。

また、撮影対象を置く場所は、机に限らず、他の場所に置くことでも良い。

また、本発明は、デジタルカメラの他に、例えばカメラ付きの携帯電話機など、撮影機能を備えた電子機器であれば、これらのすべてに適用可能である。

要するに、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

さらに、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の撮影状態を示す図である。図２は同実施形態におけるデジタルカメラの回路構成を示すブロック図である。図３は同実施形態におけるハフ変換による線分の抽出方法を説明するための図である。図４は同実施形態における矩形状の撮影対象物を撮影した場合での撮影画像上の矩形と実際の撮影対象物の画像との関係について説明するための図である。図５は同実施形態におけるデジタルカメラの撮影処理を説明するための具体例を示す図である。図６は同実施形態におけるデジタルカメラの撮影処理の動作を示すフローチャートである。

符号の説明

１…デジタルカメラ、２…用紙、３…台座、１１…撮影レンズ部、１２…液晶モニタ、１３…シャッタキー、２１…光学レンズ装置、２２…イメージセンサ、２３…メモリ、２４…表示装置、２５…画像処理装置、２６…操作部、２７…コンピュータインタフェース部、２８…外部記憶ＩＯ装置、２９…プログラムコード記憶装置、３０…ＣＰＵ、３１…メモリカード。

Claims

任意の場所に撮影対象を置いて撮影した画像を取得する画像取得手段と、
この画像取得手段によって得られた撮影画像と前記撮影対象を置く前に撮影した画像との差分画像を作成する差分画像作成手段と、
この差分画像作成手段によって作成された差分画像から前記撮影対象の輪郭情報を抽出する輪郭抽出手段と、
この輪郭抽出手段によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを補正する画像処理手段と
を具備したことを特徴とする撮像装置。
任意の場所に複数の撮影対象を重ね置きしながら連続的に撮影した画像を順次取得する画像取得手段と、
この画像取得手段によって順次得られる各撮影画像毎にその直前の撮影画像との差分画像を順次作成する差分画像作成手段と、
この差分画像作成手段によって順次作成される差分画像から新たに置かれた撮影対象の輪郭情報を順次抽出する輪郭抽出手段と、
この輪郭抽出手段によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを順次補正する画像処理手段と
を具備したことを特徴とする撮像装置。
前記画像処理手段によって処理された撮影画像を所定の形式で保存する保存手段を具備したことを特徴とする請求項１または２記載の撮像装置。
前記保存手段は、前記画像処理手段によって補正できた撮影画像と補正できなかった撮影画像とを別々のフォルダに保存することを特徴とする請求項３記載の撮像装置。
前記保存手段は、前記画像処理手段によって補正できた撮影画像と補正できなかった撮影画像に個別の識別情報を付して同一のフォルダに保存することを特徴とする請求項３記載の撮像装置。
任意の場所に撮影対象を置いて撮影した画像を取得する画像取得ステップと、
この画像取得ステップによって得られた撮影画像と前記撮影対象を置く前に撮影した画像との差分画像を作成する差分画像作成ステップと、
この差分画像作成ステップによって作成された差分画像から前記撮影対象の輪郭情報を抽出する輪郭抽出ステップと、
この輪郭抽出ステップによって抽出された輪郭情報に基づいて、当該撮影画像の歪みを補正する画像処理ステップと
を有することを特徴とする画像処理方法。
任意の場所に複数の撮影対象を重ね置きしながら連続的に撮影した画像を順次取得する画像取得ステップと、
この画像取得手段によって順次得られる各撮影画像毎にその直前の撮影画像との差分画像を順次作成する差分画像作成ステップと、
この差分画像作成手段によって順次作成される差分画像から新たに置かれた撮影対象の輪郭情報を順次抽出する輪郭抽出ステップと、
この輪郭抽出手段によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを順次補正する画像処理ステップと
を有することを特徴とする画像処理方法。
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
任意の場所に撮影対象を置いて撮影した画像を取得する画像取得機能と、
この画像取得機能によって得られた撮影画像と前記撮影対象を置く前に撮影した画像との差分画像を作成する差分画像作成機能と、
この差分画像作成機能によって作成された差分画像から前記撮影対象の輪郭情報を抽出する輪郭抽出機能と、
この輪郭抽出機能によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを補正する画像処理機能と
を実現させるためのプログラム。
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
任意の場所に複数の撮影対象を重ね置きしながら連続的に撮影した画像を順次取得する画像取得機能と、
この画像取得手段によって順次得られる各撮影画像毎にその直前の撮影画像との差分画像を順次作成する差分画像作成機能と、
この差分画像作成手段によって順次作成される差分画像から新たに置かれた撮影対象の輪郭情報を順次抽出する輪郭抽出機能と、
この輪郭抽出手段によって抽出された輪郭情報に基づいて、当該撮影画像の歪みを順次補正する画像処理機能と
を実現させるためのプログラム。