JP4803315B2 - 画像処理装置及びコンピュータプログラム - Google Patents

Description

本発明は、被写体の輪郭を含む矩形領域を抽出する画像処理装置及びコンピュータプログラムに関する。

従来より、撮影画像中に含まれる被写体画像に対して座標変換等の画像処理を実行可能にするために、被写体の輪郭を含む矩形領域を抽出する輪郭矩形抽出機能を備える撮像装置が知られている。このような撮像装置は、ハフ変換を利用して被写体の輪郭を示すエッジ画像から被写体の輪郭を構成する複数の直線を検出し、検出された複数の直線の中から矩形領域を形成する直線を特定することにより、矩形領域を抽出する（特許文献１参照）。

特開２００５−２６７４５７号公報

従来の撮像装置は、直線上に存在するエッジ画像の画素数を検出された複数の直線毎に算出し、算出された画素数が多い直線の順に基づいて矩形領域を形成する直線を特定する。しかしながらこのような構成によれば、抽出する矩形領域の大きさが明らかでない場合や１つの画像内に複数の被写体画像が存在する場合には、不適格な矩形領域が抽出されることがある。

本発明は、上記課題を解決するためになされたものであり、その目的は、抽出された輪郭矩形の確からしさをユーザに提示可能な画像処理装置及びコンピュータプログラムを提供することにある。

本発明に係る画像処理装置は、画像から縦方向と横方向の線分を検出する線分検出手段と、線分検出手段により検出された縦方向と横方向の線分の中で線分間の距離が所定値以上、且つ、一方の線分の長さに対する他方の線分の比率が所定範囲内にある線分の組から矩形領域を構成する縦方向と横方向の対辺候補を作成する対辺候補作成手段と、対辺候補作成手段により作成された縦方向の対辺候補と横方向の対辺候補の組み合わせを複数作成し、各組み合わせについて縦方向の対辺候補と横方向の対辺候補の交点を頂点とする矩形領域を矩形候補として作成する矩形候補作成手段と、矩形候補作成手段により作成された矩形候補と縦方向及び横方向の対辺候補との整合性に基づいて各矩形候補の確からしさを算出する採点手段とを備える。

本発明に係るコンピュータプログラムは、画像から縦方向と横方向の線分を検出する線分検出処理と、線分検出処理により検出された縦方向と横方向の線分の中で線分間の距離が所定値以上、且つ、一方の線分の長さに対する他方の線分の比率が所定範囲内にある線分の組から矩形領域を構成する縦方向と横方向の対辺候補を作成する対辺候補作成処理と、対辺候補作成処理により作成された縦方向の対辺候補と横方向の対辺候補の組み合わせを複数作成し、各組み合わせについて縦方向の対辺候補と横方向の対辺候補の交点を頂点とする矩形領域を矩形候補として作成する矩形候補作成処理と、矩形候補作成処理により作成された矩形候補と縦方向及び横方向の対辺候補との整合性に基づいて各矩形候補の確からしさを算出する採点処理とをコンピュータに実行させる。

本発明に係る画像処理装置及びコンピュータプログラムによれば、抽出された輪郭矩形の確からしさをユーザに提示することができる。

本発明の一実施形態となるデジタルスチルカメラの構成を示し斜視図であり、（ａ）は主に前面の構成、（ｂ）は主に背面の構成を示す斜視図である。 図１に示すデジタルスチルカメラの制御系の構成を示すブロック図である。 本発明の実施形態となる輪郭矩形抽出処理の流れを示すフローチャート図である。 図３のステップＳ５の処理により抽出されるエッジ画像の一例を示す図である。 図３のステップＳ５のエッジ画像抽出処理において用いられるソーベルフィルタの構成を説明するための図である。 図３のステップＳ６の細線・二値化処理後のエッジ画像の一例を示す図である。 図３のステップＳ７のラベリング処理により得られた線分情報の一例を示す図である。 図３のステップＳ８の線分分割処理を説明するための概念図である。 図３のステップＳ９の線分接続処理を説明するための概念図である。 図３のステップＳ１０のペアリング処理により得られた横方向及び縦方向の対辺候補の一例を示す図である。 図１０に示す横方向及び縦方向の対辺候補の組み合わせの一例を示す図である。 図１１に示す横方向及び縦方向の対辺候補の組み合わせから得られた矩形候補の一例を示す図である。 図３に示すステップＳ１２のスコアリング処理を説明するための図である。 図３に示すステップＳ１２の処理により算出された点数順に表示された矩形候補の一例を示す図である。 ユーザの操作に応じて表示される矩形候補が点数順に遷移する様子を示す図である。 撮影画像中に被写体が複数含まれる場合の矩形候補の表示例を示す図である。 表示された矩形候補に基づいて被写体画像に対し画像処理を行う際の処理の流れを示す図である。

以下、本発明の一実施形態となるデジタルスチルカメラの構成について詳しく説明する。

〔全体構成〕
始めに、図１（ａ），（ｂ）を参照して、本発明の一実施形態となるデジタルスチルカメラ１の全体構成について説明する。

本発明の一実施形態となるデジタルスチルカメラ１は、図１（ａ）に示すように、略矩形形状の薄板状本体（以下、本体と略記）２の前面に撮影レンズ３，セルフタイマランプ４，ファインダ窓５，ストロボ発光部６，及びマイクロホン部７を備える。本体２上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９が設けられている。撮影レンズ３は、焦点距離を無段階に変化させるズーム機能及びＡＦ（AutoFocus）機能を有し、電源オフ時及び再生モード時は本体２内部に沈胴する。電源キー８は電源のオン／オフ毎に操作するキーであり、シャッタキー９は撮影モード時に撮影タイミングを指示する。

本体２の背面には、図１（ｂ）に示すように、撮影モード（Ｒ）キー１０，再生モード（Ｐ）キー１１，電子ビューファインダ（ＥＶＦ）１２，スピーカ部１３，マクロキー１４，ストロボキー１５，メニュー（ＭＥＮＵ）キー１６，リングキー１７，セット（ＳＥＴ）キー１８，及び液晶表示部１９が設けられている。撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方、電源オンの状態から繰返し操作することで静止画と動画の撮影モードを循環的に設定する。本実施形態では、静止画の撮影モードには、所定の露光時間で通常の撮影動作を行う一枚撮影モードと、一枚撮影モードよりも短い露光時間で被写体を連続的に撮影し、複数の画像フレームを合成して一枚の画像を生成する連写撮影モードとが含まれる。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。ＥＶＦ１２は、液晶画面を使用した接眼型のファインダであり、撮影モード時にはスルー画像を液晶画面に表示する一方、再生モード時には選択された画像等を再生表示する。マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切り換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

液晶表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時にはスルー画像のモニタ表示を行う一方、再生モード時には選択した画像等を再生表示する。図示しないが、デジタルスチルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとしてＵＳＢ（Universal Serial Bus）コネクタ等が設けられている。

〔撮像系及び制御系の構成〕
次に、図２，図３を参照して、本発明の一実施形態となるデジタルスチルカメラ１の撮像系及び制御系の構成について説明する。

本発明の一実施形態となるデジタルスチルカメラ１では、撮影モードの際、モータ（Ｍ）３１の駆動により合焦位置や絞り位置が移動される、撮影レンズ３を構成するレンズ光学系３２の撮影光軸後方に配置された撮像素子であるＣＣＤ３３が、タイミング発生器（ＴＧ）３４と垂直ドライバ３５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。この光電変換出力は、アナログ形態の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後にサンプルホールド回路（Ｓ／Ｈ）３６でサンプルホールドされ、Ａ／Ｄ変換器３７でデジタルデータに変換され、カラープロセス回路３８で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれてデジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ３９に出力される。

ＤＭＡコントローラ３９は、カラープロセス回路３８が出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路３８からの複合同期信号，メモリ書込みイネーブル信号，及びクロック信号を用いて一度ＤＭＡコントローラ３９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）４０を介してバッファメモリとして使用されるＤＲＡＭ４１にＤＭＡ転送する。制御部４２は、ＣＰＵ，ＣＰＵで実行されるコンピュータプログラムを固定的に記憶したＲＯＭ，及びワークメモリとして使用されるＲＡＭ等により構成され、デジタルスチルカメラ１全体の動作を制御する。

制御部４２は、ＤＲＡＭ４１への輝度及び色差信号のＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース４０を介してＤＲＡＭ４１より読出し、ＶＲＡＭコントローラ４３を介してＶＲＡＭ４４に書込む。デジタルビデオエンコーダ４５は、上記輝度及び色差信号をＶＲＡＭコントローラ４３を介してＶＲＡＭ４４より定期的に読出し、これらのデータを元にビデオ信号を発生してＥＶＦ１２と液晶表示部１９に出力する。ＥＶＦ１２と液晶表示部１９は、デジタルビデオエンコーダ４５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ４３から取込んでいる画像情報に基づく画像をリアルタイムに表示する。

このようにＥＶＦ１２と液晶表示部１９にはその時点での画像がモニタ画像としてリアルタイムに表示される、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでシャッタキー９を操作するとトリガ信号を発生する。制御部４２は、このトリガ信号に応じてその時点でＣＣＤ３３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ４１へのＤＭＡ転送を取り止め、改めて適正な露出条件に従った絞り値及びシャッタ速度でＣＣＤ３３を駆動して１画面分の輝度及び色差信号を得てＤＲＡＭ４１へ転送し、その後にこの経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部４２がＤＲＡＭ４１に書込まれている輝度及び色差信号をＤＲＡＭインタフェース４０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に読出して画像処理部４７に書込み、この画像処理部４７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換），エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして、得た符号データを画像処理部４７から読出し、デジタルスチルカメラ１の記録媒体として着脱自在に装着されるメモリカード４８又はデジタルスチルカメラ１に固定的に内蔵される内蔵メモリ（図示せず）のいずれか一方に書込む。そして、輝度及び色差信号の圧縮処理及びメモリカード４８又は内蔵メモリへの全圧縮データの書込み終了に伴なって、制御部４２はＣＣＤ３３からＤＲＡＭ４１への経路を再び起動する。

制御部４２には、キー入力部４９，音声処理部５０、及びストロボ駆動部５１が接続される。キー入力部４９は、上述した電源キー８，シャッタキー９，撮影モードキー１０，再生モードキー１１，マクロキー１４，ストロボキー１５，メニューキー１６，リングキー１７，セットキー１８等から構成され、それらのキー操作に伴なう信号は直接制御部４２へ送出される。音声処理部５０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 audio layer 3）規格にしたがってデータ圧縮して音声データファイルを作成してメモリカード４８又は内蔵メモリへ送出する一方、音声の再生時にはメモリカード４８又は内蔵メモリから送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部（ＳＰ）１３を駆動して、拡声放音させる。ストロボ駆動部５１は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部４２からの制御に基づいてストロボ発光部６を閃光駆動する。

〔輪郭矩形抽出処理〕
このような構成を有するデジタルスチルカメラ１は、以下に示す輪郭矩形抽出処理を実行することにより、被写体の輪郭を含む矩形領域を抽出する。以下、図３に示すフローチャートを参照して、この輪郭矩形抽出処理を実行する際のデジタルスチルカメラ１の動作について説明する。

ユーザが、リングキー１７及びセットキー１８を操作することにより、シーン別撮影モードの中から「名刺や書類を写します」「ホワイトボードなどを写します」といったモードを選択し、撮影を行う。これらのモードは被写体の正面化補正を行うものであり、このようなモードで撮影された画像が画像処理部４７に取り込まれ、輪郭矩形抽出処理の実行が可能となったタイミングで図３に示すフローチャートが開始となり、輪郭矩形抽出処理はステップＳ１の処理に進む。なお以下に示すデジタルスチルカメラ１の動作は、制御部４２内のＣＰＵがＲＯＭに記憶されているコンピュータプログラムをＲＡＭにロードし、ＲＡＭにロードされたコンピュータプログラムを実行することにより実現される。

ステップＳ１の処理では、画像処理部４７が、入力された撮影画像に対し歪曲収差の補正処理を実行することにより、レンズ光学系３２のレンズ特性により歪曲した撮影画像を補正する。これにより、ステップＳ１の処理は完了し、輪郭矩形抽出処理はステップＳ２の処理に進む。

ステップＳ２の処理では、画像処理部４７が、歪曲収差が補正された後の撮影画像の大きさ（画像サイズ）を所定の大きさに縮小する。具体的には、画像処理部４７は、歪曲収差が補正された後の撮影画像の大きさを算出し、算出された大きさに基づいて撮影画像の大きさが（縦）×（横）：３２０×２４０（画素）の大きさになるように撮影画像の縦方向及び横方向の長さを縮小する。これにより、ステップＳ２の処理は完了し、輪郭矩形抽出処理はステップＳ３の処理に進む。

ステップＳ３の処理では、画像処理部４７が、撮影画像の色情報の表示形式をビットマップ形式からＹＵＶ（Ｙ：輝度信号，Ｕ：輝度信号と青色成分の差，Ｖ：輝度信号と赤色成分の差）形式に変換する。これにより、ステップＳ３の処理は完了し、輪郭矩形抽出処理はステップＳ４の処理に進む。

ステップＳ４の処理では、画像処理部４７が、撮影画像の画像データをメディアン（中央値，Median）フィルタにかけることにより撮影画像の画像データからノイズ成分を除去する。本実施形態におけるメディアンフィルタとは、３×３（画素）の局所領域における画素値を小さい順に並べ、中央に位置する画素値を領域中央の画素の画素値とするものである。これにより、ステップＳ４の処理は完了し、輪郭矩形抽出処理はステップＳ５の処理に進む。

ステップＳ５の処理では、画像処理部４７が、図４（ａ）〜（ｃ）に示すように、ノイズ成分が除去された画像データから縦（垂直，ｘ）方向及び横（水平，ｙ）方向それぞれのエッジ画像を抽出する。本実施形態では、画像処理部４７は、図５に示すような空間１次微分を計算して輪郭を検出するソーベル（Sobel）フィルタを用いて縦（垂直）方向及び横（水平）方向それぞれのエッジ画像を抽出する。これにより、ステップＳ５の処理は完了し、輪郭矩形抽出処理はステップＳ６の処理に進む。

ステップＳ６の処理では、画像処理部４７が、図６（ａ），（ｂ）に示すように、ステップＳ５の処理により抽出された縦方向及び横方向のエッジ画像それぞれに対し細線及び二値化処理を施す。具体的には、画像処理部４７は、縦方向のエッジ画像を構成する画素のうち、条件｛座標位置ｘ−１の画素値＜座標位置ｘの画素値≧座標位置ｘ＋１の画素値｝を満たす座標位置ｘの画素を検出する。また同様に、画像処理部４７は、横方向のエッジ画像を構成する画素のうち、条件｛座標位置ｙ−１の画素値＜座標位置ｙの画素値≧座標位置ｙ＋１の画素値｝を満たす座標位置ｙの画素を検出する。そして画像処理部４７は、エッジ画像を構成する画素のうち、抽出された座標位置ｘ，ｙの画素値を２５５、それ以外の座標位置の画素値を０に設定する。これにより、ステップＳ６の処理は完了し、輪郭矩形抽出処理はステップＳ７の処理に進む。

ステップＳ７の処理では、画像処理部４７が、縦方向及び横方向のエッジ画像それぞれに対してラベリング処理を行うことにより、図７（ａ），（ｂ）に示すような被写体の輪郭を形成する縦方向及び横方向の線分情報を作成する。本実施形態では、画像処理部４７は、横方向のエッジ画像に対しては、ｘ＝０の座標位置から、ｙ方向に隣接する画素も参照しながら、ｘ方向にスキャンすることによりエッジ画像を構成する画素を検出する。そして画素が検出された場合、画像処理部４７は、検出された画素の画素値が２５５、且つ、他の画素と連結されているか否かを判別し、画素値が２５５、且つ、他の画素と連結されていない場合、検出された画素を含む線分のトレースをｘ方向に開始する。具体的には、画像処理部４７は、トレース開始位置の座標（ｘ，ｙ）の右横に位置する３点（ｘ＋１，ｙ−１），（ｘ＋１，ｙ），（ｘ＋１，ｙ＋１）についてトレースを実行する。

そして画像処理部４７は、以下に示す３つの条件のうち、いずれか１つの条件が満足された場合、その線分に固有番号を付与（ラベリング）してトレースを終了し、トレースを継続する場合には検出された画素があったｘ座標位置を次のトレース開始位置に設定する。

条件１：３点のうち、少なくとも１点が既にラベリングされている。

条件２：３点のうち、２点以上がエッジ画像を構成する画素である。

条件３：トレース中にエッジ画像を構成する画素が３点の中に２回検出されなかった。

一方、縦方向のエッジ画像に対しては、画像処理部４７は、ｙ＝０の座標位置からｘ方向にスキャンすることによりエッジ画像を構成する画素を検出し、縦方向のエッジ画像に対して行った処理と同様の処理を行う。そして画像処理部４７は、トレースによりラベリングされた各線分の始点及び終点の座標，傾き（始点と終点から求められたもの），線分を構成する各点の線分の傾きに対する誤差（縦線であればｘ方向，横線であればｙ方向のずれ）の平均，及び誤差が最大になる座標位置とその値を線分情報として算出する。これにより、ステップＳ７の処理は完了し、輪郭矩形抽出処理はステップＳ８の処理に進む。

ステップＳ８の処理では、画像処理部４７が、ステップＳ７の処理により作成された線分情報を参照して、線分の傾きに対する誤差の最大値が所定値以上である点を含む線分があるか否かを判別し、誤差の最大値が所定値以上である点を含む線分がある場合、図８に示すようにその点（図８に示す例では点Ｐ）において線分を２つに分割する。なお分割点は、分割後に長さが短くなる線分の方に加えられる。また画像処理部４７は、線分の長さが第１閾値以上である場合や分割後の線分の長さが第２閾値以下になる場合には線分を分割しない。そして画像処理部４７は、分割された線分があった場合には線分情報を更新する。これにより、ステップＳ８の処理は完了し、輪郭矩形抽出処理はステップＳ９の処理に進む。

ステップＳ９の処理では、画像処理部４７が、ステップＳ８の処理により更新された線分情報を参照して、長さが所定値以上の線分を長い順に接続元線分として所定数抽出し、図９に示すように以下の３つの条件を満たす線分（接続先線分）に接続元線分を接続する。そして画像処理部４７は、接続先線分と接続元線分を接続した後、接続先線分と接続元線分を接続することにより形成された線分の始点と終点の座標位置を最小二乗法により算出する。これにより、ステップＳ９の処理は完了し、輪郭矩形抽出処理はステップＳ１０の処理に進む。

条件１：接続元線分と接続先線分が所定値以上離れていない。

条件２：接続元線分が接続先線分に完全に含まれない。

条件３：接続元線分の始点又は終点を接続先線分まで伸ばした際に伸ばした部分と接続元線分の始点及び終点の位置との誤差が所定値未満である。

ステップＳ１０の処理では、画像処理部４７が、図１０に示すように、ステップＳ８及びステップＳ９の分割処理及び接続処理が施された縦方向及び横方向それぞれの線分から矩形の対辺候補を作成する（図１０に示す例では、横方向の対辺候補を線分Ｈ１と線分Ｈ２のペア，縦方向の対辺候補を線分Ｖ１と線分Ｖ２のペアとして示している）。具体的には、画像処理部４７は、線分間の距離が所定値以上、且つ、一方の線分の長さに対する他方の線分の比率が所定の範囲内（例えば、１／３〜３倍）にある線分のペアを縦方向及び横方向それぞれについて対辺候補として複数作成する。これにより、ステップＳ１０の処理は完了し、輪郭矩形抽出処理はステップＳ１１の処理に進む。

ステップＳ１１の処理では、画像処理部４７が、図１１に示すように、ステップＳ１０の処理により作成された縦方向及び横方向それぞれの対辺候補の組み合わせを作成する。そして画像処理部４７は、各組み合わせについて、対辺候補の４つの交点を算出する。この際、画像処理部４７は、線分の傾き情報だけを用い、線分の延長上に交点があればよいとする。つまり検出された交点上で実際には線分が交叉していない場合も含まれる。そして画像処理部４７は、算出された４つの交点を頂点とする図１２に示すような矩形候補Ｓを複数作成する。これにより、ステップＳ１１の処理は完了し、輪郭矩形抽出処理はステップＳ１２の処理に進む。

ステップＳ１２の処理では、画像処理部４７が、ステップＳ１１の処理により作成された矩形候補Ｓの外周の長さ算出する。外周の長さは、矩形候補Ｓを構成する４つの頂点間の距離を足し合わせることにより算出することができる。また画像処理部４７は、図１３に示すように、矩形候補Ｓの外周上に位置する縦方向及び横方向の線分Ｌの長さを算出する。そして画像処理部４７は、以下に示す数式１を用いて、矩形候補Ｓの外周の長さに対する矩形候補Ｓの外周上に位置する線分Ｌの長さの割合を各矩形候補Ｓの点数（矩形領域の確からしさ）として算出する（スコアリング処理）。数式１中、Ｐ係数は、矩形候補Ｓを構成する４つの頂点を超えた線分（例えば図１３に示す領域Ｒ１，Ｒ２，矩形候補Ｓの外周部を超えて延出している線分）がある場合に矩形候補Ｓの点数を減点するためのペナルティ係数を意味し、例えば線分が４つの頂点を超えた箇所が０箇所であれば１．０、１箇所であれば０．８、２箇所であれば０．６４等のように設定される。なおペナルティ係数は、上記例に限定されることはなく、例えば被写体が定型であり、縦と横の比率が予め判っている場合は、その比率から外れている程、ペナルティ係数の値を重く（１以下にする）したり、被写体の外周の長さが判っている場合は、その外周との誤差が大きくなる程、ペナルティ係数の値を重く（１以下にする）したりする等、種々の応用が可能である。これにより、ステップＳ１２の処理は完了し、輪郭矩形抽出処理はステップＳ１３の処理に進む。

ステップＳ１３の処理では、画像処理部４７が、図１４（ａ）〜（ｄ）に示すように、ステップＳ１２の処理により算出された点数が高い順、すなわち確からしさが高い順に矩形候補Ｓ１〜Ｓ４を撮影画像に重ね合わせて液晶表示部１９に表示する。具体的には、画像処理部４７は、図１５に示すように、ユーザがリングキー１７を操作するのに合わせて確からしさが高い順に矩形候補Ｓ１〜Ｓ４を巡回的に液晶表示部１９に表示する。なお図１５に示す例では、確からしさが高い順に矩形候補を液晶表示部１９に表示したが、点数に応じて矩形候補を色分けして液晶表示部１９に同時に表示するようにしてもよい。

また撮影画像内の複数の被写体がある場合、複数の矩形候補についての選択を行うかどうかをユーザが選択できるようにしておくとよい。複数補正モードがＯＦＦの場合、画像処理部４７は、例えば図１６に示すように、ユーザがリングキー１７を操作するのに合わせて確からしさが高い順に矩形候補を巡回的に液晶表示部１９に表示し、ユーザにより選択された矩形候補に基づいて座標変換等の画像処理を行った後に、輪郭矩形抽出処理を完了する。複数補正モードがＯＮの場合、画像処理部４７は、例えば図１７に示すように、ユーザがリングキー１７を操作するのに合わせて確からしさが高い順に矩形候補を巡回的に液晶表示部１９に表示し、ユーザにより選択された矩形候補に基づいて座標変換等の画像処理を行った後、ユーザにより選択されなかった矩形候補を選択可能にしてさらなる画像処理を行えるようにする。これにより、ユーザは複数の被写体に対して順次正しい矩形光をを選択して画像補整をすることが可能となる。以上でステップＳ１３の処理は完了し、一連の輪郭矩形抽出処理は終了する。

以上の説明から明らかなように、本発明の実施形態となる輪郭矩形抽出処理によれば、画像処理部４７が、撮影画像から縦方向と横方向の線分情報を検出し、検出された縦方向と横方向の線分情報から矩形領域を構成する縦方向と横方向の対辺候補を作成する。また画像処理部４７は、縦方向の対辺候補と横方向の対辺候補の組み合わせを複数作成し、各組み合わせについて縦方向の対辺候補と横方向の対辺候補の交点を頂点とする矩形領域を矩形候補Ｓとして作成する。そして画像処理部４７は、矩形候補Ｓの外周の長さに対する矩形候補Ｓの外周上に位置する線分Ｌの長さの割合を各矩形候補Ｓの点数として算出し、算出結果に従って撮影画像と共に矩形候補Ｓを表示する。従って、このような輪郭矩形抽出処理によれば、抽出された矩形候補Ｓの確からしさをユーザに提示することができる。

以上、本発明の有用な実施形態としてカメラに搭載した形態を説明したが、撮像部分を持たない画像処理装置に本発明を適用することも可能である。即ち、外部の撮像装置で撮像された画像をメモリカード、ＵＳＢケーブルなどによって取り込み、上記実施形態に示した一連の輪郭矩形抽出処理を行うようにしても良い。また、上記実施形態では矩形候補を採点の高い順に提示し、ユーザに選ばせた後に座標変換による補正を行ったが、矩形候補を採点の高いものから座標変換により補正していき、その補正結果を順次提示して、最も好ましいものをユーザに選択するようにしても良い。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明は、被写体の輪郭を含む矩形領域を抽出する撮像装置に適用することができる。

１：デジタルスチルカメラ
２：本体
４２：制御部
４７：画像処理部

Claims (6)

1. 画像から縦方向と横方向の線分を検出する線分検出手段と、
   前記線分検出手段により検出された縦方向と横方向の線分の中で線分間の距離が所定値以上、且つ、一方の線分の長さに対する他方の線分の比率が所定範囲内にある線分の組から矩形領域を構成する縦方向と横方向の対辺候補を作成する対辺候補作成手段と、
   前記対辺候補作成手段により作成された縦方向の対辺候補と横方向の対辺候補の組み合わせを複数作成し、各組み合わせについて縦方向の対辺候補と横方向の対辺候補の交点を頂点とする矩形領域を矩形候補として作成する矩形候補作成手段と、
   前記矩形候補作成手段により作成された矩形候補と縦方向及び横方向の対辺候補との整合性に基づいて各矩形候補の確からしさを算出する採点手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記採点手段の算出結果に従って撮影画像と共に矩形候補を表示する表示制御手段を更に備えることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記表示制御手段は、前記採点手段により算出された確からしさが高い順に前記矩形候補を表示することを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記表示制御手段は、前記採点手段により算出された確からしさに基づいて複数の矩形候補を色分けして表示することを特徴とする画像処理装置。
5. 請求項１乃至請求項４のうち、いずれか１項に記載の画像処理装置において、
   撮像手段を更に備え、
   前記画像は前記撮像手段により撮像された画像であることを特徴とする画像処理装置。
6. 画像から縦方向と横方向の線分を検出する線分検出処理と、
   前記線分検出処理により検出された縦方向と横方向の線分の中で線分間の距離が所定値以上、且つ、一方の線分の長さに対する他方の線分の比率が所定範囲内にある線分の組から矩形領域を構成する縦方向と横方向の対辺候補を作成する対辺候補作成処理と、
   前記対辺候補作成処理により作成された縦方向の対辺候補と横方向の対辺候補の組み合わせを複数作成し、各組み合わせについて縦方向の対辺候補と横方向の対辺候補の交点を頂点とする矩形領域を矩形候補として作成する矩形候補作成処理と、
   前記矩形候補作成処理により作成された矩形候補と縦方向及び横方向の対辺候補との整合性に基づいて各矩形候補の確からしさを算出する採点処理と
   をコンピュータに実行させることを特徴とするコンピュータプログラム。