JP4835713B2

JP4835713B2 - 画像処理装置及びコンピュータプログラム

Info

Publication number: JP4835713B2
Application number: JP2009072298A
Authority: JP
Inventors: 雅一吉井; 量平山本
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-03-24
Filing date: 2009-03-24
Publication date: 2011-12-14
Anticipated expiration: 2029-03-24
Also published as: JP2010224934A

Description

本発明は、被写体の輪郭を含む四角形領域を抽出して矩形に補正する画像処理装置及びコンピュータプログラムに関する。

従来より、撮影画像中に含まれる被写体画像に対し座標変換等の画像処理を実行可能にするために、被写体の輪郭を含む四角形領域を抽出する輪郭四角形抽出機能を備える撮像装置が知られている。このような撮像装置は、ハフ変換を利用して被写体の輪郭を示すエッジ画像から被写体の輪郭を構成する複数の直線を検出し、検出された複数の直線の中から四角形領域を形成する直線を特定することにより、四角形領域を抽出する（特許文献１参照）。

特開２００５−２６７４５７号公報

従来の撮像装置は、撮影画像中に被写体画像が複数含まれる場合、四角形領域の大きさ等の評価値が高い順に複数の四角形領域の候補（以下、矩形候補と略記）を表示画面上に表示し、ユーザは、表示画面上に表示された複数の矩形候補の中から画像処理の際に利用する矩形候補を選択する。しかしながらこのような従来の撮像装置の構成によれば、異なる被写体画像間で矩形候補の表示が頻繁に切り替わったり、既に矩形候補が選択された被写体画像に関する別の矩形候補が表示されたりして、ユーザが矩形候補を快適に選択することができなかった。

本発明は、上記課題を解決するためになされたものであり、その目的は、矩形候補が複数存在する場合であってもユーザが所望の矩形候補を快適に選択可能な画像処理装置及びコンピュータプログラムを提供することにある。

本発明に係わる画像処理装置は、画像から複数の四角形領域を矩形候補として作成する矩形候補作成手段と、前記矩形候補作成手段により作成された複数の矩形候補を四角形領域の重心座標と大きさに基づいてグループ分けするグループ分け手段と、前記画像上に矩形候補を重畳表示する表示手段と、前記表示手段により表示された矩形候補の中から所望の矩形候補をユーザに選択させるための第１操作方向と第２操作方向を有する第１操作手段と、前記第１操作手段が前記第１操作方向に操作された場合、現在選択表示されている矩形候補が属するグループの他の矩形候補を順に選択表示し、前記第１操作手段が前記第２操作方向に操作された場合には、現在選択表示されている矩形候補が属するグループとは異なるグループに属する矩形候補を選択表示する表示制御手段とを備える。

本発明に係わるコンピュータプログラムは画像処理装置は、画像を表示する表示手段と、前記表示手段により表示された矩形候補の中から所望の矩形候補をユーザに選択させるための第１操作方向と第２操作方向を有する第１操作手段とを有する画像処理装置のコンピュータに、前記画像から複数の四角形領域を矩形候補として作成する矩形候補作成処理と、前記矩形候補作成処理により作成された複数の矩形候補を四角形領域の重心座標と大きさに基づいてグループ分けするグループ分け処理と、前記画像上に矩形候補を重畳表示する表示処理と、前記第１操作手段が前記第１操作方向に操作された場合、現在選択表示されている矩形候補が属するグループの他の矩形候補を順に選択表示し、前記第１操作手段が前記第２操作方向に操作された場合には、現在選択表示されている矩形候補が属するグループとは異なるグループに属する矩形候補を選択表示する表示制御処理とをコンピュータに実行させる。

本発明に係る画像処理装置及びコンピュータプログラムによれば、矩形候補が複数存在する場合であってもユーザは所望の四角形領域を快適に選択することができる。

本発明の一実施形態となるデジタルスチルカメラの構成を示し斜視図であり、（ａ）は主に前面の構成、（ｂ）は主に背面の構成を示す斜視図である。図１に示すデジタルスチルカメラの制御系の構成を示すブロック図である。本発明の実施形態となる輪郭四角形抽出処理の流れを示すフローチャート図である。図３のステップＳ５の処理により抽出されるエッジ画像の一例を示す図である。図３のステップＳ５のエッジ画像抽出処理において用いられるソーベルフィルタの構成を説明するための図である。図３のステップＳ６の細線・二値化処理後のエッジ画像の一例を示す図である。図３のステップＳ７のラベリング処理により得られた線分情報の一例を示す図である。図３のステップＳ８の線分分割処理を説明するための概念図である。図３のステップＳ９の線分接続処理を説明するための概念図である。図３のステップＳ１０のペアリング処理により得られた横方向及び縦方向の対辺候補の一例を示す図である。図１０に示す横方向及び縦方向の対辺候補の組み合わせの一例を示す図である。図１１に示す横方向及び縦方向の対辺候補の組み合わせから得られた矩形候補の一例を示す図である。本発明の実施形態となるグループ分け処理の流れを示すフローチャート図である。図１３に示すステップＳ２１の処理を説明するための四角形領域の一例を示す図である。（ａ）複数の四角形領域の一例と（ｂ）各四角形領域について算出された頂点座標，重心座標，及び外周の長さを示す図である。本発明の実施形態となる矩形候補選択処理の流れを示すフローチャート図である。複数の四角形領域の一例を示す図である。図１７に示す複数の四角形領域を重心座標でグループ分けした結果を示す図である。図１７に示す複数の四角形領域を重心位置のｘ座標と大きさでグループ分けした結果を示す図である。図１７に示す複数の四角形領域を重心位置のｙ座標と大きさでグループ分けした結果を示す図である。選択操作の状態遷移の一例を示す図である。

以下、本発明の一実施形態となるデジタルスチルカメラの構成について詳しく説明する。

〔全体構成〕
始めに、図１（ａ），（ｂ）を参照して、本発明の一実施形態となるデジタルスチルカメラ１の全体構成について説明する。

本発明の一実施形態となるデジタルスチルカメラ１は、図１（ａ）に示すように、略四角形形状の薄板状本体（以下、本体と略記）２の前面に撮影レンズ３，セルフタイマランプ４，ファインダ窓５，ストロボ発光部６，及びマイクロホン部７を備える。本体２上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９が設けられている。撮影レンズ３は、焦点距離を無段階に変化させるズーム機能及びＡＦ（AutoFocus）機能を有し、電源オフ時及び再生モード時は本体２内部に沈胴する。電源キー８は電源のオン／オフ毎に操作されるキーであり、シャッタキー９は撮影モード時に撮影タイミングを指示する。

本体２の背面には、図１（ｂ）に示すように、撮影モード（Ｒ）キー１０，再生モード（Ｐ）キー１１，電子ビューファインダ（ＥＶＦ）１２，スピーカ部１３，マクロキー１４，ストロボキー１５，メニュー（ＭＥＮＵ）キー１６，リングキー１７，セット（ＳＥＴ）キー１８，及び液晶表示部１９が設けられている。撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方、電源オンの状態から繰返し操作することで静止画と動画の撮影モードを循環的に設定する。本実施形態では、静止画の撮影モードには、所定の露光時間で通常の撮影動作を行う一枚撮影モードと、一枚撮影モードよりも短い露光時間で被写体を連続的に撮影し、複数の画像フレームを合成して一枚の画像を生成する連写撮影モードとが含まれる。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。ＥＶＦ１２は、液晶画面を使用した接眼型のファインダであり、撮影モード時にはスルー画像を液晶画面に表示する一方、再生モード時には選択された画像等を再生表示する。マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切り換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

液晶表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時にはスルー画像のモニタ表示を行う一方、再生モード時には選択した画像等を再生表示する。図示しないが、デジタルスチルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとしてＵＳＢ（Universal Serial Bus）コネクタ等が設けられている。

〔撮像系及び制御系の構成〕
次に、図２，図３を参照して、本発明の一実施形態となるデジタルスチルカメラ１の撮像系及び制御系の構成について説明する。

本発明の一実施形態となるデジタルスチルカメラ１では、撮影モードの際、モータ（Ｍ）３１の駆動により合焦位置や絞り位置が移動される、撮影レンズ３を構成するレンズ光学系３２の撮影光軸後方に配置された撮像素子であるＣＣＤ３３が、タイミング発生器（ＴＧ）３４と垂直ドライバ３５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。この光電変換出力は、アナログ形態の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後にサンプルホールド回路（Ｓ／Ｈ）３６でサンプルホールドされ、Ａ／Ｄ変換器３７でデジタルデータに変換され、カラープロセス回路３８で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれてデジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ３９に出力される。

ＤＭＡコントローラ３９は、カラープロセス回路３８が出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路３８からの複合同期信号，メモリ書込みイネーブル信号，及びクロック信号を用いて一度ＤＭＡコントローラ３９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）４０を介してバッファメモリとして使用されるＤＲＡＭ４１にＤＭＡ転送する。制御部４２は、ＣＰＵ，ＣＰＵで実行されるコンピュータプログラムを固定的に記憶したＲＯＭ，及びワークメモリとして使用されるＲＡＭ等により構成され、デジタルスチルカメラ１全体の動作を制御する。

制御部４２は、ＤＲＡＭ４１への輝度及び色差信号のＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース４０を介してＤＲＡＭ４１より読出し、ＶＲＡＭコントローラ４３を介してＶＲＡＭ４４に書込む。デジタルビデオエンコーダ４５は、上記輝度及び色差信号をＶＲＡＭコントローラ４３を介してＶＲＡＭ４４より定期的に読出し、これらのデータを元にビデオ信号を発生してＥＶＦ１２と液晶表示部１９に出力する。ＥＶＦ１２と液晶表示部１９は、デジタルビデオエンコーダ４５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ４３から取込んでいる画像情報に基づく画像をリアルタイムに表示する。

このようにＥＶＦ１２と液晶表示部１９にはその時点での画像がモニタ画像としてリアルタイムに表示される、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでシャッタキー９を操作するとトリガ信号を発生する。制御部４２は、このトリガ信号に応じてその時点でＣＣＤ３３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ４１へのＤＭＡ転送を取り止め、改めて適正な露出条件に従った絞り値及びシャッタ速度でＣＣＤ３３を駆動して１画面分の輝度及び色差信号を得てＤＲＡＭ４１へ転送し、その後にこの経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部４２がＤＲＡＭ４１に書込まれている輝度及び色差信号をＤＲＡＭインタフェース４０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に読出して画像処理部４７に書込み、この画像処理部４７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換），エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして、得られた符号データを画像処理部４７から読出し、デジタルスチルカメラ１の記録媒体として着脱自在に装着されるメモリカード４８又はデジタルスチルカメラ１に固定的に内蔵される内蔵メモリ（図示せず）のいずれか一方に書込む。そして、輝度及び色差信号の圧縮処理及びメモリカード４８又は内蔵メモリへの全圧縮データの書込み終了に伴なって、制御部４２はＣＣＤ３３からＤＲＡＭ４１への経路を再び起動する。

制御部４２には、キー入力部４９，音声処理部５０、及びストロボ駆動部５１が接続される。キー入力部４９は、上述した電源キー８，シャッタキー９，撮影モードキー１０，再生モードキー１１，マクロキー１４，ストロボキー１５，メニューキー１６，リングキー１７，セットキー１８等から構成され、それらのキー操作に伴なう信号は直接制御部４２へ送出される。音声処理部５０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 audio layer 3）規格にしたがってデータ圧縮して音声データファイルを作成してメモリカード４８又は内蔵メモリへ送出する一方、音声の再生時にはメモリカード４８又は内蔵メモリから送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部（ＳＰ）１３を駆動して、拡声放音させる。ストロボ駆動部５１は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部４２からの制御に基づいてストロボ発光部６を閃光駆動する。

〔輪郭四角形抽出処理〕
このような構成を有するデジタルスチルカメラ１は、以下に示す輪郭四角形抽出処理を実行することにより、撮影画像の中から被写体の輪郭を含む四角形領域を抽出する。以下、図３に示すフローチャートを参照して、この輪郭四角形抽出処理を実行する際のデジタルスチルカメラ１の動作について説明する。

ユーザが、リングキー１７及びセットキー１８を操作することにより、シーン別撮影モードの中から「名刺や書類を写します」「ホワイトボードなどを写します」といったモードを選択し、撮影を行う。これらのモードは被写体の正面化補正を行うものであり、このようなモードで撮影された画像が画像処理部４７に取り込まれ、輪郭四角形抽出処理の実行が可能となったタイミングで図３に示すフローチャートが開始となり、輪郭四角形抽出処理はステップＳ１の処理に進む。なお以下に示すデジタルスチルカメラ１の動作は、制御部４２内のＣＰＵがＲＯＭに記憶されているコンピュータプログラムをＲＡＭにロードし、ＲＡＭにロードされたコンピュータプログラムを実行することにより実現される。

ステップＳ１の処理では、画像処理部４７が、入力された撮影画像に対し歪曲収差の補正処理を実行することにより、レンズ光学系３２のレンズ特性により歪曲した撮影画像を補正する。これにより、ステップＳ１の処理は完了し、輪郭四角形抽出処理はステップＳ２の処理に進む。

ステップＳ２の処理では、画像処理部４７が、歪曲収差が補正された後の撮影画像の大きさ（画像サイズ）を所定の大きさに縮小する。具体的には、画像処理部４７は、歪曲収差が補正された後の撮影画像の大きさを算出し、算出された大きさに基づいて撮影画像の大きさが（縦）×（横）：３２０×２４０（画素）の大きさになるように撮影画像の縦方向及び横方向の長さを縮小する。これにより、ステップＳ２の処理は完了し、輪郭四角形抽出処理はステップＳ３の処理に進む。

ステップＳ３の処理では、画像処理部４７が、撮影画像の色情報の表示形式をビットマップ形式からＹＵＶ（Ｙ：輝度信号，Ｕ：輝度信号と青色成分の差，Ｖ：輝度信号と赤色成分の差）形式に変換する。これにより、ステップＳ３の処理は完了し、輪郭四角形抽出処理はステップＳ４の処理に進む。

ステップＳ４の処理では、画像処理部４７が、撮影画像の画像データをメディアン（中央値，Median）フィルタにかけることにより撮影画像の画像データからノイズ成分を除去する。本実施形態におけるメディアンフィルタとは、３×３（画素）の局所領域における画素値を小さい順に並べ、中央に位置する画素値を領域中央の画素の画素値とするものである。これにより、ステップＳ４の処理は完了し、輪郭四角形抽出処理はステップＳ５の処理に進む。

ステップＳ５の処理では、画像処理部４７が、図４（ａ）〜（ｃ）に示すように、ノイズ成分が除去された画像データから縦（垂直，ｘ）方向及び横（水平，ｙ）方向それぞれのエッジ画像を抽出する。本実施形態では、画像処理部４７は、図５に示すような空間１次微分を計算して輪郭を検出するソーベル（Sobel）フィルタを用いて縦（垂直）方向及び横（水平）方向それぞれのエッジ画像を抽出する。これにより、ステップＳ５の処理は完了し、輪郭四角形抽出処理はステップＳ６の処理に進む。

ステップＳ６の処理では、画像処理部４７が、図６（ａ），（ｂ）に示すように、ステップＳ５の処理により抽出された縦方向及び横方向のエッジ画像それぞれに対し細線及び二値化処理を施す。具体的には、画像処理部４７は、縦方向のエッジ画像を構成する画素のうち、条件｛座標位置ｘ−１の画素値＜座標位置ｘの画素値≧座標位置ｘ＋１の画素値｝を満たす座標位置ｘの画素を検出する。また同様に、画像処理部４７は、横方向のエッジ画像を構成する画素のうち、条件｛座標位置ｙ−１の画素値＜座標位置ｙの画素値≧座標位置ｙ＋１の画素値｝を満たす座標位置ｙの画素を検出する。そして画像処理部４７は、エッジ画像を構成する画素のうち、抽出された座標位置ｘ，ｙの画素値を２５５、それ以外の座標位置の画素値を０に設定する。これにより、ステップＳ６の処理は完了し、輪郭四角形抽出処理はステップＳ７の処理に進む。

ステップＳ７の処理では、画像処理部４７が、縦方向及び横方向のエッジ画像それぞれに対してラベリング処理を行うことにより、図７（ａ），（ｂ）に示すような被写体の輪郭を形成する縦方向及び横方向の線分情報を作成する。本実施形態では、画像処理部４７は、横方向のエッジ画像に対しては、ｘ＝０の座標位置から、ｙ方向に隣接する画素も参照しながら、ｘ方向にスキャンすることによりエッジ画像を構成する画素を検出する。そして画素が検出された場合、画像処理部４７は、検出された画素の画素値が２５５、且つ、他の画素と連結されているか否かを判別し、画素値が２５５、且つ、他の画素と連結されていない場合、検出された画素を含む線分のトレースをｘ方向に開始する。具体的には、画像処理部４７は、トレース開始位置の座標（ｘ，ｙ）の右横に位置する３点（ｘ＋１，ｙ−１），（ｘ＋１，ｙ），（ｘ＋１，ｙ＋１）についてトレースを実行する。

そして画像処理部４７は、以下に示す３つの条件のうち、いずれか１つの条件が満足された場合、その線分に固有番号を付与（ラベリング）してトレースを終了し、トレースを継続する場合には検出された画素があったｘ座標位置を次のトレース開始位置に設定する。

条件１：３点のうち、少なくとも１点が既にラベリングされている。

条件２：３点のうち、２点以上がエッジ画像を構成する画素である。

条件３：トレース中にエッジ画像を構成する画素が３点の中に２回検出されなかった。

一方、縦方向のエッジ画像に対しては、画像処理部４７は、ｙ＝０の座標位置からｘ方向にスキャンすることによりエッジ画像を構成する画素を検出し、縦方向のエッジ画像に対して行った処理と同様の処理を行う。そして画像処理部４７は、トレースによりラベリングされた各線分の始点及び終点の座標，傾き（始点と終点から求められたもの），線分を構成する各点の線分の傾きに対する誤差（縦線であればｘ方向，横線であればｙ方向のずれ）の平均，及び誤差が最大になる座標位置とその値を線分情報として算出する。これにより、ステップＳ７の処理は完了し、輪郭四角形抽出処理はステップＳ８の処理に進む。

ステップＳ８の処理では、画像処理部４７が、ステップＳ７の処理により作成された線分情報を参照して、線分の傾きに対する誤差の最大値が所定値以上である点を含む線分があるか否かを判別し、誤差の最大値が所定値以上である点を含む線分がある場合、図８に示すようにその点（図８に示す例では点Ｐ）において線分を２つに分割する。なお分割点は、分割後に長さが短くなる線分の方に加えられる。また画像処理部４７は、線分の長さが第１閾値以上である場合や分割後の線分の長さが第２閾値以下になる場合には線分を分割しない。そして画像処理部４７は、分割された線分があった場合には線分情報を更新する。これにより、ステップＳ８の処理は完了し、輪郭四角形抽出処理はステップＳ９の処理に進む。

ステップＳ９の処理では、画像処理部４７が、ステップＳ８の処理により更新された線分情報を参照して、長さが所定値以上の線分を長い順に接続元線分として所定数抽出し、図９に示すように以下の３つの条件を満たす線分（接続先線分）に接続元線分を接続する。そして画像処理部４７は、接続先線分と接続元線分を接続した後、接続先線分と接続元線分を接続することにより形成された線分の始点と終点の座標位置を最小二乗法により算出する。これにより、ステップＳ９の処理は完了し、輪郭四角形抽出処理はステップＳ１０の処理に進む。

条件１：接続元線分と接続先線分が所定値以上離れていない。

条件２：接続元線分が接続先線分に完全に含まれない。

条件３：接続元線分の始点又は終点を接続先線分まで伸ばした際に伸ばした部分と接続元線分の始点及び終点の位置との誤差が所定値未満である。

ステップＳ１０の処理では、画像処理部４７が、図１０に示すように、ステップＳ８及びステップＳ９の分割処理及び接続処理が施された縦方向及び横方向それぞれの線分から四角形の対辺候補を作成する（図１０に示す例では、横方向の対辺候補を線分Ｈ１と線分Ｈ２のペア，縦方向の対辺候補を線分Ｖ１と線分Ｖ２のペアとして示している）。具体的には、画像処理部４７は、線分間の距離が所定値以上、且つ、一方の線分の長さに対する他方の線分の比率が所定の範囲内（例えば、１／３〜３倍）にある線分のペアを縦方向及び横方向それぞれについて対辺候補として複数作成する。これにより、ステップＳ１０の処理は完了し、輪郭四角形抽出処理はステップＳ１１の処理に進む。

ステップＳ１１の処理では、画像処理部４７が、図１１に示すように、ステップＳ１０の処理により作成された縦方向及び横方向それぞれの対辺候補の組み合わせを作成する。そして画像処理部４７は、各組み合わせについて、対辺候補の４つの交点を算出する。この際、画像処理部４７は、線分の傾き情報だけを用い、線分の延長上に交点があればよいとする。つまり検出された交点上で実際には線分が交叉していない場合も含まれる。そして画像処理部４７は、算出された４つの交点を頂点とする図１２に示すような矩形候補Ｓを複数作成する。これにより、ステップＳ１１の処理は完了し、一連の輪郭四角形抽出処理は終了する。

〔グループ分け処理〕
上記デジタルスチルカメラ１は、上記輪郭四角形抽出処理によって１つの撮影画像中に複数の矩形候補Ｓが生成された場合、以下のグループ分け処理を実行することにより、重心座標及び四角形領域の大きさに基づいて複数の矩形候補Ｓをグループ分けする。以下、図１３に示すフローチャートを参照して、このグループ分け処理を実行する際のデジタルスチルカメラ１の動作について説明する。

図１３に示すフローチャートは、上記輪郭四角形抽出処理が完了したタイミングで開始となり、グループ分け処理はステップＳ２１の処理に進む。なお以下に示すデジタルスチルカメラ１の動作は、制御部４２内のＣＰＵがＲＯＭに記憶されているコンピュータプログラムをＲＡＭにロードし、ＲＡＭにロードされたコンピュータプログラムを実行することにより実現される。

ステップＳ２１の処理では、画像処理部４７が、各矩形候補Ｓの重心座標を算出する。具体的には、画像処理部４７は、始めに図１４（ａ），（ｂ）に示すように矩形候補Ｓの４つの頂点の座標（Ａ_ｘ，Ａ_ｙ），（Ｂ_ｘ，Ｂ_ｙ），（Ｃ_ｘ，Ｃ_ｙ），（Ｄ_ｘ，Ｄ_ｙ）を算出し、以下に示す数式１，２を用いて矩形候補Ｓを構成する三角形ＡＢＤ及び三角形ＢＤＣの重心座標Ｇ１，Ｇ２（図１４（ａ）参照）を算出する。次に画像処理部４７は、以下に示す数式３，４を用いて矩形候補Ｓを構成する三角形ＡＢＣ及び三角形ＡＣＤの重心座標Ｇ３，Ｇ４（図１４（ｂ）参照）を算出する。そして画像処理部４７は、重心Ｇ１，Ｇ２を結ぶ直線と重心Ｇ３,Ｇ４を結ぶ直線を算出し、以下に示す数式５により表される２つの直線の交点Ｋ（Ｋ_ｘ，Ｋ_ｙ）を矩形候補Ｓの重心座標として算出する。より具体的には、いま輪郭四角形抽出処理により図１５（ａ）に示すように１つの撮影画像中に５つの矩形候補（四角形領域）Ｓ１〜Ｓ５が生成された場合、画像処理部４７は、図１５（ｂ）に示すように矩形候補Ｓ１〜Ｓ５の４つの頂点座標と重心座標を算出する。これにより、ステップＳ２１の処理は完了し、グループ分け処理はステップＳ２２の処理に進む。

ステップＳ２２の処理では、画像処理部４７が、ステップＳ２１の処理により算出された各矩形候補Ｓの重心座標について、ＸＹ方向の座標値の差分合計値が所定の閾値±αの範囲内にある重心座標のグループがあるか否かを判別する。具体的には、矩形候補Ｓ１の重心座標（Ｘ１，Ｘ２）に対して処理を実行する場合、画像処理部４７は、数式：｜Ｘ１−Ｘ２｜＋｜Ｙ１−Ｙ２｜≦αを満たす重心座標（Ｘ２，Ｙ２）のグループがあるか否かを判別する。そして判別の結果、ＸＹ方向の座標値の差分合計値が所定の閾値±αの範囲内にある重心座標のグループ（重心座標の位置が近い矩形候補のグループ）がある場合、画像処理部４７は、ステップＳ２３の処理としてその重心座標を該当する重心座標のグループに登録した後、グループ分け処理をステップＳ２５の処理に進める。一方、ＸＹ方向の座標値の差分合計値が所定の閾値±αの範囲内にある重心座標のグループがない場合には、画像処理部４７は、ステップＳ２４の処理として、新たな重心座標のグループを作成し、作成された新たな重心座標のグループにその重心座標を登録した後、グループ分け処理をステップＳ２５の処理に進める。なおグループ分けの方法としては種々の方法が考えられるが、例えば重心座標の属性情報にグループ固有の識別情報を付与する方法等が考えられる。

ステップＳ２５の処理では、画像処理部４７が、ステップＳ２１の処理により算出された全ての重心座標に対し上記ステップＳ２２の処理を実行したか否かを判別する。そして判別の結果、ステップＳ２１の処理により算出された全ての重心座標に対して上記ステップＳ２２の処理を実行していない場合、画像処理部４７はグループ分け処理をステップＳ２２の処理に戻す。一方、ステップＳ２１の処理により算出された全ての重心座標に対して上記ステップＳ２２の処理を実行した場合には、画像処理部４７はグループ分け処理をステップＳ２６の処理に進める。

ステップＳ２６の処理では、画像処理部４７が、以下の数式６を用いて各矩形候補Ｓの外周の長さＬを算出する。具体的には、いま図１５（ａ）に示すように５つの矩形候補Ｓ１〜Ｓ５が生成された場合、画像処理部４７は、図１５（ｂ）に示すように矩形候補Ｓ１〜Ｓ５の外周の長さＬを算出する。なお画像処理部４７は、外周の長さＬではなく、矩形候補Ｓの四辺の平均値Ｚを算出するようにしてもよい。これにより、ステップＳ２６の処理は完了し、グループ分け処理はステップＳ２７の処理に進む。

ステップＳ２７の処理では、画像処理部４７が、各重心座標のグループについて、ステップＳ２６の処理により算出された外周の長さＬが所定の閾値±βの範囲内にない矩形候補Ｓが含まれているか否かを判別する。そして判別の結果、そのような矩形候補Ｓが含まれている場合、画像処理部４７は、ステップＳ２８の処理として、新たな重心座標のグループ（重心座標の位置は近いが大きさが異なる矩形候補のグループ）を作成し、作成した新たな重心座標のグループにその矩形候補Ｓに対応する重心座標を登録した後、グループ分け処理をステップＳ２９の処理に進める。一方、そのような矩形候補Ｓが含まれていない場合には、画像処理部４７はグループ分け処理をステップＳ２９の処理に進める。

ステップＳ２９の処理では、画像処理部４７が、全ての重心座標のグループに対し上記ステップＳ２７の処理を実行したか否かを判別する。そして判別の結果、全ての重心座標のグループに対して上記ステップＳ２７の処理を実行していない場合、画像処理部４７はグループ分け処理をステップＳ２７の処理に戻す。一方、全ての重心座標のグループに対して上記ステップＳ２７の処理を実行した場合には、画像処理部４７は一連のグループ分け処理を終了する。このグループ分け処理により、１つの撮影画像中に含まれる複数の矩形候補Ｓはその重心座標と大きさに基づいてグループ分けされたことになる。

〔矩形候補選択処理〕
上記デジタルスチルカメラ１は、上記グループ分け処理完了後、以下の矩形候補選択処理を実行することにより、１つの撮影画像中に矩形候補Ｓが複数存在する場合であってもユーザが所望の矩形候補Ｓを快適に選択することを可能にする。以下、図１６に示すフローチャートを参照して、この選択処理を実行する際のデジタルスチルカメラ１の動作について説明する。

図１６に示すフローチャートは、上記グループ分け処理が完了したタイミングで開始となり、選択処理はステップＳ３１の処理に進む。なお以下では、上記輪郭四角形抽出処理によって、図１７に示すようにＡ，Ｂ１，Ｂ２，Ｃ１，Ｃ２，Ｄ１，Ｄ２，Ｅ１，Ｅ２，Ｆ１，Ｆ２，Ｇ１，Ｇ２，Ｈ１，Ｈ２，Ｉ１，Ｉ２の合計１７個の矩形候補が抽出され、上記グループ分け処理によってこれらの矩形候補が図１８，１９，２０に示すように重心座標（Ｘ，Ｙ）と大きさ（四辺の平均値）Ｚによってグループ分けされた例を用いて選択処理を具体的に説明する。また以下に示すデジタルスチルカメラ１の動作は、制御部４２内のＣＰＵがＲＯＭに記憶されているコンピュータプログラムをＲＡＭにロードし、ＲＡＭにロードされたコンピュータプログラムを実行することにより実現される。

ステップＳ３１の処理では、制御部４２が、リングキー１７が操作されたか否かを判別する。そしてリングキー１７が操作されたタイミングで選択処理をステップＳ３２の処理に進める。

ステップＳ３２の処理では、制御部４２が、選択された矩形候補Ｓを視認可能にするためにリングキー１７によって選択された矩形候補Ｓ（補正候補）を強調表示する。具体的にはリングキー１７によって図１７に示す一番大きな矩形候補Ａが選択された場合、制御部４２は矩形候補Ａの枠の色を白色から緑色に変更することにより矩形候補Ａを強調表示する。これにより、ステップＳ３２の処理は完了し、選択処理はステップＳ３３の処理に進める。

ステップＳ３３の処理では、制御部４２が、ユーザがセットキー１８を押下操作することによりステップＳ３２の処理により選択された矩形候補Ｓを補正候補として決定したか否かを判別する。判別の結果、セットキー１８が押下操作されなかった場合、制御部４２は選択処理をステップＳ３１の処理に戻す。一方、セットキー１８が押下操作された場合には、制御部４２は選択処理をステップＳ３４の処理に進める。

なお図１７に示す例では、矩形候補Ａが選択されている状態においてユーザがセットキー１８ではなくリングキー１７を下方向に操作した場合、制御部４２は、図１９,２０に示すグループ分けの結果に基づいて、矩形候補の大きさが矩形候補Ａの大きさに近いグループ（換言すれば、Ｚ軸上で一番矩形候補Ａに近い位置にあるグループ）に属する矩形候補Ｂ１を強調表示する。そして矩形候補Ｂ１が強調表示されている状態において、ユーザがリングキー１７がさらに下方向に操作した場合、制御部４２は、ＸＹ平面内で矩形候補Ｂ１と同じグループに属している矩形候補Ｂ２を強調表示する。

一方、矩形候補Ｂ１が強調表示されている状態において、ユーザがリングキー１７を右方向に操作した場合には、制御部４２は、Ｚ軸上で矩形候補Ｂ１と同じグループに属し、且つ、ＸＹ平面で右周りに隣のグループ（重心座標位置が近いグループ）に属する矩形候補Ｃ１を強調表示する。また矩形候補Ｂ１が強調表示されている状態において、ユーザがリングキー１７を左方向に操作した場合には、制御部４２は、Ｚ軸上で矩形候補Ｂ１と同じグループに属し、且つ、ＸＹ平面で左周りに隣のグループ（重心座標位置が近いグループ）に属する矩形候補Ｆ１を強調表示する。

また矩形候補Ｃ１が強調表示されている状態において、ユーザがリングキー１７を右方向に操作した場合には、制御部４２は、Ｚ軸上で矩形候補Ｃ１と同じグループに属し、且つ、ＸＹ平面で右周りに隣のグループに属する矩形候補Ｇ１を強調表示する。なお制御部４２は、Ｚ軸上で１つのグループから他のグループへと遷移する場合には所定のオフセットを与えた上で次のグループ内の矩形候補を強調表示する。これは、ユーザが矩形候補の大きさを変えて探そうとしている時に大きさがほとんど同じで場所が違うものを補正候補として強調表示しても意味がないためである。具体的には制御部４２は、矩形候補Ｂ２の次はそれより若干小さい補正候補Ｃ１,Ｃ２や補正候補Ｇ１,Ｇ２ではなく矩形候補Ｅ１を強調表示する。以上の状態遷移の一例を図示すると図２１に示すようになる。

ステップＳ３４の処理では、画像処理部４７が、ステップＳ３３の処理により決定された矩形候補を矩形領域とする射影変換行列を算出し、算出された射影変換行列を矩形候補とこの矩形候補により囲まれた画素値に適用することにより矩形画像を生成する。これにより、ステップＳ３４の処理は完了し、選択処理はステップＳ３５の処理に進む。

ステップＳ３５の処理では、画像処理部４７が、ステップＳ３３の処理により決定された矩形候補が属する重心座標グループに含まれる全ての重心座標に対応する矩形候補の表示を消去する。これにより、ステップＳ３５の処理は完了し、選択処理はステップＳ３６の処理に進む。

ステップＳ３６の処理では、制御部４２が、ユーザがキー入力部４９を操作することにより選択操作の終了を指示したか否かを判別する。判別の結果、選択操作の終了を指示していない場合、制御部４７は選択処理をステップＳ３１の処理に戻す。一方、選択操作ｎ終了が指示された場合には、制御部４２は一連の選択処理を終了する。

以上の説明から明らかなように、本発明の実施形態となるデジタルスチルカメラ１によれば、画像処理部４７が、複数の矩形候補Ｓを四角形領域の重心座標と大きさに基づいてグループ分けし、複数の矩形候補Ｓの中から画像処理に用いる四角形領域が選択されるのに応じて、グループ分け処理の結果に基づいて、選択された矩形候補Ｓが属するグループ内に含まれる矩形候補Ｓの表示を消去する。このような構成によれば、重心位置や大きさが微妙に異なる矩形候補Ｓが複数存在する場合であっても、ユーザは所望の矩形候補を快適に選択することができる。

以上、本発明の有用な実施形態としてカメラに搭載した形態を説明したが、撮像部分を持たない画像処理装置に本発明を適用することも可能である。即ち、外部の撮像装置で撮像された画像をメモリカード、ＵＳＢケーブルなどによって取り込み、上記実施形態に示した一連の輪郭四角形抽出処理を行うようにしても良い。また、上記実施形態では矩形候補を採点の高い順に提示し、ユーザに選ばせた後に座標変換による補正を行ったが、矩形候補を採点の高いものから座標変換により補正していき、その補正結果を順次提示して、最も好ましいものをユーザに選択するようにしても良い。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明は、被写体の輪郭を含む四角形領域を抽出して矩形に補正する撮像装置に適用することができる。

１：デジタルスチルカメラ
２：本体
４２：制御部
４７：画像処理部

Claims

画像から複数の四角形領域を矩形候補として作成する矩形候補作成手段と、
前記矩形候補作成手段により作成された複数の矩形候補を四角形領域の重心座標と大きさに基づいてグループ分けするグループ分け手段と、
前記画像上に矩形候補を重畳表示する表示手段と、
前記表示手段により表示された矩形候補の中から所望の矩形候補をユーザに選択させるための第１操作方向と第２操作方向を有する第１操作手段と、
前記第１操作手段が前記第１操作方向に操作された場合、現在選択表示されている矩形候補が属するグループの他の矩形候補を順に選択表示し、前記第１操作手段が前記第２操作方向に操作された場合には、現在選択表示されている矩形候補が属するグループとは異なるグループに属する矩形候補を選択表示する表示制御手段と
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記表示制御手段は、第１操作手段が第２操作方向に操作された場合には、現在選択表示されている矩形候補の大きさより所定値以上大きい矩形候補が属するグループの矩形候補を選択表示することを特徴とする画像処理装置。
請求項１乃至請求項２のうち、いずれか１項に記載の画像処理装置において、
撮像手段を更に備え、
前記画像は前記撮像手段により撮像された画像であることを特徴とする画像処理装置。
画像を表示する表示手段と、
前記表示手段により表示された矩形候補の中から所望の矩形候補をユーザに選択させるための第１操作方向と第２操作方向を有する第１操作手段とを有する画像処理装置のコンピュータに、
前記画像から複数の四角形領域を矩形候補として作成する矩形候補作成処理と、
前記矩形候補作成処理により作成された複数の矩形候補を四角形領域の重心座標と大きさに基づいてグループ分けするグループ分け処理と、
前記画像上に矩形候補を重畳表示する表示処理と、
前記第１操作手段が前記第１操作方向に操作された場合、現在選択表示されている矩形候補が属するグループの他の矩形候補を順に選択表示し、前記第１操作手段が前記第２操作方向に操作された場合には、現在選択表示されている矩形候補が属するグループとは異なるグループに属する矩形候補を選択表示する表示制御処理と
をコンピュータに実行させることを特徴とするコンピュータプログラム。