JP5846144B2 - 画像領域分割装置、方法、およびプログラム - Google Patents
画像領域分割装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP5846144B2 JP5846144B2 JP2013053238A JP2013053238A JP5846144B2 JP 5846144 B2 JP5846144 B2 JP 5846144B2 JP 2013053238 A JP2013053238 A JP 2013053238A JP 2013053238 A JP2013053238 A JP 2013053238A JP 5846144 B2 JP5846144 B2 JP 5846144B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- image
- value
- main subject
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、画像内の前景（主要被写体）とそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。
野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。
また、主要被写体を含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要被写体と背景とに分割する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。領域分割を行う場合、主要被写体と背景の関係によりその境界が不明確な部分が存在する可能性があり、最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では、領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。
Ｇｒａｐｈ Ｃｕｔｓ法を用いて主要被写体と背景を分割する手法では、画像内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づいて領域分割を行う手法が知られている。この場合例えば、次のようなコスト項を含むエネルギー関数が定義される。まず、主要被写体を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。また、背景を示す画像から算出した例えばカラー画素値ごとのヒストグラムの値が大きいほど値が小さくなるコスト項が含まれる。そして、そのエネルギー関数の最小化処理により、画像内で主要被写体と背景が領域分割される（以上、例えば非特許文献１に記載の手法）。
また、Ｇｒａｐｈ Ｃｕｔｓ法だけでは主要被写体と背景の分割が難しい場合がある。このため、例えばデジタルカメラやいわゆるスマートフォンなどへの実装では、ユーザが、例えば撮像装置で撮像した画像に対し、認識したい物体（例えば花）が存在するおおよその領域に対して、例えばタッチパネル等の入力装置を用いて矩形枠を指定する機能が実装される。
Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ："Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ "Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．
しかし、花画像などの場合、上述したようにユーザが矩形枠を指定しても、矩形枠内に花がうまく入るように指定することが難しい場合があり、その場合には、主要被写体と背景領域を誤認しやすくなって、主要被写体と背景の領域分割の精度が低下してしまうという問題点を有していた。
本発明は、ユーザによる簡単な指定で領域分割の精度を向上させることを目的とする。
態様の一例では、画像内で主要被写体と該主要被写体以外の背景を領域分割する装置であって、主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に収まるように、前記画像の画角を調整させる画角調整手段と、該画角が調整された前記画像に対して前記領域分割手段による領域分割処理を実行した後、前記画像の前記十字枠内で前記背景に領域分割された画素のうち前記主要被写体らしいと判定される画素の割合を所定の複数種類の色別に算出し、該複数種類の色のうちいずれか２つ以上の分割された十字枠領域で前記主要被写体らしいと判定される画素の割合が所定の閾値に比較して大きくなる色について、該色に対する前記第１のヒストグラムの値が大きくなるように前記第１のヒストグラムを更新するヒストグラム更新手段と、該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割手段による領域分割処理と前記ヒストグラム更新手段による前記第１のヒストグラムの更新処理を繰り返し実行させる制御手段とを備える。
本発明によれば、ユーザによる簡単な指定で領域分割の精度を向上させることが可能となる。
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る画像領域分割装置を実現するデジタルカメラ１０１のハードウェア構成例を示すブロック図である。
デジタルカメラ１０１は、撮像レンズ１０２、補正レンズ１０３、レンズ駆動ブロック１０４、絞り兼用シャッタ１０５、ＣＣＤ１０６、垂直ドライバ１０７、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ：タイミング発生回路）１０８、ユニット回路１０９、ＤＭＡコントローラ（以下、ＤＭＡという）１１０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１１１、キー入力部１１２、メモリ１１３、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１４、通信部１１５、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）１１６、画像生成部１１７、ＤＭＡ１１８、ＤＭＡ１１９、表示部１２０、ＤＭＡ１２１、圧縮伸張部１２２、ＤＭＡ１２３、フラッシュメモリ１２４、バス１２５を備えている。
撮像レンズ１０２は、複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。
なお、レンズ駆動ブロック１０４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１１からの制御信号に従ってフォーカスレンズ、ズームレンズをそれぞれ光軸方向に移動させる。
なお、レンズ駆動ブロック１０４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１１からの制御信号に従ってフォーカスレンズ、ズームレンズをそれぞれ光軸方向に移動させる。
補正レンズ１０３は、手ぶれによる像のブレを補正するためのレンズであり、補正レンズ１０３には、レンズ駆動ブロック１０４が接続されている。
レンズ駆動ブロック１０４は、Ｙａｗ（ヨー）方向及びＰｉｔｃｈ（ピッチ）方向に補正レンズ１０３を移動させることにより手ぶれを補正する。このレンズ駆動ブロック１０４には、ヨー方向及びピッチ方向に補正レンズ１０３を移動させるモータ、及びそのモータを駆動させるモータドライバから構成されている。
レンズ駆動ブロック１０４は、Ｙａｗ（ヨー）方向及びＰｉｔｃｈ（ピッチ）方向に補正レンズ１０３を移動させることにより手ぶれを補正する。このレンズ駆動ブロック１０４には、ヨー方向及びピッチ方向に補正レンズ１０３を移動させるモータ、及びそのモータを駆動させるモータドライバから構成されている。
絞り兼用シャッタ１０５は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１１から送られてくる制御信号に従って絞り兼用シャッタ１０５を動作させる。この絞り兼用シャッタ１０５は、絞り、シャッタとして機能する。
絞りとは、ＣＣＤ１０６に入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ１０６に光を当てる時間を制御する機構のことをいい、ＣＣＤ１０６に光を当てる時間（露光時間）は、シャッタ速度によって変わってくる。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。
絞りとは、ＣＣＤ１０６に入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ１０６に光を当てる時間を制御する機構のことをいい、ＣＣＤ１０６に光を当てる時間（露光時間）は、シャッタ速度によって変わってくる。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。
ＣＣＤ１０６は、垂直ドライバ１０７によって走査駆動され、一定周期毎に被写体像のＲＧＢ（赤緑青）値の各色の光の強さを光電変換して撮像信号としてユニット回路１０９に出力する。この垂直ドライバ１０７、ユニット回路１０９の動作タイミングはＴＧ１０８を介してＣＰＵ１１１によって制御される。
ユニット回路１０９には、ＴＧ１０８が接続されており、ＣＣＤ１０６から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器から構成されており、ＣＣＤ１０６によって得られた撮像信号は、ユニット回路１０９を経た後、ＤＭＡ１１０によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１１４）に記憶される。
ＣＰＵ１１１は、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）処理、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ：自動焦点）処理などを行う機能を有すると共に、デジタルカメラ１０１の各部を制御するワンチップマイコンである。
特に、本実施形態では、ＣＰＵ１１１は、後述する図２、図４、図１２、および図１３のフローチャートで示される画像分割処理を実行する。
キー入力部１１２は、半押し操作全押し操作可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーや、タッチパネルを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１１に出力する。特に、本実施形態では、キー入力部１１２は、表示部１２０に表示される十字枠を移動させる操作キーを備える。
メモリ１１３には、後述する図２、図４、図１２、および図１３のフローチャートで示される画像分割処理をはじめとして、ＣＰＵ１１１がデジタルカメラ１０1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１１１は、それらの制御プログラムに従い動作する。
ＤＲＡＭ１１４は、ＣＣＤ１０６によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１１のワーキングメモリとしても使用される。
ＤＭＡ１１６は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部１１７に出力するものである。
画像生成部１１７は、ＤＭＡ１１６から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を行う部分である。
ＤＭＡ１１８は、画像生成部１１７で画像処理が行われた輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
画像生成部１１７は、ＤＭＡ１１６から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を行う部分である。
ＤＭＡ１１８は、画像生成部１１７で画像処理が行われた輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
ＤＭＡ１１９は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部１２０に出力するものである。
表示部１２０は、カラーＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）とその駆動回路を含み、ＤＭＡ１１９から出力された画像データの画像を表示させる。
表示部１２０は、カラーＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）とその駆動回路を含み、ＤＭＡ１１９から出力された画像データの画像を表示させる。
ＤＭＡ１２１は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部１２２に出力したり、圧縮伸張部１２２により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部１２２は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ１２３は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ１２４に記録させたり、フラッシュメモリ１２４に記録された圧縮画像データをバッファメモリに記憶させるものである。
圧縮伸張部１２２は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ１２３は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ１２４に記録させたり、フラッシュメモリ１２４に記録された圧縮画像データをバッファメモリに記憶させるものである。
前述したように、ＣＰＵ１１１は、メモリ１１３から、画像分割処理プログラムを読み出し実行する。この結果、例えばユーザが、撮像機構１０２〜１１０によって花などを撮像し、キー入力部１１２で後述するように十字枠による範囲指定をした画像範囲から、花などの主要被写体をそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要被写体領域の画像データは、ユーザが例えば花の種類を検索するために、通信部１１５から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要被写体領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信部１１５にて受信され、表示部１２０に表示される。
なお、上述の画像検索サーバコンピュータのデータベース機能は、デジタルカメラ１０１に内蔵されてもよい。
なお、上述の画像検索サーバコンピュータのデータベース機能は、デジタルカメラ１０１に内蔵されてもよい。
図２は、本実施形態による画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図４、図１２および図１３のフローチャートの処理とともに、図１のＣＰＵ１１１が、メモリ１１３に記憶された制御プログラムを実行する処理として実現される。
まず、ＣＰＵ１１１は、十字枠の表示処理を実行する（図２のステップＳ２０１）。この処理では、ユーザが、例えば図１の撮像機構１０２〜１１０にて撮像し表示部１２０に表示されるシャッター全押し操作前のいわゆるスルー画像に対して、認識したい物体（例えば花）が存在するおおよその領域に対して、キー入力部１１２を用いて、十字枠によって範囲指定を行う。
図３（ａ）は、十字枠の説明図である。ＣＰＵ１１１は、表示部１２０の、スルー画像内に所定の画素幅（数画素〜十数画素程度）を有する帯状の矩形領域３０１、３０２の２本が十字に交わって形成される十字枠を表示する。
次に、ＣＰＵ１１１は、画角調整処理（画角調整手段の機能）を実行する（図２のステップＳ２０２）。ここでは、ＣＰＵ１１１は、ユーザにキー入力部１１２と撮像レンズ１０２のズーム機構を操作させることにより、表示部１２０に表示されているスルー画像内の主要被写体である例えば花の領域がステップＳ２０１で表示させた十字枠に概略合うように画像の画角を調整させる。
より具体的には、図３（ｂ）に示されるように、ユーザは、スルー画像内の花の領域の中央が十字枠の中心領域３０３に概略位置し、花の領域が十字枠の４方向端で囲まれる十字領域３０４に概略収まるように、撮像レンズ１０２をズームさせるとともに、キー入力部１１２によって十字枠を上下左右に動かしながら、スルー画像の画角を調整する。
より具体的には、図３（ｂ）に示されるように、ユーザは、スルー画像内の花の領域の中央が十字枠の中心領域３０３に概略位置し、花の領域が十字枠の４方向端で囲まれる十字領域３０４に概略収まるように、撮像レンズ１０２をズームさせるとともに、キー入力部１１２によって十字枠を上下左右に動かしながら、スルー画像の画角を調整する。
次に、ユーザがキー入力部１１２のシャッタボタンを半押し撮影することにより、ＣＰＵ１１１は、十字枠の中心領域３０３の画像情報を取得することにより、撮像機構１０２〜１１０を制御して、ＡＥ（自動露出）処理とＡＦ（自動焦点）処理を実行する（図２のステップＳ２０３）。
その後、ＣＰＵ１１１は、領域分割処理を実行する（図２のステップＳ２０４）。
図４は、図２のステップＳ２０４の領域分割処理を示すフローチャートである。
図４は、図２のステップＳ２０４の領域分割処理を示すフローチャートである。
まず、ＣＰＵ１１１は、データ項の更新１の処理を実行する（図４のステップＳ４０１）。
ここでは、図５に示されるように、ＣＰＵ１１１は、表示部１２０に表示されている十字枠の中心領域３０３（図３参照）の画素領域を、絶対前景５０１に設定する。また、図５に示されるように、ＣＰＵ１１１は、十字領域３０４（図３参照）を例えば縦横方向に２割拡大した領域の外側の画素領域を、絶対背景５０２と設定する。
絶対前景５０１とは、後述するＧｒａｐｈ Ｃｕｔｓ法におけるデータ項の前景コストを０、背景コストを最大値に設定することである。また、絶対背景５０２とは、そのデータ項の背景コストを０、前景コストを最大値に設定することである。
その他の画素領域５０３は、後述するように、主要被写体らしさを示す学習済みの第１のヒストグラムと、背景らしさを示す学習済みの第２のヒストグラムから設定する。
ここでは、図５に示されるように、ＣＰＵ１１１は、表示部１２０に表示されている十字枠の中心領域３０３（図３参照）の画素領域を、絶対前景５０１に設定する。また、図５に示されるように、ＣＰＵ１１１は、十字領域３０４（図３参照）を例えば縦横方向に２割拡大した領域の外側の画素領域を、絶対背景５０２と設定する。
絶対前景５０１とは、後述するＧｒａｐｈ Ｃｕｔｓ法におけるデータ項の前景コストを０、背景コストを最大値に設定することである。また、絶対背景５０２とは、そのデータ項の背景コストを０、前景コストを最大値に設定することである。
その他の画素領域５０３は、後述するように、主要被写体らしさを示す学習済みの第１のヒストグラムと、背景らしさを示す学習済みの第２のヒストグラムから設定する。
次に、ＣＰＵ１１１は、収束判定処理（図４のステップＳ４０３）（制御手段の機能）により収束判定条件が成立するまで、領域分割処理（図４のステップＳ４０２）（領域分割手段の機能）とデータ項の更新２の処理（図４のステップＳ４０４）（ヒストグラム更新手段の機能）を繰り返し実行する。
まず、図４のステップＳ４０２では、領域分割処理が実行されることにより、例えば図６に示されるように、主要被写体領域である前景（主要被写体）の領域６０１とそれ以外の領域である背景の領域６０２が分割される。すなわち、前景が切抜きされる。
ここでは、例えばＧｒａｐｈ Ｃｕｔｓ法により、スルー画像内の各画素に付与する前景または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、前景を示す画像から算出した画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景を示す画像から算出した画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、画像内で前景と背景が領域分割される。
Ｇｒａｐｈ Ｃｕｔｓ法により領域分割処理の詳細については後述する。
ここでは、例えばＧｒａｐｈ Ｃｕｔｓ法により、スルー画像内の各画素に付与する前景または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、前景を示す画像から算出した画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景を示す画像から算出した画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、画像内で前景と背景が領域分割される。
Ｇｒａｐｈ Ｃｕｔｓ法により領域分割処理の詳細については後述する。
一度領域分割処理が終了した後、収束判定が行われる（図４のステップＳ４０３）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。
・繰り返し回数が一定以上になった
・前回前景とされた領域面積と今回前景とされた領域の差が一定以下になった
・繰り返し回数が一定以上になった
・前回前景とされた領域面積と今回前景とされた領域の差が一定以下になった
ステップＳ４０３の判定で収束せず、その判定がＮＯであった場合、前回のグラフカット処理の状況に応じて、ユーザが指定した十字枠領域矩形枠内の後述するコスト関数ｇv (Ｘv )が、次のようにして修正されてデータ更新される（図４のステップＳ４０４）。
ＣＰＵ１１１は、表示部１２０に例えば図７（ａ）のように表示される画角が調整（図２のステップＳ２０２）され、領域分割（図４のステップＳ４０２で）が行われた、スルー画像上の十字枠領域３０４を拡大した図７（ｂ）の領域において、十字枠内で背景に領域分割された背景十字枠領域７０１、７０２、７０３、および７０４を処理対象とする。
ＣＰＵ１１１は、背景十字枠領域７０１、７０２、７０３、および７０４の各領域ごとに、前景らしいと判定される画素の割合を所定の複数種類の色（例えば１０色）別に算出する。具体的には、ＣＰＵ１１１は、背景十字枠領域７０１〜７０４の各領域内の画素ごとに、画素の彩度が所定の彩度閾値に比較して大きく、かつ画素の色に対応する前景らしさを示すヒストグラム（第１のヒストグラム）の値が所定のヒストグラム閾値に比較して大きい場合に、その画素が前景らしいと判定する。そして、ＣＰＵ１１１は、その画素の色に対応する前景らしさの画素数を示す計数値をインクリメントし、各背景十字枠領域７０１〜７０４内で背景に領域分割された画素についての判定が終了した後に、その各領域内での色ごとの前景らしさの画素数を示す計数値をその領域内で背景に領域分割された画素の総数で除算して得られる値を、その領域内でのその色についての前景らしいと判定される画素の割合として算出する。
次に、ＣＰＵ１１１は、複数種類の色のうち分割された背景十字枠領域７０１〜７０４のうちのいずれか２つ以上の領域で前景らしいと判定される画素の割合が所定の割合閾値に比較して大きくなる色について、その色に対する前景らしさを示すヒストグラムの値が大きくなるようにその値を更新する。
そして、ＣＰＵ１１１は、更新された前景らしさを示すヒストグラム（第１のヒストグラム）と、背景らしさを示すヒストグラム（第２のヒストグラム）を用いて、図４のステップＳ４０２の領域分割処理を繰り返し実行させる。
上述したステップＳ４０４のデータ項の更新２の処理の詳細については、図１３のフローチャートを用いて後述する。
図４のステップＳ４０３の判定が収束し、その判定がＹＥＳになると、図４のフローチャートで示される図２のステップＳ２０４の領域分割処理は終了とし、現在得られている前景領域が最終結果として出力される。
以上のようにして、ユーザは、十字枠を使った簡単な範囲指定操作で、最終的に精度よく花の領域を前景として切り抜くことが可能となる。
以下に、図４のステップＳ４０２の領域分割処理について、説明する。
いま、
を、要素Ｘv が画像Ｖにおける画素ｖ（１≦ｖ≦Ｖ）に対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが前景領域内にあれば要素Ｘv ＝０、背景領域内にあれば要素Ｘv ＝１となるバイナリベクトルである。すなわち、
である。
いま、
本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。
エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、前景領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝１となる画素ｖの集合が、背景領域（矩形枠外も含む）となる。
数３式のエネルギーを最小化するために、次式および図８で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。
ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図８中に示される、
と呼ばれる特殊なターミナルが追加される。このソースｓを前景領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（前景領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。
いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度前景領域らしいかを示す関係ととらえる。そして、その前景領域らしさを示すコスト値を、数３式第１項に対応付けて、
と定義する。ここで、θ（ｃ、０）は、画像の前景の領域から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図９（ａ）に示されるように予め得られている。すなわち、θ（ｃ、０）は、画像の前景らしさを示すヒストグラムである。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている前景領域のカラー画素値の中で出現回数が多いものほど、数６式で得られるコスト値が小さくなって、画素ｖが前景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。
次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、
と定義する。ここで、θ（ｃ、1）は、画像の背景の領域から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図９（ｂ）に示されるように予め得られている。すなわち、θ（ｃ、１）は、画像の背景らしさを示すヒストグラムである。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数６式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。
次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、
と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が同一（Ｘu ＝Ｘv ）となるように選択された場合における数８式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なる（Ｘu ≠Ｘv ）ように選択された場合における数８式のコスト値は、例えば図１０に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数８式で得られるコスト値が大きくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって前景領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数８式で得られるコスト値が小さくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が大きい場合には、前景領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される。
以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（前景領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。
そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、前景領域を得ることができる。
しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。
そこで、Ｇｒａｐｈ Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図１１は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図１１では、理解の容易化のために、画素ｖは一次元的に示されている。
図１１は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図１１では、理解の容易化のために、画素ｖは一次元的に示されている。
数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき前景領域中の画素では、数６式と数７式のうち、前景領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図１１の１１０２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図１１の１１０３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき前景領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。
ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。
これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が前景領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、前景領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図１１の１１０４のケース）。
以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図１１の１１０１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献１に記載されている手法を採用することができる。
そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち前景領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、前景領域が得られる。
図１２は、上述した動作原理に基づく図４のステップＳ４０２の領域分割処理を示すフローチャートである。
まず、スルー画像から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図１２のステップＳ１２０１）。
次に、ステップＳ１２０１で読み込まれた画素が、図４のステップＳ４０１で設定された絶対背景５０２（図５参照）の領域の範囲内の画素であるか否かが判定される（図１２のステップＳ１２０２）。
ステップＳ１２０２の判定がＹＥＳの場合には、前述した数６式、数７式、および数８式に基づいて、前景領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図１２のステップＳ１２０３、Ｓ１２０４、およびＳ１２０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の前景の領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。
一方、ステップＳ１２０２の判定がＮＯの場合には、絶対背景５０２の領域には前景領域はないため、そこが前景領域と判定されないようにするために、前景領域らしさを示すコスト値ｇv (Ｘv )が、次式のように一定の大きな値Ｋとされる。
ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図１２のステップＳ１２０６）。
また、絶対背景５０２の領域が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値ｇv (Ｘv )が、次式のように０とされる（図１２のステップＳ１２０７）。
さらに、絶対背景５０２の領域は全て背景領域であるため、ｈuv（Ｘu ,Ｘv ）の値は０とされる（図１２のステップＳ１２０８）。
以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図１２のステップＳ１２０９）。
処理すべき画素がありステップＳ１２０９の判定がＹＥＳならば、ステップＳ１２０１の処理に戻って、上記処理が繰り返される。
処理すべき画素がなくなりステップＳ１２０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数３式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、前景と背景が領域分割される（ステップＳ１２１０）。
図１３は、図４のステップＳ４０４のデータ項の更新２の処理を示すフローチャートである。
まず、ＣＰＵ１１１は、スルー画像上の十字枠（図３の３０１、３０２）内の画素（この画素を「画素ｉ」とする）を順次読み込む（図１３のステップＳ１３０１）。
次に、ＣＰＵ１１１は、画素ｉが図４のステップＳ４０２の領域分割処理により、背景に領域分割されているか否か、すなわち、図７（ｂ）の背景十字枠領域７０１〜７０４のいずれかであるか否かを判定する（図１３のステップＳ１３０２）。
なお、以下の処理は、図７（ｂ）の背景十字枠領域７０１〜７０４のそれぞれの領域ごとに個別に実行される。
なお、以下の処理は、図７（ｂ）の背景十字枠領域７０１〜７０４のそれぞれの領域ごとに個別に実行される。
ＣＰＵ１１１は、ステップＳ１３０２の判定がＮＯならば、ステップＳ１３０６に進んで、次の画素に対する処理が実行される。
ＣＰＵ１１１は、ステップＳ１３０２の判定がＹＥＳならば、まず、背景の数を計数するためのカウンタ変数Ｎ（初期値はＮ＝０）が＋１される（図１３のステップＳ１３０３）。
次に、ＣＰＵ１１１は、その画素ｉに対して、前景らしいか否かの判定を行う（図１３のステップＳ１３０４）。具体的には、ＣＰＵ１１１は、画素ｉの彩度Ｓａｔ（ｉ）が所定の彩度閾値Ｓth以上であり、かつ画素ｉのカラー画素値ｃ（ｉ）（前述したＩ（ｖ）に対応）に対応する前景らしさを示す前景らしさを示すヒストグラム（第１のヒストグラム）の値θ（ｃ（ｉ），０）が所定のヒストグラム閾値θth以上であるか否かを判定する。彩度が高いということはより花らしい傾向を示している。前景らしさを示すヒストグラムの値θ（ｃ（ｉ），０）が大きいということは、画素ｉのカラー画素値ｃ（ｉ）が前景の中に現れやすい傾向を示している。
なお、カラー画素値の種類は、適当なカラー数に縮退させて処理するのが望ましい。
なお、カラー画素値の種類は、適当なカラー数に縮退させて処理するのが望ましい。
ＣＰＵ１１１は、ステップＳ１３０４の判定がＮＯならば、ステップＳ１３０６の次の画素のための処理に進む。
ＣＰＵ１１１は、ステップＳ１３０４の判定がＹＥＳならば、画素ｉのカラー画素値ｃ（ｉ）に対応する前景らしいと判定された画素のうちカラー画素値がｃ（ｉ）である画素数を計数するためのカウンタ変数ｎc(i)の値を＋１する（図１３のステップＳ１３０５）。
ＣＰＵ１１１は、ステップＳ１３０５の処理の後、またはステップＳ１３０２またはＳ１３０４の判定がＮＯとなった後、次に処理すべき十字枠内の画素があるか否かを判定する（図１３のステップＳ１３０６）。
ＣＰＵ１１１は、次に処理すべき十字枠内の画素がまだありステップＳ１３０６の判定がＹＥＳの場合には、ｉを＋１して画素ｉを１つ進める（図１３のステップＳ１３０７）。そして、ＣＰＵ１１１は、ステップＳ１３０１の処理に戻り、次の画素ｉに対して、上記ステップＳ１３０１からＳ１３０６までの処理を実行する。
ＣＰＵ１１１は、次に処理すべき十字枠内の画素がなくなりステップＳ１３０６の判定がＮＯになった場合には、各カラー画素値ｃごとに、以下の処理を実行する。
ＣＰＵ１１１は、カラー画素値ｃについて、そのカラー画素値ｃが前景らしいことを示す計数値ｎc をそれが属する背景十字枠領域（図７の７０１から７０４のいずれか）に対応する背景画素の総数Ｎで除算した結果を、その背景十字枠領域におけるそのカラー画素値ｃについての前景らしいと判定される画素の割合として算出する。そして、ＣＰＵ１１１は、その割合が所定の割合閾値Ｒthよりも大きく、かつそのような条件が例えば図７の７０１、７０２、７０３，または７０４の４つのうちのいずれか２つ以上の背景十字枠領域に存在するか否かを判定する（以上、図１３のステップＳ１３０８）。
ＣＰＵ１１１は、ステップＳ１３０８の判定がＮＯならば、前景らしさを示すヒストグラムθ（ｃ，０）は更新せずに、ステップＳ１３１２の次のカラー画素値の処理に進む。
ＣＰＵ１１１は、ステップＳ１３０８の判定がＹＥＳならば、カラー画素値ｃに対応する前景らしさを示すヒストグラムθ（ｃ，０）の値がより大きくなってより前景らしさを示すように、その値を更新する。
具体的には、ＣＰＵ１１１は、まず、カラー画素値ｃに対応する前景らしさを示すヒストグラムθ（ｃ，０）が背景らしさを示すヒストグラムθ（ｃ，１）よりも大きいか否かを判定する（図１３のステップＳ１３０９）。
ＣＰＵ１１１は、図１３のステップＳ１３０９がＹＥＳならば、いままでのカラー画素値ｃに対応する前景らしさを示すヒストグラムθ（ｃ，０）の値を所定数倍、例えば２倍して、新たな前景らしさを示すヒストグラムθ（ｃ，０）の値に設定する（図１３のステップＳ１３１０）。
ＣＰＵ１１１は、図１３のステップＳ１３０９がＮＯならば、いままでのカラー画素値ｃに対応する背景らしさを示すヒストグラムθ（ｃ，１）の値を所定数倍、例えば２倍して、新たな前景らしさを示すヒストグラムθ（ｃ，０）の値に設定する（図１３のステップＳ１３１１）。
ＣＰＵ１１１は、ステップＳ１３１０またはＳ１３１１の処理の後、次のカラー画素値ｃがまだあるか否かを判定する（ステップＳ１３１２）。
ＣＰＵ１１１は、まだ処理すべてきカラー画素値ｃがありステップＳ１３１２の判定がＹＥＳならば、ｃを＋１してカラー画素値ｃを進める（図１３のステップＳ１３１３）。その後、ＣＰＵ１１１は、ステップＳ１３０８の処理に戻り、新たなカラー画素値ｃに対応する上述したステップＳ１３０８からＳ１３１２の前景らしさを示すヒストグラムθ（ｃ，０）の更新処理を繰り返し実行する。
ＣＰＵ１１１は、処理すべてきカラー画素値ｃがなくなりステップＳ１３１２の判定がＮＯになると、図１３のフローチャートで示される図４のステップＳ４０４のデータ項の更新２の処理を終了する。
以上のようにして、図７の背景十字枠領域７０１〜７０４の各画素が前景らしいか否かに基づいて、数６式の計算で使用される前景らしさを示すヒストグラムθ（ｃ，０）の値が更新されながら図４のステップＳ４０２の領域分割処理が繰り返し実行される。この結果、背景十字枠領域７０１〜７０４が例えば前景に含まれる領域であれば、その部分が正しく前景として領域分割されるように、処理を進めることが可能となる。
以上説明した本実施形態では、ユーザは十字枠という簡単な図形を使って例えば花の範囲を指定することが可能となり、同時に精度のよい領域分割処理を実現することが可能となるる。
また、前景らしさを示すヒストグラムθ（ｃ，０）の更新処理において判定される領域は、図７の背景十字枠領域７０１〜７０４として示されるように狭い領域でよく、従って判定処理される画素ｉの数も少ないため、高速な演算処理が可能となる。
また、前景らしさを示すヒストグラムθ（ｃ，０）の更新処理において判定される領域は、図７の背景十字枠領域７０１〜７０４として示されるように狭い領域でよく、従って判定処理される画素ｉの数も少ないため、高速な演算処理が可能となる。
前景としては、花に限られず、様々なオブジェクトを採用することができる。
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像内で主要被写体と該主要被写体以外の背景を領域分割する装置であって、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域が前記十字枠に概略合うように前記画像の画角を調整させる画角調整手段と、
該画角が調整された前記画像に対して前記領域分割手段による領域分割処理を実行した後、前記第１のヒストグラムを更新するヒストグラム更新手段と、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割手段による領域分割処理と前記ヒストグラム更新手段による前記第１のヒストグラムの更新処理を繰り返し実行させる制御手段と、
を備えることを特徴とする画像領域分割装置。
（付記２）
前記領域分割手段は、
前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割することを特徴とする付記１記載の画像領域分割装置。
（付記３）
前記ヒストグラム更新手段は、
前記画像の前記十字枠内で前記背景に領域分割された画素のうち前記主要被写体らしいと判定される画素の割合を所定の複数種類の色別に算出し、該複数種類の色のうちいずれか２つ以上の分割された十字枠領域で前記主要被写体らしいと判定される画素の割合が所定の閾値に比較して大きくなる色について、該色に対する前記第１のヒストグラムの値が大きくなるように該第１のヒストグラムを更新することを特徴とする付記１記載の画像領域分割装置。
（付記４）
前記画角調整手段は、ユーザに、前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に概略位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に概略収まるように、前記画像の画角を調整させる、
ことを特徴とする付記１記載の画像領域分割装置。
（付記５）
前記ヒストグラム更新手段は、前記画像の前記十字枠内で前記背景に領域分割された画素について、該画素の彩度が所定の閾値に比較して大きく、かつ該画素の色に対応する前記第１のヒストグラムの値が所定の閾値に比較して大きい場合に、該画素が前記主要被写体らしいと判定し、該画素の色に対応する主要被写体らしさの画素数を示す計数値をインクリメントし、前記各十字枠領域内で前記背景に領域分割された画素についての判定が終了した後に、該各十字枠領域内での前記色ごとの前記主要被写体らしさの画素数を示す計数値を該十字枠領域内で前記背景に領域分割された画素の総数で除算して得られる値を、該十字枠領域内での該色についての前記主要被写体らしいと判定される画素の割合として算出する、
ことを特徴とする付記１ないし４のいずれかに記載の画像領域分割装置。
（付記６）
前記ヒストグラム更新手段は、前記色に対する前記第１のヒストグラムの値が大きくなるように該第１のヒストグラムを更新する場合に、該色に対する前記第１のヒストグラムの値が該色に対する前記第２のヒストグラムの値に比較して大きければ、該色に対する第１のヒストグラムの値を所定倍した値を該色に対する新たな第１のヒストグラムの値として更新し、該色に対する前記第１のヒストグラムの値が該色に対する前記第２のヒストグラムの値に比較して大きくなければ、該第２のヒストグラムの値を所定倍した値を該色に対する新たな第１のヒストグラムの値として更新する、
ことを特徴とする付記１ないし５のいずれかに記載の画像領域分割装置。
（付記７）
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする付記１ないし６のいずれかに記載の画像領域分割装置。
（付記８）
前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１ないし７のいずれかに記載の画像領域分割装置。
（付記９）
画像内で主要被写体と該主要被写体以外の背景を領域分割する方法であって、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割し、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに、前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に概略位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に概略収まるように、前記画像の画角を調整させ、
該画角が調整された前記画像に対して前記領域分割の処理を実行した後、前記第１のヒストグラムを更新し、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割の処理と前記第１のヒストグラムの更新処理を繰り返し実行させる、
ことを特徴とする画像領域分割方法。
（付記１０）
画像内で主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域が前記十字枠に概略合うように前記画像の画角を調整させる画角調整ステップと、
該画角が調整された前記画像に対して前記領域分割ステップによる領域分割処理を実行した後、前記第１のヒストグラムを更新するヒストグラム更新ステップと、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割ステップによる領域分割処理と前記ヒストグラム更新ステップによる前記第１のヒストグラムの更新処理を繰り返し実行させる制御ステップと、
を実行させるためのプログラム。
（付記１）
画像内で主要被写体と該主要被写体以外の背景を領域分割する装置であって、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域が前記十字枠に概略合うように前記画像の画角を調整させる画角調整手段と、
該画角が調整された前記画像に対して前記領域分割手段による領域分割処理を実行した後、前記第１のヒストグラムを更新するヒストグラム更新手段と、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割手段による領域分割処理と前記ヒストグラム更新手段による前記第１のヒストグラムの更新処理を繰り返し実行させる制御手段と、
を備えることを特徴とする画像領域分割装置。
（付記２）
前記領域分割手段は、
前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割することを特徴とする付記１記載の画像領域分割装置。
（付記３）
前記ヒストグラム更新手段は、
前記画像の前記十字枠内で前記背景に領域分割された画素のうち前記主要被写体らしいと判定される画素の割合を所定の複数種類の色別に算出し、該複数種類の色のうちいずれか２つ以上の分割された十字枠領域で前記主要被写体らしいと判定される画素の割合が所定の閾値に比較して大きくなる色について、該色に対する前記第１のヒストグラムの値が大きくなるように該第１のヒストグラムを更新することを特徴とする付記１記載の画像領域分割装置。
（付記４）
前記画角調整手段は、ユーザに、前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に概略位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に概略収まるように、前記画像の画角を調整させる、
ことを特徴とする付記１記載の画像領域分割装置。
（付記５）
前記ヒストグラム更新手段は、前記画像の前記十字枠内で前記背景に領域分割された画素について、該画素の彩度が所定の閾値に比較して大きく、かつ該画素の色に対応する前記第１のヒストグラムの値が所定の閾値に比較して大きい場合に、該画素が前記主要被写体らしいと判定し、該画素の色に対応する主要被写体らしさの画素数を示す計数値をインクリメントし、前記各十字枠領域内で前記背景に領域分割された画素についての判定が終了した後に、該各十字枠領域内での前記色ごとの前記主要被写体らしさの画素数を示す計数値を該十字枠領域内で前記背景に領域分割された画素の総数で除算して得られる値を、該十字枠領域内での該色についての前記主要被写体らしいと判定される画素の割合として算出する、
ことを特徴とする付記１ないし４のいずれかに記載の画像領域分割装置。
（付記６）
前記ヒストグラム更新手段は、前記色に対する前記第１のヒストグラムの値が大きくなるように該第１のヒストグラムを更新する場合に、該色に対する前記第１のヒストグラムの値が該色に対する前記第２のヒストグラムの値に比較して大きければ、該色に対する第１のヒストグラムの値を所定倍した値を該色に対する新たな第１のヒストグラムの値として更新し、該色に対する前記第１のヒストグラムの値が該色に対する前記第２のヒストグラムの値に比較して大きくなければ、該第２のヒストグラムの値を所定倍した値を該色に対する新たな第１のヒストグラムの値として更新する、
ことを特徴とする付記１ないし５のいずれかに記載の画像領域分割装置。
（付記７）
前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする付記１ないし６のいずれかに記載の画像領域分割装置。
（付記８）
前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記１ないし７のいずれかに記載の画像領域分割装置。
（付記９）
画像内で主要被写体と該主要被写体以外の背景を領域分割する方法であって、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割し、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに、前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に概略位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に概略収まるように、前記画像の画角を調整させ、
該画角が調整された前記画像に対して前記領域分割の処理を実行した後、前記第１のヒストグラムを更新し、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割の処理と前記第１のヒストグラムの更新処理を繰り返し実行させる、
ことを特徴とする画像領域分割方法。
（付記１０）
画像内で主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域が前記十字枠に概略合うように前記画像の画角を調整させる画角調整ステップと、
該画角が調整された前記画像に対して前記領域分割ステップによる領域分割処理を実行した後、前記第１のヒストグラムを更新するヒストグラム更新ステップと、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割ステップによる領域分割処理と前記ヒストグラム更新ステップによる前記第１のヒストグラムの更新処理を繰り返し実行させる制御ステップと、
を実行させるためのプログラム。
１０１ デジタルカメラ
１０２ 撮像レンズ
１０３ 補正レンズ
１０４ レンズ駆動ブロック
１０５ 絞り兼用シャッタ
１０６ ＣＣＤ
１０７ 垂直ドライバ
１０８ ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ：タイミング発生回路）
１０９ ユニット回路
１１０、１１６、１１８、１１９、１２１、１２３ ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ
１１１ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）
１１２ キー入力部
１１３ メモリ
１１４ ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１１５ 通信部
１１７ 画像生成部
１２０ 表示部
１２２ 圧縮伸張部
１２４ フラッシュメモリ
１２５ バス
３０１、３０２ 十字枠
３０３ 十字枠の中心領域
３０４ 十字枠領域
５０１ 絶対前景
５０２ 絶対背景
５０３ その他の領域
６０１ 前景
６０２ 背景
７０１、７０２、７０３、７０４ 背景十字枠領域
１０２ 撮像レンズ
１０３ 補正レンズ
１０４ レンズ駆動ブロック
１０５ 絞り兼用シャッタ
１０６ ＣＣＤ
１０７ 垂直ドライバ
１０８ ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ：タイミング発生回路）
１０９ ユニット回路
１１０、１１６、１１８、１１９、１２１、１２３ ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ
１１１ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）
１１２ キー入力部
１１３ メモリ
１１４ ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１１５ 通信部
１１７ 画像生成部
１２０ 表示部
１２２ 圧縮伸張部
１２４ フラッシュメモリ
１２５ バス
３０１、３０２ 十字枠
３０３ 十字枠の中心領域
３０４ 十字枠領域
５０１ 絶対前景
５０２ 絶対背景
５０３ その他の領域
６０１ 前景
６０２ 背景
７０１、７０２、７０３、７０４ 背景十字枠領域
Claims (8)
- 画像内で主要被写体と該主要被写体以外の背景を領域分割する装置であって、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に収まるように、前記画像の画角を調整させる画角調整手段と、
該画角が調整された前記画像に対して前記領域分割手段による領域分割処理を実行した後、前記画像の前記十字枠内で前記背景に領域分割された画素のうち前記主要被写体らしいと判定される画素の割合を所定の複数種類の色別に算出し、該複数種類の色のうちいずれか２つ以上の分割された十字枠領域で前記主要被写体らしいと判定される画素の割合が所定の閾値に比較して大きくなる色について、該色に対する前記第１のヒストグラムの値が大きくなるように前記第１のヒストグラムを更新するヒストグラム更新手段と、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割手段による領域分割処理と前記ヒストグラム更新手段による前記第１のヒストグラムの更新処理を繰り返し実行させる制御手段と、
を備えることを特徴とする画像領域分割装置。 - 前記ヒストグラム更新手段は、前記画像の前記十字枠内で前記背景に領域分割された画素について、該画素の彩度が所定の閾値に比較して大きく、かつ該画素の色に対応する前記第１のヒストグラムの値が所定の閾値に比較して大きい場合に、該画素が前記主要被写体らしいと判定し、該画素の色に対応する主要被写体らしさの画素数を示す計数値をインクリメントし、前記各十字枠領域内で前記背景に領域分割された画素についての判定が終了した後に、該各十字枠領域内での前記色ごとの前記主要被写体らしさの画素数を示す計数値を該十字枠領域内で前記背景に領域分割された画素の総数で除算して得られる値を、該十字枠領域内での該色についての前記主要被写体らしいと判定される画素の割合として算出する、
ことを特徴とする請求項１に記載の画像領域分割装置。 - 前記ヒストグラム更新手段は、前記色に対する前記第１のヒストグラムの値が大きくなるように該第１のヒストグラムを更新する場合に、該色に対する前記第１のヒストグラムの値が該色に対する前記第２のヒストグラムの値に比較して大きければ、該色に対する第１のヒストグラムの値を所定倍した値を該色に対する新たな第１のヒストグラムの値として更新し、該色に対する前記第１のヒストグラムの値が該色に対する前記第２のヒストグラムの値に比較して大きくなければ、該第２のヒストグラムの値を所定倍した値を該色に対する新たな第１のヒストグラムの値として更新する、
ことを特徴とする請求項１又は２に記載の画像領域分割装置。 - 前記領域分割手段は、
前記画像内の各画素に付与する前記主要被写体または前記背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値ごとの第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値ごとの第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割することを特徴とする請求項１ないし３のいずれかに記載の画像領域分割装置。 - 前記第１のヒストグラムの初期値は、学習用の複数枚の前記主要被写体を示す画像の前記画素値ごとのヒストグラムとして算出し、
前記第２のヒストグラムの初期値は、学習用の複数枚の前記背景を示す画像の前記画素値ごとのヒストグラムとして算出する、
ことを特徴とする請求項４記載の画像領域分割装置。 - 前記領域分割手段は、Ｇｒａｐｈ Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする請求項４又は５に記載の画像領域分割装置。 - 画像内で主要被写体と該主要被写体以外の背景を領域分割する方法であって、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割し、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに、前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に収まるように、前記画像の画角を調整させ、
該画角が調整された前記画像に対して前記領域分割の処理を実行した後、前記画像の前記十字枠内で前記背景に領域分割された画素のうち前記主要被写体らしいと判定される画素の割合を所定の複数種類の色別に算出し、該複数種類の色のうちいずれか２つ以上の分割された十字枠領域で前記主要被写体らしいと判定される画素の割合が所定の閾値に比較して大きくなる色について、該色に対する前記第１のヒストグラムの値が大きくなるように前記第１のヒストグラムを更新し、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割の処理と前記第１のヒストグラムの更新処理を繰り返し実行させる、
ことを特徴とする画像領域分割方法。 - 画像内で主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
主要被写体らしさを示す第１のヒストグラムと背景らしさを示す第２のヒストグラムを用いて、前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
前記画像内に所定の画素幅を有する帯状の矩形領域の２本が十字に交わって形成される十字枠を表示し、ユーザに前記画像内の主要被写体の領域の中央が前記十字枠の中心領域に位置し、前記主要被写体の領域が前記十字枠の４方向端で囲まれる十字領域に収まるように、前記画像の画角を調整させる画角調整ステップと、
該画角が調整された前記画像に対して前記領域分割ステップによる領域分割処理を実行した後、前記画像の前記十字枠内で前記背景に領域分割された画素のうち前記主要被写体らしいと判定される画素の割合を所定の複数種類の色別に算出し、該複数種類の色のうちいずれか２つ以上の分割された十字枠領域で前記主要被写体らしいと判定される画素の割合が所定の閾値に比較して大きくなる色について、該色に対する前記第１のヒストグラムの値が大きくなるように前記第１のヒストグラムを更新するヒストグラム更新ステップと、
該更新された第１のヒストグラムおよび前記第２のヒストグラムを用いて、前記画像に対して前記領域分割ステップによる領域分割処理と前記ヒストグラム更新ステップによる前記第１のヒストグラムの更新処理を繰り返し実行させる制御ステップと、
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013053238A JP5846144B2 (ja) | 2013-03-15 | 2013-03-15 | 画像領域分割装置、方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013053238A JP5846144B2 (ja) | 2013-03-15 | 2013-03-15 | 画像領域分割装置、方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014178950A JP2014178950A (ja) | 2014-09-25 |
| JP5846144B2 true JP5846144B2 (ja) | 2016-01-20 |
Family
ID=51698816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013053238A Expired - Fee Related JP5846144B2 (ja) | 2013-03-15 | 2013-03-15 | 画像領域分割装置、方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5846144B2 (ja) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058952A (ja) * | 2010-09-08 | 2012-03-22 | Olympus Imaging Corp | 類似画像検索装置、カメラ、類似画像検索方法、およびプログラム |
-
2013
- 2013-03-15 JP JP2013053238A patent/JP5846144B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014178950A (ja) | 2014-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102277048B1 (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
| US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
| JP4862930B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US8472747B2 (en) | Image composition device, image composition method, and storage medium storing program | |
| JP4947136B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20180293735A1 (en) | Optical flow and sensor input based background subtraction in video content | |
| JP6198389B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| JP5673624B2 (ja) | オブジェクト検索装置、方法、およびプログラム | |
| JP2010183460A (ja) | 撮像装置およびその制御方法 | |
| US20220318958A1 (en) | Image processing apparatus and image processing method | |
| JP5846144B2 (ja) | 画像領域分割装置、方法、およびプログラム | |
| JP2023090492A (ja) | 画像処理装置および画像処理方法、撮像装置 | |
| JP5131399B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2014119725A (ja) | 露出、焦点制御装置、方法、およびプログラム | |
| JP2017130106A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| JP5375420B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5287965B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11843867B2 (en) | Imaging apparatus, imaging method, and storage medium for correcting brightness of an image based on a predetermined value of exposure | |
| JP6044130B2 (ja) | 画像領域分割装置、方法、およびプログラム | |
| JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
| JP5962491B2 (ja) | 画角調整装置、方法、およびプログラム | |
| JP6003383B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
| US8818094B2 (en) | Image processing apparatus, image processing method and recording device recording image processing program | |
| JP5789330B2 (ja) | 撮像装置およびその制御方法 | |
| WO2019013215A1 (ja) | 補正装置、撮像装置、補正装置の制御方法、および制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5846144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |