JP5786838B2 - 画像領域分割装置、方法、およびプログラム - Google Patents

画像領域分割装置、方法、およびプログラム Download PDF

Info

Publication number
JP5786838B2
JP5786838B2 JP2012261884A JP2012261884A JP5786838B2 JP 5786838 B2 JP5786838 B2 JP 5786838B2 JP 2012261884 A JP2012261884 A JP 2012261884A JP 2012261884 A JP2012261884 A JP 2012261884A JP 5786838 B2 JP5786838 B2 JP 5786838B2
Authority
JP
Japan
Prior art keywords
main subject
image
pixel
circular object
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012261884A
Other languages
English (en)
Other versions
JP2014006871A (ja
Inventor
松永 和久
和久 松永
雅行 広浜
雅行 広浜
浩一 中込
浩一 中込
道大 二瓶
道大 二瓶
小林 圭一
圭一 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012261884A priority Critical patent/JP5786838B2/ja
Publication of JP2014006871A publication Critical patent/JP2014006871A/ja
Application granted granted Critical
Publication of JP5786838B2 publication Critical patent/JP5786838B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像内で指定された画像範囲内の主要被写体とそれ以外の背景を領域分割する装置、方法、およびプログラムに関する。
野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている(例えば特許文献1に記載の技術)。
また、主要被写体を含む画像をGraph Cuts法を用いて主要被写体領域と背景領域とに分割する従来技術が知られている(例えば非特許文献1、特許文献2に記載の技術)。領域分割を行う場合,主要被写体他と背景の関係によりその境界が不明確な部分が存在する可能性があり,最適な領域分割を行う必要がある。そこで、この従来技術では、領域分割をエネルギーの最小化問題としてとらえ、その最小化手法を提案している。この従来技術では,領域分割に適合するようにグラフを作成し、そのグラフの最小カットを求めることにより、エネルギー関数の最小化を行う。この最小カットは、最大フローアルゴリズムを用いることにより、効率的な領域分割計算を実現している。
特開2002−203242号公報 特開2011−35636号公報
しかし、花などの同心円形状の画像を、背景領域から分割して切抜きを行う際、花の外側の背景部分に種々のパターンのエッジが存在し、背景領域を誤認しやすく、切り抜き精度が低下しやすいという問題点を有していた。
本発明は、主要被写体が円形物である場合に、主要被写体の中心から放射する方向の、切り抜き対象とは無関係のエッジの影響を排除して、主要被写体の切り抜き精度を上げることを目的とする。
態様の一例では、画像内で指定された画像範囲内の主要被写体とその主要被写体以外の背景を領域分割する装置であって、主要被写体が円形物であるか否かを判定する円形物判定手段と、画像範囲内の注目画素ごとに、主要被写体が円形物であると判定された場合に、画像範囲内の中央とその注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行ってその注目画素を出力し、主要被写体が円形物ではないと判定された場合に、その注目画素をそのまま出力するエッジ強調制御手段と、注目画素ごとにエッジ強調の制御を行った画像内で主要被写体と背景を領域分割する領域分割手段とを備える。
本発明によれば、主要被写体が円形物である場合に、主要被写体領域の中心から放射する方向の、切り抜き対象とは無関係のエッジの影響を排除して、主要被写体の切り抜き精度を上げることが可能となる。
本発明の一実施形態に係る画像領域分割装置のハードウェア構成例を示すブロック図である。 図1の画像領域分割装置の機能ブロック図である。 本実施形態の説明図である。 本実施形態による画像領域分割処理の全体動作を示すフローチャートである。 円形物判定処理の第1の実施形態を示すフローチャートである。 円形物判定処理の第1の実施形態の説明図である。 円形物判定処理の第2の実施形態を示すフローチャートである。 円形物判定処理の第2の実施形態の説明図である。 ゲイン算出処理の説明図である。 同心円強調フィルタ生成処理を示すフローチャートである。 重み付き有向グラフの説明図である。 ヒストグラムθの説明図である。 uv(Xu ,Xv )の特性図である。 t−linkとn−linkを有するグラフと、領域ラベルベクトルXおよびグラフカットとの関係を、模式的に示した図である。 領域分割処理を示すフローチャートである。
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態に係る画像領域分割装置101のハードウェア構成例を示すブロック図である。
この画像識別器生成装置101は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。
画像領域分割装置101は、CPU(Central Processing Unit:中央演算処理装置)102と、ROM(Read Only Memory)103と、RAM(Random Access Memory)104を備える。また、画像領域分割装置101は、ソリッド記憶装置等の外部記憶装置105と、通信インタフェース106と、タッチパネルディスプレイ装置などの入力装置107および表示装置108を備える。さらに、画像領域分割装置101は、マイクロSDメモリカードやUSB(Universal Serial Bus)メモリカードなどの可搬記録媒体110をセット可能な可搬記録媒体駆動装置109を備える。撮像装置112は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器102〜109および112は、バス111によって相互に接続される。
ROM103には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図4、図5、図7、図10、および図15のフローチャートによって示される画像領域分割処理の制御プログラムが記憶されている。CPU102は、ROM103から、この制御プログラムを読み出し、RAM104をワークメモリとして実行する。これにより、後述する図2の機能ブロックで示される画像領域分割機能が実現され、この結果、例えばユーザが、撮像装置112によって花などを撮像し、入力装置107で範囲してした画像範囲から、花などの主要被写体をそれ以外の背景から分割する画像領域分割処理が実行される。これにより得られた花などの主要被写体領域の画像データは、ユーザが例えば花の種類を検索するために、通信インタフェース106から特には図示しないインターネットを経由してインターネットに接続される画像検索サーバコンピュータに送信される。このコンピュータ上で、送られた主要被写体領域の花画像データに基づいて花のデータベースが検索される。その結果検索がヒットした花の図鑑情報が、その花の画像データとともにインターネットを経由して通信インタフェース106にて受信され、表示装置108に表示される。
なお、本実施形態による画像領域分割装置101は、携帯情報端末上ではなく、上記サーバコンピュータ上などに実現されてもよい。
図2は、図1の画像領域分割装置101の機能ブロック図である。
本実施形態における画像領域分割装置101は、画像内で例えばユーザによって矩形指定された画像範囲内で、花などの主要被写体とその主要被写体以外の背景を領域分割する装置として実現される。
円形物判定手段201は、主要被写体が円形物であるか否かを判定する。具体的には、この円形物判定手段201は、例えば画像内で主要被写体と背景を事前に領域分割する。次に、円形物判定手段201は、事前に領域分割された主要被写体が例えば矩形指定された画像範囲の境界線に接する率が第1の所定値に比較して小さいか否かを判定する。さらに、円形物判定手段201は、その接する率が第1の所定値に比較して小さいと判定された場合に、例えば矩形指定された画像範囲に内接する円の内側の領域をその円の中心とその円の円周上の複数の点とをそれぞれ結ぶ複数の線分によって複数の領域に分割し、それら複数の領域ごとに主要被写体に属する画素の数を計数する。そして、円形物判定手段201は、それら複数の領域ごとの計数の結果の最大値と最小値の差が第2の所定値に比較して小さい場合に、主要被写体が円形物であると判定する。あるいは、円形物判定手段201は、例えば矩形指定された画像範囲に内接する円内で支配的な色の分布状況が円形状であるか否かを判定することにより、主要被写体が円形物であるか否かを判定する。この場合、円形物判定手段201は、例えば矩形指定された画像範囲に内接する円の領域に属する画素値をサンプリングし、そのサンプリングされた画素値を2つのクラスタにクラスタリングし、そのクラスタリングされた大きい方のクラスタに属する画素を支配的な色に属する画素とする。そして、円形物判定手段201は、その支配的な色に属する画素について、画像上の分布の主成分分析を行い、その主成分分析で抽出された第1主成分の寄与率が例えば50から60%程度の範囲に入るときに、主要被写体が円形物であると判定する。ここで、寄与率とは、主成分分析における分散共分散行列の全ての固有値の和に対する第1固有値の割合を示す。
エッジ強調制御手段202は、円形物判定手段201によって主要被写体が円形物であると判定された場合に、画像範囲内の注目画素ごとに、画像範囲内の中央とその注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行ってその注目画素を出力する。また、エッジ強調制御手段202は、円形物判定手段201によって主要被写体が円形物ではないと判定された場合に、その注目画素をそのまま出力する。具体的には、エッジ強調制御手段202は、円形物判定手段201によって主要被写体が円形物であると判定された場合に、次の処理を実行する。まず、エッジ強調制御手段202は、例えばユーザによって矩形指定された画像範囲内の注目画素ごとに、画像範囲内の中央とその注目画素を結ぶ放射線に対してエッジ強調の微分演算を行う方向がなす角度に応じたゲインを算出する。より具体的には、このゲイン算出手段201は例えば、ゲインを、角度の余弦値の絶対値を1から減算して得た値に基づいて決定する。そして、エッジ強調制御手段202は、上記注目画素ごとに、エッジ強調の微分演算を行い、その微分演算の結果に、ゲイン算出手段201にてその微分演算を行う方向がなす角度に応じて算出されているゲインにより重み付けを行い、その重み付けがされた微分演算の結果に基づいて、注目画素に対してエッジを強調する処理を行って注目画素を出力する。
領域分割手段203は、注目画素ごとにエッジ強調の制御を行った画像内で主要被写体と背景を領域分割する。具体的には、領域分割手段203は、注目画素ごとにエッジ強調制御手段202にてエッジ強調の制御を行った画像範囲内の各画素に付与する主要被写体または背景を示す領域ラベル値を更新しながら、その領域ラベル値とエッジ強調の制御を行った画素値とに基づいて、主要被写体らしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数を定義し、その関数の最小化処理により画像内で主要被写体と前記背景を領域分割する。この領域分割手段203は例えば、Graph Cuts法によりエネルギー関数の最小化処理を実行する。
図2に示される本実施形態における画像領域分割装置101の機能構成により、主要被写体が花などの同心円形状の画像の切り抜きを行う際、花の外側の背景部分に種々のパターンのエッジが存在し、背景領域を誤認しやすい場合でも、円形物判定手段201により主要被写体が円形物であると判定され、その判定に基づいてエッジ強調制御手段202が、同心円のエッジを強調するフィルタ処理を実行することができる。この場合、エッジ強調制御手段202がエッジ強調処理を実行する際に、花の中心から放射する方向の切り抜き対象とは無関係のエッジ強調を弱め、逆に放射線と直交する同心円方向のエッジをより強調する処理を行う。この結果、その後に実行される領域分割手段203における領域分割処理において、背景領域を主要被写体領域と誤認識する等の割合が減少し、主要被写体領域と背景領域のエッジ境界部分における切り抜き精度を向上させることが可能となる。
例えば、図3のような花の画像の例において、301の部分ではエッジを強調し、302の部分では誤抽出を防ぐためにエッジを平滑化したい。このような場合に、本実施形態では、花の中心から同心円状に存在するエッジ301の部分をより強調し、エッジ302の部分は強調を弱めることができるため、例えば花の下の茎の部分を誤抽出するようなことを防ぐことが可能となる。
また、本実施形態では、主要被写体が円形物でない花や群生する花などの場合には、円形物判定手段201が主要被写体が円形物ではないと判定することにより、エッジ強調制御手段202によって不要なエッジ強調が行われないようにして、領域分割手段203における領域分割処理の精度を維持することが可能となる。
図4は、本実施形態による画像領域分割処理の全体動作を示すフローチャートである。このフローチャートの処理は、図5、図7、図10および図15の詳細処理を示すフローチャートの処理とともに、図1のCPU102が、ROM103に記憶された制御プログラムを、RAM104をワークメモリとして使用しながら実行する処理として実現される。
まず、矩形枠決定処理が実行される(図4のステップS401)。この処理では、ユーザが、例えば図1の撮像装置112にて撮像した画像に対して、認識したい物体(例えば花)が存在するおおよその領域に対して、例えばタッチパネル等の入力装置107を用いて、矩形枠を指定する。例えば、タッチパネル上での、いわゆる指によるピンチ動作である。
次に、円形物判定処理が実行される(図4のステップS402)。この処理は、図2の円形物判定手段201の機能を実現する。この処理の詳細は、図5〜図8で後述する。
ステップS402での円形物判定処理の結果、主要被写体が円形物であるか否かが判定される(図4のステップS403)。主要被写体が円形物であってステップS403の判定がYESならば、同心円エッジ強調フィルタ生成処理が実行される(図4のステップS404)。この処理では、同心円方向のエッジを強調するフィルタが適用される。この処理の詳細は、図9、図10で後述する。主要被写体が円形物であってステップS403の判定がNOならば、ステップS404の同心円エッジ強調フィルタ生成処理はスキップされる。ステップS403とS404の処理は、図2のエッジ強調制御手段202の機能を実現する。
ステップS404の後またはステップS403の判定がNOとなった後、画像範囲内の各画素に対して、主要被写体と前記背景を領域分割する領域分割処理が実行される(図4のステップS405)。この処理は、図2の領域分割手段203の機能を実現する。この処理については、図11〜図15で後述する。
一度領域分割処理が終了した後、収束判定が行われる(図4のステップS406)。この収束判定は、以下のいずれかが満たされたときに、YESの判定結果となる。
・繰り返し回数が一定以上になった
・前回前景とされた領域面積と今回前景とされた領域の差が一定以下
ステップS406の判定で収束せず、その判定がNOであった場合、前回のグラフカット処理の状況に応じて、ユーザが指定した矩形枠内の後述するコスト関数gv (Xv )が、次のようにして修正されてデータ更新される(図4のステップS407)。ステップS405のグラフカット処理によって主要被写体と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ(c,0)が、カラー画素値cごとに混合(加算)される。これにより、新たな主要被写体らしさを示すヒストグラムθ(c,0)が生成され、それに基づいて新たなコスト関数gv (Xv )が計算される(後述する数6、9、10式等を参照)。
ステップS406の判定が収束し、その判定がYESになると、図4のフローチャートで示される領域分割処理は終了とし、現在得られている主要被写体領域が最終結果として出力される。
図4のステップS402の円形物判定処理の詳細について、以下に説明する。
図5および図6は、図4のステップS402の円形物判定処理の第1の実施形態を示すフローチャートおよびその説明図である。
まず、例えば入力されている画像内のユーザによって例えば矩形指定された画像範囲内で、主要被写体と背景が事前に領域分割される(図5のステップS501)。領域分割のアルゴリズムとしては、例えば図4のステップS405と同様の後述するGraph Cuts法を採用することができる。この領域分割の結果、例えば図6(a)に示される矩形の画像範囲601内で、主要被写体である花の領域602とその周囲の領域603が事前におおかまに領域分割される。
次に、事前に領域分割された主要被写体が例えば矩形指定された画像範囲の境界線に接する率(接着率)が一定値以下(第1の所定値に比較して小さい)か否かが判定される(図5のステップS502)。
接着率が一定値以下と判定されステップS502の判定がYESの場合、例えば矩形指定された画像範囲に内接する円の内側の領域が、その円の中心とその円の円周上の例えば8個の複数の点とをそれぞれ結ぶ例えば8本の複数の線分によって、例えば図6(b)の8つの領域604(#1)〜604(#8)として示される複数の領域に分割される。そして、これらの複数の領域ごとに、主要被写体に属する画素の数が計数され、例えば図6(c)の8つのビン値605(#1)〜605(#8)として示されるヒストグラムが作成される(以上、図5のステップS503)。
そして、ステップS503で作成されたヒストグラム中の例えば図6(c)の8つのビン値605(#1)〜605(#8)のうち、最大値と最小値の差分が算出され、その差分が一定値以内(第2の所定値に比較して小さい)か否かが判定される(図5のステップS504)。
この結果、ステップS504の判定がYESの場合に、入力された画像中の主要被写体は円形物であると判定される(図5のステップS505)。
接着率が一定値以下ではないと判定されステップS502の判定がNOの場合、またはヒストグラム中の最大値と最小値の差分が一定値以内ではなくステップS504の判定がNOの場合には、入力された画像中の主要被写体は円形物ではないと判定される(図5のステップS506)。
以上の図5および図6で説明した円形物判定処理の第1の実施形態により、例えば矩形指定された画像範囲の内接円中で、放射状に広がる複数の領域604(#1)〜604(#8)に、主要被写体の画素がほぼ均一して分布しているか否かを判定することにより、画像範囲中の主要被写体が円形物であるか否かを判定することが可能となる。
図7および図8は、図4のステップS402の円形物判定処理の第2の実施形態を示すフローチャートおよびその説明図である。
まず、例えば入力されている画像内のユーザによって例えば矩形指定された画像範囲に内接する円の領域に属する画素値(例えばRGB値)がサンプリングされる(図7のステップS701)。例えば、図8(a)に示される矩形の画像範囲801に内接する内接円802の領域内の画素値がサンプリングされる。
次に、ステップS701でサンプリングされた画素値が、例えばRGBの色空間上で2つのクラスタにクラスタリングされる。クラスタリングの手法としては、例えばk−means法を採用することができる。そして、クラスタリングされた大きい方のクラスタに属する画素が支配色(支配的な色)に属する画素とされる(以上、図7のステップS702)。
さらに、上述の支配色に属する画素が画像の内接円802の領域上にプロットされ、そのプロットの分布の主成分分析が実行される(図7のステップS703)。この結果、例えば図8(b)に示されるように、画像上の内接円802の領域内の複数の黒丸で示されるプロットに対して主成分分析が実行され、例えば第1主成分803、第2主成分804が算出される。
そして、ステップS703での主成分分析で抽出された第1主成分の寄与率が例えば50から60%程度の範囲に入るか否かが判定される(図7のステップS704)。
第1主成分の寄与率が例えば50から60%程度の範囲に入りステップS704の判定がYESならば、主要被写体は円形物であると判定される(図7のステップS705)。
第1主成分の寄与率が例えば50から60%程度の範囲に入らずステップS704の判定がNOならば、主要被写体は円形物ではないと判定される(図7のステップS706)。
以上の図7および図8で説明した円形物判定処理の第2の実施形態により、例えば矩形指定された画像範囲の内接円中で、例えば第1主成分803と第2主成分804の寄与率がほぼ拮抗しているか否かにより主要被写体の支配色を有する画素がほぼ均一に分布しているか否かを判定することにより、画像範囲中の主要被写体が円形物であるか否かを判定することが可能となる。
次に、図4のステップS402およびS403で主要被写体が円形物であると判定されたときに実行される、図4のステップS404の同心円エッジ強調フィルタ生成処理の詳細について、以下に説明する。
本実施形態では、主要被写体が円形物であると判定された場合には、下記数1式に示される重み付け(Gain)で、エッジ強調が行われる。
この数1式において、P(xf,yf)は、エッジ強調フィルタ処理がされる注目画素の座標(xf,yf)における画素値である。この画素値は例えば、RGBのカラー画像データからYUV変換により変換された輝度値である。次に、座標(xd,yd)は、注目画素(xf,yf)に対するエッジ演算対象画素のオフセット値であり、例えばxd=±1、yd=±1である。エッジ強調が実行される際、例えば、注目画素に対して、注目画素と隣接画素の差分(エッジ成分)を加算する方法が一般的であるが、本実施形態では、そのエッジ成分を加算する際、数1式に示されるように、エッジの方向によって、重み付けGainが、下記数2式に従って、変更される。
図9は、数2式に基づくゲイン算出処理の説明図である。数2式では、ユーザによって指定された画像範囲である矩形範囲901の中央902から注目画素903に向かう放射線904に対するエッジの微分方向905の角度φは、
によって算出される。そして、数2式では、角度φに対して余弦(コサイン)の絶対値を計算した値を1から引いている。そして、Gainは、数2式に示されるようにして、注目画素の座標(xf,yf)と、注目画素に対するエッジ演算対象画素のオフセット座標(xd,yd)によって算出することができる。簡単のため、定数a=1,b=0で説明する。数2式のGainは、エッジの微分方向905が放射線904と同じ方向(φ=0)のときは、1−cos0=1−1=0となって、まったく強調されなくなる。エッジの微分方向905が放射線904と垂直方向の差分(φ=π/2ラジアン=90度)のときには、Gainは、1−cos(π/2)=1−0=1となり、放射線904と直交する同心円の円周方向のエッジ微分値に重み付けすることが可能となる。
図10は、図4のステップS404の同心円強調フィルタ生成処理を示すフローチャートである。
まず、前述した数2式および数3式により、ゲインが算出される(図10のステップS1001)。
次に、前述した数1式により、エッジ強調処理により、エッジ強調が実行される(図10のステップS1002)。
次に、図4のステップS405の領域分割処理について、説明する。
いま、
を、要素Xv がエッジ強調後の画像Vにおける画素vに対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素vが主要被写体領域内にあれば要素Xv =0、背景領域内にあれば要素Xv =1となるバイナリベクトルである。すなわち、
である。
本実施形態において実行される領域分割処理は、画像Vにおいて、次式で定義されるエネルギー関数E(X)を最小にするような数4式の領域ラベルベクトルXを求める処理である。
エネルギー最小化処理が実行される結果、領域ラベルベクトルX上で領域ラベル値Xv =0となる画素vの集合として、主要被写体領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルX上で領域ラベル値Xv =1となる画素vの集合が、背景領域(矩形枠外も含む)となる。
数6式のエネルギーを最小化するために、次式および図11で示される重み付き有向グラフ(以下「グラフ」と略す)を定義する。
ここで、Vはノード(node)、Eはエッジ(edge)である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードVに対応する。また、画素以外のノードとして、次式および図11中に示される、
と呼ばれる特殊なターミナルが追加される。このソースsを主要被写体領域、シンクtを背景領域に対応付けて考える。また、エッジEは、ノードV間の関係を表現している。周辺の画素との関係を表したエッジEをn−link、各画素とソースs(主要被写体領域に対応)またはシンクt(背景領域に対応)との関係を表したエッジEをt−linkと呼ぶ。
いま、ソースsと各画素に対応するノードとを結ぶ各t−linkを、各画素がどの程度主要被写体領域らしいかを示す関係ととらえる。そして、その主要被写体領域らしさを示すコスト値を、数6式第1項に対応付けて、
と定義する。ここで、θ(c、0)は、学習用に用意した複数枚(数百枚程度)の主要被写体領域画像から算出したカラー画素値cごとのヒストグラム(出現回数)を示す関数データであり、例えば図12(a)に示されるように予め得られている。なお、θ(c、0)の全カラー画素値cにわたる総和は1になるように正規化されているものとする。また、I(v)は、エッジ強調制御(図4のステップS402〜S404の処理)の後の入力画像の各画素vにおけるカラー(RGB)画素値である。数9式において、θ(I(v)、0)の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要被写体領域のカラー画素値の中で出現回数が多いものほど、数9式で得られるコスト値が小さくなって、画素vが主要被写体領域中の画素らしいことを意味し、数6式のエネルギー関数E(X)の値を押し下げる結果となる。
次に、シンクtと各画素に対応するノードとを結ぶ各t−linkを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数6式第1項に対応付けて、
と定義する。ここで、θ(c、1)は、学習用に用意した複数枚(数百枚程度)の背景領域画像から算出したカラー画素値cごとのヒストグラム(出現度数)を示す関数データであり、例えば図12(b)に示されるように予め得られている。なお、θ(c、1)の全カラー画素値cにわたる総和は1になるように正規化されているものとする。I(v)は、数9式の場合と同様に、エッジ強調制御(図4のステップS402〜S404の処理)の後の入力画像の各画素vにおけるカラー(RGB)画素値である。数9式において、θ(I(v)、1)の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数10式で得られるコスト値が小さくなって、画素vが背景領域中の画素らしいことを意味し、数6式のエネルギー関数E(X)の値を押し下げる結果となる。
次に、各画素に対応するノードとその周辺画素との関係を示すn−linkのコスト値を、数6式第2項に対応付けて、
と定義する。ここで、dist(u,v)は、画素vとその周辺画素uのユークリッド距離を示しており、κは所定の係数である。また、I(u)およびI(v)は、入力画像の各画素uおよびvにおける各カラー(RGB)画素値である。画素vおよびその周辺画素uの各領域ラベル値Xu およびXv が同一(Xu =Xv )となるように選択された場合における数11式のコスト値は0とされて、エネルギーE(X)の計算には影響しなくなる。一方、画素vとその周辺画素uの各領域ラベル値Xu およびXv が異なる(Xu ≠Xv )ように選択された場合における数11式のコスト値は、例えば図13に示される特性を有する関数特性となる。すなわち、画素vおよびその周辺画素uの各領域ラベル値Xu およびXv が異なっていて、かつ画素vおよびその周辺画素uのカラー画素値の差I(u)−I(v)が小さい場合には、数11式で得られるコスト値が大きくなる。この場合には、数6式のエネルギー関数E(X)の値が押し上げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要被写体領域または背景領域はなるべく変化しないように、制御される。一方、画素vおよびその周辺画素uの各領域ラベル値Xu およびXv が異なっていて、かつ画素vおよびその周辺画素uのカラー画素値の差I(u)−I(v)が大きい場合には、数11式で得られるコスト値が小さくなる。この場合には、数6式のエネルギー関数E(X)の値が押し下げられる結果となる。言い換えれば、近傍画素間で、カラー画素値の差が大きい場合には、主要被写体領域と背景領域の境界らしいことを意味し、画素vとその周辺画素uとで、領域ラベル値が異なる方向に制御される。
以上の定義を用いて、入力画像の各画素vごとに、数9式によって、ソースsと各画素vとを結ぶt−linkのコスト値(主要被写体領域らしさ)が算出される。また、数10式によって、シンクtと各画素vとを結ぶt−linkのコスト値(背景領域らしさ)が算出される。さらに、入力画像の各画素vごとに、数11式によって、画素vとその周辺例えば8方向の各8画素とを結ぶ8本のn−linkのコスト値(境界らしさ)が算出される。
そして、理論的には、数4式の領域ラベルベクトルXの全ての領域ラベル値の0または1の組合せごとに、各領域ラベル値に応じて上記数9式、数10式、および数11式の計算結果が選択されながら数6式のエネルギー関数E(X)が計算される。そして、全ての組合せの中でエネルギー関数E(X)の値が最小となる領域ラベルベクトルXを選択することにより、領域ラベルベクトルX上で領域ラベル値Xv =0となる画素vの集合として、主要被写体領域を得ることができる。
しかし実際には、領域ラベルベクトルXの全ての領域ラベル値の0または1の組合せ数は、2の画素数乗通りあるため、現実的な時間でエネルギー関数E(X)の最小化処理を計算することができない。
そこで、Graph Cuts法では、次のようなアルゴリズムを実行することにより、エネルギー関数E(X)の最小化処理を現実的な時間で計算することを可能にする。
図14は、上述した数9式、数10式で定義されるt−linkと数11式で定義されるn−linkを有するグラフと、領域ラベルベクトルXおよびグラフカットとの関係を、模式的に示した図である。図14では、理解の容易化のために、画素vは一次元的に示されている。
数6式のエネルギー関数E(X)の第1項の計算で、領域ラベルベクトルX中の領域ラベル値が0となるべき主要被写体領域中の画素では、数9式と数10式のうち、主要被写体領域中の画素らしい場合により小さな値となる数9式のコスト値のほうが小さくなる。従って、ある画素において、ソースs側のt−linkが選択されシンクt側のt−linkがカットされて(図14の1402のケース)、数9式を用いて数6式のE(X)の第1項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては0が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
逆に、領域ラベルベクトルX中の領域ラベル値が1となるべき背景領域中の画素では、数9式と数10式のうち、背景領域中の画素らしい場合により小さな値となる数10式のコスト値のほうが小さくなる。従って、ある画素において、シンクt側のt−linkが選択されソースs側のt−linkはカットされて(図14の1403のケース)、数10式を用いて数6式のE(X)の第1項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては1が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
一方、数6式のエネルギー関数E(X)の第1項の計算に係る上記グラフカット処理により、領域ラベルベクトルX中の領域ラベル値が0または1で連続すべき主要被写体領域内部または背景領域内部の画素間では、数11式のコスト値が0となる。従って、数11式の計算結果は、エネルギー関数E(X)の第2項のコスト値の計算には影響しない。また、その画素間のn−linkは、数11式がコスト値0を出力するように、カットされずに維持される。
ところが、エネルギー関数E(X)の第1項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が0と1の間で変化した場合に、それらの画素間のカラー画素値の差が小さければ、数11式のコスト値が大きくなる。この結果、数6式のエネルギー関数E(X)の値が押し上げられる。このようなケースは、同一領域内で第1項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数E(X)の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数11式の計算結果が、上記結果を維持するように、それらの画素間のn−linkは、カットされずに維持される。
これに対して、エネルギー関数E(X)の第1項の計算に係る上記グラフカット処理により、近傍画素間で、領域ラベル値が0と1の間で変化した場合に、それらの画素間のカラー画素値の差が大きければ、数11式のコスト値が小さくなる。この結果、数6式のエネルギー関数E(X)の値が押し下げられる。このようなケースは、それらの画素部分が主要被写体領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要被写体領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のn−linkがカットされて、数6式の第2項のコスト値が0にされる(図14の1404のケース)。
以上の判定制御処理が、ソースsのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図14の1401で示されるようなグラフカットが実行され、エネルギー関数E(X)の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、非特許文献1に記載されている手法を採用することができる。
そして、各画素ごとに、ソースs側のt−linkが残っていれば、その画素の領域ラベル値として0、すなわち主要被写体領域の画素を示すラベルが付与される。逆に、シンクt側のt−linkが残っていれば、その画素の領域ラベル値として1、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が0となる画素の集合として、主要被写体領域が得られる。
図15は、上述した動作原理に基づく図4のステップS405の領域分割処理を示すフローチャートである。
まず、エッジ強調制御(図4のステップS402〜S404の処理)の後の画像から、カラー画素値I(V)が1つずつ読み込まれる(図15のステップS1501)。
次に、ステップS1501で読み込まれた画素が、ユーザによって指定された矩形枠内の画素であるか否かが判定される(図15のステップS1502)。
ステップS1502の判定がYESの場合には、前述した数9式、数10式、および数11式に基づいて、主要被写体領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される(図15のステップS1503、S1504、およびS1505)。
一方、ステップS1502の判定がNOの場合には、矩形の枠外には主要被写体領域はないため、そこが主要被写体領域と判定されないようにするために、主要被写体領域らしさを示すコスト値gv (Xv )が、次式のように一定の大きな値Kとされる。
ここで、Kは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく(以上、図15のステップS1506)。
また、矩形の枠外が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値gv (Xv )が、次式のように0とされる(図15のステップS1507)。
さらに、矩形の枠外は全て背景領域であるため、huv(Xu ,Xv )の値は0とされる(図15のステップS1508)。
以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される(図15のステップS1509)。
処理すべき画素がありステップS1509の判定がYESならば、ステップS1501の処理に戻って、上記処理が繰り返される。
処理すべき画素がなくなりステップS1509の判定がNOになると、画像内の全ての画素について求まったコスト値を用いて、数6式のエネルギー関数E(X)が計算されながら、Graph Cutsアルゴリズムが実行され、主要被写体と背景が領域分割される(ステップS1510)。
以上説明した実施形態では、円形物の判定アルゴリズムとして、図5および図6で説明した主要被写体の事前切抜きおよびヒストグラムのビン値の比較による第1の実施形態の手法、または支配色を有する画素分布の主成分分析に基づく第1主成分の寄与率の判定による第2の実施形態の手法を説明した。しかしながら、このほか画像範囲内の主要被写体が円形物であるか否かを判定する手法として、種々の手法を採用することが可能である。
また、上述の実施形態では、エッジ強調の実行時にエッジ強調フィルタのゲインが変動させられたが、平滑化フィルタhuv(Xu ,Xv )のゲインがエッジ強調フィルタの逆特性(放射方向のゲインを上げ、同心円方向のゲインを下げる)に変動させられる形態が採用されてもよい。
さらに、上述の実施形態では、数2式においてエッジ強調のゲインを算出するための係数aが固定にされたが、図9における矩形範囲901の中央902と注目画素903との距離に比例させる方法により、遠い放射方向ほどゲインを下げるにしてもよい。
以上の実施形態に関して、更に以下の付記を開示する。
(付記1)
画像内で指定された画像範囲内の主要被写体と該主要被写体以外の背景を領域分割する装置であって、
前記主要被写体が円形物であるか否かを判定する円形物判定手段と、
前記画像範囲内の注目画素ごとに、前記主要被写体が円形物であると判定された場合に、前記画像範囲内の中央と該注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行って該注目画素を出力し、前記主要被写体が円形物ではないと判定された場合に、該注目画素をそのまま出力するエッジ強調制御手段と、
前記注目画素ごとに前記エッジ強調の制御を行った前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
を備えることを特徴とする画像領域分割装置。
(付記2)
前記画像範囲は矩形範囲であり、
前記円形物判定手段は、
前記画像内で前記主要被写体と前記背景を事前に領域分割し、
前記事前に領域分割された前記主要被写体が前記画像範囲の境界線に接する率が第1の所定値に比較して小さいか否かを判定し、
前記接する率が前記第1の所定値に比較して小さいと判定された場合に、前記画像範囲に内接する円の内側の領域を該円の中心と該円の円周上の複数の点とをそれぞれ結ぶ複数の線分によって複数の領域に分割し、
該複数の領域ごとに前記主要被写体に属する画素の数を計数し、
前記複数の領域ごとの前記計数の結果の最大値と最小値の差が第2の所定値に比較して小さい場合に、前記主要被写体が円形物であると判定する、
ことを特徴とする付記1に記載の画像領域分割装置。
(付記3)
前記画像範囲は矩形範囲であり、
前記円形物判定手段は、前記画像範囲に内接する円内で支配的な色の分布状況が円形状であるか否かを判定することにより、前記主要被写体が円形物であるか否かを判定する、
ことを特徴とする付記1に記載の画像領域分割装置。
(付記4)
前記円形物判定手段は、
前記画像範囲に内接する円の領域に属する画素値をサンプリングし、
該サンプリングされた画素値を2つのクラスタにクラスタリングし、
該クラスタリングされた大きい方のクラスタに属する画素を前記支配的な色に属する画素とし、
該支配的な色に属する画素について、前記画像上の分布の主成分分析を行い、
該主成分分析で抽出された第1主成分の寄与率に基づいて、前記主要被写体が円形物であるか否かを判定する、
ことを特徴とする付記3に記載の画像領域分割装置。
(付記5)
前記エッジ強調制御手段は、
前記画像範囲内の注目画素ごとに、前記主要被写体が円形物であると判定された場合に、前記画像範囲内の中央と該注目画素を結ぶ放射線に対してエッジ強調の微分演算を行う方向がなす角度に応じたゲインを算出するゲイン算出手段と、
前記注目画素ごとに、前記主要被写体が円形物であると判定された場合に、前記エッジ強調の微分演算を行い、該微分演算の結果に、該微分演算を行う方向がなす前記角度に応じて算出されている前記ゲインにより重み付けを行い、該重み付けがされた前記微分演算の結果に基づいて、前記注目画素に対して前記エッジを強調する処理を行って該注目画素を出力するエッジ強調手段と、
をさらに備えることを特徴とする付記1ないし4のいずれかに記載の画像領域分割装置。
(付記6)
前記ゲイン算出手段は、前記ゲインを、前記角度の余弦値の絶対値を1から減算して得た値に基づいて決定する、
ことを特徴とする付記5に記載の画像領域分割装置。
(付記7)
前記領域分割手段は、前記注目画素ごとに前記エッジ強調を行った前記画像範囲内の各画素に付与する前記主要被写体または前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記エッジ強調を行った画素値とに基づいて、前記主要被写体らしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数を定義し、該関数の最小化処理により前記画像内で前記主要被写体と前記背景を領域分割する、
ことを特徴とする付記1ないし6のいずれかに記載の画像領域分割装置。
(付記8)
前記領域分割手段は、Graph Cuts法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記7に記載の画像領域分割装置。
(付記9)
画像内で指定された画像範囲内の主要被写体と該主要被写体以外の背景を領域分割する方法であって、
前記主要被写体が円形物であるか否かを判定する円形物判定ステップと、
前記画像範囲内の注目画素ごとに、前記主要被写体が円形物であると判定された場合に、前記画像範囲内の中央と該注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行って該注目画素を出力し、前記主要被写体が円形物ではないと判定された場合に、該注目画素をそのまま出力するエッジ強調制御ステップと、
前記注目画素ごとに前記エッジ強調の制御を行った前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
を実行することを備えることを特徴とする画像領域分割方法。
(付記10)
画像内で指定された画像範囲内の主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
前記主要被写体が円形物であるか否かを判定する円形物判定ステップと、
前記画像範囲内の注目画素ごとに、前記主要被写体が円形物であると判定された場合に、前記画像範囲内の中央と該注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行って該注目画素を出力し、前記主要被写体が円形物ではないと判定された場合に、該注目画素をそのまま出力するエッジ強調制御ステップと、
前記注目画素ごとに前記エッジ強調の制御を行った前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
を実行させるためのプログラム。
101 画像識別器生成装置
102 CPU
103 ROM
104 RAM
105 外部記憶装置
106 通信インタフェース
107 入力装置
108 表示装置
109 可搬記録媒体駆動装置
110 可搬記録媒体
111 バス
112 撮像装置
201 円形物判定手段
202 エッジ強調制御手段
203 領域分割手段

Claims (10)

  1. 画像内で指定された画像範囲内の主要被写体と該主要被写体以外の背景を領域分割する装置であって、
    前記主要被写体が円形物であるか否かを判定する円形物判定手段と、
    前記主要被写体が円形物であると判定された場合に、前記画像範囲内の注目画素ごとに、前記画像範囲内の中央と該注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行って該注目画素を出力し、前記主要被写体が円形物ではないと判定された場合に、前記画像範囲内の各注目画素をそのまま出力するエッジ強調制御手段と、
    前記注目画素ごとに前記エッジ強調の制御を行った前記画像内で前記主要被写体と前記背景を領域分割する領域分割手段と、
    を備えることを特徴とする画像領域分割装置。
  2. 前記画像範囲は矩形範囲であり、
    前記円形物判定手段は、
    前記画像内で前記主要被写体と前記背景を事前に領域分割し、
    前記事前に領域分割された前記主要被写体が前記画像範囲の境界線に接する率が第1の所定値に比較して小さいか否かを判定し、
    前記接する率が前記第1の所定値に比較して小さいと判定された場合に、前記画像範囲に内接する円の内側の領域を該円の中心と該円の円周上の複数の点とをそれぞれ結ぶ複数の線分によって複数の領域に分割し、
    該複数の領域ごとに前記主要被写体に属する画素の数を計数し、
    前記複数の領域ごとの前記計数の結果の最大値と最小値の差が第2の所定値に比較して小さい場合に、前記主要被写体が円形物であると判定する、
    ことを特徴とする請求項1に記載の画像領域分割装置。
  3. 前記画像範囲は矩形範囲であり、
    前記円形物判定手段は、前記画像範囲に内接する円内で支配的な色の分布状況が円形状であるか否かを判定することにより、前記主要被写体が円形物であるか否かを判定する、
    ことを特徴とする請求項1に記載の画像領域分割装置。
  4. 前記円形物判定手段は、
    前記画像範囲に内接する円の領域に属する画素値をサンプリングし、
    該サンプリングされた画素値を2つのクラスタにクラスタリングし、
    該クラスタリングされた大きい方のクラスタに属する画素を前記支配的な色に属する画素とし、
    該支配的な色に属する画素について、前記画像上の分布の主成分分析を行い、
    該主成分分析で抽出された第1主成分の寄与率に基づいて、前記主要被写体が円形物であるか否かを判定する、
    ことを特徴とする請求項3に記載の画像領域分割装置。
  5. 前記主要被写体が円形物であると判定された場合に、前記エッジ強調制御手段は、
    前記画像範囲内の注目画素ごとに、前記画像範囲内の中央と該注目画素を結ぶ放射線に対してエッジ強調の微分演算を行う方向がなす角度に応じたゲインを算出し、
    前記注目画素ごとに、前記エッジ強調の微分演算を行い、該微分演算の結果に、該微分演算を行う方向がなす前記角度に応じて算出されている前記ゲインにより重み付けを行い、該重み付けがされた前記微分演算の結果に基づいて、前記注目画素に対して前記エッジを強調する処理を行って該注目画素を出力する、
    ことを特徴とする請求項1ないし4のいずれかに記載の画像領域分割装置。
  6. 前記ゲインの算出において、前記ゲインを、前記角度の余弦値の絶対値を1から減算して得た値に基づいて決定する、
    ことを特徴とする請求項5に記載の画像領域分割装置。
  7. 前記領域分割手段は、前記注目画素ごとに前記エッジ強調の制御を行った前記画像範囲内の各画素に付与する前記主要被写体または前記背景を示す領域ラベル値を更新しながら、該領域ラベル値と前記エッジ強調の制御を行った画素値とに基づいて、前記主要被写体らしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数を定義し、該関数の最小化処理により前記画像内で前記主要被写体と前記背景を領域分割する、
    ことを特徴とする請求項1ないし6のいずれかに記載の画像領域分割装置。
  8. 前記領域分割手段は、Graph Cuts法により前記エネルギー関数の最小化処理を実行する、
    ことを特徴とする請求項7に記載の画像領域分割装置。
  9. 画像内で指定された画像範囲内の主要被写体と該主要被写体以外の背景を領域分割する方法であって、
    前記主要被写体が円形物であるか否かを判定する円形物判定ステップと、
    前記主要被写体が円形物であると判定された場合に、前記画像範囲内の注目画素ごとに、前記画像範囲内の中央と該注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行って該注目画素を出力し、前記主要被写体が円形物ではないと判定された場合に、前記画像範囲内の各注目画素をそのまま出力するエッジ強調制御ステップと、
    前記注目画素ごとに前記エッジ強調の制御を行った前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
    を実行することを備えることを特徴とする画像領域分割方法。
  10. 画像内で指定された画像範囲内の主要被写体と該主要被写体以外の背景を領域分割するコンピュータに、
    前記主要被写体が円形物であるか否かを判定する円形物判定ステップと、
    前記主要被写体が円形物であると判定された場合に、前記画像範囲内の注目画素ごとに、前記画像範囲内の中央と該注目画素を結ぶ放射線に対して直交する方向のエッジを強調する処理を行って該注目画素を出力し、前記主要被写体が円形物ではないと判定された場合に、前記画像範囲内の各注目画素をそのまま出力するエッジ強調制御ステップと、
    前記注目画素ごとに前記エッジ強調の制御を行った前記画像内で前記主要被写体と前記背景を領域分割する領域分割ステップと、
    を実行させるためのプログラム。
JP2012261884A 2012-05-31 2012-11-30 画像領域分割装置、方法、およびプログラム Expired - Fee Related JP5786838B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012261884A JP5786838B2 (ja) 2012-05-31 2012-11-30 画像領域分割装置、方法、およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012125421 2012-05-31
JP2012125421 2012-05-31
JP2012261884A JP5786838B2 (ja) 2012-05-31 2012-11-30 画像領域分割装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014006871A JP2014006871A (ja) 2014-01-16
JP5786838B2 true JP5786838B2 (ja) 2015-09-30

Family

ID=50104493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012261884A Expired - Fee Related JP5786838B2 (ja) 2012-05-31 2012-11-30 画像領域分割装置、方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP5786838B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862843A (zh) * 2021-01-07 2021-05-28 北京惠朗时代科技有限公司 一种基于邻域像素多权重决策的公章图像分割方法及系统
WO2024089763A1 (ja) * 2022-10-25 2024-05-02 日本電信電話株式会社 矩形領域推定装置、矩形領域推定方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272930A (ja) * 1995-03-30 1996-10-18 Fuji Photo Film Co Ltd 画像処理方法
JP2008092515A (ja) * 2006-10-05 2008-04-17 Nikon Corp 電子カメラ、画像処理装置およびプログラム
JP5215952B2 (ja) * 2009-07-02 2013-06-19 セコム株式会社 対象物検知装置

Also Published As

Publication number Publication date
JP2014006871A (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
EP3537378B1 (en) Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
US9483835B2 (en) Depth value restoration method and system
Tong et al. Saliency detection with multi-scale superpixels
JP6044134B2 (ja) 最適画像サイズによる画像領域分割装置、方法、およびプログラム
CN105184763B (zh) 图像处理方法和装置
CN110088805B (zh) 用于检测和分割多个前景对象的方法
WO2020107717A1 (zh) 视觉显著性区域检测方法及装置
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US9947077B2 (en) Video object tracking in traffic monitoring
KR102094506B1 (ko) 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
CN108182421A (zh) 视频分割方法和装置
JP2015099559A (ja) 画像処理装置、画像処理方法及びプログラム
EP2782065B1 (en) Image-processing device removing encircling lines for identifying sub-regions of image
CN110852207A (zh) 基于面向对象影像分类技术的蓝色屋顶建筑物提取方法
CN110111342B (zh) 一种抠图算法的优化选取方法及装置
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
JP5914046B2 (ja) 画像処理装置および画像処理方法
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
JP5786838B2 (ja) 画像領域分割装置、方法、およびプログラム
CN107704864B (zh) 基于图像对象性语义检测的显著目标检测方法
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP6044138B2 (ja) 画像領域分割装置、方法、およびプログラム
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150713

R150 Certificate of patent or registration of utility model

Ref document number: 5786838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees