JP3460516B2 - 画像内オブジェクト抽出方法及び画像内オブジェクト抽出プログラムを格納した記憶媒体 - Google Patents
画像内オブジェクト抽出方法及び画像内オブジェクト抽出プログラムを格納した記憶媒体Info
- Publication number
- JP3460516B2 JP3460516B2 JP18405197A JP18405197A JP3460516B2 JP 3460516 B2 JP3460516 B2 JP 3460516B2 JP 18405197 A JP18405197 A JP 18405197A JP 18405197 A JP18405197 A JP 18405197A JP 3460516 B2 JP3460516 B2 JP 3460516B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- label
- area
- areas
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像内オブジェク
ト抽出方法及び画像内オブジェクト抽出プログラムを格
納した記憶媒体に係り、特に、画像認識や画像に対する
検索を行うマルチメディアシステムにおいて、画像内オ
ブジェクトを抽出するための画像内オブジェクト抽出方
法及び画像内オブジェクト抽出プログラムを格納した記
憶媒体に関する。
ト抽出方法及び画像内オブジェクト抽出プログラムを格
納した記憶媒体に係り、特に、画像認識や画像に対する
検索を行うマルチメディアシステムにおいて、画像内オ
ブジェクトを抽出するための画像内オブジェクト抽出方
法及び画像内オブジェクト抽出プログラムを格納した記
憶媒体に関する。
【０００２】
【従来の技術】従来の画像内オブジェクト抽出方法は、
セグメンテーションによる方法が行われており、以下の
ような手法がある。 画素結合法：注目している小領域とそれに隣接する
小領域の類似度が、ある閾値ｋより小さい場合、領域を
統合する。これを繰り返し、画像全体の領域分割を行
う。
セグメンテーションによる方法が行われており、以下の
ような手法がある。 画素結合法：注目している小領域とそれに隣接する
小領域の類似度が、ある閾値ｋより小さい場合、領域を
統合する。これを繰り返し、画像全体の領域分割を行
う。
【０００３】 ４分木（quad tree)法：画像全体を４
つの長方形に分け、各長方形内の画素の複雑度が、ある
閾値ｋ以下になった場合、領域の分割を停止する。 ヒストグラム法：画素の色等について、出現回数等
のヒストグラムを作成し、ヒストグラムの形状により画
素を分類する。固定２分割の場合には、判別分析法等に
よる閾値決定が有効で、白黒図面内の線の抽出等に用い
られる。
つの長方形に分け、各長方形内の画素の複雑度が、ある
閾値ｋ以下になった場合、領域の分割を停止する。 ヒストグラム法：画素の色等について、出現回数等
のヒストグラムを作成し、ヒストグラムの形状により画
素を分類する。固定２分割の場合には、判別分析法等に
よる閾値決定が有効で、白黒図面内の線の抽出等に用い
られる。
【０００４】 クラスタリング法：画像をいくつかの
特徴量で表現し、そのクラスタリングを行う。 モデルマッチング法：予め認識対象に関する辞書を
作成しておき、その辞書に従って画像内のオブジェクト
を推定する。
特徴量で表現し、そのクラスタリングを行う。 モデルマッチング法：予め認識対象に関する辞書を
作成しておき、その辞書に従って画像内のオブジェクト
を推定する。
【０００５】
【発明が解決しようとする課題】しかしながら、上記
の画素結合法は、閾値の決定が困難であるという問題が
ある。また、の４分木法は、閾値の決定が困難である
ことと、領域形状が長方形であるため、領域形状に柔軟
性がない。
の画素結合法は、閾値の決定が困難であるという問題が
ある。また、の４分木法は、閾値の決定が困難である
ことと、領域形状が長方形であるため、領域形状に柔軟
性がない。
【０００６】また、のヒストグラム法は、濃淡／カラ
ー画像の場合の閾値決定が困難であり、さらに、ヒスト
グラム上での分類結果を元画像に還元したときに、領域
とならない場合がある。また、のクラスタリング法
は、特徴を何にすればよいかが分からないと共に、線形
分離不能な場合の精度が悪いという問題がある。さら
に、領域とならない場合がある。
ー画像の場合の閾値決定が困難であり、さらに、ヒスト
グラム上での分類結果を元画像に還元したときに、領域
とならない場合がある。また、のクラスタリング法
は、特徴を何にすればよいかが分からないと共に、線形
分離不能な場合の精度が悪いという問題がある。さら
に、領域とならない場合がある。
【０００７】また、のモデルマッチング法は、機械部
品等、形状が幾何学的で、辞書が作りやすいものに限定
されるため、汎用的な手法とは言えない。上記のよう
に、従来のからの方法は、あくまでセグメンテーシ
ョンであり、オブジェクト候補の領域上で重複を許さな
いため、閾値のほんの少しのズレがオブジェクト抽出精
度を大きく左右し、一般の写真に対する適用が困難であ
る。
品等、形状が幾何学的で、辞書が作りやすいものに限定
されるため、汎用的な手法とは言えない。上記のよう
に、従来のからの方法は、あくまでセグメンテーシ
ョンであり、オブジェクト候補の領域上で重複を許さな
いため、閾値のほんの少しのズレがオブジェクト抽出精
度を大きく左右し、一般の写真に対する適用が困難であ
る。
【０００８】このように、特定の状況を想定した画像
（２値画像、線画、地図、機械部品）からのオブジェク
ト抽出については従来の技術で可能になってきたが、任
意の写真に対する技術（例えば、町中の中の人混みの写
真の中から、人の顔や商品をオブジェクトとして抜き出
す技術）は存在しない。本発明は、上記の点に鑑みなさ
れたもので、一般の写真から高精度（再現率と適合率が
高い）の画像内オブジェクトを抽出することが可能な画
像内オブジェクト抽出方法及び画像内オブジェクト抽出
プログラムを格納した記憶媒体を提供することを目的と
する。
（２値画像、線画、地図、機械部品）からのオブジェク
ト抽出については従来の技術で可能になってきたが、任
意の写真に対する技術（例えば、町中の中の人混みの写
真の中から、人の顔や商品をオブジェクトとして抜き出
す技術）は存在しない。本発明は、上記の点に鑑みなさ
れたもので、一般の写真から高精度（再現率と適合率が
高い）の画像内オブジェクトを抽出することが可能な画
像内オブジェクト抽出方法及び画像内オブジェクト抽出
プログラムを格納した記憶媒体を提供することを目的と
する。
【０００９】
【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明は、画像認識や画像に
対する検索を行うマルチメディアにおいて、画像内オブ
ジェクトを抽出する画像内オブジェクト抽出方法におい
て、階調エッジ画像（画素値は０〜ＭＡＸ＿ＥＤＧ）の
入力に対し、階調エッジ画像の０の値の画素に対してラ
ベル付けを行い（ステップ１）、ラベル画像を作成し
（ステップ２）、画素値ｅ＝１〜ＭＡＸ＿ＥＤＧに対し
て、画像上で値ｅをとる各連続領域Ｅｅに対して、階調
エッジ画像上の連続領域Ｅｅに対応するラベル画像上の
領域Ｌｅを求め（ステップ３）、ラベル画像上で領域Ｌ
ｅに隣接する領域の個数Ｃを求め（ステップ４）、個数
Ｃによって、Ｃ＝０の場合、新たなラベル番号Ｌｍａｘ
を生成し、ラベル画像上の領域Ｌｅのラベル番号をＬｍ
ａｘとし、個数Ｃ＝１の場合、領域Ｌｅの近接領域のラ
ベル番号をＬ１としたとき、ラベル画像上の領域Ｌｅと
ラベル番号Ｌ１の領域を統合し、個数Ｃ≧２の場合、領
域Ｌｅの近接領域のラベル番号をＬ１〜Ｌｃとしたと
き、各ラベル領域をＬ１〜Ｌｃのそれぞれをオブジェク
トとして出力し、ラベル画像上の領域Ｌｅとラベル番号
Ｌ１〜Ｌｃの領域を統合する（ステップ５）。
説明するための図である。本発明は、画像認識や画像に
対する検索を行うマルチメディアにおいて、画像内オブ
ジェクトを抽出する画像内オブジェクト抽出方法におい
て、階調エッジ画像（画素値は０〜ＭＡＸ＿ＥＤＧ）の
入力に対し、階調エッジ画像の０の値の画素に対してラ
ベル付けを行い（ステップ１）、ラベル画像を作成し
（ステップ２）、画素値ｅ＝１〜ＭＡＸ＿ＥＤＧに対し
て、画像上で値ｅをとる各連続領域Ｅｅに対して、階調
エッジ画像上の連続領域Ｅｅに対応するラベル画像上の
領域Ｌｅを求め（ステップ３）、ラベル画像上で領域Ｌ
ｅに隣接する領域の個数Ｃを求め（ステップ４）、個数
Ｃによって、Ｃ＝０の場合、新たなラベル番号Ｌｍａｘ
を生成し、ラベル画像上の領域Ｌｅのラベル番号をＬｍ
ａｘとし、個数Ｃ＝１の場合、領域Ｌｅの近接領域のラ
ベル番号をＬ１としたとき、ラベル画像上の領域Ｌｅと
ラベル番号Ｌ１の領域を統合し、個数Ｃ≧２の場合、領
域Ｌｅの近接領域のラベル番号をＬ１〜Ｌｃとしたと
き、各ラベル領域をＬ１〜Ｌｃのそれぞれをオブジェク
トとして出力し、ラベル画像上の領域Ｌｅとラベル番号
Ｌ１〜Ｌｃの領域を統合する（ステップ５）。
【００１０】また、本発明は、オブジェクトを出力する
際に、既に出力した各オブジェクトに比較して、オブジ
ェクトの外接矩形が同一の場合、オブジェクトの外接矩
形の２つの頂点が同一でかつ、オブジェクトの外接矩形
の面積の増加率が定数ｋ％以下の場合の少なくともいず
れか１つに該当する場合に、既に出力済のオブジェクト
を削除する。
際に、既に出力した各オブジェクトに比較して、オブジ
ェクトの外接矩形が同一の場合、オブジェクトの外接矩
形の２つの頂点が同一でかつ、オブジェクトの外接矩形
の面積の増加率が定数ｋ％以下の場合の少なくともいず
れか１つに該当する場合に、既に出力済のオブジェクト
を削除する。
【００１１】本発明は、画像認識や画像に対する検索を
行うマルチメディアにおいて、画像内オブジェクトを抽
出する画像内オブジェクト抽出プログラムを格納した記
憶媒体であって、階調エッジ画像（画素値は０〜ＭＡＸ
＿ＥＤＧ）の入力に対し、階調エッジ画像の０の値の画
素に対してラベル付けを行い、ラベル画像を作成するラ
ベル画像作成プロセスと、画素値ｅ＝１〜ＭＡＸ＿ＥＤ
Ｇに対して、画像上で値ｅを取る各連続領域Ｅｅに対し
て、階調エッジ画像上の連続領域Ｅｅに対応するラベル
画像上のＬｅを求め、ラベル画像上でＬｅに隣接する領
域の個数Ｃを求め、個数Ｃによって、Ｃ＝０の場合、新
たなラベル番号Ｌｍａｘを生成し、ラベル画像上の領域
Ｌｅのラベル番号をＬｍａｘとするラベル番号付与プロ
セスと、個数Ｃ＝１の場合、領域Ｌｅの近接領域のラベ
ル番号をＬ１としたとき、ラベル画像上の領域Ｌｅとラ
ベル番号Ｌ１の領域を統合する第１の統合プロセスと、
個数Ｃ≧２の場合、領域Ｌｅの近接領域のラベル番号を
Ｌ１〜Ｌｃとしたとき、各ラベル領域をＬ１〜Ｌｃのそ
れぞれをオブジェクトとして出力し、ラベル画像上の領
域Ｌｅとラベル番号Ｌ１〜Ｌｃの領域を統合する第２の
統合プロセスとを有する。
行うマルチメディアにおいて、画像内オブジェクトを抽
出する画像内オブジェクト抽出プログラムを格納した記
憶媒体であって、階調エッジ画像（画素値は０〜ＭＡＸ
＿ＥＤＧ）の入力に対し、階調エッジ画像の０の値の画
素に対してラベル付けを行い、ラベル画像を作成するラ
ベル画像作成プロセスと、画素値ｅ＝１〜ＭＡＸ＿ＥＤ
Ｇに対して、画像上で値ｅを取る各連続領域Ｅｅに対し
て、階調エッジ画像上の連続領域Ｅｅに対応するラベル
画像上のＬｅを求め、ラベル画像上でＬｅに隣接する領
域の個数Ｃを求め、個数Ｃによって、Ｃ＝０の場合、新
たなラベル番号Ｌｍａｘを生成し、ラベル画像上の領域
Ｌｅのラベル番号をＬｍａｘとするラベル番号付与プロ
セスと、個数Ｃ＝１の場合、領域Ｌｅの近接領域のラベ
ル番号をＬ１としたとき、ラベル画像上の領域Ｌｅとラ
ベル番号Ｌ１の領域を統合する第１の統合プロセスと、
個数Ｃ≧２の場合、領域Ｌｅの近接領域のラベル番号を
Ｌ１〜Ｌｃとしたとき、各ラベル領域をＬ１〜Ｌｃのそ
れぞれをオブジェクトとして出力し、ラベル画像上の領
域Ｌｅとラベル番号Ｌ１〜Ｌｃの領域を統合する第２の
統合プロセスとを有する。
【００１２】また、本発明は、第２の統合プロセスにお
いて、オブジェクトを出力する際に、既に出力した各オ
ブジェクトに比較して、オブジェクトの外接矩形が同一
の場合、オブジェクトの外接矩形の２つの頂点が同一で
かつ、オブジェクトの外接矩形の面積の増加率が定数ｋ
％以下の場合の少なくともいずれか１つに該当する場合
に、既に出力済のオブジェクトを削除する削除プロセス
を含む。
いて、オブジェクトを出力する際に、既に出力した各オ
ブジェクトに比較して、オブジェクトの外接矩形が同一
の場合、オブジェクトの外接矩形の２つの頂点が同一で
かつ、オブジェクトの外接矩形の面積の増加率が定数ｋ
％以下の場合の少なくともいずれか１つに該当する場合
に、既に出力済のオブジェクトを削除する削除プロセス
を含む。
【００１３】上記のように、本発明は、階調のあるエッ
ジ画像から上記に示した手順により画像内からオブジェ
クトを抽出するものである。本発明では、再現率（モレ
の少なさ）を高めるために、複数の認識候補を許し、さ
らに、閾値に依存しないオブジェクト抽出方法を与える
ことを基本としている。また、上記の後処理として、出
力されたオブジェクトに比較して、オブジェクトの外接
矩形が同一、または、オブジェクトの外接矩形の２つの
頂点が同一であり、オブジェクトの外接矩形の面積の増
加率が定数ｋ％以下の場合に、既に出力されているオブ
ジェクトを削除することにより、適合率（ノイズの少な
さ）を高める。
ジ画像から上記に示した手順により画像内からオブジェ
クトを抽出するものである。本発明では、再現率（モレ
の少なさ）を高めるために、複数の認識候補を許し、さ
らに、閾値に依存しないオブジェクト抽出方法を与える
ことを基本としている。また、上記の後処理として、出
力されたオブジェクトに比較して、オブジェクトの外接
矩形が同一、または、オブジェクトの外接矩形の２つの
頂点が同一であり、オブジェクトの外接矩形の面積の増
加率が定数ｋ％以下の場合に、既に出力されているオブ
ジェクトを削除することにより、適合率（ノイズの少な
さ）を高める。
【００１４】
【発明の実施の形態】図２は、本発明の動作を説明する
ためのフローチャートである。 ステップ１０１） 階調エッジ画像（画素値は０〜ＭＡ
Ｘ＿ＥＤＧ）を入力する。 ステップ１０２） 階調エッジ画像の０の値の画素に対
してラベリングを行い、ラベル画像（１〜ＭＡＸ＿ＬＢ
Ｌ）を作成する。
ためのフローチャートである。 ステップ１０１） 階調エッジ画像（画素値は０〜ＭＡ
Ｘ＿ＥＤＧ）を入力する。 ステップ１０２） 階調エッジ画像の０の値の画素に対
してラベリングを行い、ラベル画像（１〜ＭＡＸ＿ＬＢ
Ｌ）を作成する。
【００１５】ステップ１０３） 画素値ｅ＝１からＭＡ
Ｘ＿ＥＤＧについて以下を繰り返し、ステップ１０４以
降の繰り返しが終了したら処理を終了する。 ステップ１０４） エッジ画像上で値ｅの各連続領域Ｅ
ｅについて以下を繰り返し、繰り返しが終了したらステ
ップ１０３に移行する。 ステップ１０５） エッジ画像上のＥｅ領域に対応する
ラベル画像上の領域Ｌｅを求める。
Ｘ＿ＥＤＧについて以下を繰り返し、ステップ１０４以
降の繰り返しが終了したら処理を終了する。 ステップ１０４） エッジ画像上で値ｅの各連続領域Ｅ
ｅについて以下を繰り返し、繰り返しが終了したらステ
ップ１０３に移行する。 ステップ１０５） エッジ画像上のＥｅ領域に対応する
ラベル画像上の領域Ｌｅを求める。
【００１６】ステップ１０６） 領域Ｌｅに隣接する領
域の個数Ｃを求め、その値で処理分岐する。処理分岐は
以下の通りである。 ステップ１０７） Ｃ＝０の場合には、新たなラベル番
号Ｌｍａｘを生成し、ステップ１０８に移行する。 ステップ１０８） ラベル上の領域Ｌｅをラベル番号Ｌ
ｍａｘとし、ステップ１０４に移行する ステップ１０９） Ｃ＝１の場合には、その隣接領域の
ラベル番号をＬ１とし、ステップ１１０に移行する。
域の個数Ｃを求め、その値で処理分岐する。処理分岐は
以下の通りである。 ステップ１０７） Ｃ＝０の場合には、新たなラベル番
号Ｌｍａｘを生成し、ステップ１０８に移行する。 ステップ１０８） ラベル上の領域Ｌｅをラベル番号Ｌ
ｍａｘとし、ステップ１０４に移行する ステップ１０９） Ｃ＝１の場合には、その隣接領域の
ラベル番号をＬ１とし、ステップ１１０に移行する。
【００１７】ステップ１１０） ラベル画像上の領域Ｌ
ｅとラベル番号Ｌ１の領域の統合を行い、ステップ１０
４に移行する。 ステップ１１１） Ｃ≧２の場合には、その隣接領域の
ラベル番号をＬ１〜Ｌｃとし、ステップ１１２に移行す
る。 ステップ１１２） 各ラベル領域Ｌ１〜Ｌｃをオブジェ
クトとして出力し、ステップ１１３に移行する。
ｅとラベル番号Ｌ１の領域の統合を行い、ステップ１０
４に移行する。 ステップ１１１） Ｃ≧２の場合には、その隣接領域の
ラベル番号をＬ１〜Ｌｃとし、ステップ１１２に移行す
る。 ステップ１１２） 各ラベル領域Ｌ１〜Ｌｃをオブジェ
クトとして出力し、ステップ１１３に移行する。
【００１８】ステップ１１３） ラベル画像上の領域Ｌ
ｅとラベル番号Ｌ１〜Ｌｎの領域を統合し、ステップ１
０４に移行する。
ｅとラベル番号Ｌ１〜Ｌｎの領域を統合し、ステップ１
０４に移行する。
【００１９】
【実施例】以下、本発明の実施例を図面と共に説明す
る。 ［第１の実施例］図３は、本発明の第１の実施例の適用
例を示す。想定する濃淡エッジ画像を５段階の階調（０
〜４）を持つものとする。
る。 ［第１の実施例］図３は、本発明の第１の実施例の適用
例を示す。想定する濃淡エッジ画像を５段階の階調（０
〜４）を持つものとする。
【００２０】ステップ２０１） 最初にエッジの存在し
ない領域を画素数が０の領域（Ａ，Ｂ，Ｃ，Ｄ）と考
え、各領域にラベル（Ａ＝１，Ｂ＝２，Ｃ＝３，Ｄ＝
４）を付与する。 ステップ２０２） 階調“１”の領域（Ｅ，Ｆ，Ｇ）を
求め、各々に隣接するラベル番号を求め、その個数によ
ってそれぞれの処理を行う。領域Ｅに隣接するラベル
は、１，２なので、それに対応する領域Ａ，Ｂをオブジ
ェクトとして出力し、Ａ，Ｂ，Ｅの領域を統合する。こ
こでは、その統合後の領域のラベルをそれらの最小値の
１とする。領域Ｆに隣接するラベルはないので、新たな
ラベル番号“５”をその領域のラベル番号とする。領域
Ｇに隣接するラベルは、“４”のみなので、Ｇの領域の
ラベル番号も“４”とする。
ない領域を画素数が０の領域（Ａ，Ｂ，Ｃ，Ｄ）と考
え、各領域にラベル（Ａ＝１，Ｂ＝２，Ｃ＝３，Ｄ＝
４）を付与する。 ステップ２０２） 階調“１”の領域（Ｅ，Ｆ，Ｇ）を
求め、各々に隣接するラベル番号を求め、その個数によ
ってそれぞれの処理を行う。領域Ｅに隣接するラベル
は、１，２なので、それに対応する領域Ａ，Ｂをオブジ
ェクトとして出力し、Ａ，Ｂ，Ｅの領域を統合する。こ
こでは、その統合後の領域のラベルをそれらの最小値の
１とする。領域Ｆに隣接するラベルはないので、新たな
ラベル番号“５”をその領域のラベル番号とする。領域
Ｇに隣接するラベルは、“４”のみなので、Ｇの領域の
ラベル番号も“４”とする。
【００２１】ステップ２０３） 階調“２”の領域
（Ｈ，Ｉ，Ｊ，Ｋ）を求め、各々に隣接するラベル番号
を求め、その個数によってそれぞれの処理を行う。領域
Ｈ，Ｉ，Ｊに隣接するラベルは、“３”、“４”、
“５”なので、それに対応する領域Ｃ，Ｄ＋Ｇ，Ｆをオ
ブジェクトとして出力し、Ｃ，Ｄ＋Ｇ，Ｆ，Ｋの領域を
統合する。ここでは、その統合後の領域のラベルをそれ
らの最小値の“３”とする。
（Ｈ，Ｉ，Ｊ，Ｋ）を求め、各々に隣接するラベル番号
を求め、その個数によってそれぞれの処理を行う。領域
Ｈ，Ｉ，Ｊに隣接するラベルは、“３”、“４”、
“５”なので、それに対応する領域Ｃ，Ｄ＋Ｇ，Ｆをオ
ブジェクトとして出力し、Ｃ，Ｄ＋Ｇ，Ｆ，Ｋの領域を
統合する。ここでは、その統合後の領域のラベルをそれ
らの最小値の“３”とする。
【００２２】ステップ２０４） 階調“３”の領域
（Ｌ）を求め、各々に隣接するラベル番号を求め、その
個数によってそれぞれの処理を行う。領域Ｌに隣接する
ラベルは、“１”、“３”なので、それに対応する領域
Ａ＋Ｂ＋Ｅ＋Ｈ＋Ｉ＋Ｊ，Ｃ＋Ｄ＋Ｆ＋Ｇ＋Ｋをオブジ
ェクトとして出力し、３つの領域を統合する。ここで
は、その統合後の領域ラベルをそれらの最小値の１とす
る。
（Ｌ）を求め、各々に隣接するラベル番号を求め、その
個数によってそれぞれの処理を行う。領域Ｌに隣接する
ラベルは、“１”、“３”なので、それに対応する領域
Ａ＋Ｂ＋Ｅ＋Ｈ＋Ｉ＋Ｊ，Ｃ＋Ｄ＋Ｆ＋Ｇ＋Ｋをオブジ
ェクトとして出力し、３つの領域を統合する。ここで
は、その統合後の領域ラベルをそれらの最小値の１とす
る。
【００２３】以上により、Ａ，Ｂ，Ｃ，Ｄ＋Ｇ，Ｆ，Ａ
＋Ｂ＋Ｅ＋Ｈ＋Ｉ＋Ｊ，Ｃ＋Ｄ＋Ｆ＋Ｇ＋Ｋの出力が得
られた。 ［第２の実施例］上記の第１の実施例に示した出力のよ
うな場合において、個々の領域の外接矩形が同一の場
合、または、外接矩形の２つの頂点が同一で面積の増加
率が定数ｋ％以下の場合に、先に出力したオブジェクト
を無効にすると、類似オブジェクトの出力が抑止でき、
精度が向上する。
＋Ｂ＋Ｅ＋Ｈ＋Ｉ＋Ｊ，Ｃ＋Ｄ＋Ｆ＋Ｇ＋Ｋの出力が得
られた。 ［第２の実施例］上記の第１の実施例に示した出力のよ
うな場合において、個々の領域の外接矩形が同一の場
合、または、外接矩形の２つの頂点が同一で面積の増加
率が定数ｋ％以下の場合に、先に出力したオブジェクト
を無効にすると、類似オブジェクトの出力が抑止でき、
精度が向上する。
【００２４】例えば、図４に示すように、領域Ｓ，Ｔ，
Ｕが存在する場合、領域Ｓ，Ｔ，Ｕの順に統合された場
合には、出力は、Ｓ＋Ｔ＋Ｕの領域のみとなる。一方、
領域がＳ，Ｕ，Ｔの順に統合された場合には出力は、
Ｓ，Ｕ，Ｓ＋Ｔ＋Ｕとなる。ここで、Ｓの領域をオブジ
ェクトの候補から除外するために、Ｓ＋Ｔ＋Ｕを出力し
たとき、すでに出力した領域と外接矩形の比較を行い、
それが一致する場合、または、外接矩形の２頂点が一致
し、その面積の増加が定数ｋ％以下の場合には、既に出
力したその領域をオブジェクト候補から除外する。
Ｕが存在する場合、領域Ｓ，Ｔ，Ｕの順に統合された場
合には、出力は、Ｓ＋Ｔ＋Ｕの領域のみとなる。一方、
領域がＳ，Ｕ，Ｔの順に統合された場合には出力は、
Ｓ，Ｕ，Ｓ＋Ｔ＋Ｕとなる。ここで、Ｓの領域をオブジ
ェクトの候補から除外するために、Ｓ＋Ｔ＋Ｕを出力し
たとき、すでに出力した領域と外接矩形の比較を行い、
それが一致する場合、または、外接矩形の２頂点が一致
し、その面積の増加が定数ｋ％以下の場合には、既に出
力したその領域をオブジェクト候補から除外する。
【００２５】［第３の実施例］次に、本実施例では、実
際の写真に適用した例を説明する。図５（Ａ）は、カラ
ーの元画像（但し、出願の規定により実際の図面は白黒
（別途提出の資料参照））であり、（Ｂ）は、上記から
ＨＳＩ色形のエッジを取得し、合成した２５６階調のエ
ッジ画像を入力として処理した場合に、図５（Ｃ）の０
と０以外の画素で２値化を行っているが、所定の閾値ｋ
未満、ｋ以上のように特定の値で２値化を行っても全く
同様である。この画像の０（エッジ以外）の領域に対し
てラベリングを行い、各連続領域毎に異なる番号（１〜
ＭＡＸ＿ＬＢＬ）を付与した結果がラベル画像となる。
ラベル画像上でラベルでない領域は０の値とする。
際の写真に適用した例を説明する。図５（Ａ）は、カラ
ーの元画像（但し、出願の規定により実際の図面は白黒
（別途提出の資料参照））であり、（Ｂ）は、上記から
ＨＳＩ色形のエッジを取得し、合成した２５６階調のエ
ッジ画像を入力として処理した場合に、図５（Ｃ）の０
と０以外の画素で２値化を行っているが、所定の閾値ｋ
未満、ｋ以上のように特定の値で２値化を行っても全く
同様である。この画像の０（エッジ以外）の領域に対し
てラベリングを行い、各連続領域毎に異なる番号（１〜
ＭＡＸ＿ＬＢＬ）を付与した結果がラベル画像となる。
ラベル画像上でラベルでない領域は０の値とする。
【００２６】また、周囲の４辺付近の画素については、
ラベル領域にならない処理が行われている。図５（Ｄ）
は、ラベル画像の異なる番号に異なる色を与え、視覚化
した例である。これに対して対象エッジを１〜２５６ま
で変化させながら、ラベルの統合を行いつつ、統合直前
のオブジェクトの出力を行っていった結果が図５（Ｅ）
である。同図の左上から順に右下に向かってオブジェク
トが生成された。中央の３つのモモのエッジは、図５
（Ｂ）で見ると明確ではなく、従来の方法でそのエッジ
の閾値を決定することは難しかったが、図５（Ｅ）の１
（第１段目左から１番目）、２（第１段目左から２番
目）、４（第１段目左から４番目）のように個々のモモ
が抽出できている。
ラベル領域にならない処理が行われている。図５（Ｄ）
は、ラベル画像の異なる番号に異なる色を与え、視覚化
した例である。これに対して対象エッジを１〜２５６ま
で変化させながら、ラベルの統合を行いつつ、統合直前
のオブジェクトの出力を行っていった結果が図５（Ｅ）
である。同図の左上から順に右下に向かってオブジェク
トが生成された。中央の３つのモモのエッジは、図５
（Ｂ）で見ると明確ではなく、従来の方法でそのエッジ
の閾値を決定することは難しかったが、図５（Ｅ）の１
（第１段目左から１番目）、２（第１段目左から２番
目）、４（第１段目左から４番目）のように個々のモモ
が抽出できている。
【００２７】この他にも２００以上の画像に適用を行っ
たが、全般に有効な結果が得られた。 ［第４の実施例］図６は、本発明の第４の実施例を説明
するための図（その１）である。同図に示す例の画像は
難易度が高く、左側の男性の頭部を背景から完全に切り
離せてはいない。
たが、全般に有効な結果が得られた。 ［第４の実施例］図６は、本発明の第４の実施例を説明
するための図（その１）である。同図に示す例の画像は
難易度が高く、左側の男性の頭部を背景から完全に切り
離せてはいない。
【００２８】図７は、本発明の第４の実施例を説明する
ための図（その２）である。同図は、より大きな画像に
対して適用した結果である。なお、上記の各実施例の動
作をプログラムとして構築し、類似画像検索システムに
用いるコンピュータに接続されるディスク装置等に蓄積
し、画像内からオブジェクトを抽出する処理に適応する
ことが可能である。
ための図（その２）である。同図は、より大きな画像に
対して適用した結果である。なお、上記の各実施例の動
作をプログラムとして構築し、類似画像検索システムに
用いるコンピュータに接続されるディスク装置等に蓄積
し、画像内からオブジェクトを抽出する処理に適応する
ことが可能である。
【００２９】また、構築されたプログラムをフロッピー
ディスクやＣＤ−ＲＯＭ等の記憶媒体に格納し、画像内
からオブジェクトを抽出する端末にインストールして利
用することも可能である。なお、本発明は、上記の実施
例に限定されることなく、特許請求の範囲内で種々変更
・応用が可能である。
ディスクやＣＤ−ＲＯＭ等の記憶媒体に格納し、画像内
からオブジェクトを抽出する端末にインストールして利
用することも可能である。なお、本発明は、上記の実施
例に限定されることなく、特許請求の範囲内で種々変更
・応用が可能である。
【００３０】
【発明の効果】上述のように、本発明によれば、一般の
写真から高精度（再現率と適合率が高い）の画像内オブ
ジェクトを抽出することが可能である。その抽出過程に
おいて、特定の辞書や特定の閾値に依存することがな
く、安定した抽出が可能である。これにより、例えば、
図８に示すようなオブジェクト抽出に基づいた画像検索
システムの構築が可能となる。図８に示す類似画像検索
システムは、登録データ画像を「登録データ画像の入力
部」から、「画像からの図形抽出部」に登録しておき、
「キー画像の入力部」からキー画像が入力されると、当
該「画像からの図形の抽出部」において、抽出された図
形を「図形情報のヒストグラム作成部」に出力すること
ができる。これにより、キー図形が入力されると、ヒス
トグラム間の類似度算出部において、類似度を求め、類
似図形を含む画像を検索して類似図形を出力することが
可能となる。
写真から高精度（再現率と適合率が高い）の画像内オブ
ジェクトを抽出することが可能である。その抽出過程に
おいて、特定の辞書や特定の閾値に依存することがな
く、安定した抽出が可能である。これにより、例えば、
図８に示すようなオブジェクト抽出に基づいた画像検索
システムの構築が可能となる。図８に示す類似画像検索
システムは、登録データ画像を「登録データ画像の入力
部」から、「画像からの図形抽出部」に登録しておき、
「キー画像の入力部」からキー画像が入力されると、当
該「画像からの図形の抽出部」において、抽出された図
形を「図形情報のヒストグラム作成部」に出力すること
ができる。これにより、キー図形が入力されると、ヒス
トグラム間の類似度算出部において、類似度を求め、類
似図形を含む画像を検索して類似図形を出力することが
可能となる。
【図１】本発明の原理を説明するための図である。
【図２】本発明の動作を説明するためのフローチャート
である。
である。
【図３】本発明の第１の実施例の適用例である。
【図４】本発明の第２の実施例の適用例である。
【図５】本発明の第３の実施例を説明するための図であ
る。
る。
【図６】本発明の第４の実施例を説明するための図（そ
の１）である。
の１）である。
【図７】本発明の第４の実施例を説明するための図（そ
の２）である。
の２）である。
【図８】本発明を類似画像検索システムに適用した例で
ある。
ある。
Claims (4)
- 【請求項１】 画像認識や画像に対する検索を行うマル
チメディアにおいて、画像内オブジェクトを抽出する画
像内オブジェクト抽出方法において、 階調エッジ画像（画素値は０〜ＭＡＸ＿ＥＤＧ）の入力
に対し、 階調エッジ画像の０の値の画素に対してラベル付けを行
い、 ラベル画像を作成し、 画素値ｅ＝１〜ＭＡＸ＿ＥＤＧに対して、 画像上で値ｅを取る各連続領域Ｅｅに対して、 階調エッジ画像上の連続領域Ｅｅに対応するラベル画像
上のＬｅを求め、 前記ラベル画像上で前記Ｌｅに隣接する領域の個数Ｃを
求め、 前記個数Ｃによって、Ｃ＝０の場合、 新たなラベル番号Ｌｍａｘを生成し、 前記ラベル画像上の領域Ｌｅのラベル番号をＬｍａｘと
し、 前記個数Ｃ＝１の場合、 前記領域Ｌｅの近接領域のラベル番号をＬ１としたと
き、 前記ラベル画像上の領域Ｌｅとラベル番号Ｌ１の領域を
統合し、 前記個数Ｃ≧２の場合、 前記領域Ｌｅの近接領域のラベル番号をＬ１〜Ｌｃとし
たとき、 各ラベル領域をＬ１〜Ｌｃのそれぞれをオブジェクトと
して出力し、 前記ラベル画像上の領域Ｌｅとラベル番号Ｌ１〜Ｌｃの
領域を統合することを特徴とする画像内オブジェクト抽
出方法。 - 【請求項２】 前記オブジェクトを出力する際に、 既に出力した各オブジェクトに比較して、 オブジェクトの外接矩形が同一の場合、オブジェクトの
外接矩形の２つの頂点が同一でかつ、オブジェクトの外
接矩形の面積の増加率が定数ｋ％以下の場合の少なくと
もいずれか１つに該当する場合に、既に出力済のオブジ
ェクトを削除する請求項１記載の画像内オブジェクト抽
出方法。 - 【請求項３】 画像認識や画像に対する検索を行うマル
チメディアにおいて、画像内オブジェクトを抽出する画
像内オブジェクト抽出プログラムを格納した記憶媒体で
あって、 階調エッジ画像（画素値は０〜ＭＡＸ＿ＥＤＧ）の入力
に対し、階調エッジ画像の０の値の画素に対してラベル
付けを行い、ラベル画像を作成するラベル画像作成プロ
セスと、 画素値ｅ＝１〜ＭＡＸ＿ＥＤＧに対して、 画像上で値ｅを取る各連続領域Ｅｅに対して、 階調エッジ画像上の連続領域Ｅｅに対応するラベル画像
上のＬｅを求め、 前記ラベル画像上で前記Ｌｅに隣接する領域の個数Ｃを
求め、 前記個数Ｃによって、Ｃ＝０の場合、 新たなラベル番号Ｌｍａｘを生成し、 前記ラベル画像上の領域Ｌｅのラベル番号をＬｍａｘと
するラベル番号付与プロセスと、 前記個数Ｃ＝１の場合、 前記領域Ｌｅの近接領域のラベル番号をＬ１としたと
き、 前記ラベル画像上の領域Ｌｅとラベル番号Ｌ１の領域を
統合する第１の統合プロセスと、 前記個数Ｃ≧２の場合、 前記領域Ｌｅの近接領域のラベル番号をＬ１〜Ｌｃとし
たとき、 各ラベル領域をＬ１〜Ｌｃのそれぞれをオブジェクトと
して出力し、 前記ラベル画像上の領域Ｌｅとラベル番号Ｌ１〜Ｌｃの
領域を統合する第２の統合プロセスとを有することを特
徴とする画像内オブジェクト抽出プログラムを格納した
記憶媒体。 - 【請求項４】 前記第２の統合プロセスにおいて、オブ
ジェクトを出力する際に、 既に出力した各オブジェクトに比較して、 オブジェクトの外接矩形が同一の場合、オブジェクトの
外接矩形の２つの頂点が同一でかつ、オブジェクトの外
接矩形の面積の増加率が定数ｋ％以下の場合の少なくと
もいずれか１つに該当する場合に、既に出力済のオブジ
ェクトを削除する削除プロセスを含む請求項３記載の画
像内オブジェクト抽出プログラムを格納した記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18405197A JP3460516B2 (ja) | 1997-07-09 | 1997-07-09 | 画像内オブジェクト抽出方法及び画像内オブジェクト抽出プログラムを格納した記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18405197A JP3460516B2 (ja) | 1997-07-09 | 1997-07-09 | 画像内オブジェクト抽出方法及び画像内オブジェクト抽出プログラムを格納した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1125271A JPH1125271A (ja) | 1999-01-29 |
| JP3460516B2 true JP3460516B2 (ja) | 2003-10-27 |
Family
ID=16146524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18405197A Expired - Lifetime JP3460516B2 (ja) | 1997-07-09 | 1997-07-09 | 画像内オブジェクト抽出方法及び画像内オブジェクト抽出プログラムを格納した記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3460516B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6922485B2 (en) * | 2001-12-06 | 2005-07-26 | Nec Corporation | Method of image segmentation for object-based image retrieval |
-
1997
- 1997-07-09 JP JP18405197A patent/JP3460516B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1125271A (ja) | 1999-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6263113B1 (en) | Method for detecting a face in a digital image | |
| US20120163708A1 (en) | Apparatus for and method of generating classifier for detecting specific object in image | |
| US20190019052A1 (en) | Text Region Detection in Digital Images using Image Tag Filtering | |
| CN110659644B (zh) | 书法单字的笔画自动提取方法 | |
| JPH03260787A (ja) | テキスト又は線図形を識別する方法及びデジタル処理システム | |
| TWI637325B (zh) | 使用多顏色通道無記號偵測之便箋辨識與管理 | |
| JPH05225378A (ja) | 文書画像の領域分割システム | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| Sravani et al. | Robust detection of video text using an efficient hybrid method via key frame extraction and text localization | |
| JPH05166002A (ja) | ソース画像を分析する方法 | |
| Chan et al. | Image matching using run-length feature | |
| JP3460516B2 (ja) | 画像内オブジェクト抽出方法及び画像内オブジェクト抽出プログラムを格納した記憶媒体 | |
| US7336825B2 (en) | Segmenting a composite image via minimum areas | |
| Rampurkar et al. | An approach towards text detection from complex images using morphological techniques | |
| JP6151908B2 (ja) | 学習装置、識別装置、およびそのプログラム | |
| Vu et al. | Automatic extraction of text regions from document images by multilevel thresholding and k-means clustering | |
| JP3113785B2 (ja) | 画像分類装置 | |
| CN117037049B (zh) | 基于YOLOv5深度学习的图像内容检测方法及系统 | |
| Ablameyko et al. | Automatic map digitising: problems and solution | |
| Tian et al. | Interactive foreground segmentation method using mean shift and graph cuts | |
| JP2001043312A (ja) | 文書画像処理装置 | |
| EP1439485B1 (en) | Segmenting a composite image via basic rectangles | |
| Vu et al. | Extraction of text regions from complex background in document images by multilevel clustering | |
| Kumar et al. | Layout Analysis of Punjabi Newspapers Using Contour Detection and Deep Learning-Based Model | |
| Kataria et al. | Review on text detection and recognition in images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |