JP4201957B2 - 画像のオブジェクト検出及び抽出装置 - Google Patents
画像のオブジェクト検出及び抽出装置 Download PDFInfo
- Publication number
- JP4201957B2 JP4201957B2 JP2000121108A JP2000121108A JP4201957B2 JP 4201957 B2 JP4201957 B2 JP 4201957B2 JP 2000121108 A JP2000121108 A JP 2000121108A JP 2000121108 A JP2000121108 A JP 2000121108A JP 4201957 B2 JP4201957 B2 JP 4201957B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- sketch
- image
- contour
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン番組を含むマルチメディア制作における合成画像のためのオブジェクト抽出や、画像からのオブジェクトの切り出しを行うのに利用され、オブジェクトベース画像符号化におけるオブジェクト抽出、画像のオブジェクト検出及び抽出装置に関するものである。
【０００２】
【従来の技術】
従来、オブジェクトを抽出するに当たり、クロマキーにおける背景のように特別の仕掛けを必要とするものや、レンジファインダのような特別のセンサを必要とするものが実用化されている。
【０００３】
一方、通常のカメラなどによって取得された自然画像からオブジェクトを切り出す技術は、指定されたオブジェクト位置・大きさを検出する技術と、大体の位置・輪郭から実際の輪郭に収束させる技術との２段階に大別され、実験的な検討がなされている。
【０００４】
指定されたオブジェクト位置・大きさを検出する技術としては、所望のオブジェクト形状、テクスチャ、２次元形状モデル等をキーとして記述し、与えられたキーに最も整合する領域を画像中から検出するのが一般的である（紺谷等「画像の内容検索技術 色や形状等の特徴量に基づく画像の検索」画像ラボ, Vol.10,No.6, pp5-9(1999) ）。
【０００５】
顔や人物の位置・大きさの検出にオブジェクト形状やテクスチャを用いる手法(Papageorgiou 等,“A General Framework for Object Detection," Proceedings of International Conference on Computer Vision (ICCV'98),(Bombay India, 1998)) がある。
【０００６】
大体の位置・輪郭から真の輪郭に収束させる技術としては、エネルギー最小化問題を反復的に解くことによって輪郭線を画像のエッジへ収束させる動的輪郭モデルsnakes(Kass 等,“Snakes: Active Contour Models," Proceedings of First International Conference on Computer Vision, pp.259-269(London UK, 1987))が代表的なものである。
【０００７】
snakesの制御に動的計画法を用いる手法(Amir 等,“Using Dynamic Programming for solving Variational Problems in Vision," IEEE Trans. PAMI, Vol.12, No.9, pp.855-867(1990))、greedyアルゴリズムによる高速化手法(Williams 等,“A Fast Algorithm for Active Contours and Curvature Estimation,", CVGIP: Image Understanding, Vol.55, No.1, pp.14-26(1992))等がある。
【０００８】
輝度のLaplacian のゼロクロス、輝度勾配、輝度値等を統合的に取り扱い、Dijkstraの最小コスト経路計画のアルゴリズムによって輪郭を追跡してオブジェクトを切り出す手法も提案されており、種々のシーンにおいて安定した切り出しが可能となる(Mortensen等,“Interactive Segmentation with Intelligent Scissors," Graphical Models and Image Processing, Vol.60, pp.349-384(1998)) 。
【０００９】
抽出対象を限定することによって抽出を安定化するアプローチとして、顔輪郭抽出の研究がある（横山等、「顔輪郭抽出のための動的輪郭モデルの提案」情処学論, Vol.40, No.3, pp1127-1137(1999) ）。
【００１０】
また、輪郭エッジを明示的に取り扱う代わりに画像から抽出された自己相似構造に基づいて局所反復写像系(Local Iterated Function Systems) を適用してオブジェクト領域を取得する手法によれば、滑らかな輪郭だけでなく尖った部分も正確に切り出すことができる（井田等「LIFSを用いた被写体輪郭線の高精度な抽出」信学論D-II, Vol.J82-D-II, No.8, pp1282-1289(1999) ）。
【００１１】
さらに、オブジェクト抽出技術をマルチメディアコンテンツ制作に応用する研究もある(Kruse等,“Advanced Processing Tools for Multimedia Production")。特に、画像合成を目的としているものとして、太い幅の大体の輪郭線を人為的に入力し、これをエッジ情報に基づいて実際の輪郭線に収束させる手法が提案されている（井上「画像合成のための対象物抽出法」信学論D-II, Vol.J74-D-II,No.10, pp1411-1418(1991)）。
【００１２】
【発明が解決しようとする課題】
指定されたオブジェクト位置・大きさを検出する技術及び大体の位置・輪郭から実際の輪郭に収束させる技術の個別の研究及び開発がこれまで多数行われてきたが、オブジェクトベース符号化、各種コンテンツ制作等に応用するために必要なオブジェクト検出及び抽出（切り出し）の統合的な取り扱いは、従来行われていない。
【００１３】
オブジェクトの検出及び抽出は、画像検索分野での研究例が多いが、その多くは矩形領域での抽出であり、画像合成に適切なものではない。
【００１４】
本発明の目的は、所望のオブジェクトを検出し及び抽出する、画像合成にも適した画像のオブジェクト検出及び抽出装置を提供することである。
【００１５】
【課題を解決するための手段】
本発明による画像のオブジェクト検出及び抽出装置は、画像及びその画像中の所望するオブジェクトの要求スケッチに基づいて、前記オブジェクトを検出及び抽出するオブジェクト検出及び抽出装置であって、
前記要求スケッチは、所望のオブジェクトの概略及びそのテクスチャを描写したスケッチとして、前記オブジェクトの輪郭及びテクスチャを反映して描写した多階調の輝度スケッチと、前記オブジェクトの輪郭のみを反映して描写した２値の形状スケッチとのうちのいずれか一方又は両方として規定されており、
前記画像としての輝度画像と前記要求スケッチとを入力して、前記輝度画像及び前記要求スケッチにおける複数の局所的な周波数帯域成分の合成で表されるそれぞれの特徴量
により検出するオブジェクト目安検出手段と、
前記目安に基づいて前記要求スケッチを幾何変換して、前記輝度画像と前記要求スケッチとの位置合わせを行い、位置合わせした輝度画像及び要求スケッチの画像を合成した形状スケッチを算出する位置合わせ手段と、
前記輝度画像及び前記形状スケッチの情報を入力して、前記形状スケッチの情報に低域フィルタ処理を施して、ぼかし形状を有する形状オブジェクトの情報を算出し、前記輝度画像の情報及び前記形状オブジェクトの情報の各々を、画像座標におけるｘ成分及びｙ成分となる水平方向及び垂直方向の勾配ベクトルで表し、双方の勾配ベクトルをｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジを検出するオブジェクト輪郭検出手段と、
前記輪郭エッジに従って前記オブジェクトの輪郭を追跡し、前記画像から前記オブジェクトの形状を抽出するオブジェクト抽出手段と、
を具えることを特徴とするものである。
【００１６】
本発明によれば、このようにオブジェクトの検出及びオブジェクトの抽出を統合することによって、手書きスケッチのような所望のスケッチに従って輪郭に忠実なオブジェクトを検出し及び抽出するので、画像合成にも適切なオブジェクトの検出及び抽出を行うことができる。このような装置では、対人間又は対人工知能の簡便なインタフェースの提供や、オブジェクト抽出工程の自動化も可能となる。
【００２０】
好適には、前記オブジェクト輪郭検出手段が、
前記ぼかし形状を有する形状オブジェクトの情報を算出する際に、前記位置合わせ手段によって位置合わせされた前記形状スケッチの輪郭の形状と抽出すべきオブジェクトの実際の輪郭の形状との間の誤差を許容する誤差許容手段と、
前記輝度画像の情報の勾配ベクトルを演算する第１勾配演算手段と、
前記誤差許容手段によって形状誤差許容範囲が付加された形状スケッチの勾配ベクトルを演算する第２勾配演算手段と、
前記第１勾配演算手段及び前記第２勾配演算手段によって得られた双方の勾配ベクトルをｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジを演算する積和演算手段と、
を有することを特徴とする。
【００２１】
【発明の実施の形態】
本発明による実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による画像のオブジェクト検出及び抽出装置の実施の形態を示す図である。この画像のオブジェクト抽出装置は、オブジェクト目安検出手段としてのオブジェクト位置及び大きさ検出回路１と、位置合わせ手段としての幾何変換回路２と、オブジェクト輪郭検出手段としてのオブジェクト輪郭検出回路３と、オブジェクト抽出手段としてのオブジェクト抽出回路４とを具え、動画像と静止画像の両方に適用することができる。
【００２２】
オブジェクト位置及び大きさ検出回路１には、画像としての輝度画像
【外１】
の情報を有する信号と、所望のオブジェクトの概略及びそのテクスチャを描写したスケッチ（以下、「要求スケッチ」と呼ぶ。）
【外２】
の情報を有する信号とが入力される。
【００２３】
要求スケッチ〔外２〕は、抽出したいオブジェクトを指定するために用いられ、本実施の形態では、図２に示すように、オブジェクトの輪郭及びテクスチャを反映して描写した多階調の輝度スケッチ（図２Ａ）と、オブジェクトの輪郭のみを反映して描写した２値の形状スケッチ（図２Ｂ）とのうちのいずれか一方又は両方とする。なお、本実施の形態では、要求スケッチとして輝度スケッチを用いた場合について説明する。
【００２４】
オブジェクト位置及び大きさ検出回路１は、ウェーブレット変換のような空間周波数領域におけるフィルタ処理又は畳み込み演算のような空間領域におけるフィルタ処理を行って、特徴的な数点を特徴点として抽出する。これら特徴点群を並進し及び／又は拡大した各点において、空間周波数領域又は空間領域でフィルタ処理された輝度画像〔外１〕をサンプリングし、後に説明する特徴量のマッチングを行うことによって、オブジェクトの目安としてのオブジェクトの大きさ及び位置
【外３】
の情報を有する信号を出力する。
【００２５】
幾何変換回路２には、要求スケッチ〔外２〕の情報を有する信号と、オブジェクトの大きさ及び位置〔外３〕の情報を有する信号とが入力され、オブジェクトの大きさ及び位置〔外３〕に基づいて、要求スケッチ〔外２〕を並進し及び変形して、その結果得られた形状スケッチ
【外４】
の情報を有する信号を出力する。
【００２６】
オブジェクト輪郭検出回路３には、輝度画像〔外１〕の情報を有する信号と、形状スケッチ〔外４〕の情報を有する信号とが入力され、これらの情報に基づいてオブジェクトの輪郭付近のエッジ
【外５】
の情報を有する信号を出力する。この際、オブジェクトの形状とは無関係である有害で輪郭から離関したエッジは除去される。
【００２７】
オブジェクト抽出回路４には、エッジ〔外５〕の情報を有する信号が入力され、これを用いてエッジ線を追跡し、オブジェクト内外の判定を行うことによってオブジェクトの形状のマスク
【外６】
を作成し、その情報を有する信号を出力する。この際、最短の経路を探索する経路計画アルゴリズムなどによってエッジ線の追跡を行い、これによって、ノイズなどに高い耐性を有するすなわちロバストな輪郭線の抽出を行うことができる。
【００２８】
以下、オブジェクト位置及び検出回路１、幾何変換回路２、オブジェクト輪郭検出回路３及びオブジェクト抽出回路４の各々について更に詳しく説明する。なお、後に出てくる数式中の微分及び積分演算は、実装においては必要に応じて離散化し、差分及び総和演算に置き換えられる。
図３は、図１のオブジェクト位置及び大きさ検出回路を詳細に示す図である。このオブジェクト位置及び大きさ検出回路１は、第１取得手段としてのフィルタ１ａと、第２取得手段としてのフィルタ１ｂと、第３取得手段としての特徴点抽出回路１ｃと、目安抽出手段としてのマッチング回路１ｄとを有する。
【００２９】
本実施の形態では、フィルタ１ａ及び１ｂをそれぞれ、空間領域又は空間周波数領域における特徴量抽出回路とし、そのような回路は、空間領域における場合には畳み込み演算などによって実装され、空間周波数領域における場合にはウェブレット変換などによって実装される。
【００３０】
フィルタ１ａ及び１ｂはそれぞれ、ｋを特徴量の識別番号とした場合、輝度画像〔外１〕及び要求スケッチ〔外２〕における複数の局所的な周波数帯域成分の合成で表される特徴量
【外７】
及び
【外８】
を算出する。ここで、
【外９】
を中心空間周波数とし、
【外１０】
を第ｋ種類目の特徴量における帯域合成の重み関数とし、
【外１１】
を、中心空間周波数〔外９〕のウェーブレット変換とし、
【外１２】
を画像座標とした場合、特徴量〔外７〕及び〔外８〕は、次のように表現される。
【数１】
【００３１】
特徴点抽出回路１ｃは、要求スケッチ〔外２〕において特徴量〔外８〕が比較的大きな値を示したＮ（Ｎを２以上の自然数とする。）個の点を、特徴点として探索し、その座標
【外１３】
を出力する。なお、本実施の形態では、特徴点は、以下の関係を用いて決定されるが、既に抽出された点からは所定の値以上の間隔をとるものとする。
【数２】
【００３２】
マッチング回路１ｄは、フィルタ１ａで取得した特徴量〔外７〕から、特徴点抽出回路１ｃで取得した座標
【外１４】
に基づいてサンプリングを行い、最も整合する位置及び大きさの情報を有する信号を出力する。オブジェクトの存在領域はこれらによって表現される。
【外１５】
を位置とし、ｍを拡大率とし、ｒを縦方向の引き延ばし率とした場合、マッチング回路から出力される情報を、次のように表すことができる。
【数３】
【００３３】
数３で示したような情報を有する信号は幾何変換回路２（図１）に入力され、これに応じて要求スケッチ〔外２〕を並進し及び拡大する。これによって輝度画像〔外１〕と要求スケッチ〔外２〕との位置合わせが行われて、両者が重ね合わされる。幾何変換回路２（図１）は、その結果として得られた形状スケッチ〔外４〕の情報を有する信号を出力する。なお、幾何変換回路２（図１）は、アフィンパラメータの少なくとも一部を用いて処理を行う。
【００３４】
図４は、図１のオブジェクト輪郭検出回路を詳細に示す図である。
オブジェクト輪郭検出手段３は、誤差許容手段としての平滑化回路３ａと、第１勾配演算手段としての勾配演算回路３ｂと、第２勾配演算手段としての勾配演算回路３ｃと、積和演算手段としての積和演算回路３ｄとを有する。
【００３５】
形状スケッチ〔外４〕を、平滑化回路３ａに含まれる図示しない低域通過フィルタに通過させて、ぼかし形状を有する形状オブジェクト
【外１６】
を取得する。この処理は、抽出すべきオブジェクトの実際の輪郭の形状と形状スケッチ〔外４〕の輪郭の形状との誤差を吸収するためのものであり、既に説明したようなデルタバンド処理(Kruse等,“Advanced Processing Tools for Multimedia Production") に相当する効果が得られる。なお、ぼかしの点広がり関数
【外１７】
とした場合、ぼかし形状を有する形状オブジェクト〔外１６〕は、次の式を満足する。
【数４】
なお、ぼかしの点広がり関数〔外１７〕の拡がりは、吸収すべき形状誤差量に対応する。
【００３６】
勾配演算回路３ｂ及び３ｃにはそれぞれ、ぼかし形状を有する形状オブジェクト〔外１７〕及び輝度画像〔外１〕が入力され、これらの勾配ベクトル
【外１８】
及び
【外１９】
が、以下の式を満足するように演算される。
【数５】
これら勾配ベクトル〔外１８〕及び〔外１９〕の各成分が、水平方向及び垂直方向のエッジ特徴量となる。
【００３７】
勾配ベクトル〔外１８〕の情報を有する信号及び勾配ベクトル〔外１９〕の情報を有する信号は、積和演算回路３ｄに供給され、これら勾配ベクトル〔外１８〕及び〔外１９〕のｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジ〔外５〕を、以下の式を満足するように計算する。
【数６】
【００３８】
ｘ成分同士の積の絶対値は、デルタバンド内における形状スケッチ〔外４〕の輪郭の縦エッジ強度と、輝度画像〔外１〕の縦エッジ強度との積を意味し、オブジェクトの輪郭付近の縦エッジのみが検出される。同様に、ｙ成分同士の場合には、オブジェクトの輪郭付近の横エッジのみが検出される。
【００３９】
これら縦エッジと横エッジとの和をとることによって、輪郭エッジ〔外５〕が検出される。なお、この処理は、太い幅の大体の輪郭線を人為的に入力し、これをエッジ情報に基づいて実際の輪郭線に収束させる手法（井上「画像合成のための対象物抽出法」信学論D-II, Vol.J74-D-II, No.10, pp1411-1418(1991)）に対応するものであるが、この場合、エッジ方位の情報を積極的に用いているので、オブジェクトのテクスチャに起因する不要な方向のエッジが抑制されるという効果を有する。
【００４０】
輪郭エッジ〔外５〕の情報を有する信号が、オブジェクト抽出回路４（図１）に入力される。オブジェクト抽出回路４（図１）は、輪郭エッジ〔外５〕を、コスト関数としてのDijkstraの最小コスト経路計画アルゴリズムによってオブジェクトの輪郭を追跡するなどの手法を用いて、オブジェクトの形状を確定する。
【００４１】
本実施の形態によれば、所望のスケッチに従って輪郭に忠実なオブジェクトを検出し及び抽出する。また、マッチング回路１ｄ（図３）が、比較的少数の特徴点を用いてマッチング処理を行うことができるので、装置全体の高速化を図ることができる。
【００４２】
なお、マッチング回路１ｄ（図３）の処理の際に、オブジェクトの目安として並進、拡大及び回転を考慮し、フィルタ１ａ及び１ｂがウェーブレット変換を行い、拡大及び回転をフィルタ帯域の中心空間周波数の絶対値及び偏角に適切に反映させることによって、ロバストなマッチングが可能となる。
【００４３】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、マッチング回路１ｄ（図３）でマッチングを行う際に、検出目的や対象に応じて、位置と拡大量のみに限定し、また、回転量及びアフィンパラメータを考慮することもできる。
【００４４】
また、スケッチとして、輝度スケッチや形状スケッチ以外の他のスケッチを用いることもでき、輝度スケッチとして形状スケッチをそのまま使用してもよい。
【図面の簡単な説明】
【図１】 本発明による画像のオブジェクト検出及び抽出装置の実施の形態を示す図である。
【図２】 要求スケッチの例を示す図である。
【図３】 図１のオブジェクト位置及び大きさ検出回路を詳細に示す図である。
【図４】 図１のオブジェクト輪郭検出回路を詳細に示す図である。
【符号の説明】
１ オブジェクト位置及び大きさ検出回路
１ａ，１ｂ フィルタ
１ｃ 特徴点抽出回路
１ｄ マッチング回路
２ 幾何変換回路
３ オブジェクト輪郭検出回路
３ａ 平滑化回路
３ｂ，３ｃ 勾配演算回路
３ｄ 積和演算回路
４ オブジェクト抽出回路
【発明の属する技術分野】
本発明は、テレビジョン番組を含むマルチメディア制作における合成画像のためのオブジェクト抽出や、画像からのオブジェクトの切り出しを行うのに利用され、オブジェクトベース画像符号化におけるオブジェクト抽出、画像のオブジェクト検出及び抽出装置に関するものである。
【０００２】
【従来の技術】
従来、オブジェクトを抽出するに当たり、クロマキーにおける背景のように特別の仕掛けを必要とするものや、レンジファインダのような特別のセンサを必要とするものが実用化されている。
【０００３】
一方、通常のカメラなどによって取得された自然画像からオブジェクトを切り出す技術は、指定されたオブジェクト位置・大きさを検出する技術と、大体の位置・輪郭から実際の輪郭に収束させる技術との２段階に大別され、実験的な検討がなされている。
【０００４】
指定されたオブジェクト位置・大きさを検出する技術としては、所望のオブジェクト形状、テクスチャ、２次元形状モデル等をキーとして記述し、与えられたキーに最も整合する領域を画像中から検出するのが一般的である（紺谷等「画像の内容検索技術 色や形状等の特徴量に基づく画像の検索」画像ラボ, Vol.10,No.6, pp5-9(1999) ）。
【０００５】
顔や人物の位置・大きさの検出にオブジェクト形状やテクスチャを用いる手法(Papageorgiou 等,“A General Framework for Object Detection," Proceedings of International Conference on Computer Vision (ICCV'98),(Bombay India, 1998)) がある。
【０００６】
大体の位置・輪郭から真の輪郭に収束させる技術としては、エネルギー最小化問題を反復的に解くことによって輪郭線を画像のエッジへ収束させる動的輪郭モデルsnakes(Kass 等,“Snakes: Active Contour Models," Proceedings of First International Conference on Computer Vision, pp.259-269(London UK, 1987))が代表的なものである。
【０００７】
snakesの制御に動的計画法を用いる手法(Amir 等,“Using Dynamic Programming for solving Variational Problems in Vision," IEEE Trans. PAMI, Vol.12, No.9, pp.855-867(1990))、greedyアルゴリズムによる高速化手法(Williams 等,“A Fast Algorithm for Active Contours and Curvature Estimation,", CVGIP: Image Understanding, Vol.55, No.1, pp.14-26(1992))等がある。
【０００８】
輝度のLaplacian のゼロクロス、輝度勾配、輝度値等を統合的に取り扱い、Dijkstraの最小コスト経路計画のアルゴリズムによって輪郭を追跡してオブジェクトを切り出す手法も提案されており、種々のシーンにおいて安定した切り出しが可能となる(Mortensen等,“Interactive Segmentation with Intelligent Scissors," Graphical Models and Image Processing, Vol.60, pp.349-384(1998)) 。
【０００９】
抽出対象を限定することによって抽出を安定化するアプローチとして、顔輪郭抽出の研究がある（横山等、「顔輪郭抽出のための動的輪郭モデルの提案」情処学論, Vol.40, No.3, pp1127-1137(1999) ）。
【００１０】
また、輪郭エッジを明示的に取り扱う代わりに画像から抽出された自己相似構造に基づいて局所反復写像系(Local Iterated Function Systems) を適用してオブジェクト領域を取得する手法によれば、滑らかな輪郭だけでなく尖った部分も正確に切り出すことができる（井田等「LIFSを用いた被写体輪郭線の高精度な抽出」信学論D-II, Vol.J82-D-II, No.8, pp1282-1289(1999) ）。
【００１１】
さらに、オブジェクト抽出技術をマルチメディアコンテンツ制作に応用する研究もある(Kruse等,“Advanced Processing Tools for Multimedia Production")。特に、画像合成を目的としているものとして、太い幅の大体の輪郭線を人為的に入力し、これをエッジ情報に基づいて実際の輪郭線に収束させる手法が提案されている（井上「画像合成のための対象物抽出法」信学論D-II, Vol.J74-D-II,No.10, pp1411-1418(1991)）。
【００１２】
【発明が解決しようとする課題】
指定されたオブジェクト位置・大きさを検出する技術及び大体の位置・輪郭から実際の輪郭に収束させる技術の個別の研究及び開発がこれまで多数行われてきたが、オブジェクトベース符号化、各種コンテンツ制作等に応用するために必要なオブジェクト検出及び抽出（切り出し）の統合的な取り扱いは、従来行われていない。
【００１３】
オブジェクトの検出及び抽出は、画像検索分野での研究例が多いが、その多くは矩形領域での抽出であり、画像合成に適切なものではない。
【００１４】
本発明の目的は、所望のオブジェクトを検出し及び抽出する、画像合成にも適した画像のオブジェクト検出及び抽出装置を提供することである。
【００１５】
【課題を解決するための手段】
本発明による画像のオブジェクト検出及び抽出装置は、画像及びその画像中の所望するオブジェクトの要求スケッチに基づいて、前記オブジェクトを検出及び抽出するオブジェクト検出及び抽出装置であって、
前記要求スケッチは、所望のオブジェクトの概略及びそのテクスチャを描写したスケッチとして、前記オブジェクトの輪郭及びテクスチャを反映して描写した多階調の輝度スケッチと、前記オブジェクトの輪郭のみを反映して描写した２値の形状スケッチとのうちのいずれか一方又は両方として規定されており、
前記画像としての輝度画像と前記要求スケッチとを入力して、前記輝度画像及び前記要求スケッチにおける複数の局所的な周波数帯域成分の合成で表されるそれぞれの特徴量
前記目安に基づいて前記要求スケッチを幾何変換して、前記輝度画像と前記要求スケッチとの位置合わせを行い、位置合わせした輝度画像及び要求スケッチの画像を合成した形状スケッチを算出する位置合わせ手段と、
前記輝度画像及び前記形状スケッチの情報を入力して、前記形状スケッチの情報に低域フィルタ処理を施して、ぼかし形状を有する形状オブジェクトの情報を算出し、前記輝度画像の情報及び前記形状オブジェクトの情報の各々を、画像座標におけるｘ成分及びｙ成分となる水平方向及び垂直方向の勾配ベクトルで表し、双方の勾配ベクトルをｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジを検出するオブジェクト輪郭検出手段と、
前記輪郭エッジに従って前記オブジェクトの輪郭を追跡し、前記画像から前記オブジェクトの形状を抽出するオブジェクト抽出手段と、
を具えることを特徴とするものである。
【００１６】
本発明によれば、このようにオブジェクトの検出及びオブジェクトの抽出を統合することによって、手書きスケッチのような所望のスケッチに従って輪郭に忠実なオブジェクトを検出し及び抽出するので、画像合成にも適切なオブジェクトの検出及び抽出を行うことができる。このような装置では、対人間又は対人工知能の簡便なインタフェースの提供や、オブジェクト抽出工程の自動化も可能となる。
【００２０】
好適には、前記オブジェクト輪郭検出手段が、
前記ぼかし形状を有する形状オブジェクトの情報を算出する際に、前記位置合わせ手段によって位置合わせされた前記形状スケッチの輪郭の形状と抽出すべきオブジェクトの実際の輪郭の形状との間の誤差を許容する誤差許容手段と、
前記輝度画像の情報の勾配ベクトルを演算する第１勾配演算手段と、
前記誤差許容手段によって形状誤差許容範囲が付加された形状スケッチの勾配ベクトルを演算する第２勾配演算手段と、
前記第１勾配演算手段及び前記第２勾配演算手段によって得られた双方の勾配ベクトルをｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジを演算する積和演算手段と、
を有することを特徴とする。
【００２１】
【発明の実施の形態】
本発明による実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による画像のオブジェクト検出及び抽出装置の実施の形態を示す図である。この画像のオブジェクト抽出装置は、オブジェクト目安検出手段としてのオブジェクト位置及び大きさ検出回路１と、位置合わせ手段としての幾何変換回路２と、オブジェクト輪郭検出手段としてのオブジェクト輪郭検出回路３と、オブジェクト抽出手段としてのオブジェクト抽出回路４とを具え、動画像と静止画像の両方に適用することができる。
【００２２】
オブジェクト位置及び大きさ検出回路１には、画像としての輝度画像
【外１】
【外２】
【００２３】
要求スケッチ〔外２〕は、抽出したいオブジェクトを指定するために用いられ、本実施の形態では、図２に示すように、オブジェクトの輪郭及びテクスチャを反映して描写した多階調の輝度スケッチ（図２Ａ）と、オブジェクトの輪郭のみを反映して描写した２値の形状スケッチ（図２Ｂ）とのうちのいずれか一方又は両方とする。なお、本実施の形態では、要求スケッチとして輝度スケッチを用いた場合について説明する。
【００２４】
オブジェクト位置及び大きさ検出回路１は、ウェーブレット変換のような空間周波数領域におけるフィルタ処理又は畳み込み演算のような空間領域におけるフィルタ処理を行って、特徴的な数点を特徴点として抽出する。これら特徴点群を並進し及び／又は拡大した各点において、空間周波数領域又は空間領域でフィルタ処理された輝度画像〔外１〕をサンプリングし、後に説明する特徴量のマッチングを行うことによって、オブジェクトの目安としてのオブジェクトの大きさ及び位置
【外３】
【００２５】
幾何変換回路２には、要求スケッチ〔外２〕の情報を有する信号と、オブジェクトの大きさ及び位置〔外３〕の情報を有する信号とが入力され、オブジェクトの大きさ及び位置〔外３〕に基づいて、要求スケッチ〔外２〕を並進し及び変形して、その結果得られた形状スケッチ
【外４】
【００２６】
オブジェクト輪郭検出回路３には、輝度画像〔外１〕の情報を有する信号と、形状スケッチ〔外４〕の情報を有する信号とが入力され、これらの情報に基づいてオブジェクトの輪郭付近のエッジ
【外５】
【００２７】
オブジェクト抽出回路４には、エッジ〔外５〕の情報を有する信号が入力され、これを用いてエッジ線を追跡し、オブジェクト内外の判定を行うことによってオブジェクトの形状のマスク
【外６】
【００２８】
以下、オブジェクト位置及び検出回路１、幾何変換回路２、オブジェクト輪郭検出回路３及びオブジェクト抽出回路４の各々について更に詳しく説明する。なお、後に出てくる数式中の微分及び積分演算は、実装においては必要に応じて離散化し、差分及び総和演算に置き換えられる。
図３は、図１のオブジェクト位置及び大きさ検出回路を詳細に示す図である。このオブジェクト位置及び大きさ検出回路１は、第１取得手段としてのフィルタ１ａと、第２取得手段としてのフィルタ１ｂと、第３取得手段としての特徴点抽出回路１ｃと、目安抽出手段としてのマッチング回路１ｄとを有する。
【００２９】
本実施の形態では、フィルタ１ａ及び１ｂをそれぞれ、空間領域又は空間周波数領域における特徴量抽出回路とし、そのような回路は、空間領域における場合には畳み込み演算などによって実装され、空間周波数領域における場合にはウェブレット変換などによって実装される。
【００３０】
フィルタ１ａ及び１ｂはそれぞれ、ｋを特徴量の識別番号とした場合、輝度画像〔外１〕及び要求スケッチ〔外２〕における複数の局所的な周波数帯域成分の合成で表される特徴量
【外７】
【外８】
【外９】
【外１０】
【外１１】
【外１２】
【数１】
特徴点抽出回路１ｃは、要求スケッチ〔外２〕において特徴量〔外８〕が比較的大きな値を示したＮ（Ｎを２以上の自然数とする。）個の点を、特徴点として探索し、その座標
【外１３】
【数２】
マッチング回路１ｄは、フィルタ１ａで取得した特徴量〔外７〕から、特徴点抽出回路１ｃで取得した座標
【外１４】
【外１５】
【数３】
数３で示したような情報を有する信号は幾何変換回路２（図１）に入力され、これに応じて要求スケッチ〔外２〕を並進し及び拡大する。これによって輝度画像〔外１〕と要求スケッチ〔外２〕との位置合わせが行われて、両者が重ね合わされる。幾何変換回路２（図１）は、その結果として得られた形状スケッチ〔外４〕の情報を有する信号を出力する。なお、幾何変換回路２（図１）は、アフィンパラメータの少なくとも一部を用いて処理を行う。
【００３４】
図４は、図１のオブジェクト輪郭検出回路を詳細に示す図である。
オブジェクト輪郭検出手段３は、誤差許容手段としての平滑化回路３ａと、第１勾配演算手段としての勾配演算回路３ｂと、第２勾配演算手段としての勾配演算回路３ｃと、積和演算手段としての積和演算回路３ｄとを有する。
【００３５】
形状スケッチ〔外４〕を、平滑化回路３ａに含まれる図示しない低域通過フィルタに通過させて、ぼかし形状を有する形状オブジェクト
【外１６】
【外１７】
【数４】
【００３６】
勾配演算回路３ｂ及び３ｃにはそれぞれ、ぼかし形状を有する形状オブジェクト〔外１７〕及び輝度画像〔外１〕が入力され、これらの勾配ベクトル
【外１８】
【外１９】
【数５】
【００３７】
勾配ベクトル〔外１８〕の情報を有する信号及び勾配ベクトル〔外１９〕の情報を有する信号は、積和演算回路３ｄに供給され、これら勾配ベクトル〔外１８〕及び〔外１９〕のｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジ〔外５〕を、以下の式を満足するように計算する。
【数６】
ｘ成分同士の積の絶対値は、デルタバンド内における形状スケッチ〔外４〕の輪郭の縦エッジ強度と、輝度画像〔外１〕の縦エッジ強度との積を意味し、オブジェクトの輪郭付近の縦エッジのみが検出される。同様に、ｙ成分同士の場合には、オブジェクトの輪郭付近の横エッジのみが検出される。
【００３９】
これら縦エッジと横エッジとの和をとることによって、輪郭エッジ〔外５〕が検出される。なお、この処理は、太い幅の大体の輪郭線を人為的に入力し、これをエッジ情報に基づいて実際の輪郭線に収束させる手法（井上「画像合成のための対象物抽出法」信学論D-II, Vol.J74-D-II, No.10, pp1411-1418(1991)）に対応するものであるが、この場合、エッジ方位の情報を積極的に用いているので、オブジェクトのテクスチャに起因する不要な方向のエッジが抑制されるという効果を有する。
【００４０】
輪郭エッジ〔外５〕の情報を有する信号が、オブジェクト抽出回路４（図１）に入力される。オブジェクト抽出回路４（図１）は、輪郭エッジ〔外５〕を、コスト関数としてのDijkstraの最小コスト経路計画アルゴリズムによってオブジェクトの輪郭を追跡するなどの手法を用いて、オブジェクトの形状を確定する。
【００４１】
本実施の形態によれば、所望のスケッチに従って輪郭に忠実なオブジェクトを検出し及び抽出する。また、マッチング回路１ｄ（図３）が、比較的少数の特徴点を用いてマッチング処理を行うことができるので、装置全体の高速化を図ることができる。
【００４２】
なお、マッチング回路１ｄ（図３）の処理の際に、オブジェクトの目安として並進、拡大及び回転を考慮し、フィルタ１ａ及び１ｂがウェーブレット変換を行い、拡大及び回転をフィルタ帯域の中心空間周波数の絶対値及び偏角に適切に反映させることによって、ロバストなマッチングが可能となる。
【００４３】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、マッチング回路１ｄ（図３）でマッチングを行う際に、検出目的や対象に応じて、位置と拡大量のみに限定し、また、回転量及びアフィンパラメータを考慮することもできる。
【００４４】
また、スケッチとして、輝度スケッチや形状スケッチ以外の他のスケッチを用いることもでき、輝度スケッチとして形状スケッチをそのまま使用してもよい。
【図面の簡単な説明】
【図１】 本発明による画像のオブジェクト検出及び抽出装置の実施の形態を示す図である。
【図２】 要求スケッチの例を示す図である。
【図３】 図１のオブジェクト位置及び大きさ検出回路を詳細に示す図である。
【図４】 図１のオブジェクト輪郭検出回路を詳細に示す図である。
【符号の説明】
１ オブジェクト位置及び大きさ検出回路
１ａ，１ｂ フィルタ
１ｃ 特徴点抽出回路
１ｄ マッチング回路
２ 幾何変換回路
３ オブジェクト輪郭検出回路
３ａ 平滑化回路
３ｂ，３ｃ 勾配演算回路
３ｄ 積和演算回路
４ オブジェクト抽出回路
Claims (2)
- 画像及びその画像中の所望するオブジェクトの要求スケッチに基づいて、前記オブジェクトを検出及び抽出するオブジェクト検出及び抽出装置であって、
前記要求スケッチは、所望のオブジェクトの概略及びそのテクスチャを描写したスケッチとして、前記オブジェクトの輪郭及びテクスチャを反映して描写した多階調の輝度スケッチと、前記オブジェクトの輪郭のみを反映して描写した２値の形状スケッチとのうちのいずれか一方又は両方として規定されており、
前記画像としての輝度画像と前記要求スケッチとを入力して、前記輝度画像及び前記要求スケッチにおける複数の局所的な周波数帯域成分の合成で表されるそれぞれの特徴量
により検出するオブジェクト目安検出手段と、
前記目安に基づいて前記要求スケッチを幾何変換して、前記輝度画像と前記要求スケッチとの位置合わせを行い、位置合わせした輝度画像及び要求スケッチの画像を合成した形状スケッチを算出する位置合わせ手段と、
前記輝度画像及び前記形状スケッチの情報を入力して、前記形状スケッチの情報に低域フィルタ処理を施して、ぼかし形状を有する形状オブジェクトの情報を算出し、前記輝度画像の情報及び前記形状オブジェクトの情報の各々を、画像座標におけるｘ成分及びｙ成分となる水平方向及び垂直方向の勾配ベクトルで表し、双方の勾配ベクトルをｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジを検出するオブジェクト輪郭検出手段と、
前記輪郭エッジに従って前記オブジェクトの輪郭を追跡し、前記画像から前記オブジェクトの形状を抽出するオブジェクト抽出手段と、
を具えることを特徴とする画像のオブジェクト検出及び抽出装置。 - 前記オブジェクト輪郭検出手段が、
前記ぼかし形状を有する形状オブジェクトの情報を算出する際に、前記位置合わせ手段によって位置合わせされた前記形状スケッチの輪郭の形状と抽出すべきオブジェクトの実際の輪郭の形状との間の誤差を許容する誤差許容手段と、
前記輝度画像の情報の勾配ベクトルを演算する第１勾配演算手段と、
前記誤差許容手段によって形状誤差許容範囲が付加された形状スケッチの勾配ベクトルを演算する第２勾配演算手段と、
前記第１勾配演算手段及び前記第２勾配演算手段によって得られた双方の勾配ベクトルをｘ成分同士の積の絶対値とｙ成分同士の積の絶対値との和となる輪郭エッジを演算する積和演算手段と、
を有することを特徴とする請求項１記載の画像のオブジェクト検出及び抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000121108A JP4201957B2 (ja) | 2000-04-21 | 2000-04-21 | 画像のオブジェクト検出及び抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000121108A JP4201957B2 (ja) | 2000-04-21 | 2000-04-21 | 画像のオブジェクト検出及び抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001307091A JP2001307091A (ja) | 2001-11-02 |
| JP4201957B2 true JP4201957B2 (ja) | 2008-12-24 |
Family
ID=18631810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000121108A Expired - Fee Related JP4201957B2 (ja) | 2000-04-21 | 2000-04-21 | 画像のオブジェクト検出及び抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4201957B2 (ja) |
-
2000
- 2000-04-21 JP JP2000121108A patent/JP4201957B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001307091A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Riegler et al. | A deep primal-dual network for guided depth super-resolution | |
| Canny | A Variational Approach to Edge Detection. | |
| CA2326816C (en) | Face recognition from video images | |
| WO2021017361A1 (zh) | 一种基于边缘和梯度特征的模板匹配算法 | |
| WO2019042232A1 (zh) | 一种快速鲁棒的多模态遥感影像匹配方法和系统 | |
| Wang et al. | Multiscale curvature-based shape representation using B-spline wavelets | |
| Sharma et al. | Edge detection using Moore neighborhood | |
| CN103136520A (zh) | 基于pca-sc算法的形状匹配和目标识别方法 | |
| CN105184766B (zh) | 一种频域边界能量模型的水平集图像分割方法 | |
| CN110942476A (zh) | 基于二维图像引导的改进三维点云配准方法、系统及可读存储介质 | |
| Chen et al. | Image stitching algorithm research based on OpenCV | |
| CN108010002A (zh) | 一种基于自适应隐式移动最小二乘的结构化点云去噪方法 | |
| Pradeep et al. | VLSI implemetation of euler number computation and stereo vision concept for cordic based image registration | |
| JP4201957B2 (ja) | 画像のオブジェクト検出及び抽出装置 | |
| CN113592947B (zh) | 一种半直接法的视觉里程计实现方法 | |
| KR101279484B1 (ko) | 영상 처리 장치 및 방법 | |
| Dryanovski et al. | Real-time pose estimation with RGB-D camera | |
| Reddy et al. | Object detection by 2-D continuous wavelet transform | |
| CN111160208B (zh) | 基于多帧点云融合与可变模型的三维人脸超分辨率方法 | |
| Yu et al. | Intensity guided depth upsampling using edge sparsity and super-weighted $ l_0 $ gradient minimization | |
| Du et al. | A high-precision vision-based mobile robot slope detection method in unknown environment | |
| Bai | Overview of image mosaic technology by computer vision and digital image processing | |
| CN112435345A (zh) | 一种基于深度学习的人体三维测量方法及系统 | |
| Chen et al. | An Impoved Image Registration Method Based on SIFT and SC-RANSAC Algorithm | |
| Wu et al. | Robust variational optical flow algorithm based on rolling guided filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080818 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081008 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141017 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |