JPH0554143A - 動物体輪郭検出装置 - Google Patents
動物体輪郭検出装置Info
- Publication number
- JPH0554143A JPH0554143A JP3215101A JP21510191A JPH0554143A JP H0554143 A JPH0554143 A JP H0554143A JP 3215101 A JP3215101 A JP 3215101A JP 21510191 A JP21510191 A JP 21510191A JP H0554143 A JPH0554143 A JP H0554143A
- Authority
- JP
- Japan
- Prior art keywords
- contour
- grid point
- smoothness
- moving image
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 映像中から、ユーザが指定した動物体の輪郭
を自動的に検出する動物体輪郭検出装置に関するもので
あり、従来のように、本質的に曖昧性の強い画素の速度
情報を、無理に確定値として算出する過程を経ることな
く、高精度に輪郭検出することを目的としている。 【構成】 輪郭候補格子点生成プロセッサ１０５が生成
するＸＹＴ３次元空間内の格子点を、変換装置１０３が
画素のアドレスに変換し、輪郭特徴算出プロセッサ１０
４がその各格子点位置の輪郭特徴を算出し、曲面滑らか
さ算出プロセッサ１０６で輪郭候補格子点が３次元空間
内に作る曲面の滑らかさを計算し、探索装置１０７が上
記の輪郭特徴と滑らかさを評価基準として輪郭候補格子
点の集合から輪郭の軌跡を探索する。
を自動的に検出する動物体輪郭検出装置に関するもので
あり、従来のように、本質的に曖昧性の強い画素の速度
情報を、無理に確定値として算出する過程を経ることな
く、高精度に輪郭検出することを目的としている。 【構成】 輪郭候補格子点生成プロセッサ１０５が生成
するＸＹＴ３次元空間内の格子点を、変換装置１０３が
画素のアドレスに変換し、輪郭特徴算出プロセッサ１０
４がその各格子点位置の輪郭特徴を算出し、曲面滑らか
さ算出プロセッサ１０６で輪郭候補格子点が３次元空間
内に作る曲面の滑らかさを計算し、探索装置１０７が上
記の輪郭特徴と滑らかさを評価基準として輪郭候補格子
点の集合から輪郭の軌跡を探索する。
Description
【０００１】
【産業上の利用分野】本発明は、ＴＶやＨＤＴＶ、テレ
ビ電話等での動画像データの高能率圧縮の実現方式や、
ＴＶ番組や映画等の作成における映像合成のための部品
物体の切り出し方式、動画像データベース構築のための
検索キー映像の抽出方式等に適用できる動物体輪郭検出
装置に関するものである。
ビ電話等での動画像データの高能率圧縮の実現方式や、
ＴＶ番組や映画等の作成における映像合成のための部品
物体の切り出し方式、動画像データベース構築のための
検索キー映像の抽出方式等に適用できる動物体輪郭検出
装置に関するものである。
【０００２】
【従来の技術】従来、動画像において動物体の輪郭検出
は、画像のテクスチャやカラーの情報及び、各画素で算
出した速度ベクトルをもとにクラスタリングを行ない、
このクラスタ領域の輪郭を検出する方式がとられてい
た。
は、画像のテクスチャやカラーの情報及び、各画素で算
出した速度ベクトルをもとにクラスタリングを行ない、
このクラスタ領域の輪郭を検出する方式がとられてい
た。
【０００３】例えば、文献「逐次更新アルゴリズムに基
づく動画像のセグメンテーション：石井他、電子情報通
信学会 パターン認識と理解 研究会報告、ＰＲＵ９０―
１」にはこの方針に基づいて、ひとつのクラスタ領域を
生成する方式が報告されている。この方式では、まず、
時刻ｔに於いて、テクスチャとカラー情報をもとにクラ
スタリングにより動物体領域の候補を求める。次に、求
められた動物体の領域の候補の各画素を、速度ベクトル
だけシフトさせ、予測画像を生成する。そして、この予
測画像と、時刻ｔ＋１の実際の画像との差（誤差）が大
きい画素のクラスタリングをやりなおし、クラスタグル
ープを変更する。
づく動画像のセグメンテーション：石井他、電子情報通
信学会 パターン認識と理解 研究会報告、ＰＲＵ９０―
１」にはこの方針に基づいて、ひとつのクラスタ領域を
生成する方式が報告されている。この方式では、まず、
時刻ｔに於いて、テクスチャとカラー情報をもとにクラ
スタリングにより動物体領域の候補を求める。次に、求
められた動物体の領域の候補の各画素を、速度ベクトル
だけシフトさせ、予測画像を生成する。そして、この予
測画像と、時刻ｔ＋１の実際の画像との差（誤差）が大
きい画素のクラスタリングをやりなおし、クラスタグル
ープを変更する。
【０００４】以下、図２を用いて従来の技術による装置
の基本的な構成について述べる。２０１は時間の流れに
沿って入力された動画像データを記憶する動画像メモ
リ、２０２は動画像メモリ中の各画素で速度ベクトルを
確定値として算出する演算装置、２０３は、各画素でテ
キスチャ情報やカラー情報を算出する演算装置、２０４
は、２０２と２０３の演算装置が算出した情報をクラス
タリングし、画素のグループ化を行なうことにより動物
体の領域を検出する演算装置、２０５は、領域の輪郭を
生成する演算装置である。
の基本的な構成について述べる。２０１は時間の流れに
沿って入力された動画像データを記憶する動画像メモ
リ、２０２は動画像メモリ中の各画素で速度ベクトルを
確定値として算出する演算装置、２０３は、各画素でテ
キスチャ情報やカラー情報を算出する演算装置、２０４
は、２０２と２０３の演算装置が算出した情報をクラス
タリングし、画素のグループ化を行なうことにより動物
体の領域を検出する演算装置、２０５は、領域の輪郭を
生成する演算装置である。
【０００５】
【発明が解決しようとする課題】このような従来の技術
は、以下のような本質的な問題点を含んでいる。
は、以下のような本質的な問題点を含んでいる。
【０００６】（１）この技術は、一つの動物体の領域内
部ではカラーやテキスチャ、画素毎の速度ベクトルが一
つのクラスタに対応する、即ち、各画素が同一の値を持
つ、という仮定に立脚しているため、これが成り立たな
い状況では、領域の検出の精度が極めて低下する。実
際、ほとんどの自然映像では、一つの物体のカラー
（色）やテキスチャ（模様）が一通りである場合は少な
い。
部ではカラーやテキスチャ、画素毎の速度ベクトルが一
つのクラスタに対応する、即ち、各画素が同一の値を持
つ、という仮定に立脚しているため、これが成り立たな
い状況では、領域の検出の精度が極めて低下する。実
際、ほとんどの自然映像では、一つの物体のカラー
（色）やテキスチャ（模様）が一通りである場合は少な
い。
【０００７】また、速度ベクトルについても、動物体の
領域内の各位置で全て等しいということは有り得ない。
仮に物体が完全な剛体であるとしても、実世界では、３
次元内の運動をしているのであるから、これを２次元に
投影した結果である動画像では、一般にはどの画素でも
速度が等しいということは有り得ない。
領域内の各位置で全て等しいということは有り得ない。
仮に物体が完全な剛体であるとしても、実世界では、３
次元内の運動をしているのであるから、これを２次元に
投影した結果である動画像では、一般にはどの画素でも
速度が等しいということは有り得ない。
【０００８】（２）速度ベクトルを精度良く算出するこ
とには、本質的に困難な点を含んでいるため、大きな誤
差を生む原因となってしまう場合がある。特に、動物体
の領域の境界付近では、運動という現象が消滅してしま
うため、速度の存在を仮定することさえ無理がある。こ
のことを図３を用いて示す。
とには、本質的に困難な点を含んでいるため、大きな誤
差を生む原因となってしまう場合がある。特に、動物体
の領域の境界付近では、運動という現象が消滅してしま
うため、速度の存在を仮定することさえ無理がある。こ
のことを図３を用いて示す。
【０００９】図３で時刻ｔに於いて、領域Ｂの領域Ａに
接する部分は、時刻ｔ＋１では、斜線で示されるように
領域Ａの裏側に入って隠れてしまう。映像に於ける運動
とは、領域が次の時刻に、少し離れた位置にシフトして
現れる現象を示すのであり、隠れてなくなってしまうの
は運動ではなく、従って、当然そのような領域では速度
ベクトルを定義し算出することはできない。
接する部分は、時刻ｔ＋１では、斜線で示されるように
領域Ａの裏側に入って隠れてしまう。映像に於ける運動
とは、領域が次の時刻に、少し離れた位置にシフトして
現れる現象を示すのであり、隠れてなくなってしまうの
は運動ではなく、従って、当然そのような領域では速度
ベクトルを定義し算出することはできない。
【００１０】
【課題を解決するための手段】本発明はこのような問題
点を解決するために、動画像の時間軸を奥行き方向に展
開した３次元空間内の格子位置（ｘ，ｙ，ｔ）を動画像
データ記憶手段内のアドレスに変換する変換手段と、こ
の変換手段に対して、３次元空間内の格子位置（ｘ，
ｙ，ｔ）を出力し、動画像データ記憶手段から出力され
る、その格子位置（ｘ，ｙ，ｔ）の近傍での動画像デー
タをもとに、その格子位置の輪郭特徴量を算出する輪郭
特徴算出手段と、３次元空間内においてその輪郭を構成
する格子点の候補の集合を生成する輪郭候補格子点生成
手段と、この輪郭候補の格子点の集合が３次元空間内で
作る曲面の滑らかさを算出する曲面滑らかさ算出手段
と、輪郭特徴算出手段が算出した輪郭特徴量と、曲面滑
らかさ算出手段が算出した曲面の滑らかさの両データを
評価基準として、輪郭候補格子点生成手段が生成した、
輪郭を構成する候補の格子点の集合の中から、動物体の
適切な輪郭に相当する格子点の集合を探索する探索手段
を備えるものである。
点を解決するために、動画像の時間軸を奥行き方向に展
開した３次元空間内の格子位置（ｘ，ｙ，ｔ）を動画像
データ記憶手段内のアドレスに変換する変換手段と、こ
の変換手段に対して、３次元空間内の格子位置（ｘ，
ｙ，ｔ）を出力し、動画像データ記憶手段から出力され
る、その格子位置（ｘ，ｙ，ｔ）の近傍での動画像デー
タをもとに、その格子位置の輪郭特徴量を算出する輪郭
特徴算出手段と、３次元空間内においてその輪郭を構成
する格子点の候補の集合を生成する輪郭候補格子点生成
手段と、この輪郭候補の格子点の集合が３次元空間内で
作る曲面の滑らかさを算出する曲面滑らかさ算出手段
と、輪郭特徴算出手段が算出した輪郭特徴量と、曲面滑
らかさ算出手段が算出した曲面の滑らかさの両データを
評価基準として、輪郭候補格子点生成手段が生成した、
輪郭を構成する候補の格子点の集合の中から、動物体の
適切な輪郭に相当する格子点の集合を探索する探索手段
を備えるものである。
【００１１】
【作用】動画像データの時間軸を奥行き方向に展開した
３次元の空間内で見れば、動画像内の一つの物体の領域
はこの空間内で一つの立体に対応する。この立体表面
は、輪郭の時間方向の軌跡に相当する。従って、動物体
の輪郭検出はこの立体表面（曲面）を探索する問題とし
て捉えることができる。 カラーやテキスチャの情報や
動きの情報は、それらと動物体の輪郭との関係に於い
て、輪郭としての信頼性の程度を表す特徴量として表現
すれば、この立体表面の探索における拘束を与えると解
釈することができる。
３次元の空間内で見れば、動画像内の一つの物体の領域
はこの空間内で一つの立体に対応する。この立体表面
は、輪郭の時間方向の軌跡に相当する。従って、動物体
の輪郭検出はこの立体表面（曲面）を探索する問題とし
て捉えることができる。 カラーやテキスチャの情報や
動きの情報は、それらと動物体の輪郭との関係に於い
て、輪郭としての信頼性の程度を表す特徴量として表現
すれば、この立体表面の探索における拘束を与えると解
釈することができる。
【００１２】以下、本発明の作用について説明する。 １）動物体の輪郭が指定されると、指定された輪郭格子
点の近傍で輪郭候補格子点生成手段が時間軸を奥行き方
向に展開した３次元空間内の立体表面を構成する格子点
集合の候補を生成する。
点の近傍で輪郭候補格子点生成手段が時間軸を奥行き方
向に展開した３次元空間内の立体表面を構成する格子点
集合の候補を生成する。
【００１３】２）曲面滑らかさ算出手段は輪郭候補格子
点生成手段が生成する輪郭格子点の集合の候補に対し、
この格子点の集合が３次元空間内に作る曲面の滑らかさ
を定められた計算式に従って算出する。
点生成手段が生成する輪郭格子点の集合の候補に対し、
この格子点の集合が３次元空間内に作る曲面の滑らかさ
を定められた計算式に従って算出する。
【００１４】３）輪郭特徴算出手段は、輪郭候補格子点
生成手段が生成した格子点候補に対し、変換手段を介し
て動画像データ記憶手段から格子点近傍のデータを入力
し、その位置の近傍の画像情報をもとに、輪郭特徴量、
即ち、その位置が輪郭に含まれる信頼性の程度（確から
しさ）を算出する。
生成手段が生成した格子点候補に対し、変換手段を介し
て動画像データ記憶手段から格子点近傍のデータを入力
し、その位置の近傍の画像情報をもとに、輪郭特徴量、
即ち、その位置が輪郭に含まれる信頼性の程度（確から
しさ）を算出する。
【００１５】４）探索手段は輪郭候補格子点生成手段が
生成する格子点集合の中から適切な立体表面、即ち、最
終的な輪郭格子点の集合を輪郭特徴算出手段が算出する
輪郭特徴の情報と曲面滑らかさ算出手段が生成する曲面
の滑らかさの情報に基づき探索する。
生成する格子点集合の中から適切な立体表面、即ち、最
終的な輪郭格子点の集合を輪郭特徴算出手段が算出する
輪郭特徴の情報と曲面滑らかさ算出手段が生成する曲面
の滑らかさの情報に基づき探索する。
【００１６】立体表面（曲面）の評価に、曲面の滑らか
さの情報を加えることの妥当性の根拠は、物体の運動が
連続的に進行すると仮定できるならばおおよそ時間軸の
方向には立体表面は滑らかであるという性質にある。
（図４参照） 以上のように、本発明は、２種類の拘束情報をもとに輪
郭の探索を行なうものである。第１の拘束情報は、輪郭
特徴、即ち、画素が輪郭に含まれる確からしさの程度で
ある。この情報は、画像から直接計算できる局所的な情
報である。従来は、画素の速度ベクトルという誤差を含
んだ確定情報を用いていたのと対照される。
さの情報を加えることの妥当性の根拠は、物体の運動が
連続的に進行すると仮定できるならばおおよそ時間軸の
方向には立体表面は滑らかであるという性質にある。
（図４参照） 以上のように、本発明は、２種類の拘束情報をもとに輪
郭の探索を行なうものである。第１の拘束情報は、輪郭
特徴、即ち、画素が輪郭に含まれる確からしさの程度で
ある。この情報は、画像から直接計算できる局所的な情
報である。従来は、画素の速度ベクトルという誤差を含
んだ確定情報を用いていたのと対照される。
【００１７】第２の拘束情報は、３次元空間内の輪郭の
軌跡に対する滑らかさの拘束情報である。この拘束は大
域的（局所的でない）な拘束であり、これを拘束に加え
ることで滑らかな輪郭を抽出することができる。以上の
２種類の情報のバランスを評価基準として適切な輪郭を
検出する。
軌跡に対する滑らかさの拘束情報である。この拘束は大
域的（局所的でない）な拘束であり、これを拘束に加え
ることで滑らかな輪郭を抽出することができる。以上の
２種類の情報のバランスを評価基準として適切な輪郭を
検出する。
【００１８】
【実施例】以下、本発明の一実施例を図１を用いて説明
する。
する。
【００１９】これは、ユーザがコンソールのディスプレ
イに表示されている映像中の、特定の動物体の輪郭付近
を指定することで、その動物体の輪郭を自動的に検出で
きるというシステムである。
イに表示されている映像中の、特定の動物体の輪郭付近
を指定することで、その動物体の輪郭を自動的に検出で
きるというシステムである。
【００２０】図１において、１０１は時間の流れに沿っ
て動画像データを入力する記憶装置で、Ｎ枚のフレーム
メモリからなる。１０２は、ユーザがディスプレイを見
ながら、検出したい動物体の輪郭付近を指定するための
コンソール装置であり、１０３は１０４の輪郭特徴算出
プロセッサから転送されてきた３次元格子位置（ｘ，
ｙ，ｔ）（ｘ、ｙはフレーム内の位置：ｔは時刻）を、
特定のフレームの画素のアドレスに変換する変換装置で
ある。１０４は、１０５の輪郭候補格子点生成プロセッ
サが生成する格子点候補に対して、定められた計算式に
従って、輪郭特徴、即ち、格子点候補の輪郭としての信
頼性の程度を計算するプロセッサである。計算式として
は、文献「動画像分類のための微分積和型演算子：安藤
繁、計測自動制御学会論文集Vol.25,No4,pp496-503、(1
989)」に報告された出現特徴抽出演算子（速度境界特徴
抽出演算子）の計算式
て動画像データを入力する記憶装置で、Ｎ枚のフレーム
メモリからなる。１０２は、ユーザがディスプレイを見
ながら、検出したい動物体の輪郭付近を指定するための
コンソール装置であり、１０３は１０４の輪郭特徴算出
プロセッサから転送されてきた３次元格子位置（ｘ，
ｙ，ｔ）（ｘ、ｙはフレーム内の位置：ｔは時刻）を、
特定のフレームの画素のアドレスに変換する変換装置で
ある。１０４は、１０５の輪郭候補格子点生成プロセッ
サが生成する格子点候補に対して、定められた計算式に
従って、輪郭特徴、即ち、格子点候補の輪郭としての信
頼性の程度を計算するプロセッサである。計算式として
は、文献「動画像分類のための微分積和型演算子：安藤
繁、計測自動制御学会論文集Vol.25,No4,pp496-503、(1
989)」に報告された出現特徴抽出演算子（速度境界特徴
抽出演算子）の計算式
【００２１】
【数１】
【００２２】を用いる。１０６は、１０５が生成する輪
郭候補格子点集合が３次元空間内に作る曲面の滑らかさ
を、定められた計算式に従って計算するプロセッサであ
る。この計算式としては、
郭候補格子点集合が３次元空間内に作る曲面の滑らかさ
を、定められた計算式に従って計算するプロセッサであ
る。この計算式としては、
【００２３】
【数２】
【００２４】を用いる。（式２）で、Ｘは曲面上の任意
の点であり、図５に示すように、時間のパラメタｔと動
物体の輪郭上の線素パラメタｓの関数として与える。パ
ラメタαは、ｔ方向とｓ方向での滑らかさの拘束の強さ
に差異を設けるために導入したものである。
の点であり、図５に示すように、時間のパラメタｔと動
物体の輪郭上の線素パラメタｓの関数として与える。パ
ラメタαは、ｔ方向とｓ方向での滑らかさの拘束の強さ
に差異を設けるために導入したものである。
【００２５】１０７は、１０４と１０６のプロセッサが
輪郭候補の格子点に対してそれぞれ算出した輪郭特徴と
滑らかさの情報をもとに定義される、
輪郭候補の格子点に対してそれぞれ算出した輪郭特徴と
滑らかさの情報をもとに定義される、
【００２６】
【数３】
【００２７】の値が小さくなるような立体表面を探索す
る探索装置である。以下に１０５の輪郭候補格子点生成
プロセッサの格子点生成と１０７の探索装置の探索制御
のメカニズムを示す。
る探索装置である。以下に１０５の輪郭候補格子点生成
プロセッサの格子点生成と１０７の探索装置の探索制御
のメカニズムを示す。
【００２８】本実施例では、探索の効率化をはかるため
に、図６に示すように立体表面の平面系列Ｈｋ（ｋ＝０
・・ｎ）による断面の曲線の探索を行なう。
に、図６に示すように立体表面の平面系列Ｈｋ（ｋ＝０
・・ｎ）による断面の曲線の探索を行なう。
【００２９】このメカニズムの基本は、 １．既に探索された輪郭格子点をもとに、輪郭格子点集
合生成プロセッサ１０５が平面Ｈｋ（ｋ＝０・・ｎ）を
定める。
合生成プロセッサ１０５が平面Ｈｋ（ｋ＝０・・ｎ）を
定める。
【００３０】２．平面Ｈｋ上でプロセッサ１０５が次々
と輪郭格子点候補集合を生成する。 ３．輪郭格子点の候補の中から、探索装置１０７が隣接
する２つの格子点を組として、この組の探索を繰り返
す。である。
と輪郭格子点候補集合を生成する。 ３．輪郭格子点の候補の中から、探索装置１０７が隣接
する２つの格子点を組として、この組の探索を繰り返
す。である。
【００３１】以下、図６を用いて平面系列Ｈkの定め方
について説明する。以降、格子点Ｘj,kは、平面Ｈkと平
面ｔ＝ｔ0＋ｊ（ｔ0はユーザが指定したフレームの時
刻、ｊ＝０，１，２，３・・・）の交線上で、既に輪郭
格子点として決定された格子点を示す。又、格子点Ｚ
j,kは、同じ交線上で、１０６の輪郭候補格子点プロセ
ッサが生成した任意の格子点を表す。
について説明する。以降、格子点Ｘj,kは、平面Ｈkと平
面ｔ＝ｔ0＋ｊ（ｔ0はユーザが指定したフレームの時
刻、ｊ＝０，１，２，３・・・）の交線上で、既に輪郭
格子点として決定された格子点を示す。又、格子点Ｚ
j,kは、同じ交線上で、１０６の輪郭候補格子点プロセ
ッサが生成した任意の格子点を表す。
【００３２】Ａ．ｋ≧２の場合 平面ｔ＝ｔ0内で、格子点Ｘ0,k-1（Ｘ0,0、Ｘ0,1は既に
探索済み）から、輪郭方向に距離１だけ偏位した点Ｙk
を通り、輪郭方向に垂直なベクトル
探索済み）から、輪郭方向に距離１だけ偏位した点Ｙk
を通り、輪郭方向に垂直なベクトル
【００３３】
【数４】
【００３４】と、ベクトル
【００３５】
【数５】
【００３６】の２つのベクトルによって定まる平面とす
る。ここで、輪郭方向は、平面ｔ＝ｔ 0内で既に探索さ
れた格子点より、ベクトル
る。ここで、輪郭方向は、平面ｔ＝ｔ 0内で既に探索さ
れた格子点より、ベクトル
【００３７】
【数６】
【００３８】として与える。又、ベクトル
【００３９】
【数７】
【００４０】は、この動物体領域のおおまかな速度ベク
トル
トル
【００４１】
【数８】
【００４２】の成分をもとに定義する。この速度ベクト
ルの算出には、文献「画像の時空間微分算法を用いた速
度ベクトル分布計測システム：安藤繁、計測自動制御学
会論文集、２２−１２、ｐｐ１３３０−１３３６（１９
８６）」で報告された方式を用い、以下の計算式を用い
る。
ルの算出には、文献「画像の時空間微分算法を用いた速
度ベクトル分布計測システム：安藤繁、計測自動制御学
会論文集、２２−１２、ｐｐ１３３０−１３３６（１９
８６）」で報告された方式を用い、以下の計算式を用い
る。
【００４３】
【数９】
【００４４】Ｂ．ｋ＝０,１の場合（Ｈ0とＨ1）ユーザ
が入力した情報をもとにして以下のように定める。
が入力した情報をもとにして以下のように定める。
【００４５】ユーザは、輪郭検出の対象領域を指定する
ため、２０２のコンソール装置を介して、時刻（映像に
於ける時刻、フレーム順位）と映像中の４点を、図７に
示すように、３次元格子位置Ｐ0（ｘ0、ｙ0、ｔ0）、Ｐ
1（ｘ1、ｙ1、ｔ0）、Ｐ2（ｘ2、ｙ2、ｔ0）、Ｐ
3（ｘ3、ｙ3、ｔ0）として入力する。ここで、線素（短
い線分）Ｐ0Ｐ1は、時刻ｔ0に於ける動物体のおおよそ
の輪郭上にとられ、線素Ｐ2Ｐ3は、Ｐ0Ｐ1とおおよそそ
れぞれの中点Ｐ4でほぼ直角に交差するものとする。平
面Ｈ0は、先に述べたＨk（ｋ≧２）の定義において、点
Ｙ0を点Ｐ4とし、ベクトル（式４）は、ベクトル
ため、２０２のコンソール装置を介して、時刻（映像に
於ける時刻、フレーム順位）と映像中の４点を、図７に
示すように、３次元格子位置Ｐ0（ｘ0、ｙ0、ｔ0）、Ｐ
1（ｘ1、ｙ1、ｔ0）、Ｐ2（ｘ2、ｙ2、ｔ0）、Ｐ
3（ｘ3、ｙ3、ｔ0）として入力する。ここで、線素（短
い線分）Ｐ0Ｐ1は、時刻ｔ0に於ける動物体のおおよそ
の輪郭上にとられ、線素Ｐ2Ｐ3は、Ｐ0Ｐ1とおおよそそ
れぞれの中点Ｐ4でほぼ直角に交差するものとする。平
面Ｈ0は、先に述べたＨk（ｋ≧２）の定義において、点
Ｙ0を点Ｐ4とし、ベクトル（式４）は、ベクトル
【００４６】
【数１０】
【００４７】として定める。平面Ｈ1を定める際には、
点Ｘ0,0は既に定まっているので、点Ｘ 0,0からベクトル
点Ｘ0,0は既に定まっているので、点Ｘ 0,0からベクトル
【００４８】
【数１１】
【００４９】方向に距離１だけ偏位した点をＹ1とす
る。ベクトル（式４）はＨ0の場合同様にベクトル（式
９）で与える。又、ベクトル（式７）は全てのｋ（ｋ＝
０,１,２・・・）について共通のものを用いる。
る。ベクトル（式４）はＨ0の場合同様にベクトル（式
９）で与える。又、ベクトル（式７）は全てのｋ（ｋ＝
０,１,２・・・）について共通のものを用いる。
【００５０】以下、プロセッサ２０５と探索装置２０７
が協調して、平面Ｈk内で輪郭格子点を探索していくメ
カニズムについて説明する。
が協調して、平面Ｈk内で輪郭格子点を探索していくメ
カニズムについて説明する。
【００５１】基本的なメカニズムは、文献「A Formal B
asis for the Heuristic Determina-tion of Minimum C
ost Paths：PETER E.HART,et al.、IEEE TRANSACTIONS
ON SYSTEMS SCIENCE AND CYBERNETICS,pp100-107,(7,19
68)」に報告されたＡ＊アルゴリズムに基づく。
asis for the Heuristic Determina-tion of Minimum C
ost Paths：PETER E.HART,et al.、IEEE TRANSACTIONS
ON SYSTEMS SCIENCE AND CYBERNETICS,pp100-107,(7,19
68)」に報告されたＡ＊アルゴリズムに基づく。
【００５２】１．平面ｔ＝ｔ0内 プロセッサ１０５は、格子点Ｙkの平面ｔ＝ｔ0内での近
傍内で、輪郭候補格子点の集合Ｓ（Ｙk）を生成し、１
０４の輪郭特徴算出プロセッサと１０７の探索装置に送
る。プロセッサ１０４は、Ｓ（Ｙk）の全ての要素の格
子点Ｚ0,k対して、輪郭特徴を算出し、探索装置１０７
に値を返す。
傍内で、輪郭候補格子点の集合Ｓ（Ｙk）を生成し、１
０４の輪郭特徴算出プロセッサと１０７の探索装置に送
る。プロセッサ１０４は、Ｓ（Ｙk）の全ての要素の格
子点Ｚ0,k対して、輪郭特徴を算出し、探索装置１０７
に値を返す。
【００５３】探索装置１０７は、格子点Ｙkと格子点
Ｚ0,kの組をＡ＊アルゴリズムにおけるひとつのノード
として定義し、探索の単位とする。任意のノード
（Ｙk、Ｚ0,k）はスタートノードとして、探索候補ノー
ド集合ＯＰＥＮに入れる。ノードのコストは格子点Ｚ
0,kでの輪郭特徴の値とする。探索装置１０７は、探索
候補ノード集合ＯＰＥＮの要素ノードの中から、Ａ＊ア
ルゴリズムに従って、最も評価の高いノードをひとつ選
ぶ。次に、Ｚ0,kをＭＺ0,kとして、ノード（Ｙk、ＭＺ
0,k）を集合ＯＰＥＮから既探索ノード集合ＣＬＯＳＥ
に移す。さらに、探索装置１０７は、ＭＺ0,kをプロセ
ッサ１０５に送る。
Ｚ0,kの組をＡ＊アルゴリズムにおけるひとつのノード
として定義し、探索の単位とする。任意のノード
（Ｙk、Ｚ0,k）はスタートノードとして、探索候補ノー
ド集合ＯＰＥＮに入れる。ノードのコストは格子点Ｚ
0,kでの輪郭特徴の値とする。探索装置１０７は、探索
候補ノード集合ＯＰＥＮの要素ノードの中から、Ａ＊ア
ルゴリズムに従って、最も評価の高いノードをひとつ選
ぶ。次に、Ｚ0,kをＭＺ0,kとして、ノード（Ｙk、ＭＺ
0,k）を集合ＯＰＥＮから既探索ノード集合ＣＬＯＳＥ
に移す。さらに、探索装置１０７は、ＭＺ0,kをプロセ
ッサ１０５に送る。
【００５４】２．平面ｔ＝ｔ0＋１内 プロセッサ２０５は格子点ＭＺ0,kの平面ｔ＝ｔ0＋１内
での近傍内に、新たな輪郭候補格子点集合Ｓ（Ｍ
Ｚ0,k）を生成し、１０４の輪郭特徴算出プロセッサ
と、探索装置１０７に送る。２０４は集合Ｓ（Ｍ
Ｚ0,k）の全ての要素の格子点Ｚ1 ,kに対して、輪郭特徴
を算出し、探索装置１０７に値を返す。
での近傍内に、新たな輪郭候補格子点集合Ｓ（Ｍ
Ｚ0,k）を生成し、１０４の輪郭特徴算出プロセッサ
と、探索装置１０７に送る。２０４は集合Ｓ（Ｍ
Ｚ0,k）の全ての要素の格子点Ｚ1 ,kに対して、輪郭特徴
を算出し、探索装置１０７に値を返す。
【００５５】１０７は、任意の要素の格子点Ｚ1,kとＭ
Ｚ0,kの組として、新たなノード（ＭＺ0,k、Ｚ1,k）を
生成し、探索候補ノード集合ＯＰＥＮに入れる。このノ
ードのコストは、今度は、この２つの格子点での輪郭特
徴の値の和によって定義する。次に、１０７はＡ＊アル
ゴリズムのノード選択基準に従って、探索候補ノード集
合ＯＰＥＮの中から、最も評価の高いノードをひとつ選
びプロセッサ１０５に送る。同時にこのノードを既探索
ノード集合ＣＬＯＳＥに移す。
Ｚ0,kの組として、新たなノード（ＭＺ0,k、Ｚ1,k）を
生成し、探索候補ノード集合ＯＰＥＮに入れる。このノ
ードのコストは、今度は、この２つの格子点での輪郭特
徴の値の和によって定義する。次に、１０７はＡ＊アル
ゴリズムのノード選択基準に従って、探索候補ノード集
合ＯＰＥＮの中から、最も評価の高いノードをひとつ選
びプロセッサ１０５に送る。同時にこのノードを既探索
ノード集合ＣＬＯＳＥに移す。
【００５６】３．平面ｔ＝ｔ0＋ｍ内（ｍ＝２，３，４
・・・） 探索装置１０７が、探索候補ノード集合ＯＰＥＮ中のノ
ード（Ｚm―1,k、Ｚm,k）を探索したとすると、探索装
置１０７はＺm,kをＭＺm,kとして、プロセッサ１０５に
送る。プロセッサ１０５は、格子点ＭＺm,k の、平面ｔ
＝ｔ0＋ｍ＋１内での近傍に新たな輪郭候補格子点の集
合Ｓ（ＭＺm,k）を生成し、探索装置１０７と輪郭特徴
算出プロセッサ１０４にこれを送る。探索装置１０７
は、集合Ｓ（ＭＺm,k）の任意の要素Ｚm+1,kとＭＺm,k
の組で新たにノードを生成し、探索候補ノード集合ＯＰ
ＥＮに加える。ノード（Ｚm-1,k、Ｚm,k）の継続ノード
として生成された、ノード（Ｚm,k、Ｚm+1,k）のコスト
は、スタートノードからこのノードに至るまでに経由し
たノードのコストの和に、Ｚm+1,kでの輪郭特徴と、プ
ロセッサ１０６が算出する滑らかさの情報を、
・・・） 探索装置１０７が、探索候補ノード集合ＯＰＥＮ中のノ
ード（Ｚm―1,k、Ｚm,k）を探索したとすると、探索装
置１０７はＺm,kをＭＺm,kとして、プロセッサ１０５に
送る。プロセッサ１０５は、格子点ＭＺm,k の、平面ｔ
＝ｔ0＋ｍ＋１内での近傍に新たな輪郭候補格子点の集
合Ｓ（ＭＺm,k）を生成し、探索装置１０７と輪郭特徴
算出プロセッサ１０４にこれを送る。探索装置１０７
は、集合Ｓ（ＭＺm,k）の任意の要素Ｚm+1,kとＭＺm,k
の組で新たにノードを生成し、探索候補ノード集合ＯＰ
ＥＮに加える。ノード（Ｚm-1,k、Ｚm,k）の継続ノード
として生成された、ノード（Ｚm,k、Ｚm+1,k）のコスト
は、スタートノードからこのノードに至るまでに経由し
たノードのコストの和に、Ｚm+1,kでの輪郭特徴と、プ
ロセッサ１０６が算出する滑らかさの情報を、
【００５７】
【数１２】
【００５８】のように加えた値として定義する。 ４．このようにして、平面Ｈr（ｒ≦ｋ）上で輪郭格子
点が点列｛Ｘm,r｜ｍ＝０,１,２・・Ｎ｝（Ｎは対象フ
レームの枚数）として決定されたとすると、プロセッサ
２０５は点Ｘ0,k-1とＸ0,kをもとにして先に述べた方法
で平面Ｈk+1を定め、再び、平面Ｈk+1内の断面曲線の探
索を行なう。
点が点列｛Ｘm,r｜ｍ＝０,１,２・・Ｎ｝（Ｎは対象フ
レームの枚数）として決定されたとすると、プロセッサ
２０５は点Ｘ0,k-1とＸ0,kをもとにして先に述べた方法
で平面Ｈk+1を定め、再び、平面Ｈk+1内の断面曲線の探
索を行なう。
【００５９】
【発明の効果】以上のように、本発明では、２種類の拘
束情報の全体のバランスを評価基準として輪郭の検出を
行なうため、高精度な輪郭検出を実現でき、ＴＶや映画
作成に利用する映像部品の切り出し等の、高い輪郭検出
精度を要求する技術分野で特に効果の大きい発明であ
る。
束情報の全体のバランスを評価基準として輪郭の検出を
行なうため、高精度な輪郭検出を実現でき、ＴＶや映画
作成に利用する映像部品の切り出し等の、高い輪郭検出
精度を要求する技術分野で特に効果の大きい発明であ
る。
【図１】本発明の一実施例における動物体輪郭検出装置
のブロック図
のブロック図
【図２】従来の技術による動物体輪郭検出装置の概念的
構成を示したブロック図
構成を示したブロック図
【図３】物体の領域境界では速度が定義できないことを
示す説明図
示す説明図
【図４】３次元空間内での立体表面図
【図５】立体表面上の格子点の表現図
【図６】平面Ｈｋの定め方の説明図
【図７】ユーザによる検出対象の動物体の指定図
１０１ 動画像データ記憶手段 １０２ 変換手段 １０３ 輪郭特徴算出手段 １０４ 輪郭候補格子点生成手段 １０５ 曲面滑らかさ算出手段 １０６ 探索手段
Claims (1)
- 【請求項１】 時間の流れに沿って入力された動画像デ
ータを記憶する動画像データ記憶手段と、動画像の時間
軸を奥行き方向に展開した３次元空間内の格子点位置
（ｘ，ｙ，ｔ）を前記動画像データ記憶手段の記憶領域
のアドレスに変換する変換手段と、前記変換手段に対し
て、３次元空間内の格子位置（ｘ，ｙ，ｔ）を出力し、
前記動画像データ記憶手段から出力された、その格子位
置（ｘ，ｙ，ｔ）の近傍での動画像データをもとに、そ
の格子位置の輪郭特徴量を算出する輪郭特徴算出手段
と、輪郭に含まれる３次元空間内の格子点の候補の集合
を生成し前記輪郭特徴算出手段に出力する輪郭候補格子
点生成手段と、前記輪郭候補格子点生成手段が生成する
格子点の候補の集合を入力し、格子点の候補の集合が３
次元空間内に作る曲面の滑らかさを算出する曲面滑らか
さ算出手段と、前記輪郭特徴算出手段が算出した輪郭特
徴量と、前記曲面滑らかさ算出手段が算出した曲面の滑
らかさの両データを評価基準として、前記輪郭候補格子
点生成手段が生成した格子点の候補の集合の中から、動
物体の適切な輪郭に相当する格子点の集合を探索する探
索手段を具備することを特徴とする動物体輪郭検出装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3215101A JP2940247B2 (ja) | 1991-08-27 | 1991-08-27 | 動物体輪郭検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3215101A JP2940247B2 (ja) | 1991-08-27 | 1991-08-27 | 動物体輪郭検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0554143A true JPH0554143A (ja) | 1993-03-05 |
| JP2940247B2 JP2940247B2 (ja) | 1999-08-25 |
Family
ID=16666772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3215101A Expired - Fee Related JP2940247B2 (ja) | 1991-08-27 | 1991-08-27 | 動物体輪郭検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2940247B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004127311A (ja) * | 1993-10-25 | 2004-04-22 | Hitachi Ltd | 映像の連想検索装置 |
| US7457658B2 (en) | 2002-03-07 | 2008-11-25 | Medtronic, Inc. | Algorithm for accurate three-dimensional reconstruction of non-linear implanted medical devices in VIVO |
-
1991
- 1991-08-27 JP JP3215101A patent/JP2940247B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004127311A (ja) * | 1993-10-25 | 2004-04-22 | Hitachi Ltd | 映像の連想検索装置 |
| US7457658B2 (en) | 2002-03-07 | 2008-11-25 | Medtronic, Inc. | Algorithm for accurate three-dimensional reconstruction of non-linear implanted medical devices in VIVO |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2940247B2 (ja) | 1999-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5577175A (en) | 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation | |
| Chang et al. | Simultaneous motion estimation and segmentation | |
| EP0720377B1 (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
| Malciu et al. | A robust model-based approach for 3d head tracking in video sequences | |
| KR20160123871A (ko) | 영상 광류를 추정하는 방법 및 이를 위한 장치 | |
| US7209136B2 (en) | Method and system for providing a volumetric representation of a three-dimensional object | |
| Koch | Automatic reconstruction of buildings from stereoscopic image sequences | |
| Flenner et al. | A Helmholtz principle approach to parameter free change detection and coherent motion using exchangeable random variables | |
| JP2950633B2 (ja) | 動きベクトル検出装置 | |
| Loesch et al. | Localization of 3D objects using model-constrained SLAM | |
| JP2940247B2 (ja) | 動物体輪郭検出装置 | |
| US10432962B1 (en) | Accuracy and local smoothness of motion vector fields using motion-model fitting | |
| JPH07200833A (ja) | 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法 | |
| JPH08335268A (ja) | 領域抽出方法 | |
| JPH0846968A (ja) | 階層的動ベクトル検出方法および装置 | |
| KR0147330B1 (ko) | 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법 | |
| JP3527588B2 (ja) | テンプレートマッチング方法 | |
| CN110490235A (zh) | 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置 | |
| Chen et al. | Estimating dense optical flow of objects for autonomous vehicles | |
| JP3020299B2 (ja) | 動きベクトル検出装置 | |
| Rožić et al. | Depth sensing with disparity space images and three-dimensional recursive search | |
| Sorokin et al. | Joint layout, object pose, and mesh reconstruction method from scanned point clouds with restoration of missing points | |
| Zhu et al. | A Real-time 3D Perception Method with Multi-resolution Voxel Space | |
| JP3435286B2 (ja) | テンプレートマッチング方法 | |
| AL et al. | mmNEESEhhh mh OMENhhh |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |