JP3963033B2 - 時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体 - Google Patents
時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3963033B2 JP3963033B2 JP20698397A JP20698397A JP3963033B2 JP 3963033 B2 JP3963033 B2 JP 3963033B2 JP 20698397 A JP20698397 A JP 20698397A JP 20698397 A JP20698397 A JP 20698397A JP 3963033 B2 JP3963033 B2 JP 3963033B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- curve
- point
- series data
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 169
- 238000011156 evaluation Methods 0.000 claims description 160
- 238000004364 calculation method Methods 0.000 claims description 90
- 238000009499 grossing Methods 0.000 claims description 66
- 238000000605 extraction Methods 0.000 claims description 60
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 76
- 238000010586 diagram Methods 0.000 description 28
- 239000000203 mixture Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、各種の画像処理などに用いられる、時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
複数の画像データから物体形状を抽出する処理は、ＣＡＤ（Computer Aided Design ）、コンピュータグラフィックス、各種画像処理等においてよく行われる。そのなかで、画像合成処理を行う際に必要なキー信号を作成する処理がある。このキー信号とは、合成したい前景物体の領域を切抜くための情報であり、マスクとも呼ばれる。画像合成処理では、とりわけ正確なキー信号、すなわち正確な輪郭形状を抽出することが重要視される。
【０００３】
従来の輪郭抽出技術は、その操作方法について２つに大別できる。
【０００４】
第１の従来技術は、最初に輪郭に対する情報を与えた後は自動的に輪郭抽出を行う種類のものである。最初に与える情報としては、抽出したい輪郭の付近に大まかに閉曲線を描くなどして輪郭の大体の形状情報を与えるものと、輪郭を識別するための色やテクスチャの情報を入力するものとがある。
【０００５】
前者の例としては、文献「画像合成のための対象物抽出法」（井上誠喜，電子情報通信学会論文誌，Vol.J74-D-II，No.10，pp.1411-1418，1991 ）や、特開平３−１７６８０号公報記載の「領域抽出方法」、文献「領域分割に基づく複雑物体の自動切り出し」（栄藤稔,白井良明，NICOGRAPH'92論文集，pp.8-17，1992）、特開平５−６１９７７号公報記載の「領域抽出装置」、文献「弾性輪郭モデルとエネルギー最小化原理による輪郭追跡手法」（上田修功， 間瀬健二， 末永康仁，信学誌，Vol.J-75-D-II,No.1,pp.111-120,1992）、特開平５−１２４４３号公報記載の「動物体の輪郭追跡方法」などに示される技術がある。
【０００６】
また、後者の例としては、特開平２−１０５１５２号公報記載の「切抜きマスク作成システム」、特開平４−９０５４４号公報記載の「切抜きマスク作成方法及び装置」などに示される技術がある。
【０００７】
第２の従来技術は、オペレータがさらに詳しく輪郭の位置や方向等を与えながら形状を作成していく種類のもので、よりインタラクティブな操作性をもつ。輪郭上の点を幾つか指定すると各点間の形状を生成するもの、輪郭形状をあらわすパラメトリック曲線の制御点を操作するもの、輪郭形状をマウス等で直接入力するもの等がある。
【０００８】
これらの例としては、文献「Intelligent Scissors for Image Composition」（Eric N. Mortensen and William A. Barrett，Computer Graphics Proceedings，Annual Conference Series，1995，ACMSIGGRAPH，pp.191-198）、特開平４−１５２４８１号公報に記載の「画像輪郭検出方法」、特開平４−２５４８５４号公報に記載の「切抜きマスク作成方法及び装置」などに示される技術がある。
【０００９】
キーまたはマスクを生成する処理では、全フレームの画像について正確な輪郭形状が得られている必要がある。映画またはテレビ画像においては数秒の画像合成に数百のキーが必要なので、その処理量は膨大である。従って、第１の従来技術のような、なるべく少ない入力で自動的に実行される輪郭抽出処理が有効である。
【００１０】
しかし、現状では、自動抽出によって完全な輪郭形状抽出を行うには至っておらず、画像合成への使用に耐え得るキー得るためには、オペレータが手動で部分的な修正を行うことによって、より正確な輪郭形状とすることが不可欠である。この修正を手助けする技術として、第２の従来技術のようなインタラクティブな手法が有効である。
【００１１】
【発明が解決しようとする課題】
ところが、従来の輪郭抽出技術では以下に述べるような問題があった。
【００１２】
従来の輪郭抽出技術は、基本的にフレーム毎に独立な処理を行うことによって、各フレームでの輪郭形状を得るものである。そのため、画像の特徴（輝度、ぼけ具合い等）によっては処理精度が十分に得られず、輪郭位置がフレーム毎に微妙に変化することがある。各フレームは、正確に輪郭抽出が行われているように見えても、全フレームを通して観察すると、本来は滑らかに運動するはずの輪郭がばたついてしまうという問題があった。
【００１３】
さらに、各フレームにおいて、第２の従来技術のようなインタラクティブな手法を用いて輪郭抽出を行った場合には、オペレータによる入力誤差もばたつきを生じさせる一因となる。前述のように、キー生成では、画像合成への使用に耐え得るキー得るためには、手動による部分的な修正が不可欠なので、フレーム間の輪郭のばたつきの問題は避けられない問題であった。
【００１４】
一般に、時系列データのばたつきを抑えるために、時間方向に平滑化処理を行うことがよく行われる。時間方向の平滑化処理は、上記のフレーム間の輪郭のばたつきを抑えるためにも有効である。ところが、輪郭形状データを時間方向に平滑化する方法には以下のような問題があった。
【００１５】
平滑化を行うためには、輪郭上の各位置がフレーム間で対応がとれていなければならない。前述したように、従来の輪郭抽出技術ではフレーム毎の処理が独立であり、フレーム間の輪郭位置の対応はとれていない。そのため、別途対応づけを行わなければならないという問題が生じる。
【００１６】
輪郭データの生成方法にもよるが、輪郭の全長がフレーム毎に異なる、形状が刻々変化する、データが輪郭のどの位置から開始されるかがフレーム毎に異なる、等の理由があり自動的な対応点追跡が困難であるという問題がある。
【００１７】
上記の問題を克服するために、一定数のパラメータで定義される曲線を用いれると各パラメータ毎に対応がとれるので、パラメータ毎の平滑化は可能になる。しかし、一定数のパラメータで定義される曲線が表現できる形状の複雑さは決まっているため、正確な輪郭抽出が不可能になってしまう。
【００１８】
一方、これとは逆に、必要な対応点を全て手動で与える作業は非常に大変である。
【００１９】
以上のことから、ある程度の対応点が手動で与えられれば、そこから他の対応点を推定するような方法が必要であることが分かる。
【００２０】
また、前述したように、時系列データの平滑化処理は、データのばらつきを抑えるのに有効であるが、時系列データの高周波成分をカットしてしまうために形状が鈍ってしまうという副作用がある。
【００２１】
画像中の輪郭データの場合には、平滑化によって、運動している物体の輪郭データが、本来の画像中の物体輪郭に追随しなくなるという現象が生じ、輪郭の正確さを著しく損なう可能性がある。
【００２２】
本発明は、このような問題を解決するために行われたものであり、ある程度の対応点が手動で与えられれば、そこから他の対応点を推定し、しかも平滑化によって、運動している物体輪郭データが本来の画像中の物体輪郭に追随しなくなるという現象が生じない時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体を提供することを目的としている。
【００２３】
【課題を解決するための手段】
上記の課題を解決するために提案する本発明の時系列データ生成装置は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成装置であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段とを備え、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出手段は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出手段を有することを特徴とするものである。
また、本発明の時系列データ生成装置は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成装置であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段とを備え、上記時系列データＩ（ｔ）は画像であり、上記評価値算出手段は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出手段を有することを特徴とするものである。
【００２４】
上記の課題を解決するために提案する本発明の時系列データ生成方法は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成方法であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の時系列データ生成方法は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成方法であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２５】
上記の課題を解決するために提案する本発明の記録媒体は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の記録媒体は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２６】
上記の課題を解決するために提案する本発明の時系列データ生成装置は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成装置であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間手段と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出手段と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化手段と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成手段とを備え、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出手段は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出手段を有することを特徴とするものである。
また、本発明の時系列データ生成装置は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成装置であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間手段と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出手段と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化手段と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成手段とを備え、上記時系列データＩ（ｔ）は画像であり、上記評価値算出手段は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出手段を有することを特徴とするものである。
【００２７】
上記の課題を解決するために提案する本発明の時系列データ生成方法は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成方法であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の時系列データ生成方法は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成方法であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２８】
上記の課題を解決するために提案する本発明の記録媒体は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の記録媒体は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２９】
上記の課題を解決するために提案する本発明の曲線編集装置は、輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集装置であって、曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定手段と、各点についてそれが属する対応点の組を指定する対応設定手段と、各点について、その重み係数を設定する重み設定手段と、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形手段とを備えることを特徴とするものである。
【００３０】
上記の課題を解決するために提案する本発明の曲線編集方法は、輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集方法であって、曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定工程と、各点についてそれが属する対応点の組を指定する対応設定工程と、各点について、その重み係数を設定する重み設定工程と、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形工程とを有することを特徴とするものである。
【００３１】
上記の課題を解決するために提案する本発明の記録媒体は、輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集プログラムを記録した記録媒体であって、上記曲線編集プログラムは、曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定工程と、各点についてそれが属する対応点の組を指定する対応設定工程と、各点について、その重み係数を設定する重み設定工程と、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形工程とを有することを特徴とするものである。
【００３２】
以上の本発明によれば、対応点がある程度で与えられれば、そこから他の対応点を推定し、しかも平滑化によって、運動している物体輪郭データが本来の画像中の物体輪郭に追随しなくなるという現象が生じない時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体を提供することができる。
【００３３】
【発明の実施の形態】
以下に、本発明の好ましい実施の形態について図面を参照しながら説明する。
【００３４】
まず、本発明の実施の一形態としての時系列データ生成装置および時系列データ生成方法について説明する。
【００３５】
図１は、本発明に係る時系列データ生成装置の主要部の構成例を示すブロック図である。
【００３６】
この時系列データ生成装置は、対応点列抽出手段１０１、補間曲線生成手段１０２、抽出時刻抽出手段１０３、対応点算出手段１０５、対応点列合成手段１０６を備えて構成されており、入力点座標格納手段１５からの入力点座標、対応関係情報格納手段１６からの対応関係情報、および曲線格納手段１９からの曲線Ｉ２（ｔ）を入力として、処理結果である補間された入力点座標データを補間された入力点座標格納手段２０に格納する。なお、対応点算出手段１０５に供給される曲線のデータは、抽出時刻抽出手段１０３からの候補点抽出時刻ｔｓに応じて選択手段１０４により選択される。
【００３７】
次に、本発明に係る時系列データ生成方法について、図１の時系列データ生成装置の構成例および図２を参照しながら説明する。
【００３８】
図２は、本発明に係る時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【００３９】
まず、ステップＳ１で、対応点列抽出手段１０１が、入力点座標と対応関係情報とを調べて、対応関係のある入力点の各グループを対応点列とする。
【００４０】
これを、図３の例で説明すると、対応関係情報はＣ１，Ｃ２，Ｃ３の３つである。また、対応関係情報Ｃ１についての対応点列とは、点ａ，点ｃ，点ｆである。同様に、対応関係情報Ｃ２についての対応点列は点ｄおよび点ｇであり、対応関係情報Ｃ３についての対応点列は点ｂ，点ｅ，点ｈである。
【００４１】
これらの各対応点列に対して以下の処理が実行される。
【００４２】
ステップＳ２では、対応点列抽出手段１０１が、次の対応点列を初期対応点列として出力する。
【００４３】
次に、ステップＳ３で、補間曲線生成手段１０２が、初期対応点列を時間方向に補間する補間曲線Ｃ（ｔ）を算出する。
【００４４】
図４は、３つの入力点（点ｋ，点ｌ，点ｍ）からなる初期対応点列から生成された補間曲線Ｃ（ｔ）の一例を示している。ここでは、時刻ｔ１，ｔ２，ｔ４における曲線Ｉ２（ｔ）上で初期対応点が得られているので、時刻ｔ３，ｔ５において候補点を抽出する必要がある。
【００４５】
次に、ステップＳ４で、抽出時刻抽出手段１０３が、初期対応点列を調べて、まだ対応点が得られていない抽出時刻ｔｓを抽出する。対応点が得られていない時刻が複数あるときは、１つずつ順に抽出して、以下のステップＳ５、ステップＳ６の処理を実行する。
【００４６】
ステップＳ５では、抽出時刻ｔｓにおける、曲線Ｉ２（ｔｓ）と補間曲線の通過位置Ｃ（ｔｓ）とが算出される。
【００４７】
次に、ステップＳ６で、対応点算出手段１０５が、曲線Ｉ２（ｔｓ）と補間曲線の通過位置Ｃ（ｔｓ）とから、抽出時刻ｔｓにおける対応点Ｐ（ｔｓ）を算出する。なお、この対応点算出手段１０５の詳細については後述する。
【００４８】
そして、ステップＳ７で、全ての抽出時刻で対応点が得られたかどうかが判断され、全ての抽出時刻において処理が終了していればステップＳ８に進む。一方、全ての抽出時刻において処理が終了していなければ、ステップＳ４からステップＳ６までの処理を繰り返す。
【００４９】
ステップＳ８では、初期対応点に、各抽出時刻において新たに算出された対応点を合成し、対応点列Ｐ（ｔ）を算出する。この対応点列Ｐ（ｔ）は、補間された入力点座標格納手段２０に格納される。
【００５０】
そして、ステップＳ９で、全ての対応点列についての処理が終了したかどうかが判断される。全ての対応点列について、まだ処理が終了していないときは、ステップＳ１０で次の対応点列を出力した後、ステップＳ３以降の処理を繰り返す。一方、全ての対応点列についての処理が終了したときは、以上の対応点補間処理を終了する。
【００５１】
次に、対応点算出手段１０５について説明する。
【００５２】
図５は、対応点算出手段１０５の構成例を示すブロック図である。
【００５３】
この対応点算出手段１０５は、候補点抽出手段１０７、評価値算出手段１０８、候補点選択手段１０９と、候補点群格納手段２１、評価値格納手段２３とを備えて構成されている。
【００５４】
そして、この対応点算出手段１０５は、選択手段１０４で選択される抽出時刻ｔｓにおける曲線Ｉ２（ｔｓ）と補間曲線の通過位置Ｃ（ｔｓ）と初期対応点列とを入力とし、時刻ｔｓにおける対応点Ｐ（ｔｓ）を出力する。
【００５５】
また、評価値算出手段１０８は、この処理を行う際に、必要であれば、画像格納手段１８および曲線格納手段１９に格納されている全時刻の画像Ｉ１（ｔ）および曲線Ｉ２（ｔ）データを参照可能なようになっている。
【００５６】
図６は、対応点算出手段１０５における処理手順を示すフローチャートである。以下に、図５および図６を参照しながら、対応点算出手段１０５の動作について説明する。
【００５７】
まず、ステップＳ１１で、候補点抽出手段１０７が、補間曲線の通過位置Ｃ（ｔｓ）の近傍領域から、曲線Ｉ２（ｔｓ）上の候補点を複数抽出し、候補点群格納手段２１に格納する。
【００５８】
図７は、前述の図４における補間曲線Ｃ（ｔ）について、対応点が得られていない抽出時刻ｔ３における候補点抽出の様子を示している。ここでは、まず、時刻ｔ３における補間曲線の通過位置Ｃ（ｔ３）が算出され、次に、時刻ｔ３における補間曲線の通過位置Ｃ（ｔ３）から予め定めた範囲内に存在する曲線Ｉ２（ｔ３）上の点を抽出して候補点とする。
【００５９】
次に、ステップＳ１２で、候補点群Ｑの中から１点ｑが取り出される。
【００６０】
次に、ステップＳ１３で、評価値算出手段１０８が、取り出された候補点ｑについての評価値ｅ（ｑ）を算出し、評価値データを評価値格納手段２３に格納する。この評価値算出手段１０８の詳細については後述する。
【００６１】
そして、ステップＳ１４で、全ての候補点ｑについての処理が終了したかどうかが判断され、全ての候補点ｑについての処理が終了していなければ、ステップＳ１２、ステップＳ１３の処理を繰り返す。一方、全ての候補点ｑについて処理が終了していれば、ステップＳ１５に進む。
【００６２】
ステップＳ１５では、候補点選択手段１０９が、候補点群Ｑの中から評価値を最大または最小にする候補点ｑを選択し、それを対応点Ｐ（ｔｓ）とする。ここで、評価値が最大であるか最小であるかは、その算出方法に依存するものであり、予め決定しておく。
【００６３】
そして、ステップＳ１５の処理が終了したら、以上の処理を終了する。
【００６４】
次に、評価値算出手段１０８について説明する。
【００６５】
図８は、評価値算出手段１０８の構成例を示すブロック図である。
【００６６】
この評価値算出手段１０８は、候補点ｑ、補間曲線の通過位置Ｃ（ｔｓ）、画像Ｉ１（ｔｓ）、初期対応点列とを入力とし、候補点ｑにおける評価値を出力するものであり、距離算出手段１１２、第１の部分画像抽出手段１１０、第２の部分画像抽出手段１１１、類似度算出手段１１３と、初期対応点部分画像データを格納する初期対応点部分画像格納手段２４を備えて構成される。
【００６７】
図９は、評価値算出手段１０８における処理手順を示すフローチャートである。以下、図８および図９を参照しながら、評価値算出手段１０８の動作について説明する。
【００６８】
まず、ステップＳ２１で、初期対応点列中の各初期対応点を順に抽出する。
【００６９】
次に、ステップＳ２２で、第１の部分画像抽出手段１１０が、ステップＳ１１で抽出された初期対応点の近傍において、あらかじめ定めた大きさの部分画像を抽出し、初期対応点部分画像格納手段２４に格納する。
【００７０】
そして、ステップＳ２３で、全ての初期対応点について処理を終了したかどうかが判断され、全ての初期対応点について処理が終了していればステップＳ２４に進む。一方、全ての初期対応点について処理が終了していなければステップＳＳ２１に戻り、処理を繰り返す。
【００７１】
ステップＳ２４では、第２の部分画像抽出手段１１１が、候補点ｑの近傍において、ステップＳ２２で抽出される部分画像と同じ形状の部分画像を抽出する。
【００７２】
次に、ステップＳ２５で、類似度算出手段１１３が、ステップＳ２２およびステップＳ２３で得た部分画像から候補点ｑの類似度を算出する。
【００７３】
ここで、ｉ番目の初期対応点部分画像をＩri、候補点ｑの部分画像をＩｑとすると、候補点ｑにおける類似度ｓ（ｑ）は以下の（１）式で算出される。
【００７４】
ｓ（ｑ） ＝ ｍｉｎ｛ error（Ｉri，Ｉｑ ） ｝ （１）
ここで、 error（ａ，ｂ） は、画像ａと画像ｂとの間の誤差の大きさを表し、ｍｉｎ｛ ｝は、最小値をとる演算を表す。
【００７５】
次に、ステップＳ２６で、距離算出手段１１２が、補間曲線の通過位置Ｃ（ｔｓ）と候補点ｑ間の距離ｄ（ｑ）を算出する。
【００７６】
次に、ステップＳ２７で、候補点ｑにおける評価値ｅ（ｑ）を、以下の（２）式で表される、類似度ｓ（ｑ）と距離ｄ（ｑ）の線形和として算出する。ｗ１，ｗ２は、重み係数である。
【００７７】
ｅ（ｑ） ＝ ｗ１ ＊ ｓ（ｑ） ＋ ｗ２ ＊ ｄ（ｑ） （２）
そして、評価値データを評価値格納手段２３に格納して、以上の処理を終了する。
【００７８】
次に、本発明の実施の一形態としての時系列データ生成装置の別の構成例（以下では、第２の時系列データ生成装置という。）について説明する。なお、以下の説明においても、前述した時系列データ生成装置と共通の部分には同一の符号を付す。
【００７９】
図１０は、本発明に係る第２の時系列データ生成装置の構成例を示すブロック図である。
【００８０】
この第２の時系列データ生成装置は、前述した本発明に係る時系列データ装置と同様に、入力点座標格納手段１５からの入力点座標と、対応関係情報格納手段１６からの入力点の対応関係情報と、重み係数格納手段１７からの入力点の重み係数、および画像格納手段１８からの画像Ｉ１（ｔ）と、曲線格納手段１９からの曲線Ｉ２（ｔ）とを入力とし、曲線Ｉ２（ｔ）のばたつきを除去するように変形した後、曲線格納手段１９に格納される曲線Ｉ２（ｔ）のデータを更新するものである。
【００８１】
この第２の時系列データ生成装置は、対応点補間手段１１４、平滑化手段１１５、曲線再構成手段１１６と、対応点座標格納手段２５、補間された重み係数格納手段２６、平滑化された対応点座標格納手段２７とを備えて構成されている。
【００８２】
次に、本発明に係る別の時系列データ生成方法（以下では、第２の時系列データ生成方法という。）について、図１０の第２の時系列データ生成装置の構成例および図１１を参照しながら説明する。
【００８３】
図１１は、本発明に係る第２の時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【００８４】
まず、ステップＳ３１で、対応点補間手段１１４が、入力点座標、対応関係情報、重み係数、画像Ｉ１（ｔ）、曲線Ｉ２（ｔ）を入力として、曲線の変形に必要な数の対応点を補間し、対応点座標データを対応点座標格納手段２５に格納する。また、補間した各対応点の重み係数値についても、入力点の重み係数値より補間して、補間された重み係数格納手段２６に格納する。
【００８５】
次に、ステップＳ３２で、平滑化手段１１５が、対応点座標と補間された重み係数とをもとに、重み付き平滑化処理によって各対応点どうしを時間方向に平滑化して、平滑化された対応点座標格納手段２７に格納する。
【００８６】
次に、ステップＳ３３で、曲線再構成手段１１６が、平滑化された対応点座標から各時刻の曲線形状を再構成して、その結果の曲線データＩ２（ｔ）を曲線格納手段１９に格納する。
【００８７】
以上の手順により処理を終了する。
【００８８】
次に、対応点補間手段１１４について詳細に説明する。
【００８９】
図１２は、対応点補間手段１１４における処理手順を示すフローチャートである。
【００９０】
まず、ステップＳ４１で、時間方向に対応点が補間される。
【００９１】
次に、ステップＳ４２で、曲線上で対応点と重み係数が補間され、以上の処理を終了する。
【００９２】
このように、対応点補間手段１１４における補間処理は、対応点の補間と重み係数の補間とからなる２段階の処理である。
【００９３】
次に、対応点補間手段１１４の構成についての説明に先立って、上記の２段階の各処理について説明する。
【００９４】
図１３は、対応点補間処理を行う前の、入力点と対応関係情報の一例を示している。
【００９５】
この図において、曲線Ｉ２（ｔ）は、５つの時刻ｔ１〜ｔ５の曲線からなる時系列データである。この曲線Ｉ２（ｔ）には、黒丸で示される計１２個の入力点が設定されており、そのうち入力点ａ〜入力点ｈは、破線で示す対応関係Ｃ１，Ｃ２，Ｃ３によって対応づけがなされている。
【００９６】
しかし、例えば、対応関係情報Ｃ１について見ると、時刻ｔ３，ｔ５において対応点が与えられていない。また、時刻ｔ３，ｔ４における曲線上には、対応関係が与えれていない入力点も存在する。
【００９７】
さらに、与えられた入力点の間隔では、曲線上のあらゆる位置で対応関係が得られているとは言い難く、平滑化処理のためには、さらに細かい間隔で対応点が必要である。
【００９８】
このように、対応点補間処理は、曲線上に必要個の対応点を補間して、平滑化が可能な状態にする処理である。
【００９９】
図１４は、図１３の曲線Ｉ２（ｔ）について、時間方向についての対応点補間処理（第１の対応点補間処理）を行った結果を示している。
【０１００】
この第１の対応点補間は、入力点のうち対応関係情報が与えられているものについて、対応点が得られていない時刻に対応点を補間する処理である。すなわち、前述の図１３においては、３つの対応関係情報Ｃ１，Ｃ２，Ｃ３が与えれていたので、それらが全時刻に拡張され、図１４のように白丸で示される対応点が補間される。この第１の対応点補間処理は、前述した本発明に係る時系列データ生成方法により行うことができる。
【０１０１】
そこで、次に、各時刻における曲線上での対応点重み係数の補間処理（第２の対応点補間処理）について説明する。
【０１０２】
図１５は、前述の図１３の曲線Ｉ２（ｔ）の各曲線上での、第２の対応点補間処理の様子を示している。
【０１０３】
図１５（Ａ）は、第１の対応点補間が終了した状態を示している。この状態では、前述したように、各時刻において黒丸で示される対応点の間隔は、まばらである。
【０１０４】
そこで、図１５（Ｂ）に示すように、第２の対応点補間処理では、曲線上に十分密に対応点が存在するように補間が行われる。ここで、白丸が、補間された対応点を示している。この第２の補間処理においては、追加された対応点のそれぞれも各時刻に対応関係を有するように追加される。
【０１０５】
また、第２の補間処理においては、対応点の補間と同時に、補間された各対応点の重み係数も計算される。
【０１０６】
図１６は、この重み係数の計算の様子を示している。
【０１０７】
図１６（Ａ）は、図１５（Ａ）の曲線Ｉ２（ｔ３）上の入力点の重み係数を示している。曲線Ｉ２（ｔ３）上には、ａ３，ｂ３，ｃ３，ｄ３，ｅ３からなる５つの点があり、それぞれに重み係数値が設定されている。破線２０４は、それらの重み係数値をもとに計算された、曲線上の重み計数値の補間関数である。
【０１０８】
図１６（Ｂ）は、図１５（Ｂ）の対応点補間された曲線Ｉ２（ｔ３）上の重み係数値を示している。
【０１０９】
このように、対応点補間によって追加された対応点の重み係数は、上記重み係数値の補間関数から算出され、各対応点に設定される。
【０１１０】
次に、対応点補間手段１１４の構成について説明する。
【０１１１】
対応点補間手段１１４は、補間対応点補間処理を行う部分と、第２の対応点補間処理を行う部分とを備えている。
【０１１２】
時間方向の対応点補間を行う第１の対応点補間部としては、前述した本発明に係る時系列データ生成装置を用いることができる。そこで、以下では、曲線上の対応点補間を行う第２の対応点補間部について説明する。
【０１１３】
図１７は、対応点補間手段１１４の、第２の対応点補間部の構成例を示すブロック図である。
【０１１４】
この第２の対応点補間部は、曲線格納手段１９からの曲線時系列Ｉ２（ｔ）と、重み係数格納手段１７からの重み係数、第１の対応点補間処理により算出された補間された入力点座標格納手段２０からの補間された入力点座標とを入力として、処理された結果を、補間された重み係数格納手段２６と対応点座標格納手段２５に出力するものである。
【０１１５】
この第２の対応点補間部は、対応点数算出手段１１７と、曲線離散化手段１１８と入力点位置照合手段１１９と、重み係数補間手段１２０と、入力点のインデックス情報データを格納するインデックス情報格納手段２８を備えて構成されている。
【０１１６】
図１８は、対応点補間手段１１４の、第２の対応点補間部における処理手順を示すフローチャートである。以下、図１７および図１８を参照しながら、第２の対応点補間部の動作について説明する。
【０１１７】
まず、ステップＳ５１で、対応点数算出手段１１７が、全時刻の曲線Ｉ２（ｔ）を長さを調べ、１曲線あたりに必要な対応点数ｎを算出する。ここでは、どの時刻の曲線においてもｎ個の対応点によって折線近似が可能なように算出される。
【０１１８】
次に、ステップＳ５２で、各時刻ｔｉおける曲線Ｉ２（ｔ）を取り出す。
【０１１９】
次に、ステップＳ５３で、曲線離散化手段１１８が、時刻ｔｉにおける曲線Ｉ２（ｔｓ）を対応点数ｎの点で離散化する。得られた点は、対応点座標格納手段２５に格納される。
【０１２０】
そして、ステップＳ５４で、全ての時刻について処理が終了したかどうかが判断され、全ての時刻について処理が終了していればステップＳ５５に進む。一方、全ての時刻について処理が終了していなければ、ステップＳ５２に戻り、上位の処理を繰り返す。
【０１２１】
ステップＳ５５では、補間された入力点座標格納手段１５から入力点を順に１つずつ抽出する。
【０１２２】
次に、ステップＳ５６で、入力点位置照合手段１１９が、抽出された入力点に一番近いものを、ステップＳ５３で得られた離散化点の中から選択し、それがｎ個のうちの何番目の点であるかを示すインデックス情報を、入力点のインデックス情報格納手段２８に格納する。入力点を最も近い離散化点に対応づける。
【０１２３】
そして、ステップＳ５７で、全ての入力点についての処理が終了したかどうかが判断され、全ての入力点について処理が終了していればステップＳ５８に進む。一方、全ての入力点についての処理が終了していなければ、ステップＳ５５に戻り、上記の処理を繰り返す。
【０１２４】
ステップＳ５８では、重み係数補間手段１２０が、各入力点の重み係数値とステップＳ５６で得られた入力点のインデックス情報とを用いて、各時刻の曲線上で重み係数の補間曲線を算出し、全対応点の重み係数を決定する。
【０１２５】
そして、算出された重み係数値は補間された重み係数格納手段２６に格納され、以上の第２の対応点補間部における処理を終了する。
【０１２６】
次に、平滑化手段１１５および曲線再構成手段１１６について詳細に説明する。
【０１２７】
図１９は、第２の時系列データ生成装置の平滑化手段１１５および曲線再構成手段１１６の構成例を示すブロック図である。ここでは、平滑化手段１１５を、さらにスプライン（spline）算出手段１１２と対応点再抽出手段１２２とに分けて示している。
【０１２８】
図２０は、平滑化手段１１５における処理手順を示すフローチャートである。
【０１２９】
以下に、図１９および図２０を参照しながら、平滑化手段１１５の動作について説明する。
【０１３０】
まず、ステップＳ６１で、各時刻でｎ個ずつ得られている対応点と重み係数とから、順にｉ番目の対応点時系列と重み係数時系列を抽出する。
【０１３１】
次に、ステップＳ６２で、スプライン算出手段１２１が、ステップＳ６１で得られた対応点列と重み係数列とから、対応点列を時間方向に平滑化するような重み付きスプライン曲線を生成する。
【０１３２】
なお、この重み付きスプライン曲線は、文献「Computer Graphics Principles and Practice」（Foly，vanDam，Feiner，and Hughes，Addison Wesley社，1990 ）に記載されているような、β−スプライン曲線を基本とし、各対応点における重み係数値によってβ−スプラインの形状を制御するバイアスパラメータを調節することによって形状を決定する。
【０１３３】
次に、ステップＳ６３で、対応点再抽出手段１２２が、得られたスプライン曲線をもとに、各時刻の対応点位置を修正する。すなわち、各時刻でスプライン曲線の通過位置を算出し、その位置を新たな対応点位置とする。
【０１３４】
そして、ステップＳ６４で、全ての対応点列（ｎ組）についての処理が終了したかどうかが判断され、全ての対応点列について処理が終了していなければ、ステップＳ６１に戻り、上記の処理を繰り返す。一方、全ての対応点列について処理が終了していれば以上の平滑化処理を終了する。
【０１３５】
次に、上述した重み付き平滑化の作用について、図２１を参照しながら説明する。
【０１３６】
図２１は、ｎ個の対応点列のうちの１つが平滑化される様子を示している。
【０１３７】
図２１（Ａ）は、平滑化される前の対応点列の各点を黒丸で示している。このように、平滑化される前には、時間に沿ってこの対応点を観察したときに見られる変位が、破線で示されるようにばたついている。ここでは、実線で示されるような変位が観測されるのが理想とされる。
【０１３８】
図２１（Ｂ）は、上記の対応点列を、重み係数を考慮せずに平滑化した結果を破線で示している。平滑化を行うと、実際の対応点の変位の高周波成分が失われるので、運動の加速度が大きい時刻において理想の変位とのずれが大きくなってしまう。ここで、オペレータが、ずれてほしくない点における重み係数を予め大きく設定することによって、この問題を解消することができる。すなわち、その重み係数を用いて重み平滑化を行えば、重み係数値が大きい時刻では、もとの対応点とスプライン間の隔たりを少なくすることができ、その結果、平滑化後に再抽出された対応点の位置の変化を少なくすることができる。
【０１３９】
図２１（Ｃ）は、図２１（Ｂ）でずれが大きかった領域の重み係数を大きくして重み付き平滑化を行った場合の結果を破線で示している。このように、重みつき平滑化を用いれば、より理想的な時系列データを得ることができる。
【０１４０】
平滑化手段１１５が平滑化された対応座標を算出した後に、曲線再構成手段１１６が、各時刻の平滑化された対応点を曲線近似することによって、各時刻の平滑化された曲線を算出する。算出された曲線を用いて曲線Ｉ２（ｔ）格納手段１９のデータを更新し、第２の時系列データ生成装置における処理を終了する。
【０１４１】
次に、本発明の実施の一形態としての曲線編集装置および曲線編集方法について説明する。なお、以下の説明においても、前述した時系列データ生成装置と共通の部分には同一の符号を付す。
【０１４２】
図２２は、本発明に係る曲線編集装置の構成例を示すブロック図である。
【０１４３】
この曲線編集装置は、画像から物体輪郭を抽出する等して得た曲線に存在するフレーム間のばたつきを低減させることができるものであり、前述した本発明に係る時系列データ生成装置を用いて構成されている。
【０１４４】
この曲線編集装置により、オペレータは、曲線上のばたつきが存在する領域を指定することができ、指定された領域に対して変形処理を行うことにより、ばたつきを低減させるようにすることができる。
【０１４５】
具体的には、この曲線編集装置は、点設定手段１１と、対応設定手段１２と、重み設定手段１３と、曲線変形手段１４、および入力点座標格納手段１５、対応関係情報格納手段１６、重み係数格納手段１７、画像Ｉ１（ｔ）格納手段、曲線Ｉ２（ｔ）格納手段１９を備えて構成される。
【０１４６】
画像Ｉ１（ｔ）および曲線Ｉ２（ｔ）は、例えば、輪郭抽出したい物体の画像の時系列と、抽出された輪郭データの時系列である。
【０１４７】
入力点座標格納手段１５は、オペレータが曲線編集を行うために指定した入力点位置を格納するためのものである。
【０１４８】
対応関係情報格納手段１６は、入力点のうち、どれとどれが対応しているかの情報を格納するためのものである。
【０１４９】
重み係数格納手段は、各入力点に設定されている重み係数値を格納するためのものである。
【０１５０】
また、点設定手段１１、対応設定手段１２、重み設定手段１３は、上記入力点に関する情報を格納するための入力点座標格納手段１５、対応関係情報格納手段１６、重み係数格納手段１７の内容をそれぞれ更新するための手段であり、オペレータがそれらを操作してデータを更新できるようになっている。
【０１５１】
具体的には、点設定手段１１、対応設定手段１２、重み設定手段１３は、タブレットペンなどのポインティングデバイスと入力を補助するためのモニタによる表示を利用する。
【０１５２】
オペレータは、モニタへの画像や曲線形状の表示等のガイド情報をたよりに、ポインティングデバイスを用いて必要な操作を行う。上記の各設定手段は、その入力に従い、それぞれが対応するデータ格納手段の内容を更新するようになっている。
【０１５３】
点設定手段１１は、画像Ｉ１（ｔ）上の曲線Ｉ２（ｔ）上の位置指定入力を受付け、その指定位置を入力点座標格納手段１５に追加する。入力点座標は、曲線変形の範囲指定と曲線形状の重み設定に用いられる。
【０１５４】
対応設定手段１２は、任意の１入力点とそれが属する対応点グループを指定する機能を有し、オペレータからの、その情報入力によって対応関係情報格納手段１６に格納される対応関係情報を更新する。
【０１５５】
本実施の形態では、対応関係は、変形したい曲線の領域の端において特に重要であり、変形したい領域の両端を示す入力点は、各時刻の曲線上において必ず対応関係をもたなければならない。
【０１５６】
このため、この曲線編集装置では、図２３に示すように、モニタ画面２１０の画像表示ウインドウ２１１に画像と曲線を表示する他に、両端点を設定するボタン２１２ａ，２１２ｂを表示させる。
【０１５７】
オペレータは、端点としたい入力点を選択したのち、これらの端点ボタン２１２ａ，２１２ｂ上でポインティングデバイスの入力イベントを発生させる。これにより、上記の選択された点が端点の対応点グループに属することを指定されたことになり、対応関係情報格納手段１６に格納されている情報が更新されるようになっている。
【０１５８】
重み設定手段１３は、任意の１入力点と、それがもつ重み係数を指定する機能を有し、オペレータからのその情報の入力によって、重み係数格納手段１３に格納されているデータを更新する。
【０１５９】
この曲線編集装置では、図２３に示すように、モニタ画面２１０に重み計数値スケールバー２１４を表示させることによって、オペレータが、重み係数値を指定できるようになっている。オペレータが、ポインティングデバイスを用いて、上記スケールバー上で入力イベントを発生させると、重み係数値スケールバー２１４の一端を重み０、他端を重み１とした入力位置の内分比によって重み係数値が算出され、そのとき選択されていた入力点の重み係数値が更新されるようになっている。
【０１６０】
曲線変形手段１４は、上記入力点に関する３つのデータ格納手段の内容をもとに、曲線間のばたつきを低減するように曲線Ｉ２（ｔ）を変形する処理を行う。
【０１６１】
この曲線編集装置では、図２３に示すように、モニタ画面２１０上に曲線変形実行ボタン２１３が表示され、この曲線変形実行ボタン２１３上でポインティングデバイスの入力イベントが発生すると、曲線変形手段１４の処理が実行されるようになっている。なお、曲線変形手段１４としては、前述した本発明に係る第２の時系列データ生成装置を用いることができる。
【０１６２】
次に、本発明に係る曲線編集方法について説明する。
【０１６３】
図２４は、本発明に係る曲線編集方法における基本的な処理手順を示すフローチャートである。以下、図２４を参照しながら処理手順を説明する。
【０１６４】
まず、ステップＳ７１で、オペレータからの次の入力が「終了」を示す入力であるかどうかが判断される。入力が「終了」を示していれば処理を終了し、「終了」でなければステップＳ７２にへ進む。
【０１６５】
次に、ステップＳ７２で、設定入力の種類を判断する。
【０１６６】
ここで、入力が「点設定」であるときには、ステップＳ７３ａで、入力に基づいて入力点座標データを更新し、その後ステップＳ７１に戻る。
【０１６７】
また、入力が「対応設定」であるときには、ステップＳ７３ｂで、入力に基づいて対応関係情報データを更新し、その後ステップＳ７１に戻る。
【０１６８】
また、入力が「重み設定」であるときには、ステップＳ７３ｃで、入力に基づいて重み係数データを更新し、その後ステップＳ７１に戻る。
【０１６９】
また、入力が「曲線変形開始」であるときには、ステップＳ７３ｄで、曲線形状変形処理を行い、曲線Ｉ２（ｔ）を更新する。その後ステップＳ７１に戻り、上記の処理を繰り返す。
【０１７０】
なお、以上説明した本発明に係る曲線編集装置において、重み係数に関連する一切の処理を省略した構成とすることも可能である。また、図８に示した評価値算出手段１０８の構成のうち、類似度を算出する部分を省略した構成としてもよい。さらに、図８に示した評価値算出手段１０８の構成のうち、距離を算出する部分を省略してもよい。
【０１７１】
さらに、本発明に係る曲線編集装置において、平滑化手段１１５は、図１９に示したようにスプライン曲線を用いるとしたが、これは時系列の各時刻で平滑化されたデータが得られるものであればよく、加重平均あるいはランクフィルタ等の離散フィルタを利用した平滑化であってよい。
【０１７２】
次に、以上説明した本発明に係る曲線編集装置の構成の一部を変更した、曲線編集装置の別の構成例（以下では、第２の曲線編集装置という。）について説明する。
【０１７３】
前述の本発明に係る曲線編集装置では、曲線変形を行って曲線Ｉ２（ｔ）のばたつきを低減させた後は、入力点座標に格納されている入力点の位置が曲線Ｉ２（ｔ）上からずれてしまうので、入力点の再利用が不可能である。
【０１７４】
そこで、以下に説明する本発明に係る第２の曲線編集装置は、前述の曲線編集装置の構成をもとに、曲線変形を行った後でも、既に入力されている入力点を再利用できるようにしたものである。これにより、曲線の編集作業の効率を向上させることができる。
【０１７５】
そこで、以下では、第２の曲線編集装置および方法について、前述した曲線編集装置および方法に追加されて異なっている部分について主に説明する。なお、前述した曲線編集装置と共通の部分、および前述した曲線編集方法における処理手順と共通のステップには、同一の符号を付す。
【０１７６】
図２５は、第２の曲線編集装置の構成例を示すブロック図である。
【０１７７】
この第２の曲線編集装置の構成は、前述の曲線編集装置の構成と同様であるが、曲線変形手段１４が曲線変形を行った後、入力点座標を変形後の曲線上に乗るように位置修正し、入力点座標格納手段１５に格納されるデータを更新するようにされている点が異なっている。
【０１７８】
図２６は、この第２の曲線編集装置における基本的な処理手順を示すフローチャートである。
【０１７９】
処理手順についても、前述の曲線編集装置におけるステップＳ７１からステップＳ７３ａ〜Ｓ７３ｄまでの処理手順と同様であるが、ステップＳ７２で判断される設定入力の種類が「曲線変形開始」であるときには、ステップＳ７３ｄで曲線形状変形処理を行った後に、ステップＳ７４で入力点座標を変形した曲線上に移動させるようにする点が異なっている。
【０１８０】
図２７は、第２の曲線編集装置の入力点座標を更新する処理に関する部分を示すブロック図である。
【０１８１】
この第２の曲線編集装置においても、対応点補間手段１１４によって入力点座標が補間され、さらに平滑化手段１１５によってその位置が平滑化される。その結果は、平滑化された対応点座標格納手段２７に格納される。
【０１８２】
ここで、第２の曲線編集装置では、以下の処理を追加する。すなわち、図１７で説明したように、対応点補間手段１１４が、各入力点が補間された対応点の何番目に相当するかを算出し、その情報が入力点のインデックス情報格納手段２８に格納されていることを利用するものである。これにより、選択手段１０４で上記のインデックスによって平滑化された対応点座標格納手段２７から入力点に対応する対応点を順に抽出し、入力点座標格納手段１５に格納されるデータを更新する。
【０１８３】
図２８は、上述した入力点座標更新処理の手順を示すフローチャートである。
【０１８４】
以下、図２８を参照しながら、入力点座標更新処理の動作について説明する。
【０１８５】
まず、ステップＳ９１で、時刻ｔｉに設定されているｉ番目の入力点が、入力点座標格納手段１５から抽出される。
【０１８６】
次に、ステップＳ９２で、ｉ番目の入力点に対応する対応点のインデックス値ｉｄｘ（ｉ）を入力点のインデックス情報格納手段２８から取り出す。
【０１８７】
次に、ステップＳ９３で、インデックス値ｉｄｘ（ｉ）で示される、ｉｄｘ（ｉ）番目の平滑化された対応点を、平滑化された対応点座標格納手段２５から抽出し、その座標で入力点座標格納手段１５に格納されるデータを更新する。
【０１８８】
そして、ステップＳ９４で、全時刻についての処理を終了したかどうかが判断され、全時刻について処理を終了しているときは以上の処理を終了する。一方、全時刻について処理を終了していないときは、ステップＳ９１に戻り、以上の入力点座標更新処理を繰り返す。
【０１８９】
図２９は、以上説明した本発明に係る時系列データ生成装置および曲線編集装置の基本的な構成を例示している。
【０１９０】
これらの装置は、いずれも、オペレータとの間の入出力インタフェースであるポインティングデバイス１およびモニタ２と、ＣＰＵ３、内部記憶装置４、外部記憶装置５、およびこれらを互いに接続するＢＵＳ６を備えて構成される。
【０１９１】
ポインティングデバイス１は、オペレータからの入力を取り込む手段であり、マウスやタブレットペン等が使用される。モニタ２は、オペレータに対して画像や図形等のデータを表示する手段であり、ＣＲＴなどが使用される。
【０１９２】
ＣＰＵ３は、本発明における計算と制御の処理を担当する中央演算処理装置である。内部記憶装置４は、後述するような本発明に係る種々の計算処理を行う際に必要なデータを一時的に格納するデータ格納手段である。
【０１９３】
外部記憶装置５は、上記の計算処理に必要なデータを格納する際の補助格納手段として、また計算処理結果等のデータの入出力先としても使用される。
【０１９４】
なお、以上説明した本発明の実施の形態においては、画像Ｉ１（ｔ）のデータおよび曲線Ｉ２（ｔ）のデータは、何らかの方法により別途生成されて、図２９の外部記憶装置５あるいは内部記憶装置４に格納されているものとしている。
【０１９５】
これらのデータを生成する方法については、詳細な説明を省略するが、画像から物体輪郭等の曲線を生成する技術であればよく、特定の方法に限定されるものではない。
【０１９６】
具体的には、前述した文献「Intelligent Scissors for Image Composition」や、特開平４−１５２４８１号公報に記載の「画像輪郭検出方法」、特開平４−２５４８５４号公報に記載の「切抜きマスク作成方法及び装置」などに示される技術を用いることができる。また、本願出願人が、特開平３−１７６８０号公報記載の「領域抽出方法」、特願平８−３１２７４０号明細書および図面に記載の「輪郭抽出装置及び輪郭抽出方法」、特願平９−２０４８６２号明細書および図面に記載の「経路探査装置および方法、輪郭曲線生成装置および方法、輪郭曲線編集装置および方法、並びにプログラムを記録した記録媒体」などに開示した技術も用いることができる。
【０１９７】
【発明の効果】
本発明によれば、時系列データに対して、ある程度の対応点が与えられれば、そこから他の対応点を推定して補間するようにしたため、各時刻におけるデータ間の対応関係を自動的に得ることができ、しかも、時系列曲線を平滑化する際に、重みを付けて処理するようにしたため、高周波成分をカットされて曲線の形状が鈍ってしまうことがない、時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体を提供できる。
【図面の簡単な説明】
【図１】本発明に係る時系列データ生成装置の主要部の構成例を示すブロック図である。
【図２】本発明に係る時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【図３】対応点補間処理を行う前の入力点と対応関係情報について説明するための図である。
【図４】初期対応点列から生成される補間曲線について示す図である。
【図５】対応点算出手段の構成例を示すブロック図である。
【図６】対応点算出手段における処理手順を示すフローチャートである。
【図７】候補点抽出処理について説明するための図である。
【図８】評価値算出手段の構成例を示すブロック図である。
【図９】評価値算出手段における処理手順を示すフローチャートである。
【図１０】本発明に係る第２の時系列データ生成装置の構成例を示すブロック図である。
【図１１】本発明に係る第２の時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【図１２】対応点補間手段における処理手順を示すフローチャートである。
【図１３】対応点補間処理を行う前の入力点と対応関係情報の一例を示す図である。
【図１４】時間方向の第１の対応点補間処理を行った結果の一例を示す図である。
【図１５】曲線上での第２の対応点補間処理について説明するための図である。
【図１６】第２の補間処理における重み係数補間計算について説明するための図である。
【図１７】第２の対応点補間部の構成例を示すブロック図である。
【図１８】第２の対応点補間部における処理手順を示すフローチャートである。
【図１９】第２の時系列データ生成装置の平滑化手段および曲線再構成手段の構成例を示すブロック図である。
【図２０】平滑化手段における処理手順を示すフローチャートである。
【図２１】対応点列の重み付き平滑化について説明するための図である。
【図２２】本発明に係る曲線編集装置の構成例を示すブロック図である。
【図２３】 本発明に係る曲線編集装置のモニタへの表示例を示す図である。
【図２４】本発明に係る曲線編集方法における基本的な処理手順を示すフローチャートである。
【図２５】本発明に係る第２の曲線編集装置の構成例を示すブロック図である。
【図２６】本発明に係る第２の曲線編集装置における基本的な処理手順を示すフローチャートである。
【図２７】第２の曲線編集装置の入力点座標を更新する処理に関する部分を示すブロック図である。
【図２８】入力点座標更新処理の手順を示すフローチャートである。
【図２９】本発明に係る時系列データ生成装置および曲線編集装置の基本的な構成例を示す図である。
【符号の説明】
１５ 入力点座標格納手段、 １６ 対応関係情報格納手段、 １９ 曲線格納手段、 ２０ 補間された入力点座標格納手段、 １０１ 対応点列抽出手段、 １０２ 補間曲線生成手段、 １０３ 抽出時刻抽出手段、 １０４ 選択手段、 １０５ 対応点算出手段、 １０６ 対応点列合成手段
【発明の属する技術分野】
本発明は、各種の画像処理などに用いられる、時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
複数の画像データから物体形状を抽出する処理は、ＣＡＤ（Computer Aided Design ）、コンピュータグラフィックス、各種画像処理等においてよく行われる。そのなかで、画像合成処理を行う際に必要なキー信号を作成する処理がある。このキー信号とは、合成したい前景物体の領域を切抜くための情報であり、マスクとも呼ばれる。画像合成処理では、とりわけ正確なキー信号、すなわち正確な輪郭形状を抽出することが重要視される。
【０００３】
従来の輪郭抽出技術は、その操作方法について２つに大別できる。
【０００４】
第１の従来技術は、最初に輪郭に対する情報を与えた後は自動的に輪郭抽出を行う種類のものである。最初に与える情報としては、抽出したい輪郭の付近に大まかに閉曲線を描くなどして輪郭の大体の形状情報を与えるものと、輪郭を識別するための色やテクスチャの情報を入力するものとがある。
【０００５】
前者の例としては、文献「画像合成のための対象物抽出法」（井上誠喜，電子情報通信学会論文誌，Vol.J74-D-II，No.10，pp.1411-1418，1991 ）や、特開平３−１７６８０号公報記載の「領域抽出方法」、文献「領域分割に基づく複雑物体の自動切り出し」（栄藤稔,白井良明，NICOGRAPH'92論文集，pp.8-17，1992）、特開平５−６１９７７号公報記載の「領域抽出装置」、文献「弾性輪郭モデルとエネルギー最小化原理による輪郭追跡手法」（上田修功， 間瀬健二， 末永康仁，信学誌，Vol.J-75-D-II,No.1,pp.111-120,1992）、特開平５−１２４４３号公報記載の「動物体の輪郭追跡方法」などに示される技術がある。
【０００６】
また、後者の例としては、特開平２−１０５１５２号公報記載の「切抜きマスク作成システム」、特開平４−９０５４４号公報記載の「切抜きマスク作成方法及び装置」などに示される技術がある。
【０００７】
第２の従来技術は、オペレータがさらに詳しく輪郭の位置や方向等を与えながら形状を作成していく種類のもので、よりインタラクティブな操作性をもつ。輪郭上の点を幾つか指定すると各点間の形状を生成するもの、輪郭形状をあらわすパラメトリック曲線の制御点を操作するもの、輪郭形状をマウス等で直接入力するもの等がある。
【０００８】
これらの例としては、文献「Intelligent Scissors for Image Composition」（Eric N. Mortensen and William A. Barrett，Computer Graphics Proceedings，Annual Conference Series，1995，ACMSIGGRAPH，pp.191-198）、特開平４−１５２４８１号公報に記載の「画像輪郭検出方法」、特開平４−２５４８５４号公報に記載の「切抜きマスク作成方法及び装置」などに示される技術がある。
【０００９】
キーまたはマスクを生成する処理では、全フレームの画像について正確な輪郭形状が得られている必要がある。映画またはテレビ画像においては数秒の画像合成に数百のキーが必要なので、その処理量は膨大である。従って、第１の従来技術のような、なるべく少ない入力で自動的に実行される輪郭抽出処理が有効である。
【００１０】
しかし、現状では、自動抽出によって完全な輪郭形状抽出を行うには至っておらず、画像合成への使用に耐え得るキー得るためには、オペレータが手動で部分的な修正を行うことによって、より正確な輪郭形状とすることが不可欠である。この修正を手助けする技術として、第２の従来技術のようなインタラクティブな手法が有効である。
【００１１】
【発明が解決しようとする課題】
ところが、従来の輪郭抽出技術では以下に述べるような問題があった。
【００１２】
従来の輪郭抽出技術は、基本的にフレーム毎に独立な処理を行うことによって、各フレームでの輪郭形状を得るものである。そのため、画像の特徴（輝度、ぼけ具合い等）によっては処理精度が十分に得られず、輪郭位置がフレーム毎に微妙に変化することがある。各フレームは、正確に輪郭抽出が行われているように見えても、全フレームを通して観察すると、本来は滑らかに運動するはずの輪郭がばたついてしまうという問題があった。
【００１３】
さらに、各フレームにおいて、第２の従来技術のようなインタラクティブな手法を用いて輪郭抽出を行った場合には、オペレータによる入力誤差もばたつきを生じさせる一因となる。前述のように、キー生成では、画像合成への使用に耐え得るキー得るためには、手動による部分的な修正が不可欠なので、フレーム間の輪郭のばたつきの問題は避けられない問題であった。
【００１４】
一般に、時系列データのばたつきを抑えるために、時間方向に平滑化処理を行うことがよく行われる。時間方向の平滑化処理は、上記のフレーム間の輪郭のばたつきを抑えるためにも有効である。ところが、輪郭形状データを時間方向に平滑化する方法には以下のような問題があった。
【００１５】
平滑化を行うためには、輪郭上の各位置がフレーム間で対応がとれていなければならない。前述したように、従来の輪郭抽出技術ではフレーム毎の処理が独立であり、フレーム間の輪郭位置の対応はとれていない。そのため、別途対応づけを行わなければならないという問題が生じる。
【００１６】
輪郭データの生成方法にもよるが、輪郭の全長がフレーム毎に異なる、形状が刻々変化する、データが輪郭のどの位置から開始されるかがフレーム毎に異なる、等の理由があり自動的な対応点追跡が困難であるという問題がある。
【００１７】
上記の問題を克服するために、一定数のパラメータで定義される曲線を用いれると各パラメータ毎に対応がとれるので、パラメータ毎の平滑化は可能になる。しかし、一定数のパラメータで定義される曲線が表現できる形状の複雑さは決まっているため、正確な輪郭抽出が不可能になってしまう。
【００１８】
一方、これとは逆に、必要な対応点を全て手動で与える作業は非常に大変である。
【００１９】
以上のことから、ある程度の対応点が手動で与えられれば、そこから他の対応点を推定するような方法が必要であることが分かる。
【００２０】
また、前述したように、時系列データの平滑化処理は、データのばらつきを抑えるのに有効であるが、時系列データの高周波成分をカットしてしまうために形状が鈍ってしまうという副作用がある。
【００２１】
画像中の輪郭データの場合には、平滑化によって、運動している物体の輪郭データが、本来の画像中の物体輪郭に追随しなくなるという現象が生じ、輪郭の正確さを著しく損なう可能性がある。
【００２２】
本発明は、このような問題を解決するために行われたものであり、ある程度の対応点が手動で与えられれば、そこから他の対応点を推定し、しかも平滑化によって、運動している物体輪郭データが本来の画像中の物体輪郭に追随しなくなるという現象が生じない時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体を提供することを目的としている。
【００２３】
【課題を解決するための手段】
上記の課題を解決するために提案する本発明の時系列データ生成装置は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成装置であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段とを備え、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出手段は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出手段を有することを特徴とするものである。
また、本発明の時系列データ生成装置は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成装置であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段とを備え、上記時系列データＩ（ｔ）は画像であり、上記評価値算出手段は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出手段を有することを特徴とするものである。
【００２４】
上記の課題を解決するために提案する本発明の時系列データ生成方法は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成方法であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の時系列データ生成方法は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成方法であって、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２５】
上記の課題を解決するために提案する本発明の記録媒体は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の記録媒体は、入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２６】
上記の課題を解決するために提案する本発明の時系列データ生成装置は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成装置であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間手段と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出手段と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化手段と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成手段とを備え、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出手段は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出手段を有することを特徴とするものである。
また、本発明の時系列データ生成装置は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成装置であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間手段と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出手段と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化手段と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成手段とを備え、上記時系列データＩ（ｔ）は画像であり、上記評価値算出手段は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出手段を有することを特徴とするものである。
【００２７】
上記の課題を解決するために提案する本発明の時系列データ生成方法は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成方法であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の時系列データ生成方法は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成方法であって、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２８】
上記の課題を解決するために提案する本発明の記録媒体は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有することを特徴とするものである。
また、本発明の記録媒体は、曲線の時系列データから、対応点の時系列データを生成する時系列データ生成プログラムを記録した記録媒体であって、上記時系列データ生成プログラムは、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有することを特徴とするものである。
【００２９】
上記の課題を解決するために提案する本発明の曲線編集装置は、輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集装置であって、曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定手段と、各点についてそれが属する対応点の組を指定する対応設定手段と、各点について、その重み係数を設定する重み設定手段と、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形手段とを備えることを特徴とするものである。
【００３０】
上記の課題を解決するために提案する本発明の曲線編集方法は、輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集方法であって、曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定工程と、各点についてそれが属する対応点の組を指定する対応設定工程と、各点について、その重み係数を設定する重み設定工程と、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形工程とを有することを特徴とするものである。
【００３１】
上記の課題を解決するために提案する本発明の記録媒体は、輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集プログラムを記録した記録媒体であって、上記曲線編集プログラムは、曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定工程と、各点についてそれが属する対応点の組を指定する対応設定工程と、各点について、その重み係数を設定する重み設定工程と、入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形工程とを有することを特徴とするものである。
【００３２】
以上の本発明によれば、対応点がある程度で与えられれば、そこから他の対応点を推定し、しかも平滑化によって、運動している物体輪郭データが本来の画像中の物体輪郭に追随しなくなるという現象が生じない時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体を提供することができる。
【００３３】
【発明の実施の形態】
以下に、本発明の好ましい実施の形態について図面を参照しながら説明する。
【００３４】
まず、本発明の実施の一形態としての時系列データ生成装置および時系列データ生成方法について説明する。
【００３５】
図１は、本発明に係る時系列データ生成装置の主要部の構成例を示すブロック図である。
【００３６】
この時系列データ生成装置は、対応点列抽出手段１０１、補間曲線生成手段１０２、抽出時刻抽出手段１０３、対応点算出手段１０５、対応点列合成手段１０６を備えて構成されており、入力点座標格納手段１５からの入力点座標、対応関係情報格納手段１６からの対応関係情報、および曲線格納手段１９からの曲線Ｉ２（ｔ）を入力として、処理結果である補間された入力点座標データを補間された入力点座標格納手段２０に格納する。なお、対応点算出手段１０５に供給される曲線のデータは、抽出時刻抽出手段１０３からの候補点抽出時刻ｔｓに応じて選択手段１０４により選択される。
【００３７】
次に、本発明に係る時系列データ生成方法について、図１の時系列データ生成装置の構成例および図２を参照しながら説明する。
【００３８】
図２は、本発明に係る時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【００３９】
まず、ステップＳ１で、対応点列抽出手段１０１が、入力点座標と対応関係情報とを調べて、対応関係のある入力点の各グループを対応点列とする。
【００４０】
これを、図３の例で説明すると、対応関係情報はＣ１，Ｃ２，Ｃ３の３つである。また、対応関係情報Ｃ１についての対応点列とは、点ａ，点ｃ，点ｆである。同様に、対応関係情報Ｃ２についての対応点列は点ｄおよび点ｇであり、対応関係情報Ｃ３についての対応点列は点ｂ，点ｅ，点ｈである。
【００４１】
これらの各対応点列に対して以下の処理が実行される。
【００４２】
ステップＳ２では、対応点列抽出手段１０１が、次の対応点列を初期対応点列として出力する。
【００４３】
次に、ステップＳ３で、補間曲線生成手段１０２が、初期対応点列を時間方向に補間する補間曲線Ｃ（ｔ）を算出する。
【００４４】
図４は、３つの入力点（点ｋ，点ｌ，点ｍ）からなる初期対応点列から生成された補間曲線Ｃ（ｔ）の一例を示している。ここでは、時刻ｔ１，ｔ２，ｔ４における曲線Ｉ２（ｔ）上で初期対応点が得られているので、時刻ｔ３，ｔ５において候補点を抽出する必要がある。
【００４５】
次に、ステップＳ４で、抽出時刻抽出手段１０３が、初期対応点列を調べて、まだ対応点が得られていない抽出時刻ｔｓを抽出する。対応点が得られていない時刻が複数あるときは、１つずつ順に抽出して、以下のステップＳ５、ステップＳ６の処理を実行する。
【００４６】
ステップＳ５では、抽出時刻ｔｓにおける、曲線Ｉ２（ｔｓ）と補間曲線の通過位置Ｃ（ｔｓ）とが算出される。
【００４７】
次に、ステップＳ６で、対応点算出手段１０５が、曲線Ｉ２（ｔｓ）と補間曲線の通過位置Ｃ（ｔｓ）とから、抽出時刻ｔｓにおける対応点Ｐ（ｔｓ）を算出する。なお、この対応点算出手段１０５の詳細については後述する。
【００４８】
そして、ステップＳ７で、全ての抽出時刻で対応点が得られたかどうかが判断され、全ての抽出時刻において処理が終了していればステップＳ８に進む。一方、全ての抽出時刻において処理が終了していなければ、ステップＳ４からステップＳ６までの処理を繰り返す。
【００４９】
ステップＳ８では、初期対応点に、各抽出時刻において新たに算出された対応点を合成し、対応点列Ｐ（ｔ）を算出する。この対応点列Ｐ（ｔ）は、補間された入力点座標格納手段２０に格納される。
【００５０】
そして、ステップＳ９で、全ての対応点列についての処理が終了したかどうかが判断される。全ての対応点列について、まだ処理が終了していないときは、ステップＳ１０で次の対応点列を出力した後、ステップＳ３以降の処理を繰り返す。一方、全ての対応点列についての処理が終了したときは、以上の対応点補間処理を終了する。
【００５１】
次に、対応点算出手段１０５について説明する。
【００５２】
図５は、対応点算出手段１０５の構成例を示すブロック図である。
【００５３】
この対応点算出手段１０５は、候補点抽出手段１０７、評価値算出手段１０８、候補点選択手段１０９と、候補点群格納手段２１、評価値格納手段２３とを備えて構成されている。
【００５４】
そして、この対応点算出手段１０５は、選択手段１０４で選択される抽出時刻ｔｓにおける曲線Ｉ２（ｔｓ）と補間曲線の通過位置Ｃ（ｔｓ）と初期対応点列とを入力とし、時刻ｔｓにおける対応点Ｐ（ｔｓ）を出力する。
【００５５】
また、評価値算出手段１０８は、この処理を行う際に、必要であれば、画像格納手段１８および曲線格納手段１９に格納されている全時刻の画像Ｉ１（ｔ）および曲線Ｉ２（ｔ）データを参照可能なようになっている。
【００５６】
図６は、対応点算出手段１０５における処理手順を示すフローチャートである。以下に、図５および図６を参照しながら、対応点算出手段１０５の動作について説明する。
【００５７】
まず、ステップＳ１１で、候補点抽出手段１０７が、補間曲線の通過位置Ｃ（ｔｓ）の近傍領域から、曲線Ｉ２（ｔｓ）上の候補点を複数抽出し、候補点群格納手段２１に格納する。
【００５８】
図７は、前述の図４における補間曲線Ｃ（ｔ）について、対応点が得られていない抽出時刻ｔ３における候補点抽出の様子を示している。ここでは、まず、時刻ｔ３における補間曲線の通過位置Ｃ（ｔ３）が算出され、次に、時刻ｔ３における補間曲線の通過位置Ｃ（ｔ３）から予め定めた範囲内に存在する曲線Ｉ２（ｔ３）上の点を抽出して候補点とする。
【００５９】
次に、ステップＳ１２で、候補点群Ｑの中から１点ｑが取り出される。
【００６０】
次に、ステップＳ１３で、評価値算出手段１０８が、取り出された候補点ｑについての評価値ｅ（ｑ）を算出し、評価値データを評価値格納手段２３に格納する。この評価値算出手段１０８の詳細については後述する。
【００６１】
そして、ステップＳ１４で、全ての候補点ｑについての処理が終了したかどうかが判断され、全ての候補点ｑについての処理が終了していなければ、ステップＳ１２、ステップＳ１３の処理を繰り返す。一方、全ての候補点ｑについて処理が終了していれば、ステップＳ１５に進む。
【００６２】
ステップＳ１５では、候補点選択手段１０９が、候補点群Ｑの中から評価値を最大または最小にする候補点ｑを選択し、それを対応点Ｐ（ｔｓ）とする。ここで、評価値が最大であるか最小であるかは、その算出方法に依存するものであり、予め決定しておく。
【００６３】
そして、ステップＳ１５の処理が終了したら、以上の処理を終了する。
【００６４】
次に、評価値算出手段１０８について説明する。
【００６５】
図８は、評価値算出手段１０８の構成例を示すブロック図である。
【００６６】
この評価値算出手段１０８は、候補点ｑ、補間曲線の通過位置Ｃ（ｔｓ）、画像Ｉ１（ｔｓ）、初期対応点列とを入力とし、候補点ｑにおける評価値を出力するものであり、距離算出手段１１２、第１の部分画像抽出手段１１０、第２の部分画像抽出手段１１１、類似度算出手段１１３と、初期対応点部分画像データを格納する初期対応点部分画像格納手段２４を備えて構成される。
【００６７】
図９は、評価値算出手段１０８における処理手順を示すフローチャートである。以下、図８および図９を参照しながら、評価値算出手段１０８の動作について説明する。
【００６８】
まず、ステップＳ２１で、初期対応点列中の各初期対応点を順に抽出する。
【００６９】
次に、ステップＳ２２で、第１の部分画像抽出手段１１０が、ステップＳ１１で抽出された初期対応点の近傍において、あらかじめ定めた大きさの部分画像を抽出し、初期対応点部分画像格納手段２４に格納する。
【００７０】
そして、ステップＳ２３で、全ての初期対応点について処理を終了したかどうかが判断され、全ての初期対応点について処理が終了していればステップＳ２４に進む。一方、全ての初期対応点について処理が終了していなければステップＳＳ２１に戻り、処理を繰り返す。
【００７１】
ステップＳ２４では、第２の部分画像抽出手段１１１が、候補点ｑの近傍において、ステップＳ２２で抽出される部分画像と同じ形状の部分画像を抽出する。
【００７２】
次に、ステップＳ２５で、類似度算出手段１１３が、ステップＳ２２およびステップＳ２３で得た部分画像から候補点ｑの類似度を算出する。
【００７３】
ここで、ｉ番目の初期対応点部分画像をＩri、候補点ｑの部分画像をＩｑとすると、候補点ｑにおける類似度ｓ（ｑ）は以下の（１）式で算出される。
【００７４】
ｓ（ｑ） ＝ ｍｉｎ｛ error（Ｉri，Ｉｑ ） ｝ （１）
ここで、 error（ａ，ｂ） は、画像ａと画像ｂとの間の誤差の大きさを表し、ｍｉｎ｛ ｝は、最小値をとる演算を表す。
【００７５】
次に、ステップＳ２６で、距離算出手段１１２が、補間曲線の通過位置Ｃ（ｔｓ）と候補点ｑ間の距離ｄ（ｑ）を算出する。
【００７６】
次に、ステップＳ２７で、候補点ｑにおける評価値ｅ（ｑ）を、以下の（２）式で表される、類似度ｓ（ｑ）と距離ｄ（ｑ）の線形和として算出する。ｗ１，ｗ２は、重み係数である。
【００７７】
ｅ（ｑ） ＝ ｗ１ ＊ ｓ（ｑ） ＋ ｗ２ ＊ ｄ（ｑ） （２）
そして、評価値データを評価値格納手段２３に格納して、以上の処理を終了する。
【００７８】
次に、本発明の実施の一形態としての時系列データ生成装置の別の構成例（以下では、第２の時系列データ生成装置という。）について説明する。なお、以下の説明においても、前述した時系列データ生成装置と共通の部分には同一の符号を付す。
【００７９】
図１０は、本発明に係る第２の時系列データ生成装置の構成例を示すブロック図である。
【００８０】
この第２の時系列データ生成装置は、前述した本発明に係る時系列データ装置と同様に、入力点座標格納手段１５からの入力点座標と、対応関係情報格納手段１６からの入力点の対応関係情報と、重み係数格納手段１７からの入力点の重み係数、および画像格納手段１８からの画像Ｉ１（ｔ）と、曲線格納手段１９からの曲線Ｉ２（ｔ）とを入力とし、曲線Ｉ２（ｔ）のばたつきを除去するように変形した後、曲線格納手段１９に格納される曲線Ｉ２（ｔ）のデータを更新するものである。
【００８１】
この第２の時系列データ生成装置は、対応点補間手段１１４、平滑化手段１１５、曲線再構成手段１１６と、対応点座標格納手段２５、補間された重み係数格納手段２６、平滑化された対応点座標格納手段２７とを備えて構成されている。
【００８２】
次に、本発明に係る別の時系列データ生成方法（以下では、第２の時系列データ生成方法という。）について、図１０の第２の時系列データ生成装置の構成例および図１１を参照しながら説明する。
【００８３】
図１１は、本発明に係る第２の時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【００８４】
まず、ステップＳ３１で、対応点補間手段１１４が、入力点座標、対応関係情報、重み係数、画像Ｉ１（ｔ）、曲線Ｉ２（ｔ）を入力として、曲線の変形に必要な数の対応点を補間し、対応点座標データを対応点座標格納手段２５に格納する。また、補間した各対応点の重み係数値についても、入力点の重み係数値より補間して、補間された重み係数格納手段２６に格納する。
【００８５】
次に、ステップＳ３２で、平滑化手段１１５が、対応点座標と補間された重み係数とをもとに、重み付き平滑化処理によって各対応点どうしを時間方向に平滑化して、平滑化された対応点座標格納手段２７に格納する。
【００８６】
次に、ステップＳ３３で、曲線再構成手段１１６が、平滑化された対応点座標から各時刻の曲線形状を再構成して、その結果の曲線データＩ２（ｔ）を曲線格納手段１９に格納する。
【００８７】
以上の手順により処理を終了する。
【００８８】
次に、対応点補間手段１１４について詳細に説明する。
【００８９】
図１２は、対応点補間手段１１４における処理手順を示すフローチャートである。
【００９０】
まず、ステップＳ４１で、時間方向に対応点が補間される。
【００９１】
次に、ステップＳ４２で、曲線上で対応点と重み係数が補間され、以上の処理を終了する。
【００９２】
このように、対応点補間手段１１４における補間処理は、対応点の補間と重み係数の補間とからなる２段階の処理である。
【００９３】
次に、対応点補間手段１１４の構成についての説明に先立って、上記の２段階の各処理について説明する。
【００９４】
図１３は、対応点補間処理を行う前の、入力点と対応関係情報の一例を示している。
【００９５】
この図において、曲線Ｉ２（ｔ）は、５つの時刻ｔ１〜ｔ５の曲線からなる時系列データである。この曲線Ｉ２（ｔ）には、黒丸で示される計１２個の入力点が設定されており、そのうち入力点ａ〜入力点ｈは、破線で示す対応関係Ｃ１，Ｃ２，Ｃ３によって対応づけがなされている。
【００９６】
しかし、例えば、対応関係情報Ｃ１について見ると、時刻ｔ３，ｔ５において対応点が与えられていない。また、時刻ｔ３，ｔ４における曲線上には、対応関係が与えれていない入力点も存在する。
【００９７】
さらに、与えられた入力点の間隔では、曲線上のあらゆる位置で対応関係が得られているとは言い難く、平滑化処理のためには、さらに細かい間隔で対応点が必要である。
【００９８】
このように、対応点補間処理は、曲線上に必要個の対応点を補間して、平滑化が可能な状態にする処理である。
【００９９】
図１４は、図１３の曲線Ｉ２（ｔ）について、時間方向についての対応点補間処理（第１の対応点補間処理）を行った結果を示している。
【０１００】
この第１の対応点補間は、入力点のうち対応関係情報が与えられているものについて、対応点が得られていない時刻に対応点を補間する処理である。すなわち、前述の図１３においては、３つの対応関係情報Ｃ１，Ｃ２，Ｃ３が与えれていたので、それらが全時刻に拡張され、図１４のように白丸で示される対応点が補間される。この第１の対応点補間処理は、前述した本発明に係る時系列データ生成方法により行うことができる。
【０１０１】
そこで、次に、各時刻における曲線上での対応点重み係数の補間処理（第２の対応点補間処理）について説明する。
【０１０２】
図１５は、前述の図１３の曲線Ｉ２（ｔ）の各曲線上での、第２の対応点補間処理の様子を示している。
【０１０３】
図１５（Ａ）は、第１の対応点補間が終了した状態を示している。この状態では、前述したように、各時刻において黒丸で示される対応点の間隔は、まばらである。
【０１０４】
そこで、図１５（Ｂ）に示すように、第２の対応点補間処理では、曲線上に十分密に対応点が存在するように補間が行われる。ここで、白丸が、補間された対応点を示している。この第２の補間処理においては、追加された対応点のそれぞれも各時刻に対応関係を有するように追加される。
【０１０５】
また、第２の補間処理においては、対応点の補間と同時に、補間された各対応点の重み係数も計算される。
【０１０６】
図１６は、この重み係数の計算の様子を示している。
【０１０７】
図１６（Ａ）は、図１５（Ａ）の曲線Ｉ２（ｔ３）上の入力点の重み係数を示している。曲線Ｉ２（ｔ３）上には、ａ３，ｂ３，ｃ３，ｄ３，ｅ３からなる５つの点があり、それぞれに重み係数値が設定されている。破線２０４は、それらの重み係数値をもとに計算された、曲線上の重み計数値の補間関数である。
【０１０８】
図１６（Ｂ）は、図１５（Ｂ）の対応点補間された曲線Ｉ２（ｔ３）上の重み係数値を示している。
【０１０９】
このように、対応点補間によって追加された対応点の重み係数は、上記重み係数値の補間関数から算出され、各対応点に設定される。
【０１１０】
次に、対応点補間手段１１４の構成について説明する。
【０１１１】
対応点補間手段１１４は、補間対応点補間処理を行う部分と、第２の対応点補間処理を行う部分とを備えている。
【０１１２】
時間方向の対応点補間を行う第１の対応点補間部としては、前述した本発明に係る時系列データ生成装置を用いることができる。そこで、以下では、曲線上の対応点補間を行う第２の対応点補間部について説明する。
【０１１３】
図１７は、対応点補間手段１１４の、第２の対応点補間部の構成例を示すブロック図である。
【０１１４】
この第２の対応点補間部は、曲線格納手段１９からの曲線時系列Ｉ２（ｔ）と、重み係数格納手段１７からの重み係数、第１の対応点補間処理により算出された補間された入力点座標格納手段２０からの補間された入力点座標とを入力として、処理された結果を、補間された重み係数格納手段２６と対応点座標格納手段２５に出力するものである。
【０１１５】
この第２の対応点補間部は、対応点数算出手段１１７と、曲線離散化手段１１８と入力点位置照合手段１１９と、重み係数補間手段１２０と、入力点のインデックス情報データを格納するインデックス情報格納手段２８を備えて構成されている。
【０１１６】
図１８は、対応点補間手段１１４の、第２の対応点補間部における処理手順を示すフローチャートである。以下、図１７および図１８を参照しながら、第２の対応点補間部の動作について説明する。
【０１１７】
まず、ステップＳ５１で、対応点数算出手段１１７が、全時刻の曲線Ｉ２（ｔ）を長さを調べ、１曲線あたりに必要な対応点数ｎを算出する。ここでは、どの時刻の曲線においてもｎ個の対応点によって折線近似が可能なように算出される。
【０１１８】
次に、ステップＳ５２で、各時刻ｔｉおける曲線Ｉ２（ｔ）を取り出す。
【０１１９】
次に、ステップＳ５３で、曲線離散化手段１１８が、時刻ｔｉにおける曲線Ｉ２（ｔｓ）を対応点数ｎの点で離散化する。得られた点は、対応点座標格納手段２５に格納される。
【０１２０】
そして、ステップＳ５４で、全ての時刻について処理が終了したかどうかが判断され、全ての時刻について処理が終了していればステップＳ５５に進む。一方、全ての時刻について処理が終了していなければ、ステップＳ５２に戻り、上位の処理を繰り返す。
【０１２１】
ステップＳ５５では、補間された入力点座標格納手段１５から入力点を順に１つずつ抽出する。
【０１２２】
次に、ステップＳ５６で、入力点位置照合手段１１９が、抽出された入力点に一番近いものを、ステップＳ５３で得られた離散化点の中から選択し、それがｎ個のうちの何番目の点であるかを示すインデックス情報を、入力点のインデックス情報格納手段２８に格納する。入力点を最も近い離散化点に対応づける。
【０１２３】
そして、ステップＳ５７で、全ての入力点についての処理が終了したかどうかが判断され、全ての入力点について処理が終了していればステップＳ５８に進む。一方、全ての入力点についての処理が終了していなければ、ステップＳ５５に戻り、上記の処理を繰り返す。
【０１２４】
ステップＳ５８では、重み係数補間手段１２０が、各入力点の重み係数値とステップＳ５６で得られた入力点のインデックス情報とを用いて、各時刻の曲線上で重み係数の補間曲線を算出し、全対応点の重み係数を決定する。
【０１２５】
そして、算出された重み係数値は補間された重み係数格納手段２６に格納され、以上の第２の対応点補間部における処理を終了する。
【０１２６】
次に、平滑化手段１１５および曲線再構成手段１１６について詳細に説明する。
【０１２７】
図１９は、第２の時系列データ生成装置の平滑化手段１１５および曲線再構成手段１１６の構成例を示すブロック図である。ここでは、平滑化手段１１５を、さらにスプライン（spline）算出手段１１２と対応点再抽出手段１２２とに分けて示している。
【０１２８】
図２０は、平滑化手段１１５における処理手順を示すフローチャートである。
【０１２９】
以下に、図１９および図２０を参照しながら、平滑化手段１１５の動作について説明する。
【０１３０】
まず、ステップＳ６１で、各時刻でｎ個ずつ得られている対応点と重み係数とから、順にｉ番目の対応点時系列と重み係数時系列を抽出する。
【０１３１】
次に、ステップＳ６２で、スプライン算出手段１２１が、ステップＳ６１で得られた対応点列と重み係数列とから、対応点列を時間方向に平滑化するような重み付きスプライン曲線を生成する。
【０１３２】
なお、この重み付きスプライン曲線は、文献「Computer Graphics Principles and Practice」（Foly，vanDam，Feiner，and Hughes，Addison Wesley社，1990 ）に記載されているような、β−スプライン曲線を基本とし、各対応点における重み係数値によってβ−スプラインの形状を制御するバイアスパラメータを調節することによって形状を決定する。
【０１３３】
次に、ステップＳ６３で、対応点再抽出手段１２２が、得られたスプライン曲線をもとに、各時刻の対応点位置を修正する。すなわち、各時刻でスプライン曲線の通過位置を算出し、その位置を新たな対応点位置とする。
【０１３４】
そして、ステップＳ６４で、全ての対応点列（ｎ組）についての処理が終了したかどうかが判断され、全ての対応点列について処理が終了していなければ、ステップＳ６１に戻り、上記の処理を繰り返す。一方、全ての対応点列について処理が終了していれば以上の平滑化処理を終了する。
【０１３５】
次に、上述した重み付き平滑化の作用について、図２１を参照しながら説明する。
【０１３６】
図２１は、ｎ個の対応点列のうちの１つが平滑化される様子を示している。
【０１３７】
図２１（Ａ）は、平滑化される前の対応点列の各点を黒丸で示している。このように、平滑化される前には、時間に沿ってこの対応点を観察したときに見られる変位が、破線で示されるようにばたついている。ここでは、実線で示されるような変位が観測されるのが理想とされる。
【０１３８】
図２１（Ｂ）は、上記の対応点列を、重み係数を考慮せずに平滑化した結果を破線で示している。平滑化を行うと、実際の対応点の変位の高周波成分が失われるので、運動の加速度が大きい時刻において理想の変位とのずれが大きくなってしまう。ここで、オペレータが、ずれてほしくない点における重み係数を予め大きく設定することによって、この問題を解消することができる。すなわち、その重み係数を用いて重み平滑化を行えば、重み係数値が大きい時刻では、もとの対応点とスプライン間の隔たりを少なくすることができ、その結果、平滑化後に再抽出された対応点の位置の変化を少なくすることができる。
【０１３９】
図２１（Ｃ）は、図２１（Ｂ）でずれが大きかった領域の重み係数を大きくして重み付き平滑化を行った場合の結果を破線で示している。このように、重みつき平滑化を用いれば、より理想的な時系列データを得ることができる。
【０１４０】
平滑化手段１１５が平滑化された対応座標を算出した後に、曲線再構成手段１１６が、各時刻の平滑化された対応点を曲線近似することによって、各時刻の平滑化された曲線を算出する。算出された曲線を用いて曲線Ｉ２（ｔ）格納手段１９のデータを更新し、第２の時系列データ生成装置における処理を終了する。
【０１４１】
次に、本発明の実施の一形態としての曲線編集装置および曲線編集方法について説明する。なお、以下の説明においても、前述した時系列データ生成装置と共通の部分には同一の符号を付す。
【０１４２】
図２２は、本発明に係る曲線編集装置の構成例を示すブロック図である。
【０１４３】
この曲線編集装置は、画像から物体輪郭を抽出する等して得た曲線に存在するフレーム間のばたつきを低減させることができるものであり、前述した本発明に係る時系列データ生成装置を用いて構成されている。
【０１４４】
この曲線編集装置により、オペレータは、曲線上のばたつきが存在する領域を指定することができ、指定された領域に対して変形処理を行うことにより、ばたつきを低減させるようにすることができる。
【０１４５】
具体的には、この曲線編集装置は、点設定手段１１と、対応設定手段１２と、重み設定手段１３と、曲線変形手段１４、および入力点座標格納手段１５、対応関係情報格納手段１６、重み係数格納手段１７、画像Ｉ１（ｔ）格納手段、曲線Ｉ２（ｔ）格納手段１９を備えて構成される。
【０１４６】
画像Ｉ１（ｔ）および曲線Ｉ２（ｔ）は、例えば、輪郭抽出したい物体の画像の時系列と、抽出された輪郭データの時系列である。
【０１４７】
入力点座標格納手段１５は、オペレータが曲線編集を行うために指定した入力点位置を格納するためのものである。
【０１４８】
対応関係情報格納手段１６は、入力点のうち、どれとどれが対応しているかの情報を格納するためのものである。
【０１４９】
重み係数格納手段は、各入力点に設定されている重み係数値を格納するためのものである。
【０１５０】
また、点設定手段１１、対応設定手段１２、重み設定手段１３は、上記入力点に関する情報を格納するための入力点座標格納手段１５、対応関係情報格納手段１６、重み係数格納手段１７の内容をそれぞれ更新するための手段であり、オペレータがそれらを操作してデータを更新できるようになっている。
【０１５１】
具体的には、点設定手段１１、対応設定手段１２、重み設定手段１３は、タブレットペンなどのポインティングデバイスと入力を補助するためのモニタによる表示を利用する。
【０１５２】
オペレータは、モニタへの画像や曲線形状の表示等のガイド情報をたよりに、ポインティングデバイスを用いて必要な操作を行う。上記の各設定手段は、その入力に従い、それぞれが対応するデータ格納手段の内容を更新するようになっている。
【０１５３】
点設定手段１１は、画像Ｉ１（ｔ）上の曲線Ｉ２（ｔ）上の位置指定入力を受付け、その指定位置を入力点座標格納手段１５に追加する。入力点座標は、曲線変形の範囲指定と曲線形状の重み設定に用いられる。
【０１５４】
対応設定手段１２は、任意の１入力点とそれが属する対応点グループを指定する機能を有し、オペレータからの、その情報入力によって対応関係情報格納手段１６に格納される対応関係情報を更新する。
【０１５５】
本実施の形態では、対応関係は、変形したい曲線の領域の端において特に重要であり、変形したい領域の両端を示す入力点は、各時刻の曲線上において必ず対応関係をもたなければならない。
【０１５６】
このため、この曲線編集装置では、図２３に示すように、モニタ画面２１０の画像表示ウインドウ２１１に画像と曲線を表示する他に、両端点を設定するボタン２１２ａ，２１２ｂを表示させる。
【０１５７】
オペレータは、端点としたい入力点を選択したのち、これらの端点ボタン２１２ａ，２１２ｂ上でポインティングデバイスの入力イベントを発生させる。これにより、上記の選択された点が端点の対応点グループに属することを指定されたことになり、対応関係情報格納手段１６に格納されている情報が更新されるようになっている。
【０１５８】
重み設定手段１３は、任意の１入力点と、それがもつ重み係数を指定する機能を有し、オペレータからのその情報の入力によって、重み係数格納手段１３に格納されているデータを更新する。
【０１５９】
この曲線編集装置では、図２３に示すように、モニタ画面２１０に重み計数値スケールバー２１４を表示させることによって、オペレータが、重み係数値を指定できるようになっている。オペレータが、ポインティングデバイスを用いて、上記スケールバー上で入力イベントを発生させると、重み係数値スケールバー２１４の一端を重み０、他端を重み１とした入力位置の内分比によって重み係数値が算出され、そのとき選択されていた入力点の重み係数値が更新されるようになっている。
【０１６０】
曲線変形手段１４は、上記入力点に関する３つのデータ格納手段の内容をもとに、曲線間のばたつきを低減するように曲線Ｉ２（ｔ）を変形する処理を行う。
【０１６１】
この曲線編集装置では、図２３に示すように、モニタ画面２１０上に曲線変形実行ボタン２１３が表示され、この曲線変形実行ボタン２１３上でポインティングデバイスの入力イベントが発生すると、曲線変形手段１４の処理が実行されるようになっている。なお、曲線変形手段１４としては、前述した本発明に係る第２の時系列データ生成装置を用いることができる。
【０１６２】
次に、本発明に係る曲線編集方法について説明する。
【０１６３】
図２４は、本発明に係る曲線編集方法における基本的な処理手順を示すフローチャートである。以下、図２４を参照しながら処理手順を説明する。
【０１６４】
まず、ステップＳ７１で、オペレータからの次の入力が「終了」を示す入力であるかどうかが判断される。入力が「終了」を示していれば処理を終了し、「終了」でなければステップＳ７２にへ進む。
【０１６５】
次に、ステップＳ７２で、設定入力の種類を判断する。
【０１６６】
ここで、入力が「点設定」であるときには、ステップＳ７３ａで、入力に基づいて入力点座標データを更新し、その後ステップＳ７１に戻る。
【０１６７】
また、入力が「対応設定」であるときには、ステップＳ７３ｂで、入力に基づいて対応関係情報データを更新し、その後ステップＳ７１に戻る。
【０１６８】
また、入力が「重み設定」であるときには、ステップＳ７３ｃで、入力に基づいて重み係数データを更新し、その後ステップＳ７１に戻る。
【０１６９】
また、入力が「曲線変形開始」であるときには、ステップＳ７３ｄで、曲線形状変形処理を行い、曲線Ｉ２（ｔ）を更新する。その後ステップＳ７１に戻り、上記の処理を繰り返す。
【０１７０】
なお、以上説明した本発明に係る曲線編集装置において、重み係数に関連する一切の処理を省略した構成とすることも可能である。また、図８に示した評価値算出手段１０８の構成のうち、類似度を算出する部分を省略した構成としてもよい。さらに、図８に示した評価値算出手段１０８の構成のうち、距離を算出する部分を省略してもよい。
【０１７１】
さらに、本発明に係る曲線編集装置において、平滑化手段１１５は、図１９に示したようにスプライン曲線を用いるとしたが、これは時系列の各時刻で平滑化されたデータが得られるものであればよく、加重平均あるいはランクフィルタ等の離散フィルタを利用した平滑化であってよい。
【０１７２】
次に、以上説明した本発明に係る曲線編集装置の構成の一部を変更した、曲線編集装置の別の構成例（以下では、第２の曲線編集装置という。）について説明する。
【０１７３】
前述の本発明に係る曲線編集装置では、曲線変形を行って曲線Ｉ２（ｔ）のばたつきを低減させた後は、入力点座標に格納されている入力点の位置が曲線Ｉ２（ｔ）上からずれてしまうので、入力点の再利用が不可能である。
【０１７４】
そこで、以下に説明する本発明に係る第２の曲線編集装置は、前述の曲線編集装置の構成をもとに、曲線変形を行った後でも、既に入力されている入力点を再利用できるようにしたものである。これにより、曲線の編集作業の効率を向上させることができる。
【０１７５】
そこで、以下では、第２の曲線編集装置および方法について、前述した曲線編集装置および方法に追加されて異なっている部分について主に説明する。なお、前述した曲線編集装置と共通の部分、および前述した曲線編集方法における処理手順と共通のステップには、同一の符号を付す。
【０１７６】
図２５は、第２の曲線編集装置の構成例を示すブロック図である。
【０１７７】
この第２の曲線編集装置の構成は、前述の曲線編集装置の構成と同様であるが、曲線変形手段１４が曲線変形を行った後、入力点座標を変形後の曲線上に乗るように位置修正し、入力点座標格納手段１５に格納されるデータを更新するようにされている点が異なっている。
【０１７８】
図２６は、この第２の曲線編集装置における基本的な処理手順を示すフローチャートである。
【０１７９】
処理手順についても、前述の曲線編集装置におけるステップＳ７１からステップＳ７３ａ〜Ｓ７３ｄまでの処理手順と同様であるが、ステップＳ７２で判断される設定入力の種類が「曲線変形開始」であるときには、ステップＳ７３ｄで曲線形状変形処理を行った後に、ステップＳ７４で入力点座標を変形した曲線上に移動させるようにする点が異なっている。
【０１８０】
図２７は、第２の曲線編集装置の入力点座標を更新する処理に関する部分を示すブロック図である。
【０１８１】
この第２の曲線編集装置においても、対応点補間手段１１４によって入力点座標が補間され、さらに平滑化手段１１５によってその位置が平滑化される。その結果は、平滑化された対応点座標格納手段２７に格納される。
【０１８２】
ここで、第２の曲線編集装置では、以下の処理を追加する。すなわち、図１７で説明したように、対応点補間手段１１４が、各入力点が補間された対応点の何番目に相当するかを算出し、その情報が入力点のインデックス情報格納手段２８に格納されていることを利用するものである。これにより、選択手段１０４で上記のインデックスによって平滑化された対応点座標格納手段２７から入力点に対応する対応点を順に抽出し、入力点座標格納手段１５に格納されるデータを更新する。
【０１８３】
図２８は、上述した入力点座標更新処理の手順を示すフローチャートである。
【０１８４】
以下、図２８を参照しながら、入力点座標更新処理の動作について説明する。
【０１８５】
まず、ステップＳ９１で、時刻ｔｉに設定されているｉ番目の入力点が、入力点座標格納手段１５から抽出される。
【０１８６】
次に、ステップＳ９２で、ｉ番目の入力点に対応する対応点のインデックス値ｉｄｘ（ｉ）を入力点のインデックス情報格納手段２８から取り出す。
【０１８７】
次に、ステップＳ９３で、インデックス値ｉｄｘ（ｉ）で示される、ｉｄｘ（ｉ）番目の平滑化された対応点を、平滑化された対応点座標格納手段２５から抽出し、その座標で入力点座標格納手段１５に格納されるデータを更新する。
【０１８８】
そして、ステップＳ９４で、全時刻についての処理を終了したかどうかが判断され、全時刻について処理を終了しているときは以上の処理を終了する。一方、全時刻について処理を終了していないときは、ステップＳ９１に戻り、以上の入力点座標更新処理を繰り返す。
【０１８９】
図２９は、以上説明した本発明に係る時系列データ生成装置および曲線編集装置の基本的な構成を例示している。
【０１９０】
これらの装置は、いずれも、オペレータとの間の入出力インタフェースであるポインティングデバイス１およびモニタ２と、ＣＰＵ３、内部記憶装置４、外部記憶装置５、およびこれらを互いに接続するＢＵＳ６を備えて構成される。
【０１９１】
ポインティングデバイス１は、オペレータからの入力を取り込む手段であり、マウスやタブレットペン等が使用される。モニタ２は、オペレータに対して画像や図形等のデータを表示する手段であり、ＣＲＴなどが使用される。
【０１９２】
ＣＰＵ３は、本発明における計算と制御の処理を担当する中央演算処理装置である。内部記憶装置４は、後述するような本発明に係る種々の計算処理を行う際に必要なデータを一時的に格納するデータ格納手段である。
【０１９３】
外部記憶装置５は、上記の計算処理に必要なデータを格納する際の補助格納手段として、また計算処理結果等のデータの入出力先としても使用される。
【０１９４】
なお、以上説明した本発明の実施の形態においては、画像Ｉ１（ｔ）のデータおよび曲線Ｉ２（ｔ）のデータは、何らかの方法により別途生成されて、図２９の外部記憶装置５あるいは内部記憶装置４に格納されているものとしている。
【０１９５】
これらのデータを生成する方法については、詳細な説明を省略するが、画像から物体輪郭等の曲線を生成する技術であればよく、特定の方法に限定されるものではない。
【０１９６】
具体的には、前述した文献「Intelligent Scissors for Image Composition」や、特開平４−１５２４８１号公報に記載の「画像輪郭検出方法」、特開平４−２５４８５４号公報に記載の「切抜きマスク作成方法及び装置」などに示される技術を用いることができる。また、本願出願人が、特開平３−１７６８０号公報記載の「領域抽出方法」、特願平８−３１２７４０号明細書および図面に記載の「輪郭抽出装置及び輪郭抽出方法」、特願平９−２０４８６２号明細書および図面に記載の「経路探査装置および方法、輪郭曲線生成装置および方法、輪郭曲線編集装置および方法、並びにプログラムを記録した記録媒体」などに開示した技術も用いることができる。
【０１９７】
【発明の効果】
本発明によれば、時系列データに対して、ある程度の対応点が与えられれば、そこから他の対応点を推定して補間するようにしたため、各時刻におけるデータ間の対応関係を自動的に得ることができ、しかも、時系列曲線を平滑化する際に、重みを付けて処理するようにしたため、高周波成分をカットされて曲線の形状が鈍ってしまうことがない、時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体を提供できる。
【図面の簡単な説明】
【図１】本発明に係る時系列データ生成装置の主要部の構成例を示すブロック図である。
【図２】本発明に係る時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【図３】対応点補間処理を行う前の入力点と対応関係情報について説明するための図である。
【図４】初期対応点列から生成される補間曲線について示す図である。
【図５】対応点算出手段の構成例を示すブロック図である。
【図６】対応点算出手段における処理手順を示すフローチャートである。
【図７】候補点抽出処理について説明するための図である。
【図８】評価値算出手段の構成例を示すブロック図である。
【図９】評価値算出手段における処理手順を示すフローチャートである。
【図１０】本発明に係る第２の時系列データ生成装置の構成例を示すブロック図である。
【図１１】本発明に係る第２の時系列データ生成方法の基本的な処理手順を示すフローチャートである。
【図１２】対応点補間手段における処理手順を示すフローチャートである。
【図１３】対応点補間処理を行う前の入力点と対応関係情報の一例を示す図である。
【図１４】時間方向の第１の対応点補間処理を行った結果の一例を示す図である。
【図１５】曲線上での第２の対応点補間処理について説明するための図である。
【図１６】第２の補間処理における重み係数補間計算について説明するための図である。
【図１７】第２の対応点補間部の構成例を示すブロック図である。
【図１８】第２の対応点補間部における処理手順を示すフローチャートである。
【図１９】第２の時系列データ生成装置の平滑化手段および曲線再構成手段の構成例を示すブロック図である。
【図２０】平滑化手段における処理手順を示すフローチャートである。
【図２１】対応点列の重み付き平滑化について説明するための図である。
【図２２】本発明に係る曲線編集装置の構成例を示すブロック図である。
【図２３】 本発明に係る曲線編集装置のモニタへの表示例を示す図である。
【図２４】本発明に係る曲線編集方法における基本的な処理手順を示すフローチャートである。
【図２５】本発明に係る第２の曲線編集装置の構成例を示すブロック図である。
【図２６】本発明に係る第２の曲線編集装置における基本的な処理手順を示すフローチャートである。
【図２７】第２の曲線編集装置の入力点座標を更新する処理に関する部分を示すブロック図である。
【図２８】入力点座標更新処理の手順を示すフローチャートである。
【図２９】本発明に係る時系列データ生成装置および曲線編集装置の基本的な構成例を示す図である。
【符号の説明】
１５ 入力点座標格納手段、 １６ 対応関係情報格納手段、 １９ 曲線格納手段、 ２０ 補間された入力点座標格納手段、 １０１ 対応点列抽出手段、 １０２ 補間曲線生成手段、 １０３ 抽出時刻抽出手段、 １０４ 選択手段、 １０５ 対応点算出手段、 １０６ 対応点列合成手段
Claims (15)
- 入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成装置であって、
入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、
上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、
上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段とを備え、
上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出手段は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出手段を有する
ことを特徴とする時系列データ生成装置。 - 入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成装置であって、
入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、
上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、
上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段とを備え、
上記時系列データＩ（ｔ）は画像であり、上記評価値算出手段は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出手段を有する
ことを特徴とする時系列データ生成装置。 - 入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成方法であって、
入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、
上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有する
ことを特徴とする時系列データ生成方法。 - 入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成方法であって、
入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、
上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有する
ことを特徴とする時系列データ生成方法。 - 入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成プログラムを記録した記録媒体であって、
上記時系列データ生成プログラムは、
入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、
上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有する
ことを特徴とする記録媒体。 - 入力された時系列データＩ（ｔ）から、所定の対応点における時系列データＰ（ｔ）を生成する時系列データ生成プログラムを記録した記録媒体であって、
上記時系列データ生成プログラムは、
入力点座標と対応関係のある対応点を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）とを入力とし、対応する座標が未獲得の時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓと補間曲線Ｃ（ｔ）と時系列データＩ（ｔ）と候補点群Ｑ中の１点ｑとを入力とし、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程とを有し、
上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有する
ことを特徴とする記録媒体。 - 曲線の時系列データから、対応点の時系列データを生成する時系列データ生成装置であって、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、
入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、
上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、
上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段と、
上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間手段と、
密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出手段と、
上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化手段と、
平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成手段とを備え、
上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出手段は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出手段を有する
ことを特徴とする時系列データ生成装置。 - 曲線の時系列データから、対応点の時系列データを生成する時系列データ生成装置であって、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、
入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成手段と、
上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出手段と、
上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出手段と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択手段と、
上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間手段と、
密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出手段と、
上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化手段と、
平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成手段とを備え、
上記時系列データＩ（ｔ）は画像であり、上記評価値算出手段は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出手段を有する
ことを特徴とする時系列データ生成装置。 - 曲線の時系列データから、対応点の時系列データを生成する時系列データ生成方法であって、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、
入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、
上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、
密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、
上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、
平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、
上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有する
ことを特徴とする時系列データ生成方法。 - 曲線の時系列データから、対応点の時系列データを生成する時系列データ生成方法であって、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、
入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、
上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、
密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、
上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、
平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、
上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有する
ことを特徴とする時系列データ生成方法。 - 曲線の時系列データから、対応点の時系列データを生成する時系列データ生成プログラムを記録した記録媒体であって、
上記時系列データ生成プログラムは、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、
入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、
上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、
密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、
上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、
平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、
上記時系列データＩ（ｔ）は画像上に存在する曲線であり、上記評価値算出工程は、時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）と候補点ｑの間の距離を算出する距離算出工程を有する
ことを特徴とする記録媒体。 - 曲線の時系列データから、対応点の時系列データを生成する時系列データ生成プログラムを記録した記録媒体であって、
上記時系列データ生成プログラムは、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、
入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成する補間曲線生成工程と、
上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出する候補点抽出工程と、
上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出する評価値算出工程と、
上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出する候補点選択工程と、
上記各時刻の曲線において、任意の数の対応点で構成されるように補間する対応点補間工程と、
密に補間された上記対応点に対して、対応点重み係数を算出する重み係数算出工程と、
上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化する平滑化工程と、
平滑化された対応点から各時刻の曲線形状を再構成する曲線再構成工程とを有し、
上記時系列データＩ（ｔ）は画像であり、上記評価値算出工程は、候補点ｑの近傍部分画像と上記入力点座標に対応する座標が入力された時刻ｔｉにおける入力座標Ｐ（ｔｉ）の近傍部分画像との類似度を算出する類似度算出工程を有する
ことを特徴とする記録媒体。 - 輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集装置であって、
曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定手段と、
各点についてそれが属する対応点の組を指定する対応設定手段と、
各点について、その重み係数を設定する重み設定手段と、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形手段と
を備えることを特徴とする曲線編集装置。 - 輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集方法であって、
曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定工程と、
各点についてそれが属する対応点の組を指定する対応設定工程と、
各点について、その重み係数を設定する重み設定工程と、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形工程と
を有することを特徴とする曲線編集方法。 - 輪郭曲線時系列の各輪郭曲線上の対応点どうしを時間方向に平滑化して、上記各輪郭曲線間の時間方向の変位を低減させることができる曲線編集プログラムを記録した記録媒体であって、
上記曲線編集プログラムは、
曲線の時系列データに対し任意の時刻の曲線上の任意の位置を点と設定する点設定工程と、
各点についてそれが属する対応点の組を指定する対応設定工程と、
各点について、その重み係数を設定する重み設定工程と、
入力点座標、曲線の時系列データ、各時刻の曲線間の対応関係を示す対応点の組と対応点に応じた重み係数を入力とし、入力点座標と対応関係のある対応点の組を連結し補間曲線Ｃ（ｔ）を生成し、上記補間曲線Ｃ（ｔ）と曲線の時系列データから、対応する座標がない時刻ｔｓにおいて求める座標Ｐ（ｔｓ）の候補点群Ｑを時刻ｔｓにおける補間曲線の位置Ｃ（ｔｓ）の近傍から抽出し、上記時刻ｔｓ、補間曲線Ｃ（ｔ）、曲線の時系列データと候補点群Ｑ中の１点ｑから、候補点ｑに対する評価値ｅ（ｑ）を算出し、上記評価値ｅ（ｑ）を入力とし、最大または最小の評価値Ｅをもつ点ｑを検出し、上記各時刻の曲線において、任意の数の対応点で構成されるように補間し、密に補間された上記対応点に対して、対応点重み係数を算出し、上記補間された上記対応点と重み係数を利用して、上記対応点を時間方向に平滑化し、平滑化された対応点から各時刻の曲線形状を再構成する曲線変形工程と
を有することを特徴とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20698397A JP3963033B2 (ja) | 1997-07-31 | 1997-07-31 | 時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体 |
| US09/124,711 US6298155B1 (en) | 1997-07-31 | 1998-07-29 | Apparatus and method for generating time-series data, apparatus and method for editing curves and recording medium having program recorded thereon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20698397A JP3963033B2 (ja) | 1997-07-31 | 1997-07-31 | 時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153562A JPH1153562A (ja) | 1999-02-26 |
| JP3963033B2 true JP3963033B2 (ja) | 2007-08-22 |
Family
ID=16532243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20698397A Expired - Fee Related JP3963033B2 (ja) | 1997-07-31 | 1997-07-31 | 時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6298155B1 (ja) |
| JP (1) | JP3963033B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3661584B2 (ja) * | 2000-01-28 | 2005-06-15 | セイコーエプソン株式会社 | 電気光学装置、画像処理回路、画像データ補正方法、および、電子機器 |
| JP4427258B2 (ja) * | 2002-07-18 | 2010-03-03 | 株式会社ミツトヨ | 信号処理方法、信号処理プログラム、この信号処理プログラムを記録した記録媒体および信号処理装置 |
| TWI476640B (zh) | 2012-09-28 | 2015-03-11 | Ind Tech Res Inst | 時間資料序列的平滑化方法與裝置 |
| WO2014205632A1 (en) * | 2013-06-24 | 2014-12-31 | Adobe Systems Incorporated | Gravity point drawing method |
| CN108875755B (zh) * | 2018-05-28 | 2021-11-12 | 南京师范大学 | 一种基于曲线平行特征的水平岩层自动提取方法 |
| US11651249B2 (en) * | 2019-10-22 | 2023-05-16 | EMC IP Holding Company LLC | Determining similarity between time series using machine learning techniques |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01155476A (ja) | 1987-12-14 | 1989-06-19 | Dainippon Printing Co Ltd | 絵柄のマスク作成方法 |
| JP2642368B2 (ja) | 1987-12-28 | 1997-08-20 | 株式会社東芝 | 画像編集装置 |
| JPH02105152A (ja) | 1988-10-14 | 1990-04-17 | Dainippon Printing Co Ltd | 切抜きマスク作成システム |
| JPH0317680A (ja) | 1989-06-15 | 1991-01-25 | Ricoh Co Ltd | 画像形成装置のクリーニング装置 |
| JPH03291770A (ja) | 1990-04-10 | 1991-12-20 | Oki Electric Ind Co Ltd | 画像輪郭検出方法 |
| JPH0468763A (ja) | 1990-07-04 | 1992-03-04 | Dainippon Printing Co Ltd | 切抜きマスク作成方法 |
| JPH0490544A (ja) | 1990-08-03 | 1992-03-24 | Dainippon Printing Co Ltd | 切抜きマスク作成方法及び装置 |
| JPH04152481A (ja) | 1990-10-17 | 1992-05-26 | Oki Electric Ind Co Ltd | 輪郭線検出方法 |
| JP3065364B2 (ja) | 1991-02-06 | 2000-07-17 | 大日本印刷株式会社 | 切抜きマスク作成方法及び装置 |
| JPH0512443A (ja) | 1991-07-05 | 1993-01-22 | Nippon Telegr & Teleph Corp <Ntt> | 動物体の輪郭追跡方法 |
| US5287105A (en) * | 1991-08-12 | 1994-02-15 | Calcomp Inc. | Automatic tracking and scanning cursor for digitizers |
| JPH0561977A (ja) | 1991-08-30 | 1993-03-12 | Matsushita Electric Ind Co Ltd | 領域抽出装置 |
| US5880411A (en) * | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5832119C1 (en) * | 1993-11-18 | 2002-03-05 | Digimarc Corp | Methods for controlling systems using control signals embedded in empirical data |
| JP3526653B2 (ja) | 1995-05-16 | 2004-05-17 | 株式会社共立 | 携帯式作業機 |
| JPH09204862A (ja) | 1996-01-29 | 1997-08-05 | Uchiya Thermostat Kk | サーマルプロテクタ |
-
1997
- 1997-07-31 JP JP20698397A patent/JP3963033B2/ja not_active Expired - Fee Related
-
1998
- 1998-07-29 US US09/124,711 patent/US6298155B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6298155B1 (en) | 2001-10-02 |
| JPH1153562A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6535213B1 (en) | Curve edition system, curve-loop detecting system, curve-loop removing system | |
| US5940538A (en) | Apparatus and methods for object border tracking | |
| US6396491B2 (en) | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene | |
| JP4482778B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4564634B2 (ja) | 画像処理方法及び装置並びに記憶媒体 | |
| US20220078358A1 (en) | System for automatic video reframing | |
| JPH0581429A (ja) | 画像切り出し箇所検出方法および切り出し装置 | |
| US6621924B1 (en) | Contour extraction apparatus, a method thereof, and a program recording medium | |
| JP7288870B2 (ja) | 画像を生成するシステム | |
| JP3963033B2 (ja) | 時系列データ生成装置および方法、曲線編集装置および方法、並びにプログラムを記録した記録媒体 | |
| JP2000251086A (ja) | 曲線生成装置及び方法、並びにプログラム提供媒体 | |
| EP1134984B1 (en) | Object region data generating method, object region data generating apparatus, approximation polygon generating method, and approximation polygon generating apparatus | |
| US6404434B1 (en) | Curve generating apparatus and method, storage medium storing curve generating program, and method of setting associate points | |
| JP3716455B2 (ja) | 領域抽出方法及び領域抽出装置 | |
| JP7282551B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP3198099B2 (ja) | 画像処理方法及びその装置並びに記憶媒体 | |
| CN114494272A (zh) | 一种基于深度学习的金属零件快速分割方法 | |
| JP2000132692A (ja) | 曲線の特徴点抽出方法及びこの方法を記録した記録媒体 | |
| JP4453202B2 (ja) | 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 | |
| JPH04306778A (ja) | 指紋特徴修正システム | |
| JP3603919B2 (ja) | ジェスチャ認識装置および方法 | |
| JP3821397B2 (ja) | 画像切り抜き装置 | |
| JPH08329253A (ja) | エッジ検出方法及びエッジ検出装置 | |
| JP4482779B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JPH07121710A (ja) | 画像セグメンテーション方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070501 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070514 |
|
| LAPS | Cancellation because of no payment of annual fees |