JP2995745B2 - 動き情報抽出装置 - Google Patents
動き情報抽出装置Info
- Publication number
- JP2995745B2 JP2995745B2 JP8273989A JP8273989A JP2995745B2 JP 2995745 B2 JP2995745 B2 JP 2995745B2 JP 8273989 A JP8273989 A JP 8273989A JP 8273989 A JP8273989 A JP 8273989A JP 2995745 B2 JP2995745 B2 JP 2995745B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- frame memory
- motion information
- dimensionally
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えばコンピュータグラフィックスによる
アニメーション番組の製作に使用して好適な動き情報抽
出装置に関する。
アニメーション番組の製作に使用して好適な動き情報抽
出装置に関する。
本発明は、例えばコンピュータグラフィックスによる
アニメーション番組の製作に使用して好適な動き情報抽
出装置において、２次元表示される画像の所定長の線画
像を表示する線画像表示手段と、上記線画像を上記２次
元表示される画像の所定部位に移動する線画像移動手段
と、上記所定部位の線画像に対応する上記２次元表示さ
れる画像の画像データを１次元的にサンプリングするサ
ンプリング手段と、上記サンプリング手段によって得ら
れた画像データのエッジを抽出するエッジ抽出手段と、
上記エッジ抽出手段によって抽出されたエッジに基いて
上記所定部位の線画像で示される範囲の画像の動きを示
す動き情報データを生成する動き情報データ生成手段と
を備えたことにより、ビデオテープレコーダ等に収録し
たカットの中で人が話しをしているときの唇の動きや人
が手を振るときの動きなどの複雑な動きの情報を容易に
数値化して、その動きをそのままアニメーション番組中
のキャラクタの動きとして再現できるようにしたもので
ある。
アニメーション番組の製作に使用して好適な動き情報抽
出装置において、２次元表示される画像の所定長の線画
像を表示する線画像表示手段と、上記線画像を上記２次
元表示される画像の所定部位に移動する線画像移動手段
と、上記所定部位の線画像に対応する上記２次元表示さ
れる画像の画像データを１次元的にサンプリングするサ
ンプリング手段と、上記サンプリング手段によって得ら
れた画像データのエッジを抽出するエッジ抽出手段と、
上記エッジ抽出手段によって抽出されたエッジに基いて
上記所定部位の線画像で示される範囲の画像の動きを示
す動き情報データを生成する動き情報データ生成手段と
を備えたことにより、ビデオテープレコーダ等に収録し
たカットの中で人が話しをしているときの唇の動きや人
が手を振るときの動きなどの複雑な動きの情報を容易に
数値化して、その動きをそのままアニメーション番組中
のキャラクタの動きとして再現できるようにしたもので
ある。
画像処理技術の進展に伴い、所謂コンピュータグラフ
ィックス（CG）によりアニメーション番組を製作するこ
とができるようになって来た。この場合、アニメーショ
ン番組中のキャラクタに実際の人のような複雑で自然な
動きをいかに行わせるかが問題である。
ィックス（CG）によりアニメーション番組を製作するこ
とができるようになって来た。この場合、アニメーショ
ン番組中のキャラクタに実際の人のような複雑で自然な
動きをいかに行わせるかが問題である。
このような問題に関して、本出願人は特開昭62−9987
4号公報において、複数のプリミティブ表情曲面データ
を格納し、所定の内挿計数で２つの表情曲面データを内
挿することにより、それら２つの表情曲面データに対応
する画像の中間の複雑な画像を形成できるようにした処
理装置を提案している。更に、その内挿計数の考えを発
展させると、例えばアニメーション番組中のキャラクタ
の唇の開口率（唇の開き具合）を時間の関数として入力
することにより、そのキャラクタに実際に人が話しをし
ているときと同様な複雑な唇の動きをさせることができ
る。
4号公報において、複数のプリミティブ表情曲面データ
を格納し、所定の内挿計数で２つの表情曲面データを内
挿することにより、それら２つの表情曲面データに対応
する画像の中間の複雑な画像を形成できるようにした処
理装置を提案している。更に、その内挿計数の考えを発
展させると、例えばアニメーション番組中のキャラクタ
の唇の開口率（唇の開き具合）を時間の関数として入力
することにより、そのキャラクタに実際に人が話しをし
ているときと同様な複雑な唇の動きをさせることができ
る。
このように、コンピュータグラフィックス技術の進歩
により、キャラクタの唇の開口率等の動きの情報を入力
するだけで、そのキャラクタに複雑な動きを容易にさせ
ることができるようになっているが、従来は実際の人の
複雑な動きの情報を数値化する効率的な装置がない不都
合があった。
により、キャラクタの唇の開口率等の動きの情報を入力
するだけで、そのキャラクタに複雑な動きを容易にさせ
ることができるようになっているが、従来は実際の人の
複雑な動きの情報を数値化する効率的な装置がない不都
合があった。
本発明は斯かる点に鑑み、実際の人の手の振りや唇の
動き等の複雑な動きの情報を容易に数値化できるように
することを目的とする。
動き等の複雑な動きの情報を容易に数値化できるように
することを目的とする。
上記の課題を解決するために、本発明は、下記の手段
を備えた動き情報抽出装置を提供する。即ち、 周期的に２次元表示される画像の所望の部分の動きを
示す情報を抽出するようにした動き情報抽出装置におい
て、 上記２次元表示される画像に所定長の線画像を表示す
る線画像表示手段と、 上記線画像を上記２次元表示される画像の所定部位に
移動する線画像移動手段と、 上記所定部位の線画像に対応する上記２次元表示され
る画像の画像データを１次元的にサンプリングするサン
プリング手段と、 上記サンプリング手段によって得られた画像データの
エッジを抽出するエッジ抽出手段と、 上記エッジ抽出手段によって抽出されたエッジに基い
て上記所定部位の線画像で示される範囲の画像の動きを
示す動き情報データを生成する動き情報データ生成手段
と を備えたことを特徴とする動き情報抽出装置を提供す
る。
を備えた動き情報抽出装置を提供する。即ち、 周期的に２次元表示される画像の所望の部分の動きを
示す情報を抽出するようにした動き情報抽出装置におい
て、 上記２次元表示される画像に所定長の線画像を表示す
る線画像表示手段と、 上記線画像を上記２次元表示される画像の所定部位に
移動する線画像移動手段と、 上記所定部位の線画像に対応する上記２次元表示され
る画像の画像データを１次元的にサンプリングするサン
プリング手段と、 上記サンプリング手段によって得られた画像データの
エッジを抽出するエッジ抽出手段と、 上記エッジ抽出手段によって抽出されたエッジに基い
て上記所定部位の線画像で示される範囲の画像の動きを
示す動き情報データを生成する動き情報データ生成手段
と を備えたことを特徴とする動き情報抽出装置を提供す
る。
斯かる本発明によれば、２次元表示される画像（27）
の所望の部分の画像データを１次元的に例えば時間の関
数としてサンプリングすることができる。従って、その
サンプリングした画像データの中から例えば数値が急激
に変化する部分（エッジ部分）の位置を時間の関数とし
て抜き出すことにより、動きの情報が容易に数値化され
る。
の所望の部分の画像データを１次元的に例えば時間の関
数としてサンプリングすることができる。従って、その
サンプリングした画像データの中から例えば数値が急激
に変化する部分（エッジ部分）の位置を時間の関数とし
て抜き出すことにより、動きの情報が容易に数値化され
る。
以下、本発明による動き情報抽出装置の一実施例につ
き図面を参照して説明しよう。
き図面を参照して説明しよう。
第１図は本例の動き情報抽出装置を示し、この第１図
において、（１）はホストコンピュータであり、このホ
ストコンピュータ（１）は装置全体の制御手段（２）及
び動き情報を含んだ時系列データファイルの生成手段
（３）として機能する。（４）はデータバス，アドレス
バス，制御バス等より成るシステムバスを示し、ホスト
コンピュータ（１）はそのシステムバス（４）を介して
装置全体を制御する。
において、（１）はホストコンピュータであり、このホ
ストコンピュータ（１）は装置全体の制御手段（２）及
び動き情報を含んだ時系列データファイルの生成手段
（３）として機能する。（４）はデータバス，アドレス
バス，制御バス等より成るシステムバスを示し、ホスト
コンピュータ（１）はそのシステムバス（４）を介して
装置全体を制御する。
（５）はビデオテープレコーダ（VTR）を示し、このV
TR（５）にはテレビドラマ，スポーツ番組などの実際の
人の動きを含む様々なカットを収録したテープカセット
を装填する。このVTR（５）より再生したビデオ信号を
Y,R−Y,B−Ｙ分離（所謂4:2:2規格）又はR,G,B分離等し
た後に、アナログ／デジタル（A/D）変換器（６）を介
してデジタルの画像データに変換し、この画像データを
入力フレームメモリ（７）の一方の入出力ポートに供給
する。入力フレームメモリ（７）としては２枚のフレー
ムメモリより成る２バッファメモリ又は２つのポートか
ら夫々独立に読み書き自在の完全デュアルポートメモリ
等が使用できる。その入力フレームメモリ（７）の他方
の入出力ポートをシステムバス（４）及び合成回路
（９）の一方の入力ポートに接続する。
TR（５）にはテレビドラマ，スポーツ番組などの実際の
人の動きを含む様々なカットを収録したテープカセット
を装填する。このVTR（５）より再生したビデオ信号を
Y,R−Y,B−Ｙ分離（所謂4:2:2規格）又はR,G,B分離等し
た後に、アナログ／デジタル（A/D）変換器（６）を介
してデジタルの画像データに変換し、この画像データを
入力フレームメモリ（７）の一方の入出力ポートに供給
する。入力フレームメモリ（７）としては２枚のフレー
ムメモリより成る２バッファメモリ又は２つのポートか
ら夫々独立に読み書き自在の完全デュアルポートメモリ
等が使用できる。その入力フレームメモリ（７）の他方
の入出力ポートをシステムバス（４）及び合成回路
（９）の一方の入力ポートに接続する。
（８）は重畳ビデオメモリを示し、この重畳ビデオメ
モリ（８）は入力フレームメモリ（７）と同じ大きさの
アドレス領域を有し、入力フレームメモリ（７）の１画
素の例えば16ビットの画像データに対応して夫々１ビッ
トの選択データを記憶する如くなす。この１ビットの選
択データが夫々ハイレベル「１」の部分は１次元の画
像、即ち線画像を表すものである。この線画像は後述の
切片（28）に対応する。その重畳ビデオメモリ（８）の
一方及び他方の入出力ポートを夫々システムバス（４）
及び合成回路（９）の他方の入力ポートに接続する。合
成回路（９）は入力フレームメモリ（７）より読出され
た画像データ及び重畳ビデオメモリ（８）より読出され
た選択データを合成してデジタル／アナログ（D/A）変
換器（10）に供給し、このD/A変換器（10）はアナログ
の合成映像信号をモニタ（11）に供給する。モニタ（1
1）の画面（11a）には、入力フレームメモリ（７）に対
応する画像（27）と重畳ビデオメモリ（８）が指示する
切片（28）とを合成した画像が表示される。この場合、
画像（27）はフレーム周波数30Hzで変化するが、切片
（28）の位置は後述のようにオペレータからの指示がな
い限り一定である。
モリ（８）は入力フレームメモリ（７）と同じ大きさの
アドレス領域を有し、入力フレームメモリ（７）の１画
素の例えば16ビットの画像データに対応して夫々１ビッ
トの選択データを記憶する如くなす。この１ビットの選
択データが夫々ハイレベル「１」の部分は１次元の画
像、即ち線画像を表すものである。この線画像は後述の
切片（28）に対応する。その重畳ビデオメモリ（８）の
一方及び他方の入出力ポートを夫々システムバス（４）
及び合成回路（９）の他方の入力ポートに接続する。合
成回路（９）は入力フレームメモリ（７）より読出され
た画像データ及び重畳ビデオメモリ（８）より読出され
た選択データを合成してデジタル／アナログ（D/A）変
換器（10）に供給し、このD/A変換器（10）はアナログ
の合成映像信号をモニタ（11）に供給する。モニタ（1
1）の画面（11a）には、入力フレームメモリ（７）に対
応する画像（27）と重畳ビデオメモリ（８）が指示する
切片（28）とを合成した画像が表示される。この場合、
画像（27）はフレーム周波数30Hzで変化するが、切片
（28）の位置は後述のようにオペレータからの指示がな
い限り一定である。
（12）は入力フレームメモリ（７）より抽出した画像
データ等を書込むための出力フレームメモリを示し、こ
の出力フレームメモリ（12）の一方及び他方の入出力ポ
ートを夫々システムバス（４）及びD/A変換器（13）の
入力ポートに接続し、D/A変換器（13）のアナログ出力
をモニタ（14）に供給する。
データ等を書込むための出力フレームメモリを示し、こ
の出力フレームメモリ（12）の一方及び他方の入出力ポ
ートを夫々システムバス（４）及びD/A変換器（13）の
入力ポートに接続し、D/A変換器（13）のアナログ出力
をモニタ（14）に供給する。
（15）はイメージプロセッサを示し、このイメージプ
ロセッサ（15）はホストコンピュータ（１）の指示に応
じて入力フレームメモリ（７）の選択された領域から画
像データをサンプリングし、このサンプリングした画像
データを圧縮又は伸張して出力フレームメモリ（12）の
所定の領域に書込む。その入力フレームメモリ（７）の
画像データをサンプリングする領域を選択するために、
イメージプロセッサ（15）は重畳ビデオメモリ（８）の
任意の直線又は曲線に対応する領域にハイレベル「１」
を書込む如くなし、このハイレベル「１」の部分が切片
（28）を構成する。そして、この切片（28）のアドレス
領域に対応する入力フレームメモリ（７）中のアドレス
領域がイメージプロセッサ（15）によってサンプリング
される領域となる。また、その重畳ビデオメモリ（８）
中の切片（28）の位置はオペレータが外部から入力切片
移動手段（例えばマウスやトラックボール）（16）を操
作することにより自由に変えることができる。従って、
これらのイメージプロセッサ（15）の機能をハードウェ
ア的に表現すると、切片（28）の位置を決定する入力切
片決定手段（17）、その切片（28）に対応するアドレス
領域の入力フレームメモリ（７）より画像データを読出
す切片データ読取り手段（18）及びその読出した画像デ
ータを出力フレームメモリ（12）に書込む切片データ書
込み手段（19）となる。また、その切片（28）は一次元
的であり、その切片（28）により切取った画像データを
時間軸方向へ展開して成るデータを展開データと称す
る。
ロセッサ（15）はホストコンピュータ（１）の指示に応
じて入力フレームメモリ（７）の選択された領域から画
像データをサンプリングし、このサンプリングした画像
データを圧縮又は伸張して出力フレームメモリ（12）の
所定の領域に書込む。その入力フレームメモリ（７）の
画像データをサンプリングする領域を選択するために、
イメージプロセッサ（15）は重畳ビデオメモリ（８）の
任意の直線又は曲線に対応する領域にハイレベル「１」
を書込む如くなし、このハイレベル「１」の部分が切片
（28）を構成する。そして、この切片（28）のアドレス
領域に対応する入力フレームメモリ（７）中のアドレス
領域がイメージプロセッサ（15）によってサンプリング
される領域となる。また、その重畳ビデオメモリ（８）
中の切片（28）の位置はオペレータが外部から入力切片
移動手段（例えばマウスやトラックボール）（16）を操
作することにより自由に変えることができる。従って、
これらのイメージプロセッサ（15）の機能をハードウェ
ア的に表現すると、切片（28）の位置を決定する入力切
片決定手段（17）、その切片（28）に対応するアドレス
領域の入力フレームメモリ（７）より画像データを読出
す切片データ読取り手段（18）及びその読出した画像デ
ータを出力フレームメモリ（12）に書込む切片データ書
込み手段（19）となる。また、その切片（28）は一次元
的であり、その切片（28）により切取った画像データを
時間軸方向へ展開して成るデータを展開データと称す
る。
また、そのイメージプロセッサ（15）はその出力フレ
ームメモリ（12）に書込んだその展開データの画像処理
手段（20）を有する。この画像処理手段（20）はマイク
ロコンピュータのソフトウェアでも実現することがで
き、その機能の例を手段として表現すると、展開データ
を２値化する２値化手段（21）,2値化したデータのエッ
ジを抽出するエッジ抽出手段（22），例えば赤色（唇の
輪郭等）のエッジ部分だけにハイレベル「１」のデータ
を割り付けるラベリング手段（23），そのラベリングさ
れた２点間の長さを時間の関数として抽出して再び出力
フレームメモリ（12）に書込む長さ抽出手段（24）等よ
り成る。また、第１図において、（25）は入出力回路、
（26）は磁気ディスク装置などの記録装置を示し、その
出力フレームメモリ（12）に書込まれている長さの情報
等をシステムバス（４）及び入出力装置（25）を介して
その記録装置（26）に記録する。
ームメモリ（12）に書込んだその展開データの画像処理
手段（20）を有する。この画像処理手段（20）はマイク
ロコンピュータのソフトウェアでも実現することがで
き、その機能の例を手段として表現すると、展開データ
を２値化する２値化手段（21）,2値化したデータのエッ
ジを抽出するエッジ抽出手段（22），例えば赤色（唇の
輪郭等）のエッジ部分だけにハイレベル「１」のデータ
を割り付けるラベリング手段（23），そのラベリングさ
れた２点間の長さを時間の関数として抽出して再び出力
フレームメモリ（12）に書込む長さ抽出手段（24）等よ
り成る。また、第１図において、（25）は入出力回路、
（26）は磁気ディスク装置などの記録装置を示し、その
出力フレームメモリ（12）に書込まれている長さの情報
等をシステムバス（４）及び入出力装置（25）を介して
その記録装置（26）に記録する。
入力フレームメモリ（７）に取込んだ１フレーム分の
画像データより夫々切片（28）に対応する部分の画像デ
ータを読出して時間ｔの関数として出力フレームメモリ
（12）に書込む場合の動作につき第３図のステップ毎に
説明する。この場合、第２図Ａに示す如く入力フレーム
メモリ（７）の各画素の座標は（VX1（水平方向）,VY1
（垂直方向））で表示し、第２図Ｂに示す如く出力フレ
ームメモリ（12）の各画素の座標は（ＶΧ２（水平方
向）,VY2（垂直方向））で表示し、切片（28）の始点P1
及び終点P2の入力フレームメモリ（７）における座標は
夫々（Χ1,Y1）及び（Χ2,Y2）とする。また、出力フレ
ームメモリ（12）においては、垂直方向の長さＬドット
の領域に入力フレームメモリ（７）より読出して圧縮又
は伸張した画像データを水平方向（時間軸方向）に展開
して書込む如くなし、時間ｔの１単位はフレーム周期で
ある1/30秒に相当するものとする。そして、水平方向に
展開できる長さをt maxとする。
画像データより夫々切片（28）に対応する部分の画像デ
ータを読出して時間ｔの関数として出力フレームメモリ
（12）に書込む場合の動作につき第３図のステップ毎に
説明する。この場合、第２図Ａに示す如く入力フレーム
メモリ（７）の各画素の座標は（VX1（水平方向）,VY1
（垂直方向））で表示し、第２図Ｂに示す如く出力フレ
ームメモリ（12）の各画素の座標は（ＶΧ２（水平方
向）,VY2（垂直方向））で表示し、切片（28）の始点P1
及び終点P2の入力フレームメモリ（７）における座標は
夫々（Χ1,Y1）及び（Χ2,Y2）とする。また、出力フレ
ームメモリ（12）においては、垂直方向の長さＬドット
の領域に入力フレームメモリ（７）より読出して圧縮又
は伸張した画像データを水平方向（時間軸方向）に展開
して書込む如くなし、時間ｔの１単位はフレーム周期で
ある1/30秒に相当するものとする。そして、水平方向に
展開できる長さをt maxとする。
ステップ（101）（初期設定） 本例では切片（28）の長さP1P2に相当する画像データ
を出力フレームメモリ（12）上の長さＬの画像データに
圧縮又は伸張するため、その水平方向及び垂直方向の夫
々の圧縮率を次式で表わされるΔΧ及びΔＹで表わす。
を出力フレームメモリ（12）上の長さＬの画像データに
圧縮又は伸張するため、その水平方向及び垂直方向の夫
々の圧縮率を次式で表わされるΔΧ及びΔＹで表わす。
ΔΧ＝（Χ２−Χ１）/L ‥‥（１） ΔＹ＝（Y2−Y1）/L ‥‥（２） 入力フレームメモリ（７）上で水平方向にΔΧドット
及び垂直方向にΔＹドットの長さを、出力フレームメモ
リ（12）上で垂直方向に１ドットの長さに圧伸すること
を意味し、ΔΧ及びΔＹが整数でないときには補間を行
う。また、座標（ＶΧ1,VY1）の初期値を切片（28）の
始点P1の座標（Χ1,Y1）に設定し、時間ｔを０に設定し
た後に、入力フレームメモリ（７）に最初のフレームの
画像データを読込む。
及び垂直方向にΔＹドットの長さを、出力フレームメモ
リ（12）上で垂直方向に１ドットの長さに圧伸すること
を意味し、ΔΧ及びΔＹが整数でないときには補間を行
う。また、座標（ＶΧ1,VY1）の初期値を切片（28）の
始点P1の座標（Χ1,Y1）に設定し、時間ｔを０に設定し
た後に、入力フレームメモリ（７）に最初のフレームの
画像データを読込む。
ステップ（102） 出力フレームメモリ（12）の座標（ＶΧ2,VY2）の初
期値を（Xs＋t,Ys）に設定し、パラメータａを０に設定
する。座標（Xs,Ys）が画像データを書込む領域のスタ
ート点SPの座標となる（第２図Ｂ）。
期値を（Xs＋t,Ys）に設定し、パラメータａを０に設定
する。座標（Xs,Ys）が画像データを書込む領域のスタ
ート点SPの座標となる（第２図Ｂ）。
ステップ（103），（104） 入力フレームメモリ（７）の座標（VX1,VY1）の画素
の値を読出して、出力フレームメモリ（12）の座標（VX
2,VY2）の画素の値として書込む。また、パラメータａ
の値を１だけ増加した後に、次式によって座標値VY2,VX
1,VY1の値を更新する。
の値を読出して、出力フレームメモリ（12）の座標（VX
2,VY2）の画素の値として書込む。また、パラメータａ
の値を１だけ増加した後に、次式によって座標値VY2,VX
1,VY1の値を更新する。
VY2＝Ys＋ａ ‥‥（３） VX1＝ＶΧ１＋ΔΧ ‥‥（４） VY1＝VY1＋ΔＹ ‥‥（５） ステップ（105） パラメータａの値がＬ未満であればステップ（103）
に戻り、入力フレームメモリ（７）の次の画素の値を読
出して出力フレームメモリ（12）に書込む。パラメータ
ａの値がＬに達すれば切片（28）全部の画像データの抽
出が完了したことになるのでステップ（106）に転ず
る。
に戻り、入力フレームメモリ（７）の次の画素の値を読
出して出力フレームメモリ（12）に書込む。パラメータ
ａの値がＬに達すれば切片（28）全部の画像データの抽
出が完了したことになるのでステップ（106）に転ず
る。
ステップ（106），（107） 時間ｔの値を１だけ増して、次のフレームの画像デー
タを入力フレームメモリ（７）に読込む。
タを入力フレームメモリ（７）に読込む。
ステップ（108） 時間ｔが最大値t max以下であればステップ（102）以
下に戻り、切片（28）によって抽出した画像データを出
力フレームメモリ（12）の時間軸を１つだけ右にずらし
た領域に書込む。時間ｔが最大値t maxに達すれば所定
の時間の画像データのサンプリングが終了したことにな
るので、ステップ（109）に転じて次の段階の処理を行
う。
下に戻り、切片（28）によって抽出した画像データを出
力フレームメモリ（12）の時間軸を１つだけ右にずらし
た領域に書込む。時間ｔが最大値t maxに達すれば所定
の時間の画像データのサンプリングが終了したことにな
るので、ステップ（109）に転じて次の段階の処理を行
う。
そのステップ（109）における次の段階の処理の例に
つき第４図を参照して説明するに、入力フレームメモリ
（７）に取込まれた画像データに対応する画面を第４図
Ａの入力画面（11a）で表わし、その入力画面（11a）か
ら切片（28）でサンプリングした展開データ（31）を第
４図Ｂの出力画面（14a）に表わす。
つき第４図を参照して説明するに、入力フレームメモリ
（７）に取込まれた画像データに対応する画面を第４図
Ａの入力画面（11a）で表わし、その入力画面（11a）か
ら切片（28）でサンプリングした展開データ（31）を第
４図Ｂの出力画面（14a）に表わす。
また、本例では入力画面（11a）には実際の人（27）
が所定の言葉を話しているカットが映出されており、切
片（28）はその人（27）の上唇（29）及び下唇（30）に
夫々交叉する如く位置決めなされているとする。この場
合、第４図Ｂの展開データ（31）は上唇（29）及び下唇
（30）の間隔を時間軸を横軸としてプロットしたような
ものになる。しかしながら、このままではアニメーショ
ンの制作等への応用は困難であるため、その第４図Ｂの
展開データ（31）を２値化した後に、そのデータの中で
赤い部分即ち上唇（29）と下唇（30）とに相当する部分
をハイレベル「１」にラベリングする。更にその上唇
（29）の下側のエッジ（32）とその下唇（30）の上側の
エッジ（33）とを抽出して第４図Ｃに示す如くプロット
する。
が所定の言葉を話しているカットが映出されており、切
片（28）はその人（27）の上唇（29）及び下唇（30）に
夫々交叉する如く位置決めなされているとする。この場
合、第４図Ｂの展開データ（31）は上唇（29）及び下唇
（30）の間隔を時間軸を横軸としてプロットしたような
ものになる。しかしながら、このままではアニメーショ
ンの制作等への応用は困難であるため、その第４図Ｂの
展開データ（31）を２値化した後に、そのデータの中で
赤い部分即ち上唇（29）と下唇（30）とに相当する部分
をハイレベル「１」にラベリングする。更にその上唇
（29）の下側のエッジ（32）とその下唇（30）の上側の
エッジ（33）とを抽出して第４図Ｃに示す如くプロット
する。
そして、そのエッジ（32）とエッジ（33）との間隔を
時間軸に対してプロットすることにより、第４図Ｄに示
す如く時系列データ（34）を得る。この時系列データ
（34）は実際の人が所定の言葉を話す場合の唇の開口率
に相当するものである。従って、その第４図Ｄの時系列
データ（34）を記録装置に記録しておいて、アニメーシ
ョン番組の制作時にその番組のキャラクタの唇の開口率
をその時系列データ（34）に従って変化させることによ
り、そのキャラクタに実際の人と同じような複雑な動き
をさせることができる。
時間軸に対してプロットすることにより、第４図Ｄに示
す如く時系列データ（34）を得る。この時系列データ
（34）は実際の人が所定の言葉を話す場合の唇の開口率
に相当するものである。従って、その第４図Ｄの時系列
データ（34）を記録装置に記録しておいて、アニメーシ
ョン番組の制作時にその番組のキャラクタの唇の開口率
をその時系列データ（34）に従って変化させることによ
り、そのキャラクタに実際の人と同じような複雑な動き
をさせることができる。
次に、第５図Ａに示す如く、入力画面（11a）に実際
の人（27A）が手を振っているカットが映出されている
場合にその手の動きを数値化するには、切片（28A）の
位置をその人（27A）の腕に交叉させる如くなす。この
場合、その切片（28A）は円弧状とする。このとき、そ
の切片（28A）によってサンプリングした画像データを
時間軸を横軸としてプロットして成る展開データは第５
図Ｂの出力画面（14a）に示す如くなり、更に２値化，
ラベリング，エッジ抽出処理を施して成る展開データは
第５図Ｃに示す如くなる。そして、その第５図Ｃに示す
２つのエッジの中点の位置を時間軸に対してプロットし
たものが第５図Ｄに示す時系列データ（34A）となり、
この時系列データ（34A）は実際の人が手を振るときの
動きを数値化したものに相当する。
の人（27A）が手を振っているカットが映出されている
場合にその手の動きを数値化するには、切片（28A）の
位置をその人（27A）の腕に交叉させる如くなす。この
場合、その切片（28A）は円弧状とする。このとき、そ
の切片（28A）によってサンプリングした画像データを
時間軸を横軸としてプロットして成る展開データは第５
図Ｂの出力画面（14a）に示す如くなり、更に２値化，
ラベリング，エッジ抽出処理を施して成る展開データは
第５図Ｃに示す如くなる。そして、その第５図Ｃに示す
２つのエッジの中点の位置を時間軸に対してプロットし
たものが第５図Ｄに示す時系列データ（34A）となり、
この時系列データ（34A）は実際の人が手を振るときの
動きを数値化したものに相当する。
上述のように本例の動き情報抽出装置によれば、入力
フレームメモリ（７）に順次書込んだ画像データの中か
ら重畳ビデオメモリ（８）の中に書込んだ一次元的な切
片（28）に対応する部分を夫々サンプリングして、この
サンプリングした画像データを時間軸に沿って出力フレ
ームメモリ（12）においてプロットするようにしている
ので、その入力フレームメモリ（７）に順次書込まれる
所定のカットの中の人の複雑な動きを時間の関数として
容易に数値化できる利益がある。
フレームメモリ（７）に順次書込んだ画像データの中か
ら重畳ビデオメモリ（８）の中に書込んだ一次元的な切
片（28）に対応する部分を夫々サンプリングして、この
サンプリングした画像データを時間軸に沿って出力フレ
ームメモリ（12）においてプロットするようにしている
ので、その入力フレームメモリ（７）に順次書込まれる
所定のカットの中の人の複雑な動きを時間の関数として
容易に数値化できる利益がある。
尚、上述実施例においては第２図に示すように切片
（28）の位置は固定されているが、この切片（28）の位
置は第６図に示す如く入力画面（11a）中の人（27）の
動きに合わせて時間的に移動させてもよい。第６図例に
おいては、人（27）が時間の変化によって位置（27B）
に移動したときに、切片（28）も追随して位置（28B）
に移動させている。この場合、切片（28）は平行移動さ
せるだけでなく、回転させてもよい。また、このような
切片（28）の変位はイメージプロセッサ（15）に接続さ
れている入力切片移動手段（16）の操作によって容易に
行うことができる。
（28）の位置は固定されているが、この切片（28）の位
置は第６図に示す如く入力画面（11a）中の人（27）の
動きに合わせて時間的に移動させてもよい。第６図例に
おいては、人（27）が時間の変化によって位置（27B）
に移動したときに、切片（28）も追随して位置（28B）
に移動させている。この場合、切片（28）は平行移動さ
せるだけでなく、回転させてもよい。また、このような
切片（28）の変位はイメージプロセッサ（15）に接続さ
れている入力切片移動手段（16）の操作によって容易に
行うことができる。
このように、本例によれば所定のカットの中で人や物
などの位置が大きく変化している場合であっても、それ
らの人や物などの所定部分の複雑な動きの情報を時間の
関数として容易に且つ正確に数値化できる利益がある。
また、本例の動き情報抽出装置によって得た多種多様な
複雑な動きの情報を蓄積することにより、コンピュータ
グラフィックスによるアニメーション番組（又は映画
等）制作用の動作パラメータのデータベースを形成する
こともできる。
などの位置が大きく変化している場合であっても、それ
らの人や物などの所定部分の複雑な動きの情報を時間の
関数として容易に且つ正確に数値化できる利益がある。
また、本例の動き情報抽出装置によって得た多種多様な
複雑な動きの情報を蓄積することにより、コンピュータ
グラフィックスによるアニメーション番組（又は映画
等）制作用の動作パラメータのデータベースを形成する
こともできる。
このように、本発明は上述実施例に限定されず、本発
明の要旨を逸脱しない範囲で種々の構成を採り得ること
は勿論である。
明の要旨を逸脱しない範囲で種々の構成を採り得ること
は勿論である。
本発明によれば、ビデオテープレコーダ等に収録した
テレビジョン番組や映画における所望のカットの中で、
人が話しをしているときの唇の動きや手を振るときの動
きなどの複雑な動きの情報を容易に数値化できる利益が
ある。そして、この動きの情報をパラメータとして使用
することにより、コンピュータグラフィックスによるア
ニメーション作品中のキャラクタに実際の人と同じよう
な複雑な動きをさせることができる。
テレビジョン番組や映画における所望のカットの中で、
人が話しをしているときの唇の動きや手を振るときの動
きなどの複雑な動きの情報を容易に数値化できる利益が
ある。そして、この動きの情報をパラメータとして使用
することにより、コンピュータグラフィックスによるア
ニメーション作品中のキャラクタに実際の人と同じよう
な複雑な動きをさせることができる。
【図面の簡単な説明】 第１図は本発明動き情報抽出装置の一実施例を示す構成
図、第２図は実施例の入力フレームメモリ（７）及び出
力フレームメモリ（12）の夫々のデータ構造を示す線
図、第３図は実施例の動作を示すフローチャート図、第
４図〜第６図は実施例による処理結果の例を夫々示す線
図である。 （７）は入力フレームメモリ、（８）は重畳ビデオメモ
リ、（15）はイメージプロセッサ、（16）は入力切片移
動手段、（18）はイメージプロセッサ（15）の機能の一
つに対応する切片データ読取り手段、（20）は展開デー
タの画像処理手段、（27）は人の画像、（28）は切片の
画像である。
図、第２図は実施例の入力フレームメモリ（７）及び出
力フレームメモリ（12）の夫々のデータ構造を示す線
図、第３図は実施例の動作を示すフローチャート図、第
４図〜第６図は実施例による処理結果の例を夫々示す線
図である。 （７）は入力フレームメモリ、（８）は重畳ビデオメモ
リ、（15）はイメージプロセッサ、（16）は入力切片移
動手段、（18）はイメージプロセッサ（15）の機能の一
つに対応する切片データ読取り手段、（20）は展開デー
タの画像処理手段、（27）は人の画像、（28）は切片の
画像である。
Claims (1)
- 【請求項１】周期的に２次元表示される画像の所望の部
分の動きを示す情報を抽出するようにした動き情報抽出
装置において、 上記２次元表示される画像に所定長の線画像を表示する
線画像表示手段と、 上記線画像を上記２次元表示される画像の所定部位に移
動する線画像移動手段と、 上記所定部位の線画像に対応する上記２次元表示される
画像の画像データを１次元的にサンプリングするサンプ
リング手段と、 上記サンプリング手段によって得られた画像データのエ
ッジを抽出するエッジ抽出手段と、 上記エッジ抽出手段によって抽出されたエッジに基いて
上記所定部位の線画像で示される範囲の画像の動きを示
す動き情報データを生成する動き情報データ生成手段と を備えたことを特徴とする動き情報抽出装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8273989A JP2995745B2 (ja) | 1989-03-31 | 1989-03-31 | 動き情報抽出装置 |
| KR1019900004147A KR0150452B1 (ko) | 1989-03-31 | 1990-03-28 | 움직임 정보 발생 장치 |
| US07/500,393 US5083201A (en) | 1989-03-31 | 1990-03-28 | Video image motion data generator for computer graphics |
| DE69021759T DE69021759T2 (de) | 1989-03-31 | 1990-03-30 | Vorrichtung zur Erzeugung einer Bewegungsinformation. |
| EP19900400886 EP0390701B1 (en) | 1989-03-31 | 1990-03-30 | Motion information generating apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8273989A JP2995745B2 (ja) | 1989-03-31 | 1989-03-31 | 動き情報抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02260079A JPH02260079A (ja) | 1990-10-22 |
| JP2995745B2 true JP2995745B2 (ja) | 1999-12-27 |
Family
ID=13782786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8273989A Expired - Lifetime JP2995745B2 (ja) | 1989-03-31 | 1989-03-31 | 動き情報抽出装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5083201A (ja) |
| EP (1) | EP0390701B1 (ja) |
| JP (1) | JP2995745B2 (ja) |
| KR (1) | KR0150452B1 (ja) |
| DE (1) | DE69021759T2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5483630A (en) * | 1990-07-12 | 1996-01-09 | Hitachi, Ltd. | Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller |
| US6005589A (en) * | 1990-07-12 | 1999-12-21 | Hitachi, Ltd. | Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller |
| JP2921936B2 (ja) * | 1990-07-13 | 1999-07-19 | 株式会社東芝 | 画像監視装置 |
| US5459830A (en) * | 1991-07-22 | 1995-10-17 | Sony Corporation | Animation data index creation drawn from image data sampling composites |
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| US5604821A (en) * | 1992-02-28 | 1997-02-18 | The University Of South Florida | Structure and method for dynamic scene analysis |
| US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
| JP3133517B2 (ja) * | 1992-10-15 | 2001-02-13 | シャープ株式会社 | 画像領域検出装置、該画像検出装置を用いた画像符号化装置 |
| US5387943A (en) * | 1992-12-21 | 1995-02-07 | Tektronix, Inc. | Semiautomatic lip sync recovery system |
| US5741136A (en) * | 1993-09-24 | 1998-04-21 | Readspeak, Inc. | Audio-visual work with a series of visual word symbols coordinated with oral word utterances |
| US5938447A (en) * | 1993-09-24 | 1999-08-17 | Readspeak, Inc. | Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work |
| WO1996002898A1 (en) * | 1994-07-18 | 1996-02-01 | 477250 B.C. Ltd. | Process of producing personalized video cartoons |
| US6172706B1 (en) * | 1995-04-19 | 2001-01-09 | Canon Kabushiki Kaisha | Video camera with automatic zoom adjustment based on distance between user's eyes |
| US6836295B1 (en) | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
| JP3735187B2 (ja) * | 1997-08-27 | 2006-01-18 | 富士通株式会社 | 時系列データの符号化と編集を行うデータ変換装置および方法 |
| JP3419290B2 (ja) | 1997-12-27 | 2003-06-23 | ヤマハ株式会社 | 楽音・画像発生装置および記憶媒体 |
| JP3601350B2 (ja) | 1998-09-29 | 2004-12-15 | ヤマハ株式会社 | 演奏画像情報作成装置および再生装置 |
| JP4126126B2 (ja) * | 1998-12-11 | 2008-07-30 | 株式会社日立製作所 | 送信システム、送信方法 |
| JP4189654B2 (ja) * | 2003-04-18 | 2008-12-03 | セイコーエプソン株式会社 | 画像処理装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3603729A (en) * | 1969-03-13 | 1971-09-07 | Squires Sanders Inc | Motion detector system which samples only a preselected area |
| US3798366A (en) * | 1972-03-06 | 1974-03-19 | R Winkler | Infrared imaging system |
| EP0079195B1 (en) * | 1981-11-10 | 1989-07-19 | Cbs Inc | System for stabilizing television picture |
| CA1274919A (en) * | 1985-07-27 | 1990-10-02 | Akio Ohba | Method of forming curved surfaces and the apparatus |
| JPH0766446B2 (ja) * | 1985-11-27 | 1995-07-19 | 株式会社日立製作所 | 移動物体像を抽出する方法 |
| US4698682A (en) * | 1986-03-05 | 1987-10-06 | Rca Corporation | Video apparatus and method for producing the illusion of motion from a sequence of still images |
| US4845557A (en) * | 1988-05-02 | 1989-07-04 | Dubner Computer Systems, Inc. | Field motion suppression in interlaced video displays |
| US4894716A (en) * | 1989-04-20 | 1990-01-16 | Burle Technologies, Inc. | T.V. motion detector with false alarm immunity |
-
1989
- 1989-03-31 JP JP8273989A patent/JP2995745B2/ja not_active Expired - Lifetime
-
1990
- 1990-03-28 KR KR1019900004147A patent/KR0150452B1/ko not_active IP Right Cessation
- 1990-03-28 US US07/500,393 patent/US5083201A/en not_active Expired - Lifetime
- 1990-03-30 DE DE69021759T patent/DE69021759T2/de not_active Expired - Lifetime
- 1990-03-30 EP EP19900400886 patent/EP0390701B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0390701A2 (en) | 1990-10-03 |
| KR0150452B1 (ko) | 1998-10-15 |
| EP0390701B1 (en) | 1995-08-23 |
| EP0390701A3 (en) | 1991-11-06 |
| KR900015025A (ko) | 1990-10-25 |
| DE69021759D1 (de) | 1995-09-28 |
| JPH02260079A (ja) | 1990-10-22 |
| DE69021759T2 (de) | 1996-02-15 |
| US5083201A (en) | 1992-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2995745B2 (ja) | 動き情報抽出装置 | |
| EP0886245B1 (en) | Display of moving object on background image | |
| US5583980A (en) | Time-synchronized annotation method | |
| US6208360B1 (en) | Method and apparatus for graffiti animation | |
| US6304283B1 (en) | Conference apparatus and method for realistically reproducing image data and shared board data | |
| US6654020B2 (en) | Method of rendering motion blur image and apparatus therefor | |
| JP2594424B2 (ja) | ビデオ画像作成方法および装置 | |
| CN104580973A (zh) | 一种虚拟手术模拟过程的录制、回放方法及装置 | |
| JP2502728B2 (ja) | ビデオデ―タ処理装置 | |
| JP3338439B2 (ja) | 画像処理システム及び画像処理方法 | |
| US5986660A (en) | Motion capture data system and display | |
| JP2000149046A (ja) | 曲線生成装置及び方法、プログラムを格納した記録媒体、並びに対応点設定方法 | |
| US5815632A (en) | Apparatus for video signal processing | |
| JP2864523B2 (ja) | 表示装置 | |
| JP3158291B2 (ja) | 表示装置 | |
| JP3523784B2 (ja) | 対話型画像操作表示装置および方法並びにプログラム格納媒体 | |
| JP4967983B2 (ja) | 情報記録装置及びプログラム | |
| JP2659376B2 (ja) | 三次元画像情報の処理方法及び装置 | |
| JPH0530453A (ja) | 画像記録媒体のインデツクス作成装置 | |
| JP2921312B2 (ja) | 三次元アニメーション処理システム | |
| CA2354116C (en) | Scheme for interactive video manipulation and display of moving object on background image | |
| JP2548740B2 (ja) | 可搬記録媒体およびその再生装置 | |
| JP3589657B2 (ja) | ３次元ポリゴン表面模様処理方式 | |
| JPH06236661A (ja) | 画像記録ｃｄ−ｒｏｍ及び画像処理システム | |
| JPH07147672A (ja) | 静止画装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 10 |