JP2825079B2 - Moving image generation method and encoding / decoding method - Google Patents
Moving image generation method and encoding / decoding methodInfo
- Publication number
- JP2825079B2 JP2825079B2 JP5694396A JP5694396A JP2825079B2 JP 2825079 B2 JP2825079 B2 JP 2825079B2 JP 5694396 A JP5694396 A JP 5694396A JP 5694396 A JP5694396 A JP 5694396A JP 2825079 B2 JP2825079 B2 JP 2825079B2
- Authority
- JP
- Japan
- Prior art keywords
- position information
- motion parameter
- motion
- moving image
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、動画像の生成方式
および符号化復号方式に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a moving picture generation method and an encoding / decoding method.
【0002】[0002]
【従来の技術】波形符号化装置とは異なり、画像信号固
有の特徴量を用いて近似的な動画を再現する方式がいく
つか提案されている。簡単な動きパラメータ(動き情
報)のみから動画像を生成する従来技術の一例として、
本発明者はすでに、特開平7−203409号公報(特
願平5−333991)において、抽出された動きパラ
メータに従って画像シーケンスを出力させて再現動画像
を生成することにより、簡単な動きパラメータのみで動
画像を再現する方式として、動画像の動き情報から主要
な動きパラメータを抽出するパラメータ抽出手段と、前
記動きパラメータに対応する画像シーケンスを記憶する
画像シーケンス記憶手段と、抽出された動きパラメータ
に従って前記画像シーケンス記憶手段より画像シーケン
スを出力させて再現動画像を生成する生成手段と、を備
えた動画像の再現装置を提案している。すなわち同公報
には、被写体の動きを解析して、抽出された動作を表現
する動きパラメータを符号とし、これをもとに被写体と
同一の動きを再現する方式が記載されている。2. Description of the Related Art Different from a waveform encoding apparatus, there have been proposed some schemes for reproducing an approximate moving image by using a characteristic amount unique to an image signal. As an example of a conventional technique for generating a moving image from only simple motion parameters (motion information),
The present inventor has already disclosed in Japanese Unexamined Patent Application Publication No. 7-203409 (Japanese Patent Application No. 5-33391) that an image sequence is output according to an extracted motion parameter to generate a reproduced moving image, so that only a simple motion parameter is used. As a method of reproducing a moving image, parameter extracting means for extracting a main motion parameter from motion information of the moving image, image sequence storing means for storing an image sequence corresponding to the motion parameter, There is proposed a moving image reproducing apparatus including: a generating unit that outputs an image sequence from an image sequence storing unit to generate a reproduced moving image. That is, the publication describes a method of analyzing the motion of a subject, using a motion parameter representing the extracted motion as a code, and reproducing the same motion as the subject based on the code.
【0003】この場合、被写体の動き抽出については、
画像から被写体部を抜き出し、その動きベクトルを求め
る方法の他、音声情報や文章中に含まれている、動きを
表す情報を解析する方法等を利用することができる。[0003] In this case, the motion of the subject is extracted as follows.
In addition to a method of extracting a subject portion from an image and obtaining a motion vector thereof, a method of analyzing information representing motion included in audio information or text, or the like can be used.
【0004】一方、動きの再現は、予め蓄積されたビデ
オシーンを滑らかにつなぎ合わせることにより行われ
る。蓄積データとしては、用途毎に、典型的なシーンを
収録しておく。例えば、テレビ電話の用途に限定すれ
ば、人物の上半身像が、挨拶をしたり、話したり、うな
ずいたりといったシーンである。[0004] On the other hand, the reproduction of motion is performed by smoothly connecting video scenes stored in advance. As the stored data, typical scenes are recorded for each application. For example, if it is limited to the use of a videophone, the upper body image of a person is a scene such as greeting, talking, and nodding.
【0005】[0005]
【発明が解決しようとする課題】ところで、復号器が大
きなビデオメモリを保持しており、様々なシーンを全て
格納できるものであれば、あらゆる動きを再現可能であ
るが、一般には、コスト上の制約等のために、ビデオメ
モリには極く限られたシーンのみしか格納できない場合
が多い。By the way, as long as the decoder has a large video memory and can store all of various scenes, any motion can be reproduced. In many cases, only a very limited number of scenes can be stored in the video memory due to restrictions or the like.
【0006】そして、従来の方式で再現される動画像
は、蓄積されているビデオシーンに限られているため、
コストの制約上、限定された動きのみしか再現できない
ことになる。[0006] Since the moving image reproduced by the conventional method is limited to the stored video scene,
Due to cost constraints, only limited movements can be reproduced.
【0007】また、通信等の用途では、実時間処理が必
要とされるが、例えば微笑みなどの複雑な動きを、実時
間で自動的に解析することは難しく、実際上、極く簡単
な動作のみしか再現することができないというのが現状
である。In applications such as communication, real-time processing is required. However, it is difficult to automatically analyze complicated movements such as smiles in real time, and in practice, extremely simple operations are performed. At present, it can only be reproduced.
【0008】従って、本発明は、上記事情に鑑みて為さ
れたものであって、その目的は、複雑な動きを複数の単
純な動きパラメータ列で表現することにより、限られた
量の蓄積動画像から様々な動画像を再現する方式を提供
することにある。また、本発明の目的は、複雑な動作を
表現する動きパラメータを自動生成することによって、
画像処理では解析が困難であった種々の動作を再現する
方式を提供することにある。Accordingly, the present invention has been made in view of the above circumstances, and an object of the present invention is to express a complicated motion by a plurality of simple motion parameter strings to thereby store a limited amount of stored moving images. An object of the present invention is to provide a method for reproducing various moving images from images. Further, an object of the present invention is to automatically generate a motion parameter expressing a complex motion,
An object of the present invention is to provide a method for reproducing various operations that have been difficult to analyze in image processing.
【0009】[0009]
【課題を解決するための手段】前記目的を達成するた
め、本発明は、所定の動作を指示する指標と現在の位置
情報とから動きパラメータ列を生成する方式であって、
前記指標が表す所定の動作の軌跡における定時間間隔の
位置情報を生成する手段と、前記生成された位置情報と
前記現在の位置情報とのいずれかを排他的に選択する手
段と、前記選択された位置情報から動きパラメータ列を
生成する手段と、を備えたことを特徴とする動きパラメ
ータ列生成方式を提供する。In order to achieve the above object, the present invention provides a method of generating a motion parameter sequence from an index indicating a predetermined operation and current position information,
Means for generating position information at a fixed time interval in a predetermined motion trajectory represented by the index, means for exclusively selecting one of the generated position information and the current position information, Means for generating a motion parameter sequence from the obtained position information.
【0010】本発明の概要を以下に説明する。例えば人
物の動作などの場合には、複数の異なる動作間で共通す
る部分が存在することが多い。従って、簡単な動きであ
る共通な部品をつなぎ合わせていくことによって、複雑
な動きを生成することが可能である。これにより、種々
の動作を全て独立に蓄積しなくても、これらの動作を再
現することが可能である。また、複雑な動作を繁雑な画
像処理によって認識するかわりに、画像情報を識別する
ためのボタン(簡単な例として、英数字ボタンの押下又
はアイコンのクリック等のイベントを特定の被写体動作
のインデックスとして用いる)や、被写体の動作を測定
するセンサー出力を用い、インデックス信号としてシス
テムに渡せば、極めて簡便な構成でシステムを構築でき
る。なお、例えば被写体の動作をセンサーで測定した場
合、センサー出力から算出される動作の方向及び量に基
づき動作インデックスが定められる他、テキスト情報あ
るいは音声情報から自然言語解析等に基づき、特定の動
き動作を指示するインデックスを解析し、これを、その
動作内容を指示するインデックスとしてもよい。The outline of the present invention will be described below. For example, in the case of a motion of a person, a portion common to a plurality of different motions often exists. Therefore, it is possible to generate a complicated movement by connecting common parts that are simple movements. As a result, these operations can be reproduced without accumulating all the various operations independently. Also, instead of recognizing complicated operations by complicated image processing, a button for identifying image information (as a simple example, an event such as pressing an alphanumeric button or clicking an icon is used as an index of a specific subject operation). ) Or a sensor output that measures the movement of a subject and passed to the system as an index signal, the system can be constructed with an extremely simple configuration. For example, when the motion of a subject is measured by a sensor, a motion index is determined based on the direction and amount of the motion calculated from the sensor output, and a specific motion motion is determined based on natural language analysis or the like from text information or voice information. May be analyzed, and this may be used as an index to indicate the operation content.
【0011】上述の如く、請求項1記載の発明に係る第
1の動きパラメータ列生成方式は、複雑な動作の軌跡の
位置情報を生成する手段と、生成された位置情報と現在
位置情報とのいずれかを選択する手段と、選択した位置
情報から動きパラメータを生成する手段と、から構成さ
れる。As described above, in the first motion parameter sequence generation method according to the first aspect of the present invention, there is provided a means for generating position information of a trajectory of a complicated motion, and a method for generating position information of the generated position information and current position information. It comprises means for selecting one of them, and means for generating a motion parameter from the selected position information.
【0012】請求項2記載の発明に係る第2の動きパラ
メータ列生成方式は、上記第1の動きパラメータ生成方
式に加えて、軌跡の位置情報に現在位置からの遷移を滑
らかにするための前置位置情報を付加する手段を更に含
むものである。According to a second motion parameter sequence generation method according to the second aspect of the present invention, in addition to the first motion parameter generation method, a position information of a trajectory is used for smoothing a transition from a current position to a trajectory position information. It further includes means for adding the location information.
【0013】また、請求項3記載の発明に係る第3の動
きパラメータ列生成方式は、上記第1の動きパラメータ
生成方式に加えて、軌跡の位置情報に動きパラメータ生
成後に滑らかに現在位置へ遷移するための後置位置情報
を付加する手段を更に含むものである。According to a third motion parameter generation method according to the third aspect of the present invention, in addition to the first motion parameter generation method, the position information of the trajectory smoothly transitions to the current position after the generation of the motion parameter. And means for adding post-position information for performing the operation.
【0014】さらに、請求項4記載の発明に係る第4の
動きパラメータ列生成方式は、上記第1の動きパラメー
タ生成方式に加えて、軌跡の位置情報に現在位置からの
遷移を滑らかにするための前置位置情報を付加する手段
と、動きパラメータ生成後に滑らかに現在位置へ遷移す
るための後置位置情報を付加する手段とを含むものであ
る。According to a fourth aspect of the present invention, in addition to the first motion parameter generation method, the fourth motion parameter sequence generation method is used to smooth transition from the current position to the position information of the trajectory. And means for adding post-position information for smoothly transitioning to the current position after the generation of the motion parameter.
【0015】そして、請求項5記載の発明に係る動画像
再現方式は、上記第1乃至第4のいずれか一の動きパラ
メータ列生成方式に加え、動きパラメータから現在位置
情報を算出する手段と、動きパラメータから動画像を再
現する手段と、を含むものである。According to a fifth aspect of the present invention, there is provided a moving image reproduction system, comprising: a means for calculating current position information from a motion parameter in addition to any one of the first to fourth motion parameter sequence generation systems; Means for reproducing a moving image from the motion parameters.
【0016】請求項6記載の発明に係る動画像の符号化
復号方式は、符号化器が、動き情報を含む原信号から動
きパラメータを抽出する手段と、上記第1乃至第4のい
ずれかの動きパラメータ列生成手段と、抽出した動きを
追跡し現在位置を確定する手段から構成され、復号器
は、動きパラメータから動画像を再現する手段から構成
される。According to a sixth aspect of the present invention, in the moving picture encoding / decoding method, the encoder extracts a motion parameter from an original signal including motion information, and the first to fourth ones. The decoder includes a motion parameter sequence generating unit and a unit that tracks the extracted motion to determine the current position, and the decoder includes a unit that reproduces a moving image from the motion parameters.
【0017】請求項7記載の発明に係る動画像の符号化
復号方式は、符号化器が、動き情報を含む原信号から動
きパラメータを抽出する手段と、抽出された動きパラメ
ータと特定の動作を意味する指標を多重化して符号とす
る手段から構成され、復号器は、多重化された符号から
抽出された動きパラメータと特定の動作を指示する指標
とに分離する手段と、上記第1乃至第4のいずれかの動
きパラメータ列生成手段と、分離された動きパラメータ
から現在位置情報を算出する手段と、動きパラメータか
ら動画像を再現する手段から構成される。According to a seventh aspect of the present invention, there is provided the moving picture encoding / decoding method, wherein the encoder extracts a motion parameter from an original signal including motion information, and executes the extracted motion parameter and a specific operation. The decoder comprises means for multiplexing the sign indicating the meaning into a code, and the decoder separates the motion parameter extracted from the multiplexed code into the index indicating a specific operation; 4; a means for calculating current position information from the separated motion parameters; and a means for reproducing a moving image from the motion parameters.
【0018】[0018]
【発明の実施の形態】本発明の実施の形態について図面
を参照して以下に説明する。Embodiments of the present invention will be described below with reference to the drawings.
【0019】[0019]
【実施形態1】請求項1に記載した発明に係る第1の動
きパラメータ生成方式の実施形態(「第1の実施形態」
という)を図1を参照して説明する。図1は、この第1
の動きパラメータ列生成方式の構成を示す図である。Embodiment 1 An embodiment of a first motion parameter generation method according to the invention described in claim 1 (“First Embodiment”)
) Will be described with reference to FIG. FIG. 1 illustrates this first
FIG. 3 is a diagram showing a configuration of a motion parameter sequence generation method of FIG.
【0020】図1を参照して、動きパラメータ生成回路
10は、入力として与えられる動作インデックス101
と現在位置情報103とから、インデックスで指示され
る一連の動作を表現する動きパラメータ列105を生成
する回路であり、特徴点の位置情報生成回路11、位置
情報切替えスイッチ13、および動作パラメータ生成回
路12からなる。Referring to FIG. 1, a motion parameter generation circuit 10 includes a motion index 101 given as an input.
A motion parameter sequence 105 representing a series of operations indicated by an index from the current position information 103 and the current position information 103. The characteristic point position information generation circuit 11, the position information changeover switch 13, and the operation parameter generation circuit It consists of 12.
【0021】本実施形態の動作を以下に説明する。The operation of this embodiment will be described below.
【0022】動作インデックス101は、種々の複雑な
動作を意味する指標であり、特徴点の位置情報生成回路
11により、その動作の定時間毎の軌跡である特徴点位
置情報102に変換される。The motion index 101 is an index indicating various complicated motions, and is converted by the characteristic point position information generation circuit 11 into characteristic point position information 102 which is a locus of the motion at regular time intervals.
【0023】特徴点位置情報102は、位置(サンプリ
ング時刻点)を表すN個のベクトルデータ列である、ベ
クトルP(i)(i=1,2,…,N)からなる。ここ
で、Nは動作の長さを表すパラメータであり、動作イン
デックス101により一意に定まる。The feature point position information 102 is composed of a vector P (i) (i = 1, 2,..., N), which is a sequence of N vector data representing positions (sampling time points). Here, N is a parameter indicating the length of the operation, and is uniquely determined by the operation index 101.
【0024】特徴点の位置情報102の生成は、ベクト
ルP(i)(i=1,2,…,N)を不図示のメモリに蓄
積しておき、インデックス信号からこれを読み出す方式
の他に、不定時間間隔の特徴点の位置情報のみを蓄積し
ておき、移動速度をパラメータとして、これらの間を、
線形またはスプライン補間等の手法により補間して生成
する方式や、粗くサンプリングした位置データのみを蓄
積しておき、同様の補間法により、定時間間隔の位置デ
ータを生成する手法等を用いることができる。The generation of the position information 102 of the feature point is performed by storing the vector P (i) (i = 1, 2,..., N) in a memory (not shown) and reading the vector P (i) from an index signal. , Only the position information of the feature points at indefinite time intervals is stored, and the moving speed is used as a parameter,
A method of generating by interpolation using a method such as linear or spline interpolation, or a method of storing only coarsely sampled position data and generating position data at regular time intervals by a similar interpolation method can be used. .
【0025】生成された特徴点位置情報102は、位置
情報切替えスイッチ13に入力され、特徴点位置情報1
02が存在する期間は特徴点位置情報102が、それ以
外は現在位置情報103が、選択された位置情報104
として出力される。すなわち、位置情報切替えスイッチ
13は、特徴点の位置情報生成回路11から特徴点位置
情報102が出力されている間は、端子a側に接続さ
れ、特徴点位置情報102を動作パラメータ生成回路1
2に出力し、特徴点位置情報102が出力されない時に
は端子b側に切り替えられ、現在位置情報103を動作
パラメータ生成回路12に出力する。The generated feature point position information 102 is input to the position information changeover switch 13 and the feature point position information 1
02, the feature point position information 102 is displayed during the period in which the current
Is output as That is, while the feature point position information 102 is being output from the feature point position information generation circuit 11, the position information changeover switch 13 is connected to the terminal “a” and the feature point position information 102 is transmitted to the operation parameter generation circuit 1.
When the feature point position information 102 is not output, the terminal is switched to the terminal b side, and the current position information 103 is output to the operation parameter generation circuit 12.
【0026】ここで現在位置情報103は、現在の位置
情報を表すベクトルデータで定時間毎に発生する。した
がって、現在位置情報103の一部(N個分)が、特徴
点位置情報102で置き換えられることになる。Here, the current position information 103 is generated at regular time intervals by vector data representing the current position information. Therefore, a part (N pieces) of the current position information 103 is replaced with the feature point position information 102.
【0027】選択された位置情報104は、動作パラメ
ータ生成回路12に入力され、連続するベクトル間の差
分を計算することにより、生成された動きパラメータ1
05が算出される。連続するベクトル間の差分を求める
際、例えば移動量(差分量)が大きすぎる場合には、差
分量を抑制するなどの動き制御が行われる。The selected position information 104 is input to the motion parameter generation circuit 12 and calculates the difference between successive vectors to generate the motion parameter 1 generated.
05 is calculated. When obtaining the difference between successive vectors, for example, if the movement amount (difference amount) is too large, motion control such as suppressing the difference amount is performed.
【0028】生成された動きパラメータ105は、定時
間間隔で発生するベクトルデータである。The generated motion parameters 105 are vector data generated at regular time intervals.
【0029】動作インデックス101は、テキスト情報
等からの自然言語解析等により生成してもよいが、ボタ
ンの押下等により生成しても良い。例えば「笑う」とい
う自然言語を基に、これを笑うという動画像の動作イン
デックスとしてもよいし、あるいは、動画像に対応して
あるボタンを押下することにより該ボタンに対応するイ
ンデックスを生成してもよい。The operation index 101 may be generated by natural language analysis from text information or the like, or may be generated by pressing a button or the like. For example, based on the natural language "laughing", this may be used as a motion index of a moving image to laugh, or an index corresponding to the button may be generated by pressing a button corresponding to the moving image. Is also good.
【0030】一つの動作インデックスは、1個以上の動
きパラメータを生成するため、場合によっては、前の動
作インデックスが終了しないうちに、次の動作インデッ
クスが入力される事態も生じ得る。この時、前のインデ
ックスに対応する動きパラメータの生成を、新たな動作
インデックスの入力があった時点で、直ちに終了し、次
のインデックスの処理が行われる。Since one motion index generates one or more motion parameters, the next motion index may be input before the previous motion index is completed in some cases. At this time, the generation of the motion parameter corresponding to the previous index is immediately terminated when a new motion index is input, and the processing of the next index is performed.
【0031】[0031]
【実施形態2】請求項2記載の発明である第2の動きパ
ラメータの生成方式の実施形態(「第2の実施形態」と
いう)を図2を参照して以下に説明する。図2は、この
第2の動きパラメータの生成方式の構成を示す図であ
る。図2を参照して、本実施形態は、図1に示した前記
第1の動きパラメータ生成方式に、前置位置情報挿入回
路14が付加された構成とされている。[Embodiment 2] An embodiment of a second motion parameter generation method (referred to as "second embodiment") according to the second aspect of the present invention will be described below with reference to FIG. FIG. 2 is a diagram showing a configuration of the second motion parameter generation method. Referring to FIG. 2, the present embodiment has a configuration in which a prefix position information insertion circuit 14 is added to the first motion parameter generation method shown in FIG.
【0032】図2を参照して、本実施形態の動作を説明
する。The operation of this embodiment will be described with reference to FIG.
【0033】本実施形態の動きパラメータ生成回路10
においては、前記第1の実施形態と同様の動作に加え
て、特徴点の位置情報生成回路で生成した定時間間隔の
特徴点位置情報102の前に、現在位置からの遷移が滑
らかに行えるように、前置位置情報を前置位置情報挿入
回路14を用いて挿入する。すなわち、本実施形態にお
いては、特徴点位置情報102を直接位置情報切替えス
イッチ13に入力する代わりに、前置位置情報挿入回路
14にて特徴点位置情報102に改編を加えた前置位置
情報を含む特徴点位置情報106を入力するものであ
る。その他は、前記第1の実施形態と同様に動作をす
る。位置情報切替えスイッチ13は、前置位置情報挿入
回路14から特徴点位置情報106が出力されている間
は、端子a側に接続され、特徴点位置情報106を動作
パラメータ生成回路12に出力し、前置位置情報挿入回
路14から特徴点位置情報106が出力されない時には
端子b側に切り替えられ、現在位置情報103を動作パ
ラメータ生成回路12に出力する。The motion parameter generation circuit 10 of the present embodiment
In addition to the operation similar to that of the first embodiment, the transition from the current position can be performed smoothly before the characteristic point position information 102 at fixed time intervals generated by the characteristic point position information generation circuit. First, the front position information is inserted using the front position information insertion circuit 14. That is, in the present embodiment, instead of directly inputting the feature point position information 102 to the position information changeover switch 13, the front position information obtained by modifying the feature point position information 102 by the front position information insertion circuit 14 is used. This is for inputting the feature point position information 106 including the information. Otherwise, the operation is the same as in the first embodiment. The position information changeover switch 13 is connected to the terminal a while the feature point position information 106 is being output from the preceding position information insertion circuit 14, and outputs the feature point position information 106 to the operation parameter generation circuit 12, When the feature point position information 106 is not output from the prefix position information insertion circuit 14, the terminal is switched to the terminal b side, and the current position information 103 is output to the operation parameter generation circuit 12.
【0034】位置情報切替スイッチ13で選択された位
置情報104は、前置位置情報挿入回路14に入力さ
れ、前置位置情報挿入回路14は、特徴点位置情報10
2と、選択された位置情報104とから、前置位置情報
を含む特徴点位置情報106を生成する。The position information 104 selected by the position information changeover switch 13 is input to a front position information insertion circuit 14, and the front position information insertion circuit 14
2 and the selected position information 104, feature point position information 106 including prefix position information is generated.
【0035】特徴点位置情報102のベクトルP(i)
(i=1,2,…,N)は、動作インデックス101か
らのみ生成され、現在位置情報103の一部を置き換え
るため、前記第1の実施形態においては、現在位置情報
103から特徴点位置情報102に切り替わる瞬間の連
続性は保証されない。Vector P (i) of feature point position information 102
(I = 1, 2,..., N) are generated only from the motion index 101 and replace a part of the current position information 103. In the first embodiment, therefore, the feature point position information is obtained from the current position information 103. Continuity at the moment of switching to 102 is not guaranteed.
【0036】そこで、本実施形態では、特徴点位置情報
102が入力された時に、選択された位置情報104に
出力されているベクトルを調べ、前回出力された選択さ
れた位置情報104を、初期位置情報ベクトルPINITと
して、ベクトルPINITとベクトルP(1)の間を補間する
前置位置情報のベクトルPp(i)(i=1,2,…,
Np)を生成して、これを特徴点位置情報102の前に
付加する。Therefore, in the present embodiment, when the feature point position information 102 is input, the vector output to the selected position information 104 is checked, and the previously output selected position information 104 is replaced with the initial position information. As an information vector P INIT , a vector P p (i) (i = 1, 2,...) Of front position information for interpolating between the vector P INIT and the vector P (1)
N p ) is generated and is added before the feature point position information 102.
【0037】すなわち、{ベクトルPp(i)(i=1,
2,…,Np),ベクトルP(i)(i=1,2,…,
N)}の合計Np+N個のベクトルを前置位置情報を含
む特徴点位置情報106として出力する。That is, the {vector P p (i) (i = 1,
2,..., N p ), vector P (i) (i = 1, 2,.
N) The sum of N p + N vectors of 特 徴 is output as feature point position information 106 including prefix position information.
【0038】これにより、本実施形態においては、Np
×(ベクトルデータの時間間隔)分の遅れが生じるが、
第1の実施形態よりも滑らかな動きパラメータを生成す
ることができる。As a result, in this embodiment, N p
× (time interval of vector data) delay occurs,
Motion parameters that are smoother than in the first embodiment can be generated.
【0039】[0039]
【実施形態3】請求項3記載の発明の実施の形態である
第3の動きパラメータ生成方式(「第3の実施形態」と
いう)を図3を参照して説明する。図3は、この第3の
動きパラメータの生成方式の構成を示す図である。本実
施形態は、図1に示した前記第1の実施形態の構成に、
後置位置情報挿入回路15が付加された構成とされてい
る。すなわち、本実施形態は、動作インデックス101
を入力とする特徴点の位置情報生成回路11と、位置情
報切替えスイッチ13と、特徴点の位置情報生成回路1
1の出力102と現在位置情報103とを入力とする後
置位置情報挿入回路15と、後置位置情報挿入回路15
の出力107と現在位置情報103とを切替える位置情
報スイッチ13と、動作パラメータ生成回路12と、を
備えている。Third Embodiment A third motion parameter generation method (hereinafter, referred to as a "third embodiment") according to an embodiment of the present invention will be described with reference to FIG. FIG. 3 is a diagram showing a configuration of the third motion parameter generation method. This embodiment is different from the configuration of the first embodiment shown in FIG.
A post-position information insertion circuit 15 is added. That is, in the present embodiment, the operation index 101
, A position information generation circuit 11, a position information switch 13, and a position information generation circuit 1 for a characteristic point.
, A post-position information insertion circuit 15 which receives the output 102 of the No. 1 and the current position information 103 as inputs, and a post-position information insertion circuit 15
A position information switch 13 for switching the output 107 of the current position information and the current position information 103 and an operation parameter generation circuit 12 are provided.
【0040】次に、図3を参照して、本実施形態の動作
を説明する。Next, the operation of this embodiment will be described with reference to FIG.
【0041】本実施形態の動きパラメータ生成回路は、
前記第1の実施形態と同様の動作に加えて、生成した定
時間間隔の特徴点位置情報102の後に、パラメータ生
成後に現在位置への遷移が滑らかに行えるように、後置
位置情報を後置位置情報挿入回路15を用いて挿入す
る。位置情報切替えスイッチ13は、後置位置情報挿入
回路15から位置情報107が出力されている間は、端
子a側に接続され、位置情報107を動作パラメータ生
成回路12に出力し、後置位置情報挿入回路15から位
置情報107が出力されない時には端子b側に切り替え
られ、現在位置情報103を動作パラメータ生成回路1
2に出力する。The motion parameter generation circuit according to the present embodiment
In addition to the same operation as in the first embodiment, after the generated feature point position information 102 at a fixed time interval, the post-position information is post-fixed so that the transition to the current position can be performed smoothly after the parameter generation. It is inserted using the position information insertion circuit 15. The position information changeover switch 13 is connected to the terminal a while the position information 107 is being output from the post-position information insertion circuit 15, outputs the position information 107 to the operation parameter generation circuit 12, and outputs the position information 107. When the position information 107 is not output from the insertion circuit 15, the terminal b is switched to the terminal b side, and the current position information 103 is changed to the operation parameter generation circuit 1.
Output to 2.
【0042】本実施形態の動作は、特徴点位置情報10
2を直接位置情報切替えスイッチ13に入力する代わり
に、後置位置情報挿入回路15にて特徴点位置情報10
2に改編を加えた後置位置情報を含む特徴点位置情報1
07を入力する点が相違するだけで、その他は基本的に
前記第1の実施形態と同様な動作を行う。The operation of this embodiment is based on the feature point position information 10
2 is input directly to the position information changeover switch 13, but instead of the feature point position information 10
Feature point position information 1 including postposition position information with reorganization added to 2
The operation is basically the same as that of the first embodiment except for the point that 07 is input.
【0043】後置位置情報挿入回路15の動作を以下に
説明する。後置位置情報挿入回路15は、特徴点位置情
報102と、現在位置情報103から後置位置情報を含
む特徴点位置情報107を生成する。The operation of the post-position information insertion circuit 15 will be described below. The post-position information insertion circuit 15 generates feature point position information 107 including post-position information from the feature point position information 102 and the current position information 103.
【0044】前述したように、特徴点位置情報102の
ベクトルP(i)(i=1,2,…,N)は、動作インデ
ックス101からのみ生成され、現在位置情報103の
一部を置き換えるため、前記第1の実施形態において
は、特徴点位置情報102から現在位置情報103に切
り替わる瞬間の連続性は保証されない。As described above, the vector P (i) (i = 1, 2,..., N) of the feature point position information 102 is generated only from the motion index 101 and replaces a part of the current position information 103. In the first embodiment, continuity at the moment of switching from the feature point position information 102 to the current position information 103 is not guaranteed.
【0045】そこで、本実施形態では、特徴点位置情報
102を全て位置情報切替えスイッチに後置位置情報を
含む特徴点位置情報107として出力した後、現在位置
情報103のベクトルPTERMを調べ、特徴点位置情報1
02の最後のベクトルP(N)と、ベクトルPTERMとの
差が、予め定めた閾値よりも小さいか否かを調べる。Therefore, in this embodiment, after outputting all the feature point position information 102 to the position information changeover switch as the feature point position information 107 including the post-position information, the vector P TERM of the current position information 103 is checked, and Point location information 1
It is checked whether the difference between the last vector P (N) of 02 and the vector PTERM is smaller than a predetermined threshold.
【0046】ベクトルP(N)とベクトルPTERMとの差
が閾値よりも小さい場合には、何ら作用を加えることは
ないが、大きい場合には、ベクトルP(N)とベクトル
PTE RMを結ぶ線分上に存在するベクトルPTEMPをこれま
でに送出した後置位置情報を含む特徴点位置情報107
の後に出力する。[0046] If the difference between the vector P (N) and the vector P TERM is smaller than the threshold, it will not add any effect, if large, connecting vector P TE RM and vector P (N) The feature point position information 107 including the postposition position information which has transmitted the vector P TEMP existing on the line segment so far.
Output after.
【0047】この新ベクトルの付加動作は、最後に出力
した後置位置情報を含む特徴点位置情報107のベクト
ルとベクトルPTERMの差が予め定めた閾値よりも小さく
なるまで続けられる。The operation of adding the new vector is continued until the difference between the vector of the feature point position information 107 including the postposition information output last and the vector PTERM becomes smaller than a predetermined threshold value.
【0048】これにより、現在位置情報への復帰が、
(付加個数)×(ベクトルデータの時間間隔)分の遅れ
が生じるが、前記第1の実施形態よりも滑らかな動きパ
ラメータを生成することができる。As a result, the return to the current position information
Although a delay of (the number of additions) × (time interval of vector data) occurs, it is possible to generate smoother motion parameters than in the first embodiment.
【0049】[0049]
【実施形態4】請求項4記載の発明の実施の形態である
第4の動きパラメータ生成方式(「第4の実施形態」と
いう)を図4を参照して説明する。図4は、この第4の
動きパラメータの生成方式の構成を示す図である。本実
施形態の動きパラメータ生成回路10は、図1に示した
前記第1の実施形態の構成に、前記第2、第3の実施形
態で説明した前置位置情報挿入回路14と後置位置情報
挿入回路15とが付加された構成とされている。すなわ
ち、第4の動きパラメータ列生成方式は、動作インデッ
クス101を入力とする特徴点の位置情報生成回路11
と、位置情報切替えスイッチ13と、特徴点の位置情報
生成回路11と位置情報切替えスイッチ13の出力10
4とを入力とする前置位置情報挿入回路14と、前置位
置情報挿入回路14の出力と現在位置情報103とを入
力とする後置位置情報挿入回路15と、後置位置情報挿
入回路15の出力108と現在位置情報103とを切替
える位置情報スイッチ13と、動作パラメータ生成回路
12と、を備えている。Fourth Embodiment A fourth motion parameter generation method (hereinafter referred to as a "fourth embodiment") according to an embodiment of the present invention will be described with reference to FIG. FIG. 4 is a diagram showing a configuration of the fourth motion parameter generation method. The motion parameter generation circuit 10 of the present embodiment is different from the configuration of the first embodiment shown in FIG. 1 in that the front position information insertion circuit 14 and the post position information described in the second and third embodiments are used. The configuration is such that an insertion circuit 15 is added. That is, in the fourth motion parameter sequence generation method, the feature point position information generation circuit 11 which receives the motion index 101 as an input is used.
A position information changeover switch 13, a feature point position information generation circuit 11, and an output 10 of the position information changeover switch 13.
4 as an input, a post-position information insertion circuit 15 receiving the output of the pre-position information insertion circuit 14 and the current position information 103, and a post-position information insertion circuit 15 A position information switch 13 for switching between the output 108 of the current position information and the current position information 103, and an operation parameter generation circuit 12.
【0050】図4を参照して、本実施形態の動作を以下
に説明する。The operation of the present embodiment will be described below with reference to FIG.
【0051】本実施形態は、前記第1の実施形態と同様
の動作に加えて、生成した定時間間隔の特徴点位置情報
102の前に、現在位置からの遷移が滑らかに行えるよ
うに前置位置情報を前置位置情報挿入回路14を用いて
挿入し、さらにパラメータ生成後に、現在位置へ滑らか
に変移できるように、後置位置情報を後置位置情報挿入
回路15で挿入する。In the present embodiment, in addition to the same operation as that of the first embodiment, a prefix is provided before the generated characteristic point position information 102 at a fixed time interval so that the transition from the current position can be performed smoothly. The post-position information is inserted by the post-position information insertion circuit 15 so that the position information is inserted using the front-position information insertion circuit 14 and, after the parameters are generated, the position information can be smoothly shifted to the current position.
【0052】本実施形態の動作は、特徴点位置情報10
2を直接位置情報切替えスイッチ13に入力する代わり
に、前置位置情報挿入回路14および後置位置情報挿入
回路15で特徴点位置情報102に改編を加えた後置位
置情報を含む特徴点位置情報108を入力する点が相違
するだけで、その他は基本的に前記第1の実施形態と同
様である。位置情報切替えスイッチ13は、後置位置情
報挿入回路15から特徴点位置情報108が出力されて
いる間は、端子a側に接続され、特徴点位置情報108
を動作パラメータ生成回路12に出力し、後置位置情報
挿入回路15から特徴点位置情報108が出力されない
時には端子b側に切り替えられ、現在位置情報103を
動作パラメータ生成回路12に出力する。The operation of this embodiment is based on the feature point position information 10
2 is input directly to the position information changeover switch 13, and feature point position information including rear position information obtained by modifying the characteristic point position information 102 by the front position information insertion circuit 14 and the rear position information insertion circuit 15. The other points are basically the same as those of the first embodiment except that the point of inputting is 108. The position information changeover switch 13 is connected to the terminal a while the characteristic point position information 108 is being output from the post-position information insertion circuit 15 and is connected to the terminal a.
Is output to the operation parameter generation circuit 12, and when the feature point position information 108 is not output from the post-position information insertion circuit 15, the terminal b is switched to the terminal b side, and the current position information 103 is output to the operation parameter generation circuit 12.
【0053】本実施形態における前置位置情報挿入回路
14の動作は、前記第2の実施形態と同じであるが、前
記第2の実施形態(図2参照)では、その出力106が
位置情報切替えスイッチ13に入力されていたものを、
後置位置情報挿入回路15への入力に変更されている。The operation of the prefix position information insertion circuit 14 in the present embodiment is the same as that of the second embodiment, but in the second embodiment (see FIG. 2), the output 106 is used for switching the position information. What was input to the switch 13
The input has been changed to the post-position information insertion circuit 15.
【0054】また、本実施形態における後置位置情報挿
入回路15の動作は、前記第3の実施形態と同様である
が、前記第3の実施形態(図3参照)では、後置位置情
報挿入回路15の入力としていた特徴点の位置情報10
2は、前置位置情報挿入回路14の出力である前置位置
情報を含む特徴点位置情報106に変更されている。The operation of the post-position information insertion circuit 15 in the present embodiment is the same as that of the third embodiment, but in the third embodiment (see FIG. 3), The position information 10 of the feature point input to the circuit 15
2 has been changed to the feature point position information 106 including the prefix position information output from the prefix position information insertion circuit 14.
【0055】これにより、現在位置情報からの遷移およ
びパラメータ生成後の現在位置への復帰が、前記第1の
実施形態よりも滑らかになる。As a result, the transition from the current position information and the return to the current position after the parameter is generated become smoother than in the first embodiment.
【0056】[0056]
【実施形態5】図5は、請求項5記載の発明の実施の形
態の構成を示す図であり、画像の再現方式を実現する装
置の一実施形態(「第5の実施形態」という)を示す図
である。図5を参照して、この装置は、入力として与え
られる動作インデックス101から、再現動画像201
を生成するもので、動きパラメータ生成回路10と、現
在位置を算出する位置確定回路21と、動画像再現回路
22と、から構成される。動きパラメータ生成回路10
としては、図1乃至図4を参照して説明した前記第1乃
至第4の実施形態のいずれか一の動きパラメータ生成回
路10が用いられる。[Embodiment 5] FIG. 5 is a diagram showing a configuration of an embodiment of the invention according to claim 5, and shows an embodiment of an apparatus for realizing an image reproduction method (referred to as "fifth embodiment"). FIG. With reference to FIG. 5, this apparatus obtains a reproduced moving image 201 from a motion index 101 given as an input.
And includes a motion parameter generation circuit 10, a position determination circuit 21 for calculating the current position, and a moving image reproduction circuit 22. Motion parameter generation circuit 10
The motion parameter generation circuit 10 according to any one of the first to fourth embodiments described with reference to FIGS. 1 to 4 is used.
【0057】図5を参照して、本実施形態の動作を以下
に説明する。The operation of the present embodiment will be described below with reference to FIG.
【0058】動作インデックス101と現在位置情報2
02を用いて、動きパラメータ生成回路10が、動きパ
ラメータ列105を生成する。生成された動きパラメー
タ列105は、動画像再現回路22に送られて再現動画
像201が作り出される。同時に、生成された動きパラ
メータ列105は、位置確定回路21に送られて、過去
の生成された動きパラメータ列105を積算することに
より、現在位置202の算出に使われる。Operation index 101 and current position information 2
Using 02, the motion parameter generation circuit 10 generates the motion parameter sequence 105. The generated motion parameter sequence 105 is sent to the moving image reproducing circuit 22 to generate a reproduced moving image 201. At the same time, the generated motion parameter sequence 105 is sent to the position determination circuit 21 and is used for calculating the current position 202 by integrating the past generated motion parameter sequence 105.
【0059】動画像再現回路22としては、例えば特開
平7−203409号公報(特願平5−333991)
に記載の方法などが利用できる。すなわち、動画像再現
回路22としては、例えば各種の動きを持つ画像シーケ
ンスを記憶した画像シーケンス記憶回路(不図示)と、
動きパラメータ生成回路10からの動きパラメータ列に
従って動画像を再現するのに必要な画像シーケンスを画
像シーケンス記憶回路から受け取り、これを用いて動画
像を再現する動画像生成回路(不図示)から構成され
る。なお、この場合、画像シーケンス記憶回路には、入
力される動き情報から動画像を再現するのに必要な各方
向への動き画像が予め保存されているものとし、例えば
テレビ電話等の用途に限定すれば、人物の上半身画像
で、右を向いたり、左を向いたり、あるいは喋ったりす
る等の画像が格納されている。また、動画像再現回路2
2の動画像生成回路(不図示)は、動きパラメータ生成
回路10から入力される動きパラメータに基づいて再現
動画像201の生成を行うが、例えば対象物全体の動き
が動きパラメータ105として与えられた場合、1フレ
ーム前の画像から動きパラメータ105によって移動す
るはずの場所への動きシーケンスを生成し、それをこれ
までの再現動画像に合成することによって行われる。す
なわち、動きシーケンスの生成は、種々の動きシーケン
スを記憶している画像シーケンス記憶回路に対して、ど
のシーケンスが必要であるかの制御信号を送出し、画像
シーケンス記憶回路は、送られてきた制御信号に基づき
記憶装置内のシーケンスを検索し、所定の動きシーケン
スを動画像生成回路へ送り返す。The moving image reproducing circuit 22 is disclosed in, for example, Japanese Patent Application Laid-Open No. 7-203409 (Japanese Patent Application No. 5-33391).
Can be used. That is, as the moving image reproduction circuit 22, for example, an image sequence storage circuit (not shown) storing image sequences having various motions,
An image sequence necessary for reproducing a moving image in accordance with the motion parameter sequence from the motion parameter generating circuit 10 is received from an image sequence storage circuit, and a moving image generating circuit (not shown) that reproduces the moving image using the image sequence is used. You. In this case, it is assumed that the image sequence storage circuit previously stores motion images in each direction necessary for reproducing the motion image from the input motion information, and is limited to, for example, videophone use. Then, in the upper body image of the person, an image such as facing right, facing left, or speaking is stored. Also, a moving image reproduction circuit 2
The second moving image generation circuit (not shown) generates the reproduced moving image 201 based on the motion parameters input from the motion parameter generation circuit 10. For example, the motion of the entire object is given as the motion parameter 105. In this case, the motion is performed by generating a motion sequence from the image one frame before to a place where the image should move according to the motion parameter 105, and synthesizing the motion sequence with the previously reproduced moving image. That is, to generate a motion sequence, a control signal indicating which sequence is necessary is sent to an image sequence storage circuit storing various motion sequences, and the image sequence storage circuit The sequence in the storage device is searched based on the signal, and a predetermined motion sequence is sent back to the moving image generation circuit.
【0060】[0060]
【実施形態6】図6は、請求項6記載の発明の実施の形
態の構成を示す図であり、動画像の符号化複合装置の一
実施形態(「第6の実施形態」という)を示す図であ
る。図6を参照して、本実施形態は、符号化器51は、
入力として与えられる動作インデックス101及び動き
情報を含む原信号301から、生成された動きパラメー
タ105列を出力するものであり、動きパラメータ抽出
回路31と、動きパラメータ生成回路10と、位置確定
回路21とからなる。また、復号器52は、入力として
与えられる生成された動きパラメータ列105から、再
現動画像201を出力するもので、動画像再現回路22
によって構成される。[Embodiment 6] FIG. 6 is a diagram showing a configuration of an embodiment of the invention according to claim 6, showing an embodiment of a moving picture coding and decoding apparatus (referred to as "sixth embodiment"). FIG. With reference to FIG. 6, in the present embodiment, the encoder 51 includes:
It outputs a sequence of motion parameters 105 generated from an original signal 301 including a motion index 101 and motion information given as inputs, and includes a motion parameter extraction circuit 31, a motion parameter generation circuit 10, a position determination circuit 21, Consists of The decoder 52 outputs a reproduced moving image 201 from the generated motion parameter sequence 105 given as an input.
Composed of
【0061】図6を参照して、本実施形態の動作を以下
に説明する。The operation of the present embodiment will be described below with reference to FIG.
【0062】符号化器51としては、好ましくは、特開
平7−203409号公報(特願平5−333991)
に記載の動画像の符号化復号装置の符号化器と、互換性
のある符号を生成するものとされる。なお、同公報記載
の符号化器は、動き情報から主要なパラメータを抽出す
る動きパラメータ抽出回路からなり、同公報記載の符号
化復号装置は、既存のフレーム間予測符号化装置(例え
ばITU−T勧告H.261等)と互換性のある動画像
の再現を行うものである。本実施形態においては、さら
に、前述したように、好ましくは、ボタン等で指定され
た複雑な動作パタンをも再現できる符号を生成するよう
にしてもよい。The encoder 51 is preferably disclosed in Japanese Patent Application Laid-Open No. Hei 7-203409 (Japanese Patent Application No. 5-33391).
And a code that is compatible with the encoder of the moving image encoding / decoding device described in (1). Note that the encoder described in the publication includes a motion parameter extraction circuit that extracts main parameters from motion information, and the encoding / decoding device described in the publication uses an existing inter-frame prediction encoding device (for example, an ITU-T It reproduces a moving image that is compatible with Recommendation H.261 etc.). In the present embodiment, as described above, preferably, a code that can reproduce even a complicated operation pattern specified by a button or the like may be generated.
【0063】符号化器51では、動き情報を含む原信号
301は、動き情報から主要なパラメータを抽出する動
きパラメータ抽出回路31(詳細は特開平7−2034
09号公報参照)により解析され、動きパラメータ30
2が抽出される。In the encoder 51, the original signal 301 including the motion information is converted into a motion parameter extracting circuit 31 for extracting main parameters from the motion information (for details, see Japanese Patent Laid-Open No. 7-2034).
No. 09 gazette) and the motion parameters 30
2 is extracted.
【0064】動きパラメータ抽出回路31で抽出された
動きパラメータ302は、位置確定回路21に入力さ
れ、過去の動きパラメータ302を積算することによ
り、現在位置情報303が生成される。The motion parameters 302 extracted by the motion parameter extraction circuit 31 are input to the position determination circuit 21 and current position information 303 is generated by integrating the past motion parameters 302.
【0065】現在位置情報303と動作インデックス1
01とは、前記第1乃至第4の実施形態のいずれかで構
成された動きパラメータ生成回路10に入力され、動き
パラメータ列105が生成される。Current position information 303 and operation index 1
01 is input to the motion parameter generation circuit 10 configured in any of the first to fourth embodiments, and a motion parameter sequence 105 is generated.
【0066】復号器52では、受信した動きパラメータ
列105から、動画像再現回路22により再現動画像2
01を出力する。すなわち、復号器52は、各種の動き
を持つ画像シーケンスを記憶した画像シーケンス記憶回
路と、符号化器から送られて来る動きパラメータに従っ
て、動画像を再現するのに必要な画像シーケンスを画像
シーケンス記憶回路から受け取り、これを用いて動画像
を再現する動画像生成回路とからなる動画像再現回路か
らなる(詳細は特開平7−203409号公報参照)。In the decoder 52, the moving image reproducing circuit 22 converts the received moving parameter sequence 105 into the reproduced moving image 2.
01 is output. That is, the decoder 52 stores an image sequence required to reproduce a moving image in accordance with a motion parameter sent from the encoder, and an image sequence storage circuit storing an image sequence having various motions. A moving image reproducing circuit including a moving image generating circuit that receives a signal from the circuit and reproduces a moving image by using the circuit (for details, refer to Japanese Patent Application Laid-Open No. 7-203409).
【0067】[0067]
【実施形態7】図7は、請求項7記載の発明の実施の形
態の構成を示す図であり、動画像の符号化複合装置の一
実施形態(「第7の実施形態」という)を示す図であ
る。図7を参照して、本実施形態において、符号化器5
3は、入力として与えられる動作インデックス101及
び動き情報を含む原信号301とから、多重化された動
き情報401を出力するものであり、動きパラメータ抽
出回路31と多重化回路41とから構成される。[Embodiment 7] FIG. 7 is a diagram showing a configuration of an embodiment of the present invention according to claim 7, showing an embodiment of a moving picture coding and decoding apparatus (referred to as "seventh embodiment"). FIG. Referring to FIG. 7, in the present embodiment, encoder 5
3 outputs multiplexed motion information 401 from the motion index 101 given as an input and the original signal 301 containing motion information, and comprises a motion parameter extraction circuit 31 and a multiplexing circuit 41. .
【0068】また、復号器54は、入力として与えられ
る多重化された動き情報401から、再現動画像201
を出力するものであり、逆多重化回路42と、動きパラ
メータ生成回路10と、位置確定回路21と、動画像再
現回路22と、から構成されている。The decoder 54 outputs a reproduced moving image 201 from the multiplexed motion information 401 given as an input.
And comprises a demultiplexing circuit 42, a motion parameter generation circuit 10, a position determination circuit 21, and a moving image reproduction circuit 22.
【0069】図7を参照して、本実施形態の動作を以下
に説明する。The operation of the present embodiment will be described below with reference to FIG.
【0070】符号化及び復号器は、再現動画像を生成す
るもので、符号化として、上記した特開平7−2034
09号公報記載の方式とは、互換性が無いが、よりコン
パクトな符号を生成する。The encoding and decoding unit generates a reconstructed moving image.
Although it is not compatible with the method described in JP-A-09-0909, it generates a more compact code.
【0071】符号化器53では、動き情報を含む原信号
301は、上記特開平7−203409号公報記載と同
様に、動きパラメータ抽出回路31により解析され、動
きパラメータ302が抽出される。In the encoder 53, the original signal 301 including the motion information is analyzed by the motion parameter extracting circuit 31, and the motion parameter 302 is extracted, as described in Japanese Patent Laid-Open No. 7-203409.
【0072】抽出された動きパラメータ302は、入力
として与えられる動作インデックス101と、多重化回
路41にて多重化され、多重化された動き情報401が
出力される。The extracted motion parameters 302 are multiplexed by the multiplexing circuit 41 with the motion index 101 given as an input, and multiplexed motion information 401 is output.
【0073】前記第6の実施形態においては符号化器5
1の動きパラメータ生成回路10から出力される動きパ
ラメータ列105が復号器52に伝送されたのに対し
て、本実施形態においては、復号器54側に、前記第1
乃至第4の実施形態で説明した動きパラメータ生成回路
10を備え、符号化器63からは複数の動きパラメータ
に展開される動作インデックスがそのまま符号に組み込
まれるように構成したため、前記第6の実施形態より
も、よりコンパクトな符号を生成することができる。In the sixth embodiment, the encoder 5
While the motion parameter sequence 105 output from the motion parameter generation circuit 10 is transmitted to the decoder 52, in the present embodiment, the first
The motion parameter generation circuit 10 described in the fourth to fourth embodiments is provided, and the motion index developed into a plurality of motion parameters from the encoder 63 is directly incorporated into the code. Thus, a more compact code can be generated.
【0074】復号器54においては、逆多重化回路42
が、多重化された動き情報401を分離された動作イン
デックス402と分離された動きはパラメータ403に
分離する。In the decoder 54, the demultiplexing circuit 42
However, the multiplexed motion information 401 is separated into the separated motion index 402 and the separated motion into parameters 403.
【0075】分離された動きパラメータ403は位置確
定回路21に入力され、過去の動きパラメータ403を
積算することにより現在位置情報303が生成される。
生成された現在位置情報303は、分離された動作イン
デックス402と共に、前記第1乃至第4の実施形態の
いずれか一の構成の動きパラメータ生成回路10に入力
され、動きパラメータ列105が生成出力される。この
動きパラメータ列105は、動画像再現回路22に送ら
れ再現動画像201が作り出される。動画像再現回路2
2は、各種の動きを持つ画像シーケンスを記憶した画像
シーケンス記憶回路(不図示)と、動きパラメータに従
って、動画像を再現するのに必要な画像シーケンスを画
像シーケンス記憶回路から受け取り、これを用いて再現
動画像201を再現する動画像生成回路(不図示)とか
らなる。The separated motion parameters 403 are input to the position determination circuit 21, and the current position information 303 is generated by integrating the past motion parameters 403.
The generated current position information 303 and the separated motion index 402 are input to the motion parameter generation circuit 10 having any one of the first to fourth embodiments, and the motion parameter sequence 105 is generated and output. You. The motion parameter sequence 105 is sent to the moving image reproducing circuit 22 to generate a reproduced moving image 201. Moving image reproduction circuit 2
2 receives an image sequence storage circuit (not shown) storing an image sequence having various motions, and an image sequence necessary for reproducing a moving image from the image sequence storage circuit according to the motion parameters, and uses the received image sequence. And a moving image generation circuit (not shown) for reproducing the reproduced moving image 201.
【0076】[0076]
【発明の効果】以上説明したように、請求項1記載の発
明によれば、高価なセンサーや画像処理など用いること
無く、ボタン入力などに基づいて、複雑な動作を再現す
るのに必要な単純な動きパラメータ列を生成することが
できる。また、本発明によれば、共通した部分を持つ複
数の動作を再現するために必要な蓄積データを削減する
ことができるという効果を有する。As described above, according to the first aspect of the present invention, a simple operation necessary for reproducing a complicated operation based on a button input or the like is performed without using an expensive sensor or image processing. It is possible to generate a simple motion parameter sequence. Further, according to the present invention, there is an effect that accumulated data required for reproducing a plurality of operations having a common portion can be reduced.
【0077】請求項2〜請求項4に記載した発明によれ
ば、請求項1記載の発明と同様、ボタン入力などに基づ
いて、複雑な動作を再現するのに必要な単純な動きパラ
メータ列を生成することができ、また共通した部分を持
つ複数の動作を再現するために必要な蓄積データを削減
することができるだけでなく、生成データの切替え時に
も滑らかな映像を得ることができるという効果を有す
る。According to the second to fourth aspects of the present invention, similar to the first aspect of the present invention, a simple motion parameter sequence required to reproduce a complicated operation is formed based on a button input or the like. Not only reduce the amount of stored data required to reproduce multiple operations that have common parts, but also obtain a smooth image when switching the generated data. Have.
【0078】また、請求項5に記載した発明に係る動画
像再現方式によれば、ボタン入力などによって指定され
る複雑な動きを行う動画像を作り出すことができるとい
う効果を有する。Further, according to the moving image reproducing method according to the fifth aspect of the present invention, there is an effect that a moving image which performs a complicated movement specified by a button input or the like can be created.
【0079】さらに、請求項6に記載した発明に係る動
画像符号化復号方式によれば、上記特開平7−2034
09号公報記載の動画像復号器を用いて復号可能な符号
を生成することができ、従来は検出が困難とされた複雑
な動作をも再現することができるという効果を有する。Further, according to the moving picture coding / decoding system according to the invention described in claim 6, the above-mentioned Japanese Patent Laid-Open No. 7-2034 is disclosed.
It is possible to generate a code that can be decoded by using the moving picture decoder described in Japanese Patent Application Laid-Open No. 09-0909, and has an effect that it is possible to reproduce a complicated operation that has conventionally been difficult to detect.
【0080】そして、請求項7に記載した発明に係る動
画像符号化復号方式によれば、従来方式である上記特開
平7−203409号公報記載の動画像符号化復号方式
よりも、よりコンパクトな符号で、複雑な動作を再現す
ることができるという利点を有している。According to the moving picture coding / decoding system according to the invention described in claim 7, a more compact moving picture coding / decoding system disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 7-203409 is used. The code has the advantage that complex operations can be reproduced.
【図1】本発明の第1の実施形態に係る動きパラメータ
生成方式の構成を示す図である。FIG. 1 is a diagram showing a configuration of a motion parameter generation method according to a first embodiment of the present invention.
【図2】本発明の第2の実施形態に係る動きパラメータ
生成方式の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of a motion parameter generation method according to a second embodiment of the present invention.
【図3】本発明の第3の実施形態に係る動きパラメータ
生成方式の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of a motion parameter generation method according to a third embodiment of the present invention.
【図4】本発明の第4の実施形態に係る動きパラメータ
生成方式の構成を示す図である。FIG. 4 is a diagram illustrating a configuration of a motion parameter generation method according to a fourth embodiment of the present invention.
【図5】本発明の第5の実施形態に係る動画像再現方式
の構成を示す図である。FIG. 5 is a diagram showing a configuration of a moving image reproduction method according to a fifth embodiment of the present invention.
【図6】本発明の第6の実施形態に係る画像符号化復号
方式の構成を示す図である。FIG. 6 is a diagram illustrating a configuration of an image encoding / decoding method according to a sixth embodiment of the present invention.
【図7】本発明の第7の実施形態に係る画像符号化復号
方式の構成を示す図である。FIG. 7 is a diagram illustrating a configuration of an image encoding / decoding method according to a seventh embodiment of the present invention.
10 動きパラメータ生成回路 11 特徴点の位置情報生成回路 12 動作パラメータ生成回路 13 位置情報切替え回路 14 前置位置情報挿入回路 15 後置位置情報挿入回路 21 位置確定回路 22 動画像再現回路 31 動きパラメータ抽出回路 41 多重化回路 42 逆多重化回路 101 動作インデックス 102 特徴点位置情報 103 現在位置情報 104 選択された位置情報 105 生成された動きパラメータ列 106 前置情報を含む特徴点位置情報 107 後置情報を含む特徴点位置情報 108 前置及び後置情報を含む特徴点位置情報 201 再現動画像 202 現在位置情報 301 動き情報を含む原信号 302 抽出された動きパラメータ 303 現在位置情報 401 多重化された動き情報 402 分離された動作インデックス 403 分離された抽出された動き情報 Reference Signs List 10 motion parameter generation circuit 11 feature point position information generation circuit 12 operation parameter generation circuit 13 position information switching circuit 14 front position information insertion circuit 15 post position information insertion circuit 21 position determination circuit 22 moving image reproduction circuit 31 motion parameter extraction Circuit 41 Multiplexing circuit 42 Demultiplexing circuit 101 Motion index 102 Feature point position information 103 Current position information 104 Selected position information 105 Generated motion parameter sequence 106 Feature point position information including prefix information 107 Postfix information Included feature point position information 108 Feature point position information including preceding and following information 201 Reproduced moving image 202 Current position information 301 Original signal including motion information 302 Extracted motion parameters 303 Current position information 401 Multiplexed motion information 402 Isolated motion index 403 Separated extracted motion information
Claims (7)
報とから動きパラメータ列を生成する方式であって、 前記指標が表す所定の動作の軌跡における定時間間隔の
位置情報を生成する手段と、 前記生成された位置情報と前記現在の位置情報とのいず
れかを排他的に選択する手段と、 前記選択された位置情報から動きパラメータ列を生成す
る手段と、 を備えたことを特徴とする動きパラメータ列生成方式。1. A method of generating a motion parameter sequence from an index indicating a predetermined operation and current position information, wherein the unit generates position information at regular time intervals on a trajectory of the predetermined operation represented by the index. And means for exclusively selecting any of the generated position information and the current position information; and means for generating a motion parameter sequence from the selected position information. Motion parameter sequence generation method.
報とから動きパラメータ列を生成する方式であって、 前記指標が表す所定の動作の軌跡における定時間間隔の
位置情報を生成する手段と、 前記生成された位置情報に、選択された位置情報を用い
て前置位置情報を付加する手段と、 前記前置位置情報が付加された定時間間隔の位置情報
と、前記現在の位置情報とのいずれかを排他的に選択す
る手段と、 前記選択された位置情報から動きパラメータ列を生成す
る手段と、 を備えることを特徴とする動きパラメータ列生成方式。2. A method for generating a motion parameter sequence from an index indicating a predetermined operation and current position information, comprising: means for generating position information at regular time intervals in a trajectory of a predetermined operation represented by the index. Means for adding prefix position information to the generated position information using the selected position information; position information at a fixed time interval to which the prefix position information is added; and the current position information. A means for exclusively selecting any one of the following: and a means for generating a motion parameter sequence from the selected position information.
報とから動きパラメータ列を生成する方式であって、 前記指標が表す所定の動作の軌跡における定時間間隔の
位置情報を生成する手段と、 前記生成された位置情報に、前記現在の位置情報を用い
て後置位置情報を付加する手段と、 前記後置位置情報が付加された定時間間隔の位置情報
と、前記現在の位置情報とのいずれかを排他的に選択す
る手段と、 前記選択された位置情報から動きパラメータ列を生成す
る手段と、 を備えることを特徴とする動きパラメータ列生成方式。3. A method for generating a motion parameter sequence from an index indicating a predetermined operation and current position information, wherein the unit generates position information at regular time intervals in a trajectory of the predetermined operation represented by the index. Means for adding post-position information to the generated position information using the current position information; position information at a fixed time interval to which the post-position information is added; and the current position information A means for exclusively selecting any one of the following: and a means for generating a motion parameter sequence from the selected position information.
報とから動きパラメータ列を生成する方式であって、 前記指標が表す所定の動作の軌跡における定時間間隔の
位置情報を生成する手段と、 前記生成された位置情報に、選択された位置情報を用い
て前置位置情報を付加する手段と、 前記前置位置情報が付加された定時間間隔の位置情報
に、前記現在の位置情報を用いて後置位置情報を付加す
る手段と、 前記前置位置情報と前記後置位置情報とが付加された定
時間間隔の位置情報と、前記現在の位置情報とのいずれ
かを排他的に選択する手段と、 前記選択された位置情報から動きパラメータ列を生成す
る手段と、 を備えることを特徴とする動きパラメータ列生成方式。4. A method for generating a motion parameter sequence from an index indicating a predetermined operation and current position information, wherein the position information is generated at regular time intervals in a trajectory of the predetermined operation represented by the index. Means for adding prefix position information to the generated position information using the selected position information; and position information at a fixed time interval to which the prefix position information is added, the current position information Means for adding post-position information using, the position information at a fixed time interval to which the pre-position information and the post-position information are added, or any of the current position information exclusively A method for generating a motion parameter sequence, comprising: means for selecting; and means for generating a motion parameter sequence from the selected position information.
現する方式であって、 前記指標と現在の位置情報とから、前記指標で指定され
た動作を表現する動きパラメータ列を生成する、請求項
1から請求項4のいずれか一に記載の動きパラメータ列
生成方式と、 前記生成された動きパラメータから現在位置情報を算出
する手段と、 前記生成された動きパラメータから動画像を再現する手
段と、 を備えることを特徴とする動画像再現方式。5. A method for reproducing a moving image from an index instructing a predetermined operation, comprising: generating a motion parameter sequence expressing an operation specified by the index from the index and current position information; 5. The motion parameter sequence generation method according to claim 1, a unit that calculates current position information from the generated motion parameters, and a unit that reproduces a moving image from the generated motion parameters. 6. A moving picture reproduction method, comprising:
する指標とから、動画像を符号化する符号化器と、該符
号化器からの出力を入力として動画像を再現する復号器
とを備えてなる動画像の符号化復号方式であって、 前記符号化器が、前記原信号から動きパラメータを抽出
する手段と、 前記抽出された動きパラメータから現在位置情報を算出
する手段と、 前記指標と、前記算出された現在位置情報と、から動き
パラメータ列を生成する請求項1から請求項4のいずれ
か一記載の動きパラメータ列生成方式と、 を備え、 前記復号器が、前記生成された動きパラメータから動画
像を再現する手段を備えることを特徴とする動画像の符
号化復号方式。6. An encoder for encoding a moving image from an original signal including motion information and an index for instructing a predetermined operation, and a decoder for reproducing the moving image with an output from the encoder as an input. An encoding and decoding method for a moving image, comprising: a unit for extracting a motion parameter from the original signal; and a unit for calculating current position information from the extracted motion parameter. 5. The motion parameter sequence generation method according to claim 1, wherein a motion parameter sequence is generated from the index and the calculated current position information. 6. A moving image encoding / decoding method, comprising: means for reproducing a moving image from a set motion parameter.
する指標とから、動画像を符号化する符号化器と、該符
号化器からの出力を入力として動画像を再現する復号器
を備えてなる動画像の符号化復号方式であって、 前記符号化器が、前記原信号から動きパラメータを抽出
する手段と、 前記抽出された動きパラメータと前記指標とを多重化し
て符号とする手段と、 を備え、 前記復号器が、前記多重化された符号から、動きパラメ
ータと、所定の動作を指示する指標と、を分離する手段
と、 前記分離された動きパラメータから現在位置情報を算出
する手段と、 前記分離された指標と、前記算出された現在位置情報
と、から動きパラメータ列を生成する手段と、 前記生成された動きパラメータから動画像を再現する手
段と、 を備えることを特徴とする動画像の符号化復号方式。7. An encoder for encoding a moving image from an original signal including motion information and an index for instructing a predetermined operation, and a decoder for reproducing the moving image by using an output from the encoder as an input. An encoding and decoding method for a moving image, comprising: means for extracting a motion parameter from the original signal; and multiplexing the extracted motion parameter and the index to generate a code. Means for separating a motion parameter and an index indicating a predetermined operation from the multiplexed code, and calculating current position information from the separated motion parameter. Means for generating a motion parameter sequence from the separated indices and the calculated current position information, and means for reproducing a moving image from the generated motion parameters. Encoding and decoding system of the video to symptoms.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5694396A JP2825079B2 (en) | 1996-02-20 | 1996-02-20 | Moving image generation method and encoding / decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5694396A JP2825079B2 (en) | 1996-02-20 | 1996-02-20 | Moving image generation method and encoding / decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09233472A JPH09233472A (en) | 1997-09-05 |
JP2825079B2 true JP2825079B2 (en) | 1998-11-18 |
Family
ID=13041637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5694396A Expired - Lifetime JP2825079B2 (en) | 1996-02-20 | 1996-02-20 | Moving image generation method and encoding / decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2825079B2 (en) |
-
1996
- 1996-02-20 JP JP5694396A patent/JP2825079B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09233472A (en) | 1997-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9924201B2 (en) | System and method of filtering noise | |
KR101387212B1 (en) | System and method for generating and playing three dimensional image files based on two dimensional image media standards | |
KR100464075B1 (en) | Video highlight generating system based on scene transition | |
US8488666B2 (en) | Method of content adaptive video encoding | |
US10341654B1 (en) | Computing device for content adaptive video decoding | |
EP1956839A1 (en) | Recording device, reproduction device, recording method, recording program, and computer-readable recording medium | |
EP1763253A3 (en) | Moving picture decoding method and device | |
EP0771117A3 (en) | Method and apparatus for encoding and decoding a video signal using feature point based motion estimation | |
CN107251551B (en) | Image processing device, image capturing apparatus, image processing method, and storage medium | |
WO2004093468A1 (en) | Image file creation device and image file reproduction device | |
KR20000068560A (en) | Progressive image signal transmitter, progressive image signal receiver and, medium | |
KR20000011716A (en) | Coding apparatus and coding Method, Decoding apparatus and Decoding Method, Information processing apparatus and Information processing method and providing medium | |
JP2825079B2 (en) | Moving image generation method and encoding / decoding method | |
JP4032122B2 (en) | Video editing apparatus, video editing program, recording medium, and video editing method | |
JPH09219836A (en) | Image information recording method and image compositing device | |
EP1643764A1 (en) | Video reproducing apparatus | |
US5657415A (en) | Apparatus for reproducing moving pictures from motion parameters and moving picture coding and decoding system | |
US8331757B2 (en) | Time code processing apparatus, time code processing method, program, and video signal playback apparatus | |
JPH08293157A (en) | Recording and reproducing method for variable frame length high efficiency coded data | |
JP2000175149A (en) | Video detector and summarized video image production device | |
JP4265482B2 (en) | Image reproducing apparatus and image reproducing method | |
JP6360281B2 (en) | Synchronization information generating apparatus and program thereof, synchronous data reproducing apparatus and program thereof | |
JP4154799B2 (en) | Compressed video editing apparatus and storage medium | |
JP2669354B2 (en) | Generating and updating representative video and encoding / decoding of video | |
JPH10294943A (en) | Video signal encoding system, video signal encoder, video signal decoding system and video signal decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980811 |