JP3055152B2 - Method and apparatus for encoding / decoding moving image signal - Google Patents
Method and apparatus for encoding / decoding moving image signalInfo
- Publication number
- JP3055152B2 JP3055152B2 JP12520290A JP12520290A JP3055152B2 JP 3055152 B2 JP3055152 B2 JP 3055152B2 JP 12520290 A JP12520290 A JP 12520290A JP 12520290 A JP12520290 A JP 12520290A JP 3055152 B2 JP3055152 B2 JP 3055152B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- signal
- image signal
- encoding
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、帯域圧縮技術を用いた動画像信号の符号化
・復号化方法およびその符号化・復号化装置に関する。Description: TECHNICAL FIELD The present invention relates to a moving picture signal encoding / decoding method using a band compression technique and an encoding / decoding apparatus therefor.
（従来の技術） 従来の帯域圧縮技術を用いた動画像信号の符号化方式
としては、たとえば1989年電子情報通信学会春季全国大
会、資料番号Ｄ−233に記載の「ISDN対応カラー動画像
テレビ電話装置」などが知られている。この符号化方式
は、まず画面内から顔領域を抽出してマップを作成す
る。そして、画像符号化部でフレーム間フレーム内適応
予測を行い、この時もし顔領域であれば最終段まで符号
化を行い、それ以外の領域であれば１つ前の段階で符号
化を止めることにより符号量を減らしている。(Prior Art) As an encoding method of a moving picture signal using a conventional band compression technique, for example, an "ISDN-compatible color moving picture videophone" described in Document No. D-233, 1989, IEICE Spring National Convention. Devices "are known. In this encoding method, a face area is first extracted from a screen to create a map. Then, the image coding unit performs inter-frame intra-frame adaptive prediction. At this time, if the area is a face area, the coding is performed up to the last stage. If the area is other than that, the coding is stopped at the previous stage. To reduce the code amount.
（発明が解決しようとする課題） しかしながら上述した符号化式では、顔以外の背景の
部分も粗く符号化するから背景部分の余計な画像により
無駄な情報が発生してしまう。また、連続する画面間に
おいて背景部分から顔部分に変化したとすると、粗い符
号化から細かい符号化に変るため、予測誤差信号がかな
り発生してしまい、無駄な情報を符号化することになっ
てしまう。(Problems to be Solved by the Invention) However, in the above-described coding method, a background portion other than the face is roughly coded, so that unnecessary information is generated by an unnecessary image of the background portion. Also, if the background changes from a background portion to a face portion between successive screens, the coding changes from coarse coding to fine coding, so that a considerable amount of prediction error signal is generated, and unnecessary information is coded. I will.
（課題を解決するための手段） 本発明の動画像信号の符号化方法は、入力する動画像
信号の各画面内の相関および各画面間の相関を利用して
画面内のある定められた領域を符号化する動画像信号の
符号化方法において、前記定められた領域内に存在する
被写体の各画面における動きの方向量を検出するにあた
り、画面を予め定められた複数画素からなるブロックに
分割し、予め定められた領域内でブロック毎に画面間で
の動きを示すベクトルを求め、求められた動ベクトルの
発生頻度を調べ、発生頻度が最も高いベクトルの値を代
表動ベクトルとし、代表動ベクトルに従って画面内にお
ける定められた領域の位置を移動して当該領域を符号化
する。(Means for Solving the Problems) The encoding method of a moving image signal of the present invention uses a correlation within each screen of a moving image signal to be input and a correlation between the respective screens to use a predetermined area within the screen. In the method of encoding a moving image signal, the screen is divided into blocks each including a plurality of predetermined pixels in detecting a direction amount of motion of each subject existing in the predetermined area on each screen. A vector indicating motion between screens is determined for each block in a predetermined area, the occurrence frequency of the determined motion vector is checked, and the value of the vector having the highest occurrence frequency is defined as a representative motion vector, and the representative motion vector is determined. , The position of the determined area in the screen is moved to encode the area.
本発明の動画像信号の復号化方法は、入力する動画像
信号の各画面内の相関および各画面間の相関を利用して
画面内のある定められた領域を符号化した符号化信号を
各画面内の相関および各画面間の相関を利用して復号化
し、復号化した前記画面内のある定められた領域の画像
信号で表される画像を予め定められた大きさに拡大す
る。The moving picture signal decoding method of the present invention uses a correlation in each screen of a moving picture signal to be input and a correlation between the respective screens to convert a coded signal obtained by coding a predetermined region in the screen into each coded signal. The decoding is performed using the correlation within the screen and the correlation between the screens, and the image represented by the image signal of the decoded predetermined area in the screen is enlarged to a predetermined size.
本発明の動画像信号の符号化装置は、入力する動画像
信号を１画面分蓄えて外部から与えられる読み出しアド
レス信号が示す前記蓄えた動画像信号の１画面における
ある定められた領域の画像信号を出力する記憶手段と、
該記憶手段から出力される画像信号と前記入力動画像信
号とを入力して該２つの信号がそれぞれ表す２つの画面
間における各ブロックの動きの方向量を検出する検出手
段と、前記動きの方向量の頻度分布を測定して最も発生
頻度の高い動きの方向量を決定する頻度分布測定手段
と、該頻度分布計測手段から出力される動きの方向量で
入力する動画像信号の１画面の予め定めてある領域の位
置を変更し、該変更した領域を示す読み出しアドレス信
号を前記記憶手段に出力するアドレス制御手段と、前記
記憶手段から出力される画像信号を直交変換、動き補償
等で符号化する符号化手段とを備える。A moving picture signal encoding apparatus according to the present invention stores an input moving picture signal for one screen, and an image signal in a predetermined area of one screen of the stored moving picture signal indicated by a read address signal supplied from outside. Storage means for outputting
Detecting means for inputting an image signal output from the storage means and the input moving image signal and detecting a direction amount of movement of each block between two screens respectively represented by the two signals; Frequency distribution measuring means for measuring the frequency distribution of the amount and determining the direction amount of the motion with the highest frequency of occurrence, and a method for pre-setting one screen of a moving image signal input with the direction amount of the motion output from the frequency distribution measuring means. Address control means for changing the position of a predetermined area and outputting a read address signal indicating the changed area to the storage means, and encoding an image signal output from the storage means by orthogonal transformation, motion compensation, etc. Encoding means.
本発明の動画像信号の復号化装置は、前述した動画像
信号の符号化装置から出力される各画面におけるある定
められた領域の符号化信号を入力し、該符号化信号を逆
直交変換、動き補償等で復号化する復号化手段と、該復
号化手段で復号化された動画像信号に予め定めてある画
素補間を施して出力する補間手段とを備える。The moving picture signal decoding apparatus of the present invention inputs a coded signal of a predetermined area in each screen output from the moving picture signal coding apparatus described above, and performs an inverse orthogonal transform on the coded signal. A decoding unit for decoding by motion compensation or the like, and an interpolating unit for performing a predetermined pixel interpolation on the moving image signal decoded by the decoding unit and outputting the result.
（作用） テレビ電話などでは、話者の顔の部分をおもに注視す
ることから、背景部分を削除し、おもに顔の部分を符号
化すれば背景からの無駄な情報発生を取除くことが簡単
にできる。符号化にあたっては、たとえば第４図に示す
ように、話者の顔を含む領域にあたる画面の中央部分に
水平方向にｈ画素、垂直方向ｖラインのウインドウを定
め、斜線で示された背景部分の画像は削除し、符号化を
行わない。このときウインドウの位置が固定であるこ
と、話者が働いた時に被写体がウインドウから外れてし
まうことがある。従って、話者の動きに合わせてウイン
ドウを移動させることが必要になる。ウインドウの移動
には、以下に示す方法を用いる。(Effect) In videophones, etc., since the face of the speaker is mainly watched, if the background is deleted and the face is mainly coded, useless information can be easily removed from the background. it can. In encoding, for example, as shown in FIG. 4, a window of h pixels in the horizontal direction and a window of v lines in the vertical direction is defined in the center of the screen corresponding to the area including the face of the speaker, and the background portion indicated by oblique lines is defined. The image is deleted and no encoding is performed. At this time, the position of the window may be fixed, and the subject may fall out of the window when the speaker works. Therefore, it is necessary to move the window in accordance with the movement of the speaker. The following method is used to move the window.
まず、話者の顔を含む領域が画面間で、どの方向にど
れだけ動いたかを把握することが必要になる。動きの方
向および動きの量を把握するには、動き補償の原理を利
用することができる。動き補償の方法としては、たとえ
ば二宮らによる、“「動き補償フレーム間符号化方式」
信学論（Ｂ）J63−Ｂ、11、pp.1140−1147、昭51−11"
が知られている。この方法は、１枚の画面の画像を小さ
なブロックに分割し、各ブロック毎に、記憶されている
前画面の画像の中で最も高い相関をもつブロックを算出
し、該当するブロック間の位置の差（動ベクトル）と、
この該当するブロック間で空間的に同じ位置にある画素
の振幅値の差（動き補償予測誤差）を伝送する方法であ
る。First, it is necessary to grasp in which direction and how much the area including the face of the speaker has moved between screens. In order to grasp the direction and amount of movement, the principle of motion compensation can be used. As a method of motion compensation, for example, Ninomiya et al.
IEICE (B) J63-B, 11, pp. 1140-1147, 51-11 "
It has been known. In this method, one screen image is divided into small blocks, and for each block, a block having the highest correlation among the stored images of the previous screen is calculated, and the position between the corresponding blocks is calculated. Difference (dynamic vector),
This is a method of transmitting the difference (motion compensation prediction error) between the amplitude values of the pixels at the same position spatially between the corresponding blocks.
本発明においては、前画面の話者の顔を含む領域が、
現画面のどの位置に移動したかを求めて現画面における
ウインドウの位置を移動させる。従って、前画面から現
画面の間に話者がどの方向に、どれだけ動いたかを示す
動ベクトルを求めることになる。動ベクトルを求めるに
は、第５図の時刻ｔにおける前画面の話者の顔を含む領
域を複数のブロックに分割し、該各ブロックが時刻t1に
おける現画面の画像の中で最も高い相関を示す位置を算
出し、各ブロックの動ベクトルを求める。この時、話者
の動きは平行移動だけに限らず回転なども含み、複雑な
動きとなることもある。従って、各ブロックの動ベクト
ルは、少しづつ異なる場合があり、ブロック毎の動ベク
トルでそのブロックを移動させるとブロック単位でデコ
ボコが発生し綺麗なウインドウを描けなくなることがあ
る。従って、ウインドウを綺麗に移動させるためには、
ウインドウ内の話者の動きを１つの動きで代表し、剛体
の運動に近似する必要がある。In the present invention, the region including the face of the speaker on the previous screen is
The position of the window on the current screen is moved to find the position on the current screen that has been moved. Therefore, a motion vector indicating the direction and how much the speaker has moved between the previous screen and the current screen is obtained. In order to obtain the motion vector, the area including the face of the previous screen at time t in FIG. 5 is divided into a plurality of blocks, and each block has the highest correlation among the images of the current screen at time t1. The position indicated is calculated, and the motion vector of each block is obtained. At this time, the movement of the speaker may be a complicated movement including not only the parallel movement but also the rotation. Therefore, the motion vector of each block may be slightly different, and if the block is moved by the motion vector of each block, a rough window may be generated on a block basis and a beautiful window may not be drawn. Therefore, in order to move the window neatly,
It is necessary to represent the movement of the speaker in the window by one movement and to approximate the movement of a rigid body.
話者の動きを剛体の動きに近似するためには、ウイン
ドウ内の動きを最も良く表す代表動ベクトルを推定する
ことが鍵となる。代表動ベクトルを求めるためには、ウ
インドウ内の各ブロックの動ベクトルの発生頻度の分布
を取り、発生頻度の最も高い動ベクトルを代表動ベクト
ルとする。この様にして求めた代表動ベクトルによりウ
インドウを移動させる。前画面から現画面へのウインド
ウの移動は、第５図において前画面のウインドウの左上
の角の位置を原点とすると、その原点を求めた代表動ベ
クトルvt1によって現画面上に移動することにより、現
画面のウインドウの原点の位置を決定することができ
る。そしてウインドウ内の画像信号を読み出すには、ウ
インドウの左上角の原点から水平方向にｈ画素読み出す
毎に、水平方向の読み出しアドレスをリセットし垂直方
向の読み出しアドレスを１進める。この様にしてウイン
ドウ内を走査し、話者の顔を含む領域を符号器に与え
る。符号器は、ウインドウ処理された信号を直交変換、
動き補償などを用いて符号化して冗長度を低減して伝送
する。In order to approximate the movement of the speaker to the movement of the rigid body, the key is to estimate a representative motion vector that best represents the movement in the window. In order to obtain the representative motion vector, the distribution of the frequency of occurrence of the motion vector of each block in the window is obtained, and the motion vector having the highest frequency of occurrence is set as the representative motion vector. The window is moved by the representative motion vector obtained in this manner. The window can be moved from the previous screen to the current screen by moving the window to the current screen by the representative motion vector vt1 whose origin is the upper left corner of the window of the previous screen in FIG. The position of the origin of the window on the current screen can be determined. To read the image signal in the window, every time h pixels are read in the horizontal direction from the origin at the upper left corner of the window, the horizontal read address is reset and the vertical read address is advanced by one. In this manner, the window is scanned, and an area including the speaker's face is provided to the encoder. The encoder orthogonally transforms the windowed signal,
The coding is performed using motion compensation or the like to reduce the degree of redundancy and transmitted.
次に、復号画像の処理方法について説明する。復号器
は、符号器でウインドウ処理され、直交変換、動き補償
などを用いて符号化されて伝送されてきた信号を、逆直
交交換、動き補償などを用いて復号化し、ウインドウ処
理された画像（以下ウインドウ画像と呼ぶ）を再生す
る。再生されたウインドウ画像は、第６図（ａ）に示す
ようにそのままディスプレイに表示すると、ディスプレ
イの1/nの大きさに表示されることになる。この状態で
は、復号画像が小さく見にくいので補間処理により第６
図（ｂ）に示す様なウインドウ画像の拡大を行う。例え
ばウインドウ画像を水平垂直に２倍に拡大する場合を例
に挙げて、第７図を参照しながら説明する。第７図の上
の部分にウインドウ画像を、第７図の下の部分に拡大画
像の補間方法を示す。補間を行うにあたってウインドウ
画像（復号画像）を水平方向に１画素おきに並べ、垂直
方向にも１ラインおきに並べる。例えば画素１−１と画
素１−２の間に補間される画素１−12は、画素１−１と
画素１−２の水平方向の２画素の平均値により補間され
る。画素２−１と画素２−２の間に補間される画素２−
12は、画素１−12と同様に画素２−１と画素２−２の水
平方向の２画素の平均値により補間される。画素１−１
と画素２−１の垂直方向の２画素の間のラインに補間さ
れる画素12−１は、画素１−１画素２−１の垂直方向の
２画素の平均値により補間される。画素１−２と画素２
−２の垂直方向の２画素の間のラインに補間される画素
12−２も画素12−１と同様に、画素１−２と画素２−２
の垂直方向の２画素の平均値により補間される。補間画
素により構成されるラインの画素12−12は、画素１−
１、画素１−２、画素２−１、画素２−２の４画素の平
均値により補間される。この様にウインドウ画像に補間
処理を加え、視覚的にみて滑らかで良好な拡大画像を得
る。Next, a method of processing a decoded image will be described. The decoder decodes a signal that has been window-processed by the encoder and has been encoded and transmitted using orthogonal transform, motion compensation, and the like, using inverse orthogonal exchange, motion compensation, and the like, and has performed a window-processed image ( (Hereinafter referred to as a window image). When the reproduced window image is directly displayed on the display as shown in FIG. 6 (a), it is displayed at 1 / n the size of the display. In this state, the decoded image is small and difficult to see.
The window image is enlarged as shown in FIG. For example, a case where a window image is enlarged twice horizontally and vertically will be described with reference to FIG. The upper part of FIG. 7 shows a window image, and the lower part of FIG. 7 shows a method of interpolating an enlarged image. In performing the interpolation, the window images (decoded images) are arranged every other pixel in the horizontal direction and every other line in the vertical direction. For example, a pixel 1-12 interpolated between the pixel 1-1 and the pixel 1-2 is interpolated by an average value of two horizontal pixels of the pixel 1-1 and the pixel 1-2. Pixel 2- which is interpolated between pixel 2-1 and pixel 2-2
12 is interpolated by an average value of two pixels in the horizontal direction of the pixel 2-1 and the pixel 2-2 in the same manner as the pixel 1-12. Pixel 1-1
The pixel 12-1 to be interpolated into the line between the two vertical pixels of the pixel 2-1 is interpolated by the average value of the two vertical pixels of the pixel 1-1 and the pixel 2-1. Pixel 1-2 and Pixel 2
-2 pixels interpolated on a line between two vertical pixels
The pixel 12-2 and the pixel 2-2 are also similar to the pixel 12-1.
Are interpolated by the average value of two pixels in the vertical direction. Pixels 12-12 of the line formed by the interpolation pixels are
Interpolation is performed based on the average value of four pixels 1, 1, 1-2, 2-1 and 2-2. In this way, interpolation processing is applied to the window image to obtain a visually smooth and favorable enlarged image.
（実施例） 次に、図面を参照して本発明について説明する。Next, the present invention will be described with reference to the drawings.
第１図は本発明の動画像信号の符号化装置の一実施例
を示すブロック図である。入力する動画像信号101は、
フレームメモリ１およびベクトル検出器２に供給され
る。フレームメモリ１は入力する動画像信号101を１画
面分書込み、およそ１フレーム時間遅延させる。そし
て、アドレス制御回路４から供給されるアドレス制御信
号102によって示される第４図に示されるようなウイン
ドウ内の画像を読み出し、その画像信号103をベクトル
検出器２および符号器５に供給する。ベクトル検出器２
は、フレームメモリ１から供給される前画面のウインド
ウ内画像信号103を、複数の画素から成るブロックに分
割してそのブロック毎に、入力する現フレームの動画像
信号101の中で最も相関をもつブロックを算出し、該当
するブロック間の位置の差を求めてこれを動ベクトルと
する。ベクトル検出器２で求められたウインドウ内の各
ブロックの動ベクトル104は、頻度分布測定器３に供給
される。頻度分布測定器３は、ベクトル検出器３から供
給される動ベクトル104の発生頻度を計数し、最も発生
頻度が高かった動ベクトルを代表動ベクトルとする。頻
度分布測定器３で求められた代表動ベクトル105は、ア
ドレス制御回路４に供給される。アドレス制御回路４
は、第４図に示されるような予め定められた水平方向ｈ
画素、垂直方向ｖラインのウインドウ画像を読み出すた
めのアドレス信号を発生する。初期状態では、予め画面
の中央部分にウインドウを定めており、読み出しアドレ
ス信号を発生する。そして、次のフレームからは、頻度
分布測定器３から供給される代表動ベクトルに従って、
ウインドウの原点を移動させ、新たなウインドウ画像読
み出しアドレス信号を発生する。アドレス制御回路４で
発生したアドレス制御信号102は、フレームメモリ１に
供給される。符号器５は、フレームメモリ１から供給さ
れるウインドウの画像信号103を、直交変換、動き補償
などを用いて符号化して冗長性を低減する。この時の動
き補償には、前記ベクトル検出器２で求められた動ベク
トルを用いることも勿論可能である。符号器５で符号化
され冗長度が低減されたウインドウ画像信号106は、伝
送路に出力される。FIG. 1 is a block diagram showing an embodiment of a moving picture signal encoding apparatus according to the present invention. The moving image signal 101 to be input is
It is supplied to the frame memory 1 and the vector detector 2. The frame memory 1 writes the input moving image signal 101 for one screen and delays it by about one frame time. Then, an image in a window as shown in FIG. 4 indicated by the address control signal 102 supplied from the address control circuit 4 is read, and the image signal 103 is supplied to the vector detector 2 and the encoder 5. Vector detector 2
Divides the in-window image signal 103 of the previous screen supplied from the frame memory 1 into blocks composed of a plurality of pixels, and for each of the blocks, has the highest correlation among the input moving image signals 101 of the current frame. A block is calculated, and a difference in position between the corresponding blocks is obtained, and this is set as a motion vector. The motion vector 104 of each block in the window obtained by the vector detector 2 is supplied to the frequency distribution measuring device 3. The frequency distribution measuring device 3 counts the occurrence frequency of the motion vector 104 supplied from the vector detector 3, and sets the motion vector having the highest occurrence frequency as the representative motion vector. The representative motion vector 105 obtained by the frequency distribution measuring device 3 is supplied to the address control circuit 4. Address control circuit 4
Is a predetermined horizontal direction h as shown in FIG.
The pixel generates an address signal for reading a window image of a vertical v line. In an initial state, a window is defined in the center of the screen in advance, and a read address signal is generated. Then, from the next frame, according to the representative motion vector supplied from the frequency distribution measuring device 3,
The origin of the window is moved, and a new window image read address signal is generated. The address control signal 102 generated by the address control circuit 4 is supplied to the frame memory 1. The encoder 5 encodes the image signal 103 of the window supplied from the frame memory 1 using orthogonal transformation, motion compensation, and the like to reduce redundancy. For the motion compensation at this time, it is of course possible to use the motion vector obtained by the vector detector 2. The window image signal 106 coded by the encoder 5 and reduced in redundancy is output to the transmission path.
次に、第２図および第３図を参照して本発明の復号化
装置について説明する。第２図は本発明の動画像信号の
復号化装置の一実施例を示すブロック図であり、符号化
されたウインドウ画像信号106が復号器６に供給され
る。復号器６は、符号化された冗長度が低減されたウイ
ンドウ画像信号106を逆直交変換、動き補償などを用い
て、もとの時間軸に復元する。復号器６で復号化された
ウインドウの画像信号107は、補間回路７に供給され、
このとき復号器７は、第７図の拡大画像に示すように、
水平方向には１画素おきに復号信号を出力し、垂直方向
にも１ラインおきに復号化されたウインドウ画像信号を
出力する。復号器６は、１フレーム毎にウインドウ画像
の先頭のタイミングでリセット信号108を発生し、該リ
セット信号108を補間回路７に供給する。Next, the decoding apparatus of the present invention will be described with reference to FIGS. FIG. 2 is a block diagram showing an embodiment of a moving picture signal decoding apparatus according to the present invention, in which an encoded window picture signal 106 is supplied to a decoder 6. The decoder 6 restores the coded window image signal 106 with reduced redundancy to the original time axis using inverse orthogonal transform, motion compensation, or the like. The window image signal 107 decoded by the decoder 6 is supplied to the interpolation circuit 7,
At this time, as shown in the enlarged image of FIG.
A decoded signal is output every other pixel in the horizontal direction, and a decoded window image signal is output every other line in the vertical direction. The decoder 6 generates a reset signal 108 at the start timing of the window image for each frame, and supplies the reset signal 108 to the interpolation circuit 7.
第３図は復号化されたウインドウ画像を水平垂直に２
倍に拡大する場合の補間回路７の一構成例を示すブロッ
ク図である。復号器６から供給される復号化されたウイ
ンドウの画像信号107は、Ｄタイプフリップフロップ7
1、加算器73およびラインメモリ79に供給される。Ｄタ
イプフリップフロップ71は、復号器６から供給される画
像信号107を１サンプル遅延させ、Ｄタイプフリップフ
ロップ72に供給する。Ｄタイプフリップフロップ72もＤ
タイプフリップフロップ71から供給された信号を１サン
プル遅延させ、加算器73,83および切換器86に供給す
る。加算器73は、復号器６から供給される画像信号107
と、Ｄタイプフリップフロップ72から供給される信号と
を加算する。加算器73の出力信号は、減衰器74に供給さ
れる。減衰器74は、加算器73から供給される信号が加算
処理によりもとの信号の２倍の振幅になっているから、
振幅を1/2に減衰させて水平方向の補間信号（第７図の
１−12、１−23、２−12など）を得る。減衰器74で得ら
れた水平方向の補間信号は、Ｄタイプフリップフロップ
75および加算器76に供給される。Ｄタイプフリップフロ
ップ75は、減衰器74から供給される補間信号を１サンプ
ル遅延させて、切換器86に供給する。ラインメモリ79は
復号器６から供給される画像信号107を１ライン時間遅
延させ、Ｄタイプフリップフロップ80および加算器82に
供給する。Ｄタイプフリップフロップ80は、ラインメモ
リ79から供給される信号１サンプル遅延し、Ｄタイプフ
リップフロップ81に供給する。Ｄタイプフリップフロッ
プ81は、Ｄタイプフリップフロップ80から供給される信
号を１サンプル遅延し、加算器82および加算器83に供給
する。加算器82は、ラインメモリ79から供給される信号
と、Ｄタイプフリップフロップ81から供給される信号と
を加算し、２倍の振幅をもった前ラインの補間信号を得
る。加算器82の出力信号である２倍の振幅をもった前ラ
インの補間信号は、減衰器78に供給される。減衰器78
は、加算器82から供給される２倍の振幅をもった前ライ
ンの補間信号の振幅を、1/2に減衰させて前ラインの水
平方向の補間信号を得る。減衰器78の出力信号である前
ラインの水平方向の補間信号は、加算器76に供給され
る。加算器76は、減衰器74から供給される現ラインの水
平方向の補間信号と、減衰器78から供給される前ライン
の水平方向の補間信号とを加算し、２倍の振幅をもった
補間ラインの信号を得る。加算器76の出力信号である２
倍の振幅をもった補間ラインの信号は、減衰器77に供給
される。減衰器77は、加算器76から供給される信号の振
幅を1/2に減衰し、補間ラインの信号（第７図の12−1
2、12−13など）を得る。減衰器77の出力信号は、Ｄタ
イプフリップ84に供給される。Ｄタイプフリップフロッ
プ84は、減衰器77から供給される信号を１サンプル遅延
して、切換器86に供給する。加算器83はＤタイプフリッ
プフロップ72から供給される現ラインの信号と、Ｄタイ
プフリップフロップ81から供給される前ラインに信号と
を加算し、２倍の振幅をもった補間ラインの信号を得
る。加算器83の出力信号は減衰器85に供給される。減衰
器85は、加算器83から供給される信号の振幅を1/2に減
衰し、補間ラインの信号（第７図の12−1,12−２など）
を得る。減衰器85の出力信号である補間ラインの信号
は、切換器86に供給される。切替信号発生器70は、復号
画素あるいは補間画素を切替えて出力させるための切替
信号のパターンを、予め定めて記憶しておく。例えば、
第７図の画素１−１を出力する時には、第３図のＤタイ
プフリップフロップ72から出力される復号信号に切替、
第７図の画素１−12を出力する時には、第３図のＤタイ
プフリップフロップ75から出力される水平方向の補間信
号に切替る。そして、第７図の画素12−１を出力する時
には第３図の減衰器85から出力される垂直方向の補間信
号に切替、第７図の画素12−12を出力する時には第４図
のＤタイプフリップフロップ84から出力される垂直水平
方向の補間信号に切替る。そして切替信号発生器70は、
復号器６からリセット信号108が与えられると、復号画
素または補間画素を切替えて出力させるための切替信号
を先頭画素の位置に戻し、１画素毎に復号信号あるい
は、補間信号を切替える切替信号を発生する。切替信号
発生器70の出力信号である切替信号は、切換器86に供給
される。切換器86は、切替信号発生器70から供給される
切替信号に従って、画素毎に復号信号または水平補間信
号、垂直補間信号、水平垂直補間信号のいずれの内の１
つを切替え選択して出力する。FIG. 3 shows the decoded window image in two horizontal and vertical directions.
FIG. 3 is a block diagram showing an example of a configuration of an interpolation circuit 7 in a case where the magnification is doubled. The decoded window image signal 107 supplied from the decoder 6 is a D-type flip-flop 7
1, is supplied to the adder 73 and the line memory 79. The D-type flip-flop 71 delays the image signal 107 supplied from the decoder 6 by one sample and supplies it to the D-type flip-flop 72. D type flip-flop 72 is also D
The signal supplied from the type flip-flop 71 is delayed by one sample and supplied to the adders 73 and 83 and the switch 86. The adder 73 outputs the image signal 107 supplied from the decoder 6.
And the signal supplied from the D-type flip-flop 72. The output signal of the adder 73 is supplied to the attenuator 74. Since the signal supplied from the adder 73 has twice the amplitude of the original signal due to the addition processing,
The amplitude is attenuated by half to obtain horizontal interpolation signals (1-12, 1-23, 2-12, etc. in FIG. 7). The horizontal interpolation signal obtained by the attenuator 74 is a D-type flip-flop.
75 and an adder 76. The D-type flip-flop 75 delays the interpolated signal supplied from the attenuator 74 by one sample and supplies it to the switch 86. The line memory 79 delays the image signal 107 supplied from the decoder 6 by one line time and supplies it to the D-type flip-flop 80 and the adder 82. The D-type flip-flop 80 delays the signal supplied from the line memory 79 by one sample and supplies it to the D-type flip-flop 81. The D-type flip-flop 81 delays the signal supplied from the D-type flip-flop 80 by one sample and supplies it to the adder 82 and the adder 83. The adder 82 adds the signal supplied from the line memory 79 and the signal supplied from the D-type flip-flop 81 to obtain an interpolation signal of the previous line having a double amplitude. The interpolation signal of the previous line having twice the amplitude, which is the output signal of the adder 82, is supplied to the attenuator 78. Attenuator 78
Attenuates the amplitude of the interpolation signal of the previous line having the double amplitude supplied from the adder 82 by half to obtain the interpolation signal of the previous line in the horizontal direction. The horizontal interpolation signal of the previous line, which is the output signal of the attenuator 78, is supplied to the adder 76. The adder 76 adds the horizontal interpolation signal of the current line supplied from the attenuator 74 and the horizontal interpolation signal of the previous line supplied from the attenuator 78, and performs interpolation with double amplitude. Get the signal of the line. 2 which is the output signal of the adder 76
The signal of the interpolation line having the double amplitude is supplied to the attenuator 77. The attenuator 77 attenuates the amplitude of the signal supplied from the adder 76 by half, and outputs the signal of the interpolation line (12-1 in FIG. 7).
2, 12-13). The output signal of the attenuator 77 is supplied to a D-type flip 84. The D-type flip-flop 84 delays the signal supplied from the attenuator 77 by one sample and supplies the delayed signal to the switch 86. The adder 83 adds the signal of the current line supplied from the D-type flip-flop 72 to the signal of the previous line supplied from the D-type flip-flop 81 to obtain a signal of an interpolation line having a double amplitude. . The output signal of the adder 83 is supplied to the attenuator 85. The attenuator 85 attenuates the amplitude of the signal supplied from the adder 83 by half, and outputs the signal of the interpolation line (such as 12-1 and 12-2 in FIG. 7).
Get. The signal of the interpolation line, which is the output signal of the attenuator 85, is supplied to the switch 86. The switching signal generator 70 stores in advance a pattern of a switching signal for switching and outputting the decoded pixel or the interpolated pixel. For example,
When outputting the pixel 1-1 in FIG. 7, the output signal is switched to the decoded signal output from the D-type flip-flop 72 in FIG.
When the pixel 1-12 shown in FIG. 7 is output, it is switched to a horizontal interpolation signal output from the D-type flip-flop 75 shown in FIG. When the pixel 12-1 in FIG. 7 is output, the signal is switched to the vertical interpolation signal output from the attenuator 85 in FIG. 3, and when the pixel 12-12 in FIG. 7 is output, D in FIG. Switching to the vertical / horizontal interpolation signal output from the type flip-flop 84 is performed. And the switching signal generator 70
When the reset signal 108 is given from the decoder 6, the switching signal for switching and outputting the decoded pixel or the interpolation pixel is returned to the position of the top pixel, and the switching signal for switching the decoding signal or the interpolation signal is generated for each pixel. I do. The switching signal, which is the output signal of the switching signal generator 70, is supplied to the switch 86. According to the switching signal supplied from the switching signal generator 70, the switch 86 selects one of a decoded signal or one of a horizontal interpolation signal, a vertical interpolation signal, and a horizontal / vertical interpolation signal for each pixel.
Select one and output.
ウインドウ画素をｎ倍に拡大する場合には、補間画素
を生成する時に補間画素の位置によって復号画素の重み
づけを変えることにより、視覚的に良好な拡大画像を得
ることができる。In the case of enlarging the window pixel by n times, by changing the weight of the decoded pixel depending on the position of the interpolation pixel when generating the interpolation pixel, a visually favorable enlarged image can be obtained.
切換器86の出力の拡大された画像信号109は、復号化
信号として外部に出力される。The enlarged image signal 109 output from the switch 86 is output to the outside as a decoded signal.
（発明の効果） 以上に詳しく説明したように、本発明の符号化方法お
よび符号化装置によれば、テレビ電話などでおもに注視
点となる話者の顔を含む領域を、ウインドウで切出して
話者の動きを追いかけて符号化することにより、ウイン
ドウから話者がはみ出してしまうこともなく、背景など
の余計な部分から発生する無駄な情報を削除することが
でき、符号化効率を高めることができる。また本発明の
復号化方法および復号化装置によれば、符号器から送ら
れてきたウインドウ画像を視覚的に見て滑らかに拡大す
ることができ、良好な復号画像を得ることができる。(Effects of the Invention) As described in detail above, according to the encoding method and the encoding device of the present invention, a region including a face of a speaker, which is mainly a gazing point in a videophone or the like, is cut out in a window to talk. By coding after chasing the movement of the speaker, it is possible to eliminate unnecessary information generated from unnecessary parts such as the background without the speaker protruding from the window, thereby improving the coding efficiency. it can. Further, according to the decoding method and the decoding device of the present invention, the window image sent from the encoder can be visually and smoothly enlarged, and a good decoded image can be obtained.
第１図は本発明の動画像信号の符号化装置の一実施例を
示すブロック図、第２図は本発明の動画像信号の復号化
装置の一実施例を示すブロック図、第３図は第２図の実
施例における復号器６の一構成例を示すブロック図、第
４図は１枚の画面におけるウインドウを示す図、第５図
は画面間のウインドウの移動を示す図、第６図はウイン
ドウ画像の拡大を示す図、第７図はウインドウ画像の拡
大時における画素の補間を示す図である。 １……フレームメモリ、２……ベクトル検出器、３……
頻度分布測定器、４……アドレス制御回路、５……符号
器、６……復号器、７……補間回路、70……切替信号発
生器、71,72,75,80,81,84……Ｄタイプフリップフロッ
プ、73,76,82,83……加算器、74,77,78,85……減衰器、
79……ラインメモリ、86……切換器。FIG. 1 is a block diagram showing one embodiment of a moving picture signal encoding apparatus according to the present invention, FIG. 2 is a block diagram showing one embodiment of a moving picture signal decoding apparatus according to the present invention, and FIG. FIG. 4 is a block diagram showing one configuration example of the decoder 6 in the embodiment of FIG. 2, FIG. 4 is a diagram showing windows on one screen, FIG. 5 is a diagram showing movement of windows between screens, FIG. FIG. 7 is a diagram showing enlargement of a window image, and FIG. 7 is a diagram showing interpolation of pixels when the window image is enlarged. 1 ... frame memory, 2 ... vector detector, 3 ...
Frequency distribution measuring device, 4 ... Address control circuit, 5 ... Encoder, 6 ... Decoder, 7 ... Interpolation circuit, 70 ... Switching signal generator, 71,72,75,80,81,84 ... ... D-type flip-flops, 73,76,82,83 ... Adders, 74,77,78,85 ... Attenuators,
79 ... line memory, 86 ... switch.
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 9/77 Ｇ０６Ｆ 15/66 ３３０Ｃ 11/04 15/70 ４１０ (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 G06T 7/20 G06T 9/00 H04N 1/415 H04N 7/14 H04N 9/77 H04N 11/04 Continuation of the front page (51) Int.Cl. 7 identification code FI H04N 9/77 G06F 15/66 330C 11/04 15/70 410 (58) Investigated field (Int.Cl. 7 , DB name) H04N 7 / 24 G06T 7/20 G06T 9/00 H04N 1/415 H04N 7/14 H04N 9/77 H04N 11/04
Claims (6)
よび各画面間の相関を利用して画面内のある定められた
領域を符号化する動画像信号の符号化方法において、前
記定められた領域内に存在する被写体の各画面における
動きの方向量を検出するにあたり、画面を予め定められ
た複数画素からなるブロックに分割し、予め定められた
領域内でブロック毎に画面間での動きを示すベクトルを
求め、求められた動ベクトルの発生頻度を調べ、発生頻
度が最も高いベクトルの値を代表動ベクトルとし、代表
動ベクトルに従って画面内における定められた領域の位
置を移動して当該領域を符号化することを特徴とする動
画像信号の符号化方法。1. A moving image signal encoding method for encoding a predetermined area in a screen using a correlation in each screen of the input moving image signal and a correlation between the screens. In order to detect the direction of motion of the subject existing in each screen in each screen, the screen is divided into blocks each including a plurality of predetermined pixels, and each block in the predetermined area is divided between screens. A motion vector is obtained, the occurrence frequency of the obtained motion vector is checked, the value of the vector having the highest occurrence frequency is set as a representative motion vector, and the position of a predetermined area in the screen is moved according to the representative motion vector to obtain the relevant motion vector. A method for encoding a moving image signal, comprising encoding an area.
よび各画面間の相関を利用して画面内のある定められた
領域を符号化復号化する動画像信号の符号化復号化方法
において、前記定められた領域内に存在する被写体の各
画面における動きの方向量を検出するにあたり、画面を
予め定められた複数画素からなるブロックに分割し、予
め定められた領域内でブロック毎に画面間での動きを示
すベクトルを求め、求められた動ベクトルの発生頻度を
調べ、発生頻度が最も高いベクトルの値を代表動ベクト
ルとし、代表動ベクトルに従って画面内における定めら
れた領域の位置を移動して当該領域を符号化することを
特徴とする動画像信号の符号化復号化方法。2. An encoding / decoding method for a moving image signal, which encodes and decodes a predetermined area in a screen using a correlation between the input moving image signals in each screen and a correlation between the screens. In detecting the direction of motion of each subject on each screen in the predetermined area, the screen is divided into blocks each including a plurality of predetermined pixels, and each of the blocks is determined for each block within the predetermined area. A vector indicating motion between screens is obtained, the occurrence frequency of the obtained motion vector is checked, the value of the vector having the highest occurrence frequency is set as a representative motion vector, and the position of a predetermined area in the screen according to the representative motion vector is determined. A moving image signal encoding / decoding method characterized by moving and encoding the area.
び各画面間の相関を利用して画面内のある定められた領
域を符号化復号化する動画像信号の符号化復号化方法に
おいて、前記定められた領域内に存在する被写体の各画
面における動きの方向量を検出するにあたり、画面を予
め定められた複数画素からなるブロックに分割し、予め
定められた領域内でブロック毎に画面間での動きを示す
ベクトルを求め、求められた動ベクトルの発生頻度を調
べ、発生頻度が最も高いベクトルの値を代表動ベクトル
とし、代表動ベクトルに従って画面内における定められ
た領域の位置を移動して当該領域を符号化し、符号化さ
れた信号を各画面内の相関および各画面間の相関を利用
して復号化し、復号化された動画像信号に対して拡大処
理を施すことを特徴とする動画像信号の符号化復号化方
法。3. A moving picture signal coding / decoding method for coding / decoding a predetermined area in a screen using a correlation of each input moving picture signal within each picture and a correlation between each picture. In detecting the direction of movement of a subject existing in the predetermined area on each screen, the screen is divided into blocks each including a plurality of predetermined pixels, and the screen is divided into blocks in the predetermined area. The vector that indicates the motion between frames is determined, the frequency of occurrence of the determined motion vector is checked, the value of the vector with the highest frequency is set as the representative motion vector, and the position of a predetermined area in the screen is moved according to the representative motion vector. In this case, the region is coded, the coded signal is decoded by using the correlation within each screen and the correlation between each screen, and enlargement processing is performed on the decoded moving image signal. Coding and decoding method of moving image signal to.
から与えられる読み出しアドレス信号が示す前記蓄えた
動画像信号の画面におけるある定められた領域の画像信
号を出力する記憶手段と、該記憶手段から出力される画
像信号と前記入力動画像信号とを入力して該２つの信号
がそれぞれ表す２つの画面間における各ブロックの動き
の方向量を検出する検出手段と、前記動きの方向量の頻
度分布を測定して最も発生手段の高い動きの方向量を決
定する頻度分布測定手段と、該頻度分布計測手段から出
力される動きの方向量で入力する動画像信号の１画面の
予め定めてある領域の位置を変更し、該変更した領域を
示す読み出しアドレス信号を前記記憶手段に出力するア
ドレス制御手段と、前記記憶手段から出力される画像信
号を符号化する符号化手段とを備えることを特徴とする
動画像信号の符号化装置。4. A storage means for storing an input moving image signal for one screen and outputting an image signal of a predetermined area on the screen of the stored moving image signal indicated by an externally applied read address signal; Detecting means for inputting an image signal output from a storage means and the input moving image signal and detecting a direction amount of a motion of each block between two screens respectively represented by the two signals; and a direction amount of the motion Frequency distribution measuring means for measuring the frequency distribution of the motion generating means and determining the direction amount of the motion having the highest generation means, and a predetermined one screen of the moving image signal input by the direction quantity of the motion output from the frequency distribution measuring means. Address control means for changing the position of a certain area, and outputting a read address signal indicating the changed area to the storage means, and a code for encoding an image signal output from the storage means. Encoding device of the moving image signal, characterized in that it comprises a means.
装置から出力される各画面におけるある定められた領域
の符号化信号を復号化する復号化手段を備えることを特
徴とする動画像信号の符号化復号化装置。5. A moving picture, comprising: the coding device according to claim 4; and a decoding means for decoding a coded signal in a predetermined area in each screen output from the coding device. An image signal encoding / decoding device.
復号化手段で復号化された動画像信号に予め定めてある
画像補間を施して出力する補間手段を備えることを特徴
とする動画像信号の符号化復号化装置。6. An encoding / decoding apparatus according to claim 5, further comprising interpolation means for performing a predetermined image interpolation on the moving picture signal decoded by said decoding means and outputting the result. An encoding / decoding device for a moving image signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12520290A JP3055152B2 (en) | 1990-05-15 | 1990-05-15 | Method and apparatus for encoding / decoding moving image signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12520290A JP3055152B2 (en) | 1990-05-15 | 1990-05-15 | Method and apparatus for encoding / decoding moving image signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0420192A JPH0420192A (en) | 1992-01-23 |
| JP3055152B2 true JP3055152B2 (en) | 2000-06-26 |
Family
ID=14904438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12520290A Expired - Lifetime JP3055152B2 (en) | 1990-05-15 | 1990-05-15 | Method and apparatus for encoding / decoding moving image signal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3055152B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100193460B1 (en) * | 1993-08-31 | 1999-06-15 | 미쯔이 고오헤이 | Anti-theft Device |
| EP0667600B1 (en) * | 1993-08-31 | 1999-10-20 | Kubota Corporation | Antitheft device |
| EP0667601A4 (en) * | 1993-08-31 | 1996-03-27 | Kubota Kk | Antitheft device. |
| US5959532A (en) * | 1994-07-29 | 1999-09-28 | Kubota Corporation | Theft preventive apparatus and radio wave receiving signaling device |
| EP1050860A1 (en) * | 1994-07-29 | 2000-11-08 | Kubota Corporation | Radio wave receiving signaling device |
| WO1999053627A1 (en) | 1998-04-10 | 1999-10-21 | Chrimar Systems, Inc. Doing Business As Cms Technologies | System for communicating with electronic equipment on a network |
| JP2004120404A (en) * | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | Image distribution apparatus, image processing apparatus, and program |
| JP4985428B2 (en) * | 2007-02-01 | 2012-07-25 | 株式会社デンソー | Driver management device and operation management system |
| CN113496317A (en) * | 2020-03-18 | 2021-10-12 | 深圳云天励飞技术有限公司 | Multi-track collision analysis method and device, electronic equipment and storage medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2680320B2 (en) * | 1988-02-08 | 1997-11-19 | 株式会社東芝 | Videophone equipment |
-
1990
- 1990-05-15 JP JP12520290A patent/JP3055152B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0420192A (en) | 1992-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3197420B2 (en) | Image coding device | |
| US6307887B1 (en) | Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms | |
| US6035070A (en) | Encoder/decoder for coding/decoding gray scale shape data and method thereof | |
| CN111837397A (en) | Bitstream indication for error concealment in view-dependent video coding based on sub-picture bitstream | |
| JPH0714209B2 (en) | Video coding device | |
| JP3055152B2 (en) | Method and apparatus for encoding / decoding moving image signal | |
| JP2919211B2 (en) | Video frame interpolation method and coding / decoding method | |
| WO2000011612A1 (en) | Methods and apparatus for reducing the amount of buffer memory required for decoding mpeg data and for performing scan conversion | |
| JPH09275561A (en) | Video compressor and video compression method | |
| JPH0730903A (en) | Integrated memory circuit for picture processing | |
| JP2875549B2 (en) | Video encoding device and video decoding device | |
| JP3287977B2 (en) | Motion vector detecting method and apparatus and moving picture coding method and apparatus | |
| JPS63296583A (en) | Picture coding system | |
| JP2695244B2 (en) | Image signal coding apparatus, image signal decoding apparatus, image signal coding method, and image signal decoding method | |
| JP2817409B2 (en) | Color image signal decoding device | |
| JPH04340886A (en) | Moving image encoding device and moving image decoding device | |
| JPH0622291A (en) | Decoding method and device capable of resolution conversion | |
| JP2586720B2 (en) | Video signal coding method | |
| US5946036A (en) | Image decoding using read/write memory control based on display region setting | |
| JP3478414B2 (en) | Image information compression device | |
| JP2621625B2 (en) | Image signal encoding device | |
| JPH0563074B2 (en) | ||
| JPH0411481A (en) | Picture encoding device | |
| JPH01233893A (en) | Moving vector detecting method | |
| JPH07112283B2 (en) | Motion vector detection device and detection method |