New! View global litigation for patent families

JP3055152B2 - Coding and decoding method and apparatus of moving image signal - Google Patents

Coding and decoding method and apparatus of moving image signal

Info

Publication number
JP3055152B2
JP3055152B2 JP12520290A JP12520290A JP3055152B2 JP 3055152 B2 JP3055152 B2 JP 3055152B2 JP 12520290 A JP12520290 A JP 12520290A JP 12520290 A JP12520290 A JP 12520290A JP 3055152 B2 JP3055152 B2 JP 3055152B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP12520290A
Other languages
Japanese (ja)
Other versions
JPH0420192A (en )
Inventor
淳一 大木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、帯域圧縮技術を用いた動画像信号の符号化・復号化方法およびその符号化・復号化装置に関する。 BACKGROUND OF THE INVENTION (FIELD OF THE INVENTION) The present invention relates to encoding and decoding method and coding and decoding apparatus of moving image signal using a band compression technique.

(従来の技術) 従来の帯域圧縮技術を用いた動画像信号の符号化方式としては、たとえば1989年電子情報通信学会春季全国大会、資料番号D−233に記載の「ISDN対応カラー動画像テレビ電話装置」などが知られている。 (Prior Art) The coding method of moving image signal using a conventional band compression technology, for example, 1989 IEICE Spring National Convention, according to article number D-233 "ISDN corresponding color moving picture videophone such as device "is known. この符号化方式は、まず画面内から顔領域を抽出してマップを作成する。 The coding method is first to create a map by extracting the face area from the screen. そして、画像符号化部でフレーム間フレーム内適応予測を行い、この時もし顔領域であれば最終段まで符号化を行い、それ以外の領域であれば1つ前の段階で符号化を止めることにより符号量を減らしている。 Then, a inter-frame adaptive prediction in the image encoding unit performs encoding to the final stage if this time if the face area, to stop encoding in the previous stages if the other region and reducing the amount of code by.

(発明が解決しようとする課題) しかしながら上述した符号化式では、顔以外の背景の部分も粗く符号化するから背景部分の余計な画像により無駄な情報が発生してしまう。 The (0006), however the encoding type described above, resulting in useless information generated by extra image of the background portion because even coarsely coded portion of the background other than the face. また、連続する画面間において背景部分から顔部分に変化したとすると、粗い符号化から細かい符号化に変るため、予測誤差信号がかなり発生してしまい、無駄な情報を符号化することになってしまう。 Also, if changes to the face portion from the background portion between the screen successive coarse because the coding changes into fine coding, so that the prediction error signal would considerably generated, encodes the useless information put away.

(課題を解決するための手段) 本発明の動画像信号の符号化方法は、入力する動画像信号の各画面内の相関および各画面間の相関を利用して画面内のある定められた領域を符号化する動画像信号の符号化方法において、前記定められた領域内に存在する被写体の各画面における動きの方向量を検出するにあたり、画面を予め定められた複数画素からなるブロックに分割し、予め定められた領域内でブロック毎に画面間での動きを示すベクトルを求め、求められた動ベクトルの発生頻度を調べ、発生頻度が最も高いベクトルの値を代表動ベクトルとし、代表動ベクトルに従って画面内における定められた領域の位置を移動して当該領域を符号化する。 Coding method of the moving image signal of the present invention (Means for Solving the Problem) is defined with the screen by using the correlation and the correlation between the screens in each screen of the input moving image signal region the in coding method of the moving image signal to be coded, divided Upon detecting the direction of movement in each screen of the object present in the a defined area, the block consisting of a predetermined plurality of pixels screen obtains a vector indicating a movement between screens for each block in a predetermined region, examined the frequency of occurrence of motion vector obtained, the value of the highest vector occurrence frequency as the representative motion vector, representative motion vector encoding the region by moving the position of the region defined in the screen in accordance with.

本発明の動画像信号の復号化方法は、入力する動画像信号の各画面内の相関および各画面間の相関を利用して画面内のある定められた領域を符号化した符号化信号を各画面内の相関および各画面間の相関を利用して復号化し、復号化した前記画面内のある定められた領域の画像信号で表される画像を予め定められた大きさに拡大する。 Moving image signal decoding method of the present invention, each of the correlation and coded signal a region defined with the screen by using a coded correlation between the screens in each screen of the input moving image signal to be and decoded using a correlation between correlation and each screen in the screen, enlarged image representing a predetermined magnitude of the image signals for a set area within the screen decrypted.

本発明の動画像信号の符号化装置は、入力する動画像信号を1画面分蓄えて外部から与えられる読み出しアドレス信号が示す前記蓄えた動画像信号の1画面におけるある定められた領域の画像信号を出力する記憶手段と、 Encoding device of the moving image signal of the present invention is a defined region image signal in one frame of the accumulated moving image signal indicated by the read address signal supplied externally stored one screen moving image signal to be input is a storage means for outputting,
該記憶手段から出力される画像信号と前記入力動画像信号とを入力して該2つの信号がそれぞれ表す2つの画面間における各ブロックの動きの方向量を検出する検出手段と、前記動きの方向量の頻度分布を測定して最も発生頻度の高い動きの方向量を決定する頻度分布測定手段と、該頻度分布計測手段から出力される動きの方向量で入力する動画像信号の1画面の予め定めてある領域の位置を変更し、該変更した領域を示す読み出しアドレス信号を前記記憶手段に出力するアドレス制御手段と、前記記憶手段から出力される画像信号を直交変換、動き補償等で符号化する符号化手段とを備える。 Detecting means for detecting the direction of movement of each block with an input image signal and the said input video signal the two signals outputted from said memory means between two screens representing each direction of the movement a frequency distribution measuring means for determining the direction of highest frequency to determine the frequency distribution of the amount movement, in advance of one screen of the moving image signal to be input in the direction of movement that is output from the 該頻 distribution measuring means determined to change the position of the Aru region, an address control means for outputting a read address signal indicating an area which is the change in the storage means, orthogonal transformation image signal outputted from the storage means, coded by motion compensation and the like and a coding means for.

本発明の動画像信号の復号化装置は、前述した動画像信号の符号化装置から出力される各画面におけるある定められた領域の符号化信号を入力し、該符号化信号を逆直交変換、動き補償等で復号化する復号化手段と、該復号化手段で復号化された動画像信号に予め定めてある画素補間を施して出力する補間手段とを備える。 Decoding apparatus of the moving image signal of the present invention receives the coded signal area defined in at each screen output from the encoding device of the moving image signal described above, the inverse orthogonal transform to the encoded signal, comprising a decoding means for decoding motion compensation or the like, an interpolation means for outputting by performing pixel interpolation that is predetermined in the moving image signal decoded in 該復 Goka means.

(作用) テレビ電話などでは、話者の顔の部分をおもに注視することから、背景部分を削除し、おもに顔の部分を符号化すれば背景からの無駄な情報発生を取除くことが簡単にできる。 (Action) on TV phone, since to watch the part of the speaker's face mainly, to remove the background part, mainly the face of the part excluding that is easily taken the useless information generated from the background if the encoding it can. 符号化にあたっては、たとえば第4図に示すように、話者の顔を含む領域にあたる画面の中央部分に水平方向にh画素、垂直方向vラインのウインドウを定め、斜線で示された背景部分の画像は削除し、符号化を行わない。 In the coding, for example, as shown in FIG. 4, h pixels in the horizontal direction in the central portion of the screen corresponding to the region including the face of the speaker, defining a window in the vertical direction v lines, the background portion indicated by hatching image is deleted, it does not perform the encoding. このときウインドウの位置が固定であること、話者が働いた時に被写体がウインドウから外れてしまうことがある。 That the position of this time window is fixed, there is that the subject deviates from the window when the speaker worked. 従って、話者の動きに合わせてウインドウを移動させることが必要になる。 Therefore, it is necessary to move the window in accordance with the movement of the speaker. ウインドウの移動には、以下に示す方法を用いる。 The movement of the window, using the method described below.

まず、話者の顔を含む領域が画面間で、どの方向にどれだけ動いたかを把握することが必要になる。 First of all, between the region including the face of the speaker screen, it becomes necessary to figure out what has moved much in any direction. 動きの方向および動きの量を把握するには、動き補償の原理を利用することができる。 To understand the amount of direction and motion of the motion, it can utilize the principles of motion compensation. 動き補償の方法としては、たとえば二宮らによる、“「動き補償フレーム間符号化方式」 As a method of motion compensation, for example, by Ninomiya et al., "" Coding scheme motion compensation inter-frame "
信学論(B)J63−B、11、pp.1140−1147、昭51−11" IEICE (B) J63-B, 11, pp.1140-1147, Akira 51-11 "
が知られている。 It is known. この方法は、1枚の画面の画像を小さなブロックに分割し、各ブロック毎に、記憶されている前画面の画像の中で最も高い相関をもつブロックを算出し、該当するブロック間の位置の差(動ベクトル)と、 This method divides the image of one screen into small blocks, for each block, calculates the block with the highest correlation in the previous screen image stored, the position between the corresponding block the difference (motion vector),
この該当するブロック間で空間的に同じ位置にある画素の振幅値の差(動き補償予測誤差)を伝送する方法である。 A method for transmitting a difference in amplitude values ​​of pixels in the spatially same position (the motion compensated prediction error) between the corresponding block.

本発明においては、前画面の話者の顔を含む領域が、 In the present invention, a region including the face of the previous screen of the speaker,
現画面のどの位置に移動したかを求めて現画面におけるウインドウの位置を移動させる。 Moving the position of the window in the current screen asking whether it has moved to any position of the current screen. 従って、前画面から現画面の間に話者がどの方向に、どれだけ動いたかを示す動ベクトルを求めることになる。 Therefore, from the previous screen in any direction is the speaker during the current screen, become possible to find the motion vector indicating how much has moved. 動ベクトルを求めるには、第5図の時刻tにおける前画面の話者の顔を含む領域を複数のブロックに分割し、該各ブロックが時刻t1における現画面の画像の中で最も高い相関を示す位置を算出し、各ブロックの動ベクトルを求める。 To obtain the motion vector, the region including the face of the front screen of the speaker at the time t of FIG. 5 is divided into a plurality of blocks, the highest correlation respective blocks in the current screen image at time t1 calculating a position indicated, determine the motion vector of each block. この時、話者の動きは平行移動だけに限らず回転なども含み、複雑な動きとなることもある。 At this time, the movement of the speaker also includes such rotary not limited to translation, sometimes a complicated motion. 従って、各ブロックの動ベクトルは、少しづつ異なる場合があり、ブロック毎の動ベクトルでそのブロックを移動させるとブロック単位でデコボコが発生し綺麗なウインドウを描けなくなることがある。 Thus, motion vector of each block may little by little different, moving the block in the motion vector of each block in block units uneven may become not draw a clear window occurs. 従って、ウインドウを綺麗に移動させるためには、 Therefore, in order to clean move the window,
ウインドウ内の話者の動きを1つの動きで代表し、剛体の運動に近似する必要がある。 On behalf of the speaker of the movement in the window in one motion, it is necessary to approximate the motion of a rigid body.

話者の動きを剛体の動きに近似するためには、ウインドウ内の動きを最も良く表す代表動ベクトルを推定することが鍵となる。 To approximate the motion of the speaker to the movement of the rigid body, it is the key to estimate the representative motion vector best represents the movement in the window. 代表動ベクトルを求めるためには、ウインドウ内の各ブロックの動ベクトルの発生頻度の分布を取り、発生頻度の最も高い動ベクトルを代表動ベクトルとする。 To determine a representative motion vector takes a distribution of frequency of occurrence of motion vectors of each block in the window, the highest motion vector of frequency as the representative motion vector. この様にして求めた代表動ベクトルによりウインドウを移動させる。 By the representative motion vector obtained in this way to move the window. 前画面から現画面へのウインドウの移動は、第5図において前画面のウインドウの左上の角の位置を原点とすると、その原点を求めた代表動ベクトルvt1によって現画面上に移動することにより、現画面のウインドウの原点の位置を決定することができる。 The movement of the window from the previous screen to the current screen and the origin position of the upper left corner of the front screen of the window in Figure 5, by moving on the current screen by the representative motion vector vt1 found its origin, it is possible to determine the position of the origin of the current screen of the window. そしてウインドウ内の画像信号を読み出すには、ウインドウの左上角の原点から水平方向にh画素読み出す毎に、水平方向の読み出しアドレスをリセットし垂直方向の読み出しアドレスを1進める。 And in reading out image signals in the window, for each read h pixels in the horizontal direction from the origin at the upper left corner of the window, advancing 1 the read address in the vertical direction to reset the horizontal read address. この様にしてウインドウ内を走査し、話者の顔を含む領域を符号器に与える。 In such a manner and by scanning the inside of the window, give the region including the face of the speaker to the encoder. 符号器は、ウインドウ処理された信号を直交変換、 Encoder orthogonal transform windowing signal,
動き補償などを用いて符号化して冗長度を低減して伝送する。 And encoding and transmitting the reduced redundancy by using a motion compensation.

次に、復号画像の処理方法について説明する。 It will be described processing method of the decoded image. 復号器は、符号器でウインドウ処理され、直交変換、動き補償などを用いて符号化されて伝送されてきた信号を、逆直交交換、動き補償などを用いて復号化し、ウインドウ処理された画像(以下ウインドウ画像と呼ぶ)を再生する。 Decoder is windowed in the encoder, the orthogonal transform, a signal which has been transmitted is encoded using a motion compensation, inverse orthogonal exchange decrypts by using a motion compensation, windowed images ( Play hereinafter referred to as a window image). 再生されたウインドウ画像は、第6図(a)に示すようにそのままディスプレイに表示すると、ディスプレイの1/nの大きさに表示されることになる。 It reproduced window image, when displayed as it is a display as shown in FIG. 6 (a), to be displayed on the size of 1 / n of the display. この状態では、復号画像が小さく見にくいので補間処理により第6 In this state, by interpolation since decoded image hard to see small sixth
図(b)に示す様なウインドウ画像の拡大を行う。 For enlarging the window image, such as shown in FIG. (B). 例えばウインドウ画像を水平垂直に2倍に拡大する場合を例に挙げて、第7図を参照しながら説明する。 For example a case of expanding double the window image in the horizontal and vertical as an example, with reference to Figure 7. 第7図の上の部分にウインドウ画像を、第7図の下の部分に拡大画像の補間方法を示す。 The window image to the upper part of FIG. 7, showing the interpolation method of the enlarged image at the bottom of Figure 7. 補間を行うにあたってウインドウ画像(復号画像)を水平方向に1画素おきに並べ、垂直方向にも1ラインおきに並べる。 Arranged at every other pixel in the window image (decoded image) in the horizontal direction in performing interpolation, also arranged in every other line in the vertical direction. 例えば画素1−1と画素1−2の間に補間される画素1−12は、画素1−1と画素1−2の水平方向の2画素の平均値により補間される。 For example pixels 1-12 being interpolated between the pixels 1-1 and pixels 1-2 are interpolated by the mean value of two pixels in the horizontal direction of the pixel 1-1 and the pixel 1-2. 画素2−1と画素2−2の間に補間される画素2− Pixels to be interpolated between the pixels 2-1 and pixels 2-2 2-
12は、画素1−12と同様に画素2−1と画素2−2の水平方向の2画素の平均値により補間される。 12 is interpolated by the mean value of the horizontal two pixels of the same the pixel 2-1 and the pixel 2-2 and the pixel 1-12. 画素1−1 Pixel 1-1
と画素2−1の垂直方向の2画素の間のラインに補間される画素12−1は、画素1−1画素2−1の垂直方向の2画素の平均値により補間される。 The pixel 12-1 to be interpolated in the line between the two pixels in the vertical direction of the pixel 2-1 is interpolated by the mean value of two pixels in the vertical direction of the pixel 1-1 pixel 2-1. 画素1−2と画素2 Pixel 1-2 and the pixel 2
−2の垂直方向の2画素の間のラインに補間される画素 Pixels to be interpolated in the line between the two pixels in the vertical direction -2
12−2も画素12−1と同様に、画素1−2と画素2−2 12-2 also in the same manner as the pixel 12-1, the pixel 1-2 and the pixel 2-2
の垂直方向の2画素の平均値により補間される。 Is interpolated by the mean value of two pixels in the vertical direction. 補間画素により構成されるラインの画素12−12は、画素1− Pixels 12-12 of configured lines by interpolation pixel is a pixel 1-
1、画素1−2、画素2−1、画素2−2の4画素の平均値により補間される。 1, pixel 2, pixel 2-1, is interpolated by the mean value of the four pixels of the pixel 2-2. この様にウインドウ画像に補間処理を加え、視覚的にみて滑らかで良好な拡大画像を得る。 Thus the interpolation processing in the window image is added to obtain a smooth and good magnified image viewed visually.

(実施例) 次に、図面を参照して本発明について説明する。 (Example) Next, the present invention will be described with reference to the drawings.

第1図は本発明の動画像信号の符号化装置の一実施例を示すブロック図である。 Figure 1 is a block diagram showing an embodiment of a coding apparatus of moving image signal of the present invention. 入力する動画像信号101は、 Motion picture signal 101 to be input,
フレームメモリ1およびベクトル検出器2に供給される。 It is supplied to the frame memory 1 and the vector detector 2. フレームメモリ1は入力する動画像信号101を1画面分書込み、およそ1フレーム時間遅延させる。 Frame memory 1 motion picture signal 101 to one screen writing for inputting delays approximately one frame time. そして、アドレス制御回路4から供給されるアドレス制御信号102によって示される第4図に示されるようなウインドウ内の画像を読み出し、その画像信号103をベクトル検出器2および符号器5に供給する。 Then, reading the image of the fourth in the window as shown in Figure indicated by the address control signal 102 supplied from the address control circuit 4, supplies the image signal 103 in vector detector 2 and the encoder 5. ベクトル検出器2 Vector detector 2
は、フレームメモリ1から供給される前画面のウインドウ内画像信号103を、複数の画素から成るブロックに分割してそのブロック毎に、入力する現フレームの動画像信号101の中で最も相関をもつブロックを算出し、該当するブロック間の位置の差を求めてこれを動ベクトルとする。 Has a window in the image signal 103 of the previous screen supplied from the frame memory 1, in the block for each divided into blocks composed of a plurality of pixels, the highest correlation in the motion picture signal 101 of the current frame to be input block is calculated and this seeking difference in position between the corresponding block of a motion vector. ベクトル検出器2で求められたウインドウ内の各ブロックの動ベクトル104は、頻度分布測定器3に供給される。 Motion vector 104 of each block in the window obtained by the vector detector 2 is supplied to the frequency distribution measuring device 3. 頻度分布測定器3は、ベクトル検出器3から供給される動ベクトル104の発生頻度を計数し、最も発生頻度が高かった動ベクトルを代表動ベクトルとする。 Frequency distribution measuring device 3 counts the occurrence frequency of the motion vector 104 supplied from the vector detector 3, a representative motion vector of the motion vector block has the highest occurrence frequency. 頻度分布測定器3で求められた代表動ベクトル105は、アドレス制御回路4に供給される。 Representative motion vector 105 obtained by the frequency distribution measuring device 3 is supplied to the address control circuit 4. アドレス制御回路4 Address control circuit 4
は、第4図に示されるような予め定められた水平方向h A horizontal direction h predetermined as shown in FIG. 4
画素、垂直方向vラインのウインドウ画像を読み出すためのアドレス信号を発生する。 Pixels, for generating an address signal for reading the window image in the vertical direction v line. 初期状態では、予め画面の中央部分にウインドウを定めており、読み出しアドレス信号を発生する。 In the initial state, and defining a window in the central part of the pre-screen, it generates the read address signal. そして、次のフレームからは、頻度分布測定器3から供給される代表動ベクトルに従って、 Then, from the next frame, according to the representative motion vector supplied from the frequency distribution measuring device 3,
ウインドウの原点を移動させ、新たなウインドウ画像読み出しアドレス信号を発生する。 The origin of the window is moved, to generate a new window image read address signal. アドレス制御回路4で発生したアドレス制御信号102は、フレームメモリ1に供給される。 Address control signal 102 generated by the address control circuit 4 is supplied to the frame memory 1. 符号器5は、フレームメモリ1から供給されるウインドウの画像信号103を、直交変換、動き補償などを用いて符号化して冗長性を低減する。 Encoder 5, an image signal 103 of the window supplied from the frame memory 1, the orthogonal transform, it is encoded by using a motion compensation to reduce redundancy. この時の動き補償には、前記ベクトル検出器2で求められた動ベクトルを用いることも勿論可能である。 The motion compensation at this time, it is also possible to use a motion vector obtained by the vector detector 2. 符号器5で符号化され冗長度が低減されたウインドウ画像信号106は、伝送路に出力される。 Window image signal 106 encoded redundancy is reduced by the encoder 5 is output to the transmission path.

次に、第2図および第3図を参照して本発明の復号化装置について説明する。 Will now be described decoding apparatus of the present invention with reference to FIGS. 2 and 3. 第2図は本発明の動画像信号の復号化装置の一実施例を示すブロック図であり、符号化されたウインドウ画像信号106が復号器6に供給される。 Figure 2 is a block diagram showing an embodiment of a decoding apparatus of the moving image signal of the present invention, the window image signals 106 which are coded are supplied to the decoder 6. 復号器6は、符号化された冗長度が低減されたウインドウ画像信号106を逆直交変換、動き補償などを用いて、もとの時間軸に復元する。 Decoder 6, the inverse orthogonal transform on the window image signal 106 encoded redundancy is reduced, by using a motion compensation, to restore the original time axis. 復号器6で復号化されたウインドウの画像信号107は、補間回路7に供給され、 Image signal 107 of the decoded window at the decoder 6 is supplied to the interpolation circuit 7,
このとき復号器7は、第7図の拡大画像に示すように、 Decoder 7 at this time, as shown in the enlarged image of FIG. 7,
水平方向には1画素おきに復号信号を出力し、垂直方向にも1ラインおきに復号化されたウインドウ画像信号を出力する。 And outputs the decoded signal every other pixel in the horizontal direction, and outputs a window image signal decoded every other line in the vertical direction. 復号器6は、1フレーム毎にウインドウ画像の先頭のタイミングでリセット信号108を発生し、該リセット信号108を補間回路7に供給する。 Decoder 6, a reset signal 108 generated at the beginning of the timing window image for each frame, and supplies the reset signal 108 to the interpolation circuit 7.

第3図は復号化されたウインドウ画像を水平垂直に2 Figure 3 is 2 window image decoded in the horizontal and vertical
倍に拡大する場合の補間回路7の一構成例を示すブロック図である。 It is a block diagram showing a configuration example of the interpolation circuit 7 in the case of expanding doubled. 復号器6から供給される復号化されたウインドウの画像信号107は、Dタイプフリップフロップ7 Image signal 107 of the decoded window supplied from the decoder 6, D-type flip-flop 7
1、加算器73およびラインメモリ79に供給される。 1, is supplied to the adder 73 and the line memory 79. Dタイプフリップフロップ71は、復号器6から供給される画像信号107を1サンプル遅延させ、Dタイプフリップフロップ72に供給する。 D-type flip-flop 71, the image signal 107 supplied from the decoder 6 is one-sample delay, and supplies the D-type flip-flop 72. Dタイプフリップフロップ72もD D-type flip-flop 72 is also D
タイプフリップフロップ71から供給された信号を1サンプル遅延させ、加算器73,83および切換器86に供給する。 The signal supplied from the type flip-flop 71 is delayed one sample is supplied to the adder 73, 83 and switcher 86. 加算器73は、復号器6から供給される画像信号107 Adder 73 the image signal 107 is supplied from the decoder 6
と、Dタイプフリップフロップ72から供給される信号とを加算する。 When adds the signal supplied from the D-type flip-flop 72. 加算器73の出力信号は、減衰器74に供給される。 The output signal of the adder 73 is supplied to the attenuator 74. 減衰器74は、加算器73から供給される信号が加算処理によりもとの信号の2倍の振幅になっているから、 Attenuator 74, since the signal supplied from the adder 73 is twice the amplitude of the original signal by the adding process,
振幅を1/2に減衰させて水平方向の補間信号(第7図の1−12、1−23、2−12など)を得る。 Obtaining a horizontal interpolation signal (such as 1-12,1-23,2-12 of Figure 7) to attenuate the amplitude to 1/2. 減衰器74で得られた水平方向の補間信号は、Dタイプフリップフロップ Horizontal interpolation signals obtained by the attenuator 74, D-type flip-flop
75および加算器76に供給される。 Is supplied to 75 and the adder 76. Dタイプフリップフロップ75は、減衰器74から供給される補間信号を1サンプル遅延させて、切換器86に供給する。 D-type flip-flop 75 by 1 sample delay interpolation signal supplied from the attenuator 74 is supplied to the switcher 86. ラインメモリ79は復号器6から供給される画像信号107を1ライン時間遅延させ、Dタイプフリップフロップ80および加算器82に供給する。 The line memory 79 is an image signal 107 is delayed one line period supplied from the decoder 6 and supplies it to the D-type flip-flop 80 and the adder 82. Dタイプフリップフロップ80は、ラインメモリ79から供給される信号1サンプル遅延し、Dタイプフリップフロップ81に供給する。 D-type flip-flop 80, the signal supplied from the line memory 79 by one sample delayed and supplies it to the D-type flip-flop 81. Dタイプフリップフロップ81は、Dタイプフリップフロップ80から供給される信号を1サンプル遅延し、加算器82および加算器83に供給する。 D-type flip-flop 81, a signal supplied from the D-type flip-flop 80 and one-sample delay, and supplies the adder 82 and the adder 83. 加算器82は、ラインメモリ79から供給される信号と、Dタイプフリップフロップ81から供給される信号とを加算し、2倍の振幅をもった前ラインの補間信号を得る。 The adder 82, the signal supplied from the line memory 79, adds the signal supplied from the D-type flip-flop 81, to obtain an interpolation signal of the previous line having twice the amplitude. 加算器82の出力信号である2倍の振幅をもった前ラインの補間信号は、減衰器78に供給される。 Interpolation signal of the previous line having twice the amplitude of the output signal of the adder 82 is supplied to the attenuator 78. 減衰器78 Attenuator 78
は、加算器82から供給される2倍の振幅をもった前ラインの補間信号の振幅を、1/2に減衰させて前ラインの水平方向の補間信号を得る。 The amplitude of the interpolation signal before having the amplitude of 2 times supplied from the adder 82 lines, to obtain an interpolation signal in the horizontal direction of the previous line is attenuated to 1/2. 減衰器78の出力信号である前ラインの水平方向の補間信号は、加算器76に供給される。 Horizontal interpolation signal of the previous line is the output signal of the attenuator 78 is supplied to the adder 76. 加算器76は、減衰器74から供給される現ラインの水平方向の補間信号と、減衰器78から供給される前ラインの水平方向の補間信号とを加算し、2倍の振幅をもった補間ラインの信号を得る。 The adder 76, and horizontal interpolation signal of the current line supplied from the attenuator 74 adds the horizontal interpolation signal of the previous line supplied from the attenuator 78, with twice the amplitude interpolation obtain a signal of the line. 加算器76の出力信号である2 Which is the output signal of the adder 76 2
倍の振幅をもった補間ラインの信号は、減衰器77に供給される。 Signal interpolation line with a doubled amplitude is supplied to the attenuator 77. 減衰器77は、加算器76から供給される信号の振幅を1/2に減衰し、補間ラインの信号(第7図の12−1 Attenuator 77 attenuates the amplitude of the signal supplied from the adder 76 to half, of the signal (FIG. 7 of the interpolation line 12-1
2、12−13など)を得る。 2,12-13, etc.) obtained. 減衰器77の出力信号は、Dタイプフリップ84に供給される。 The output signal of the attenuator 77 is supplied to a D-type flip 84. Dタイプフリップフロップ84は、減衰器77から供給される信号を1サンプル遅延して、切換器86に供給する。 D-type flip-flop 84, and 1 sample delay a signal supplied from the attenuator 77 is supplied to the switcher 86. 加算器83はDタイプフリップフロップ72から供給される現ラインの信号と、Dタイプフリップフロップ81から供給される前ラインに信号とを加算し、2倍の振幅をもった補間ラインの信号を得る。 The adder 83 adds the signal of the current line supplied from the D-type flip-flop 72, the signal before the line supplied from the D-type flip-flop 81 to obtain the signal of the interpolation line having an amplitude of 2 times . 加算器83の出力信号は減衰器85に供給される。 The output signal of the adder 83 is supplied to the attenuator 85. 減衰器85は、加算器83から供給される信号の振幅を1/2に減衰し、補間ラインの信号(第7図の12−1,12−2など) Attenuator 85 attenuates the amplitude of the signal supplied from the adder 83 to half, (such as 12-1 and 12-2 in FIG. 7) a signal of the interpolation line
を得る。 Obtained. 減衰器85の出力信号である補間ラインの信号は、切換器86に供給される。 Signal interpolation line which is an output signal of the attenuator 85 is supplied to the switcher 86. 切替信号発生器70は、復号画素あるいは補間画素を切替えて出力させるための切替信号のパターンを、予め定めて記憶しておく。 Switching signal generator 70, a pattern of the switch signal for outputting switches the decoded pixel or an interpolation pixel, and stores predetermined. 例えば、 For example,
第7図の画素1−1を出力する時には、第3図のDタイプフリップフロップ72から出力される復号信号に切替、 When outputting the pixel 1-1 of FIG. 7 is switched to the decoded signal outputted from the D-type flip-flop 72 of FIG. 3,
第7図の画素1−12を出力する時には、第3図のDタイプフリップフロップ75から出力される水平方向の補間信号に切替る。 When outputting the pixel 1-12 of FIG. 7 is switched to the horizontal direction of the interpolation signal outputted from the D-type flip-flop 75 of FIG. 3. そして、第7図の画素12−1を出力する時には第3図の減衰器85から出力される垂直方向の補間信号に切替、第7図の画素12−12を出力する時には第4図のDタイプフリップフロップ84から出力される垂直水平方向の補間信号に切替る。 Then, when outputting the pixel 12-1 of FIG. 7 is switched to the interpolation signal in the vertical direction is output from the attenuator 85 of FIG. 3, when the output pixel 12-12 Figure 7 D of FIG. 4 It switched to the vertical horizontal direction interpolation signal output from the type flip-flop 84. そして切替信号発生器70は、 The switching signal generator 70,
復号器6からリセット信号108が与えられると、復号画素または補間画素を切替えて出力させるための切替信号を先頭画素の位置に戻し、1画素毎に復号信号あるいは、補間信号を切替える切替信号を発生する。 When the reset signal 108 is supplied from the decoder 6 returns the switch signal for outputting switches the decoded pixel or an interpolation pixel at the position of the head pixel, decoded signal for each pixel or, generates a switching signal for switching the interpolation signal to. 切替信号発生器70の出力信号である切替信号は、切換器86に供給される。 The switching signal is the output signal of the switching signal generator 70 is supplied to the switcher 86. 切換器86は、切替信号発生器70から供給される切替信号に従って、画素毎に復号信号または水平補間信号、垂直補間信号、水平垂直補間信号のいずれの内の1 Switcher 86 in accordance with the switching signal supplied from the switching signal generator 70, the decoded signal or the horizontal interpolation signal for each pixel, the vertical interpolation signal, of the one of the horizontal and vertical interpolation signal 1
つを切替え選択して出力する。 One switching selects and outputs.

ウインドウ画素をn倍に拡大する場合には、補間画素を生成する時に補間画素の位置によって復号画素の重みづけを変えることにより、視覚的に良好な拡大画像を得ることができる。 When enlarging the window pixel n times, by changing the weighting of the decoded pixels depending on the position of the interpolated pixel when generating the interpolated pixel, it is possible to obtain a visually satisfactory enlarged image.

切換器86の出力の拡大された画像信号109は、復号化信号として外部に出力される。 Image signal 109 expanded the output of switching device 86 is outputted to the outside as the decoded signal.

(発明の効果) 以上に詳しく説明したように、本発明の符号化方法および符号化装置によれば、テレビ電話などでおもに注視点となる話者の顔を含む領域を、ウインドウで切出して話者の動きを追いかけて符号化することにより、ウインドウから話者がはみ出してしまうこともなく、背景などの余計な部分から発生する無駄な情報を削除することができ、符号化効率を高めることができる。 As described in detail above (Effect of the Invention) According to the encoding method and encoding apparatus of the present invention, talk region including the face of the speaker to be mainly gazing point videophone, it cuts out the window by encoding chasing the movement of the person, without even the speaker sticks out from the window, it is possible to delete unnecessary information generated from the extra parts, such as background, it is possible to enhance the coding efficiency it can. また本発明の復号化方法および復号化装置によれば、符号器から送られてきたウインドウ画像を視覚的に見て滑らかに拡大することができ、良好な復号画像を得ることができる。 According to the decoding method and decoding apparatus of the present invention, it is possible to smoothly expand watching window image sent from the encoder visually, it is possible to obtain good decoded image.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

第1図は本発明の動画像信号の符号化装置の一実施例を示すブロック図、第2図は本発明の動画像信号の復号化装置の一実施例を示すブロック図、第3図は第2図の実施例における復号器6の一構成例を示すブロック図、第4図は1枚の画面におけるウインドウを示す図、第5図は画面間のウインドウの移動を示す図、第6図はウインドウ画像の拡大を示す図、第7図はウインドウ画像の拡大時における画素の補間を示す図である。 Block diagram showing an embodiment of FIG. 1 is the coding apparatus of the moving image signal of the present invention, FIG. 2 is a block diagram showing an embodiment of a decoding apparatus of the moving image signal of the present invention, FIG. 3 is block diagram showing a configuration example of a decoder 6 in the embodiment of FIG. 2, FIG. 4 is a view showing a window in the single screen, Fig. 5 shows the movement of the window between the screens, Figure 6 shows the expansion of the window image, FIG. 7 is a diagram showing the interpolation of the pixel at the time of the window image enlargement. 1……フレームメモリ、2……ベクトル検出器、3…… 1 ...... frame memory, 2 ...... vector detector, 3 ......
頻度分布測定器、4……アドレス制御回路、5……符号器、6……復号器、7……補間回路、70……切替信号発生器、71,72,75,80,81,84……Dタイプフリップフロップ、73,76,82,83……加算器、74,77,78,85……減衰器、 Frequency distribution measuring instrument, 4 ...... address control circuit, 5 ...... encoder 6 ...... decoder, 7 ...... interpolation circuit, 70 ...... switching signal generator, 71,72,75,80,81,84 ... ... D-type flip-flop, 73,76,82,83 ...... adder, 74,77,78,85 ...... attenuator,
79……ラインメモリ、86……切換器。 79 ...... line memory, 86 ...... switcher.

フロントページの続き (51)Int.Cl. 7識別記号 FI H04N 9/77 G06F 15/66 330C 11/04 15/70 410 (58)調査した分野(Int.Cl. 7 ,DB名) H04N 7/24 G06T 7/20 G06T 9/00 H04N 1/415 H04N 7/14 H04N 9/77 H04N 11/04 Of the front page Continued (51) Int.Cl. 7 identification mark FI H04N 9/77 G06F 15/66 330C 11/04 15/70 410 (58) investigated the field (Int.Cl. 7, DB name) H04N 7 / 24 G06T 7/20 G06T 9/00 H04N 1/415 H04N 7/14 H04N 9/77 H04N 11/04

Claims (6)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】入力された動画像信号の各画面内の相関および各画面間の相関を利用して画面内のある定められた領域を符号化する動画像信号の符号化方法において、前記定められた領域内に存在する被写体の各画面における動きの方向量を検出するにあたり、画面を予め定められた複数画素からなるブロックに分割し、予め定められた領域内でブロック毎に画面間での動きを示すベクトルを求め、求められた動ベクトルの発生頻度を調べ、発生頻度が最も高いベクトルの値を代表動ベクトルとし、代表動ベクトルに従って画面内における定められた領域の位置を移動して当該領域を符号化することを特徴とする動画像信号の符号化方法。 1. A coding method of correlation and moving image signal encoding the region defined with using the screen the correlation between the screens in each screen of the input moving image signal, the set Upon detecting the direction of movement in each screen of the subject existing was region is divided into blocks of predetermined plurality of pixels screen, between the screen for each block in a predetermined area obtains a vector indicating the motion to examine the frequency of occurrence of motion vector obtained, the value of the highest vector frequency representative motion vector, the move the position of the region defined in the screen in accordance with the representative motion vector coding method of the moving image signal, characterized in that the coding regions.
  2. 【請求項2】入力された動画像信号の各画面内の相関および各画面間の相関を利用して画面内のある定められた領域を符号化復号化する動画像信号の符号化復号化方法において、前記定められた領域内に存在する被写体の各画面における動きの方向量を検出するにあたり、画面を予め定められた複数画素からなるブロックに分割し、予め定められた領域内でブロック毎に画面間での動きを示すベクトルを求め、求められた動ベクトルの発生頻度を調べ、発生頻度が最も高いベクトルの値を代表動ベクトルとし、代表動ベクトルに従って画面内における定められた領域の位置を移動して当該領域を符号化することを特徴とする動画像信号の符号化復号化方法。 Wherein the input moving image signal correlation and coding and decoding method of moving image signal for coding and decoding a region defined with the screen by using the correlation between the screens in each screen in, when detecting the direction of movement in each screen of the object present in the a defined area, is divided into blocks of predetermined plurality of pixels screens, each block in a predetermined area obtains a vector indicating a motion between the screen, examining the frequency of occurrence of motion vector obtained, the value of the highest vector frequency representative motion vector, the position of the region defined in the screen in accordance with the representative motion vector coding and decoding method of moving image signal, characterized in that for encoding the region moving.
  3. 【請求項3】入力する動画像信号の各画面内の相関および各画面間の相関を利用して画面内のある定められた領域を符号化復号化する動画像信号の符号化復号化方法において、前記定められた領域内に存在する被写体の各画面における動きの方向量を検出するにあたり、画面を予め定められた複数画素からなるブロックに分割し、予め定められた領域内でブロック毎に画面間での動きを示すベクトルを求め、求められた動ベクトルの発生頻度を調べ、発生頻度が最も高いベクトルの値を代表動ベクトルとし、代表動ベクトルに従って画面内における定められた領域の位置を移動して当該領域を符号化し、符号化された信号を各画面内の相関および各画面間の相関を利用して復号化し、復号化された動画像信号に対して拡大処理を施すことを特 3. A moving picture signal correlation and coding and decoding method of moving image signal for coding and decoding a region defined with the screen by using the correlation between the screens in each screen of the input , when detecting the direction of movement in each screen of the object present in the a defined area, it is divided into blocks of predetermined plurality of pixels screens, screens for each block in a predetermined area obtains a vector indicating the motion between, examined the frequency of occurrence of motion vector obtained, the value of the highest vector frequency representative motion vector, move the position of the region defined in the screen in accordance with the representative motion vector Japanese that is the region encoding the encoded signal decoded by using a correlation between correlation and each screen in each screen, subjected to enlargement processing to the decoded moving image signal とする動画像信号の符号化復号化方法。 Coding and decoding method of moving image signal to.
  4. 【請求項4】入力する動画像信号を1画面分蓄えて外部から与えられる読み出しアドレス信号が示す前記蓄えた動画像信号の画面におけるある定められた領域の画像信号を出力する記憶手段と、該記憶手段から出力される画像信号と前記入力動画像信号とを入力して該2つの信号がそれぞれ表す2つの画面間における各ブロックの動きの方向量を検出する検出手段と、前記動きの方向量の頻度分布を測定して最も発生手段の高い動きの方向量を決定する頻度分布測定手段と、該頻度分布計測手段から出力される動きの方向量で入力する動画像信号の1画面の予め定めてある領域の位置を変更し、該変更した領域を示す読み出しアドレス信号を前記記憶手段に出力するアドレス制御手段と、前記記憶手段から出力される画像信号を符号化する符 4. A storage unit with a defined outputs an image signal of a region on the screen of the stored moving image signal which accumulated one screen of the input moving image signal to be indicated by the read address signal externally applied, the detection means to the input image signal and the said input video signal the two signals outputted from the storage means to detect the direction of movement of each block between two screens representing each direction of the motion the frequency distribution measured determined most and frequency distribution measuring means for determining the direction of high amount of motion of generating means, in advance of one screen of the moving image signal to be input in the direction of movement that is output from the 該頻 distribution measuring means to change the position of the region are, marks for encoding the address control means, the image signal output from said storage means for outputting a read address signal indicating an area which is the change in the storage means 化手段とを備えることを特徴とする動画像信号の符号化装置。 Encoding device of the moving image signal, characterized in that it comprises a means.
  5. 【請求項5】請求項4記載の符号化装置と、前記符号化装置から出力される各画面におけるある定められた領域の符号化信号を復号化する復号化手段を備えることを特徴とする動画像信号の符号化復号化装置。 5. Videos and encoding apparatus according to claim 4, wherein, further comprising a decoding means for decoding a coded signal of a defined area in the each screen output from the encoding device encoding and decoding apparatus of the image signal.
  6. 【請求項6】請求項5記載の符号化復号化装置と、前記復号化手段で復号化された動画像信号に予め定めてある画像補間を施して出力する補間手段を備えることを特徴とする動画像信号の符号化復号化装置。 Characterized in that it comprises 6. A coding and decoding apparatus according to claim 5, interpolation means for subjected to pre-determined Aru image interpolation on the decoded moving picture signal output by said decoding means encoding and decoding apparatus of moving image signal.
JP12520290A 1990-05-15 1990-05-15 Coding and decoding method and apparatus of moving image signal Expired - Lifetime JP3055152B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12520290A JP3055152B2 (en) 1990-05-15 1990-05-15 Coding and decoding method and apparatus of moving image signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12520290A JP3055152B2 (en) 1990-05-15 1990-05-15 Coding and decoding method and apparatus of moving image signal

Publications (2)

Publication Number Publication Date
JPH0420192A true JPH0420192A (en) 1992-01-23
JP3055152B2 true JP3055152B2 (en) 2000-06-26

Family

ID=14904438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12520290A Expired - Lifetime JP3055152B2 (en) 1990-05-15 1990-05-15 Coding and decoding method and apparatus of moving image signal

Country Status (1)

Country Link
JP (1) JP3055152B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2147747A1 (en) * 1993-08-31 1995-03-09 Hiroyuki Fujiuchi Antitheft device
WO1995006922A1 (en) * 1993-08-31 1995-03-09 Kubota Corporation Antitheft device
US5844484A (en) * 1993-08-31 1998-12-01 Kubota Corporation Theft preventive apparatus having alarm output
CA2196158A1 (en) * 1994-07-29 1996-02-15 Kubota Corporation Burglar alarm apparatus and radio receiver
US5959532A (en) * 1994-07-29 1999-09-28 Kubota Corporation Theft preventive apparatus and radio wave receiving signaling device
WO1999053627A1 (en) 1998-04-10 1999-10-21 Chrimar Systems, Inc. Doing Business As Cms Technologies System for communicating with electronic equipment on a network
JP4985428B2 (en) * 2007-02-01 2012-07-25 株式会社デンソー The driver management apparatus and service management system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2680320B2 (en) * 1988-02-08 1997-11-19 株式会社東芝 TV phone device

Also Published As

Publication number Publication date Type
JPH0420192A (en) 1992-01-23 application

Similar Documents

Publication Publication Date Title
US5134480A (en) Time-recursive deinterlace processing for television-type signals
US5146325A (en) Video signal decompression apparatus for independently compressed even and odd field data
US5446456A (en) Digital signal processing system
US6243140B1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US7242850B2 (en) Frame-interpolated variable-rate motion imaging system
US6633676B1 (en) Encoding a video signal
US5844614A (en) Video signal decoding apparatus
US6215822B1 (en) Motion compensated digital video decoding and buffer memory addressing therefor
US5751888A (en) Moving picture signal decoder
US6037988A (en) Method for generating sprites for object-based coding sytems using masks and rounding average
US6327391B1 (en) Protecting image quality from occurrence of uncorrectable errors
US4849812A (en) Television system in which digitized picture signals subjected to a transform coding are transmitted from an encoding station to a decoding station
US5999657A (en) Recording and reproducing apparatus for digital image information
US5973755A (en) Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US20040046891A1 (en) Frame interpolation and apparatus using frame interpolation
RU2302707C2 (en) Dynamic encoding filters
US5982440A (en) Method and apparatus for producing slow-motion picture signal changing smoothly from compression coded picture signal
US5561532A (en) Image reproducing apparatus
JPH10178639A (en) Image codec part and image data encoding method
US20040091046A1 (en) Method and system for video sequence real-time motion compensated temporal upsampling
RU2120702C1 (en) Method for decoding of single received current signal from sequence of two-channel encoded video signals and device which implements said method
US20090103630A1 (en) Image processing device
US5436666A (en) Limited-domain motion estimation/compensation for video encoding/decoding
US5467135A (en) Apparatus and method for moving picture coding
US6285715B1 (en) Methods and apparatus for error concealment while decoding a coded video bit stream