KR100330566B1 - shaking compensation circuit using motion estimation and motion compensation in videophone - Google Patents
shaking compensation circuit using motion estimation and motion compensation in videophone Download PDFInfo
- Publication number
- KR100330566B1 KR100330566B1 KR1019990068415A KR19990068415A KR100330566B1 KR 100330566 B1 KR100330566 B1 KR 100330566B1 KR 1019990068415 A KR1019990068415 A KR 1019990068415A KR 19990068415 A KR19990068415 A KR 19990068415A KR 100330566 B1 KR100330566 B1 KR 100330566B1
- Authority
- KR
- South Korea
- Prior art keywords
- shake
- image
- motion
- video
- compensation
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 비디오폰에서 움직임 예측 및 움직임 보상을 이용한 흔들림 보상장치에 관한 것이다.The present invention relates to a shake compensation device using motion prediction and motion compensation in a videophone.
부호화제어기와, 입력 영상의 공간 중복성을 제거하기위한 변환기와, 양자화기, 역양자화기, 역변환기와 저장된 과거 영상과 입력되는 영상과의 움직임을 비교하는 예측메모리로 구성되는 비디오폰용 부호화기에 있어서, 흔들림 보상영역을 고려한 크기의 영상을 입력받아 흔들림보상기와 상기 예측메모리로 전송하는 비디오 입력부와, 사용자의 흔들림으로 인해 발생되는 움직임을 보상해주는 흔들림보상기와, 상기 흔들림보상기에 의해 흔들림보상된 영상을 다시 단말기 모니터로 입력하는 비디오출력부로 구성되는 것을 특징으로 하는 발명이 제시된다.In the videophone encoder comprising a coding controller, a transformer for removing spatial redundancy of the input video, a quantizer, an inverse quantizer, an inverse transformer, and a prediction memory for comparing the movement of the stored past video with the incoming video, Receives the image of the size considering the shake compensation area and transmits it to the shake compensator and the prediction memory, a shake compensator for compensating for movement caused by the shake of the user, and a shake compensation image by the shake compensator. The invention is characterized by consisting of a video output unit for input to a terminal monitor.
Description
본 발명은 비디오폰에서 움직임 예측 및 움직임 보상을 이용한 흔들림 보상장치에 관한 것이다. 보다 상세하게는 비디오폰에 있는 움직임 예측과 움직임 보상을 이용해 흔들림 정도를 계산하고, 이를 움직임량과 상쇄시킴으로써 압축 효율을 향상시킴과 더불어 수신시 안정된 화면을 복원할 수 있도록 하는 기술에 관한 것이다.차세대 이동 통신 규격인 IMT-2000과 같은 무선통신을 이용한 데이터, 음성 및 영상을 양방향으로 전송하는 방법에서 특히, 영상의 경우 사용자간에 서로 얼굴을 마주보며 통화할 수 있다는 커다란 장점을 갖고 있다. 이때, 양방향으로 송수신하는 데이터량이 크므로 이른바 소스코딩(source coding)이라는 압축 방식을 이용해 음성과 영상의 정보량을 줄인다.특히, 영상의 경우 그 정보량이 음성에 비해 방대하므로, 이를 압축하는 방식으로 H.261 또는 H.263등, 이른바 데이터간의 중복성을 제거하는 방식으로 DCT(Discrete Cosine Transform)와 양자화기를 이용한 공간(Spatial) 중복성과 움직임 예측과 움직임 보상(Motion Estimation Motion Comensation)을 이용한 시간(temporal)중복성을 동시에 제거하는 방식을 사용한다.그리고 이때 움직임 예측과 움직임 보상을 사용하기 위해선 현재 화면(Picture) 이외에 과거나 또는 미래의 화면을 사용하여 움직임 정보를 구하고 움직임 보상을 한 후, 입력 화면과의 차(Difference)성분을 구하는 방식이므로, 이를 위해 단말기의 영상 처리부에 예측 메모리를 두고 여기에 움직임을 비교할 화면 정보들을 저장, 입력되는 현재 화면을 과거 또는 미래의 화면과 움직임 양을 측정하여 움직임 벡터를 구하고 이를 전송하므로 수신측에서 전송된 움직임 벡터를 사용해 영상을 재구성하므로 영상 정보를 압축하는 것이다.The present invention relates to a shake compensation device using motion prediction and motion compensation in a videophone. More specifically, the present invention relates to a technique for calculating a degree of shaking by using motion prediction and motion compensation in a videophone, and offsetting the amount of motion to improve compression efficiency and to restore a stable picture upon reception. In the method of transmitting data, voice, and video in both directions using wireless communication such as IMT-2000, which is a mobile communication standard, in particular, video has a great advantage that users can face to face with each other. In this case, since the amount of data transmitted and received in both directions is large, the amount of information of the voice and the image is reduced by using a so-called source coding compression method. Spatial redundancy using Discrete Cosine Transform (DCT) and quantizer, and temporal using Motion Estimation and Motion Compensation, to remove so-called redundancy between data, such as .261 or H.263. In order to use motion prediction and motion compensation at the same time, in order to use motion prediction and motion compensation, motion information is obtained by using the past or future screen in addition to the current picture and motion compensation is performed. Since the difference component is obtained, a prediction memory is placed in the image processing unit of the terminal. It saves the screen information to compare the motion and calculates the motion vector by measuring the amount of motion with the past or future screen and inputs the current screen, and compresses the video information by reconstructing the image using the motion vector transmitted from the receiver. It is.
도 1은 종래 비디오폰용 부호화기를 나타내는 블럭 구성도이다.1 is a block diagram showing a conventional video phone encoder.
도 1에 도시된 바와 같이, 단말기의 영상 입력부(1)로부터 받은 영상은 각기 예측 메모리(14)와 뺄셈기(2)로 분배된다. 이렇게 분배된 입력 영상은 먼저 예측 메모리(14)에 있는 과거(또는 미래)의 영상을 이용해 움직임량을 비교한다. 먼저 움직임을 비교하기 위해선 입력 영상을 매크로블럭(Macro Block)이라는 단위로 분해한다.예를 들면, 영상을 처리하는 단위로 먼저 휘도(luminance)신호 N×M 화소 크기의 영상을 8×8 화소 크기 블럭으로 나누게 되는데 이를 DCT 블럭이라 하며, DCT 블럭을 4개씩 묶은 16×16 크기의 블럭을 매크로블럭이라 하며 다시 매크로블럭을 묶어 슬라이스(slice)라는 단위 등으로 부른다. 이렇게 나눠진 매크로블럭은 저장된 영상과 비교하여 가장 차 성분이 적은 위치를 계산하게 되는 데 이를 움직임 예측(Motion estimation)이라 부르고, 그 움직임 량을 움직임 벡터(Motion Vector)(15)라 한다. 이렇게 계산된 각각의 움직임 벡터(15)는 상대 수신기로 전송되어 움직임을 복원하는 데 사용된다. 이렇게 움직임 벡터(15)를 계산하여 과거나 또는 미래의 영상 정보로부터 입력 영상과 가깝게 재구성하는 과정을 움직임 보상(Motion Compensation)이라 하며, 이 움직임 보상된 영상은 다시 뺄셈기(2)로 입력 되어 원 입력 영상과 빼진다.그리고, 뺄셈기(2)로부터 출력되는 시간 중복성이 제거된 차 영상은 다시 공간 중복성을 제거하기 위해 DCT 변환기(8)를 통과 양자화기(9)를 거쳐 출력되며, 다시 움직임 예측과 움직임 보상할 기준 영상을 구성하기 위해 역양자화기(11)와 역 DCT 변환기(12)를 거쳐 덧셈기(13)로 입력된다. 그리고, 덧셈기(13)에서는 앞서 설명한 움직임 보상된 영상과 역 DCT 변환기에서 출력된 복원 차 영상을 더해져 다음의 움직임 예측과 움직임 보상을 위해 사용할 기준 영상을 복원하여 예측 메모리(14)에 저장하고 다음에 입력되는 원 영상과 위의 과정을 반복한다.As shown in FIG. 1, the image received from the image input unit 1 of the terminal is distributed to the prediction memory 14 and the subtractor 2, respectively. The distributed input images are first compared with the amount of motion by using the images of the past (or future) in the prediction memory 14. In order to compare the motions first, the input image is decomposed into a unit called a macro block. For example, an image of luminance signal N × M pixel is first divided into 8 × 8 pixel size as a unit for processing an image. It is divided into blocks, which are called DCT blocks, and 16 × 16 blocks, each of which contains four DCT blocks, are called macroblocks, and the macroblocks are grouped into slices. The macroblock divided as described above calculates a position having the smallest difference component compared with the stored image, which is called motion estimation, and the amount of motion is called a motion vector 15. Each motion vector 15 thus calculated is transmitted to the other receiver and used to recover the motion. The process of calculating the motion vector 15 and reconstructing the input image from the past or future image information close to the input image is called motion compensation, and the motion compensated image is input to the subtractor 2 again. The difference image from which the temporal redundancy output from the subtractor 2 is removed is again outputted through the quantizer 9 through the DCT converter 8 to remove spatial redundancy, and then moved again. The inverse quantizer 11 and the inverse DCT converter 12 are input to the adder 13 to form a reference image for prediction and motion compensation. In the adder 13, the motion compensated image and the reconstruction difference image output from the inverse DCT converter are added to reconstruct the reference image to be used for the next motion prediction and the motion compensation, and store the resultant image in the prediction memory 14. Repeat the above process with the original image being input.
상기 기술한 종래 비디오폰용 부호화기의 경우 사용자의 흔들림으로 인해 발생되는 움직임을 모두 영상정보의 움직임으로 인식하기 때문에 상하좌우로 흔들리는 영상을 처리한다고 가정하면 오리지날 영상의 움직임을 그대로 보상할 경우와 흔들림 보상을 하여 처리하는 경우와 비교할 때 움직임 양이 커지게 되어 상대방으로 전송될 움직임 벡터의 데이터 양이 증가될 문제가 발생한다.더불어 수신기에서 복원되는 영상 역시 전송된 움직임 벡터값에 따라 상하좌우로 흔들리는 영상을 복원하게 되므로 수신자가 불안정한 영상을 볼 수 밖에 없는 문제점이 있다.In the above-described video encoder for a videophone, all motions generated by user's shaking are recognized as motion of image information. Therefore, when the video image is processed up, down, left, and right, the motion of the original video is compensated as it is. Compared to the case of processing, the amount of motion increases, which causes a problem of increasing the amount of data of the motion vector to be transmitted to the other party. In addition, the image reconstructed by the receiver also includes images that are shaken up, down, left, and right according to the transmitted motion vector value. There is a problem that the receiver can only view the unstable image because it is restored.
본 발명은 상기와 같은 문제점을 해결하고자 제시된 것으로, 본 발명의 목적은 비디오폰에 있는 움직임 예측과 움직임 보상을 이용해 흔들림 정도를 계산하고 이를 움직임량과 상쇄시키므로 압축효율을 높이고 수신시 안정된 화면을 복원할 수 있는 장치를 제공하는 데 있다.The present invention has been presented to solve the above problems, and an object of the present invention is to calculate the degree of shaking using motion prediction and motion compensation in a videophone, and to offset the amount of motion, thereby increasing the compression efficiency and restoring a stable screen upon reception. To provide a device that can.
상기 본 발명의 목적을 달성하기 위한 기술적 사상으로서, 부호화 제어기와, 입력 영상의 공간 중복성을 제거하기 위한 변환기와, 양자화기, 역양자화기, 역변환기와 저장된 과거 영상과 입력되는 영상과의 움직임을 비교하는 예측메모리로 구성되는 비디오폰용 부호화기에 있어서, 흔들림 보상영역을 고려한 크기의 영상을 입력받아서 흔들림보상기와 상기 예측메모리로 전송하는 비디오 입력부와, 사용자의 흔들림으로 인해 발생되는 움직임을 보상해주는 흔들림 보상기와, 상기 흔들림 보상기에 의해 흔들림 보상된 영상을 다시 단말기 모니터로 출력하는 비디오 출력부로 구성되고, 상기 예측메모리는 상기 비디오 입력부로부터 전달받은 영상과 과거 또는 미래의 기준영상과의 비교를 통해 흔들림 양과 움직임 양을 계산하여 상기 흔들림 보상기와 수신기로 흔들림 벡터와 움직임 벡터를 전송해 주며, 상기 흔들림 벡터는 프레임단위로 보상되고 상기 움직임 벡터는 매크로블럭단위(16×16)로 보상되며, 상기 흔들림보상기는 상기 비디오입력부에서 전송된 입력영상을 상기 예측메모리에서 전송된 흔들림 양만큼 보상하여 압축전송하는 영상크기로 만들어 출력하는 것을 특징으로 하는 발명이 제시된다.As a technical idea for achieving the object of the present invention, the motion of the encoding controller, the transformer for removing the spatial redundancy of the input image, the quantizer, the inverse quantizer, the inverse transformer and the stored past image and the input image A video phone encoder comprising a predictive memory to be compared, comprising: a video input unit for receiving an image having a size considering a shake compensation region and transmitting the shake compensator to the predictive memory; and a shake compensator for compensating for motion caused by a user's shake. And a video output unit for outputting a shake compensated image by the shake compensator back to a terminal monitor, wherein the predictive memory has a shake amount and a motion by comparing the image received from the video input unit with a past or future reference image. Calculate the amount of the shake compensator A shake vector and a motion vector are transmitted to a receiver, the shake vector is compensated in units of frames, the motion vector is compensated in units of macroblocks (16 × 16), and the shake compensator receives the input image transmitted from the video input unit. The present invention is characterized by outputting the image size of the compressed transmission by compensating for the amount of shaking transmitted from the prediction memory.
도 1은 종래 비디오폰용 부호화기를 나타내는 블럭 구성도이다.1 is a block diagram showing a conventional video phone encoder.
도 2은 흔들림의 영향을 나타내는 개략도이다.2 is a schematic diagram showing the effect of shaking.
도 3는 흔들림 보상에 따른 움직임 벡터량을 나타내는 개략도로서, 도 3(a)는 흔들림 벡터 제거전을, 도 3(b)는 흔들림 벡터 제거후를 나타낸다.3 is a schematic diagram showing the amount of motion vector according to the shake compensation. FIG. 3 (a) shows before the shake vector is removed and FIG. 3 (b) shows after the shake vector is removed.
도 4는 본 발명에 따른 비디오폰용 부호화기를 나타내는 블럭 구성도이다.4 is a block diagram showing an encoder for a videophone according to the present invention.
〈도면의 주요부분에 대한 부호의 설명〉<Explanation of symbols for main parts of drawing>
1, 1' : 비디오 입력 2 : 뺄셈기1, 1 ': Video input 2: Subtractor
3 : 스위치 4 : 부호화제어기3: switch 4: coding controller
5 : 프레임내/프레임간 식별플래그 6 : 전송/비전송 식별 플래그5: In-frame / inter-frame identification flag 6: Transmission / non-transmission identification flag
7 : 양자화특성 지정정보 8 : 변환기7: quantization characteristic designation information 8: converter
9 : 양자화기 10 : 변환계수의 레벨9: quantizer 10: level of transform coefficients
11 : 역양자화기 12 : 역변환기11: inverse quantizer 12: inverse transformer
13 : 덧셈기 14 : 예측 메모리13: Adder 14: Predictive Memory
15 : 움직임 벡터 21, 21' : 상하좌우로 흔들린 화면15: motion vector 21, 21 ': screen shaken up, down, left and right
22, 22' : 오리지날 영상 23 : 예측메모리영상22, 22 ': Original video 23: Predictive memory video
24 : 흔들림보상기출력영상 30 : 흔들림 보상기24: shake compensator output image 30: shake compensator
31 : 흔들림 벡터 32 : 비디오 출력31: shake vector 32: video output
이하에서는 본 발명의 실시예의 구성 및 작용에 관하여 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings with respect to the configuration and operation of the embodiment of the present invention will be described.
도 2은 흔들림의 영향을 나타내는 개략도이다.2 is a schematic diagram showing the effect of shaking.
도 2에 도시된 바와 같이, 오리지날 화면(22)과 상(하)좌(우)로 흔들린 화면(21, 21')을 나타내는데 종래의 비디오폰은 사용자의 흔들림으로 인해 발생되는 움직임을 모두 영상 정보의 움직임으로 인식한다.As shown in FIG. 2, the original screen 22 and the screens 21 and 21 ′ which are shaken to the upper (bottom) left (right) are shown. In the conventional video phone, all the motions generated by the shaking of the user are displayed. Recognize it as a movement.
도 3은 흔들림 보상에 따른 움직임 벡터량을 나타내는 개략도로서, 도 3(a)는 흔들림 벡터전을, 도 3(b)는 흔들림 벡터 제거후를 나타낸다.3 is a schematic diagram showing the amount of motion vector according to the shake compensation, in which FIG. 3 (a) shows before the shake vector and FIG. 3 (b) shows after removing the shake vector.
도 3(a)에 도시된 바와 같이, 오리지날 입력영상(22')과 예측 메모리영상(23)을 비교하여 전체적인 움직임 벡터가 있는 경우 흔들림 벡터로 판단하여 흔들림 벡터를 제거하게 되면 흔들림 보상기 출력영상(24)이 된다. 원 영상의 움직임을 그대로 보상할 경우 흔들림 보상을 하여 처리하는 경우와 비교할 때, 움직임 양이 커지게 되어 상대방으로 전송될 움직임 벡터의 데이터 양이 증가되는 문제가 발생한다. 더불어 수신기에서 복원되는 영상 역시 전송된 움직임 벡터값에 따라 상하좌우로 흔들리는 영상을 복원하게 되므로 수신자가 불안정한 영상을 볼 수 밖에 없게 된다.As shown in FIG. 3 (a), when the original input image 22 ′ and the predictive memory image 23 are compared to determine the shake vector when the overall motion vector exists, the shake compensator output image ( 24). When compensating for the motion of the original image as it is, compared with the case of processing the shake compensation, the amount of motion becomes large, resulting in an increase in the amount of data of the motion vector to be transmitted to the counterpart. In addition, the image reconstructed by the receiver also restores the image which is shaken up, down, left and right according to the transmitted motion vector value, so that the receiver has no choice but to view the unstable image.
도 4는 본 발명에 따른 비디오폰용 부호화기를 나타내는 불럭 구성도이다.4 is a block diagram showing a video phone encoder according to the present invention.
도 4에 도시된 바와 같이, 부호화제어기(4)와, 입력 영상의 공간 중복성을 제거하기 위한 변환기(8)와, 양자화기(9), 역양자화기(11), 역변환기(12)와 저장된 과거 영상과 입력되는 영상과의 움직임을 비교하는 예측메모리(14)로 구성되는 비디오폰용 부호화기에 있어서, 흔들림 보상영역을 고려한 크기의 영상을 입력받아 흔들림보상기(30)와 상기 예측메모리(14)로 전송하는 비디오 입력부(1')와, 사용자의 흔들림으로 인해 발생되는 움직임을 보상해주는 흔들림보상기(30)와, 상기 흔들림보상기(30)에 의해 흔들림보상된 영상을 다시 단말기 모니터로 출력하는 비디오출력부(32)로 구성된다.As shown in FIG. 4, the encoding controller 4, a transformer 8 for removing spatial redundancy of an input image, a quantizer 9, an inverse quantizer 11, and an inverse transformer 12 are stored. In the video phone encoder comprising a prediction memory 14 for comparing the motion of the past image and the input image, the image of the size considering the shake compensation region is input to the shake compensator 30 and the prediction memory 14. A video input unit 1 'for transmitting, a shake compensator 30 for compensating for movement caused by the shaking of the user, and a video output unit for outputting the shake compensated image by the shake compensator 30 back to the terminal monitor. It consists of 32.
상기 비디오폰의 입력부(1')로부터 입력되는 영상의 크기가 기존의 N×M이 아닌, 흔들림 보상 영역을 고려한 N'×M'(N'N,M'M)크기의 영상을 입력 받아 이를 예측 메모리(14)와 흔들림 보상기(30)로 보낸다. 이렇게 분배된 영상은 먼저 예측 메모리(14)에 있는 과거(또는 미래)의 N×M크기의 영상과 흔들림 양과 움직임 양을 비교한다. 먼저 흔들림 양과 움직임 양을 알아내기 위해서 앞선 종래의 발명과 마찬가지로 예측 메모리(14)에 저장된 영상과 비교하여 그 값을 구한다.이 때, 흔들림 양과 움직임 양을 구하는 기준이 되는 기준 영상은 서로 반대가 되며, 흔들림 양은 움직임 양과는 달리 매크로블럭 단위가 아닌 픽쳐(picture)단위로 구해진다.The size of the image input from the input unit 1 'of the video phone is not N × M, but receives an image of N' × M '(N'N, M'M) size in consideration of a shake compensation region. To the prediction memory 14 and the shake compensator 30. The distributed image is first compared to the past (or future) N × M size image in the prediction memory 14 with the amount of shake and the amount of motion. First, in order to find out the amount of shake and the amount of motion, the value is compared with the image stored in the prediction memory 14 as in the conventional invention. At this time, the reference image as the reference for calculating the amount of shake and the amount of motion is opposite to each other. Unlike the amount of motion, the amount of shake is determined by the picture unit rather than the macroblock unit.
다시 말해, 상기 예측 메모리(14)에서는 비디오 입력부(1')로부터 전달받은 영상과 과거 또는 미래의 기준 영상과의 비교를 통해 흔들림 양과 움직임 양을 계산하게 된다. 그리고, 상기 흔들림 보상기(30)로 흔들림 벡터와 움직임 벡터를 전송해 주며, 상기 흔들림 벡터는 프레임 단위로 보상되고, 상기 움직임 벡터는 매크로블럭단위로 보상된다.또한, 상기 흔들림 보상기(30)는 예측 메모리(14)로부터 출력되는 흔들림 벡터(31)를 전달 받아 이 값만큼 상기 비디오 입력부(1')로부터 흔들림 보상기(30)로 입력되는 N'×M'크기의 영상을 보상해 최종 N×M 크기의 움직임 보상 영상과 같은 크기의 영상을 출력한다. 흔들림 보상기에서 출력되는 흔들림 보상 영상은 다시 뺄셈기(2)와 비디오폰의 모니터부로 출력되며, 모니터부로 출력되는 영상 신호는 사용자가 카메라와 같은 영상 입력부에서 입력되는 자신의 영상의 위치나 자세등을 보정할 수 있도록 한다.그리고, 뺄셈기(2)와 비디오폰의 모니터부로 출력되며, 모니터부로 출력되는 영상 신호는 사용자가 카메라와 같은 영상 입력부에서 입력되는 자신의 영상의 위치나 자세등을 보정할 수 있도록 한다.그리고, 뺄셈기(2)로 입력된 흔들림 보상 영상은 예측 메모리(14)에서 매크로블럭단위로 움직임 양만큼 보상된 영상과 뺄셈기(2)에서 처리된다. 뺄셈기를 통과하여 움직임 정보가 제거된 차 성분의 영상은 상기 기술된 종래 방식과 마찬가지로 DCT 변환기(8) 및 양자화기(9)와 그 역 과정을 거쳐 예측 메모리(14)에서 다시 움직임 보상된 영상과 합쳐져 다음에 사용될 움직임 보상 기준 영상을 만들게 된다.In other words, the prediction memory 14 calculates the amount of shake and the amount of motion by comparing the image received from the video input unit 1 'with a past or future reference image. In addition, the shake vector and the motion vector are transmitted to the shake compensator 30, the shake vector is compensated in units of frames, and the motion vector is compensated in units of macroblocks. Receives the shake vector 31 outputted from the memory 14 and compensates for the image of the size N '× M' inputted from the video input unit 1 'to the shake compensator 30 by this value, and thus the final N × M size. Outputs an image having the same size as the motion compensation image. The shake compensation image output from the shake compensator is output to the monitor unit of the subtractor 2 and the video phone, and the image signal output to the monitor unit indicates the position or posture of the user's image input from the image input unit such as a camera. The video signal output to the monitor unit of the subtractor 2 and the video phone, and the video signal output to the monitor unit allows the user to correct the position or posture of his / her own image input from an image input unit such as a camera. In addition, the shake compensation image input to the subtractor 2 is processed by the subtractor 2 and the image compensated by the amount of motion in units of macroblocks in the prediction memory 14. The video of the difference component from which the motion information is removed through the subtractor is subjected to the motion-compensated image in the prediction memory 14 through the DCT converter 8 and the quantizer 9 and vice versa as in the conventional method described above. Combined to create a motion compensation reference image that will be used next.
이상의 설명에서 알 수 있는 바와 같이, 본 발명은 통화시 사용자가 비디오 단말기를 들고 자신의 얼굴을 비추므로, 서로가 상대방을 보며 통화하면서 움직임 예측과 움직임 보상등의 과정을 거쳐 흔들림이 보상된 영상이 다시 단말기 모니터로 입력됨으로써 사용자가 자신의 영상위치와 자세 등을 손쉽게 보정할 수 있고, 움직임 보상시 움직임 양을 감소시켜 송신되는 압축 영상 데이터를 감소시키는 효과가 있다.As can be seen from the above description, in the present invention, the user holding the video terminal and illuminates his / her face during the call, so that the image is compensated for the shake through the process of motion prediction and motion compensation while talking to each other. By inputting it back to the terminal monitor, the user can easily correct his or her image position and posture, and reduce the amount of movement during motion compensation, thereby reducing the compressed image data transmitted.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990068415A KR100330566B1 (en) | 1999-12-31 | 1999-12-31 | shaking compensation circuit using motion estimation and motion compensation in videophone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990068415A KR100330566B1 (en) | 1999-12-31 | 1999-12-31 | shaking compensation circuit using motion estimation and motion compensation in videophone |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010066560A KR20010066560A (en) | 2001-07-11 |
| KR100330566B1 true KR100330566B1 (en) | 2002-03-29 |
Family
ID=19635497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990068415A KR100330566B1 (en) | 1999-12-31 | 1999-12-31 | shaking compensation circuit using motion estimation and motion compensation in videophone |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100330566B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101097345B1 (en) | 2010-03-09 | 2011-12-23 | 삼성모바일디스플레이주식회사 | An liquid crystal display device and the manufacturing method thereof |
| CN115242967A (en) * | 2022-06-07 | 2022-10-25 | 浙江华感科技有限公司 | Imaging anti-shake method, imaging anti-shake apparatus, image pickup device, and readable storage medium |
-
1999
- 1999-12-31 KR KR1019990068415A patent/KR100330566B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010066560A (en) | 2001-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3659161B2 (en) | Video encoding device and videophone terminal using the same | |
| RU2302707C2 (en) | Dynamic encoding filters | |
| RU2350040C1 (en) | Method and device for instructions of quantiser parameters in video coding system | |
| KR100600419B1 (en) | Motion-compensated predictive image encoding and decoding | |
| US6040863A (en) | Method of coding and decoding motion vector and apparatus therefor, and method of coding and decoding picture signal and apparatus therefor | |
| EP0883299A2 (en) | Apparatus and method for coding and decoding video images | |
| JP2005260936A (en) | Method and apparatus encoding and decoding video data | |
| JP3651706B2 (en) | Video encoding device | |
| US20010014125A1 (en) | Motion image coding device and decoding device | |
| JPH0795566A (en) | Method and device for encoding image | |
| KR100330566B1 (en) | shaking compensation circuit using motion estimation and motion compensation in videophone | |
| KR100414339B1 (en) | Device for encoding motion picture signals and encoding method | |
| JPH09261530A (en) | Video recorder | |
| JPH08205142A (en) | Apparatus for coding into and decoding digital video signal | |
| JPH05236462A (en) | Image data processor | |
| KR0128876B1 (en) | Apparatus for interpolating error block | |
| KR0124167B1 (en) | Half pixel motion compensation circuit in image decoder | |
| JP4140163B2 (en) | Encoding method converter | |
| KR0124162B1 (en) | Prediction coding method | |
| JPH03250883A (en) | Video signal transmitter | |
| JPH10285565A (en) | Image transfer device | |
| JPH09214959A (en) | Image communication terminal equipment and image decoding method | |
| KR100397133B1 (en) | Method and System for compressing/transmiting of a picture data | |
| JPH09224251A (en) | Dynamic image coder and dynamic image decoder | |
| JPH04207780A (en) | Periodic refresh circuit of moving image encoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120315 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20130315 Year of fee payment: 12 |
|
| LAPS | Lapse due to unpaid annual fee |