KR20040058671A - Method of object oriented unequal error protection for video conference - Google Patents

Method of object oriented unequal error protection for video conference Download PDF

Info

Publication number
KR20040058671A
KR20040058671A KR1020020085041A KR20020085041A KR20040058671A KR 20040058671 A KR20040058671 A KR 20040058671A KR 1020020085041 A KR1020020085041 A KR 1020020085041A KR 20020085041 A KR20020085041 A KR 20020085041A KR 20040058671 A KR20040058671 A KR 20040058671A
Authority
KR
South Korea
Prior art keywords
background
error correction
overhead
ratio
video
Prior art date
Application number
KR1020020085041A
Other languages
Korean (ko)
Other versions
KR100930711B1 (en
Inventor
장성환
정학진
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020020085041A priority Critical patent/KR100930711B1/en
Publication of KR20040058671A publication Critical patent/KR20040058671A/en
Application granted granted Critical
Publication of KR100930711B1 publication Critical patent/KR100930711B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/25—Error detection or forward error correction by signal space coding, i.e. adding redundancy in the signal constellation, e.g. Trellis Coded Modulation [TCM]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
    • H03M13/2906—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes
    • H03M13/2921—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes wherein error correction coding involves a diagonal direction
    • H03M13/2924—Cross interleaved Reed-Solomon codes [CIRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PURPOSE: A method for protecting an object-orientated ununiform transmission error for video conferencing is provided to effectively cope with a transmission error and maximize picture quality. CONSTITUTION: A motion picture source to be transmitted through a wired/wireless network is received and segmented into an object and a background. The object and background are transmitted as two bit streams. An overhead is added to each of the object and background such that a ratio of an error correction overhead of the object is higher than a ratio of an error correction overhead of the background. The object and background to which the error correction overheads have been respectively added are transmitted using an interleaving method.

Description

화상회의를 위한 객체 지향적 비균등 전송오류 보호방법{Method of object oriented unequal error protection for video conference}Method of object oriented unequal error protection for video conference

본 발명은 화상 회의용 동영상의 부호화 및 전송 방법에 대한 것으로, 화상회의 영상을 효율적으로 부호화하여 전송할 수 있도록 하는 화상회의를 위한 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법에 관한 것이다.The present invention relates to a method of encoding and transmitting video conferencing video, and to an object-oriented non-uniform transmission error protection method for videoconferencing for videoconferencing, which enables efficient encoding and transmission of videoconferencing video.

최근 인터넷이나 무선 채널과 같이 서비스 품질(QoS; Quality of Service)이 보장되지 않는 채널을 통한 동영상 전송 서비스가 갈수록 늘어나고 있다. 특히 화상 회의 서비스가 점점 대중화되어 그 수요가 증가 추세에 있다.Recently, video transmission services through channels that do not guarantee quality of service (QoS), such as the Internet or wireless channels, are increasing. In particular, the demand for video conferencing services is increasing.

반면 비디오 신호의 대역을 줄이기 위한 비디오 압축 부호화 방법은 DCT(Discrete Cosine Transform), 움직임 보상 및 엔트로피 부호를 사용하여 비디오 신호의 공간 및 시간적 중복성(redundancy)을 최대한 줄이는 기법이므로, 부호화된 동영상 비트열(bit stream)은 작은 전송 오류에도 넓은 영역의 화질 손상을 입게 되며, 손상된 화질은 시간적으로 전파되어 시각적으로 더욱 눈에 띄게 된다.On the other hand, the video compression coding method for reducing the bandwidth of the video signal is a technique that minimizes the spatial and temporal redundancy of the video signal by using Discrete Cosine Transform (DCT), motion compensation, and entropy code. The bit stream suffers from a wide range of image quality damage even with a small transmission error, and the image quality is propagated over time, making it more visible.

전송오류에 대처하기 위해 비디오 복호기에서의 다양한 오류 은닉(Error Concealment) 기법이 제안되었지만, 무선 채널에서 발생하는 군집성 오류(Burst Error)나 인터넷에서의 패킷 병목(Congestion) 현상에 대처하기엔 화질 복원의 효과가 미흡하다.In order to cope with transmission errors, various error concealment techniques have been proposed in the video decoder, but the effects of image quality recovery to cope with burst errors occurring in wireless channels or packet bottlenecks in the Internet. Is not enough.

또한, 전송 오류에 대처하기 위한 또 다른 노력으로서 계층 부호화(Layered Coding)가 있으며, 계층 부호화에서는 화질이나 화면 크기 등에 따라 기본 계층(Base Layer)과 확장 계층(Enhancement Layer)으로 나누어 부호화하고 이를 각각 다른 채널에 전송하게 된다.In addition, another effort to cope with transmission errors is layered coding. In layer coding, encoding is divided into a base layer and an enhancement layer according to image quality and a screen size, and is different from each other. Will be sent to the channel.

하지만 계층 부호화는 기본 계층의 비트열에서는 전송 오류가 발생하지 않는 다는 가정에서 출발한 것으로 무선 채널이나 인터넷을 통한 전송에서는 군집성 오류나 네트워크 병목에 의하여 기본 계층에서도 오류가 발생하는 것을 피할 수 없으며, 그럴 경우 심하게 화질이 열화된다.However, hierarchical coding starts from the assumption that transmission errors do not occur in the bit stream of the base layer. In the case of transmission over a wireless channel or the Internet, errors in the base layer cannot be avoided due to clustering errors or network bottlenecks. The picture quality is severely degraded.

오류 정정 부호(Error Correction Code)를 사용하면 오류의 정정이 가능하지만 군집성 오류에 대처하기 어려우며, 군집성 오류에 대처하기 위해 오류 정정 능력을 키우려면 오류 정정 부호로 인한 오버헤드(Overhead)를 증가시켜야 하므로 증가한 오버헤드만큼 상대적으로 비디오의 전송대역(Bit Rate)을 낮추어야 한다.Error Correction Codes can be used to correct errors, but it is difficult to cope with clustering errors, and to increase error correction ability to cope with clustering errors, the overhead due to error correction codes must be increased. The bit rate should be lowered relative to the increased overhead.

비디오 전송 대역을 낮춘다는 것은 더 많은 압축을 의미하므로 더 많은 압축에 따른 비디오 화질 열화를 가져오데 된다.Lowering the video transmission bandwidth means more compression, which results in deterioration of video quality due to more compression.

따라서, 비디오 부호화 및 전송 알고리즘에 대두되는 두 가지 큰 이슈(issue)는 부호화의 효율성과 채널 오류에 대한 대처이며, 이 두 이슈의 성질은 상호 배타적이다. 즉, 부호화 효율을 극대화시키면 채널 오류에 약하고, 채널 오류를 강화시키면 오류 정정 부호화로 인한 오버헤드만큼 부호화 효율을 희생시킬 수밖에 없다.Therefore, two major issues that arise in video encoding and transmission algorithms are the efficiency of encoding and coping with channel errors, and the nature of these two issues is mutually exclusive. In other words, maximizing the coding efficiency is weak to the channel error, and reinforcing the channel error inevitably sacrifices the coding efficiency as much as the overhead due to error correction coding.

화상 회의용 비디오의 특성은 화면의 내용이 회의에 참가하는 인물과 배경으로 구성되며, 화면을 보는 사람의 시각적 관심은 대부분 인물에 집중되게 되며, 배경에는 시각적 관심이 적게 가게 된다.The characteristics of the video conferencing video are that the content of the screen is composed of the person and the background who participate in the meeting, and the visual interest of the viewer is mostly focused on the person, and the visual interest is less in the background.

또한, 배경은 한번 전송한 후엔 회의를 하는 사람에게 회의 분위기가 이미전달된 상태이므로 더 이상 배경 정보를 부호화하여 전송하는 것은 낭비인 경우가 많다.In addition, since the atmosphere of the meeting is already transmitted to the person having a meeting after transmitting the background once, it is often a waste to encode and transmit the background information.

상기와 같은 문제를 해결하기 위하여, 본 발명은 전송오류가 발생하기 쉬운 채널이나 패킷 병목현상이 발생하기 쉬운 네트워크를 통해서 화상 회의를 하는 경우에 전송 오류에 효율적으로 대처하면서, 동시에 시각적 화질을 최상으로 하기 위한 화상회의를 위한 객체 지향적 비균등 전송 오류 보호방법을 제공함에 그 목적이 있다.In order to solve the above problems, the present invention efficiently copes with transmission errors when performing video conferencing through a channel prone to transmission errors or a network prone to packet bottlenecks, and at the same time provides the best visual quality. The object of the present invention is to provide an object-oriented non-uniform transmission error protection method for video conferencing.

도 1은 본 발명의 실시 예에 따른 객체 분리 알고리즘에 의한 객체 분리모습을 나타낸다.1 shows an object separation by the object separation algorithm according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 QCIF 크기의 영상의 픽쳐 헤더, GOB(Group of Block)헤더 및 경계 매크로 블록을 나타낸다.2 illustrates a picture header, a group of block (GOB) header, and a boundary macro block of an image having a QCIF size according to an embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 RS(Reed Solomon) 오류정정 부호와 인터리빙을 이용하여 전송하는 비디오 비트열 패킷의 구조를 나타낸 블록도이다.FIG. 3 is a block diagram illustrating a structure of a video bit string packet transmitted using RS (Reed Solomon) error correction code and interleaving according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법을 적용한 경우와 일반적인 오류보호 방법의 화질비교 그래프이다.4 is a graph illustrating a comparison of picture quality between an object-oriented non-uniform transmission error protection method for video conferencing and a general error protection method according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법을 적용한 경우와 일반적인 오류보호 방법의 비트 발생량 비교 그래프이다.FIG. 5 is a graph comparing bit generation rates between an object-oriented non-uniform transmission error protection method for videoconferencing and a general error protection method according to an embodiment of the present invention.

도 6은 본 발명의 실시 예에 따른 화상회의를 위한 객체 지향적 비균등 전송 오류 보호방법을 적용한 비디오 영상의 복원과 일반적인 오류 보호방법을 적용한 비디오 영상의 복원모습을 나타낸다.6 is a view illustrating restoration of a video image to which an object-oriented non-uniform transmission error protection method for video conferencing and a restoration of a video image to which a general error protection method is applied according to an embodiment of the present invention.

본 발명의 특징에 따른 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법은, (a) 유무선 네트워크를 통하여 전송하기 위한 동영상 소스를 입력받아 영상을 객체 및 배경으로 분리하여 두 개의 비트열로 전송하는 단계; (b) 상기 분리된 객체의 오류정정 오버헤드의 비율이 상기 배경의 오류 정정 오버헤드의 비유보다 일정비율 높도록 차등을 두어 각각의 객체 및 배경에 오버헤드를 추가하는 단계; 및 (c) 상기 오류정정 오버헤드가 각각 추가된 객체 및 배경을 인터리빙 방식에 의하여 전송하는 단계를 포함한다.Object-oriented non-uniform transmission error protection method for video conferencing according to the characteristics of the present invention, (a) receiving a video source for transmission over a wired or wireless network to separate the image into an object and a background to transmit two bit strings step; (b) adding an overhead to each object and background by making a difference such that the ratio of error correction overhead of the separated object is a certain ratio higher than the analogy of error correction overhead of the background; And (c) transmitting the object and the background to which the error correction overhead is added, by an interleaving method.

바람직하게, 두 개의 비트열에 의한 오버헤드 중복의 손해를 없애고 객체의 화질을 개선하기 위해 , 상기 (b) 단계에서 상기 분리된 객체의 오류정정 오버헤드의 비율이 상기 배경의 오류 정정 오버헤드의 비유보다 일정비율 높도록 차등을 두는데 있어서, 상기 오류 정정 부호화 방법을 RS(Reed Solomon) 부호를 이용하는 경우, 최소 오류 정정 오버 헤드비율(r)과 상기 배경의 비트율(Bck(R))을 곱한 값은(r × Bck(R)), 상기 비디오 영상의 헤더 비트량(H)과 상기 배경의 비트율(Bck(R))을 합한 값(H + Bck(R))에 최소 오류정정 오버 헤드 비율(r)과 상기 일정비율이 차등비율(w)을 곱한 값((H + Bck(R)) × r × w)을 상기 비디오 영상의 헤더 비트량(H)과 합한 값(H + (H + Bck(R)) × r × w))보다 커야 하는 것을 특징으로 한다.Preferably, the ratio of error correction overhead of the separated object in the step (b) is analogous to the error correction overhead of the background in order to eliminate the damage of the overlap of the two bit strings and to improve the image quality of the object. When the error correction coding method uses a RS (Reed Solomon) code in order to make the difference higher than a constant ratio, a value obtained by multiplying the minimum error correction overhead ratio r by the bit rate Bck (R) of the background Is the minimum error correction overhead ratio (r + Bck (R)), which is the sum of the header bit rate (H) of the video image and the bit rate (Bck (R)) of the background (H + Bck (R)). r) and the constant ratio multiplied by the differential ratio w ((H + Bck (R)) × r × w) and the sum of the header bit amount (H) of the video image (H + (H + Bck) (R)) x r x w)).

또한, 본 발명은 유무선 네트워크를 통하여 전송하기 위한 동영상 소스를 입력받아 영상을 객체 및 배경으로 분리하여 두 개의 비트열로 전송하는 기능; 상기 분리된 객체의 오류정정 오버헤드의 비율이 상기 배경의 오류 정정 오버헤드의 비유보다 일정비율 높도록 차등을 두어 각각의 객체 및 배경에 오버헤드를 추가하는 기능; 및 상기 오류정정 오버헤드가 각각 추가된 객체 및 배경을 인터리빙 방식에 의하여 전송하는 기능을 가지는 데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.The present invention also provides a function of receiving a video source for transmission through a wired or wireless network, separating an image into an object and a background, and transmitting the image into two bit strings; Adding an overhead to each object and background by making a difference such that a ratio of error correction overhead of the separated object is higher than a ratio of error correction overhead of the background; And a computer-readable recording medium on which data having a function of transmitting an object and a background to which the error correction overhead is added by an interleaving method is recorded.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 자세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention;

도 1은 본 발명의 실시 예에 따른 객체 분리 알고리즘에 의한 객체 분리모습을 나타낸다.1 shows an object separation by the object separation algorithm according to an embodiment of the present invention.

도 1을 참조하면, 화상 회의용 비디오 영상을 전송하기 위해서는 먼저 영상을 객체와 배경으로 분리한다.Referring to FIG. 1, in order to transmit a video conference video image, the image is first divided into an object and a background.

본 발명의 실시 예와 같은 화상회의의 경우, 객체는 인물의 얼굴에 해당하며, 대부분의 참가자들은 시각적 관심을 인물의 얼굴에 집중하기 때문에 객체와 배경간에 차등적인 비트율 제어를 위하여 객체와 배경으로 도 1에 도시된 바와 같이 분리한다.In the case of video conferencing as in the embodiment of the present invention, the object corresponds to the face of the person, and since most participants concentrate their visual attention on the face of the person, the object and the background are used for differential bit rate control between the object and the background. Separate as shown in 1.

이때, 상기 객체와 배경의 분리는 객체분리 알고리즘 중에 어느 것을 써도 무방하다.In this case, any object separation algorithm may be used to separate the object from the background.

상기와 같이 객체 분리된 비디오 영상은 매크로블록단위로 분리되는데, 이것은 비디오 부호 표준이 대부분 매크로블록 단위로 부호화하기 때문이다.As described above, the object-separated video image is separated into macroblock units, because most of the video coding standards encode macroblock units.

도 2는 본 발명의 실시 예에 따른 QCIF 크기의 영상의 픽쳐 헤더, GOB(Group of Block)헤더 및 경계 매크로 블록을 나타낸다.2 illustrates a picture header, a group of block (GOB) header, and a boundary macro block of an image having a QCIF size according to an embodiment of the present invention.

도 2를 참조하면, 두 개의 비트열로 분리되어 전송되는 영상을 복구하기 위해서는 객체와 배경의 위치에 대한 정보를 송신하여야 하는데, 이는 오버헤드로 전송해도 되지만, 도 2와 같이, GOB(또는 슬라이스)의 헤더의 양자기 정보 5비트를 이용하여 전송한다.Referring to FIG. 2, in order to recover an image that is divided into two bit streams, information about an object and a location of a background must be transmitted, which may be transmitted as overhead. However, as shown in FIG. Is transmitted using 5 bits of quantum information of the header.

즉, 도 2에 도시된 에에서 보는 바와 같이, 각 객체 매크로블록은 GOB(또는 슬라이스) 헤더로부터 5번째 매크로블록에서 시작되고 4 매크로블록의 길이를 갖는다.That is, as shown in FIG. 2, each object macroblock starts at the fifth macroblock from the GOB (or slice) header and has a length of four macroblocks.

이러한 객체 매크로 블록의 위치 정보를 3비트와 2비트로 나누어 전송하도록 한다.The location information of the object macro block is divided into 3 bits and 2 bits for transmission.

그리고, 전송되는 비트열의 오류 정정 부호를 사용하는 경우, 군집 오류에 대처하기 위하여 데이터 인터리빙 방법을 함께 사용하게 된다.When the error correction code of the transmitted bit string is used, the data interleaving method is used together to cope with the clustering error.

도 3은 본 발명의 실시 예에 따른 RS(Reed Solomon) 오류정정 부호와 인터리빙을 이용하여 전송하는 비디오 비트열 패킷의 구조를 나타낸 블록도이다.FIG. 3 is a block diagram illustrating a structure of a video bit string packet transmitted using RS (Reed Solomon) error correction code and interleaving according to an embodiment of the present invention.

도 3을 참조하면, 데이터 인터리빙(Interleaving)은 비디오 비트열을 가로방향으로 채워서 N × M 바이트만큼의 프레임을 만든 후, 세로 방향으로 N개의 패킷을 만들어 전송하는 방법이다. 이때 패킷의 크기는 M 바이트가 되며, 패킷 전체가 손실되어도, 가로 방향에서는 한 바이트의 손실만 입은 효과가 나타난다.Referring to FIG. 3, data interleaving is a method of filling N × M bytes of frames by filling a video bit string in a horizontal direction and then generating and transmitting N packets in a vertical direction. In this case, the packet size is M bytes, and even if the entire packet is lost, only one byte is lost in the horizontal direction.

즉, 데이터 인터리빙을 이용하여 K 바이트의 비디오 비트열과, N-K 바이트의 RS 부호로 구성된 N 바이트의 가로열을 M 바이트로 만들어 세로로 전송하는 것이다.In other words, by using data interleaving, a video byte string of K bytes and a horizontal row of N bytes composed of RS codes of N-K bytes are made into M bytes and transmitted vertically.

또한, 본 발명의 실시 예에 따라, 객체 지향적 비균등 전송오류 보호를 위해서는, 객체와, 배경에 각각 별도의 오류 정정 부호방법을 적용하여, 배경의 오류정정에 실패하여도 객체는 오류정정을 할 수 있도록 객체에 오류정정의 비중을 두도록 한다.In addition, according to an embodiment of the present invention, for object-oriented non-uniform transmission error protection, a separate error correction code method is applied to the object and the background, so that the object may correct the error even if the background error correction fails. Make sure that the error correction is weighted to the object.

도 4는 본 발명의 실시 예에 따른 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법을 적용한 경우와 일반적인 오류보호 방법의 화질비교 그래프이다.4 is a graph illustrating a comparison of picture quality between an object-oriented non-uniform transmission error protection method for video conferencing and a general error protection method according to an embodiment of the present invention.

도 4를 참조하면, 오류보호가 없는 경우(a)와, 일반적인 오류보호 방법을 이용한 경우(b)의 화질 및 패킷 손실률에 비교하여, 객체 기반 오류 보호 방법을 이용한 경우(c)의 화질이 좋은 것을 알 수 있다.Referring to FIG. 4, the image quality of the object-based error protection method (c) is good compared to the image quality and packet loss rate of the case in which there is no error protection (a) and the general error protection method (b). It can be seen that.

일반적인 오류 정정 부호방법을 이용하는 경우, 패킷 오류율이 오류 정정 부호의 정정 능력보다 높게 되면 화질이 급격하게 저하된다. 하지만 객체 지향적 오류 정정 부호를 사용하게 되면, 배경 비트열보다 객체 비트열에 더 높은 정정 능력을 사용하였음으로, 배경 비트열에 오류가 발생하였어도, 객체 비트열만으로 어느 정도 주관적인 화질을 유지할 수 있다.In the case of using the general error correcting code method, when the packet error rate is higher than the correcting ability of the error correcting code, the image quality deteriorates rapidly. However, when the object-oriented error correction code is used, since the higher correcting capability is used for the object bit string than the background bit string, even if an error occurs in the background bit string, the subjective image quality can be maintained to some extent.

상기한 RS 오류정정 부호능력은 도 3을 참고로 할 때,바이트이다.When the RS error correction code capability described above with reference to FIG. Bytes.

따라서, 네트워크나 채널의 패킷 오류율을 e라고 했을 때, 최소한의 오류 정정 오버 헤드 비율 r은에서이 된다.Therefore, when the packet error rate of the network or channel is e, the minimum error correction overhead ratio r is in Becomes

또한, 객체 지향적 오류 정정방법을 사용하는 않은 경우 비트 발생량 BW1은 수학식 1과 같다.In addition, when the object-oriented error correction method is not used, the bit generation amount BW1 is expressed by Equation 1 below.

BW1(R) = (H + Obj(R) + Bck(R))(1 + r)BW1 (R) = (H + Obj (R) + Bck (R)) (1 + r)

이때, 상기 'H'는 헤더 비트량이고, Obj(R)은 객체의 비트량이며, Bck(R)은 배경의 비트량이 된다. 또한, 'H'는 전송율에 상관없는 상수이지만, Obj(R) 또는 Bck(R)은 전송율에 따라 달라지게 되므로 전송율 'R'의 함수로 나타낸다.At this time, the 'H' is the header bit amount, Obj (R) is the object bit amount, Bck (R) is the background bit amount. In addition, 'H' is a constant irrespective of the transmission rate, but Obj (R) or Bck (R) is represented as a function of the transmission rate 'R' since it depends on the transmission rate.

상기와 비교적으로 본 발명의 실시 예에 따른 객체 지향적 오류 정정 방법을 사용한 경우의 비트 발생량 BW2는 수학식 2와 같다.Compared to the above, the bit generation amount BW2 in the case of using the object-oriented error correction method according to the embodiment of the present invention is shown in Equation 2.

BW2(R) = (H + Obj(R))(1 + r) + (H + Bck(R))(1 + wr), 0<w<1BW2 (R) = (H + Obj (R)) (1 + r) + (H + Bck (R)) (1 + wr), 0 <w <1

상기 수학식 2의 경우 비트열을 둘로 나누었기 때문에 헤더 'H'가 중복되며 오류 정정 오버 헤드 비율은 객체와 배경 열간에 차등을 두므로 차등을 주는 비율 'w'가 추가된다.In the case of Equation 2, since the bit string is divided into two, the header 'H' is overlapped, and the error correction overhead ratio is differentiated between the object and the background string, thereby adding a difference ratio 'w'.

상기 수학식1과 수학식 2에서 BW2 가 BW 1 보다 작아지는 조건은 수학식 3과 같다.In Equations 1 and 2, the condition that BW2 becomes smaller than BW 1 is the same as Equation 3.

r × Bck(R) > H + (H + Bck(R)) × wrr × Bck (R)> H + (H + Bck (R)) × wr

상기 수학식 3을 만족하기 위하여 객체 지향적 오류 정정 부호화 방법을 사용하는 경우, 오류 정정 오버 헤드의 증가로 인한 순수 비디오 비트율의 손해를 보지 않게 된다.When the object-oriented error correction encoding method is used to satisfy the above Equation 3, the pure video bit rate is not lost due to an increase in error correction overhead.

도 5는 본 발명의 실시 예에 따른 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법을 적용한 경우와 일반적인 오류보호 방법의 비트 발생량 비교 그래프이다.FIG. 5 is a graph comparing bit generation rates between an object-oriented non-uniform transmission error protection method for videoconferencing and a general error protection method according to an embodiment of the present invention.

도 5를 참조하면, 전송율이 RT 이상인 경우에는 객체 지향적 오류 정정 방법에서 ΔB 만큼의 비트율의 이익을 가져온다. 따라서 ΔB 만큼의 비트를 비트 율 제어에서 화질 향상을 위해 사용할 수 있다.Referring to FIG. 5, in the case where the transmission rate is RT or more, the object-oriented error correction method brings a bit rate benefit of ΔB. Therefore, as many bits as ΔB can be used to improve the image quality in the rate control.

상기의 방식에 따라 객체 지향적인 비균등 전송오류 보호방법에 의해 복원한 비디오 영상의 비교화면은 다음과 같다.According to the above method, the comparison screen of the video image restored by the object-oriented non-uniform transmission error protection method is as follows.

도 6은 본 발명의 실시 예에 따른 화상회의를 위한 객체 지향적 비균등 전송 오류 보호방법을 적용한 비디오 영상의 복원과 일반적인 오류 보호방법을 적용한 비디오 영상의 복원모습을 나타낸다.6 is a view illustrating restoration of a video image to which an object-oriented non-uniform transmission error protection method for video conferencing and a restoration of a video image to which a general error protection method is applied according to an embodiment of the present invention.

도 6을 참조하면, 첫 번째 영상은 일반적인 오류 정정 부호방법에 의해 전송된 비디오 영상을 복원한 것이고, 두 번째 영상은 객체 지향적 오류 정정 부호 방식을 이용하여 전송된 비디오 영상을 복원한 것이다.Referring to FIG. 6, the first image is a reconstruction of a video image transmitted by a general error correction coding method, and the second image is a reconstruction of a video image transmitted using an object-oriented error correction coding method.

두 개의 영상을 비교하면, 일반적인 오류 정정 부호 방식을 이용한 영상에 비하여 객체 지향적 오류 정정 부호방식을 이용한 영상의 배경의 오류가 크게 나타나며, 화면의 인물에 해당하는 객체의 오류는 적게 나타나는 것을 볼 수 있다.Comparing the two images, the error of the background of the image using the object-oriented error correction coding method is larger than the image using the error correction coding method, and the error of the object corresponding to the person on the screen appears to be smaller. .

상기의 두 개의 화면은 시각적으로 객체의 오류가 적은 화면, 즉 객체 지향적 오류 정정 방식에 의해 전송되어진 비디오 영상을 복원한 쪽이 화질이 좋은 것으로 판단하도록 한다.The above two screens visually reduce an error of an object, that is, a user who reconstructs a video image transmitted by an object-oriented error correction scheme determines that image quality is good.

이상에서 설명한 바와 같이, 본 발명에 따른 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법은, 화상 회의시 네트워크의 병목 현상이나 무선 채널의 군집 오류에 의해 발생하는 비디오 패킷 전송의 오류를 정정하기 위하여, 화면상의 객체와 배경을 분리하여 두 개의 비트열로 전송하고, 객체를 배경보다 더 높은 비트율을 할당하여 오류정정이 가능하도록 함으로써, 비디오 신호의 전송 오류율을 영상의 특성에 따라, 화면의 중심이 되는 객체의 오류 정정에 비중을 두어 전체적인 화질 향상을 도모할 수 있는 효과가 있다.As described above, the object-oriented non-uniform transmission error protection method for video conferencing according to the present invention is to correct an error in video packet transmission caused by a bottleneck of a network or a clustering error of a wireless channel during video conferencing. By separating the object and the background on the screen and transmitting them in two bit streams, and assigning a higher bit rate than the background to enable error correction, the transmission error rate of the video signal can be adjusted according to the characteristics of the image. Emphasis is placed on error correction of objects to improve overall image quality.

Claims (3)

(a) 유무선 네트워크를 통하여 전송하기 위한 동영상 소스를 입력받아 영상을 객체 및 배경으로 분리하여 두 개의 비트열로 전송하는 단계;(a) receiving a video source for transmission through a wired or wireless network, separating the image into an object and a background, and transmitting the two bit streams; (b) 상기 분리된 객체의 오류정정 오버헤드의 비율이 상기 배경의 오류 정정 오버헤드의 비유보다 일정비율 높도록 차등을 두어 각각의 객체 및 배경에 오버헤드를 추가하는 단계; 및(b) adding an overhead to each object and background by making a difference such that the ratio of error correction overhead of the separated object is a certain ratio higher than the analogy of error correction overhead of the background; And (c) 상기 오류정정 오버헤드가 각각 추가된 객체 및 배경을 인터리빙 방식에 의하여 전송하는 단계(c) transmitting the object and the background to which the error correction overhead is added by the interleaving method; 를 포함하는 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법.Object-oriented non-uniform transmission error protection method for video conferencing comprising a. 제 1항에 있어서,The method of claim 1, 상기 (B) 단계에서 상기 분리된 객체의 오류정정 오버헤드의 비율이 상기 배경의 오류 정정 오버헤드의 비유보다 일정비율 높도록 차등을 두는데 있어서,In the step (B), in the difference between the ratio of the error correction overhead of the separated object is a certain ratio higher than the analogy of the error correction overhead of the background, 상기 오류 정정 부호화 방법을 RS(Reed Solomon) 부호를 이용하는 경우,When the error correction coding method uses a Reed Solomon (RS) code, 최소 오류 정정 오버 헤드비율(r)과 상기 배경의 비트율(Bck(R))을 곱한 값은(r × Bck(R)),The value obtained by multiplying the minimum error correction overhead rate (r) by the bit rate (Bck (R)) of the background is (r × Bck (R)), 상기 비디오 영상의 헤더 비트량(H)과 상기 배경의 비트율(Bck(R))을 합한 값(H + Bck(R))에 최소 오류정정 오버 헤드 비율(r)과 상기 일정비율이 차등비율(w)을 곱한 값((H + Bck(R)) × r × w)을 상기 비디오 영상의 헤더 비트량(H)과 합한 값(H + (H + Bck(R)) × r × w))보다 커야 하는 것을 특징으로 하는 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법.The minimum error correction overhead ratio r and the constant ratio are equal to the sum of the header bit amount H of the video image H and the bit rate Bck (R) of the background (H + Bck (R)). multiplied by w) ((H + Bck (R)) × r × w) plus the header bit amount (H) of the video image (H + (H + Bck (R)) × r × w) An object-oriented non-uniform transmission error protection method for videoconferencing, characterized in that it must be larger. 유무선 네트워크를 통하여 전송하기 위한 동영상 소스를 입력받아 영상을 객체 및 배경으로 분리하여 두 개의 비트열로 전송하는 기능;Receiving a video source for transmission through a wired or wireless network and separating the image into an object and a background and transmitting the two bit streams; 상기 분리된 객체의 오류정정 오버헤드의 비율이 상기 배경의 오류 정정 오버헤드의 비유보다 일정비율 높도록 차등을 두어 각각의 객체 및 배경에 오버헤드를 추가하는 기능; 및Adding an overhead to each object and background by making a difference such that a ratio of error correction overhead of the separated object is higher than a ratio of error correction overhead of the background; And 상기 오류정정 오버헤드가 각각 추가된 객체 및 배경을 인터리빙 방식에 의하여 전송하는 기능A function for transmitting the object and the background to which the error correction overhead is added by the interleaving method 을 가지는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.The computer-readable recording medium having the program recorded thereon.
KR1020020085041A 2002-12-27 2002-12-27 Object-Oriented Uneven Transmission Error Protection Method for Video Conferencing KR100930711B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020085041A KR100930711B1 (en) 2002-12-27 2002-12-27 Object-Oriented Uneven Transmission Error Protection Method for Video Conferencing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020085041A KR100930711B1 (en) 2002-12-27 2002-12-27 Object-Oriented Uneven Transmission Error Protection Method for Video Conferencing

Publications (2)

Publication Number Publication Date
KR20040058671A true KR20040058671A (en) 2004-07-05
KR100930711B1 KR100930711B1 (en) 2009-12-09

Family

ID=37350747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020085041A KR100930711B1 (en) 2002-12-27 2002-12-27 Object-Oriented Uneven Transmission Error Protection Method for Video Conferencing

Country Status (1)

Country Link
KR (1) KR100930711B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170128498A (en) * 2015-03-18 2017-11-22 아바타 머저 서브 Ii, 엘엘씨 Edit background in video conferences
US11514947B1 (en) 2014-02-05 2022-11-29 Snap Inc. Method for real-time video processing involving changing features of an object in the video

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100483676B1 (en) * 1997-07-12 2005-08-31 주식회사 팬택앤큐리텔 Flexible shape information encoding apparatus and method
KR100389847B1 (en) * 2001-03-02 2003-07-02 쓰리알 주식회사 Streaming device for moving picture

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514947B1 (en) 2014-02-05 2022-11-29 Snap Inc. Method for real-time video processing involving changing features of an object in the video
US11651797B2 (en) 2014-02-05 2023-05-16 Snap Inc. Real time video processing for changing proportions of an object in the video
KR20170128498A (en) * 2015-03-18 2017-11-22 아바타 머저 서브 Ii, 엘엘씨 Edit background in video conferences
KR20190116566A (en) * 2015-03-18 2019-10-14 아바타 머저 서브 Ii, 엘엘씨 Background modification in video conferencing
KR20200125775A (en) * 2015-03-18 2020-11-04 아바타 머저 서브 Ii, 엘엘씨 Background modification in video conferencing
US11290682B1 (en) 2015-03-18 2022-03-29 Snap Inc. Background modification in video conferencing

Also Published As

Publication number Publication date
KR100930711B1 (en) 2009-12-09

Similar Documents

Publication Publication Date Title
Côté et al. Optimal intra coding of blocks for robust video communication over the Internet
JP4982024B2 (en) Video encoding method
US6611561B1 (en) Video coding
JP4440392B2 (en) Compressed video data decoding method and apparatus
US6744924B1 (en) Error concealment in a video signal
Farber et al. Extensions of ITU-T recommendation H. 324 for error-resilient video transmission
US20070153898A1 (en) Hybrid error concealment method
BRPI0110770B1 (en) method of encoding / decoding a video signal representing an image sequence, and, video encoder / decoder
CN100440975C (en) Method and apparatus for improving the average image refresh rate in a compressed video bitstream
US6040879A (en) Method for decoding video data corrupted by channel noise
Frossard et al. AMISP: a complete content-based MPEG-2 error-resilient scheme
KR100930711B1 (en) Object-Oriented Uneven Transmission Error Protection Method for Video Conferencing
Raychaudhuri et al. ATM transport and cell-loss concealment techniques for MPEG video
KR100213289B1 (en) Method for detecting error of bit stream in h.263 algorithm
Bahl et al. H. 263 based video codec for real-time visual communications over wireless radio networks
KR100998754B1 (en) Method of object oriented rate control and error concealment for video transmission and receiving in video conference
US20040228404A1 (en) Moving picture coding method
CN107835422B (en) HEVC multi-description image coding algorithm based on significance
KR100212544B1 (en) Method for detecting error of bit stream in h.263 algorithm
Khademi et al. Layered video communications in an ATM environment
KR0178243B1 (en) Error detection method of h. 263 image bit stream
Chang et al. Adaptive layered video coding for multi-time scale bandwidth fluctuations
Mobasher et al. Cross layer image optimization (CLIO) for wireless video transmission over 802.11 ad multi-gigabit channels
KR100213288B1 (en) Method for detecting error of bit stream in h.263 algorithm
KR100203711B1 (en) Method for detecting error of bit stream in h.263 algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 6