KR20050089458A - Packet loss error resilient decoding method - Google Patents
Packet loss error resilient decoding method Download PDFInfo
- Publication number
- KR20050089458A KR20050089458A KR1020040014881A KR20040014881A KR20050089458A KR 20050089458 A KR20050089458 A KR 20050089458A KR 1020040014881 A KR1020040014881 A KR 1020040014881A KR 20040014881 A KR20040014881 A KR 20040014881A KR 20050089458 A KR20050089458 A KR 20050089458A
- Authority
- KR
- South Korea
- Prior art keywords
- packet
- decoding method
- packets
- mpeg
- sequence number
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
- H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
Abstract
본 발명에 의한 패킷 손실에 대응하는 복호화 방법은, 무선 인터넷 망을 이용한 주문형 비디오(VOD) 서비스의 복호화 방법에 있어서, 현재 입력되는 패킷(PB)에 대해 디 패킷화하는 단계와; 상기 디 패킷화를 통해 패킷에 구비된 RTP 헤더의 소정의 정보를 저장하는 단계와; 상기 RTP 헤더의 소정의 정보를 이용하여 현재 입력된 패킷(PB) 및 이전에 입력된 패킷(PA)이 동일한 프레임에서 연속적인 패킷인지 확인하는 단계와; 상기 확인 결과 상기 두 패킷(PA, PB)이 동일한 프레임에서 연속적인 패킷이 아닌 경우에 현재 입력되는 패킷(PB)의 끝단에 특정 비트패턴을 추가하는 단계가 포함되는 것을 특징으로 한다.Decoding method corresponding to the packet loss according to the present invention, in the decoding method of the wireless video-on-demand (VOD) service using the Internet network, the method comprising: de-packetization for packet (P B) and the currently input; Storing predetermined information of an RTP header provided in a packet through the depacketization; Checking whether the currently input packet (P B ) and the previously input packet (P A ) are consecutive packets in the same frame by using the predetermined information of the RTP header; As a result of the checking, when the two packets P A and P B are not consecutive packets in the same frame, adding a specific bit pattern to the end of the currently input packet P B.
Description
본 발명은 패킷 손실에 대응하는 복호화 방법에 관한 것으로, 특히 무선 인터넷을 이용한 VOD(Video On Demand) 서비스에서 패킷 손실에 대응하는 MPEG-4(Motion Picture Experts Group-4) 복호화 방법에 관한 것이다.The present invention relates to a decoding method corresponding to packet loss, and more particularly, to a Motion Picture Experts Group-4 (MPEG-4) decoding method corresponding to packet loss in a video on demand (VOD) service using wireless Internet.
도 1은 종래의 무선 인터넷을 이용한 VOD 서비스 시스템의 개략적인 구성을 나타내는 도면이고, 도 2는 VOD 서비스를 위한 VOD 프로토콜 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of a conventional VOD service system using a wireless Internet, Figure 2 is a view showing a VOD protocol configuration for a VOD service.
먼저 상기 VOD 서비스란 Video On Demand의 약어로 서비스 이용자의 요구에 따라 영화나 뉴스 등의 영상 기반 서비스를 전화선이나 케이블을 통해 제공하는 새로운 개념의 영상 서비스 사업을 말한다. 상기 VOD 서비스는 비디오 프로그램을 디지털로 압축하여 비디오 서버에 저장하고, 가입자가 원하는 프로그램을 고속 통신망을 이용하여 제공하는 서비스로서 이용자는 프로그램의 선택, 재생, 제어, 색인검색, 질의 등을 할 수가 있다. First, the VOD service is an abbreviation of Video On Demand and refers to a new concept video service business that provides a video-based service such as a movie or news through a telephone line or a cable according to a request of a service user. The VOD service is a service that digitally compresses a video program, stores it in a video server, and provides a program desired by a subscriber using a high-speed communication network. The user can select, play, control, index, and query a program. .
또한, 최근 들어서는 상기 VOD 서비스를 CDMA1x 및 EVDO(Evolution Data Only) 등과 같은 무선 인터넷을 통해 실시간으로 제공하고 있다.In recent years, the VOD service is provided in real time through the wireless Internet such as CDMA1x and EVDO (Evolution Data Only).
도 1을 참조하면, 종래의 무선 인터넷을 이용한 VOD 서비스 시스템은 VOD 서비스를 제공하는 VOD 서버(100)와, 상기 VOD 서비스를 제공받기 위해 무선 인터넷망(120)에 가입된 다수의 단말기(140)로 구성된다.Referring to FIG. 1, the conventional VOD service system using the wireless Internet includes a VOD server 100 providing a VOD service and a plurality of terminals 140 subscribed to the wireless Internet network 120 to receive the VOD service. It consists of.
여기서, 상기 VOD 서버(100)를 통해 무선 인터넷을 이용한 VOD 서비스를 제공하기 위해서는, 상기 서버(100)에서 제작된 영상 또는 동영상을 MPEG-4 부호화기(encoder)를 이용하여 압축된 비트 스트림(bit stream)으로 변환하고, 이후 상기 비트 스트림에 대한 패킷화(packetization) 과정을 수행한 다음, 패킷 네트워크(즉, 무선 인터넷망) 전송을 위한 헤더 정보를 추가한 후, 패킷 망에 전송한다. In this case, in order to provide a VOD service using the wireless Internet through the VOD server 100, a bit stream in which a video or a video produced by the server 100 is compressed using an MPEG-4 encoder. ), After the packetization process is performed for the bit stream, header information for packet network (ie, wireless Internet network) transmission is added, and then transmitted to the packet network.
즉, 도 2를 참조하면, VOD 서버측에서는 스트리밍(Streaming) 용 컨텐츠를 MPEG-4 부호화기를 통해 인코딩 후, 이에 압축된 비트 스트림을 RTP(Real-time Transport Protocol)를 이용한 패킷화 과정을 수행 후, UDP(User Datagram Protocol), IP(Internet Protocol)를 이용하여 전송한다. That is, referring to FIG. 2, the VOD server side encodes streaming content through an MPEG-4 encoder, and then performs a packetization process using the compressed bit stream using the Real-time Transport Protocol (RTP). Transmit using UDP (User Datagram Protocol) and IP (Internet Protocol).
이에 대해 상기 수신 단말 측에서는 이의 역순으로 IP, UDP, RTP 헤더를 떼어 내고, 디패킷화 및 MPEG-4 복호화를 수행한다. On the other hand, the receiving terminal side removes the IP, UDP, and RTP headers in the reverse order, and performs depacketization and MPEG-4 decoding.
또한, RTSP(Real-time Streaming Protocol)는 이러한 컨텐츠의 선택, 재생, 정지, 녹화와 같은 제어를 위해 TCP(Transmission Control Protocol), IP를 통하여 단말기와 통신 한다.In addition, RTSP (Real-time Streaming Protocol) communicates with the terminal through Transmission Control Protocol (TCP) and IP to control such selection, playback, stop, and recording.
도 3a 및 도 3b는 MPEG-4 패킷의 구조와 MPEG-4 비디오 패킷 구조의 일 실시예를 나타내는 도면이다.3A and 3B are diagrams illustrating an embodiment of an MPEG-4 packet structure and an MPEG-4 video packet structure.
먼저 일반적인 MPEG-4 패킷의 구조는 도 3a에 도시된 바와 같이 RTP 헤더와, MPEG-4 스트림 헤더(VOS/ VO/ VOL/ VOP) 및 MPEG-4 스트림으로 구성된다.First, the structure of a general MPEG-4 packet is composed of an RTP header, an MPEG-4 stream header (VOS / VO / VOL / VOP) and an MPEG-4 stream as shown in FIG. 3A.
여기서, 상기 MPEG-4 스트림 헤더에 포함된 VOP(Video Object Plane)는 하나의 프레임을 나타내기 위한 모든 정보를 의미하는 것으로, 이는 VOP 헤더와 VOP 데이터로 구성된다.Here, the VOP (Video Object Plane) included in the MPEG-4 stream header means all information for representing one frame, and is composed of a VOP header and VOP data.
상기 VOP 헤더에는 하나의 프레임을 나타내기 위해 필요한 정보가 들어 있으며, 상기 하나의 프레임은 매크로 블럭(Macro block) 이라 하는 16*16크기의 작은 단위로 나뉘어진다. The VOP header contains information necessary to represent one frame, and the one frame is divided into 16 * 16 small units called macro blocks.
예를 들면 176*144의 크기를 가지는 QCIF포맷은 11*9개의 매크로 블럭으로 나누어지며, 이에 대해 각각 0-98까지의 매크로 블록 번호를 가질 수 있다. For example, the QCIF format having a size of 176 * 144 is divided into 11 * 9 macroblocks, each of which may have a macroblock number of 0-98.
일반적으로 MPEG-4 스트림은 한 프레임 정보를 하나 이상의 패킷으로 나누어 전송을 하는데, 그에 따라 한 프레임을 구성하는 여러 패킷 중 중간의 패킷이 손실되면 이를 복호화하는 과정에서 상기 손실된 패킷을 뒤따라 오는 패킷은 몇 번째 매크로 블럭 데이터인지 알 수가 없으므로 버려지게 된다. In general, an MPEG-4 stream is transmitted by dividing one frame information into one or more packets. Accordingly, if an intermediate packet among several packets constituting a frame is lost, the packet following the lost packet is decoded. The macro block data is discarded because it is unknown.
이런 현상을 막기위해 MPEG-4 규격(specification, 스펙)에서는 비디오 패킷을 제안하고 있으며, 이는 도 3b에 도시된 바와 같이 구성된다.In order to prevent this phenomenon, the MPEG-4 specification proposes a video packet, which is configured as shown in FIG. 3B.
비디오 패킷 헤더는 매크로 블록 번호(macro block _ number)를 가지고 있으므로 하나의 프레임을 구성하는 여러 비디오 패킷 중 중간의 비디오 패킷이 손실되더라도 다음 비디오 패킷이 가지고 있는 매크로 블록 데이터(Macro block Data)가 어디서 시작되는지 알 수 있기 때문에 그 뒤의 패킷이 가지고 있는 데이터로 프레임을 나타낼 수 있는 것이다.Since the video packet header has a macro block number, the macro block data of the next video packet starts even if the middle video packet is lost among several video packets constituting one frame. You can tell if the frame is represented by the data that the packet following it has.
그러나, 상기 VOD 서비스에 사용되는 MPEG-4 스트림에는 매크로 블록 번호가 없이 전송되는 것도 많다.However, MPEG-4 streams used for the VOD service are often transmitted without macro block numbers.
앞서 언급한 바와 같이 한 프레임을 구성하는 여러 패킷 중 중간 패킷이 손실되었을 때, 복호화 과정에서 그 뒤에 오는 패킷은 버려지고, 에러가 발생한 매크로 블럭부터 마지막 매크로 블럭까지 이전프레임의 데이터를 이용하거나, 또는 지금까지 복호화된 영상을 이용하여 에러 은닉(error conceal)을 수행한다. As mentioned above, when an intermediate packet among several packets constituting a frame is lost, subsequent packets are discarded in the decoding process, and data of the previous frame is used from the macro block in which the error occurs to the last macro block, or An error conceal is performed using the decoded image so far.
그러나, 상기와 같이 패킷 단위로 전송될 경우 상기 패킷의 경계선에서는 에러를 찾아내지 못하는 경우가 발생할 수 있다. However, when transmitted in the packet unit as described above, an error may not be found at the boundary of the packet.
즉, 하나의 프레임을 패킷 Pt, Pt+1, Pt+2 으로 전송한다고 가정할 때, 패킷 Pt+1이 손실되면 패킷 Pt와 Pt+2가 코덱(codec)에 전달된다.That is, assuming that one frame is transmitted in packets P t , P t + 1 , and P t + 2 , if packet P t + 1 is lost, packets P t and P t + 2 are transmitted to the codec. .
이 때, 상기 패킷 Pt와 패킷 Pt+2 사이에서 에러가 발견되는 경우에는 상기 패킷 Pt+2를 버리고 에러 은닉(error conceal)을 수행하게 되지만, 에러가 발견되지 않으면 패킷 Pt+2의 정보가 패킷 Pt+1의 데이터와 같이 복호화 된다.At this time, if an error is found between the packet P t and the packet P t + 2 , the packet P t + 2 is discarded and an error concealment is performed. If no error is found, the packet P t + 2 is detected. Information is decoded together with data of the packet P t + 1 .
MPEG-4 스트림에 전송되는 매크로 블럭의 데이터는, 전송되는 데이터 크기가 작도록 하기 위해 전체 데이터가 아닌 현재 매크로 블럭을 둘러싸고 있는 주위 매크로 블럭과의 차분(differential) 값을 전송하는데, 상기와 같이 패킷 Pt와 패킷 Pt+2 사이에서 에러가 발견되지 않아 상기 패킷 Pt+2의 정보가 패킷 Pt+1의 데이터와 같이 복호화 되는 경우 눈에 띄는 에러가 화면에 나타나는데, 이는 도 4를 통해 설명된다.The data of a macroblock transmitted in an MPEG-4 stream transmits a differential value with surrounding macroblocks surrounding the current macroblock, not the entire data, in order to reduce the size of the transmitted data. P t and the packet P t + because the error is not found between the two is an error noticeable when the information of the packet P t + 2 will be decoded as shown in the data in the packet P t + 1 displayed on the screen, which through 4 It is explained.
도 4는 패킷의 경계선에서는 에러를 찾아내지 못하는 경우의 문제점을 설명하는 도면으로, (a)에 도시된 화면은 상기 패킷 Pt와 패킷 Pt+2 사이에서 에러가 발견되는 경우 상기 패킷 Pt+2를 버리고 에러 은닉(error conceal)을 수행한 결과가 나타난 화면으로 문제가 없으나, 반면 (b)에 도시된 화면은 상기 패킷 Pt와 패킷 Pt+2 사이에서 에러가 발견되지 않아 상기 패킷 Pt+2의 정보가 패킷 Pt+1의 데이터와 같이 복호화된 결과가 나타난 화면으로 화질이 불량함을 알 수 있다.Figure 4 is the case with a view explaining the problem of the case can not find the error in the boundary of the packet, the screen shown in (a) is an error is found between the packets P t and the packet P t + 2 the packet P t The screen showing the result of performing error concealment after abandoning +2 has no problem. On the other hand, the screen shown in (b) shows no error between the packet P t and the packet P t + 2. It can be seen that the picture quality is poor as a screen in which the information of P t + 2 is decoded together with the data of packet P t + 1 .
즉, 손실된 패킷의 이전 패킷과, 그 이후의 패킷이 매크로 블록 데이타의 경계선에서 정상적인 스트림으로 복호화 과정을 거치게 되면 눈에 띄게 영상품질이 저하되는 문제점이 있다.That is, when the previous packet and the subsequent packet of the lost packet are decoded into a normal stream at the boundary of the macroblock data, there is a problem that the image quality is noticeably deteriorated.
본 발명은 무선 인터넷을 이용한 VOD 서비스 시 패킷 손실로 인해 발생되는 MPEG-4 복호화 에러에 대응하기 위해, VOD 서비스 시 함께 전송되는 RTP헤더 메시지 정보를 이용하여 MPEG-4 복호화 오류를 보정함으로써, 영상 품질의 향상을 기할 수 있는 패킷 손실에 대응하는 복호화 방법을 제공함에 그 목적이 있다.According to the present invention, in order to cope with MPEG-4 decoding error caused by packet loss during VOD service using wireless Internet, the MPEG-4 decoding error is corrected by using RTP header message information transmitted during VOD service, thereby improving image quality. It is an object of the present invention to provide a decoding method corresponding to packet loss, which can improve the performance.
상기 목적을 달성하기 위하여 본 발명에 의한 패킷 손실에 대응하는 복호화 방법은, 무선 인터넷 망을 이용한 주문형 비디오(VOD) 서비스의 복호화 방법에 있어서, 현재 입력되는 패킷(PB)에 대해 디 패킷화하는 단계와; 상기 디 패킷화를 통해 패킷에 구비된 RTP 헤더의 소정의 정보를 저장하는 단계와; 상기 RTP 헤더의 소정의 정보를 이용하여 현재 입력된 패킷(PB) 및 이전에 입력된 패킷(PA)이 동일한 프레임에서 연속적인 패킷인지 확인하는 단계와; 상기 확인 결과 상기 두 패킷(PA, PB)이 동일한 프레임에서 연속적인 패킷이 아닌 경우에 현재 입력되는 패킷(PB)의 끝단에 특정 비트패턴을 추가하는 단계가 포함되는 것을 특징으로 한다.Decoding method corresponding to the packet loss according to the present invention in order to achieve the above object, according to the decoding method of the video-on-demand (VOD) service using a wireless Internet network, de-packetization for packet (P B) is the current input Steps; Storing predetermined information of an RTP header provided in a packet through the depacketization; Checking whether the currently input packet (P B ) and the previously input packet (P A ) are consecutive packets in the same frame by using the predetermined information of the RTP header; As a result of the checking, when the two packets P A and P B are not consecutive packets in the same frame, adding a specific bit pattern to the end of the currently input packet P B.
여기서, 상기 RTP 헤더의 소정의 정보는 각 패킷의 time stamp 와 sequence number 정보임을 특징으로 한다.또한, 상기 현재 입력된 패킷(PB) 및 이전에 입력된 패킷(PB)이 동일한 프레임에 속하는 것인지의 판단은, 상기 PA, PB 에 대한 time stamp 값이 동일한지 여부에 의하며, 상기 현재 입력된 패킷(PB) 및 이전에 입력된 패킷(PB)이 연속적인 패킷인지의 판단은, 상기 PB의 sequence number 가 PA의 sequence number+1 인지 확인함에 의함을 특징으로 한다.The predetermined information of the RTP header may be time stamp and sequence number information of each packet. Further, the currently input packet P B and the previously input packet P B belong to the same frame. The determination of whether the time stamp value for the P A and P B are the same or not, and the determination of whether the currently input packet P B and the previously input packet P B are continuous packets And, characterized in that by checking whether the sequence number of the P B is the sequence number + 1 of P A.
또한, 상기 특정 비트패턴으로 MPEG-4 규격에서 정의한 start code 중 reserved code를 사용하는 것을 특징으로 한다.In addition, a reserved code of the start codes defined in the MPEG-4 standard may be used as the specific bit pattern.
본 발명은 무선 인터넷을 이용한 VOD(Video On Demand) 서비스에서 패킷 손실에 대응하는 MPEG-4(Motion Picture Experts Group-4) 복호화 방법에 관한 것으로, 패킷 손실로 인한 MPEG-4 복호화 에러에 대응하기 위해, VOD 서비스 시 함께 전송되는 RTP(Real-time Transport Protocol) 헤더 메시지 정보를 이용하여 MPEG-4 복호화 오류를 보정함으로써, 영상 품질의 향상을 기할 수 있는 패킷 손실에 대응하는 복호화 방법임에 그 특징이 있다. The present invention relates to a MPEG-4 (Motion Picture Experts Group-4) decoding method corresponding to packet loss in a Video On Demand (VOD) service using wireless Internet, and to cope with MPEG-4 decoding errors due to packet loss. Is a decoding method corresponding to packet loss that can improve video quality by correcting MPEG-4 decoding error by using Real-time Transport Protocol (RTP) header message information transmitted together with VOD service. have.
본 발명은 정상적인 MPEG-4 복호화 과정 중 패킷 손실이 발생되는 경우 전송되는 패킷의 경계선에서 에러가 발생하도록 하기 위하여, RTP 헤더 메시지 정보를 이용함을 특징으로 한다.The present invention is characterized by using the RTP header message information to generate an error at the boundary of the transmitted packet when packet loss occurs during normal MPEG-4 decoding.
상기 RTP 헤더는 전송되는 패킷마다 하나씩 붙게 되는데, 상기 RTP 헤더에는 각 패킷의 time stamp 와, sequence number 정보가 들어있다. 여기서, 상기 time stamp 는 현재 프레임이 생성된 시간적 정보를 나타내는 것으로, 따라서 한 프레임을 구성하는 모든 패킷은 동일한 time stamp 값을 가지게 된다.The RTP header is attached to each transmitted packet. The RTP header includes time stamp and sequence number information of each packet. In this case, the time stamp indicates temporal information on which the current frame is generated, so that all packets constituting one frame have the same time stamp value.
또한, 상기 sequence number 는 각 패킷이 전송된 순서를 나타내는 번호로서, 하나의 프레임을 구성하는 패킷은 서로 다른 sequence number 를 가지게 된다.In addition, the sequence number is a number indicating the order in which each packet is transmitted, and the packets constituting one frame have different sequence numbers.
즉, RTP 헤더가 포함된 패킷을 받는 수신 단말측은 상기 time stamp 와, sequence number 를 보고 같은 프레임 내에서 몇 번째 패킷이 손실되었는지 알 수 있게 되는 것이다.That is, the receiving terminal receiving the packet including the RTP header can see the time stamp and the sequence number so as to know how many packets are lost in the same frame.
일 례로 상기 time stamp 가 동일한 두 개의 연속적인 패킷 PA, PB에 대해 PB의 sequence number 가 PA의 sequence number+1 이 아닐 경우 상기 PA, PB 사이의 중간 패킷이 손실된 것으로 판단할 수 있게 되는 것이며, 이에 본 발명은 상기 두 패킷의 경계선에서 에러가 발견될 수 있도록 에러를 발생시키는 비트 패턴을 넣어주게 된다.One in turn the time stamp is determined that if the sequence number of the P B for the two consecutive packets P A, P B the same is not the sequence number + 1 for P A is the intermediate packets between the P A, P B Loss According to the present invention, a bit pattern for generating an error is inserted so that an error can be found at the boundary between the two packets.
이 때, 상기 비트패턴으로는 MPEG-4에 의한 프레임 데이터에서 나타날 수 없는 비트패턴을 이용하여 복호화에 필요한 정보를 제공한다.At this time, the bit pattern is used to provide information necessary for decoding by using a bit pattern that cannot appear in MPEG-4 frame data.
즉, 상기 MPEG-4에 의한 프레임 데이터를 복호화 하는 중에 이러한 비트패턴이 나타나면 반드시 에러가 발생하게 되어, 상기 패킷 PA와 패킷 PB 사이에서 에러가 발견되지 않아 상기 패킷 PB의 정보가 패킷 PA의 데이터와 같이 복호화되는 것을 방지할 수 있게 된다.That is, this If the bit pattern is to be an error occurs, the packet P A and the packet P between B because the error is not detected, information of the packet P B packet P in the decoded frame data according to the MPEG-4 It is possible to prevent the decoding such as the data of A.
본 발명에서는 상기 비트패턴의 일 실시예로 MPEG-4 규격(specification, 스펙)에서 정의한 start code 중 reserved code를 사용한다.In the present invention, a reserved code is used among start codes defined in the MPEG-4 specification as an example of the bit pattern.
이하, 첨부된 도면을 참조하여 본 발명에 의한 실시예를 보다 상세히 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 5는 본 발명의 일 실시예에 의한 패킷 손실에 대응하는 복호화 방법을 나타내는 순서도이다.5 is a flowchart illustrating a decoding method corresponding to packet loss according to an embodiment of the present invention.
본 발명은 한 프레임을 구성하는 패킷 중 연속적인 패킷을 대상으로 하여, 상기 패킷 사이에 발생된 에러를 놓치지 않고 에러 은닉(error conceal)을 수행할 수 있도록 함에 그 목적이 있으며, 이 때, 현재 입력되는 패킷을 PB, 이전에 입력된 패킷을 PA로 가정하도록 한다.An object of the present invention is to enable error concealment without missing an error occurring between the packets of packets constituting a frame, in which case, the current input is performed. Assume that the packet is P B , and the previously input packet is P A.
도 5를 참조하면, 먼저 수신 단말측의 MPEG-4 복호화기(decoder)를 통해 MPEG-4 부호화기(encoder)에서 부호화(encoding)된 패킷(PB)이 입력되고, 상기 부호화된 패킷이 디 패킷화(dipacketization) 된다. (ST 510)상기 디 패킷화를 통해 MPEG-4 패킷에 구비된 RTP 헤더의 소정의 정보를 저장한다. (ST 520)Referring to FIG. 5, first, a packet P B encoded by an MPEG-4 encoder is input through an MPEG-4 decoder at a receiving terminal, and the encoded packet is de-packed. Depacketization. (ST 510) The depacketization stores predetermined information of the RTP header included in the MPEG-4 packet. (ST 520)
이 때, 상기 RTP 헤더의 소정의 정보는 각 패킷의 time stamp 와 sequence number 정보를 의미한다.In this case, the predetermined information of the RTP header means time stamp and sequence number information of each packet.
여기서, 상기 time stamp 는 현재 프레임이 생성된 시간적 정보를 나타내는 것이고, 상기 sequence number 는 각 패킷이 전송된 순서를 나타내는 번호이다.Herein, the time stamp indicates temporal information in which the current frame is generated, and the sequence number indicates a sequence in which each packet is transmitted.
즉, 한 프레임을 구성하는 모든 패킷은 동일한 time stamp 값을 가지게 되며, 하나의 프레임을 구성하는 패킷은 서로 다른 sequence number 를 가지게 되는 것이고, 결국 상기 RTP 헤더가 포함된 패킷을 받는 수신 단말측은 상기 time stamp 와 sequence number 를 통해 동일한 프레임 내에서 몇 번째 패킷이 손실되었는지 알 수 있다.That is, all packets constituting one frame will have the same time stamp value, and packets constituting one frame will have different sequence numbers. As a result, the receiving terminal receiving the packet including the RTP header will receive the time. The stamp and sequence number tell us how many packets were lost in the same frame.
다음으로 상기 RTP 헤더의 소정의 정보를 저장하고 나면, 현재 입력된 패킷(PB)의 time stamp 값과, 이전 입력된 패킷(PA)의 time stamp 값이 동일한 지 비교한다. (ST 530)Next, after storing predetermined information of the RTP header, the time stamp value of the currently input packet P B and the time stamp value of the previously input packet P A are compared. (ST 530)
만약 상기 두 개의 패킷(PA, PB)에 대한 time stamp 값이 동일한 경우에는 그 후 상기 PB에 대해 PB의 sequence number 가 PA의 sequence number+1 이 되는지 확인한다. (ST 540)If the if the time stamp value for the two packets (P A, P B) are the same, to ensure that thereafter the sequence number + 1 in the sequence number of the P B with respect to the P B P A. (ST 540)
이에 상기 PB의 sequence number 가 PA의 sequence number+1 임이 확인되는 경우는, 상기 두 개의 패킷(PA, PB)이 동일한 프레임에 속하면서, 연속적인 패킷임을 알 수 있으므로 정상적으로 패킷처리를 하게 된다.(ST 550)In the case above P B sequence number is identified to be a sequence number + 1 of P A, the two packets (P A, P B) is belonging to the same frame, it can be seen that successive packets to a normal packet processing (ST 550)
그러나, 상기 두 개의 패킷(PA, PB)에 대한 time stamp 값이 동일하지 않거나, PB의 sequence number 가 PA의 sequence number+1 이 아닌 경우에는 상기 PA , PB 사이의 중간 패킷이 손실된 것으로 판단하게 되어, 상기 두 패킷(PA, PB)의 경계선에서 에러가 발견될 수 있도록 특정 비트패턴을 상기 PB의 끝단에 추가한다. (ST 560)However, the two packet intermediate packets between the P A, P B, if does not equal the time stamp value for a (P A, P B), the sequence number of the P B than the sequence number + 1 in P A It is determined that this is lost, and a specific bit pattern is added to the end of the P B so that an error can be found at the boundary between the two packets P A and P B. (ST 560)
이 때, 상기 특정 비트패턴은 에러를 발생시키는 역할을 하며, 본 발명에서는 상기 비트패턴의 일 실시예로 MPEG-4 규격(specification, 스펙)에서 정의한 start code 중 reserved code를 사용한다.At this time, the specific bit pattern serves to generate an error, and the present invention uses reserved code among start codes defined in the MPEG-4 specification as an embodiment of the bit pattern.
이는 상기 MPEG-4에 의한 프레임 데이터를 복호화 하는 중에 이러한 비트패턴이 나타나면 반드시 에러가 발생되기 때문에, 상기 패킷 PA와 패킷 PB 사이에서 에러가 발견되지 않아 상기 패킷 PB의 정보가 패킷 PA의 데이터와 같이 복호화되는 것을 방지할 수 있기 때문이다.This These When the bit patterns always start error occurs, the packet P A and the packet P between B because the error is not detected, information of the packet P B packet P A in the decoded frame data according to the MPEG-4 This is because the data can be prevented from being decrypted together.
즉, 상기와 같이 PB의 끝단에 특정 비트패턴을 추가하여 복호화를 진행하게 되면, 패킷 복호화 중 패킷의 경계선에서 에러가 발견된다. (ST 570)That is, when decoding is performed by adding a specific bit pattern to the end of P B as described above, an error is found at the boundary of the packet during packet decoding. (ST 570)
이에 따라 상기 에러에 대해 정상적인 에러 은닉(error conceal)을 수행하게 되어 영상 품질 저하를 줄일 수 있게 된다. As a result, normal error concealing of the error can be performed to reduce deterioration of image quality.
이와 같은 본 발명에 의한 패킷 손실에 대응하는 복호화 방법에 따르면, 무선 인터넷 망을 이용한 VOD 서비스 시 비디오 패킷 손실로 인한 영상 품질 저하를 최소로 줄임으로써, MPEG-4 복호화기를 패킷 기반 VOD 영상 전화 서비스용 단말 뿐 아니라, 인터넷 응용 PC용 VOD 플레이어 등의 MPEG-4 복호화기에 이용 가능하도록 활용 범위를 넓힐 수 있다는 장점이 있다. According to the decoding method corresponding to the packet loss according to the present invention, the MPEG-4 decoder is used for packet-based VOD video telephony service by minimizing the deterioration of video quality due to video packet loss during VOD service using the wireless Internet network. In addition to the terminal, there is an advantage that the scope of use can be extended to be used in MPEG-4 decoders, such as VOD player for Internet applications PC.
도 1은 종래의 무선 인터넷을 이용한 VOD 서비스 시스템의 개략적인 구성을 나타내는 도면.도 2는 VOD 서비스를 위한 VOD 프로토콜 구성을 나타내는 도면.1 is a view showing a schematic configuration of a conventional VOD service system using the wireless Internet. FIG. 2 is a view showing a VOD protocol configuration for a VOD service.
도 3a 및 도 3b는 MPEG-4 패킷의 구조와 MPEG-4 비디오 패킷 구조의 일 실시예를 나타내는 도면.3A and 3B illustrate an embodiment of an MPEG-4 packet structure and an MPEG-4 video packet structure.
도 4는 패킷의 경계선에서는 에러를 찾아내지 못하는 경우의 문제점을 설명하는 도면.Fig. 4 is a diagram for explaining a problem when no error is found at the boundary of a packet.
도 5는 본 발명의 일 실시예에 의한 패킷 손실에 대응하는 복호화 방법을 나타내는 순서도.5 is a flowchart illustrating a decoding method corresponding to packet loss according to an embodiment of the present invention.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040014881A KR20050089458A (en) | 2004-03-05 | 2004-03-05 | Packet loss error resilient decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040014881A KR20050089458A (en) | 2004-03-05 | 2004-03-05 | Packet loss error resilient decoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050089458A true KR20050089458A (en) | 2005-09-08 |
Family
ID=37271874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040014881A KR20050089458A (en) | 2004-03-05 | 2004-03-05 | Packet loss error resilient decoding method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050089458A (en) |
-
2004
- 2004-03-05 KR KR1020040014881A patent/KR20050089458A/en not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wenger | H. 264/avc over ip | |
| JP3931595B2 (en) | Data correction apparatus and data correction method | |
| CN101175213B (en) | Video source coding method and device, method and device for decoding video source | |
| JP3957460B2 (en) | Transmission header compression apparatus, moving picture encoding apparatus, and moving picture transmission system | |
| US6490705B1 (en) | Method and apparatus for receiving MPEG video over the internet | |
| US6317462B1 (en) | Method and apparatus for transmitting MPEG video over the internet | |
| US6357028B1 (en) | Error correction and concealment during data transmission | |
| EP1742476A1 (en) | Scalable video coding streaming system and transmission mechanism of the same system | |
| US20050123042A1 (en) | Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal | |
| KR101062882B1 (en) | Method and device for transmitting predictive and unpredictable data frames | |
| JP2006526908A (en) | A method for encoding a picture, a method for decoding a picture from a bitstream, an encoder for encoding a picture, a transmission device including an encoder for encoding a picture, a decoder for decoding a picture from a bitstream, and a picture from a bitstream Receiving apparatus and system including a decoder for decoding | |
| JP2011529292A (en) | Error concealment method by loss of enhancement layer packet in scalable video coding (SVC) decoding | |
| CN116567228A (en) | Encoding method, real-time communication method, apparatus, device and storage medium | |
| CN112040234B (en) | Video encoding method, video decoding method, video encoding device, video decoding device, electronic equipment and storage medium | |
| US20140321556A1 (en) | Reducing amount of data in video encoding | |
| US11265583B2 (en) | Long-term reference for error recovery in video conferencing system | |
| JP2005033556A (en) | Data transmitter, data transmitting method, data receiver, data receiving method | |
| KR20050089458A (en) | Packet loss error resilient decoding method | |
| Bhattacharyya et al. | Improving perceived qos of delay-sensitive video against a weak last-mile: A practical approach | |
| US20140289369A1 (en) | Cloud-based system for flash content streaming | |
| KR20050099077A (en) | Video-packet loss error resilient decoding method | |
| CN114554198B (en) | Video key frame redundancy transmission method and system based on erasure codes | |
| KR20050042301A (en) | Decoding method using error correction | |
| US20210344992A1 (en) | Calculating start time availability for streamed media data | |
| JP4525697B2 (en) | Transmission header compression apparatus, moving picture encoding apparatus, and moving picture transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |