KR20050084313A - 게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림코딩 방법 - Google Patents

게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림코딩 방법 Download PDF

Info

Publication number
KR20050084313A
KR20050084313A KR1020057010973A KR20057010973A KR20050084313A KR 20050084313 A KR20050084313 A KR 20050084313A KR 1020057010973 A KR1020057010973 A KR 1020057010973A KR 20057010973 A KR20057010973 A KR 20057010973A KR 20050084313 A KR20050084313 A KR 20050084313A
Authority
KR
South Korea
Prior art keywords
frame
motion vector
frames
description
gateway
Prior art date
Application number
KR1020057010973A
Other languages
English (en)
Inventor
미핼라 반 데어 스카르
디팩 스리니바스 투라가
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050084313A publication Critical patent/KR20050084313A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets

Abstract

본 발명은, 다중 설명 중 적어도 하나를 압축 해제 및 재압축할 필요성을 피함으로써 게이트웨이와 같은 네트워크(28)에서 다중 설명(22, 24)의 병합 및 분할을 간략화하기 위해 P-프레임 움직임 벡터( ) 및 P-프레임 움직임 벡터(

Description

게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림 코딩 방법{METHOD OF CODING VIDEO STREAMS FOR LOW-COST MULTIPLE DESCRIPTION AT GATEWAYS}
본 발명은 비디오 코딩에 관한 것으로, 더 구체적으로 다중 설명 비디오 스트림을 분할 및 조합하기 위한 개선된 시스템에 관한 것이다.
인터넷과 같은 디지털 네트워크의 출현으로, 그러한 네트워크를 통해 멀티미디어 통신을 실시간으로 제공할 수 있는 능력의 요구사항이 있어왔다. 그러나, 아날로그 통신 시스템에 비해, 그러한 멀티미디어 통신은 디지털 네트워크에 의해 제공되는 한정된 대역폭에 의해 제한된다. 멀티미디어 통신을 그러한 하드웨어 환경에 적응시키기 위해, 예측 코딩된 비디오 스트림을 이용하여 한정된 대역폭 조건 하에 멀티미디어 처리량을 개선시키는 비디오 압축 기술을 개발하려는 노력이 많이 이루어져 왔다. 이러한 노력은, ISO의 동화상 전문가 그룹(MPEG)에 의해 발행된 MPEG-2 및 MPEG-4 표준, 및 ITU의 비디오 코딩 전문가 그룹(VCEG)에 의해 발행된 H.26L 및 H.263 표준과 같은 여러 국제 표준의 출현을 초래하였다. 이들 표준은 움직임-보상 예측 및 변환 코딩을 이용하여 실제 이미지 시퀀스에서 시간 및 공간 상관을 이용함으로써 높은 압축율을 달성한다.
다중 설명 코딩(MDC)을 이용하는 가장 최근의 다이버시티(diversity) 기술은 통신 시스템 및 저장 디바이스의 강력함을 증가시키기 위해 이용되었다. 다이버시티 기술에 의해 개선된 그러한 시스템의 예들로는 패킷 네트워크, 다중 경로 및 도플러 다이버시티를 이용하는 무선 시스템 및 저가의 디스크의 잔여 어레이(RAID)를 포함한다.
시스템에서 가장 잘 작용하는 MDC를 이용하는 현재 다이버시티 기술은 통신 소스에서 알려져 있는 다이버시티 문제이다. 그러한 예에서, MCD는 통신될 데이터를 소스에 의해 개별적으로 각각 코딩되는 별도의 경로로 분할하는데 사용된다. 그러한 MDC의 한가지 형태는 게이트웨이(12)에서 비디오 스트림(10)의 분할(도 1)에 기초하는데, 예를 들어 홀수-프레임(14)을 MPEG 등과 상관없이 코딩되는 하나의 설명으로 분할되고, 짝수-프레임(16)은 MPEG 등과 상관없이 또한 코딩되는 다른 설명으로 분할된다. 그 다음에 이들 스트림 각각은 송신되어 목적지에서 재조합된다. 그러한 방법을 구현함으로써, 하나의 스트림이 손실되더라도, 데이터 스트림은 감소된 품질 레벨에 있더라도 수행될 수 있다는 것이 인식될 것이다.
이러한 방식에서의 변화를 통해, 정보는 무선 플랫폼과 고속의 디지털 연결부 사이에서 전달되며, 통신 경로에서의 중간 지점에서 다이버시티 기술을 구현할 필요성은 증가한다. 하드웨어 경로가 구성되는 방식을 증가시킴으로써, 통신 동안 대량의 멀티미디어 데이터를 더 뛰어나게 관리할 필요성이 발생한다. 현재, 복수의 낮은 대역폭 스테이션 사이의 높은 대역폭 채널을 채널링(channel)하도록 동작하는 게이트웨이는 모든 데이터를 트랜스코딩함으로써 MDC를 이용하는 다이버시티 기술을 적용한다. 그러나, 그러한 해결책은 게이트웨이에서 생기는 오버헤드(overhead)를 증가시키고, 송신 시간의 증가를 야기할 수 있다. 이들 특징 모두 바람직하지 못하다. 따라서, 송신 동안 다이버시티 기술의 장점을 증가시키는 한편, 통신 하드웨어 상에 부과된 오버헤드를 최소화하는 방법이 필요하다.
도 1은 알려진 다중 설명 기술의 블록도.
도 2는 통신 경로의 블록도.
도 3은 예측 비디오 스트림에서의 비디오 프레임의 블록도.
도 4는 본 발명에 따른 다중-설명 기술의 블록도.
도 5는 본 발명에 따른 다른 다중-설명 기술의 블록도.
도 6은 무선 게이트웨이의 블록도.
본 발명은, 다중 설명 중 적어도 하나를 압축 해제 및 재압축할 필요성을 피함으로써 게이트웨이에서 다중 설명의 병합(merging) 및 분할을 간략화하도록 B-프레임 움직임 벡터와 P-프레임 움직임 벡터 사이의 데이터 관계를 이용한다.
본 발명의 하나의 양상은, 연속적인 프레임의 움직임 벡터가 이웃한 프레임의 움직임 벡터에 대응하는 데이터 스트림을 포함한다.
일실시예에서, 데이터 스트림의 송신의 중간에 있는 게이트웨이는 다중 설명을 생성하거나 병합하기 위해 움직임 벡터 관계를 이용하여 다중 설명을 관리하는 방법을 이용한다.
본 발명의 다른 목적 및 장점은 첨부 도면과 연계하여 취해진 전술한 상세한 설명으로부터 명백해질 것이다.
예시를 위한 도면을 참조하여, 본 발명은 예측 크기 조정가능(scalable) 코딩 구성의 통신 경로에서 다중-채널 송신을 구현하는 시스템에 관한 것이다. 본 발명은 통신 경로(20)를 포함하는 통신 시스템(도 2)과 연계하여 이제 설명되는데, 여기서 통신 채널은, 게이트웨이(28)에서 단일 송신 경로(26)와 병합되는 다중 송신 경로(22 및 24), 또는 경로가 병합하는 트래픽을 관리하기 위한 다른 유사한 디바이스를 포함한다. 이러한 설명은, 이 발명이 사용될 수 있고 본 발명이 다른 하드웨어 환경에서도 구현될 수 있는 하드웨어 환경의 예시에 불과하다는 것이 당업자는 인식할 것이다. 유리하게, 본 발명은 스트림에서 데이터의 전체 트랜스코딩의 오버헤드 없이 멀티미디어 데이터 스트림이 다중 설명으로 분할되도록 하는 메커니즘을 이용한다.
본 발명은, 예측 코딩을 사용하여 압축된 멀티미디어 데이터 스트림이 다중 경로를 위해 데이터를 압축 해제 및 재압축할 필요성 없이 다중 송신 경로를 위해 다중 설명으로 분할될 수 있다는 깨닮음 하에 구현된다. 이러한 목적에 적합한 유형의 예측 코딩 기술은 MPEG 표준(MPEG-1, MPEG2 및 MPEG-4) 및 ITT 표준(H.261, H.262, H.263 및 H.26L)을 포함한다. 예시를 위해 MPEG 표준 설명을 참조하여, 영화 또는 비디오 데이터 스트림은, 순차적인 순서로 디스플레이될 때 애니메이션의 시각적 효과를 발생시키는 프레임의 시퀀스로 구성된다. 예측 코딩은 각 순차적 프레임 사이의 차이와 관련되는 정보만을 송신함으로써 송신될 데이터의 양을 감소시킨다. MPEG 표준 하에, 프레임의 예측 코딩은 비디오의 프레임을 "재구축(re-build)"하기 위해 모든 정보를 포함하는 I-프레임(인트라-코딩된 프레임)으로부터 기초한다. 파일의 모든 프레임이 종속적이고 어떠한 다른 프레임 정보도 요구되지 않기 때문에 인코딩된 비디오 중 I-프레임만이 예측 코딩 기술을 이용하지 않는다는 것이 주지되어야 한다. 예측 코딩은 하나의 프레임으로부터 다음 프레임으로 여분(redundancy)을 제거함으로써, 즉 현재 프레임으로부터 다음 프레임을 생성하기 위해 지령 세트를 송신함으로써 더 큰 압축 인자를 허용한다. 그러한 프레임은 P-프레임(예측 프레임)이라 불린다. 그러나, I- 및 P- 프레임 예측 인코딩을 이용할 때 생기는 단점은, 데이터가 이전 화상으로부터만 취해질 수 있다는 것이다. 움직이는 대상은 이전 화상에서 알려지지 않고 나중 화상에서 볼 수 있는 배경을 나타낼 수 있다. B-프레임(양방향 프레임)은 이전 및/또는 나중 I 또는 P-프레임으로부터 생성될 수 있다. 다음 I-프레임까지 연속적인 일련의 B- 및 P-프레임을 갖는 I-프레임은 GOP(화상 그룹)라 불린다. 방송을 위한 GOP의 예는 구조 IBBPBBPBBPBB를 갖고, IPB-GOP로 언급된다.
2개 이상의 경로를 통해 멀티미디어 데이터를 송신하는 한가지 방법은 다중 설명 코딩(MDC)을 이용한다. MDC는, 다중-경로 및 도플러 다이버시티 및 RAID를 이용한 무선 시스템, 및 인터넷을 통해 강력한 통신을 위한 효과적인 기술인 것으로 보여진다. 현재, MPEG 또는 H.26L 코딩되거나 임의의 다른 예측 코딩된 데이터 비디오 스트림이 인터넷을 통해 송신되고, 그 다음에 게이트웨이를 통해 송신되면, 이전과 동일한 코딩 포맷을 유지하는 동안 다운 링크(예를 들어, 다중 경로를 이용하는 무선 시스템)의 채널 특성에 더 잘 맞는 2개의 다중 설명 비디오 스트림으로 분할될 필요가 있고, 비디오 데이터는 완전히 디코딩되고 재 인코딩된다. 그러나, 본 발명은, 게이트웨이로 하여금 여전히 보다 더 탄력적인 송신을 허용하면서 고가의 전체 트랜스코딩 없이 데이터 스트림을 다중 설명으로 쉽게 분할하도록 하는 시스템을 포함한다. 아래에 설명되는 바와 같이, 시간 및 포맷에서의 이러한 절감은 특정 포맷에서 움직임 벡터의 계층을 코딩함으로써 달성된다. 특정 코딩 포맷은, B-프레임에 대한 움직임-벡터가 P-프레임에 사용된 움직임-벡터(MV)의 부분과 그리 차이가 나지 않는다는 관점에 기초한다.
일반적으로, 독립적인 MV는 B-프레임에 대해 계산된다. 그러나, (도 3) B-프레임의 30 MV(32)에 대한 우수한 근사치 또는 예측치는 다음 수학식으로부터 도 2에 도시된 Kb(B) 및 Kf(B)으로서 P-프레임의 34 MV(36)에서 계산될 수 있다:
여기서 M은 2개의 연속적인 P-프레임 사이의 B-프레임의 수이다.
따라서, B-프레임의 MV는 P-프레임 MV로부터 계산될 수 있고, 반대로도 이루어진다. 움직임 벡터의 이러한 코딩 포맷은 현재 표준화된 비디오 코딩 구성에서 바람직하지 않고, 표준에서 어떠한 변경 없이 구현될 수 있다. 그러나, 더 정밀한 움직임 궤적은 이용가능한 서브-샘플링된 궤적으로부터 예측될 수 있는데, 즉 B-프레임의 MV 스캔이 P-프레임의 MV로부터 예측된다는 것을 보여준다.
예:
1. 데이터 스트림을 2개의 경로로 분할
도 4를 참조하면, 비디오 데이터는 데이터 채널을 통해 예를 들어 인터넷을 통해 서버로부터 송신되지만, 이에 한정되지 않는다. 단일 예측 스트림(40)으로서 송신된 비디오 데이터는 프록시 또는 게이트웨이와 같은 데이터 채널을 따라 노드(41)에 입력된다. 이러한 응용을 위해, 노드, 게이트웨이 및 프록시라는 용어는 서로 교환하여 사용될 수 있다. 프록시에서, 스트림은 2개의 개별적인 설명(42 및 44)으로 분할된다. 프록시에서 스트림의 전체 재 인코딩과 연관된 복잡도를 제거하기 위해, 채널(40)을 통해 송신된 비디오 스트림은 IPB GOP-구조를 이용하여 코딩되는 한편, 무선 링크를 통해 송신된 2개의 설명(42 및 44)은 IP GOP 구조를 이용한다. 이러한 제약으로 인해, 코딩 구성의 성능이 감소된다는 것이 당업자에게 인식될 것이다. 그럼에도 불구하고, 이러한 방식으로, 하나의 MD(42)는 전혀 재코딩할 필요가 없지만, 다른 MD(44)에 대해, 프록시에서의 움직임 추정이 더 이상 필요하지 않은데, 이는 MD에 대한 MV가 P-프레임 또는 I 및 P-프레임 사이의 MV를 결정하기 위해 다음 프레임의 를 이용할 수 있기 때문이다. 따라서, 2개의 설명(42 및 44)으로의 단일 채널(40) 사이의 전이는 텍스처 데이터만을 재코딩함으로써 쉽게 수행될 수 있다. MV 없는 모든 매크로블록은 인트라 블록으로서 코딩될 수 있다. 또한, 프록시가 더 높은 복잡도 처리를 허용하면, 이들 추정의 추가 개선점(refinement)("d")이 계산될 수 있다. 예를 들어, 새롭게 생성된 P-프레임에 대해 더 낮은 여분(예를 들어 최대 절대 차이)을 초래하는 더 정밀한 움직임 벡터를 찾기 위해 새로운 더 낮은 복잡도의 움직임 추정이 수행될 수 있지만 에 중심을 둔 작은 검색 윈도우(예를 들어, 8×8 픽셀)를 이용하여 수행될 수 있다. MV 및 개선점("d")의 계산은, 이 예에서, 2개의 연속적인 P-프레임 사이의 초기 비트스트림에 1개의 B-프레임만이 존재한다고 가정하여 다음과 같이 전술한 관계로부터 유도될 수 있다:
이것이 단지 예에 불과하고, 유사한 수학식이 상이한 수의 B-프레임이 2개의 연속적인 P-프레임 사이에 존재하는 경우 유도될 수 있다는 것이 또한 주지된다. 대안적인 실시예에서, 개선점("d")은 서버에서 계산될 수 있고, 인터넷을 통해 개별적인 스트림으로 송신된다.
2. 2개의 경로로부터 데이터 스트림을 병합
도 5를 참조하여, 비디오 스트림이 2개의 MD(51 및 52)를 이용하여 인터넷을 통해 프록시(50)에 의해 수신되고, 데이터가 단일 스트림(54)으로서 추가로 무선 송신되는 경우, 역동작이 발생한다. B-프레임에 대한 MV는 로서 초기에 추정될 수 있다. 이처럼 초기에, 가 된다. 그 다음에, 프록시가 더 높은 복잡도의 처리를 허용하면, 이들 추정의 추가 개선점("d")이 계산될 수 있다. 예를 들어, 새롭게 생성된 B-프레임에 대해 더 낮은 여분(예를 들어 최대 절대 차이)을 초래하는 더 정밀한 움직임 벡터를 찾기 위해 새로운 더 낮은 복잡도 움직임 추정이 수행될 수 있지만, 에 중심을 둔 작은 검색 윈도우(예를 들어, 8×8 픽셀)를 이용하여 수행될 수 있다. 이 경우에, B-프레임의 텍스처 코딩만이 재코딩될 필요가 있다. MV 및 개선점("d")의 계산은 다음과 같이 전술한 설명한 것과 동일한 관계를 이용한다:
여기서 M은 2개의 사용가능한 연속적인 P-프레임 사이의 새롭게 생성될 B-프레임의 수이다. 이것이 단지 예에 불과하고, 유사한 수학식이, 상이한 수의 B-프레임이 2개의 연속적인 P-프레임 사이에 생성되는 경우 유도될 수 있다는 것이 또한 주지된다. 대안적인 실시예에서, 개선점("d")은 서버에서 계산될 수 있고, 제 2 MD와 함께 인터넷을 통해 개별적인 스트림으로 송신될 수 있다.
제안된 방법이 MPEG-1, 2, 4 및 H.263, H.26L과 같은 움직임 추정을 이용하는 임의의 예측 코딩 구성에 사용될 수 있다는 것이 당업자에 의해 인식될 것이다.
본 발명의 다른 장점이 에러 복구 및 은폐가 더 쉽게 수행될 수 있다는 점에 있음을 당업자는 더 인식할 것이다. 이는, MV의 여분 설명이 손실된 프레임에 대한 MV를 결정하는데 사용될 수 있기 때문이다.
마지막으로, 본 방법이 FGS(Fine Granularity Scalable)와 같은 "예측" 크기 조정가능 코딩 구성의 강력한 다중-채널 송신에 사용될 수 있음을 당업자는 인식할 것이다. 본 방법은 MPEG-4 표준의 변형 없이 사용될 수 있어서, 쉽게 이용될 수 있다.
게이트웨이 처리에서의 이용:
도 6을 참조하면, 본 발명은 다운 링크에서 다양한 네트워크 및 디바이스 특성을 처리하기 위해 게이트웨이 구성에서의 응용을 갖는다. 게이트웨이는 가정, 즉 3G 네트워크에서 잔여 게이트웨이, 즉 기지국에 위치할 수 있거나 처리는 다중 게이트웨이/노드에 걸쳐 분배될 수 있다. 그러한 예에서, 게이트웨이(60)는 근거리 네트워크(LAN)(62)를 인터넷(64)에 연결시킨다. 도 6에 도시된 바와 같이, 웹 서버(65) 등은 로컬 디바이스(66 내지 68)와 통신할 수 있게 한다. LAN(62)이 무선 다운 링크인 경우에, 디바이스는 모바일 PC(66), 셀룰러 전화(67) 또는 휴대용 데이터 단말기(PDA)(68)를 포함하지만 여기에 제한되지 않는다. 그러한 경우에, 웹 서버(65) 및 다운 링크 디바이스(66 내지 68) 모두는 데이터가 이동하는 통신 경로를 인식하지 못한다. 비디오 스트림은 디바이스 사이에서 송신될 때, 예를 들어 모바일 PC가 게이트웨이로의 대역폭을 증가시키기 위해 다중 데이터 채널을 요구할 수 있는 동적 구성을 필요로 할 수 있다. 또는 게이트웨이와 웹 서버 사이의 통신은 다중 데이터 채널을 통해 통신할 수 있다. 각 경우에, 게이트웨이가 다운 링크 또는 업 링크 노드를 서비스하기 위해 데이터 송신을 분할할 수 있다는 것이 인식될 것이다. 상기 예 1 및 2에 설명된 본 발명은, 사용된 데이터 채널의 수에 상관없이 업 링크와 다운 링크 사이의 게이트웨이에서 끊김없는 전이를 제공하기 위해 이들 경우 각각에서 구현될 수 있다.
현재, MPEG 또는 H.26L 코딩되거나 또는 임의의 다른 예측 코딩된 비디오 스트림이 인터넷을 통해 송신되고, 그 다음에 게이트웨이에서 송신되면, 이전과 동일한 코딩 포맷을 유지하면서, 다운 링크(예를 들어 다중 경로를 이용하는 무선 시스템)의 채널 특성에 더 잘 맞는 2개의 다중 설명 비디오 스트림으로 분할될 필요가 있고, 비디오 데이터는 완전히 디코딩되고 재 인코딩된다.
B-프레임의 MV와 P-프레임의 MV 사이의 관계가 확립되는 전술한 바와 같이 본 발명을 구현함으로써, 본 프로세스는, 게이트웨이에서 MPEG 또는 H.26L 코딩된 데이터 또는 임의의 다른 예측 코딩된 비디오 스트림을, 이전과 동일한 코딩 포맷을 유지하는 2개의 다중 설명 비디오 스트림으로 쉽게 분할할 수 있게 하거나, 2개의 다중 설명 MPEG 또는 H.26L 코딩되거나 임의의 다른 예측 코딩된 비디오 스트림을 이전과 동일한 코딩 포맷을 유지하는 단일 코딩된 포맷으로 스트림의 전체 디코딩 및 재인코딩 없이 병합할 수 있다. 제안된 메커니즘을 통해, 게이트웨이가 감소될 수 있는 상당량의 계산적 복잡도가 감소될 수 있다는 것이 인식될 것이다.
본 발명이 가장 실용적인 바람직한 실시예인 것으로 현재 고려되는 것과 연계하여 설명되었지만, 본 발명이 개시된 실시예에 한정되지 않고, 이와 대조적으로, 본 발명의 사상 내에 포함된 다양한 변형 및 등가 장치를 포함하는 것으로 의도되고, 여기서 본 발명의 사상은 첨부된 청구항에서 설명되고, 그 범주는 모든 그러한 변형 및 등가 구조를 포함하도록 가장 넓은 해석으로 허용된다는 것이 이해될 것이다.
상술한 바와 같이, 본 발명은 비디오 코딩에 관한 것으로, 더 구체적으로 다중 설명 비디오 스트림을 분할 및 조합하기 위한 개선된 시스템 등에 이용된다.

Claims (20)

  1. 적어도 하나의 설명 송신으로부터 형성된 예측 인코딩된 비디오 데이터(40)의 스트림을 송신하는 네트워크 노드로서,
    복수의 데이터 채널을 갖는 네트워크와의 적어도 하나의 연결부(22, 24, 26, 62, 64)와;
    상기 예측 인코딩된 비디오 데이터의 스트림을 구성하는 설명 송신의 수를 선택적으로 변화시키는 대역폭 관리자(28, 60)를 포함하며,
    상기 설명 송신의 수를 변화시킨 후에 상기 설명 송신 중 적어도 하나는 설명 송신의 수를 변화시키기 전에 설명 송신 중 적어도 하나와 동일한 예측 인코딩을 유지하는, 네트워크 노드.
  2. 제 1항에 있어서, 네트워크와의 적어도 2개의 연결부(22, 24, 26, 62, 64)를 갖고, 게이트웨이(28, 60)로서 구성되는, 네트워크 노드.
  3. 제 1항에 있어서,
    상기 예측 인코딩된 비디오 데이터(40)의 스트림은, 단일 설명으로서 송신될 때 움직임 벡터()에 의해 상호 연결된 인코딩된 I-프레임, P-프레임 및 B-프레임을 포함하고, 상기 B-프레임에 대한 움직임 벡터는 이웃한 P-프레임의 움직임 벡터와 관련하여 생성되고;
    상기 대역폭 관리자(28, 60)는 B-프레임 움직임 벡터()를 P-프레임 움직임 벡터()로 변환하도록 적응되고;
    I-프레임, P-프레임 및 B-프레임을 갖는 단일 설명에서의 비디오 데이터(40)의 스트림은 I-프레임 및 P-프레임을 갖는 다중 설명(42, 44)으로 그리고 다중 설명(42, 44)으로부터 변환되는, 네트워크 노드.
  4. 제 3항에 있어서, 상기 B-프레임 움직임 벡터()는 P-프레임 움직임 벡터()와 상관되어 생성되는, 네트워크 노드.
  5. 제 4항에 있어서, 상기 B-프레임 움직임 벡터()는 이웃한 P-프레임 움직임 벡터()와 상관되어 생성되는, 네트워크 노드.
  6. 제 1항에 있어서, 상기 설명의 수는 증가하고, 상기 대역폭 관리자(28, 60)는 적어도 하나의 추가 설명을 생성하는 수단을 포함하는, 네트워크 노드.
  7. 제 1항에 있어서, 상기 설명의 수는 감소하고, 상기 대역폭 관리자(28, 60)는 상기 설명 중 적어도 2개를 병합하는 수단을 포함하는, 네트워크 노드.
  8. 예측-인코딩된 비디오 데이터(40, 54)의 데이터 스트림으로서,
    적어도 하나의 기준 프레임(I)과;
    이전 프레임을 참조하는 움직임 벡터()를 갖는 적어도 하나의 제 1 예측된 프레임(P)과;
    연속적인 프레임을 참조하는 움직임 벡터()를 갖는 적어도 하나의 제 2 예측된 프레임(B)을 포함하고;
    상기 움직임 벡터()는 상기 이전 프레임을 참조하는 상기 움직임 벡터()와 비례 관계를 갖는 연속적인 프레임을 참조하는, 예측-인코딩된 비디오 데이터의 데이터 스트림.
  9. 제 8항에 있어서,
    복수의 기준 프레임(I)과;
    복수의 제 1 예측된 프레임(P)과;
    복수의 제 2 예측된 프레임(B)을 포함하며,
    상기 프레임들은 비디오(40, 54)의 시퀀스를 생성하기 위해 상기 스트림에서 조직화 및 압축되고;
    상기 시퀀스는 제 1 및 제 2 프레임 움직임 벡터(,)의 관계를 이용하여 송신 동안 적어도 2개의 시퀀스(42, 44; 51, 52)로 분리될 수 있는, 예측-인코딩된 비디오 데이터의 데이터 스트림.
  10. 제 8항에 있어서, 상기 제 2 예측된 프레임(B)은 이전 프레임을 참조하는 움직임 벡터()를 포함하는, 예측-인코딩된 비디오 데이터의 데이터 스트림.
  11. 제 10항에 있어서, 상기 제 2 예측된 프레임 움직임 벡터()는 상기 예측 인코딩된 비디오 데이터의 디코딩 없이 제 1 예측된 프레임 움직임 벡터()로 변환하도록 적응되는, 예측-인코딩된 비디오 데이터의 데이터 스트림.
  12. 제 9항에 있어서, 상기 기준 프레임은 I-프레임이고;
    상기 제 1 예측된 프레임은 P-프레임이고;
    상기 제 2 예측된 프레임은 B-프레임이고;
    상기 I-프레임, P-프레임 및 B-프레임의 시퀀스는 B-프레임 및 P-프레임 움직임 벡터 관계를 이용하여 I-프레임 및 P-프레임 시퀀스의 적어도 2개의 시퀀스로 적응가능한, 예측-인코딩된 비디오 데이터의 데이터 스트림.
  13. 제 9항에 있어서, 제 2 프레임 움직임 벡터()로부터 변환된 제 1 프레임 움직임 벡터()는 상기 연속적인 프레임을 참조하는 상기 움직임 벡터의 1-1/(Q+1)로의 상기 이전 프레임을 참조하는 상기 움직임 벡터의 1/(Q+1)에 대응하고, 여기서 Q는 제 1 프레임 움직임 벡터 쌍 사이의 시퀀스에서 나타나는 제 2 프레임 움직임 벡터의 수인, 예측-인코딩된 비디오 데이터의 데이터 스트림.
  14. 게이트웨이(41)에서의 다중 설명 변환 방법으로서,
    B-프레임의 움직임 벡터가 P-프레임과 관련하여 생성되는, I-프레임, B-프레임 및 P-프레임을 갖는 비디오 데이터(40)의 설명을 제공하는 단계와;
    상기 설명을 상기 게이트웨이(41)로 송신하는 단계와;
    P-프레임에 대한 B-프레임의 관계를 이용하여 상기 설명을 다중 설명(42, 44)으로 분할하는 단계와;
    상기 다중 설명 중 적어도 하나에 대한 상기 설명으로부터 예측된 인코딩을 유지하는 단계를
    포함하는, 게이트웨이에서의 다중 설명 변환 방법.
  15. 제 14항에 있어서,
    상기 분할 단계는, P-프레임 설명이 본래 상태로 유지하도록 상기 설명의 P-프레임을 제 1 설명으로 조직화하고, 상기 설명의 B-프레임을 제 2 설명으로 조직화하는 단계와,
    상기 관계에 의존하여 상기 B-프레임에 대한 P-프레임 움직임 벡터를 생성하는 단계를 포함하는, 게이트웨이에서의 다중 설명 변환 방법.
  16. 제 15항에 있어서, 상기 제 1 및 제 2 설명(51, 52)을 제 2 게이트웨이(50)에서 단일 설명(54)으로 다시 병합하는 단계를 포함하는, 게이트웨이에서의 다중 설명 변환 방법.
  17. 제 16항에 있어서, 상기 분할 단계 및 병합 단계는 송신 소스와 독립적으로 이루어지는, 게이트웨이에서의 다중 설명 변환 방법.
  18. 제 14항에 있어서, 상기 분할 단계는 P-프레임 움직임 벡터와 1-1/(M+1)로 비례하는 B-프레임 순방향 움직임 벡터에 대응하는 P-프레임 움직임 벡터와의 B-프레임 움직임 벡터의 관계를 이용하는, 게이트웨이에서의 다중 설명 변환 방법.
  19. 제 14항에 있어서, 상기 분할 단계는 P-프레임 움직임 벡터와 1/(M+1)로 비례하는 B-프레임 순방향 움직임 벡터에 대응하는 P-프레임 움직임 벡터와의 B-프레임 움직임 벡터의 관계를 이용하는, 게이트웨이에서의 다중 설명 변환 방법.
  20. 제 18항에 있어서, 상기 분할 단계는 P-프레임 움직임 벡터와 1/(M+1)로 비례에서 B-프레임 순방향 움직임 벡터에 대응하는 P-프레임 움직임 벡터와의 B-프레임 움직임 벡터의 관계를 이용하는, 게이트웨이에서의 다중 설명 변환 방법.
KR1020057010973A 2002-12-17 2003-12-11 게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림코딩 방법 KR20050084313A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43405602P 2002-12-17 2002-12-17
US60/434,056 2002-12-17

Publications (1)

Publication Number Publication Date
KR20050084313A true KR20050084313A (ko) 2005-08-26

Family

ID=32595260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057010973A KR20050084313A (ko) 2002-12-17 2003-12-11 게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림코딩 방법

Country Status (7)

Country Link
US (1) US20060056510A1 (ko)
EP (1) EP1576826A1 (ko)
JP (1) JP2006510307A (ko)
KR (1) KR20050084313A (ko)
CN (1) CN1771735A (ko)
AU (1) AU2003286339A1 (ko)
WO (1) WO2004056121A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
ITTO20040780A1 (it) 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico
WO2006098586A1 (en) * 2005-03-18 2006-09-21 Samsung Electronics Co., Ltd. Video encoding/decoding method and apparatus using motion prediction between temporal levels
WO2006104357A1 (en) * 2005-04-01 2006-10-05 Samsung Electronics Co., Ltd. Method for compressing/decompressing motion vectors of unsynchronized picture and apparatus using the same
KR100763179B1 (ko) 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
WO2007107159A1 (en) * 2006-03-20 2007-09-27 Aalborg Universitet Communication system and method for communication in a communication system
JP5061619B2 (ja) * 2007-01-24 2012-10-31 日本電気株式会社 リソース確保方法、中継装置、配信システム、およびプログラム
US20100329338A1 (en) * 2009-06-25 2010-12-30 Qualcomm Incorporated Low complexity b to p-slice transcoder
US9203427B2 (en) * 2011-02-10 2015-12-01 Alcatel Lucent System and method for mitigating the cliff effect for content delivery over a heterogeneous network
US9237363B2 (en) * 2011-02-12 2016-01-12 Openwave Mobility, Inc. Dynamic injection of metadata into flash video
CN102630012B (zh) * 2012-03-30 2014-09-03 北京交通大学 基于多描述视频编码、解码方法、装置及系统
JP5504370B1 (ja) * 2013-10-31 2014-05-28 株式会社 ディー・エヌ・エー 動画をクライアント端末に表示させるサーバ及び方法
WO2015195463A1 (en) * 2014-06-18 2015-12-23 Arris Enterprises, Inc. Trick-play streams for adaptive bitrate streaming
US11394759B2 (en) * 2017-06-29 2022-07-19 Sony Corporation Communication system and control apparatus
EP4203472A1 (en) * 2021-12-21 2023-06-28 Axis AB Method and image processing device for encoding a video

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity

Also Published As

Publication number Publication date
AU2003286339A1 (en) 2004-07-09
JP2006510307A (ja) 2006-03-23
CN1771735A (zh) 2006-05-10
WO2004056121A1 (en) 2004-07-01
US20060056510A1 (en) 2006-03-16
EP1576826A1 (en) 2005-09-21

Similar Documents

Publication Publication Date Title
Xin et al. Digital video transcoding
US6765963B2 (en) Video decoder architecture and method for using same
US7706447B2 (en) Switching between bit-streams in video transmission
EP1356684B1 (en) Switching between bit-streams in video transmission
US7103669B2 (en) Video communication method and system employing multiple state encoding and path diversity
Vetro et al. Error resilience video transcoding for wireless communications
KR20050084313A (ko) 게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림코딩 방법
Tsai et al. Joint temporal and spatial error concealment for multiple description video coding
Al-Mualla et al. Motion field interpolation for temporal error concealment
KR20050031460A (ko) 하이브리드 예측 코드를 사용하는 다중 표현 움직임보상을 수행하는 방법 및 장치
US20060093031A1 (en) Method and apparatus for performing multiple description motion compensation using hybrid predictive codes
Zhang et al. Efficient error recovery for multiple description video coding
Kurceren et al. Synchronization-predictive coding for video compression: The SP frames design for JVT/H. 26L
Psannis Efficient redundant frames encoding algorithm for streaming video over error prone wireless channels
Zhang et al. GOP-level transmission distortion modeling for mobile streaming video
EP1739970A1 (en) Method for encoding and transmission of real-time video conference data
Carreira et al. A robust video encoding scheme to enhance error concealment of intra frames
Halbach et al. Error robustness evaluation of H. 264/MPEG-4 AVC
Chen et al. Error-resilient video streaming over wireless networks using combined scalable coding and multiple-description coding
KR100557118B1 (ko) 동영상 디코더 및 이를 이용한 디코딩 방법
EP2781093B1 (en) Efficient storage of motion information for high efficiency video coding
Yang et al. Error resilient GOP structures on video streaming
Lotfallah et al. Network performance analysis of advanced video coding schemes
Chen et al. MPEG4 compatible video browsing and retrieval over low bitrate channel
Oh et al. Scalable Video Coding for Subway Platform Monitoring System

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid