KR100844224B1 - 영상 통신 에러를 처리하는 방법 및 장치 - Google Patents

영상 통신 에러를 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR100844224B1
KR100844224B1 KR1020067016356A KR20067016356A KR100844224B1 KR 100844224 B1 KR100844224 B1 KR 100844224B1 KR 1020067016356 A KR1020067016356 A KR 1020067016356A KR 20067016356 A KR20067016356 A KR 20067016356A KR 100844224 B1 KR100844224 B1 KR 100844224B1
Authority
KR
South Korea
Prior art keywords
video
bitstream
data
image
terminal
Prior art date
Application number
KR1020067016356A
Other languages
English (en)
Other versions
KR20070001134A (ko
Inventor
스티븐 에프 브라운
마완 에이 자브리
Original Assignee
딜리시움 네트웍스 피티와이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 딜리시움 네트웍스 피티와이 리미티드 filed Critical 딜리시움 네트웍스 피티와이 리미티드
Publication of KR20070001134A publication Critical patent/KR20070001134A/ko
Application granted granted Critical
Publication of KR100844224B1 publication Critical patent/KR100844224B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/6473—Monitoring network processes errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776—Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은, 멀티미디어 게이트웨이 디바이스(14)의 영상 비트스트림 에러를 처리하는 방법을 개시하며, 게이트웨이 디바이스(14)는 유입되는 영상 비트스트림(16)의 에러를 검출하고, 최종 단말 디바이스(15)로부터 에러를 검출할 필요 없이 비트스트림을 재생(refresh)하기 위하여 시작 디바이스(13)에 신호를 발신한다. 단말 디바이스(15)가 영상 비트스트림이 재생되도록 신호를 보낼 때, 게이트웨이(14)가 적절한 재생 프레임을 국부적으로 생성하고 송신한다. 본 발명은, 에러 처리 기능이 내장되지 않은 스트리밍 및 메시지 서버와 같은 디바이스를 위해, 게이트웨이가 에러를 처리하도록 한다.
영상 통신 에러, 단말기, 무선 인터페이스, 비트스트림 데이터, 게이트웨이, 영상-고속-갱신, 부호화기, 복호화기, 변환부호화기

Description

영상 통신 에러를 처리하는 방법 및 장치{METHOD AND APPARATUS FOR HANDLING VIDEO COMMUNICATION ERRORS}
본 발명은, 일반적으로 전자 통신(telecommunication) 신호를 처리하는 것에 관한 것이다.
통신 링크를 가로질러 음향 및 영상 신호를 부호화하는 데에는, 몇 가지 표준이 있다. 이러한 표준들은, 단말기(핸드세트(handsets), 데스크 탑(desktops), 게이트웨이(gateways), 등)가 동일한 세트의 표준을 지원하는 다른 단말기와 상호 작동하도록 한다. 공통의 표준을 지원하지 않는 단말기는, 추가적인 디바이스, 즉, 변환부호화 게이트웨이(transcoding gateway)가 디바이스들 사이에 삽입되는 경우에만, 상호 작동할 수 있다. 변환부호화 게이트웨이는 부호화된 신호를 하나의 표준으로부터 다른 것으로 번역한다. 멀티미디어 게이트웨이는, 변환부호화에 더하여, 다른 네트워크(모바일, 패킷 지상 통신선 등) 상에 있는 단말기들 사이의 호 시그널링(call signaling)의 중개 및 명령의 번역과 같은 기능을 수행할 수 있고, 단말기에 의해 이용되는 프로토콜 사이에서 정보를 제어할 수 있는 변환부호화 게이트웨이다. 몇몇 응용에서는, 단말기 중 하나가, 서버 애플리케이션(예를 들면, 영상 메일 응답 서비스)일 수 있다. 멀티미디어 게이트웨이는, 물리적으로 독립적인 유닛이거나, 서버 시스템 내의 모듈일 수 있다. 변환부호화 게이트웨이는, 간단히 멀티미디어 게이트웨이로 언급된다.
다른 네트워크상에 있는 단말기는, 또한, 동일한 미디어 코덱(codecs)(음향, 영상)을 사용할 수 있다. 그러나, 통신 채널을 통해 송신된 프레임 내의 부호화된 비트들(bits)의 패킹(packing)은 다를 수 있다. 예를 들면, 음성 및 영상 비트스트림(bitstreams)은 일반적으로, 그들의 비트 프레임을 실시간 프로토콜(Real Time Protocol;RTP) 패킷으로 캡슐화함으로써, 패킷 네트워크를 거쳐 송신된다. RTP 패킷은, 타임 스탬프(time stamps) 및 시퀀스 번호(sequence numbers)와 같은 정보를 포함하는 헤더 정보(header information)를 포함한다. 압축된 비트스트림 그룹으로 구성되는 미디어(음성, 영상, 데이터) 비트는, 그러한 RTP 패킷의 페이로드(payload)를 형성한다.
이와 대조적으로, H.324M/3G-324M 표준을 채용하는 3G 화상 통신(videotelephony) 네트워크에서, 미디어 비트 청크(chunks)는, 회선 교환 비트스트림(circuit switched bitstream)으로 다중 송신된다.
네트워크 및 이용된 기초적인 통신 프로토콜에 따라, 미디어 비트 청크(페이로드)는 크기 및 경계를 지배하는 서로 다른 규칙을 가질 수 있는데, 상기 크기 및 경계에서 이러한 비트 그룹들이 코덱에 의해 형성되고 RTP 패킷으로 또는 회선 교환 채널에서 다중화되어 송신할 준비가 된다.
그러므로, 멀티미디어 게이트웨이는, 단말기들에 의해 이용될 때 서로 다른 코딩 표준 사이의 변환부호화를 다루어야 할 뿐만 아니라, 그러한 네트워크 상에서 이용된 프로토콜의 프레임 요구 사항들을 만족시키기 위하여 비트 그룹의 크기 및 경계를 확인하고 조정해야 한다. 따라서, 상기 단말기들에 의해 동일한 코덱이 이용될 때 변환부호화 그 자체는 포함되지 않을 수 있지만, 게이트웨이는 페이로드 크기 및 페이로드 경계의 관점에서 음향 및 영상 비트스트림이 부합하도록 이들을 처리할 필요가 있다.
흥미있는 특정 경우는, 모바일 화상 통신 단말기(예를 들면, H.324M/3G-324M 단말기)와 관련된 환경이다. 모바일 단말기는 무선 통신을 이용하고, 간섭이나 송/수신 조건 때문에 비트스트림에서 종종 에러가 유발된다. 음향 및 영상 손상(corruption)은, 사용자에 의해 즉시 인지된다. 과다한 음향 및 영상 손상은, 사용자의 체감을 심각하게 저하시킬 수 있다.
영상 압축 원리 중 몇 가지를 검토하는 것이 도움이 된다.
영상 데이터는 일련의 이미지로 구성된다. 각각의 개별적 이미지는 프레임이라 불린다.
하나의 프레임에서 정보를 부호화(압축)하는, 혼성(hybrid) 영상 코덱에 의해 이용되는 몇 가지 방법이 있다. 본 발명과 관련이 있는 부호화된 프레임 타입은 다음과 같다:
ㆍ I 프레임은, 정지 화상으로서 부호화되고, 다른 프레임과 별도로 복호화될 수 있다.
ㆍ P 프레임은, 프레임들의 유사성을 이용하기 위하여 앞선 I 또는 P 프레임 또는 프레임들과의 차이로서 부호화된다.
ㆍ B 프레임은, 프레임들의 유사성을 이용하기 위하여 앞선 또는 뒤이은 I 또는 P 프레임 중 어느 하나와의 차이로서 부호화된다.
예측 영상 부호화(predictive video coding)(P 및 B 프레임으로서 부호화된 프레임)는, 이전의 프레임으로부터의 정보를 사용하여 영상 프레임을 압축함으로써 부호화기로 하여금 영상 시퀀스의 시간 중복(temporal redundancy)을 제거하도록 하는 현대식 영상 압축에서 중요한 기술이다.
부호화될 프레임은, 우선 매크로블록(macroblocks)으로 쪼개진다. 매크로블록은, 소스 프레임의 정방형 영역의 휘도(luminance)와 색차(chrominance) 성분 모두를 포함한다. H.261, H.263 및 MPEG 영상 압축 표준에서, 소스 영상 프레임은, 16×16 휘도 픽셀(pixels) 및 관련된 색차 픽셀(4:2:0 포맷 소스 영상용 8×8 픽셀)을 포함하는 매크로블록으로 분해된다.
다음으로, 매크로블록은, 블록으로 더 나누어진다. 휘도 및 색차 픽셀은 개별 블록으로 저장된다. 블록의 수 및 크기는 코덱에 따른다. H.261, H.263 및 MPEG-4 부합 영상 코덱은, 각각의 매크로블록을, 휘도용 4개 및 색차용 2개인, 총 6개의 8×8 픽셀 블록으로 나눈다.
각각의 블록은, 우선 공간 중복을 제거하기 위하여 변환(transform)을 이용하고, 다음으로 변환 계수를 양자화함으로써 부호화된다. 이 단계를 "변환 부호화(transform coding)"라고 칭할 것이다. 비-제로 양자화된(non-zero quantized) 변환 계수는, 런 길이(run length) 및 가변 길이(variable length) 부호화를 이용하여 더 부호화된다. 이러한 제2 단계를 VLC 부호화라고 칭할 것이다. 역처리는, VLC 복호화와 변환 복호화로 각각 칭할 것이다. H.261, H.263 및 MPEG4 영상 압축 표준은, 블록에서 공간 중복을 제거하기 위하여, 이산 코사인 변환(discrete cosine transform;DCT)을 이용한다.
매크로블록은, 세 가지 방식으로 부호화될 수 있다.
ㆍ "인트라 부호화(intra coded)" 매크로블록은, 부호화되는 소스 프레임으로부터 직접 복사된 픽셀값을 갖는다.
ㆍ "인터 부호화(inter coded)" 매크로블록은, 소스 프레임 시퀀스에서 시간 중복을 이용한다. 인터 매크로블록은, 현재 소스 프레임의 픽셀값과 기준 프레임의 픽셀값 사이의 차이로부터 형성된 픽셀값을 갖는다. 기준 프레임은, 이전에 복호화된 프레임이다. 차이를 계산할 때 이용된 기준 프레임의 영역은, 현재 프레임에서의 매크로블록과 그것의 기준 프레임에서의 최적의 쌍 사이의 변위를 특정하는 모션 벡터 또는 벡터들에 의해 제어된다.
ㆍ "부호화되지 않은" 매크로블록은, 이전의 프레임으로부터 심하게 변하지는 않은 매크로블록이고, 어느 모션이나 계수 데이터도 이러한 매크로블록을 위해 송신되지 않는다.
주어진 프레임에 포함된 매크로블록의 타입은 프레임 형태에 의존한다. 이 알고리즘에 중요한 프레임 형태에 대해서, 허용된 매크로블록 타입은 다음과 같다.
ㆍ I 프레임은 인트라 부호화 매크로블록만을 포함할 수 있다.
ㆍ P 프레임은, 인트라, 인터 및 "부호화되지 않은" 매크로블록을 포함할 수 있다.
몇몇 영상 코덱에서는, 매크로블록은 "블록들의 그룹(groups of blocks)" 또는 GOBs로 알려진 유닛으로 분류될 수 있다.
H.261, H.263, H.264 및 MPEG-4-video와 같은 영상 부호화 표준은, 압축된 영상 비트스트림의 구문(syntax) 및 의미(semantics)를 설명한다. 송신과 수신 디바이스 사이의 통신 에러는, 보통 수신기의 영상 복호화기(decoder)가 수신된 비트스트림의 구문 에러를 검출하는 결과를 가져올 것이다. 영상 프레임의 비트스트림의 손상은, 처리되는 현재의 화상에 영향을 미칠 뿐만 아니라, 예측 부호화(P 또는 B 프레임)를 이용하여 부호화되는 이후의 많은 영상 프레임에도 또한 영향을 미칠 수 있다. 대부분의 영상 통신 프로토콜은, 소위 "영상-고속-갱신(video-fast-update)" 요청에 기초한 에러 복구 방식(scheme)을 포함하는 명령 및 제어 프로토콜을 이용한다. 이러한 요청은 영상를 송신하는 측에 I-프레임(현재의 영상 프레임만의 콘텐츠를 사용하여 부호화)으로서 다음의 영상 프레임을 부호화하도록 알려준다. 영상-고속-갱신 기술은, 어떤 손상을 바람직하게는 사용자가 인식할 수 없을 정도의 매우 짧은 시간 간격으로 제한하고, 영상 품질이 빠르게 회복되도록 한다.
종래의 멀티미디어 게이트웨이의 설계는, 게이트웨이가 시작 단말기로부터 다른 단말기(핸드셋 또는 영상 메일 응답 서비스와 같은 서버 애플리케이션)로의 영상-고속-갱신을 중계하는 것을 제시한다. 이러한 처리는 도 1에 도시된다. 송신 단말기 101은, 비트스트림을 처리하고 그것을 수신 단말기 103으로 송신하는 멀 티미디어 게이트웨이 102로 영상 데이터를 발신한다. 종래의 비트스트림 처리는, 동일한 부호화 표준이 양 단말기에 의해 이용될 때, 실제의 변환부호화나 포맷팅을 포함할 수 있다. 수신 단말기 103은 영상 비트스트림의 에러를 검출했을 때, 시작 단말기 101로 요청을 재송신하는 멀티미디어 게이트웨이 102로 영상-고속-갱신 요청을 발신한다. 이러한 접근 방식은, 영상-회의(video-conferencing)와 같이, 두 단말기가 영상 스트림을 활발하게 부호화/복호화하고, 그들이 손상을 검출하거나 그렇게 하도록 요구될 때 영상-고속-갱신을 발신할 수 있는, 일정한 경우에 적절히 작동한다.
비트스트림 에러에 대한 종래의 처리가 충분하지 않을 수 있는 예시적 시나리오가 아래에서 설명된다.
메시징(messaging) 및 스트리밍 서버와 같은 몇몇 영상 단말 장비는, 그들이 이미 부호화된(압축된) 비트스트림을 송신할 수도 있고 따라서 I-프레임을 부호화하여 송신하기 위해 그들의 부호화 모드를 변화시키고자 능동적으로 부호화하지 않을 것이기 때문에, 유입되는 영상 비트스트림의 에러를 검출하거나(그들은 이 비트스트림을 복호화하지 않고, 압축된 상태대로 저장할 수도 있다), 영상-고속-갱신 요청에 응답할 수 없다. 예를 들어, 영상 메일 메시지를 메일함에 압축된 포맷으로 단순히 저장하고, 후에 그 압축된 영상 비트스트림을 재생하는 영상 응답 서비스와 같은 메시징 서버는, 비트스트림 에러를 검출할 수도 없고, 영상-고속-갱신 요청에 응답할 수도 없다. 이러한 경우에, 멀티미디어 게이트웨이가 에러 상태를 처리하는 것이 필수적이다; 그렇지 않으면, 사용자는 메시지 비트스트림의 다음 I-프레임이 송신될 때까지 계속 손상된 영상을 보게 될 것이다. 압축된 비트스트림의 I-프레임의 주파수에 따라서는, 손상이 수초 동안 어쩌면 10초 동안 지속될 수 있기 때문에, 이는 사용자의 체감을 심각하게 저하시킬 수 있다. I-프레임은 P-프레임보다 더 큰 비트율 대역폭(bandwidth)을 취하고, 따라서 영상의 실제 프레임 속도가 영향을 받을 수 있기 때문에, 비트스트림에 더 많은 수의 I-프레임을 저장하는 것은 그러한 문제를 완화시킬 수 없다.
영상-응답 서비스에 영상 메일 메시지를 넣는 경우에는, 이동 단말기가 영상 비트스트림을 송신하기 때문에 에러가 무선 인터페이스에서 초래될 수 있다. 멀티미디어 게이트웨이가 에러를 검사함이 없이 비트스트림을 단지 중계하고, 영상-응답 서비스가 검사 없이 비트스트림을 기록한다면, 손상된 영상이 기록될 것이다.
멀티미디어 게이트웨이로 하여금, 모바일 단말기에 의해 수신되거나 송신된 영상 비트스트림에 에러가 도입된 상황을 처리하도록 하는 방법이 필요하다.
본 발명에 따르면, 멀티미디어 게이트웨이 디바이스에서 영상 비트스트림 에러를 처리하는 방법들이 제시되는데, 여기서 게이트웨이 디바이스는 종단 단말 디바이스(end terminating device)에서의 에러 검출에 의존하지 않고 유입되는 영상 비트스트림의 에러를 검출하고, 비트스트림을 재생(refresh)하도록 시작 디바이스(originating device)에 신호를 발신한다. 상기 단말 디바이스가 영상 비트스트림이 재생되도록 신호를 보낼 때, 게이트웨이는 적절한 재생 프레임을 국부적으로 생성하고 송신한다. 멀티미디어 게이트웨이에서 영상은, 멀티미디어 게이트웨이가 영상 비트스트림 에러를 효율적으로 처리할 수 있도록 하기 위한 목적을 갖는 임의의 접속 프로토콜을 거쳐, 한 쌍의 혼성 영상 코덱 사이에서 처리된다.
멀티미디어 게이트웨이로 유입되는 영상 비트스트림이 현재 비트 에러를 가질 가능성이 있을 때, 본 장치는 손상을 검출하고, 손상을 복구하도록 송신 단말기에 신호를 보내는 모듈을 포함한다. 예를 들면, 체크섬(checksum) 에러나 역다중화(demultiplexing) 동안의 시퀀스 수 부정합과 같은 손상은 데이터가 미디어 독립층(media independent layer)에서 처음으로 수신되고 처리될 때, 또는 멀티미디어 게이트웨이를 통과하는 영상 비트스트림의 에러를 검출할 수 있는 입력 코덱을 위한 복호화 모듈에 의해 검출될 수 있다. 미디어 독립 레벨에서 에러가 검출되고 전송 프로토콜이 재송신을 지원할 때, 송신 단말기는 상기 데이터를 재발신하도록 요청될 수 있다. (재송신 과정이 지연을 초래할 것이고 음향 및 영상 스트림 손실 동기화를 가져올 수 있기 때문에) 재송신 요청이 사용 가능하거나 바람직하지 않을 때, 그리고 에러가 영상 비트스트림 구문 에러로서 검출될 때, 게이트웨이는 송신 단말기로 영상-고속-갱신 요청을 발신한다.
영상 복호화기는, 영상 메일 서버에 대해서 그것이 수신하는 영상 비트스트림을 검사하도록 요구된다. 영상 복호화 기능(functionality)에 연결된 명령 및 제어 기능은, 영상 메일 서버가 송신 핸드세트에 I-프레임을 송신할 것을 요청하기 위하여 영상-고속-갱신을 송신하는데 필요하다. 본 발명은, 동일한 영상 부호화 표준이 게이트웨이의 어느 한 쪽에 이용될 때조차도, 영상 비트스트림의 에러를 검사하는 기능 및 멀티미디어 게이트웨이에 위치되어야 하는 영상-고속-갱신의 송신기의 통보(notification)를 도입한다. 이는, 게이트웨이가 전형적으로 서버보다 좋은 실시간 처리 능력을 갖고 게이트웨이는 송신기에 가장 가까운 네트워크 요소이기 때문에, 그 결과 에러를 처리하는데 걸리는 시간은 에러가 영상 메일 서버에 도달하여 이에 의해 처리되는 시간보다 상당히 짧아질 수 있다는 몇몇 이점들을 갖는다. 게다가, 멀티미디어 게이트웨이는 또한, 영상 변환부호화를 할 수 있고, 그러므로 에러의 처리는 변환부호화기에 통합될 수 있다.
게이트웨이에 의해 송신되고 있는 영상이 멀티미디어 게이트웨이와 수신기 사이의 채널에 도입된 비트 에러를 가질 가능성이 있을 때, 본 장치는 입력 코덱용 복호화 모듈 및 출력 코덱용 부호화 모듈을 포함한다. 멀티미디어 게이트웨이가 영상-고속-갱신 요청을 수신할 때, 복호화된 프레임의 프레임 부호화 타입에 관계없이, 부호화 모듈은 복호화 모듈의 출력을 I-프레임으로 변환할 수 있다.
본 발명은, 게이트웨이가 최소의 영상 손상 및 더 나은 사용자 체감을 가져오는 "영상-고속-갱신" 요청을 국부적으로 처리하도록 한다. "영상-고속-갱신"의 국부적 처리는, 멀티미디어 게이트웨이에서의 영상 처리가 영상-고속-갱신 요청에 응답하여 I-프레임을 송신할 수 있을 것을 요구한다. 이러한 국부적 처리는 몇 가지 방식으로 행해질 수 있다:
a) 영상 처리가 복호화 및 재부호화(re-encoding)을 수행한다면(탠덤 변환부호화기(tandem transcoder)), 게이트웨이 내의 영상 프로세서의 부호화기는 영상-고속-갱신 요청을 용이하게 수행할 수 있다.
b) 영상-고속-갱신 요청의 국부적 처리를 이행하기 위한 다른 영상 처리 방법은, 그러한 처리를 스마트 영상 변환부호화 모듈에 끼워 넣는 것이다. 그러한 변환부호화기는, 매크로블록 단위로 또는 프레임 단위로 동작한다. 영상 변환부호화 모듈은, 다음과 같을 때 변환부호화를 처리할 수 있다:
ⅰ. 양 단말기(예를 들면, 사용자단 및 메시징 또는 콘텐츠 서버)에 의해 이용되는 부호화 표준이 동일하다. 예를 들면, 변환부호화기는 입력 비트스트림을 복호화할 수 있지만 에러가 없을 때는 변경되지 않은 입력 비트스트림을 재이용하여, 영상-고속-갱신 요청을 제공하기 위해 I-프레임을 생성할 것이 요구될 때 부호화하는 비용만을 초래할 수 있다.
ⅱ. 단말기에 의해 이용된 부호화 표준은 다르지만, 유사성은 스마트 변환부호화가 행해지도록 한다. 예를 들면, 변환부호화기는 각각의 프레임을 복호화하고 재부호화할 수 있지만, 모션 벡터 및 부호화 단계에서의 매크로블록 부호화 타입과 같은 정보를 재이용할 수 있다. 이러한 경우에 변환부호화기는, 쉽게 영상-고속-갱신 요청에 응답하여 임의의 프레임을 I-프레임으로서 재부호화하는 데까지 확장될 수 있다.
영상 게이트웨이에 의한 에러의 국부적 검출는, (일반적으로 3G-324M에 의해 명령된 실시간 비트스트림 처리를 위해 연동되지 않는) 영상-메일 서버의 기능을 단순화할 뿐만 아니라, 영상-고속-갱신 요청이 영상-메일 서버로, 그리고 그 역으로 이동해야 한다면 왕복 시간이 더 길어질 것이므로, 영상 손상의 지속 시간을 최소화한다. 멀티미디어 게이트웨이에서의 국부적인 에러의 검출 및 영상-고속-갱신의 생성은, 궁극적으로, 영상-메일 서버로부터 검색된 영상의 손상에 대한 메일함 가입 사용자의 노출을 상당히 감소시킨다. 이는 또한 영상-메일 서버에 영상 복호화기를 통합시킬 필요성을 제거한다.
본 발명은, 첨부 도면과 관련된 이하의 발명의 상세한 설명을 참조하여 더 상세하게 설명될 것이다.
도 1은, 종래의, 영상-고속-갱신 요청을 처리하는 선행 기술 멀티미디어 게이트웨이 접속의 선행 기술을 도시하는 블록도이다.
도 2는, 수신된 비트스트림 데이터가 에러를 포함할 수 있는, 본 발명에 따른 멀티미디어 게이트웨이에서의 에러 검출 처리의 흐름도이다.
도 3은, 게이트웨이에서 수신된 영상 데이터의 비트 에러가 존재할 수 있는, 본 발명에 따른, 제1 혼성 영상 코덱으로부터 제2 혼성 영상 코덱으로의 멀티미디어 게이트웨이 접속을 도시하는 블록도이다.
도 4는, 게이트웨이가 수신기로부터 영상-고속-갱신 요청을 수신할 수 있는, 본 발명에 따른, 제1 혼성 영상 코덱으로부터 제2 혼성 영상 코덱으로의 멀티미디어 게이트웨이 접속을 도시하는 블록도이다.
본 발명이 특정 실시예를 참조하여 설명된다. H.324M/3G-324M(이하, 3G- 324M이라 함)에서 H.323으로의 프로토콜 번역 및 멀티미디어 변환부호화를 위한 멀티미디어 게이트웨이의 특정 경우에 있어서, H.323 단말기는, 멀티미디어 게이트웨이나 다른 타입의 서버 또는 최종 사용자 단말기와 통신하기 위해, H.323 프로토콜을 사용하는 영상 메일 응답 서비스가 될 수 있다. 3G-324M 및 H.323 프로토콜은, 여기에서 단지 예시의 목적으로만 이용된다. 여기서 설명되는 방법은 일반적이고, 가상적으로 임의의 접속 프로토콜을 거쳐 가상적으로 임의의 혼성 영상 코덱 쌍 사이의 멀티미디어 게이트웨이에서의 영상 처리에 적용된다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는, 다른 단계, 구성 및 배열이 본 발명의 사상 및 범위로부터 벗어나지 않고 이용될 수 있다는 점을 인식할 것이다.
3G-324M 핸드세트가 무선 인터페이스를 거쳐 영상을 송신할 때, 비트-에러가 초래될 수 있고, 이는 정보 페이로드가 비가역적으로 손상되도록 한다. 본 발명의 장치는, 에러를 검출하고, 즉시, 그리고 원단(far-end) 수신 단말기(예를 들면, 영상-메일 서버)의 개입 없이도, 송신 단말기에, "영상-고속-갱신"을 수행함으로써 에러 상태로부터의 복구를 도와주도록 요청할 수 있다. 본 장치는, 대역 외로(out-of-band)(즉, ITU-T H.245 메시지를 통해), 또는 대역 외나 대역 내 역방향 채널을 사용할 수 있는 등가의 수단에 의해, 그러한 요청을 발신한다. 3G-324M 및 H.323에 있어서, 순수한 H.245 메시징은, 3G-324M 및 H.323의 일부이고, 그러한 메시지의 송신에 편리함을 제공하기 때문에, 이용될 수 있다.
도 2는, 게이트웨이에서 수신된 비트스트림 데이터가 비트 에러를 포함할 수 있는 변환부호화 게이트웨이의 바람직한 실시예에 있어서, 에러 검출 처리의 흐름 도이다. 데이터가 송신 단말기로부터 수신되고(단계 A), 미디어 비트스트림이 수신된 데이터로부터 추출된다(단계 B). 데이터에 존재하는 미디어는 다중 영상 및/또는 음향 비트스트림을 포함할 수 있다. 본 도면에서, 단순화를 위해 하나의 영상 비트스트림만이 도시된다. 비트스트림 추출 중에 에러가 검출되고(단계 C), 또한 재송신 요청들이 사용가능하며, 게이트웨이가 영상 고속 갱신(Video Fast Updates)보다 그들을 더 선호한다면(단계 D), 게이트웨이는 데이터가 재송신될 것을 요청한다(단계 J). 만약 재송신이 지원되지 않거나 바람직하지 않다면, 게이트웨이는 Video Fast Updates을 요청할 것이다(단계 H). 비트스트림 추출 중에 어떤 에러도 검출되지 않는다면, 영상 비트스트림이 에러에 대해 검사된다(단계 E). 만약 비트스트림에서 에러가 발견된다면(단계 F), 게이트웨이는 Video Fast Updates을 요청할 것이다(단계 H); 그렇지 않으면, 평상시처럼 비트스트림을 변환부호화할 것이다(단계 G).
도 3은, 게이트웨이 14에서 수신된 영상 비트스트림이 비트 에러를 포함할 수 있는 변환부호화 게이트웨이 시스템 10의, 특정 일실시예의 블록도이다. 본 도면은, H.323 단말기 15로 발신되기 전에 게이트웨이 14를 통과할 때, 3G-324M 단말기 13으로부터의 영상 비트스트림을 도시한다.
채널 16에서의 유입 영상 비트스트림은, 전송 계층(transport layer) 인터페이스 17에 의해 해독된다. 전송 계층 처리가 수신된 비트스트림에서 에러를 검출하고 재송신 요청이 사용가능하다면, 전송 계층은 재송신 요청을 송신 단말기 13으로 발신할 수 있다.
수신된 영상 비트스트림은, 구문 복호화 모듈(syntax decode module) 18로 통과된다. 구문 복호화 모듈 18은, 비트스트림의 구문상의 정확함을 검사할 책임이 있다. 그것이, 영상 비트스트림을 완전하게 복호화할 필요는 없다.
비트스트림 에러가 구문 복호화 모듈 18에 의해 검출될 때, 에러는 신호로서 제어 모듈 20으로 전송된다. 제어 모듈은, 적절한 제어 프로토콜을 이용하여 3G-324M 단말기로 다시 송신되는 영상-고속-갱신 요청을 생성할 것이다. 몇 개의 에러가 모듈 18에 의해 타임 윈도우(time window) 내에서 빠르게 연속하여 검출될 때, 제어 모듈은, 단지 하나의 영상-고속-갱신 요청만을 발신하도록 선택할 수 있다. 검출 모듈 18은, 영상 프레임을 복구하지 않고 영상 비트스트림을 스캔하는, 단순화된 영상 복호화기 모듈일 수 있다. 비트스트림은 에러에 대해 스캔되고, 에러는 제어 모듈 20에 기록된다는 점에서, 이것은 구문 복호화라고 불릴 수 있다. 에러 검출 모듈은, 당업자에 의해 구현될 수 있다.
유입 영상 비트스트림은 또한, 처리 모듈 19로 통과된다. 이 모듈 19는, 예를 들면, 입력 비트스트림을 다른 영상 표준으로 변환하는 것 및/또는 비트스트림의 비트율(bitrate)을 변화시키는 것과 같은, 일반적인 변환부호화 작업을 수행한다. 입력 및 출력 영상 표준이 같다면, 처리 모듈 19는, 요구되는 대로 패킷 경계(packet boundaries)에 어떤 변화를 만들면서, 간단하게 입력을 출력으로 통과시킬 수 있다. 처리가, 유입 비트스트림이 복호화될 것을 요구한다면, 탠덤 변환부호화기와 같은, 처리 모듈 19 및 구문 복호화 모듈 18이 결합될 수 있다. 변환부호화가 요구될 때, 처리 모듈 19를 위한 가장 일반적인 설계는 탠덤 변환부호화기 이다. 그러한 모듈은, 그 출력이, 압축되지 않은 영상 프레임의 형태로, 유출 영상 표준의 부호화기로의 입력으로서 이용되는, 유입 영상 표준의 복호화기로 구성된다. 영상 복호화기 및 부호화기의 구현은 신호 처리 기사들이 맡고 있는 통상 업무이며, 이들은 상응하는 표준화 단체에 의해 발행된 부호화기 및 복호화기 표준에 기초하여 상기 구현을 행한다. 예를 들면, H.263은, 국제 전자통신 연합(International Telecommunication Union;ITU)에 의해 표준화된 것이다. MPEG4 영상 코덱은, 국제 표준 협회(International Standards Organization;ISO)에 의해 표준화된 것이다. 부호화기, 복호화기 및 탠덤 변환부호화기는, 본 발명의 당업자에 의해 구현될 수 있다.
처리 모듈 19로부터의 영상 데이터는, 제어 및 다른 미디어 비트스트림과 결합되는 전송 계층 모듈 21로 향한다. 다음으로 그 데이터는, 채널 22를 거쳐 수신 단말기 15로 송신된다.
3G-324M 단말기가 무선 인터페이스를 거쳐 영상을 수신할 때, 결국 비가역적으로 손상된 정보 페이로드가 되는 비트-에러가 존재할 수 있다. 이러한 메시지 검색(message retrieval) 단계 중의 비트 에러는 관리되어야 한다. 검색하는 중에, 압축 저장된 순수(clean) 비트스트림은, 영상-메일이나 콘텐츠 서버에 의해, 멀티미디어 게이트웨이 MSC를 통해 단말기로 송신된다. (무선 인터페이스(radio-interface)를 통한) MSC로부터의 송신은, 비트 에러를 초래할 수 있다. 영상-메일 서버의 메시지 저장 장치상의 영상 비트스트림은, 압축된 포맷으로 저장될 것이다.
압축되지 않은 영상은, 상당한 양의 저장 공간을 필요로 하며, 실시간(real- time)에 가까운 압축은 계산에 지나치게 많은 비용이 들어서, 영상-메일 서버에서 수행될 수 없다. 단말기의 영상 복호화기가 무선-인터페이스 상태에 기인한 에러를 검출한다면, 송신기에 "영상-고속-갱신" 요청을 송신할 것이다. 영상-메일 서버는 미리 저장된 압축된 비트스트림을 송신하기 때문에, 압축되지 않은 영상 콘텐츠의 실시간의 부호화/응답을 요구하는 "영상-고속-갱신" 요청을 처리하지 못할 수 있다.
게이트웨이는, "영상-고속-갱신" 요청을 처리하는 적절한 단계이다. 본 발명은, 게이트웨이가 "영상-고속-갱신" 요청을 국부적으로 처리하도록 하여, 최소의 영상 손상 및 보다 나은 사용자 체감을 가져온다.
도 4는, 게이트웨이에 의해 송신된 영상 비트스트림이 비트 에러를 포함할 수 있는 변환부호화 게이트웨이의, 특정 실시예의 블록도이다. 본 도면은 H.323 단말기 23으로부터의 영상 비트스트림이, 3G-324M 단말기 25로 발신되기 전에 게이트웨이 24를 통과하는 것을 나타낸다.
유입 채널 26을 거친 데이터는, 전송 계층 인터페이스 27에 의해 복호화된다. 데이터에 존재하는 미디어는, 다중 영상 및/또는 음향 비트스트림을 포함할 수 있다. 본 도면에서는, 단순화를 위해 하나의 영상 비트스트림만이 도시된다.
영상 비트스트림은, 복호화 모듈 28에 의해 복호화된다. 유출되는 비트스트림은, 부호화 모듈 29에 의해 생성된다. 어떠한 영상-고속-갱신도 요청되지 않았을 때, 부호화 모듈 29는, 변환부호화된 비트스트림을 생성하기 위해, 복호화 모듈로부터의 출력 및/또는 중간 결과를 이용할 수 있다. 입력 및 출력 영상 표준이 동일하다면, 부호화기 29는, 비트스트림을 출력 전송 표준에 적절한 크기 및 배열을 갖는 패킷으로 분해시키면서, 입력을 출력으로 간단하게 통과시킬 수도 있다.
게이트웨이 24의 제어 모듈 30이 3G-324M 단말기로부터 영상-고속-갱신을 수신할 때, 다음 프레임을 I-프레임으로서 부호화하기 위하여 부호화기 29에 신호를 보낸다. 이러한 경우에, 부호화기 29는 복호화기 28로부터의 출력을 입력으로서 이용한다.
영상 부호화기 29로부터의 데이터는, 제어 및 다른 미디어 비트스트림과 결합되는 전송 계층 모듈 31로 향한다. 다음으로, 데이터는 채널 32를 거쳐 수신 단말기 25로 송신된다.
"영상-고속-갱신"의 국부적 처리는, 영상-고속-갱신 요청에 응답하여 I-프레임을 송신할 수 있도록 게이트웨이에서의 영상 처리를 요구한다. 이러한 국부적 처리는, 여러 가지 방식으로 행해질 수 있다:
a) 영상 처리가 (탠덤 변환부호화기에서) 복호화 및 재부호화를 수행한다면, 게이트웨이의 영상 프로세서의 부호화기는 영상-고속-갱신 요청을 용이하게 수행할 수 있다. 탠덤 변환부호화기의 영상 복호화기는, 복호화 모듈 28로서, 또한 부호화기는 부호화 모듈 29로서 기능한다. 제어 모듈 30은, 다음 프레임을 I 프레임으로서 부호화하기 위하여, 영상 부호화기 29에 신호를 보낸다. 완전한 복호화/재부호화를 실행하는 것은, 예를 들면, 상당한 처리 능력을 요구하기 때문에, 국부적 영상-고속-갱신 처리를 구현하기 위한 최적의 기술은 아니다.
b) 대안적인 영상 처리 고속 갱신 과정은, 영상 처리를 스마트 영상 변환부호화 모듈에 끼워넣는다. 그러한 변환부호화기는, 매크로블록 단위로 또는 프레임 단위로 동작할 수 있다. 영상 변환부호화 모듈은, 다음과 같은 경우에 변환부호화를 처리할 수 있을 것이다:
ⅰ. 양 단말기(예를 들면, 사용자단 및 메시징 또는 콘텐츠 서버)에 의해 이용되는 부호화 표준이 동일하다. 예를 들면, 변환부호화기는 입력 비트스트림을 복호화해야 하지만 아무런 에러도 없을 때는 변경되지 않은 입력 비트스트림을 재이용하여, 영상-고속-갱신 요청을 제공하기 위해 I-프레임을 생성하도록 요구될 때 단지 복호화된 영상 프레임을 재부호화하는 비용만을 초래할 수 있다. I-프레임을 생성하도록 요구될 때, 변환부호화기는 복호화된 프레임 데이터를 부호화기로 보내어 I 프레임의 인트라 매크로블록으로서 기록되도록 한다.
ⅱ. 단말기에 의해 이용된 부호화 표준은 다르지만, 유사성이 스마트 변환부호화를 허용한다. 예를 들면, 변환부호화기는 각각의 프레임을 복호화하고 재부호화할 수 있지만, 모션 벡터 및 부호화 단계의 매크로블록 부호화 타입과 같은 정보를 재이용할 수 있다. 이전의 경우에서와 같이, I-프레임을 생성하도록 요구될 때, 변환부호화기는 복호화된 프레임 데이터를 부호화기로 보내어, I-프레임의 인트라 매크로블록으로서 기록되도록 한다.
본 발명은, 특정 실시예를 참조하여 설명되었다. 다른 실시예들도, 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 그러므로, 첨부된 청구의 범위에 의해 지시된 바를 제외하고는, 본 발명을 제한하는 것으로 의도된 것이 아니다.
본 발명에 따른, 영상 게이트웨이에 의한 에러의 국부적 검출은 (일반적으로 3G-324M에 의해 명령된 실시간 비트스트림 처리를 위해 연동되지 않는) 영상-메일 서버의 기능을 단순화할 뿐만 아니라, 영상-고속-갱신 요청이 영상-메일 서버로 그리고 그 역으로 이동해야 한다면 왕복 시간이 더 길어질 것이므로, 영상 손상의 지속 기간을 최소화한다. 멀티미디어 게이트웨이에서의 국부적인 에러의 검출 및 영상-고속-갱신의 생성은, 궁극적으로, 영상-메일 서버로부터 검색된 영상의 손상에 대한 메일함 가입 사용자의 노출을 상당히 감소시킨다. 이는 또한 영상-메일 서버에 영상 복호화기를 통합시킬 필요성을 제거한다.

Claims (39)

  1. 제1 혼성(hybrid) 영상 코덱을 이용하여 부호화된 영상 비트스트림 데이터를 제2 혼성 영상 코덱을 이용하여 부호화된 제2 비트스트림 데이터로 변환하는 장치에 있어서,
    데이터 단말기에 앞서 데이터 경로에 배치되고, 게이트웨이에서 수신된 모든 데이터로부터 영상 비트스트림 데이터를 검색하는 데이터 검색 모듈;
    상기 데이터 검색 모듈에 연결되고, 상기 영상 비트스트림 데이터에서 에러를 검출하는 비트스트림 구문 복호화기; 및
    상기 데이터 검색 모듈 또는 상기 비트스트림 구문 복호화기 중 어느 하나가 상기 영상 비트스트림 데이터에서 에러를 검출할 때, 영상-고속-갱신(video-fast-update) 메시지를 발신하는 고속 갱신 유닛을 포함하는 변환 장치.
  2. 제1항에 있어서,
    상기 영상-고속-갱신 메시지는, 블록 레벨에서의 갱신을 더 포함하는 변환 장치.
  3. 제1항에 있어서,
    상기 제1 혼성 영상 코덱용의 제1 표준이 상기 제2 혼성 영상 코덱용의 제2 표준과 동일한 변환 장치.
  4. 제1 혼성 영상 코덱을 이용하여 부호화된 영상 비트스트림 데이터를, 제2 혼성 영상 코덱을 이용하여 부호화된 제2 비트스트림 데이터로 변환하는 장치에 있어서,
    데이터 단말기에 앞서 데이터 경로에 배치되고, 영상 비트스트림 데이터를 복호화하는 영상 비트스트림 복호화기; 및
    영상-고속-갱신 요청을 수신하면 프레임을 I-프레임으로서 재부호화하는, 상기 복호화기에 연결된 수단을 포함하는 변환 장치.
  5. 제4항에 있어서,
    상기 영상-고속-갱신 요청을 수신하면, 개개의 GOBs 및 매크로블록이 인트라 매크로블록을 이용하여 재부호화되는 변환 장치.
  6. 제4항에 있어서,
    상기 제1 혼성 영상 코덱용의 제1 표준이 상기 제2 혼성 영상 코덱용의 제2 표준과 동일한 변환 장치.
  7. 제4항에 있어서,
    상기 영상 비트스트림 복호화기는, 각 프레임을 부호화하기 전에 각 프레임을 완전히 복호화하는 탠덤 변환부호화기(tandem transcoder)인 변환 장치.
  8. 제4항에 있어서,
    상기 영상 비트스트림 복호화기는, 선택된 매크로블록만을 재부호화하는 변환 장치.
  9. 제4항에 있어서,
    상기 영상 비트스트림 복호화기는, 이산 코사인 변환 영역(Discrete Cosine Transform domain)에서 데이터를 조작하는 변환 장치.
  10. 제1 혼성 영상 코덱을 이용하여 부호화된 영상 비트스트림 데이터를, 제2 혼성 영상 코덱을 이용하여 부호화된 제2 비트스트림 데이터로 변환하는 방법에 있어서,
    데이터 단말기에 앞서 데이터 경로에 배치된 데이터 검색 모듈에 의해, 게이트웨이에서 수신된 모든 데이터로부터 영상 비트스트림 데이터를 검색하는 단계;
    상기 데이터 검색 모듈에 연결된 비트스트림 구문 복호화기에서 영상 비트스트림의 에러를 검출하는 단계; 및
    상기 데이터 검색 모듈 또는 상기 비트스트림 구문 복호화기가 상기 영상 비트스트림 데이터에서 에러를 검출할 때, 영상-고속-갱신 메시지를 발신하는 단계를 포함하는 변환 방법.
  11. 제1 혼성 영상 코덱을 이용하여 부호화된 영상 비트스트림 데이터를, 제2 혼성 영상 코덱을 이용하여 부호화된 제2 비트스트림 데이터로 변환하는 방법에 있어서,
    데이터 단말기에 앞서 데이터 경로에 배치된 영상 비트스트림 복호화기에서 영상 비트스트림 데이터를 복호화하는 단계; 및
    영상-고속-갱신 요청을 수신하면, 프레임을 I-프레임으로서 재부호화하는 단계를 포함하는 변환 방법.
  12. 제11항에 있어서,
    상기 영상-고속-갱신 요청을 수신하면, 개개의 GOBs 및 매크로블록이 인트라 매크로블록을 이용하여 재부호화되는 변환 방법.
  13. 제11항에 있어서,
    상기 제1 혼성 영상 코덱용의 제1 표준이 상기 제2 혼성 영상 코덱용의 제2 표준과 동일한 변환 방법.
  14. 제11항에 있어서,
    상기 영상 비트스트림 복호화기는, 각 프레임을 부호화하기 전에 각 프레임을 완전히 복호화하는 탠덤 변환부호화기인 변환 방법.
  15. 제11항에 있어서,
    상기 영상 비트스트림 복호화기는, 선택된 매크로블록만을 재부호화하는 변환 방법.
  16. 제11항에 있어서,
    상기 영상 비트스트림 복호화기는, 이산 코사인 변환 영역에서 데이터를 조작하는 변환 방법.
  17. 하나 또는 그 이상의 통신 네트워크를 통해서 제1 단말기 및 제2 단말기에 연결되고, 제1 혼성 영상 코덱을 이용하여 부호화된 영상 비트스트림 데이터를 제2 혼성 영상 코덱을 이용하여 부호화된 제2 비트스트림 데이터로 변환하는 멀티미디어 중개 디바이스에 있어서,
    상기 제2 단말기에 앞서 데이터 경로에 배치되고 상기 영상 비트스트림 데이터를 복호화하는 영상 비트스트림 복호화기;
    상기 영상 비트스트림 복호화기에 연결되고 복수의 매크로블록을 재부호화하는 부호화기 - 상기 복수의 매크로블록의 각각은 영상 갱신 요청이 수신되면 인트라 부호화 매크로블록으로 재부호화됨 - ;
    상기 부호화기에 연결된 제어 유닛; 및
    상기 제어 유닛에 연결되고, 상기 제2 단말기로부터 하나 또는 그 이상의 제어 신호를 수신하는 제어 포트를 포함하는 멀티미디어 중개 디바이스.
  18. 제17항에 있어서,
    상기 영상 갱신 요청을 수신하기 전에, 상기 영상 비트스트림 데이터의 일부분이 상기 제2 비트스트림 데이터로 복사되는 멀티미디어 중개 디바이스.
  19. 제17항에 있어서,
    상기 영상 비트스트림 복호화기는 출력 프레임을 부호화하기 전에 프레임을 완전히 복호화하는 멀티미디어 중개 디바이스.
  20. 제17항에 있어서,
    상기 영상 갱신 요청이 상기 제2 단말기로부터 수신되는 멀티미디어 중개 디바이스.
  21. 제20항에 있어서,
    상기 제2 단말기는 화상 통신 단말기를 포함하는 멀티미디어 중개 디바이스.
  22. 제17항에 있어서,
    상기 영상 비트스트림 복호화기에 연결된, 미디어 독립의(media independent) 에러 검출기 - 상기 미디어 독립의 에러 검출기와 상기 영상 비트스트림 복호화기 중 적어도 하나는 상기 영상 비트스트림에서 에러를 검출함 - ; 및
    상기 비트스트림 구문 복호화기 또는 상기 영상 비트스트림 복호화기 중 적어도 하나가 상기 영상 비트스트림 데이터에서 하나 또는 그 이상의 에러를 검출할 때, 상기 영상 비트스트림 데이터의 소스로 제2 영상 갱신 요청을 발신하는 영상 갱신 요청 유닛을 더 포함하는 멀티미디어 중개 디바이스.
  23. 제17항에 있어서,
    상기 영상 비트스트림 복호화기에 앞서 제2 데이터 경로에 서버가 배치되고, 상기 서버는 부호화된 영상 비트스트림 데이터로부터 상기 영상 비트스트림 데이터의 일부를 송신하는 멀티미디어 중개 디바이스.
  24. 제23항에 있어서,
    상기 서버는 상기 부호화된 영상 비트스트림 데이터를 저장하는 멀티미디어 중개 디바이스.
  25. 제17항에 있어서,
    상기 제2 단말기는, 상기 제2 단말기에서 검출된 비트 에러에 응답하여 상기 영상 갱신 요청을 송신하는 멀티미디어 중개 디바이스.
  26. 제17항에 있어서,
    상기 영상 갱신 요청은 상기 멀티미디어 중개 디바이스의 제2 제어 모듈로부터 수신된 신호인 멀티미디어 중개 디바이스.
  27. 제17항에 있어서,
    상기 영상 갱신 요청은 H.245 영상고속갱신(VideoFastUpdate) 메시지인 멀티미디어 중개 디바이스.
  28. 제1 혼성 영상 코덱을 이용하여 부호화된 영상 비트스트림 데이터를 제2 혼성 영상 코덱을 이용하여 부호화된 제2 비트스트림 데이터로 변환하는 방법 - 상기 방법은 하나 또는 그 이상의 통신 네트워크를 통해 제1 단말기 및 제2 단말기에 연결된 멀티미디어 중개 디바이스를 이용하여 수행됨 - 에 있어서,
    상기 제2 단말기에 앞서 데이터 경로에 배치된 영상 비트스트림 복호화기에서 상기 영상 비트스트림 데이터를 복호화하는 단계;
    영상 갱신 요청을 수신하는 단계; 및
    영상 비트스트림 부호화기에서 복수의 매크로블록을 재부호화하는 단계를 포함하되,
    상기 영상 갱신 요청을 수신하면 상기 복수의 매크로블록의 각각이 인트라 부호화 매크로블록으로 재부호화되는 변환 방법.
  29. 제28항에 있어서,
    상기 영상 갱신 요청을 수신하기 전에, 상기 영상 비트스트림 데이터의 일부가 상기 제2 비트스트림 데이터로 복사되는 변환 방법.
  30. 제28항에 있어서,
    상기 영상 비트스트림 복호화기는 출력 프레임을 부호화하기 전에 프레임을 완전히 복호화하는 변환 방법.
  31. 제28항에 있어서,
    상기 영상 갱신 요청은 상기 제2 단말기로부터 수신되는 변환 방법.
  32. 제31항에 있어서,
    상기 영상 갱신 요청은 상기 제2 단말기에서 검출된 비트 에러에 응답하는 변환 방법.
  33. 제28항에 있어서,
    미리 부호화된 영상 비트스트림 데이터를 제공하기 위해 상기 영상 비트스트림 데이터의 일부분이 미리 부호화되는 변환 방법.
  34. 제28항에 있어서,
    추가적인 복수의 매크로블록을 재부호화하는 단계를 더 포함하되,
    상기 추가적인 복수의 매크로블록의 각각은 상기 복수의 매크로블록을 포함하는 프레임에 뒤이은 프레임의 인터 부호화(inter coded) 매크로블록으로서 재부호화되는 변환 방법.
  35. 제34항에 있어서,
    상기 추가적인 복수의 매크로블록 중 하나 또는 그 이상은 상기 복수의 매크로블록 중 하나 또는 그 이상과의 차이에 의하여 부호화되는 변환 방법.
  36. 제28항에 있어서,
    상기 부호화기는 상기 영상 비트스트림 데이터로부터 얻어진 정보를 재이용함으로써 재부호화의 일부를 수행하는 변환 방법.
  37. 제36항에 있어서,
    상기 영상 비트스트림 데이터로부터 얻어진 정보는 하나 또는 그 이상의 모션 벡터 또는 하나 또는 그 이상의 매크로블록 부호화 타입 중 적어도 하나를 포함하는 변환 방법.
  38. 제28항에 있어서,
    상기 영상 갱신 요청은 상기 멀티미디어 중개 디바이스의 제2 제어 모듈로부터 수신된 신호인 변환 방법.
  39. 제28항에 있어서,
    상기 영상 갱신 요청은 영상-고속-갱신(video-fast-update) 요청인 변환 방법.
KR1020067016356A 2004-01-21 2005-01-20 영상 통신 에러를 처리하는 방법 및 장치 KR100844224B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/762,829 US20040252761A1 (en) 2003-06-16 2004-01-21 Method and apparatus for handling video communication errors
US10/762,829 2004-01-21

Publications (2)

Publication Number Publication Date
KR20070001134A KR20070001134A (ko) 2007-01-03
KR100844224B1 true KR100844224B1 (ko) 2008-07-04

Family

ID=34807542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067016356A KR100844224B1 (ko) 2004-01-21 2005-01-20 영상 통신 에러를 처리하는 방법 및 장치

Country Status (6)

Country Link
US (2) US20040252761A1 (ko)
EP (1) EP1714488A1 (ko)
JP (1) JP4808161B2 (ko)
KR (1) KR100844224B1 (ko)
CN (1) CN1910926B (ko)
WO (1) WO2005071966A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796499B2 (en) * 2003-12-05 2010-09-14 Telefonaktiebolaget L M Ericsson (Publ) Method of and system for video fast update
US7636348B2 (en) * 2004-06-30 2009-12-22 Bettis Sonny R Distributed IP architecture for telecommunications system with video mail
US7826831B2 (en) * 2004-06-30 2010-11-02 Bettis Sonny R Video based interfaces for video message systems and services
US20070291776A1 (en) * 2005-07-28 2007-12-20 Dilithium Networks, Inc. Method and apparatus for billing for media during communications in channel-based media telecommunication protocols
KR101274322B1 (ko) * 2005-07-28 2013-06-13 온 모바일 글로벌 리미티드 채널 기반 미디어 통신 프로토콜에 의한 통신 중 쌍방향미디어를 제공하는 방법 및 장치
US20070291106A1 (en) * 2005-07-28 2007-12-20 Dilithium Networks, Inc. Method and apparatus for providing interactive media during communication in channel-based media telecommunication protocols
US8614732B2 (en) * 2005-08-24 2013-12-24 Cisco Technology, Inc. System and method for performing distributed multipoint video conferencing
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US7944862B2 (en) * 2005-11-09 2011-05-17 Onmobile Global Limited Accelerated session establishment in a multimedia gateway
US20070147314A1 (en) * 2005-12-22 2007-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Network processing node and method for manipulating packets
US20070177606A1 (en) * 2006-01-13 2007-08-02 Dilithium Networks Pty Ltd. Multimedia streaming and gaming architecture and services
JP4916726B2 (ja) * 2006-01-24 2012-04-18 株式会社日立国際電気 カメラ装置
US8427956B1 (en) 2006-03-06 2013-04-23 Cisco Technology, Inc. Facilitating packet flow in a communication network implementing load balancing and security operations
US7907594B2 (en) * 2006-06-01 2011-03-15 Cisco Technology, Inc. Marking keyframes for a communication session
CN101578842B (zh) * 2007-01-10 2014-03-05 高通股份有限公司 用于多媒体电话的依赖于内容和链路的编码自适应
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors
US8560729B2 (en) * 2007-02-09 2013-10-15 Onmobile Global Limited Method and apparatus for the adaptation of multimedia content in telecommunications networks
WO2008098247A2 (en) * 2007-02-09 2008-08-14 Dilithium Network Pty Ltd. Method and apparatus for a multimedia value added service delivery system
KR101487771B1 (ko) * 2007-08-10 2015-01-30 삼성전자주식회사 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치
CN101394568B (zh) * 2007-09-20 2011-06-15 华为技术有限公司 视频数据的更新方法及其装置和系统
EP2206299B1 (en) * 2007-10-23 2016-05-04 North Star Innovations Inc. Method, integrated circuit, and communication unit for scheduling a processing of packet stream channels
US8797850B2 (en) * 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
WO2010030569A2 (en) * 2008-09-09 2010-03-18 Dilithium Networks, Inc. Method and apparatus for transmitting video
JP5516408B2 (ja) * 2008-09-26 2014-06-11 日本電気株式会社 ゲートウェイ装置と方法とシステム
JP4775432B2 (ja) * 2008-12-11 2011-09-21 ソニー株式会社 送信装置、受信装置、通信システム、通信方法、及びプログラム
US8838824B2 (en) * 2009-03-16 2014-09-16 Onmobile Global Limited Method and apparatus for delivery of adapted media
US8189492B2 (en) * 2009-03-18 2012-05-29 Microsoft Corporation Error recovery in an audio-video multipoint control component
CN101990092B (zh) * 2009-07-29 2015-04-01 中兴通讯股份有限公司 无线视频通讯系统中差错控制的方法、装置及系统
CN101742437B (zh) * 2009-12-11 2013-08-07 中兴通讯股份有限公司 移动视频的通信方法及服务端、服务器
US9025672B2 (en) * 2011-05-04 2015-05-05 Cavium, Inc. On-demand intra-refresh for end-to end coded video transmission systems
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
US9185152B2 (en) * 2011-08-25 2015-11-10 Ustream, Inc. Bidirectional communication on live multimedia broadcasts
CN102938833B (zh) * 2012-07-25 2016-10-12 苏州科达科技股份有限公司 视频会议中的方法及装置、多点控制设备及视频会议系统
US9825733B1 (en) 2014-11-07 2017-11-21 Speedy Packets, Inc. Packet coding based network communication
US9992126B1 (en) 2014-11-07 2018-06-05 Speedy Packets, Inc. Packet coding based network communication
US10999012B2 (en) 2014-11-07 2021-05-04 Strong Force Iot Portfolio 2016, Llc Packet coding based network communication
US10320526B1 (en) 2014-11-07 2019-06-11 Strong Force Iot Portfolio 2016, Llc Packet coding based network communication
US9992088B1 (en) 2014-11-07 2018-06-05 Speedy Packets, Inc. Packet coding based network communication
US10530700B2 (en) 2015-07-07 2020-01-07 Strong Force Iot Portfolio 2016, Llc Message reordering timers
CN104539593B (zh) * 2014-12-18 2017-06-23 中国人民解放军信息工程大学 H.245消息解析方法
US9232190B1 (en) * 2015-04-01 2016-01-05 Ringcentral, Inc. Systems and methods for managing multimedia conference calls
US10866584B2 (en) 2016-05-09 2020-12-15 Strong Force Iot Portfolio 2016, Llc Methods and systems for data processing in an industrial internet of things data collection environment with large data sets
CN111818338B (zh) * 2020-07-23 2022-10-11 腾讯音乐娱乐科技（深圳）有限公司 一种异常显示检测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980018215A (ko) * 1996-08-19 1998-06-05 윤종용 비디오 데이터 처리방법 및 장치
KR0176635B1 (ko) * 1995-05-10 1999-05-01 김광호 비트스트림의 병직렬 변환회로
KR20020057525A (ko) * 2001-01-05 2002-07-11 엘지전자 주식회사 영상 변환 부호화 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
GB2353624A (en) * 1999-08-24 2001-02-28 Kenneth Woods Electronic book with interchangeable cartridges
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
JP4495821B2 (ja) * 2000-03-06 2010-07-07 株式会社東芝 データ伝送システムとその通信装置
JP2004222009A (ja) * 2003-01-16 2004-08-05 Nec Corp 異種網接続ゲートウェイおよび異種網間通信課金システム
US7796499B2 (en) * 2003-12-05 2010-09-14 Telefonaktiebolaget L M Ericsson (Publ) Method of and system for video fast update

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0176635B1 (ko) * 1995-05-10 1999-05-01 김광호 비트스트림의 병직렬 변환회로
KR19980018215A (ko) * 1996-08-19 1998-06-05 윤종용 비디오 데이터 처리방법 및 장치
KR20020057525A (ko) * 2001-01-05 2002-07-11 엘지전자 주식회사 영상 변환 부호화 장치

Also Published As

Publication number Publication date
EP1714488A1 (en) 2006-10-25
KR20070001134A (ko) 2007-01-03
CN1910926B (zh) 2012-02-08
CN1910926A (zh) 2007-02-07
US20040252761A1 (en) 2004-12-16
US20090097563A1 (en) 2009-04-16
WO2005071966A1 (en) 2005-08-04
JP2007525885A (ja) 2007-09-06
JP4808161B2 (ja) 2011-11-02

Similar Documents

Publication Publication Date Title
KR100844224B1 (ko) 영상 통신 에러를 처리하는 방법 및 장치
KR100495820B1 (ko) 비디오 코딩
JP5007012B2 (ja) ビデオ符号化方法
JP5463733B2 (ja) 動画像データの符号変換伝送システム及び符号伝送方法
US8144764B2 (en) Video coding
US6611561B1 (en) Video coding
JP4362259B2 (ja) ビデオ符号化方法
US20060285589A1 (en) Video coding
KR20030006881A (ko) 시스템 디코더 장치 및 패킷 데이터의 수정 방법
US20080212682A1 (en) Reduced resolution video transcoding with greatly reduced complexity
KR20050122281A (ko) 픽처 코딩 방법
US7792374B2 (en) Image processing apparatus and method with pseudo-coded reference data
US6526100B1 (en) Method for transmitting video images, a data transmission system and a multimedia terminal
US20050289626A1 (en) IP based interactive multimedia communication system
JP4252017B2 (ja) 符号化ストリーム中継装置、その方法及びプログラム
Li et al. Real-time streaming and robust streaming h. 264/avc video
KR101072626B1 (ko) 비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치
KR101082542B1 (ko) 분산 비디오 코딩을 위한 비트스트림의 재구성 방법 및 장치
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
Kapotas et al. Rate control of H. 264 encoded sequences by dropping frames in the compressed domain
Lee et al. Residual motion coding method for error resilient transcoding system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130523

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140515

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee