KR100716093B1 - 멀티미디어 통신 단말기 - Google Patents

멀티미디어 통신 단말기 Download PDF

Info

Publication number
KR100716093B1
KR100716093B1 KR20037000300A KR20037000300A KR100716093B1 KR 100716093 B1 KR100716093 B1 KR 100716093B1 KR 20037000300 A KR20037000300 A KR 20037000300A KR 20037000300 A KR20037000300 A KR 20037000300A KR 100716093 B1 KR100716093 B1 KR 100716093B1
Authority
KR
South Korea
Prior art keywords
error tolerance
information
user
request
terminal
Prior art date
Application number
KR20037000300A
Other languages
English (en)
Other versions
KR20030018044A (ko
Inventor
나까야유이찌로
Original Assignee
가부시키가이샤 히타치세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히타치세이사쿠쇼 filed Critical 가부시키가이샤 히타치세이사쿠쇼
Publication of KR20030018044A publication Critical patent/KR20030018044A/ko
Application granted granted Critical
Publication of KR100716093B1 publication Critical patent/KR100716093B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전송 오류가 있는 통신로를 이용하는 멀티미디어 통신 단말기에서, 통신로의 상황이나 이용자의 기호에 따른 오류 내성 제어를 가능하게 하는 멀티미디어 통신 단말기에 관한 것으로, 수신 단말기에 이용자의 오류 내성에 대한 요구를 직접 입력하는 수단을 설치하여, 이 정보를 송신 단말기로 전송하여 부호화 비트 스트림 오류 내성의 강도를 변경시킨다.
전송 오류, 부호화, 비트 스트림, 오류 내성, 수신 단말기, 송신 단말기

Description

멀티미디어 통신 단말기{MULTIMEDIA COMMUNICATION TERMINAL}
본 발명은 통신로의 전송 오류의 영향을 받는 멀티미디어 통신 시스템에 관한 것이다.
무선 휴대 단말기를 이용한 동화상 통신을 행하기 위한 환경이 궤도에 오르고 있다. 예전에는, 낮은 회선 용량(전송 비트 레이트), 높은 전송 오류율, 낮은 전지 용량(낮은 연산 능력과 등가)의 3항목의 기술적 제약 때문에, 이러한 통신 단말기의 개발은 곤란하였다. 그러나, IMT-2000 방식으로 대표되는 높은 비트 레이트 휴대 전화 시스템, MPEG-4로 대표되는 높은 정보 압축율·높은 오류 내성 화상 부호화 방식의 등장이나, 고성능 전지, 저소비 전력 프로세서의 개발에 의해, 상기 3항목의 기술적 제약은 극복되고 있다.
도 1에 국제 표준 MPEG-4에 준거하는 부호화기(100)의 구성예를 도시한다. MPEG-4는, 부호화 방식으로서, 블록 매칭과 DCT(이산 코사인 변환)을 조합한 하이브리드 부호화 방식(프레임간/프레임 내 적응 부호화 방식)을 채용하고 있다. 감산기(102)는 입력 화상 신호(현 프레임의 원화상 신호)(101)와 프레임간/프레임 내 부호화 전환 스위치(119)의 출력 화상 신호(113)(후술)와의 차를 계산하여, 오차 화상 신호(103)를 출력한다. 이 오차 화상 신호는, DCT 변환기(104)에 의해 DCT 계수로 변환된 후에 양자화기(105)에 의해 양자화되어, 양자화 DCT 계수(106)로 된다. 이 양자화 DCT 계수는 전송 정보로서 통신로로 출력됨과 동시에, 부호화기 내에서도 프레임간 예측 화상 신호를 합성하기 위해 사용된다.
다음으로 예측 화상 신호 합성의 수순을 설명한다. 예측 화상 신호 합성은 부호화기(100) 내, 일점쇄선으로 둘러싸 도시한 블록(107) 내에서 행해진다. 상술한 양자화 DCT 계수(106)는, 역 양자화기(108)와 역 DCT 변환기(109)를 거쳐 복호 오차 화상 신호(110)(수신측에서 재생되는 오차 화상 신호와 동일한 화상 신호)가 된다. 이것에, 가산기(111)에서 프레임간/프레임 내 부호화 전환 스위치(119)의 출력 화상 신호(113)(후술)가 가해져, 현 프레임의 복호 화상 신호(112)(수신측에서 재생되는 현 프레임의 복호 화상 신호와 동일한 화상 신호)를 얻는다. 이 화상 신호는 일단 프레임 메모리(114)에 저장되어, 1프레임분의 시간만큼 지연된다. 따라서, 현 시점에서는, 프레임 메모리(114)는 전 프레임의 복호 화상 신호(115)를 출력하고 있다. 전 프레임의 복호 화상 신호와 현 프레임의 입력 화상 신호(101)가 블록 매칭부(116)에 입력되어, 블록 매칭 처리가 행해진다. 블록 매칭에서는, 화상 신호를 복수의 블록으로 분할하고, 각 블록마다 현 프레임의 원화상 신호와 가장 비슷한 부분을 전 프레임의 복호 화상 신호로부터 추출함으로써, 현 프레임의 예측 화상 신호(117)가 합성된다. 이 때에, 각 블록이 전 프레임과 현 프레임 사이에서 얼마만큼 이동되었는지를 검출하는 처리(움직임 추정 처리)를 행할 필요가 있다. 움직임 추정 처리에 의해 검출된 각 블록마다의 움직임 벡터는, 움직임 벡터 정보(120)로서 수신측으로 전송된다. 수신측은, 이 움직임 벡터 정보와 전 프 레임의 복호 화상 신호로부터, 독자적으로 송신측에서 얻어지는 것과 동일한 예측 화상 신호를 합성할 수 있다. 예측 화상 신호(117)는, 「0」 신호(118)와 함께 프레임간/프레임 내 부호화 전환 스위치(119)에 입력된다. 이 스위치는, 양 입력 중 어느 하나를 선택함으로써, 프레임간 부호화와 프레임 내 부호화를 전환한다. 예측 화상 신호(117)가 선택된 경우(도 2는 이 경우를 도시하고 있음)에는, 프레임간 부호화가 행해진다. 한편, 「0」 신호가 선택된 경우에는, 입력 화상 신호가 그 상태 그대로 DCT 부호화되어 통신로로 출력되기 때문에, 프레임 내 부호화가 행해지게 된다. 수신측이 정확하게 복호화 화상 신호를 얻기 위해서는, 송신측에서 프레임간 부호화가 행해졌는지 프레임 내 부호화가 행해졌는지를 알 필요가 있다. 따라서, 프레임간/프레임 내 식별 플래그(121)가 통신로로 출력된다. 최종적인 H.263 부호화 비트 스트림(123)은 다중화기(122)에서 양자화 DCT 계수, 움직임 벡터, 프레임 내/프레임간 식별 플래그의 정보를 다중화함으로써 얻어진다.
도 2에, 도 1의 부호화기(100)가 출력한 부호화 비트 스트림(123)을 수신하는 복호화기(200)의 구성예를 도시한다. 수신한 MPEG-4 비트 스트림(217)은, 분리기(216)에서 양자화 DCT 계수(201), 움직임 벡터 정보(202), 프레임 내/프레임간 식별 플래그(203)로 분리된다. 양자화 DCT 계수(201)는 역 양자화기(204)와 역 DCT 변환기(205)를 거쳐 복호화된 오차 화상 신호(206)가 된다. 이 오차 화상 신호는 가산기(207)에 의해 프레임간/프레임 내 부호화 전환 스위치(214)의 출력 화상 신호(215)가 가산되어, 복호화 화상 신호(208)로서 출력된다. 프레임간/프레임 내 부호화 전환 스위치(214)는 프레임간/프레임 내 부호화 식별 플래그(203)에 따 라, 출력을 전환한다. 프레임간 부호화를 행하는 경우에 이용하는 예측 화상 신호(212)는, 예측 화상 신호 합성부(211)에서 합성된다. 여기서는, 프레임 메모리(209)에 저장되어 있는 전 프레임의 복호 화상 신호(210)에 대하여, 수신한 움직임 벡터 정보(202)에 따라 블록마다 위치를 이동시키는 처리가 행해진다. 한편 프레임 내 부호화의 경우, 프레임간/프레임 내 부호화 전환 스위치는 「0」 신호(213)를 그 상태 그대로 출력한다.
MPEG-4가 부호화하는 화상 신호는, 휘도 정보를 갖는 1장의 휘도 플레인(Y 플레인)과 색 정보(색차 정보라고도 함)를 갖는 2장의 색차 플레인(U 플레인과 V 플레인)으로 구성되어 있다. 이 때, 화상 신호가 수평 방향으로 2m 화소, 수직 방향으로 2n 화소를 갖고 있는 경우에(m과 n은 양의 정수로 함), Y 플레인은 수평 방향으로 2m, 수직 방향으로 2n개의 화소를 가지며, U 및 V 플레인은 수평 방향으로 m, 수직 방향으로 n개의 화소를 갖는 것을 특징으로 한다. 이와 같이 색차 플레인의 해상도가 낮은 것은, 인간의 시각이 색차의 공간적인 변화에 비교적 둔감하다고 하는 특징을 갖기 때문이다. 이러한 화상 신호를 입력으로 하여, MPEG-4에서는 매크로 블록으로 불리는 블록을 단위로 하여 부호화·복호화의 처리가 행해진다.
도 3에 매크로 블록의 구성을 도시한다. 매크로 블록은 Y 블록, U 블록, V 블록의 3개의 블록으로 구성되며, 휘도값 정보를 갖는 Y 블록(301)의 크기는 16×16 화소, 색차 정보를 갖는 U 블록(302) 및 V 블록(303)의 크기는 8×8 화소로 되어 있다. MPEG-4에서는, 프레임 내 부호화와 프레임간 부호화의 전환은, 이 매크로 블록을 단위로 하여 행해진다. 또한, 블록 매칭의 처리에서, 매크로 블록마 다 움직임 벡터를 전송하는 것이 가능하게 되어 있다.
무선 통신에서는, 통신로에서의 전송 오류의 발생을 방지하는 것은 거의 불가능하다. 한편, 정보 압축 기술에 의해 압축된 부호화 데이터는, 비트 오류(데이터 중의 비트의 반전)에 약하고, 수비트의 반전이 복호화기의 폭주(재생 처리가 정지된 상태, 이용자로부터의 입력 정보를 접수하지 않는 상태 등)나, 재생 정보의 현저한 열화를 발생시키는 성질을 갖고 있다. 일반적으로, 데이터 통신에서는, 리드 솔로몬 부호 등의 오류 정정 부호나, 전송 오류가 발생한 패킷을 송신측이 재전송하는 재전송형 프로토콜을 활용하여, 전송되는 데이터에 오류가 발생하지 않거나, 발생한다고 해도 매우 낮은 비트 오류율(데이터에 포함되는 비트가 반전되어 있는 확률)이 달성되어 있는 것을 가정하는 경우가 많다. 그러나, 오류 정정 부호나 재전송형 프로토콜의 사용은, 전송되는 데이터의 실질적인 비트 레이트의 저하와 전송 지연의 증가를 초래하여, 저레이트의 리얼타임 통신에서는 반드시 적절한 해결책이라고는 할 수 없다.
따라서, 무선 환경에서, 저비트 레이트 화상 통신을 행하는 경우에는, 수신측에서 얻어지는 부호화 비트 스트림에 비트 오류가 발생하고 있다고 하는 가정 하에서, 이 비트 스트림을 복호화함으로써 얻어지는 재생 화상의 열화를 최소한으로 하기 위한 기술(오류 내성 부호화 기술)이 필요로 된다. 오류 내성 부호화 기술의 가장 간단한 예는, 프레임 내 부호화를 행하는 매크로 블록의 비율을 올리는 것이다. 프레임간 부호화를 행한 경우, 전 프레임의 재생 화상은 현 프레임의 복호화에 사용되기 때문에, 임의의 프레임에서 발생한 열화가, 그 상태 그대로 이후의 프 레임에 남는 현상이 발생한다. 이러한 현상의 발생을 방지하기 위해서는, 프레임 내 부호화를 행하는 매크로 블록의 비율을 올려, 과거의 프레임에서 발생한 열화가 이후의 프레임에 계승되기 어려운 상태를 만들면 된다. 그러나, 일반적으로 프레임 내 부호화를 행하는 매크로 블록의 비율을 올리는 것은 부호화 성능(비트 레이트를 고정한 경우의 화질)의 저하로 이어진다. 즉, 상술한 방법을 이용하여 부호화 비트 스트림의 오류 내성을 향상시킨 경우에는, 반대로 전송 오류가 발생하지 않았을 때의 재생 화상의 품질은 열화된다.
국제 표준 MPEG-4에 규정되어 있는 화상 부호화 방식에서는, 또한 이하의 3종류의 오류 내성 부호화 기술이 채용되어 있다.
(1) 동기 회복 마크
MPEG-4의 부호화 비트 스트림에서는, 특수한 부호어가 발생한 경우를 제외하고 연속하여 16개 이상의 0이 배열되지 않도록 되어 있다. 이 특수한 부호어란, VOP(Video Object Plane---MPEG-4에서는 동화상의 프레임을 이와 같이 칭함)의 선두를 나타내는 VOP 스타트 코드와, 동기 회복 마크 2종류이다. 이 중에서 동기 회복 마크는, 부호화 비트 스트림의 오류 내성을 향상시키기 위해, 송신측의 부호화 장치에 의해 의도적으로 전송되는 부호어이다. 동기 회복 마크는, VOP의 최초의 매크로 블록을 제외한 모든 매크로 블록에 관한 부호화 정보의 직전에 입력되도록 할 수 있다. 복호화 장치가 부호화 비트 스트림에 오류가 있는 것을 발견한 경우에는, 다음 동기 회복 마크를 찾아, 그 직후의 데이터로부터 복호화를 개시하면, 적어도 동기 회복 마크 이후의 데이터를 정확하게 복호화할 수 있다. 송신측의 부 호화 장치는, 독자의 판단에 의해 부호화 비트 스트림 내에 동기 회복 마크를 입력하는 빈도를 조정할 수 있도록 되어 있다. 동기 회복 마크를 입력하는 빈도를 올리면 당연히 오류 내성은 향상된다. 그러나, 역효과로서, 중복된 정보의 전송에 수반하여 부호화 성능이 저하되기 때문에, 전송 오류가 없는 경우의 화질은 열화된다.
(2) 데이터 분할
전송 오류의 영향으로, 매크로 블록의 움직임 벡터가 잘못하여 복호화된 경우에는, DCT 계수에 관한 정보에 오류가 발생한 경우와 비교하여, 재생 화상에서 보다 큰 열화가 발생하는 것이 알려져 있다. 이 점에 주목하여, 2개의 동기 회복 마크 사이에 끼워져 있는 복수의 매크로 블록에 대하여, 중요한 정보만 먼저 통합하여 전송하는 것이 데이터 분할의 방식이다. 이것은, 동기 회복 마크 직후에 전송되는 정보쪽이, 직전에 전송되는 정보보다 전송 오류의 영향을 받을 확률이 낮기 때문이다.
데이터 분할에서 우선적으로 전송되는 것은, 매크로 블록의 속성 정보, 매크로 블록의 움직임 벡터(프레임간 부호화인 경우에만), 매크로 블록의 직류 DCT 계수(프레임 내 부호화인 경우에만) 3종류의 정보이다. 예를 들면 5개의 프레임간 부호화를 행하는 매크로 블록에 관한 정보가 동기 회복 마크 사이에 끼워져 있는 상태에 있을 때에는, 우선 5개의 매크로 블록에 관한 속성 정보가 전송된 후에 5개의 움직임 벡터가 전송되며, 마지막으로 5개의 매크로 블록에 관한 DCT 계수가 통합되어 전송된다. 이 데이터 분할에 의한 오류 내성의 향상은, 동기 회복 마크의 전송 빈도가 높은 경우쪽이 현저하다. 따라서, 오류 내성을 향상시키고자 한 경우에는, 부호화 성능이 저하되는 현상이 발생한다.
(3) 역 복호 가능형 가변 길이 부호
MPEG-4에서는, 발생하는 정보에 따라 부호 길이가 변화되는 가변 길이 부호가 사용되고 있다. 그러나, 일반적으로 가변 길이 부호에 의해 부호화된 데이터는, 한 방향으로 밖에 복호화할 수 없다. 즉, 부호화 데이터의 선두를 정확하게 발견한 후에, 먼저 전송된 비트로부터 순서대로 복호화 처리를 진행시킬 필요가 있다. 그러나, 부호어의 설계에서 특수한 조작을 행하면, 역방향으로부터도 복호화할 수 있는 가변 길이 부호(역 복호 가능형 가변 길이 부호)를 설계할 수 있다. 역 복호 가능형 가변 길이 부호를 사용함으로써, 전송 오류의 영향으로 순방향으로부터의 복호화가 곤란한 비트 스트림에 대해서도, 최후미로부터 역방향으로 복호화를 행하는 것이 가능해져, 소실되는 정보를 최소한으로 할 수 있다.
MPEG-4에서는, DCT 계수의 부호화에서, 역 복호 가능형 가변 길이 부호를 사용할 수 있도록 되어 있다. 또한, 역 복호 가능형 가변 길이 부호를 사용한 경우에도, 데이터의 선두(최후미)를 정확하게 발견해야만 하는 점에는 변함이 없다. 또한, 움직임 벡터나 매크로 블록의 속성에 관한 정보의 부호화에는 역 복호 가능형 가변 길이 부호는 사용되지 않는다. 따라서, 오류 내성을 향상시키기 위해서는, 동기 회복 마크의 전송 빈도를 올릴 필요가 있으며, 이것은 부호화 성능의 저하를 초래한다.
이들 오류 내성 기술을 이용함으로써, 비트 오류가 발생하고 있는 부호화 비 트 스트림을 복호화한 경우의 화질 열화를 비약적으로 저감하는 것이 가능해진다. 그러나, 이들 오류 내성 기술은, 오류 내성을 향상시키면 부호화 성능이 저하되는 공통의 성질을 갖고 있는 점에 주의할 필요가 있다. 즉, 필요 이상으로 오류 내성을 향상시키는 것은, 반대로 수신측의 재생 화상의 품질을 저하시키는 결과로 이어지게 된다. 또한, 비트 오류에 의해 발생하는 품질 열화(원화상에 없는 패턴의 발생 등)와, 부호화 성능의 저하에 의해 발생하는 품질 열화(전체적인 흐려짐의 발생 등)는, 일반적으로 성질이 다른 것이다. 이들 열화에 의해 재생 화상의 관찰자가 느끼는 방해의 상대적 강도에는 개인차가 있으며, 비트 오류율의 조건이 동일하더라도 관찰자의 기호에 따라서 최적의 오류 내성의 강도가 다른 경우가 많다.
<발명의 개시>
부호화 비트 스트림의 오류 내성과 부호화 성능은 트레이드 오프의 관계에 있다. 본 발명의 목적은, 이용자의 기호나 통신로의 상태 등의 조건에 따라 최적의 오류 내성의 강도를 선택하는 멀티미디어 통신 시스템을 구축하는 것에 있다.
이용자의 기호에 따라 이용자 자신이 자기가 사용하고 있는 단말기를 조작하거나, 혹은, 통신로의 상태 등의 조건에 따라, 송신되는 부호화 비트 스트림에 부여하는 오류 내성의 최적의 강도를 선택한다.
도 1은 MPEG-4의 화상 부호화기의 구성예를 도시한 도면.
도 2는 MPEG-4의 화상 신호 복호화기의 구성예를 도시한 도면.
도 3은 MPEG-4에서의 매크로 블록의 구성을 도시한 도면.
도 4A∼도 4C는 본 발명에서 취급하는 시스템의 구성예를 도시한 도면.
도 5는 이용자의 요구에 따라 송신측이 송신하는 비트 스트림의 오류 내성을 변화시키는 수신 단말기의 구성예를 도시한 도면.
도 6은 전송 오류율 등의 통신로의 상태를 관측하여, 자동적으로 송신측으로 송신되는 비트 스트림의 오류 내성 강도를 조정하는 수신 단말기의 구성예를 도시한 도면.
도 7은 도 6에 도시한 단말기의 오류 내성 변경 요구 정보 발생부에서의 처리의 흐름도의 예를 도시한 도면.
도 8은 도 5 및 6에 도시한 수신 단말기에 대응하는 송신 단말기의 구성예를 도시한 도면.
도 9A는 도 4A에 도시한 시스템의 구성예로, 실시간으로 화상 신호의 부호화를 행하는 경우의 도 8의 화상 부호화 비트 스트림 발생부의 구성예를 도시한 도면, 도 9B는 도 4B에 도시한 시스템의 구성예로, 실시간으로 화상 신호의 트랜스코딩을 행하는 경우의 도 8의 화상 부호화 비트 스트림 발생부의 구성예를 도시한 도면, 도 9C는 도 4C에 도시한 시스템의 구성예로, 축적된 비트 스트림을 그 상태 그대로 전송하는 경우의 도 8의 화상 부호화 비트 스트림 발생부의 구성예를 도시한 도면.
도 10은 도 5 및 6의 수신 단말기를 범용 프로세서를 이용하여 실장한 경우의 구성예를 도시한 도면.
도 11은 도 8의 송신 단말기를, 범용 프로세서를 이용하여 실장한 경우의 구 성예를 도시한 도면.
도 12는 도 10의 범용 프로세서를 이용하여 실장한 수신 단말기에서의 처리의 예를 도시한 흐름도.
도 13은 도 11의 범용 프로세서를 이용하여 실장한 송신 단말기에서의 처리의 예를 도시한 흐름도.
<발명을 실시하기 위한 최량의 형태>
본 발명에서 취급하는 통신 시스템의 형태를 도 4A∼도 4C에 도시한다. 도 4A에 도시한 송신 단말기(401)에서는 카메라(402)에 의한 화상 신호 입력과 화상 부호화 장치(403)에 의한 실시간의 화상 부호화가 행해지고, 여기서 부호화된 비트 스트림이 송신 장치(404)를 이용하여 송신되며, 수신측의 단말기(405)가 이것을 재생하는 시스템이다. 도 4B에 도시한 송신 단말기(406)에서는 데이터로서 축적 매체(407)에 기록되어 있는 것은 높은 비트 레이트로 부호화된 비트 스트림이고, 이 데이터에 대하여 트랜스코더(408)에서 실시간 트랜스코딩(비트 레이트의 변환)을 행하여, 통신로를 이용한 전송이 가능해지는 레벨까지 비트 레이트를 낮게 하는 처리가 행해진다. 실시간의 트랜스코딩을 행함으로써, 그 때의 상황에 따른 비트 스트림을 생성하는 것이 가능해진다. 이와 같이 하여 생성된 비트 스트림은, 송신 장치(409)를 이용하여 송신되며, 수신측의 단말기(410)가 이것을 수신 재생한다. 이에 대하여 도 4C에 도시한 송신 단말기(411)에서는, 전송용의 부호화 비트 스트림은 축적 매체(412)에 준비되어 있으며, 선택된 비트 스트림이 그 상태 그대로 송신 장치(413)를 이용하여 송신되며, 수신측의 단말기(414)가 이것을 수신한다.
전송되는 정보에 화상 정보와 음향 정보가 포함되는 것으로 가정한 경우, 전송되는 비트 스트림의 오류 내성을 변화시키는 방법의 예로서는, 이하의 항목을 생각할 수 있다.
① 프레임 내 부호화를 행하는 매크로 블록의 발생 빈도
빈도를 올린 경우에는 오류 내성은 향상되지만, 부호화 성능은 저하된다.
② 동기 회복 마크의 발생 빈도
빈도를 올린 경우에는 오류 내성은 향상되지만, 부호화 성능은 저하된다.
③ 음향 정보의 전송 정지
음향 정보의 전송을 정지한 경우에는, 그 만큼 화상 정보의 오류 내성을 강화할 수 있다. 그러나, 이용자는 음향 정보가 전송되지 않은 것에 의한 방해를 느낀다.
④ 화상 정보의 전송 정지
화상 정보의 전송을 정지한 경우에는, 그 만큼 음향 정보의 오류 내성을 강화할 수 있다. 그러나, 이용자는 화상 정보가 전송되지 않은 것에 의한 방해를 느낀다.
이들 항목을 조합한 오류 내성 제어의 예를 이하에 나타낸다.
제1 단계
·프레임 내 부호화를 행하는 매크로 블록은 1VOP당 최저 2개로 한다.
·직전의 동기 회복 마크로부터 세어 480비트를 초과한 직후의 매크로 블록 경계에 다음의 동기 회복 마크를 전송한다.
·화상과 음향의 양 정보를 전송한다.
제2 단계
·프레임 내 부호화를 행하는 매크로 블록은 1VOP당 최저 2개로 한다.
·직전의 동기 회복 마크로부터 세어 640비트를 초과한 직후의 매크로 블록 경계에 다음의 동기 회복 마크를 전송한다.
·화상과 음향의 양 정보를 전송한다.
제3 단계
·프레임 내 부호화를 행하는 매크로 블록은 1VOP당 최저 4개로 한다.
·직전의 동기 회복 마크로부터 세어 640비트를 초과한 직후의 매크로 블록 경계에 다음의 동기 회복 마크를 전송한다.
·화상과 음향의 양 정보를 전송한다.
제4 단계
·프레임 내 부호화를 행하는 매크로 블록은 1VOP당 최저 4개로 한다.
·직전의 동기 회복 마크로부터 세어 640비트를 초과한 직후의 매크로 블록 경계에 다음의 동기 회복 마크를 전송한다.
·화상 정보만 전송한다.
제5 단계
·음향 정보만 전송한다.
이 예에서는, 제1 단계의 오류 내성이 가장 낮고, 제5 단계에 이를 때까지, 번호가 증가됨에 따라 오류 내성이 높아진다. 그러나, 전송로에서 오류가 발생하 지 않은 경우의 재생 정보의 품질은, 반대로 단계에 관한 번호가 증가됨에 따라 낮아진다.
또한, 이용자에 의한 오류 내성에 관한 인식에는 다양한 형태가 있을 수 있다. 예를 들면, 동일한 재생 화상을 관찰한 경우에도, 이용자에 따라서는, 화상의 흐트러짐이 상대적으로 많고 또한 동화상의 프레임 레이트가 상대적으로 높은 상태로 인식하는 경우와, 화상의 흐트러짐이 상대적으로 적고 또한 동화상의 프레임 레이트가 상대적으로 낮은 상태로 인식하는 경우가 있다. 본 발명에 따른 오류 내성에 관한 요구는 이러한 인식의 개인차에 대응하는 것도 필요하다.
도 5에 이용자의 요구에 따라 송신측이 송신하는 비트 스트림의 오류 내성을 변화시키는 수신 단말기(500)의 구성예를 도시한다. 이 단말기는, 동화상 정보와 음향 정보를 부호화한 비트 스트림을 수신·재생하는 기능을 갖고 있다. 통신로로부터의 수신 신호(515)는 통신로 복호화기(514)를 거쳐 분리부(513)에 공급되어, 화상 부호화 비트 스트림, 음향 부호화 비트 스트림으로 분리된다. 화상 부호화 비트 스트림은 화상 신호 복호화기(509)에서 복호화된다. 이 디지털 복호 화상 신호는, 디지털/아날로그 변환기(508)를 거쳐 디스플레이(507)에 의해 표시된다. 마찬가지로 음성 부호화 비트 스트림은 음향 복호화기(512)에서 복호화되어, 디지털화된 복호 음성으로 된 후에 디지털/아날로그 변환기(511)를 거쳐 스피커(510)로 출력된다. 한편, 이용자는 오류 내성에 관한 이용자의 요구(501)를 입력하고, 이 입력에 따라 오류 내성 변경 요구 정보 발생부(502)에서 발생한 오류 내성 변경 요구 정보(516)가 다중화부(504) 및 통신로 부호화 회로(505)를 거쳐 송신 정보(506) 로서 송신측으로 전송된다. 여기서의 이용자의 요구(501)는, 상대적인 것이어도(오류 내성을 현상보다 일 단계 향상/저하시켜도), 절대적인 것이어도(예를 들면, 음향만 전송 등의 오류 내성의 단계를 직접 지정해도) 된다. 또한, 이 수신 단말기가 그 외에 송신하는 정보(503)가 있는 경우(예를 들면, 이 단말기가 양 방향 통신 단말기로, 화상과 음향 정보를 송신하는 경우 등)에는, 이 정보를 오류 내성 변경 요구 정보(516)로 다중화하여 전송하면 된다. 이 단말기와 같이, 이용자의 요구에 따라 직접 송신측으로부터 송신되는 비트 스트림의 오류 내성을 조정하는 것이 가능해지면, 이용자 개인의 기호에 맞는 최적의 재생 정보를 얻는 것이 가능해진다. 또한, 참조 부호 502에서 발생되는 오류 내성 변경 요구 정보(516)는, 예를 들면 2비트의 정보로, 「00」이면 「변경 요구 없음」, 「01」이면 「오류 내성을 올릴 것을 요구」, 「10」이면 「오류 내성을 내릴 것을 요구」를 의미하도록 정의하면 된다. 또한, 오류 내성의 레벨을 절대적인 수치로 지정하는 경우에는, 더욱 비트수를 증가시켜 대응하면 된다. 예를 들면, 오류 내성 변경 요구 신호를 3비트로 하여, 「000」을 「변경 요구 없음」으로 정의하면, 7단계의 오류 내성 레벨을 요구할 수 있다.
도 5의 단말기를 이용하여, 단말기의 이용자가 오류 내성의 변경을 요구할 때의 사용자 인터페이스에는 다양한 방법이 생각된다. 예를 들면, 오류 내성을 올릴 것을 요구하는 버튼과, 반대로 내릴 것을 요구하는 버튼을 독립적으로 설치해도 되고, 기존의 전화 번호 입력용의 버튼을 이용하여, 특정한 번호 입력을 행하는 것으로 해도 된다. 또한, 「모드 버튼」 또는 「메뉴 버튼」을 준비하여, 특정한 횟 수만큼 이 버튼을 누르면 단말기가 오류 내성 변경 요구의 입력을 접수하는 상태로 되며, 예를 들면 「0」의 버튼을 누르면 오류 내성을 올릴 것을 요구하고, 「1」을 누르면 그 반대가 되도록 각각의 버튼이 갖는 의미를 정의해도 된다.
도 6은, 전송 오류율 등의 통신로의 상태를 관측하고, 자동적으로 송신측으로부터 송신되는 비트 스트림의 오류 내성 강도를 조정하는 수신 단말기(600)의 구성예이다. 도 5와 동일한 구성 요소에는, 동일한 참조 번호가 부여되어 있다. 이 단말기의 통신로 복호화부(604)는, 통신로를 거쳐 수신한 비트 스트림에서의 비트 오류의 발생 상황에 관한 정보(603)가 출력된다. 이와 같이, 비트 오류의 발생 상황을 조사하는 것은, 통신로 부호화에서 사용되고 있는 오류 검출 또는 오류 정정 부호의 기능을 이용하여 행할 수 있다. 이 비트 오류의 발생 상황에 관한 정보는 오류 내성 변경 요구 정보 발생부(602)에 입력되며, 비트 오류의 발생 상황에 따라, 송신측으로 송신하는 오류 내성 변경 요구 정보(605)를 변경한다.
이 오류 내성 변경 요구 정보 발생부(602)에서의 처리의 흐름도의 예를 도 7에 도시한다. 단계 701에서 처리가 개시되고, 계속해서 단계 702에서 수신한 비트 스트림에서의 비트 오류의 발생 상황에 관한 정보(도 6의 참조 부호 603)가 입력된다. 단계 703에서 비트 오류율이 10-6 이하이면, 단계 708에서 제1 단계의 오류 내성을 요구하는 신호가 송신된다. 이와 마찬가지로, 단계 704, 단계 705 및 단계 706에서 비트 오류율이 각각 10-5, 10-4 및 10-3 이하인 경우에는, 각각 단계 709, 단계 710 및 단계 711에서, 각각 제2 단계, 제3 단계 및 제4 단계의 오류 내성을 요 구하는 신호가 송신된다. 한편, 비트 오류율이 10-3을 초과하는 경우에는, 단계 707에서 제5 단계의 오류 내성을 요구하는 신호가 송신된다.
도 6의 단말기(600)에서는, 이용자의 설정(601)에 의해, 비트 오류율에 대응하여 요구되는 오류 내성의 단계를 변경하는 것이 가능하게 되어 있다. 이 기능을 활용함으로써, 이용자의 기호에 따라 예를 들면, 비트 오류율이 10-4 이하에서는 제1 단계의 오류 내성, 10-4를 초과하는 경우에는 제5 단계의 오류 내성을 요구하도록 단말기의 설정을 변경하는 것이 가능해진다. 이와 같이, 이용자가 독자적으로 오류 내성의 설정을 단말기에 입력할 때의 사용자 인터페이스에는 다양한 방법이 생각된다. 예를 들면, 「모드 버튼」 또는 「메뉴 버튼」을 준비하여, 특정한 횟수만큼 이 버튼을 누르면, 단말기가 오류 내성의 자동 변경에 관한 이용자의 설정을 접수하는 상태로 하는 방법 등이 생각된다. 이용자에 의한 설정의 변경은, 통신 개시 전에 행해도, 통신 중에 행해도 된다. 또한, 이 이용자 설정을 단말기에 내장되어 있는 플래시 메모리에 기록해 놓고, 이 단말기가 다른 단말기와의 통신을 행할 때는, 통신 개시 직후에 반드시 플래시 메모리에 기억된 이용자 설정을 상대 단말기로 송신하도록 하는 구성도 생각된다.
또한, 도 6에서 설명한 내성의 자동 변경 외에, 필요한 경우에는 도 5에서 설명한 수동에 의한 내성의 변경 요구를 선택적으로 사용할 수 있도록 할 수도 있다. 이 경우에는, 통상의 설정으로서는, 사용자가 사전에 내성 변경 요구 정보 발생부(602)에 희망하는 오류 내성을 설정하여 시스템이 자동적으로 대응하는 것으로 해 놓고, 이용자가 수동에 의한 내성의 변경을 행하고자 할 때, 통상의 설정을 해제하여 수동에 의한 내성의 변경을 하는 것으로 하면 된다. 이 설정을 위한 사용자 인터페이스도, 도 5와 마찬가지로, 예를 들면, 오류 내성을 올리는 것을 설정하는 버튼과, 반대로 내리는 것을 설정하는 버튼을 독립적으로 설치하고, 이 버튼을 소정의 약속에 따라 조작함으로써 통상의 설정을 해제하여 수동에 의한 내성의 변경을 가능하게 하는 것으로 해도 되고, 기존의 전화 번호 입력용의 버튼을 이용하여 특정한 번호 입력을 행하는 것으로 해도 된다. 또한, 「모드 버튼」 또는 「메뉴 버튼」을 준비하여, 특정한 횟수만큼 이 버튼을 누르면 단말기가 오류 내성 설정의 입력을 접수하는 상태로 되며, 예를 들면 「0」의 버튼을 누르면 오류 내성을 올리는 것을 설정하고, 「1」을 누르면 그 반대가 되도록 각각의 버튼이 갖는 의미를 정의해도 된다.
여기서, 이용자의 기호에 따라 오류 내성을 설정하는 것을 허용하면, 이용자가 자기의 설정을 잊어버려, 수신 상태에 관한 불만을 가질 가능성이 있을 수 있다. 이를 위해, 이용자의 기호에 따라 오류 내성을 설정했을 때는, 수신 단말기의 화면에 자기가 설정한 오류 내성을 나타내는 메시지를 표시하는 것이 바람직하다.
도 8에, 도 5 및 도 6의 단말기에 대응하는 송신 단말기(800)의 구성예를 도시한다. 수신측 단말기로부터 송신된 정보(810)는, 통신로 복호화부(809)와 분리부(808)를 거쳐 오류 내성 변경 요구 정보(806) 및 다른 수신 정보(807)로 분리된다. 오류 내성 변경 요구 정보는 화상 부호화 비트 스트림 발생부(801)와, 음향 부호화 비트 스트림 발생부(802)의 양자에 입력되며, 각각에서 요구에 따라 출력되 는 화상 부호화 비트 스트림(811) 및 음향 부호화 비트 스트림(812)의 오류 내성을 변경한다. 이들 비트 스트림은 다중화부(803)에서 다중화되며, 통신로 부호화부(804)를 거쳐 송신 정보(805)로서 통신로로 출력된다.
도 9A에, 도 4A에 도시한 송신 단말기(401)에서, 실시간으로 화상 신호의 부호화를 행하는 경우에 있어서의 도 8의 화상 부호화 비트 스트림 발생부(801)의 구성예를 도시한다. 도 8과 동일한 구성 요소에는, 동일한 참조 번호가 부여되어 있다. 카메라(901)로부터 입력된 화상 정보는 A/D 변환기(902)를 통해 화상 부호화기(903)에 입력된다. 이 화상 부호화기는 오류 내성 변경 요구 정보(806)에 따라, 출력되는 화상 부호화 비트 스트림(811)의 오류 내성을 변경한다.
도 9B에, 도 4B에 도시한 송신 단말기(406)에서, 실시간으로 화상 신호의 트랜스코딩을 행하는 경우에 있어서의 도 8의 화상 부호화 비트 스트림 발생부(801)의 구성예를 도시한다. 도 8과 동일한 구성 요소에는, 동일한 참조 번호가 부여되어 있다. 하드디스크 등의 축적 매체(1001)에 기록된 화상 정보는, 트랜스코더(1002)에 입력된다. 이 트랜스코더는 오류 내성 변경 요구 정보(806)에 따라, 출력되는 화상 부호화 비트 스트림(811)의 오류 내성을 변경한다.
도 9C에, 도 4C에 도시한 송신 단말기(411)에서, 축적된 비트 스트림을 그 상태 그대로 전송하는 경우에 있어서의 도 8의 화상 부호화 비트 스트림 발생부(801)의 구성예를 도시한다. 이 경우에는 축적 매체(1101)에, 각 단계의 오류 내성을 갖도록 한 부호화 비트 스트림이 사전에 축적되어 있다. 따라서, 오류 내성 변경 요구 정보(806)에 따라, 해당하는 부호화 비트 스트림을 선택하여 출력 하는 것만으로 처리를 실현할 수 있다.
본 발명은, 도 5, 도 6 및 도 8에 도시되어 있는 종래형의 전용 회로·전용 칩을 이용하는 단말기 외에, 범용 프로세서를 이용하는 소프트웨어 단말기에도 적용할 수 있다.
도 10에, 도 5 및 도 6에 도시한 수신 단말기를, 범용 프로세서를 이용하여 실장한 경우의 수신 단말기(1200)의 구성예를 도시한다. 수신 단말기(1200)에서는, 통신로로부터 수신된 정보(1215)는, 일단, 통신로 입력 버퍼(1214)에 저장된 후에 범용 프로세서(1208)에 판독된다. 범용 프로세서는 하드디스크나 플로피디스크 등에 의한 축적 디바이스(1205) 및 처리용 메모리(1204)를 활용하여 통신로 복호화, 분리, 화상 신호 복호화, 음향 신호 복호화 처리를 행한다. 이 결과 얻어진 복호화 화상 신호는 일단 화상 신호 출력 버퍼(1203)에 저장된 후에, D/A 컨버터(1202)를 거쳐 출력 화상 신호로서 디스플레이(1201)로 출력된다. 마찬가지로 음향 정보도 일단 음향 출력 버퍼(1211)에 저장된 후에 D/A 컨버터(1210)를 거쳐 출력 화상 신호로서 스피커(1209)로 출력된다. 한편, 이용자로부터의 입력(1212)은, 이용자 입력 버퍼(1213)를 거쳐 범용 프로세서(1208)로 처리되며, 다중화, 통신로 부호화를 거쳐 송신 정보(1207)로서 통신로로 송신된다. 이 이용자로부터의 입력(1212)은, 수신 단말기(1200)가 도 5에 도시한 수신 단말기(500)의 역할을 행하는 경우에는, 오류 내성에 관한 이용자에 의한 요구(501)에 상당한다. 한편, 수신 단말기(1200)가 도 6에 도시한 수신 단말기(600)의 역할을 행하는 경우에는, 이용자로부터의 입력(1212)은, 이용자에 의한 설정(601)에 상당한다.
도 12에, 도 10에 도시한 수신 단말기(1200)가, 도 5에 도시한 수신 단말기(500)의 역할을 행하는 경우의 흐름도의 예를 도시한다. 단계 1401에서 처리가 개시되고, 단계 1402에서 화상 신호를 1프레임 복호화하여 표시한다. 계속해서 단계 1403에서 이용자로부터 오류 내성을 올리라는 요구가 있는지의 여부를 조사하고, 요구가 있는 경우에는 단계 1405에서, 통신 상대인 송신 단말기에 대하여 오류 내성을 올릴 것을 요구하는 신호를 출력한다. 마찬가지로, 단계 1404에서는 이용자로부터 오류 내성을 내리라는 요구가 있는지의 여부가 조사되고, 요구가 있는 경우에는, 단계 1406에서 오류 내성을 내릴 것을 요구하는 신호를 출력한다. 그리고 단계 1402로 되돌아가, 다음 프레임이 복호화되어 표시되며, 마찬가지의 처리가 반복된다.
도 11에, 도 8의 송신 단말기를, 범용 프로세서를 이용하여 실장한 경우의 송신 단말기(1300)의 구성예를 도시한다. 도 11에서는, 도 9A의 예에 따라, 화상 정보가 카메라로부터 입력되어, 실시간으로 부호화되는 것을 가정하고 있다. 카메라(1301)로부터, A/D 변환기(1302)를 거쳐 입력된 입력 화상 신호는 화상 신호 입력 버퍼(1303)에 저장되며, 범용 프로세서(1308)는 여기로부터 정보를 판독하여 화상 부호화 처리를 행한다. 한편, 음향 정보에 관해서도, 마이크(1309), A/D 변환기(1310)를 거쳐 음향 신호 입력 버퍼(1311)에 입력되며, 화상 신호와 마찬가지로 범용 프로세서(1308)에서 부호화 처리가 가해진다. 범용 프로세서는, 축적 디바이스(1305) 및 처리용 메모리(1305)를 활용하여 부호화, 다중화, 통신로 부호화 처리를 행한다. 범용 프로세서가 출력하는 정보는 일단 통신로 출력 버퍼(1307)에 저 장된 후에 전송 정보(1307)로서 출력된다. 한편, 수신 단말기로부터 송신된 정보(1314)는 통신로 입력 버퍼(1313)를 거쳐 범용 프로세서(1308)에 의해 통신로 복호화, 분리 처리가 실시된다. 여기서 수신된 오류 내성 변경 요구 정보(도 8의 참조 부호 806이 대응)가 추출되며, 부호화 처리에서 부호화 비트 스트림에 부여되는 오류 내성의 강도가 변경된다. 또한, 송신 단말기(1300)가 도 9B나 도 9C에 도시한 실장예의 역할을 행하는 경우에는, 일점쇄선으로 둘러싸 도시한 화상·음향 입력부(1312)는 불필요하다.
도 13에, 도 11에 도시한 송신 단말기(1300)에서의 처리의 흐름도의 예를 도시한다. 단계 1501에서 처리가 개시되고, 단계 1502에서 오류 내성의 레벨 E가 초기값인 2로 설정된다. 다음으로 단계 1503에서 수신 단말기로부터 오류 내성을 올리라는 요구가 수신되었는지의 여부가 조사되고, 수신되어 있는 경우에는 단계 1506에서 E의 값에 1이 더해진다. 단, 이미 E의 값이 최대값인 5인 경우에는, E의 값은 변경되지 않는다. 오류 내성을 올리라는 요구가 수신되지 않은 경우에는, 단계 1504에서, 오류 내성을 내리라는 요구가 수신되었는지의 여부가 조사되고, 단계 1507에서 E의 값으로부터 1을 뺀다. 단, E의 값이 최소값인 1인 경우에는, E의 값은 변경되지 않는다. 단계 1504에서, 오류 내성을 내리라는 요구가 수신되지 않거나, 단계 1506 또는 단계 1507의 처리가 종료된 후에는, 단계 1505에서 오류 내성을 제E 단계로 세트한 후에 화상 신호 1프레임이 부호화되고, 그 부호화 정보는 통신로로 출력된다. 이 처리가 수료된 후, 다시 처리는 단계 1503으로 되돌아간다.
본 발명에 의해, 전송 오류가 발생하기 쉬운 통신로를 이용한 멀티미디어 통신을 행하는 경우에, 전송되는 부호화 비트 스트림에 부여되는 오류 내성의 강도를 통신로의 상황이나 이용자의 요구에 따라 제어하는 것이 가능해진다.

Claims (10)

  1. 송신 단말기가 소정의 오류 내성으로 전송하는 정보의 부호화된 비트 스트림을 수신하는 수단과, 수신한 상기 비트 스트림을 복호화 및 표시하는 수단을 갖는 멀티미디어 수신 단말기로서,
    이용자의 오류 내성에 관한 요구를 입력하는 수단과,
    상기 이용자의 오류 내성에 관한 요구를 상기 송신 단말기로 송신하는 수단
    을 포함하고,
    상기 이용자의 오류 내성에 관한 요구는, 상기 송신 단말기가 화상 정보 및 음향 정보를 전송하는 상태에 관한 것과, 음향 정보만을 전송하는 상태에 관한 것을 포함하는 것을 특징으로 하는 멀티미디어 수신 단말기.
  2. 송신 단말기가 소정의 오류 내성으로 전송하는 정보의 부호화된 비트 스트림을 수신하는 수단과, 수신한 상기 비트 스트림을 복호화 및 표시하는 수단을 갖는 멀티미디어 수신 단말기로서,
    이용자의 오류 내성에 관한 설정을 입력하는 수단과,
    상기 수신 단말기가 수신하는 정보의 오류 내성을 평가함과 함께 상기 설정과의 차이를 검출하는 수단과,
    상기 검출된 오류 내성의 차이에 따른 오류 내성에 관한 요구를 상기 송신 단말기로 송신하는 수단
    을 포함하고,
    상기 이용자의 오류 내성에 관한 요구는, 상기 송신 단말기가 화상 정보 및 음향 정보를 전송하는 상태에 관한 것과, 음향 정보만을 전송하는 상태에 관한 것을 포함하는 것을 특징으로 하는 멀티미디어 수신 단말기.
  3. 소정의 오류 내성으로 송신 단말기로부터 전송되는 정보의 부호화된 비트 스트림을 수신하는 수단과, 수신한 상기 비트 스트림을 복호화 및 표시하는 수단과, 이용자의 오류 내성에 관한 요구를 입력하는 수단, 및, 상기 이용자의 오류 내성에 관한 요구를 상기 송신 단말기로 송신하는 수단을 갖는 멀티미디어 수신 단말기에 대응하는 멀티미디어 송신 단말기로서,
    상기 멀티미디어 송신 단말기는 동일한 콘텐츠에 대하여 오류 내성이 상이한 복수의 부호화된 비트 스트림을 축적하는 서버를 포함함과 함께 상기 이용자의 오류 내성에 관한 요구에 따라 소정의 오류 내성을 갖는 비트 스트림을 선택하여 송출하는 것을 특징으로 하는 멀티미디어 송신 단말기.
  4. 삭제
  5. 제1항 또는 제2항에 있어서,
    상기 이용자의 오류 내성에 관한 요구가 상기 송신 단말기로 송신되었을 때는, 그 요구 내용에 관한 메시지가 수신 단말기의 화면에 표시되는 멀티미디어 수신 단말기.
  6. 제1항 또는 제2항에 있어서,
    상기 이용자에 의한 오류 내성에 관한 요구의 선택지(肢) 중에, 화상과 음성의 정보를 포함하는 비트 스트림을 송신할 것을 요구하는 선택지와, 음향만의 정보 또는 화상만의 정보를 포함하는 비트 스트림을 송신할 것을 요구하는 선택지가 포함되는 멀티미디어 수신 단말기.
  7. 제1항 또는 제2항에 있어서,
    상기 이용자에 의한 오류 내성에 관한 요구의 선택지 중에, 화상의 흐트러짐(disturbance)이 상대적으로 많고 또한 동화상의 프레임 레이트가 상대적으로 높은 상태와, 화상의 흐트러짐이 상대적으로 적고 또한 동화상의 프레임 레이트가 상대적으로 낮은 상태가 포함되는 멀티미디어 수신 단말기.
  8. 제3항에 있어서,
    상기 이용자의 오류 내성에 관한 요구는, 상기 송신 단말기가 화상 정보 및 음향 정보를 전송하는 상태에 관한 것과, 음향 정보만을 전송하는 상태에 관한 것을 포함하는 멀티미디어 송신 단말기.
  9. 제3항에 있어서,
    상기 이용자에 의한 오류 내성에 관한 요구의 선택지 중에, 화상과 음성의 정보를 포함하는 비트 스트림을 송신할 것을 요구하는 선택지와, 음향만의 정보 또는 화상만의 정보를 포함하는 비트 스트림을 송신할 것을 요구하는 선택지가 포함되는 멀티미디어 송신 단말기.
  10. 제3항에 있어서,
    상기 이용자에 의한 오류 내성에 관한 요구의 선택지 중에, 화상의 흐트러짐이 상대적으로 많고 또한 동화상의 프레임 레이트가 상대적으로 높은 상태와, 화상의 흐트러짐이 상대적으로 적고 또한 동화상의 프레임 레이트가 상대적으로 낮은 상태가 포함되는 멀티미디어 송신 단말기.
KR20037000300A 2000-07-10 2000-07-10 멀티미디어 통신 단말기 KR100716093B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2000/004591 WO2002005558A1 (fr) 2000-07-10 2000-07-10 Terminal de communication multimedia

Publications (2)

Publication Number Publication Date
KR20030018044A KR20030018044A (ko) 2003-03-04
KR100716093B1 true KR100716093B1 (ko) 2007-05-09

Family

ID=11736245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20037000300A KR100716093B1 (ko) 2000-07-10 2000-07-10 멀티미디어 통신 단말기

Country Status (6)

Country Link
US (1) US7712119B1 (ko)
EP (1) EP1301038A4 (ko)
JP (1) JP4373088B2 (ko)
KR (1) KR100716093B1 (ko)
CN (1) CN100385944C (ko)
WO (1) WO2002005558A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441604B1 (ko) * 2002-03-19 2004-07-23 삼성전자주식회사 멀티미디어 스트리밍 서비스를 위한 패킷 전송장치 및 그방법
CN1833446A (zh) * 2003-04-10 2006-09-13 日本电气株式会社 运动图像压缩编码方式转换装置及运动图像通信系统
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
KR100640487B1 (ko) * 2005-09-08 2006-11-01 삼성전자주식회사 이동 통신 단말기의 화상 통화 서비스 수행 방법
JP2008070561A (ja) * 2006-09-13 2008-03-27 Canon Inc 表示装置及びその制御方法
US8111757B2 (en) 2007-09-28 2012-02-07 Motorola Mobility, Inc. Method and apparatus for video signal processing
FR2959636B1 (fr) * 2010-04-28 2012-07-13 Canon Kk Procede d'acces a une partie spatio-temporelle d'une sequence video d'images
CN101931807B (zh) * 2010-06-29 2016-07-06 无锡中感微电子股份有限公司 验证多媒体播放器容错性的方法和装置
TWI428018B (zh) * 2010-11-25 2014-02-21 Realtek Semiconductor Corp 影像轉換的裝置及方法
CN112637586A (zh) * 2020-12-15 2021-04-09 北京百度网讯科技有限公司 异常视频构造方法、检测方法、装置、设备、介质及产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169325A (ja) * 1997-08-11 1999-03-09 Ando Electric Co Ltd 動画通信管理装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475421A (en) * 1992-06-03 1995-12-12 Digital Equipment Corporation Video data scaling for video teleconferencing workstations communicating by digital data network
US5606725A (en) * 1994-11-29 1997-02-25 Xel Communications, Inc. Broadband network having an upstream power transmission level that is dynamically adjusted as a function of the bit error rate
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
JP3068002B2 (ja) 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JPH10164552A (ja) 1996-11-29 1998-06-19 Matsushita Electric Ind Co Ltd ビデオオンデマンド送信装置及びビデオオンデマンド端末装置
US6384862B1 (en) * 1997-03-12 2002-05-07 Telefoaktiebolaget L M Ericsson Imaging system and method for interactive control of image quality
US6243568B1 (en) * 1997-03-22 2001-06-05 Sharp Laboratories Of America, Inc. System and method for intuitively indicating signal quality in a wireless digital communications network
JPH10276196A (ja) * 1997-03-28 1998-10-13 Ando Electric Co Ltd 通信監視装置
JPH10276193A (ja) * 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd データ処理方法
JP3873405B2 (ja) * 1997-10-21 2007-01-24 ソニー株式会社 データ配信システム及びデータ配信装置
JPH11313301A (ja) * 1998-02-27 1999-11-09 Hitachi Ltd 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置
US6425132B1 (en) * 1998-04-06 2002-07-23 Wavetek Corporation Ingress testing of CATV system utilizing remote selection of CATV node
JP3838784B2 (ja) 1998-07-08 2006-10-25 松下電器産業株式会社 画像伝送システム
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
US6587433B1 (en) * 1998-11-25 2003-07-01 3Com Corporation Remote access server for multiple service classes in IP networks
US6917617B2 (en) * 1998-12-16 2005-07-12 Cisco Technology, Inc. Use of precedence bits for quality of service
JP4137270B2 (ja) * 1999-02-22 2008-08-20 三菱電機株式会社 ビットストリーム変換装置
US6661837B1 (en) * 1999-03-08 2003-12-09 International Business Machines Corporation Modems, methods, and computer program products for selecting an optimum data rate using error signals representing the difference between the output of an equalizer and the output of a slicer or detector
US7142567B1 (en) * 1999-04-01 2006-11-28 Sedna Patent Services, Llc Rate generator in a video on demand system having multiple constant bit rate data
WO2000072548A1 (en) * 1999-05-25 2000-11-30 Nokia Corporation Interworking method and apparatus
US6807648B1 (en) * 1999-09-13 2004-10-19 Verizon Laboratories Inc. Variable-strength error correction in ad-hoc networks
JP3403683B2 (ja) * 1999-11-26 2003-05-06 沖電気工業株式会社 画像符号化装置および方法
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6778533B1 (en) * 2000-01-24 2004-08-17 Ati Technologies, Inc. Method and system for accessing packetized elementary stream data
US6798838B1 (en) * 2000-03-02 2004-09-28 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169325A (ja) * 1997-08-11 1999-03-09 Ando Electric Co Ltd 動画通信管理装置

Also Published As

Publication number Publication date
EP1301038A4 (en) 2007-11-28
EP1301038A1 (en) 2003-04-09
CN1454429A (zh) 2003-11-05
US7712119B1 (en) 2010-05-04
KR20030018044A (ko) 2003-03-04
JP4373088B2 (ja) 2009-11-25
CN100385944C (zh) 2008-04-30
WO2002005558A1 (fr) 2002-01-17

Similar Documents

Publication Publication Date Title
JP3002348B2 (ja) 画像通信システム
JP5007012B2 (ja) ビデオ符号化方法
KR100495820B1 (ko) 비디오 코딩
JP2016026426A (ja) 適応可変長符号化
JP3809220B2 (ja) 伝送システム及び伝送方法
JP2004507178A (ja) ビデオ信号符号化方法
JP2005524304A (ja) ビデオ符号化システムにおける量子化器パラメータを表示するための方法および装置
JPH0937245A (ja) 動画像伝送システム及び動画像伝送装置
KR100716093B1 (ko) 멀티미디어 통신 단말기
JPH089347A (ja) 動画像伝送装置
WO2007111006A1 (ja) 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
JP3703088B2 (ja) 拡張画像符号化装置及び拡張画像復号化装置
JP4320509B2 (ja) 映像再符号化装置および方法
WO2005025225A1 (ja) 動画像データ変換方法および装置ならびにプログラム
KR20020033798A (ko) 화상 신호 축적 재생 장치 및 화상 신호 송신 장치
JP2001309375A (ja) メディア分離方法と画像復号方法及び装置
JPS6390953A (ja) マルチメデイア通信装置
JP2007060498A (ja) Ｊｐｅｇ圧縮装置
JPH0759092A (ja) 画像信号の伝送装置
JPH0937244A (ja) 動画像データ誤り検出装置
KR100647369B1 (ko) 영상전화의 립싱크 동기화 방법 및 영상전화 단말장치
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
JPH10145760A (ja) 画像通信装置
JPH07245747A (ja) テレビ電話システム
JP2003061089A (ja) ビットストリーム変換器、これを用いたデータ送信システム及び通信端末装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120423

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee