KR100670220B1 - 부호화장치,복호화장치및전송시스템 - Google Patents

Abstract

복호화 장치의 수신능력에 의해, 부호화 효율에 변동이 있었던 문제를 해결하는 것을 목적으로 한다. 복호화 장치로부터 통지되는 부호화 데이터에 관한 각 시점의 수신결과에 의해서 복호화 장치의 수신능력을 추정하고, 해당 추정결과에 의해서 예측부호화 할 때에 기준으로 하는 참조 데이터를 적응적으로 갱신하도록 한다. 이에 의해, 각 복호화 장치의 수신능력에 따라서 참조 데이터를 갱신할 수 있게 된다.

Description

부호화 장치, 복호화 장치 및 전송시스템{Decoding Apparatus, Encoding Apparatus and Transmitting System}

본 발명은, 화상전송시스템, 화상부호화 장치 및 화상복호화 장치에 관한 것으로, 예를 들면, 화상전송에 있어서의 프레임 탈락이나 저속전송 등에 의한 화상품질저하에 대한 개선에 적용할 수 있는 것이다.

최근에, 텔레비젼 전화시스템, 텔레비젼 회의시스템, 또는 비디오 온 디맨드(VOD: Video On Demand) 시스템 등의 네트워크를 전송로로 하는 화상신호의 전송시스템이 보급되면서, 이것에 따라 화상부호화방법의 국제표준화 작업이 진행되고 있다.

화상부호화방법은, 프레임내 부호화와 프레임간 부호화를 병용하는 것과, 프레임내 부호화만을 사용하는 것의 2종류로 분류할 수 있다.

이중에서, 프레임내 부호화방식과 프레임간 부호화방식을 병용하는 것은, ITU-T 권고안 H.261이나 MPEG(Moving Picture Experts Group) 등의 동화상 통신/축적용의 부호화 방식에 적용되고 있다. 도 2는 시간순으로 늘어놓은 프레임의 예를 나타낸 것이다. ITU-T 권고안 H.261에서는, 도 2와 같이, 정기적으로 프레임내 부호화(I 프레임 a, i)를 행하지만, 그 사이의 P 프레임(프레임간 부호화 프레임)(b～h, j～)에 대한 이전 프레임을 참조화상으로 한 프레임간 부호화를 행함으로써, 시간적 변화에 관한 용장도(冗長度)를 제거하고 있다. 이하, 프레임내 부호화한 프레임을 I 프레임이라고 부르고, 프레임간 부호화한 프레임을 P 프레임이라고 부르기로 한다.

한편, 프레임내 부호화만을 사용하는 것은, JPEG(Joint Photographic Coding Experts Group) 등의 정지화상용 부호화방식을 연속이용하여, 도 3과 같이 전체 프레임에 대하여 프레임내 부호화를 행한다.

H.261은 이전 프레임을 참조하여 프레임간 부호화를 행하기 때문에, 전체 프레임이 확실하게 순서대로 전송될 필요가 있다. 전화회선이나 ISDN 회선과 같이 상대와의 회선을 확립하고 나서 데이터전송을 행하는 경우에는, 데이터가 도중에서 빠지는 일이 없이 차례로 상대에게 도착하기 때문에 문제는 없지만, 이더네트 등의 LAN이나 ATM에서는 회선을 확립하지 않고, 작은 데이터 단위(패킷이나 셀)로 분할하여 전송하기 때문에, 패킷이 도중에서 탈락되거나, 경로의 차이로 인해 순서가 바뀌거나 하는 일이 있다.

일반적으로는 이것을 해결하기 위해, 송신측에서 패킷에 일련번호를 부가하여 전송하고, 수신측에서 순서를 바꾸어 놓거나, 도착확인이나, 도착되지 않은 패킷의 재전송 요구를 송신측으로 반송하거나 하는 프로토콜(TCP: Transmission Control Protocol 등)을 사용하여 네트워크의 신뢰성을 향상시키고 있다.

그렇지만, 네트워크의 동작이 불안정하여 패킷이 빈번하게 탈락되는 경우에는, 상기 프로토콜을 사용하여 재전송처리를 행하면 지연이 축적되기 때문에, 동화상의 실시간 전송에는 부적절하다. 특히, 새로운 화상데이터의 표시가 가능하다면, 낡은 데이터를 일부러 재전송하여 표시하는 것보다도, 저속전송이 되더라도 새로운 데이터를 표시하는 쪽이 좋은 경우도 있다.

또한, 다지점으로 데이터를 전송할 때에 사용하는 브로드캐스트나 멀티캐스트는, 1회의 패킷송신으로 복수지점에 데이터를 전송하기 위한 구성이다. 그런데, 이 구성에 있어서, 1지점으로의 패킷 전송시에 탈락이 생긴 경우에, 전술한 프로토콜과 같은 재전송 처리를 행하면, 타지점의 네트워크에 관하여는, 최초의 패킷이 정상적으로 도착하고 있는데도 불구하고, 같은 패킷을 재전송해야 되기 때문에, 네트워크의 부하가 현저하게 상승해 버린다. 그래서, 브로드캐스트나 멀티캐스트에서는 재전송처리를 행하지 않은 프로토콜(UDP: User Datagram Protocol 등)을 사용하는 것이 보통으로, 패킷의 탈락이 발생할 확률이 높아지고 있다.

또한, 무선 네트워크를 이용하는 경우에는, 패킷분할하여 전송할 때 뿐만 아니라, 회선을 확립하여 전송하는 경우에도 데이터의 오류율이나 탈락율이 높아지는 경향이 있다. 특히, 수신측에서 오류를 검출하더라도, 오류정정 능력 이상의 오류가 있는 경우는, 다른 부분을 정상적으로 처리하기 위해서 어느 구간의 데이터를 폐기하는 방법도 쓰이기 때문에, 데이터의 탈락은 유선 네트워크에 비해 크다.

이 밖에, 송수신 단말간의 처리속도는 반드시 일치하지 않는다는 문제도 있다. 예를 들면, 수신단말의 처리속도쪽이 느린 경우, 전체 화상프레임을 복호처리하여 표시하면, 처리를 기다리는 프레임 데이터가 축적되어 지연이 커진다. 그래서, 이러한 경우에는, 수신측이 적응적으로 저속전송을 할 필요가 있다. 그런데, 종래의 방법으로 프레임을 프레임간 부호화하면, 이전 프레임의 복호데이터가 없는 경우에는, 현재 프레임을 복호할 수 없어, 저속전송을 자유롭게 행할 수 없다고 하는 문제가 있었다.

도 4에 H.261의 경우의 프레임 탈락의 예를 나타내었다. 여기서, 프레임 e가 도중에서 탈락하거나 처리가 늦어져 복호하지 못했을 경우, 다음의 I 프레임 i가 도착할 때까지는 그 사이의 P 프레임(f, g, h)은 복호할 수 없다.

그래서, 종래에는 이러한 프레임의 탈락이나 저속전송이 빈번하게 발생하는 네트워크에서 전체 프레임을 확실히 전송하기 위해, 프레임간 부호화를 사용하지 않고, 전체 프레임을 프레임내 부호화만으로 전송하는 JPEG과 같은 방법을 채용하고 있었다. 예를 들면, 도 5에 나타낸 JPEG에 의한 부호화방법의 경우에는, 프레임 e가 탈락하더라도 다음의 프레임으로부터 정상적으로 복호가 가능하다. 그렇지만, 이 경우에, 프레임간 부호화를 하지 않기 때문에, 시간적인 변화의 용장도가 제거되지 않아, 부호화 효율이 나쁘며 전송 데이터량이 크다고 하는 문제가 있었다.

이상과 같은 이유에서, 프레임의 탈락이나 저속전송의 발생이 예상되는 환경하에서도, 나중에 보내져온 I 프레임을 기다리지 않고 P 프레임을 복호할 수 있고, 덧붙여, 멀티포인트 전송시에도 부호화 효율의 저하를 억제할 수 있는 부호화·복호화 장치의 실현이 요청되고 있다.

이러한 과제를 해결하기 위해, 본 발명에 있어서는, 어느 시점에서의 피전송 데이터를 기준으로, 그 이후에 전송할 각 시점의 피전송 데이터를 예측 부호화하고, 해당 부호화 데이터를 복호화 장치에 전송하는 부호화 장치에 있어서, 아래와 같이 구성한 것을 특징으로 한다.

즉, 복호화 장치로부터 통지되는 부호화 데이터에 관한 각 시점의 수신결과에 근거하여, 복호화 장치의 수신능력을 추정하는 추정수단과, 해당 추정수단에 의한 추정결과에 근거하여, 예측부호화할 때 기준으로 하는 참조 데이터를 적응적으로 갱신하는 참조 데이터 갱신수단을 설치한 것을 특징으로 한다.

본 발명의 부호화 장치에 있어서는, 각 복호화 장치의 수신능력에 따라 참조 데이터를 갱신하게 되기 때문에, 전송대상인 피전송 데이터에 비하여 적절한 참조 데이터를 항상 선택하는 것이 가능해져, 전송대상에 따른 부호화를 실현할 수 있다. 또한, 부적절한 데이터가 참조 데이터로서 선택되는 기회를 감소할 수 있기 때문에, 부호화효율을 높게 유지할 수 있다.

또한, 본 발명에 있어서는, 전송로를 통해 수신된 부호화 데이터를 순차적으로 복호화하는 복호화 장치에 있어서, 아래와 같이 구성한 것을 특징으로 한다.

즉, 자신의 수신능력에 대해 변경요구가 있을 때 또는 수신능력에 변경이 있을 때, 부호화 데이터를 송출하는 부호화 장치에 대해, 자신에게 생기거나 또는 이미 생긴 수신능력의 변경을 통지하는 송신수단을 설치하도록 한다.

본 발명의 복호화 장치에서는, 부호화 장치측에 대해, 자신의 수신능력의 변경을 통지할 수 있기 때문에, 부호화 장치에서의 적응적인 부호화처리를 실현할 수 있게 된다.

그리고, 이들 부호화 장치나 복호화 장치를 사용하여 전송시스템을 구축하여, 부호화 효율이 높은 시스템을 실현한다.

(실시예)

이하, 본 발명을 동화상의 멀티포인트 전송에 적용하는 경우에 대한 제 1 실시예를 도면을 참조하면서 설명한다.

(A) 제 1 실시예

본 실시예에 관한 전송시스템의 송신단말은, 멀티포인트 전송시, 프레임이 정상적으로 수신가능하였다는(또는 이상이 있는) 것을 송신단말측에 알리기 위해 각 수신단말이 송신하는 복호 이상 유무 신호(이하, 확인신호라 한다)를 이용하여 각 수신단말의 수신능력을 추정하고, 수신능력에 차이가 있는 경우에는 다음 프레임을 수신하고자 하는 대상단말을 한정하며, 이것에 따른 참조프레임의 선정 및 갱신을 행하는 기능을 설치한 점을 특징으로 한다.

또한, 본 실시예에 관한 전송시스템의 수신단말은, 자신의 단말(自端末)을 대상으로 하지 않는 부호화 데이터에 대해서는 복호처리를 행하지 않도록 하는 기능과, 사용자로부터 자신의 단말의 수신능력 변경요구를 받은 경우에 그것을 송신단말측으로 송신하는 기능을 설치한 점을 특징으로 한다.

즉, 본 실시예에 관한 전송시스템은, 수신단말의 능력에 따라 참조프레임을 적응적으로 갱신하는 기능을 구비한 것을 특징으로 한다.

이어서, 전송시스템을 구성하는 송신단말과 수신단말의 구성을 설명한다.

(A-1) 동화상 부호화 장치(100)의 구성

도 1은, 본 실시예에 관한 전송시스템을 구성하는 송신단말의 일례로서의 동화상 부호화 장치(100)의 구성예를 나타낸 기능블록도이다.

동화상입력부(101)는, 카메라 등으로부터 입력된 동화상데이터를 프레임마다 부호화부(102)로 넘겨주는 수단이다.

부호화부(102)는, 입력된 프레임데이터를 부호화하는 수단으로, 복호화부(103)와 부호데이터송신부(107)로 보낸다. 부호화를 할 때는 Intra / Inter 판단부(106)의 지시에 따라, 프레임내 부호화와 프레임간 부호화를 전환하여 행한다. 여기서, Intra는 프레임내 부호화를 나타내고, Inter는 프레임간 부호화를 나타낸다. 프레임간 부호화시에는 참조프레임 메모리(105)에 있는 프레임데이터를 참조하여 부호화한다.

복호화부(103)는 부호화 데이터를 재차 복호화하고, 복호된 프레임데이터를 프레임 메모리(104)에 프레임 번호와 함께 기록하는 수단이다.

프레임 메모리(104)는, 매 프레임 데이터를 기억하는 매체로서, 참조프레임 갱신부(113)에 의해 참조프레임이 갱신될 때마다 불필요하게 된 데이터가 소거된다.

참조프레임 메모리(105)는, 프레임간 부호화에 사용하는 참조프레임 데이터를 기억하는 매체로서, 참조프레임 갱신부(113)에 의해 갱신된다.

Intra / Inter 판단부(106)는, 프레임내 부호화를 행할지, 프레임간 부호화를 행할지를 판단하는 수단이다. 통상적으로는, 정기적(예를 들면, 30 프레임마다)으로 프레임내 부호화를 행하고, 그 이외의 기간은 프레임간 부호화를 행하지만, 수신측(후술하는 동화상 복호화 장치(200))으로부터 리플레쉬 신호를 수신한 경우는, 강제적으로 프레임내 부호화를 행한다. 프레임내 부호화라고 판단된 경우는, 부호화부(102)와 참조프레임 갱신부(113)에 그 내용을 통지한다.

부호데이터 송신부(107)는, 부호화된 동화상 데이터를 수신측(동화상 복호장치(200))으로 송신하는 수단이다. 데이터에는 Intra/Inter를 표시하는 플래그나 참조프레임 번호 등을 다중화한다. 또한, 필요에 따라 송신원의 정보나 송신처 정보 등도 다중화하여 전송한다. 멀티포인트 전송을 행하고 있는 경우는, 전체 수신단말로 전체 데이터를 송신한다. 대상단말 한정부(111)로부터 일부의 단말로 한정된 경우는, 그 단말로만 송신해도 된다. 또한, 대상단말 정보를 다중화하여 송신해도 된다.

확인신호 수신부(108)는, 수신측(동화상 복호화 장치(200))이 어떤 프레임을 복호할 수 있었는지의 확인신호를 수신하는 수단으로, 확인된 프레임 번호를 참조프레임 갱신부(113)로 넘겨준다. 또한, 멀티포인트 전송을 행하고 있는 경우는, 다지점 수신기록부(109)로 넘겨준다.

다지점 수신기록부(109)는, 각 수신단말이 현재까지 어떤 프레임을 수신하고 있는지와, 부호화 데이터를 송신하여 확인신호를 수신하기까지의 전파지연 등의 과거의 수신실적을 각 단말별로 기록하는 수단으로, 기록된 데이터를 수신능력추정부(110), 대상단말한정부(111), 참조프레임 선정부(112)로 넘겨준다. 이때, 참조프레임 선정부(112)가 전체 수신단말이 수신하고 있는 프레임을 참조프레임으로서 선정한 경우는, 그 이전의 오래된 데이터는 소거해도 되며, 어느 기간을 정해서 보존해 놓아도 된다.

수신능력추정부(110)는 다지점 수신기록부(109)에 기록된 과거의 수신실적을 바탕으로, 각 수신단말의 평균 프레임 탈락의 확률을 산출하여, 수신능력(프레임 레이트나 네트워크의 전파지연 등)을 추정하는 수단으로, 추정결과를 대상단말 한정부(111)로 넘겨준다. 능력추정은, 통신개시 일정시간 후에 한 번만 행해도 되고, 수신능력이나 네트워크의 상태에 변화가 있는 경우는, 일정시간마다 실행하도록 해도 된다. 또한, 수신측(동화상 복호화 장치(200))으로부터 수신능력 변경요구가 있을 경우에는, 그 지시에 따라, 수신능력 추정을 행한다 단, 수신측으로부터의 수신능력 변경요구가 실현 곤란하다고 추정되는 경우에는, 그 내용을 수신측에 통지하여, 능력변경을 하지 않도록 해도 된다.

대상단말 한정부(111)는, 수신능력 추정부(110)에서 추정된 각 단말의 수신능력을 바탕으로, 다지점 수신기록부(109)에 기록된 수신실적으로부터 다음의 프레임을 수신하는 단말을 한정하는 수단이다. 통상적으로는, 전체 단말을 수신대상으로 하지만, 분명히 수신능력에 차이가 있어, 다음의 프레임은 수신하지 않는다고 예상되는 단말이 있는 경우는 대상단말의 한정을 행하고, 한정된 대상단말 데이터를 참조프레임 선정부(112)로 넘겨주는 동시에, 부호 데이터 송신부(107)로 넘겨준다.

참조프레임 선정부(112)는 대상단말 한정부(111)에서 한정된 단말의 수신실적을 바탕으로, 가장 공통으로 수신하고 있는 프레임을 참조프레임으로 선정하는 수단으로, 선정된 프레임번호를 참조프레임 갱신부(113)로 넘겨준다.

참조프레임 갱신부(113)는, Intra / Inter 판단부(106)나 확인신호 수신부(108), 참조프레임선정부(112)로부터의 지시에 따라, 참조프레임을 갱신하는 수단이다. Intra / Inter 판단부(106)로부터 프레임내 부호화의 지시를 받은 경우는, 현재 프레임의 데이터를 프레임 메모리(104)로부터 참조프레임 메모리(105)에 카피하고, 프레임 메모리(104)의 전체 프레임 데이터를 소거한다. 또한, 확인신호 수신부(108)로부터 프레임번호를 받은 경우에는, 그 번호의 프레임 데이터를 프레임 메모리(104)로부터 참조프레임 메모리(105)에 카피하고, 그 번호 이전의 프레임데이터를 프레임 메모리(104)에서 소거한다. 멀티포인트 전송을 행하고 있는 경우는, 참조프레임 선정부(112)로부터의 지시에 따라, 그 번호의 프레임데이터를 프레임 메모리(104)로부터 참조프레임 메모리(105)에 카피한다. 이때, 대상단말이 한정되어 있지 않은 경우에만, 그 번호 이전의 프레임데이터를 프레임 메모리(104)에서 소거한다.

(A-2) 동화상 복호화 장치(200)의 구성

도 6은, 본 실시예에 관한 전송시스템을 구성하는 수신단말의 일례로서의 동화상 복호화 장치(200)의 구성예를 나타낸 기능블록도이다.

부호데이터 한정수신부(201)는, 부호화된 동화상데이터를 송신측(동화상 부호화 장치(100))으로부터 수신하는 수단이다. 부호화 데이터와 데이터에 다중화되어 있는 Intra/Inter를 표시하는 플래그나 참조프레임 번호 등을 복호화부(206)로 넘겨주고, 필요에 따라 다중화되어 있는 송신원 정보 등도 복호화부(206)로 넘겨준다. 또한, 참조프레임 번호를 참조프레임 비교부(202)로 넘겨준다. 더구나, 멀티포인트 전송시에, 대상단말정보가 다중화되어 있는 경우는, 그 정보도 참조프레임 비교부(202)로 넘겨준다. 여기서, 자신의 단말이 대상으로 되어 있지 않은 경우는, 수신한 부호화 데이터를 폐기하고, 그 프레임에 대해 복호화처리는 행하지 않는다.

참조프레임 비교부(202)는, 수신된 참조프레임 번호와 참조프레임 메모리(204)에 기억되어 있는 자신의 단말의 참조프레임 번호를 비교하여, 참조프레임 번호가 다른 경우에는, 참조프레임 갱신부(203)에 참조프레임 갱신요구를 통지하고, 새로운 참조프레임 번호를 넘겨준다. 또한, 대상단말 정보가 있는 경우는 그것도 넘겨준다.

참조프레임갱신부(203)는, 참조프레임 비교부(202)로부터 갱신요구를 받으면, 프레임 메모리(205)에서 새로운 참조프레임 번호의 데이터를 판독하여, 참조프레임 메모리(204)에 프레임 번호와 함께 기록갱신한다. 이때, 대상단말이 한정되어 있지 않은 경우에는, 프레임 메모리 상의 오래된 프레임 데이터를 소거한다.

참조프레임 메모리(204)는, 프레임간 복호에 사용되는 참조프레임 데이터를 기억하는 매체로서, 참조프레임 갱신부(203)와 복호화부(206)에 의해 갱신된다.

프레임 메모리(205)는, 복호된 프레임데이터를 기억하는 매체이다.

복호화부(206)는 입력된 부호화 데이터를 복호화하는 수단으로, 복호화 데이터 동화상출력부(208)로 보낸다. 복호를 할 때, I 프레임의 경우는, 복호화 데이터를 프레임번호와 동시에 참조프레임 메모리(204)에 기록하여 참조프레임을 갱신한다. 또한, P 프레임의 경우는, 참조프레임 메모리(205)의 데이터를 참조하여 복호하고, 복호데이터를 프레임 번호와 함께 프레임 메모리(205)에 기록한다. 또한, 복호에 성공한 경우는, 프레임번호를 확인신호 송신부(207)로 넘겨준다.

확인신호송신부(207)는, 어떤 프레임을 복호할 수 있었는지의 확인신호를 송신측(동화상 부호화 장치(100))으로 송신하는 수단으로, 복호화부(206)에서 받은 프레임 번호도 합쳐서 송신한다.

동화상출력부(208)는, 복호화부(206)에서 받은 복호데이터를 모니터 등에 출력하는 수단이다.

리플레쉬신호 송신부(209)는, 사용자로부터의 리플레쉬 요구에 따라, 송신측(동화상 부호화 장치(100))으로 리플레쉬신호를 송신하는 수단이다.

수신능력 변경요구수단(210)은, 송신측에서 추정된 해당 수신단말의 수신능력에 대하여, 이용자로부터 변경의 요구가 있는 경우, 송신측(동화상 부호화 장치(100))로 수신능력 변경요구를 보내는 수단이다. 여기서, 이용자로부터의 요구가 수신단말의 능력을 넘는 경우는, 사용자에게 그것을 통지하여, 변경요구를 보내지 않도록 해도 된다.

(A-3) 멀티포인트 전송시의 동작

다음에, 멀티포인트 전송시에 있어서 동화상 부호화 장치(100)와 동화상 복호화 장치(200)의 동작예를 설명한다. 여기서는, 이들 양 장치 100 및 200의 동작 상태를 통신개시로부터 얼마동안의 기간과 그 후의 기간의 2가지 기간으로 나누어 설명한다. 이때, 이 설명에서는, 동화상 부호화 장치(100)에 접속되어 있는 동화상 복호화 장치(200)의 대수는 2대인 것으로 하고, 각각을 수신단말 A 및 B로 해서 나타내도록 한다.

우선, 통신개시로부터 얼마동안의 사이에서의 동작예를 설명한다. 이때, 이 시기에서의 동화상 부호화 장치(100)는, 동장치에 접속되어 있는 수신단말의 능력을 아직 파악하지 않고 있다. 이때, 동화상 부호화 장치(100)는, 각 수신단말 A 및 B 각각에 관하여 전송되어 오는 확인신호(또는, 리플레쉬 신호)를 기초로, 수신단말 A및 B 양쪽에 관해 화상이 정상적으로 수신된 것이 통지된 경우에만 참조프레임을 갱신하도록 동작한다.

즉, 도 7에 도시한 바와 같이, 프레임 a, e, i 에 관해서만 참조프레임의 갱신을 행하고, 다른 프레임 b, c, d, f, g, h, j, k의 각각에 관해서는, 각 시점에서 참조프레임으로서 기억되어 있는 프레임을 기준으로 부호화한다. 도 7의 예로 말하면, 프레임 b, c, d에 관해서는 프레임 a를 기준으로, 프레임 f, g, h에 관해서는 프레임 e를 기준으로 … , 하는 식이다.

따라서, 본 기간에서는, 수신능력이 상대적으로 낮은 수신단말 B에 맞추어 참조프레임이 갱신되고, 각 프레임의 부호화가 행하여진다.

이에 따라, 프레임의 탈락 등에 대비하여 전체 프레임을 프레임내 부호화할 필요를 없앨 수 있는 동시에, 후속하는 I 프레임을 기다리지 않고서 P 프레임을 복호하는 것이 가능하게 되기 때문에, 종래의 시스템에 비하여 높은 전송효율을 얻을 수 있다. 단, 양 수신단말 A 및 B가 함께 정상적으로 수신할 수 있는 타이밍이 현저하게 어긋나 있는 경우나, 양 수신단말의 수신능력의 차이가 큰 경우에는, 참조프레임의 갱신회수가 적어지는 것이 예상되기 때문에, 언제까지나 이 수법으로 부호화하는 것은, 부호화효율이 생각한만큼 향상될 수 없는 경우가 있다.

그래서, 이용되는 것이, 이 통신개시로부터 얼마동안의 기간에 축적된 과거의 수신실적으로, 이 실적에 근거한 각 수신단말 A 및 B의 수신능력의 추정에 의해 프레임의 부호화방법에 수정을 가한다.

이 수신능력의 추정에는, 수신능력 추정부(110)가 사용된다. 이 도 7의 경우, 수신능력추정부(110)는, 수신단말 A에 관하여는 거의 매 프레임 수신할 수 있는데 비해, 수신단말 B에 관하여는 평균적으로 4프레임에 1회만 수신할 수 있는 능력밖에 갖고 있지 않다고 추정된다.

이 결과에 근거하여, 대상단말 한정부(111)는, 수신단말 B에 관하여는, 예를 들면, 프레임 e를 수신한 후에는 4 프레임 앞의 프레임 i까지 수신할 수 없다고 판단하고, 그 사이의 프레임 f, g, h는 단말 A에 대해서만 부호화를 행하도록 대상단말을 한정한다.

즉, 수신단말 A는 매 프레임 수신하고 있기 때문에, 도 8에 도시한 바와 같이, 참조프레임의 갱신도 매 프레임 행하며, 양 단말이 모두 수신할 수 있다고 판단된 프레임 i를 부호화할 때만, 양 단말이 공통으로 수신하고 있는 프레임 e에 참조 프레임을 되돌리도록 동작한다.

이것에 의해, 수신단말 A에 대한 부호화효율은, 1대1의 통신시보다는 떨어지지만, 수신단말 B의 능력만큼 나쁘게 되지는 않기 때문에, 통신개시부터 얼마동안의 기간보다도 더욱 부호화 효율이 향상된다.

그리고, 이 부호화의 도중에, 프레임탈락이 생긴 경우를 도 9에 나타낸다. 탈락이 발생한 경우(도면중의 프레임 c, e, i), 확인신호를 수신한 확인신호 수신부(108)가 이것을 검출하여, 참조프레임의 갱신을 행하지 않고 다음 프레임의 부호화를 행하게 한다. 이에 의해, 탈락된 프레임에 대해서도 화질의 열화는 별로 생기지 않는다.

또한, 양 수신단말의 수신 타이밍이 맞지 않을 때의 경우를 도 10에 나타낸다. 이 경우, 각각의 프레임에 대해서 상대단말이 한정되기 때문에, 각각의 수신단말에 알맞은 참조프레임의 갱신이 실현되고 있고, 양 단말이 공통으로 수신할 수 있는 프레임만을 참조프레임으로 하는 경우(도 11의 경우)에 비하여, 부호화 효율의 향상을 실현할 수 있다.

(A-4) 제 1 실시예의 효과

이상의 구성에 따르면, 각 수신단말의 수신결과에 따라 참조프레임의 갱신을 제어하여 다음 프레임을 부호화하기 때문에, 수신단말측에서는 다음의 I 프레임이 전송되어 오는 것을 기다리지 않고 전체 프레임을 복호할 수 있어, 부호화효율을 향상시킬 수 있다.

또한, 송신단말에, 수신단말마다의 수신능력을 추정하는 기능을 설치하는 것에 의해, 수신단말의 수가 증가하더라도 각 수신단말에 알맞은 프레임의 부호화와 데이터의 전송을 실현할 수 있다.

이것은, 멀티포인트 전송시에 효과를 발휘하여, 수신능력이 서로 다른 수신단말이 1개의 회선에 접속되어 있더라도, 능력이 낮은 수신단말의 영향이 적고, 능력이 높은 수신단말에 대해서는 높은 부호화효율을 유지할 수가 있다.

또한, 멀티포인트 전송시에 있어서, 복수의 수신단말간의 수신타이밍이 어긋난 경우에도, 각각의 단말에 알맞은 참조프레임의 갱신이 가능하여, 높은 부호화효율을 유지할 수 있다.

(B) 제 2 실시예

이어서, 제 2 실시예를 설명한다. 이 제 2 실시예와 제 1 실시예의 차이는, 송신단말측에, 해당 송신단말로부터 화상의 전송을 받는 복수대의 수신단말에 대해서, 동등한 수신능력을 갖는 수신단말끼리를 그룹화하는 수단과, 같은 그룹으로 분류된 수신단말에 대해서는 동일한 타이밍으로 프레임을 송신하도록 한정하는 수단을 더한 점으로, 송신처리의 부하를 경감하는 것을 특징으로 한다.

(B-1) 동화상 부호화 장치(300)의 구성

도 12는, 제 2 실시예에 관한 동화상 부호화 장치(300)의 구성예를 나타낸 기능블록도이다. 이때, 도 12 중에서, 도 1과 동일하거나 대응하는 부분에는, 동일 또는 대응 부호를 붙여 나타내고 그 설명은 생략한다.

수신능력 추정부(301)는, 제 1 실시예에서 설명한 수신능력 추정부(110)와 동등한 기능을 갖고, 추정결과를 대상단말 한정부(303)로 넘겨주는 동시에, 수신단말 분류부(302)로 넘겨준다.

수신단말 분류부(302)는, 수신능력 추정부(301)에서 추정된 수신능력을 기초로, 각 수신단말을 능력별로 그룹화하는 수단으로, 분류결과를 대상단말 한정부(303)로 넘겨준다.

대상단말 한정부(303)는, 제 1 실시예에서 설명한 대상단말 한정부(111)와 동등한 기능을 갖고, 또한 수신단말 분류부(302)의 분류결과를 기초로, 동일한 그룹으로 분류된 수신단말에 대해서는 항상 동일한 타이밍으로 한정한다. 이에 의해, 같은 그룹으로 분류된 수신단말에 대해서는, 항상 동시에 부호화 데이터의 송신이 보증된다.

이때, 수신단말측, 즉, 동화상 복호화 장치의 구성은 제 1 실시예의 것과 동일하다.

(B-2) 멀티포인트 전송시의 동작

2개의 수신단말의 수신타이밍이 맞지 않는 것에 의한 부호화효율의 저하는, 제 1 실시예에 관한 동화상 부호화 장치(100)에 의해서도 회피가능하지만, 이 동화상 부호화 장치(100)의 경우에는, 동일한 타이밍으로 교대로 부호화와 송신이 반복되기 때문에, 낭비가 포함된다.

그래서, 제 2 실시예에서의 동화상 부호화 장치(300)에서는, 도 13과 같이 동한의 능력을 갖는 수신단말 A와 B를 그룹화하여, 동일한 타이밍에 맞추어 송신하도록 한다.

이와 같이 하면, 송신단말측의 쓸데 없는 처리를 생략할 수 있어, 처리효율을 향상시킬 수 있다.

이 예에서, 프레임의 탈락이 생긴 경우를 도 14에 나타낸다. 이 경우에도, 탈락이 발생한 경우는, 참조프레임의 갱신을 행하지 않고 프레임의 부호화를 행하기 때문에, 탈락에 의한 화질의 열화는 별로 생기지 않는다. 또한, 본 실시예에서는, 같은 그룹으로 분류된 수신단말에 대해서는 완전히 같은 것으로 취급된다.

(B-3) 제 2 실시예의 효과

이상과 같이, 본 실시예의 경우에도, 제 1 실시예의 경우와 동일한 효과를 얻을 수 있고, 이에 덧붙여, 제 2 실시예의 독자적인 효과로서, 다음 2가지를 얻을 수 있다. 한가지는, 수신능력이 같은 정도의 수신단말은 동일한 상태로 취급하기 때문에, 부호화와 송신처리의 타이밍이 어긋날 우려가 없어져, 처리의 낭비가 없는 것이고, 또 한가지는, 수신능력이 동일한 정도의 단말은 동일한 상태로 취급하기 때문에, 대상단말 한정처리에 있어서, 발생하는 단말의 조합이 대폭적으로 줄어, 처리의 간소화를 실현할 수 있는 것이다.

(C) 제 3 실시예

다시, 제 3 실시예를 설명한다. 제 3 실시예와, 제 1 실시예와의 차이는, 송신단말측에, 해당 송신단말이 기억하고 있는 프레임데이터에 대하여, 과거에 어떤 수신단말을 대상으로 해서 참조프레임으로 선정했는지를 기록하는 수단과, 동 수신단말의 조합을 대상으로 하고 있는 오래된 프레임을 불필요한 프레임으로서 선정하는 수단과, 선정된 프레임데이터를 프레임 메모리에서 소거하는 수단과, 불필요한 프레임번호를 수신측으로 송신하는 수단을 구비한 점과, 수신단말측에, 불필요한 프레임번호를 수신하는 수단과, 불필요한 프레임을 소거하는 수단을 구비한 점이다. 이상의 점에서, 본 실시예에서는, 수신단말의 능력에 따라, 참조프레임의 후보가 되는 프레임데이터 중에서 불필요한 것을 적응적으로 소거할 수 있도록 한 것을 특징으로 한다.

(C-1) 동화상 부호화 장치(400)의 구성

도 15는, 제 3 실시예에 관한 동화상 부호화 장치(400)의 구성예를 나타낸 기능블록도이다. 이때, 도 15 중에서, 도 1과 동일하거나 대응부분에는 동일, 또는 대응부호를 붙여 나타내고 그 설명은 생략한다.

수신능력추정부(401)는, 제 1 실시예에서 설명한 수신능력 추정부(110)와 동등한 기능을 갖고, 추정한 수신능력을 대상단말 한정부(402)로 넘겨주는 동시에, 불필요한 프레임선정부(404)로도 넘겨준다.

대상단말 한정부(402)는, 제 1 실시예에서 설명한 대상단말 한정부(111)와 동등한 기능을 갖고, 한정한 대상단말 데이터를 참조프레임 선정부(112)로 넘겨주는 동시에, 대상단말 기록부(403)에도 넘겨준다.

대상단말 기록부(403)는, 프레임 메모리(104)에 기록된 프레임데이터가 과거에 어떤 단말을 대상으로 해서 참조프레임으로 선정되었는지를 기록하는 수단으로, 기록된 데이터를 불필요 프레임선정부(404)로 넘겨준다. 이때, 대상단말의 기록에는, 전용의 테이블을 준비해도 되고, 프레임 메모리(104)의 헤더정보에 추가하도록 해도 된다.

불필요 프레임선정부(404)는, 수신능력에 근거하여, 기록된 프레임데이터 중에서, 앞으로 참조프레임으로 선정되는 일이 없는 불필요한 프레임을 선정하는 수단으로, 선정한 프레임번호를 불필요 프레임소거부(405)로 넘겨준다. 또한, 수신측도 대응하고 있는 경우는, 불필요 프레임번호 송신부(406)로도 넘겨준다.

불필요 프레임소거부(405)는, 불필요 프레임선정부(404)의 지시에 따라 프레임 메모리(104) 상의 불필요한 프레임데이터를 소거하는 수단이다.

불필요 프레임번호 송신부(406)는, 필요에 따라, 수신측으로 불필요 프레임번호를 송신하는 수단이다.

(C-2) 동화상 복호화 장치(500)의 구성

도 16은, 제 3 실시예에 관한 동화상 복호화 장치(500)의 구성예를 나타낸 기능블록도이다. 이때, 도 16 중에서 도 6과 동일하거나 대응하는 부분에는, 동일 또는 대응부호를 부착하여 나타내고 그 설명은 생략한다.

불필요 프레임번호수신부(501)는, 필요에 따라, 송신측에서 불필요 프레임번호를 송신하는 수단으로, 수신된 번호를 불필요 프레임소거부(502)로 넘겨준다.

불필요 프레임소거부(502)는, 송신측의 지시에 따라, 프레임 메모리(205) 상의 불필요한 프레임 데이터를 소거하는 수단이다.

(C-3) 멀티포인트 전송시의 동작

여기서는, 제 1 실시예의 동작설명에 사용된 도 8의 경우를 예로 하여, 제 3 실시예에 관한 동작예를 설명한다.

대상단말 기록부(403)에서는, 도 17과 같이, 각 프레임이 어떤 수신단말을 대상으로 해서 참조프레임에 채용되었는지를 기록한다. 이 대상단말 테이블을 기초로 불필요한 프레임을 불필요 프레임선정부(404)에서 선정한다.

예를 들면, 프레임 a는 수신단말 A와 B에 참조되고 있기 때문에, 다음에 수신단말 A와 수신단말 B의 양쪽에서 참조되는 프레임 e를 부호화할 때까지는 소거할 수가 없다. 한편, 프레임 b는 수신단말 A에서만 참조되고 있기 때문에, 마찬가지로 수신단말 A에서만 참조된 프레임 c를 부호화한 후에는 소거해도 된다.

이와 같이, 과거의 한정단말을 기록하여 두면, 동일한 단말을 대상으로 하고 있는 프레임은 순차 소거하는 것이 가능해진다.

그런데, 단순히 프레임 b를 소거하면, 다음과 같은 문제가 생기는 일이 있다. 예를 들어, 수신단말 B와의 사이의 전파지연이 크고, 프레임 b를 수신했다고 하는 수신단말 B에서의 확인신호가 프레임 d를 부호화처리하기 직전에 늦게 도착했다고 하자. 이때, 프레임데이터를 소거하지 않고 남겨놓고 있는 경우는, 도 18과 같이, 프레임 b를 참조하여 프레임 d를 부호화할 수가 있다. 그러나, 전술한 바와 같이 프레임 c를 부호화한 시점에서 프레임 b를 소거해 버린 경우에는, 수신단말 A와 수신단말 B 모두에서 프레임 b를 수신하고 있음에도 불구하고, 도 19와 같이, 프레임 a까지 참조프레임을 되돌려서 부호화해야만 한다.

그래서, 본 실시예에 관한 불필요 프레임선정부(404)에서는 이러한 문제가 생기지 않도록 하기 위해, 대상단말 테이블 뿐만 아니라 수신능력도 참조하여 불필요 프레임을 선정한다. 즉, 수신단말 B의 수신능력을 고려하여 프레임 b를 소거할지 어떨지를 결정한다.

예를 들면, 도 8과 같이, 수신단말 B는 4프레임에 1회 밖에 수신하지 않는다고 추정되고 있는 경우에는, 프레임 b를 곧 소거한다. 한편, 수신단말 B의 확인신호의 전파지연이 크다고 추정되고 있는 경우에는, 최대 전파 지연시간은 대기하여, 프레임 b를 소거한다.

(C-4) 제 3 실시예의 효과

이상과 같이, 본 실시예의 경우에도, 제 1 실시예의 경우와 동일한 효과를 얻을 수 있고, 덧붙여 제 3 실시예의 독자적인 효과로서 다음의 2가지를 얻을 수 있다. 한가지는, 대상단말이 한정된 참조프레임을 순차적으로 소거할 수 있기 때문에, 메모리용량을 절약할 수 있는 것이고, 또 하나는, 수신능력을 고려하여 소거프레임을 결정하기 때문에, 소거가 너무 빠른 일이 없다고 하는 것이다.

(D) (제 4 실시예)

다시, 제 4 실시예를 설명한다. 이때, 여기서는, 제 4 실시예와 제 3 실시예와의 상이점으로부터 해당 제 4 실시예를 설명한다. 제 4 실시예와 제 3 실시예의 차이는, 송신단말측에, 대상단말에 의해 프레임데이터에 가중을 행하는 수단과, 가중에 따라서 프레임데이터를 프레임 메모리로부터 소거하는 수단을 더한 점이다. 이상의 점에서, 본 실시예에서는 메모리용량이 적은 시스템 등에서, 필요한 프레임을 소거해야만 하는 경우에, 중요한 프레임데이터일수록 최후까지 남기도록 메모리 소거를 제어할 수 있다고 하는 특징을 갖는다.

(D-1) 동화상 부호화 장치(600)의 구성

도 20은, 제 4 실시예에 관한 동화상 부호화 장치(600)의 구성예를 나타낸 기능블록도이다. 이때, 도 20 중에서 도 15와 동일하거나 대응하는 부분에는, 동일 또는 대응부호를 붙여 나타내고 그 설명은 생략한다.

수신능력 추정부(601)는, 제 3 실시예에서 설명한 수신능력 추정부(401)와 동등한 기능을 갖고, 추정한 수신능력을 대상단말 한정부(602)와 불필요 프레임선정부(404)로 넘겨주는 동시에, 프레임가중부(603)로도 넘겨준다.

대상단말 한정부(602)는, 제 3 실시예에서 설명한 대상단말한정부(402)와 동등한 기능을 갖고, 한정된 대상단말데이터를 참조프레임 선정부(112)와, 가중기록부(604)로 넘겨주는 동시에, 프레임 가중부(603)에도 넘겨준다.

프레임 가중부(603)는, 한정되어 있는 대상단말의 수나 능력에 의해, 프레임데이터의 중요도를 나타낸 가중치를 산출하는 수단으로, 산출된 가중치를 가중기록부(604)에 기록한다.

가중기록부(604)는, 제 3 실시예에서 설명한 대상단말기록부(404)와 동등한 기능을 갖는 동시에, 프레임가중부(603)에서 결정된 각 프레임의 비중도 기록하는 수단이다. 기록된 데이터를 불필요 프레임선정부(404)로 건네주는 동시에, 필요 프레임소거부(605)로도 넘겨준다.

필요 프레임소거부(605)는, 필요한 프레임데이터중에서 어느 하나를 어쩔 수 없이 소거할 필요가 있을 때, 가중기록부(604)에 기록되어 있는 프레임의 가중치에 따라 프레임 메모리(104) 상의 프레임데이터를 소거하는 수단이다. 또한, 수신측도 대응하고 있는 경우는, 불필요 프레임번호 송신부(406)로도 넘겨준다.

이때, 수신단말측, 즉, 동화상 복호화 장치의 구성에 대해서는, 제 3 실시예에서 설명한 동화상 복호화 장치(500)와 동일하다.

(D-2) 멀티포인트 전송시의 동작

그리고, 본 실시예에 관한 동화상 부호화 장치(600)에서는, 프레임 메모리 용량이 충분하지 않은 시스템 등에서, 필요한 프레임데이터를 어쩔수 없이 소거해야만 할 때에, 중요하지 않은 프레임부터 우수한 효율로 소거할 수 있는 기능에 특징이 있기 때문에, 이 점을 중심으로 설명한다.

도 21에 각 프레임의 가중예를 나타내었다. 이때, 도 21에서의 수신단말 A에서는 프레임마다의 수신이 행하여지고 있고, 수신단말 B에서는 1프레임 건너 수신이 행하여지고 있으며, 수신단말 C에서는 2프레임 건너서 수신이 행하여지고 있다.

이때, 동화상 부호화 장치(600)는 제 3 실시예의 경우와 동일하게, 수신실적에 근거하여 대상단말 테이블을 작성하고, 이것에 근거하여 참조프레임을 소거하도록 동작한다. 도 21에서는, 사선부의 프레임데이터가 이미 불필요하다고 하여 소거되어 있다.

이상을 전제로 해서 동화상 부호화 장치(600)의 동작을 설명한다. 동화상 부호화 장치(600)는, 먼저, 각 수신단말의 가중을 행한다. 이때, 수신능력이 가장 높은 수신단말에 비중 1이 가해지고, 능력차나 프레임레이트의 비율에 따라 능력이 낮은 단말일수록 큰 가중치가 가해진다. 도 21의 예에서는, 수신단말 A를 1로 하고, 수신단말 B를 2, 수신단말 C를 3으로 한다.

다음에, 각 프레임에서 수신단말의 가중치의 합계를 산출한다. 이것이 프레임의 가중치가 된다. 많은 수신단말을 대상으로 하고 있는 프레임일수록 가중치가 크고, 또한 능력이 낮은 단말을 대상으로 하고 있을수록 가중치가 커진다. 이것은, 능력이 높은 단말일수록 다른 프레임으로 대용할 수 있기 때문이다.

소거시에는, 가중치가 작은 프레임부터 차례로 소거하여 간다. 동일한 가중치의 경우는 시간적으로 오래된 프레임을 소거한다.

이 규칙에 의해 프레임의 소거를 관리하면, 시간적으로 오래되더라도 중요한 프레임은 최후까지 소거되는 일이 없다. 예를 들면, 가중치를 고려하지 않고 시간만을 고려한 경우는, 도 21 중에서, 최초로 수신단말 A, B, C의 3개를 대상으로 한 프레임이 소거되어 버린다. 이러한 사태가 생기면, 다음에 수신단말 A, B, C를 대상으로 해서 부호화를 행할 때에, 참조할 수가 없어진다.

이에 대하여, 본 실시예에서 나타낸 규칙에 따라, 수신단말 A, B를 대상으로 한 프레임이나, 수신단말 A, C를 대상으로 한 프레임을 먼저 소거했다고 해도, 수신단말 A, B, C를 대상으로 한 프레임으로 대용할 수 있기 때문에, 영향이 적다.

(D-3) 제 4 실시예의 효과

이상과 같이 본 실시예의 경우에도, 제 1, 제 3 실시예의 경우와 동일한 효과를 얻을 수 있고, 덧붙여, 제 4 실시예의 독자적인 효과로서 다음의 2가지를 얻을 수 있다. 한가지는, 중요도가 낮은 프레임부터 소거하기 때문에, 프레임 메모리 용량에 스케일러블(scalable)한 부호화효율을 실현할 수 있어, 시스템에 맞는 화질을 제공할 수 있게 되는 것이고, 또 하나는, 전체 수신단말이 수신하고 있는 가장 중요한 프레임은 최후까지 남기 때문에, 부호화에 중단에 생기기 어렵다는 것이다.

(E) 다른 실시예

(E-1) 이때, 전술한 제 3 및 제 4 실시예에서는, 각각 제 1 실시예에서 설명한 시스템 구성을 기본구성으로 하여, 그 상위점에 관해서 설명했지만, 제 2 실시예에서 설명한 시스템을 기본구성으로 하는 경우에도 응용이 가능하고, 각각, 제 2 실시예에서 얻어진 것과 동일한 효과를 얻을 수 있다.

(E-2) 또한, 제 3 및 제 4 실시예에서는, 송신단말측에서 불필요하다고 판단한 프레임번호를 전송하여 수신단말측에서 소거하는 구성을 나타냈지만, 이것에 한정되는 것은 아니다. 즉, 수신단말측에서, 송신단말측과 동일한 처리를 행하여 불필요한 프레임을 선정해도 된다.

(E-3) 더구나, 지금까지의 설명에서는 프레임 탈락을 예로 들어, 프레임마다 참조프레임을 전환하는 예를 나타냈지만, 이것에 한정되는 것은 아니다. 예를 들면, 프레임을 복수의 블록에 분할하고, 각각의 블록마다 탈락했는지 어떤지를 판정하여, 각각 블록마다 참조프레임을 바꾸도록 해도 된다. 블록을 작게 할수록 탈락하거나 오류가 날 비율이 감소하기 때문에, 참조프레임의 갱신율이 향상되어, 부호화효율도 향상된다.

(E-4) 또한, 지금까지의 설명에서는 프레임내 부호화시에는 참조프레임 갱신부(113)가 프레임 메모리(104)로부터 프레임데이터를 참조프레임 메모리(105)로 카피하도록 설명했지만, 이것에 한정되는 것은 아니다. 예를 들면, Intra / Inter 판단부(106)로부터의 프레임내 부호화 요구신호를 복호화부(103)로 넘겨주도록 하고, 프레임내 부호화시에는 복호화부(103)로부터 참조프레임 메모리(105)로 프레임데이터를 직접 기록하도록 해도 된다. 이 경우, 카피하는 처리를 생략할 수 있다.

(E-5) 또한, 지금까지의 설명에서는, 참조프레임 메모리와 프레임 메모리를 따로따로 나누어 기술하고 설명했지만, 이것에 한정되는 것은 아니다. 1개의 메모리 위에 프레임데이터를 기록하고, 참조프레임은 메모리위치를 나타낸 포인터 등으로 표시하도록 해도 된다. 이 경우, 참조프레임 갱신시에 프레임 메모리로부터 참조프레임 메모리에 데이터를 카피할 필요가 없고, 포인터를 이동시키기만 하면 된다.

(E-6) 또한, 지금까지의 설명에서는, 확인신호는, 프레임을 수신한 것을 통지하는 신호로서 동작예를 나타냈지만, 이것에 한정되는 것은 아니다. 즉, 확인신호는, 프레임이 수신할 수 없었을 때에 수신단말측으로부터 송신단말측으로 통지되도록 해도 된다. 이 경우, 통상적으로 확인신호는 전송되지 않기 때문에, 송신측에서는 확인을 기다리지 않고 차례차례로 부호화를 행할 수 있다. 여기서, 불수신 신호를 받았을 때는, 참조프레임을 불수신 프레임의 하나 앞으로 되돌려서 부호화한다. 이에 의해, 수신측에서는 수신할 수 없었던 프레임으로부터 수개의 프레임은 복호가 불가능하지만, 곧 수신되고 있는 프레임을 참조한 데이터로 전환되기 때문에, 복호가 가능해진다.

(E-7) 또한, 지금까지의 수신단말측, 즉, 동화상 복호화 장치의 설명에서는, 복호동작이 종료하고 나서 확인신호를 송신하는 구성을 설명했지만, 이것에 한정되는 것은 아니다. 즉, 부호데이터를 수신했을 때, 데이터가 정상인지 아닌지를 검사하여, 정상인 경우는 확인신호를 송신하도록 해도 된다. 이에 의해, 확인신호를 송신하는 타이밍이 빨라져, 확인신호의 전파지연이 축소된다.

(E-8) 더구나, 지금까지의 설명에서는, 송신단말 1대에 대하여 수신단말이 복수대 접속된 시스템 구성, 즉, 멀티포인트 전송을 예로 들어 전송동작을 설명했지만, 1대1의 접속이라도, 네트워크가 복잡하여 수신확인에 지연이 발생하고 참조프레임을 매프레임마다 갱신할 수 없는 경우에도 적용할 수 있다.

(E-9) 또한, 동화상 부호화 장치 및 동화상 복호화 장치의 각각을 기능블록으로 표시했으나, 이러한 기능을 가지면, 하드웨어에 의해 실현해도 되고 소프트웨어에 의해 실현해도 된다.

(E-10) 또한, 지금까지의 설명에서는 피전송 데이터를 동화상데이터로서 설명했지만, 이것에 한정되는 것은 아니고, 음성데이터이던, 2치 데이터이든 상관없다.

(E-11) 또한, 지금까지의 설명에서는 동화상 부호화 장치와 동화상 복호화 장치로 구성되는 전송시스템 일반에 관해서 설명했지만, 축적매체계의 부호화 장치로서 사용하여도 되고, 복호화 장치로서 사용해도 된다.

전술한 바와 같이, 본 발명의 부호화 장치에 따르면, 복호화 장치로부터 통지되는 부호화 데이터에 관한 각 시점의 수신결과에 근거하여, 부호화 장치의 수신능력을 추정하고, 해당 추정결과에 근거하여, 예측부호화를 할 때 기준으로 하는 참조 데이터를 적응적으로 갱신하도록 했기 때문에, 각 복호화 장치의 수신능력에 따라 참조 데이터를 갱신할 수가 있게 되어, 전송대상인 피전송데이터에 비해 적절한 참조 데이터가 선택가능하도록 할 수 있다. 이에 의해 부호화효율을 높게 유지할 수 있다.

또한, 본 발명의 복호화 장치에 따르면, 자기의 수신능력에 관해 변경요구가 있을 때, 또는 수신능력에 변경이 있을 때, 부호화 데이터를 송출하는 부호화 장치에 대하여, 자신에게 생기거나 또는 이미 생긴 수신능력의 변경을 통지할 수 있기 때문에, 부호화 장치에서의 적응적인 부호화처리를 실현할 수 있게 되었다.

따라서, 이들 부호화 장치나 복호화 장치를 사용하여 전송시스템을 구축하면, 종래에 비해 부호화효율이 높은 시스템을 실현할 수 있다.

도 1은 제 1 실시예에 관한 동화상 부호화 장치를 나타낸 기능블록도.

도 2는 권고안 H.261에 근거한 부호화방식의 설명도.

도 3은 JPEG에 근거한 부호화방식의 설명도.

도 4는 권고안 H. 261에 근거한 부호화시에 프레임 탈락이 있는 경우의 설명도.

도 5는 JPEG에 근거한 부호화시에 프레임 탈락이 있었던 경우의 설명도.

도 6은 제 1 실시예에 관한 동화상 복호화 장치를 나타낸 기능블록도.

도 7은 멀티포인트 전송 개시 직후의 화상 부호화예를 나타낸 설명도.

도 8은 멀티포인트 전송개시로부터 소정시간 경과후의 화상부호화예를 나타낸 설명도.

도 9는 멀티포인트 전송시에 프레임 탈락이 있는 경우의 설명도.

도 10은 멀티포인트 전송시에 수신 타이밍에 변동이 있는 경우의 설명도.

도 11은 멀티포인트 전송시에 수신 타이밍에 변동이 있는 경우의 비교예를 나타낸 설명도.

도 12는 제 2 실시예에 관한 동화상 부호화 장치를 나타낸 기능블록도.

도 13은 멀티포인트 전송시의 화상 부호화예를 나타낸 설명도.

도 14는 멀티포인트 전송시에 프레임 탈락이 있는 경우의 설명도.

도 15는 제 3 실시예에 관한 동화상 부호화 장치를 나타낸 기능블록도.

도 16은 제 3 실시예에 관한 동화상 복호화 장치를 나타낸 기능블록도.

도 17은 대상 단말 테이블을 나타낸 설명도.

도 18은 전파지연이 큰 경우의 화상 부호화예를 나타낸 설명도.

도 19는 프레임 소거가 지나치게 빠른 경우의 화상 부호화예를 나타낸 설명도.

도 20은 제 4 실시예에 관한 동화상 부호화 장치를 나타낸 기능블록도.

도 21은 대상 단말 테이블의 가중 예를 나타낸 설명도.

* 도면의 주요부분에 대한 부호의 설명 *

100, 300, 400, 600 : 동화상 부호화 장치 101 : 동화상 입력부

102 : 부호화부 103, 206 : 복호화부

104, 205 : 프레임 메모리 105, 204 : 참조프레임 메모리

106 : Intra/Inter 판단부 107 : 부호데이터송신부

108 : 확인신호수신부 109 : 다지점 수신기록부

110 : 수신능력추정부 111 : 대상단말한정부

112 : 참조프레임선정부 113,203 : 참조프레임갱신부

200,500 : 동화상 복호화 장치 201 : 부호데이터 한정수신부

202 : 참조프레임 비교부 207 : 확인신호송신부

208 : 동화상 출력부 209 : 리플레쉬신호 송신부

210 : 수신능력 변경요구수단 301,401,601 : 수신능력추정부

302 : 수신단말분류부 303,402,602 : 대상단말한정부

403 : 대상단말기록부 404 : 불필요 프레임선정부

405 : 불필요 프레임소거부 406 : 불필요 프레임번호송신부

501 : 불필요 프레임번호수신부 502 : 불필요 프레임소거부

603 : 프레임가중부 604 : 가중기록부

605 : 필요 프레임소거부

Claims (6)

1. 어느 시점에서의 피전송 데이터를 예측부호화 시에 기준으로 하는 참조 데이터로 하고, 그 이후에 전송할 각 시점의 피전송 데이터를 예측 부호화하며, 해당 부호화 데이터를 복호화 장치에 전송하는 부호화 장치에 있어서,

   상기 복호화 장치로부터 통지되는 상기 부호화 데이터에 관한 각 시점의 수신상태에 근거하여, 상기 복호화 장치의 수신능력을 추정하는 추정수단과,

   상기 추정수단에 의한 추정결과에 근거하여, 다음 시점에서 전송될 부호화 데이터를 복호하는 복호화 장치를 복수 중에서 한정하는 전송대상 한정수단과,

   상기 전송대상 한정수단이 한정한 복호화 장치에 적합한 참조 데이터를 선택하는 선택수단과,

   상기 선택수단에 의한 선택결과에 따라, 상기 참조 데이터를 적응적으로 갱신하는 참조 데이터 갱신수단을 구비하고,

   상기 추정수단은 상기 복호화 장치로부터 수신능력의 변경요구가 있을 경우에 수신능력을 다시 추정하고, 수신능력의 변경요구를 수신하였는지 아닌지를 판단하는 것을 특징으로 하는 부호화 장치.
2. 제 1 항 또는 제 2 항에 있어서,

   상기 추정수단에 의한 추정결과에 근거하여, 동등한 수신능력을 갖는 복호화 장치를 분류하여, 동일한 분류에 속하는 복호화 장치에 대해서는, 동일한 타이밍으로 상기 부호화 데이터가 전송되도록 상기 참조 데이터 갱신수단에서의 갱신동작을 제어하는 분류수단을 구비한 것을 특징으로 하는 부호화 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   참조 데이터로 선택되는 경우에 대비하여 기억되어 있는 피전송 데이터의 각각에 대해, 해당 피전송 데이터가, 과거에 어느 복호화 장치를 전송대상으로 할 때에 참조 데이터로서 선정되었는지를 기록하는 기억수단과,

   상기 기억수단을 검색하여, 복호화 장치의 조합이 동일한 피전송 데이터가 복수 존재하는 경우에는, 이들 중에서 오래된 피전송 데이터를 불필요한 데이터로 선정하는 선정수단과,

   선정된 불필요한 피전송 데이터를, 해당 데이터를 유지하는 기억수단으로부터 소거하는 소거수단을 구비한 것을 특징으로 하는 부호화 장치.
4. 제 4 항에 있어서,

   상기 선정수단은, 상기 복호화 장치의 조합이 동일한 오래된 피전송 데이터 중에서, 전송대상인 복호화 장치에 대한 최대 전파지연 시간을 경과한 데이터를 불필요한 데이터로 선정하는 것을 특징으로 하는 부호화 장치.
5. 제 1 항 또는 제 2 항에 있어서,

   참조 데이터로 선택되는 경우에 대비하여 기억되어 있는 피전송 데이터의 각각에 대해, 해당 피전송 데이터가, 과거에 어느 복호화 장치를 전송대상으로 할 때에 참조 데이터로서 선정되었는지를 기록하는 기억수단과,

   상기 기억수단에 기억되어 있는 각 피전송 데이터에 대해, 중요도가 높을 수록 큰 가중치를 부여하는 가중수단과,

   상기 기억수단으로부터 상기 피전송 데이터를 소거할 필요가 생긴 경우, 큰 가중치가 부여되어 있는 피전송 데이터의 순서로 소거하는 소거수단을 구비하며,

   상기 가중수단은, 각 복호화 장치의 각각을 상기 추정수단에 의해 추정된 수신능력에 따라 가중시키고, 각 피전송 데이터의 가중치를, 해당 피전송 데이터를 참조 데이터로 한 부호화 데이터를 수신한 복호화 장치의 가중치의 합계값으로 정의하는 것을 특징으로 하는 부호화 장치.
6. 어느 시점에서의 피전송 데이터를 예측부호화 시에 기준으로 하는 참조 데이터로 하고, 그 이후에 전송할 각 시점의 피전송 데이터를 예측 부호화하며, 해당 부호화 데이터를 출력하는 부호화 장치와, 이 부호화 장치에 대응하고, 도달한 부호화 데이터를 복호하는 복호화 장치를 갖는 전송 시스템에 있어서,

   상기 부호화 장치는,

   상기 복호화 장치로부터 통지되는 상기 부호화 데이터에 관한 각 시점의 수신상태에 근거하여, 상기 복호화 장치의 수신능력을 추정하는 추정수단과,

   상기 추정수단에 의한 추정결과에 근거하여, 다음 시점에서 전송될 부호화 데이터를 복호하는 복호화 장치를 복수 중에서 한정하는 전송대상 한정수단과,

   상기 전송대상 한정수단이 한정한 복호화 장치에 적합한 참조 데이터를 선택하는 선택수단과,

   상기 선택수단에 의한 선택결과에 따라, 상기 참조 데이터를 적응적으로 갱신하는 참조 데이터 갱신수단을 구비하고,

   상기 복호화 장치는, 상기 부호화 데이터에 관한 각 시점의 수신상태를 상기 복호화 장치에 대해 통지하는 수신상태 통지수단과, 상기 부호화 장치에 대해 수신능력의 변경요구를 송신하는 요구 송신수단을 구비하며,

   상기 부호화 장치의 추정수단을, 수신능력의 변경요구 시에는 다시 추정하고, 수신능력의 변경요구를 수신하였는지 아닌지를 판단하는 것을 특징으로 하는 전송 시스템.

Images