KR20070088547A

KR20070088547A - 동화상 변환 방법, 동화상 변환 장치, 동화상 변환 시스템 및 서버 장치 및 프로그램이 기록된 기록 매체

Info

Publication number: KR20070088547A
Application number: KR20077007151A
Authority: KR
Inventors: 히로노리 이또; 가즈노리 오자와
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2005-10-12
Filing date: 2006-09-05
Publication date: 2007-08-29
Also published as: CN101040534A; EP1814334A1; KR100917481B1; CN100551068C; JP4853647B2; US8229000B2; JPWO2007043256A1; EP1814334A4; KR20080104072A; US20090232223A1; WO2007043256A1

Abstract

본 발명은 화상 데이터의 복호, 및 재부호화 처리의 연산량의 증대를 억지 저감하고, 변환 화상을 배신할 때의 전송 용량에 대응 가능하게 하는 장치, 및 방법을 제공하기 위한 것으로, 화상 데이터 변환부(205)는, 변환 개시 프레임의 화상을 인트라 모드로 변환하여 출력한다. 절환기(206)는, 변환 개시 프레임으로서, 화상 데이터 변환부(205)가 출력한 인트라 모드의 화상을 출력하고, 그 이외의 프레임은, 수신 데이터(100)로부터 분리된 화상 데이터(103)를 그대로 출력한다. 또한, 데이터 동기·출력부(208)는, 변환 후의 화상 데이터의 사이즈가 증가한 경우, 음성 데이터를 시간적으로 뒤로 어긋나게 하는 조정을 행함으로써, 화상과 음성의 동기를 취한다.

절환기, 화상 데이터 변환부, 데이터 동기·출력부, 복호 시 양자화 정밀도, 목표 부호량, 부호량 제어부, 부호화 시 양자화 정밀도, 화상 부호화부

Description

동화상 변환 방법, 동화상 변환 장치, 동화상 변환 시스템 및 서버 장치 및 프로그램{MOVING IMAGE CONVERSION METHOD, MOVING IMAGE CONVERSION APPARATUS, MOVING IMAGE CONVERSION SYSTEM, AND SERVER APPARATUS, AND PROGRAM}

본 발명은, 동화상 변환 기술에 관한 것으로, 특히, 동화상 변환 방법과 장치 및 시스템과 컴퓨터 프로그램에 관한 것이다.

최근, 휴대 단말기를 이용한 텔레비전 전화 서비스 및 동화상 배신 서비스가 보급되고 있다. 또한, 금후에는, 서버가, 휴대 단말기로부터 수신한 동화상 데이터를 축적하고 그 동화상 데이터를 배신하는 서비스도 보급되어 갈 것으로 사료된다.

도 1은, 종래의 동화상 변환 장치의 전형적인 구성의 일례를 도시하는 도면이다. 도 1을 참조하면, 동화상 변환 장치가 수신한 수신 데이터(100)는, 데이터 수신·분리부(101)에 의해, 제어 데이터(102), 화상 데이터(103), 및 음성 데이터(104)로 분리(demultiplex)된다.

화상 부호화에 관한 정보인 제어 데이터(102)는, 화상 데이터 복호부(105)에 입력된다. 또한, 제어 데이터(102)는, 화상 데이터 복호부(105)와 화상 데이터 부호화부(107)에 입력되는 경우도 있다.

화상 데이터(103)는, 화상 데이터 복호부(105)에 입력된다.

화상 데이터 복호부(105)는, 제어 데이터(102)로부터 얻어진 정보에 기초하여, 화상 데이터(103)를 복호하여 복호 화상 데이터를 생성하고, 그 복호 화상 데이터를 절환기(106)에 출력한다.

음성 데이터(104)는, 절환기(106)에 입력된다.

절환기(106)는, 변환 지시 신호(109)에 의해 변환 개시가 통지되고나서, 변환 지시 신호(109)에 의해 변환 종료가 통지될 때까지, 그 복호 화상 데이터를 화상 데이터 부호화부(107)에 입력하고, 음성 데이터(104)를 데이터 출력부(108)에 입력한다.

화상 데이터 부호화부(107)는, 입력된 복호 화상 데이터를 인트라 모드 및 인터 모드에서 부호화하여 화상 재부호화 데이터를 생성하며, 그 화상 재부호화 데이터를 데이터 출력부(108)에 입력한다.

데이터 출력부(108)는, 절환기(106)로부터 출력된 음성 데이터와, 화상 데이터 부호화부(107)로부터 출력된 화상 재부호화 데이터를 접수하고, 그 음성 데이터와 그 화상 재부호화 데이터를 출력한다.

제3 세대(3GPP)의 휴대 단말기에서는, 동화상 부호화 방식으로서 MPEG4(ISO/IEC 14496-2:2003 "Information Technology Coding of Audio and Video Visual Objects -Part2: Visual.")가 널리 이용되고 있다.

MPEG4에는, 현 프레임의 화상 데이터만을 이용하여 현 프레임의 화상 데이터를 부호화하는 인트라 모드와, 과거의 프레임의 화상 데이터도 참조하여 현 프레임 의 화상 데이터를 부호화하는 인터 모드가 있다.

인트라 모드에서는, 화상 데이터를 구성하는 입력 화소는, 매크로 블록으로 불리는 단위마다, DCT(Discrete Cosine Transform) 처리되고, 그 후, DCT 계수가 가변 길이 부호화된다.

인터 모드에서는, 입력 화소와 과거의 프레임의 복호 화소를 이용하여 움직임 보상 예측을 행함으로써, 차분 화소가 구해지고, 그 차분 화소는 DCT 처리되어, 그 후 움직임 벡터 및 DCT 계수 등이 가변 길이 부호화된다.

동화상 변환 장치가, 동화상의 축적 및 배신에 사용되는 경우, 동화상 변환 장치는, 축적 화상의 선두 프레임을 재생할 때, 선두 프레임의 전 프레임의 화상을 참조할 수 없다. 이 때문에, 축적 화상의 선두 프레임은, 반드시 인트라 모드에서 부호화된 데이터일 필요가 있다.

또한, 특허 문헌 1에는, MPEG 비디오 스트림을 처리하는 비디오 스트림 편집 방법 및 장치가 개시되어 있다.

이 장치는, 우선, I 또는 P 픽쳐가 최종 표시 화상으로 되도록, MPEG 비디오 스트림1로부터 제1 부분 스트림을 잘라내고, 그리고, I 또는 P픽쳐가 선두 표시 화상으로 되도록, MPEG 비디오 스트림2로부터 제2 부분 스트림을 잘라낸다.

계속해서, 이 장치는, 제2 부분 스트림의 선두 표시 픽쳐가, I픽쳐인지의 여부를 판별한다.

제2 부분 스트림의 선두 표시 픽쳐가 I픽쳐인 경우, 이 장치는, 제2 부분 스트림의 선두 표시 픽쳐를, I픽쳐 그대로 한다.

한편, 제2 부분 스트림의 선두 표시 픽쳐가 P픽쳐인 경우, 이 장치는, 그 P픽쳐의 직전의 I픽쳐부터 그 P픽쳐까지를 순차적으로 복호하여, 그 P픽쳐의 복호 화상을 생성한다. 그 후, 이 장치는, 그 P픽쳐의 복호 화상을 재차 부호화하여 I픽쳐의 화상 데이터를 생성하고, 그 I픽쳐의 화상 데이터를, 제2 부분 스트림의 선두 표시 픽쳐인 P픽쳐로 치환한다.

그 후, 이 장치는, 제1 부분 스트림과 제2 부분 스트림을 결합하여 제3 픽쳐를 생성한다.

또한, 특허 문헌 2에는, 화상을 프레임마다 부호화하는 화상 축적 재생 장치가 개시되어 있다. 이 화상 축적 재생 장치는, 부호화 수단과, 축적 수단과, 접수 수단과, 제어 수단과, 복호화 수단과, 인트라 부호 수단과, 송신 수단을 갖는다.

부호화 수단은, 미리 정해진 프레임 수의 프레임 내에서, 모든 위치의 매크로 블록을, 적어도 1회는, 미리 정해진 인트라 모드에서 부호화하고, 그 인트라 모드에서 부호화한 매크로 블록 이외의 매크로 블록을, 미리 정해진 인터 모드에서 부호화한다. 축적 수단은, 부호화 수단에 의해 부호화된 화상을 축적한다.

접수 수단은, 축적 수단에 축적된 화상에 대하여, 외부로부터 재생 개시 위치를 접수한다. 제어 수단은, 접수 수단이 접수한 재생 개시 위치로부터, 상기 미리 정해진 프레임 수만큼 거슬러 올라, 축적 수단으로부터 화상을 읽어낸다. 복호화 수단은, 상기 읽어내어진 화상을 복호화하여, 상기 재생 개시 위치에 대한 화상 프레임을 작성한다. 인트라 부호 수단은, 복호화 수단에서 작성된 화상 프레임을 인트라 모드에서 부호화한다. 송신 수단은, 인트라 부호 수단에서 부호화된 화상 프레임을 송신한다.

특허 문헌 1: 일본 특허 공개 2002-300528호 공보

특허 문헌 2: 일본 특허 공개 2002-314940호 공보

<발명의 개시>

<발명이 해결하고자 하는 과제>

도 1을 참조하여 설명한 종래의 동화상 변환 장치는, 단말기로부터 수신한 화상 데이터를 항상 복호하여 복호 화상을 생성한다. 그리고, 이 동화상 변환 장치는, 그 복호 화상 중, 축적을 개시하는 프레임부터 축적을 종료하는 프레임까지의 사이에 존재하는 모든 복호 화상을 재부호화한다. 이 동화상 변환 장치는, 그 재부호화에 의해 생성된 화상 데이터를 출력하여 축적한다.

이와 같이, 종래의 동화상 변환 장치는, 수신한 화상 데이터를 항상 복호하고, 변환 개시가 통지되고나서 변환 종료가 통지될 때까지의 기간에 생성된 모든 복호 화상을 재부호화한다. 이 때문에, 종래의 동화상 변환 장치는, 화상의 재부호화 처리에 다대한 연산량을 필요로 한다. 이 결과, 예를 들면, 동시에 복수 채널의 화상 데이터를 변환하는 경우, 화상 처리를 전용으로 행하기 위한 DSP(Digital Signal Processor)가 다수 필요하게 되어, 장치가 대규모로 되는 문제가 발생한다.

또한, 종래의 동화상 변환 장치에서는, 인터 모드에서 부호화된 화상 프레임을, 변환 개시의 선두 프레임으로서 이용되는 인트라 모드의 화상 프레임으로 변환하는 경우, 변환 전과 동일 정도의 화질을 확보하기 위해서는 부호량이 증가한다. 이 때문에, 예를 들면 변환 후의 화상 데이터를 배신할 때에, 화상 데이터량이 전송 용량을 초과하게 되는 문제, 및, 화상과 음성 데이터의 동기를 취할 수 없게 되는 문제가 발생한다.

특허 문헌 1 및 2 등에 개시된 장치는, 인트라 모드로 변환한 프레임에 계속되는 인터 모드의 프레임을, 복호 및 재부호화 처리하지 않기 때문에, 연산량은, 도 1을 참조하여 설명한 종래의 동화상 변환 장치와 비교하여 경감된다.

그러나, 이 장치는, 인트라 모드로 변환하는 화상 데이터를 복호하기 위해, 복호에 필요한 과거의 화상 데이터를 모두 유지해 두고, 이들 모두를, 인트라 모드로의 변환 개시를 접수하고나서 복호한다. 이 때문에, 이 장치에서는, 인트라 모드로의 변환 개시를 접수하고나서 인트라 모드로의 변환을 종료할 때까지의 시간이 길어진다. 따라서, 이 장치는 즉시성이 요구되는 서비스 등에 적용하기에 부적합하다.

본 발명은, 상기 과제를 감안하여 창안된 것으로서, 그 주된 목적은, 연산량의 증가를 억지하여 저감하여, 장치의 대형화를 억지 가능하게 하는 장치, 방법과 시스템 및 프로그램을 제공하는 것에 있다.

본 발명의 다른 목적은, 동화상을 변환할 때에 필요한 변환 처리에서, 화상 데이터의 부호량이 증감함으로써, 변환한 동화상이 올바르게 재생되지 않는 문제를 해소하는 장치, 방법과 시스템 및 프로그램을 제공하는 것에 있다.

<과제를 해결하기 위한 수단>

본 발명의 1개의 어스펙트(측면)에 따른 방법은, 압축 부호화된 화상 스트림 을 접수하는 공정과, 지시된 프레임의 스트림 또는 매크로 블록의 스트림을 인트라 모드의 스트림으로 변환하고, 그 인트라 모드의 스트림을 출력하고, 지시된 것 이외의 화상 스트림에 대해서는, 접수된 화상 스트림을 그대로 출력하는 공정을 포함한다.

본 발명에 따른 방법은, 압축 부호화된 화상 스트림을 접수하는 공정과, 상기 화상 스트림을 항상 복호하여 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 임의의 프레임 또는 매크로 블록을 인트라 모드의 스트림으로 변환하고, 상기 인트라 모드의 스트림을 출력하고, 상기 지시된 임의의 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 상기 화상 스트림을 그대로 출력하는 공정을 포함한다.

본 발명에서, 상기 변환 시의 양자화 정밀도는, 상기 화상 스트림의 부호량, 상기 복호 시의 양자화 정밀도, 및 목표로 하는 출력 부호량 중의 적어도 하나를 이용하여 제어되어도 된다.

본 발명에서, 상기 화상 스트림을 접수하는 공정에서는, 상기 화상 스트림과 함께 음성 데이터도 접수되며, 상기 인트라 모드로 변환 후의 상기 스트림의 부호량이 상기 인트라 모드로 변환 전의 상기 화상의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시각에 관한 정보를 조정하는 공정이 더 포함되어도 된다.

본 발명의 다른 어스펙트에 따른 장치는, 압축 부호화된 화상 스트림을 접수하는 수단과, 지시된 프레임의 스트림 또는 매크로 블록의 스트림을 인트라 모드의 스트림으로 변환하고, 그 인트라 모드의 스트림을 출력하고, 지시된 것 이외의 화 상 스트림에 대해서는, 접수된 화상 스트림을 그대로 출력하는 수단을 포함한다.

본 발명에 따른 장치는, 압축 부호화된 화상 스트림을 접수하는 입력부와, 상기 화상 스트림을 항상 복호하여 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 프레임 또는 매크로 블록을 인트라 모드의 스트림으로 변환하고, 상기 인트라 모드의 스트림을 출력하고, 상기 지시된 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 상기 화상 스트림을 그대로 출력하는 제어부를 포함한다.

본 발명에 따른 장치에서, 제어부는, 변환 시의 양자화 정밀도를, 화상 스트림의 부호량, 복호 시의 양자화 정밀도, 및 목표로 하는 출력 부호량 중, 적어도 하나를 이용하여 제어한다. 본 발명에 따른 장치에서는, 입력부는, 화상 스트림과 함께 음성 데이터도 접수하고, 제어부는, 인트라 모드로 변환 후의 스트림의 부호량이 인트라 모드로 변환 전의 화상의 부호량에 대하여 변화된 경우, 음성 데이터의 재생 시각에 관한 정보를 조정해도 된다.

본 발명에 따른 장치는, 적어도 압축 부호화된 화상 데이터를 포함하는 수신 데이터를 접수하고, 상기 수신 데이터로부터 적어도 상기 화상 데이터를 분리하고, 상기 화상 데이터를 출력하는 분리부와, 상기 분리부로부터 출력되는 상기 화상 데이터를 접수하고, 상기 화상 데이터를 복호하여 복호 화상을 생성하고, 상기 복호 화상을 부호화하여 화상 데이터를 생성하고, 상기 생성된 화상 데이터를 출력하는 화상 데이터 변환부와, 상기 화상 데이터 변환부로부터 출력되는 상기 화상 데이터와, 상기 분리부로부터 출력되는 상기 화상 데이터를 접수하고, 입력되는 변환 지 시 신호에 기초하여, 출력하는 화상 데이터를, 상기 화상 데이터 변환부로부터 출력되는 상기 화상 데이터와, 상기 분리부로부터 출력되는 상기 화상 데이터, 중 어느 하나로 절환하는 절환부와, 상기 절환부로부터 출력되는 화상 데이터를 접수하고, 상기 화상 데이터를 출력하는 출력부를 포함한다. 상기 화상 데이터 변환부는, 상기 변환 지시 신호를 접수하고, 상기 변환 지시 신호에 의해 변환 개시가 통지된 프레임에 대응하는 복호 화상을 인트라 모드에서 부호화하여 화상 데이터를 생성하고, 상기 부호화에서 얻어진 화상 데이터를 상기 절환기에 출력하고, 상기 절환기는, 상기 변환 지시 신호에 의해 변환 개시가 통지된 경우, 변환 개시의 프레임으로서, 상기 화상 데이터 변환부로부터 출력되는 화상 데이터를 상기 출력부에 출력하고, 그 이후의 프레임으로부터 변환 종료 프레임으로서, 상기 분리부로부터 출력되는 화상 데이터를 상기 출력부에 출력해도 된다.

본 발명에서, 상기 분리부는, 상기 화상 데이터와, 화상 부호화에 관한 정보인 제어 데이터와, 음성 데이터를 포함하는 수신 데이터를 접수하고, 상기 수신 데이터로부터, 상기 제어 데이터와, 상기 화상 데이터와, 상기 음성 데이터를 분리하고, 상기 제어 데이터와, 상기 화상 데이터와, 상기 음성 데이터를 출력하고, 상기 화상 데이터 변환부는, 상기 제어 데이터로부터 얻어진 정보에 기초하여, 상기 화상 데이터를 복호하여 상기 복호 화상을 도출하고, 상기 절환기는, 상기 음성 데이터를 접수하고, 상기 변환 지시 신호에 의해 통지된, 변환 개시부터 변환 종료까지의 동안, 상기 음성 데이터를 상기 출력부에 출력하고, 상기 출력부는, 상기 절환부로부터 상기 화상 데이터와 상기 음성 데이터를 접수하고, 상기 화상 데이터와 상기 음성 데이터를 동기시켜 출력해도 된다.

본 발명에서, 상기 출력부는, 상기 화상 데이터 변환부에서 변환 후의 화상 데이터의 부호량이 변환 전의 화상 데이터의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시각에 관한 정보를 조정한다.

본 발명에서, 상기 출력부는, 상기 변환 후의 화상 데이터의 부호량이 상기 변환 전의 화상 데이터의 부호량보다 증가한 양에 따라서, 상기 음성 데이터의 재생 타이밍을 늦게 해도 된다. 본 발명에서, 상기 출력부는, 상기 변환 개시의 프레임의 선두에 대응하는 상기 음성 데이터의 개소에, 무음 데이터를 삽입해도 된다.

본 발명에서, 상기 화상 데이터 변환부는, 화상 복호부와, 부호량 제어부와, 화상 부호화부를 포함하고, 상기 화상 복호부는, 상기 분리부로부터 출력되는 상기 화상 데이터를 접수하고, 상기 화상 데이터를 복호하여 복호 화상을 생성함과 함께, 복호 시에 얻어진 복호 시 양자화 정밀도와, 수신한 프레임 단위, 매크로 블록 단위 또는 비디오 패킷 단위의 수신 부호량을 상기 부호량 제어부에 출력하고, 상기 부호량 제어부는, 상기 화상 복호부로부터의 상기 복호 시 양자화 정밀도와, 상기 수신 부호량, 및 입력된 목표 부호량 중, 적어도 하나를 이용하여, 부호화 시의 양자화 정밀도를 결정하고, 상기 부호화 시의 양자화 정밀도를 상기 화상 부호화부에 출력하고, 상기 화상 부호화부는, 상기 부호량 제어부로부터의 상기 부호화 시의 양자화 정밀도에 따라서, 상기 복호 화상을 부호화하여 상기 화상 데이터를 생성하고, 상기 생성된 화상 데이터를 출력해도 된다.

본 발명의 다른 어스펙트에 따른 컴퓨터 프로그램은, 동화상 변환 장치를 구성하는 컴퓨터에, 압축 부호화된 화상 스트림을 접수하는 처리와, 상기 화상 스트림을 항상 복호하여 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 임의의 프레임 또는 매크로 블록을 인트라 모드의 스트림으로 변환하고, 상기 인트라 모드의 스트림을 출력하고, 상기 지시된 임의의 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 상기 화상 스트림을 그대로 출력하는 처리를 실행시킨다.

본 발명에 따른 컴퓨터 프로그램은, 상기 변환 시의 양자화 정밀도를, 상기 화상 스트림의 부호량, 상기 복호 시의 양자화 정밀도, 및 목표로 하는 출력 부호량 중, 적어도 하나를 이용하여 제어하는 처리를 더 상기 컴퓨터에 실행시켜도 된다.

본 발명에 따른 컴퓨터 프로그램은, 상기 화상 스트림을 접수하는 처리에서는, 상기 화상 스트림과 함께 음성 데이터도 접수하고, 상기 인트라 모드로 변환 후의 상기 스트림의 부호량이 상기 인트라 모드로 변환 전의 상기 화상의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시각에 관한 정보를 조정하는 처리를 더 상기 컴퓨터에 실행시켜도 된다.

<발명의 효과>

본 발명에 따르면, 지정된 프레임 또는 매크로 블록의 화상을 인트라 모드의 스트림으로 변환하고, 그 인트라 모드의 스트림을 출력하고, 그 이외의 화상 데이터는 수신한 화상을 그대로 출력하는 구성으로 한 것에 의해, 동화상을 변환할 때 에 필요한 화상 부호화에서의 처리가 삭감된다. 본 발명에 따르면, 연산량을 감축하여, 장치의 대형화를 억지 가능하게 하고 있다. 또한, 본 발명에 따르면, 종래 방식보다도, 많은 채널 수의 동화상을 동시에 변환할 수 있다.

또한, 본 발명에 따르면, 변환한 동화상의 부호량이, 전송로의 용량을 초과하지 않도록, 변환 시의 양자화 정밀도를 제어할 수 있고, 또한, 화상과 음성의 동기가 어긋나지 않도록, 증가한 부호량에 따라서, 음성 데이터의 재생 시각에 관한 정보를 조정할 수 있다. 이 때문에, 동화상을 변환할 때에 필요한 변환 처리에 의해 화상 데이터의 부호량이 증가함으로써, 변환한 동화상이 올바르게 재생되지 않는 문제를 회피할 수 있다.

또한, 본 발명에 따르면, 압축 부호화된 화상 데이터를 항상 복호하여 복호 화상을 생성해 두고, 변환 지시 신호에 의해 변환이 지시되었을 때에, 그 복호 화상이 인트라 모드의 스트림으로 변환된다. 이 때문에, 인트라 모드의 스트림으로의 변환이 지시되고 나서 인트라 프레임으로의 변환이 종료할 때까지의 시간을 단축할 수 있다.

도 1은 종래의 장치의 전형적인 구성의 일례를 도시하는 도면.

도 2는 본 발명의 일 실시예의 구성을 도시하는 도면.

도 3은 본 발명의 일 실시예에서의 화상 데이터 변환부의 구성의 일례를 도시하는 도면.

도 4a는 본 발명의 일 실시예에서의 데이터 동기 조정을 설명하기 위한 도 면.

도 4b는 본 발명의 일 실시예에서의 데이터 동기 조정을 설명하기 위한 도면.

<도면의 주요 부분에 대한 부호의 설명>

100: 수신 데이터

101, 201: 데이터 수신·분리부

102: 제어 데이터

103: 화상 데이터

104: 음성 데이터

105: 화상 데이터 복호부

106, 206: 절환기

107: 화상 데이터 부호화부

1088: 데이터 출력부

109: 변환 지시 신호

205: 화상 데이터 변환부

208: 데이터 동기·출력부

301: 화상 복호부

302: 복호 시 양자화 정밀도

303: 수신 부호량

304: 목표 부호량

305: 부호량 제어부

306: 부호화 시 양자화 정밀도

307: 화상 부호화부

<발명을 실시하기 위한 최량의 형태>

상기한 본 발명을 더욱 상세하게 설명하기 위해, 첨부 도면을 참조하여 본 발명을 설명한다. 본 발명에서는, 화상 데이터 변환부(205)는, 데이터 수신·분리부(201)로부터 제공된 화상 데이터 중, 변환 개시가 통지된 프레임(변환 개시 프레임)의 화상 데이터를 인트라 모드로 변환하고, 그 변환 결과를, 절환기(206)를 통하여 출력한다. 변환 개시 프레임 이외의 화상 데이터에 대해서는, 절환기(206)는, 데이터 수신·분리부(201)로부터 제공된 화상 데이터를 그대로 출력한다.

또한, 본 발명에서는, 데이터 동기·출력부(208)는, 인트라 모드로 변환 후의 화상 데이터의 사이즈가 인트라 모드로 변환 전의 화상 데이터의 사이즈보다 증가한 경우, 화상과 음성의 동기가 어긋나지 않도록, 음성의 재생 시각을 조정한다. 예를 들면, 데이터 동기·출력부(208)는, 화상과 음성의 동기가 취해지도록, 음성 데이터의 재생 타이밍을 시간적으로 뒤로 어긋나게 하여 지연시킨다.

또한, 본 발명에서는, 데이터 수신·분리부(201)로부터 화상 데이터를 접수하는 화상 데이터 변환부(205)는, 그 화상 데이터를 항상 복호하여 복호 화상을 도출하고, 변환 지시 신호에 의해 변환 개시가 지시되었을 때에 도출된 복호 화상, 환언하면, 변환 지시 신호에 의해 변환 개시가 통지된 프레임 또는 매크로 블록에 대응하는 복호 화상을, 인트라 모드의 스트림으로 변환한다. 이러한 구성에 의해, 인트라 모드로의 변환이 지시되고나서 인트라 모드로의 변환이 종료할 때까지의 시간을 단축 가능하게 하고 있다.

본 발명에 따른 방법은, 예를 들면 이하의 스텝을 포함한다.

스텝 1: 데이터 수신·분리부(201)는, 압축 부호화된 화상 스트림을 적어도 포함하는 수신 데이터로부터, 화상 스트림을 분리하고, 그 분리된 화상 스트림을, 화상 데이터 변환부(205)에 출력한다.

스텝 2: 화상 데이터 변환부(205)는, 화상 스트림을 항상 복호하여 프레임마다 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 임의의 프레임 또는 매크로 블록을, 인트라 모드의 스트림으로 변환한다. 이 때, 절환기(206)는, 화상 데이터 변환부(205)에 의해 변환된 인트라 모드의 스트림을 출력한다.

스텝 3: 지시된 임의의 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 절환기(206)는, 데이터 수신·분리부(201)에서 분리된 화상 스트림을, 그대로 출력한다.

본 발명에 따른 방법에서, 데이터 동기·출력부(208)는, 데이터를 출력할 때에, 변환 후의 화상의 부호량이 변환 전의 부호량에 대하여 변화된 경우, 음성의 재생 시각에 관한 정보를 조정해도 된다. 이하, 실시예에 의거하여 설명한다.

<실시예>

도 2는, 본 발명의 일 실시예의 구성을 도시하는 도면이다. 도 2를 참조하면, 본 실시예에 따른 동화상 변환 장치는, 데이터 수신·분리부(201)와, 화상 데이터 변환부(205)와, 절환기(206)와, 데이터 동기·출력부(208)를 포함하고 있다.

데이터 수신·분리부(201)는, 입력부의 일례이다. 또한, 화상 데이터 변환부(205)와, 절환기(206)와, 데이터 동기·출력부(208)는, 제어부를 구성한다.

압축 부호화되어 전송된 수신 데이터(스트림)(100)는, 압축 부호화된 화상 데이터(스트림)(103)와, 화상 부호화에 관한 정보인 제어 데이터(102)와, 화상 데이터(103)와 동기한 음성 데이터(104)를 포함한다. 수신 데이터(100)는, 데이터 수신·분리부(201)에 입력된다.

데이터 수신·분리부(201)는, 수신 데이터(100)를, 제어 데이터(102), 화상 데이터(103), 및, 음성 데이터(104)로 분리한다.

데이터 수신·분리부(201)는, 제어 데이터(102)를, 화상 데이터 변환부(205)에 제공한다.

데이터 수신·분리부(201)는, 화상 데이터(103)를, 화상 데이터 변환부(205), 및 절환기(206)에 제공한다.

데이터 수신·분리부(201)는, 음성 데이터(104)를, 절환기(206)에 제공한다.

화상 데이터 변환부(205)는, 제어 데이터(102)로부터 얻어진 정보에 기초하여 화상 데이터(103)를 항상 복호하여, 프레임마다 복호 화상을 도출한다.

또한, 화상 데이터 변환부(205)는, 변환 지시 신호(109)에 의해 변환 개시가 통지된 프레임(임의의 프레임)의 복호 화상을 인트라 모드에서 부호화하고(재부호화 처리), 부호화하여 얻어진 화상 데이터(인트라 모드의 스트림)를, 절환기(206)에 출력한다.

화상 데이터 변환부(205)는, 변환 지시 신호(109)에 의해 변환 개시가 통지 되었을 때에 도출된 프레임(복호 화상)을, 변환 개시가 통지된 프레임(복호 화상에 대하여 지시된 임의의 프레임)으로서 이용한다.

또한, 변환 지시 신호(109)에 의해 변환 개시가 통지된 프레임의 복호 화상은, 예를 들면, 복수의 매크로 블록으로 구성된다. 이 경우, 화상 데이터 변환부(205)는, 변환 지시 신호(109)에 의해 변환 개시가 통지되었을 때에 도출된 프레임(복호 화상)에 포함되는 매크로 블록을, 변환 개시가 통지된 매크로 블록(복호 화상에 대하여 지시된 임의의 매크로 블록)으로서, 이용한다.

화상 데이터 변환부(205)는, 인트라 모드에서 부호화할 때의 양자화 정밀도(일반적으로, 「Q값」으로 불림)로서, 예를 들면, 미리 정해진 고정값, 또는, 복호 시의 Q값을 이용한다. 또는, 화상 데이터 변환부(205)는, 인트라 모드에서 부호화할 때의 양자화 정밀도를, 도 3에 도시하는 바와 같은 부호량 제어에 따라서 제어한다.

도 3은, 도 2의 화상 데이터 변환부(205)의 구성을 도시하는 도면이다. 도 3을 참조하면, 화상 데이터 변환부(205)는, 화상 복호부(301)와, 부호량 제어부(305)와, 화상 부호화부(307)를 포함하고 있다.

화상 복호부(301)는, 제어 데이터(102)로부터 얻어진 정보에 기초하여 화상 데이터(103)를 항상 복호하여, 프레임마다 복호 화상을 도출하고, 그 프레임마다의 복호 화상을, 화상 부호화부(307)에 제공한다.

또한, 화상 복호부(301)는, 화상 데이터(103)의 복호 시에 얻어진 복호 시 양자화 정밀도(302)와, 수신한 프레임 단위, 혹은 매크로 블록 단위, 혹은 매크로 블록의 집합인 비디오 패킷 단위의 수신 부호량(수신한 화상 스트림의 부호량)(303)을 부호량 제어부(305)에 출력한다.

부호량 제어부(305)는, 복호 시 양자화 정밀도(302), 수신 부호량(303), 및 입력된 목표 부호량(304) 중의, 적어도 하나를 이용하여, 부호화 시의 양자화 정밀도(306)를 결정하고, 그 결정된 부호화 시의 양자화 정밀도(306)를, 화상 부호화부(307)에 출력한다.

화상 부호화부(307)는, 변환 지시 신호(109)를 접수하고, 변환 지시 신호(109)에 의해 변환 개시가 통지된 프레임 또는 매크로 블록의 복호 화상을, 부호화 시의 양자화 정밀도(306)에 따라서 인트라 모드에서 부호화하고, 부호화하여 얻어진 화상 데이터(인트라 모드의 스트림)를, 절환기(206)에 출력한다.

또한, 화상 부호화부(307)는, 변환 지시 신호(109)에 의해 변환 개시가 통지되었을 때에 화상 복호부(301)로부터 도출된 프레임(복호 화상)을, 변환 개시가 통지된 프레임으로서 이용한다.

또는, 화상 복호부(307)는, 변환 지시 신호(109)에 의해 변환 개시가 통지되었을 때에 화상 복호부(301)로부터 도출된 프레임(복호 화상)을 구성하는 매크로 블록을, 변환 개시가 통지된 매크로 블록으로서 이용한다.

복호 시 양자화 정밀도(302)는, 화상 복호부(301)에서의 복호 시에 얻어지는 파라미터로서, 부호화 후의 프레임의 부호량이 목표 부호량(304)에 근접하도록, 화상 부호화부(307)에서의 부호화를 제어할 때에, 유효한 정보로 된다. 예를 들면, 수신 부호량(303)이 목표 부호량(304)보다도 큰 경우, 부호량 제어부(305)는, 복호 시 양자화 정밀도(302)보다도 부호화 시 양자화 정밀도(306)를 정밀하지 않게 하는 제어를 행한다.

부호화 시의 양자화 정밀도(306)를 가장 크게 해도, 인트라 모드에서의 부호화에 의해 얻어지는 화상 데이터의 부호량이 목표 부호량(304)을 초과하게 되는 경우에는, 부호량 제어부(305)는, 화상 부호화부(307)에서의 부호화 시에 DCT 계수의 고차의 값의 몇 개인가를 0으로 함으로써, 화상 부호화부(307)가 출력하는 부호량을 작게 하는 것도 가능하다.

부호화 시의 양자화 정밀도(306)가 제어되기 때문에, 화상 부호화부(307)에서 부호화된 프레임을 포함하는 동화상의 부호량이, 전송로의 용량을 초과하지 않도록 하는 것이 가능하게 된다.

다시 도 2를 참조하면, 절환기(206)는, 변환 지시 신호(109)에 의해 변환 개시가 통지된 경우, 변환 개시의 선두 프레임으로서, 화상 데이터 변환부(205)의 출력 데이터/인트라 모드의 스트림)를 선택하고, 그 선택된 출력 데이터를 데이터 동기·출력부(208)에 출력한다.

또한, 절환기(206)는, 변환 개시의 선두 프레임의 다음의 프레임부터 변환 종료 프레임까지의 프레임에 대응하는 스트림으로서, 화상 데이터 변환부(205)의 출력 데이터가 아니라, 데이터 수신·분리부(201)로부터 출력되는 화상 데이터(스트림)(103)를, 데이터 동기·출력부(208)에 출력한다. 또한, 절환기(206)는, 변환 지시 신호(109)에 의해 변환 종료가 통지되었을 때에 데이터 수신·분리부(201)로부터 접수한 화상 데이터(103)를, 변환 종료 프레임으로서 이용한다.

또한, 절환기(206)는, 변환 지시 신호(109)에 의해 변환 개시가 통지되고나서 변환 지시 신호(109)에 의해 변환 종료가 통지될 때까지의 사이에 데이터 수신·분리부(201)로부터 접수한 음성 데이터(104)를, 데이터 동기·출력부(208)에 출력한다.

데이터 동기·출력부(208)는, 데이터 수신·분리부(201)가 수신 데이터(100)를 수신한 시각에 기초하는 시각 정보를, 화상 데이터 변환부(205)로부터 접수한 인트라 모드의 스트림에 부여하고, 시각 정보가 부여된 인트라 모드의 스트림을 출력한다.

이 때, 변환 개시 프레임의 화상 데이터의 부호량은, 인트라 모드에서 부호화됨으로써, 데이터 수신·분리부(201)가 수신하였을 때의 부호량보다도 증가하는 경우가 많다. 이 때문에, 변환 개시 시각에서 화상과 음성을 동기시키면, 화상이 지연되어 표시되게 된다.

따라서, 도 4b에 도시하는 바와 같이, 데이터 동기·출력부(208)는, 화상 데이터의 변환 개시 프레임에 대응하는 음성 데이터의 재생 타이밍을 뒤로 어긋나게 하는, 즉, 그 음성 데이터의 재생 타이밍을 지연시키는 조정을 행하여, 화상과 음성을 동기시킨다. 이 때, 화상의 선두에 대응하는 음성 데이터가 존재하지 않으면, 재생 시에 문제가 발생하는 경우에는, 데이터 동기·출력부(208)는, 예를 들면, 화상의 선두에 대응하는 음성 데이터로서, 무음 데이터를 삽입한다.

또한, 도 4a는, 데이터 수신·분리부(201)가 수신 데이터(100)를 수신하였을 때의 화상과 음성의 시간 관계를 모식적으로 도시하는 도면이다. 도 4b는, 데이터 동기·출력부(208)로부터 출력된 화상과 음성의 시간 관계를 모식적으로 도시하는 도면이다.

데이터 동기·출력부(208)는, 화상 데이터의 프레임 N을 인트라 모드에서 부호화함으로써 수신 시의 부호량보다도 증가한 부호량에 따른 시간만큼, 화상 데이터의 프레임 N에 대응하는 음성 데이터 m, m+1, m+2, m+3, m+4를, 시간적으로 후방으로 이동시킨다.

환언하면, 데이터 동기·출력부(208)는, 인트라 모드에서 변환 후의 화상 데이터의 프레임 N에 대응하는 음성 데이터 m, m+1, m+2, m+3, m+4를, 변환 후의 화상 데이터의 프레임 N과 동기하는 범위 내에서, 시간적으로 후방으로 이동시킨다. 도 4b의 출력 시의 프레임 N에서, 도 4a의 수신 시의 프레임 N에서의 음성 데이터 m 내지 m+4의 위치에는, 음성 데이터가 존재하지 않는다. 데이터 동기·출력부(208)는, 이 음성 데이터가 존재하지 않는 부분에, 무음 데이터를 삽입해도 된다.

또한, 상기 실시예의 동화상 변환 장치에서, 데이터 수신·분리부(201), 화상 데이터 변환부(205), 절환기(206), 데이터 동기·출력부(208)의 각 부의 처리 및 기능은, 동화상 변환 장치를 구성하는 CPU(컴퓨터) 상에서 실행되는 프로그램에서 실현되어도 된다.

예를 들면, 데이터 수신·분리부(201), 화상 데이터 변환부(205), 절환기(206), 데이터 동기·출력부(208)의 각 부의 처리 및 기능을 규정하는 프로그램이, 컴퓨터에서 판독 가능한 기록 매체(예를 들면, 메모리)에 기록되고, 동화상 변 환 장치를 구성하는 CPU가, 그 기록 매체로부터, 그 프로그램을 판독 실행한다.

또한, 상기 실시예의 동화상 변환 장치는, 다른 통신 장치와 조합되어, 시스템을 구성해도 되고, 동화상의 축적, 배신을 행하는 서버 등에 적용되어도 되는 것은 물론이다.

이상, 본 발명을 상기 실시예에 의거하여 설명하였지만, 본 발명은 상기 실시예의 구성에만 제한되는 것이 아니라, 본 발명의 범위 내에서 당업자이면 이룰 수 있을 각종 변형, 수정을 포함하는 것은 물론이다.

Claims

압축 부호화된 화상 스트림을 접수하는 공정과,

상기 화상 스트림을 항상 복호하여 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 임의의 프레임 또는 매크로 블록을 인트라 모드(intra mode)의 스트림으로 변환하고, 상기 인트라 모드의 스트림을 출력하고, 상기 지시된 임의의 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 상기 화상 스트림을 그대로 출력하는 공정

을 포함하는 동화상 변환 방법.
제1항에 있어서,

상기 변환 시의 양자화 정밀도를, 상기 화상 스트림의 부호량, 상기 복호 시의 양자화 정밀도, 및 목표로 하는 출력 부호량 중, 적어도 하나를 이용하여 제어하는 공정을 더 포함하는 동화상 변환 방법.
제1항에 있어서,

상기 화상 스트림을 접수하는 공정에서는, 상기 화상 스트림과 함께 음성 데이터도 접수하고,

상기 인트라 모드로 변환 후의 상기 스트림의 부호량이 상기 인트라 모드로 변환 전의 상기 화상의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시 각에 관한 정보를 조정하는 공정을 더 포함하는 동화상 변환 방법.
압축 부호화된 화상 스트림을 접수하는 입력부와,

상기 화상 스트림을 항상 복호하여 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 임의의 프레임 또는 매크로 블록을 인트라 모드의 스트림으로 변환하고, 상기 인트라 모드의 스트림을 출력하고, 상기 지시된 임의의 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 상기 화상 스트림을 그대로 출력하는 제어부

를 포함하는 동화상 변환 장치.
제4항에 있어서,

상기 제어부는, 상기 변환 시의 양자화 정밀도를, 상기 화상 스트림의 부호량, 상기 복호 시의 양자화 정밀도, 및 목표로 하는 출력 부호량 중, 적어도 하나를 이용하여 제어하는 동화상 변환 장치.
제4항에 있어서,

상기 입력부는, 상기 화상 스트림과 함께 음성 데이터도 접수하고,

상기 제어부는, 상기 인트라 모드로 변환 후의 상기 스트림의 부호량이 상기 인트라 모드로 변환 전의 상기 화상의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시각에 관한 정보를 조정하는 동화상 변환 장치.
적어도 압축 부호화된 화상 데이터를 포함하는 수신 데이터를 접수하고, 상기 수신 데이터로부터 적어도 상기 화상 데이터를 분리하고, 상기 화상 데이터를 출력하는 분리부와,

상기 분리부로부터 출력되는 상기 화상 데이터를 접수하고, 상기 화상 데이터를 복호하여 복호 화상을 생성하고, 상기 복호 화상을 부호화하여 화상 데이터를 생성하고, 상기 생성된 화상 데이터를 출력하는 화상 데이터 변환부와,

상기 화상 데이터 변환부로부터 출력되는 상기 화상 데이터와, 상기 분리부로부터 출력되는 상기 화상 데이터를 접수하고, 입력되는 변환 지시 신호에 기초하여, 출력하는 화상 데이터를, 상기 화상 데이터 변환부로부터 출력되는 상기 화상 데이터와, 상기 분리부로부터 출력되는 상기 화상 데이터 중 어느 하나로 절환하는 절환부와,

상기 절환부로부터 출력되는 화상 데이터를 접수하고, 상기 화상 데이터를 출력하는 출력부

를 포함하고,

상기 화상 데이터 변환부는, 상기 변환 지시 신호를 접수하고, 상기 변환 지시 신호에 의해 변환 개시가 통지된 프레임에 대응하는 복호 화상을 인트라 모드에서 부호화하여 화상 데이터를 생성하고, 상기 부호화에 의해 얻어진 화상 데이터를 상기 절환기에 출력하고,

상기 절환기는, 상기 변환 지시 신호에 의해 변환 개시가 통지된 경우, 변환 개시의 프레임으로서, 상기 화상 데이터 변환부로부터 출력되는 화상 데이터를 상기 출력부에 출력하고, 그 이후의 프레임으로부터 변환 종료 프레임으로서, 상기 분리부로부터 출력되는 화상 데이터를 상기 출력부에 출력하는 동화상 변환 장치.
제7항에 있어서,

상기 분리부는, 상기 화상 데이터와, 화상 부호화에 관한 정보인 제어 데이터와, 음성 데이터를 포함하는 수신 데이터를 접수하고, 상기 수신 데이터로부터, 상기 제어 데이터와, 상기 화상 데이터와, 상기 음성 데이터를 분리하고, 상기 제어 데이터와, 상기 화상 데이터와, 상기 음성 데이터를 출력하고,

상기 화상 데이터 변환부는, 상기 제어 데이터로부터 얻어진 정보에 기초하여, 상기 화상 데이터를 복호하여 상기 복호 화상을 도출하고,

상기 절환기는, 상기 음성 데이터를 접수하고, 상기 변환 지시 신호에 의해 통지된, 변환 개시부터 변환 종료까지의 동안, 상기 음성 데이터를 상기 출력부에 출력하고,

상기 출력부는, 상기 절환부로부터 상기 화상 데이터와 상기 음성 데이터를 접수하고, 상기 화상 데이터와 상기 음성 데이터를 동기시켜 출력하는 동화상 변환 장치.
제8항에 있어서,

상기 출력부는, 상기 화상 데이터 변환부에서 변환 후의 화상 데이터의 부호 량이 변환 전의 화상 데이터의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시각에 관한 정보를 조정하는 동화상 변환 장치.
제8항에 있어서,

상기 출력부는, 상기 변환 후의 화상 데이터의 부호량이 상기 변환 전의 화상 데이터의 부호량보다 증가한 양에 따라서, 상기 음성 데이터의 재생 타이밍을 늦추는 동화상 변환 장치.
제10항에 있어서,

상기 출력부는, 상기 변환 개시의 프레임의 선두에 대응하는 상기 음성 데이터의 개소에, 무음 데이터를 삽입하는 동화상 변환 장치.
제7항에 있어서,

상기 화상 데이터 변환부는, 화상 복호부와, 부호량 제어부와, 화상 부호화부를 포함하고,

상기 화상 복호부는, 상기 분리부로부터 출력되는 상기 화상 데이터를 접수하고, 상기 화상 데이터를 복호하여 복호 화상을 생성함과 함께, 복호 시에 얻어진 복호 시 양자화 정밀도와, 수신한 프레임 단위, 매크로 블록 단위 또는 비디오 패킷 단위의 수신 부호량을 상기 부호량 제어부에 출력하고,

상기 부호량 제어부는, 상기 화상 복호부로부터의 상기 복호 시 양자화 정밀 도와, 상기 수신 부호량, 및 입력된 목표 부호량 중, 적어도 하나를 이용하여, 부호화 시의 양자화 정밀도를 결정하고, 상기 부호화 시의 양자화 정밀도를 상기 화상 부호화부에 출력하고,

상기 화상 부호화부는, 상기 부호량 제어부로부터의 상기 부호화 시의 양자화 정밀도에 따라서, 상기 복호 화상을 부호화하여 상기 화상 데이터를 생성하고, 상기 생성된 화상 데이터를 출력하는 동화상 변환 장치.
제4항 내지 제12항 중 어느 한 항의 동화상 변환 장치를 포함하는 동화상 변환 시스템.
제4항 내지 제12항 중 어느 한 항의 동화상 변환 장치를 포함하고, 동화상의 축적 및 배신(配信; delivering)을 행하는 서버 장치.
동화상 변환 장치를 구성하는 컴퓨터에,

압축 부호화된 화상 스트림을 접수하는 처리와,

상기 화상 스트림을 항상 복호하여 복호 화상을 도출하고, 상기 복호 화상에 대하여 지시된 임의의 프레임 또는 매크로 블록을 인트라 모드의 스트림으로 변환하고, 상기 인트라 모드의 스트림을 출력하고, 상기 지시된 임의의 프레임 또는 매크로 블록 이외의 복호 화상에 대응하는 화상 스트림에 대해서는, 상기 화상 스트림을 그대로 출력하는 처리

를 실행시키는 프로그램.
제15항에 있어서,

상기 변환 시의 양자화 정밀도를, 상기 화상 스트림의 부호량, 상기 복호 시의 양자화 정밀도, 및 목표로 하는 출력 부호량 중, 적어도 하나를 이용하여 제어하는 처리를 더 상기 컴퓨터에 실행시키는 프로그램.
제15항에 있어서,

상기 화상 스트림을 접수하는 처리에서는, 상기 화상 스트림과 함께 음성 데이터도 접수하고,

상기 인트라 모드로 변환 후의 상기 스트림의 부호량이 상기 인트라 모드로 변환 전의 상기 화상의 부호량에 대하여 변화된 경우, 상기 음성 데이터의 재생 시각에 관한 정보를 조정하는 처리를 더 상기 컴퓨터에 실행시키는 프로그램.