KR101570907B1

KR101570907B1 - 동화상 처리 장치 및 동화상 처리 방법

Info

Publication number: KR101570907B1
Application number: KR1020130111571A
Authority: KR
Inventors: 쇼헤이 사카모토; 가츠노리 츠츠미; 히로요시 오가와; 쥰 무라키
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2012-09-20
Filing date: 2013-09-17
Publication date: 2015-11-20
Also published as: JP2014064124A; CN103686180A; CN103686180B; KR20140043663A; US20140079139A1

Abstract

동화상 처리 장치는 동화상 데이터를 블록 단위로 처리하는 블록 처리부와, 상기 블록 처리부에 처리시키는 동화상 데이터를 위에서 블록 단위로 전환하는 전환부와, 상기 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 전환 제어부를 구비한다.

Description

동화상 처리 장치 및 동화상 처리 방법{MOVING IMAGE PROCESSING APPARATUS AND MOVING IMAGE PROCESSING METHOD}

본 발명은 복수의 동화상 데이터에 대해 재생 처리나 기록 처리 등의 소정 처리를 실행하는 동화상 처리 장치에 관한 것이다.

종래부터, 복수의 동화상 데이터를 동 시기에 인코드하여 기록하거나, 또는 디코드하여 재생하는 것이 실행되고 있다. 복수의 동화상 데이터에 대해 인코드 또는 디코드하기 위해, 대응한 코덱 하드웨어가 필요하게 되지만, 1개의 코덱 하드웨어에 의해 인코드 또는 디코드하는 각종 기술이 있다. 예를 들면, 코덱 하드웨어의 부족을 소프트웨어 코덱의 사용에 의해 충당하는 기술이 있지만, 이 기술의 경우에는 처리에 시간이 걸려 버린다고 하는 문제가 있다.

특허문헌 1(일본국 특허공개공보 제2008-72336호)에는 소프트웨어 코덱을 사용하지 않고, 1개의 코덱 하드웨어에 의해 인코드 또는 디코드를 실행하는 기술이 기재되어 있다. 이 기술은 동화상 데이터를 GOP(Group Of Picture)를 단위로 하여 전환하여 인코드 또는 디코드를 실행한다.

그러나, 복수의 동화상 데이터를 동 시기에 인코드하여 기록하거나, 또는 디코드하여 재생하는 경우에는 복수의 동화상 데이터가 반드시 동일한 GOP 주기(또는 IDR 주기)이거나, 동일한 프레임 레이트로 하는 경우는 없다.

전술한 특허문헌 1에 기재된 기술에서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성(동화상 데이터의 형식 및 재생/기록시의 조건)을 갖고 있던 경우에 대해서는 고려되어 있지 않기 때문에, 동시 기록이나 동시 재생에 있어서 문제가 생길 우려가 있었다.

본 발명은 이와 같은 상황을 감안해서 이루어진 것으로서, 복수의 동화상 데이터에 있어서 다른 코덱의 특성(동화상 데이터의 형식이나 재생/기록시의 조건)을 갖고 있던 경우에도, 동시 기록이나 동시 재생에 있어서 문제가 생기지 않는 동화상 처리 장치, 동화상 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 하나의 양태는 동화상 처리 장치로서, 동화상 데이터를 블록 단위로 처리하는 블록 처리부와, 상기 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 전환부와, 상기 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 전환 제어부를 구비하는 것을 특징으로 한다.

또한, 본 발명의 다른 양태는 동화상 데이터를 블록 단위로 처리하는 블록 처리부를 이용해서 복수의 동화상 데이터에 대해 소정 처리를 동시에 실행하는 동화상 처리 방법으로서, 상기 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 전환 처리와, 상기 전환 처리에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환 처리에서 전환하는 순번을 변화시키는 전환 제어 처리를 포함하는 것을 특징으로 한다.

또한, 본 발명의 다른 양태는 컴퓨터의 프로그램을 기록한 기록 매체로서, 동화상 데이터를 블록 단위로 처리하는 블록 처리부를 이용해서 복수의 동화상 데이터에 대해 소정 처리를 동시에 실행하는 동화상 처리 장치의 컴퓨터를, 상기 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 전환부와, 상기 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 전환 제어부로서 기능시키는 것을 특징으로 한다.

본 발명에 따르면, 복수의 동화상 데이터에 있어서 다른 코덱의 특성을 갖고 있던 경우에도, 동시 기록이나 동시 재생에 있어서 문제가 생기지 않는다

도 1은 본 발명의 1실시형태의 동화상 처리 장치에 있어서 디크도 처리를 실행하는 경우에 있어서의 블록도이다.
도 2는 FIFO 버퍼 영역을 설명하기 위한 모식도이다.
도 3은 도 1의 표시 제어부가 실행하는 표시 제어 처리의 흐름을 나타내는 흐름도이다.
도 4는 도 1의 동화상 선택 제어부가 실행하는 동화상 선택 제어 처리의 흐름을 나타내는 흐름도이다.
도 5는 도 1의 프레임 레이트 변경부가 실행하는 프레임 레이트 변경 처리의 흐름을 나타내는 흐름도이다.
도 6은 도 1의 동화상 선택 제어부가 실행하는 동화상 선택 제어 처리의 흐름의 다른 예를 나타내는 흐름도이다.
도 7은 본 발명의 1실시형태의 동화상 처리 장치에 있어서 인코드 처리를 실행하는 경우에 있어서의 블록도이다.

이하, 본 발명의 실시형태에 대해 도면을 이용해서 설명한다.

본 발명의 1실시형태에 관한 동화상 처리 장치는 H.264/MPEG(Moving Picture Experts Group)-4 AVC(Advanced Video Coding)에 준거하여 인코드 및 디코드를 실행한다.

또, 동화상 처리 장치는 예를 들면, 복수의 촬상 장치에서 동시기에 촬영(동기 촬영)된 동화상을 1개의 코덱 하드웨어로 인코드하고, IDR(Instantaneous Decoder Refresh) 주기 및 프레임 레이트가 각각 다른 복수의 동화상 데이터를 생성하고, 기억 수단에 기억한다.

또, 동화상 처리 장치는 상술한 인코더에 의해서 기억 수단에 기억된, IDR 주기 및 프레임 레이트가 각각 다른 복수의 동화상 데이터를 1개의 코덱 하드웨어로 디코드하고, 1개의 표시 수단에 분할 표시하여 동시 재생을 실행한다.

이와 같이 구성되는 동화상 장치는 인코드 또는 디코드마다 복수의 코덱 하드웨어를 이용하지 않는다.

통상, 1개의 코덱 하드웨어로 복수의 동화상 데이터를 코덱하는 경우, 소프트웨어 코덱을 사용한다. 소프트웨어 코덱에서는 처리에 시간이 걸려 버리지만, 본 실시형태의 동화상 처리 장치에 있어서는 소프트웨어 코덱을 사용하지 않기 때문에, 동화상 데이터의 재생, 기억의 처리에 시간이 걸리는 일이 없다.

이와 같이 구성되는 동화상 처리 장치에 대해, 우선, 디코드 처리에 대해 설명한다.

도 1은 본 발명의 1실시형태의 동화상 처리 장치에 있어서 디코드 처리를 실행하는 경우에 있어서의 블록도이다. 「디코드 처리」는 본 실시형태에 있어서는 메모리 수단(후술하는 DRAM(11))에 기억되어 있는 복수의 동화상 데이터를 1개의 디코더에 적절히 입력해서 디코드하고, 디코드한 데이터를 버퍼에 일시적으로 보존해서, 보존순으로 순차 표시 수단(후술하는 표시부(19))에 출력하고, 복수의 동화상을 분할 표시할 때까지의 일련의 처리이다.

또한, 디코드에 사용되는 동화상 데이터는 복수의 촬상 장치에서 촬상한 동화상의 데이터를 기억용으로 인코드한, IDR 주기 및 프레임 레이트가 각각 다른 동화상 데이터이다.

동화상 처리 장치(1)는 도 1에 나타내는 바와 같이, DRAM(Dynamic Random Access Memory)(11)과, 입력 전환부(12)와, 디코더(13)와, 출력 전환부(14)와, 동화상 선택 제어부(15)와, IDR 주기 특정부(16)와, 프레임 레이트 변경부(17)와, 표시 제어부(18)와, 표시부(19)를 구비한다.

DRAM(11)은 화상 데이터를 일시 기억하는 버퍼 메모리로서 사용되는 동시에, 각종 기능부의 워킹 메모리로서도 사용된다.

또, DRAM(11)은 IDR 주기 및 프레임 레이트가 각각 다른 복수의 동화상 데이터 1,2…n을 기억하고 있다.

이 복수의 동화상 데이터 1,2…n은 동시 재생하는 복수의 동화상 데이터로서 임의로 선택된 것이다.

또, DRAM(11)은 재생하는 동화상 데이터를 동화상 데이터마다 기억하는 FIFO(First In, First Out) 버퍼 영역을 갖는다. 이 FIFO 버퍼 영역에 기억된 데이터는 최초로 메모리에 들어온 데이터를 먼저 처리하고, 해당 데이터의 처리가 끝날 때까지 다음에 들어온 데이터를 처리하는 바와 같은 동작 원리하에 처리된다.

도 2는 FIFO 버퍼 영역을 설명하기 위한 모식도이다.

FIFO 버퍼 영역은 도 1에 나타내는 바와 같이, 표시 재생되는 동화상 데이터마다 확보된다.

각 FIFO 버퍼 영역은 도 2에 나타내는 바와 같이, 각 IDR 블록에 대응해서, 복수의 IDR 블록 m영역, m-1영역, m-2영역, m-3영역으로 공간이 확보되어 있다.

또, 각 FIFO 버퍼 영역은 프레임 레이트나 코덱의 처리 능력을 고려해서 영역이 확보된다.

또, 각 FIFO 버퍼 영역은 각 동화상 데이터마다 적어도 IDR 주기분의 프레임 화상을 저장할 수 있는 용량 이상 확보하도록 구성한다.

또, DRAM(11)에서는 후술하는 IDR 주기 특정부(16)의 IDR 주기의 특정에 의해, 재생/기록의 대상으로서 지정된 각 동화상 데이터의 IDR 주기를 재생/기록에 앞서 특정하고, 이 특정된 IDR 주기에 따라 각 동화상 데이터에 대응하는 메모리의 용량을 동적으로 변경하도록 구성한다.

이와 같이 구성되는 FIFO 버퍼 영역은 동화상 데이터의 해석 결과에 의거하여, IDR 주기를 고려한 공간이 확보된다.

구체적으로는 예를 들면, 동화상 데이터1의 IDR 주기가 「N1」이고, 동화상 데이터1의 단위 프레임 화상의 데이터 사이즈가 「S1」 바이트이었던 경우에는 동화상 데이터1의 디코드 데이터를 기억하는 FIFO 버퍼 1로서 「N1×S1」분의 메모리 영역을 확보한다. 또, 동화상 데이터2의 IDR 주기가 「N2」이고, 동화상 데이터1의 단위 프레임 화상의 데이터 사이즈가 「S2」바이트이었던 경우에는 동화상 데이터2의 디코드 데이터를 기억하는 FIFO 버퍼1로서 「N2×S2」분의 메모리 영역을 확보한다.

따라서, 동화상 처리 장치(1)에 있어서는 동화상 데이터1 및 동화상 데이터2를 디코드 처리에 이용하는 경우에는 우선, 동화상 데이터1의 IDR1 주기분의 프레임 화상을 「N1」개를 디코드한 후에 FIFO 버퍼1에 순차 기억시킨다. 다음에, 동화상 데이터2의 IDR1 주기분의 프레임 화상을 「N2」개를 디코드한 후에 FIFO 버퍼2에 순차 기억시킨다. 이들 처리를 반복하게 된다.

도 1로 되돌려, 입력 전환부(12)는 DRAM(11)에 기억되는 동화상 데이터 중에서 디코더에 출력하는 동화상 데이터를 전환한다. 입력 전환부(12)는 동화상 선택 제어부(15)에 의해, 복수의 동화상 데이터 중의 어느 하나의 동화상 데이터를 입력할 것인지의 전환 제어가 이루어진다. 동화상 선택 제어부(15)에 의해, 입력 전환부(12)는 소정의 동화상 데이터를 디코더(13)에 입력한다.

디코더(13)는 입력 전환부(12)로부터 출력된 동화상 데이터를 디코드하고 즉, 복호하고, 압축 전의 데이터를 취출한다.

디코더(13)는 취출한 데이터를 출력 전환부(14)에 출력한다.

출력 전환부(14)는 디코더(13)에 의해 취출된 데이터(이하,「디코드 데이터」라 함)를 DRAM(11)의 소정의 FIFO 버퍼에 기억시킨다. 출력 전환부(14)는 동화상 선택 제어부(15)에 의해, 디코드 데이터를 복수의 소정의 FIFO 버퍼에 기억시킬 것인지의 전환 제어가 이루어진다. 동화상 선택 제어부(15)에 의해, 출력 전환부(14)는 디코드 데이터를 소정의 FIFO 버퍼에 기억시킨다.

동화상 선택 제어부(15)는 IDR 주기 특정부(16)에 의해 특정된 IDR 주기 및 프레임 레이트 변경부에 의해 변경된 동화상 데이터의 프레임 레이트에 의거하여, 입력 전환부(12)의 디코더(13)에의 동화상 데이터의 입력 전환 및 출력 전환부(14)의 DRAM(11)의 FIFO 버퍼에의 디코드 데이터의 출력 전환을 각각 제어한다.

또, 동화상 선택 제어부(15)는 표시 제어부(18)에 의한 표시부(19)에의 표시 제어로부터, 표시부(19)에서의 각 동화상 데이터의 재생 시간에 의거하여, 입력 전환부(12)의 디코더(13)에의 동화상 데이터의 입력 전환 및 출력 전환부(14)의 DRAM(11)의 FIFO 버퍼에의 디코드 데이터의 출력 전환을 각각 제어한다.

구체적으로는 동화상 선택 제어부(15)는 예를 들면 가장 재생 시간이 적은 동화상 데이터로 전환하는 제어를 실행한다. 이 때, 동화상 선택 제어부(15)는 소정 블록 단위로 디코더에 입력 완료된 동화상 데이터의 양을, IDR 주기를 구성하는 프레임의 수와, 각 동화상 데이터의 프레임 레이트에 따라 총 재생 시간으로 환산하고, 이 총 재생 시간이 동등하게 되도록, IDR 주기 단위로 디코더에 입력하는 동화상 데이터를 선택하도록 구성해도 좋다.

또한, 동화상 처리 장치(1)는 디코더에 입력 완료된 복수의 소정 블록의 총 재생 시간을, 각 IDR 주기마다 다른 프레임 레이트와, 각 IDR 주기를 구성하는 프레임의 수에 따라 산출하도록 구성해도 좋다.

또, 동화상 선택 제어부(15)는 DRAM(11)의 각 FIFO 버퍼의 버퍼 잔량에 의거하여, 입력 전환부(12)의 디코더(13)에의 동화상 데이터의 입력 전환 및, 출력 전환부(14)의 DRAM(11)의 FIFO 버퍼에의 디코드 데이터의 출력 전환을 각각 제어한다. 구체적으로는 동화상 선택 제어부(15)는 예를 들면 버퍼 잔량이 적은 FIFO 버퍼에 대응하는 동화상 데이터로부터 다른 동화상 데이터로 전환하거나, 버퍼 잔량이 많은 FIFO 버퍼에 대응하는 동화상 데이터로 전환하는 제어를 실행한다.

IDR 주기 특정부(16)는 DRAM(11)에 기억되는 각 동화상 데이터를 해석하여, 각 동화상 데이터마다의 IDR 주기를 특정한다. 「IDR 주기」는 IDR 프레임의 삽입 간격으로 되는 프레임 수이다. 즉, IDR 주기 특정부(16)는 동화상 데이터를 해석하고, IDR 프레임의 삽입 간격으로부터 IDR 주기를 특정한다.

프레임 레이트 변경부(17)는 사용자의 조작에 의해, 소정의 동화상 데이터의 프레임 레이트로부터 사용자가 지정한 임의의 프레임 레이트로 변경한다.

표시 제어부(18)는 DRAM(11)의 소정의 FIFO 버퍼 영역에 기억되는 디코드 데이터를 표시 출력시키도록 표시부(19)를 제어한다.

표시 제어부(18)는 IDR 주기 특정부(16)에 의해 특정된 IDR 주기 및 프레임 레이트 변경부에 의해 변경된 동화상 데이터 프레임 레이트에 의거하여, 표시 제어하는 디코드 데이터가 기억되는 FIFO 버퍼 영역을 결정하고, 결정한 FIFO 버퍼 영역에 기억되는 디코드 데이터를 표시 출력하도록 표시부(19)를 제어한다.

표시부(19)는 디스플레이 등에 의해 구성되고, 표시 제어부(18)의 제어에 의해, DRAM(11)의 소정의 FIFO 버퍼 영역에 기억되는 디코드 데이터를 표시 출력한다.

이상과 같이 구성되는 동화상 처리 장치(1)에 있어서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성(프레임 레이트, IDR 주기)을 갖고 있던 경우에도, 동시 재생에 있어서 문제가 생기는 일이 없다.

도 3은 도 1의 표시 제어부(18)가 실행하는 표시 제어 처리의 흐름을 나타내는 흐름도이다.

이 표시 제어 처리에서는 표시 제어부(18)에 의해, 재생 예정 시각이 도래하는 것에 의해, 프레임 레이트에 따라 DRAM(11)의 FIFO 버퍼로부터 디코드 완료된 동화상 데이터를 취득하여, 지정된 프레임 레이트의 주기로 표시부(19)에 각각 재생 표시시킨다. 그리고, 표시 제어 처리에서는 동시 재생하는 동화상의 수로 된 경우에, 처리를 종료한다.

또한, 디코드 완료 동화상 데이터는 각 데이터의 IDR 블록마다 프레임 레이트가 다르다. 즉, 표시 제어부(18)는 각 디코드 완료 동화상 데이터의 IDR 블록마다 프레임 레이트에 의거하여, 표시부(19)에 있어서의 재생 표시의 제어를 실행하게 된다.

스텝 S11에 있어서, 표시 제어부(18)는 「K=1」로 해서 처리 대상으로 되는 동화상 데이터의 번호(이하, 「동화상 번호」라 함)의 초기화를 실행한다. 또한, 「K」는 각각의 디코드된 동화상 데이터의 동화상 번호를 나타낸다.

스텝 S12에 있어서, 표시 제어부(18)는 「IDR 블록 번호(K)=1」로 한다.

스텝 S13에 있어서, 표시 제어부(18)는 「IDR 블록내 프레임 번호(K)=1」로 한다.

스텝 S14에 있어서, 표시 제어부(18)는 다음의 프레임의 재생 예정 시각(K)이 현재 시각(「다음 프레임 재생 예정 시각(K)=현재 시각?」)인지 아닌지를 판정한다. 단, 각 동화상 데이터의 선두 프레임을 재생할 때에는 다음 프레임 재생 예정 시각(K)이 설정되어 있지 않으므로, 이 판정 조건을 만족시키는 것으로 해서 즉시 재생을 실행한다.

다음의 프레임의 재생 예정 시각(K)이 현재 시각이 아닌 경우에는 스텝 S14에 있어서 NO이고, 처리는 스텝 S20으로 진행한다. 스텝 S20 이후의 처리에 대해서는 후술한다.

이에 대해, 다음의 프레임의 재생 예정 시각(K)이 현재 시각인 경우에는 스텝 S14에 있어서 YES이고, 처리는 스텝 S15로 진행한다.

스텝 S15에 있어서, 표시 제어부(18)는 FIFO 버퍼(K)내 중 IDR 블록 번호(K), 재생 프레임 번호(K)로 나타나는 프레임 화상을 표시부(19)에 표시 출력시키도록 제어한다. 그 결과, FIFO 버퍼(K)내 중 IDR 블록 번호(K), 재생 프레임 번호(K)로 나타나는 프레임 화상이 표시부(19)에 표시 출력된다.

스텝 S16에 있어서, 표시 제어부(18)는 「IDR 블록내 프레임 번호(K)=IDR 블록내 프레임 번호(K)+1」로 하고, 다음의 IDR 블록내 프레임 번호(K)로 카운트를 진행시킨다.

스텝 S17에 있어서, 표시 제어부(18)는 「B=IDR 블록 번호(K)」이고, 「다음 프레임 재생 예정 시각(K)=현재 시각+1/프레임 레이트(K, B)」로 한다.

여기서, 「K」는 각각의 디코드된 동화상 데이터의 동화상 번호를 나타내고 있고, 「B」는 IDR 블록 번호를 나타내고 있다. 「프레임 레이트(K, B)」는 후술하는 프레임 레이트 변경 처리에서 생성 또는 갱신되어 기억되어 있는 2차원 배열 데이터이며, 소정의 디코드 완료 동화상 데이터의 소정의 IDR 블록 번호에 있어서의 프레임 레이트를 의미하게 된다.

스텝 S18에 있어서, 표시 제어부(18)는 IDR 주기(K)보다 IDR 블록내 프레임 번호가 큰지(「IDR 블록내 프레임 번호>IDR 주기(K)」) 아닌지를 판정한다.

IDR 주기(K)보다 IDR 블록내 프레임 번호가 작은 경우에는 스텝 S18에 있어서 NO로 판정되고, 처리는 스텝 S20으로 진행한다.

이에 대해, IDR 주기(K)보다 IDR 블록내 프레임 번호가 큰 경우에는 스텝 S18에 있어서 YES로 판정되고, 처리는 스텝 S19로 진행한다.

스텝 S19에 있어서, 표시 제어부(18)는 「IDR 블록 번호(K)=IDR 블록 번호(K)+1 IDR 블록내 프레임 번호(K)=1」로 하여, 다음의 IDR 블록 번호(K)의 IDR 블록내 프레임 번호(K)=1로 카운트를 진행시킨다.

스텝 S20에 있어서, 표시 제어부(18)는 「K=K+1」로 해서 카운트를 진행시킨다.

스텝 S21에 있어서, 표시 제어부(18)는 동시 재생하는 동화상의 수보다 K가 많은지 아닌지(「K>동시 재생하는 동화상의 수?」)를 판정한다.

동시 재생하는 동화상의 수가 K보다 많은 경우에는 스텝 S21에 있어서 NO로 판정되어, 처리는 스텝 S2로 되돌리고, 스텝 S2 이후의 처리가 실행된다.

이에 대해, 동시 재생하는 동화상의 수보다 K가 많은 경우에는 스텝 S21에 있어서 YES로 판정되어, 처리는 스텝 S22로 진행한다.

스텝 S22에 있어서, 표시 제어부(18)는 표시 제어 처리가 종료인지의 여부를 판정한다.

표시 제어 처리가 종료가 아닌 경우에는 스텝 S22에 있어서 NO로 판정되어, 처리는 스텝 S11로 되돌리고, 스텝 S11 이후의 처리가 실행된다.

이에 대해, 표시 제어 처리가 종료인 경우에는 스텝 S22에 있어서 YES로 판정되며, 표시 제어 처리는 종료한다.

따라서, 상술한 표시 제어 처리에 있어서는 표시 제어부(18)는 DRAM(11)의 FIFO 버퍼에 기억되는 디코드 완료 동화상 데이터를 프레임 레이트에 의거하여 표시부(19)에 표시 재생하는 제어를 실행한다. 그리고, 표시 제어부(18)는 디코드 완료 동화상 데이터의 프레임 레이트에 의거하여, 다음의 재생 타이밍을 설정한다. 또, 표시 제어부(18)는 다음의 재생 타이밍이 도래할 때까지 재생 가능한 디코드 완료 동화상 데이터를 탐색하고 대기한다. 그 후, 표시 제어부(18)는 재생 타이밍이 도래한 디코드 완료 동화상 데이터를 재생하여, 다음의 재생 타이밍을 설정한다는 처리를 실행한다.

이상, 도 1의 표시 제어부(18)가 실행하는 표시 제어 처리의 흐름에 대해 설명하였다.

이하, 도 1의 동화상 선택 제어부(15)가 실행하는 동화상 선택 제어 처리의 흐름에 대해 설명한다.

도 4는 도 1의 동화상 선택 제어부(15)가 실행하는 동화상 선택 제어 처리의 흐름을 나타내는 흐름도이다.

이 동화상 선택 제어 처리에서는 동화상 선택 제어부(15)는 동화상 데이터의 선택을, 표시부(19)에 있어서의 재생한 시간의 총 시간(이하, 「총 처리 재생 시간」이라 함)에 의거하여 실행한다. 상세하게는 동화상 선택 제어부(15)는 가장 총 처리 재생 시간이 짧은 동화상 데이터를 선택하여 입력 전환부(12) 및 출력 전환부(14)를 제어한다.

스텝 S41에 있어서, 동화상 선택 제어부(15)는 「K=1」로 해서 처리 대상으로 되는 동화상 데이터의 번호(이하, 「동화상 번호」라 함)의 초기화를 실행한다.

스텝 S42에 있어서, 동화상 선택 제어부(15)는 「IDR 블록 번호(K)=1」로 한다.

스텝 S43에 있어서, 동화상 선택 제어부(15)는 IDR 블록 번호(K)로 지정되는 블록의 압축 데이터를 디코더(13)에 입력하도록 입력 전환부(12)를 제어한다. 그 결과, 소정의 동화상 데이터에 있어서의 블록의 압축 데이터가 입력 전환부(12)에 의해 디코더(13)에 입력된다.

스텝 S44에 있어서, 동화상 선택 제어부(15)는 「IDR 블록 번호(K)=IDR 블록 번호(K)+1」로 하고, 다음의 IDR 블록 번호(K)로 카운트를 진행시킨다.

스텝 S45에 있어서 동화상 선택 제어부(15)는 「B=IDR 블록 번호(K)

총 처리 재생 시간(K)=총 처리 재생 시간(K)+IDR 주기(K)/프레임 레이트(K, B)」으로 한다.

스텝 S46에 있어서, 동화상 선택 제어부(15)는 직전의 입력 블록의 디코드가 완료되어 있는지 아닌지를 판정한다.

직전의 입력 블록의 디코드가 완료되어 있지 않은 경우에는 스텝 S46에 있어서 NO로 판정되어, 직전의 입력 블록의 디코드가 완료될 때까지 대기 상태로 된다.

이에 대해, 직전의 입력 블록의 디코드가 완료되어 있는 경우에는 스텝 S46에 있어서 YES로 판정되어, 처리는 스텝 S47로 진행한다.

스텝 S47에 있어서, 동화상 선택 제어부(15)는 (x=1, 2, 3…중에서) 총 처리 재생 시간(x)가 가장 작은 x를 특정한다.

스텝 S48에 있어서, 동화상 선택 제어부(15)는 「K=x」로 하여, 입력 전환부(12) 및 출력 전환부(14)를 전환하는 제어를 실행한다.

스텝 S49에 있어서, 동화상 선택 제어부(15)는 동화상 선택 제어 처리의 종료 여부를 판정한다.

동화상 선택 제어 처리가 종료가 아닌 경우에는 스텝 S49에 있어서 NO로 판정되어, 처리는 스텝 S42로 되돌리고, 스텝 S42 이후의 처리가 실행된다.

이에 대해, 동화상 선택 제어 처리가 종료인 경우에는 스텝 S49에 있어서 YES로 판정되어, 동화상 선택 제어 처리는 종료한다.

따라서, 상술한 동화상 선택 제어 처리에 있어서는 동화상 선택 제어부(15)는 DRAM(11)에 기억되어 있는 동화상 데이터를, 표시부(19)에 있어서의 총 처리 재생 시간이 가장 짧은 동화상 데이터를 순차 선택하도록 입력 전환부(12) 및 출력 전환부(14)를 제어한다는 처리를 실행한다.

이상, 도 1의 동화상 선택 제어부(15)를 실행하는 동화상 선택 제어 처리의 흐름에 대해 설명한다.

이하, 도 1의 프레임 레이트 변경부(17)가 실행하는 프레임 레이트 변경 처리의 흐름에 대해 설명한다.

도 5는 도 1의 프레임 레이트 변경부(17)가 실행하는 프레임 레이트 변경 처리의 흐름을 나타내는 흐름도이다.

이 프레임 레이트 변경 처리에서는 프레임 레이트 변경부(17)에 의해, 동화상 데이터의 프레임 레이트를 IDR 블록 단위로 사용자에 의한 임의의 타이밍에서 변경한다. 임의의 타이밍은 동화상 데이터의 재생전, 동화상 데이터의 재생중에 관계없이 임의의 타이밍에서 변경 가능하다.

스텝 S61에 있어서, 프레임 레이트 변경부(17)는 사용자로부터의 재생 프레임 레이트의 변경 지시가 있었는지의 여부를 판정한다.

사용자로부터의 재생 프레임 레이트의 변경 지시가 없는 경우에는 스텝 S61에 있어서 NO로 판정되어, 대기 상태로 된다.

이에 반해, 사용자로부터의 재생 프레임 레이트의 변경 지시가 있던 경우에는 스텝 S61에 있어서 YES로 판정되어, 처리는 스텝 S62로 진행한다.

스텝 S62에 있어서, 프레임 레이트 변경부(17)는 「K=지정된 동화상 번호」로 해서, 변경 대상의 동화상 데이터를 특정한다.

스텝 S63에 있어서, 프레임 레이트 변경부(17)는 사용자로부터 IDR 블록 번호의 지정이 있었는지의 여부를 판정한다.

사용자로부터 IDR 블록 번호의 지정이 없는 경우에는 스텝 S63에 있어서 NO로 판정되어, 처리는 스텝 S64로 진행한다.

스텝 S64에 있어서, 프레임 레이트 변경부(17)는 「B=IDR 블록 번호(K)+1」로 해서, 현재의 IDR 블록 번호로부터 다음의 IDR 블록 번호로 카운트를 진행시킨다. 그 후, 처리는 스텝 S66으로 진행한다. 스텝 S66의 처리에 대해서는 후술한다.

이에 대해, 사용자로부터 IDR 블록 번호의 지정이 있던 경우에는 스텝 S63에 있어서 YES로 판정되어, 처리는 스텝 S65로 진행한다.

스텝 S65에 있어서, 프레임 레이트 변경부(17)는 「B=지정된 IDR 블록 번호(K)」로 해서, 지정된 IDR 블록 번호로 진행한다.

스텝 S66에 있어서, 프레임 레이트 변경부(17)는 「프레임 레이트(K, B)=지정된 프레임 레이트」로 해서, 프레임 레이트를 기억한다. 이 프레임 레이트(K, B)는 2차원 배열 데이터이다.

스텝 S67에 있어서, 프레임 레이트 변경부(17)는 프레임 레이트 변경 처리가 종료인지의 여부를 판정한다.

프레임 레이트 변경 처리가 종료가 아닌 경우에는 스텝 S67에 있어서 NO로 판정되어, 처리는 스텝 S61로 되돌리고, 스텝 S61 이후의 처리가 실행된다.

이에 반해, 프레임 레이트 변경 처리가 종료인 경우에는 스텝 S67에 있어서 YES로 판정되어, 프레임 레이트 변경 처리는 종료한다.

따라서, 상술한 프레임 레이트 변경 처리에 있어서는 프레임 레이트 변경부(17)는 사용자로부터의 IDR 블록 단위의 동화상 데이터의 프레임 레이트의 변경을 하는 처리를 실행한다. 또한, 사용자로부터의 IDR 블록 단위에서의 지정이 없는 경우에는 다음의 IDR 블록의 프레임 레이트가 자동적으로 변경되게 된다.

<변형예>

상술한 동화상 선택 제어 처리에 있어서는 동화상 선택 제어부(15)는 총 처리 재생 시간에서 입력 전환부(12) 및 출력 전환부(14)의 전환을 실행하도록 구성했지만, 본 변형예에 있어서는 동화상 선택 제어부(15)는 FIFO 버퍼 영역의 잔량에 의해, 입력 전환부(12) 및 출력 전환부(14)의 전환을 실행하도록 구성한다.

구체적으로는 FIFO 버퍼 영역의 잔량이 적은 경우에는 다른 동화상 데이터를 선택하도록 하거나, FIFO 버퍼 영역의 잔량이 많은 경우에는 해당 FIFO 버퍼 영역의 잔량이 많은 동화상 데이터를 선택한다.

도 6은 도 1의 동화상 선택 제어부(15)를 실행하는 동화상 선택 제어 처리의 흐름의 다른 예를 나타내는 흐름도이다.

스텝 S81에 있어서, 동화상 선택 제어부(15)는 「K=1」로 해서 처리 대상으로 되는 동화상 번호의 초기화를 실행한다.

스텝 S82에 있어서, 동화상 선택 제어부(15)는 직전의 입력 블록의 디코드가 완료되어 있는지의 여부를 판정한다.

직전의 입력 블록의 디코드가 완료되어 있지 않은 경우에는 스텝 S82에 있어서 NO로 판정되어, 직전의 입력 블록의 디코드가 완료될 때까지 대기 상태로 된다.

이에 대해, 직전의 입력 블록의 디코드가 완료되어 있는 경우에는 스텝 S82에 있어서 YES로 판정되어, 처리는 스텝 S83으로 진행한다.

스텝 S83에 있어서, 동화상 선택 제어부(15)는 FIFO 버퍼 영역의 잔량(K)은 소정 이상인지 아닌지를 판정한다.

FIFO 버퍼 영역의 잔량(K)은 소정 이상이 아닌 경우에는 스텝 S83에 있어서 NO로 판정되어 처리는 스텝 S82로 되돌리고, 스텝 S82 이후의 처리가 실행된다.

이에 대해, FIFO 버퍼 영역의 잔량(K)는 소정 이상인 경우에는 스텝 S83에 있어서 YES로 판정되고 처리는 스텝 S83으로 진행한다.

스텝 S84에 있어서, 동화상 선택 제어부(15)는 FIFO 버퍼 영역의 잔량(x)이 가장 작은 x를 특정한다.

스텝 S85에 있어서, 동화상 선택 제어부(15)는 「K=x」로 해서, 입력 전환부(12) 및 출력 전환부(14)를 전환하는 제어를 실행한다.

스텝 S86에 있어서, 동화상 선택 제어부(15)는 동화상 선택 제어 처리가 종료인지 아닌지를 판정한다.

동화상 선택 제어 처리가 종료가 아닌 경우에는 스텝 S86에 있어서 NO로 판정되어, 처리는 스텝 S82로 되돌리며, 스텝 S82 이후의 처리가 실행된다.

이에 대해, 동화상 선택 제어 처리가 종료인 경우에는 스텝 S86에 있어서 YES로 판정되어, 동화상 선택 제어 처리는 종료한다.

이상, 본 실시형태에 있어서의 동화상 처리 장치(1)의 디코드 처리에 대해 설명하였다.

이하, 본 실시형태에 있어서의 동화상 처리 장치(1)의 인코드 처리에 대해 설명한다.

본 실시형태에 있어서의 「인코드 처리」는 복수의 촬상 장치에 의해서 촬영된 동화상을 1개의 인코더에 의해 적절히 인코드하고, 인코드한 데이터를 DRAM(11)에 일시적으로 보존하며, 순차 기억부에 기억시켜 갈 때까지의 일련의 처리이다.

도 7은 본 발명의 1실시형태의 동화상 처리 장치(1)에 있어서 인코드 처리를 실행하는 경우에 있어서의 블록도이다.

본 실시형태의 동화상 처리 장치(1)는 인코드 처리를 실행하는 경우에는 하나의 코덱 하드웨어가 인코더로서 기능한다. 즉, 동화상 처리 장치(1)에 있어서는 디코드 처리에 있어서 디코더로서 기능하고 있던 코덱 하드웨어가 인코더로서 기능한다.

또한, 이하, 상술한 디코드 처리와 인코드 처리에서 동일한 기능 구성에 대해서는 동일한 부호를 붙여 상술한 디코드 처리의 설명을 참조하며, 설명을 생략한다.

입력 전환부(12)는 촬상 장치로부터 동화상 데이터로 되는 데이터를 취득한다.

IDR 주기 특정부(16)는 인코더(13)에 의한 인코더 결과에 의거하여, 각 동화상 데이터의 IDR 주기를 특정한다.

기억 제어부(20)는 프레임 레이트 변경부(17)에 의한 프레임 레이트의 변경, IDR 주기 특정부(16)에 의해 특정된 IDR 주기, FIFO 버퍼의 잔량, 입력 전환부(12)에서의 데이터의 입력 시간 등을 고려하여, DRAM(11)에의 동화상 데이터의 기억을 제어한다.

또한, 동화상 선택 제어부(15) 및 기억 제어부(20)에 있어서의 동화상의 선택 제어 및 기억 제어는 디코더의 경우와 마찬가지의 기준을 적용해도 좋다.

이와 같이 구성함으로써, 동화상 처리 장치(1)에 있어서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성을 갖고 있던 경우에도, 동시 기록에 있어서 문제가 생기는 일이 없다.

또, 상술한 동화상 처리 장치(1)에 있어서는 인코드 처리와 디코드 처리를 다른 타이밍에서 실행한다. 즉, 코덱 하드웨어를 인코드의 기능 및 디코드의 기능을 다른 타이밍에서 발휘시키도록 구성하였다. 그러나, 동화상 처리 장치(1)에 있어서는 인코드 처리와 디코드 처리를 다른 타이밍으로 되는 데이터 처리 단위가 아닌, 소정의 동화상 데이터의 IDR 주기 단위로 교대로 실행하도록 구성할 수 있다.

이와 같이 구성함으로써, 동화상 처리 장치(1)에 있어서는 1개의 코덱 하드웨어 자원을 유효하게 사용할 수 있게 된다.

이상과 같이 구성하는 동화상 처리 장치(1)는 복수의 동화상 데이터를 디코더/인코더 기능을 갖는 1개의 코덱 하드웨어로 인코드 또는 디코드하면서 동시에 재생 또는 기록한다.

동화상 처리 장치(1)는 복수의 동화상 데이터에 대해 소정 처리를 동시에 실행하는 동시 실행 제어부로서도 기능한다.

동화상 처리 장치(1)는 상기 동시 실행 제어부에 의한 동시 실행의 대상으로 되는 복수의 동화상 데이터를 임의로 선택하는 복수의 동화상 선택부로서도 기능한다.

코덱 하드웨어는 동화상 데이터를 블록 단위로 처리하는 블록 처리부로서도 기능한다.

동화상 처리 장치(1)는 동화상 선택 제어부(15)와, DRAM(11)을 갖는다.

동화상 선택 제어부(15)는 디코더 또는 인코더에 입력 또는 출력하는 동화상 데이터를 소정 블록(IDR 주기를 구성하는 IDR 프레임)마다 차례로 전환하면서 선택해 가기 위해, 입력 전환부(12) 및 출력 전환부(14)를 제어한다.

입력 전환부(12)와 출력 전환부(14)는 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 전환부로서도 기능한다.

DRAM(11)은 디코더 또는 인코더로부터 출력되는 디코드 또는 인코드 완료의 동화상 데이터가 재생 또는 기록될 때까지의 동안 일시적으로 기억한다.

동화상 데이터는 소정 블록으로 되는 IDR 주기를 구성하는 IDR 프레임의 수, 또는 재생 또는 기록의 속도인 프레임 레이트 중의 적어도 한쪽이 데이터마다 다르다.

동화상 선택 제어부(15)는 동화상 데이터마다 다른 IDR 주기를 구성하는 IDR 프레임의 수, 또는 프레임 레이트에 따라, 동화상 데이터의 전환 타이밍의 결정과, 전환하는 동화상 데이터의 선택을 실행한다.

이 때문에, 동화상 처리 장치(1)에 있어서는 소정 블록으로 되는 IDR 주기를 구성하는 IDR 프레임의 수, 또는 재생 또는 기록의 속도인 프레임 레이트 중의 적어도 한쪽이 데이터마다 다른 복수의 동화상 데이터를, 동화상 선택 제어부(15)로부터, 동화상 데이터마다 다른 IDR 주기를 구성하는 IDR 프레임의 수, 또는 프레임 레이트에 따라, 동화상 데이터의 전환 타이밍의 결정으로 전환한다.

이 동화상 선택 제어부(15)는 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 전환부에서 전환하는 순번을 변화시키는 전환 제어부로서도 기능한다.

따라서, 동화상 처리 장치(1)에 있어서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성을 갖고 있던 경우에도, 동시 기록이나 동시 재생에 있어서 문제가 생기는 일이 없다.

또, 동화상 처리 장치(1)에 있어서, 재생 또는 기록의 속도인 프레임 레이트는 재생 중에 변경 가능하게 구성된다.

동화상 선택 제어부(15)는 또한, 재생 중에 변화하는 재생 또는 기록의 속도인 프레임 레이트에 따라, 동화상 데이터의 전환 타이밍의 결정과, 전환하는 동화상 데이터의 선택을 실행한다.

따라서, 동화상 처리 장치(1)에 있어서는 사용자에 의해 재생 중에 프레임 레이트가 변경된 경우에도, 동시 기록이나 동시 재생에 있어서 문제가 생기는 일이 없다.

또한, 재생 또는 기록의 속도인 프레임 레이트는 IDR 주기 단위로 변경 가능하게 구성된다.

따라서, 동화상 처리 장치(1)에 있어서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성으로서 IDR 주기가 다른 경우에도, 동시 기록이나 동시 재생에 있어서 문제가 생기는 일이 없다.

또, DRAM(11)의 용량은 동화상 데이터마다 다르게 구성된다.

동화상 선택 제어부(15)는 또한, 동화상 데이터마다 다른 DRAM(11)의 용량에 따라, 동화상 데이터의 전환 타이밍의 결정과, 전환하는 동화상 데이터의 선택을 실행한다.

따라서, 동화상 처리 장치(1)에 있어서는 취급하는 동화상 데이터에 따라, 동적으로 메모리 용량이 결정되기 때문에 동화상의 처리에 관해 불필요한 메모리 용량을 소비하는 일이 없다.

또, DRAM(11)에서는 각 동화상 데이터마다, 적어도 IDR 주기분의 프레임 화상을 저장할 수 있는 용량 이상 확보한다.

또, DRAM(11)에서는 재생 또는 기록의 대상으로서 지정된 각 동화상 데이터의 IDR 주기를 재생 또는 기록에 앞서 특정하고, 이 특정된 IDR 주기에 따라 각 동화상 데이터에 대응하는 메모리의 용량을 동적으로 변경하도록 구성된다.

따라서, 동화상 처리 장치(1)에 있어서는 IDR 주기에 의해 처리 예측할 수 있기 때문에, 쓸데없는 메모리 용량을 소비하는 일이 없다.

또, 동화상 처리 장치(1)는 표시 제어부(18)를 구비한다.

DRAM(11)은 각 동화상 데이터마다 마련된 FIFO 형식의 버퍼 메모리이다.

표시 제어부(18)는 각 FIFO 메모리에 저장된 디코드 완료의 프레임 화상 데이터를, 각 동화상 데이터의 프레임 레이트에 따른 속도로 순차 읽어내어 표시부(19)에 전송한다.

동화상 선택 제어부(15)는 소정 블록 단위로 디코더에 입력 완료된 동화상 데이터의 양을, IDR 주기를 구성하는 프레임의 수와, 각 동화상 데이터의 프레임 레이트에 따라 총 재생 시간으로 환산하고, 이 총 재생 시간이 동등하게 되도록, IDR 주기 단위로 디코더에 입력하는 동화상 데이터를 선택한다.

따라서, 동화상 처리 장치(1)에 있어서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성이 다른 경우에도, 총 재생 시간을 기준으로 해서 동시 재생의 처리를 실행하기 때문에 재생 처리에 문제가 생기는 일이 없다.

동화상 선택 제어부(15)는 디코더에 입력 완료된 복수의 소정 블록의 총 재생 시간을, 각 IDR 주기마다 다른 프레임 레이트와, 각 IDR 주기를 구성하는 프레임의 수에 따라 산출한다.

표시 제어부(18) 및 기억 제어부(20)는 각 FIFO 메모리에 저장된 디코드 또는 인코드 완료의 프레임 화상 데이터를, 재생 또는 기록의 속도에 따른 프레임 레이트로 순차 읽어내어 재생 또는 기록시킨다.

동화상 선택 제어부(15)는 디코드 또는 인코드 중의 동화상에 대응하는 FIFO 메모리내의 디코드 또는 인코드 완료 데이터가 소정 비율 이상이 된 타이밍, 또는 디코드 또는 인코드 중이 아닌 다른 동화상에 대응하는 FIFO 메모리내의 디코드 또는 인코드 완료 데이터가 소정 비율 이하가 된 타이밍에서 다른 동화상으로의 전환을 실행한다.

따라서, 동화상 처리 장치(1)에 있어서는 복수의 동화상 데이터에 있어서 다른 코덱의 특성이 다른 경우라도, 버퍼 메모리의 용량을 기준으로 하기 때문에, 동시 기록이나 동시 재생에 있어서 문제가 생기는 일이 없다.

또, 동화상 처리 장치(1)에 있어서는 1개의 코덱 하드웨어(디코더(13), 인코더(13))는 디코드 기능과 인코드 기능을 선택적으로 처리 가능하고, 재생하는 동화상 데이터와 기록하는 동화상 데이터를 IDR 주기 단위로 교대로 전환하면서 디코드와 인코드를 교대로 실행한다.

따라서, 동화상 처리 장치(1)에 있어서는 1개의 코덱 하드웨어 자원을 유효하게 사용할 수 있게 된다.

또한, 본 발명은 상술한 실시형태에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

상술한 실시형태에서는 프레임 레이트 변경부(17)에 있어서의 프레임 레이트의 변경은 사용자의 임의의 타이밍에서 실행하도록 구성했지만, 동기 재생 등의 처리의 개시 전에 미리 변경해도 좋고, 동기 재생 중에 변경을 해도 좋다. 변경의 타이밍도 변경 지시의 직후가 아닌 예를 들면, 동화상의 후반 등의 소정의 IDR 블록을 지정하도록 구성해도 좋다.

또, 상술한 실시형태에서는 H.264/MPEG-4 AVC에 준거하는 것으로서 설명했지만, 다른 방식으로도 적용 가능하다. 예를 들면, 입력 데이터와 출력 데이터를 동일한 IDR 주기(N)로 했지만, 각각 다른 주기(N1, N2)로 되도록 구성해도 적용 가능하다. 이 경우, IDR 주기는 다른 주기(N1, N2)의 최소공배수를 단위로 해서 디코드 및 인코드를 실행하도록 구성한다.

또, 상술한 실시형태에서는 본 발명이 적용되는 동화상 처리 장치(1)는 디지털 카메라를 예로 해서 설명했지만, 특히 이것에 한정되지 않는다.

예를 들면, 본 발명은 인코드/디코드 기능을 갖는 1개의 코덱 하드웨어를 구비한 전자 기기 일반에 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은 노트북, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대형 내비게이션 장치, 휴대전화기, 휴대용 게임기 등에 적용 가능하다.

상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

환언하면, 도 1의 기능적 구성은 예시에 불과하며, 특히 한정되지 않는다. 즉, 상술한 일련의 처리를 전체로서 실행할 수 있는 기능이 동화상 처리 장치(1)에 구비되어 있으면 충분하고, 이 기능을 실현하기 위해 어떠한 기능 블록을 이용할 것인지는 특히 도 1의 예에 한정되지 않는다.

또, 1개의 기능 블록은 하드웨어 단체(單體)로 구성해도 좋고, 소프트웨어 단체로 구성해도 좋으며, 그들 조합으로 구성해도 좋다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는 전용의 하드웨어에 조립되어 있는 컴퓨터라도 좋다. 또, 컴퓨터는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면 범용의 퍼스널 컴퓨터라도 좋다.

이러한 프로그램을 포함하는 기록 매체는 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 리무버블 미디어 등에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 사용자에게 제공되는 기록 매체 등으로 구성된다. 리무버블 미디어 등은 예를 들면, 자기 디스크(플로피 디스크 포함), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성된다. 광 자기 디스크는 MD(Mini-Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 조립된 상태에서 사용자에게 제공되는 기록 매체는 예를 들면 프로그램이 기록되어 있는 기억 수단 등으로 구성된다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 그 순서를 따라 시계열적으로 실행되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

이상, 본 발명의 몇 개의 실시형태에 대해 설명했지만, 이들 실시형태는 예시에 불과하며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 밖의 다양한 실시형태를 취하는 것이 가능하고, 또한 본 발명의 요지를 이탈하지 않는 범위에서 생략이나 치환 등 각종 변경을 할 수 있다. 이들 실시형태나 그 변형은 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 특허청구범위에 기재된 발명과 그 균등의 범위에 포함된다.

1; 동화상 처리 장치 11; DRAM
12; 입력 전환부 13; 인코더/디코더
14; 출력 전환부 15; 동화상 선택 제어부
16; IDR 주기 특정부 17; 프레임 레이트 변경부
18; 표시 제어부 19; 표시부
20; 기억 제어부

Claims

동화상 데이터를 블록 단위로 처리하는 블록 처리부와,
상기 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 전환부와,
상기 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 전환 제어부를 구비하고,
상기 블록 처리부는 디코드 기능과 인코드 기능을 선택적으로 처리 가능하고, 재생하는 동화상 데이터와 기록하는 동화상 데이터를, 상기 블록 단위로 교대로 전환하면서 디코드와 인코드를 교대로 실행하는 것을 특징으로 하는 동화상 처리 장치.
제 1 항에 있어서,
복수의 동화상 데이터에 대해 소정 처리를 동시에 실행하는 동시 실행 제어부를 더 구비하고,
상기 블록 처리부는 상기 소정 처리를 위한 전처리를 블록 단위로 실행하고,
상기 전환부는 상기 동시 실행 제어부에 의한 동시 실행의 대상으로 되는 복수의 동화상 데이터를 전환 대상으로 하는 것을 특징으로 하는 동화상 처리 장치.
제 2 항에 있어서,
상기 동시 실행 제어부에 의한 동시 실행의 대상으로 되는 복수의 동화상 데이터를 임의로 선택하는 복수의 동화상 선택부를 더 구비하는 것을 특징으로 하는 동화상 처리 장치.
제 1 항에 있어서,
상기 전환 제어부는 상기 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 기록 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 것을 특징으로 하는 동화상 처리 장치.
제 2 항에 있어서,
상기 전환 제어부는 상기 동시 실행 제어부에 의한 동시 실행의 대상으로 되는 복수의 동화상 데이터에 대한 상기 소정 처리의 실행 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 것을 특징으로 하는 동화상 처리 장치.
제 2 항에 있어서,
상기 블록 처리부는 동화상 데이터를 블록 단위로 디코드 또는 인코드하고,
상기 동시 실행 제어부는 복수의 동화상 데이터에 대해 재생 처리 또는 기록처리를 동시에 실행하는 것을 특징으로 하는 동화상 처리 장치.
삭제
제 2 항에 있어서,
상기 블록 처리부에 의한 전처리를 실행하기 전의 복수의 동화상 데이터를 기억하는 메모리와,
상기 블록 처리부에 의한 전처리가 실행된 후의 동화상 데이터를 상기 소정 처리가 실행될 때까지의 동안 일시적으로 기억하는 버퍼 메모리로서, 복수의 동화상 데이터에 대응하는 복수의 기억 영역을 갖는 버퍼 메모리를 더 구비하고,
상기 전환부는 상기 메모리에 기억된 복수의 동화상 데이터 중에서, 상기 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 입력 전환부와, 상기 블록 처리부로부터 출력되는 동화상 데이터를 일시적으로 기억시키는 상기 버퍼 메모리내의 영역을 상기 블록 단위로 전환하는 출력 전환부를 갖는 것을 특징으로 하는 동화상 처리 장치.
제 8 항에 있어서,
상기 버퍼 메모리내에 기억된 동화상 데이터를 표시부에 표시시키는 표시 제어부를 더 구비한 것을 특징으로 하는 동화상 처리 장치.
제 8 항에 있어서,
상기 버퍼 메모리내에 기억된 동화상 데이터를 기억부에 기억시키는 기억 제어부를 더 구비한 것을 특징으로 하는 동화상 처리 장치.
제 1 항에 있어서,
상기 전환 제어부는 상기 전환부에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환부에서 전환하는 전환 타이밍의 결정과, 각각의 타이밍에서 전환하는 동화상 데이터의 선택을 실행하는 것을 특징으로 하는 동화상 처리 장치.
제 1 항에 있어서,
상기 블록을 구성하는 프레임의 수는 동화상 데이터마다 다르고,
상기 전환 제어부는 동화상 데이터마다 다른 상기 블록을 구성하는 프레임의 수에 따라, 상기 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 것을 특징으로 하는 동화상 처리 장치.
제 6 항에 있어서,
상기 동시 실행 제어부에 의해 동화상 데이터의 재생 속도 또는 기록 속도는 동화상 데이터마다 다르고,
상기 전환 제어부는 동화상 데이터마다 다른 상기 재생 속도 또는 상기 기록속도에 따라, 상기 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 것을 특징으로 하는 동화상 처리 장치.
제 13 항에 있어서,
상기 재생 속도 또는 상기 기록 속도는 상기 동시 실행 제어부에 의한 복수의 동화상 데이터의 동시 재생 또는 동시 기록 중에 상기 블록 단위로 변화하고,
상기 전환 제어부는 동시 재생 또는 동시 기록 중에 변화하는 상기 재생 속도 또는 상기 기록 속도에 따라, 상기 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 것을 특징으로 하는 동화상 처리 장치.
삭제
삭제
제 1 항에 있어서,
상기 블록 단위는 동화상 데이터의 IDR 프레임을 구획으로 하는 복수의 프레임으로 이루어지는 블록을 단위로 하는 것을 특징으로 하는 동화상 처리 장치.
제 8 항에 있어서,
상기 버퍼 메모리의 용량은 동화상 데이터마다 다르고,
상기 전환 제어부는 동화상 데이터마다 다른 상기 버퍼 메모리의 용량에 따라, 상기 복수의 동화상 데이터를 상기 전환부에서 전환하는 순번을 변화시키는 것을 특징으로 하는 동화상 처리 장치.
제 18 항에 있어서,
상기 버퍼 메모리는 각 동화상 데이터마다, 적어도 상기 동화상 데이터의 IDR의 주기분의 프레임 화상을 저장할 수 있는 용량 이상 확보하는 것을 특징으로 하는 동화상 처리 장치.
제 19 항에 있어서,
각 동화상 데이터의 IDR 주기를 특정하고, 이 특정된 IDR 주기에 따라 각 동화상 데이터에 대응하는 버퍼 메모리의 용량을 동적으로 변화시키는 것을 특징으로 하는 동화상 처리 장치.
복수의 동화상 데이터를 1개의 디코더로 디코드하면서 동시에 재생하는 동화상 처리 장치로서,
상기 디코더에 입력 또는 출력하는 동화상 데이터를 소정 블록마다 차례로 전환하면서 선택해 가는 제어부와,
상기 디코더로부터 출력되는 디코드 완료의 동화상 데이터를 재생할 때까지의 동안 일시적으로 기억하는 버퍼 메모리를 갖고,
상기 소정 블록을 구성하는 프레임의 수, 또는 상기 재생의 속도 중의 적어도 한쪽은 동화상 데이터마다 다르고,
상기 제어부는 동화상 데이터마다 다른 상기 소정 블록을 구성하는 프레임의 수, 또는 상기 재생의 속도에 따라, 상기 동화상 데이터의 전환 타이밍의 결정과, 전환하는 동화상 데이터의 선택을 실행하고,
상기 버퍼 메모리는 각 동화상 데이터마다 마련된 FIFO 형식의 버퍼 메모리이고,
각 FIFO 메모리에 저장된 디코드 완료의 프레임 화상 데이터를, 각 동화상 데이터의 프레임 레이트에 따른 속도로 순차 읽어내어 표시부에 전송하는 표시 제어부를 구비하고,
상기 제어부는 상기 소정 블록의 단위로 디코더에 입력 완료된 동화상 데이터의 양을, 상기 소정 블록을 구성하는 프레임의 수와, 각 동화상 데이터 재생 속도에 따라 총 재생 시간으로 환산하고, 이 총 재생 시간이 동등하게 되도록, 상기 소정 블록의 단위로 디코더에 입력하는 동화상 데이터를 선택하는 것을 특징으로 하는 동화상 처리 장치.
삭제
제 21 항에 있어서,
상기 제어부는 상기 디코더에 입력 완료된 복수의 소정 블록의 총 재생 시간을, 각 소정 블록마다 다른 재생 속도와, 각 소정 블록을 구성하는 프레임의 수에 따라 산출하는 것을 특징으로 하는 동화상 처리 장치.
복수의 동화상 데이터를 1개의 디코더 또는 인코더로 디코드 또는 인코드하면서 동시에 재생 또는 기록하는 동화상 처리 장치로서,
상기 디코더 또는 인코더에 입력 또는 출력하는 동화상 데이터를 소정 블록마다 차례로 전환하면서 선택해 가는 제어부와,
상기 디코더 또는 인코더로부터 출력되는 디코드 완료 또는 인코드 완료의 동화상 데이터를 재생 또는 기록할 때까지의 동안 일시적으로 기억하는 버퍼 메모리를 갖고,
상기 소정 블록을 구성하는 프레임의 수와 상기 재생 또는 기록의 속도 중의 적어도 한쪽은 동화상 데이터마다 다르고,
상기 제어부는 동화상 데이터마다 다른 상기 소정 블록을 구성하는 프레임의 수, 또는 상기 재생 또는 기록의 속도에 따라, 상기 동화상 데이터의 전환 타이밍의 결정과, 전환하는 동화상 데이터의 선택을 실행하고,
상기 버퍼 메모리는 각 동화상 데이터마다 마련된 FIFO 형식의 버퍼 메모리이고,
각 FIFO 메모리에 저장된 디코드 완료 또는 인코드 완료의 프레임 화상 데이터를, 재생 또는 기록의 속도에 따른 속도로 순차 읽어내어 재생 또는 기록시키는 기록 제어부를 구비하고,
상기 기록 제어부는 디코드 중 또는 인코드 중의 동화상에 대응하는 FIFO 메모리내의 디코드 완료 또는 인코드 완료 데이터가 소정 비율 이상이 된 타이밍, 또는 디코드 중 또는 인코드 중이 아닌 다른 동화상에 대응하는 FIFO 메모리내의 디코드 완료 또는 인코드 완료 데이터가 소정 비율 이하가 된 타이밍에서 다른 동화상으로의 전환을 실행하는 것을 특징으로 하는 동화상 처리 장치.
복수의 동화상 데이터를 1개의 인코더로 인코드하면서 동시에 기록하는 동화상 처리 장치로서,
상기 인코더에 입력 또는 출력하는 동화상 데이터를 소정 블록마다 차례로 전환하면서 선택해 가는 선택 제어부와,
상기 인코더로부터 출력되는 인코드 완료의 동화상 데이터를 기록할 때까지의 동안 일시적으로 기억하는 버퍼 메모리를 갖고,
상기 소정 블록을 구성하는 프레임의 수, 또는 상기 기록의 속도 중의 적어도 한쪽은 동화상 데이터마다 다르고,
상기 선택 제어부는 동화상 데이터마다 다른 상기 소정 블록을 구성하는 프레임의 수, 또는 상기 기록의 속도에 따라, 상기 동화상 데이터의 전환 타이밍의 결정과, 전환하는 동화상 데이터의 선택을 실행하고,
상기 선택 제어부는 상기 인코더에 입력 완료된 복수의 소정 블록의 총 재생 시간을, 각 소정 블록마다 다른 기록 속도와, 각 소정 블록을 구성하는 프레임의 수에 따라 산출하는 것을 특징으로 하는 동화상 처리 장치.
삭제
삭제
삭제
삭제
동화상 데이터를 블록 단위로 처리하는 블록 처리부를 이용해서 복수의 동화상 데이터에 대해 소정 처리를 동시에 실행하는 동화상 처리 방법으로서,
상기 블록 처리부에 처리시키는 동화상 데이터를 상기 블록 단위로 전환하는 전환 처리와,
상기 전환 처리에 의한 전환 대상으로 되는 복수의 동화상 데이터의 소정 상태에 따라, 이 복수의 동화상 데이터를 상기 전환 처리에서 전환하는 순번을 변화시키는 전환 제어 처리를 포함하고,
상기 블록 처리부는 디코드 기능과 인코드 기능을 선택적으로 처리 가능하고, 재생하는 동화상 데이터와 기록하는 동화상 데이터를, 상기 블록 단위로 교대로 전환하면서 디코드와 인코드를 교대로 실행하는 것을 특징으로 하는 동화상 처리 방법.