KR20020065311A - 동화상 데이터의 기록 재생방법 및 장치 - Google Patents

동화상 데이터의 기록 재생방법 및 장치 Download PDF

Info

Publication number
KR20020065311A
KR20020065311A KR1020010009441A KR20010009441A KR20020065311A KR 20020065311 A KR20020065311 A KR 20020065311A KR 1020010009441 A KR1020010009441 A KR 1020010009441A KR 20010009441 A KR20010009441 A KR 20010009441A KR 20020065311 A KR20020065311 A KR 20020065311A
Authority
KR
South Korea
Prior art keywords
vop
bit stream
frame
recording
picture
Prior art date
Application number
KR1020010009441A
Other languages
English (en)
Other versions
KR100789507B1 (ko
Inventor
스즈키요시노리
Original Assignee
가부시키가이샤 히타치세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히타치세이사쿠쇼 filed Critical 가부시키가이샤 히타치세이사쿠쇼
Publication of KR20020065311A publication Critical patent/KR20020065311A/ko
Application granted granted Critical
Publication of KR100789507B1 publication Critical patent/KR100789507B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

동화상의 복호화에 필요한 프레임내 부호화 화상(I-VOP)의 삽입 빈도가 적은 동화상 부호화 데이터를 수신하여 임의의 장면(scene)을 소용량의 메모리에 효율적으로 녹화한다.
동화상 부호화 데이터열로 이루어지는 수신 비트 스트림을 복호화하여 재생 화상을 표시하고 있는 동안에, 임의로 선택된 복호화 화상을 가상적 프레임내 부호화 화상(가상 I-VOP)으로서 보존해 두고, 가상 I-VOP로 취급된 복호화 화상에 연속하는 특정 기간분의 재생화상을 생성하는 부분적인 비트 스트림을 녹화 데이터로서 기록한다. 녹화 데이터는, 가상 I-VOP를 초기화면으로 하여 복호화된다.

Description

동화상 데이터의 기록 재생방법 및 장치{Method and Apparatus for Recording and Playing back Moving Picture Data}
본 발명은, 동화상 데이터의 기록 재생방법 및 장치에 관한 것으로, 더 자세하게는, 프레임내 부호화의 적용 빈도가 적은 디지털 동화상 부호화 데이터열(列)의 부분적 기록에 적용한 동화상 데이터의 기록 재생방법 및 장치에 관한 것이다.
디지털 방송과 같이 디지털 동화상을 불특정 다수의 유저(user)에게 동시에 실시간(real-time)으로 제공하는 1대 다수의 어플리케이션(application)에서는, 각 단말에서 수신 동화상 데이터의 복호 처리를 순간적으로 개시할 수 있는 데이터 구조, 즉, 임의의 시각에서 복호 가능한 부호화 데이터(비트 스트림)(bit stream) 형식이 채용되고 있다.
도 2는, 디지털 방송에서의 동화상 비트 스트림의 일예로서, MPEG 방식의 데이터 구조를 나타낸다. MPEG 방식에서는, 프레임내 부호화, 프레임간 부호화, 쌍방향 부호화라 불리는 3 종류의 부호화가 정의되어 있다.
「프레임내 부호화」는, 현 프레임의 화상에 대하여 직접 DCT(이산 코싸인 변환)를 실시하는 데이터 압축방법이며, 프레임내 부호화를 적용한 프레임은, MPEG-4에서는 I-VOP (Intra-coded Video Object Plane), MPEG-2에서는 I-Picture라 불리고 있다. 또한 VOP는 직사각형 화상에서는 프레임과 동의어이다. I-VOP는, 부호화, 복호화시에 과거 프레임의 복호정보를 필요로 하지 않으므로, 부호화 동화상의 랜덤 액세스시의 복호개시 프레임으로 사용된다.
「프레임간 부호화」는, 하나의 프레임을 시간적으로 과거의 프레임의 부호화 정보를 이용하여 데이터를 압축하는 부호화 방법이며, 프레임간 부호화를 적용한 프레임은 MPEG-4에서는 P-VOP(Predictive-coded VOP), MPEG-2에서는 P-Picture라 불리고 있다. 또한, 「쌍방향 부호화」는, 하나의 프레임을 이미 부호화가 끝난시간적으로 과거 및 미래의 2개의 프레임이 갖는 부호화 정보를 이용하여 데이터를 압축하는 방법이며, 쌍방향 부호화를 적용한 프레임의 MPEG-4에서는 B-VOP(Bidirectionally predicted-coded VOP), MPEG-2에서는 B-Picture라 불리고 있다.
이하의 설명에서는, MPEG-4 비트 스트림의 데이터 구조를 전제로 하여, 도면에 나타난 부호 I는 I-VOP, P는 P-VOP, B는 B-VOP를 의미하는 것으로 한다.
도 2에 나타낸 MPEG 비트 스트림은, 비트 스트림 사이즈 등, 시퀀스 전체의 특징을 나타내는 헤더(header)정보(201)와 I-VOP(202)가 정기적으로 삽입된 데이터 구조로 되어 있다. 이 데이터 구조는, 예를 들면, 파선으로 나타내는 P-VOP와 B-VOP로 이루어지는 데이터 부분(203)에서 비트 스트림의 수신동작을 개시한 경우라도, 단말측에서 다음에 나타내는 헤더정보(201)와 I-VOP(202)를 대기함으로써, 수신 데이터의 복호처리를 개시할 수 있다. 따라서, 상기 데이터 구조에 의하면, 데이터 부분(203)의 사이즈를 시청자가 기다리는 시간을 의식하지 않을 정도의 크기로 제한해 둠으로써, 각 시청자에게 순간적으로 스타트의 동화상 제공 서비스가 가능해진다.
최근 서비스가 개시된 디지털 방송에서는, 상기 MPEG-4의 헤더정보(201)가, 예를 들면, 도 3에 나타내는 바와 같이, VOS 헤더(201-1), VO 헤더(202-2), VOL 헤더(201-3), GOV 헤더(201-4)로 되어 있다.
VOS 헤더(201-1)는, MPEG-4 제품의 적용범위를 결정하는 프로파일 레벨 정보를 포함하며, VO 헤더(201-2)는, MPEG-4의 버전 정보를 포함한다. VOL 헤더(201-3)는, 수신 데이터의 복호화에 필수가 되는 화상 사이즈, 부호화 비트 레이트, 프레임 메모리 사이즈, 적용 툴 등의 정보를 포함한다. 또한, GOV 헤더(201-4)는, 예약재생 등에서 활용되는 시각(時刻)정보를 포함하고 있다.
상술한 헤더정보(201)와 I-VOP(202)를 정기적으로 삽입한 데이터 구조는, 비디오 녹화나, 녹화 데이터의 랜덤 액세스에 유효해진다. 예를 들면, 비디오 녹화에서는, 유저가 녹화개시 버튼을 누른 후에 최초로 나타나는 헤더정보(201)를 해석함으로써, 그 이후의 데이터를 기록할 수 있다. MPEG 디코더는, B-VOP나 B-Picture의 복호처리를 건너뛰어도 시퀀스 전체의 복호 화상열의 품질을 파탄시키지 않는 구성이 되어 있으므로, 상기 데이터 부분(203)에 B-VOP를 빈번히 사이에 둠으로써, 기록 데이터의 빨리감기나 고속재생 등이 용이해진다.
무선회선을 이용한 실시간 통신에서는, 전송지연, 통신용량, 데이터의 전송오류, 소비전력 등의 제한에 의해, 비트 스트림 속으로의 빈번한 I-VOP 삽입이 곤란해진다. 이 때문에, 무선회선의 사용을 전제로 하여 온디맨드(on-demend)형의 스트리밍(streaming) 동화상 제공 서비스에서는, 예를 들면, 도 4에 나타내는 바와 같이, I-VOP의 사용을 극력(極力) 회피한 부호화 데이터를 채용하지 않을 수 없다.
도 4에 나타낸 부호화 데이터는, 도 2와 달리, 헤더정보(311)와 I-VOP(312)의 후에, 연속한 다수의 P-VOP로 이루어지는 긴 데이터열(313)을 배치한 데이터 구조로 되어 있다. 이 경우, P-VOP열 중에는, 전송오류를 수정하기 위해 인트라(intra) 부호화 블록을 적절히 배치하는 것이 일반적이다. 상기 인트라 부호화 블록은, 전송오류에 의해 열화한 블록의 화상품질을 리프레쉬(refresh)하는 역할을 완수하고 있으며, MPEG의 경우, 1 개의 VOP를 16×16 화소 사이즈의 복수 블록으로 분할하여, 수 개의 VOP에서 모든 부호화 블록을 리프레쉬할 수 있도록, 부호화 대상 블록의 위치가 주기적으로 변경된다. 또한, 스트리밍 동화상 제공 서비스에서는, 예를 들면, 도 5에 나타내는 바와 같이, 헤더정보(311)가, VOP 헤더(311-1), VO 헤더(311-2), VOL 헤더(311-3)로 구성되며, GOV 헤더를 포함하지 않는 경우도 있다.
그런데도, 비트 스트림중의 I-VOP의 삽입 빈도를 감소시키면, I-VOP에 연속하는 데이터 부분(313)의 사이즈가 길어지므로, 단말측에서 수신 스트림(부호화 데이터열)중의 특정 부분만을 기록하고 싶은 경우라도, 실제로는, I-VOP에서 목적 화상 프레임까지의 사이에 수신되는 다수의 불필요한 프레임군도 기록하지 않으면 안된다는 문제가 발생한다.
예를 들면, 도 4에 나타낸 비트 스트림이 3분간의 동화상 데이터라고 가정하면, 유저가 비트 스트림중의 최종부분에 위치한 약 15초간의 동화상을 기록하고 싶은 경우라도, 복호화에 불가결한 헤더(311), I-VOP(312)에서 목적 화상 프레임까지의 모든 비트 스트림을 기록하지 않으면 안된다. 따라서, 예를 들면, 휴대전화와 같이 소용량 메모리를 내장한 단말장치에서는, 유저가 수신 동화상 중에서 선택한 특정 스트림 부분을 선택적으로 녹화하고 싶다고 생각해도, 목적 스트림 부분에 도달하기 전에 내장 메모리가 가득차 녹화에 실패할 가능성이 있으며, 소망 화면을 포함하는 부분적 스트림을 확실하게 녹화하기 위해서는, 충분한 메모리 용량을 갖는 외부 기억장치를 미리 단말장치에 접속해 둘 필요가 있다.
본 발명의 목적은, 비교적 소용량의 메모리를 내장한 단말장치에 적합한 동화상 데이터의 기록 재생방법을 제공하는데 있다.
본 발명의 다른 목적은, 프레임내 복호화의 적용 빈도가 적은 동화상 부호화 데이터열에서 추출된 임의 부분의 화상 스트림을 비교적 소용량의 메모리로 기록 가능한 동화상 데이터의 기록 재생방법을 제공하는데 있다.
본 발명의 또다른 목적은, 프레임내 부호화의 적용 빈도가 적은 동화상 부호화 데이터열중의 임의 부분의 화상 스트림을 기록 재생 가능한 단말장치를 제공하는데 있다.
도 1은, 본 발명에 의한 동화상 데이터 처리 시스템의 일실시예를 나타내는 도면,
도 2는, 동화상 비트 스트림인 MPEG-4의 데이터 구조의 일예를 나타내는 도면,
도 3은 MPEG-4 비트 스트림의 시퀀스 헤더부의 구조를 나타내는 도면,
도 4는, 무선통신에 적용되는 MPEG-4 비트 스트림의 데이터 구조의 일예를 나타내는 도면,
도 5는, 무선통신에 적용되는 MPEG-4 비트 스트림의 시퀀스 헤더부의 구조를 나타내는 도면,
도 6은, 본 발명에 의한 동화상 데이터 처리 시스템의 다른 실시예를 나타내는 도면,
도 7은, 상기 동화상의 데이터 처리 시스템에서 처리되는 수신 비트 스트림(300)의 일예를 나타내는 도면,
도 8은, 수신 비트 스트림(300)의 P5 프레임의 복호화 사이클에서의 상기 동화상 데이터 처리 시스템의 메모리 상태를 나타내는 도면,
도 9는 수신 비트 스트림(300)의 P5 프레임의 복호화 사이클에서 가상 I-VOP 갱신 지령이 있었던 경우의 메모리 상태를 나타내는 도면,
도 10은, 수신 비트 스트림(300)의 P5 프레임의 복호화 사이클에서 가상 I-VOP 갱신 지령이 없었던 경우의 메모리의 상태를 나타내는 도면,
도 11은, 상기 동화상 데이터 처리 시스템에서 처리되는 복수의 I-VOP를 포함하는 수신 비트 스트림(300-2)의 일예를 나타내는 도면,
도 12는 수신 비트 스트림(300-2)의 P5 프레임의 복호화 사이클에서의 상기동화상 데이터 처리 시스템의 메모리 상태를 나타내는 도면,
도 13은, 수신 비트 스트림(300-2)의 P5 프레임의 복호화 사이클에서 가상 I-VOP 갱신 지령이 있었던 경우의 메모리 상태를 나타내는 도면,
도 14는, 수신 비트 스트림(300-2)의 P5 프레임의 복호화 사이클에서의 가상 I-VOP 갱신 지령의 변형예를 설명하기 위한 도면,
도 15는, 재부호화된 가상 I-VOP의 비트 스트림 메모리(505)로의 보존형식의 일예를 나타내는 도면,
도 16은, 재부호화 된 가상 I-VOP의 비트 스트림 메모리(505)로의 보존형식의 다른 예를 나타내는 도면,
도 17은, 본 발명에 의한 동화상 데이터 처리 시스템의 제3 실시예를 나타내는 도면,
도 18은, 본 발명에 의한 동화상 데이터 처리 시스템의 제4 실시예를 나타내는 도면,
도 19는, 본 발명에 의한 휴대단말이 구비하는 유저 인터페이스의 일예를 나타내는 도면,
도 20은, 본 발명에 의한 휴대단말이 구비하는 유저 인터페이스의 다른 예를 나타내는 도면이다.
(부호의 설명)
100프레임 메모리 제어부101∼103프레임 메모리
108∼110, 507스위칭 게이트501어플리케이션 제어부
502입력버퍼 메모리503MPEG 인코더
504출력부505비트 스트림 메모리
506스위치508입력장치
600디지털 시그널 프로세서601MPEG 인코더
701JPEG 인코더702JPEG 디코더
800, 801휴대전화 단말811표시화면
812시각 표시영역821, 834재생버튼
822기록버튼823정지버튼
824, 836일시 정지버튼835기록/정지버튼
상기 목적을 달성하기 위해, 본 발명에서는, 수신한 동화상 부호화 데이터열(수신 비트 스트림)을 복호화하여 재생화상을 표시하고 있는 동안에, 임의로 선택된 복호화 화상을 가상적 프레임내 부호화 화상으로서 보존해 두고, 상기 가상적 프레임내 부호화 화상으로서 취급된 복호화 화상에 연속하는 특정 기간분의 재생화상을 생성하는 부분적인 수신 비트 스트림을 녹화 데이터로서 기록하는 것을 특징으로 한다.
본 발명에 의하면, 상기 가상적 프레임내 부호화 화상을 초기 데이터로 하여, 녹화 데이터로서 기록된 후속 프레임의 비트 스트림을 차례로 복호화하고, 재생화상으로서 표시하는 것이 가능해진다. 상기 가상적 프레임내 부호화 화상은, 복호화 화상을 재부호화하여 얻어진 부호화 데이터의 형태로 보존되어도 된다. 상기가상적 프레임내 부호화 화상의 선택은, 기본적으로는 유저(user)가 녹화 지정한 타이밍에서 행해지며, 이것에 의해, 표시된 동화상중에서 유저가 소망하는 장면이 녹화된다.
본 발명의 바람직한 실시예에서는, 유저(user) 조작의 지연과 유저 지령에 대한 응답동작의 지연에 기인한 녹화개시 타이밍의 지연을 회피하기 위해, 수신 동화상을 재생중인 단말장치가, 상기 가상적 프레임내 부호화 화상을 소정의 주기로 정기적으로 갱신하여, 가상적 프레임내 부호화 화상을 갱신할 때마다, 변경하여 부분적 수신 비트 스트림을 재기록하는 예비 녹화모드에서 동작한다. 예비 녹화모드에서 동작중에 유저가 녹화를 지정하면, 상기 가상적 프레임내 부호화 화상의 갱신을 억제하고, 수신 비트 스트림의 기록동작을 계속하는 녹화 보존모드로 이행한다. 녹화 보존모드는, 유저가 녹화종료를 지시하던가, 녹화용 메모리가 가득찼을 때에 종료한다. 가상적 프레임내 부호화 화상의 갱신주기를 적당히 설정함으로써, 유저가 소망한 장면에서 확실하게 녹화하는 것이 가능해진다.
I-VOP와 P-VOP만을 이용하는 일반적인 MPEG-4 복호기에서는, 2면의 프레임 메모리를 준비하고, 한쪽을 동작 예측처리에서의 참조 VOP 화상용, 다른 쪽을 현 VOP 화상용의 프레임 메모리로 하여 프레임 단위의 복호화 처리를 실행하고, 복호화 사이클마다 메모리 용도를 교대로 전환하도록 되어 있다. 이 경우, 참조 VOP용의 프레임 메모리에 축적된 복호화 화상은, 다음의 복호화 사이클에서, 새로운 복호화 화상의 덮어씀 의해 소멸해 버린다.
본 발명의 제1 실시예에서는, 상기 참조 VOP용의 프레임 메모리에 축적된 복호화 화상을 순간적으로, 또한, 임의의 기간, 가상적 프레임내 부호화 화상(이하, 가상 I-VOP 화상이라고 함)으로서 보존할 목적으로, MPEG 복호기에 제3 프레임 메모리를 추가한다. 평소에는, 참조 VOP 화상용, 현 VOP 화상용에 할당된 2개의 프레임 메모리를 교대로 전환함으로써, 수신 비트 스트림이 프레임 단위로 복호화된다. 가상 I-VOP 화상의 갱신 타이밍에서는, 참조 VOP 화상용의 프레임 메모리를 가상 I-VOP 화상용으로 전환하여, 그 때까지 가상 I-VOP 화상용으로 되어 있던 프레임 메모리를 현 VOP 화상용으로 전환한다. 상기 구성에 의하면, 프레임 메모리 사이의 화상 데이터 전송을 행하지 않고, 복호화 화상을 순간적으로 보존한 후에, 후속 프레임을 복호화할 수 있다.
가상 I-VOP 화상에 연속하는 특정 기간분의 재생화상을 생성하는 부분적인 수신 비트 스트림은, 녹화 메모리가 되는 비트 스트림 메모리에 축적된다. 본 실시예에서, 녹화의 재생은, 가상 I-VOP 화상용의 프레임 메모리를 참조 VOP 화상용으로 전환하여, 비트 스트림 메모리에서 판독된 부호화 데이터를 MPEG 복호기에 공급함으로써 달성된다.
본 발명의 제2 실시예에서는, 상기 제3 프레임 메모리 대신에, MPEG 부호기를 사용하여, 가상 I-VOP 화상의 갱신 타이밍이 된 시점에서, 참조 VOP 화상용의 프레임 메모리에 축적되어 있는 참조 VOP 화상을 MPEG 부호기에 공급한다. MPEG 부호기에서 부호화된 화상 데이터는, 비트 스트림 메모리에 축적된다. 따라서, 제2 실시예에서는, 가상 I-VOP 화상과 후속 화상이 모두 부호화 데이터로서 비트 스트림 메모리에 축적되며, 녹화 재생시에는, 비트 스트림 메모리에서 판독된 부호화데이터가 차례로 MPEG 복호기에 공급된다.
(발명의 실시형태)
이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.
도 6은, 예를 들면, 휴대전화 등의 무선통신 단말에 탑재되는 본 발명에 의한 동화상 데이터 처리 시스템의 제1 실시예를 나타낸다.
본 실시예는, MPEG-4 디코더(503)가, 참조 VOP용 프레임 메모리, 현 VOP용 프레임 메모리 이외에, 가상 I-VOP 화상 보존용의 제3 프레임 메모리를 구비한 것에 특징이 있다. 각종 응용 소프트웨어(프로그램)를 실행하는 마이크로 프로세서와, 동화상 데이터를 처리하는 DSP(digital signal processor)를 구비한 무선통신 단말에서는, 상기 MPEG-4 디코더(503)의 기능을 DSP에 의한 데이터 처리에 의해 실현할 수 있다. 여기서는, MPEG-4 디코더(503)를 DSP에 의해 구성한 동화상 데이터 처리 시스템에 대하여 설명하지만, MPEG-4 코덱(codec)(503)의 기능은 전용 LSI로 실현되어도 되며, 또한, 마이크로 프로세서의 데이터 처리기능을 이용하는 소프트웨어에 의해 실현되어 있어도 된다.
도면에서, 501은 어플리케이션 제어부(마이크로 프로세서), 502는 수신된 부호화 데이터(비트 스트림)를 일시적으로 축적하는 입력버퍼, 503은, MPEG-4 디코더, 504는 액정표시장치 등으로 이루어지는 복호 VOP 화상 출력부, 505는 제공된 동화상의 일부를 보존하기 위한 비트 스트림 메모리, 506은 보존 데이터 제어용의 스위치, 507은 입력 데이터 선택용의 스위칭 게이트, 508은 유저(user)가 조작하는 각종 입력버튼을 구비한 입력장치를 나타낸다.
MPEG-4 디코더부(503), 출력부(504), 비트 스트림 메모리(505), 스위치(506) 및 게이트(507)는, 어플리케이션 제어부(501)에서 출력되는 제어신호(521, 522, 520, 523, 524)에 의해 각각 제어된다. 또한, 입력버퍼(502)는, 어플리케이션 제어부(501)에서 출력되는 제어신호(525)에 의해 클리어(clear)된다.
제공되는 동화상을 복호화하여 표시화면으로 출력하는 수신 동화상 출력모드에서는, 스위칭 게이트(507)가, 도면에서는 생략된 무선 수신회로에서 출력되는 동화상 부호화 데이터(비트 스트림)를 선택하고, 패스(path)(511)를 통하여 입력버퍼 메모리(502)에 공급한다. 입력버퍼 메모리(502)에 일시적으로 축적된 동화상 부호화 데이터는, 순차적으로 판독되고, 패스(512, 514)를 통하여 디코더(503)와 스위치(506)에 공급된다. 스위치(506)는, 제어신호(523)에 의해 ON, OFF 제어되며, ON 기간중의 부호화 데이터가 패스(515)를 통하여 비트 스트림 메모리(505)에 입력된다. 비트 스트림 메모리(505)로의 데이터의 기록과 판독은 제어신호(520)에 의해 제어된다.
MPEG-4 디코더부(503)는, 제1, 제2, 제3 프레임 메모리(101, 102, 103)와, 프레임 메모리 제어부(100)와, 패스(512)에서 입력된 부호화 데이터를 해석하는 분리부(104)와, 오차 복호부(105)와, 동작 보상부(106)와, 상기 오차 복호부(105)와 동작 보상부(106)의 출력을 가산하는 가산기(107)와, 상기 가산기에서의 출력을 제1, 제2, 제3 프레임 메모리(101 ∼ 103)에 선택적으로 공급하기 위한 제1 스위칭 게이트(108)와, 제1, 제2, 제3 프레임 메모리(101 ∼ 103)의 출력을 출력부(504)와 동작 보상부(106)에 선택적으로 공급하기 위한 제2 스위칭 게이트(109)로 이루어져있다. 상기 프레임 메모리 제어부(100)는, 어플리케이션 제어부(501)에서의 제어신호(521)에 응답하여, 제1, 제2 스위칭 게이트(108, 109)에 제어신호(111, 112)를 공급하여, 프레임 메모리(101 ∼103)의 입출력을 전환한다.
상기 분리부(104)는, 패스(512)에서 입력되는 부호화 데이터를 해석하여 헤더정보를 검출한다. 해석동작을 개시한 후 최초의 헤더정보가 검출되기까지 입력된 부호화 데이터는 폐기된다. 분리부(104)는, 검출된 각 헤더정보에서 화상 사이즈와 시각 정밀도 정보를 추출하고, 이것들을 어플리케이션 제어부(501)로 건네준다. 분리부(104)는, VOL 헤더에 포함되는 적용 툴 정보에서 일의적으로 결정되는 데이터 구조에 따라, 상기 헤더정보에 후속하여 입력되는 일련의 VOP 데이터를 해석하고, 각 VOP 데이터에서 추출된 시각관련 정보, 오차관련 정보, 동작관련 정보를, 각각 어플리케이션 제어부(501), 오차 복호부(105), 동작 제어부(106)로 분배한다.
상기 MPEG-4 디코더부(503)에서, 부호화 데이터는 분리부(104)에 입력되며, 각 VOP에서 추출된 오차정보와 동작정보가, 각각 오차 복호부(105)와 동작 보상부(106)로 분배된다. 이제, 제1 프레임 메모리(101)가 현 VOP 화상용, 제2 프레임 메모리(102)가 참조 VOP 화상용, 제3 프레임 메모리(103)가 가상 I-VOP 화상용에 할당된 VOP 복호화 사이클을 상정한다. 참조 VOP 화상용이 되었던 제2 프레임 메모리(102)에는, 앞 사이클에서 복호화된 VOP 화상 데이터가 보존되어 있다.
프레임 메모리 제어부(100)는, 제2 프레임 메모리(102)에 기억된 참조 VOP 화상이 동작 보상부(106)와 출력부(504)에 공급되도록 스위칭 게이트(109)를 전환하여, 가산기(107)에서 출력되는 복호 VOP 화상신호가 제1 프레임 메모리(101)에입력되도록 스위칭 게이트(108)를 제어한다. 동작 보상부(106)는, 분리부(104)에서 입력되는 새로운 VOP의 동작정보와 참조 VOP 화상을 이용하여 동작 보상처리를 행하고, 예측 VOP 화상을 생성한다. 가산기(107)는, 상기 예측 VOP 화상과 오차 복호부(105)에서 출력되는 오차 화상을 합성하여 복호 VOP 화상을 생성한다. 이 복호 VOP 화상은, 스위칭 게이트(108)를 통하여 제1 프레임 메모리(101)에 입력된다. 프레임 메모리 제어부(100)는, 하나의 VOP에 대하여 복호처리가 완료할 때마다, 제어신호(526)에 의해, VOP 처리의 완료와 복호된 VOP의 종류 및 출력시각을 어플리케이션 제어부(501)에 통지한다.
프레임 메모리 제어부(100)는, 다음 VOP의 복호처리에 앞서, 어플리케이션 제어부(501)에서 공급되는 제어신호(521)에 따라 상기 제1 ∼ 제3 프레임 메모리의 역할을 변경한다. 예를 들면, 상기 제어신호(521)에 의해, 참조 VOP 화상의 보존이 지시되어 있던 경우는, 이번에 참조 VOP 화상용으로서 사용한 제2 프레임 메모리(102)를 가상 I-VOP 화상용으로 전환하며, 복호 VOP 화상용으로서 사용한 제1 프레임 메모리(101)를 참조 VOP 화상용으로 전환하여, 그때까지 가상 I-VOP 화상이 축적되어 있던 제3 프레임 메모리(103)를 현 VOP 화상용으로 전환한다. 가령, 참조 VOP 화상의 보존이 지시되어 있지 않으면, 이번에 참조 VOP 화상용으로서 사용한 제2 프레임 메모리(102)를 현 VOP 화상용으로 전환하고, 복호 VOP 화상용으로서 사용한 제1 프레임 메모리(101)를 참조 VOP 화상용으로 전환하며, 제3 프레임 메모리(103)에 축적되어 있는 가상 I-VOP 화상은 그대로 유지한다. 출력부(504)는, 제2 스위칭 게이트(109)에서 패스(513)에 출력된 화상을, 제어신호(522)로서 공급되는 출력화상 사이즈, 표시 타이밍, 시각정보에 따라 표시화면에 출력한다.
본 실시예에서는, 상술한 바와 같이, 제1 ∼ 제3 프레임 메모리중 어떤 것을 가상 I-VOP 화상용으로서 사용하고, 가상 I-VOP 화상 이후의 비트 스트림을 메모리(505)에 축적한다. 가상 I-VOP 화상의 변경은, 어플리케이션 제어부(501)에서 참조 VOP 보존 지령의 형태로 지정된다.
어플리케이션 제어부(501)는, 예를 들면, 입력장치(508)를 통하여 유저로부터 녹화개시 지시를 받은 시점에서, 스위치(506)와 프레임 메모리 제어부(100)에 제어신호(523, 521)를 공급함으로써, 가상 I-VOP 화상의 변경(참조 VOP 화상의 보존)과 메모리(505)로의 비트 스트림의 축적동작을 개시할 수 있다. 단, 유저로부터 지시를 대기하여 녹화동작을 개시하면, 예를 들면 어플리케이션 프로그램의 캐쉬 제어에서의 지연 등에 의해, 녹화개시 위치가 유저 소망의 화면에서 지연될 가능성이 있다.
그래서, 본 발명의 바람직한 실시예에서는, 어플리케이션 제어부(501)가, 동화상의 표시중에 스위치(506)를 항상 ON 상태로 하고, 제어신호(520, 521)에 의해 보존 비트 스트림과 가상 I-VOP 화상을 정기적으로 갱신하는 예비 녹화모드 동작을 실행한다. 이 모드에서는, 비트 스트림 메모리(505)의 기억용량 및 제어 지연시간에 따라 설정되는 소정의 주기로 가상 I-VOP 화상을 정기적으로 갱신한다. 또한, 가상 I-VOP 화상을 갱신할 때마다, 비트 스트림 메모리(505)에 축적된 불필요 VOP열(부호화 데이터)을 무효로 하고, 새롭게 수신한 VOP열에서 순차적으로 재기록한다. 유저로부터 녹화개시 지시를 받은 경우, 가상 I-VOP 화상의 주기적 갱신동작을억제하고, 비트 스트림 메모리(505)의 기억용량의 범위내에서 수신 비트 스트림을 축적하는 녹화 보존모드로 이행한다.
상기 방법에 의하면, 유저로부터의 녹화개시 지시에 선행하여 녹화동작이 실행되어 있으므로, 유저로부터 녹화 재생 지시가 있었을 때, 유저가 소망한 녹화개시 화면에서 소정 시간분의 동화상을 재생 출력하는 것이 가능해진다. 예를 들면, 예비녹화 모드에서는, 비트 스트림 메모리 용량의 일부를 이용하여, 유저로부터의 녹화개시 지시에 대한 응답지연을 충분히 보완하는 수 VOP ∼ 수십 VOP 기간의 부호화 데이터를 주기적으로 기억해 둔다. 유저로부터의 녹화개시 지시에 응답하여 녹화 보존모드로 이행하고, 가상 I-VOP의 갱신을 정지하여, 비트 스트림 메모리(505)의 나머지 전체용량을 후속 부호화 데이터의 축적에 사용하면, 메모리 용량을 유효하게 이용하여 유저가 소망하는 동화상 장면을 녹화할 수 있다.
녹화 보존모드에서는, 녹화 데이터의 재생에 대비하여, 유저로부터의 녹화개시 지시와 녹화종료 지시에 대응한 시각정보를 기억해 둔다. 이것들의 시각정보로서는, MPEG-4에서 「modulo_time_base」, 「vop_time_increment」라 불리는 정보를 이용할 수 있다. 이들의 정보는 각 VOP에 포함되어 있고, modulo_time_base는 초(秒)단위, vop_time_increment는 초 이하의 시간을 나타낸다. 상기 vop_time_increment의 정밀도는, 각 VOL 헤더에 「vop_time_increment_resolution」으로서 설정되어 있다.
상기 modulo_time_base는, 앞의 VOP가 나타내는 초 시각과의 상대치를 나타내고 있고, 초단위의 시간차에 상당한 개수의 비트 "1"를 포함하는 비트 패턴으로되어 있다. 예를 들면, 그 VOP의 시각이 앞(前) VOP와 초단위로 일치하는 경우에는 "0", 1초 다른 경우는 "10", 2초 다른 경우는 "110"이 된다. 각 VOP의 초 이하의 시각은, vop_time_increment에 의해, vop_time_increment_resolution의 정밀도로 나타난다. 따라서, 시각정보로서는, vop_time_increment에 대해서는 그 복호치, modulo_time_base에 대해서는 녹화개시 VOP를 기준으로 한 비트 "1"의 개수를 기록하면 된다. 또한, modulo_time_base에 대해서는, 갱신 개시 VOP를 기준으로 한 비트 "1"값의 개수로 해도 된다.
다음에, 도 7 ∼ 도 10을 참조하여, P-VOP가 가상 I-VOP가 되었을 경우의 예비 녹화모드에서의 MPEG-4 디코더(503)의 동작에 대하여 설명한다.
도 7은, 스위칭 게이트(507)를 통하여 입력버퍼(502)에 공급되는 수신 비트 스트림(300)의 일예를 나타낸다. 수신 비트 스트림(300)은, 헤더정보(311)의 직후에 위치한 I프레임(I-VOP)(311)과, 그것에 연속하는 복수의 P프레임(P-VOP)(331, 332, …)으로 이루어져 있다. 도면중, 부호 I, P에 붙여진 숫자는 프레임 번호를 나타내고 있다. 이제, 상기 비트 스트림에서의 P2 프레임(332)이 녹화개시 VOP, P4 프레임(334)이 표시중, P5 프레임(335)이 복호중의 상태에 있는 것이라고 가정한다.
이 상태에서는, 도 8에 나타내는 바와 같이, 입력버퍼 메모리(502)에는, 앞으로 복호화되는 P5 프레임 이후의 부호화 데이터가 축적되어 있다. 여기서, 제3 프레임 메모리(103)가 가상 I-VOP용이 되어 녹화개시 VOP(P2 프레임)를 축적하고 있던 경우, 나머지 제1 프레임 메모리(101)와 제2 프레임 메모리(102)가 현 VOP 화상용, 참조 VOP 화상용으로서 교대로 잘 사용된다. 예를 들면, P4 프레임의 복호화 사이클에서 제2 프레임 메모리(102)가 현 VOP 화상이 되어 있던 경우, P5 프레임의 복호화 사이클에서는, 제2 프레임 메모리(102)가 참조 VOP 화상용으로 되어, P5 프레임의 복호 블록 화상이 현 VOP 화상용의 제1 프레임 메모리(101)에 차례로 축적된다. 비트 스트림 메모리(505)에는, 부호화 데이터의 해석에 필요한 헤더정보(311)와, 현재 녹화개시 VOP로 되어 있는 P2 프레임에 연속하는 P3 프레임(333) 이후의 부호화 데이터가 순차적으로 보존된다.
P5 프레임의 복호화가 완료한 시점에서, 어플리케이션 제어부(501)에서 제어신호(521)에 의해 가상 I-VOP 화상의 갱신이 지령되었다고 가정한다. 이 경우, 도 9에 나타내는 바와 같이, 그 때까지 참조 VOP 화상용으로 되어 있던 제2 프레임 메모리(102)가 가상 I-VOP 화상용으로, 현 VOP 화상용으로 되어 있던 제1 프레임 메모리(101)가 참조 VOP 화상용으로, 가상 I-VOP 화상용으로 되어 있던 제3 프레임 메모리(103)가 현 VOP 화상용으로 각각 전환되어, 다음의 P6 프레임(336)의 복호화 사이클이 실행된다. 이 때, 비트 스트림 메모리(505)에 축적되어 있던 P3, P4 프레임의 부호화 데이터로 이루어지는 부분 비트 스트림은 무효로 되며, 새로운 가상 I-VOP 화상(P4 프레임)에 연속하는 P5 프레임 이후의 부호화 데이터가 축적되게 된다.
P5 프레임의 부호화가 완료한 시점에서, 가령, 어플리케이션 제어부(501)가 가상 I-VOP 화상의 갱신 지령을 내리지 않은 경우는, 도 10에 나타내는 바와 같이, 비트 스트림 메모리(505)에 복호화된 P5 프레임의 부호화 데이터가 추가되며, 제1프레임 메모리(101)를 참조 VOP 화상용, 제2 프레임 메모리(102)를 현 VOP 화상용으로서, P6 프레임의 복호화 사이클이 실행된다.
상술한 바와 같이, 예비 녹화모드에서는, 어플리케이션 제어부(501)에서의 제어신호(521)로, 소정의 프레임 간격에서 주기적으로 가상 I-VOP 화상의 갱신을 지령함으로써, 비트 스트림 메모리(505)에 소정 시간분의 동화상 부호화 데이터(부분적 비트 스트림)의 축적을 반복해 두고, 유저로부터 녹화개시의 지시가 있었을 때, 녹화 보존모드로 이행하고, 가상 I-VOP 화상의 자동갱신을 억제한 상태에서, 화상 데이터의 축적을 계속적으로 행한다.
녹화 보존모드에서는, 도 10에서 설명한 동작을 반복함으로써, 비트 스트림 메모리(505)가 허용하는 범위내에서 수신 동화상의 후속 비트 시퀀스를 축적한다. 녹화 보존모드에서 부호화 데이터의 축적을 반복하고 있는 동안에, 유저로부터 녹화 종료의 지시가 있었던 경우는, 축적된 동화상 부호화 데이터를 보존한다. 이 경우, 비트 스트림 메모리(505)의 나머지 용량의 범위내에서 예비 녹화모드에 의한 데이터 축적동작을 재개할 수 있지만, 유저로부터 특별한 지시가 없는 한, 예비 녹화모드의 재개를 억제하도록 해도 된다.
예비 녹화모드와 이것에 연속하는 녹화 보존모드에서 비트 스트림 메모리(505)에 축적된 부호화 데이터는, 유저로부터 재생 지시가 있었을 때, 헤더 정보(311)에 연속하여 패스(516)에 순차적으로 판독되며, 스위칭 게이트(507)와 입력버퍼(502)를 통하여 MPEG-4 디코더(503)에 입력된다. 이들 부호화 데이터는, MPEG-4 디코더(503)에서, 가상 I-VOP 화상을 초기화상으로 하여 복호처리되며, 재생 화상이 표시화면으로 출력된다. 녹화 데이터의 모든 것에 대하여 재생동작이 종료했을 때, 녹화 보존을 해제하고, 자동적으로 예비 녹화모드 동작을 재개시키도록 해도 된다.
또한, 도 9에서는, 비트 스트림 메모리(505)의 축적내용을 명확하게 하기 위해, 무효 데이터(P3, P4 프레임)를 소거한 형태로 되어 있지만, 실제의 응용에서는, 헤더(311)의 기억영역 이외의 메모리 영역을 링 메모리로 하여 사용하고, P5 프레임의 부호화 데이터를 도 10에 나타내는 바와 같이 P4 프레임의 다음에 기록하고, P5 프레임 기록영역의 선두 어드레스를 유효 데이터 영역의 개시 어드레스로서 기억하도록 해도 된다. 이 경우, 비트 스트림 메모리(505)의 최후 영역에 부호화 데이터가 기록된 시점에서, 기록 어드레스가 헤더(311) 다음의 위치로 되돌아가, 새로운 부호화 데이터가 무효 데이터(P3, P4 프레임) 영역에 덮어 기록되며, 녹화 재생시에, 유효 데이터 영역의 개시 어드레스에서 부호화 데이터열(비트 스트림)이 판독된다.
다음에, 도 11 ∼ 도 14를 참조하여, 수신 비트 스트림의 P-VOP열 중에 I-VOP가 포함되어 있던 경우의 예비 녹화모드 동작에 대하여 설명한다.
도 11은, I-VOP가 가상 I-VOP가 될 수 있는 수신 비트 스트림(300-2)의 일예를 나타낸다. 수신 비트 스트림(300-2)은, 도 7에 나타낸 비트 스트림(300)과 다르며, 제4 VOP(334-2)가 I-VOP(I4)로 되어 있다. 이제, P2 프레임(332)이 녹화 개시 VOP, I4 프레임(334-2)이 참조 VOP 표시중, P5 프레임(335)이 현재 복호중의 상태에 있는 것으로 가정한다.
이 상태에서는, 도 12에 나타내는 바와 같이, 입력버퍼 메모리(502)에는, 앞으로 복호화되는 P5 프레임 이후의 부호화 데이터가 축적되고, 가상 I-VOP 화상용으로 되었던 제3 프레임 메모리(103)에 P2 프레임이 축적되며, 예를 들면, 참조 VOP 화상용으로 되었던 제2 프레임 메모리(102)에 I4 프레임이 축적되고, 이 I4 프레임을 참조하여, P5 프레임이 복호화 처리되어, 복호화 화상이 순차적으로 현 VOP 화상용의 제1 프레임 메모리(101)에 축적된다. 또한, 비트 스트림 메모리(505)에는, 헤더정보(311)와, 녹화 개시 VOP인 P2 프레임에 후속하는 P3, P4 프레임의 부호화 데이터(333, 334-2)가 보존되어 있다.
상기 I4 프레임과 같이 I-VOP를 참조 VOP로 하여 복호화가 행해졌을 때, 어플리케이션 제어부(501)에서 가상 I-VOP의 갱신이 지령된 경우는, 도 13에 나타내는 바와 같이, I4 프레임을 축적한 제2 프레임 메모리(102)가 가상 I-VOP 화상용으로 되며, 제1 프레임 메모리(101)가 현 VOP 화상용에서 참조 VOP 화상용으로 전환되며, 제3 프레임 메모리(103)가 가상 I-VOP 화상용에서 현 VOP 화상용으로 전환된다. 또한, 비트 스트림 메모리(505)에서는 그 때까지 축적되어 있던 P3, P4 프레임의 부호화 데이터가 무효로 되며, 가상 I-VOP 화상(I4 프레임)에 후속하는 프레임(P5, P6 …)의 부호화 데이터가 순차적으로 축적된다.
상술한 바와 같이, I-VOP가 가상 I-VOP로 되었을 때, 이것을 검출한 어플리케이션 제어부(501)에서 비트 스트림 메모리(505)에 지령하여, 예를 들면, 도 14에 나타내는 바와 같이, I4 프레임보다 앞의 화상 데이터를 무효로 하고, I4 프레임 이후의 프레임의 부호화 데이터(334-2, 335, 336, …)가 남도록 제어해도 된다. 이경우, 유저로부터 녹화 재생의 지시가 있었을 때, 비트 스트림 메모리(505)에서 판독된 I4 프레임의 부호화 데이터를 이용하여, P5 프레임 이후의 부호화 데이터가 복호화된다.
다음에, 도 6에 나타낸 동화상 데이터 처리 시스템에 의한 녹화 데이터의 재생 처리에 대하여 설명한다.
어플리케이션 제어부(501)는, 입력장치(508)를 통하여 유저로부터 녹화 데이터의 재생 지시를 받으면, 제어신호(521)에 의해 프레임 메모리 제어부(100)에 녹화의 재생을 지령한다. 이 지령에 응답하여, 프레임 메모리 제어부(100)는, 현시점에서 가상 I-VOP 화상용으로 되어 있는 프레임 메모리의 내용이 참조 VOP로서 동작 보상부(106)에 입력되도록, 스위칭 게이트(109)에 전환 제어신호(112)를 공급하고, 나머지 프레임 메모리의 한쪽이 현 VOP 화상용이 되도록, 스위칭 게이트(108)에 전환 제어신호(111)를 공급한다. 어플리케이션 제어부(501)는, 상기 녹화 재생지령(제어신호(521))에 잇따라 제어신호(523, 524, 525)를 발생하고, 이것에 의해, 입력버퍼 메모리(502)를 클리어하여, 입력버퍼 메모리(502)에서 비트 스트림 메모리(505)로의 데이터 입력을 차단한 상태에서, 비트 스트림 메모리(505)에서 패스(516)로 판독된 데이터가 스위칭 게이트(507)를 통하여 입력버퍼(502)에 공급되도록 한다.
도 8 ∼ 도 13에서 설명한 바와 같이, 가상 I-VOP 화상용 프레임 메모리에 P-VOP(또는 I-VOP)의 복호화 데이터를 유지하고, 비트 스트림 메모리(505)에 후속 프레임의 부호화 데이터를 축적한 경우는, 입력버퍼(502)에서 판독된 부호화 데이터를 MPEG-4 디코더(503)에 순차적으로 공급하고, 가상 I-VOP 화상용 프레임 메모리에서 얻어진 P-VOP (또는 I-VOP)의 화상 프레임을 참조 VOP로 하여 후속 프레임의 복호화를 개시한다. 그 후에는, 프레임마다 현 VOP 화상용 프레임 메모리와 참조 VOP 화상용 프레임 메모리를 전환함으로써, 녹화 데이터가 차례로 재생된다.
참조 VOP 화상용 프레임 메모리에 얻어진 재생 화상은, 순차적으로 출력부(504)에 출력된다. 이 때, 비트 스트림 메모리(505)에서 판독된 각 프레임의 동기 시각을 어플리케이션 제어부(501)에서 체크해 두고, 유저가 녹화를 지정한 시각의 프레임에서 표시를 개시하도록, 제어신호(522)에서 출력부(504)를 제어하도록 해도 된다.
도 14에서 설명한 바와 같이, 비트 스트림 메모리(505)에 I-VOP에서 시작되는 부호화 데이터가 축적된 경우는, 가상 I-VOP 화상용 프레임 메모리를 동작 보상부(106)에 접속하기 위한 스위칭 게이트(109)의 제어동작을 생략하고, 비트 스트림 메모리(505)에서 판독된 화상 부호화 데이터를 순차적으로 MPEG-4 디코더에 공급하면 된다.
도 1은, MPEG-4 코덱(codec)에서 보존 VOP 화상용의 프레임 메모리를 생략한 본 발명에 의한 동화상 데이터 처리 시스템의 제2 실시예를 나타낸다. 이 실시예는, 가상 I-VOP 화상용의 프레임 메모리 대신에 MPEG-4 인코더(601)를 사용하고, 참조 VOP 화상용의 프레임 메모리의 출력을 상기 MPEG-4 인코더(601)에 선택적으로 입력하기 위한 스위칭 게이트(110)를 설치한 것을 특징으로 하고 있다.
본 실시예에서는, 제1, 제2 프레임 메모리(101, 102)의 한쪽을 현 VOP 화상용, 다른 쪽을 참조 VOP 화상용으로 하여, 그 역할을 프레임마다 교대로 전환하여, 각 부호화 사이클에서 참조 VOP 화상용 프레임 메모리의 출력을 동작 보상부(106)에 공급함으로써, 수신 비트 스트림을 복호화한다. 또한, 참조 VOP 화상용 프레임 메모리의 내용을 출력부(504)에 출력함으로써 수신 동화상을 표시한다.
예비 녹화모드를 실행중인 어플리케이션 제어부(501)는, 도 6에서 설명한 제1 실시예와 동일하게, 제어신호(521)에 의해, 프레임 메모리 제어부(100)에 주기적으로 가상 I-VOP 화상의 갱신을 지령한다. 프레임 메모리 제어부(100)는, 상기 가상 I-VOP 화상의 갱신 지령을 받으면, 다음 프레임의 복호화 사이클에서, 참조 VOP 화상용 프레임 메모리의 출력이 동작 보상부(106)와 MPEG-4 인코더(601)의 양쪽에 입력되도록, 스위칭 게이트(110)를 전환한다.
MPEG-4 인코더(601)는, 스위칭 게이트(110)에서 패스(611)를 통하여 입력된 참조 VOP 화상을 인트라(intra) 부호화한다. MPEG-4 인코더(601)에서 인트라 부호화된 참조 VOP 화상은, 헤더정보를 포함하는 부호화 데이터로서 패스(612)로 출력되며, 가상 I-VOP로서 비트 스트림 메모리(505)에 축적된다. 단, 상기 MPEG-4 인코더가, 비트 스트림 메모리(505)에 보존된 헤더정보와 동일한 정보로 상기 참조 VOP 화상의 부호화 처리를 실행할 경우는, 새롭게 생성된 헤더정보를 반드시 보존해야할 필요는 없다. 이 경우, MPEG-4 인코더(601)는, 프레임내 부호화 기능만을 가지고 있으면 되게 된다.
예를 들면, P4 프레임의 복호화 처리를 종료한 시점에서, 어플리케이션 제어부(501)에서 가상 I-VOP의 갱신 지령이 발행된 경우, 프레임 메모리 제어부(100)는, 상기 P4 프레임을 참조 VOP로 하는 P5 프레임의 복호화 사이클에 있어서, P4 프레임을 MPEG-4 인코더(601)에 공급한다.
MPEG-4 인코더(601)에서 재부호화된 P4 프레임의 재부호화 데이터(비트 스트림)(411)은, 예를 들면, 도 15에 나타내는 바와 같이, 비트 스트림 메모리(505)내에서 헤더정보(311)의 직후에 기록된다. 이번에 부호화된 P5 프레임의 부호화 데이터(비트 스트림)(335)와, 그 후에 부호화되는 후속 프레임의 부호화 데이터(336, …)는, 상기 재부호화 데이터(411) 뒤에 기록된다. 단, 재부호화 데이터(비트 스트림)(411)는, 예를 들면, 도 16에 나타내는 바와 같이, 헤더정보(311) 앞에 위치시켜도 된다.
비트 스트림(411)의 위치는, 어플리케이션 제어부(501)에서 인식되어 있으므로, 녹화 데이터의 재생시에는, 가상 I-VOP가 되는 비트 스트림(411)을 최초로 판독하고, 그 복호 VOP 화상을 참조 VOP로 하여, 다음 프레임 이후의 비트 스트림을 순차로 복호화하면 된다. 또한, MPEG-4는, 헤더정보의 재전송이 인정되어 있으므로, 도 16에 나타내는 바와 같이, P4 프레임 재부호화 데이터(411) 뒤에 수신부호화 데이터의 헤더정보(311)가 존재한 경우라도, 복호처리는 가능해진다.
또한, 도 11에 나타낸 I4 프레임(334-1)과 같이, 수신 비트 스트림이 선두 I-VOP 이외의 I-VOP 프레임을 포함하는 경우, 정기적인 갱신에 더하여, 각 I-VOP의 복호 타이밍에 맞추어 가상 I-VOP를 갱신했다면, 어플리케이션 제어부(501)에서 보존 대상이 되는 VOP의 종류를 판정하고, I-VOP 프레임을 참조 VOP로 하는 복호화 사이클에서는 MPEG-4 인코더로의 데이터 공급을 생략하면 된다. 이 경우, 비트 스트림 메모리(505)의 내용은, 예를 들면, 도 14에서 설명한 형식으로 갱신된다.
도 17은, 본 발명에 의한 동화상 데이터 처리 시스템의 제3 실시예를 나타낸다.
본 실시예에서는, MPEG-4 디코더가 현 VOP 화상용, 참조 VOP 화상용, 가상 I-VOP 화상용의 3개의 프레임 메모리(101 ∼ 103)를 구비하고, 또 MPEG-4 인코더(601)가 부가된 구조로 되어 있다. 본 실시예에 의하면, 참조 VOP를 가상 I-VOP 화상용의 프레임 메모리에 보존한 후, 임의의 타이밍에서 재부호화하고, 가상 I-VOP로서 비트 스트림 메모리(505)에 축적한다는 제어순서가 채용 가능해진다.
상술한 제1, 제2 실시예에 있어서, 가상 I-VOP 화상용으로 되는 프레임 메모리는, 출력부(504)에 표시되는 동화상의 움직임을 일시적으로 정지하기 위한 프레임 메모리로서도 이용할 수 있다. 예를 들면, 유저로부터 표시화면의 일시정지 요구가 있었을 때, 스위칭 게이트(111)에 의해, 현재, 표시화면으로 출력되고 있는 참조 VOP 화상용 프레임 메모리를 가상 I-VOP 화상용 프레임 메모리로 전환함과 동시에, 상기 가상 I-VOP 화상용 프레임 메모리의 내용을 출력부(504)로 출력하도록 스위칭 게이트(109)를 전환한다. 이 스위치 조작에 의해, 표시부로의 동화상 출력이 일시적으로 정지하고, 표시화면을 정지화면 상태로 하는 것이 가능해진다.
또한, 표시화면의 정지 기간중에는, 수신 비트 스트림의 복호화 처리를 중단해도 되고, 다른 2개의 프레임 메모리를 이용하여 수신 비트 스트림의 복호처리를 계속해도 된다. 후자의 경우, 참조 VOP 화상용의 프레임 메모리의 내용은, 동작 보상부(106)에 공급되어 다음 프레임의 복호화 처리에 이용될 뿐이며, 출력부(504)에는 반영되지 않는다. 표시화면 정지기간중에 보존용 비트 스트림 메모리(505)에 수신 비트 스트림을 축적해 두고, 비트 스트림 메모리가 가득차게 된 시점에서 복호처리를 정지하도록 해도 된다.
또한, 입력버퍼(502)가 비교적 대용량인 경우는, 표시화면 정지기간중에 수신된 비트 스트림을 입력버퍼에 축적해 두고, 입력버퍼가 가득차게 된 시점에서 일시정지를 해제하도록 해도 된다. 화상제공 서버가, 단말에서의 일시정지 요구에 따라 데이터의 제공을 일시적으로 정지하는 기능을 구비하고 있는 경우에는, 유저가 표시화면의 일시정지를 지시했을 때, 어플리케이션 제어부(501)에서 화상제공 서버에 데이터 제공의 일시정지를 요구하고, 유저가 표시화면의 일시정지를 해제했을 때, 화상의 제공동작을 재개하도록 해도 된다.
상기 표시화면의 일시정지 기능은, 녹화 데이터의 재생시에도 이용할 수 있다. 예를 들면, 녹화 데이터를 재생 표시중에, 유저로부터의 표시화면 일시정지 요구에 따라 화면을 고정하고, 정지 해제 요구에 따라 후속 프레임의 재생표시를 재개함으로써, 유저에게 녹화된 특정의 장면을 차분히 검토하는 기회를 부여하는 것이 가능해진다.
녹화 데이터 중에서 특정의 장면을 검색하기 위해서는, 녹화 재생화상의 코마(coma)전송 기능이 유효해진다. 예를들면, 녹화 데이터에 대하여 유저가 코마 전송 재생을 지시한 경우, 프레임 메모리 제어부(100)가 복호화 사이클 사이에 자동적으로 휴지(休止)기간을 설정하고, 표시화면을 프레임마다 식별할 수 있는 정도의 주기로 전환한다. 이 경우, 화면의 전환주기를 유저로부터의 지시에 따라 가변으로해도 된다. 또한, 유저로부터의 지시에 따라 1 프레임씩 코마를 전송하도록 해도 된다. 또한, 검색한 화상을 캡쳐(capture)하면 벽지로서 이용할 수 있다.
도 18은, 본 발명에 의한 동화상 데이터 처리 시스템의 제4 실시예를 나타낸다.
상술한 제2, 제3 실시예에서는, 가상 I-VOP로서 보존해야 할 참조 VOP를 MPEG-4 인코더(601)에 의해 재부호화하고, 비트 스트림 메모리(505)에 축적하고 있다. 이것은, 가상 I-VOP의 부호화 방식을 비트 스트림 메모리(505)에 축적된 후속 프레임의 부호화 방식과 통일함으로써, 비트 스트림 메모리(505)에서 판독된 모든 녹화 데이터를 동일한 MPEG-4 디코더(503)로 처리할 수 있도록 하기 위해서이다. 그러나, 가상 I-VOP를 수신 비트 스트림과는 다른 부호화 방식으로 부호화해 두고, 녹화 데이터의 재생처리시에, 가상 I-VOP만을 후속 프레임과는 다른 복호화 방식으로 복호 처리하고, 이것을 참조 VOP로서 후속 프레임을 재생하는 것도 가능하다.
도 18에 나타낸 제4 실시예는, 도 1에 나타낸 동화상 부호화 방식의 MPEG-4 인코더(601) 대신에 정지(靜止)화상 부호화 방식인 JPEG의 인코더(701)를 사용하고, 이것에 의해 가상 I-VOP를 생성한다. 즉, 참조 VOP 화상용의 프레임 메모리(101, 102)의 화상 데이터를 JPEG 방식으로 재부호화하고, 가상 I-VOP로서 비트 스트림 메모리(505)에 축적한다. 가상 I-VOP에 연속하는 후속 프레임의 부호화 데이터는 MPEG-4 방식인 상태로 비트 스트림 메모리(505)에 축적된다.
녹화 재생시에는, 상기 가상 I-VOP를 비트 스트림 메모리(505)에서 패스(713)로 판독하고, JPEG 디코더(702)에서 복호화된 가상 I-VOP 화상을 스위칭게이트(108)에 의해 참조 VOP 화상용의 프레임 메모리(101, 102)에 설정한다. 비트 스트림 메모리(505)에서 판독된 후속 프레임의 부호화 데이터는, 상기 가상 I-VOP를 초기 화면으로 하여 차례로 MPEG-4 디코더(503)에서 복호화된다. 이와 같이, 가상 I-VOP를 정지(靜止)화상 부호화 방식의 인코더로 재부호화함으로써, 가상 I-VOP 화상의 부호화 데이터 사이즈를 더 압축하는 것이 가능해진다.
상기 제4 실시예의 방식은, 도 17에 나타낸 3면의 프레임 메모리를 구비한 동화상 처리 시스템에도 동일하게 적용할 수 있다. 또한, 가상 I-VOP 화상의 부호화/복호화 방식으로서는, JPEG 이외에도, 예를 들면, MPEG-4 정지(靜止)화상 부호화 방식이나, ZIP과 같은 다른 부호화/복호화 방식이나 압축 툴을 적용해도 된다.
상술한 실시예에서는, 수신 비트 스트림이 MPEG-4에서 부호화된 것으로 되어 있지만, 본 발명의 동화상 데이터 처리 시스템에서는, 디코더(503)를 수신 비트 스트림의 부호화 방식에 적합시킴으로써, 예를 들면, MPEG-1, MPEG-2, H.261, H.263 등 다른 부호화 방식으로 압축된 동화상 데이터도 처리할 수 있다. 부호화 방식에 따라서는, 도 3에 나타낸 헤더정보가 존재하지 않지만, 그 경우는 헤더정보의 복호와 비트 스트림 메모리로의 축적을 생략하면 된다.
또한, 상술한 실시예에서는, 참조 VOP 화상용의 프레임 메모리의 내용을 동작 보상부(106)와 출력부(504)에 공급하고, 유저로부터 녹화개시의 지시가 있었을 때, 표시화면에 상당하는 참조 VOP 화상용의 프레임 메모리의 내용을 녹화개시 화면으로 간주하여, 상기 참조 VOP에 부수하는 시각정보를 기억하여 녹화 데이터의 재생을 제어하고 있다. 그러나, 표시화면에 대한 유저 조작의 지연을 고려하면, 유저로부터의 녹화개시의 지시가 있었을 때, 참조 VOP 보다도 앞의 프레임을 녹화개시 화면으로서 취급하도록 해도 된다.
또한, 현 VOP 화면용, 참조 VOP 화면용의 프레임 메모리 이외에, 표시화면의 출력화상을 유지하는 표시 VOP 화면용의 프레임 메모리를 준비하고, 통상은, 현 VOP 화면용, 참조 VOP 화면용, 표시 VOP 화면용, 현 VOP 화면용의 순으로 프레임 메모리 용도를 전환해 두고, 가상 I-VOP의 갱신시에는, 표시 VOP 화면용을 가상 I-VOP 화면용으로 전환하고, 가상 I-VOP 화면용을 현 VOP 화면용으로서 사용하도록 해도 된다.
이와 같이 표시 VOP 화상용의 프레임 메모리와 복호처리에 관여하는 참조 VOP 화상, 현 VOP 화상용의 프레임 메모리를 별도의 메모리로 한 경우, 화상의 복호화 처리와 표시처리가 완전하게 분리되기 때문에, 예를 들면, 출력부의 상태에 따라 표시 VOP 화상용 메모리의 내용을 변경할 필요가 발생한 경우라도, 복호화 처리에 미치는 악영향을 회피하는 것이 가능해진다. 또한, 상기 프레임 메모리 구성에 있어서, 예를 들면, 참조 VOP 화면용의 프레임 메모리의 내용을 표시화면으로 출력하고, 표시 VOP 화면용의 프레임 메모리를 앞(前)표시 VOP 화면용으로서 사용하면, 유저가 녹화 지정했을 때, 현재의 표시화면에서 한 개 앞의 프레임을 녹화개시 VOP 또는 가상 I-VOP로서 기억하는 것이 가능해진다.
다음에, 제공 동화상 데이터의 녹화, 녹화 데이터의 재생, 재생화면의 일시정지를 지시하기 위한 유저 인터페이스에 대하여 설명한다.
도 19는, 비디오 처리용 전용의 조작버튼으로서, 재생버튼(821),녹화버튼(822), 정지버튼(823), 일시정지버튼(824)을 구비한 단휴대전화 단말(800)의 조작면의 일예를 나타낸다.
재생버튼(821)은, 예를 들면, 유저가 Web 검색 등에 의해 발견한 비디오 데이터를 수신하여 표시화면(811)으로 재생할 때, 또는 녹화한 부호화 데이터를 재생할 때에 이용한다. 상기 재생버튼(821)이 눌러지면, 어플리케이션 제어부(501)가 동화상 재생 제어용의 프로그램이나 DSP(600)를 기동하여, 복호화된 화상을 출력부(504)의 일부가 되는 표시화면(811)에 출력한다. 시각 표시영역(812)에는, 재생 개시시각에서 현재까지의 경과시간(「2초 25」)이 시시각각 표시된다.
기록버튼(822)은, 녹화개시를 MPEG-4 디코더에 지시하기 위해 이용된다. MPEG-4 디코더가 보존 VOP 화상(가상 I-VOP)을 주기적으로 갱신하면서 예비 녹화모드에서 수신화상을 기록하고 있을 때, 유저가 기록버튼(822)을 조작(녹화지시)한 경우, 어플리케이션 제어부(501)는, 보존 VOP 화상의 주기적 갱신을 중지하고, 녹화개시 프레임(현재 표시중의 화상 프레임)의 부호화 데이터에 부수하고 있는 동기시각을 기억함과 동시에, 그 이후의 수신화상을 녹화 보존모드에서 비트 스트림 메모리(505)에 축적한다. 기억된 동기시각은, 시각 표시영역(812)에 녹화개시 시각으로서 표시된다. 도시한 예에서는, 수신화상의 재생개시에서 2초 05 경과한 시점에서 녹화가 개시된 것을 나타내고 있다.
녹화 데이터의 재생방법으로서는, 예를 들면, 비트 스트림 메모리(505)에 축적된 녹화 데이터의 선두 VOP에서 재생 표시하는 방법과, 유저가 녹화를 지시한 시각(녹화개시 동기시각)의 VOP에서 재생 표시하는 방법이 있다. 통상은 녹화개시 동기시각의 VOP에서 재생하고, 유저가 특별히 지정한 경우에 한하여 녹화 선두 VOP에서 재생하도록 하면 된다.
정지버튼(823)은, 수신화상의 재생동작, 녹화동작, 녹화 재생동작을 정지시키기 위해 이용된다. 녹화동작중에 정지버튼(823)이 조작된 경우는, 그 시점에서 복호화 처리중의 부호화 데이터에 부수한 동기시각을 기억함과 동시에, 이것을 녹화 종료시각으로서 시각 표시영역(812)에 표시하고, 비트 스트림 메모리에 녹화된 최종 프레임(부호화 데이터) 뒤에 종료 코드(end code)를 기록한다. 녹화 보존모드에서 동작중에 비트 스트림 메모리(505)가 넘치려고 한 경우는, 유저로부터의 녹화정지 지시를 대기하지 않고 자동적으로 녹화를 종료하고, 녹화 종료시각을 표시한다.
또한, 시각 표시영역(812)이 좁은 경우, 상기 녹화 종료시각은, 예를 들면, 녹화 개시시각 대신에 표시하던가, 경과시간을 나타내는 현재 VOP의 동기시각의 표시를 정지하고, 그곳에 녹화 종료시각을 일시적으로 표시하는 등의 방식을 채용하면 된다.
일시정지 버튼(824)은, 수신화상이나 녹화 재생동작을 일시적으로 정지하고, 표시화면을 정지시키기 위해 이용된다. 수신화상의 재생동작 정지 기간중, MPEG-4 디코더(503)는, 상술한 바와 같이 복호처리를 계속해도 된다. 일시정지 버튼(824)을 한 번 더 누르면, 일시정지 상태를 벗어나 재생동작이 재개된다. 상술한 표시화면의 코마 전송은, 예를 들면, 일시정지의 상태에서 재생버튼(821)을 누름으로써 지시할 수 있다. 또한, 코마전송 상태에서 통상의 재생모드로의 복귀는, 예를 들면, 일시정지 버튼을 누른 후 재생버튼을 누르는 조작에 의해 지시할 수 있다.
도 20은, 도 18에 나타낸 비디오 관련 전용버튼(821∼824)의 기능을 숫자버튼으로 치환한 휴대전화 단말(801)의 조작면의 일예를 나타낸다.
831은 Video 버튼이며, 이것을 누름으로써 단말은 비디오 모드(수신 동화상 출력코드)에 들어가, 시각 표시부(812)에 비디오 모드를 나타내는 기호 "V"가 표시된다. 단말이 비디오 모드에 들어가면, 숫자 1의 입력버튼(834)이 재생버튼, 숫자 2의 입력버튼(835)이 기록/정지버튼, 숫자 3의 입력버튼(836)이 일시정지 버튼으로서 기능한다. 832와 833은 볼륨버튼이며, 일시정지중에 버튼(832)이 코마 전송 버튼으로서 기능한다.
상기 도 19, 도 20에 나타낸 유저 인터페이스는 단지 실시예에 지나지 않으며, 본 발명에 의한 동화상의 기록/재생 제어에 있어서, 유저로부터의 제어 지령은, 아이콘 선택방식이나 다른 버튼조작 방식 등, 다른 의미의 입력방식을 채용할 수 있는 것은 명백하다.
이상, 본 발명의 실시예에 대하여 설명하였지만, 본 발명은 다음과 같은 변형을 포함한다.
(1) 수신 비트 스트림은, 도 2에 나타낸 바와 같이, 도중에 B-VOP를 포함하는 부호화 데이터라도 된다. 단, 비트 스트림 메모리에 보존해야할 부호화 데이터의 선두가 B-VOP로 되는 경우는, 선두 VOP와 이것에 연속하는 복수 B-VOP의 부호화 데이터를 보존대상에서 제외시킬 수 있다. 가령, B-VOP를 복호하여 표시하고 싶은 경우는, 참조 VOP 화상용의 프레임 메모리를 증설할 필요가 있다.
(2) 수신 비트 스트림은 직사각형 화상 이외의 임의 형상 화상의 것이라도 된다. 단, MPEG-4에서는, 참조 VOP 화상의 각 부호화 블록의 형상 타입을 필요로 하기 때문에, 직사각형 화상 이외의 비트 스트림을 복호화하는 경우는, 가상 I-VOP의 갱신시 및 녹화개시시에, 부호화 데이터의 동기 시각정보와 각 부호화 블록의 형상 타입을 기록해 둔다.
(3) 새로운 가상 I-VOP를 비트 스트림 메모리에 보존할 경우, 실시예에서는, 불필요해진 종전의 비트 스트림을 무효로 했지만, 하나의 가상 I-VOP와 이것에 후속하는 복수 VOP의 비트 스트림을 1조(組)로 하고, 비트 스트림 메모리에 연속하는 복수조의 비트 스트림을 축적하여, 오래된 조부터 순서대로 무효화하도록 해도 된다.
(4) 예비 녹화모드에서의 가상 I-VOP의 갱신은, VOP 수로 결정되는 고정 주기로 하는 대신에, 비트 스트림 메모리에 축적된 녹화 데이터 사이즈에 의존시켜도 된다. 즉, 예비 녹화모드에서 사용하는 메모리 용량에 상한치를 설정해 두고, 축적 데이터량이 상한치를 초과했을 때, 다음의 복호화 사이클에서 가상 I-VOP를 갱신하여, 새로운 비트 스트림으로 치환하도록 해도 된다.
(5) 녹화 보존모드에서 비트 스트림 메모리가 가득 찼을 때, 축적 불가능해진 후속 비트 스트림의 선두 VOP에 부수한 동기시각(시각 1)을 기억해 두고, 유저로부터 녹화 종료의 지시가 있었던 시점에서 상기 후속 비트 스트림의 최종 VOP에 부속하는 동기 시각(시각 2)을 기억하여, 녹화 재생시에, 이들 시각정보(시각 1 ∼ 시각 2)에서 특정되는 부족 비트 스트림을 화상 서버에서 파일전송 프로토콜로 재전송시키도록 해도 된다. 또한, 가상 I-VOP 다음의 VOP에 부수한 동기 시각(시각 0)을 기억해 두고, 유저로부터의 녹화종료 지시를 받기 전에 비트 스트림 메모리가 가득 차게 된 경우는, 시각 0과 시각 2에서 특정되는 녹화범위의 비트 스트림을 화상 서버로부터 재전송시켜, 이들 비트 스트림을 단말측에서 유지하는 가상 I-VOP를 기점으로 하여 복호처리하도록 해도 된다. 이와 같이, 화상 서버에서의 재전송 기능을 이용함으로써, 비트 스트림 메모리의 기억용량을 초과한 녹화 재생이 가능해진다.
(6) 실시예에서는, 유저가 지정한 녹화개시 프레임과 녹화종료 프레임을 식별하기 위한 정보로서, 수신 비트 시퀀스에서 각 화상 프레임(VOP)에 부수하고 있는 동기시각(modulo_time_base 및 vop_time_increment)을 이용하였지만, 이들의 동기시각 대신에, 예를 들면, 프레임 번호 등의 다른 정보를 적용해도 된다. 또한, 유저가 녹화의 개시를 지시하는 대신에, 녹화해야 할 장면의 특징정보를 미리 등록해 두고, 이들의 특징을 구비한 화상이 복호화 또는 재생된 시점에서, 자동적으로 녹화 보존모드를 개시하고, 소정 시간분의 동화상을 자동 기록하는 것도 가능하다.
이상의 설명에서 밝힌 바와 같이, 본 발명에 의하면, 수신 비트 스트림의 임의의 위치에서 선택한 복호화 화상을 가상적인 프레임내 부호화 화상(가상 I-VOP)으로서 보존해 두고, 이것을 초기화면으로서 후속 프레임의 화상 부호화 데이터를 복호화 처리함으로써, 도중에 랜덤 액세스용 프레임내 부호화 화상을 갖지 않고, 혹은 그 삽입 빈도가 적은 동화상 부호화 데이터열로부터, 유저가 소망하는 장면을효율적으로 녹화하고, 재생하는 것이 가능해진다.

Claims (14)

  1. 동화상 부호화 데이터열로 이루어지는 수신 비트 스트림을 복호화하여 재생 화상을 표시하고 있는 동안에, 임의로 선택된 복호화 화상을 가상적 프레임내 부호화 화상으로서 보존해 두고,
    상기 가상적 프레임내 부호화 화상으로 취급된 복호화 화상에 연속하는 특정 기간분의 재생 화상을 생성하는 부분적인 비트 스트림을 녹화 데이터로서 기록하는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  2. 제1항에 있어서,
    유저(user)로부터의 녹화 지시에 응답하여 선택된 복호화 화상을 상기 가상적 프레임내 부호화 화상으로서 보존하는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  3. 제1항에 있어서,
    상기 가상적 프레임내 부호화 화상을 소정의 주기로 정기적으로 갱신하고, 가상적 프레임내 부호화 화상을 갱신할 때마다, 변경하여 상기 녹화 데이터가 되는 부분적 수신 비트 스트림을 재기록하는 예비 녹화모드와,
    유저로부터의 녹화 지시에 응답하여, 상기 가상적 프레임내 부호화 화상의 갱신동작을 억제하고, 상기 부분적 수신 비트 스트림의 기록동작을 계속하는 녹화보존모드를 실행하는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 가상적 프레임내 부호화 화상으로서, 상기 복호화 화상을 재부호화하여 얻어진 부호화 데이터를 보존하는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  5. 제4항에 있어서,
    상기 복호화 화상이, 상기 수신 비트 스트림과는 다른 부호화 방식으로 재부호화되는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 수신 비트 스트림에 포함되는 헤더정보를 기록 데이터의 일부로서 기록하고, 새로운 헤더정보가 수신될 때마다, 기록 헤더정보를 갱신하는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    유저로부터의 녹화 재생 지시에 응답하여, 상기 가상적 프레임내 부호화 화상을 초기화상으로 하여 상기 녹화 데이터의 복호화 처리를 개시하는 것을 특징으로 하는 동화상 데이터의 기록 재생방법.
  8. 동화상 부호화 데이터열로 이루어지는 비트 스트림을 수신하고, 동화상으로서 표시하는 단말장치에 있어서,
    상기 수신 비트 스트림을 복호화하기 위한 복호기와, 상기 수신 비트 스트림의 일부를 녹화 데이터로 하여 선택적으로 축적하기 위한 축적장치와, 상기 축적장치로의 녹화 데이터의 기록과 판독을 제어하는 제어장치로 이루어지며,
    상기 제어장치가, 상기 복호기에서 생성된 복호화 화상군에서 임의의 복호화 화상을 선택하여, 가상적 프레임내 부호화 화상으로서 보존함과 동시에, 상기 수신 비트 스트림에서 추출된 헤더정보와, 상기 가상적 프레임내 부호화 화상에 연속하는 특정 기간분의 재생 화상을 생성하는 부분적인 비트 스트림을 상기 축적장치에 녹화 데이터로서 기록하는 것을 특징으로 하는 단말장치.
  9. 제8항에 있어서,
    유저로부터의 지령을 입력하기 위한 입력장치를 구비하며, 상기 제어장치가, 유저로부터의 지령에 응답하여 상기 복호화 화상의 선택과, 상기 축적장치로의 상기 비트 스트림의 기록을 제어하는 것을 특징으로 하는 단말장치.
  10. 제8항에 있어서,
    유저로부터의 지령을 입력하기 위한 입력장치를 구비하며, 동화상을 표시중에, 상기 제어장치가, 상기 가상적 프레임내 부호화 화상을 소정의 주기에서 정기적으로 갱신하고, 가상적 프레임내 부호화 화상을 갱신할 때마다, 변경하여 상기 축적장치에 부분적 수신 비트 스트림을 재기록하는 예비 녹화모드와, 유저로부터의 녹화 지정에 응답하여, 상기 가상적 프레임내 부호화 화상의 갱신동작을 억제하고, 상기 부분적 수신 비트 스트림의 녹화동작을 계속하는 녹화 보존모드를 선택적으로 실행하는 것을 특징으로 하는 단말장치.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 제어장치가, 유저로부터의 녹화 재생 지령에 응답하여, 상기 가상적 프레임내 부호화 화상을 상기 복호기에 초기화상으로서 설정하고, 상기 축적장치에서 판독된 비트 스트림의 상기 복호기로의 공급을 개시하는 것을 특징으로 하는 단말장치.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 복호기가, 제1, 제2, 제3 프레임 메모리를 가지며, 평소에는, 참조 화상용과 현 화상용으로 할당된 2개의 프레임 메모리를 교대로 전환함으로써, 상기 수신 비트 스트림을 프레임 단위로 복호화하고, 상기 제어장치에서의 지령에 응답하여, 참조 화상용의 프레임 메모리를 가상적 프레임내 부호화 화상용으로 전환하여, 그때까지 가상적 프레임내 부호화 화상용으로 되어 있던 프레임 메모리를 현 화상용으로 전환함으로써, 가상적 프레임내 부호화 화상을 보존하는 것을 특징으로 하는 단말장치.
  13. 제8항 내지 제11항 중 어느 한 항에 있어서,
    화상을 부호화하기 위한 부호기를 가지며, 상기 제어장치가, 상기 선택된 복호화 화상을 상기 부호기로 재부호화함으로써, 상기 가상적 프레임내 부호화 화상을 부호화 데이터의 형태로 상기 축적장치에 보존하는 것을 특징으로 하는 단말장치.
  14. 동화상 부호화 데이터열로 이루어지는 비트 스트림을 수신하고, 동화상으로서 표시하는 단말장치에 있어서,
    상기 수신 비트 스트림을 복호화하기 위한 복호기와,
    상기 수신 비트 스트림의 일부를 축적하기 위한 축적장치와,
    상기 수신 비트 스트림중 임의의 프레임 위치에서 시작되는 부분적 비트 스트림을 상기 축적장치에 녹화 데이터로서 기록하기 위한 제어장치와,
    상기 제어장치에서 갱신이 지시될 때까지, 상기 복호기에서 복호화된 상기 부분적 비트 스트림의 직전 프레임의 복호화 화상을 유지하기 위한 수단으로 이루어지는 것을 특징으로 하는 단말장치.
KR20010009441A 2001-02-05 2001-02-24 동화상 데이터의 기록 재생방법 및 장치 KR100789507B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001027842A JP3857057B2 (ja) 2001-02-05 2001-02-05 動画像データの記録再生方法および装置
JP2001-027842 2001-02-05

Publications (2)

Publication Number Publication Date
KR20020065311A true KR20020065311A (ko) 2002-08-13
KR100789507B1 KR100789507B1 (ko) 2007-12-28

Family

ID=18892437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20010009441A KR100789507B1 (ko) 2001-02-05 2001-02-24 동화상 데이터의 기록 재생방법 및 장치

Country Status (6)

Country Link
US (1) US7072574B2 (ko)
EP (1) EP1229742A3 (ko)
JP (1) JP3857057B2 (ko)
KR (1) KR100789507B1 (ko)
CN (1) CN1271835C (ko)
TW (1) TW522736B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453380B2 (en) 2015-12-28 2019-10-22 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and transmission system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG111978A1 (en) * 2002-11-20 2005-06-29 Victor Company Of Japan An mpeg-4 live unicast video streaming system in wireless network with end-to-end bitrate-based congestion control
JP4390710B2 (ja) * 2002-11-27 2009-12-24 アールジービー・ネットワークス・インコーポレイテッド 複数のデジタルビデオプログラムの時間多重化処理のための方法及び装置
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
EP1667455A1 (en) * 2003-08-29 2006-06-07 Access Co., Ltd. Broadcast program scene notification system
JP2005108193A (ja) * 2003-09-09 2005-04-21 Canon Inc 動画システム、動画抽出装置及び動画抽出方法
JP2006270247A (ja) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 映像表示装置
CN101401423A (zh) 2006-03-27 2009-04-01 日本电气株式会社 运动图像存储系统、运动图像存储方法和运动图像存储程序
WO2008142948A1 (ja) * 2007-05-23 2008-11-27 Nec Corporation 動画像配信システム、変換装置および動画像配信方法
JP4986791B2 (ja) * 2007-09-27 2012-07-25 富士フイルム株式会社 画像表示装置、プログラム、及び撮像装置
JP4525726B2 (ja) * 2007-10-23 2010-08-18 富士ゼロックス株式会社 復号装置、復号プログラム及び画像処理装置
JP5369425B2 (ja) * 2007-10-31 2013-12-18 富士通株式会社 画像復元装置、画像復元プログラム、画像復元方法
US8045836B2 (en) * 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
KR101289640B1 (ko) * 2008-12-03 2013-07-30 엘지디스플레이 주식회사 전기영동 표시장치
EP2204954B1 (en) * 2009-01-06 2017-12-27 Alcatel Lucent Optimised bandwidth utilisation in networks
CN104641638B (zh) * 2012-06-28 2018-08-03 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
TWI756194B (zh) * 2015-11-25 2022-03-01 日商新力股份有限公司 資料處理裝置及資料處理方法
US10387099B2 (en) * 2016-07-28 2019-08-20 Intelligent Waves Llc System, method and computer program product for generating remote views in a virtual mobile device platform using efficient color space conversion and frame encoding
CN107360431B (zh) * 2017-06-30 2019-08-02 武汉斗鱼网络科技有限公司 一种帧类型的判断方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JP3380981B2 (ja) * 1998-06-19 2003-02-24 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP2000270333A (ja) * 1999-03-19 2000-09-29 Victor Co Of Japan Ltd 画像信号符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453380B2 (en) 2015-12-28 2019-10-22 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and transmission system

Also Published As

Publication number Publication date
JP3857057B2 (ja) 2006-12-13
JP2002232847A (ja) 2002-08-16
US7072574B2 (en) 2006-07-04
KR100789507B1 (ko) 2007-12-28
TW522736B (en) 2003-03-01
EP1229742A3 (en) 2004-04-28
CN1271835C (zh) 2006-08-23
CN1368816A (zh) 2002-09-11
US20020106198A1 (en) 2002-08-08
EP1229742A2 (en) 2002-08-07

Similar Documents

Publication Publication Date Title
KR100789507B1 (ko) 동화상 데이터의 기록 재생방법 및 장치
KR100443854B1 (ko) 디지털 방송 수신 장치
CN102144390B (zh) 媒体发送系统和方法
JP4649615B2 (ja) 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
JP3825719B2 (ja) 画像再生方法、画像再生装置、および画像記録装置
JP2001204035A (ja) デジタル・ビデオ復号システム、複数のビデオ・プログラムを順次表示する方法およびユーザーによって選択される次のチャネルを予測する方法
MXPA00008659A (es) Procesamiento de senales de video de tiempo cambiado..
EP1161097A1 (en) MPEG decoder
WO1999056280A1 (fr) Enregistreur-lecteur
JPH11196411A (ja) 画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法
CN103139641A (zh) 在实时数字电视时移播放中实现音视频无缝切换的方法及装置
KR100975170B1 (ko) 화상 데이터 재생 장치 및 방법
JP4010617B2 (ja) 画像復号化装置及び画像復号化方法
JPH10191331A (ja) 画像データの符号化方法及び装置
JP5269063B2 (ja) ビデオサーバ及びシームレス再生方法
JPH08223572A (ja) 画像デコーダ
JPH08140047A (ja) 画像データ記録装置
JP4112350B2 (ja) 動画像通信システム、動画再生端末、動画像配信装置及び動画像の配信方法
JP2007158778A (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
US20080025410A1 (en) Signal Playback Device
JP2006187037A (ja) 画像再生方法
KR0128878B1 (ko) 엠펙 비트 스트림 포맷을 이용하는 점프 장치 및 그 방법
JP2005278207A (ja) 編集装置および方法、再符号化装置および方法
JP2000354260A (ja) 映像再生方法、及び映像編集再生装置
JP2000115779A (ja) 画像処理装置および同装置に適用される動画像符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111202

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee