KR100927180B1 - 동화상 부호화 장치 및 동화상 부호화 방법 - Google Patents

동화상 부호화 장치 및 동화상 부호화 방법 Download PDF

Info

Publication number
KR100927180B1
KR100927180B1 KR20070076894A KR20070076894A KR100927180B1 KR 100927180 B1 KR100927180 B1 KR 100927180B1 KR 20070076894 A KR20070076894 A KR 20070076894A KR 20070076894 A KR20070076894 A KR 20070076894A KR 100927180 B1 KR100927180 B1 KR 100927180B1
Authority
KR
South Korea
Prior art keywords
picture
encoding
stream
data
decoded
Prior art date
Application number
KR20070076894A
Other languages
English (en)
Other versions
KR20080028267A (ko
Inventor
미츠오 하루마츠
Original Assignee
닛뽕빅터 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛뽕빅터 가부시키가이샤 filed Critical 닛뽕빅터 가부시키가이샤
Publication of KR20080028267A publication Critical patent/KR20080028267A/ko
Application granted granted Critical
Publication of KR100927180B1 publication Critical patent/KR100927180B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(과제) MPEG 방식 동화상 부호화 신호를 복호하여 DV 방식으로 재부호화하면, MPEG 방식 동화상 부호화 신호 중의 픽처 타입 정보가 상실되기 때문에, DV 방식의 부호화 화상 신호를 재차 MPEG 방식으로 재부호화하면, 원래의 MPEG 방식 동화상 신호와는 다른 픽처 타입으로 재부호화되는 경우가 있고, 그 경우는 화질이 대폭 열화된다.
(해결수단) DV 부호화부(13)는, MPEG 복호부(11)로부터 공급된 복호 화상 데이터를, 디지털 비디오 카메라에서 사용되고 있는 DV 방식에 의해 프레임 단위로 압축 부호화한 화상 데이터에, 팩 정보 생성부(12)에서 생성된 팩 정보를 세트한 DV 데이터를 생성한다. 팩 정보 생성부(12)는, 복호 화상 데이터의 프레임마다, 그 프레임 또는 필드가, MPEG로 부호화되어 있었을 때에 어느 픽처 타입이었는지를 나타내는 픽처 타입 정보를, 프레임에 관련지은 보조 정보인 팩 정보로서 생성한다.
Figure R1020070076894
부호화부, 복호부, MPEG, DV

Description

동화상 부호화 장치 및 동화상 부호화 방법{MOVING PICTURE ENCODING APPARATUS AND MOVING PICTURE ENCODING METHOD}
본 발명은, 동화상 부호화 장치 및 동화상 부호화 방법에 관한 것으로, 특히, MPEG(Moving Picture Experts Group) 방식 등의 화상내 부호화 및 화상간 부호화를 이용한 부호화 방식, 및 DV(Digital Video) 방식 등의 화상내 부호화를 이용한 부호화 방식을 이용하여 부호화를 행하는 동화상 부호화 장치 및 동화상 부호화 방법에 관한 것이다.
비디오 카메라로 촬영하여 얻어진 동화상 신호가, MPEG 방식으로 부호화되어 동화상 부호화 신호로 되고, 그 동화상 부호화 신호가, 비디오 카메라에 내장된 기록 장치, 또는 비디오 카메라의 외부에 장착된 기록 장치에 기록되어 있을 경우, 그 기록 장치에 기록되어 있는 동화상 부호화 신호를 재생하여, 현재의 비디오 카메라에 있어서 표준적으로 이용되고 있는 디지털 인터페이스(I/F)인 DV 단자를 통하여 다른 기록 장치에 더빙할 때는, 그 더빙 대상의 동화상 부호화 신호의 부호화 방식을, MPEG 방식에서 DV방식으로 방식 변환할 필요가 있다.
MPEG 방식은, 주지하는 바와 같이, 동화상 신호를 구성하는 각 화상(프레임 또는 필드)을, I픽처, P픽처, B픽처 중 어느 하나의 픽처 타입의 화상으로 부호화하는 방식이다. I픽처는, 그 부호화 대상 화상만의 화상 정보만으로 부호화한 인트라 부호화 화상이다. 또한, P픽처는, 시간적으로 과거의 I픽처 또는 P픽처를 예측 화상으로 하여, 순방향의 화면간 예측을 이용하여 부호화한 순방향 예측 부호화 화상이다. B픽처는, 시간적으로 과거와 미래의 I픽처 또는 P픽처를 예측 화상으로 하여, 쌍방향의 화면간 예측을 이용하여 부호화한 쌍방향 예측 부호화 화상이다. 그리고, 일반적으로는 I픽처가 가장 좋은 화질(S/N)이 얻어지며, P픽처, B픽처의 순으로 화질(S/N)이 저하된다.
또한, DV 방식은, 주지한 바와 같이, 동화상 신호를 구성하는 각 화상(프레임 또는 필드)을, 그 부호화 대상 화상만의 화상 정보만으로 부호화하는 방식이다.
MPEG 방식으로 부호화된 동화상 부호화 신호를 DV 방식으로 변환하려면, 통상, MPEG 방식으로 부호화된 동화상 부호화 신호를 일단 복호하여, 원래의 동화상 신호로 되돌리고, 이 되돌린 동화상 신호를 DV 방식으로 재차 부호화하는 방법이 이용된다. 따라서, MPEG 방식으로 부호화된 동화상 부호화 신호를 복호하여, 원래의 동화상 신호로 되돌린 시점에서, 이 동화상 신호를 구성하는 각 화상의 복호 전의 각 부호화 화상이, I픽처, P픽처, B픽처 중 어느 하나의 화상이었었는가 라는 부호화 정보는 상실되어 버린다.
또한, 상기의 방법에 의해 MPEG 방식에서 DV 방식으로 변환하여 다른 기록 장치에 기록한 동화상 신호를, 예를 들면 DVD에 기록하고 싶은 경우가 있다. 이러한 경우, DVD의 기록 포맷은 MPEG 방식이기 때문에, DV 방식으로 변환한 동화상 부 호화 신호를 재차 MPEG 방식으로 변환하지 않으면 안된다. 상기한 바와 같이, DV 방식으로 변환된 동화상 부호화 신호를 구성하는 각 화상이, MPEG 방식으로 부호화 되어 있었을 때에, I픽처, P픽처, B픽처 중 어느 화상이었는지의 픽처 타입 정보가 없어져 있기 때문에, 그들을 전혀 고려하지 않고 MPEG 방식으로의 재변환을 행하게 된다. 이 때문에, MPEG 방식으로 최초로 부호화했을 때에 P픽처나 B픽처이었던 화상을, I픽처로서 부호화하는 경우가 있다.
이 때의 I픽처의 S/N은, 최초로 MPEG 방식으로 부호화 되었을 때의 P픽처 또는 B픽처의 S/N을 초과하는 일은 없기 때문에, 원래의 픽처 타입이 P픽처나 B픽처이었던 화상을 I픽처로서 부호화했을 경우, 그 I픽처는, MPEG 방식에 있어서 참조되어야 할 기준 픽처임에도 불구하고, 낮은 S/N의 화상으로 되어 버린다. 따라서, 이를 참조하는 P픽처, B픽처는, 더욱 낮은 S/N으로 되기 때문에, MPEG 방식으로 재변환된 동화상 부호화 신호는, 전체적으로 화질이 대폭으로 열화된다.
도11 은, MPEG 방식의 동화상 부호화 신호의 픽처 타입마다의 S/N을 나타낸 도면이다. 동(同)도 중, a는 최초로 부호화했을 때의 각 픽처 타입마다의 화상의 S/N을 나타내고, b는, a의 각 픽처 타입마다의 화상을 재부호화했을 때에, 본래 B픽처인 화상을 I픽처로서 부호화했을 경우의 S/N을 나타낸다. 동도에 의해, 최초에 B픽처로서 부호화된 화상이, 재부호화시에 I픽처로서 부호화되면, 동화상 부호화 신호 전체의 S/N이 대폭으로 저하되는 상태를 알 수 있다.
이에 대하여, 도12 의 c는, a의 각 픽처 타입마다의 화상을 재부호화 할 때에, 최초로 부호화했을 때의 화상의 픽처 타입과 동일한 픽처 타입으로 재부호화했 을 때의 S/N을 나타낸 것이다. 도11 의 b와 비교하여, a를 재부호했을 때의 S/N의 저하가 최소한으로 억제되어 있는 것을 알 수 있다.
과거의 부호화시의 파라미터를 복수 세대분(世代分) 가지고, 이 부호화 파라미터를 전송함으로써, 효율적으로 재부호화하는 스트림 전송 장치가 종래 알려져 있다(예를 들면, 특허문헌1 참조). 이 스트림 전송 장치는, 예를 들면, P픽처나 B픽처로 재부호화할 경우, 과거에 동일한 픽처 타입으로 부호화했을 때의 부호화 파라미터(이력 정보)가 없는지를 찾고, 만약 있으면 그 때의 움직임 벡터 정보를 이용함으로써, 재부호화시의 움직임 벡터를 생략 또는 간략화하는 것이며, 트랜스 코드시의 편리성과 부하의 경감을 목적으로 한 장치이다.
[특허문헌1] 일본공개특허공보 2000-232646호
그러나, 상기의 스트림 전송 장치는, 부호화 파라미터(이력 정보)를 스트림 내에 유저 데이터로서 중첩하기 때문에, 본래의 스트림을 전송하는 것보다도 유저 데이터분만큼 전송량(부호량)이 늘어나 버린다는 문제가 있다.
또한, 이 스트림 전송 장치에서는, 동일한 부호화 방식(특히 MPEG 방식)간에서의 변환을 상정하고 있기 때문에, 다른 부호화 방식을 이용하여 재부호화 하는 것은 상정하고 있지 않은 것은 물론, 다른 부호화 방식으로 재부호화한 후에, 재차 최초와 동일한 부호화 방식으로 부호화하는 것은 상정하고 있지 않다. 이 때문에, 다른 부호화 방식간의 변환을 수반하여 부호화 정보를 전송하는 것은 할 수 없다.
본 발명은, 이상의 점을 감안하여 이루어진 것으로, MPEG 방식 등으로 대표되는, 화상간 부호화 방식을 이용하여 부호화된 동화상 신호를, DV 방식 등으로 대표되는 화상내 부호화 방식으로 변환한 후라도, 부호량을 늘리는 일이 없이, 화상간 부호화 방식으로 부호화되어 있었던 때의 픽처 타입 정보를 유지하는 것이 가능한 동화상 부호화 장치 및 동화상 부호화 방법을 제공하는 것을 목적으로 한다.
또한, 상기와 같은 장치 및 방법 등을 이용하여, 화상간 부호화 방식으로 부호화되어 있었던 때의 픽처 타입 정보가 유지되고 있는 화상내 부호화 동화상 신호를, 재차 화상간 부호화 방식으로 재변환할 때에, 상기 픽처 타입 정보를 이용하여 재변환함으로써, 재변환에 의한 동화상의 화질 열화를 최소한으로 억제하는 것이 가능한 동화상 부호화 장치 및 동화상 부호화 방법을 제공하는 것을 목적으로 한 다.
그래서, 상기 과제를 해결하기 위해, 본 발명은, 하기의 장치 및 방법을 제공하는 것이다.
(1) 동화상 데이터가 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 수단과,
상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상이, 상기 제1 화상내 부호화를 이용하여 부호화된 화상을 복호한 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 화상을 복호한 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 상기 각 화상마다 생성하는 생성 수단과,
상기 복호 동화상 데이터를, 제2 화상내 부호화를 이용하는 제2 부호화 방식으로 부호화하여 제2 스트림을 생성함과 함께, 부호화한 상기 복호 동화상 데이터의 각 화상마다 관련지어 상기 제2 스트림 중에 보조 정보 영역을 생성하고, 이 보조 정보 영역에 상기 각 화상마다의 상기 픽처 타입 정보를 삽입하는 부호화 수단,
을 가지는 것을 특징으로 하는 동화상 부호화 장치.
(2) 상기 생성 수단은, 상기 픽처 타입 정보를, 상기 제1 스트림 중의 각 화상마다 관련지어진 부가 정보로부터 취득하는 것을 특징으로 하는 상기 (1)에 기재된 동화상 부호화 장치.
(3) 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 수단과,
상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 수단과,
상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라 상기 제1 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 수단
을 가지는 것을 특징으로 하는 동화상 부호화 장치.
(4) 제1 화상내 부호화 및 제1 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 수단과,
상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보 인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 제1 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 수단과,
상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라, 제3 화상내 부호화 및 제2 화상간 부호화를 이용하는, 상기 제1 부호화 방식과는 다른 제3 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 수단
을 가지는 것을 특징으로 하는 동화상 부호화 장치.
(5) 상기 부호화 수단은, 상기 복호 동화상 데이터를 부호화할 때에, 이 복호 동화상 데이터의 각 화상에 대하여, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따른 부호화를 행할 수 있는지 없는지를 판단하여, 행할 수 없다고 판단된 화상에 대해서는, 상기 제1 픽처 타입에 의한 부호화를 행하는 것을 특징으로 하는 상기 (3) 또는 (4)에 기재된 동화상 부호화 장치.
(6) 동화상 데이터가 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 스텝과,
상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상이, 상기 제1 화상내 부호화를 이용하여 부호화된 화상을 복호한 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 화상을 복호한 제2 픽처 타입 의 화상인 것인지를 나타내는 픽처 타입 정보를 상기 각 화상마다 생성하는 생성 스텝과,
상기 복호 동화상 데이터를, 제2 화상내 부호화를 이용하는 제2 부호화 방식으로 부호화하여 제2 스트림을 생성함과 함께, 부호화한 상기 복호 동화상 데이터의 각 화상마다 관련지어 상기 제2 스트림 중에 보조 정보 영역을 생성하고, 이 보조 정보 영역에 상기 각 화상마다의 상기 픽처 타입 정보를 삽입하는 부호화 스텝
을 포함하는 것을 특징으로 하는 동화상 부호화 방법.
(7) 상기 생성 스텝은, 상기 픽처 타입 정보를, 상기 제1 스트림 중의 각 화상마다 관련지어진 부가 정보로부터 취득하는 것을 특징으로 하는 상기(6)에 기재된 동화상 부호화 방법.
(8) 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 스텝과,
상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 스텝과,
상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라 상기 제1 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 스텝
을 포함하는 것을 특징으로 하는 동화상 부호화 방법.
(9) 제1 화상내 부호화 및 제1 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 스텝과,
상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 제1 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 스텝과,
상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라, 제3 화상내 부호화 및 제2 화상간 부호화를 이용하는, 상기 제1 부호화 방식과는 다른 제3 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 스텝
을 포함하는 것을 특징으로 하는 동화상 부호화 방법.
(10) 상기 부호화 스텝은, 상기 복호 동화상 데이터를 부호화할 때에, 이 복 호 동화상 데이터의 각 화상에 대하여, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따른 부호화를 행할 수 있는지 없는지를 판단하여, 행할 수 없다고 판단된 화상에 대해서는, 상기 제1 픽처 타입에 의한 부호화를 행하는 것을 특징으로 하는 상기 (8) 또는 (9)에 기재된 동화상 부호화 방법.
본 발명에 의하면, MPEG 방식 등으로 대표되는 화상간 부호화 방식을 이용하여 부호화된 동화상 신호를, DV 방식 등으로 대표되는 화상내 부호화 방식으로 변환한 후라도, 부호량을 늘리는 일이 없이, 화상간 부호화 방식으로 부호화되어 있었던 때의 픽처 타입 정보를 유지하는 것이 가능하게 된다.
또한, 화상간 부호화 방식으로 부호화되어 있었던 때의 픽처 타입 정보가 유지되어 있는 화상내 부호화 동화상 신호를, 재차 화상간 부호화 방식으로 재변환할 때에, 상기 픽처 타입 정보를 이용하여 재변환함으로써, 재변환에 의한 동화상의 화질 열화를 최소한으로 억제하는 것이 가능하게 된다.
(발명을 실시하기 위한 최량의 형태)
다음으로, 본 발명의 실시 형태에 대하여 도면과 함께 설명한다.
[전체 구성]
도1 은, 본 발명이 되는 동화상 부호화 장치의 일 실시 형태의 블록도이다.
본 실시 형태의 제1 동화상 부호화 장치는, MPEG-DV 부호화 장치(21)이며, 제2 동화상 부호화 장치는, DV-MPEG 부호화 장치(22)이다.
그리고, MPEG-DV 부호화 장치(21)는, MPEG 복호부(11), 팩 정보 생성부(12), DV 부호화부(13), 및 기록 매체(14)로 신호를 기록하기 위한 기록 제어부(18)를 포함한다.
또한, DV-MPEG 부호화 장치(22)는, 기록 매체(14)로부터 신호를 재생하기 위한 재생 제어부(19), DV 복호부(15), 팩 정보 추출부(16), 및 MPEG 부호화부(17)를 포함한다.
기록 매체(14)로서는, 자기 테이프, 광디스크, 반도체 메모리 등을 이용한다.
또한, MPEG-DV 부호화 장치(21)로부터 DV-MPEG 부호화 장치(22)로의 동화상 신호의 전송 형태는, 상기한 기록 매체(14)를 이용한 오프라인으로의 전송 형태 뿐만 아니라, 서로의 부호화 장치에 디지털 I/F부(20)를 설치하여, 이 서로의 디지털 I/F부(20) 사이를 케이블이나 무선 등의 디지털 I/F로 접속하여 온라인으로 전송하는 형태라도 좋다. 그리고, 이 디지털 I/F를 이용한 온라인의 전송 형태는, 리얼 타임의 스트림 전송의 형태라도, 비동기(非同期)의 파일 전송의 형태라도 좋다.
[MPEG-DV 부호화 장치]
먼저, MPEG-DV 부호화 장치(21)의 내부 구성을 설명한다.
MPEG 복호부(11)는, MPEG 방식으로 부호화된 동화상 부호화 데이터열인 제1 MPEG 스트림을 입력으로서 받고, 이 입력된 제1 MPEG 스트림을 복호하여 복호 화상 데이터를 생성하여 DV 부호화부(13)로 공급함과 아울러, 이 제1 MPEG 스트림 중에 포함되는 부호화 정보를 검출하여 취득한다.
이 부호화 정보는, 상기 제1 MPEG 스트림의 각 픽처마다 대응되어진 픽처 헤더에 격납되어 있다. 또한, 픽처 헤더 뿐만 아니라, 예를 들면 시퀀스층마다 대응되어져 있는 시퀀스 헤더에 격납된 부호화 정보 등도 참고로 하여 취득하여 이용해도 좋다.
이 부호화 정보로부터, 복호한 복호 화상 데이터의 각 화상(프레임 또는 필드)이, I/P/B 중 어느 하나의 픽처 타입으로 복호화되어 있었던 화상인 것을 나타내는 픽처 타입 정보를 추출하여, 팩 정보 생성부(12)로 공급한다.
팩 정보 생성부(12)는, 각 화상에 관련지은 보조 정보에 MPEG 복호부(11)로부터 공급된 픽처 타입 정보를 포함한 정보인 팩 정보를 생성한다.
DV 부호화부(13)는, MPEG 복호부(11)로부터 공급된 복호 화상 데이터를, 디지털 비디오 카메라에서 일반적으로 이용되는 공지의 DV 방식에 의해 각 화상마다 화상내 부호화함과 함께, 이 화상내 부호화한 화상 데이터 각각의 소정 영역에, 팩 정보 생성부(12)로부터 공급되는 팩 정보를 세트한 DV 데이터를 생성한다.
기록 제어부(18)는, 생성한 DV 데이터를 기록 매체(14)에 기록한다.
도2(A) 는, 기록 매체(14)가 자기 테이프일 때의, DV 데이터의 1 트랙분의 데이터 구조를 나타낸 도면이다.
1 트랙은, ITI(Insert and Track Information) 영역(31), 오디오(Audio) 영역(32), 비디오(Video) 영역(33), 서브 코드(Subcode) 영역(34)의 4개의 영역으로 구성된다.
그리고, NTSC 방식 영상 신호의 DV 데이터의 경우는, 1 프레임분의 데이터는 10 트랙에 걸쳐 기록되고, PAL 방식 영상 신호의 DV 데이터의 경우는, 1 프레임분의 데이터는 12 트랙에 걸쳐 기록된다.
ITI 영역(31)은, 주로, DV 데이터가 기록되어, 이미 트랙이 형성되어 있는 경우에, 그 트랙에 새로운 DV 데이터를 인서트 기록할 때의 트랙킹으로 이용되는 영역이다. 인서트 기록시는, 회전 헤드는, 먼저 ITI 영역(31)에 기록되어 있는 데이터를 재생한다. 그리고, 도시하지 않은 테이프 주행 제어부가, 재생한 데이터가 정상으로 판독되도록, 트랙과 회전 헤드의 상대 위치를 제어한다. 다음으로, 이 ITI 영역(31)에 계속되는 오디오 영역(32)로부터, 생성한 DV 데이터 중의 오디오 데이터 이후의 데이터의 덮어쓰기 기록을 개시한다.
또한, 기록 테이프에 최초로 DV 데이터를 기록할 때는, 이 ITI 영역(31)의 데이터도 포함하여 모든 DV 데이터가 기록된다. 또한, 이 ITI 영역(31)의 데이터는, 기록 제어부(18)로는 전송되지 않는다. 따라서, 기록 제어부(18)는, 기록 매체(14)로 신호를 기록할 때에는, 스스로 이 ITI 영역(31)의 데이터를 생성하여 기록 테이프로 기록한다.
또한, 기록 매체(14)는 자기 테이프에 한정하는 것은 아니며, 하드 디스크나 광디스크 등의 디스크 매체나, 불휘발성 메모리 등, 다른 기록 매체라도 좋다.
기록 매체(14)가 디스크 매체의 경우는, DV 데이터는, DIF 데이터 또는 그에 준하는 형식으로 기록된다. 따라서, ITI 영역(31)은 불필요하게 된다.
오디오 영역(32)에는 음성 신호가 기록된다.
서브 코드 영역(34)에는 기록시의 각종 보조 정보가 기록된다.
비디오 영역(33)에는 동화상 신호가 기록된다.
도2(B) 는, DV 데이터의 비디오 영역(33)의 구조를 나타낸 도면이다.
동도에서 나타내는 바와 같이, 비디오 영역(33)은, 데이터 싱크 블록 넘버(Data Sync Block No.)19와 20의 2 싱크 블록에 설치된 예비 영역(VAUX 팩 영역)(41)과, 데이터 싱크 블록 넘버 12∼155의 144 싱크 블록에 설치된 비디오 기록 영역(42)과, 데이터 싱크 블록 넘버 156의 1 싱크 블록에 설치된 예비 영역(VAUX 팩 영역)(43)으로 이루어진다.
또한, 데이터 싱크 블록은, 90 바이트 고정 길이의 데이터 구조이지만, 그 구조 자체는 공지이며, 또한 본 발명의 요지와는 직접 관계는 없기 때문에, 그 상세한 설명은 생략한다.
또한, DV 데이터를, 디지털 I/F로 전송할 경우는, 도3 에 나타내는 바와 같이, DIF 시퀀스 나열로 전송한다.
도3(A) 는 DV 데이터의 1 프레임을 나타낸다.
도3(B) 는 DIF 시퀀스를 나타낸다. DV 데이터의 1 프레임이, 시계열적으로 나열된 n개의 DIF 시퀀스에 의해 구성되어 있는 것을 나타내고 있다. 상기의 n은, NTSC 방식 영상 신호의 DV 데이터의 경우는 10개, PAL 방식 영상 신호의 DV 데이터의 경우는 12개이다.
각 DIF 시퀀스는 도3(C) 에 나타내는 바와 같이, 헤더 섹션, 서브 코드 섹션, VAUX 섹션, 및 오디오·비디오 섹션으로 이루어진다. 또한, 각 DIF 시퀀스는 도3(D) 에 나타내는 바와 같이, 150개의 DIF 블록으로 이루어지고, 각 DIF 블록은, 동도(E) 에 나타내는 바와 같이, 3바이트의 ID와 77 바이트의 데이터로 이루어진다.
도4 는, 도3(D) 의 1개의 DIF 시퀀스 중의 150개의 DIF 블록의 내용을 상세하게 설명하기 위한 도면이다. 도4 중, H0은 도3(C) 의 헤더 섹션에, SC0 및 SC1 은 도3(C) 의 서브 코드 섹션에, VA0∼VA2 는 도3(C) 의 VAUX 섹션에, A0∼A8은 도3(C) 의 오디오·비디오 섹션 중의 오디오 섹션에, V0∼V134 는 도3(C) 의 오디오·비디오 섹션 중의 비디오 섹션에 각각 상당한다.
또한, 기록 매체(14)로 기록하는 DV 데이터는, 도2 나 도3 에서 나타나는 모든 정보를 기록해도, 필요한 정보만을 기록해도 좋고, 나아가서는 필요에 따라 부가 정보 등을 추가해도 좋다. 전술한 픽처 타입 정보를 프레임에 관련지은 팩 정보는, 기본적으로는 도2 의 비디오 영역(33)에 기록하지만, 오디오 영역(32), 및 서브 코드 영역(34)의 한쪽 또는 양쪽에 기록하는 것도 가능하다.
도5 는, 기록 매체(14)의 1 트랙내의 예비 영역(VAUX 팩 영역)(41, 43)의 구조를 나타내는 도면이다.
도5(A), (B) 는 각각 도2(B) 에 나타낸 예비 영역(VAUX 팩 영역)(41)의 데이터 싱크 블록 넘버 19, 20의 2개의 싱크 블록에 있어서의 구조, 도5(C) 는 도2(B) 에 나타낸 예비 영역(VAUX 팩 영역)(43)의 1 싱크 블록에 있어서의 구조를 나타낸다. 1개의 팩 정보는 5바이트의 데이터로 구성된다. 따라서, 도5(A)∼(C) 에 나타내는 바와 같이, 1 트랙내의 예비 영역(VAUX 팩 영역)을, 0∼44까지의 45개의 팩 영역으로 분할하고, 이 각 팩 영역에 팩 정보를 각각 기록할 수 있다.
또한, 도5(A)∼(C)의 각 싱크 블록의 선두의 5바이트에는, 동기 정보 SYNC 2 바이트와, 식별 정보 ID0, ID1, IDP가 기록된다. 또한, C1에는, 77바이트의 데이터에 대하여 부가되는 8바이트의 오류 정정 부호(리드 솔로몬 부호)가 기록된다. 또한, RSV(reserved)는 규격상의 미사용 영역으로, 통상은 16진 데이터「FF」가 기록된다.
도6 은, NTSC 방식에 있어서의 1 프레임분(10 트랙)의 예비 영역내의 VAUX 팩 영역 만을 모식적으로 나타낸 도면이다. 동도에 있어서, 종방향으로 부착된 0, 5, 10...40이 팩 넘버로, 횡방향으로 부착된 1∼10이 트랙 넘버를 나타낸다.
각 트랙의, 팩 넘버 0∼44까지의 45개의 팩 영역에 팩 정보를 기록하는 것이 가능하다. 이 45개의 팩 영역 중 60∼65의 숫자가 기입되어 있는 6개의 팩 영역이 메인 영역이며, 그 이외의 공백의 39개의 팩 영역이 옵션의 영역이다. 메인 영역은, 미리 기록하는 데이터의 종류가 결정되어져 있는 것에 대하여, 옵션의 영역은 기록하는 데이터의 종류가 결정되어 있지 않기 때문에, 임의의 데이터를 기록할 수 있다. 따라서, 이 옵션의 영역에, 전술한 픽처 타입 정보를 포함하는 팩 정보를 기록하는 것이 가능하다.
또한, 픽처 타입 정보는, 비디오에 관한 정보이기 때문에, 상기한 바와 같이 비디오 영역(33)내의 예비 영역(VAUX 팩 영역)(41, 43)에, 픽처 타입 정보를 포함하는 팩 정보를 기록하는 것이 바람직하지만, 그에 한정하는 것은 아니며, 이하와 같이 오디오 영역(32)이나 서브 코드 영역(34)내의 옵션의 팩 영역에 기록해도 좋다.
도7 은, 도2(A) 에 있어서의 서브 코드 영역(34)의 구조를 나타내는 도면이다. 서브 코드 영역(34)에는, 0∼11까지의 12개의 서브 코드 팩을 기록할 수 있다. 1개의 서브 코드 팩은 12 바이트 고정 길이의 1개의 싱크 블록을 구성하고 있다. 그리고 이 1개의 싱크 블록은 2바이트의 동기 정보 SYNC와, 각 1바이트의 식별 정보 ID0, ID1, 및 IDP와, 5바이트의 데이터(DATA)와, 2바이트의 패리티 C1로 이루어진다. 동도에 있어서, 사선으로 되어 있는 3, 4, 5, 9, 10, 11로 나타낸 싱크 블록 넘버의 데이터 영역이 메인 영역이다.
도8 은, NTSC 방식에 있어서의 1 프레임분(10 트랙)의 서브 코드의 구조를 모식적으로 나타내는 도면이다. 동도에 있어서, 종방향으로 부착된 0∼11이 싱크 블록 넘버로, 도7 의 0∼11에 대응하고, 횡방향으로 부착된 0∼9가 트랙 넘버를 나타낸다.
도8 에 있어서, 사선으로 된 알파벳의 대문자의 영역이 메인 영역이며, 이 영역으로 기록하는 데이터의 종류는 정해져 있다. 소문자의 영역이 옵션의 영역이며, 이 영역으로 기록하는 데이터의 종류는 정해져 있지 않다. 따라서, 이 옵션의 영역에 상기 픽처 타입 정보를 포함하는 팩을 기록하는 것이 가능하다. 또한, 도8 과 같이, 동일한 문자가 부착되어 있는 복수의 영역에 동일한 팩을 복수 기록함으로써, 신뢰성을 높일 수 있다.
다음으로, 픽처 타입 정보를 격납하는 팩의 상세 내용에 대하여 설명한다. 픽처 타입 정보를 격납하는 팩으로서는, 예를 들면, VAUX 바이너리 그룹(VAUX BINARY GROUP)이나, 메이커 코드(MAKER CODE)의 옵션 팩을 이용한다.
도9 는, VAUX 바이너리 그룹에 픽처 타입 정보를 격납하는 예를 나타내는 도면이다. 동도에 있어서, VAUX 바이너리 그룹 내의 4비트를 이용하여, 이 4비트에 상기 픽처 타입 정보(PICTURE TYPE)를 격납한다. 도9 의 예에서는, MPEG 방식에 있어서 필드마다 부호화가 행해지는 것도 고려하여, 필드마다 픽처 타입을 규정할 수 있도록 한다. 즉, 픽처 타입 정보를 4비트로 하고, 그 중의 상위 2비트(F2)를 제2 필드의 픽처 타입 정보에 할당하고, 하위 2비트(F1)를 제1 필드의 픽처 타입 정보에 할당한다. 또한, 프레임마다 부호화가 행해진 경우는, 제1 필드와 제2 필드의 픽처 타입은 필연적으로 동일한 것이 된다.
또한, 상기의 각 필드 2비트의 픽처 타입 정보는, 예를 들면 2진수의 값이 「01」일 때 I픽처, 「10」일 때 P픽처, 「11」일 때 B픽처이라고 정의한다. 그리고 픽처 타입을 알 수 없는 경우도 허용하기 위해서,「00」일 때를 "unknown"으로 정의하고, 전부해서 4개의 상태를 2비트로 표현한다.
또한, DV 방식은 프레임마다 부호화를 행하기 때문에, MPEG 방식으로부터 DV방식으로 변환할 때에, 원래의 MPEG 방식에 의한 부호화가 프레임마다 행해지고 있던 경우는, 원래의 프레임의 파라미터는 프레임마다 하나로 좋다. 그러나, 원래의 MPEG 방식에 의한 부호화가 필드마다 행해지고 있던 경우는, 프레임을 구성하는 각 필드의 정보를 하나의 프레임의 정보로서 격납할 필요가 있다. 그 때문에, 팩 내의 정보가, 원래의 MPEG 방식에 의한 부호화가 프레임마다 행해졌을 때의 정보인지 필드마다 행해졌을 때의 정보인지를 식별할 수 있도록 했다(후술하는 도10 도 동일). 도9 에 있어서는, BINARY GROUP 2[3]가 0의 경우를 프레임마다 부호화가 행해진 픽 처인 프레임 픽처를 나타내도록 하고, 1의 경우를 필드마다 부호화가 행해진 픽처인 필드 픽처를 나타내도록 했다. 필드 픽처의 경우는, BINARY GROUP 4[3]도 1로 한다.
또한, 도9 에 나타내는 바와 같이, VAUX 바이너리 그룹에는, 프레임 예측과 프레임 DCT만이 사용되고 있는 것을 나타내는 정보 FPFDCT(frame_pred_frame_dct), 순차 주사 화상의 시퀀스인 것을 나타내는 정보 PSEQ(progressive_sequence), 프레임 픽처의 경우에 최초의 필드가 상위인지 하위인지를 나타내는 정보 TFF(top_field_first), 2:3 풀 다운으로 사용되고, 제1 필드를 반복하여 재생하는 것을 지시하는 정보 RFF(repeat_first_field), 이 픽처가 순차 주사 화상인지 어떤지를 나타내는 정보 PF(progressive_frame) 등도 격납한다.
도10 은, 메이커 코드(MAKER CODE) 팩에 이어지는 옵션 팩에 픽처 타입 정보를 격납하는 예를 나타내는 도면이다. 메이커 코드 팩은, 각 메이커 독자의 기능 확장을 위해, 메이커의 식별 코드와 함께 이용할 수 있는 팩이다.
이 메이커 코드 팩에는, 이 팩에 이어서 몇 개의 유효한 옵션 팩이 있는 것인지를 기술하는 10비트의 영역 TDP가 있고, 이것은 PC2와 PC3의 각 영역으로 분할되어 배치된다. 이 메이커 코드 팩에 이어지는 옵션 팩은, 도10 의 예에서는 1개이기 때문에, 본 실시형태에서는, 10비트의 영역 TDP의 값을 "1" (즉, TDP[7:0]=1, TDP[9:8]=0)로 한다.
그리고, 메이커 코드 팩에 이어지는 옵션 팩에 2비트의 픽처 타입 정보 (PTYPE)를 포함하도록 구성했다. 원래의 MPEG 방식에 의한 부호화가 프레임마다 행해진 경우(프레임 픽처의 경우), 옵션 팩인 PC1의 영역에만 픽처 타입 정보(PTYPE)를 기술하고, 원래의 MPEG식에 의한 부호화가 필드마다 행해진 경우(필드 픽처의 경우), PC1에 제1 필드, PC2에 제2 필드의 픽처 타입 정보(PTYPE)를 기술한다. PC1[7]이 0일 때를 프레임 픽처, PC1[7]가 1일 때를 필드 픽처(이 때 PC2[7]도 1)인 것으로 한다.
또한, 도10 에 나타내는 바와 같이, 옵션 팩(OPTION PACK)의 내용은, 팩의 식별 코드(PCO)를 제외하고, 상기 VAUX 바이너리 그룹을 이용한 경우와 동일하다.
또한, 상기 DV 데이터를 디지털 I/F로 전송하는 경우도 상기와 동일하며, 도3(C) 의 서브 코드 섹션, VAUX 섹션, 오디오·비디오 섹션의 어느 옵션의 팩 영역으로 전송해도 좋다.
<MPEG-DV 부호화 장치의 처리의 흐름>
다음으로, MPEG-DV 부호화 장치의 내부 처리의 흐름을 상세하게 설명한다.
도13 은, 도1 의 MPEG-DV 부호화 장치(21)의 내부 구성을 보다 구체적으로 설명하는 도면이며, CPU(50)가, CPU 버스(57)를 통하여 각 블록을 제어함과 함께, 도1 의 팩 정보 생성부(12)의 동작을 행하는 경우의 예이다. 또한 CPU(50)는, DSP로 치환하는 것도 가능하다.
또한, 도14∼도17 은, 이 MPEG-DV 부호화 장치(21)의 동작의 흐름을 설명하는 플로우 차트이다.
이하, MPEG-DV 부호화 장치(21)의 동작을 상기한 도13 과 도14∼도17 의 플로우 차트를 이용하여 상세하게 설명한다. 또한, 동작에 있어서의 주체는, 특히 기술이 없는 한은 CPU(50)이다.
<MPEG 스트림 기입 처리의 흐름>
입력되는 MPEG 스트림을 장치내의 메모리(51)에 기입할 때의 처리의 흐름을 도13 과 도14 의 플로우 차트를 이용하여 설명한다.
MPEG 스트림의 기입 처리를 개시한다(스텝 S101).
CPU(50)는, 입력되는 MPEG 스트림의 처리 단위(예를 들면 TS(트랜스포트 스트림)의 패킷)마다, MPEG 스트림 기입부(53)에 대하여, MPEG 스트림의 메모리(51)로의 기입 개시 위치와 1회마다의 기입 사이즈 등의 파라미터를 설정한다(스텝 S102). 이 파라미터의 설정은, MPEG 스트림의 기입 사이즈가 항상 동일한 경우(예를 들면 TS의 패킷의 경우)는, 기입 처리의 최초에 1회 설정하는 것만으로 좋다. 한편, 1회의 기입마다 기입 사이즈가 다른 경우는, 1회의 기입 처리마다 설정한다. 예를 들면, 처리의 진척 상황에 따라, 1회에 1패킷만 처리하는 경우나, 몇 패킷 동시에 처리하는 경우 등, 적절한 스케쥴링을 행하면서 처리할 때에는, 처리하는 패킷수에 따라 기입 사이즈의 지정을 매회 행한다.
다음으로, CPU(50)는, MPEG 스트림 기입부(53)에 기입 개시를 지시한다(스텝 S103).
MPEG 스트림 기입부(53)는, CPU(50)로부터 기입 개시의 지시를 받았다면, 기입을 개시하여, 설정된 기입 사이즈마다, 메모리(51)상의 설정된 기입 개시 위치로의 기입 처리를 반복한다(스텝 S104, S105).
그리고, 스텝 S105에 있어서, 모든 MPEG 스트림의 기입이 종료했다고 판단했 다면 기입 처리를 종료한다(스텝 S106).
<MPEG 복호시의 처리의 흐름>
다음으로, MPEG 복호시의 처리의 흐름을 도13 과 도15 의 플로우 차트를 이용하여 설명한다.
MPEG 복호 처리를 개시한다(스텝 S201).
CPU(50)는, 처리 단위(예를 들면 TS의 패킷 단위)마다, MPEG 복호부(11)에 대하여, 메모리(51)에 기입된 MPEG 스트림의 판독 개시 위치와 처리 단위에 따른 판독 사이즈 등의 초기 파라미터를 설정한다(스텝 S202).
다음으로, CPU(50)는, MPEG 복호부(11)에, MPEG 복호 처리 개시를 지시한다(스텝 S203).
다음으로, 판독 사이즈가 매회 다른 경우는, 처리 단위마다 상기한 파라미터를 설정한다(스텝 S204). 또한, 판독 사이즈가 항상 동일한 경우는, 스텝 S202의 초기 파라미터를 설정하는 것만으로 좋고, 이 스텝 S204는 실행하지 않아도 좋다.
MPEG 복호부(11)는, CPU(50)로부터 부호화 개시의 지시를 받았다면, 설정된 판독 개시 위치와 처리 단위에 따라, 메모리(51)로부터 MPEG 스트림을 판독한다. 그리고 판독한 MPEG 스트림 중의 데이터의 종류를 나타내는 ID를 검출하고, 그 검출한 ID에 의해, 오디오 스트림, 비디오 스트림, 그 외의 데이터 스트림으로 MPEG 스트림을 분할하여, 각각의 스트림마다 복호 처리를 행한다(스텝 S205∼S207). 또는, MPEG 스트림 기입부(53)가, 메모리(51)로의 기입시에, 미리 오디오 스트림, 비디오 스트림, 그 외의 데이터 스트림으로 분할하여, 각각에 대응하는 메모리 영역 에 기입하도록 하고, 판독시는, 각각에 대응하는 메모리 영역으로부터 판독하여 복호 처리를 행하도록 해도 좋다.
CPU(50)는, MPEG 복호부(11)에 대하여, 각각의 스트림의 데이터의 종류에 따라, 각각 소정 처리 단위(예를 들면 오디오 스트림에 대해서는, 오디오 프레임 단위, 비디오 스트림에 대해서는, 프레임 또는 필드 단위, 그 외의 데이터 스트림에 대해서는, 그 데이터 사이즈 단위)마다, 각 스트림의 기입 개시 위치, 기입 사이즈 등의 파라미터를 지정하고(스텝 S204), 복호 처리의 개시를 지시한다(스텝 S205). MPEG 복호부(11)는, 각 스트림을 처리 단위마다 복호하여, 그 복호후의 각 스트림을 메모리(51)의 소정의 어드레스 영역에 기입하는 처리를 행한다. 필요에 따라, 작업용의 중간 데이터 등을 워크 메모리(52)에 기입하는 일도 있다.
또한, 스트림 중에 기록되어 있는 각종 부호화 파라미터를 메모리(51) 또는, MPEG 복호부(11)내의 레지스터에 기록한다. 기록하는 복호화 파라미터에는, 프레임마다의, 그 프레임 또는 프레임을 구성하는 필드가, 어느 픽처 타입으로 부호화되어 있었는가 하는 픽처 타입 정보를 포함한다.
그리고, 스텝 S206에서는, 처리 단위의 복호 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S204로 처리를 되돌리고, 종료한 경우는 스텝 S207로 처리를 이행한다.
스텝 S207에서는, 모든 복호 대상 스트림의 복호 및 기입 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S204로 처리를 되돌리고, 종료한 경우는 스텝 S208로 처리를 이행하여, MPEG 복호 처리를 종료한다.
<DV 부호화시의 처리의 흐름>
다음으로, DV 부호화시의 처리의 흐름을 도13 과 도16 의 플로우 차트를 이용하여 설명한다.
DV 부호화 처리를 개시한다(스텝 S301).
CPU(50)는, DV 부호화부(13)에 대하여, 처리 단위마다 메모리(51)의 소정의 메모리 영역에 기입되어 있는 복호후의 각 스트림의 선두 어드레스 등의 파라미터를 설정한다(스텝 S302).
다음으로 각 스트림의 처리 단위마다, 메모리(51)에 기입된 각 스트림의 부호화 처리 개시를 지시한다(스텝 S303). 그 후, 비디오 스트림에 대해서는 프레임 단위, 오디오 스트림에 대해서는, 오디오 프레임 단위, 그 외 데이터 스트림에 대해서는, 프레임마다 관련지어진 정보 단위로 파라미터를 설정하여(스텝 S305), 처리 단위마다의 부호화 처리 개시를 지시한다(스텝 S305).
CPU(50)는, 또한, DV 부호화부(13)에 대하여, 비디오 스트림에 있어서의 각 프레임을 부호화시킬 때, 그 프레임에 대응하는 상기 부호화 파라미터 중, I/P/B 중 어느 하나의 픽처 타입으로 부호화 되어 있었는지를 나타내는 픽처 타입 정보를, 상기 메모리(51) 또는 MPEG 복호부(11) 내의 레지스터로부터 판독하고(스텝 S306), VAUX 바이너리 그룹의 옵션의 팩 형식으로 패킹하여(스텝 S307), 그 프레임에 대한 VAUX 데이터(팩 정보)로서 관련지어 메모리(51)에 기입한다(스텝 S308).
여기서, 관련지음이란, DV 방식으로 부호화한 비디오 스트림의 각 프레임과, 그에 대응하는 VAUX 데이터가, 동일 프레임의 정보로서 처리할 수 있도록, 메모 리(51)상의 어디에 기록되어 있는지를 워크 에리어의 정보 등에 의해 CPU(50)가 참조할 수 있도록 하는 것을 의미한다.
따라서, CPU(50)는, DV 방식으로 부호화한 비디오 스트림, 오디오 스트림, 그 외 데이터 스트림을 멀티플렉스하여 하나의 DV 부호화 스트림(DV 데이터)로 할 때에, 프레임마다 각 스트림의 데이터를 순번으로 판독함으로써, 동일 프레임에 관련되는 각 데이터를 동일 프레임내의 데이터로서 부호화할 수 있다.
멀티플렉스의 처리는, CPU(50)가 각각을 소정의 순번으로 메모리로부터 판독함으로써 실현해도 좋고, DV 데이터 출력부(51)로부터 직접 판독하도록 구성하고, CPU(50)는 그에 대하여 소정 처리 단위마다, 필요한 파라미터와 개시 지시를 보내도록 해도 좋다.
그리고, 스텝 S309에서는, 처리 단위마다의 부호화 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S304로 처리를 되돌리고, 종료한 경우는 스텝 S310으로 처리를 이행한다.
스텝 S310에서는, 모든 부호화 대상 스트림의 부호화 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S304로 처리를 되돌리고, 종료한 경우는 스텝 S311로 처리를 이행하여, DV 부호화 처리를 종료한다.
CPU(50)는, 이와 같이 하여 부호화한 DV 데이터를, DV 데이터 출력부(54)를 통하여 기록 제어부(18)를 이용하여 기록 매체(14)로 기록하거나, 디지털 I/F부(20)에 의해 외부로 전송하거나 한다.
이 경우, DV 부호화부(13)가 DV 데이터를 일단 메모리(51)에 보존하고, DV 데이터 출력부(54)가, 이 보존된 DV 데이터를 메모리(51)로부터 판독해도 좋고, 메모리(51)를 통하지 않고, DV 부호화부(13)가 부호화한 DV 데이터를 직접 DV 데이터 출력부(54)가 판독해도 좋다.
또한, 도17 은 상기한 DV 데이터의 출력에 관한 처리를 설명하는 플로우 차트이지만, 이 처리는 본 실시 형태의 포인트 부분이 아니기 때문에 플로우 차트의 제시와 이하의 간단한 설명만으로 하여, 상세 설명은 생략한다.
또한, 이상의 설명에 있어서는, CPU(50)가, MPEG 복호부(11), DV 부호화부(13) 등의 하드웨어의 기능 블록을 제어하도록 설명했지만, 그들의 기능 블록의 일부 또는 전부를, 모두 CPU(50)의 프로그램으로 실현해도 좋다.
MPEG 복호부(11)를 제어하는, 또는 MPEG 복호를 직접 실현하는 프로그램과, DV 부호화부(13)를 제어하는, 또는 DV 부호화를 직접 실현하는 프로그램과는, 1개의 프로그램의 형태를 구성하고 있어도 좋고, 개별의 2개의 프로세스로 실현되는 2개의 프로그램으로서 구성해도 좋다.
또한, MPEG 복호와 DV 부호화의 처리를 행하는 것은, 단독의 CPU(50)가 아니어도 좋고, 각각 다른 CPU를 이용하여 독립하여 행해도 좋다.
MPEG 복호한 스트림에 대하여 DV 부호화를 행하기 때문에, DV 부호화 처리 쪽이 MPEG 복호 처리보다 약간 처리의 타이밍이 늦어지기는 하지만, 대략, 거의 동시에 행해진다.
또한, MPEG 복호한 스트림과, 그 픽처 타입 등의 관련 정보를 보존해 두기 위한 충분한 기록 영역을 확보할 수 있는 경우는, MPEG 스트림에 대한 MPEG 복호 처리를 모두 완료한 후에, DV 부호화 처리를 행해도 좋다.
[DV-MPEG 부호화 처리]
다음으로, DV-MPEG 부호화 장치(22)의 내부 구성을 도1 로 되돌아가 설명한다.
DV-MPEG 부호화 장치(22)는, DV 방식으로 부호화된 동화상 부호화 신호와, 그 동화상 부호화 신호가 MPEG 방식의 동화상 부호화 신호를 변환하여 얻어진 것이었을 경우에, 그 MPEG 부호화에 있어서 부호화되어 있었던 때에 어느 픽처 타입이었는지를 나타내는 픽처 타입 정보를 프레임에 관련지은 팩 정보로서 세트한 DV 데이터를, 기록 매체(14)를 통하여 재생 제어부(19)가 입력 DV 데이터로서 받거나, 또는 다른 장치로부터 디지털 I/F를 통하여 디지털 I/F부(20)가 입력 DV 데이터로서 받는다.
DV 복호부(15)는, 그 입력 DV 데이터를 복호하여, 복호 동화상 데이터와 그 복호 프레임에 대응하는 복호 팩 정보를 얻고, 복호 동화상 데이터는 MPEG 부호화부(17)에 공급하고, 복호 팩 정보는 팩 정보 추출부(16)에 공급한다.
팩 정보 추출부(16)는, 복호 팩 정보로부터 픽처 타입 정보를 격납한 팩을 검출하여, 필드마다의 픽처 타입 정보를 특정하고, 그 픽처 타입 정보를 MPEG 부호화부(17)에 공급한다.
MPEG 부호화부(17)는, DV 복호부(15)로부터 공급되는 복호 동화상 데이터의 프레임 또는 필드마다, 팩 정보 추출부(16)로부터 공급되는 픽처 타입 정보가 나타내는 픽처 타입에 따라 부호화를 행한다.
<DV-MPEG 부호화 장치의 처리의 흐름>
다음으로, DV-MPEG 부호화 장치의 내부 처리의 흐름을 상세하게 설명한다.
도18 은, 도1 의 DV-MPEG 부호화 장치(22)의 내부 구성을 보다 구체적으로 설명하는 도면이며, CPU(50)가, CPU 버스(57)를 통하여 각 블록을 제어함과 함께, 도1 의 팩 정보 추출부(16)의 동작을 행할 경우의 예이다.
또한, 도19∼22 는, 이 DV-MPEG 부호화 장치(22)의 동작의 흐름을 설명하는 플로우 차트이다.
이하, DV-MPEG 부호화 장치(22)의 동작을 상기한 도18 과 도19∼22 의 플로우 차트를 이용하여 상세하게 설명한다. 또한, 동작에 있어서의 주체는, 특히 기술이 없는 한은 CPU(50)이다.
<DV 데이터 기입 처리의 흐름>
입력되는 DV 데이터를 장치내의 메모리(51)에 기입할 때의 처리의 흐름을 도18 과 도19 의 플로우 차트를 이용하여 설명한다.
DV 데이터의 기입 처리를 개시한다(스텝 S501).
CPU(50)는, 입력되는 DV 데이터의 처리 단위마다, DV 데이터 기입부(55)에 대하여, DV 데이터의 메모리(51)로의 기입 개시 위치와 1회마다의 기입 사이트 등의 파라미터를 설정한다(스텝 S502).
다음으로, CPU(50)는, DV 데이터 기입부(55)에 기입 개시를 지시한다(스텝 S503).
DV 데이터 기입부(55)는, CPU(50)로부터 기입 개시의 지시를 받았다면, 기입 을 개시하고, 비디오, 오디오, 시스템 데이터 등의 종류, 및 그 종류마다의 소정의 처리 단위로, 메모리(51)상의 설정된 기입 개시 위치로의 기입 처리를 반복한다(스텝 S504, S505).
그리고, 스텝 S505에 있어서, 모든 DV 데이터의 기입이 종료했다고 판단되었다면 기입 처리를 종료한다(스텝 S506).
<DV 복호시의 처리의 흐름>
다음으로, DV 복호시의 처리의 흐름을 도18 과 도20 의 플로우 차트를 이용하여 설명한다.
DV 복호 처리를 개시한다(스텝 S601).
CPU(50)는, 처리 단위마다, DV 복호부(15)에 대하여, 메모리(51)에 기입된 DV 데이터의 판독 개시 위치와 처리 단위에 따른 판독 사이즈 등의 초기 파라미터를 설정한다(스텝 S602).
다음으로, CPU(50)는, DV 복호부(15)에, 부호화 개시를 지시한다(스텝 S603).
다음으로, 판독 사이즈가 매회 다른 경우는, 처리 단위마다 상기한 파라미터를 설정한다(스텝 S604). 또한, 판독 사이즈가 항상 동일한 경우는, 스텝 S602의 초기 파라미터를 설정하는 것만으로 좋고, 이 스텝 S604는 실행하지 않아도 좋다.
DV 복호부(15)는, CPU(50)로부터 부호화 개시의 지시를 받았다면, 오디오 스트림, 비디오 스트림, 시스템 데이터 스트림 각각에 대하여, 설정된 판독 개시 위치와 소정 처리 단위에 따라, 메모리(51)로부터 DV 데이터를 판독하여, 각각의 복 호 처리를 행한다(스텝 S605∼S611).
DV 복호부(15)는, 복호 처리에 의해 복호된, 비디오 스트림, 오디오 스트림, 시스템 데이터 스트림 등을, 종류마다 메모리(51)의 소정 영역에 기록한다.
이 때, CPU(50)는, 시스템 데이터에 픽처 타입 정보가 존재하는지 어떤지를 확인하고(스텝 S606), 존재하는 경우는, 복호된 스트림이 과거에 MPEG 방식 등으로 대표되는 화면내 부호화와 화면간 부호화의 2종류의 부호화 방법으로 부호화된 스트림이라고 판단하고, 그 픽처 타입 정보를 이후의 처리에서 이용한다.
구체적으로는, CPU(50)는, DV 복호부(15)가 복호하여 메모리에 기입한 시스템 데이터, 또는 DV 데이터 기입부(55)가 메모리(51)에 기록한 시스템 데이터 그 자체를 판독하고, 프레임의 복호 처리시에 대응하는 프레임의 시스템 데이터 중의 VAUX 데이터에, 픽처 타입에 과한 정보를 가지는 옵션의 팩이 있는지 어떤지를 검출하고(스텝 S606), 어느 경우는, 패킹하지 않고 그 프레임에 관한 픽처 타입 정보를 취출하고(스텝 S607), 메모리(51) 또는 CPU(50)내의 일시 기억 영역내의 그 프레임에 대응하는 영역에 보존한다(스텝 S608).
그리고, 스텝 S609에서는, 소정 처리 단위의 복호 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S604로 처리를 되돌리고, 종료한 경우는 스텝 S610으로 처리를 이행한다.
스텝 S610에서는, 모든 복호 대상 DV 데이터의 복호 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S604로 처리를 되돌리고, 종료한 경우는 스텝 S611로 처리를 이행하여, DV 복호 처리를 종료한다.
<MPEG 부호화시의 처리의 흐름>
다음으로 MPEG 부호화시의 처리의 흐름을 도18 과 도21 의 플로우 차트를 이용하여 설명한다.
MPEG 부호화 처리를 개시한다(스텝 S701).
CPU(50)는, MPEG 부호화부(17)에 대하여, 처리 단위마다 메모리(51)의 소정의 메모리 영역에 기입되어 있는 복호후의 각 스트림의 선두 어드레스 등의 파라미터를 지정한다(스텝 S702).
다음으로 각 스트림의 처리 단위마다, 메모리(51)에 기입된 각 스트림의 부호화 개시를 지시한다(스텝 S703).
CPU(50)는, 또한, 비디오 스트림의 프레임마다의 픽처 타입 정보가 메모리(51), 또는 CPU 내의 일시 기억 영역 내에 보존되어 있는지 어떤지를 확인하고, 보존되어 있었던 경우는 스텝 S705로 처리를 이행하고, 보존되어 있지 않았던 경우는 스텝 S707로 처리를 점프한다(스텝 S704).
스텝 S705에서는, 보존되어 있던 픽처 타입 정보를 판독한다.
스텝 S706에서는, 그 판독한 픽처 타입 정보를 MPEG 부호화부(17)에 설정한다.
그리고, 그 프레임 또는 필드의 픽처 타입이, 지시한 픽처 타입 정보의 픽처 타입과 일치하도록 부호화를 실행시킨다(스텝 S707). 픽처 타입은, 프레임 단위의 경우도, 필드 단위의 경우도 있을 수 있다.
그리고, 스텝 S708에서는, 처리 단위마다의 부호화 처리가 종료했는지 아닌 지를 판단한다. 종료하지 않았던 경우는, 스텝 S704로 처리를 되돌리고, 종료한 경우는 스텝 S709로 처리를 이행한다.
스텝 S709에서는, 모든 부호화 대상 스트림의 부호화 처리가 종료했는지 아닌지를 판단한다. 종료하지 않았던 경우는, 스텝 S704로 처리를 되돌리고, 종료한 경우는 스텝 S710으로 처리를 이행하여, MPEG 부호화 처리를 종료한다.
또한, 이상의 설명에 있어서는, CPU(50)가, DV 복호부(15), MPEG 부호화부(17) 등의 하드웨어의 기능 블록을 제어하는 것으로 설명했지만, 그들의 기능 블록의 일부 또는 전부를, 모두 CPU(50)나 DSP의 프로그램으로 실현해도 좋다..
DV 복호부(15)를 제어하는, 또는 DV 복호를 직접 실현하는 프로그램과, MPEG 부호화부(17)를 제어하는, 또는 MPEG 부호화를 직접 실현하는 프로그램과는, 1개의 프로그램으로서 구성되어 있어도 좋고, 개별의 2개의 프로세스에 의한 멀티 태스크 처리로 실현되는 2개의 프로그램으로서 구성되어 있어도 좋다.
또한, DV 복호와, MPEG 부호화의 처리를 행하는 것은, 단독의 CPU(50)가 아니어도 좋고, 각각 다른 CPU를 이용하여 독립하여 행해도 좋다.
DV 복호한 스트림에 대하여 MPEG 부호화를 행하기 때문에, MPEG 부호화 처리 쪽이 DV 복호 처리보다 약간 처리의 타이밍이 늦어지기는 하지만, 대략, 거의 동시에 행해진다.
또한, DV 복호한 스트림과, 그 픽처 타입 등의 관련 정보를 보존해 두기 위한 충분한 기록 영역을 확보할 수 있는 경우는, DV 데이터에 대한 DV 복호 처리를 모두 완료한 후에, MPEG 부호화 처리를 행해도 좋다.
<정리>
이와 같이 하여, MPEG 부호화부(17)에 의해 MPEG 방식으로 압축 부호화하여 얻어진 동화상 부호화 데이터열인 제2 MPEG 스트림 중의 각 픽처는, 픽처 타입 정보에 기초하여 부호화된 부호화 화상이며, MPEG 복호부(11)에 입력된 제1 MPEG 스트림 중의 각 픽처와 동일한 픽처 타입으로 부호화 되어 있기 때문에, 도12 와 함께 설명한 바와 같이, 제2 MPEG 스트림의 복호 화상의 화질 열화를 최소한으로 억제할 수 있다.
또한, 본 실시 형태에서는, 규격상 이용가능한 팩 정보를 이용하여 픽처 타입 정보를 전송하는 것으로, 특히 그 때문에 데이터량을 늘리는 일이 없이, 부가 정보의 전송을 실현하고 있다.
또한, 본 실시 형태에서는, 화상내 부호화 및 화상간 부호화를 이용하는 부호화 방식(청구항에 있어서의 제1 부호화 방식에 대응함)으로서 MPEG 방식, 화상내 부호화만을 이용하는 부호화 방식(청구항에 있어서의 제2 부호화 방식에 대응함)으로서 DV 방식을 예로 하여 설명했지만, 부호화 방식은 이들에 한하지 않고, 화상내 부호화 및 화상간 부호화를 이용하는 부호화 방식과 화상내 부호화만을 이용하는 부호화 방식과의 조합이라면, 어떠한 부호화 방식이라도 좋다.
그리고, 본 실시 형태에서는, 변환 전후의 스트림은 동일한 화상내 부호화 및 화상간 부호화를 이용하는 부호화 방식을 이용하는 예로 설명하고 있지만, 변환 전후의 화상내 부호화 및 화상간 부호화를 이용하는 부호화 방식은 동일할 필요는 없고, I픽처, P픽처, B픽처 라는 픽처 타입 정보를 이용하는 부호화 방식이라면, 다른 부호화 방식이라도 좋다(청구항에 있어서의 제1 부호화 방식과 제3 부호화 방식에 대응함). 예를 들면, MPEG 2 방식의 스트림을 DV 스트림으로 변환한 후, H.264 방식의 스트림으로 변환하는 바와 같은 경우에도 적용 가능하다.
또한, 본 발명의 최적의 실시 형태는, 도12 와 같이 원래의 픽처 타입과 재부호화할 때의 픽처 타입을 동일하게 하는 것이지만, 재부호화의 경우, 예를 들면 하드웨어의 리소스가 부족해서 동일한 시퀀스가 재현될 수 없는 경우에는, 처리가 복잡하게 되는 P픽처, B픽처의 화상을 I픽처의 화상으로서 처리하도록 해도 좋다. 이에 따라, 처리의 리소스가 부족한 바와 같은 경우라도, 재부호화 처리를 파정(破錠)시키는 일이 없이, 또한, 화질 열화를 최소한으로 억제할 수 있다.
또한, 본 발명은, 상기한 장치의 기능을 컴퓨터에서 실현시키기 위한 프로그램을 포함하는 것이다. 이들의 프로그램은, 기록 매체로부터 판독되어 컴퓨터에 취입되어도 좋고, 통신 네트워크를 통하여 전송되어 컴퓨터에 취입되어도 좋다. 컴퓨터란, 처리 장치내의 CPU 또는 DSP 등, 프로그램의 내용과 그 때의 시스템 상태에 의해, 각종 처리를 순차 실행해 가는 장치 일반의 것을 가리키고, 물리적으로는 LSI 내부의 1 블록인 경우도, 독립한 LSI, 또는 외부 장치인 경우도 있다.
도1 은 본 발명의 일 실시 형태를 설명하는 블록도이다.
도2 는 DV 데이터의 기록 매체의 1 트랙분의 기록 포맷과, 비디오 영역의 구조의 일 예를 나타내는 도면이다.
도3 은 DV 데이터의 전송시의 DIF 시퀀스(sequence)의 구조를 나타내는 도면이다.
도4 는 DIF 시퀀스의 구조의 일 예를 나타내는 도면이다.
도5 는 기록 매체의 1 트랙내의 VAUX의 구조를 나타내는 도면이다.
도6 은 1 프레임분 10 트랙의 예비 영역내의 VAUX 팩 영역의 구조의 일 예를 나타내는 도면이다.
도7 은 1 트랙 내의 서브 코드(SUB CODE)의 구조를 나타내는 도면이다.
도8 은 1 프레임 내의 서브 코드의 구조를 나타내는 도면이다.
도9 는 VAUX 바이너리(BINARY) 그룹에 픽처 타입 정보를 격납하는 예를 나타내는 도면이다.
도10 은 메이커 코드(MAKER CODE)에 이어지는 옵션 팩에 픽처 타입 정보를 격납하는 예를 나타내는 도면이다.
도11 은 최초의 MPEG 스트림과 픽처 타입을 고려하지 않고 재부호화한 MPEG 스트림의 픽처 타입마다의 S/N의 변화를 나타낸 도면이다.
도12 는 최초의 MPEG 스트림과 픽처 타입을 고려하여 재부호화한 MPEG 스트림의 픽처 타입마다의 S/N의 변화를 나타낸 도면이다.
도13 은 본 발명의 일 실시 형태의 구성을 나타내는 제1 상세 블록도이다.
도14 는 본 발명의 일 실시 형태의 동작을 설명하는 제1 플로우 차트이다.
도15 는 본 발명의 일 실시 형태의 동작을 설명하는 제2 플로우 차트이다.
도16 은 본 발명의 일 실시 형태의 동작을 설명하는 제3 플로우 차트이다.
도17 은 본 발명의 일 실시 형태의 동작을 설명하는 제4 플로우 차트이다.
도18 은 본 발명의 일 실시 형태의 구성을 나타내는 제2 상세 블록도이다.
도19 는 본 발명의 일 실시 형태의 동작을 설명하는 제5 플로우 차트이다.
도20 은 본 발명의 일 실시 형태의 동작을 설명하는 제6 플로우 차트이다.
도21 은 본 발명의 일 실시 형태의 동작을 설명하는 제7 플로우 차트이다.
(도면의 주요 부분에 대한 부호의 설명)
11 : MPEG 복호부
12 : 팩 정보 생성부
13 : DV 부호화부
14 : 기록 매체
15 : DV 복호부
16 : 팩 정보 추출부
17 : MPEG 부호화부
18 : 기록 제어부
19 : 재생 제어부
20 : 디지털 I/F부
21 : MPEG-DV 부호화 장치
22 : DV-MPEG 부호화 장치

Claims (10)

  1. 동화상 데이터가 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 수단과,
    상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상이, 상기 제1 화상내 부호화를 이용하여 부호화된 화상을 복호한 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 화상을 복호한 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 상기 각 화상마다 생성하는 생성 수단과,
    상기 복호 동화상 데이터를, 제2 화상내 부호화를 이용하는 제2 부호화 방식으로 부호화하여 제2 스트림을 생성함과 함께, 부호화한 상기 복호 동화상 데이터의 각 화상마다 관련지어 상기 제2 스트림 중에 보조 정보 영역을 생성하고, 이 보조 정보 영역에 상기 각 화상마다의 상기 픽처 타입 정보를 삽입하는 부호화 수단
    을 포함하며,
    상기 보조 정보 영역은, 데이터량을 늘릴 필요없이 제2 부호화 방식의 규격상 이용가능한 영역이며, 기록하는 데이터의 종류가 결정되어 있지 않은 예비 영역이며,
    상기 생성 수단은, 상기 픽처 타입 정보를, 상기 제1 스트림 중의 각 화상마다 관련지어진 부가 정보로부터 취득하는 것을 특징으로 하는 동화상 부호화 장치.
  2. 삭제
  3. 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 수단으로서, 상기 제1 스트림은 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인, 복호 수단과,
    상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 수단과,
    상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라 상기 제1 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 수단
    을 포함하며,
    상기 보조 정보 영역은, 데이터량을 늘릴 필요없이 제2 부호화 방식의 규격상 이용가능한 영역이며, 기록하는 데이터의 종류가 결정되어 있지 않은 예비 영역인 것을 특징으로 하는 동화상 부호화 장치.
  4. 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 수단으로서, 상기 제1 스트림은 제1 화상내 부호화 및 제1 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인, 복호 수단과,
    상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 제1 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 수단과,
    상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라, 제3 화상내 부호화 및 제2 화상간 부호화를 이용하는, 상기 제1 부호화 방식과는 다른 제3 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 수단
    을 포함하며,
    상기 보조 정보 영역은, 데이터량을 늘릴 필요없이 제2 부호화 방식의 규격상 이용가능한 영역이며, 기록하는 데이터의 종류가 결정되어 있지 않은 예비 영역인 것을 특징으로 하는 동화상 부호화 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 부호화 수단은, 상기 복호 동화상 데이터를 부호화할 때에, 이 복호 동화상 데이터의 각 화상에 대하여, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따른 부호화를 행할 수 있는지 없는지를 판단하여, 행할 수 없다고 판단된 화상에 대해서는, 상기 제1 픽처 타입에 의한 부호화를 행하는 것을 특징으로 하는 동화상 부호화 장치.
  6. 동화상 데이터가 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 스트림인 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 스텝과,
    상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상이, 상기 제1 화상내 부호화를 이용하여 부호화된 화상을 복호한 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 화상을 복호한 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 상기 각 화상마다 생성하는 생성 스텝과,
    상기 복호 동화상 데이터를, 제2 화상내 부호화를 이용하는 제2 부호화 방식으로 부호화하여 제2 스트림을 생성함과 함께, 부호화한 상기 복호 동화상 데이터의 각 화상마다 관련지어 상기 제2 스트림 중에 보조 정보 영역을 생성하고, 이 보조 정보 영역에 상기 각 화상마다의 상기 픽처 타입 정보를 삽입하는 부호화 스텝
    을 포함하며,
    상기 보조 정보 영역은, 데이터량을 늘릴 필요없이 제2 부호화 방식의 규격상 이용가능한 영역이며, 기록하는 데이터의 종류가 결정되어 있지 않은 예비 영역이며,
    상기 생성 스텝은, 상기 픽처 타입 정보를, 상기 제1 스트림 중의 각 화상마다 관련지어진 부가 정보로부터 취득하는 것을 특징으로 하는 동화상 부호화 방법.
  7. 삭제
  8. 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 스텝으로서, 상기 제1 스트림은 제1 화상내 부호화 및 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인, 복호 스텝과,
    상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 스텝과,
    상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라 상기 제1 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 스텝
    을 포함하며,
    상기 보조 정보 영역은, 데이터량을 늘릴 필요없이 제2 부호화 방식의 규격상 이용가능한 영역이며, 기록하는 데이터의 종류가 결정되어 있지 않은 예비 영역인 것을 특징으로 하는 동화상 부호화 방법.
  9. 제1 스트림을 복호하여 복호 동화상 데이터를 생성하는 복호 스텝으로서, 상기 제1 스트림은 제1 화상내 부호화 및 제1 화상간 부호화를 이용하는 제1 부호화 방식으로 부호화된 동화상 데이터가 복호된 후에, 제2 화상내 부호화를 이용하는 제2 부호화 방식을 이용하여 부호화된 스트림인, 복호 스텝과,
    상기 복호 동화상 데이터를 구성하는 프레임 또는 필드인 각 화상마다 관련지어져 상기 제1 스트림 중에 존재하는 보조 정보 영역에 미리 삽입되어 있는 정보인, 상기 각 화상이 상기 제1 부호화 방식에 있어서의 상기 제1 화상내 부호화를 이용하여 부호화된 제1 픽처 타입의 화상인 것인지 또는 상기 제1 화상간 부호화를 이용하여 부호화된 제2 픽처 타입의 화상인 것인지를 나타내는 픽처 타입 정보를 취득하는 취득 스텝과,
    상기 복호 동화상 데이터를, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따라, 제3 화상내 부호화 및 제2 화상간 부호화를 이용하는, 상기 제1 부호화 방식과는 다른 제3 부호화 방식에 의해 부호화하여, 제2 스트림을 생성하는 부호화 스텝
    을 포함하며,
    상기 보조 정보 영역은, 데이터량을 늘릴 필요없이 제2 부호화 방식의 규격상 이용가능한 영역이며, 기록하는 데이터의 종류가 결정되어 있지 않은 예비 영역인 것을 특징으로 하는 동화상 부호화 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 부호화 스텝은, 상기 복호 동화상 데이터를 부호화할 때에, 이 복호 동화상 데이터의 각 화상에 대하여, 상기 픽처 타입 정보가 나타내는 픽처 타입에 따른 부호화를 행할 수 있는지 없는지를 판단하여, 행할 수 없다고 판단된 화상에 대해서는, 상기 제1 픽처 타입에 의한 부호화를 행하는 것을 특징으로 하는 동화상 부호화 방법.
KR20070076894A 2006-09-25 2007-07-31 동화상 부호화 장치 및 동화상 부호화 방법 KR100927180B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00258235 2006-09-25
JP2006258235 2006-09-25
JPJP-P-2007-00171971 2007-06-29
JP2007171971A JP2008109624A (ja) 2006-09-25 2007-06-29 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
KR20080028267A KR20080028267A (ko) 2008-03-31
KR100927180B1 true KR100927180B1 (ko) 2009-11-18

Family

ID=39414845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070076894A KR100927180B1 (ko) 2006-09-25 2007-07-31 동화상 부호화 장치 및 동화상 부호화 방법

Country Status (3)

Country Link
US (1) US20080260026A1 (ko)
JP (1) JP2008109624A (ko)
KR (1) KR100927180B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120047535A1 (en) * 2009-12-31 2012-02-23 Broadcom Corporation Streaming transcoder with adaptive upstream & downstream transcode coordination
US9353269B2 (en) 2013-03-15 2016-05-31 American Sterilizer Company Reactive surface coating having chemical decontamination and biocidal properties
CN106489270B (zh) * 2014-07-01 2020-03-03 索尼公司 信息处理装置和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030061789A (ko) * 2001-06-30 2003-07-22 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 트랜스코딩 방법 및 장치
KR20060093743A (ko) * 2005-02-22 2006-08-25 엘지전자 주식회사 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715009A (en) * 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
JP3676525B2 (ja) * 1996-10-30 2005-07-27 日本ビクター株式会社 動画像符号化復号化装置及びその方法
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
JP2001218156A (ja) * 2000-01-31 2001-08-10 Matsushita Electric Ind Co Ltd 画像記録再生装置
JP2001257597A (ja) * 2000-03-13 2001-09-21 Matsushita Electric Ind Co Ltd データ受信装置およびデータ送信装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030061789A (ko) * 2001-06-30 2003-07-22 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 트랜스코딩 방법 및 장치
KR20060093743A (ko) * 2005-02-22 2006-08-25 엘지전자 주식회사 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ

Also Published As

Publication number Publication date
JP2008109624A (ja) 2008-05-08
KR20080028267A (ko) 2008-03-31
US20080260026A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
US8238382B2 (en) Method and apparatus for generating information signal to be recorded
EP0590974B1 (en) Coded video data editing apparatus and edited coded video data decoding apparatus
JP4769717B2 (ja) 画像復号化方法
US8260122B2 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
EP0734159B1 (en) Video signal editing device
US20050047501A1 (en) Transcoder and imaging apparatus for converting an encoding system of video signal
KR100927180B1 (ko) 동화상 부호화 장치 및 동화상 부호화 방법
JP3182329B2 (ja) 符号化データ編集装置とデータ復号装置
JP3253530B2 (ja) 動画像記録装置
JP3918332B2 (ja) 多重化装置、多重化方法及び記録媒体
JPH08289247A (ja) ディジタル信号記録再生装置
US20060153538A1 (en) Image data processing device and method
JP4736918B2 (ja) デジタル再生装置または再生プログラム
JP2004048103A (ja) 画像データ処理装置及び方法
JP4614895B2 (ja) トランスコーダ及びトランスコード方法
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4378232B2 (ja) データ伝送装置及びデータ伝送方法
CN101155308A (zh) 动态图像编码装置及动态图像编码方法
JP3383810B2 (ja) ディジタル記録再生装置およびディジタル再生装置
JP2004048104A (ja) 画像データ処理装置及び方法
KR20030022898A (ko) 화상 기록 장치 및 방법
JP2006129338A (ja) 映像記録再生装置及び記録媒体
JP2009071427A (ja) 画像処理装置、この画像処理装置の制御方法、及び、プログラム
JP2000152174A (ja) 画像データ処理装置および方法、並びに画像データ記録装置
JP2003259305A (ja) 動画像符号化方法、動画像符号化装置、及び、動画像復号化システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee