KR20070029072A - 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체 - Google Patents

동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20070029072A
KR20070029072A KR20060086048A KR20060086048A KR20070029072A KR 20070029072 A KR20070029072 A KR 20070029072A KR 20060086048 A KR20060086048 A KR 20060086048A KR 20060086048 A KR20060086048 A KR 20060086048A KR 20070029072 A KR20070029072 A KR 20070029072A
Authority
KR
South Korea
Prior art keywords
encoding
information
unit
difficulty
bit rate
Prior art date
Application number
KR20060086048A
Other languages
English (en)
Inventor
타다히토 코이즈미
마사시 오타
마사미 토미타
히로마사 나가누마
키요시 이케다
타카시 카리모토
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070029072A publication Critical patent/KR20070029072A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

과제
부호화 난이도의 계산에 필요한 정보를 취득하는 회로의 규모 축소 및 고속화를 도모할 수 있는 동화상 신호의 부호화 장치를 제공한다.
해결 수단
1패스째에, 입력 디지털 스트림 신호를 대용량 스토리지 디바이스(13)에 기록하는 한편, 그 디지털 스트림 신호로부터 프레임마다 부호화 난이도를 계산하기 위해 필요한 정보를 생성하여 부호화 난이도 정보를 작성하고, 대용량 스토리지 디바이스(13)에 기록한다. 2패스째에, 대용량 스토리지 디바이스(13)로부터 디지털 스트림 신호와 프레임마다 부호화 난이도 정보를 판독하고, 디지털 스트림 신호를 복호하는 한편, 부호화 난이도 정보를 기초로 그 프레임의 부호화에 할당하는 비트 레이트를 계산하고, 복호화된 신호를 계산된 비트 레이트에 따라 부호화한다.
동영상, 부호화, 복호화

Description

동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및 컴퓨터 판독 가능한 기록 매체{MOVING PICTURE SIGNAL ENCODING APPARATUS, MOVING PICTURE SIGNAL ENCODING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM}
도 1은 본 발명의 제 1의 실시 형태에 관한 동화상 신호의 부호화 장치의 구성을 도시하는 블록도.
도 2는 도 1의 동화상 신호의 부호화 장치의 2패스 가변 비트 레이트 부호화 동작을 도시하는 순서도.
도 3은 MPEG-2의 트랜스포트 스트림의 구성을 도시하는 도면.
도 4는 본 발명의 제 2의 실시 형태에 관한 동화상 신호의 부호화 장치의 구성을 도시하는 블록도.
도 5는 도 4의 동화상 신호의 부호화 장치의 2패스 가변 비트 레이트 부호화 동작을 도시하는 순서도.
도 6은 간이 AV 디코더·인코더에 의한 간이화된 복호화의 예를 도시하는 도면.
도 7은 간이 AV 디코더·인코더에 의한 간이화된 복호화의 다른 예를 도시하는 도면.
(도면의 주요 부분에 대한 부호의 설명)
1 : 디지털 방송 튜너 2 : 네트워크 인터페이스
3 : 대용량 스토리지 인터페이스 4 : 셀렉터
5 : 스트림 해석부 6 : 부호화 난이도 계산부
7 : 버퍼 컨트롤러 8 : 디멀티플렉서
9 : AV 디코더 10 : AV 인코더
11 : 비트 레이트 계산부 12 : 멀티플렉서
13 : 대용량 스토리지 장치 14 : 드라이브
16 : 기록 매체 21 : 간이 AV 디코더·인코더
22 : 특징점 해석부
100, 200 : 동화상 신호의 부호화 장치
기술 분야
본 발명은, MPEG-2(Moving Picture Experts Group phase 2) 스트림 신호 등의 동화상 신호를 가변 비트 레이트 방식으로 기록하는 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
배경 기술
MPEG-2 인코드의 방식에는 대별하면 CBR(Constant Bit Rate)과, VBR(Variable Bit Rate)이 있다. CBR은 고정 비트 레이트 방식이라고 불리고, 화상의 내용에 관계없이, 일정한 전송 레이트로 인코드하여 가는 방식이고, VBR은 가변 비트 레이트 방식이라고 불리고, 고정밀 화상이나 변화가 큰 화상에는 보다 많은 비트 수를 할당하고, 역으로 변화가 적은 영상에는 비트 수를 적게 할당함으로써, 한정된 비트 수를 효율적으로 사용함과 함께 일정한 화질을 유지하도록 하는 방식이다. 이와 같은 VBR에서는, 단위 시간 예를 들면 프레임마다 화상의 복잡함을, 그 프레임의 부호화 난이도로서 정량화하고, 이 부호화 난이도에 응하여, 그 프레임에의 비트 레이트(비트량)의 할당을 최적화하고 있다.
VBR에는, 1패스째의 부호화 처리로 영상의 복잡함을 해석하고, 프레임마다 부호화 난이도를 구하여 기록하여 두고, 2패스째의 부호화 처리에서, 상기한 부호화 난이도의 정보를 기초로 하여 개개의 프레임에 할당하는 비트 레이트를 조절하는 2패스 VBR과, 1패스의 부호화 처리로 상기한 영상의 복잡함을 해석, 부호화 난이도의 산출, 비트 레이트의 조절을 행하는 1패스 VBR이 있다.
2패스 VBR은, 1패스째에 스트림 전체를 해석하여 프레임마다 부호화 난이도를 얻을 수 있기 때문에, 한정된 디스크 용량 중에서 최적의 비트 레이트의 할당을 행할 수 있고, 또한, 설정된 평균 비트 레이트가 되도록 각 프레임에 할당하는 비트 레이트를 조절할 수 있다. 이 때문에, 비디오 및 오디오의 디지털 스트림을 DVD 디스크 등의 용량 제한이 엄격한 기록 매체에 기록할 때의 MPEG-2 인코드에는 2패스 VBR이 이용되는 것이 보통이다(예를 들면, 특허문헌1 등).
이 2패스 VBR에서는, 1패스째에, 입력된 디지털 스트림 신호를 그대로 기록 부에 기록함과 함께, 부호화 난이도의 계산에 필요한 정보를 생성하기 위해 마련된 각각 전용의 디코더와 인코더에서 복호화에 계속해서 부호화를 행한다. 이 인코더에 의한 부호화할 때에 생성된 정보를 기초로 프레임마다 부호화 난이도가 산출되고, 기록된 디지털 스트림 신호의 각 프레임과 대응시켜서 기록된다. 2패스째의 부호화 처리에서는, 기록되어 있는 부호화 난이도를 디지털 스트림 신호와 함께 판독하여, 부호화 난이도로부터, 대응하는 프레임에 할당하여야 할 최적의 비트 레이트를 계산한다. 그리고 기록 패스의 디코더에서 복호화된 비디오 신호 및 오디오 신호를 부호화할 때에, 상기한 계산된 비트 레이트에 따라 부호화가 행하여진다.
특허문헌1 : 일본 특개2005-064790호 공보
그러나, 이러한 종래의 구성에서는, 기록 패스용의 디코더와 인코더와는 별도로, 부호화 난이도의 계산에 필요한 정보를 생성하는, 각각 전용의 디코더와 인코더가 필요하다. 이 때문에 시스템 전체의 규모가 커지고 비용이 높아진다는 문제가 있다. 또한, 상기한 디코더와 인코더의 성능이 병목화(bottleneck) 되어 처리의 고속화의 장애가 될 우려도 있다. 또한, 2패스째(재인코드용)의 디코더와 인코더를 공유(share)하여 이용하는 경우도 고려된다. 그러나, 그 경우는, 세트의 동시 동작의 기능이 제한되는 것이 단점이다. 예를 들면, 1패스째의 다이렉트 기록을 행하고 있을 때 재인코드용의 디코더와 인코더를 부호화 난이도 취득을 위해 사용하여 버리기 때문에, HDD로부터 DVD에의 재인코드 더빙을 동시에 실행할 수 없다는 문제가 있다.
본 발명은, 이러한 실정을 감안하여, 부호화 난이도의 계산에 필요한 정보를 취득하는 회로의 규모 축소 및 2패스 가변 비트 레이트 방식의 부호화 처리의 고속화를 도모할 수 있는 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및 컴퓨터 판독 가능한 기록 매체를 제공하고자 하는 것이다.
상기한 과제를 해결하기 위해, 본 발명의 동화상 신호의 부호화 장치는, 입력 동화상 신호를 2패스 가변 비트 레이트 방식에 의해 부호화 처리하는 장치에 있어서, 입력 동화상 신호를 해석하여 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하는 스트림 해석부와, 스트림 해석부에 의해 생성된 정보에 의거하여 단위 시간마다 부호화 난이도를 계산하는 부호화 난이도 계산부와, 입력 동화상 신호와 상기 계산된 단위 시간마다 부호화 난이도 정보를 대응시켜 기록하는 기록부와, 기록부에 기록된 동화상 신호를 입력하여 복호화하는 복호화부와, 기록부에 기록된 단위 시간마다 부호화 난이도 정보에 의거하여 2패스째의 부호화에 할당하는 비트 레이트를 계산하는 비트 레이트 계산부와, 복호화부에 의해 복호화된 신호에 관해 비트 레이트 계산부에 의해 계산된 비트 레이트에 따라 2패스째의 부호화를 행하는 부호화부를 구비하는 것을 특징으로 한다.
본 발명에서는, 스트림 해석부에서, 입력 동화상 신호를 해석하여 부호화 난이도를 계산하기 위해 필요한 정보를 직접 취득하도록 구성함으로써, 입력 동화상 신호를 복호화하고 나서 부호화하여 이 부호화할 때의 정보를 부호화 난이도를 계산하기 위한 정보로서 취출하는 AV 디코더 및 AV 인코더가 불필요해진다. 스트림 해석부는 AV 디코더 및 AV 인코더에 비하여 회로 규모가 작아도 되고, 따라서 저비용화와 고속화를 도모할 수 있다.
또한, 본 발명의 동화상 신호의 부호화 장치에 있어서, 스트림 해석부는, 적어도, MPEG-2로 부호화된 디지털 스트림 신호인 입력 동화상 신호의 헤더 정보를 해석하여 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하는 것이라도 좋다. 또한, 입력 동화상 신호의 데이터 정보를 해석하여 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하여도 좋다.
MPEG-2로 부호화된 디지털 스트림 신호의 헤더 정보에는 부호화 난이도를 계산하기 위한 지표가 되는 정보가 포함되어 있기 때문에, 이 정보를 기초로 부호화 난이도를 정밀도 좋게 산출할 수 있다.
또한, 본 발명의 동화상 신호의 부호화 장치는, 입력 동화상 신호를 간이하게 복호화하고, 이 복호화된 신호의 1패스째의 부호화를 행하는 간이 복호·부호화부와, 간이 복호·부호화부에 의한 부호화시의 정보를 기초로 화상의 특징점을 해석하여 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하는 특징점 해석부를 또한 구비하고, 부호화 난이도 계산부는, 스트림 해석부에 의해 생성된 정보와 특징점 해석부에 의해 생성된 정보에 의거하여 단위 시간마다 부호화 난이도를 계산하는 것으로 하여도 좋다.
본 발명에서는, 부호화 난이도 계산부에서, 스트림 해석부에서 생성된 정보에 더하여 특징점 해석부에서 생성된 정보를 기초로 부호화 난이도를 계산하기 때문에, 부호화 난이도를 계산함에 있어서의 정보량이 증대하여, 부호화 난이도 정보 의 정밀도 향상을 기대할 수 있다.
또한, 간이 복호·부호화부는, 화상의 화소수를 줄이는 변환 회로와, 이 변환 회로에 의해 화소수를 줄인 화상을 대상으로 복호화를 행하는 복호화 회로를 포함하는 구성으로 하여도 좋다. 원래의 화상과 화소수를 줄인 화상과의 사이에서는 특징점 해석부에 의한 특징점의 해석 결과에 큰 차가 나타나는 것은 아니다. 따라서 화소수를 줄인 화상이 복호화의 대상이 됨으로써, 복호화한 데이터를 1차 보존하여 두기 위한 메모리 용량의 저감이나 메모리 대역(帶域)의 저감, 나아가서는 복호화 자체의 처리량 저감에 의한 회로 규모의 축소나, 회로 규모의 축소에 의한 회로의 고속화 등을 도모할 수 있다.
발명을 실시하기 위한 최선의 형태
이하, 본 발명의 실시의 형태에 관해 도면을 참조하면서 설명한다.
(제 1의 실시 형태)
도 1은 본 발명의 제 1의 실시 형태에 관한 동화상 신호의 부호화 장치의 구성을 도시하는 블록도이다.
동 도면에 도시하는 바와 같이, 이 제 1의 실시 형태에 관한 동화상 신호의 부호화 장치(100)는, 디지털 방송 튜너(1), 네트워크 인터페이스(2), 대용량 스토리지 인터페이스(3), 셀렉터(4), 스트림 해석부(5), 부호화 난이도 계산부(6), 버퍼 컨트롤러(7), 디멀티플렉서(8), AV(Audio/Video) 디코더(9), AV 인코더(10), 비트 레이트 계산부(11), 멀티플렉서(12), 대용량 스토리지 디바이스(13), 드라이브(14), CPU(Central Processing Unit)(15) 등을 구비하고 있다.
디지털 방송 튜너(1), 네트워크 인터페이스(2), 및 대용량 스토리지 인터페이스(3)는, MPEG-2로 부호화된 디지털 스트림 신호(동화상 신호)를 입력하기 위한 수단이다. 디지털 방송 튜너(1)는, 구체적으로는 BS 디지털 방송 튜너, CS 디지털 방송 튜너, 지상파 디지털 방송 튜너 등이고, 디지털 방송을 선국하여 수신한다. 네트워크 인터페이스(2)는 네트워크와의 접속을 행하기 위한 인터페이스이고, 네트워크에 송신 가능한 상태에서 축적된 디지털 스트림 신호의 다운로드 등을 위해 이용된다. 이 네트워크 인터페이스(2)는, 구체적으로는 이서넷(등록상표) 인터페이스, 무선 LAN(Local Area Network) 인터페이스 등이다. 대용량 스토리지 인터페이스(3)는, 데이터를 격납하는 각종 스토리지 디바이스로부터 디지털 스트림 신호를 판독하여 입력하기 위한 인터페이스이고, 구체적으로는, IEEE(the Institute of Electrical and Electronic Engineers)1394 인터페이스, USB(Universal Serial Bus) 인터페이스 등이다.
셀렉터(4)는, 디지털 방송 튜너(1), 네트워크 인터페이스(2), 대용량 스토리지 인터페이스(3)의 어느 하나로부터 입력되는 디지털 스트림 신호를 CPU(15)로부터의 제어 신호에 의거하여 선택하는 수단이다.
스트림 해석부(5)는, 1패스째에 셀렉터(4)로부터 입력된 디지털 스트림 신호를 해석하여, 단위 시간 예를 들면 프레임마다 부호화 난이도의 계산에 필요한 정보(부호화 난이도 정보 산출 변수)를 생성하기 위한 수단이다.
부호화 난이도 계산부(6)는, 스트림 해석부(5)에 의해 생성된 부호화 난이도 정보 산출 변수에 의거하여 프레임마다 부호화 난이도를 계산하기 위한 수단이다.
버퍼 컨트롤러(7)는, 각 부분 사이에서의 디지털 스트림 신호나 부호화 난이도 정보의 수수를 제어하는 수단이다.
디멀티플렉서(8)는, 2패스째에 버퍼 컨트롤러(7)로부터 입력된 디지털 스트림 신호를 디지털 비디오 스트림과 디지털 오디오 스트림으로 분리하여 AV 디코더(9)에 공급하는 수단이다.
AV 디코더(9)는, 디멀티플렉서(8)를 통하여 입력된 디지털 비디오 스트림과 디지털 오디오 스트림을 각각 복호화하는 수단이다.
AV 인코더(10)는, AV 디코더(9)에 의해 복호화된 비디오 신호 및 오디오 신호를 비트 레이트 계산부(11)로부터 주어진 비트 레이트에 따라 2패스째의 부호화를 행하는 수단이다. 또한, AV 인코더(10)에 주는 변수는 반드시 비트 레이트로 한정되지 않고, AV 인코더의 사양에 의존한다.
비트 레이트 계산부(11)는, 1패스째에서 작성된 부호화 난이도 정보를 기초로, 대응하는 프레임의 부호화에 할당하는 비트 레이트를 계산하여 AV 인코더(10)에 공급하는 수단이다.
멀티플렉서(12)는, AV 인코더(10)로부터 입력된 디지털 비디오 스트림 및 디지털 오디오 스트림을 다중화하여 버퍼 컨트롤러(7)에 출력하는 수단이다.
대용량 스토리지 디바이스(13)는, 데이터를 격납하는 각종 스토리지 디바이스로서, 예를 들면, 1패스째에 입력된 디지털 스트림 신호와, 스트림 해석부(5) 및 부호화 난이도 계산부(6)의 계(系)에서 생성된 부호화 난이도 정보 등의 기록 및 판독이나, 2패스째에 가변 비트 레이트로 부호화된 디지털 스트림 신호의 기록 및 판독을 행하는 디바이스이다.
드라이브(14)는, DVD(Digital Versatile Disc) 등의 기록 매체(16)의 착탈이 가능하게 되고, 이 장착된 기록 매체(16)에 대해 예를 들면, 1패스째에 입력된 디지털 스트림 신호와, 스트림 해석부(5) 및 부호화 난이도 계산부(6)의 계에서 생성된 부호화 난이도 정보 등의 기록 및 판독이나, 2패스째에 가변 비트 레이트로 부호화된 디지털 스트림 신호의 기록 및 판독을 행하는 장치이다.
CPU(15)는, 동화상 신호의 부호화 장치(100)의 각 부분을 통괄적으로 제어하는 장치이다.
다음에, 이 제 1의 실시 형태에 관한 동화상 신호의 부호화 장치(100)의 동작을 설명한다.
이 동화상 신호의 부호화 장치(100)에서는, 1패스째에, 입력 디지털 스트림 신호를 그대로 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)를 통하여 기록 매체(16)에 기록하는 한편, 그 디지털 스트림 신호로부터 프레임마다 부호화 난이도를 계산하기 위해 필요한 정보를 생성하여 프레임마다 부호화 난이도 정보를 작성하고, 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)를 통하여 기록 매체(16)에 기록한다. 2패스째에, 대용량 스토리지 디바이스(13)로부터, 또는 드라이브(14)의 기록 매체(16)로부터 디지털 스트림 신호와 프레임마다 부호화 난이도 정보를 판독하고, 디지털 스트림 신호를 복호하는 한편, 부호화 난이도 정보를 기초로 그 프레임의 부호화에 할당하는 비트 레이트를 계산하고, 이 비트 레이트에 따라, 복호화된 신호를 부호화하고, 대용량 스토리지 디바이스(13)에, 또는 드라이 브(14)를 통하여 기록 매체(16)에 기록한다. 이하에 이 동작의 상세를 설명한다.
도 2는 이 동화상 신호의 부호화 장치(100)의 2패스 가변 비트 레이트 부호화 동작의 흐름을 도시하는 순서도이다.
(1.1) 1패스째의 동작
CPU(15)는, 디지털 방송 튜너(1), 네트워크 인터페이스(2), 또는 대용량 스토리지 인터페이스(3)의 어느 1계통으로부터의 디지털 스트림 신호를 셀렉터(4)에서 선택한다(스텝 S201). 셀렉터(4)에 의해 선택된 디지털 스트림 신호는 버퍼 컨트롤러(7)와 스트림 해석부(5)에 각각 출력된다. 버퍼 컨트롤러(7)는 셀렉터(4)로부터 입력된 동화상 신호인 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 출력한다. 입력된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)의 어느 것에 출력하는지는 유저에 의한 설정 또는 실장(實裝)에 의존한다. 이로써, 입력된 디지털 스트림 신호 그대로가 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)에 장착된 기록 매체(16)에 기록된다(스텝 S202).
스트림 해석부(5)는, 셀렉터(4)로부터 입력된 디지털 스트림 신호중 헤더 정보, 데이터 정보로부터 프레임마다 부호화 난이도를 계산하기 위해 필요한 정보를 생성하고(스텝 S203), 그 정보를 부호화 난이도 계산부(6)에 출력한다. 부호화 난이도 계산부(6)는, 스트림 해석부(5)로부터 입력된 정보를 기초로 프레임마다 부호화 난이도를 계산 또는 판별하고(스텝 S204), 버퍼 컨트롤러(7)에 부호화 난이도 정보를 출력한다. 부호화 난이도 정보는 값이나 플래그의 집합체이다.
버퍼 컨트롤러(7)는 부호화 난이도 계산부(6)로부터 입력된 부호화 난이도 정보를 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 출력한다. 부호화 난이도 정보를 대용량 스토리지 디바이스(13) 또는 드라이브(14)의 어느 것에 출력하는지는 유저에 의한 설정 또는 실장에 의존한다. 단, 부호화 난이도 정보와 스트림을 동일 매체에 기록하여야 한다는 제약은 없다. 이로써 부호화 난이도 정보가 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)에 장착된 기록 매체(16)에 기록된다(스텝 S205). 이때, 부호화 난이도 정보는 디지털 스트림 신호의 단위 시간마다(프레임)의 정보이기 때문에, 디지털 스트림 신호와 부호화 난이도 정보는 쌍방의 대응 관계를 알 수 있는 형식으로 기록된다.
(1.2) 스트림 해석부(5)의 상세
스트림 해석부(5)는, 입력된 디지털 스트림 신호의 헤더 정보, 데이터 정보를 해석하여 부호화 난이도를 계산하기 위해 필요한 정보(부호화 난이도 정보 산출 변수)를 생성한다. 부호화 난이도 정보 산출 변수로서는, 양자화 스케일, 비디오의 액세스 유닛(AU) 사이즈, DCT(이산 코사인 변환)의 DC(직류) 계수 등이 고려된다. 그 밖에도, 부호화 난이도를 계산하기 위한 지표가 되는 정보로서, 디지털 스트림 신호 그 자체를 해석하여 얻어지는 것이라면 무엇이라도 좋다. 또한, 결정된 1종류의 부호화 난이도 정보 산출 변수를 부호화 난이도를 계산하기 위해 필요한 정보로서 생성하여도, 복수종류의 부호화 난이도 정보 산출 변수를 생성하도록 하여도 좋다.
일례로서, 비디오의 액세스 유닛(AU) 사이즈의 정보의 생성에 관해 설명한 다. 도 3은 MPEG-2의 트랜스포트 스트림(TS : Transport Stream)의 구성을 도시하고 있다. 트랜스포트 스트림은 1 이상의 고정 길이(188바이트)의 TS 패킷으로 구성된다. TS 패킷은 TS 패킷 헤더와 TS 페이로드로 구성되고, TS 패킷 헤더에는 그 TS 패킷의 종류별을 나타내는 PID 번호가 정의되어 있다. 영상이나 음성 등의 개별 스트림이 수납된 PES 패킷은, 같은 PID 번호를 갖는 복수의 TS 패킷의 TS 페이로드로 분할하여 전송된다. PES 패킷은 PES 헤더와 PES 페이로드로 구성된다. PES 페이로드는, 1프레임분의 비디오 또는 오디오의 부호화 데이터(액세스 유닛(AU))이다. PES 헤더에는 적어도, PES 페이로드의 부호화 데이터가 비디오인지 오디오인지를 나타내는 ID(Stream ID)와 PES 패킷의 사이즈를 나타내는 정보(PES packet length)가 포함되어 있다.
따라서, 스트림 해석부(5)는, 입력된 디지털 스트림 신호중 PES 헤더를 해석하여 그 속의 ID(Stream ID)를 판독함에 의해, 비디오의 부호화 데이터가 들어간 PES 패킷을 검출하고, 그 PES 패킷의 PES 헤더 내의 PES 패킷 사이즈 정보(PES packet length)를 판독함에 의해, 1프레임분의 액세스 유닛(AU) 사이즈를 알 수 있다.
부호화 난이도 계산부(6)는, 이와 같이 스트림 해석부(5)로부터 취득한 정보를 기초로 부호화 난이도의 산출을 행한다.
또한, MPEG-2 스트림으로부터 얻어지는, 부호화 난이도를 계산하기 위해 필요한 정보는, PES 헤더로부터 뿐만 아니라, 그 밖의 레이어의 헤더 정보 또는 데이터 정보로부터 얻도록 하는 것도 가능하다.
(1.3) 2패스째의 동작
도 2로 되돌아와, CPU(15)는, 1패스째에 대용량 스토리지 디바이스(13) 또는, 드라이브(14)에 의해 기록 매체(16)에 서로 대응시켜서 기록된 디지털 스트림 신호와 부호화 난이도 정보를 버퍼 컨트롤러(7)에 출력하도록 제어한다(스텝 S206). 버퍼 컨트롤러(7)는, 입력된 디지털 스트림 신호를 디멀티플렉서(8)에 출력하는 한편, 입력된 부호화 난이도 정보를 비트 레이트 계산부(11)에 출력한다. 디멀티플렉서(8)는, 버퍼 컨트롤러(7)로부터 입력된 디지털 스트림 신호를 디지털 비디오 스트림과 디지털 오디오 스트림으로 분리하고(스텝 S207), AV 디코더(9)에 출력한다. AV 디코더(9)는 디멀티플렉서(8)로부터 입력된 디지털 비디오 스트림과 디지털 오디오 스트림을 각각 복호화하고(스텝 S208), AV 인코더(10)에 출력한다.
한편, 비트 레이트 계산부(11)는, 미리 CPU(15)로부터 설정된 목표 평균 비트 레이트와 버퍼 컨트롤러(7)로부터 입력된 부호화 난이도 정보로부터 목표 비트 레이트를 산출한다(스텝 S209). 보다 구체적으로는, 트랜스포트 스트림 전체의 프레임 수를 N으로 하여, 각 프레임마다 부호화 난이도 정보의 값의 합계를 구하고, 이 합계치를 N으로 제산(除算)하여 부호화 난이도 정보의 평균치를 구한다. 이 평균치에 CPU(15)로부터 설정된 목표 평균 비트 레이트를 대응시켜, 프레임마다 부호화 난이도 정보와 평균치와의 차분(差分)과 대소 관계로부터 프레임마다 목표 비트 레이트를 산출한다. 즉, 부호화 난이도 정보가 평균치 부호화보다 높은 프레임에는 상기 차분량에 대응한 높은 목표 비트 레이트를 할당하고, 부호화 난이도 정보가 평균치 부호화보다 낮은 프레임에는 상기 차분량에 대응한 낮은 목표 비트 레이트 를 할당한다. 그리고, 산출한 목표 비트 레이트의 정보를 AV 인코더(10)에 출력한다.
AV 인코더(10)는, AV 디코더(9)로부터 입력된 비디오 신호 및 오디오 신호를 비트 레이트 계산부(11)로부터 입력된 목표 비트 레이트의 정보를 이용하여 부호화를 행한다(스텝 S210). 여기에서 AV 인코더(10)에서의 부호화에 의해 결과로서 발생한 비트 레이트의 값은 CPU(15)에 출력되고, CPU(15)에서 목표 비트 레이트와의 차분이 계산되고, 다음회의 비트 레이트 계산에 피드백된다.
AV 인코더(10)에 의해 부호화된 디지털 비디오 스트림 및 디지털 오디오 스트림은 멀티플렉서(12)에 출력된다. 멀티플렉서(12)는 입력된 디지털 비디오 스트림과 오디오 디지털 스트림과의 다중화를 행하고(스텝 S211), 디지털 스트림 신호로서 버퍼 컨트롤러(7)에 출력한다.
버퍼 컨트롤러(7)는, 멀티플렉서(12)로부터 입력된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 출력한다. 가변 비트 레이트로 부호화된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)의 어느 것에 출력하는지는 유저에 의한 설정 또는 실장에 의존한다. 이로써, 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 장착되어 있는 기록 매체(16)에 가변 비트 레이트로 부호화된 디지털 스트림 신호가 기록된다(스텝 S212).
이상과 같이, 본 실시 형태의 동화상 신호의 부호화 장치(100)에 의하면, 스트림 해석부(5)에서, 입력 디지털 스트림 신호를 해석하여 부호화 난이도를 계산하기 위해 필요한 정보를 직접 취득하도록 구성함으로써, 입력 디지털 스트림 신호를 복호화한 후 부호화하고 이 부호화할 때의 정보를 부호화 난이도를 계산하기 위한 정보로서 취출하는 AV 디코더 및 AV 인코더가 불필요하게 된다. 스트림 해석부(5)는 AV 디코더 및 AV 인코더에 비하여 회로 규모가 작아도 되고, 따라서 저비용화와 고속화를 도모하는 것이 가능하다.
또한, 1패스째의 디지털 스트림 신호의 입력은, 디지털 방송 튜너(1) 이외의 네트워크 인터페이스(2)나 대용량 스토리지 인터페이스(3)로부터의 입력도 가능하다. 네트워크 인터페이스(2)나 대용량 스토리지 인터페이스(3)로부터의 입력인 경우, 디지털 방송 튜너(1)의 입력보다 고속의 입력이 가능하다. 이와 같이 디지털 스트림 신호의 고속 입력에 대해, 종래는 부호화 난이도 정보를 취득하는 복호화부나 부호화부의 성능이 병목화 될 우려가 있었지만, 본 실시 형태에서는, 스트림 해석부(5)가 순수한 하드웨어로 구성하는 것이 가능하기 때문에, 고속화를 기대할 수 있다. 또한, 소프트웨어로 본 시스템을 꾸몄다고 하여도 처리의 고속화를 기대할 수 있다.
(제 2의 실시 형태)
도 4는 본 발명의 제 2의 실시 형태인 동화상 신호의 부호화 장치의 구성을 도시하는 블록도이다.
동 도면에 도시하는 바와 같이, 이 동화상 신호의 부호화 장치(200)는, 디지털 방송 튜너(1), 네트워크 인터페이스(2), 대용량 스토리지 인터페이스(3), 셀렉터(4), 스트림 해석부(5), 부호화 난이도 계산부(6), 버퍼 컨트롤러(7), 디멀티플렉서(8), AV(Audio/Video) 디코더(9), AV 인코더(10), 간이 AV 디코더·인코 더(21), 특징점 해석부(22), 비트 레이트 계산부(11), 멀티플렉서(12), 대용량 스토리지 디바이스(13), 드라이브(14), CPU(Central Processing Unit)(15) 등을 구비하고 있다.
즉, 본 실시 형태의 동화상 신호의 부호화 장치(200)는, 제 1의 실시 형태의 동화상 신호의 부호화 장치(100)의 구성에 간이 AV 디코더·인코더(21) 및 특징점 해석부(22)를 부가한 것이다.
이상의 구성에 있어서, 디멀티플렉서(8)는, 1패스째에 버퍼 컨트롤러(7)로부터 입력된 디지털 스트림 신호를 디지털 비디오 스트림과 디지털 오디오 스트림으로 분리하여 간이 AV 디코더·인코더(21)에 공급하고, 2패스째에 버퍼 컨트롤러(7)로부터 입력된 디지털 스트림 신호를 디지털 비디오 스트림과 디지털 오디오 스트림으로 분리하여 AV 디코더(9)에 공급한다.
간이 AV 디코더·인코더(21)는, 디멀티플렉서(8)로부터 입력된 디지털 비디오 스트림 신호와 디지털 오디오 스트림 신호를 각각 간이하게 복호화하고, 또한 복호화한 신호를 예를 들면 고정 비트 레이트로 부호화하고, 이 부호화할 때의 발생 비트량, 양자화 스케일, 움직임 예측(ME) 에러, 씬 전환 정보, 칼라 정보 등, 화상의 복잡함의 지표가 되는 정보를 특징점 해석부(22)에 출력하는 수단이다.
특징점 해석부(22)는, 간이 AV 디코더·인코더(21)로부터 입력된 정보를 기초로 화상의 특징점의 해석을 행하고, 부호화 난이도 계산부(6)에 해석 결과인 부호화 난이도 정보 산출 변수를 출력하는 수단이다. 화상의 특징점에 관해서는 후에 상세히 기술한다.
부호화 난이도 계산부(6)는, 스트림 해석부(5)에 의해 생성된 부호화 난이도 정보 산출 변수와 특징점 해석부(22)로부터 입력된 부호화 난이도 정보 산출 변수를 기초로 단위 시간 예를 들면 프레임마다 부호화 난이도를 계산하고, 버퍼 컨트롤러(7)에 부호화 난이도 정보를 출력하는 수단이다.
다음에, 이 제 2의 실시 형태에 관한 동화상 신호의 부호화 장치(200)의 동작을 설명한다.
도 5는 이 동화상 신호의 부호화 장치(200)의 2패스 가변 비트 레이트 부호화 동작의 흐름을 도시하는 순서도이다.
(2.1) 1패스째의 동작
CPU(15)는, 디지털 방송 튜너(1), 네트워크 인터페이스(2), 또는 대용량 스토리지 인터페이스(3)의 어느 1계통으로부터의 디지털 스트림 신호를 셀렉터(4)에서 선택한다(스텝 S501). 셀렉터(4)에서 선택된 디지털 스트림 신호는, 버퍼 컨트롤러(7)와 스트림 해석부(5)에 각각 출력된다.
버퍼 컨트롤러(7)는 셀렉터(4)로부터 입력된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 출력함과 함께 디멀티플렉서(8)에 출력한다. 입력된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)의 어느 것에 출력하는지는 유저에 의한 설정 또는 실장에 의존한다. 이로써, 디지털 스트림 신호가 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)에 장착된 기록 매체(16)에 기록된다(스텝 S502).
디멀티플렉서(8)는, 버퍼 컨트롤러(7)로부터 입력된 디지털 스트림 신호를 디지털 비디오 스트림과 디지털 오디오 스트림으로 분리하여 간이 AV 디코더·인코더(21)에 출력한다(스텝 S503). 간이 AV 디코더·인코더(21)는, 디멀티플렉서(8)로부터 입력된 디지털 비디오 스트림과 디지털 오디오 스트림을 각각 간이하게 복호화한 후, 예를 들면 고정 비트 레이트로 부호화하고, 이 부호화할 때의 발생 비트량, 양자화 스케일, 움직임 예측(ME) 에러, 씬 전환 정보, 칼라 정보 등, 화상의 복잡함의 지표가 되는 정보를 특징점 해석부(22)에 출력한다(스텝 S504).
특징점 해석부(22)는, 간이 AV 디코더·인코더(21)로부터 입력된 정보를 기초로 화상의 특징점의 해석을 행하고, 부호화 난이도 계산부(6)에 해석 결과인 부호화 난이도 정보 산출 변수를 출력한다(스텝 S505).
한편, 스트림 해석부(5)에서는, 셀렉터(4)로부터 입력된 디지털 스트림 신호중 헤더 정보, 데이터 정보로부터 프레임마다 부호화 난이도를 계산하기 위해 필요한 정보가 생성되고(스텝 S506), 부호화 난이도 계산부(6)에 출력된다.
부호화 난이도 계산부(6)는, 특징점 해석부(22)로부터 입력된 부호화 난이도 정보 산출 변수와 스트림 해석부(5)로부터 입력된 부호화 난이도 정보 산출 변수를 기초로 부호화 난이도를 계산하고(스텝 S507), 계산한 부호화 난이도 정보를 버퍼 컨트롤러(7)에 출력한다.
이 후, 버퍼 컨트롤러(7)에 의해, 부호화 난이도 계산부(6)로부터 입력된 부호화 난이도 정보는 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 출력된다. 부호화 난이도 정보를 대용량 스토리지 디바이스(13) 또는 드라이브(14)의 어느 것에 출력하는지는 유저에 의한 설정 또는 실장에 의존한다. 이로써, 부호화 난이도 정보는 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)에 장착된 기록 매체(16)에 기록된다(스텝 S508). 이때, 부호화 난이도 정보는 프레임마다의 정보이기 때문에, 이미 대용량 스토리지 디바이스(13)에, 또는 드라이브(14)의 기록 매체(16)에 기록되어 있는 디지털 스트림 신호와의 대응 관계를 알 수 있는 형식으로 기록된다.
(2.2) 간이 AV 디코더·인코더(21)에 의한 간이화된 복호화의 상세
간이 AV 디코더·인코더(21)에 의한 간이화된 복호화란, 예를 들면 하프 컨버트 등에 의해 프레임의 수평 방향 또는 수직 방향의 화소수를 1/2로 줄인 화상을 대상으로 복호화를 행하거나, 수평 방향 또는 수직 방향의 화소 사이 차분만을 대상으로 하여 복호화를 행하는 수법이다. 이와 같은 간이화된 복호화는, 복호화한 데이터를 1차 보존해 두기 위한 메모리 용량의 저감이나 메모리 대역의 저감, 나아가서는 복호화 자체의 처리량 저감에 의한 회로 규모의 축소나, 회로 규모의 축소에 의한 회로의 고속화 등의 이점을 가져온다.
또한, 프레임의 화소수를 더욱 저감시켜서 상기한 이점을 증대시키기 위해, 하프 컨버트에 더하여 다운 컨버트를 행하도록 하여도 좋다. 다운 컨버트란 프레임의 화소수를 수평 및 수직의 각각의 방향에서 줄여, 결과적으로 SD(표준 텔레비전) 화상의 화소수(480×640)로 변환하는 처리이다.
도 6은 상기한 하프 컨버트와 다운 컨버트에 의한 화소수의 변환예를 도시하는 도면이다. 이 예는, 입력 화상을 HD(고화질 방송) 화상으로 하고, 그 화소수가 1080×1440인 경우를 나타내고 있다. 이 HD 화상의 수평 방향의 화소수를 하프 컨 버트에 의해 1/2로 줄이는 것에 의해 1080×720의 화상이 생성되고, 다시 다운 컨버트에 의해 480×640의 SD 화상이 생성된다. 즉 하프 컨버트 후의 1080×720의 화소수는, 다운 컨버트에 의해 수평 방향으로 1/1.125, 수직 방향으로 1/2.25로 각각 줄여져 480×640(SD 화상)이 된다.
도 7은 상기한 하프 컨버트와 다운 컨버트에 의한 화소수의 다른 변환예를 도시하는 도면이다. 입력되는 HD 화상의 화소수는 1080×1920이다. 이 HD 화상의 수평 방향의 화소수를 하프 컨버트에 의해 1/2로 줄이는 것에 의해 1080×960의 화상이 생성된다. 이 경우, 최종적으로 수평 방향의 화소수를 640으로 하기 위해, 하프 컨버트 후의 1080×960의 화소수는, 다운 컨버트에 의해 수평 방향으로 1/1.5, 수직 방향으로 1/3.375로 각각 줄인 후, 상하에 더미의 화소(80×640)(71, 72)를 각각 부가하여, 480×640의 SD 화상을 생성한다.
도 6 및 도 7에 도시한 바와 같이, 원래의 HD 화상, 하프 컨버트 후의 화상, 다운 컨버트 후의 SD 화상을 각각 비교하면, 각각의 화상의 특징점에는 큰 차이가 없고, 즉, 하프 컨버트 및 다운 컨버트는 화상의 특징점을 남긴 채 화상수를 저감할 수 있음을 알 수 있다.
그런데, 간이 AV 디코더·인코더(21)에서 하프 컨버트만을 행하도록 하는지, 하프 컨버트와 다운 컨버트의 양쪽을 행하도록 하는지는, 시스템의 사양으로 결정되어 있는 입력 화상이 HD 화상인지 SD 화상인지라는 점과, 간이 AV 디코더·인코더(21)의 성능, 특히 인코더 내부에서 복호된 화상을 해석하는 회로의 성능에 의존한다. 예를 들면, 입력 화상이 SD 화상으로 결정된 사양인 경우에는, 간이 AV 디코 더·인코더(21) 내의 화상 해석 회로의 성능에 의존하는 일 없이 하프 컨버트만을 행하는 실장으로 한다. 또한, 입력 화상이 HD 화상이고, 간이 AV 디코더·인코더(21) 내의 화상 해석 회로의 성능이 HD 화상의 해석을 서포트하고 있다면, 하프 컨버트만을 행하는 실장으로 한다. 또한, 입력 화상이 HD 화상이고, 간이 AV 디코더·인코더(21) 내의 화상 해석 회로의 성능이 SD 화상까지의 해석밖에 서포트하지 않는 경우에는 하프 컨버트와 다운 컨버트를 행하는 실장으로 한다.
(2.3) 특징점 해석부(22)의 상세
특징점 해석부(22)는, 간이 AV 디코더·인코더(21)로부터 입력된 정보를 기초로 화상의 특징점의 해석을 행하고, 부호화 난이도 계산부(6)에 해석 결과인 부호화 난이도 정보 산출 변수를 출력한다. 특징점이란 화상이 특징적인 부위(텔롭, 자막 등)나 색(살색 등), 동작(씬 전환, 페이드 등) 등이다. 이와 같은 특징점의 해석 결과로부터 얻어지는 부호화 난이도 정보 산출 변수로서는, 발생 비트량, 양자화 스케일, 움직임 예측(ME) 에러, 씬 전환 정보, 칼라 정보 등이 있다. 단, 간이 AV 디코더·인코더(21)의 사양에 따라 취득할 수 있는 변수는 달라진다.
(2.4) 부호화 난이도 계산부(6)의 상세
부호화 난이도 계산부(6)에 의해 부호화 난이도 정보 산출 변수로부터 산출되는 부호화 난이도 정보로서는, 액세스 유닛(AU) 사이즈의 값 이외에, 예를 들면, 플러시(Flush) 검출, 크로스 페이드 검출, 씬 전환(scene change) 검출(1), 씬 전환 검출(2), 크로스 페이드 전후 검출, 색도(살색) 검출 등의 플래그 정보가 있다.
플러시 검출의 플래그는, 1GOP(Group Of Picture) 내에 규정 회수 이상의 씬 전환가 발생한 것이 판정된 경우에 유효하게 된다. 크로스 페이드 검출의 플래그는, 과거가 연속하는 소정수의 GOP마다 움직임 예측(ME) 에러의 발생 회수의 비교치가 규정치 이상인 경우에 유효하게 된다. 크로스 페이드란, 페이드 인과 페이드 아웃을 동시에 행하여 다른 영상끼리를 바꾸어 넣는 기능이다. 씬 전환 검출(1)의 플래그는, 씬 전환 정보가 ON이면 유효하게 된다. 씬 전환 검출(2)의 플래그는, 과거의 연속하는 3개의 GOP의 ME 에러의 발생 회수가 현재의 GOP의 ME 에러의 발생 회수의 규정수 배(倍)이며 또한 Q스케일 값이 규정치 이상인 경우에 유효하게 된다. 크로스 페이드 전후 검출의 플래그는, 크로스 페이드 검출 후 또는 씬 전환 검출(2) 후의 GOP에서 유효하게 된다. 색도(살색) 검출의 플래그는, 칼라 정보가 규정수 이상 ON이면 유효하게 된다.
이들의 부호화 난이도 정보는 2패스째의 재부호화시의 비트 레이트 산출에 이용할 뿐만 아니라, 화상의 특징점으로서 편집에도 이용할 수 있다. 예를 들면, 씬 전환 검출 부분에서 자동적으로 챕터 부여를 행하는 등의 응용이 가능하다.
(2.5) 2패스째의 동작
2패스째의 동작은 제 1의 실시 형태와 마찬가지이다. 즉, 도 5로 되돌아와, CPU(15)는, 1패스째에 대용량 스토리지 디바이스(13) 또는, 드라이브(14)에 의해 기록 매체(16)에 기록된 디지털 스트림 신호와 부호화 난이도 정보를 버퍼 컨트롤러(7)에 출력하도록 제어한다(스텝 S509). 버퍼 컨트롤러(7)는, 입력된 디지털 스트림 신호를 디멀티플렉서(8)에 출력하는 한편, 입력된 부호화 난이도 정보를 비트 레이트 계산부(11)에 출력한다. 디멀티플렉서(8)는, 버퍼 컨트롤러(7)로부터 입력 된 디지털 스트림 신호를 디지털 비디오 스트림과 디지털 오디오 스트림으로 분리하고(스텝 S510), AV 디코더(9)에 출력한다. AV 디코더(9)는 디멀티플렉서(8)로부터 입력된 디지털 비디오 스트림과 디지털 오디오 스트림을 각각 복호화하고(스텝 S511), AV 인코더(10)에 출력한다.
한편, 비트 레이트 계산부(11)는, 미리 CPU(15)로부터 설정된 목표 평균 비트 레이트와 버퍼 컨트롤러(7)로부터 입력된 부호화 난이도 정보로부터 목표 비트 레이트를 산출한다(스텝 S512). 보다 구체적으로는, 트랜스포트 스트림 전체의 프레임 수를 N으로 하고, 각 프레임마다 부호화 난이도 정보 값의 합계를 구하고, 이 합계치를 N으로 제산하여 부호화 난이도 정보의 평균치를 구한다. 이 평균치에 CPU(15)로부터 설정된 목표 평균 비트 레이트를 대응시키고, 프레임마다 부호화 난이도 정보와 평균치와의 차분과 대소 관계로부터 프레임마다 목표 비트 레이트를 산출한다. 즉, 부호화 난이도 정보가 평균치 부호화보다 높은 프레임에는 상기 차분량에 대응한 높은 목표 비트 레이트를 할당하고, 부호화 난이도 정보가 평균치 부호화보다 낮은 프레임에는 상기 차분량에 대응한 낮은 목표 비트 레이트를 할당한다. 그리고, 산출한 목표 비트 레이트의 정보를 AV 인코더(10)에 출력한다.
AV 인코더(10)는, AV 디코더(9)로부터 입력된 비디오 신호 및 오디오 신호를 비트 레이트 계산부(11)로부터 입력된 목표 비트 레이트의 정보를 이용하여 부호화를 행한다(스텝 S513). 여기에서 AV 인코더(10)에서의 부호화에 의해 결과로서 발생한 비트 레이트의 값은 CPU(15)에 출력되고, CPU(15)에서 목표 비트 레이트와의 차분이 계산되고, 다음회의 비트 레이트 계산에 피드백된다.
AV 인코더(10)에 의해 부호화된 디지털 비디오 스트림 및 디지털 오디오 스트림은 멀티플렉서(12)에 출력된다. 멀티플렉서(12)는 입력된 디지털 비디오 스트림과 오디오 디지털 스트림의 다중화를 행하고(스텝 S514), 디지털 스트림 신호로서 버퍼 컨트롤러(7)에 출력한다.
버퍼 컨트롤러(7)는, 멀티플렉서(12)로부터 입력된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 출력한다. 가변 비트 레이트로 부호화된 디지털 스트림 신호를 대용량 스토리지 디바이스(13) 또는 드라이브(14)의 어느 것에 출력하는지는 유저에 의한 설정 또는 실장에 의존한다. 이로써, 대용량 스토리지 디바이스(13) 또는 드라이브(14)에 장착되어 있는 기록 매체(16)에 가변 비트 레이트로 부호화된 디지털 스트림 신호가 기록된다(스텝 S515).
이상과 같이, 본 실시 형태의 동화상 신호의 부호화 장치(200)에 의하면, 스트림 해석부(5)에 의한 디지털 스트림 신호의 해석에 의한 부호화 난이도 정보 산출 변수의 생성과, 간이 AV 디코더·인코더(21)와 특징점 해석부(22)에 의한 부호화 난이도 정보 산출 변수의 생성을 동시에 실행하고, 부호화 난이도 계산부(6)에서 각각의 계에서 생성된 부호화 난이도 정보 산출 변수를 기초로 부호화 난이도를 계산한다. 이로써, 부호화 난이도 정보 산출 변수의 증대에 의해, 부호화 난이도 정보의 정밀도나 정보량의 향상을 기대할 수 있다.
또한, 간이 AV 디코더·인코더(21)에, 하프 컨버트, 또는 하프 컨버트와 다운 컨버트에 의해 화소수를 줄인 화상을 대상으로 복호화를 행함으로써, 복호화된 신호를 기억하는 메모리의 용량, 메모리 대역을 저감할 수 있고, 회로 규모의 축소 나 고속화를 실현할 수 있다. 또한, 특징점 해석부(22)는, 특정한 특징점만의 해석을 행하는 로직만으로 구성되기 때문에 회로 규모가 작은 것이라도 되고, 저비용화와 고속화를 도모할 수 있다.
(부호화 난이도 정보를 기록한 컴퓨터 판독 가능한 기록 매체)
제 1의 실시 형태의 동화상 신호의 부호화 장치(100) 또는 제 2의 실시 형태의 동화상 신호의 부호화 장치(200)의 1패스째에 생성된 부호화 난이도 정보는, 부호화 난이도 정보를 생성하는 기능을 갖지 않는 다른 부호화 장치에서, 외부로부터 입력한 디지털 스트림 신호를 2패스 VBR로 부호화할 때의 비트 레이트 계산에 이용하는 것이 가능하다. 그래서, 제 1의 실시 형태의 동화상 신호의 부호화 장치(100) 또는 제 2의 실시 형태의 동화상 신호의 부호화 장치(200)에서 생성된 부호화 난이도 정보를 컴퓨터가 판독 가능한 기록 매체에 기록하고, 이 기록 매체의 유통에 의해 다른 부호화 장치에 부호화 난이도 정보를 전송하도록 하여도 좋다.
이상, 본 발명에 관한 실시 형태를 설명하였지만, 본 발명은, 상술한 실시 형태로만 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위 내에서 여러가지 변경을 가할 수 있음은 물론이다.
예를 들면, 상기한 실시 형태에서는, 스트림 신호로서 MPEG-2 스트림을 취급하는 경우에 관해 설명하였지만, H.264/AVC 스트림도 취급하는 시스템에서도 본 발명은 적용 가능하다.
본 발명에 의하면, 부호화 난이도의 계산에 필요한 정보를 취득하는 회로의 규모 축소 및 2패스 가변 비트 레이트 방식의 부호화 처리의 고속화를 도모할 수 있다.

Claims (6)

  1. 입력 동화상 신호를 2패스 가변 비트 레이트 방식에 의해 부호화 처리하는 장치에 있어서,
    상기 입력 동화상 신호를 해석하여 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하는 스트림 해석부와,
    상기 스트림 해석부에 의해 생성된 정보에 의거하여 단위 시간마다 부호화 난이도를 계산하는 부호화 난이도 계산부와,
    상기 입력 동화상 신호와 상기 계산된 단위 시간마다 부호화 난이도 정보를 대응시켜 기록하는 기록부와,
    상기 기록부에 기록된 동화상 신호를 입력하여 복호화하는 복호화부와,
    상기 기록부에 기록된 상기 단위 시간마다 부호화 난이도 정보에 의거하여 2패스째의 부호화에 할당하는 비트 레이트를 계산하는 비트 레이트 계산부와,
    상기 복호화부에 의해 복호화된 신호에 관해 상기 비트 레이트 계산부에 의해 계산된 비트 레이트에 따라 2패스째의 부호화를 행하는 부호화부를 구비하는 것을 특징으로 하는 동화상 신호의 부호화 장치.
  2. 제 1항에 있어서,
    상기 입력 동화상 신호는 MPEG-2로 부호화된 디지털 스트림 신호이고,
    상기 스트림 해석부는, 적어도, 상기 입력 동화상 신호의 헤더 정보를 해석 하여, 상기 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하는 것을 특징으로 하는 동화상 신호의 부호화 장치.
  3. 제 1항에 있어서,
    입력 동화상 신호를 간이하게 복호화하고, 이 복호화된 신호의 1패스째의 부호화를 행하는 간이 복호·부호화부와,
    상기 간이 복호·부호화부에 의한 부호화시의 정보를 기초로 화상의 특징점을 해석하여 단위 시간마다 부호화 난이도의 계산에 필요한 정보를 생성하는 특징점 해석부를 또한 구비하고,
    상기 부호화 난이도 계산부는, 상기 스트림 해석부에 의해 생성된 정보와 상기 특징점 해석부에 의해 생성된 정보에 의거하여 단위 시간마다 부호화 난이도를 계산하는 것을 특징으로 하는 동화상 신호의 부호화 장치.
  4. 제 3항에 있어서,
    상기 간이 복호·부호화부는, 화상의 화소수를 줄이는 변환 회로와, 이 변환 회로에 의해 화소수를 줄인 화상을 대상으로 복호화를 행하는 복호화 회로를 포함하는 것을 특징으로 하는 동화상 신호의 부호화 장치.
  5. 입력 동화상 신호를 2패스 가변 비트 레이트 방식에 의해 부호화 처리하는 방법에 있어서,
    1패스째, 상기 입력 동화상 신호를 해석하여 단위 시간마다 부호화 난이도를 계산하고, 상기 입력 동화상 신호와 상기 계산된 단위 시간마다 부호화 난이도 정보를 대응시켜 기록부에 기록하고,
    2패스째, 상기 기록부에 기록된 동화상 신호를 복호화하고, 상기 기록부에 기록된 상기 단위 시간마다 부호화 난이도 정보에 의거하여 부호화에 할당하는 비트 레이트를 계산하고, 상기 복호화된 신호를 상기 계산된 비트 레이트에 따라 부호화하는 것을 특징으로 하는 동화상 신호의 부호화 방법.
  6. 동화상 신호의 2패스 가변 비트 레이트 방식에 의한 부호화에 할당되는 비트 레이트의 계산에 이용되는, 상기 동화상 신호의 단위 시간마다 부호화 난이도의 정보가 기록된 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR20060086048A 2005-09-08 2006-09-07 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체 KR20070029072A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005260007A JP4788250B2 (ja) 2005-09-08 2005-09-08 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JPJP-P-2005-00260007 2005-09-08

Publications (1)

Publication Number Publication Date
KR20070029072A true KR20070029072A (ko) 2007-03-13

Family

ID=37696645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060086048A KR20070029072A (ko) 2005-09-08 2006-09-07 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체

Country Status (5)

Country Link
US (1) US20070116130A1 (ko)
EP (1) EP1773065A3 (ko)
JP (1) JP4788250B2 (ko)
KR (1) KR20070029072A (ko)
CN (1) CN1929609B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100928045B1 (ko) * 2007-10-25 2009-11-23 에스케이 텔레콤주식회사 영상 분석 장치를 이용한 부호화 방법 및 시스템과 그를위한 영상 분석 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112692A1 (en) * 2006-11-09 2008-05-15 Sony Corporation Method and apparatus for converting digital pictures for storage and playback from optical discs
JP2010093576A (ja) * 2008-10-08 2010-04-22 Sony Corp 受信装置、受信方法およびコンピュータプログラム
FR2933837A1 (fr) * 2008-12-10 2010-01-15 Thomson Licensing Procede de codage, procede et dispositif de transcodage et flux de donnees image codees.
US9832540B2 (en) * 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
WO2015095166A2 (en) * 2013-12-16 2015-06-25 Arris Enterprises, Inc. Producing an output need parameter for an encoder
CN110062934B (zh) * 2016-12-02 2023-09-01 谷歌有限责任公司 使用神经网络确定图像中的结构和运动

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JP3807157B2 (ja) 1999-06-25 2006-08-09 日本ビクター株式会社 符号化装置及び符号化方法
US6674796B1 (en) * 2000-02-14 2004-01-06 Harmonic, Inc. Statistical multiplexed video encoding for diverse video formats
JP4203707B2 (ja) * 2001-01-31 2009-01-07 日本電気株式会社 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。
US20030215011A1 (en) * 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
JP2005064790A (ja) * 2003-08-11 2005-03-10 Sony Corp 動画像信号の符号化装置、符号化方法および記録装置
JP2006086964A (ja) * 2004-09-17 2006-03-30 Toshiba Corp ビットレート変換装置およびビットレート変換方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100928045B1 (ko) * 2007-10-25 2009-11-23 에스케이 텔레콤주식회사 영상 분석 장치를 이용한 부호화 방법 및 시스템과 그를위한 영상 분석 장치

Also Published As

Publication number Publication date
CN1929609A (zh) 2007-03-14
EP1773065A3 (en) 2008-11-12
JP2007074450A (ja) 2007-03-22
US20070116130A1 (en) 2007-05-24
JP4788250B2 (ja) 2011-10-05
EP1773065A2 (en) 2007-04-11
CN1929609B (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
US10764574B2 (en) Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
US6301428B1 (en) Compressed video editor with transition buffer matcher
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
US6674796B1 (en) Statistical multiplexed video encoding for diverse video formats
JPH11346362A (ja) リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器
US20190200028A1 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, image coding and decoding apparatus
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
KR20070029072A (ko) 동화상 신호의 부호화 장치, 동화상 신호의 부호화 방법 및컴퓨터 판독 가능한 기록 매체
JP2010016467A (ja) 画像符号化装置及び画像符号化方法
US20130034164A1 (en) Motion compensation method, image decoding method, image coding method, motion compensation apparatus, program, and integrated circuit
JP2008294669A (ja) 画像符号化装置
JP4516874B2 (ja) 画像データ符号化装置及び画像データ符号化方法
JPWO2008053557A1 (ja) 動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体
JP2007235989A (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP2000092489A (ja) 画像符号化装置および画像符号化方法およびプログラムを記録した媒体
JP4073541B2 (ja) 動画像再符号化装置
JPH1013826A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体
JP4788251B2 (ja) 動画像信号の符号化装置
JP2008042660A (ja) 映像信号再符号化装置及び映像信号再符号化方法
JP2007158778A (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
US20090016437A1 (en) Information processing apparatus
JP2002171529A (ja) 映像符号化装置及び方法、記録媒体、並びに復号化装置
US20040179592A1 (en) Image coding apparatus
JP2008109693A (ja) 動画像再符号化装置
JP2002152735A (ja) 画像再符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right