WO2000062550A1 - Video processing device and method, and medium - Google Patents

Video processing device and method, and medium Download PDF

Info

Publication number
WO2000062550A1
WO2000062550A1 PCT/JP2000/002406 JP0002406W WO0062550A1 WO 2000062550 A1 WO2000062550 A1 WO 2000062550A1 JP 0002406 W JP0002406 W JP 0002406W WO 0062550 A1 WO0062550 A1 WO 0062550A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
information
video
data
pixels
Prior art date
Application number
PCT/JP2000/002406
Other languages
English (en)
French (fr)
Inventor
Ikuo Tsukagoshi
Naohiko Kawase
Kikuo Yamamoto
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP10525599A external-priority patent/JP4029520B2/ja
Priority claimed from JP12264799A external-priority patent/JP4171949B2/ja
Priority claimed from JP15379799A external-priority patent/JP2000348168A/ja
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US09/719,452 priority Critical patent/US7110663B1/en
Priority to EP00915506A priority patent/EP1089567A4/en
Publication of WO2000062550A1 publication Critical patent/WO2000062550A1/ja
Priority to US11/494,723 priority patent/US20060263069A1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a video processing apparatus and method, and a medium, and more particularly, to a video processing apparatus and method suitable for decoding a compressed video signal, and a medium.
  • a suitable address allocation is performed. Pretend. For example, in the frame memory shown in Fig. 1A, when one line at the top of the screen is displayed, the address of 000000 to 0719 (the data of 720 pixels) is displayed. ), It is possible to read continuously, so that the occurrence of page misses can be minimized.
  • page miss refers to DRAM (Dynami c Random Access Memory) This is the time required to precharge the sense amplifiers provided in the memory such as the memory (thus, during precharging, processing such as data reading cannot be performed). .
  • video data stored in frame memory is transmitted in macroblock units, and decoding is performed in macroblock order.
  • One Y-macro block has one line power of 16 pixels (hence 16 bytes) and consists of 16 line powers. Therefore, for example, in the case of the first Y macro block, the first line is address 0000 to 015, and the second line is address 0720 to 07.
  • the address is divided and stored (not as a single address), for example, addresses 144 to 450.
  • a screen of Standard Definition Television (SDTV) or a screen of High Definition Television (HDTV) may be transmitted.
  • SDTV Standard Definition Television
  • HDTV High Definition Television
  • an SDTV screen program and an HDTV screen program may be multiplexed and transmitted on one channel.
  • the channel of the program on the SDTV screen is switched to the channel of the program on the HDTV screen.
  • the sequence layer is defined as the highest layer.
  • the picture size / picture rate is the same.
  • a sequence header is sent. The sequence header describes the picture size / disc ratio, picture rate, and the like.
  • one Y macro block is composed of 16 lines, each time one line is read, a page miss occurs. That is, every time one Y macro block is read, 16 page misses are generated. Also, in the chroma (Cb, Cr), one macroblock consists of eight lines, each consisting of 8 bytes, so that one Cb (Cr) macroblock is used. Each time a packet is read, eight page misses will occur.
  • the sequence layer of the MPEG system is a stream in which the picture size and the picture rate are the same.
  • the sequence header is at least GOP (G r opuO fPicture)
  • the force that can be applied to the period; the period of the sequence header is not determined. Therefore, the maximum sequence length is one video program. For this reason, conventionally, for example, when switching a satellite broadcast channel, it takes a long time to detect a sequence header, and a considerable waiting time is required before reproduction is started. May be required.
  • Another object of the present invention is to estimate the sequence header information and start decoding if the sequence header information of the MPEG stream is not detected, so that the MPEG stream is started. It is an object of the present invention to provide a video processing apparatus and a method capable of immediately decoding an image. Disclosure of the invention
  • Figs. 15A and 15B are dummy blocks 13 of memory 1 14 1 and the BBB chain 1332
  • Fig. 16 is a flowchart to explain the processing operation of the decoder 100
  • Figs. 17A to 17C show the media.
  • FIG. 3 is a block diagram showing a more detailed configuration of the decoding unit 12 shown in FIG.
  • the video data output from the demultiplexer 11 is input to the variable length decoder 31 of the decoder 12.
  • the variable-length decoding unit 31 performs variable-length decoding on the input video data, performs the quantization step and the video data to the inverse quantization unit 32, and outputs the motion vector to the motion compensation prediction unit 3. Output to 5 respectively.
  • the inverse quantization unit 32 inversely quantizes the video data that has been subjected to the variable length coding based on the quantization step supplied from the variable length coding unit 31.
  • the inversely quantized video data is stored in the cache memory 7 via the controller 14.
  • Writing data to frame memory 5 and reading data from frame memory 5 overnight are performed in macroblock units.
  • One Y-macro block is composed of 16 ⁇ 16 pixel forces, so it is composed of 256-byle data.
  • next Y macro block to be read is assigned to address 0 2 56 6 No to 0 5 11, and the next Y macro block to be read is assigned to Addresses are successively allocated and stored in ascending order, such as address 0 5 12 to 0 7688.
  • MA— 3 MA_0 + A_w + 1
  • MA-2, MA-3 which overlaps with the macroblock MA-m, is calculated according to the following equation. Is calculated.
  • MA—0—h indicates the number of horizontal blocks at the portion where the macroblock .MA—m and the macroblock MA—0 overlap
  • MA—0_V is the macroblock. At the point where MA m and macro block MA 0 overlap. Indicates the number of direct lines. Other descriptions have the same meaning.
  • DRAMs and the like are provided with two banks, and data writing and reading are performed by switching the banks.
  • writing is performed alternately in different banks for each horizontal line. Therefore, as shown in Fig. 6, when writing is performed using two banks 0 and 1, data of one horizontal line of macro block MA-0 is read from non-zero.
  • the data of one horizontal line of the macro block MA-2 is read out from the bank 1 and the data of the one horizontal line of the macro block MA-1 is read from non-k0. Data is read out one night, and then the process of reading one horizontal line of macro block MA-3 from non-link 1 is repeated.
  • the video data is re-transferred from the cache memory 7 to the frame memory 5; however, from the cache memory 7, the image data for display different from the frame memory 5 is displayed.
  • the data may be transferred to a frame memory for scaling (DRAM).
  • the MPEG decoder 12 decodes the MPEG stream, and the MPEG decoder 12 outputs a stream of digital video data.
  • the output of the MPEG decoder 12 is supplied to the display 15 via the display processing unit 13. As a result, a screen based on the MPEG stream is displayed on the display 15.
  • the MPEG decoder 12 When decoding an MPEG stream by the MPEG decoder 12, it is necessary to first set the image size, aspect ratio, and the like. This information can be detected by the Sequence-Header. However, it may take some time to detect the sequence header.
  • the sequence header sends information such as picture size, aspect ratio, frame rate, VBV buffer size, and quantization matrix.
  • the vertical image size is estimated using the slice information.
  • macro block information horizontal
  • the image size in the direction is estimated.
  • the aspect ratio is estimated using the estimated vertical image size and horizontal image size.
  • the image size and aspect ratio estimated by the sequence header estimating circuit 16 are sent to the display processing circuit 13, and the sequence header estimating circuit 16.
  • the display screen is set according to the estimated image size ratio.
  • VBV—Buf fer—Size The size of the virtual buffer (VBV) for controlling the amount of generated code.
  • the information on the number of pixels in the vertical direction of the video (Ver cal_Size—Value) can be estimated from the slice information.
  • FIG. 9 shows the configuration of a slice in one picture.
  • one picture is divided into multiple slices.
  • a slice start code (Slice_Start_Code), which is a synchronization code indicating the start of the slice layer, is inserted at the beginning of each slice.
  • This slice start code is indicated by a hexadecimal number “0 0 0 0 0 1 0 1 to AF”, and the last byte of the code (4th, “0 1 to AF ”) indicates the vertical position of the slice in hexadecimal.
  • the fourth byte of the slice start code corresponds to the vertical position of the slice, which is the same number of lines on the same line. Becomes
  • the output of the slice start code detector 43 is sent to the fourth byte extractor 44.
  • the fourth note extraction unit 44 extracts the fourth note information of the slice start code.
  • the output of the bit extraction unit 44 is sent to the vertical size register 45.
  • the head of one picture can be detected.
  • the vertical size register 45 is reset. Then, it is determined whether the slice start code is detected by the slice start code detection unit 43.
  • the fourth byte information of the slice start code is extracted by the bit extraction unit 44.
  • the information of the fourth byte of the slice start code is supplied to the register 45.
  • the information of the register 45 is used as the information of the number of pixels in the vertical direction, and the vertical size register 4 is used. Incorporated in 6.
  • the slice start code extends from the beginning to the end of the picture.
  • the detection section 43 detects the slice start code.
  • the fourth byte oil discharge section 44 detects the value of the fourth zone. Is extracted and taken into the vertical size register 45 to obtain an estimated value of the number of pixels in the vertical direction from the value of the vertical size register 46.
  • the macro mouth address increment is a VLC (Variable Length Code) indicating the macro block to be skipped, which is "1" for a normal adjacent macro block. If there are macroblocks to be skipped, the value is added by the number of skipped macroblocks.
  • VLC Very Length Code
  • an input terminal 51 is supplied with an MPEG stream.
  • the slice start code (Slice — Start — Code) in the MPEG stream is detected by the slice start code detection section 52, and the macro block address increment (Slope — Start — Code) is detected.
  • the slice code detecting section 52 detects the leftmost slice of one line, the register 55, the registers 58A, 58B,..., the horizontal size register 61 are cleared. Will be rearranged. Then, the macro block address increment detecting section 53 detects a macro block address (Increment) force.
  • This macro block address increment indicates the skip information of the macro block, and the increment value corresponding to “1” to “33” is the variable length code. It is written in. If the macro block address increment force is 33 or more, macro block escape is also referred to.
  • the output of G53 is supplied to the VLC decoding unit 54.
  • the VLC decoding unit 54 decodes the value of the macro block address increment.
  • the output of the VLC decoding unit 54 is supplied to the adder 56.
  • the output of the register 55 is supplied to the adder 56.
  • the output of the decoded macro block detector 57 is supplied to the register 55.
  • the adder 56 When it is detected from the output of the decoded macroblock detector 57 that the macroblock has been decrypted, the adder 56 generates the macroblock address signal of the present macroblock.
  • the value of the macro block is added to the value of the previous macro block address increment, and the value of the macro block address increment is accumulated. As a result, the accumulated value of the macroblock addressless increment in each slice of the same horizontal line can be obtained.
  • the output of register 55 is supplied to registers 58A, 58B, ....
  • the registers 58 A, 58 B,... fetch the accumulated values of the macro block address increments in each slice when there are multiple slices in the horizontal direction. It is a thing.
  • the outputs of the slice start code detection section 52 are supplied to the registers 58A, 58B,. Based on the output of the slice start code detection unit 52, the accumulated value of the macro block address increment is stored in the registers 58A, 58B, ... for each slice. It is captured.
  • the output of the adder 59 is supplied to the multiplier 50.
  • the multiplier 50 is a macro The number of blocks is multiplied by the size of the macroblock to calculate the number of pixels in the horizontal direction. In other words, the multiplier 50 multiplies the number of macroblocks by the horizontal size of the macroblock, so that the number of pixels in the horizontal direction per picture is! ? Will be issued. The number of pixels in the horizontal direction obtained in this way is supplied to the horizontal size register 61.
  • the memory 117 stores a decoding program and a data transfer processing program for decoding the MPEG audio data stored in the memory 114 at the timing of the supplied message. .
  • the CPU 112 decodes the MPEG audio data stored in the memory 114 at the timing of the supplied message, and re-decodes the decoded data to the memory 114.
  • the CPU 112 reads the overnight transfer processing program.
  • the decoded MPEG audio data described in the memory 114 is transferred to the output buffer 118.
  • the power is "0N"
  • the memory data stored in memory 114 is stored in advance and the output data of "0" is output. Transferred to buffer 1 18.
  • an "F” message is transmitted to the decoding program and the data transfer processing program.
  • This "F” message indicates that "do not start decoding", and upon receiving this message, the CPU 112 sends the MPEG audio data stored in the memory 114 to the MPEG audio data. Start decryption. That Thereafter, an "N” message is sent to the decoding program and the data transfer processing program (T3). This "N” message indicates “do not control decoding", and according to this message, the CPU 112 continues decoding.
  • Fig. 15B shows MPEG audio data after decoding
  • step S 11 when the user operates the input unit 11 1 to turn on the power of the decoder 100, the CPU 11 2 connects the memory 11 15 to the AC link. Read and execute the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書 映像処理装置および方法、 並びに媒体 技術分野
本発明は映像処理装匱および方法、 並びに媒体に関 し、 特に, 圧縮さ れた映像信号を復号する際に用いて好適な映像処理装匱および方法、 並 びに媒体に関する。 背景技術
最近、 MPEG (Moving P ic ture Exper ts Group) 2 に代表される映像圧 縮技術が進歩し、 各種の分野で利用されている。 この MPEG 2 でェンコ一 ドされた映像データをデコー ドする場合、 そのデコー ドは、 マク ロプロ ッ ク毎に行われる。 そのマク ロブロ ッ ク毎にデコー ド された映像データ をフ レームメモリ に格納する際、 その映像データのメモ リ ア ド レスは、 画面表示順に割 り振られる。 すなわち、 第 1 図 Aに示すよ うな、 1 6 X 1 6 ピクセルから構成される Yマク ロブロ ッ ク力 、 7 2 0 X 4 8 0 ピク セルからなる画面の場合、 第 1 図 B に示すよう に、 フ レームメモ リ 内に は、 横に 4 5個、 縦に 3 0個並んだ状態で記憶される。
このよ う にメモ リ ア ド レスを割 り振り 、 記憶させる場合、 このフ レー ムメモリ に記憶されている映像データ に基づいて、 画面に表示させる と きには、 適したア ド レスの割 り振り である。 例えば、 第 1 図 Aに示 した フ レームメモリ において、 画面最上部の 1 ライ ンが表示される とき、 ァ ド レスの 0 0 0 0 乃至 0 7 1 9 ( 7 2 0 ピクセル分のデ一夕) まで, 連 続して読み出すこ とが可能であるため、 ページミ ス ヒ ッ トの発生を最小 限に抑える こ とが可能となる。 こ こで、 ページミ ス とは, DRAM (Dynami c Random Access Memory) などの メモ リ において備え られているセンス アンプをプレチャージするために必要な時間 (従って、 プレチャージし ている間は、 データの読み出 しなどの処理は行えない) である。
と ころで、 フ レーム メモ リ には一般的に DRA.Mが用い られる。 DRAMは、 口一 (row ) とカ ラム (column) で構成され、 1 つの口一は、 2 5 6 ( 5 1 2 などの場合もある) X 8 カ ラムからなる蓄電素子で構成されてい る。 この蓄電素子のう ち、 8 bi t 素子は外部端子を 8 ピン備え、 1 6 bi t素子は外部端子を 1 6 ピン備える。 これは、 1 ク ロ ッ クで出力できる bi t数を表し、 8 bi t 素子では、 1 ク ロ ッ クで 8 bi t出力され、 1 6 bi (素子では、 1 ク ロ ッ クで 1 6 bi t 出力される。 そ して、 同一口一内で は、 連続してデータを取り出すこ とが可能である。 すなわち、 8 b i t 素 子においては、 1 ローに 2 5 6 X 8 b i t のデ一夕が蓄電されているため 、 2 5 6 ク ロ ッ ク分のデータ ( 2 5 6 byte分のデータ) が連続して読み 出せる。
ビデオデコーダなどにおいては、 フ レームメ モ リ に記憶される映像デ —夕は、 マク ロブロ ッ ク単位で送信され、 デコー ドする順番もマク ロブ ロ ッ ク順にされる。 1 つの Yマク ロブロ ッ ク は、 1 ライ ン力 1 6 ピクセ ル (従って、 1 6 byte) で、 1 6 ライ ン力 ら構成されている。 そのため 、 例えば、 1 番目の Yマク ロブロ ッ ク の場合、 第 1 ライ ンは、 ア ド レス 0 0 0 0 乃至 0 0 1 5 、 第 2 ライ ンは、 ア ド レス 0 7 2 0 乃至 0 7 3 5 、 第 3 ライ ンは、 ア ド レス 1 4 4 0 乃至 1 4 5 5 と いう具合に、 ァ ド レ スが分割されて (一統きのア ド レスではな く ) 記憶されている。
また MPEG方式のス ト リ ームからディ ジ夕 ルビデオ信号のス ト リ ームを 復号する場合、 先ず、 デコー ド装置内の解析部において、 シーケンスへ ッ ダ (Sequence— Header) を検出する処理が行なわれる。 これは、 シー ケンスヘッ ダを検出 しないと、 画サイ ズゃァスぺク ト比が特定できない ためである。
すなわち、 MPEGス ト リ ームでは、 SDTV (Standard Def ini t ionTelevis ion ) の画面や HDTV (High Def ini t ion Television) の画面が送られる 場合がある。 例えば, ディ ジタル衛星放送では、 1 つのチャ ンネルで、 SDTVの画面のプログラム と HDTVの画面のプロ グラムとが多重化されて放 送される場合がある。 また、 SDTVの画面のプロ グラムのチャ ンネルと HD TVの画面のプロ グラムのチャ ンネルとが切 り換え られる場合がある。
MPEGス ト リ ームを復号する場合には、 先ず, 画サイ ズゃァスぺク ト比 を設定する必要がある。 MPEG方式では、 最上位の階層 と して、 シーケン ス層が定め られている。 1 つのシーケンスでは、 画サイ ズゃピクチャ レ 一 卜が同一とされている。 そ して、 各シーケンスの先頭では、 シ一ゲン スヘッ ダが送られてく る。 このシーケンスヘッ ダには、 画サイ ズゃァス ぺク 卜比、 ピクチャ レー ト等が記述されている。
このため、 従来では、 MPEG方式のビッ トス ト リ ームをデコー ドする場 合には, 先ず、 画サイ ズやアスペク ト比を設定するために、 シーケ ンス ヘッ ダが検出される。 そ して、 シーケンスヘッ ダから画サイ ズやァスぺ ク ト比が設定された後に、 最初のフ ィ ール ド内又はフ レーム内符号化さ れた ピクチャから復号が開始される。
1 ローに記憶されているデータ を取 り だした後、 次の口一に移 り 、 そ のローに記憶されているデータを読み出すまでには、 プリ チャージの為 の約 6 ク ロ ッ ク、 待たな く てはな らない。 このよ う に、 別のローに格納 されているデータ を読み出す為に必要とされるプリ チャージの こ とは、 上述したよ う に、 ページミ ス と称される。 上述 した 8 bi t素子では、 2 5 6 ク ロ ッ ク毎に ( 2 5 6 byteのデータを取り 出す毎に) 、 1 6 bi t素 子では、 1 2 8 ク ロ ッ ク毎に、 ページミ スが発生する こ とになる。 この よ う に、 1 ク ロ ッ クで取 り 出せるデータ量が大き く なる と、 ページミ ス の発生回数 (%生周期) も少な く なる こ とがわかる。
第 1 図 B に示 したよ う に、 映像データが記憶され、 ア ド レス 0 0 0 0 乃至 0 7 1 9 まで読み出 して第 1 水平ライ ンを表示させ、 ア ド レ ス 0 7 2 0 乃至 1 4 3 9 まで読みだして第 2 水平ライ ンを表示させ, という よ う に、 1 ライ ンづっ読み出 して表示させる場合、 8 bi t 素子では、 2 5 6 by t c毎にページミ スが発生する。 ページミ スはロス タイ ムとなるため 、 なるべく 発生しないよ う にする こ とが、 メモ リ ( DRAM ) の能力を最大 限に引き出すこ とになる。
一方、 上述したビデオレコーダの場合、 マク ロブロ ッ ク単位で記憶さ れ, マク ロブロ ッ ク単位で読み出される。 また、 上述したよ う に、 1 つ の Yマク ロブロ ッ クは、 1 6 ライ ンで構成されているため, 1 ライ ンを 読み出す毎に、 ページミ スが発生する こ とになる。 すなわち、 1 つの Y マク ロブロ ッ ク を読み出す毎に、 1 6 回のページミ スが発生する こ とに なる。 また、 ク ロマ ( C b , C r ) においては、 1 マク ロブロ ッ ク には 、 1 ライ ンが 8 byteで、 8 ライ ンから構成されているので、 1 つの C b ( C r ) マク ロブロ ッ ク を読み出す毎に、 8 回のページミ スが発生する こ とになる。
フ レームメモ リ に 1 6 b i t 素子を用いた場合、 1 ク ロ ッ ク に 1 6 b i t ( 2 byte) のデータを出力する こ とができるため, Yマク ロブロ ッ ク に おいては、 8 ク ロ ッ ク に 1 回の割合でページミ スが発生 し、 C b マク ロ ブロ ッ ク と C r マク ロブロ ッ ク においては、 それぞれ, 4 ク ロ ッ ク に 1 回の割合でページミ スが発生する こ とになる。 従って、 Yマク ロブロ ッ クの 1 ライ ン読み出すのに 8 ク ロ ッ ク ( Yマク ロブロ ッ ク の 1 ライ ンは 1 6 b y t eから構成されている) 必要であ り 、 1 つの Yマク ロブロ ッ ク を 読み出す為には、 8 X 1 6 ク ロ ッ ク ( 1 つの Yマク ロブロ ッ クは、 1 6 ライ ンから構成されている) 必要である。 これに対し、 1 回のページ ミ ス に 6 ク ロ ッ クの時問が費やされる と し 、 そのページミ スによる ロス タイ ムは、 1 つの Yマク ロブロ ッ ク を読み 出す場合、 1 6 回のページミ スが発生するわけであるから , 6 X 1 6 ク ロ ッ クである こ とがわ力、る。 これは, 1 つの Yマク ロ ブロ ッ ク を読み出 すための時間 8 X 1 6 ク ロ ッ ク と比べて, ページミ スの割合がかな り多 い、 換言すれば、 ロスタイムが大きいこ とを示 している。 また、 ク ロマ のマク ロブロ ッ ク に対 しても同様に、 データを読み出す為の時間に対し てのロスタイムの比率が大きい。
ページミ スは、 動き補償によるデコー ド を行う際にも発生する。 すな わち、 デコー ドするマク ロブロ ッ ク に付随する動きベク トルによ り 、 フ レームメ モ リ の任意の位置か ら 1 マク ロブロ ッ ク分の映像データ を取 り 出すが、 上述した場合と同 じ く 、 マク ロブロ ッ クの 1 ライ ンを読み出す 毎にア ド レスが 1 ライ ン分移動するため, ページミ スが発生する。 DRAM などの能力を最大に引き出 したい場合、 ページミ ス といったロスタイム はできる限り 小さ く 抑える こ とが必要である といった課題があった。 本発明はこのよ う な状況に鑑みてなされたものであ り 、 本発明の目的 は、 マク ロブロ ッ クの映像データ に対 して、 昇順にア ド レスを割 り振り 記憶させるよ う にする こ とによ り 、 ページミ スの発生を抑制する こ とに ある。
また M P E Gス ト リ ームの復号を行なう場合には、 先ず、 シーケンスへッ ダが検出 されて、 画サイ ズやアスペク ト比が設定されている。 と こ ろが 、 シーケンスヘッ ダを検出 してから M P E Gス ト リ 一ムの復号を行なう ので は、 シーケンスヘッ ダを検出するのに時問がかか り 、 再生が開始される までにかな り の待ち時問が必要になる と い う 問題がある。
すなわち、 M P E G方式の シーケン ス層は、 画サイ ズゃ ピ クチャ レー トが 同一となるス ト リ ームである。 シーケン スヘ ッ ダは、 最小で G O P ( G r o p u O f P i c t u r e ) 周期に ¾ける こ とができる力;, シーケ ンスヘッ ダの周 期は決め られていない。 したがって、 シーケンスの長さは、 最大では, 1 ビデオプロ グラムにおよぶという こ とになる。 このため、 従来では、 例えば、 衛星放送のチャ ンネルを切 り換えたときには、 シーケ ンスへッ ダを検出するのに時間がかか り 、 再生が開始される までに、 かなり の待 ち時間が必要になる場合がある。
本発明の他の目的は、 MP E Gス ト リ ームの シーケ ンスヘッ ダ情報が検出 されないときには、 シーケンスヘッ ダの情報を推定 してデコー ドか開始 させる こ とによ り , MP E Gス ト リームを直ち にデコー ドできるよ う に した 映像処理装置及び方法を提供する こ とにある。 発明の開示
本発明に係わる映像処理装置は、 マク ロブロ ッ ク単位の映像データを 入力する入力手段と、 入力手段によ り入力された映像データに、 昇順に ア ド レスを割 り 当て、 記憶する記憶手段と、 記憶手段に記憶された映像 データを、 ァ ド レスの昇順に読み出す読み出 し手段とを含むこ とを特徴 とする。
本発明に係わる映像処理方法は、 マク ロブロ ッ ク単位の映像データを 入力する入力ステッ プと、 入力ステッ プで入力された映像データに、 昇 順にア ド レス を割 り 当て、 記憶する記憶ステ ッ プと、 記憶ステッ プで記 憶された映像デ一夕 を、 ア ド レスの昇順に読み出す読み出 しステッ プと を aむこ とを特徴とする。
本発明に係わる媒体のプログラムは、 マク ロブロ ッ ク単位の映像デ一 夕を入力する入力ステッ プと、 入力ステッ プで人力された映像データに 、 昇順にア ド レスを割 り 当て、 記憶する記憶ステ ッ プと、 記憶ステッ プ で記憶された映像データを、 ア ド レスの昇順に読み出す読み出 しステツ プとからなる こ とを特徴とする。
本発明に係わる映像処理装匿、 映像処理方法及び媒体においては、 入 力されたマク ロブロ ッ ク単位の映像データに、 昇順にァ ド レスが割 り 当 てられ, 記億され、 記億された映像データ力 ア ド レ スの昇順に読み出 される。
本発明に係わる映像処理装置は、 シーケンス層と G O P層と ピク チャ 層とス ライ ス層とマク ロブロ ッ ク層とブロ ッ ク層とからなる階層構造の ビデオス ト リ ームを復号する映像処理装置において, ピクチャ内に必ず 現れる情報に基づいてシーケンスヘッ ダ情報を推定する シーケンスへッ ダ情報推定手段と、 シーケンスヘッ ダが検出されないときには、 ヘッ ダ 情報推定手段で推定された情報を用いてビデオデータ を復号する復号手 段と を備える こ とを特徴とする。
ス ライ ススター ト コー ド (Sl ice — Start _Code) の 4 バイ ト 目は、 ス ライ スの垂直位置を示している。 したがって、 スライ ススター ト コ一 ド (Sl ice —Start —Code) の 4 バイ ト 目検出すれば、 画面の垂直方向 の画素数が求められる。 また、 マク ロブロ ッ クア ド レスイ ンク リ メ ン ト (Mac rob I ock一 Address 一 Increment ) は、 マク ロフ ロ ッ クのスキ ッ プ 情報を示 している。 したがっ て、 マク ロブロ ッ ク を復号する毎にマク ロ ブロ ッ クア ド レスイ ンク リ メ ン ト を蓄積していけば、 画面の水平方向の マク ロブロ ッ ク数が求め られる。 これに、 マク ロブロ ッ ク の大きさ を乗 算すれば、 画面の水平方向の画素数が求め られる。
このよう に して推定された情報を使って MPEGス ト リ 一ムの復号を行な う よ う にすれば、 シーケンスヘッ ダを検出 しなく ても、 直ちに、 MPEGス ト リ ームの復号を行なう こ とができる。 図面の簡単な説明 第 1 図 A及び第 1 図 B は従来の映像データの記憶の仕方について説明 する図、 第 2 図は本発明を適用 した映像処理装置の一実施の形態の構成 を示すブロ ッ ク図、 第 3 図は第 2 図のデコー ド部 1 2 の詳細な構成を示 すブロ ッ ク図、 第 4 図は本発明の映像データの記憶の ί七方について説明 する図、 第 5 図は本発明の映像データの記憶の仕方について説明する図 、 第 6 図は予測マク ロブロ ッ クの読み出 し について説明する図, 第 7 図 はこの発明が適用された MPEGデコー ド装置の一例のプロ ッ ク図、 第 8 図 は MPEG方式の階層構造の説明に用いる略線図、 第 9 図はス ライ スの説明 に用いる略線図、 第 1 0 図は水平方向の画サイ ズの推定回路の構成を示 す機能ブロ ッ ク図、 第 1 1 図はマク ロブロ ッ クの説明に用いる略線図、 第 1 2 図は垂直方向の画サイ ズの推定回路の構成を示す機能ブロ ッ ク図 、 第 1 3 図はオーディ オデコーダ 1 0 0 の一実施の形態の構成を示すブ ロ ッ ク図、 第 1 4 図はメ ッセージ送信プロ グラムからデコー ドプログラ ムに送信される メ ッセージ例を説明するための図、 第 1 5 図 A及び第 1 5 図 Bはメモ リ 1 1 4 のダミ ーブロ ッ ク 1 3 1 と BBB チェーン 1 3 2 を 説明するための図、 第 1 6 図はデコーダ 1 0 0 の処理動作を説明するた めのフローチャー ト、 第 1 7 図 Aから第 1 7 図 C は媒体を説明する図で ある。 発明を実施するための最良の形態
第 2 図は、 MPEG 2 方式で符号化 (エンコー ド) されたデ一夕 を復号 ( デコー ド) する映像処理装置の構成を示すブロ ッ ク図である。 チューナ 1 によ り受信された映像データは、 復調処理部 2 において、 復調処理さ れ、 誤り訂正処理部 3 によ り 、 誤 り訂正処理される。 さ ら に、 誤り訂正 処理された映像データは、 ソ フ ト ウェア処理部 4 に送られる。 このソ フ ト ウエア処理部 4 は、 図示されていない CPL: (Central Processing Un i t ) によ っ て実行される ソ フ ト ウェアプロ グラムによ り 構成される。 ソ フ ト ウェア処理部 4 のデマルチプレクサ部 1 1 は、 入力されたデータ を チャ ンネル毎に映像データ とオーディ オデータ とにデマルチプレク スす る。 デマルチプレクス された映像デ一夕は、 デコー ド部 1 2 において、 MPEG方式でデコー ド される。
デコー ド部 1 2 の出力は、 表示処理部 1 3 において、 例えば、 ハイ ビ ジョ ンに代表される高品位テレ ビジョ ン信号か ら、 NTSC (Nat ional Tel evi s ion Sys tem Commi t tee) 方式のテレ ビジョ ン信号に走査線数変換さ れる。 また、 コ ン ト ローラ 1 4 は、 デコー ド部 1 2 の他に、 ソフ ト ゥェ ァ処理部 4 の各部を制御する と共に, 映像データの処理に関 し , キヤ ッ シュ メモ リ 7 を随時使用する。 DMAC (Di rec t Memory Access Cont rol l e r) 6 は、 キャ ッ シュ メモリ 7 から フ レームメモ リ 5 への DMA転送を制 御する。 フ レームメモ リ 5 は、 例えば、 DRAMから構成され、 記憶された 映像データは、 図示されていない映像表示装置に出力される。
第 3 図は、 第 2 図に示したデコー ド部 1 2 のよ り詳細な構成を示 した ブロ ッ ク図である。 デマルチプレクサ部 1 1 から出力された映像データ は、 デコー ド部 1 2 の可変長復号部 3 1 に入力される。 可変長復号部 3 1 は、 入力された映像データを可変長復号処理 し、 量子化ステッ プと映 像デ一夕を逆量子化部 3 2 に、 動きべク ト ルを動き補償予測部 3 5 に、 それぞれ出力する。 逆量子化部 3 2 は、 可変長符号化部 3 1 から供給さ れた量子化ステッ プに基づいて、 可変長符号処理された映像データ を逆 量子化する。 逆量子化された映像データは、 コ ン ト ローラ 1 4 を介 して 、 キャ ッ シュ メモ リ 7 に格納される。
イ ン ト ラマク ロブロ ッ クの場合、 逆 DCT 変換部 3 3 で逆 DCT 変換処理 された映像データは、 そのまま、 キャ ッ シュ メモ リ 7 に転送され, 格納 される。 ノ ンイ ン ト ラマク ロブロ ッ クの場合、 動き補償予測部 3 5 は、 可変長復号部 3 1 よ り 供給される動きベ ク ト ル と 、 フ レーム メ モ リ 5 に 記憶されている参照映像を用いて、 予測マク ロブロ ッ ク を演算 し、 その 映像デー タが、 キャ ッ シュ メモ リ 7 に記憶される。 ';寅算器 3 4 は、 逆 D C T 変換部 3 3 か ら供給される映像データ (差分データ) とキャ ッ シュ メ モ リ 7 か ら供給される予測マク ロブロ ッ ク とを加算 して、 デコー ド映像 データ と し、 キャ ッ シュ メモ リ 7 に転送する。 そ して、 キャ ッ シュ メモ リ 7 に記憶された映像デ一夕は、 D MA C 6 の制御に基づいて、 フ レームメ モ リ 5 に D MA 転送される。
次に、 第 2 図に示 した映像復号装置の動作について説明する。 チュー ナ 1 力^ 映像データを受信 し、 復調処理部 2 にその映像データを出力す る。 映像データ を入力 した復調処理部 2 は、 入力 した映像データを復調 処理 し、 誤り訂正処理部 3 に出力する。 誤り訂正処理部 3 は、 入力され た復調処理された映像データの誤り訂正処理を行い、 ソ フ ト ウエア処理 部 4 に出力する。 ソ フ ト ウェア処理部 4 は、 入力された映像デ一夕を、 まずデマルチプレクサ部 1 1 によ り 、 チャ ンネル毎に映像デ一夕 とォー ディ ォデータ とにデマルチプレクス し、 デコー ド部 1 2 に出力する。 デコー ド部 1 2 は、 コ ン ト ローラ 1 4 によ り 制御され、 キャ ッ シュ モ リ 7 と フ レーム メモ リ 5 を随時使用 して、 映像データをデコー ド し、 デコー ド した映像データを表示処理部 1 3 に出力する。 表示処理部 1 3 は、 デコー ド された映像データを走査線数変換処理 し、 フ レームメモ リ 5 に格納する。 そ して、 フ レーム メモ リ 5 に記憶された映像データは、 走査線数変換処理された映像データを図示されていない映像表示装置な どに出力される。
第 3 図に示 したデコー ド部 1 2 のフ レーム メ モ リ 5 への映像デ一夕の 書き込みについて説明する。 フ レーム メモ リ 5 へのデータの書き込みや 、 フ レームメモ リ 5 か らのデ一夕の読み出 しは、 マク ロブロ ッ ク単位で 行われる。 1 つの Yマ ク ロブロ ッ クは、 1 6 X 1 6 ピクセル力 ら構成さ れているため、 2 5 6 byleのデータから構成されている こ とになる。 ま た、 C bマク ロブロ ッ ク と C r マ ク ロブロ ッ ク は, それぞれ、 6 4 ( = 8 X 8 ) byteから構成されている。 そこで、 Yマク ロブロ ッ ク は、 第 4 図に示すよう に、 一番初めに読み込まれる画面上で一番上の左側に位置 する Yマク ロブロ ッ ク をフ レーム メモ リ 5 のア ド レス 0 0 0 0 乃至 0 2 5 5 に、 その次に読み込まれる Yマク ロブロ ッ クをア ド レス 0 2 5 6 乃 至 0 5 1 1 に、 さ らにその次に読み込まれる Yマク ロブロ ッ ク をァ ド レ ス 0 5 1 2 乃至 0 7 6 8 とレ う よ う に、 順次、 連続したア ド レスが昇順 に割 り振られ記憶される。
同様に、 C bマク ロブロ ッ ク と C r マク ロブロ ッ クのク ロママク ロブ ロ ッ クは、 それぞれ、 第 5 図に示すよ う に、 一番初めに読み込まれるク ロママク ロブロ ッ クがア ド レス 0 0 0 0 乃至 0 0 6 3 に、 次に読み込ま れる ク ロママク ロブロ ッ クがア ド レス 0 0 6 4 乃至 0 1 2 8 にとレ う よ う に、 順次、 連続したア ド レスが昇順に割 り振られ記億される。
このよ う にマク ロブロ ッ ク単位の映像デ一夕を記憶する こ とによ り 、 ページミ スは、 1 つのマク ロブロ ッ クの読み出 しにおいては、 Yマク ロ ブロ ッ ク も、 C b ( C r ) マク ロブロ ッ ク の両方と も、 1 回も発生しな い。 すなわち、 ページミ スは、 読み出 し対象となっている ローを切 り換 える ときに発生 し、 1 ローは、 2 5 6 byte (以下、 適宜、 この 2 5 6 by teを 1 ページと称し、 この単位毎の区切 り をページ区切 り と称する) か ら構成されているため、 少なく と も、 2 5 6 byteの読み出 し毎に発生す る こ とになるのだが、 上述したよ う に、 データをフ レーム メモ リ 5 に記 憶させれば、 Yマク ロブロ ッ ク は 1 マク ロブロ ッ ク毎にページ区切 り が 発生 し、 C b ( C r ) マク ロブロ ッ ク については、 4 マク ロブロ ッ ク毎 にページ区切 り が発生する こ とになる。 ページミ ス (ロ ス タイ ム) を最小限に抑える為には、 口一の切 り 替え を少なく するよ う にすればよいので, 上述 したよ う に, データをフ レー ム メモリ 5 に記惚させる こ とによ り 、 ロスタイ ムを軽減させる事が可能 となる。
次に, このよ う に して, 映像データが記憶されている フ レーム メモ リ 5 か ら動き補償べク ト ルによ り 、 予測映像データを取 り 出す場合を説明 する。 こ こでは、 Yマク ロブロ ッ ク を対象と した場合を例に挙げて説明 する。 1 つの Yマク ロブロ ッ クは, 上述したよ う に、 1 6 X 1 6 ピクセ ル ( 1 6 x i 6 byte) から構成されている。
第 6 図は、 画面表示装置の画面上に表示される画面を想定 し、 マク ロ ブロ ッ ク MA— m か ら 、 予測されるマク ロブロ ッ ク MA— π (デコー ド され るマク ロブロ ッ ク) の位置関係を示した図である。 M A— nの動き補償べ ク トルのう ち、 図中、 横 (水平) 方向の動き補償ベク トルをベク トル X と表し、 縦 (垂直) 方向の動き補償ベク トルをベク トル y とする。 この ベク トル X とベク トル y は、 マク ロブロ ッ ク MA— nを、 マク ロブロ ッ ク MA_m の左上端部からデータを取 り 出すべき水平方向と垂直方向のア ド レスオフセッ ト を決定するためのものである。
べク トル X とべク トル y とで位置が一意に決定されるマク ロブロ ッ ク MA_m は、 第 6 図に示すよ う に, 最大 4個のマク ロブロ ッ ク にまたがつ ている場合が想定される。 これら 4個のマク ロブロ ッ ク を、 左上から右 下に順番にマク ロブロ ッ ク MA— 0 、 マク ロブロ ッ ク MA— 1 、 マク ロブロ ッ ク MA— 2 , およびマク ロブロ ッ ク MA— 3 と記述する と、 デコー ドすべ きマク ロブロ ッ ク M A— π 、 およびベク トル X . yの関係は、 次式に示す よ う になる。
MA_0 =MA_n + x / 1 6 +MA一 w x y / 1 6
MA I =MA 0 + 1 A_2 = MA_0 + MA_w
MA— 3 =MA_0 + A_w + 1
- —— ( 1 ) こ こで、 x および y は、 それぞれベク トル x . y の大きさ を示 し、 MA— w は、 画面の水平方向のライ ン上に並んでいるマク ロ ブロ ッ ク の数を示 す。
さ らに、 各マク ロブロ ッ ク MA— 0 , MA_1 . MA_L' , MA— 3 の、 マク ロブロ ッ ク MA— m と重なる部分の左上端のア ド レス (先頭ア ド レス) は 、 次式に従って算出される。 マク ロブロ ッ ク MA— 0 , MA— 1 , ΜΑ_2 , MA— 3 の先頭ア ド レスを、 それぞれ、 ア ド レス ad_0 . ad— 1 , ad— 2 . ad— 3 とする。
ad_0 = ad_MA_0 + x % 1 6 + 1 6 x ( y % 1 6 )
ad— 1 = ad一 MA— 1 + 1 6 x ( y % 1 6 )
ad— 2 = ad— MA— 2 + x % 1 6
ad— 3 = ad_MA_3
• · · ( 2 ) こ こで、 ad— MA— 0 , ad一 MA— i 、 ad— MA— 2 、 ad一 MA— 3 は、 それ ぞれ、 マク ロブロ ッ ク MA— 0 , MA— 1 , A_2 , MA— 3 の先頭ア ド レス であ り 、 χ % 1 6 は、 ベク ト ル X の大きさ を 1 6 で除算したときの余り を示し、 同様に、 y % 1 6 は, ベク トル y の大きさ を 1 6 で除算したと きの余 り を示す。
各マク ロブロ ッ ク MA— 0 , MA_1 . MA— 2 , MA— 3 の、 マク ロブロ ッ ク MA— m と重なる部分との、 水平デ一夕数と垂直ライ ン数は、 次式に従 つて算出される。 次式において、 MA— 0 — h は、 マク ロブロ ッ ク .MA— m とマク ロブロ ッ ク MA— 0 が重なる部分の水平デ一夕数を示 し , MA— 0 _ V は、 マク ロブロ ッ ク MA m とマク ロブロ ッ ク MA 0 が重なる部分の垂 直ライ ン数を示す。 他の記述も同様の意味を示す。
MA_0 _h = 1 6 - ( X % 1 6 ) . MA— 0 一 v = 1 6 - ( y % 1 6 ) MA— 1 _h = 1 6 — MA— 0 — h , MA— 1 一 v =MA— 0 — v
MA— 2 _h =MA_0 _h . MA _2 — v = 1 6 — MA一 0 一 v MA— 3 — h = MA_ 1 — h . MA— 3 — v =MA_2 — v
• · · ( 3 ) このよ う に、 4 つのマク ロブロ ッ ク MA— 0 , MA— 1 , MA— 2 , MA— 3 からデータを取 り 出す場合、 4 回のページミ スが発生する。 同 じマク ロ ブロ ッ ク ( 1 つのマク ロブロ ッ ク) からデータを取 り 出す場合、 ページ ミ スは発生しない。 すなわち、 ページミ スは最低 0 回、 最大 4 回、 発生 する可能性がある。
しかしながら、 DRAMなどでは、 2個のバンクが設けられてお り 、 デー 夕の書き込みや読み出 しは、 そのバンクを切り換える こ とによ り行われ ている。 マク ロブロ ッ ク においては、 1 水平ライ ン毎に、 交互に、 異な るバンク に書き込みが行わる。 そのため、 第 6 図に示したよ う に 2 つの バンク 0 とバンク 1 とを用いて書き込みが行われる場合、 ノ'ンク 0 から マク ロブロ ッ ク MA— 0 の 1 水平ライ ンのデータを読み出 し、 次にバンク 1 力 らマク ロブロ ッ ク MA— 2 の 1 水平ライ ンのデ一夕 を読み出 し、 その 次に、 ノ ンク 0 からマ ク ロブロ ッ ク MA— 1 の 1 水平ライ ンのデ一夕 を読 み出 し、 そしてその次に、 ノ ンク 1 からマク ロブロ ッ ク MA— 3 の 1 水平 ライ ンのデータを読み出すという処理を繰 り返すよ う にする。
このよ う にノ、 'ンク 0 とバンク 1 とを切 り換える こ とによ り データ を読 み出すよ う にすれば、 ページミ スは発生 しない。 すなわち、 バンク 0 と バンク 1 は、 それぞれ独立 したセ ンスア ンプを備えているため、 それぞ れ独立にアクティ ブな状態 (プリ チャージの状態) に しておく こ とが可 能であるので、 別のバン ク に記憶されているマ ク ロブロ ッ ク間を連続し て読み出 しても しバン ク を yj り 換える こ とによ り読み出 しを行っても) 、 その切 り換えによるページミ ス (ロスタイム) は無視できる。 従って
、 最初にマク ロブロ ッ ク MA— 0のデータを読み出す時に発生するページ ミ スのみ力 ロ ス タイ ム となる。
上述した説明においては、 式 ( 1 ) 乃至式 ( 3 ) においては、 Yマク ロブロ ッ クの読み出 しの場合について説明 した力 、 ク ロマ ( C b , C r ) のマク ロブロ ッ クのときは、 各式における 1 6 を 8 に して算出すれば 良い。
以上のよう に、 映像データの書き込みおよび読み出 しを行う こ とによ り 、 1 つの Yマク ロブロ ッ ク を読み出すのに必要な時間のう ち、 データ 転送の為の時間は、 8 X 1 6 ク ロ ッ ク とな り 、 ページミ スの為のロス夕 ィ ムは、 1 回のページミ スの時間を 6 ク ロ ッ ク とする と、 6 X 1 ク ロ ッ ク となるため、 データ転送の為の時間に対するページミ スによる ロスタ ィ ムの割合を減少させる こ とが可能となる。 同様に、 1 つの C b ( C r ) マク ロブロ ッ ク を読み出す場合においても、 データ転送の為の時間に 対するページミ スによる ロスタイ ムの割合を減少させる こ とが可能とな る。
次に、 映像表示装置 (不図示) に対 して、 映像データを出力する際の 処理について説明する。 第 1 図 B に示 したよ う にマク ロブロ ッ ク単位で の映像データを、 画面上でのデータ配置とフ レームメモ リ 内でのデ一夕 配置が同 じよ う に記憶した場合、 ア ド レスの昇順にデ一夕 を読み出すこ とによ り 、 映像表示が行われていたが、 第 4 図 (第 5 図) に示 したよう に、 マク ロブロ ッ ク を 1 ライ ンまたは 2 ライ ンで記 tきする場合、 ァ ド レ スの昇順にデータを読み出すこ と によ り 、 映像表示させる こ とはできな い。
換言すれば、 第 1 図 B に示 したよ う に映像データを記憶した場合、 画 面上の 1 ライ ンを表示させるために、 各マク ロブロ ッ クから 1 6 ピクセ ル ( 1 6 b y t e ) 分の映像データが読み出されるわけだが, 第 4 図 (第 5 図) に示したよ う に映像データを記憶させた場合においても同様に、 各 マク ロブロ ッ クか ら 1 6 b y t e毎の映像デ一夕を読み出さなく てならない 。 そのよ う にする と、 1 6 b y t e読み出す毎に、 ローを切 り換えなく ては ならず、 そのたびにページミ スが発生する こ とになる。 このよ うな不都 合をなく すために、 以下に示すよ う に、 ア ド レス変換を行い、 映像デ一 夕を映像表示装置に出力するよ う にすればよい。
第 3 図に示 したキャ ッ シュ メモ リ 7 を一時的なバッ フ ァ と して用い、 1 ス ライ ス分の映像データをフ レーム メモ リ 5 からキャ ッ シュ メモ リ 7 へロー ド し、 第 1 図 B に示したよ うなメモ リ 構造 (ア ド レス) に変換す る。 キャ ッ シュ メ モ リ 7 に、 S RAM ( S t a t i c RAM ) を用いた場合、 DRAMの よう に、 ページが存在しないため、 ページミ スは発生 しない。
具体的に、 第 4 図に示したよ う に Yマク ロブロ ッ クが記憶されている 状態から第 1 図 B に示したよう に Yマク ロブロ ッ クが記憶されている状 態へとァ ド レス変換する場合を説明する。 第 4 図に示したよう に映像デ 一夕が記憶されている フ レームメモ リ 7 から、 第 1 ライ ンの映像デ一夕 と してア ド レス 0 0 0 0 乃至 0 0 1 5 までの映像データ を読み出 し、 キ ャ ッ シュ メモ リ 7 のア ド レス 0 0 0 0 乃至 0 0 1 5 に記憶させる。 次に 、 第 2 ライ ンの映像デ一夕 と してア ド レス 0 0 1 6 乃至 0 0 3 1 までの 映像データを読み出 し、 キャ ッ シュ メモリ 7 のア ド レス 0 7 2 0 乃至 0 7 3 5 に記憶させる。 続いて、 第 3 ライ ンの映像データ と してア ド レス 0 0 3 2 乃至 0 0 4 7 までの映像データを読み出 し、 キャ ッ シュ メモ リ 7 のア ド レス 1 4 4 0 乃至 1 4 δ 5 に記憶させる。 このよ うな処理を繰 り返す。
このよ う に、 フ レーム メモ リ 7 から映像データを読み出す場合、 読み 出 し 自体は、 ア ド レスの昇順に行われるため、 ページミ スは 2 5 6 b y t e 毎に しか発生 しない。 キャ ッ シュ メモ リ 7 に記憶された映像データは、 フ レームメモ リ 5 に再転送され、 記憶される。 そして、 フ レーム メモ リ 5 に第 1 図 B に示 したよ う に記憶された映像データは、 映像表示装置 ( 不図示) に出力される。
キャ ッ シュ メモ リ 7 から フ レーム メモリ 5 への再転送は, 1 対 1 のァ ド レス順に行われるため、 また、 キャ ッ シュ メモリ 7 力 S RA Mで構成され ている場合はページミ スが発生しないため、 この処理による ロスタイム は発生しない。
上述した説明では、 キャ ッ シュ メモ リ 7 か ら フ レームメモ リ 5 へ映像 データを再転送するよ う に したが、 キャ ッ シュ メモ リ 7 から、 フ レーム メモ リ 5 とは異なる表示用の、 または、 スケー リ ング用のフ レームメモ リ (D RA M ) に転送されるよ う に しても良い。
上述したよ う に、 マク ロブロ ッ クの映像データの書き込みおよび読み 出 しを行う こ とによ り 、 デコー ドが終了 したマク ロブロ ッ ク を順次 D RA M などで構成される フ レームメモリ の同一ページに格納できるため、 D RA M のバース ト転送機能を利用 してページミ スが発生する回数を減少させ、 メモ リ ゾ ン ド幅を向上する こ とが可能となる。 また、 マク ロブロ ッ クが 、 フ レームメモ リ 内の同一ページ内に格納されているため、 動き補償べ ク トルによ り参照マク ロブロ ッ ク を取 り 出す場合においても、 D R A Mのバ —ス ト転送を利用 し、 ページミ スの発生回数を減少させ、 メモ リ ノ ン ド 幅を向上させる こ とが可能となる。
また、 マク ロブロ ッ ク をフ レーム メ モ リ に格納する際、 画面の水平幅 毎に交互に D R A Mの別バンクへ格納する こ と によ り 、 ¾数個 (最大 4 個) のマク ロブロ ッ クか ら予測データを取 り 出す場合においても、 ページミ スを最小に抑える こ とができ、 さ ら に、 2 つのバン クで構成できるため 、 メ モ リ システムの構造を単純化でき, 容量が小さ い (少ない) DRAMで も実現可能なため、 フ レキシブル性にとんでいる。
次に、 MPEGス ト リ ームのシーケ ンスヘッ ダ情報が検出されないときに は、 シーケ ンスヘッ ダの情報を推定 してデコー ドか開始させる こ とによ り 、 MPEGス ト リ ームを直ちにデコー ドできるよ う に した映像処理装置に ついて説明する。 第 7 図は、 この発明が適用された映像処理装置の一例 を示すものである。 第 7 図において、 デマルチプレ クサ 1 1 力ゝらの MPEG ス ト リ ームが MPEGデコーダ 1 2 に供給される と共に、 シーケンスヘッダ 推測回路 1 6 に供給される。 MPEGデコーダ 1 2 は、 MPEGス ト リ ームの復 号処理を行なう ものである。
MPEGデコーダ 1 2 で、 MPEGス 卜 リ ームが復号され、 MPEGデコーダ 1 2 から は、 ディ ジタルビデオデータのス ト リ ームが出力 される。 MPEGデコ ーダ 1 2 の出力が表示処理部 1 3 を介して、 ディ スプレイ 1 5 に供給さ れる。 これによ り 、 ディ スプレイ 1 5 に、 MPEGス ト リ ームに基づく 画面 が映出される。
MPEGデコーダ 1 2 で MPEGス ト リ ームの復号を行なう場合には、 先ず、 画サイ ズやアスペク ト比等を設定する必要がある。 これらの情報は、 シ 一ケンスヘッ ダ (Sequence— Header ) によ り検出できる。 と こ ろ力 、 シ 一ケンスヘッ ダを検出するのに時間がかかる場合がある。
そこで、 シーケ ンスヘッ ダ推測回路 1 6 が設けられる。 シーケンスへ ッ ダ推測回路 1 6 は、 ピクチャ毎に必ず含まれている情報を使って、 シ 一ケンスヘッ ダで送られてく るべき情報を推測する ものである。
すなわち、 シーケ ンスヘッ ダでは、 画サイ ズやアスペク ト比、 フ レー ム レイ ト、 V B Vバッ フ ァサイ ズ、 量子化マ ト リ ク スの情報等が送られ る。 シーケンスヘッ ダ推測回路 1 6 では、 ス ラ イ ス の情報を使って、 垂 直方向の画サイ ズが推測される。 マク ロブロ ッ クの情報を使っ て、 水平 方向の画サイ ズが推測される。 推測された垂直方向の画サイ ズと水平方 向の画サイ ズとを使って、 アスペク ト比が推測される。 D T S Z P T S 等のタイ ムスタ ンプによって復号のタイ ミ ングを知る こ とによ り 、 フ レ 一ム レイ 卜が推測される。 シーケンスヘッ ダ推測回路 1 6 の出力が MPEG デコーダ 1 2 に供給される と共に, 表示処理部 1 3 に供給される。
MPEGデコーダ 1 2 で MPEGス ト リ ームの復号を行なう場合には、 シーケ ンスヘッ ダが検出できれば、 このシーケンスヘッ ダの情報を使って、 画 サイ ズやアスペク ト比、 フ レーム レイ ト, V B Vノ、'ッ フ ァサイ ズ、 量子 化マ ト リ クス、 プログレ シブシーケンス等が設定される。
MPEGデコーダ 1 2 でシーケンスヘッ ダが検出できないときには、 シー ケンスヘッ ダ推測回路 1 6 で推測された画サイ ズやアスペク ト比、 フ レ 一ム レイ ト、 V B Vノ ッ フ ァサイ ズ、 量子化マ ト リ クス、 プログレシブ シーケンス等が設定される。
また、 MPEGデコーダ 1 2 でシーケンスヘッダが検出できないときには 、 シーケンスヘッ ダ推測回路 1 6 で推測された画サイ ズやアスペク ト比 が表示処理回路 1 3 に送られ、 シーケンスヘッ ダ推測回路 1 6 で推測さ れた画サイ ズゃァスぺク 卜比に応じて、 表示画面が設定される。
このよ う に、 この発明が適用されたこの発明が適用された MPEG復号装 置では、 シーケンスヘッ ダの情報を推測する シーケンスヘッ ダ推測回路 1 6 が設けられてお り 、 シーケンスヘッ ダが検出できないときには、 シ 一ケンスヘッ ダ推測回路 1 6 で推測された画サイ ズゃァスぺク ト比を使 つ て、 復号処理が行なわれる。 このため、 例えば、 衛星放送でチャ ンネ ルを切 り換えたときにも、 待ち時間が殆どなく , 再生を開始させる こ と ができる。
次に、 上述の シーケン スヘッ ダ推測回路 1 6 の原理、 構成について、 具体的に説明する。 第 8 図に示すよ う 、 MPEGのデータ構造は, シーケ ン ス層, G O P層, ピクチャ層、 ス ライ ス層、 マク ロブロ ッ ク層、 ブロ ッ ク層の階層構造と なっている。
シーケ ンス層は、 一連の同 じ属性、 例えば、 同 じ画サイ ズ、 同 じ映像 レー ト を持つ画面のグループである。 G O P層は、 ラ ンダムアクセスの 単位となる画面のグループである。 ピクチャ層は、 1 枚の画面に共通な 属性のグループである。 スライ ス層は、 1 枚の画面を細分化したグルー プである。 マク ロブロ ッ ク層は、 ス ライ ス層を更に細分化したグループ で、 動きベク トル検出等を行なうためのグループである。 ブロ ッ ク層は D C T変換を行なう ためのブロ ッ クそのものである。
シーケンスの先頭には、 シーケンスヘッ ダ (SH:Scquence _Header ) が設けられる。 このシーケンスヘッ ダには、
(1) Horizontal —Size— Value : 映像の水平方向の画素数
(2) Ver t i cal —Size— Value : 映像の垂直方向の画素数
(3) Aapec t —Rat io —Information : ァスぺク 卜比
(4) Frame— Rate— Code : 映像の表示周期
(5) VBV— Buf fer— Size : 発生符号量制御用仮想バッ フ ァ ( V B V ) の大 ささ
(6) Load —Quant izat ion— Matrix : マク ロブ口 ッ ク用の量子化マ ト リ ク ス
(7) Progress i ve― Sequence : 順次走 である こ とを示す
等が記述されている。
このう ち、 映像の垂直方向の画素数 (Ver cal_Size— Value ) の情 報は、 ス ライ スの情報から推定できる。
すなわち、 第 9 図は、 1 ピクチャ 中のス ライ スの構成を示すものであ る。 第 9 図に示すよ う に、 1 ピクチャ は, 複数のス ライ スに分けられる 。 1 ピクチャでの最上段 ( B s = l ) の最左端のス ライ スは S I i c e ( 1 , 0 ) と され、 最上段の左から 2 番目のス ライ スは S I i c e ( 1 , 1 ) とされる。 以下、 同様に、 1 ピクチャでの最下段 ( B s = X ) の 最左端のス ライ スは S l i c e ( N , 0 ) とされ、 最下段の左から 2 番 目のス ライ スは S I i c e ( N , 1 ) とされる。
このよ う に、 ス ライ スは、 水平方向には複数存在可能であるが、 必ず 、 ピクチャの左端で新たなス ライ ス I Dがスター ト コー ドに持つス ライ スに切り換わる。 このこ とから、 ス ライ ス使えば、 1 ピクチャの垂直方 向のサイ ズを推測する こ とができる。
すなわち, 各ス ライ スの先頭には、 スライ ス層の開始を示す同期コー ドであるス ライ ススター 卜 コー ド (Sl ice _S tart —Code) が挿入され ている。 このスライ ススター ト コー ドは、 1 6 進数の 「 0 0 0 0 0 1 0 1 ~ A F」 で示されてお り 、 コー ドの最後の 1 バイ ト ( 4ノ、'イ ト 目の 「 0 1 ~ A F」 ) は、 スライ スの垂直位置を 1 6 進数で示している 。 このよう に、 ス ライ ススター ト コー ド (Sl ice —Start —Code) の 4 バイ ト 目は、 ス ライ スの垂直方向の位置に対応 しており 、 これは、 同一 のライ ンでは同一の数となる。
以上の こ とか ら、 1 ピクチャでの最下段でのス ライ ススター トコー ド の 4 バイ ト 目 を検出すれば、 画面の垂直方向の画素数が推定できる こ と になる。
第 1 0 図は、 上述のよ う に、 ス ライ スの情報から画面の垂直方向の画 素数を推定するための構成を示す機能ブロ ッ ク図である。 第 1 0 図にお いて、 入力端子 4 1 に MPEGス ト リ ームが供給される。 この MPEGス ト リ ー ム中の ピクチャ スター ト コー ド (Picture —Start —Code) がピクチャ スター ト コー ド検出部 4 2 で検出され、 ス ライ スス ター ト コー ド (Sl ic e Start Code) がスライ スス ター ト コー ド検出部 4 3 で検出される ピクチャ スター ト コー ド (Pic ture — Start —Code) は、 ピクチャ層 の開始を示すコー ドである。 スライ ススター ト コー ド (Sl ice — Start — Code) は、 スライ ス層の開始を示すコー ドで、 このス ライ ススター ト コー ドの 4 バイ ト 目は、 垂直位置を示している。
ス ライ ススター ト コー ド検出部 4 3 の出力が 4 バイ ト 目抽出部 4 4 に 送られる。 4 ノ イ ト 目抽出部 4 4 で、 スライ ススター ト コー ドの 4 ノ ィ ト 目 の情報が抽出される。 こ の 4 ノ、'ィ ト 目抽出部 4 4 の出力が垂直サイ ズレジス夕 4 5 に送られる。
ピクチャスター ト コー ド検出部 4 2 でピクチャ スター ト コー ドが検出 される こ とによ り , 1 ピクチャの先頭が検出できる。 1 ピクチャの先頭 が検出されたら、 垂直サイ ズレジス夕 4 5 がリ セッ ト される。 そして、 ス ライ ススター トコー ド検出部 4 3 でスライススター ト コー ドが検出さ れたかどうかが判断される。
ス ライ ススター ト コー ド検出部 4 3 でス ライ ススター ト コー ドが検出 されたら、 4ノ、'ィ ト 目抽出部 4 4 でス ライ ススター ト コー ドの 4 バイ ト 目の情報が抽出され、 このス ライ スス ター ト コー ドの 4 バイ ト 目の情報 がレジスタ 4 5 に供給される。 そ して、 ピクチャ スター ト コー ド検出部 4 2 で次の ピクチャ スター ト コ一 ドが検出されるまで、 ス ライ スス ター ト コー ド検出部 4 3 でス ライ ススター トコー ドが検出されたら、 4 バイ ト 目抽出部 4 4 でス ライ ススター ト コー ドの 4 バイ ト 目の情報を抽出 し 、 この値でレジス夕 4 5 を更新してい く 。
そ して、 ピクチャ スター ト コー ド検出部 4 2 で次の ピクチャ スター ト コー ドが検出された ら 、 レジスタ 4 5 の情報が垂直方向の画素数の情報 と して、 垂直サイ ズレ ジス 夕 4 6 に取 り込まれる。
このよ う に、 ピクチャの先頭か ら最後まで、 スライ スス ター ト コー ド 検出部 4 3 でス ライ ス ス ター ト コー ド を検出 していき, ス ライ スス 夕一 ト コー ドが検出されたら、 4 バイ 卜 目油出部 4 4 でその 4 ゾ ィ ト 目の値 を抽出 して垂直サイ ズレジス タ 4 5 に取り込んでいけば、 垂直サイ ズレ ジス 夕 4 6 の値から、 垂直方向の画素数の推定値が得られる。
映像の水平方向の画素数 ( Hor izontal —Si ze— Value ) については 、 マク ロブロ ッ クの情報から推定できる。 すなわち、 第 1 1 図に示すよ う に、 マク ロブロ ッ ク は、 ス ライ ス を更に区切ったものである。 なお、 この例では、 スライス S 1 i c e ( 1 , 0 ) に, マク ロブロ ッ ク M B 1 、 B 2 , M B 3 があ り 、 ス ライ ス S I i c e ( 1 , 1 ) に M B 4 、 B 5 、 M B 6 、 M B 7 がある。 また、 ス ライ ス S I i c e ( 1 , 0 ) の マク ロブロ ッ ク M B 2 と λΐ B 3 との間に、 スキッ プされたマク ロ ブロ ッ クが存在する。
マク ロブロ ッ クの先頭には、 マク ロブロ ッ ク ア ド レスイ ンク リ メ ン ト (Macrob I ock— Address _ Increment ) 力 設けられる。 このマク ロブ口 ッ ク ア ド レスイ ンク リ メ ン トは、 スキップするマク ロブロ ッ ク を示す V L C (可変長符号) であ り 、 通常の隣接するマク ロブロ ッ クでは 「 1 」 である力 スキッ プされるマク ロブロ ッ クが存在する場合には、 スキッ プされたマク ロブロ ッ ク の分だけ增加 し た値となる。
したがって、 1 スライ ス内でのマク ロブロ ッ クア ド レスイ ンク リ メ ン 卜の値をマク ロブロ ッ ク毎に蓄積していき、 水平方向に複数のス ライ ス が存在する場合には、 各ス ライ スにおいて蓄積されたマク ロブロ ッ クァ ド レスイ ンク リ メ ン トの値を合算する こ とで、 1 画面当た り の横方向の マク ロブロ ッ ク数が認識できる。 これに、 マク ロブロ ッ ク の大きさ、 す なわち、 輝度信号に関 しては 「 1 6 」 、 2 つの色差信号に関 しては 「 8 」 を乗じれば、 1 ピクチャ 当たり の水平方向の画素数が推定できる。 第 1 2 図は、 上述のよ う に、 マク ロ ブロ ッ クの情報か ら画面の水平方 向の画素数を推定するための構成を示す機能プロ ッ ク図である。
第 1 2 図において、 入力端子 5 1 に MPEGス ト リ ームが供給される。 こ の MPEGス ト リ ーム中のスライ ススター ト コー ド (Sl ice — Start —Code ) がス ライ ススター ト コー ド検出部 5 2 で検出され, マク ロブロ ッ クァ ド レスイ ンク リ メ ン ト (Macroblock― Address ― Increment ) 力 マク ロ ブロ ッ ク ア ド レスイ ンク リ メ ン ト検出部 5 3 で検出される。
また、 水平方向の画素数を推測する場合には、 始めのピクチャ コーデ イ ングタイ プ (Pic ture Cod i ng Type ) が何であろ う と、 MPEGデコーダ 1 2 で、 その ピクチャのみでイ ン ト ラ処理で復号が行なわれる。 そ して 、 マク ロブロ ッ クの復号が行なわれる と、 マク ロブロ ッ クの復号が行な われたこ とを示す信号が出力される。 このマク ロブロ ッ クの復号が行な われたこ とを示す信号が入力端子 6 2 から、 デコー ドマク ロブロ ッ ク検 出部 5 7 に供給される。
ス ライスコー ド検出部 5 2 によ り 、 1 ライ ンの最左端のスライ スが検 出される と、 レジスタ 5 5 、 レジスタ 5 8 A、 5 8 B 、 …、 水平サイ ズ レジス夕 6 1 がク リ アされる。 そして、 マク ロブロ ッ クア ド レスイ ンク リ メ ン ト検出部 5 3 で、 マク ロブロ ッ ク ア ド レスイ ンク リ メ ン ト (Macr oblock― Address ― Increment ) 力 検出される。
このマク ロブロ ッ ク ァ ド レスイ ンク リ メ ン トは、 マク ロブロ ッ クのス キッ プ情報を示し, 「 1 」 〜 「 3 3 」 に対応するイ ンク リ メ ン ト値が可 変長符号で書かれている。 なお、 マク ロブロ ッ クア ド レスイ ンク リ メ ン ト力 「 3 3 」 以上のときには, マク ロブロ ッ クエス ケープ (Macroblock — Escape) も参照される。
マク ロブロ ッ ク ア ド レスイ ン ク リ メ ン ト検出き G 5 3 の出力が V L C復 号部 5 4 に供給される。 V L C復号部 5 4 で、 マク ロブロ ッ ク ア ド レス イ ン ク リ メ ン トの値が復号される。 V L C復号部 5 4 の出力が加算器 5 6 に供給される。 加算器 5 6 には 、 レジスタ 5 5 の出力が供給される。 レジス夕 5 5 には、 デコー ドマク ロブロ ッ ク検出部 5 7 の出力が供給される。 デコー ドマク ロブロ ッ ク検 出部 5 7 の出力から、 マク ロブロ ッ クの復号が行なわれたこ とが検出さ れる と、 加算器 5 6 で、 今回のマク ロブロ ッ ク ア ド レスイ ンク リ メ ン ト の値と、 前回のマク ロブロ ッ クァ ド レスィ ンク リ メ ン 卜の値とが加算さ れ、 マク ロブロ ッ ク ア ド レスイ ンク リ メ ン トの値が蓄積されていく 。 こ れによ り 、 同一の水平ライ ンの各ス ライ スでのマク ロブロ ッ ク ァ ド レス イ ンク リ メ ン 卜の蓄積値が求め られる。
レ ジスタ 5 5 の出力力 レジスタ 5 8 A 、 5 8 B , …に供給される。 レ ジス 夕 5 8 A 、 5 8 B 、 …は、 水平方向に複数のス ライ スがある場合に 、 各スライスでのマク ロブロ ッ ク ア ド レスイ ンク リ メ ン トの蓄積値を取 り込むものである。 レジスタ 5 8 A 、 5 8 B、 …には、 スライ ススター ト コー ド検出部 5 2 の出力が供給される。 このス ライ ススター ト コー ド 検出部 5 2 の出力によ り 、 マク ロブロ ッ ク ア ド レスイ ンク リ メ ン トの蓄 積値がス ライ ス毎に レジスタ 5 8 A 、 5 8 B、 …に取 り込まれる。 例え ば、 同一の水平ライ ンの最初のス ライ スでのマク ロブロ ッ クァ ド レスィ ンク リ メ ン トの蓄積値がレジスタ 5 8 Aに取り込まれ、 同一の水平ライ ンの次のス ライ スでのマク ロブロ ッ ク ア ド レスイ ン ク リ メ ン トの蓄積値 力 レジス夕 5 8 B に取 り込まれてい く 。
レジスタ 5 8 A 、 5 8 B 、 …の出力が加算器 5 9 に供給される。 加算 器 5 9 で、 各ス ライ スでのマク ロブロ ッ ク ア ド レスイ ンク リ メ ン トの蓄 積値が合算される。 このよ う に、 ス ライ スにおいて蓄積されたマク ロ ブロ ッ ク ア ド レスイ ンク リ メ ン トの値を合算する こ とで、 1 画面当た り の横方向のマク ロブロ ッ ク数が求め られる。
加算器 5 9 の出力が乗算器 5 0 に供給される。 乗算器 5 0 は、 マク ロ ブロ ッ クの数に、 マク ロブロ ッ クの大きさ を乗 じて . 水平方向の画素数 を算出する ものである。 すなわち、 乗算器 5 0 で、 マク ロブロ ッ ク数に マク ロブロ ッ クの水平方向の大きさ を乗じる こ とによ り , 1 ピクチャ当 た り の水平方向の画素数が!?出される。 このよう に して求め られた水平 方向の画素数が水平サイ ズレ ジス 夕 6 1 に供給される。
このよ う に、 加算器 5 6 及びレジス タ 5 5 で、 1 ス ライ ス内でのマク ロブロ ッ クア ド レスイ ンク リ メ ン トの値をマク ロブロ ッ ク毎に蓄積して いき、 加算器 5 9 で各ス ライ スにおいて蓄積されたマク ロブロ ッ ク ア ド レスイ ンク リ メ ン トの値を合算する こ とで、 1 画面当た り の横方向のマ ク ロブロ ッ ク数が算出される。 乗算器 6 0 で、 これにマク ロブロ ッ クの 大き さが乗じ られ、 1 ピクチャ 当た り の水平方向の画素数が求め られる ァスぺク ト比 ( Aapec t —Rat io —Informat ion ) については、 上述 のよ う に して求められた映像の水平方向の画素数と垂直方向の画素数と から推測できる。 画サイ ズが ( 7 2 0 X 4 8 0 ) なら, SDTVなので、 ァ スぺク ト比は ( 4 : 3 ) と推定される。 画サイ ズが ( 9 2 0 X 1 0 8 0 ) な ら、 HDTVなので、 ( 1 6 : 9 ) と推定される。
映像の表示周期 (Frame —Rate— Code) については、 DTS/PTS 等の夕 ィ ムスタ ンプによって復号化のタイ ミ ングを知る こ とによ り 、 間接的に 類推される。
なお、 発生符号量制御用仮想バッ フ ァ ( VBV ) の大きさ ( VBV— Bu f f er— S ize) については、 考え られる レベル · プロフ ァイ ルにおいて最大 のものが用意される。 同様に、 復号化映像についても、 通常考えられる 該当する レベル · プロフ ァイルにおいて最大サイ ズの容量が確保される マク ロブロ ッ ク用の量子化マ ト リ ク ス (Load Quant izat ion Mat r i ) については、 デフ ォル ト値で代用される。
プログレシブシーケンス (Progress ive ― Sequence ) につレ ては、 毎 フ レーム多重化される ピクチャ コ一ディ ングタイ プ (Pi c ture —Coding — Type) の中のプロ グレシブフ レーム (Progress ive —Frame ) で代用 される。
なお、 上述の例では、 MPEG 1 又は MPEG 2 方式のス ト リ 一ムをデコー ド する場合について説明 したが、 この発明は、 同様な階層構造のス ト リ ー ムをデコー ドする場合にも, 同様に適用できる。
上述の説明では、 ソ フ ト ウェアによる MPEGビデオス ト リ ームの復号に ついて説明 した力 以下にソ フ ト ウェアによる MPEGオーディ オス ト リ ー ムの復号について説明する。 MPEGオーディ オデコーダは、 外部から供給 される MPEGオーディ オデ一夕を、 デコー ドモジュールで復号し、 復号し たデータをコーデッ クモジュールに供給し、 コ一デッ クモジュールでデ ジ夕ル Zアナログ変換してから外部の装置に出力 している。
しかしながら、 デコー ドモジュールで復号した MPEGオーディ オデータ を、 コーデッ クモジュールへ出力する際に、 MPEGオーディ オデータのチ ヤ ンネルを切 り替える と、 一定の時間、 チャ ンネルを切 り替える前のデ 一夕が出力され、 都合が悪い。
そのため本発明におけるソ フ ト ウエアによるオーディ ォデコーダにお いては、 チャ ンネル切替時に、 デコー ドモジュールから コ一デッ クモジ ユールへ、 ミ ュー トのデ一夕を出力するよ う に している。
第 1 3 図は、 オーディ オデコーダ 1 0 0 の一実施の形態の構成を示す ブロ ッ ク図である。
ユーザは、 入力部 1 1 1 を操作 して所望の情報を入力する。 例えば、 ユーザは、 入力部 1 1 1 を操作する こ とによ り 、 デコーダ 1 0 0 の電源 を " O N " した り 、 外部から供給される MPEGオーディ オデータのチャ ン ネルを切 り 替えた り 、 ミ ュー ト を指令 した りする。
CPU 1 1 2 は、 入力部 1 1 1 から供給される情報に基づいて、 後述す る メモ リ 1 1 5 乃至 1 1 7 に記憶されているプログラムを読み出 し 、 そ のプロ グラム を実行する。 データ切替スィ ッチ 1 1 3 は、 MPEGオーディ ォデ一夕やプロ グラムデータの切 り 替えを行う 。 外部から供給される MP EGオーディ オデータは、 DMA(Di rec t Memory Access) バス 1 2 0 および データ切替スィ ッチ 1 1 3 を介して、 メモ リ 1 1 4 に入力され、 記憶さ れる。
メモ リ 1 1 5 には、 電源と リ ンク した A C リ ンク プログラムが記憶さ れてお り 、 ユーザが入力部 1 1 1 を介 して、 デコーダ 1 0 0 の電源を " O N " にする と、 CPU 1 1 2 は、 デ一夕切替ス ィ ッチ 1 1 3 を介 して、 A C リ ンク プログラムを読み出 し、 実行する。
メモ リ 1 1 6 には、 入力部 1 1 1 から入力される情報に対応する、 メ ッセージを送信する メ ッセージ送信プログラムが記憶されている。 この メ ッセージは、 後述するメモ リ 1 1 7 に記憶されているデコー ドプログ ラムとデ一夕転送処理プログラムに対して送信される。 即ち、 ユーザが 入力部 1 1 1 を介 して所望の情報を入力する と, CPU 1 1 2 は、 データ 切替スィ ッチ 1 1 3 を介して、 メ ッセージ送信プロ グラムを読み出 して 実行 し、 入力 された情報に対応する メ ッセージを、 デコー ドプログラム とデータ転送処理プログラムに送信する。
メモリ 1 1 7 には、 メモ リ 1 1 4 に記憶されている MPEGオーディ オデ 一夕を、 供給される メ ッセージのタイ ミ ン グで復号するデコー ドプログ ラム とデータ転送処理プログラムが記憶されている。 CPU 1 1 2 は、 供 給される メ ッセージのタイ ミ ングで、 メモ リ 1 1 4 に記憶されている MP EGオーディ オデータを復号し 、 復号 した後のデータ を再び、 メモ リ 1 1 4 に記憶させる。 次に、 CPU 1 1 2 は、 デ一夕転送処理プロ グラムを読 み出 して実行 し、 メ モ リ 1 1 4 に記馇されている復号後の MPEGオーディ ォデータ を、 出力ノ ッ フ ァ 1 1 8 に転送する。 尚、 電源 " 0 N " 時、 チ ヤ ンネル切替時、 およびミ ュー ト指令時には、 メモ リ 1 1 4 に、 予め記 憶されている ダミ ーデータ ( " 0 " のデ一夕) 力 、 出カノ ッ フ ァ 1 1 8 に転送される。
出カノ ッ フ ァ 1 1 8 に一時的に記憶されているデ一夕は、 DMA バス 1 2 0 を介 してコーデッ ク 1 1 9 に供給される。 コーデッ ク 1 1 9 は、 供 給された復号後の MPEGオーディ オデータをデジタル アナロ グ変換 し、 変換後のデータを DMA バス 1 2 0 を介して外部の装置 (図示せず) に出 力する。
次に、 メ ッセージ送信プログラムからデコー ドプログラムとデータ転 送処理プログラムに対して送信される メ ッセージの例について、 第 1 4 図を参照 して説明する。
先ず、 ユーザによ り 、 入力部 1 1 1 を介 して、 電源が " O N " (時刻 t 1 ) される と、 " U " メ ッセージが > デコー ドプロ グラムとデータ転 送処理プログラムに送信される。 この " U " メ ッセージは、 電源が投入 されたこ とを示すためのものである。 次に、 " W " メ ッセージが、 所定 の時間 ( T 2 ) 、 デコー ドプロ グラム とデータ転送処理プロ グラムに送 信される。 この "W" メ ッセージは、 「復号するのを待ちなさ い」 とレ、 う こ とを示してお り 、 T 2 は、 メモ リ 1 4 に所定量の MPEGォ一ディ ォデ 一夕が記憶されるまでの時間である。
メモリ 1 1 4 に所定量の MPEGオーディ オデータが記憶される と, " F " メ ッセージが、 デコー ドプログラムとデータ転送処理プロ グラムに送 信される。 この " F " メ ッセージは、 「復号を開始 しなさ い」 という こ とを示してお り 、 この メ ッセージを受け取る と、 CPU 1 1 2 は、 メモリ 1 1 4 に記憶されている MPEGオーディ オデータの復号を開始する。 その 後、 " N " メ ッセージが、 デコー ドプログラムとデータ転送処理プログ ラムに送信される ( T 3 ) 。 この " N " メ ッセージは、 「復号を統けな さ い」 と いう こ とを示 してお り 、 このメ ッセージに従って、 CPU 1 1 2 は、 復号を続ける。
ユーザが、 入力部 1 1 1 を操作 して、 チャ ン ネルを切 り替える と、 " W" メ ッセージが、 所定の時間 ( Τ 5 ) 、 デコー ドプロ グラムとデ一夕 転送処理プロ グラムに送信され、 CPU 1 1 2 は、 新し い MPEGオーディ オ デ一夕を復号するのを待つ こ とになる。 尚、 T 5 は、 チャ ンネル切替後 の MPEGオーディ オデータ力 メモ リ 1 1 4 に所定の量だけ記憶されるま での時間である。
メモ リ 1 1 4 に所定量の MPEGオーディ オデ一夕が記憶される と、 " F " メ ッセージが、 デコー ドプログラムとデ一夕転送処理プロ グラムに送 信され、 CPU 1 1 2 は、 MPEGオーディ オデ一夕の復号を開始する。 その 後、 " N " メ ッセージが、 デコー ドプログラムとデータ転送処理プログ ラムに送信され ( T 6 ) 、 CPU 1 1 2 は、 復号を続ける。
ユーザ力 入力部 1 1 1 を操作 して、 デコーダ 1 0 0 の電源を "OFF " にする と (時刻 t 7 ) 、 " D " メ ッセージが、 デコー ドプロ グラムと デ一夕転送処理プロ グラムに送信され、 MPEGオーディ ォデータの復号は 終了 される。
次に、 CPU 1 1 2 力 メモ リ 1 1 4 力 ら出力ゾ ッ フ ァ 1 1 8 へ転送す るデータを、 メ ッセージに基づいて切 り替える機能について、 第 1 5 図 を参照して説明する。
第 1 5 図 A ) は、 メモ リ 1 1 4 に予め存在しているダミーブロ ッ ク 1
3 1 を示 している。 ダミ ーブロ ッ ク 1 3 1 には、 " 0 " デ一夕が格納さ れている。 第 1 5 図 B は、 復号後の MPEGオーディ オデータが格納される
BBBチェーン 1 3 2 を示 している。 BBBチェーン 1 3 2 は、 a ブロ ッ ク 1 4 1 乃至 f ブロ ッ ク 1 4 6 の 6 つのブロ ッ クで構成されてお り 、 復号 した後の MPEGオーディ オデータを、 a ブロ ッ ク 1 4 1 から順番に格納す る。
メ ッセージ送信プロ グラムからデータ転送処理プロ グラムに対して、 " W" メ ッセージが送信されている場合 (例えば、 第 1 4 図の時間 T 2 および T 5 ) , CPU 1 1 2 は、 メモ リ 1 1 4 のダミ ーブロ ッ ク 1 3 1 か ら " 0 " デ一夕を読み出 し, 読み出 した " 0 " データを出力バッ フ ァ 1 1 8 へ転送する。 これによ り 、 電源 " O N " 時およびチャ ンネル切替時 には、 所定の時間、 コーデッ ク 1 1 9 へミ ュー トのデータが出力される こ とになる。
メ ッセージ送信プロ グラムからデータ転送処理プロ グラムに対して, " F " メ ッセージまたは " N " メ ッセージが送信されている場合 (例え ば、 第 1 4 図の時間 T 3 および T 6 ) 、 CPU 1 1 2 は、 メモリ 1 1 4の BBBチェ一ン 1 3 2 の a ブロ ッ ク 1 4 1 から順番に、 復号後のデータを 読み出 し、 読み出 したデ一夕を出力バッ フ ァ 1 1 8 へ転送する。 これに よ り 、 MPEGオーディ オデ一夕を復号している間は、 復号した後のデータ がコ一デッ ク 1 1 9 へ出力される こ とになる。
次に、 デコーダ 1 0 0 の電源が投入された場合、 CPU 1 1 2 がメ ッセ —ジに基づいて、 メモ リ 1 1 4から出力バッ フ ァ 1 1 8 へ転送するデー タを切り替える際の処理動作について、 第 1 6 図のフ ローチャー ト を参 照して説明する。
先ず、 ステッ プ S 1 1 において、 ユーザが入力部 1 1 1 を操作 して、 デコーダ 1 0 0 の電源を " O N " にする と、 CPU 1 1 2 は、 メモ リ 1 1 5 から A C リ ンク プロ グラムを読み出 し、 実行する。
次に、 ステッ プ S 1 2 において, CPU 1 1 2 は、 メモ リ 1 1 6 力、ら メ ッセージ送信プロ グラムを読み出 し 、 実行する。 このとき、 デコー ドブ ロ グラム とデータ転送処理プログラムに対 して、 電源が投入されたこ と を示す " U " メ ッセージが送信される。
ステッ プ S 1 3 において、 デコー ド プロ グラムとデータ転送処理プロ グラムに対 して、 復号開始を待つこ とを示す " W " ス ッセージが送信さ れる。
ステッ プ S 1 4 において、 CPU 1 1 2 は、 メモ リ 1 1 4 のダミーブロ ッ ク 1 3 1 か ら " 0 " データを読み出 し、 そのデータ を出力バッ フ ァ 1 1 8 へ転送する。
ステッ プ S 1 5 において、 CPU 1 1 2 は、 MPEGォーディ ォデ一夕が所 定の量だけメモ リ 1 1 4 に記憶されたか否かを判定する。 ステッ プ S 1 5 において、 メモ リ 1 1 4 に MPEGオーディ オデータが所定の量だけ記憶 されていないと判定された場合、 ステッ プ S 1 3 に戻 り 、 それ以降の処 理が繰り返し、 実行される。
ステッ プ S 1 5 において、 メモ リ 1 1 4 に MPEGオーディ オデータが所 定の量だけ記憶されたと判定された場合、 ステッ プ S 1 6 に進み、 デコ ー ドプログラムとデータ転送処理プロ グラムに対して、 復号開始を示す " F " メ ッセージが送信される。
ステッ プ S 1 7 において、 CPU 1 1 2 は メモ リ 1 1 4 に記憶されて いる MPEGォーディ ォデ一夕の復号を開始 し 復号 したデータをメモ リ 1 1 4 の BBB チェーン 1 3 2 に格納する。
ステッ プ S 1 8 において、 CPU 1 1 2 は、 メ モ リ 4 の BBB チェ一 ン 1 3 2 から復号 したデータを読み出 し, そのデータを出力バッ フ ァ 1 1 8 へ転送する。
ステッ プ S 1 9 において、 CPU 1 1 2 は、 全ての MPEGォーディ ォデ一 夕を復号したか否かを判定する。 ステ ッ プ S 1 9 において、 全ての MPEG オーディ オデータが復号されていない と判定された場合、 ステッ プ S 1 6 に戻 り 、 それ以降の処理が繰 り返し 、 実行される。 ステッ プ S 1 9 に おいて、 全ての MP E Gオーディ ォデータが復号されたと判定された場合、 処理動作は終了される。
次に、 第 1 7 図を参照 して、 上述した一連の処理を実行する プロ グラ ムをコ ン ピュータにイ ンス トール し、 コ ン ピュータによって実行可能な 状態とするために用い られる媒体について説明する。
プログラムは、 第 1 7 図 Aに示すよ う に、 パーソナルコ ンピュータ 1 5 1 (映像復号装置に相当) に内蔵されている記録媒体と してのハー ド ディ スク 1 5 2や半導体メモ リ 1 5 3 に予めイ ンス トールした状態でュ 一ザに提供する こ とができる。
あるいはまた、 プロ グラムは、 第 1 7 図 B に示すよ う に、 フ ロ ッ ピー ディ スク 1 6 1 、 C D-RO M 1 6 2 、 M〇ディ スク 1 6 3 、 DVD 1 6 4 、 磁 気ディ ス ク 1 6 5 、 半導体メモリ 1 6 6 などの記録媒体に、 一時的ある いは永続的に格納し、 パッ ケージソ フ トウエアと して提供する こ とがで きる。
さ らに、 プログラムは、 第 1 7 図 C に示すよう に、 ダウ ンロー ドサイ ト 1 7 1 から、 無線で衛星 1 7 2 を介 して、 パーソナルコ ン ピュータ 1 7 3 に転送した り 、 ローカルエ リ アネ ッ ト ワーク、 イ ン夕一ネ ッ ト とい つたネッ ト ワーク 1 8 1 を介 して、 有線または無線でパーソナルコ ンビ ユー夕 1 7 3 に転送し、 パーソナルコ ンピュータ 1 7 3 において、 内蔵 するハー ドディ ス クなどにダウ ン口一 ドさせるよ う にする こ とができる 本明細書における媒体とは、 これら全ての媒体を含む広義の概念を意 味する ものである。
本発明に係わる映像処理装置、 映像処理方法、 および媒体においては 、 入力されたマク ロブロ ッ ク単位の映像データに、 昇順にア ド レス を割 り 当て、 記憶し、 記憶された映像データを、 ア ド レ ス の昇順に読み出す よ う に したので、 ペー ジミ スが発生する回数を抑制する事が可能となる 本発明に係わる映像処理装置及び方法によれば、 シーケンスヘッ ダが 検出 されないときには、 ス ライ スス夕一 ト コ一 ド (Sl ice —Start —Co de) の 4バイ ト 目検出 して、 画面の垂直方向の画素数が推定され、 マク ロブ口 ッ ク ァ ド レスィ ンク リ メ ン ト (Macroblock— Address ― Incremen 1 ) を蓄積して画面の水平方向のマク ロブロ ッ ク数が求め られ、 これに マク ロブロ ッ クの大きさ を乗算して、 画面の水平方向の画素数が推定さ れる。 そ して、 このよ う に して推定された情報を使っ て MPEGの復号が行 なわれる。 これによ り 、 シーケンスヘッ ダを検出 しな く ても、 直ち に、 MPEGス ト リ ームの復号を行なう こ とができる。 産業上の利用可能性
本発明は、 MPEGで圧縮された映像信号を復号する際に用いて好適なも のである。

Claims

請 求 の 範 ii
1 . マク ロブロ ッ ク ^位の映像データを入力する入力手段と、
上記入力手段によ り 入力された上記映像データに、 i"順にァ ド レスを 割 り 当て、 記憶する記憶手段と、
上記記億手段に記憶された上記映像データを、 ァ ド レ スの昇順に読み 出す読み出 し手段と
を含むこ とを特徴とする映像処理装置。
2 . 上記読み出 し手段によ り読み出された上記映像データを、 上記映像 データに基づいて表示される映像と同等のア ド レス配置に変換し、 記憶 する変換記億手段を
さ らに含むこ とを特徴とする請求の範囲第 1 項に記載の映像処理装置
3 . 上記記憶手段は、 2 以上のバンク を備え、 上記映像データに基づき 表示される映像の水平方向の幅毎に、 上記バンク を切 り換えて上記映像 データを記憶する
こ とを特徴とする請求の範囲第 1 項に記載の映像処理装置。
4 . マク ロブロ ッ ク単位の映像データを入力する入力ステッ プと、 上記入力ステッ プで入力された上記映像データに、 昇順にア ド レスを 割 り 当て、 記憶する記億ステッ プと,
上記記憶ステッ プで記億された上記映像データを、 ァ ド レ スの昇順に 読み出す読み出 しステッ プと
を含むこ とを特徴とする映像処理方法。
5 . マク ロブロ ッ ク単位の映像データ を入力する入力ステッ プと、 上記入力ステッ プで入力された上記映像デ一夕に、 昇順にア ド レスを 割 り 当て、 記憶する記憶ステッ プと、 上記記憶ステッ プで記 1Sされた上記映像データを、 ァ ド レスの昇順に 読み出す読み出 しステッ プと
からなる こ とを特徴とするプロ グラムをコ ン ピュータに実行させる媒 体。
6 . シーケンス層 と G O P層と ピクチャ層 とス ライ ス層とマク ロブロ ッ ク層とブロ ッ ク層とからなる階層構造の ビデオス ト リ ームを復号する映 像処理装置において、
ピクチャ内に必ず現れる情報に基づいてシーケンスヘッ ダ情報を推定 する シーケンスヘッ ダ情報推定手段と、
上記シーケ ンスヘッ ダが検出されないときには、 上記ヘッ ダ情報推定 手段で推定された情報を用いて ビデオデータを復号する復号手段と を備えるよ う に した映像処理装置。
7 . 上記シーケンスヘッ ダ情報推定手段は、 ス ライ スでの情報から画面 の垂直方向の画素数を推定する垂直画素数推定手段を含む請求の範囲第 6項に記載の映像処理装置。
8 . 上記シーケンスヘッ ダ情報推定手段は、 マク ロブロ ッ クでの情報か ら画面の水平方向の画素数を推定する水平画素数推定手段を含む請求の 範囲第 6 項に記載の映像処理装置。
9 . 上記シーケンスヘッ ダ情報推定手段は、 ス ライ スでの情報から画面 の垂直方向の画素数を推定し、 マク ロブロ ッ クでの情報から画面の水平 方向の画素数を推定 し、 上記推定された垂直方向の画素数と水平方向の 画素数とから 、 画面のァスぺク ト比を推定するァスぺク ト比推定手段を 含む請求の範囲第 6 項に記載の映像処理装置。
1 0 . シーケ ン ス層と G O P層と ピクチャ層とス ライ ス層とマク ロプロ ッ ク層とブロ ッ ク層とからなる階層構造の ビデオス ト リ 一ムを復号する 映像処理方法において、 ピクチャ内に必ず現れる情報に基づいて シーケ ンスヘッ ダ情報を推定 し、
上記シーケンスヘッ ダが検出されないときには, 上記推定さ れた情報 を用 いて ビデオデータを復号する
よ う に した映像処理方法。
1 1 . 上記シーケンスヘッ ダ情報の推定は、 ス ライ スでの情報か ら画面 の垂直方向の画素数を推定するよ う に した請求の範囲第 1 0 項に記載の 映像処理方法。
1 2 . 上記シーケンスヘッ ダ情報の推定は、 マク ロブロ ッ クでの情報か ら画面の水平方向の画素数を推定するよ う に した請求の範囲第 1 0 項に 記載の映像処理方法。
1 3 . 上記シーケンスヘッ ダ情報の推定は、 ス ライ スでの情報から画面 の垂直方向の画素数を推定 し、 マク ロブロ ッ クでの情報から画面の水平 方向の画素数を推定し、 上記推定された垂直方向の画素数と水平方向の 画素数とから、 画面のアスペク ト比を推定するよう に した請求の範囲第 1 0 項に記載の映像処理装置。
PCT/JP2000/002406 1999-04-13 2000-04-13 Video processing device and method, and medium WO2000062550A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US09/719,452 US7110663B1 (en) 1999-04-13 2000-04-13 Video processing apparatus and method for allocating addresses to data of macroblocks and storing the same, and medium containing a program for performing such method
EP00915506A EP1089567A4 (en) 1999-04-13 2000-04-13 MEDIUM, DEVICE AND METHOD FOR VIDEO PROCESSING
US11/494,723 US20060263069A1 (en) 1999-04-13 2006-07-27 Video processing apparatus and method for allocating addresses to data of macroblocks and storing the same, and medium containing a program for performing such method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP11/105255 1999-04-13
JP10525599A JP4029520B2 (ja) 1999-04-13 1999-04-13 ビデオ復号化装置及び方法
JP11/122647 1999-04-28
JP12264799A JP4171949B2 (ja) 1999-04-28 1999-04-28 情報処理装置および方法、並びに提供媒体
JP15379799A JP2000348168A (ja) 1999-06-01 1999-06-01 画像処理装置および方法、並びに媒体
JP11/153797 1999-06-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/494,723 Division US20060263069A1 (en) 1999-04-13 2006-07-27 Video processing apparatus and method for allocating addresses to data of macroblocks and storing the same, and medium containing a program for performing such method

Publications (1)

Publication Number Publication Date
WO2000062550A1 true WO2000062550A1 (en) 2000-10-19

Family

ID=27310434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/002406 WO2000062550A1 (en) 1999-04-13 2000-04-13 Video processing device and method, and medium

Country Status (5)

Country Link
US (2) US7110663B1 (ja)
EP (1) EP1089567A4 (ja)
KR (1) KR100767611B1 (ja)
CN (1) CN1140125C (ja)
WO (1) WO2000062550A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852343B2 (en) 2004-04-15 2010-12-14 Panasonic Corporation Burst memory access method to rectangular area

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100356779C (zh) * 2003-12-24 2007-12-19 瑞昱半导体股份有限公司 能够提升影像处理效率的内存储存方法
US9560367B2 (en) 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
CN100397903C (zh) * 2004-12-21 2008-06-25 北京中星微电子有限公司 视频编解码过程中宏块数据读取的方法
US8773328B2 (en) * 2005-02-12 2014-07-08 Broadcom Corporation Intelligent DMA in a mobile multimedia processor supporting multiple display formats
CN1949826B (zh) * 2005-10-12 2010-06-23 宏正自动科技股份有限公司 数字影像数据处理装置
JP4900470B2 (ja) * 2007-02-22 2012-03-21 富士通株式会社 動画像符号化装置および動画像符号化方法
KR101086434B1 (ko) * 2007-03-28 2011-11-25 삼성전자주식회사 비디오 데이터 디스플레이 방법 및 장치
US8737469B1 (en) * 2007-04-03 2014-05-27 Mediatek Inc. Video encoding system and method
KR101664112B1 (ko) 2010-11-16 2016-10-14 삼성전자주식회사 메모리 접근 주소 변환 장치 및 방법
CN101996142B (zh) * 2010-11-17 2013-01-02 北京炬力北方微电子有限公司 一种访问存储器的方法及装置
US9231993B2 (en) * 2013-09-06 2016-01-05 Lg Display Co., Ltd. Apparatus for transmitting encoded video stream and method for transmitting the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163558A (ja) * 1994-12-07 1996-06-21 Graphics Commun Lab:Kk 画像復号装置
JPH10191236A (ja) * 1996-12-25 1998-07-21 Nec Corp 画像処理装置及び画像データメモリ配置方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2907630B2 (ja) * 1992-04-23 1999-06-21 松下電送システム株式会社 フレームメモリ制御装置
JP3097437B2 (ja) 1994-03-14 2000-10-10 松下電器産業株式会社 圧縮動画像の記録方法と再生装置
JPH07319436A (ja) * 1994-03-31 1995-12-08 Mitsubishi Electric Corp 半導体集積回路装置およびそれを用いた画像データ処理システム
JPH11339493A (ja) * 1998-05-27 1999-12-10 Mitsubishi Electric Corp 同期型半導体記憶装置
JP2000113670A (ja) * 1998-10-05 2000-04-21 Mitsubishi Electric Corp 同期型半導体記憶装置
JP2003045182A (ja) * 2001-08-01 2003-02-14 Mitsubishi Electric Corp 半導体記憶装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163558A (ja) * 1994-12-07 1996-06-21 Graphics Commun Lab:Kk 画像復号装置
JPH10191236A (ja) * 1996-12-25 1998-07-21 Nec Corp 画像処理装置及び画像データメモリ配置方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP1089567A4 *
TAN, CHEE HENG, LIREN ZHANG: "effects of cell loss on the quality of service for MPEG video in ATM environment", PROCEEDINGS OF IEEE SINGAPORE INTERNATIONAL CONFERENCE ON NETWORK, 1995, THEME:ELECTROTECHNOLOGY 2000: COMMUNICATIONS AND NETWORKS (IN CONJUNCTION WITH THE) INTERNATIONAL CONFERENCE ON INFORMATION ENGINEERING, July 1995 (1995-07-01), pages 11 - 15, XP002929629 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852343B2 (en) 2004-04-15 2010-12-14 Panasonic Corporation Burst memory access method to rectangular area

Also Published As

Publication number Publication date
KR100767611B1 (ko) 2007-10-17
CN1140125C (zh) 2004-02-25
US20060263069A1 (en) 2006-11-23
CN1314050A (zh) 2001-09-19
EP1089567A1 (en) 2001-04-04
EP1089567A4 (en) 2001-11-07
US7110663B1 (en) 2006-09-19
KR20010052823A (ko) 2001-06-25

Similar Documents

Publication Publication Date Title
US20060263069A1 (en) Video processing apparatus and method for allocating addresses to data of macroblocks and storing the same, and medium containing a program for performing such method
EP1775961B1 (en) Video decoding device and method for motion compensation with sequential transfer of reference pictures
US6014178A (en) Receiver having analog and digital video modes and receiving method thereof
EP0843485B1 (en) Video decoder with unified memory
KR100232992B1 (ko) 동화상 디코딩 회로
US6091458A (en) Receiver having analog and digital video modes and receiving method thereof
US6952451B2 (en) Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display
US20040028142A1 (en) Video decoding system
JPH104550A (ja) Mpeg−2復号方法及びmpeg−2ビデオ復号器
JPH118850A (ja) 可変長符号化データの処理方法及び装置
KR100266334B1 (ko) 영상신호 부호화 장치
JP4702967B2 (ja) 画像復号化方法および画像処理装置
JP4879381B2 (ja) 画像復号化方法および画像復号化装置
JP3869038B2 (ja) 復号化方法及び受信装置
JPH08237666A (ja) フレーム間帯域圧縮信号処理装置
JPH10145237A (ja) 圧縮データ復号装置
WO2006059796A1 (ja) 符号化装置および方法、並びにプログラム
JP2000175199A (ja) 画像処理装置及び方法、並びに提供媒体
JP2000348168A (ja) 画像処理装置および方法、並びに媒体
JP4723486B2 (ja) グループオブピクチャへのランダム・アクセスを提供するためのグループオブピクチャの再構造化方法
JP4029520B2 (ja) ビデオ復号化装置及び方法
EP0843483B1 (en) A method for decoding encoded video data
JP2002057986A (ja) 復号装置および方法、並びに記録媒体
JP2012004898A (ja) 記憶装置、符号化装置、符号化方法及びコンピュータプログラム
JPH08237599A (ja) フレーム間帯域圧縮信号切り替え回路

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 00801074.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020007014148

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2000915506

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09719452

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2000915506

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007014148

Country of ref document: KR

WWR Wipo information: refused in national office

Ref document number: 1020007014148

Country of ref document: KR