JP4725104B2 - 復号装置及び復号方法 - Google Patents

復号装置及び復号方法 Download PDF

Info

Publication number
JP4725104B2
JP4725104B2 JP2004515490A JP2004515490A JP4725104B2 JP 4725104 B2 JP4725104 B2 JP 4725104B2 JP 2004515490 A JP2004515490 A JP 2004515490A JP 2004515490 A JP2004515490 A JP 2004515490A JP 4725104 B2 JP4725104 B2 JP 4725104B2
Authority
JP
Japan
Prior art keywords
frame
image
virtual
stream data
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004515490A
Other languages
English (en)
Other versions
JPWO2004002145A1 (ja
Inventor
誉司 加里本
公嘉 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004515490A priority Critical patent/JP4725104B2/ja
Publication of JPWO2004002145A1 publication Critical patent/JPWO2004002145A1/ja
Application granted granted Critical
Publication of JP4725104B2 publication Critical patent/JP4725104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42661Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42692Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50Tuning indicators; Automatic tuning control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【技術分野】
本発明は、デジタルテレビジョン放送に関し、詳しくは、受信した放送の画像ストリームデータを、画像ストリームデータの種類、本数などに応じて適切に復号する復号装置及び復号方法に関する。
【0002】
本出願は、日本国において2002年6月20日に出願された日本特許出願番号2002−180411を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。
【0003】
【背景技術】
従来、高品質な番組の提供、多チャンネルによる番組の提供といった特徴を備えた放送サービスを可能とするデジタル放送サービスは、放送衛星(BS:Broadcasting Satellite)、通信衛星(CS:Communications Satellite)を介した放送として実現されている。
【0004】
デジタル放送サービスではデジタルハイビジョン放送(HDTV:High Definition Television)がサービスの中心となっているが、例えば、BSデジタル放送サービスにおいては、デジタルハイビジョン放送を行わない時間帯には、マルチビュー放送と呼ばれるサービスを行うことが考案されている。
【0005】
マルチビュー放送とは図1に示すように、デジタルハイビジョン放送の帯域を3つのチャンネルに分割し、1番組内で関連する複数の内容を従来の標準テレビジョン放送(SDTV:Standard Definition Television)として複数同時に放送するというサービスである。
【0006】
例えば、マルチビュー放送を受信すると、スポーツ番組や、劇場中継などにおいて、3つのカメラアングルからの映像を同時に視聴したり、好みのアングルからの映像のみを視聴したりできる。
【0007】
マルチビュー放送を視聴するには、マルチビュー放送を受信する受信装置で受信した全てのデジタル標準テレビジョン放送をデコード処理する必要がある。
【0008】
上述したように、デジタル放送を受信する受信装置が、マルチビュー放送に対応するためには、受信した標準テレビジョン放送を全てデコード処理する必要がある。
【0009】
受信装置は、受信したデジタル放送のデコード処理をするデコーダをマルチビュー放送のチャンネル分だけ備えていれば、マルチビュー放送に対応することはできる。
【0010】
マルチビュー放送に対応させるために、受信装置に備えるデコーダをマルチビュー放送で提供される標準テレビジョン放送のチャンネル分用意することは非常にコストがかってしまうといった問題がある。また、デコーダの増加にともない受信装置が大きくなってしまうといった問題もある。
【発明の開示】
【0011】
【発明が解決しようとする課題】
本発明の目的は、上述したような従来のマルチビュー放送を受信する受信装置が有する問題点を解消することができる新規な復号装置及び復号方法を提供することにある。
【0012】
本発明の他の目的は、デコーダの数を増加させることなく、マルチビュー放送に対応した復号装置及び復号方法を提供することにある。
【0013】
【課題を解決するための手段】
上述したような目的を達成するための提案される本発明に係る復号装置は、入力されるm(mは自然数)チャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに画像ストリームデータを記憶する画像ストリームデータ記憶手段と、画像ストリームデータ記憶手段に記憶されたmチャンネルの画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し手段と、画像ストリームデータ読み出し手段から時分割で読み出されたmチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号手段と、所定の記憶容量を有し、復号手段によって復号された画像フレームを記憶する画像フレーム記憶手段と、画像フレーム記憶手段に先に記憶された画像フレームを順番に読み出す画像フレーム読み出し手段と、画像フレーム読み出し手段によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力手段と、画像フレーム記憶手段の使用状況を示す使用状況情報として、画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段と、管理テーブル記憶手段に記憶されている管理テーブルに基づいて、復号手段の動作を制御する制御手段とを備え、制御手段は、画像フレーム読み出し手段により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように管理テーブル記憶手段を管理し、管理テーブル記憶手段に記憶されている管理テーブルに基づいて、復号手段が上記各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、使用仮想フレーム数(used_num[ch])と要求仮想フレーム(req_num[ch])との和が、チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、要求仮想フレーム数(req_num[ch])が空き仮想フレーム数(blank_num[ch])以下である場合のみ、mチャンネルの画像ストリームデータを待機させながら順次復号手段に復号処理をさせ、待機しているチャンネルがないことに応じて復号処理を終了させるように制御し、管理テーブル記憶手段は、画像フレーム読み出し手段により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとして管理する。
【0014】
本発明に係る復号方法は、入力されるm(mは自然数)チャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに画像ストリームデータを記憶する画像ストリームデータ記憶工程と、画像ストリームデータ記憶手段に記憶されたmチャンネルの画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し工程と、画像ストリームデータ読み出し工程において時分割で読み出されたmチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号工程と、復号工程によって復号された画像フレームを、所定の記憶容量を有する画像フレーム記憶手段に記憶する画像フレーム記憶工程と、画像フレーム記憶工程で先に記憶された上記画像フレームを順番に読み出す画像フレーム読み出し工程と、画像フレーム読み出し工程によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力工程とを有し、画像フレーム記憶手段の使用状況を示す使用状況情報として、画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段の仮想フレームに基づき、復号工程で各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、使用仮想フレーム数(used_num[ch])と要求仮想フレーム(req_num[ch])との和が、チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、要求仮想フレーム数(req_num[ch])が空き仮想フレーム数(blank_num[ch])以下である場合のみ、mチャンネルの画像ストリームデータを待機させながら順次復号処理をして、待機しているチャンネルがないことに応じて終了するように、上記復号工程を行い、画像フレーム読み出し工程により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように管理テーブル記憶手段を管理する復号工程を行う制御工程とを備える。
【0015】
本発明に係る他の復号装置は、m(mは自然数)チャンネルの画像ストリームデータが多重化された多重化ストリームを入力する入力手段と、入力手段に入力された多重化ストリームをmチャンネルの画像ストリームデータに分離する分離手段と、分離手段で分離されたmチャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに画像ストリームデータを記憶する画像ストリームデータ記憶手段と、画像ストリームデータ記憶手段に記憶された画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し手段と、画像ストリームデータ読み出し手段から読み出されたmチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号手段と、所定の記憶容量を有し、復号手段によって復号された画像フレームを記憶する画像フレーム記憶手段と、画像フレーム記憶手段に先に記憶された画像フレームを順番に読み出す画像フレーム読み出し手段と、画像フレーム読み出し手段によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力手段と、画像フレーム記憶手段の使用状況を示す使用状況情報として、画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段と、管理テーブル記憶手段に記憶されている管理テーブルに基づいて、復号手段の動作を制御する制御手段とを備え、制御手段は、画像フレーム読み出し手段により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように管理テーブル記憶手段を管理し、管理テーブル記憶手段に記憶されている管理テーブルに基づいて、復号手段が各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、使用仮想フレーム数(used_num[ch])と要求仮想フレーム(req_num[ch])との和が、チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、要求仮想フレーム数(req_num[ch])が空き仮想フレーム数(blank_num[ch])以下である場合のみ、復号手段にmチャンネルの画像ストリームデータを待機させながら順次復号処理をさせ、待機しているチャンネルがないことに応じて復号処理を終了させるように制御する。
【0016】
本発明に係る他の復号方法は、m(mは自然数)チャンネルの画像ストリームデータが多重化された多重化ストリームを入力する入力工程と、入力工程で入力された多重化ストリームをmチャンネルの画像ストリームに分離する分離工程と、分離工程で分離されたmチャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに画像ストリームデータを記憶する画像ストリームデータ記憶工程と、画像ストリームデータ記憶工程で記憶された画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し工程と、画像ストリームデータ読み出し工程で読み出されたmチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号工程と、復号工程によって復号された画像フレームを、所定の記憶容量を有する画像フレーム記憶手段に記憶する画像フレーム記憶工程と、画像フレーム記憶手段に先に記憶された画像フレームを順番に読み出す画像フレーム読み出し工程と、画像フレーム読み出し工程によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力工程とを有し、画像フレーム記憶手段の使用状況を示す使用状況情報として、画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段の仮想フレームに基づき、復号工程で各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、使用仮想フレーム数(used_num[ch])と要求仮想フレーム(req_num[ch])との和が、チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、要求仮想フレーム数(req_num[ch])が空き仮想フレーム数(blank_num[ch])以下である場合のみ、mチャンネルの画像ストリームデータを待機させながら順次復号処理をして、待機しているチャンネルがないことに応じて終了するように、上記復号工程を行い、画像フレーム読み出し工程により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように管理テーブル記憶手段を管理する
【0017】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下において図面を参照して説明される実施の形態の説明から一層明らかにされるであろう。
【0018】
【発明を実施するための最良の形態】
以下、本発明に係る復号装置及び復号方法を図面を参照にして詳細に説明する。
【0019】
本発明は、図2に示すような記録再生装置100に適用される。この記録再生装置100は、図2に示すように、テレビジョン受像機200と接続されている。
【0020】
テレビジョン受像機200は、地上波を受信可能な地上波チューナ、BS(Broadcasting Satellite)チューナ、BSデジタルチューナ、CS(Communications Satellite)チューナ、CSデジタルチューナを内蔵していてもよい。
【0021】
記録再生装置100の各種機能は、図2に示すように、リモートコントローラ300によって遠隔操作可能である。また、このリモートコントローラ300は、テレビジョン受像機200の各種機能も、遠隔操作可能である。
【0022】
本発明を適用した記録再生装置100は、記録媒体にデジタルハイビジョン放送を圧縮なしで、映像信号、音声信号、各種データを記録することが可能な記録再生装置である。また記録再生装置100は、後述するようにデジタルチューナを内蔵しており、例えば、BSデジタル放送で提供されるデジタルハイビジョン放送を受信し、受信したデジタルハイビジョン放送を上述したように記録媒体に記録することができる。
【0023】
図3を用いて、記録再生装置100の要部構成について説明をする。
【0024】
記録再生装置100は、地上波チューナ1と、入力切替回路2と、YC分離回路3と、入力切替回路4と、NTSC(National Television System Standard Committee)デコーダ5と、同期制御回路6と、プリ映像信号処理回路7と、MPEG(Moving Picture Experts Group)ビデオエンコーダ8と、音声A/D変換器9と、MPEGオーディオエンコーダ10と、デジタルチューナ11、多重/分離回路(MUX/DMX)12と、記録/再生処理部13と、ホストCPU14と、SDRAM(Synchronous Dynamic Random Access Memory)15と、ROM(Read Only Memory)16と、MPEGビデオデコーダ17と、ポスト映像信号処理回路18と、OSD(On Screen Display)19と、NTSCエンコーダ20と、MPEGオーディオデコーダ21と、切替回路22と、音声D/A変換器23と、デジタルIN/OUT24と、デジタルインタフェース回路25と、地上波EPG用チューナ26と、データスライサ27とを備える。
【0025】
地上波チューナ1は、地上波放送を受信し、受信した放送のコンポジット映像信号と音声信号を入力切替回路2に供給する。
【0026】
入力切替回路2は、地上波チューナ1からコンポジット映像信号と音声信号が供給され、外部装置からコンポジット映像信号と音声信号が供給される。入力切替回路2は、ホストCPU14からの指示に従い、地上波チューナ1から供給されるコンポジット映像信号と音声信号、又は、外部装置から供給されるコンポジット映像信号と音声信号のどちらかを選択する。入力切替回路2は、選択したコンポジット映像信号をYC分離回路3に、音声信号を音声A/D変換器9にそれぞれ出力する。
【0027】
YC分離回路3は、入力切替回路2から入力されたコンポジット映像信号をYC分離し、入力切替回路4に供給する。
【0028】
入力切替回路4は、ホストCPU14からの指示に従い、外部S映像入力、又は、YC分離回路3からの出力を選択し、選択した信号をNTSCデコーダ5に供給する。
【0029】
NTSCデコーダ5は、入力された映像信号にA/D変換、クロマエンコードの処理を施し、デジタルコンポーネントビデオ信号(以下、画像データという)に変換して、プリ映像信号処理回路7に供給する。また、NTSCデコーダ5は、入力映像信号の水平同期信号を基準に生成したクロックと、同期分離して得た水平同期信号、垂直同期信号、フィールド判別信号を同期制御回路6に供給する。
【0030】
同期制御回路6では、水平同期信号、垂直同期信号、フィールド判別信号を基準とし、後述する各ブロックに必要なタイミングに変換したクロック、同期信号を生成し、記録再生装置100を構成する各ブロックに供給する。
【0031】
プリ映像信号処理回路7では、NTSCデコーダ5から供給された画像データにプリフィルタリング等の各種映像信号処理を施し、MPEGビデオエンコーダ8と、ポスト映像信号処理回路18に供給する。
【0032】
MPEGビデオエンコーダ8は、プリ映像信号処理回路7から供給された画像データにブロックDCT(Discrete Cosine Transform:離散コサイン変換)等の符号化処理を施し、画像のES(Elementary Stream)を生成し、多重/分離回路12に供給する。なお、本例では圧縮方式としてMPEGを採用しているが、他の圧縮方式でも、非圧縮でも構わない。
【0033】
音声A/D変換器9は、入力切替回路2で選択された音声信号をデジタル音声信号に変換し、MPEGオーディオエンコーダ10に供給する。
【0034】
MPEGオーディオエンコーダ10は、供給されたデジタル音声信号をMPEGフォーマットに従い圧縮した後、音声のESを生成し、映像信号同様に、多重/分離回路12に供給する。なお、本例では圧縮方式としてMPEGを採用しているが、他の圧縮方式でも、非圧縮でも構わない。
【0035】
デジタルチューナ11は、BSデジタル放送、CSデジタル放送、地上波デジタル放送を受信するチューナである。BSデジタル放送は、デジタルハイビジョン放送を中心としたサービスであるが、標準テレビジョン放送も提供可能とされる。例えば、BSデジタル放送は、デジタルハイビジョン放送の枠を3つの標準テレビジョン放送に分割して同時に放送するマルチチャンネル放送や、同じくデジタルハイビジョン放送の帯域を3つのチャンネルに分割して1番組内で関連している複数の内容を標準テレビジョン放送として複数同時に放送するマルチビュー放送を提供しているものとする。
【0036】
デジタルチューナ11は、例えば、MPEG2トランスポートストリームで多重化され所定の変調方式で変調され送信されるBSデジタル放送を受信し、受信したTS信号を多重/分離回路12に供給する。
【0037】
なお、地上波チューナ1又はデジタルチューナ11で受信されたNTSC方式の映像信号の水平有効画素数(picture_coding_h_size)が720以上、又は垂直有効画素数(picture_coding_v_size)が480以上である場合、受信した映像信号をデジタルハイビジョン放送(High Definition Television)の映像信号、つまりHD方式で符号化された映像信号とする。それ以外の映像信号は、SD方式で符号化された映像信号とする。
【0038】
また、地上波チューナ1又はデジタルチューナ11で受信された映像信号がPAL(Phase Alternation by Line)方式である場合、映像信号の水平有効画素数が720以上、又は垂直有効画素数が540以上のとき、デジタルハイビジョン放送された映像信号、つまりHD方式で符号化された映像信号とする。上記以外の映像信号は、SD方式で符号化された映像信号とする。
【0039】
例えば、日本国におけるBSデジタル放送、CSデジタル放送、地上波デジタル放送では、“ARIB STD−B32「デジタル放送における映像符号化,音声符号化及び多重方式」,社団法人電波産業会,第5章”において、水平有効画素数、垂直有効画素数、フレームレートを用いて、デジタルハイビジョン放送の映像信号と、標準テレビジョン放送の映像信号とが規定されている。
【0040】
具体的には、デジタルハイビジョン放送の映像信号は、水平有効画素数、垂直有効画素数、フレームレートを、(水平有効画素数×垂直有効画素数;フレームレート)として表すと、(1920×1080i;29.97Hz)、(1440×1080i;29.97Hz)、(1280×720p;59.94Hz)、(720×480p;59.94Hz)と規定されている。
【0041】
また、標準テレビジョン放送の映像信号は、(720×480i;29.97Hz)、(544×480i;29.97Hz,実映像データの水平有効画素数は540)、(480×480i;29.97Hz)と規定されている。BSデジタル放送における降雨対応放送として低階層伝送される映像信号は、(352×240p;29.97Hz以下)として規定され、標準テレビジョン放送となる。
【0042】
なお、“i”及び“p”は、それぞれ“インタレース”、“プログレッシブ”といった走査方式を示している。
【0043】
また、米国におけるATSC(Advanced TV System Committee)地上波放送、ATSCケーブル放送では、“ATSC Standard A/53B with Amendment 1:ATSC Digital Television Standard,Rev.B Annex A,Table−A3”において、水平有効画素数、垂直有効画素数、フレームレートを用いて、デジタルハイビジョン放送の映像信号が規定されている。
【0044】
具体的には、デジタルハイビジョン放送の映像信号は、水平有効画素数、垂直有効画素数、フレームレートを、(水平有効画素数×垂直有効画素数;フレームレート)として表すと、(1920×1080p;23.976,24,29.97,30Hz)、(1920×1080i;29.97,30Hz)、(1280×720p;23.976,24,29.97,30,59.94,60Hz)、(704×480p;23.976,24,29.97,30,59.94,60Hz)、(704×480i;29.97,30Hz)、(640×480p;23.976,24,29.97,30,59.94,60Hz)、(640×480i;29.97,30Hz)と規定されている。
【0045】
多重/分離回路12では、後述する記録媒体50への記録時には映像ESと音声ES及び各種制御信号の多重化処理を施す。多重/分離回路12は、入力されたMPEG映像ESと、MPEG音声ESと、各種制御信号と合わせ、多重化処理(例えばMPEGシステムのトランスポートストリームの生成)、バッファ制御処理を施し、記録/再生処理部13に出力する。
【0046】
バッファ制御処理とは、連続的に入力されるTSを、後段の記録/再生処理部13に断続的に送るための制御を行うことである。例えば、記録/再生処理部13が記録媒体50のシーク動作を行っているときは、TSの書き込みができないので、バッファにTSを一時的に蓄え、書き込みが可能なときは、入力のレートより高いレートで書き込みを行うことにより、連続的に入力されるTS信号を途切れることなく記録を行う。
【0047】
多重/分離回路12は、後述する記録媒体50の再生時には、記録/再生処理部13で再生され断続的に供給されるTS(Transport Stream)を、連続的になるようバッファ制御を行った後、分離処理を行う。多重/分離回路12の分離処理では、TSからPES(Packetized Elementary Stream)を抽出し、更に映像ESと音声ESに分離した後、MPEGビデオデコーダ17と、MPEGオーディオデコーダ21に供給する。
【0048】
デジタルチューナ11は、デジタル放送を受信し、TS信号に施されたデジタル放送特有のスクランブルを解いた後、多重/分離回路12にTSを供給する、多重/分離回路12は、供給されるTS信号からPESを抽出し、記録媒体50を再生した際と同様に、更に映像ESと音声ESに分離した後、それぞれをMPEGビデオデコーダ17、MPEGオーディオデコーダ21に供給する。
【0049】
多重/分離回路12は、上述した分離処理を実行する際、TSに多重化されている放送番組を構成する映像や音声、関連情報などのサービスが収容されているTSパケットのPIDを記述したPMT(Program Map Table)といったPSI(Program Specific Information)を取得し、取得したPSIをホストCPU14に出力する。
【0050】
取得したPSI情報から、ホストCPU14は、抽出したPESがデジタルハイビジョン放送のストリームであるHDストリームであるのか、標準テレビジョン放送のストリームであるSDストリームであるのか、またSDストリームである場合、その送信されるSDストリームの本数は何本であるのかを検出することができる。
【0051】
また、多重/分離回路12は、当該多重/分離回路12に内蔵された各種情報のパージング機能により、BS信号に挿入されている電子番組情報(EPG)を抜き出し、ホストCPU14に供給する。ホストCPU14では、このEPG信号の解析を行い、GUI上に番組情報の表示等を行う。
【0052】
記録/再生処理部13は、記録媒体50へのデータ記録処理、記録媒体50に記録されたデータの再生処理を行う。記録媒体50は、図示しない当該記録再生装置の装着部に装着可能な光ディスク、光磁気ディスク、固体メモリなどや、あらかじめ当該記録再生装置に搭載されたHDD(Hard Disk Drive)などである。記録/再生処理部13は、多重/分離回路12から供給されるTSを記録媒体50に記録し、記録媒体50から再生したTSを多重/分離回路12に出力する。
【0053】
ホストCPU14は、当該記録再生装置100の全ての機能ブロックを統括的に制御する。また、ホストCPU14は、ホストバスを介し、SDRAM15、ROM16に必要に応じてアクセスしシステム全体の制御を行う。
【0054】
MPEGビデオデコーダ17は、入力された映像ESに復号処理を施し、ベースバンドの画像データを取得し、ポスト映像信号処理回路18に供給する。MPEGビデオデコーダ17の構成及び動作については後で詳細に説明をする。
【0055】
ポスト映像信号処理回路18は、図示しない切替回路、フィールド巡回型ノイズリデューサ、動き検出、映像信号補間処理回路などで構成されており、MPEGビデオデコーダ17から供給される画像データと、プリ映像信号処理回路7から供給される画像データとを切り替えた後、各種処理を施し、OSD19に画像データを供給する。
【0056】
OSD19は、画面表示用のグラフィックス等の生成を行い、画像データに重ねたり、部分的に表示する等の処理を施し、NTSCエンコーダ20に供給する。
【0057】
NTSCエンコーダ20は、入力された画像データ(コンポーネントデジタル信号)をYC信号に変換した後、D/A変換を行い、アナログのコンポジット映像信号とS映像信号を取得し、テレビジョン受像機200に備えられた映像入力端子に入力する。
【0058】
MPEGオーディオデコーダ21は、多重/分離回路12から供給された音声ES信号を複合処理してベースバンド音声信号を取得し、切替回路22に供給する。
【0059】
切替回路22は、MPEGオーディオデコーダ21から供給される音声データと、音声A/D変換器9から供給される音声データの選択を行い、選択した音声データを音声D/A変換器23に出力する。
【0060】
音声D/A変換器23は、音声データをアナログ音声信号に変換し、変換したアナログ音声信号をテレビジョン受像機200に備えられた音声入力端子に入力する。
【0061】
次に、デジタルIN/OUT24から供給、出力される信号について説明する。例えば、外部のIRD(Integrated Receiver Decoder)から、IEEE1394のようなデジタルインタフェースであるデジタルIN/OUT24を介して入力された信号を記録する場合、デジタル信号はデジタルインタフェース回路25に入力される。
【0062】
デジタルインタフェース回路25では、本方式に適合するよう、フォーマット変換等の処理を施してTSを生成し、多重/分離回路12に供給する。多重/分離回路12では、更に制御信号等の解析や生成を行い、本方式に適応するTSに変換する。
【0063】
これと同時に多重/分離回路12にて、分離処理を行い、MPEGビデオデコーダ17に映像ES、MPEGオーディオデコーダ21に音声ESをそれぞれ供給することにより、アナログの映像、音声信号を得ることができる。
【0064】
記録媒体50を記録/再生処理部13で再生した場合、再生されたTSは、上述したように多重/分離回路12に入力される。多重/分離回路12に入力されたTSは、必要に応じ、制御信号の解析、生成を行い、デジタルインタフェース回路25に供給する。デジタルインタフェース回路25では、記録時とは逆の変換を行い、外部のIRDに適合するデジタル信号に変換し、デジタルIN/OUT24を介し出力する。
【0065】
これと同時に多重/分離回路12にて、分離処理を行い、MPEGビデオデコーダ17、MPEGオーディオデコーダ21にPESを供給することにより、アナログの映像、音声信号を得ることができる。
【0066】
本例では、IRDとの接続について述べたが、TV等のAV機器や、パーソナルコンピュータと接続することも可能である。
【0067】
地上波EPG用チューナ26は、ホストCPU14により制御され、EPGが重畳されているCH(チャンネル)を受信し、受信したビデオ信号をデータスライサ27に供給する。
【0068】
データスライサ27では、入力されたビデオ信号からEPGデータを抽出し、ホストCPU14に供給する。ホストCPU14では、このEPG信号の解析を行い、GUI上に番組情報の表示等を行う。BSデジタルや地上波放送から取得したEPGデータは、番組表の表示のみならず、タイマ記録や記録済番組のタイトル表示の情報として使用される。
【0069】
続いて、図4を用いて、本発明を適用した記録再生装置100において、デジタルチューナ11又は記録媒体50から多重/分離回路12を介して供給されるTSをデコードするMPEGビデオデコーダ17の詳細な構成について説明をする。
【0070】
MPEGビデオデコーダ17は、コードバッファ31、セレクタ32、デコードコア33、フレームメモリ34、ディスプレイミキサ35とを備えている。
【0071】
コードバッファ31は、多重/分離回路12から供給された映像ESを複数ピクチャ分、一時的にバッファリンするバッファである。コードバッファ31は、ホストCPU14の制御により、多重/分離回路12から供給される映像ESのストリームの本数に応じて当該コードバッファ31のバッファリング領域を動的に変化させ、入力される各ストリームに割り当てることができる。
【0072】
上述したように、BSデジタル放送で提供されるサービスとして考案されているマルチビュー放送をデジタルチューナ11で受信した場合、多重/分離回路12には2又は3本のSDストリームが多重化されたTSが供給されることになる。
【0073】
TSを供給された多重/分離回路12は、TSに多重化されたPSIを取得し、ホストCPU14に供給する。ホストCPU14は多重/分離回路12から供給されたPSIから、ストリームのタイプとストリームの本数を把握し、供給される映像ESがSDストリームでありストリームの本数が2又は3本であった場合はコードバッファ31を制御してバッファリングする領域を動的に変化させ、各ストリームにバッファリング領域を割り当てる。
【0074】
なお、記録媒体50に記録されたストリームが再生され、多重/分離回路12に供給された場合、ストリームタイプ、ストリームの本数といった情報は、記録媒体50に構築されたデータベースから取得することができる。
【0075】
セレクタ32は、SDストリームが2本、又は、3本であった場合に、ホストCPU14の制御に応じて、コードバッファ31からの出力を時分割でスイッチングしデコードコア33に供給するように動作する。
【0076】
なお、セレクタ32は、HDストリームが供給された場合、及びSDストリームが単独で供給された場合には、コードバッファ31からの出力をスイッチング動作なしにデコードコア33に供給をする。
【0077】
例えば、MPEGビデオデコーダ17に1本のHDストリームが供給された場合、又は1本のSDストリームが供給された場合は、それぞれ図5、図6に示すようになる。
【0078】
また、MPEGビデオデコーダ17に2本のSDストリーム、又は3本のSDストリームが供給された場合は、それぞれ図7、図8に示すようになる。この場合、コードバッファ31のバッファリング領域は、入力されるストリーム毎に割り当てられており、セレクタ32も、デコードコア33への入力を時分割で制御するように動作する。
【0079】
ストリームの識別は、PIDによってなされ、多重/分離回路12からコードバッファ31に供給される2本、又は3本のSDストリームもPIDに基づいて所定のバッファリング領域へと供給される。
【0080】
デコードコア33は、コードバッファ31からフレーム単位で供給されるHDストリーム、SDストリームをMPEGデコード処理し画像データを生成する。生成された画像データは、後段のフレームメモリ34に供給される。
【0081】
なお、以下の説明においては、デコードコア33によってデコード処理されたHDストリームをHDフレームと呼び、同じくデコードコア33によってデコード処理されたSDストリームをSDフレームと呼ぶ。
【0082】
フレームメモリ34は、所定の記憶容量、例えば、SDフレームなら16フレーム、HDフレームなら4フレームを記憶可能な記憶容量を備えている。フレームメモリ34は、デコードコア33でデコードされたHDフレーム、SDフレームをホストCPU14の制御に応じて所定のメモリ領域に一時的に記憶する。また、記憶されたHDフレーム、SDフレームは、同じく、ホストCPU14の制御に応じて読み出され、後段のディスプレイミキサ35に出力される。
【0083】
デコードコア33でデコード処理されフレームメモリ34に記憶されるSDフレーム、HDフレームは、ホストCPU14によって、フレームメモリ34のどのメモリ領域に記憶されているのかが管理される。
【0084】
ディスプレイミキサ35は、ホストCPU14によってフレームメモリ34から読み出されたHDフレーム、SDフレームの当該記録再生装置100から、例えばテレビジョン受像機200に出力された際の位置決めをホストCPU14の制御に応じて実行し、ポスト映像信号処理回路18に供給する。特に、BSデジタル放送において提供されるマルチビュー放送をデジタルチューナ11で受信した際には、最大で3つのフレームを同じ画面上に適切に配置されるようホストCPU14の制御に応じて位置決めを行う。
【0085】
図4に構成を示すMPEGビデオデコーダ17におけるデコード処理は、デコードコア33で単にストリームをデコードするといった処理を示すものではなく、デコードコア33でデコードされたストリームをフレームとしてフレームメモリ34に格納することを含んでいる。
【0086】
したがって、MPEGビデオデコーダ17でデコード処理を実行するには、フレームメモリ34のメモリ領域の管理、つまりデコードコア33でデコードされたフレームがフレームメモリ34のどのメモリ領域に記憶されるのかといった管理までが必要となる。デコードコア33でストリームをデコードするには、フレームメモリ34に空き領域がない限り実行されることはない。
【0087】
具体的には、ホストCPU14が、SDRAM15にフレームメモリ34の使用状況を一括して管理するための管理テーブルを用意し、この管理テーブルを参照しながらフレームメモリ34の空きメモリ領域を管理し、デコードコア33でのデコード処理を制御する。また、ホストCPU14は、SDRAM15に用意された管理テーブルを参照しながら、フレームメモリ34に格納されたフレームの出力も制御する。
【0088】
例えば、HDストリーム又はSDストリームが単独でコードバッファ31に供給される場合は、ホストCPU14は、フレームメモリ34に先に格納されたフレームから順番に出力をし、フレームメモリ34の空きメモリ領域を確保してデコードコア33にデコード許可をすればよい。
【0089】
マルチビュー放送におけるデコード処理では、デコードコア33を時分割に使用してコードバッファ31に供給される2又は3本のSDストリームからSDフレームを生成する。生成されたそれぞれのSDフレームを構成するSDフレームはフレームメモリ34に記憶される。ここで、2フレーム又は3フレームのSDフレームは、フレームメモリ34からを同時に出力される必要がある。
【0090】
したがって、フレームメモリ34のメモリ領域には、デコードコア33でデコードされた異なるチャンネルのSDフレームが複数フレーム記憶されるため、ホストCPU14は、チャンネルを区別するための情報や、フレームメモリ34から出力する時間情報などを把握していなくてはならない。
【0091】
よって、上述したようにホストCPU14は、管理テーブルを用意しフレームメモリ34の使用状況を管理することが要求される。ホストCPU14が、SDRAM15に用意する管理テーブルを仮想フレームとも呼ぶ。
【0092】
ホストCPU14によって、SDRAM15に構築される管理テーブルである仮想フレームは、フレームメモリ34のメモリ領域に対応しており、フレームメモリ34のメモリ領域へのフレーム格納状況などが反映され、情報として保持している。
【0093】
ホストCPU14は、SDRAM15に展開された管理テーブルである仮想メモリに基づいて、デコードコア33にデコードの実行許可をしたり、フレームメモリ34に格納されているフレームの出力を制御することで、MPEGビデオデコーダ17におけるデコード処理を正確に実行させることができる。
【0094】
ホストCPU14は、SDRAM15に展開された仮想フレームを用いて、MPEGビデオデコーダ17のデコード処理を管理する際、チャンネル毎、つまりビデオデコード処理毎にビデオデコード管理部、仮想フレーム管理部、表示管理部として機能する。
【0095】
ビデオデコード管理部は、MPEGビデオデコーダ17に入力されたストリームのフレームへのデコード処理を管理する。ビデオデコード管理部が管理するデコード処理は、フレームメモリ34の空き領域の確保に始まり、空き領域が確保されたことに応じたデコードコア33におけるデコード、デコードコア33でデコードされ、フレームメモリ34の空き領域に格納されたフレームの表示順序の決定までを指す。このようなホストCPU14のビデオデコード管理部としてのデコード処理の管理は、全て、管理テーブルであるSDRAM15に展開された仮想フレームを介して実行される。
【0096】
例えば、ビデオデコード管理部は、ストリームをデコードする場合、仮想フレームの管理を実行する仮想フレーム管理部にHDストリームであるのかSDストリームであるのかといったストリームタイプに応じた、空き領域があるかどうかを検索する要求をし、仮想フレームに空き領域が存在する場合、当該空き領域を確保し、その仮想フレームの空き領域に対応したフレームメモリ34のメモリ領域に画像のデコードが実行されるよう制御をする。
【0097】
ビデオデコード管理部は、Slow R、Step R、FRといったデコード順と表示順が異なるような特殊再生(逆方向再生)の要求に応じて、表示順序の管理も行う。ビデオデコード管理部による表示順序の管理も、管理テーブルである仮想フレームを用いて、例えば、フレームが格納されたフレームメモリ34に対応する仮想フレームにユーザの要求に応じた表示順序をナンバリングした情報を与えるなどして表示順序の管理を行う。
【0098】
表示管理部は、ビデオデコード管理部で決定されたデコードされたフレームの表示順序に基づいて表示処理を管理し実行する。表示管理部は、表示処理を実行する際、管理テーブルである仮想フレームに記述された情報を用いて実行する。
【0099】
例えば、表示管理部は、VSync割り込み毎に、仮想フレーム内で表示可能なフレームを検索し、表示条件に一致したフレームを選択して表示する。また表示管理部は、表示が終わったフレームに対する選別を行い、以降不要だと判断した仮想フレームを仮想フレーム管理部に返却する。これにより、その仮想フレームは空き領域となり、フレームメモリ34のメモリ領域に実際に格納されていたフレームが表示されることでフレームメモリ34のメモリ領域が空き領域となったことと対応することになる。
【0100】
仮想フレーム管理部は、SDRAM15に展開されているフレームメモリ34の管理テーブルである仮想フレームの管理を実行する。仮想フレーム管理部は、仮想フレームの管理や、当該チャンネルにおいて使用可能な仮想フレームの把握などを行っている。
【0101】
例えば、仮想フレーム管理部は、ビデオデコード管理部から仮想フレームに空きがないかどうかというような要求に応じて、仮想フレーム上から空き領域を検索したり、表示管理部から返却される仮想フレームを解放する処理を実行する。
【0102】
上述のように構成されるMPEGビデオデコーダ17は、ホストCPU14によるSDRAM15に展開された仮想フレームを用いた制御によって、多重/分離回路12から供給されるHDストリーム、SDストリームをHDフレーム、SDフレームにデコードし出力することができる。
【0103】
続いて、図9、図10、図11に示すフローチャートを用いて、MPEGビデオデコーダ17でのデコード処理動作について説明をする。
【0104】
MPEGビデオデコーダ17における複数チャンネルのデコード処理では、時分割デコード処理、フレームメモリの共有化以外は、各チャンネルにおけるデコード処理として独立した動作となっている。
【0105】
したがって、各チャンネルのデコード処理は、実際は1つのデコードコア33しか備えていないMPEGビデオデコーダ17単体で実行しているが、チャンネル毎に独立して設けられた複数のデコーダによる処理が実行されるモデルを想定してデコード処理動作を説明することができる。
【0106】
上述したようにMPEGビデオデコーダ17でのデコード処理においては、BSデジタル放送で提供されるマルチビュー放送に対応する2又は3本のチャンネルのデコード処理を実行する場合においても、独立したデコーダによる処理とみなしてモデル化することができるため、1つのチャンネルのデコード処理について説明をすることで、MPEGビデオデコーダ17のデコード処理動作の説明とする。
【0107】
まず、図9に示したフローチャートのステップS1において、当該チャンネルのビデオデコード管理部は、仮想フレーム管理部に対して、MPEGビデオデコーダ17にストリームが供給されたことに応じて、SDRAM15に展開されている管理テーブルである仮想フレームからデコードする際に必要となるフレーム数の仮想フレームを要求する。要求される仮想フレームの数を、要求仮想フレーム数(req_num[ch])とする。
【0108】
ステップS2において当該チャンネルの仮想フレーム管理部は、ビデオデコード管理部の要求に応じて、SDRAM15に展開されている仮想フレームを検索し、当該チャンネルにおいて使用している仮想フレームのフレーム数(used_num[ch])と、当該チャンネルで使用可能で、且つ、使用されていない仮想フレームのフレーム数(blank_num[ch])とをカウントする。
【0109】
ステップS3において、仮想フレーム管理部は、当該チャンネルにおいて使用している仮想フレームのフレーム数(used_num[ch])と、ビデオデコード管理部によって要求された仮想フレームの要求仮想フレーム数(req_num[ch])との和が、当該チャンネルにおいてデコード処理に使用することが可能な仮想フレームの最大数以下(used_num[ch]+req_num[ch]≦max_num[ch])となった場合工程をステップS4へと進め、最大数を超えてしまった場合、工程をステップS5へと進める。
【0110】
ステップS4において、仮想フレーム管理部は、ビデオデコード管理部によって要求された仮想フレームの要求仮想フレーム数(req_num[ch])が、当該チャンネルで使用可能で、且つ、使用されていない仮想フレームのフレーム数(blank_num[ch])以下となった場合に工程をステップS6へと進め、使用されていない仮想フレームのフレーム数(blank_num[ch])を超えてしまった場合工程をステップS5へと進める。
【0111】
ステップS5において、仮想フレーム管理部は、ステップS3、ステップS4による判定処理の結果、条件を満たさなかったことに応じて、フレームメモリ34には当該チャンネルにおいてデコードコア33でデコードをしたフレームを格納する領域がないと判断し、デコード処理に使用可能な領域を確保するための待ち状態となる。
【0112】
ステップS6において、仮想フレーム管理部は、ステップS3、ステップS4による判定処理の結果、条件を満たしたことに応じて、フレームメモリ34には当該チャンネルにおいてデコードコア33でデコードしたフレームを格納する領域があると判断され、ビデオデコード管理部にその旨が通知される。
【0113】
ステップS6で仮想フレーム管理部によりデコードしたフレームのフレームメモリ34への格納領域が確保され、デコードコア33によるデコード処理が可能であると通知(以下、デコード処理要求とも呼ぶ)されたことに応じて、ステップS7において、ビデオデコーダ管理部は、当該MPEGビデオデコーダ17のデコード処理を実行する。
【0114】
次に、図10に示すフローチャートを用いて、図9のフローチャートのステップS7におけるデコード処理の動作について説明をする。
【0115】
ステップS21において、ビデオデコード管理部は、仮想フレーム管理部により要求されるデコード処理要求を受け取る。
【0116】
ステップS22において、ビデオデコード管理部は、ビデオデコードコア33が現在デコード処理中であるかどうかのチェックをする。MPEGビデオデコーダ17において実際にビデオデコード処理を実行するビデオデコードコア33は、1つしかないため1度に1チャンネルのビデオデコード処理しか実行することはできない。したがって、当該ステップS22において、デコードコア33が使用中であるかどうかの判断が必要となる。
【0117】
デコードコア33が現在デコード処理中である場合は工程をステップS23へと進め、デコード処理中でない場合は工程をステップS24へと進める。
【0118】
ステップS23において、ビデオデコード管理部は、デコードコア33がデコード処理中であることに応じて、デコードコア33の処理が終了するのを待つ待機状態となる。
【0119】
ステップS24において、ビデオデコード管理部は、デコードコア33がデコード処理中でないことに応じて、コードバッファ31にバッファリングされた当該チャンネルのストリームがデコードコア33に適切に供給されるようにセレクタ32を制御する。
【0120】
デコードコア33は、コードバッファ31からセレクタ32を介してストリームが供給されたことに応じて、供給されたストリームのフレームへのデコード処理を実行する。デコードコア33はストリームをフレーム単位でデコード処理する。デコードコア33によってデコードされて生成されたフレームは、SDRAM15に展開された仮想フレームを用いた管理に基づいて、フレームメモリ34の該当するメモリ領域に格納される。
【0121】
なお、デコード処理をするストリームが、参照面を必要とするPicture(P−picture又はB−picture)の場合、参照面をフレームメモリ34から検索し、検索した参照面を用いてデコード処理を実行する。参照面の検索においては、管理テーブルである仮想フレームを用いる。
【0122】
ステップS25において、ビデオデコード管理部は、デコードコア33でデコード処理が終了したことに応じて、デコードコア33のデコード処理が終了されるのを待機しているチャンネルがあるかどうかチェックをする。ビデオデコード管理部は、デコード処理が終了するのを待機しているチャンネルがあった場合工程をステップS26へと進め、待機チャンネルがない場合はステップS27へと進む。
【0123】
ステップS26において、ビデオデコード管理部は、デコードコア33による当該チャンネルのデコード処理が終了したことをデコード処理の終了を待機しているチャンネルのビデオデコード管理部に通知する。
【0124】
ステップS27において、ビデオデコード管理部は、当該チャンネルのデコード処理終了を待機しているチャンネルがないことに応じてデコード処理の全工程を終了させる。
【0125】
ステップS27における工程が終了すると、再び、図9に示すフローチャートに戻り、ステップS8の表示処理、ステップS9の仮想フレームの解放処理が実行される。
【0126】
ステップS8において、表示管理部は、フレームメモリ34に格納されたフレームの表示タイミングであるビデオ同期信号(VSync)が発生される毎に、管理テーブルである仮想フレームが保持する表示順序を示した情報を参照して表示すべきフレームを決定する。表示管理部は、仮想フレームによって表示されることが決定されたフレームを対応するフレームメモリ34から読み出しディスプレイミキサ35の任意の位置に配置する。
【0127】
表示管理部によって仮想フレームから表示が決定されるフレームは、再生のモードによって異なり、例えば、通常再生の場合であれば、STC(System Timing Clock)に一致するPTS(Presentation Time Stamp)を有するフレームが選択される。また、特殊再生となるSlow Rの場合は現在表示中のフレームよりも時間的に1picture前のフレームが選択される。
【0128】
複数のSDストリームを再生する場合において、SDストリームをデコードしたSDフレームをディスプレイミキサ35でミキシングして表示する際、重ならないようにフレームを配置する。
【0129】
ステップS9において、表示管理部は、デコード処理しフレームメモリ34の所定のメモリ領域に格納されたフレームをディスクプレイミキサ35に出力したことに応じて、フレームメモリ34の所定のメモリ領域に対応した仮想フレームを解放する仮想フレーム解放処理を実行する。
【0130】
仮想フレーム解放処理が実行されると、SDRAM15に展開された仮想フレームのうち解放された所定の仮想フレームは、空き仮想フレームとなる。これは空き仮想フレームとなった仮想フレームと対応するフレームメモリ34のメモリ領域が、格納していたフレームをディスプレイミキサ35に出力したことによって空きメモリ領域となったことに対応させるための処理である。
【0131】
図11に示すフローチャートを用いて、この仮想フレーム領域解放処理の動作について説明をする。
【0132】
まず、ステップS31において、表示管理部は、フレームメモリ34の所定のメモリ領域に格納されていたフレームをディスプレイミキサ35に出力させたことに応じて、仮想フレーム管理部に対して、所定のメモリ領域に対応する仮想フレームを解放するよう要求をする。
【0133】
ステップS32において、仮想フレーム管理部は、表示管理部から解放要求された仮想フレームのステータス情報(state[n])を空き仮想フレームであることを示す“BLANK”にする。
【0134】
ステップS33において、仮想フレーム管理部は、ビデオデコード管理部から仮想フレームが要求されているかどうかを判断する。仮想フレーム管理部に仮想フレームの要求がなされていない場合は工程を終了し、仮想フレームの要求がなされている場合は図9に示すフローチャートにおけるステップS2へと工程を戻し、ステップS2以下の工程を再び実行する。
【0135】
このように、MPEGビデオデコーダ17は、1つのデコードコア33、1つのフレームメモリ34といった構成であるが、マルチビュー放送のような複数チャンネルのデコード処理を必要とする場合においても、ホストCPU14の仮想フレーム管理部によって管理テーブルである仮想フレームを用いたフレームメモリ34の管理を行い、デコードコア33をホストCPU14のビデオデコード管理部の制御によって時分割で使用することでデコード処理を実現することができる。
【0136】
続いて、SDRAM15に構築された仮想フレームを用いた、ホストCPU14による、より具体的な管理手法について説明をする。
【0137】
ホストCPU14による管理手法を説明する前に、MPEGビデオデコーダ17のフレームメモリ34のメモリ領域を図12A〜図12C1に示すように定義する。フレームメモリ34の全メモリ領域を図12Aに示す。
【0138】
図12Bに示すように、フレームメモリ34をSDフレーム用のフレームメモリとして16フレームのSDフレームを格納可能であると定義する。また、図12Cに示すように、フレームメモリ34をHDフレーム用のフレームメモリとして4フレームのHDフレームを格納可能であると定義する。
【0139】
図12B、図12Cに示すようにフレームメモリ34を定義すると、HDフレームを格納するのに必要なメモリ領域は、SDフレームを格納するのに必要なメモリ領域の4倍となっている。
【0140】
次に、図13を用いて、SDRAM15に構築する管理テーブルである仮想フレームと、フレームメモリ34のメモリ領域との対応付けを行う。
【0141】
SDRAM15に構築する仮想フレームは、フレームメモリ34をSD用のフレームメモリとして使用した場合、フレームメモリ34をHD用のフレームメモリとして使用した場合を同時に把握することができるように構築される必要がある。
【0142】
このように仮想フレームを構築することで、例えば、マルチビュー放送の再生をするべく3本のSDストリーム(以下、3本のSDストリームを3SDストリームとも呼ぶ)がMPEGビデオデコーダ17に供給され、続いて、デジタルハイビジョン放送を再生するべくHDストリームが供給された場合に、マルチビュー放送とデジタルハイビジョン放送が切り換えられる切替点において、シームレスな切替えを実行することができる。
【0143】
例えば、SDRAM15には、図13に示すようにフレームメモリ34のメモリ領域と対応付けられた仮想フレームが構築される。
【0144】
上述したように、フレームメモリ34をSD用のフレームメモリとして使用する場合と、フレームメモリ34をHD用のフレームメモリとして使用する場合とがあるため、どちらの情報も同時に取得する必要がある。
【0145】
したがって、SDRAM15には、SD用の仮想フレームと、HD用の仮想フレームとが構築される。つまりSDRAM15に構築される仮想フレームは、フレームメモリ34をSD用として使用した際の最大フレーム数と、フレームメモリ34をHD用として使用した際の最大フレーム数を備えることになる。
【0146】
例えば、フレームメモリ34をSD用として使用した場合、フレームメモリ34には、SDフレームを16フレーム格納することが可能であり、フレームメモリ34をHD用として使用した場合、フレームメモリ34には、HDフレームを4フレーム格納することが可能であるためSDRAM15に構築される仮想フレームのフレーム数は20フレームとなる。
【0147】
SDRAM15に構築される20フレームの仮想フレームをVF_1〜VF_20とすると各仮想フレームは、SD用のフレームメモリ34のメモリ領域を示すF_SD1〜F_SD16、HD用のフレームメモリ34のメモリ領域を示すF_HD1〜F_HD4と以下のように対応している。
【0148】
HD用のフレームメモリ34のメモリ領域を示すF_HD1〜F_HD4は、仮想フレームのVF_1〜VF_4にそれぞれ1対1で対応し、SD用のフレームメモリ34のメモリ領域を示すF_SD1〜F_SD16は、仮想フレームのVF_5〜VF_20にそれぞれ1対1で対応する。
【0149】
SDRAM15に構築された仮想フレームは、フレームメモリ34の管理を実行するためにいくつかの管理情報を保持する。例えば、管理情報としては、上述したように仮想フレームに対応付けたフレームメモリ34のメモリ領域を示すメモリ領域情報、現在の当該仮想フレームの状態を示すステータス情報などがある。
【0150】
ステータス情報は、仮想フレームをデコード用に確保可能な状態である場合は“BLANK”、仮想フレームをデコード用に確保した状態である場合は“ALLOC”、仮想フレームがデコード済みである場合は“DEC”、仮想フレームが表示可能である場合は、“PRSN”などを示す情報である。
【0151】
ホストCPU14は、上述した仮想フレームが保持するステータス情報を参照することで対応するフレームメモリ34の現在の状態を把握することができる。
【0152】
例えば、SDRAM15に構築された仮想フレームのVF_1のステータス情報が“BLANK”である場合は、フレームメモリ34のメモリ領域F_HD1をデコード用として確保可能であることを示しており、VF_5のステータス情報が“ALLOC”である場合は、フレームメモリ34のメモリ領域F_SD1をデコード用に確保したこと示しており、VF_13のステータス情報“DEC”である場合は、フレームメモリ34のメモリ領域F_SD9にはデコード済みのフレームが格納されていることを示し、VF_17のステータス情報が“PRSN”である場合はフレームメモリ34のメモリ領域F_SD13には表示可能なフレームが格納されていることを示している。
【0153】
MPEGビデオデコーダ17においてストリームをデコードする場合、ホストCPU14は、SDストリーム、HDストリームといったストリームの種類に応じて、フレームメモリ34のメモリ領域から必要なデコード領域を確保して、続いて、デコードコア33によるデコード処理を実行させる。ホストCPU14は、デコード処理に必要なデコード領域をSDRAM15に構築された管理テーブルである仮想フレームを用いて確保する。
【0154】
ホストCPU14は、ストリームをデコードする場合、まずSDRAM15に構築された全仮想フレームを検索し、ステータス情報が“BLANK”状態の仮想フレームを確保する。
【0155】
具体的には、仮想フレームは、フレームメモリ34の所定のメモリ領域と対応しているので、例えば、HDストリームがMPEGビデオデコーダ17に入力された場合、ホストCPU14は、SDRAM15に構築された仮想フレームのうち、VF_1〜VF_4のいずれかの仮想フレームを確保すると、確保した仮想フレームに対応したHDストリームをデコード可能なフレームメモリ34のメモリ領域が確保されたことになる。
【0156】
しかし、仮想フレームVF_1〜VF_4に対応したフレームメモリ34のメモリ領域を確保するには、当該VF_1〜VF_4のステータス情報だけではなく仮想フレームVF_5〜VF_20のステータス情報も確認する必要がある。
【0157】
フレームメモリ34は、上述したようにHD用としてもSD用としても定義され、HD用として定義される場合、そのメモリ領域、つまりHDフレームを1フレーム格納可能なフレームメモリ34のメモリ領域は、SD用として定義される場合のメモリ領域、つまりSDフレームを1フレーム格納可能なフレームメモリ34のメモリ領域の連続した4つのメモリ領域となっている。
【0158】
したがって、HDストリームをデコードする際、仮想フレームVF_1〜VF_4のステータス情報だけではデコードする際のフレームメモリ34のメモリ領域の確保には不十分な情報である。仮想フレームVF_5〜VF_20のステータス情報も確認することで、仮想フレームVF_1〜VF_4のステータス情報に基づいて確保されたフレームメモリ34のメモリ領域が完全に空き領域となっているかどうかが分かる。
【0159】
また、SDストリームをデコードする際も同様であり、ホストCP14は、仮想フレームVF_5〜VF_20のステータス情報と、仮想フレームVF_1〜VF_4のステータス情報とを参照することでフレームメモリ34に、SDストリームをデコードする際に必要となる空き領域があるかどうかを判断する。
【0160】
続いて、図14に示すSDRAM15に構築された仮想フレームの一例を用い、HDストリームがデコード可能か、SDストリームがデコード可能かどうかを検証する。
【0161】
まず、HDストリームがMPEGビデオデコーダ17に供給された場合について検証する。
【0162】
HD用の仮想フレームであるVF_1〜VF_4を見ると、VF_4はステータス情報が“PRSN”であり表示用に使用されているため、HDストリームのデコードには使用することはできない。
【0163】
残る、HD用の仮想フレームVF_1〜VF_3は、ステータス情報が“BLANK”であるためHDストリームのデコードに使用できる可能性がある。
【0164】
しかし、フレームメモリ34をSD用のフレームメモリとして定義した場合に、仮想フレームVF_1に対応したフレームメモリ34のメモリ領域を共有することになる仮想フレームVF_5〜VF_8のうちVF_6のステータス情報が“ALLOC”であり、VF_7のステータス情報が“PRSN”となっているためVF_1をHDストリームのデコードに使用することはできない。
【0165】
同様に、VF_2においては、フレームメモリ34のメモリ領域を共有する仮想フレームVF_9〜VF_12のうちVF_11、VF_12のステータス情報が“DEC”となっているためHDストリームのデコードに使用することはできない。
【0166】
VF_3においても、フレームメモリ34のメモリ領域を共有する仮想フレームVF_13〜VF16のうちVF_13のステータス情報“PRSN”となっているためHDストリームのデコードに使用することができない。
【0167】
したがって、図14に示す仮想フレームからは、MPEGビデオデコーダ17がHDストリームのデコードをすることができない状態であることが分かる。
【0168】
続いて、図14に示すSDRAM15に構築された仮想フレームの一例を用いSDストリームがMPEGビデオデコーダ17に供給された場合について検証する。
【0169】
SD用の仮想フレームであるVF_5〜VF_20を見ると、VF_5、VF_8、VF_9、VF_10、VF_14〜VF_20までのステータス情報が“BLANK”となっている。
【0170】
次に、仮想フレームVF_1〜VF_4を見ると、VF_4のステータス情報が“PRSN”となっているためVF_17〜VF_20をSDストリームのデコードに使用することができない。
【0171】
一方、VF_1〜VF_3のステータス情報は、“BLANK”であるためVF_5、VF_8、VF_9、VF_10、VF_14〜VF_16をSDストリームのデコードに使用することができる。
【0172】
したがって、図14に示す仮想フレームからは、MPEGビデオデコーダ17が、SDストリームのデコードをすることができる状態であることが分かる。
【0173】
次に、図15に示すフローチャートを用いて、BSデジタル放送のマルチビュー放送を再生する際の、仮想フレームを用いたデコード管理動作について説明をする。以下の説明においては、マルチビュー放送として3本のSDストリーム(3SDストリーム)がMPEGビデオデコーダ17に供給され、それぞれのSDストリームをデコード処理するチャンネルをチャンネル1、チャンネル2、チャンネル3とする。
【0174】
また、チャンネル1でデコード処理するSDフレームをV_ch1_1、V_ch1_2、V_ch1_3、V_ch1_4とし、チャンネル2でデコード処理するSDフレームをV_ch2_1、V_ch2_3、V_ch2_3、V_ch2_4とし、チャンネル3でデコード処理するSDフレームを、V_ch3_1、V_ch3_2、V_ch3_3、V_ch3_4とする。各チャンネルのSDフレームのチャンネル番号(ch1、ch2、ch3)以外に流付された数字は、便宜的にPTSを示しているとし、チャンネル間で同一の数字は、同じPTS又はPTSが近接していることを示しているとする。
【0175】
上述したように、各チャンネルのデコード処理は、独立して実行されると考えられるので、ここでは、1つのチャンネルのデコード処理を中心に説明をする。
【0176】
まず、ステップS41において、ホストCPU14は、SDストリームが供給されたことに応じて、当該チャンネルにおけるデコード処理において必要な仮想フレームを要求する。
【0177】
ステップS42において、ホストCPU14は、SDRAM15に構築された仮想フレームを参照して、ステータス情報が“BLANK”となっている仮想フレームがあるかどうかを検出する。ステータス情報が“BLANK”である仮想フレームがあった場合は工程をステップS44へと進め、ステータス情報が“BLANK”ない場合は工程をステップS43へと進める。
【0178】
ステップS43において、ホストCPU14は、仮想フレームのステータス情報が“BLANK”となって空き仮想フレームができるの待つ、待機状態となる。
【0179】
ステップS44において、ホストCPU14は、当該チャンネル用に確保されたコードバッファ31のメモリ領域に供給されたSDストリームから再生出力の時刻管理情報であるPTSを検出する。
【0180】
ホストCPU14は、当該チャンネル以外の他チャンネルのデコード処理に確保されているSD用の仮想フレームから、当該チャンネルで検出したPTSに近接、若しくは一致するPTSを備えるSD用の仮想フレームを検索する。
【0181】
例えば、仮想フレームが図16に示すようであり、チャンネル3でデコード処理をするV_ch3_4のPTSがステップS44で検出されたとする。
【0182】
図16に示す仮想フレームは、HD用の仮想フレームVF_1〜VF_4のステータス情報が“BLANK”、SD用の仮想フレームVF_8、VF_12、VF_16、VF_19、VF_20のステータス情報が“BLANK”であるとする。
【0183】
上述したように、ホストCPU14は、SDRAM15に構築された図16に示す仮想フレームを参照して、V_ch3_4のPTSに近接、若しくは一致するPTSを備える他チャンネルのSD用の仮想フレームを検索する。図16の仮想フレームでは、SD用の仮想フレームVF_17、VF_18には、VF_17、VF_18に対応するフレームメモリ34のメモリ領域にV_ch3_4のPTSに近接、若しくは一致するPTSを備えるチャンネル1のV_ch1_4、チャンネル2のV_ch2_4が記憶されていることが示されているので、該当するSD用の仮想フレームは、VF_17、VF_18であることが分かる。
【0184】
該当する仮想フレームがあった場合は工程をステップS45へと進め、該当するSD用の仮想フレームがない場合は工程をステップS48へと進める。
【0185】
ステップS45において、まず、ホストCPU14は、ステップS44で検索された当該チャンネルのPTSに近接、若しくは一致するPTSを備える他チャンネルのSD用の仮想フレームと、フレームメモリ34のメモリ領域を共有しているHD用の仮想フレームを特定する。
【0186】
例えば、図16に示す仮想フレームの場合、ステップS44でSD用の仮想フレームVF_17、VF_18が特定された。このSD用の仮想フレームとフレームメモリ34のメモリ領域を共有しているHD用の仮想フレームは、VF_4であることが分かる。
【0187】
次に、ホストCPU14は、特定されたHD用の仮想フレームとフレームメモリ34のメモリ領域を共有するSD用の仮想フレームから、ステータス情報が“BLANK”のSD用の仮想フレームがあるかどうかを検索する。
【0188】
例えば、図16に示す仮想フレームの場合、特定されたHD用の仮想フレームVF_4と、フレームメモリ34のメモリ領域を共有するSD用の仮想フレームは、VF_17〜VF_20である。仮想フレームVF_17、VF_18は、既にチャンネル1、チャンネル2で使用されているため、ステータス情報が“BLANK”であるのはVF_19、VF_20のSD用仮想フレームである。
【0189】
ステータス情報が“BLANK”の仮想フレームがある場合は工程をステップS46へと進め、ステータス情報が“BLANK”の仮想フレームがない場合は工程はステップS43へと進み、空き仮想フレームの待機状態となる。
【0190】
ステップS46において、ステータス情報が“BLANK”である仮想フレームがあったことに応じて、この仮想フレームを確保する。
【0191】
例えば、図16に示す仮想フレームの場合、VF_19、VF_20のいずれかが確保される。ここでは、VF_19が確保されたとする。
【0192】
ステップS47において、ホストCPU14は、仮想フレームが確保されたことに応じて、デコード対象のSDストリームをデコードコア33でデコードし、SDフレームを生成し、確保された仮想フレームに対応したフレームメモリ34のメモリ領域にデコードしたSDフレームを格納させる。
【0193】
例えば、図16に示す仮想フレームの場合、仮想フレームVF_19に対応するフレームメモリ34のメモリ領域にV_ch3_4が格納されることになる。
【0194】
ステップS48において、ホストCPU14は、当該チャンネルで検出したPTSに近接、若しくは一致するPTSを備えるSD用の仮想フレームを検索できなかったことに応じて、仮想フレームのHD用の仮想フレームとフレームメモリ34のメモリ領域を共有しているSD用の仮想フレーム群で構成されるSD仮想フレームグループのステータス情報を参照し、当該SD仮想フレームグループが空き状態となっているかどうか判断する。
【0195】
仮想フレームグループを構成するSD用の仮想フレーム群の全ての仮想フレームのステータス情報が“BLANK”となっている場合を、仮想フレームグループが空き状態であるという。
【0196】
空き状態の仮想フレームグループが存在する場合は工程をステップS49へと進め、空き状態のSD仮想フレームグループが存在しない場合は工程をステップS50へと進める。
【0197】
ステップS49において、ステータス情報が“BLANK”となっているSD用の仮想フレームを確保する。ステップS49が終了すると、工程はステップS47へと進みデコードコア33によるデコードが実行され、確保された領域にデコードされたSDフレームが記憶される。
【0198】
ステップS50において、ホストCPU14は、SDRAM15に構築された仮想フレームの全てのSD仮想フレームグループが空き状態ではなかったことに応じて、ステータス情報が“BLANK”であるSD用の仮想フレームから、現時点で最も早く再生されるであろうSD仮想フレームグループに属しているSD用の仮想フレームを確保する。
【0199】
これは、上述したようにSD仮想フレームグループの定義より、SD仮想フレームグループに属するSD用の仮想フレームと対応するフレームメモリ34のメモリ領域に格納されるSDフレームは、お互いが近接、若しくは一致するようなPTSを保持しているため、当該SDフレームグループのPTSも同一であると考えられる。したがって、SD仮想フレームグループ単位で、再生される時刻の検証をすることが可能となる。ステップS50が終了すると、工程はステップS47へと進みデコードコア33によるデコードが実行され、確保された領域にデコードされたSDフレームが記憶される。
【0200】
このようにして、SDRAM15に構築された仮想フレームに基づいたホストCPU14の管理によって、マルチビュー放送時に供給される3本のSDストリームのデコード処理が実行されると、例えば、マルチビュー放送が終了し、通常のデジタルハイビジョン放送に切り替わった場合、図16に示す仮想フレームを用いて以下に示すようにしてHD用の仮想フレームが確保される。
【0201】
例えば、図16に示す仮想フレームのように、各チャンネルのフレームが記憶されているとすると、この時点では、SD用の仮想フレームVF5_〜VF_7、VF9_〜VF_11、VF_13〜VF_15、VF17_〜VF_19が使用されているため、フレームメモリ34のメモリ領域にはHD用のフレームを確保するための領域がないことになる。
【0202】
したがって、HD用の仮想フレームであるVF_1、VF_2、VF_3、VF_4も確保することができない。
【0203】
しかし、STCが進み仮想フレームの中で最も早いPTSを持つ、VF_5〜VF_7に対応するフレームメモリ34のメモリ領域に記憶されているV_ch1_1、V_ch2_1、V_ch3_1をフレームメモリ34から読み出すと、フレームメモリ34のメモリ領域を共有しているHD用の仮想フレームVF_1を確保することができる。
【0204】
同様にして、仮想フレームVF_9〜VF_11に対応するフレームメモリ34のメモリ領域に記憶されているV_ch1_2、V_ch2_2、V_ch3_2を読み出し、仮想フレームVF_13〜VF_15に対応するフレームメモリ34のメモリ領域に記憶されているV_ch1_3、V_ch2_3、V_ch3_3を読み出し、仮想フレームVF_17〜VF_19に対応するフレームメモリ34のメモリ領域に記憶されているV_ch1_4、V_ch2_4、V_ch3_4を読み出すことで、順次、HD用の仮想フレームVF_2、VF_3、VF_4を確保することができる。
【0205】
このようにして、HD用の仮想フレームを順次確保することが可能であるため、マルチビュー放送からデジタルハイビジョン放送へと切り替わる。このように、MPEGビデオデコーダ17に供給されるストリームが3本のSDストリームから1本のHDストリームへと切り替わった場合でも、フレームメモリ34のメモリ領域を確保できないことによるデコード処理の一時的な中断を防止することができる。
【0206】
つまり、マルチビュー放送からデジタルハイビジョン放送へと切り替わった場合でも“シームレス”なデコード処理が可能であるため、ユーザに提供される映像もマルチビュー映像からデジタルハイビジョン映像へと自然に切り替わることになる。
【0207】
続いて、図17に示すフローチャートを用いて、デジタルハイビジョン放送を再生する際の仮想フレームを用いたデコード管理動作について説明をする。
【0208】
ステップS61において、ホストCPU14は、HDストリームが供給されたことに応じて、デコード処理において必要な仮想フレームを要求する。
【0209】
ステップS62において、ホストCPU14は、SDRAM15に構築された仮想フレームのうちHD用の仮想フレームVF_1〜VF_4のステータス情報が“BLANK”となっているかどうかを検索する。ステータス情報が“BLANK”となっている場合は工程をステップS63へと進め、ステータス情報が“BLANK”となっていない場合は工程をステップS64へと進める。
【0210】
ステップS63において、ホストCPU14は、HD用の仮想フレームVF_1〜VF_4のうちステータス情報が“BLANK”であったHD用の仮想フレームと、フレームメモリ34のメモリ領域を共有するSD用の仮想フレームメモリのステータス情報が全て“BLANK”であるかどうかを判断する。
【0211】
例えば、HD用の仮想フレームVF_1のステータス情報が“BLANK”であった場合は、SD用の仮想フレームメモリVF_5〜VF_8のステータス情報を検証し、HD用の仮想フレームVF_2のステータス情報が“BLANK”であった場合は、SD用の仮想フレームメモリVF_9〜VF_12のステータス情報を検証し、HD用の仮想フレームVF_3のステータス情報が“BLANK”であった場合は、SD用の仮想フレームメモリVF_13〜VF_16のステータス情報を検証し、HD用の仮想フレームVF_4のステータス情報が“BLANK”であった場合は、SD用の仮想フレームメモリVF_17〜VF_20のステータス情報を検証する。
【0212】
SD用の仮想フレームのステータス情報が全て“BLANK”であった場合は工程をステップS65へと進め、ステータス情報が1つでも“BLANK”でなかった場合は工程をステップS64へと進める。
【0213】
ステップS64において、ホストCPU14は、仮想フレームのステータス情報が“BLANK”となって空き仮想フレームができるの待つ、待機状態となる。
【0214】
ステップS65において、ホストCPU14は、ステータス情報が“BLANK”であるHD用の仮想フレームがあったことに応じて、この仮想フレームを確保する。
【0215】
ステップS66において、ホストCPU14は、HD用の仮想フレームが確保されたことに応じて、デコード対象のHDストリームをデコードコア33でデコードし、HDフレームを生成し、確保された仮想フレームに対応したフレームメモリ34のメモリ領域にデコードしたHDフレームを格納させる。
【0216】
このようにして、SDRAM15に構築された仮想フレームに基づいたホストCPU14の管理によって、デジタルハイビジョン放送時に供給される1本のHDストリームのデコード処理が実行される。ここで、例えば、デジタルハイビジョン放送が終了し、マルチビュー放送に切り替わった場合、仮想フレームを用いて以下に示すようにしてSD用の仮想フレームが確保される。
【0217】
例えば、HD用の仮想フレームVF_1〜VF_4が全て埋まっている場合において、HD用の仮想フレームの中で最も早いPTSがHD用の仮想フレームVF_1であった場合、ホストCPU14は、HD用の仮想フレームVF_1に対応するフレームメモリ34のメモリ領域に記憶されているHDフレームを読み出して、HD用の仮想フレームVF_1を解放する。
【0218】
HD用の仮想フレームVF_1が解放されると、この仮想フレームVF_1とフレームメモリ34のメモリ領域を共有するSD用の仮想フレームVF_5〜VF_8も解放されることになる。同様にして、HD用の仮想フレームVF_2〜VF_4においても順次実行することで、次々に、SD用の仮想フレームが4フレームずつ確保されていく。
【0219】
したがって、解放されたSD用の仮想フレームを各チャンネルが確保してデコード処理を実行することでデジタルハイビジョン放送からマルチビュー放送へと切り替わり、MPEGビデオデコーダ17に供給されるストリームが1本のHDストリームから3本のSDストリームへと切り替わった場合でも、フレームメモリ34のメモリ領域を確保できないことによるデコード処理の一時的な中断を防止することができる。
【0220】
つまり、デジタルハイビジョン放送からマルチビュー放送へと切り替わった場合でも“シームレス”なデコード処理が可能であるため、ユーザに提供される映像もデジタルハイビジョン映像からマルチビュー映像へと自然に切り替わることになる。
【0221】
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは当業者にとって明らかである。
【0222】
【発明の効果】
上述したように、本発明に係る復号装置は、画像ストリームデータ記憶手段の記憶領域を入力される画像ストリームデータの本数に応じて割り当てて使用し、管理テーブルによって管理する画像フレーム記憶手段の使用状況を示す使用状況情報として、画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を示す仮想フレームに基づいて、記憶領域からの画像ストリームデータの読み出しを制御し、読み出した画像ストリームデータを復号手段によって画像フレームに復号することで、1つの復号手段と、1つの画像フレーム記憶手段とから構成される復号処理系を用いて、復号処理系の数をチャンネル数に応じて増加させることなく、マルチビュー放送に対応した復号処理を実行してそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力することを可能とする。
【0223】
本発明に係る復号方法は、画像ストリームデータ記憶手段の記憶領域を入力される画像ストリームデータの本数に応じて割り当てて使用し、管理テーブルによって管理する画像フレーム記憶手段の使用状況を示す使用状況情報として、画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を示す仮想フレームに基づいて、記憶領域からの画像ストリームデータの読み出しを制御し、読み出した画像ストリームデータを復号工程によって画像フレームに復号することで、1つの復号手段と、1つの画像フレーム記憶手段とから構成される復号処理系を用いて、復号処理系の数をチャンネル数に応じて増加させることなく、マルチビュー放送に対応した復号処理を実行してそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力することを可能とする。
【図面の簡単な説明】
【図1】 図1は、マルチビュー放送を説明するための図である。
【図2】 図2は、本発明を適用した記録再生装置の使用形態を示した図である。
【図3】 図3は、本発明を適用した記録再生装置の要部構成を示すブロック図である。
【図4】 図4は、本発明を適用した記録再生装置を構成するMPEGビデオデコーダを示すブロック図である。
【図5】 図5は、本発明を適用した記録再生装置において、MPEGビデオデコーダに1本のHDストリームが供給された場合のコードバッファ、セレクタの様子を示した図である。
【図6】 図6は、本発明を適用した記録再生装置において、MPEGビデオデコーダに1本SDストリームが供給された場合のコードバッファ、セレクタの様子を示した図である。
【図7】 図7は、本発明を適用した記録再生装置において、MPEGビデオデコーダに2本のSDストリームが供給された場合のコードバッファ、セレクタの様子を示した図である。
【図8】 図8は、本発明を適用した記録再生装置において、MPEGビデオデコーダに3本のSDストリームが供給された場合のコードバッファ、セレクタの様子を示した図である。
【図9】 図9は、本発明を適用した記録再生装置において、MPEGビデオデコーダの動作を示すフローチャートである。
【図10】 図10は、MPEGビデオデコーダのデコード処理動作を示すフローチャートである。
【図11】 図11は、仮想フレームを解放する際の動作を示すフローチャートである。
【図12A】 図12Aは、本発明を適用した記録再生装置におけるフレームメモリの全メモリ領域を説明するための図である。
【図12B】 図12Bは、フレームメモリをSD用として定義した場合のメモリ領域を示した図である。
【図12C】 図12Cは、フレームメモリをHD用として定義した場合のメモリ領域を示した図である。
【図13】 図13は、フレームメモリと仮想フレームとの対応について説明するための図である。
【図14】 図14は、仮想フレームの一例を示す図である。
【図15】 図15は、マルチビュー放送をデコードする際の仮想フレームを用いたホストCPUの管理動作を示すフローチャートである。
【図16】 図16は、図15に示すフローチャートの動作を説明する際に使用した仮想フレームの一例を示す図である。
【図17】 図17は、本発明を適用した記録再生装置において、デジタルハイビジョン放送をデコードする際の仮想フレームを用いたホストCPUの管理動作について説明するためのフローチャートである。

Claims (12)

  1. 入力されるm(mは自然数)チャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに上記画像ストリームデータを記憶する画像ストリームデータ記憶手段と、
    上記画像ストリームデータ記憶手段に記憶された上記mチャンネルの画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し手段と、
    上記画像ストリームデータ読み出し手段から時分割で読み出された上記mチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号手段と、
    所定の記憶容量を有し、上記復号手段によって復号された上記画像フレームを記憶する画像フレーム記憶手段と、
    上記画像フレーム記憶手段に先に記憶された上記画像フレームを順番に読み出す画像フレーム読み出し手段と、
    上記画像フレーム読み出し手段によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力手段と、
    上記画像フレーム記憶手段の使用状況を示す使用状況情報として、該画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段と、
    上記管理テーブル記憶手段に記憶されている管理テーブルに基づいて、上記復号手段の動作を制御する制御手段とを備え、
    上記制御手段は、上記画像フレーム読み出し手段により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように上記管理テーブル記憶手段を管理し、該管理テーブル記憶手段に記憶されている管理テーブルに基づいて、上記復号手段が上記各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、該チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、該チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、該使用仮想フレーム数(used_num[ch])と該要求仮想フレーム(req_num[ch])との和が、該チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、該要求仮想フレーム数(req_num[ch])が該空き仮想フレーム数(blank_num[ch])以下である場合のみ、上記復号手段に上記mチャンネルの画像ストリームデータを待機させながら順次復号処理をさせ、待機しているチャンネルがないことに応じて復号処理を終了させるように制御し、
    上記管理テーブル記憶手段は、上記画像フレーム読み出し手段により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとして管理する復号装置。
  2. 入力されるm(mは自然数)チャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに上記画像ストリームデータを記憶する画像ストリームデータ記憶工程と、
    上記画像ストリームデータ記憶手段に記憶された上記mチャンネルの画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し工程と、
    上記画像ストリームデータ読み出し工程において時分割で読み出された上記mチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号工程と、
    上記復号工程によって復号された上記画像フレームを、所定の記憶容量を有する画像フレーム記憶手段に記憶する画像フレーム記憶工程と、
    上記画像フレーム記憶工程で先に記憶された上記画像フレームを順番に読み出す画像フレーム読み出し工程と、
    上記画像フレーム読み出し工程によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力工程とを有し、
    上記画像フレーム記憶手段の使用状況を示す使用状況情報として、該画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段の仮想フレームに基づき、上記復号工程で上記各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、該チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、該チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、該使用仮想フレーム数(used_num[ch])と該要求仮想フレーム(req_num[ch])との和が、該チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、該要求仮想フレーム数(req_num[ch])が該空き仮想フレーム数(blank_num[ch])以下である場合のみ、上記mチャンネルの画像ストリームデータを待機させながら順次復号処理をして、待機しているチャンネルがないことに応じて終了するように、上記復号工程を行い、画像フレーム読み出し工程により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように該管理テーブル記憶手段を管理する制御工程とを備える復号方法。
  3. m(mは自然数)チャンネルの画像ストリームデータが多重化された多重化ストリームを入力する入力手段と、
    上記入力手段に入力された多重化ストリームをmチャンネルの画像ストリームデータに分離する分離手段と、
    上記分離手段で分離されたmチャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに上記画像ストリームデータを記憶する画像ストリームデータ記憶手段と、
    上記画像ストリームデータ記憶手段に記憶された上記画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し手段と、
    上記画像ストリームデータ読み出し手段から読み出された上記mチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号手段と、
    所定の記憶容量を有し、上記復号手段によって復号された上記画像フレームを記憶する画像フレーム記憶手段と、
    上記画像フレーム記憶手段に先に記憶された上記画像フレームを順番に読み出す画像フレーム読み出し手段と、
    上記画像フレーム読み出し手段によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力手段と、
    上記画像フレーム記憶手段の使用状況を示す使用状況情報として、該画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段と、
    上記管理テーブル記憶手段に記憶されている管理テーブルに基づいて、上記復号手段の動作を制御する制御手段とを備え、
    上記制御手段は、上記画像フレーム読み出し手段により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように上記管理テーブル記憶手段を管理し、該管理テーブル記憶手段に記憶されている管理テーブルに基づいて、上記復号手段が上記各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、該チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、該チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、該使用仮想フレーム数(used_num[ch])と該要求仮想フレーム(req_num[ch])との和が、該チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、該要求仮想フレーム数(req_num[ch])が該空き仮想フレーム数(blank_num[ch])以下である場合のみ、上記復号手段に上記mチャンネルの画像ストリームデータを待機させながら順次復号処理をさせ、待機しているチャンネルがないことに応じて復号処理を終了させるように制御する復号装置。
  4. 所定の周波数に変調されて送信されたm(mは自然数)チャンネルの画像ストリームデータが多重化された多重化ストリームを受信する受信手段を備え、
    上記入力手段は、上記受信手段で受信された上記mチャンネルの画像ストリームデータが多重化された多重化ストリームを入力する請求項3記載の復号装置。
  5. 上記受信手段で受信した多重化ストリームを記録媒体に記録する記録手段を備える請求項4記載の復号装置。
  6. 上記記録手段によって上記記録媒体に記録された多重化ストリームを再生する再生手段を備え、
    上記入力手段は、上記再生手段によって再生された多重化ストリームを入力する請求項5記載の復号装置。
  7. mチャンネルの画像ストリームデータが多重化された多重化ストリームを記録した記録媒体を装着する装着手段を備え、
    上記再生手段は、上記装着手段に装着された上記記録媒体に記録されている多重化ストリームを再生する請求項6記載の復号装置。
  8. m(mは自然数)チャンネルの画像ストリームデータが多重化された多重化ストリームを入力する入力工程と、
    上記入力工程で入力された多重化ストリームをmチャンネルの画像ストリームに分離する分離工程と、
    上記分離工程で分離されたmチャンネルの画像ストリームデータに対して、画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに上記画像ストリームデータを記憶する画像ストリームデータ記憶工程と、
    上記画像ストリームデータ記憶工程で記憶された上記画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し工程と、
    上記画像ストリームデータ読み出し工程で読み出された上記mチャンネルの画像ストリームデータをそれぞれ画像フレームに復号する復号工程と、
    上記復号工程によって復号された上記画像フレームを、所定の記憶容量を有する画像フレーム記憶手段に記憶する画像フレーム記憶工程と、
    上記画像フレーム記憶手段に先に記憶された上記画像フレームを順番に読み出す画像フレーム読み出し工程と、
    上記画像フレーム読み出し工程によって読み出されたそれぞれの画像ストリームデータに対応する画像フレームを同一画面上に配置して出力する出力工程とを有し、
    上記画像フレーム記憶手段の使用状況を示す使用状況情報として、該画像フレーム記憶手段に記憶される各画像フレームに対応するメモリ領域の格納状況を管理する管理テーブルである仮想フレームを記憶する管理テーブル記憶手段の仮想フレームに基づき、上記復号工程で上記各チャンネルの画像ストリームデータを復号するのに必要となる仮想フレームのフレーム数である要求仮想フレーム数(req_num[ch])と、該チャンネルにおいて使用している仮想フレームのフレーム数である使用仮想フレーム数(used_num[ch])と、該チャンネルで使用可能で使用されていない仮想フレームのフレーム数である空き仮想フレーム数(blank_num[ch])を算出し、該使用仮想フレーム数(used_num[ch])と該要求仮想フレーム(req_num[ch])との和が、該チャンネルにおいて復号処理に使用することが可能な仮想フレームの最大数以下であって、該要求仮想フレーム数(req_num[ch])が該空き仮想フレーム数(blank_num[ch])以下である場合のみ、上記mチャンネルの画像ストリームデータを待機させながら順次復号処理をして、待機しているチャンネルがないことに応じて終了するように、上記復号工程を行い、画像フレーム読み出し工程により読み出された画像フレームに対応する仮想フレームの格納状況を使用可能で使用されていない空き仮想フレームとなるように該管理テーブル記憶手段を管理する復号方法。
  9. 所定の周波数に変調されて送信されたm(mは自然数)チャンネルの画像ストリームデータが多重化された多重化ストリームを受信する受信工程を有し、
    上記入力工程は、上記受信工程で受信された上記mチャンネルの画像ストリームデータが多重化された多重化ストリームを入力する請求項8記載の復号方法。
  10. 上記受信工程で受信した多重化ストリームを記録媒体に記録する記録工程を有する請求項9記載の復号方法。
  11. 上記記録工程によって上記記録媒体に記録された多重化ストリームを再生する再生工程を有し、
    上記入力工程は、上記再生工程によって再生された多重化ストリームを入力する請求項10記載の復号方法。
  12. mチャンネルの画像ストリームデータが多重化された多重化ストリームを記録した記録媒体を装着する装着工程を有し、
    上記再生工程は、上記装着工程に装着された上記記録媒体に記録されている多重化ストリームを再生する請求項11記載の復号方法。
JP2004515490A 2002-06-20 2003-06-11 復号装置及び復号方法 Expired - Fee Related JP4725104B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004515490A JP4725104B2 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002180411 2002-06-20
JP2002180411 2002-06-20
PCT/JP2003/007437 WO2004002145A1 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法
JP2004515490A JP4725104B2 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法

Publications (2)

Publication Number Publication Date
JPWO2004002145A1 JPWO2004002145A1 (ja) 2005-10-27
JP4725104B2 true JP4725104B2 (ja) 2011-07-13

Family

ID=29996606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004515490A Expired - Fee Related JP4725104B2 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法

Country Status (8)

Country Link
US (1) US7305173B2 (ja)
EP (1) EP1530370A4 (ja)
JP (1) JP4725104B2 (ja)
KR (1) KR100997166B1 (ja)
CN (1) CN1299502C (ja)
MX (1) MXPA04001511A (ja)
TW (1) TWI236848B (ja)
WO (1) WO2004002145A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731378B2 (en) * 2003-06-30 2014-05-20 Broadcom Corporation System, method, and apparatus for playing back a plurality of video elementary streams with one playback channel
US7398443B2 (en) * 2004-10-15 2008-07-08 Genesis Microchip Inc. Automatic fault-testing of logic blocks using internal at-speed logic-BIST
TWI248762B (en) * 2004-11-10 2006-02-01 Realtek Semiconductor Corp Video processing device and method thereof
JP4349313B2 (ja) 2005-04-18 2009-10-21 ソニー株式会社 再生装置,再生制御方法およびプログラム
WO2006120778A1 (ja) * 2005-05-12 2006-11-16 Matsushita Electric Industrial Co., Ltd. 信号再生装置
FR2890274A1 (fr) 2005-08-30 2007-03-02 France Telecom Procede d'adressage pour le transport de donnees sur un reseau de telecommunication,signal de structure d'adresse, passerelle et programme d'ordinateur correspondants
US7817865B2 (en) 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
CN101945277B (zh) * 2006-01-12 2013-08-14 Lg电子株式会社 处理多视图视频
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
CN101375594B (zh) * 2006-01-12 2011-09-07 Lg电子株式会社 处理多视图视频
JP4519082B2 (ja) 2006-02-15 2010-08-04 株式会社ソニー・コンピュータエンタテインメント 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
KR101370919B1 (ko) 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
WO2008010932A2 (en) * 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
JP5057820B2 (ja) * 2007-03-29 2012-10-24 株式会社東芝 デジタルストリームの記録方法、再生方法、記録装置、および再生装置
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP2008311871A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd 情報記録再生装置及びビデオカメラ装置
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
US8484391B2 (en) 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
KR101945830B1 (ko) * 2012-05-24 2019-06-11 삼성전자 주식회사 다중 동영상 재생 방법 및 장치
US10649613B2 (en) 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
US10489389B2 (en) 2012-06-07 2019-11-26 Wormhole Labs, Inc. Experience analytic objects, systems and methods
US10700944B2 (en) 2012-06-07 2020-06-30 Wormhole Labs, Inc. Sensor data aggregation system
US9489387B2 (en) 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
CN110753259B (zh) * 2019-11-15 2022-01-25 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03257644A (ja) * 1990-03-08 1991-11-18 Hitachi Ltd 主メモリ管理方法
JPH07184165A (ja) * 1993-11-11 1995-07-21 Toshiba Corp 動画復号化方法及びその装置
JPH11127438A (ja) * 1997-10-21 1999-05-11 Toshiba Corp 動画復号化装置用メモリ管理方法及びその装置
JP2000106677A (ja) * 1998-09-29 2000-04-11 Nec Corp 圧縮ストリーム復号装置および圧縮ストリーム復号方法
JP2000165858A (ja) * 1998-09-24 2000-06-16 Sony Corp 画像再生装置および方法、並びに媒体
WO2000040033A1 (en) * 1998-12-23 2000-07-06 Zoran Corporation Video memory management for mpeg video decode and display system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504532A (en) * 1989-09-07 1996-04-02 Advanced Television Test Center, Inc. Bi-directional television format digital signal converter with improved luminance signal-to-noise ratio
US5394275A (en) * 1990-06-27 1995-02-28 Matsushita Electric Industrial Co., Ltd. Apparatus for selectively recording and reproducing two video signals having different amounts of data in each frame
JP3109185B2 (ja) * 1991-11-12 2000-11-13 ソニー株式会社 ディジタルvtr
JP3134434B2 (ja) * 1991-12-26 2001-02-13 ソニー株式会社 記録再生装置
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
EP0711085B1 (en) * 1994-11-05 2000-09-27 Sony Corporation Recording and reproduction of television signals
JP3791114B2 (ja) * 1997-04-30 2006-06-28 ソニー株式会社 信号再生装置及び方法
JP2002521884A (ja) * 1998-07-15 2002-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Hdtv信号の記録および編集
JP3752968B2 (ja) * 2000-06-08 2006-03-08 日本電気株式会社 データ記録方法、装置、およびプログラムを記録した記録媒体
JP2002069387A (ja) * 2000-08-28 2002-03-08 Sekisui Chem Co Ltd 接着剤組成物及び該接着剤組成物を用いた接合方法
JP2002077837A (ja) * 2000-08-29 2002-03-15 Victor Co Of Japan Ltd データ放送番組送出方法およびデータ放送受信装置
JP3820155B2 (ja) 2001-01-16 2006-09-13 松下電器産業株式会社 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
JP3954406B2 (ja) 2002-02-18 2007-08-08 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03257644A (ja) * 1990-03-08 1991-11-18 Hitachi Ltd 主メモリ管理方法
JPH07184165A (ja) * 1993-11-11 1995-07-21 Toshiba Corp 動画復号化方法及びその装置
JPH11127438A (ja) * 1997-10-21 1999-05-11 Toshiba Corp 動画復号化装置用メモリ管理方法及びその装置
JP2000165858A (ja) * 1998-09-24 2000-06-16 Sony Corp 画像再生装置および方法、並びに媒体
JP2000106677A (ja) * 1998-09-29 2000-04-11 Nec Corp 圧縮ストリーム復号装置および圧縮ストリーム復号方法
WO2000040033A1 (en) * 1998-12-23 2000-07-06 Zoran Corporation Video memory management for mpeg video decode and display system

Also Published As

Publication number Publication date
TW200409543A (en) 2004-06-01
MXPA04001511A (es) 2004-05-31
US7305173B2 (en) 2007-12-04
JPWO2004002145A1 (ja) 2005-10-27
EP1530370A4 (en) 2008-12-03
US20040240859A1 (en) 2004-12-02
CN1299502C (zh) 2007-02-07
TWI236848B (en) 2005-07-21
CN1545808A (zh) 2004-11-10
WO2004002145A1 (ja) 2003-12-31
EP1530370A1 (en) 2005-05-11
KR100997166B1 (ko) 2010-11-29
KR20050012709A (ko) 2005-02-02

Similar Documents

Publication Publication Date Title
JP4725104B2 (ja) 復号装置及び復号方法
US5920572A (en) Transport stream decoder/demultiplexer for hierarchically organized audio-video streams
CN1196332C (zh) 用于传送数字通用盘片信息的装置和方法
US7639924B2 (en) Audio/video decoding process and device, and video driver circuit and decoder box incorporating the same
US20060120462A1 (en) Compressed stream decoding apparatus and method
JP2002010182A (ja) データ蓄積方法およびそれを実現した受信装置および放送システム
JP2006345169A (ja) デジタルテレビ受信端末装置
JP4403404B2 (ja) 復号装置及び復号方法
JP4257478B2 (ja) 記録再生装置
US7446819B2 (en) Apparatus and method for processing video signals
JP2004193673A (ja) 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP4366038B2 (ja) テレビジョン放送処理装置及びテレビジョン放送処理装置の制御方法
JP4332249B2 (ja) ビットストリーム復号化装置、方法及び記憶媒体
JP2003244600A (ja) 情報記録再生装置
JP4366912B2 (ja) 復号装置及び復号方法
JP3830645B2 (ja) 画像復号化方法及び装置
Yamauchi et al. Single chip video processor for digital HDTV
JP2003143602A (ja) 復号装置,復号方法,復号プログラム,および復号プログラム記録媒体
JP4288442B2 (ja) 記録再生装置および映像処理方法
JP5476179B2 (ja) チューナーの切替装置、チューナーの切替システムおよびチューナーの切替装置の制御方法
JP2008153955A (ja) 映像記録再生装置、その特殊再生方法
JP2016096524A (ja) 電子機器及び信号処理方法
JPH11346349A (ja) 番組伝送方法、番組伝送装置、番組受信装置および媒体
JP2001086495A (ja) 符号化ディジタル信号復号装置及びそれを内臓した受信機、テレビ並びに記録再生装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110328

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees