JP4731602B2 - 映像再生装置 - Google Patents

映像再生装置 Download PDF

Info

Publication number
JP4731602B2
JP4731602B2 JP2008513259A JP2008513259A JP4731602B2 JP 4731602 B2 JP4731602 B2 JP 4731602B2 JP 2008513259 A JP2008513259 A JP 2008513259A JP 2008513259 A JP2008513259 A JP 2008513259A JP 4731602 B2 JP4731602 B2 JP 4731602B2
Authority
JP
Japan
Prior art keywords
video
memory area
data
decoded
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008513259A
Other languages
English (en)
Other versions
JPWO2007125999A1 (ja
Inventor
聡 木下
真尋 中森
典行 真鍋
克紀 浦野
智 北口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008513259A priority Critical patent/JP4731602B2/ja
Publication of JPWO2007125999A1 publication Critical patent/JPWO2007125999A1/ja
Application granted granted Critical
Publication of JP4731602B2 publication Critical patent/JP4731602B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像再生装置に関し、特に、DVD(Digital Versatile Disk)、HDD(Hard Disk Drive)などに記憶された映像などのデジタルデータを復号して再生する映像再生装置に関するものである。
図11に示される従来の映像再生装置は、DVD、HDDなどに記録された映像などのデジタルデータを読み取るための読み取り処理ブロック1101と、該読み取り処理ブロック1101により読み取られた、圧縮された映像データを復号する復号処理ブロック1102と、該復号した映像信号を出力する映像出力処理ブロック1103と、読み取り処理ブロック1101、復号処理ブロック1102、および映像出力処理ブロック1103において処理すべきデータを保存するための外部メモリ1104とを備えたものである。DVD、HDDなどに記録された映像データを再生する際には、読み取り処理ブロック1101により映像データを読み取り、該読み取った映像データはこれを復号するために復号処理ブロック1102に転送され、該復号された映像信号は映像出力処理ブロック1103に入力され、該映像出力処理ブロック1103より復号映像信号が出力される。
読み取り処理ブロック1101、復号処理ブロック1102、および映像出力処理ブロック1103は、それぞれ、外部メモリ1104とDMA転送によりデータ転送をして映像再生動作をする。ここで、容量の大きい外部メモリ1104を使用することは、映像再生装置のコストアップになる。よって、映像再生装置をコストダウンする方法として、容量の小さい外部メモリ1104を使用するために、外部メモリ1104のメモリのうち映像データを復号するために割り当てられるメモリを削減する方法がある。
たとえば、特許文献1には、図12に示すように、外部メモリ1205の中の復号映像データを格納するためのフレームメモリ1204を、非双方向予測フレームを復号した映像データを保存するためのそれぞれ1フレーム分、計2フレーム分の第1のメモリ領域1201,第2のメモリ領域1202と、双方向予測フレームを復号した映像データを保存するための1フレーム分の第3のメモリ領域1203のように割り当て、双方向予測フレームを復号した映像データを保存する第3のメモリ領域1203を使用して復号映像信号を出力するときには、復号処理ブロック1102と映像出力処理ブロック1103が協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号することで、フレームメモリ1204を削減する方法が提案されている。
この従来の映像再生装置においては、図7に示すように、画像をB0、B1、I2、B3、B4、P5、…の順で出画する通常再生をする場合に、例えば、B3のフレームの復号及び出画は、双方向予測フレームを復号した映像データを保存する第3のメモリ領域1203を使用して行われる。このとき、復号処理ブロック1102は、映像出力処理ブロック1103が第1のメモリ領域1201に格納されたI2の復号画像データを出画しているときに、第1のメモリ領域1201、第2のメモリ領域1202に格納されたI2、P5の復号画像データを参照してB3を途中まで復号して第3のメモリ領域1203に格納する。そして、第3のメモリ領域1203がいっぱいになる前に、映像出力処理ブロック1103が第3のメモリ領域1203に格納されたB3の復号画像データの出画を開始し、復号処理ブロック1102は、第3のメモリ領域1203に格納されたB3の復号画像データのうち出画の終わった復号画像データを上書きするように、B3の残りの部分の復号画像データを第3のメモリ領域1203に格納する。これにより、通常の再生においては、双方向予測フレームを復号した映像データを保存する第3のメモリ領域1203として1フレーム分未満の大きさのメモリ領域を用いて映像再生を行うことができる。
特開2004−343553号公報(第1頁、第1図)
上述したように、従来の映像再生装置においては、外部メモリ1205の中のフレームメモリ1204を、非双方向予測フレームを復号した映像データを保存するための第1のメモリ領域1201,第2のメモリ領域1202と、双方向予測フレームを復号した映像データを保存するための第3のメモリ領域1203のように割り当て、双方向予測フレームを復号した映像データを保存する第3のメモリ領域1203を使用して復号映像信号を出力するときには、復号処理ブロック1102と映像出力処理ブロック1103とが協調し、未出力の復号映像データを書きつぶさないように、復号映像信号を出力しながら、復号することで、通常の再生においては、双方向予測フレームを復号した映像データを保存する第3のメモリ領域1203として1フレーム分未満の大きさのメモリ領域を用いて画像再生を行うことができる。
しかしながら、この方式で時間的に逆方向の再生もしくは任意のピクチャをサーチする再生を実現する場合、映像出力処理ブロックが非双方向予測フレームを復号した映像データを保存するためのそれぞれ1フレーム分のメモリ1201、1202のうちのどちらか一方から表示しているとき、次に出画すべき画像の復号のために、現在表示中のメモリ領域とは別に、2フレーム分のメモリ領域を必要とする場合が生じる。
すなわち、上記従来の映像再生装置において、図8に示すように、第1のメモリ領域1201にP14の復号画像データ、第2のメモリ領域にP11の復号画像データが格納された状態から、画像をB13、B12、P11、B10、B9、P8、…の順で出画する逆方向再生をする場合、B13、B12については、第1のメモリ領域1201、第2のメモリ領域に格納されたP14、P11の復号画像データを参照して、通常再生の場合と同様に第3のメモリ領域1203として1フレーム分未満の大きさのメモリ領域を用いて復号、出画を行うことができ、また、P11については第2のメモリ領域に格納されたP11の復号画像データを出画することができる。しかし、次に出画すべきB10については、これを復号するために、P8とP11が必要であり、また、P8を復号するためにはP5が必要であり、P5を復号するためにはI2が必要である。そのため、図8の最下段に示すように、P11を出画した状態で、I2を復号して第1のメモリ領域1201に格納し、このI2の復号画像データを参照してP5を復号するが、このP5の復号画像データの格納には1フレーム分のメモリ領域が必要となる。
このように、従来の映像再生装置では、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生を実現する場合、映像出力処理ブロックが第1、第2のメモリ領域1201、1202のうちのどちらか一方から表示しているとき、次に出画すべき画像の復号のために現在表示中のメモリ領域とは別に、2フレーム分のメモリ領域を必要とする場合が生じ、このため、外部メモリ1104のメモリのうち映像データを復号するために割り当てられるメモリを削減することができないという問題があった。あるいは、外部メモリ1104のメモリのうち映像データを復号するために割り当てられるメモリを削減したものにおいては、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で非双方向予測フレームを復号および表示する場合に、全フィールドの復号映像信号を出力することができない、という問題があった。
この発明は、上記のような従来の課題に鑑みてなされたもので、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力するときに、復号処理ブロックと映像出力処理ブロックとが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で非双方向予測フレームを復号および表示する場合にも、全フィールドの復号映像信号を出力することのできる映像再生装置を提供することを目的とする。
上記課題を解決するため、本発明の請求項1にかかる映像再生装置は、時間軸方向のフレーム間相関を利用して圧縮処理が行われた動画像符号化データを復号するための復号ブロックと、それぞれが非双方向予測フレームを復号した映像データを保存する各々1フレーム分の第1のメモリ領域、第2のメモリ領域と、双方向予測フレームを復号した映像データの一部を保存する1フレーム未満分の第3のメモリ領域と、前記第1、第2、及び第3のメモリ領域のいずれかから映像データを転送し、復号映像信号を出力する映像出力処理ブロックと、前記復号ブロック、前記第1、第2、第3のメモリ領域、および前記映像出力処理ブロックの動作を制御する制御手段とを備え、前記制御手段は、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、前記第1、および第2の両メモリ領域のうちの一方から表示出力をしており、次に表示すべき映像データを復号するまでに、2フレーム分の非双方向予測フレームの復号映像データを、前記第3のメモリ領域と前記両メモリ領域のうちの他方とに同時に保存すべきとき、現在表示している復号映像データを、そのデータサイズを前記第3のメモリ領域に収まるよう縮小した縮小データを前記第3のメモリ領域に保存し、前記第3のメモリ領域から前記縮小データを表示出力する状態として、2フレーム分の非双方向予測フレームの復号映像データを、前記第1、および第2のメモリ領域に同時に保存するよう制御する、ことを特徴とする。
これにより、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力するときに、復号処理ブロックと映像出力処理ブロックが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全ての映像信号を出力する場合に、非双方向予測フレームを復号するための2フレーム分のメモリ領域を確保でき、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項2にかかる映像再生装置は、請求項1記載の映像再生装置において、前記制御手段は、前記第3のメモリ領域に保存可能なデータ量と、次に表示すべき映像信号を復号するために復号すべき非双方向予測フレームの復号映像データのデータ量とを比較し、非双方向予測フレームの復号映像データを、前記第3のメモリ領域に格納できると判断したときは、2フレーム分の非双方向予測フレームの復号映像データを、前記第3のメモリ領域と前記両メモリ領域のうちの他方とで同時に保存するよう制御する、ことを特徴とする。
これにより、コピー処理によるDMA転送量の増加と、映像データを縮小することによる解像度低下を回避しつつ、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項3にかかる映像再生装置は、請求項1記載の映像再生装置において、前記制御手段は、前記データサイズを縮小した縮小データを前記第3のメモリ領域に保存する処理において、現在表示している復号映像信号のトップもしくはボトムフィールドの映像データを前記第3のメモリ領域にコピーし、該コピー処理中は、復号映像信号を出力するメモリ領域をコピー元からコピー先のメモリ領域に切り替えず、両フィールドを異なる時間で表示するよう制御する、ことを特徴とする。
これにより、コピー処理時間がかかる場合に、表示映像切り替えタイミングをコピー完了に合わせることにより、過去に表示した映像データを繰り返し表示することによる解像度低下を回避しつつ、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生ですべての復号映像信号を出力することができる。
また、本発明の請求項4にかかる映像再生装置は、請求項1記載の映像再生装置において、前記制御手段は、前記データサイズを縮小した縮小データを前記第3のメモリ領域に保存する際、前記映像出力処理ブロックが現在表示している復号映像データのデータサイズを前記第3のメモリ領域に過不足なく収まるデータサイズとするための縮小率を求め、該縮小率に応じて前記映像出力処理ブロックが現在表示している復号映像データをその水平方向もしくは垂直方向またはその両方でデータを間引きすることにより、あるいは前記映像出力処理ブロックが現在表示している復号映像データを前記縮小率に応じてフィルタ処理することによりデータサイズを縮小するよう制御する、ことを特徴とする。
これにより、データサイズを縮小したことによる解像度低下を最小限に抑えつつ、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項5にかかる映像再生装置は、請求項1記載の映像再生装置において、前記データサイズを縮小した縮小データを前記第3のメモリ領域に保存する処理で使用する内部バッファと、前記映像出力処理ブロックが使用する内部バッファとを共通のものとした、ことを特徴とする。
これにより、データサイズを縮小した縮小データを前記第3のメモリ領域に保存する処理のための専用のバッファを追加する必要がなく、また、専用のバッファへのDMA転送を不要とできることからDMA転送の回数を半分とでき、その結果、縮小データの前記第3のメモリ領域への保存処理時間を短縮するとともに、DMAバンド幅の増加を最小限に抑えつつ、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生において全フィールドの復号映像信号を出力することができる。
また、本発明の請求項6にかかる映像再生装置は、請求項1記載の映像再生装置において、前記制御手段は、前記復号ブロックが復号した復号画像データをそのトップフィールドのデータとボトムフィールドのデータとをメモリ領域内で分離して保存するように制御し、現在表示中の復号映像信号の表示フィールドが切り替わったとき、該表示が開始されたフィールドの先頭データが格納されたアドレスが前記第3のメモリ領域の先頭アドレスとなり、該表示が開始されたフィールドの復号映像データが前記第3のメモリ領域に保存された状態となるように、現在表示中のメモリ領域のアドレスを前記第3のメモリ領域のアドレスに変換して、前記映像出力処理ブロックが現在表示している復号映像データを前記第3のメモリ領域に収まるようにデータサイズを縮小した縮小データを前記第3のメモリ領域に保存するよう制御する、ことを特徴とする。
これにより、縮小データの前記第3のメモリ領域への保存処理時間を短縮するとともに、DMAバンド幅の増加を最小限に抑えつつ、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項7にかかる映像再生装置は、請求項1記載の映像再生装置において、前記制御手段は、前記映像出力処理ブロックが前記第3のメモリ領域から前記縮小データを表示出力する状態とするときに、前記縮小データの前記第3のメモリ領域への保存処理速度と出画処理速度と未保存の前記縮小データの量を比較し、出画処理により出力される画像信号が前記保存処理で保存される縮小データの範囲を超えないとき、前記縮小データの前記第3のメモリ領域への保存が完了する前に、前記第3のメモリ領域から復号映像信号の出力を開始するよう制御する、ことを特徴とする。
これにより、縮小データの保存処理時間を短縮しつつ、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項8にかかる映像再生装置は、時間軸方向のフレーム間相関を利用して圧縮処理の行われた動画像符号化データを復号するための復号ブロックと、それぞれが復号した映像データを保存する各々1フレーム分の第1のメモリ領域、第2のメモリ領域と、復号した映像データの一部を保存する1フレーム未満分の第3のメモリ領域と、前記第1、第2、及び第3のメモリ領域のいずれかから映像データを転送し、復号映像信号を出力する映像出力処理ブロックと、前記復号ブロック、前記第1、第2、第3のメモリ領域、および前記映像出力処理ブロックの動作を制御する制御手段とを備え、前記制御手段は、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、前記第3のメモリ領域を、音声または、副映像の入力データバッファ領域を用いて補うことにより1フレーム分のメモリ領域を確保するよう制御する、ことを特徴とする。
これにより、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力するときに、復号処理ブロックと映像出力処理ブロックが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全ての映像信号を出力する場合に、使用しない副映像もしくは音声データの入力バッファを用い1フレーム未満分のメモリ領域を補うことによって、次の非双方向予測フレームを復号するメモリ領域を確保し、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項9にかかる映像再生装置は、時間軸方向のフレーム間相関を利用して圧縮処理の行われた動画像符号化データを復号するための復号ブロックと、それぞれが復号した映像データを保存する各々1フレーム分の第1のメモリ領域、第2のメモリ領域と、復号した映像データの一部を保存する1フレーム未満分の第3のメモリ領域と、前記第1、第2、及び第3のメモリ領域のいずれかから映像データを転送し、復号映像信号を出力する映像出力処理ブロックと、前記復号ブロック、前記第1、第2、第3のメモリ領域、および前記映像出力処理ブロックの動作を制御する制御手段とを備え、前記制御手段は、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、前記第3のメモリ領域を、主映像の入力データバッファ領域の一部を用いて補うことにより1フレーム分のメモリ領域を確保するよう制御する、ことを特徴とする。
これにより、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力するときに、復号処理ブロックと映像出力処理ブロックが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全ての映像信号を出力する場合に、主映像データ入力バッファの一部を用い1フレーム未満分のメモリ領域を補うことによって、次の非双方向予測フレームを復号するメモリ領域を確保し、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
また、本発明の請求項10にかかる映像再生装置は、請求項8、請求項9記載の映像再生装置において、前記制御手段が、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合で現在表示中の映像が非双方向予測フレームである場合に、時間的にひとつ過去の非双方向予測フレームを復号するとき、該ひとつ過去の非双方向予測フレームの復号映像データを格納するメモリ領域を、次に出力する画像と該次に出力する画像を復号するまでに復号する画像の合計枚数、および次に出力する画像が双方向予測フレームであるか否か、により決定するよう制御する、ことを特徴とする。
これにより、通常再生復帰時に、出力に必要なデータは第3のメモリ領域を補っていた副映像、音声、主映像データ入力バッファの部分には格納されていない状態とでき、復帰をスムーズに行うことができる。
また、本発明の請求項11にかかる映像再生装置は、請求項8、請求項9記載の映像再生装置において、前記制御手段が、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合で現在表示中の映像が非双方向予測フレームである場合に、時間的にひとつ過去の非双方向予測フレームを復号するとき、該ひとつ過去の非双方向予測フレームの復号映像データを、これを格納したメモリ領域から他のメモリ領域にコピーするよう制御する、ことを特徴とする。
これにより、通常再生復帰時に、出力に必要なデータは第3のメモリ領域を補っていた副映像、音声、主映像データ入力バッファの部分には格納されていない状態とでき、復帰をスムーズに行うことができる。
また、本発明の請求項12にかかる映像再生装置は、請求項9記載の映像再生装置において、前記制御手段が、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生から通常の再生に復帰する際、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時の前記主映像の入力データバッファ領域の入力データを、前記入力データバッファ領域の別の領域にコピーするよう制御する、ことを特徴とする。
これにより、通常再生復帰時に、第3のメモリ領域を補っていた主映像データ入力バッファ内の入力データの処理を容易に行うことができる。
本発明にかかる映像出力処理装置によれば、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力するときに、復号処理ブロックと映像出力処理ブロックが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、許容できる画質およびデータ転送量を保ちながら、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
これにより時間的に逆方向の再生もしくは任意のピクチャをサーチする再生においてもフレームメモリのデータを削減することができ、例えば、フレームメモリが621KBでx=7であれば、186.3KBの削減をすることができる。
以下に、図面を参照しながら、本発明の実施の形態について説明する。
(実施の形態1)
以下、本発明の実施の形態1による映像出力処理装置について説明する。
図1に示す、本実施の形態1による映像再生装置は、DVD、HDDなどに記録された映像などのデジタルデータを読み取るための読み取り処理ブロック101と、該読み取り処理ブロック101により読み取られた、圧縮された映像データを復号する復号処理ブロック102と、該復号した復号映像信号を出力する映像出力処理ブロック103と、読み取り処理ブロック101、復号処理ブロック102、および映像出力処理ブロック103において処理すべきデータを保存するための外部メモリ104とを備えたものである。
図2は、本実施の形態1による映像再生装置における、外部メモリ104の内部構成の一部を示す図である。外部メモリ104の中の復号映像データを格納するためのフレームメモリ204を、非双方向予測フレームを復号した映像データを保存するためのそれぞれ1フレーム分、計2フレーム分の第1のメモリ領域201,第2のメモリ領域202と、双方向予測フレームを復号した映像データの一部を保存するための1フレーム未満分(0.xフレーム分)の第3のメモリ領域203のように割り当てる。
また、本実施の形態1による映像再生装置は、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、映像出力処理ブロック103が、第1、第2のメモリ領域201、202のうちの一方のメモリ領域から表示しており、次に表示すべき映像データを復号するまでに、第3のメモリ領域203と第1、第2のメモリ領域201、202のうちの他方のメモリ領域で2フレーム分の非双方向予測フレームの復号映像データを同時に保存する必要があると判断したとき、映像出力処理ブロック103が現在表示している復号映像データを第3のメモリ領域203に収まるようにデータサイズを縮小した縮小データを第3のメモリ領域203に保存し、映像出力処理ブロック103が第3のメモリ領域203から前記縮小データを表示している状態として、第1、第2のメモリ領域201、202を用いて2フレーム分の非双方向予測フレームの復号映像データを同時に保存するよう制御する、図示しない制御手段を備えている。
次に本実施の形態1による映像再生装置の動作について説明する。
本実施の形態1による映像再生装置において、時間的に順方向に再生する場合は、図7に示した従来の映像再生装置における映像再生と同様の動作により、双方向予測フレームを復号した映像データを保存する第3のメモリ領域203として1フレーム分未満の大きさのメモリ領域を用いて映像再生を行うことができる。
具体的に、図9に示すように、画像をB0、B1、I2、B3、B4、P5、…の順で出画する通常再生をする場合に、例えば、B3のフレームの復号及び出画は、双方向予測フレームを復号した映像データを保存する第3のメモリ領域203を使用して行われる。このとき、復号処理ブロック102は、映像出力処理ブロック103が第1のメモリ領域201に格納されたI2の復号画像データを出画しているときに、第1のメモリ領域1201、第2のメモリ領域1202に格納されたI2、P5の復号画像データを参照してB3を途中まで復号して第3のメモリ領域203に格納する。そして、第3のメモリ領域203がいっぱいになる前に、映像出力処理ブロック103が第3のメモリ領域203に格納されたB3の復号画像データの出画を開始し、復号処理ブロック102は、第3のメモリ領域203に格納されたB3の復号画像データのうち出画の終わった復号画像データを上書きするように、B3の残りの部分の復号画像データを第3のメモリ領域203に格納する。これにより、通常の再生においては、双方向予測フレームを復号した映像データを保存する第3のメモリ領域203として1フレーム分未満の大きさのメモリ領域を用いて映像再生を行うことができる。
一方、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合は、先頭から復号しない限り、双方向予測フレームおよび非双方向予測フレームを復号できないため、次に表示すべき映像信号を復号するために、表示中の復号映像信号を保存するためのメモリ領域以外に最大2フレーム分のメモリを確保する必要があるが、第1、第2のメモリ領域201、202のいずれかから復号映像信号を出力しているときには、1+0.xフレーム分のメモリしか確保できない。
図3は、本実施の形態1による映像再生装置において、例えばP11、B10、B9、P8、…の順で時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合の、復号処理ブロック102および、映像出力処理ブロック103のフレームメモリ204に対する制御を示す図である。ここでアルファベットはピクチャタイプを、数字は順方向に再生したときの出力順を示す。
図3(a)において、フレームメモリ204の第2のメモリ領域202のP11を映像出力処理ブロック103が出力しているとき、次に映像出力すべきB10を復号するために、P8とP11が必要である。また、P8を復号するためにはP5が必要であり、P5を復号するためにはI2が必要である。具体的には、I2を復号してこの復号映像データをメモリ領域に保存し、I2の復号映像データを参照してP5を復号してこの復号映像データをメモリ領域に保存し、さらにP5の復号映像データを参照してP8を復号し、このP8の復号映像データをI2の復号映像データを保存していたメモリ領域に保存し、P8の復号映像データを参照してP11を復号し、このP11の復号映像データをP5の復号映像データを保存していたメモリ領域に保存するといったステップが必要となり、表示中の復号映像信号を保存するためのメモリ領域以外のメモリ領域に2フレーム分の非双方向予測フレームの復号映像データを同時に保存することが必要となる。
ここで、本実施の形態1による映像再生処理装置では、まず、映像出力処理ブロック103が、図3(a)の(1)に示すように、P11を映像出力しながら、非双方向予測フレームを復号した映像データを保存するメモリ202に格納されているP11の復号映像データを、双方向予測フレームを復号した映像データを保存するための第3のメモリ領域203にそのデータサイズを縮小してコピーする。
ここでデータサイズの縮小は、映像出力処理ブロック103が現在表示している復号映像データのデータサイズを第3のメモリ領域203に過不足なく収まるデータサイズとするための縮小率を求め、該縮小率に応じて映像出力処理ブロックが現在表示している復号映像データをその水平方向もしくは垂直方向またはその両方でデータを間引きすることにより、あるいは映像出力処理ブロックが現在表示している復号映像データを前記縮小率に応じてフィルタ処理することにより行う。また、データの間引きによってデータサイズを縮小する場合、過去に表示した映像データを繰り返して表示することによる解像度低下が許容できるときは、映像出力処理ブロック103が現在表示している復号映像信号のトップもしくはボトムフィールドの映像データを第3のメモリ領域203にコピーするようにしてもよい。この場合には、該コピー処理中は、復号映像信号を出力するメモリ領域をコピー元からコピー先のメモリ領域に切り替えず、両フィールドを異なる時間で表示するように制御することで、過去に表示した映像データを繰り返すことによる解像度低下を最小限に抑えることができる。
次に、映像出力処理ブロック103は、図3(a)の(2)に示すように、第2のメモリ領域202から、第3のメモリ領域203へ映像出力を切り替え、第1、第2のメモリ領域201、202を復号用に確保する。
そして、図9の最下段に示すように、I2を復号してその復号映像データをP14の復号映像データを格納していた第1のメモリ領域201に格納し、I2の復号映像データを参照してP5を復号しその復号映像データをP11の復号映像データを格納していた第2のメモリ領域202に格納する。さらに、図3(b)の(3)に示すように、P5の復号映像データを参照してP8を復号しその復号映像データをI2の復号映像データを格納していた第1のメモリ領域201に格納し、P8の復号映像データを参照してP11を復号しその復号映像データをP5の復号映像データを格納していた第2のメモリ領域202に格納する。
その後、図3(c)に示すように、復号処理ブロック102と映像出力処理ブロック103が協調し、復号映像データを書きつぶさないように復号映像信号を出力しながら、第1のメモリ領域201に格納されたP8の復号映像データと第2のメモリ領域202に格納されたP11の復号映像データを参照し、B10を復号および映像出力を行う。
このようにして、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、次に表示すべき映像データを復号するまでに、第3のメモリ領域と第1、第2のメモリ領域のうちの現在表示に用いられていないメモリ領域で2フレーム分の非双方向予測フレームの復号映像データを同時に保存する必要があるとき、映像出力処理ブロックが現在表示している復号映像データを第3のメモリ領域に縮小保存して、第1、第2のメモリ領域を復号用に確保することにより、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
図4は、本実施の形態1による映像再生装置において、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時のフレームメモリ制御処理のフローの具体的な一例を示す図である。以下、本実施の形態1による映像再生装置における、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時のフレームメモリ制御処理のフローについて、図4に沿って詳細に説明する。
図4のフローにおいて、まず、双方向予測フレームを復号した映像データの一部を保存するためのメモリ203のサイズと現在復号映像信号を出力しているメモリがメモリ201、202、203のいずれであるかの情報を取得する(ステップS401)。ただし、ストリーム復号中において不変な情報であるものは、必ずしも、フレームメモリ制御処理ごとに取得する必要はない。
双方向予測フレームを復号した映像データの一部を保存するためのメモリ領域203のサイズが1フレーム以下(0.xフレーム)であって、現在復号映像信号を出力しているメモリ領域が第1のメモリ領域201、または第2のメモリ領域202の一方のメモリ領域であるとき、次に表示すべき映像データを復号するまでに、第3のメモリ領域203と第1、第2のメモリ領域201、202のうちの他方のメモリ領域で2フレーム分の非双方向予測フレームの復号映像データを同時に保存する必要があると判断したときは、ステップS403に進む。一方、次に表示すべき映像データを復号するまでに、第3のメモリ領域203と第1、第2のメモリ領域201、202のうちの他方のメモリ領域で2フレーム分の非双方向予測フレームの復号映像データを同時に保存する必要がない場合はそのまま次の復号処理を行うためにステップS416に進む(ステップS402)。
ステップS403では、0.xフレームの容量の第3のメモリ領域203に次に復号するフレームの復号映像データが保存できるかどうかを調べるために、次に復号するフレームの復号映像データのデータサイズを取得する。そして、次に復号するフレームの復号映像データのデータサイズが第3のメモリ領域203の容量より大きいときはステップS405に進み、次に復号するフレームの復号映像データのデータサイズが第3のメモリ領域203の容量以下で、次に復号するフレームの復号映像データを第3のメモリ領域203に保存できる場合はそのまま次の復号処理を行うためにステップS416に進む(ステップS404)。
ステップS405では、次に表示すべきタイミングで映像データを出力せず、過去に表示した映像データを繰り返すことによる解像度低下が許容できるか否かを判断し、解像度低下が許容できない場合は、ステップS406に進み、解像度低下を許容できる場合はトップもしくはボトムフィールドをコピーする処理へ分岐し、ステップS412に進む。ステップS406では、映像出力処理ブロックが現在表示している復号映像データのデータサイズを第3のメモリ領域203に過不足なく収まるデータサイズとするための縮小率を求める。これにより画像データを縮小することによる解像度低下を最小限に抑えることができるものである。この後、ステップS407において、ステップS406で求めた縮小率に応じて映像出力処理ブロック103が現在表示している復号映像データをその水平方向もしくは垂直方向またはその両方でデータを間引きすることにより、あるいは映像出力処理ブロック103が現在表示している復号映像データをステップS406で縮小率に応じてフィルタ処理することによりデータサイズを縮小し、縮小後のデータを第3のメモリ領域203に保存を開始する。
ここで、データを間引きすることによりデータサイズを縮小する場合であれば、前記映像出力処理ブロック103が復号映像信号を出力するタイミングに合わせて、第3のメモリ領域203へデータを転送可能とすることにより、また、フィルタ処理によってデータサイズを縮小する場合であれば、前記映像出力処理ブロック103が復号映像信号を出力するブランキング期間を用いて、第3のメモリ領域203へデータを転送可能とすることにより、コピー処理が使用する内部バッファと前記映像出力処理ブロック103が使用する内部バッファを共通のものとすることができ、このような構成とすれば、コピー処理のために別途の内部バッファを追加する必要がなく、また、現在復号映像信号を出力しているメモリ領域201、202からコピー処理用の内部バッファへDMA転送を行なうことも不要とできる。
続いて、ステップS408において出力フィールドを変更する場合は、映像出力処理ブロック103に出力フィールドの変更を通知し、ステップS409で出力フィールドを変更する。
その後、ステップS410においてコピー処理が完了するまでの処理時間および復号映像信号の出力が完了するまでの時間を取得する。コピー処理が完了している場合、および復号映像信号の出力が完了するまでにコピーが完了できると判断した場合は、ステップS411において出力メモリを変更可能となり、可能になるまでは第3のメモリ領域203から復号映像信号を出力せず、ステップS408〜ステップS411の処理を繰り返す。
一方、ステップS412においては、次に変更するフィールドがトップフィールドであるかボトムフィールドであるかを取得する。そして、ステップS413において次に復号映像を表示するフィールドを第3のメモリ領域203にコピーする。トップフィールドとボトムフィールドを分離してデコードできる場合には第2のメモリ領域202の前半部分に現在表示しているフィールドを格納するようにすれば、第2のメモリ領域202の後半部分と第3のメモリ領域203を合わせ1フレーム分のメモリとしてアドレス変換を行うことにより、コピー処理を省略することができる。
その後、ステップS414において、ステップS410と同様にコピー処理が完了するまでの処理時間および復号映像信号の出力が完了するまでの時間を取得するコピー処理が完了している場合、および復号映像信号の出力が完了するまでにコピーが完了できると判断した場合は、ステップS415において出力メモリを変更可能となり、可能になるまでは第3のメモリ領域203から復号映像信号を出力せず、ステップS414,S415の処理を繰り返す。
ステップS416で、現在表示中のフィールドを変更する必要がある場合は、ステップS417において出力フィールドの変更もしくは出力メモリを変更し、ステップS418において復号処理を行い、ステップS416で、現在表示中のフィールドを変更する必要がない場合は、出力フィールドの変更もしくは出力メモリの変更を行うことなくそのままステップS418において復号処理を行う。
このように本実施の形態1による映像再生装置では、動時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、第1、第2の両メモリ領域201、202のうちの一方から表示しており、次に表示すべき映像データを復号するまでに、2フレーム分の非双方向予測フレームの復号映像データを、第3のメモリ領域203と前記両メモリ領域201、202のうちの他方とに同時に保存すべきとき、現在表示している復号映像データを、そのデータサイズを第3のメモリ領域203に収まるよう縮小した縮小データを第3のメモリ領域203に保存し、第3のメモリ領域203から前記縮小データを表示出力する状態として、2フレーム分の非双方向予測フレームの復号映像データを、第1、第2のメモリ領域201、202に同時に保存するようにして、次に表示すべき映像データを復号するようにしたので、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力する際に、復号処理ブロックと映像出力処理ブロックが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全ての映像信号を出力する場合に、非双方向予測フレームを復号するための、2フレーム分のメモリ領域を確保でき、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
(実施の形態2)
以下、本発明の実施の形態2による映像出力処理装置について説明する。
本実施の形態2による映像再生装置は、図1、図2に示す実施の形態1による映像再生装置と同様の構成を有するが、図示しない制御手段による、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時の制御のしかたが実施の形態1による映像再生装置と異なるものである。
図5は、本実施の形態2による映像再生装置において、例えばB12、P11、B10、B9、P8、B7、B6、P5、…の順で時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合の、復号処理ブロック102および、映像出力処理ブロック103の外部メモリ104に対する制御を示す図である。
本実施の形態2による映像再生装置では、逆方向再生時に、図5(a)に示すように、外部メモリ104のうちの音声もしくは副映像もしくは主映像の入力データバッファであるその他領域505をフレームメモリ204の0.x面のメモリ領域203に付け足し、1面分のフレーム領域506を確保する。映像出力処理ブロック103がフレームメモリのメモリ領域202からP11を出力している場合、次に出力するB10の復号処理を行うため、復号処理ブロック102がメモリ領域201、及び1面分のフレーム領域506を用いてI2、P5、P8の復号処理を行う。復号処理ブロックはB10を復号するまでに復号処理を行うI、Pの画像枚数を保持し、B10の復号データがフレーム領域506に復号できるように、復号した画像情報を格納するメモリ領域の場所を制御する。もし、制御に失敗しB10がフレーム領域506以外のメモリ領域におかれた場合はその復号データをフレーム領域506にコピーする。すなわち、図10の下段に示すように、I2を復号してその復号映像データをP14の復号映像データを格納していた第1のメモリ領域201に格納し、I2の復号映像データを参照してP5を復号しその復号映像データを1面分のフレーム領域506に格納する。さらに、図5(b)の(4)に示すように、P5の復号映像データを参照してP8を復号しその復号映像データをI2の復号映像データを格納していた第1のメモリ領域201に格納し、P8の復号映像データとP11の復号映像データを参照してB10を復号しその復号映像データをP5の復号映像データを格納していたフレーム領域506に格納しつつ、図5(b)の(5)に示すように映像出力処理ブロック103により出力する。
また、本実施の形態2による映像再生装置では、図5(c)に示すように、メモリ領域203に付け足されるその他領域505としてビデオデータ入力バッファ507領域の一部を用いた場合で、逆方向再生から通常再生への復帰時にその他領域505に用いられていないビデオデータ入力バッファ507内のデータがラップアラウンドしている場合、通常再生復帰後のビデオデータ入力バッファ内508のデータが連続して処理できるよう、有効ビデオデータを、ビデオデータ入力バッファ508内の、ラップアラウンドして戻ってくる先頭の領域にコピーする。
図6は、本実施の形態2による映像再生装置において、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時のフレームメモリ制御処理のフローの具体的な一例を示す図である。以下、本実施の形態2による映像再生装置における、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時のフレームメモリ制御処理のフローについて、図6に沿って詳細に説明する。
図6のフローにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時には、ステップS601において、音声、副映像データ入力バッファ領域をフレームメモリ204に割り当てフレームメモリ1面分の領域を確保する。音声、副映像データ入力バッファ領域を用いてもフレームメモリ1面分の領域を確保できない場合は、主映像データ入力バッファの一部を用いて第3のメモリ領域203を補って1面分の領域506を確保する。
そして、ステップS602において、現在出力中の映像が双方向予測フレームかどうかを判定し、双方向予測フレームであれば、ステップS609に進み、次の復号処理を行う。双方向予測フレームでなければ、ステップS603に進み、次出力画像とそれまでに復号する画像の合計枚数の取得処理を行う。
次にステップS604において、次出力画像とそれまでに復号する画像の合計枚数が奇数か偶数かを判定し、ステップS605、S606において、次出力画像が双方向予測フレームかどうかを判定する。次出力画像とそれまでに復号する画像枚数が奇数かつ次出力画像が双方向予測フレームの場合または偶数かつ双方向予測フレームでない場合は、ステップS608において、フレーム領域506に復号を行うよう設定し、それ以外の場合は、ステップS607において、現在出力中でない第1のメモリ領域201または第2のメモリ領域202へ復号を行うように設定を行う。
これによって、次出力画像が双方向予測フレームの場合にはフレーム領域506から出力を行い、双方向予測フレーム以外の場合には第1のメモリ領域201または第2のメモリ領域202から出力を行うことができる。この処理により双方向予測フレーム以外をフレーム領域506に格納し出力を行った場合、通常再生復帰時にフレーム領域506の一部は音声、副映像、主映像のデータ入力バッファへと切り替えるため、スムーズに通常再生への復帰を行うことができなくなるのを防ぐことができる。
ステップS609において復号処理後、次出力画像が復号完了でないならば、ステップS602に戻って、ステップS602からステップS609のステップを繰り返す。ステップS609において復号処理後、次出力画像が復号完了ならば、次出力画像が双方向予測フレームであり、かつ復号された画像データが格納されたメモリ領域がフレーム領域506でなければ、ステップS612において、その復号画像データをフレーム領域506にコピーする。また、次出力画像が双方向予測フレームではなく、かつ復号された画像データが格納されたメモリ領域がフレーム領域506であるときは、ステップS614において、その復号画像データをフレーム領域506以外の第1のメモリ領域201または、第2のメモリ領域202のうちで現在出力中でないメモリ領域にコピーする。これはステップS607、S608での処理で誤って出力する双方向予測フレームをフレーム領域506以外に格納、または出力する双方向予測フレームでないフレームをフレーム領域506に格納した場合のエラー対応として行われる。
また通常再生復帰時に主映像データ入力バッファの一部をフレームメモリ504として使用していた場合復帰時に図5の逆方向再生時のビデオデータ入力バッファ507のように入力データがラップアラウンドした状態の場合には、通常再生復帰時のビデオデータ入力バッファ508のように通常再生復帰後にビデオデータの処理が容易となるようビデオデータをコピーする。
このように本実施の形態2による映像再生装置では、動時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、第3のメモリ領域を、音声または、副映像の入力データバッファ領域、あるいは主映像の入力データバッファ領域の一部を用いて補うことにより1フレーム分のメモリ領域を確保して表示すべき映像データを復号するようにしたので、双方向予測フレームを復号した映像データを保存するメモリ領域を使用して復号映像信号を出力するときに、復号処理ブロックと映像出力処理ブロックが協調し、未出力の復号映像データを書きつぶさないように復号映像信号を出力しながら復号する方式で双方向予測フレームを復号した映像データを保存するメモリ領域を削減するものにおいて、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全ての映像信号を出力する場合に、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生で全フィールドの復号映像信号を出力することができる。
本発明は、DVD、HDDなどに記録された映像データを再生するシステムで、容量の小さい外部メモリを使用する場合に適用して、有効である。また外部記録メディアの用途にも応用することができる。
図1は、本発明の実施の形態1もしくは2による、映像再生装置の構成を示す図である。 図2は、実施の形態1もしくは2による映像再生装置における外部メモリにおけるフレームメモリの内部構成図である。 図3は、実施の形態1による映像再生装置における逆方向に再生する場合のフレームメモリ制御を示す図である。 図4は、実施の形態1による映像再生装置における時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時のフレームメモリ制御処理フローを示す図である。 図5は、実施の形態2による映像再生装置における逆方向に再生する場合のフレームメモリ制御を示す図である。 図6は、実施の形態2による映像再生装置における時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時のフレームメモリ制御処理フローを示す図である。 図7は、従来の映像再生装置において順方向に再生する場合の動作を説明する図である。 図8は、従来の映像再生装置において逆方向に再生する場合の動作を説明する図である。 図9は、実施の形態1による映像再生装置における逆方向に再生する場合の動作を説明する図である。 図10は、実施の形態2による映像再生装置における逆方向に再生する場合の動作を説明する図である。 図11は、従来の映像再生装置の構成を示す図である。 図12は、従来の映像再生装置における外部メモリにおけるフレームメモリの内部構成図である。
符号の説明
101 読み取り処理ブロック
102 復号処理ブロック
103 映像出力処理ブロック
104 外部メモリ
201 非双方向予測フレームを復号した映像データを保存するメモリ(1フレーム分)
202 非双方向予測フレームを復号した映像データを保存するメモリ(1フレーム分)
203 双方向予測フレームを復号した映像データを保存するメモリ(0.xフレーム分)
204 フレームメモリ

Claims (12)

  1. 時間軸方向のフレーム間相関を利用して圧縮処理が行われた動画像符号化データを復号するための復号ブロックと、
    それぞれが非双方向予測フレームを復号した映像データを保存する各々1フレーム分の第1のメモリ領域、第2のメモリ領域と、
    双方向予測フレームを復号した映像データの一部を保存する1フレーム未満分の第3のメモリ領域と、
    前記第1、第2、及び第3のメモリ領域のいずれかから映像データを転送し、復号映像信号を出力する映像出力処理ブロックと、
    前記復号ブロック、前記第1、第2、第3のメモリ領域、および前記映像出力処理ブロックの動作を制御する制御手段とを備え、
    前記制御手段は、
    時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、前記第1、および第2の両メモリ領域のうちの一方から表示出力をしており、次に表示すべき映像データを復号するまでに、2フレーム分の非双方向予測フレームの復号映像データを、前記第3のメモリ領域と前記両メモリ領域のうちの他方とに同時に保存すべきとき、
    現在表示している復号映像データを、そのデータサイズを前記第3のメモリ領域に収まるよう縮小した縮小データを前記第3のメモリ領域に保存し、
    前記第3のメモリ領域から前記縮小データを表示出力する状態として、2フレーム分の非双方向予測フレームの復号映像データを、前記第1、および第2のメモリ領域に同時に保存するよう制御する、
    ことを特徴とする映像再生装置。
  2. 請求項1記載の映像再生装置において、
    前記制御手段は、前記第3のメモリ領域に保存可能なデータ量と、次に表示すべき映像信号を復号するために復号すべき非双方向予測フレームの復号映像データのデータ量とを比較し、非双方向予測フレームの復号映像データを、前記第3のメモリ領域に格納できると判断したときは、2フレーム分の非双方向予測フレームの復号映像データを、前記第3のメモリ領域と前記両メモリ領域のうちの他方とで同時に保存するよう制御する、
    ことを特徴とする映像再生装置。
  3. 請求項1記載の映像再生装置において、
    前記制御手段は、前記データサイズを縮小した縮小データを前記第3のメモリ領域に保存する処理において、現在表示している復号映像信号のトップもしくはボトムフィールドの映像データを前記第3のメモリ領域にコピーし、
    該コピー処理中は、復号映像信号を出力するメモリ領域をコピー元からコピー先のメモリ領域に切り替えず、両フィールドを異なる時間で表示するよう制御する、
    ことを特徴とする映像再生装置。
  4. 請求項1記載の映像再生装置において、
    前記制御手段は、前記データサイズを縮小した縮小データを前記第3のメモリ領域に保存する際、前記映像出力処理ブロックが現在表示している復号映像データのデータサイズを前記第3のメモリ領域に過不足なく収まるデータサイズとするための縮小率を求め、
    該縮小率に応じて前記映像出力処理ブロックが現在表示している復号映像データをその水平方向もしくは垂直方向またはその両方でデータを間引きすることにより、あるいは前記映像出力処理ブロックが現在表示している復号映像データを前記縮小率に応じてフィルタ処理することによりデータサイズを縮小するよう制御する、
    ことを特徴とする映像再生装置。
  5. 請求項1記載の映像再生装置において、
    前記データサイズを縮小した縮小データを前記第3のメモリ領域に保存する処理で使用する内部バッファと、前記映像出力処理ブロックが使用する内部バッファとを共通のものとした、
    ことを特徴とする映像再生装置。
  6. 請求項1記載の映像再生装置において、
    前記制御手段は、前記復号ブロックが復号した復号画像データをそのトップフィールドのデータとボトムフィールドのデータとをメモリ領域内で分離して保存するように制御し、
    現在表示中の復号映像信号の表示フィールドが切り替わったとき、該表示が開始されたフィールドの先頭データが格納されたアドレスが前記第3のメモリ領域の先頭アドレスとなり、該表示が開始されたフィールドの復号映像データが前記第3のメモリ領域に保存された状態となるように、
    現在表示中のメモリ領域のアドレスを前記第3のメモリ領域のアドレスに変換して、前記映像出力処理ブロックが現在表示している復号映像データを前記第3のメモリ領域に収まるようにデータサイズを縮小した縮小データを前記第3のメモリ領域に保存するよう制御する、
    ことを特徴とする映像再生装置。
  7. 請求項1記載の映像再生装置において、
    前記制御手段は、前記映像出力処理ブロックが前記第3のメモリ領域から前記縮小データを表示出力する状態とするときに、前記縮小データの前記第3のメモリ領域への保存処理速度と出画処理速度と未保存の前記縮小データの量を比較し、出画処理により出力される画像信号が前記保存処理で保存される縮小データの範囲を超えないとき、前記縮小データの前記第3のメモリ領域への保存が完了する前に、前記第3のメモリ領域から復号映像信号の出力を開始するよう制御する、
    ことを特徴とする映像再生装置。
  8. 時間軸方向のフレーム間相関を利用して圧縮処理の行われた動画像符号化データを復号するための復号ブロックと、
    それぞれが復号した映像データを保存する各々1フレーム分の第1のメモリ領域、第2のメモリ領域と、
    復号した映像データの一部を保存する1フレーム未満分の第3のメモリ領域と、
    前記第1、第2、及び第3のメモリ領域のいずれかから映像データを転送し、復号映像信号を出力する映像出力処理ブロックと、
    前記復号ブロック、前記第1、第2、第3のメモリ領域、および前記映像出力処理ブロックの動作を制御する制御手段とを備え、
    前記制御手段は、
    時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、前記第3のメモリ領域を、音声または、副映像の入力データバッファ領域を用いて補うことにより1フレーム分のメモリ領域を確保するよう制御する、
    ことを特徴とする映像再生装置。
  9. 時間軸方向のフレーム間相関を利用して圧縮処理の行われた動画像符号化データを復号するための復号ブロックと、
    それぞれが復号した映像データを保存する各々1フレーム分の第1のメモリ領域、第2のメモリ領域と、
    復号した映像データの一部を保存する1フレーム未満分の第3のメモリ領域と、
    前記第1、第2、及び第3のメモリ領域のいずれかから映像データを転送し、復号映像信号を出力する映像出力処理ブロックと、
    前記復号ブロックと、第1、第2、第3のメモリ領域と、映像出力処理ブロックの動作を制御する制御手段とを備え、
    前記制御手段は、
    時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合に、前記第3のメモリ領域を、主映像の入力データバッファ領域の一部を用いて補うことにより1フレーム分のメモリ領域を確保するよう制御する、
    ことを特徴とする映像再生装置。
  10. 請求項8、または請求項9に記載の映像再生装置において、
    前記制御手段は、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合で現在表示中の映像が非双方向予測フレームである場合に、時間的にひとつ過去の非双方向予測フレームを復号するとき、
    該ひとつ過去の非双方向予測フレームの復号映像データを格納するメモリ領域を、次に出力する画像と該次に出力する画像を復号するまでに復号する画像の合計枚数、および次に出力する画像が双方向予測フレームであるか否か、により決定するよう制御する、
    ことを特徴とする映像再生装置。
  11. 請求項8、または請求項9に記載の映像再生装置において、
    前記制御手段は、時間的に逆方向に再生する場合もしくは任意のピクチャをサーチする場合で現在表示中の映像が非双方向予測フレームである場合に、時間的にひとつ過去の非双方向予測フレームを復号するとき、
    該ひとつ過去の非双方向予測フレームの復号映像データを、これを格納したメモリ領域から他のメモリ領域にコピーするよう制御する、
    ことを特徴とする映像再生装置。
  12. 請求項9に記載の映像再生装置において、
    前記制御手段は、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生から通常の再生に復帰する際、時間的に逆方向の再生もしくは任意のピクチャをサーチする再生時の前記主映像の入力データバッファ領域の入力データを、前記入力データバッファ領域の別の領域にコピーするよう制御する、
    ことを特徴とする映像再生装置。
JP2008513259A 2006-04-28 2007-04-26 映像再生装置 Expired - Fee Related JP4731602B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008513259A JP4731602B2 (ja) 2006-04-28 2007-04-26 映像再生装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006126692 2006-04-28
JP2006126692 2006-04-28
JP2008513259A JP4731602B2 (ja) 2006-04-28 2007-04-26 映像再生装置
PCT/JP2007/059063 WO2007125999A1 (ja) 2006-04-28 2007-04-26 映像再生装置

Publications (2)

Publication Number Publication Date
JPWO2007125999A1 JPWO2007125999A1 (ja) 2009-09-10
JP4731602B2 true JP4731602B2 (ja) 2011-07-27

Family

ID=38655524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008513259A Expired - Fee Related JP4731602B2 (ja) 2006-04-28 2007-04-26 映像再生装置

Country Status (4)

Country Link
US (1) US20090092376A1 (ja)
JP (1) JP4731602B2 (ja)
CN (1) CN101427569B (ja)
WO (1) WO2007125999A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954796B (zh) * 2014-03-28 2019-06-11 联咏科技股份有限公司 视频处理装置与其视频处理电路
CN111372117B (zh) * 2018-12-25 2023-06-23 浙江大华技术股份有限公司 一种视频播放方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法,及び映像信号復号化装置
JP2000023169A (ja) * 1998-06-26 2000-01-21 Sony Corp 復号装置
JP2001016593A (ja) * 1999-06-25 2001-01-19 Mitsubishi Electric Corp 画像復号表示装置
JP2001285877A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 圧縮符号化データ復号装置および復号方法
JP2004343553A (ja) * 2003-05-16 2004-12-02 Renesas Technology Corp 画像復号表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法,及び映像信号復号化装置
JP2000023169A (ja) * 1998-06-26 2000-01-21 Sony Corp 復号装置
JP2001016593A (ja) * 1999-06-25 2001-01-19 Mitsubishi Electric Corp 画像復号表示装置
JP2001285877A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 圧縮符号化データ復号装置および復号方法
JP2004343553A (ja) * 2003-05-16 2004-12-02 Renesas Technology Corp 画像復号表示装置

Also Published As

Publication number Publication date
CN101427569A (zh) 2009-05-06
CN101427569B (zh) 2011-11-16
JPWO2007125999A1 (ja) 2009-09-10
WO2007125999A1 (ja) 2007-11-08
US20090092376A1 (en) 2009-04-09

Similar Documents

Publication Publication Date Title
JP5333229B2 (ja) 再生装置及び再生方法、並びにコンピュータ・プログラム
JPH10304309A (ja) 信号再生装置及び方法
US8165455B2 (en) Data processing apparatus and data processing method, and computer program
JP5701597B2 (ja) 省メモリ環境におけるビデオモーションメニュー生成
JP2001189915A (ja) 録画装置
JP4731602B2 (ja) 映像再生装置
JP2009147743A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2001203971A (ja) 画像データ処理装置
JP2004193695A (ja) 記録再生装置及び方法
JP2007181164A (ja) 画像再生装置
US20040233806A1 (en) Recording device and method, recording medium and program
JP2006236504A (ja) 情報記録再生方法
US7493022B2 (en) Video signal processing apparatus and method
JP2005080073A (ja) 画像再生装置および画像データの逆方向再生方法
US20050002645A1 (en) Reproducing device and method, recording medium and program
JP2014086798A (ja) 電子機器、動画再生装置、動画デコード方法、及びプログラム
JP2004040518A (ja) 撮像記録装置と再生装置
JP2006121299A (ja) 記録再生装置
JP2008022200A (ja) 再生装置
KR20000028935A (ko) 이미지 데이터 기록방법, 이미지 데이터 기록장치, 이미지데이터 재생방법, 이미지 데이터 재생장치, 정보기록매체및 컴퓨터로 독출가능한 기록매체
JP2000175151A (ja) Mpeg再生装置及びmpeg再生方法
KR970008413B1 (ko) 영상복호장치
JP5093395B2 (ja) 復号装置、及び復号方法
JP5355176B2 (ja) 動画保存装置及びその制御方法
JP2007328353A (ja) 復号装置、及び復号方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees