JP5030495B2 - 再生装置、再生方法、プログラム、および記録媒体 - Google Patents

再生装置、再生方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP5030495B2
JP5030495B2 JP2006194676A JP2006194676A JP5030495B2 JP 5030495 B2 JP5030495 B2 JP 5030495B2 JP 2006194676 A JP2006194676 A JP 2006194676A JP 2006194676 A JP2006194676 A JP 2006194676A JP 5030495 B2 JP5030495 B2 JP 5030495B2
Authority
JP
Japan
Prior art keywords
video signal
picture
decoding
frame
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006194676A
Other languages
English (en)
Other versions
JP2008022475A (ja
Inventor
毅 加藤
建明 李
伸明 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006194676A priority Critical patent/JP5030495B2/ja
Priority to TW96125252A priority patent/TW200826688A/zh
Priority to US12/309,346 priority patent/US20090285564A1/en
Priority to EP07790730A priority patent/EP2043370A4/en
Priority to PCT/JP2007/063949 priority patent/WO2008007758A1/ja
Priority to KR1020087030695A priority patent/KR101375489B1/ko
Priority to CN2007800267909A priority patent/CN101491105B/zh
Publication of JP2008022475A publication Critical patent/JP2008022475A/ja
Application granted granted Critical
Publication of JP5030495B2 publication Critical patent/JP5030495B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

本発明は、再生装置、再生方法、プログラム、および記録媒体に関し、特に、符号化されている画像信号を再生するとき、現在の負荷状況に応じて再生処理を部分的に省略することにより再生遅延を減少させるようにした再生装置、再生方法、プログラム、および記録媒体に関する。
MPEG２方式やH.264/AVC方式などに代表される符号化方式によってエンコードされているビデオ信号を再生する場合、用いるデコーダをハードウェアにより構成する方法と、パーソナルコンピュータ（以下、PCと称する）などがソフトウェアを実行することによって実現する方法がある。
ハードウェアによるデコーダとソフトウェアによるデコーダのうち、特にソフトウェアによるデコーダの場合、対応するソフトウェアを実行するPCの演算能力や他のプログラムの実行状況などに起因してPCが高負荷の状況となると、ビデオ信号の再生に遅延が生じてしまい、リアルタイム再生ができなくなってしまうことがある。
このようなビデオ信号のリアルタイム再生の障害が発生した場合、従来においてはフレームを間引いて再生する（フレームスキップ）ことにより、デコード時の演算量を減少させて再生遅延に対処していた（例えば、特許文献１参照）。
特開２００４−３２８５１１号公報
しかしながら、リアルタイム再生の障害に対処して、フレームスキップを実行した場合、フレームの表示間隔が乱れるので、画像が動いたり静止したりして視覚的に悪印象を与えてしまう。
ところで、現在圧縮符号化方式として標準的に採用されているMPEG２方式に比較し、今後採用が広まるであろうH.264/AVC方式は、デコード時の演算量が多いので、高負荷状況におけるビデオ信号のリアルタイム再生障害の発生が今後も予想される。したがって、視覚的に悪印象が少なく、H.264/AVC方式のビデオ信号に対応したリアルタイム再生障害の対処法が必要とされている。
本発明はこのような状況に鑑みてなされたものであり、負荷状況に応じたデコード処理を行うことにより、視覚的な悪印象を抑止しつつ、符号化されているビデオ信号のリアルタイム再生を維持できるようにするものである。
本発明の一側面である再生装置は、入力された符号化ビデオ信号をデコードするデコード手段と、前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出する検出手段と、検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOPのうち、Ｂピクチャのみ他のピクチャから参照されるピクチャをフレームスキップさせる制御手段と、前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整する調整手段とを含む。
前記調整手段は、前記ビデオ信号に含まれるフレームスキップされないピクチャの表示間隔を等間隔に調整することができる。
前記調整手段は、前記ビデオ信号に含まれるフレームスキップされないピクチャの表示間隔を序々広げるように調整することができる。
前記調整手段は、前記フレームスキップされないピクチャのピクチャタイプに応じて予め定められる時間だけ、前記フレームスキップされないピクチャの前記表示タイミングを遅らせることができる。
前記調整手段は、前記フレームスキップされる前記ピクチャと共通のGOP(Group Of Pictures)に含まれるピクチャのうち、フレームスキップされないピクチャの表示タイミングを調整することができる。
前記制御手段は、検出された前記遅延時間が、前回検出された遅延時間よりも増加している場合、前記デコード手段を制御して、前記ビデオ信号に含まれるピクチャをフレームスキップさせることができる。
前記制御手段は、検出された前記遅延時間に基づいて前記デコード手段を制御し、一連のデコード処理に含まれるデブロッキングフィルタリングを省略させる処理、双方向予測を一方向に制限させる処理、動き補償を演算量の少ない近似フィルタに置換させる処理、またはピクチャをフレームスキップさせる処理のうち、少なくとも１つの処理を実行させることができる。
前記制御手段は、検出された前記遅延時間に基づいて前記デコード手段を制御し、一連のデコード処理に含まれるデブロッキングフィルタリングを省略させる処理、前記双方向予測を一方向に制限させる処理、前記動き補償を演算量の少ない近似フィルタに置換させる処理、または前記ピクチャをフレームスキップさせる処理のうち、最も優先順位の高い処理を実行させることができる。
前記制御手段は、検出された前記遅延時間に基づいて前記デコード手段に、他のピクチャから参照されるピクチャをフレームスキップさせることができる。
本発明の第１の側面である再生装置は、前記調整手段により、ピクチャの表示タイミングを調整された前記フレームスキップされないピクチャを表示する表示手段をさらに含むことができる。
前記制御手段は、一連のデコード処理に含まれる、双方向予測を一方向に制限させる前記処理に伴って、Ｂピクチャに対する動き補償を演算量の少ない近似フィルタに置換させる処理も実行させることができる。
本発明の一側面である再生方法は、符号化ビデオ信号をデコードするデコード手段を備えた再生装置の再生方法において、前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出し、検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOPのうち、Ｂピクチャのみをフレームスキップさせ、前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整するステップを含む。
本発明の一側面であるプログラム、符号化ビデオ信号を再生する再生装置の制御用のプログラムであって、前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出し、検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOPのうち、Ｂピクチャのみをフレームスキップさせ、前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整するステップを含む処理をコンピュータに実行させる。
本発明の一側面である記録媒体は、符号化ビデオ信号を再生する再生装置の制御用のプログラムであって、前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出し、検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOPのうち、Ｂピクチャのみをフレームスキップさせ、前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整するステップを含む処理をコンピュータに実行させるためのプログラムが記録されている。
本発明の第２の側面である再生装置は、入力された符号化ビデオ信号をデコードするデコード手段と、前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出する検出手段と、検出された前記遅延時間に基づいて、前記ビデオ信号に含まれるピクチャをフレームスキップさせるスキップ手段と、前記ビデオ信号に含まれるフレームスキップされないピクチャの表示タイミングを調整する調整手段とを含む。
本発明の一側面においては、符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間が検出され、検出された遅延時間に基づいて、ビデオ信号に含まれるGOPのうち、Ｂピクチャのみがフレームスキップされ、ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングが調整される。
本発明の第１および第２の側面によれば、視覚的な悪印象を抑止しつつ、符号化されているビデオ信号のリアルタイム再生を維持することが可能となる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本発明の一実施の形態である再生装置の構成例を示している。この再生装置１０は、前段から入力される符号化ビデオ信号をデコードするデコーダ１１、デコーダ１１から入力されるビデオ信号の遅延時間を検出する遅延検出部１２、および、デコーダ１１によるデコード処理を制御する制御部１３から構成される。
なお、デコーダ１１に入力される符号化ビデオ信号は、H.264/AVC方式でエンコードされているものを想定する。
デコーダ１１は、制御部１３からの制御に従い、前段から入力される符号化ビデオ信号を、その符号化方式に対応する復号方式に従って復号し、その復号結果として得られるビデオ信号を遅延検出部１２に出力する。なお、デコーダ１１は、自己の出力に遅延が生じていないとき、制御部１３からの制御に従い、H.264/AVC方式のデコーダとして一般的な一連のデコーダ処理を実行する。反対に、自己の出力に遅延が生じているとき、制御部１３からの制御に従い、H.264/AVC方式のデコーダとして一般的な一連のデコーダ処理のうち、その一部の処理を省略することによって演算量を削減し、遅延の発生を回復する。なお、一連のデコーダ処理の一部を省略する処理（以下、負荷軽減処理と称する）の詳細については後述する。
遅延検出部１２は、デコーダ１１から入力されるビデオ信号を後段のディスプレイなどに出力するタイミングの調整を行うとともに、デコーダ１１から入力されるビデオ信号の遅延時間、すなわち、デコーダ１１から出力されたタイミングと本来出力されるべきタイミングとの差を検出し、検出結果を含む遅延情報を制御部１３に通知する。
制御部１３は、遅延検出部１２から通知される遅延情報に基づいてデコーダ１１による一連のデコード処理を制御する。
図２は、デコーダ１１の詳細な構成例を示している。このデコーダ１１は、可変長復号部２１、逆量子化部２２、逆直交または整数変換部２３、加算部２４、デブロッキングフィルタ２５、フレームメモリ２６、動き補償部２７、イントラ予測部２８、バッファ２９、およびＤＡ変換部（D/A）３０から構成される。
同図から明らかなように、デコーダ１１は、一般的なH.264/AVC方式のデコーダと同様に構成されるので、一般的な一連のデコーダ処理については、その説明を省略する。
次に、デコーダ１１の出力に遅延が生じたとき省略される負荷軽減処理について、図３を参照して説明する。
デコーダ１１によって実行される負荷軽減処理は、図３に示すように、以下の６種類の処理から成る。すなわち、デブロッキングフィルタオフ処理、Ｂピクチャ簡易動き補償(MC)処理、Ｐピクチャ簡易動き補償(MC)処理、ノンストアピクチャフレームスキップ処理、ストアピクチャフレームスキップ処理、および、Ｉピクチャのみ再生処理から成る。
これら６種類の負荷軽減処理は、記載の順に１つずつ追加して実行されることによってデコードに要する負荷（すなわち、演算量）が徐々に軽減する。ただし、負荷軽減処理の実行に伴って主観的な画質も徐々に劣化する。
なお、これら６種類の負荷軽減処理の実行順序を変更したり、このうちのいくつかの実行を省略するようにしたりしてもよい。
各負荷軽減処理について詳述する。
デブロッキングフィルタオフ処理
H.264/AVC方式の一連のデコーダ処理におけるインループフィルタである図２のデブロッキングフィルタ２５の動作を省略することにより演算量を削減する。デブロッキングフィルタオフ処理は、ピクチャ単位で実行することができる。
Ｂピクチャ簡易動き補償処理
図２の動き補償部２７におけるＢピクチャの前方と後方の双方向予測の際、前方または後方の一方の動き補償を省略することによって演算量を削減する。また、H.264/AVC方式のデコードの規格上定められているLuma MC（輝度信号の動き補償）の演算方法の代わりに、演算量の少ないChroma MC（色差信号の動き補償）を利用することにより演算量を削減する。もともと実装されているChroma MCのコードを利用することにより、別途近似演算の実装をおこなう場合と違いバイナリサイズの増加も抑止できる。Ｂピクチャ簡易動き補償処理は、ピクチャ単位で実行することができる。
Ｐピクチャ簡易動き補償(MC)処理
H.264/AVC方式のデコードの規格上定められているLuma MC（輝度信号の動き補償）の演算方法の代わりに、演算量の少ないChroma MC（色差信号の動き補償）を利用することにより演算量を削減する。もともと実装されているChroma MCのコードを利用することにより、別途近似演算の実装をおこなう場合と違いバイナリサイズの増加も抑止できる。Ｐピクチャ簡易動き補償処理は、ピクチャ単位で実行することができる。
ノンストアピクチャフレームスキップ処理
他のピクチャから参照される可能性がなく、デコードされた後に保持されないノンストアピクチャのデコードを必要最小限に制限し、当該ノンストアピクチャをフレームスキップすることによって演算量を削減する。なお、ノンストアピクチャは、Ｉ，Ｐ，Ｂピクチャのいずれもが該当し得る。図４は、１２枚のピクチャから成るGOPのうち、ノンストアピクチャであるＢピクチャの中からバツ印が描かれた３枚のＢピクチャをフレームスキップした状態を示している。ノンストアピクチャフレームスキップ処理は、ピクチャ単位で実行することができる。
ストアピクチャフレームスキップ処理
他のピクチャから参照される可能性があり、デコードされた後に保持されるストアピクチャのデコードを必要最小限に制限し、当該ストアピクチャをフレームスキップすることによって演算量を削減する。なお、ストアピクチャは、Ｉ，Ｐ，Ｂピクチャのいずれもが該当し得る。ストアピクチャをフレームスキップした場合、当該ストアピクチャを参照していたピクチャもデコードできなくなり、さらにそのピクチャを参照していたピクチャもデコードできなくなるので、ストアピクチャをフレームスキップすると連続した数枚のピクチャを表示できない期間が発生することになる。
図５の例の場合、GOPを構成する１２枚のピクチャのうち、右から３番目のＰピクチャを当該ストアピクチャとしてフレームスキップしている。これにともない、当該ストアピクチャを参照する前後する４枚のＢピクチャがデコードできないので、これらもフレームスキップされることになる。
このように、ストアピクチャフレームスキップ処理では、連続した数枚のピクチャがフレームスキップされ、何らかの対処を行わないとこの期間は再生が停止したかのように見えてしまい、視覚的な悪印象を与えることになる。
そこで、ストアピクチャフレームスキップ処理を実行した場合、遅延検出部１２により、フレームスキップの直前数枚のピクチャの表示タイミングを調整する。例えば図５に示されたようにフレームスキップが行われた場合、図６に示すように、直前のＰピクチャについてはΔｔ２、その前のＢピクチャについてはΔｔ１だけ表示タイミングをオフセットする。このように、フレームスキップの直前数枚のピクチャの表示タイミングを調整することにより、フレームスキップの期間が視覚的に短くなり、悪印象が改善される。
このように、フレームスキップを行わない、フレームスキップの直前数枚のピクチャの表示タイミングを調整するので、ストアピクチャフレームスキップ処理は、他の負荷軽減処理と異なり、ピクチャ単位ではなく、GOP単位で実行するようにする。
なお、フレームスキップの直前数枚のピクチャの表示タイミングの間隔は、等間隔であってもよいし、徐々に広げるようにしてもよい。
Ｉピクチャのみ再生処理
Ｉ，Ｐ，Ｂピクチャのうち、Ｉピクチャだけをデコードし、Ｐ，Ｂピクチャをフレームスキップすることによって演算量を削減する。Ｉピクチャのみ再生処理においても、ストアピクチャフレームスキップ処理と同様、遅延検出部１２により、Ｉピクチャの表示タイミングを調整するようにする。
次に、本実施の形態である再生装置１０の動作（以下、再生遅延対応処理と称する）について、図７のフローチャートを参照して説明する。
この再生遅延対応処理は、再生装置１０にH.264/AVC方式でエンコードされた符号化ビデオ信号が入力され、その再生が指示されたときに開始される。
ステップＳ１において、デコーダ１１は、前段から入力された符号化ビデオ信号をH.264/AVC方式の一般的な一連のデコーダ処理によって復号し、復号結果であるビデオ信号を遅延検出部１２に出力する。遅延検出部１２は、デコーダ１１から入力されたビデオ信号の遅延時間、すなわち、デコーダ１１から出力されたタイミングと本来出力されるべきタイミングとの差を検出し、検出結果を含む遅延情報を制御部１３に通知する動作を開始する。
ステップＳ２において、制御部１３は、遅延検出部１２からの遅延情報に基づき、デコーダ１１の出力に遅延が生じているか否かを判定する。デコーダ１１の出力に遅延が生じていないと判定された場合、処理はステップＳ３に進められ、現在実行されている負荷軽減処理のうち、最も遅く実行された方から１つだけ削減させる。なお、負荷軽減処理が実行されていない場合、そのまま一般的な一連のデコーダ処理が継続される。
ステップＳ２において、デコーダ１１の出力に遅延が生じていると判定された場合、処理はステップＳ４に進められる。ステップＳ４において、制御部１３は、遅延時間が前回の判定と比較して増加または変化していないか否かを判定する。遅延時間が前回の判定と比較して増加または変化していないと判定された場合、処理はステップＳ５に進められる。
ステップＳ５において、制御部１３は、６種類の負荷軽減処理（デブロッキングフィルタオフ処理、Ｂピクチャ簡易動き補償(MC)処理、Ｐピクチャ簡易動き補償(MC)処理、ノンストアピクチャフレームスキップ処理、ストアピクチャフレームスキップ処理、および、Ｉピクチャのみ再生処理）を記載の順に１つ追加してデコーダ１１に実行させる。これにより、デコーダ１１の演算量が削減される。よって遅延時間の減少が期待できる。この後、ステップＳ２に戻り、それ以降の処理が継続される。
なお、ステップＳ４において、遅延時間が前回の判定と比較して増加または変化なしではない、すなわち、減少していると判定された場合、処理はステップＳ２に戻り、それ以降の処理が継続される。
そして、この再生遅延対応処理は、入力される符号化ビデオ信号の再生が終了するまで、または再生中止が指示されるまで継続される。
以上に説明した再生遅延対応処理によれば、再生遅延が生じた場合、段階的に負荷軽減処理が追加されてエンコード処理に要する演算量が削減される。なお、Ｐピクチャ簡易動き補償(MC)処理まではフレームスキップは行われず、ノンストアピクチャフレームスキップ処理以降においても表示タイミングが調整されるので、画像が止まっているような視覚的な悪印象を抑止しつつ、符号化されているビデオ信号のリアルタイム再生を維持することができる。
ただし、これら６種類の負荷軽減処理の実行順序を変更したり、このうちのいくつかの実行を省略したりするようにしてもよい。
また、本発明は、H.264/AVC方式によってエンコードされている符号化ビデオ信号を再生する再生装置のみならず、MPEG２方式などその他の符号化方式によってエンコードされている符号化ビデオ信号を再生する再生装置に適用することができる。
ところで、符号化ビデオ信号の再生遅延は、図２に示されたデコーダ１１をハードウェアによって実現した場合にも起こり得るし、ソフトウェアによって実現した場合にも起こり得る。本発明は、デコーダ１１がハードウェアまたはソフトウェアのいずれによって実現されていても適用することが可能である。
ソフトウェアによりデコーダ１１を実現し、上述した一連の処理を実行させる場合、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図８に示されるように構成された汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
このパーソナルコンピュータ１００は、CPU(Central Processing Unit)１０１を内蔵している。CPU１０１にはバス１０４を介して、入出力インタフェース１０５が接続されている。バス３４には、ROM(Read Only Memory)３２およびRAM(Random Access Memory)３３が接続されている。
入出力インタフェース１０５には、ユーザが操作コマンドを入力するキーボード、マウス等の入力デバイスよりなる入力部１０６、操作画面などを表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等のディスプレイよりなる出力部１０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１０８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部１０９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体１１１に対してデータを読み書きするドライブ１１０が接続されている。
このパーソナルコンピュータ１００にデコーダ１１として上述した一連の処理を実行させるプログラムは、記録媒体１１１に格納された状態でパーソナルコンピュータ１００に供給され、ドライブ１１０によって読み出されて記憶部１０８に内蔵されるハードディスクドライブにインストールされている。記憶部１０８にインストールされているプログラムは、入力部１０６に入力されるユーザからのコマンドに対応するCPU１０１の指令によって、記憶部１０８からRAM１０３にロードされて実行される。
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した再生装置の構成例を示すブロック図である。 図１のデコーダの構成例を示すブロック図である。 負荷軽減処理の推移を示す図である。 ノンストアピクチャフレームスキップ処理を説明するための図である。 ストアピクチャフレームスキップ処理を説明するための図である。 ストアピクチャフレームスキップ処理に伴う表示タイミング調整を説明するための図である。 再生遅延対応処理を説明するフローチャートである。 汎用パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０ 再生装置， １１ デコーダ， １２ 遅延検出部，１３ 制御部， ２１ 可変長復号部， ２２ 逆量子化部， ２３ 逆直交または整数変換部， ２４ 加算部， ２５ デブロッキングフィルタ， ２６ フレームメモリ， ２７ 動き補償部， ２８ イントラ予測部， ２９ バッファ， ３０ ＤＡ変換部，１００ パーソナルコンピュータ， １０１ CPU

Claims (13)

  1. 入力された符号化ビデオ信号をデコードするデコード手段と、
    前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出する検出手段と、
    検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOP(Group Of Pictures)のうち、Ｂピクチャのみをフレームスキップさせる制御手段と、
    前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整する調整手段と
    を含む再生装置。
  2. 前記調整手段は、前記ビデオ信号に含まれるフレームスキップされないピクチャの表示間隔を等間隔に調整する
    請求項１に記載の再生装置。
  3. 前記調整手段は、前記ビデオ信号に含まれるフレームスキップされないピクチャの表示間隔を序々広げるように調整する
    請求項１に記載の再生装置。
  4. 前記調整手段は、前記フレームスキップされないピクチャのピクチャタイプに応じて予め定められる時間だけ、前記フレームスキップされないピクチャの前記表示タイミングを遅らせる
    請求項１に記載の再生装置。
  5. 前記調整手段は、前記フレームスキップされる前記ピクチャと共通のGOPに含まれるピクチャのうち、フレームスキップされないピクチャの表示タイミングを調整する
    請求項１に記載の再生装置。
  6. 前記制御手段は、検出された前記遅延時間が、前回検出された遅延時間よりも増加している場合、前記デコード手段を制御して、前記ビデオ信号に含まれるピクチャをフレームスキップさせる
    請求項１に記載の再生装置。
  7. 前記制御手段は、検出された前記遅延時間に基づいて前記デコード手段を制御し、一連のデコード処理に含まれるデブロッキングフィルタリングを省略させる処理、双方向予測を一方向に制限させる処理、動き補償を演算量の少ない近似フィルタに置換させる処理、またはピクチャをフレームスキップさせる処理のうち、少なくとも１つの処理を実行させる
    請求項１に記載の再生装置。
  8. 前記制御手段は、検出された前記遅延時間に基づいて前記デコード手段を制御し、一連のデコード処理に含まれるデブロッキングフィルタリングを省略させる処理、前記双方向予測を一方向に制限させる処理、前記動き補償を演算量の少ない近似フィルタに置換させる処理、または前記ピクチャをフレームスキップさせる処理のうち、最も優先順位の高い処理を実行させる
    請求項７に記載の再生装置。
  9. 前記調整手段により、ピクチャの表示タイミングを調整された前記フレームスキップされないピクチャを表示する表示手段を
    さらに含む請求項１に記載の再生装置。
  10. 前記制御手段は、一連のデコード処理に含まれる、双方向予測を一方向に制限させる前記処理に伴って、Ｂピクチャに対する動き補償を演算量の少ない近似フィルタに置換させる処理も実行させる
    請求項１に記載の再生装置。
  11. 符号化ビデオ信号をデコードするデコード手段を備えた再生装置の再生方法において、
    前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出し、
    検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOP(Group Of Pictures)のうち、Ｂピクチャのみをフレームスキップさせ、
    前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整する
    ステップを含む再生方法。
  12. 符号化ビデオ信号を再生する再生装置の制御用のプログラムであって、
    前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出し、
    検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOP(Group Of Pictures)のうち、Ｂピクチャのみをフレームスキップさせ、
    前記ビデオ信号に含まれるGOP(Group Of Pictures)のうち、フレームスキップされないピクチャの表示タイミングを調整する
    ステップを含む処理をコンピュータに実行させるプログラム。
  13. 符号化ビデオ信号を再生する再生装置の制御用のプログラムであって、
    前記符号化ビデオ信号のデコード結果であるビデオ信号の出力タイミングの遅延時間を検出し、
    検出された前記遅延時間に基づいて前記デコード手段を制御し、前記ビデオ信号に含まれるGOP(Group Of Pictures)のうち、Ｂピクチャのみをフレームスキップさせ、
    前記ビデオ信号に含まれるGOPのうち、フレームスキップされないピクチャの表示タイミングを調整する
    ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。
JP2006194676A 2006-07-14 2006-07-14 再生装置、再生方法、プログラム、および記録媒体 Expired - Fee Related JP5030495B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006194676A JP5030495B2 (ja) 2006-07-14 2006-07-14 再生装置、再生方法、プログラム、および記録媒体
TW96125252A TW200826688A (en) 2006-07-14 2007-07-11 Reproduction device, reproduction method, and program
EP07790730A EP2043370A4 (en) 2006-07-14 2007-07-13 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM
PCT/JP2007/063949 WO2008007758A1 (en) 2006-07-14 2007-07-13 Reproduction device, reproduction method, and program
US12/309,346 US20090285564A1 (en) 2006-07-14 2007-07-13 Reproduction device, reproduction method, and program
KR1020087030695A KR101375489B1 (ko) 2006-07-14 2007-07-13 재생 장치, 재생 방법, 및 기록 매체
CN2007800267909A CN101491105B (zh) 2006-07-14 2007-07-13 再生装置和再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006194676A JP5030495B2 (ja) 2006-07-14 2006-07-14 再生装置、再生方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2008022475A JP2008022475A (ja) 2008-01-31
JP5030495B2 true JP5030495B2 (ja) 2012-09-19

Family

ID=38923314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006194676A Expired - Fee Related JP5030495B2 (ja) 2006-07-14 2006-07-14 再生装置、再生方法、プログラム、および記録媒体

Country Status (7)

Country Link
US (1) US20090285564A1 (ja)
EP (1) EP2043370A4 (ja)
JP (1) JP5030495B2 (ja)
KR (1) KR101375489B1 (ja)
CN (1) CN101491105B (ja)
TW (1) TW200826688A (ja)
WO (1) WO2008007758A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
JP5248583B2 (ja) * 2010-12-13 2013-07-31 株式会社東芝 動画像復号装置及び動画像復号方法
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
KR101889101B1 (ko) 2011-09-14 2018-08-17 세종대학교산학협력단 메모리 복사를 이용하여 영상을 복원하는 방법 및 장치
KR101974367B1 (ko) * 2012-09-25 2019-05-02 삼성전자주식회사 동영상 화질 향상을 위한 비디오 디코딩 장치 및 방법
JP6151909B2 (ja) 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
WO2014203351A1 (ja) * 2013-06-19 2014-12-24 株式会社 東芝 画像処理装置、画像処理方法
EP3057318A1 (en) * 2015-02-13 2016-08-17 Alcatel Lucent Adapting coding parameters based on viewing experience and system constraints
JP2022079893A (ja) 2020-11-17 2022-05-27 セイコーエプソン株式会社 液晶プロジェクターおよび液晶プロジェクターの制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3133113B2 (ja) * 1991-10-28 2001-02-05 株式会社日立製作所 圧縮動画データ伸長再生システム
US5566208A (en) * 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
JP3283159B2 (ja) * 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
EP0854652B1 (en) * 1996-08-07 2010-11-17 Panasonic Corporation Picture and sound decoding device, picture and sound encoding device, and information transmission system
JP3946804B2 (ja) * 1997-02-13 2007-07-18 日本電信電話株式会社 画像符号化制御方法
WO1999012348A1 (en) * 1997-08-29 1999-03-11 Matsushita Electric Industrial Co., Ltd. Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator
KR100248404B1 (ko) * 1997-09-04 2000-03-15 정선종 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
JPH11252543A (ja) * 1998-03-02 1999-09-17 Toshiba Corp デコード処理回路
JP2001186529A (ja) * 1999-12-27 2001-07-06 Toshiba Corp Ｍｐｅｇデコード回路並列駆動システム
JP2001292446A (ja) * 2000-04-05 2001-10-19 Nec Corp 映像及び音声符号化方法
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
JP2002218472A (ja) * 2001-01-23 2002-08-02 Victor Co Of Japan Ltd 可変画像レート復号化装置及び可変画像レート復号化方法
JP2002232881A (ja) * 2001-01-31 2002-08-16 Toshiba Corp 動画像復号化方法及び装置
JP3969083B2 (ja) * 2001-12-18 2007-08-29 ソニー株式会社 データ処理装置及びデータ処理方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
JP4324844B2 (ja) * 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
KR100565307B1 (ko) * 2003-11-24 2006-03-30 엘지전자 주식회사 이동 통신 단말기의 스트리밍 콘텐츠 저장 방법
KR100834748B1 (ko) * 2004-01-19 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생 방법 및 장치
JP2006254320A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム

Also Published As

Publication number Publication date
TWI377844B (ja) 2012-11-21
KR101375489B1 (ko) 2014-03-19
CN101491105A (zh) 2009-07-22
EP2043370A1 (en) 2009-04-01
US20090285564A1 (en) 2009-11-19
CN101491105B (zh) 2011-08-31
EP2043370A4 (en) 2012-08-01
TW200826688A (en) 2008-06-16
JP2008022475A (ja) 2008-01-31
KR20090039680A (ko) 2009-04-22
WO2008007758A1 (en) 2008-01-17

Similar Documents

Publication Publication Date Title
JP5030495B2 (ja) 再生装置、再生方法、プログラム、および記録媒体
US8040951B2 (en) Information processing apparatus and program for use in the same
US7174091B2 (en) Method and apparatus for improving video reproduction quality
US20080031356A1 (en) Information processing apparatus and decode controlling method of an information processing apparatus
US20060203917A1 (en) Information processing apparatus with a decoder
US8184700B2 (en) Image decoder
US8170375B2 (en) Image processing apparatus and method for controlling the same
JPH08214265A (ja) 符号化データの再生方法および再生装置
JP2009111932A (ja) 動画像復号化装置
US8611433B2 (en) Information processing apparatus and video decoding method of information processing apparatus
US20060203910A1 (en) Information processing apparatus and decoding method
JP2004062950A (ja) データ処理装置およびデータ処理方法、並びにプログラム
JP2001069512A (ja) データ処理システムおよび画像データの復号処理方法
JP2007180767A (ja) 情報処理装置
JP3078991B2 (ja) 低遅延モード画像復号方法および装置
JP2002152751A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体
US8818180B2 (en) Video reproducing apparatus, video reproducing method, and program
US8107536B2 (en) Video decoder
US9319695B2 (en) Moving image output apparatus and method
JP2006101406A (ja) 情報処理装置および同装置で用いられるプログラム
US20090304089A1 (en) Reproduction processing apparatus, reproduction processing method, and computer program
JP2018117308A (ja) 再生装置及びその制御方法
JP2001359048A (ja) 映像信号再生方法
JP4651344B2 (ja) Ｍｐｅｇ−２ストリームのワイプ切換方法
JP2001320653A (ja) 画像復号装置及び画像復号方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110405

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120626

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees