JP3609571B2 - 画像再生装置 - Google Patents
画像再生装置 Download PDFInfo
- Publication number
- JP3609571B2 JP3609571B2 JP5766797A JP5766797A JP3609571B2 JP 3609571 B2 JP3609571 B2 JP 3609571B2 JP 5766797 A JP5766797 A JP 5766797A JP 5766797 A JP5766797 A JP 5766797A JP 3609571 B2 JP3609571 B2 JP 3609571B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- moving image
- image
- image signal
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は動画像符号化データを復号して画像を再生する画像再生装置に係り、特に動画像のみならず動画像から選択された静止画像をも再生可能とした画像再生装置に関する。
【0002】
【従来の技術】
動画像信号を取り込んで、その中の特定のフレームの画像を静止画像として二次利用するものとしては、ビデオプリンタ装置やビデオキャプチャ装置が知られている。従来のビデオプリンタ装置やビデオキャプチャ装置は、VTRやレーザディスク装置等の映像機器からアナログのTV画像信号を入力し、ユーザにより選択された特定のフレームをサンプリングして、静止画像として印刷あるいは表示する構成が一般的である。
【0003】
しかし、VTRやレーザディスク装置等から出力されるTV画像信号は、静止画像として二次利用するには十分な解像度が確保されているとは言い難い。さらに、TV画像信号はインタレース走査が行われているために、画像の動きが速い場合には、フレーム画像の印刷あるいは表示を行うとフィールド間の画像のずれが顕著に現れてしまい、またフィールド表示を行うと垂直解像度が低下し、高精細な印刷は困難である。
【0004】
一方、近年、動画像符号化の国際標準であるMPEG−2に基づく符号化方式(以下、MPEG−2符号化方式という)を用いて圧縮した符号化データを記憶するディジタルビデオディスク(DVD)とその再生装置(DVDプレーヤ)が実用化され、これにより民生機器レベルで高精細な画像が再生可能となりつつある。MPEG−2符号化方式は、周知の通り動画像信号に対してディジタル処理による動き補償予測直交変換符号化によって高能率の圧縮符号化を行う方式であり、符号化データはディジタルデータとして蓄積されていることもあり、従来のアナログ映像機器に比べて高画質な記録が期待されている。
【0005】
しかし、MPEG−2符号化方式は、直交変換係数を量子化して可変長符号化を行う非可逆符号化であるため、画像の性質と符号化装置の特性によりフレーム毎に均一な画質を得ることは一般に困難である。また、再生される動画像の画質を向上させるため、一般的に動き補償予測の参照画像として用いられるフレームに対しては、参照画像として用いられないフレームよりも相対的に高いSNRで符号化を行う方法がとられており、このこともフレーム毎の画質が一定しない原因となっている。
【0006】
従って、MPEG−2符号化方式により得られた動画像符号化データから復号される動画像中の特定のフレームを選択して、静止画像の印刷あるいは表示を行うと、選択されるフレームに応じて画質が変化してしまうことになる。
【0007】
【発明が解決しようとする課題】
上述したように、従来のビデオプリンタ装置やビデオキャプチャ装置でアナログのTV画像信号を取り込んで静止画像を印刷あるいは表示する場合、一般に解像度が十分でなく、またインタレース走査の影響もあって高精細な印刷や表示が困難であった。
【0008】
さらに、MPEG−2のような高能率動画像符号化方式による動画像符号化データから復号された動画像信号では、アナログのTV画像信号に比較して解像度は高いが、フレーム毎に画質が異なるため、特定のフレームを選択して印刷あるいは表示を行う場合、選択されるフレームに応じて画質が異なってしまうという問題があった。
【0009】
本発明は、動画像符号化データから復号された動画像信号を通常の動画像再生に加えて高画質な静止画像信号としても二次利用することを可能とするために、復号された動画像中のフレームを適応的に選択して静止画像信号として出力することができ、しかも画質がほぼ一定した高画質の静止画像を再生することができる画像再生装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するため、本発明は動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号して出力する画像再生装置において、復号された動画像信号について例えばユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームから最も高画質のフレームを選択するフレーム選択手段と、動画像信号のうちフレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする。
【0011】
このように本発明では、ユーザにより指定されたフレームとほぼ同様のシーンで、かつ最も高画質な一つのフレームが自動的に選択され、そのフレームのの画像信号が静止画像信号として出力される。こうして出力される静止画像信号は平均的に画質が一定しており、ユーザにより指定されたフレームの種類によって大きく変化してしまうことはない。
【0012】
また、出力された動画像信号について例えばユーザにより第1段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択するフレーム群選択手段と、動画像信号のうちフレーム群選択手段により選択されたフレーム群の画像信号を出力するフレーム群出力手段を有し、フレーム選択手段においては該フレーム群から第2段階で指定されたフレームを選択するようにしてもよい。フレーム群選択手段は、例えば指定されたフレームおよびその近傍のフレームのうちからより高画質の複数のフレームをフレーム群として選択すればよい。
【0013】
このようにすると、ユーザにより指定されたフレームの近傍でシーンチェンジ等があり、ユーザの意図に反したフレームが自動選択されるような場合、ユーザにより第1段階で指定されたフレームおよびその近傍のフレームを含むフレーム群の画像信号を出力してユーザに提示し、次候補を選択することが可能となり、ユーザの意図したフレームを効率的に選択することが可能となる。
【0014】
フレーム選択手段では、例えばユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームから、フレーム内符号化されたフレーム、前方予測符号化されたフレーム、両方向予測符号化されたフレームの優先順位でフレームの選択を行う。
【0015】
MPEG−2符号化方式で用いられる動き補償予測直交変換符号化では、一般にランダムアクセスを可能とするとともに、符号化装置と復号装置との直交変換および逆直交変換における誤差の蓄積を防ぐ目的で、周期的にフレーム内符号化画像であるIピクチャが挿入されるので、Iピクチャから離れるに従って画質は低下する傾向にある。また、Iピクチャおよび前方予測符号化を行うPピクチャは、それ以降の符号化画像の参照画像として用いられるため、参照画像として用いられない両方向予測符号化画像であるBピクチャよりも小さな量子化スケールで符号化を行い、相対的な画質を上げることで、動画像全体としての符号化効率を向上させる方法がとられる。
【0016】
これらのことから、時間的に隣接したフレーム中ではIピクチャ、PピクチャおよびBピクチャの順で、相対的に画質がよいと考えられる。従って、この順位に従って優先的にフレームを選択して出力することによって、より高画質なフレームを選択することが可能となる。
【0017】
フレーム選択手段は、例えばユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームのフレーム内平均量子化スケールを算出し、該フレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するようにしてもよい。
【0018】
一般に、類似した画像では量子化スケールと画質は相関が強く、量子化スケールが小さくなるほど高画質である。MPEG−2符号化方式では、画像フレーム内のマクロブロック毎に量子化幅を可変とする枠組みがとられており、各マクロブロックの量子化幅の情報は符号化データに多重化されている。従って、ユーザにより指定されたフレームの近傍フレームで、この量子化スケールのフレーム内の平均値を計算し、その値が最小のフレームを選択することにより、高画質なフレームを選択することが可能となる。
【0019】
また、上記のフレーム内平均量子化スケールに対して、ユーザにより指定されたフレームからの時間間隔に応じて減少する重み関数により重み付けを行い、該重み付けを行った後のフレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するようにしてもよい。こうすることにより、時間的な精度と画質とのバランスが最適なフレームを選択することが可能となる。
【0020】
一方、MPEG−2符号化方式では、符号化フレームと表示フレームとでフレーム周波数が異なる符号化を行うことが可能である。このように動画像符号化データが表示フレームと符号化フレームとで異なるフレームレートで符号化されている場合、フレーム選択手段は符号化フレーム単位でフレームの選択を行うことが好ましい。
【0021】
例えば、フレーム周波数24Hzの映画をフィールド周波数60Hzのディスプレイで表示できるように符号化を行う場合、符号化を行う際は24Hzのノンインタレース走査画像として符号化を行い、再生時に周期的に60Hzで3フィールド期間表示を行うことを指示するデータを多重し、3フィールド表示の場合は第3フィールドでは第1フィールドと同じものを表示する。従って、再生時の30Hzの表示フレームの構成と、符号化および復号時の24Hzの符号化フレーム構成とが異なるものとなり、時間的に異なるフィールドから表示フレームが構成される場合がある。
【0022】
この場合、フレーム表示の際にインタレース走査による乱れが生じることがあるが、符号化フレーム単位で選択したフレームを静止画像信号として出力することにより、常にノンインタレース走査画像として静止画像出力を行うことが可能となり、垂直解像度の高い高精細の静止画像出力が可能となる。
【0023】
静止画像出力手段は、静止画像信号の出力形式を変換する手段を有することが望ましい。この変換は、例えばソフトウェアにより実現される。このようにすることにより、静止画像の印刷や表示を行う出力機器のフォーマットに合わせて、通常のアナログ画像信号、ディジタル画像信号、あるいはプリンタ出力信号等の信号を選択・変更することが可能となる。
【0024】
静止画像出力手段は、フレーム選択手段により選択されたフレームがノンインタレース走査画像かインタレース走査画像かを判定し、ノンインタレース走査画像の場合は該フレームの画像信号を静止画像信号として出力し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力するようにしてもよい。このようにすると、動きを伴う画像をインタレース走査した場合に生じるフレーム画像の乱れが防止され、しかも動きを伴わないインタレース画像、あるいはノンインタレース画像においては、垂直解像度の高い静止画像出力が得られる。
【0025】
ここで、フレーム選択手段により選択されたフレームがノンインタレース走査画像かインタレース走査画像かの判定は、例えば動画像符号化データに多重されたフレーム走査情報を検出することによって行うことができ、この場合には特別なハードウェアを必要としない。
【0026】
また、隣接する偶数ライン間と隣接する奇数ライン間の相関および隣接するライン間の相関を算出し、これらの相関の大きさの大小関係から、特別な付加情報を必要とすることなしに、ノンインタレース走査画像かインタレース走査画像かの判定を行うことも可能である。
【0027】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
(第1の実施形態)
図1に、本発明の一実施形態に係る画像再生装置の構成を示す。この画像再生装置は大きく分けて、光ディスクドライブ部10と、デコード部20および静止画像となるフレームの選択等のためのユーザインタフェースを含むデコード制御部30からなる。
【0028】
光ディスクドライブ部10にセットされた光ディスク11は、例えばディジタルビデオディスク(DVD)であり、MPEG−2符号化方式により動画像信号を符号化した動画像符号化データがピット列のようなマーク列として記録されている。この光ディスク11に記録された動画像符号化データは、制御回路13による制御の下で光ピックアップ12により読み取られる。読み取られた動画像符号化データは、制御回路13により適宜処理された後、エラー訂正回路14によりエラーがあれば訂正される。エラー訂正回路14を通した動画像符号化データが光ディスクドライブ部10から出力され、デコード部20に渡される。
【0029】
デコード部20では、デコード制御部30におけるデコーダ制御回路31からの指示に基づいて符号化データの出力要求を光ディスクドライブ部10へ出し、その要求に従って光ディスクドライブ部10から入力される動画像符号化データをデコーダ回路21で復号して動画像信号を出力する。この動画像信号は、動画像出力部22から画像モニタに出力される。また、静止画像出力部23からは動画像信号中の選択されたフレームの画像信号が静止画像出力として例えばビデオプリンタ装置やビデオキャプチャ装置に出力される。
【0030】
デコード制御部30は、デコーダ制御回路31をユーザからの指示に基づいてユーザインタフェース32を介して制御することにより、動画像出力、または動画像中の静止画像として出力したいフレームの指定、および指定されたフレームに基づいて選択されたフレームの静止画像出力等の指示を行うことができるように構成されている。以下、このデコード制御部30の動作を詳しく説明する。
【0031】
MPEG−2符号化方式は、図2にそのシンタックス構造を示したように、シーケンス、GOP(Group of Pictures) 、ピクチャ、マクロブロックMBの階層構造を持つ符号化構成となっている。動画像あるいは静止画像のサーチは、ピクチャヘッダPHを順次サーチすることにより行うことが可能である。また、符号化ビットストリームとは別途にサーチテーブルを持ち、符号化ビットストリーム上での動画像あるいは静止画像のサーチを実現することも可能である。
【0032】
さらに、MPEG−2符号化方式では、画像の性質と予測方式や量子化幅(以下、量子化スケールという)といつた符号化パラメータに応じて、復号画像の画質が変化するのが一般的である。図3は、横軸にフレーム、縦軸にフレーム毎の原画像対復号画像のSNRの例を示したものである。同図に示したように通常、隣接したフレーム間では画像が類似しているにも関わらず、フレーム単位のSNRの変動、つまり画質変動は非常に大きなものとなる。従って、ほぼ同一内容の画像であっても、選択されるフレームによって画質が大きく異なってしまう。
【0033】
そこで、本実施形態ではユーザインタフェース32を介してユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームについて、デコーダ制御回路31においてフレーム毎にその画質を反映した評価値(コスト)を算出し、コスト最小のフレームを静止画像信号として出力するようにデコード部20の制御を行う。
【0034】
図4に、本実施形態におけるデコーダ制御回路31でのフレーム選択法の例を示す。図中、構軸はフレーム、縦軸は評価値を示している。デコーダ制御回路31は、ユーザインタフェース32を介してユーザにより指定されたフレーム41およびその近傍のフレームを含む複数のフレーム42について上記の評価値43を算出し、これが最小となるフレーム44を静止画像として選択して、静止画像出力部23を介して静止画像信号を出力する。
【0035】
図5は、静止画像出力部23の構成を示すブロック図である。CPU51、静止画像メモリ52、命令メモリ53、プログラムインタフェース54および静止画像出力インタフェース55がバス56によって接続されている。
【0036】
デコード制御部30で選択されたフレームに関する動画像符号化データが光ディスクドライブ部10により読み取られ、デコード部20内のデコーダ回路21で選択されたフレームが静止画像信号として復号される。復号された静止画像信号57は、CPU51による制御下でバス57を介して静止画像メモリ52に記録される。
【0037】
静止画像メモリ52に記録された静止画像信号は、CPU51によって命令メモリ53に記録されたソフトウェアにより所定の出力信号形式(フォーマット)に変換され、静止画像出力インタフェース55より出力される。ここで、命令メモリ53がROMで構成される場合は、そのROMを交換することにより、用途に合わせて出力フ信号形式を容易に変更することが可能である。また、命令メモリ53がRAMあるいはフラッシュメモリのような書き換え可能メモリにより構成される場合は、プログラムインタフェース54によりフォーマット変換ソフトウェアを外部よりダウンロードすることで、出力信号形式を容易に変更することが可能となる。
【0038】
(第2の実施形態)
次に、図6および図7を参照して第2の実施形態について説明する。本実施形態においては、画像再生装置の全体的な構成については第1の実施形態と同様であり、デコーダ制御回路31でのフレーム選択法のみが第1の実施形態と異なっている。
【0039】
図3に示したように、MPEG−2符号化方式では、符号化パラメータにより隣接するフレーム間でもフレームの種類(ピクチャタイプ)によって大きな画質変動を伴っている。すなわち、MPEG−2符号化方式ではフレーム内符号化を行うIピクチャ、前方予測を行うPピクチャ、両方向予測を行うBピクチャの順で相対的に画質のよい符号化を行う。これは、Iピクチャはそれ以降の参照画像のベースになり、PピクチャはIピクチャと同様に参照画像として用いられることから、ピクチャタイプ毎に画質を変化させることにより、動画像としての総合的な画質を上げるために一般的に用いられる手法である。従って、一般に内容の類似性の高い隣接する複数のフレーム内では、Iピクチャ、Pピクチャ、Bピクチャの順に画質が高くなっている。
【0040】
そこで、本実施形態では図4の縦軸に示した前述の評価値としてピクチャタイプ(フレームの種類)を用い、図6に示すようにユーザにより選択されたフレーム60に最も近いIピクチャ61を自動選択するか、あるいは、図7に示すようにユーザにより選択されたフレーム70に最も近いPピクチャ71を自動選択することによって、高画質フレームの自動選択を行う。
【0041】
(第3の実施形態)
次に、本発明の第3の実施形態として、フレーム選択の他の態様を図8および図9を用いて説明する。
【0042】
図8は、本実施形態におけるフレーム選択に係る部分の構成を示すブロック図である。本実施形態では、デコーダ回路81およびデコーダ制御回路83の構成が第1の実施形態と若干異なり、さらに平均量子化スケール算出回路82が追加されている。デコーダ回路81はマクロブロック単位の量子化スケールを示す量子化スケール情報84およびフレーム同期信号85を出力し、平均量子化スケール算出回路82により各フレーム毎の平均量子化スケールを算出する。算出された平均量子化スケールを評価値として、デコーダ制御回路83によりフレームの自動選択がなされる。
【0043】
図9は、このフレーム自動選択の具体例を示す図であり、91はユーザにより指定されたフレーム95の近傍フレームおいて算出された各フレームの平均量子化スケールの値の例を示している。この例では、評価値として算出された平均量子化スケールの値そのものを用いることが可能であり、その場合はフレーム95が最も高画質のフレームとして検出される。
【0044】
また、時間方向の解像度に重きをおく場合、すなわちユーザにより指定されたフレームにより近い画像で、かつ高画質のフレームを選択する要求がある場合には、算出された平均量子化スケール91に対して、ユーザにより指定されたフレームからのフレーム間隔に応じた重み関数92を乗じた重み付き平均量子化スケール93を算出し、算出された重み付き平均量子化スケール93の値を評価値としてコスト最小のフレーム94を選択フレームとする。
【0045】
(第4の実施形態)
次に、図10〜図11を参照して本発明の第4の実施形態を説明する。
これまでの実施形態では、ユーザにより指定されたフレームおよびその近傍のフレームを含む複数のフレームから最も高画質のフレームの画像信号を静止画像出力として選択している。これに対して、本実施形態ではユーザによる指定を2段階に分け、まず第1段階でユーザにより指定されたフレームおよびその近傍のフレームを含むフレーム群を静止画像出力の候補フレームとして出力し、これらの候補フレームから第2段階でユーザにより指定されたフレームを静止画像出力として最終的に選択する。
【0046】
図10は、本実施形態におけるフレーム選択の手順を示すフローチャートであり、また図11は静止画像出力の候補フレームからユーザが選択する際に用いるGUI(グラフィカルユーザインタフェース)の例を示している。
【0047】
まず、ユーザにより動画像中の静止画像出力として希望する特定のフレームがタイムコードまたは特殊再生機能(ジョグアンドシャトル再生、一時停止等)等を利用して指定される(ステップS101)。そして、指定されたフレームおよびその近傍のフレームを含むフレーム群である候補フレームの静止画像信号が復号される(ステップS102)。
【0048】
次に、候補フレームの画像の画質の評価値が計算され(ステップS103)、さらに候補フレーム112の画像が縮小されて一覧表示される(ステップS104)。この際、各候補フレーム112の画像の時刻113および画質(評価値)114も併せて表示される。また、候補フレームはソート115により設定された時刻順あるいは画質順に表示される。図11は候補フレームを画質順にソートして表示した例を示している。さらに、候補フレームの中の一つをユーザの指定より特定のフレームをフルサイズ表示に切り替えることも可能である。
【0049】
次に、ユーザにより次候補116および前候補117の操作が適宜行われて候補フレームの選択が行われ(ステップS106)、これらから最終的に静止画像出力を行うフレームが決定されると(ステップS107)、その決定されたフレームの静止画像信号が静止画像出力部23により出力信号形式が適宜変換された後、出力される(ステップS108)。
【0050】
(第5の実施形態)
次に、図12〜図16を用いて本発明の第5の実施形態を説明する。
本実施形態では、図1中の静止画像出力部23において、静止画像出力として選択されたフレームがインタレース走査画像かノンインタレース走査画像かを判定し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力するように構成されている。
【0051】
図12は、本実施形態に係る要部の構成を示すブロック図である。本実施形態では、デコーダ回路121およびデコーダ制御回路123の構成が第1の実施形態と若干異なり、さらに表示形態判定/変換回路122が追加されている。表示形態判定/変換回路122は、図1中の静止画像出力部23に含まれる。
【0052】
図13(a)に示すように、時間的に水平方向に移動するオブジェクトが含まれる動画像は、フレーム構成の静止画像として見たとき、各フレームがインタレース走査画像である場合(b)とノンインタレース走査画像である場合(c)とで、その品質が大きく異なる。すなわち、ノンインタレース走査画像では垂直解像度の高い乱れのない静止画像となるのに対して、インタレース走査画像ではフィールド間の時刻が異なるため、ライン毎の時刻の違いが悪影響を及ぼしてしまい、良好な静止画像とはならない。
【0053】
一方、動きがない画像はフレーム構成の静止画像として見たとき、インタレース走査、ノンインタレース走査ともに垂直解像度の高い乱れのない画像となる。従って、静止画像出力を行う場合、ノンインタレース走査画像では、常にフレーム構成の画像信号を出力し、インタレース走査画像では、動きがあるときはフィールド構成の画像信号、動きがないときはフレーム構成の画像信号をそれぞれ出力することが最適であると考えられる。
【0054】
そこで、本実施形態においては、表示形態/判定変換回路122により静止画像の最適な表示形態、すなわち静止画像信号としてフレーム構成の画像信号を出力して表示すべきか(これをフレーム表示という)、あるいはフィールド構成の画像信号を出力して表示すべきか(これをフィールド表示という)を判定する。そして、フレーム表示の場合はフレーム構成の画像信号を出力し、フィールド表示と判定した場合は、偶数または奇数のラインを2度ずつ出力して静止画像信号として出力するか、あるいは、さらに画面内の領域毎の動き量に応じた補正を加えてフレーム構成の画像信号を再構成し、静止画像信号として出力する。
【0055】
すなわち、デコーダ制御回路123で静止画像として選択された画像がノンインタレース走査画像の場合は、フレーム表示と判定してフレーム構成の画像信号を静止画像信号として出力する。
【0056】
一方、デコーダ制御回路123で静止画像として選択された画像がインタレース画像の場合は、画像に動きがあるときはフィールド表示と判定してフィールド構成の画像信号(偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみの画像信号)を静止画像信号として出力するが、動きのない画像ではフレーム表示と判定してフレーム構成の画像信号を静止画像信号として出力する。みのようにすることで、垂直解像度が高く、かつインタレース走査による乱れのない静止画像を出力することが可能である。
【0057】
ここで、表示形態/判定変換回路122でのフィールド/フレーム表示形態の判定には、例えば符号化データ中に含まれる原画像の走査情報を利用することが可能である。具体的には、MPEG−2符号化方式では全フレームがノンインタレース走査画像である場合には、図14および図15に示すシンタックスエレメントのうち、sequence−extension()内のprogressive−sequenceフラグによりインタレース走査画像/ノンインタレース走査画像の判定が可能である。また、各フレームの画像がインタレース走査画像かあるいはノンインタレース走査画像かの判定は、picture−coding−extension()内のprogressive−frame フラグによって可能である。
【0058】
図16に、本実施形態におけるフィールド表示/フレーム表示形態判定回路の他の構成例を示す。図中、130はフレーム画像を示しており、131は偶数フィールドの画素、132は奇数フィールドの画素をそれぞれ示している。第1の加算器133は、同一フィールド内のライン間相関、つまり偶数フィールドのライン間および奇数フィールドのライン間相関の総和を算出する。第2の加算器134は、同一フレーム内のライン間相関を算出する。そして、比較器135により第1の加算器133で算出されたフィールド内相関と、第2の加算器134で算出されたフレーム内相関の大小比較を行う。この比較の結果、フレーム内相関がフィールド内相関を上回る場合はフレーム表示、それ以外の場合はフィールド表示に自動的に切り替えることにより、最適な表示形態を自動的に設定することが可能となる。
【0059】
(第6の実施形態)
次に、図17を参照して本発明の第6の実施形態を説明する。
MPEG−2符号化方式では、フレームレート24Hzの映画をフィールドレート60Hzのディスプレイで表示可能とするために、一般に3:2プルダウンと呼ばれる手法を用いてフレームレート変換を行っている。図17は、このフレームレート変換の説明図である。
【0060】
図17において、140〜144はフレームレート24Hzの連続するフレームであり、これを単位として符号化および復号が行われる。一方、復号後の表示に際しては、復号された各フレームを3フィールド期間、2フィールド期間と交互に表示時間を変化させて表示を行うことにより、フィールドレート60Hzのデイスプレイでの表示を可能としている。すなわち、この場合には符号化フレームのフレームレートは24Hz、表示フレームのフレームレートは60Hzと異なっている。
【0061】
3フィールド表示および2フィールド表示においては、復号された各フレームの画像をインタレース走査して偶数ラインと奇数ラインに分割し、これらを表示フィールドの位相に合わせて選択して出力を行う。また、3フィールド期間表示の場合は、第1フィールドと第3フィールドとは同じ画像信号が表示される。従って、表示フレームにおいては前述したインタレース走査の影響が出るフレームと出ないフレームが混在することとなる。
【0062】
例えば、図17において表示フィールド150および151で構成される表示フレームは、共に同じ符号化フレーム140から構成されているため、インタレース走査による画像の乱れは発生しないが、表示フィールド152および153で構成される表示フレームは、時刻の異なる二つの符号化フレーム140および141から構成されるため、インタレース走査による乱れが発生してしまい、動きがある場合はフレーム形態での静止画像出力は困難となる。
【0063】
そこで、本実施形態では静止画像出力を表示フイールド150〜162から構成せずに、符号化フレーム140〜144から選択して出力することによって、3:2プルダウン時においても、高精細でかつインタレース走査の影響のない静止画像出力を可能としている。
【0064】
【発明の効果】
以上説明したように、本発明によれば動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号して動画像を再生し、必要に応じて静止画像を出力する画像再生装置において、動画像信号中のユーザにより指定されたフレームの近傍で、最も高画質のフレームを選択して静止画像信号として出力することにより、ユーザにより指定されたフレームとほぼ同様のシーンで、かつ画質が一定した高画質な静止画像を再生することが可能となる。
【0065】
また、第1段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択してユーザに提示し、そのフレーム群から第2段階で指定されたフレームを選択して静止画像信号を出力することにより、ユーザにより指定されたフレームの近傍でシーンチェンジ等があり、ユーザの意図に反したフレームが自動選択されるような場合でも、最終的にユーザの意図したフレームを効率的に選択して静止画像として再生することができる。
【0066】
さらに、選択されたフレームがノンインタレース走査画像かインタレース走査画像かを判定し、ノンインタレース走査画像の場合は該フレームの画像信号を静止画像信号として出力し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドのみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力することにより、動きを伴う画像をインタレース走査した場合に生じるフレーム画像の乱れが防止され、しかも動きを伴わないインタレース画像、あるいはノンインタレース画像においては、垂直解像度の高い静止画像を再生することができる。
【0067】
また、動画像符号化データが表示フレームと符号化フレームとで異なるフレームレートで符号化されている場合には、符号化フレーム単位でフレームの選択を行って静止画像信号として出力することで、常にノンインタレース走査画像として静止画像出力を行うことができ、垂直解像度の高い高精細の静止画像出力が可能となる。
【0068】
さらに、本発明によれば静止画像信号の生成に際して出力形式をソフトウェア処理で変換する機能を付加することによって、静止画像の印刷や表示を行う出力機器のフォーマットなどに応じてソフトウェアの変更のみで容易に静止画像の出力信号形式を変更することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像再生装置の構成を示すブロック図
【図2】MPEG−2符号化方式のシンタックス構造を説明する図
【図3】MPEG−2符号化方式におけるフレーム単位の画質変動の例を示す図
【図4】同実施形態に係る自動フレーム選択の概要を説明するための図
【図5】同実施形態における静止画像出力部の構成を示すブロック図
【図6】本発明の第2の実施形態に係るフレーム選択方法を説明するための図
【図7】本発明の第2の実施形態に係る他のフレーム選択方法を説明するための図
【図8】本発明の第3の実施形態に係る要部の構成を示すブロック図
【図9】同実施形態に係るフレーム選択方法を説明するための図
【図10】本発明の第4の実施形態に係るフレーム選択手順を示すフローチャート
【図11】同実施形態におけるGUI(グラフィカルユーザインタフェース)の例を示す図
【図12】本発明の第5の実施形態に係る要部の構成を示すブロック図
【図13】インタレース走査によるフレーム画像の乱れの例を示す図
【図14】MPEG−2符号化方式におけるシーケンスヘッダの一部を示す図
【図15】MPEG−2符号化方式におけるピクチャヘッダの一部を示す図
【図16】本発明の第6の実施形態に係る要部の構成を示すブロック図
【図17】本発明の第7の実施形態を説明するためのフレームレート変換の例を示す図
【符号の説明】
10…光ディスクドライブ部
11…光ディスク
12…光ピックアップ
13…光ディスクドライブ制御回路
14…エラー訂正回路
20…デコード部
21…デコーダ回路
22…動画像出力部
23…静止画像出力部
30…デコード制御部
31…デコーダ制御回路
32…ユーザインタフェース
51…CPU
52…静止画像メモリ
53…命令メモリ
54…プログラムインタフェース
55…静止画像出力インタフェース
56…バス
81…デコーダ回路
82…平均量子化スケール算出回路
83…デコーダ制御回路
121…デコーダ回路
122…表示形態判定/変換回路
123…デコーダ制御回路
130…フレーム画像
131…偶数フィールドラインの画素
132…奇数フィールドラインの画素
133…フィールド相関算出回路
134…フレーム相関算出回路
135…比較器
Claims (8)
- 動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレームから、フレーム内符号化されたフレーム、前方予測符号化されたフレームの優先順位で一つのフレームを選択し、前記複数のフレームのうち前記指定されたフレームに最も近いフレームが前方予測符号化フレームの場合には該前方予測符号化フレームを選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。 - 動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレームのフレーム内平均量子化スケールを算出し、該フレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。 - 動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレーム指定されたフレームおよびその近傍のフレームを含む複数のフレームのフレーム内平均量子化スケールを算出し、該フレーム内平均量子化スケールに対して、前記指定されたフレームからの時間間隔に応じて減少する重み関数により重み付けを行い、該重み付けを行った後のフレーム内平均量子化スケールが最小のフレームを該複数のフレームから選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。 - 表示フレームと符号化フレームとで異なるフレームレートで符号化された動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について指定されたフレームおよびその近傍のフレームを含む複数のフレーム指定されたフレームおよびその近傍のフレームを含む複数のフレームから最も高画質のフレームを前記符号化フレーム単位で選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。 - 表示フレームと符号化フレームとで異なるフレームレートで符号化された動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について第1段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択するフレーム群選択手段と、
前記動画像信号のうち前記フレーム群選択手段により選択されたフレーム群の画像信号を出力するフレーム群出力手段と、
前記フレーム群から第2段階で指定されたフレームを前記符号化フレーム単位で選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。 - 動画像符号化データから画質の異なる複数種類のフレームよりなる動画像信号を復号する動画像復号手段と、
前記動画像信号を出力する動画像出力手段と、
前記動画像信号について第1段階で指定されたフレームおよびその近傍のフレームを含むフレーム群を選択するフレーム群選択手段と、
前記動画像信号のうち前記フレーム群選択手段により選択されたフレーム群の画像信号を画質順にソートして表示するフレーム群表示手段と、
前記フレーム群から第2段階で指定されたフレームを選択する選択するフレーム選択手段と、
前記動画像信号のうち前記フレーム選択手段によって選択されたフレームの画像信号を静止画像信号として出力する静止画像出力手段とを有することを特徴とする画像再生装置。 - 前記静止画像出力手段は、前記静止画像信号の出力形式を変換する手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の画像再生装置。
- 前記静止画像出力手段は、前記フレーム選択手段により選択されたフレームがノンインタレース走査画像かインタレース走査画像かを判定し、ノンインタレース走査画像の場合は該フレームの画像信号を静止画像信号として出力し、インタレース走査画像の場合は偶数フィールドおよび奇数フィールドのいずれか一方のフィールドの画像信号のみを静止画像信号として出力するか、または偶数フィールドおよび奇数フィールドの両方の画像信号を静止画像信号として出力することを特徴とする請求項1乃至6のいずれか1項に記載の画像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5766797A JP3609571B2 (ja) | 1997-03-12 | 1997-03-12 | 画像再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5766797A JP3609571B2 (ja) | 1997-03-12 | 1997-03-12 | 画像再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10257501A JPH10257501A (ja) | 1998-09-25 |
JP3609571B2 true JP3609571B2 (ja) | 2005-01-12 |
Family
ID=13062271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5766797A Expired - Fee Related JP3609571B2 (ja) | 1997-03-12 | 1997-03-12 | 画像再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3609571B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573957B2 (ja) * | 2000-07-04 | 2010-11-04 | キヤノン株式会社 | 画像制御装置、画像制御方法及びテレビ受信機 |
KR100477846B1 (ko) * | 2002-10-09 | 2005-03-23 | 진기준 | 원본 이미지 재생/편집장치 및 방법 |
JP4366591B2 (ja) | 2004-06-25 | 2009-11-18 | 船井電機株式会社 | 映像再生装置 |
JP4508112B2 (ja) * | 2006-01-11 | 2010-07-21 | ノーリツ鋼機株式会社 | 静止画抽出システム |
JP2008078726A (ja) * | 2006-09-19 | 2008-04-03 | Fujifilm Corp | 静止画像抽出装置および方法並びにプログラム |
JP5231755B2 (ja) * | 2007-05-31 | 2013-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8660175B2 (en) | 2007-12-10 | 2014-02-25 | Qualcomm Incorporated | Selective display of interpolated or extrapolated video units |
US9161088B2 (en) | 2011-03-25 | 2015-10-13 | Telefonaktiebolaget L M Ericsson (Publ) | Method in a streaming client for handling video streaming data, streaming client, computer programs and computer program products |
JP6069929B2 (ja) * | 2012-07-25 | 2017-02-01 | 富士通株式会社 | 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム |
JP6362317B2 (ja) * | 2013-10-17 | 2018-07-25 | キヤノン株式会社 | 映像処理装置、映像処理装置の制御方法 |
-
1997
- 1997-03-12 JP JP5766797A patent/JP3609571B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10257501A (ja) | 1998-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6226327B1 (en) | Video coding method and apparatus which select between frame-based and field-based predictive modes | |
US6101313A (en) | High efficiency encoding and decoding of picture signals and recording medium containing same | |
KR960010857B1 (ko) | 고능률 부호화 기록 재생 장치 | |
KR970007530B1 (ko) | 대역 압축 신호 처리 장치 | |
US7340150B2 (en) | Digital video signal record and playback device and method for selectively reproducing desired video information from an optical disk | |
JP4719418B2 (ja) | ダミーの双方向予測フィールドピクチャの生成 | |
US5537215A (en) | Apparatus for processing band-compressed signals having inter-frame and intra-frame signals | |
JP2885322B2 (ja) | フィールド間予測符号化装置及び復号化装置 | |
JP3609571B2 (ja) | 画像再生装置 | |
JP3147792B2 (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2001352524A (ja) | 再生装置及び再生方法 | |
CN100375541C (zh) | 运动图像专家组编码信号的特技播放再现 | |
KR100195074B1 (ko) | 동화상데이타의 기록방법 | |
JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
GB2293516A (en) | Digital video signal recording arrangement with enhanced skip search playback | |
JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3235917B2 (ja) | 画像記録再生装置 | |
JPH06339113A (ja) | 動画像記録再生装置 | |
JPH0630332A (ja) | 動画像の符号化及び復号化装置 | |
JP2758378B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2000032395A (ja) | 復号化方法 | |
JP3506507B2 (ja) | ディジタル映像信号記録再生装置およびディジタル映像信号再生装置 | |
JPH11220702A (ja) | 映像記録及び再生装置、映像表示装置、及び映像伝送方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041014 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |