JP6028544B2

JP6028544B2 - 画像再生装置、画像再生方法、画像再生プログラム

Info

Publication number: JP6028544B2
Application number: JP2012262202A
Authority: JP
Inventors: 英樹相羽
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-11-30
Filing date: 2012-11-30
Publication date: 2016-11-16
Anticipated expiration: 2032-11-30
Also published as: JP2014110437A

Description

本発明は、第１のフレームレートを有する第１の画像信号に対して動き補償型フレームレート変換を施して、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、第２の画像信号を動画像符号化した符号化データを記録した記録部より符号化データを再生する画像再生装置、画像再生方法、画像再生プログラムに関する。

近年、静止画像を撮影するためのデジタルスチルカメラは、動画像を撮影する機能を搭載するのが一般的となっている。動画像撮影機能を搭載したデジタルスチルカメラにおいては、１５〜３０fps（フレーム／秒）程度の低フレームレートのイメージセンサで撮像した画像信号を繰り返し出力して６０fpsに変換する仕様のものが多い。

また、画像信号を６０フィールドのインターレース（いわゆる６０ｉ）で出力する場合には、３０fpsの画像信号のフレームを２−２プルダウンによって２フィールドに分割する仕様のものが多い。このような仕様となっている理由の１つは、デジタルスチルカメラ用のイメージセンサにおける最大フレームレートが制限されているからである。

デジタルスチルカメラは、撮影した画像信号を、イメージセンサによる撮像時のフレームレートが３０fpsである場合には、３０フレームのプログレッシブ（いわゆる３０ｐ）または６０ｉのフォーマットの符号化データ（符号化ストリーム）として記録媒体に記録する。

特開平９−２９９３６２号公報

動きの比較的速い被写体を例えば３０fpsで撮影し、３０fpsの画像信号を繰り返し出力して６０fpsに変換した動画像を鑑賞すると、モーションジャダと称されるカクカクした動きが視認されてしまう。モーションジャダを低減させる解決策の１つは、動き補償型フレームレート変換を用いることである。具体的には、動き補償型フレームレート変換装置は、３０fpsの画像信号に基づいて被写体の動きベクトルを検出し、予測補間した補間フレームを生成する。動き補償型フレームレート変換装置は、３０fpsの画像信号の隣接する実フレーム間に補間フレームを内挿して６０fpsにフレームレート変換する。

動き補償型フレームレート変換によって６０fpsに変換した動画像では、モーションジャダが低減され、あたかも６０fpsで撮像したような滑らかな動きとなる。動き補償型フレームレート変換によって６０fpsに変換した画像信号を動画像符号化した符号化ストリームを記録媒体に記録しておけば、モーションジャダの少ない滑らかな再生画像を鑑賞することができる。

ところが、６０fpsに変換した画像信号を動画像符号化した符号化データを記録媒体に記録すると、モーションジャダを低減させる前の３０fpsの画像信号を再生することができない。動き補償型フレームレート変換装置によって生成した補間フレームは３０fpsの画像信号の実フレームと比較すると画像が劣化している場合がある。そこで、動き補償型フレームレート変換によってフレームレート変換する前の画像信号を再生できることが望まれる。

本発明はこのような要望に対応するため、第１のフレームレートを有する第１の画像信号に対して動き補償型フレームレート変換を施して、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、第２の画像信号を動画像符号化した符号化データを記録した記録部より、フレームレート変換する前の画像信号を再生することができる画像再生装置、画像再生方法、画像再生プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートを有する第１の画像信号を構成する実フレームより動き補償補間した補間フレームが生成され、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換され、前記第２の画像信号を構成する前記実フレームのみがＩピクチャのフレーム、または、他のＰピクチャもしくはＢピクチャより参照されるＰピクチャもしくはＢピクチャの参照フレームとして動画像符号化された符号化ストリームを記録する記録部（４０）と、前記記録部より再生された符号化ストリームより、前記実フレームに基づいて生成されたフレームのみを抽出して実フレーム抽出ストリームを出力する実フレーム抽出部（５０）と、前記実フレーム抽出ストリームを復号して復号データを出力する動画像復号部（７０）と、前記復号データのそれぞれのフレームを繰り返し出力して前記第２のフレームレートに変換して出力するフレームレート変換部（８０）とを備えることを特徴とする画像再生装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートを有する第１の画像信号を構成する実フレームより動き補償補間した補間フレームが生成され、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換され、前記第２の画像信号を構成する前記実フレームのみがＩピクチャのフレーム、または、他のＰピクチャもしくはＢピクチャより参照されるＰピクチャもしくはＢピクチャの参照フレームとして動画像符号化された符号化ストリームが記録された記録部（４０）より、前記符号化ストリームを再生し、再生された符号化ストリームより、前記実フレームに基づいて生成されたフレームのみを抽出して実フレーム抽出ストリームを生成し、前記実フレーム抽出ストリームを復号して復号データを生成し、前記復号データのそれぞれのフレームを繰り返し出力して前記第２のフレームレートに変換して出力することを特徴とする画像再生方法を提供する。

さらに、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、第１のフレームレートを有する第１の画像信号を構成する実フレームより動き補償補間した補間フレームが生成され、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換され、前記第２の画像信号を構成する前記実フレームのみがＩピクチャのフレーム、または、他のＰピクチャもしくはＢピクチャより参照されるＰピクチャもしくはＢピクチャの参照フレームとして動画像符号化された符号化ストリームが記録された記録部（４０）より、前記符号化ストリームを再生させる機能と、再生された符号化ストリームより、前記実フレームに基づいて生成されたフレームのみを抽出して実フレーム抽出ストリームを生成させる機能と、前記実フレーム抽出ストリームを復号して復号データを生成させる機能と、前記復号データのそれぞれのフレームを繰り返し出力して前記第２のフレームレートに変換して出力する機能とを実現させることを特徴とする画像再生プログラムを提供する。

本発明の画像再生装置、画像再生方法、画像再生プログラムによれば、第１のフレームレートを有する第１の画像信号に対して動き補償型フレームレート変換を施して、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、第２の画像信号を動画像符号化した符号化データを記録した記録部より、フレームレート変換する前の画像信号を再生することができる。

撮像記録装置を示すブロック図である。図１中のフレームレート変換部２０の第１の具体的構成例を示すブロック図である。フレームレート変換部２０が第１の具体的構成例の場合の撮像記録装置の動作を説明するためのタイミングチャートである。図１中のフレームレート変換部２０の第２の具体的構成例を示すブロック図である。フレームレート変換部２０が第２の具体的構成例の場合の撮像記録装置の動作を説明するためのタイミングチャートである。一実施形態の画像再生装置を示すブロック図である。一実施形態の画像再生装置の動作を説明するためのタイミングチャートである。

以下、一実施形態の画像再生装置、画像再生方法、画像再生プログラムについて、添付図面を参照して説明する。まず、イメージセンサより出力された画像信号をフレームレート変換して動画像符号化し、記録部に記録する撮像記録装置の構成及び動作について説明する。

＜撮像記録装置の第１構成例＞
図１において、イメージセンサ１０は、被写体を３０fpsのフレームレートで撮像した画像信号Ｓ10を出力する。画像信号Ｓ10は、動き補償型フレームレート変換装置であるフレームレート変換部２０に入力される。第１構成例におけるフレームレート変換部２０はいわゆる倍速変換回路である。

フレームレート変換部２０は、画像信号Ｓ10におけるフレーム間の動きベクトルを検出し、動きベクトルに基づいて予測補間（動き補償補間）した補間フレームを生成する。フレームレート変換部２０は、画像信号Ｓ10における隣接するフレーム間に補間フレームを内挿して６０fpsにフレームレート変換した画像信号Ｓ20を出力する。

フレームレート変換部２０は、画像信号Ｓ20におけるそれぞれのフレームが、画像信号Ｓ10のフレームである実フレームであるか、補間フレームであるかを示すフラグ信号Ｓfgを生成して出力する。

図２を用いて、フレームレート変換部２０の第１の具体的構成例及びその動作について説明する。第１の具体的構成例におけるフレームレート変換部２０をフレームレート変換部２０_１とする。図２において、画像信号Ｓ10を構成するそれぞれの画素データは、メモリ２０１，動きベクトル検出部２０２，補間部２０３，メモリ２０４に順次入力される。メモリ２０１は、入力された画素データを１フレーム期間遅延させる。１フレーム遅延の画素データは、動きベクトル検出部２０２及び補間部２０３に入力される。

動きベクトル検出部２０２は、公知の手法によって、それぞれの画素単位または複数の画素よりなるブロック単位で、フレーム間の動きベクトルＭＶを検出する。補間部２０３は、動きベクトルＭＶを参照し、画像信号Ｓ10の画素データとメモリ２０１より出力された１フレーム遅延の画素データとに基づいて、画像信号Ｓ10における隣接するフレーム間に内挿する補間フレームを構成する補間画素データを生成する。補間部２０３によって生成された補間画素データは、メモリ２０４に入力される。

メモリ２０４は、タイミング制御部２５による制御に基づいて、画像信号Ｓ10の画素データと、補間部２０３からの補間画素データとを、１／６０秒毎に交互に読み出して、６０fpsのフレームレートを有する画像信号Ｓ20を出力する。タイミング制御部２５は、メモリ２０４より出力される画像信号Ｓ20のフレームが実フレームであるタイミングでは例えば“０”（ロー）、補間フレームであるタイミングでは例えば“１”（ハイ）のフラグ信号Ｓfgを生成して出力する。

タイミング制御部２５は、実フレームを出力するタイミングと補間フレームを出力するタイミングとを識別するためのフラグ信号Ｓfgを発生するフラグ発生部として動作している。

図１に戻り、フレームレート変換部２０（２０_１）より出力された画像信号Ｓ20とフラグ信号Ｓfgは、動画像符号化部３０に入力される。動画像符号化部３０は、入力された画像信号Ｓ20を符号化する。この際、動画像符号化部３０は、フラグ信号Ｓfgを参照して、画像信号Ｓ20を符号化する方法を決定する。

動画像符号化部３０には、画像信号Ｓ20及びフラグ信号Ｓfgが入力される。動画像符号化部３０は、画像信号Ｓ20を符号化する。動画像符号化部３０は、画像信号Ｓ20を符号化する際の画像フレームのタイプとして、Ｉピクチャ（Intra Coded Picture）、Ｐピクチャ（Predictive Coded Picture）、Ｂピクチャ（Bidirectional Predictive Coded Picture）のいずれかのタイプを用いる。

Ｉピクチャは、フレーム内予測符号化のみを用いたフレームである。Ｐピクチャは、フレーム内予測符号化だけでなく、過去のフレームを参照する前方向フレーム間予測符号化を用いることができるフレームである。Ｂピクチャは、フレーム内予測符号化だけでなく、過去と未来のそれぞれのフレームを参照する双方向フレーム間予測符号化を用いることができるフレームである。

Ｉピクチャは、ＧＯＰ（Group of Picture）と称されるピクチャの集合体の先頭フレームとして割り当てられる。Ｉピクチャは、ＧＯＰ内の参照フレームの基本となる。Ｉピクチャは他のフレームを参照しないため、サーチ等の特殊再生の際に用いるのに好適である。Ｐピクチャ及びＢピクチャを用いると、自身のフレームと参照フレームとの差分だけを符号化するため圧縮効率のよい符号化を行うことができる。

図３を用いて、フレームレート変換部２０_１及び動画像符号化部３０を備える第１構成例の撮像記録装置がピクチャタイプをどのように決定して画像信号Ｓ20を符号化するかについて説明する。図３の（ａ）は、イメージセンサ１０から出力される画像信号Ｓ10のフレームｆ０，ｆ２，ｆ４，…を示している。ここでは、画像信号Ｓ10のフレームレートは３０fpsである。

図３の（ｂ）は、フレームレート変換部２０（２０_１）より出力される画像信号Ｓ20のフレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…を示している。図３の（ａ），（ｂ）を比較すれば分かるように、フレームｆ０，ｆ２，ｆ４，ｆ６，…は実フレームであり、フレームｆ１，ｆ３，ｆ５，ｆ７，…は補間フレームである。

図３の（ｂ）における例えばフレームｆ１は、図３の（ａ）におけるフレームｆ２が入力された後に得られる。従って、実際には、図３の（ｂ）に示す画像信号Ｓ20は、図３の（ｂ）のフレームｆ１の位置が図３の（ａ）のフレームｆ２よりも後ろ側へとタイミングがずれることになる。図３では、理解を容易にするため、フレームレート変換部２０における遅延時間を無視して、画像信号Ｓ10のフレームと画像信号Ｓ20のフレームとのタイミングを合わせるように図示している。

タイミング制御部２０５は、図３の（ｃ）に示すように、フレームレート変換部２０が、画像信号Ｓ20のフレームとして実フレームｆ０，ｆ２，ｆ４，ｆ６，…を出力する場合にはハイ、補間フレームｆ１，ｆ３，ｆ５，ｆ７，…を出力する場合にはローのフラグ信号Ｓfgを出力する。

動画像符号化部３０は、一例として、図３の（ｄ）に示すように、フレームｆ０，ｆ４，…をＩピクチャＩ０，Ｉ４，…のフレームとして符号化し、フレームｆ１〜ｆ３，ｆ５〜ｆ７，…を、ＰピクチャＰ１〜Ｐ３，Ｐ５〜Ｐ７，…のフレームとして符号化した符号化ストリームＳ30を生成する。ここでは簡略化のためＢピクチャを用いていないが、Ｂピクチャのフレームを含むように符号化ストリームＳ30を生成してもよい。

動画像符号化部３０は、図３の（ｃ），（ｄ）より分かるように、フラグ信号Ｓfgがローである実フレームのみにＩピクチャを割り当てる。また、動画像符号化部３０は、ＰピクチャまたはＢピクチャが参照する参照フレームを、フラグ信号Ｓfgがローである実フレームに基づいて生成したＩピクチャ，Ｐピクチャ，Ｂピクチャのフレームのみとして符号化する。さらに、動画像符号化部３０は、フラグ信号Ｓfgがハイである補間フレームに対しては、参照フレームとはならないＰピクチャ，Ｂピクチャのフレームのみとして符号化する。

図３の（ｄ）の場合には、フレームｆ２（ＰピクチャＰ２）がフレームｆ３（ＰピクチャＰ３）の参照フレーム、フレームｆ６（ＰピクチャＰ６）がフレームｆ７（ＰピクチャＰ７）の参照フレームとなっている。フレームｆ１，ｆ２（ＰピクチャＰ１，Ｐ２）はフレームｆ０（ＩピクチャＩ０）を参照し、フレームｆ５，ｆ６はフレームｆ４（ＩピクチャＩ４）を参照している。

通常の撮像記録装置においては、画像信号の性質等に基づいてＩピクチャ，Ｐピクチャ，Ｂピクチャのピクチャタイプを割り当て、Ｉピクチャ，Ｐピクチャ，Ｂピクチャを一定のシーケンスで順に割り当てていくのが一般的である。本実施形態においては、フラグ信号Ｓfgを参照して、符号化しようとするフレームが実フレームであるか補間フレームであるかによって、ピクチャタイプを決定し、参照フレームとするか否かを決定して、符号化ストリームＳ30を生成する。

補間フレームはフレームレート変換部２０（２０_１）において動きベクトル推定して生成したフレームであるため、変換誤差を含む場合がある。補間フレームを、符号化ストリームＳ30を生成する際の参照フレームとして用いると、複数のフレームに変換誤差が蓄積していき、画像劣化を招いてしまう。第１構成例において、動画像符号化部３０は、補間フレームをＩピクチャのフレーム及び他のフレームから参照される参照フレームとして用いないように符号化して符号化ストリームＳ30を生成する。従って、第１構成例の撮像記録装置によれば、フレームレート変換部２０における変換誤差の影響による画像劣化を極力少なくすることができる。

動画像符号化部３０より出力された符号化ストリームＳ30は、記録部４０に入力されて記録される。記録部４０は、記録媒体と、記録媒体に符号化ストリームＳ30を記録させ、記録媒体に記録した符号化ストリームＳ30を再生させる記録再生駆動部とを含む。記録媒体は、光ディスク，半導体メモリ，ハードディスク・ドライブ等のいずれでもよく、任意の記録媒体である。

＜撮像記録装置の第２構成例＞
第２構成例においては、図１におけるイメージセンサ１０は、被写体を１５fpsのフレームレートで撮像した画像信号Ｓ10を出力する。第２構成例におけるフレームレート変換部２０は１５fpsを６０fpsに変換するいわゆる４倍速変換回路である。

図４を用いて、第２構成例におけるフレームレート変換部２０の具体的構成及び動作について説明する。第２構成例におけるフレームレート変換部２０をフレームレート変換部２０_２とする。図２に示す第１構成例のフレームレート変換部２０_１と実質的に同一部分には同一符号を付し、その説明を省略する。

図４において、動きベクトル検出部２０２は、補間部2031，2032，2033にそれぞれ動きベクトルMV1，MV2，MV3を供給する。１５fpsを６０fpsに変換するには、フレームレート変換部２０_２は、画像信号Ｓ10における隣接するフレーム間に３フレーム分の補間フレームを内挿する必要がある。従って、３つの補間部2031，2032，2033が必要となる。

図５を用いて、フレームレート変換部２０_２及び動画像符号化部３０を備える第２構成例の撮像記録装置がピクチャタイプをどのように決定して画像信号Ｓ20を符号化するかについて説明する。図５の（ａ）は、イメージセンサ１０から出力される画像信号Ｓ10のフレームｆ０，ｆ４，ｆ８，…を示している。ここでは、画像信号Ｓ10のフレームレートは１５fpsである。

図５の（ｂ）は、フレームレート変換部２０より出力される画像信号Ｓ20のフレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…を示している。図５の（ａ），（ｂ）を比較すれば分かるように、フレームｆ０，ｆ４，ｆ８，ｆ１２，…は実フレームであり、フレームｆ１〜ｆ３，ｆ５〜ｆ７，ｆ９〜ｆ１１，ｆ１３〜ｆ１５，…は補間フレームである。ここでも、フレームレート変換部２０における遅延時間を無視して、画像信号Ｓ10のフレームと画像信号Ｓ20のフレームとを合わせるように図示している。

フラグ発生部であるタイミング制御部２０５は、図５の（ｃ）に示すように、フレームレート変換部２０が、画像信号Ｓ20のフレームとして実フレームｆ０，ｆ４，ｆ８，ｆ１２，…を出力するタイミングではロー、補間フレームｆ１〜ｆ３，ｆ５〜ｆ７，ｆ９〜ｆ１１，ｆ１３〜ｆ１５，…を出力するタイミングではハイのフラグ信号Ｓfgを出力する。

動画像符号化部３０は、一例として、図５の（ｄ）に示すように、フレームｆ０，ｆ８，…をＩピクチャＩ０，Ｉ８，…のフレームとして符号化し、フレームｆ１〜ｆ７，ｆ９〜ｆ１５，…を、ＰピクチャＰ１〜Ｐ７，Ｐ９〜Ｐ１５，…のフレームとして符号化した符号化ストリームＳ30を生成する。ここでも、Ｂピクチャのフレームを含むように符号化ストリームＳ30を生成してもよい。

第２構成例においても、動画像符号化部３０は、フラグ信号Ｓfgがローである実フレームのみにＩピクチャを割り当てる。また、動画像符号化部３０は、Ｐピクチャ及びＢピクチャが参照する参照フレームを、フラグ信号Ｓfgがローである実フレームに基づいて生成したＩピクチャ，Ｐピクチャ，Ｂピクチャのフレームのみとして符号化する。さらに、動画像符号化部３０は、フラグ信号Ｓfgがハイである補間フレームに対しては、参照フレームとはならないＰピクチャ，Ｂピクチャのフレームのみとして符号化する。

図５の（ｄ）の場合には、フレームｆ４（ＰピクチャＰ４）がフレームｆ５〜ｆ７（ＰピクチャＰ５〜Ｐ７）の参照フレーム、フレームｆ１２（ＰピクチャＰ１２）がフレームｆ１３〜ｆ１５（ＰピクチャＰ１３〜Ｐ１５）の参照フレームとなっている。フレームｆ１〜ｆ４（ＰピクチャＰ１〜Ｐ４）はフレームｆ０（ＩピクチャＩ０）を参照し、フレームｆ９〜ｆ１２（ＰピクチャＰ９〜Ｐ１２）はフレームｆ８（ＩピクチャＩ８）を参照している。

動画像符号化部３０より出力された符号化ストリームＳ30は、記録部４０に入力されて記録される。

＜一実施形態の画像再生装置＞
図６及び図７を用いて、第１または第２構成例の撮像記録装置によって記録部４０に記録された符号化ストリームＳ30を再生する一実施形態の画像再生装置の具体的構成及び動作について説明する。図７は、第１構成例の撮像記録装置によって生成された符号化ストリームＳ30が記録部４０に記録されている場合のタイミングチャートを示している。

図６に示すように、一実施形態の画像再生装置は、記録部４０，実フレーム抽出部５０，モード選択部６０，動画像復号部７０，フレームレート変換部８０，モード選択部９０を備える。一実施形態の画像再生装置は、記録部４０に記録された符号化ストリームＳ30を再生するモードとして、通常再生モードと原画再生モードとの２つのモードを有する。

まず、通常再生モードにおける動作について説明する。図６において、記録部４０より再生された符号化ストリームＳ40は、実フレーム抽出部５０及びモード選択部６０に入力される。通常再生モードでは、モード選択部６０は、記録部４０より再生された符号化ストリームＳ40を選択して、動画像復号部７０に供給する。

動画像復号部７０は入力された符号化ストリームＳ40を復号し、復号データＳ70をフレームレート変換部８０及びモード選択部９０に供給する。モード選択部９０は、動画像復号部７０より出力された復号データＳ70を選択して出力する。

通常再生モードによれば、記録部４０に記録された符号化ストリームＳ30を再生して復号するという通常の動作を行うことにより、モーションジャダが少なくて滑らかで、変換誤差の影響による画像劣化の少ない高画質な再生画像を鑑賞することができる。

次に、原画再生モードにおける動作について説明する。図７の（ａ）は、記録部４０より再生された符号化ストリームＳ40を示している。図７の（ａ）に示す符号化ストリームＳ40は、図３の（ｄ）に示す符号化ストリームＳ30と同じである。図３で説明したように、ＩピクチャＩ０，Ｉ４，…及びＰピクチャＰ２，Ｐ６，…が実フレームに基づいて生成したフレームである。

実フレーム抽出部５０は、図７の（ｂ）に示すように、符号化ストリームＳ40から、実フレームに基づいて生成したＩピクチャＩ０，ＰピクチャＰ２，ＩピクチャＩ４，ＰピクチャＰ６，…のみを抽出して、実フレーム抽出ストリームＳ50を出力する。原画再生モードでは、モード選択部６０は、実フレーム抽出部５０より出力された実フレーム抽出ストリームＳ50を選択して、動画像復号部７０に供給する。

動画像復号部７０は入力された実フレーム抽出ストリームＳ50を復号する。動画像復号部７０は、図７の（ｃ）に示すように、フレームｆ０，ｆ２，ｆ４，ｆ６，…よりなる復号データＳ70をフレームレート変換部８０及びモード選択部９０に供給する。復号データＳ70のフレームレートは３０fpsである。原画再生モードにおける復号データＳ70は、通常再生モードにおける復号データＳ70とは異なるが、便宜上、同じ符号で示している。

実フレーム抽出部５０で抽出したＰピクチャＰ２，Ｐ６，…は、補間フレームのピクチャを参照しない。従って、符号化ストリームＳ40から補間フレームに基づいて生成したＰピクチャ（またはＢピクチャ）を取り除いても、動画像復号部７０は実フレーム抽出ストリームＳ50を復号することができる。

フレームレート変換部８０は、入力された復号データＳ70を単純に２倍して、６０fpsになるように変換する。図６におけるフレームレート変換部８０は、図１における動き補償補間した補間フレームを生成するフレームレート変換部２０とは異なり、復号データＳ70を単純に倍速変換する単純倍速変換部である。具体的には、フレームレート変換部８０は、図７の（ｄ）に示すように、フレームｆ０，ｆ２，ｆ４，ｆ６，…をそれぞれ２回ずつ繰り返して出力することにより、６０fpsのフレームレートを有する倍速復号データＳ80を生成する。

原画再生モードでは、モード選択部９０は、フレームレート変換部８０より出力された倍速復号データＳ80を選択して出力する。

原画再生モードにおいてモード選択部９０より出力される倍速復号データＳ80は、記録部４０に記録された符号化ストリームＳ30を生成する過程で、フレームレート変換部２０において実フレーム間に内挿した動き補償補間による補間フレームの影響は全くない。

倍速復号データＳ80は、フレームレートは異なるものの、イメージセンサ１０より出力された画像信号Ｓ10と同等の画質である。本実施形態によれば、動き補償型フレームレート変換によってフレームレート変換する前の画像信号を再生することができる。なお、厳密には、倍速復号データＳ80は符号化によるロスを含むが、無視してよい。

第２構成例の撮像記録装置によって生成された符号化ストリームＳ30が記録部４０に記録されている場合には、フレームレート変換部８０は、入力された復号データＳ70を単純に４倍して、６０fpsになるように変換すればよい。

なお、フレームレート変換部８０を省略した構成としてもよい。

図１において、フレームレート変換部２０及び動画像符号化部３０の部分をマイクロコンピュータによって構成してもよい。図６において、記録部４０より符号化ストリームＳ40を再生させる部分、実フレーム抽出部５０，モード選択部６０，動画像復号部７０，フレームレート変換部８０，モード選択部９０の部分をマイクロコンピュータによって構成してもよい。マイクロコンピュータに本実施形態のように動作させる画像再生プログラムを搭載して、マイクロコンピュータによって本実施形態の画像再生装置と同等の機能を実現させてもよい。

本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

４０記録部
５０実フレーム抽出部
６０，９０モード選択部
７０動画像復号部
８０フレームレート変換部

Claims

第１のフレームレートを有する第１の画像信号を構成する実フレームより動き補償補間した補間フレームが生成され、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換され、前記第２の画像信号を構成する前記実フレームのみがＩピクチャのフレーム、または、他のＰピクチャもしくはＢピクチャより参照されるＰピクチャもしくはＢピクチャの参照フレームとして動画像符号化された符号化ストリームを記録する記録部と、
前記記録部より再生された符号化ストリームより、前記実フレームに基づいて生成されたフレームのみを抽出して実フレーム抽出ストリームを出力する実フレーム抽出部と、
前記実フレーム抽出ストリームを復号して復号データを出力する動画像復号部と、
前記復号データのそれぞれのフレームを繰り返し出力して前記第２のフレームレートに変換して出力するフレームレート変換部と、
を備えることを特徴とする画像再生装置。
前記記録部より再生された符号化ストリームと、前記実フレーム抽出部より出力された実フレーム抽出ストリームとを選択する第１の選択部と、
前記動画像復号部より出力された復号データと、前記フレームレート変換部より出力された前記第２のフレームレートに変換された復号データとを選択する第２の選択部と、
をさらに備えることを特徴とする請求項１に記載の画像再生装置。
第１のフレームレートを有する第１の画像信号を構成する実フレームより動き補償補間した補間フレームが生成され、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換され、前記第２の画像信号を構成する前記実フレームのみがＩピクチャのフレーム、または、他のＰピクチャもしくはＢピクチャより参照されるＰピクチャもしくはＢピクチャの参照フレームとして動画像符号化された符号化ストリームが記録された記録部より、前記符号化ストリームを再生し、
再生された符号化ストリームより、前記実フレームに基づいて生成されたフレームのみを抽出して実フレーム抽出ストリームを生成し、
前記実フレーム抽出ストリームを復号して復号データを生成し、
前記復号データのそれぞれのフレームを繰り返し出力して前記第２のフレームレートに変換して出力する
ことを特徴とする画像再生方法。
コンピュータに、
第１のフレームレートを有する第１の画像信号を構成する実フレームより動き補償補間した補間フレームが生成され、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換され、前記第２の画像信号を構成する前記実フレームのみがＩピクチャのフレーム、または、他のＰピクチャもしくはＢピクチャより参照されるＰピクチャもしくはＢピクチャの参照フレームとして動画像符号化された符号化ストリームが記録された記録部より、前記符号化ストリームを再生させる機能と、
再生された符号化ストリームより、前記実フレームに基づいて生成されたフレームのみを抽出して実フレーム抽出ストリームを生成させる機能と、
前記実フレーム抽出ストリームを復号して復号データを生成させる機能と、
前記復号データのそれぞれのフレームを繰り返し出力して前記第２のフレームレートに変換して出力する機能と、
を実現させることを特徴とする画像再生プログラム。