JP5161589B2 - 画像再生装置、画像再生方法、プログラム、および集積回路 - Google Patents

Description

本発明は、画像を記録する画像記録装置、およびその記録された画像を再生する画像再生装置に関する。

カムコーダなどの画像記録装置は、ＣＣＤ（Charge Coupled Devices）などの撮像素子を備え、その撮像素子により生成される画像を転送して符号化し、符号化された画像を記録する。ここで、画像記録装置が高速撮影を行うためには、撮像素子からの画像転送速度、符号化処理速度および画像記録処理を高速化する必要があり、画像記録装置が高価となる問題がある。そこで、従来、撮像素子からの画像転送速度、符号化処理速度および画像記録処理を高速化することなく高速撮影を行う画像記録装置が提案されている（例えば、特許文献１参照）。

図１７は、前記特許文献１記載の画像記録装置を説明するための説明図である。
この画像記録装置は、通常撮影時には、予め定められたフレームレートでフレーム１およびフレーム２を撮像素子から転送して符号化し、その符号化されたフレーム１およびフレーム２を記録する。一方、高速撮影時には、各フレーム１〜４を子画面にサイズ変更して画面分割多重し、画面分割多重により生成された画面を通常画像として記録する。具体的には、４倍速撮影する場合、高速撮影された各フレーム１〜４を１／４サイズの子画面にサイズ変更して、４枚の連続する１／４サイズの子画面を１枚の画面に画面分割多重したのちに、その１枚の画面を通常画像として記録する。これにより、撮像素子からの画像転送速度、符号化処理速度および画像記録処理を高速化することなく高速撮影を行うことができる。
特許第２７１８４０９号公報

しかしながら、前記特許文献１の画像記録装置では、各フレームを縮小したのちに記録するため、各フレームの解像度が低下して画質が劣化する問題がある。

そこで、本発明は、かかる課題を解決するもので、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる画像記録装置および画像再生装置を提供することを目的とする。

本発明に係る画像記録装置は、入力画像を記録する画像記録装置であって、入力された電気信号に基づいて前記入力画像を構成する同一解像度の複数のフレームを生成する画像生成部と、前記画像生成部で生成された前記入力画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べて第１のフレーム群を生成すると共に、前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群を生成する画像変換部と、前記画像変換部で生成された前記第１のフレーム群を独立して再生可能な１つの動画像として符号化して第１のストリームを出力すると共に、前記画像変換部で生成された前記第２のフレーム群を１つの動画像として符号化して第２のストリームを出力する画像符号化部と、前記画像符号化部で符号化された前記第１及び第２のストリームを記録媒体に記録する記録部とを備える。

また、前記画像変換部は、前記第１のフレーム群の時間的に隣接する前記フレームの間に位置する複数の前記フレームの互いに異なる領域から抽出した画素を合成して得られる合成フレームを時系列に並べて前記第２のフレーム群を生成してもよい。

また、前記画像変換部は、前記複数のフレームから行単位及び列単位の少なくともいずれか一方で画素を間引いた残りの画素を合成して前記合成ファイルを生成してもよい。また、前記入力画像は、プログレッシブ画像であってもよい。

また、前記画像変換部は、前記複数のフレームからＮ（Ｎは自然数）枚おきにＮ枚の前記フレームを抽出し、時間的に連続するＮ枚の前記フレームを合成して得られる第１の合成フレームを時系列に並べて前記第１のフレーム群を生成し、前記第１のフレーム群に含まれない前記複数のフレームのうち、時間的に連続するＮ枚の前記フレームを合成して得られる第２の合成フレームを時系列に並べて前記第２のフレーム群を生成してもよい。また、前記入力画像は、インタレース画像であってもよい。

また、前記第１のフレーム群と前記第２のフレーム群とは、画面サイズ及びフレームレートが同一であってもよい。

この発明に係るカメラは、上記記載の画像記録装置と、光を電気信号に変換し、前記画像生成部に出力する撮像部とを備える。また、前記画像変換部は、前記第１のフレーム群の時間的に隣接する前記フレームの間に位置する複数の前記フレームの互いに異なる領域から抽出した画素を合成して得られる合成フレームを時系列に並べて前記第２のフレーム群を生成してもよい。また、該カメラは、さらに、前記撮像部に前記第１のフレーム群に含まれない複数の前記フレームそれぞれから前記合成フレームを構成する画素に対応する電気信号のみを抽出して出力させる読み出し制御部を備えてもよい。

この発明に係る画像再生装置は、画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生する画像再生装置であって、再生モードとして通常再生及びスロー再生の一方を指示する再生モード指示部と、前記記録媒体からストリームを読み出す読み出し部と、前記読み出し部により読み出されたストリームを復号する復号部と、前記復号部により復号されたフレーム群を再生する画像再構成部とを備える。そして、前記再生モード指示部により通常再生が指示された場合において、前記読み出し部は、前記記録媒体に記録された第１のストリームを読み出し、前記復号部は、前記読み出し部により読み出された第１のストリームを復号化し、前記画像再構成部は、前記復号化部により復号化された第１のフレーム群をそのまま再生する。一方、前記再生モード指示部によりスロー再生が指示された場合において、前記読み出し部は、前記記録媒体に記録された第１及び第２のストリームの両方を読み出し、前記復号部は、前記読み出し部により読み出された第１及び第２のストリームをそれぞれ復号化し、前記画像再構成部は、前記復号化部により復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する。
この発明に係る画像記録方法は、入力画像を記録する画像記録方法であって、入力された電気信号に基づいて前記入力画像を構成する同一解像度の複数のフレームを生成する画像生成ステップと、前記画像生成ステップで生成された前記入力画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べて第１のフレーム群を生成すると共に、前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群を生成する画像変換ステップと、前記画像変換ステップで生成された前記第１のフレーム群を独立して再生可能な１つの動画像として符号化して第１のストリームを出力すると共に、前記画像変換ステップで生成された前記第２のフレーム群を１つの動画像として符号化して第２のストリームを出力する画像符号化ステップと、前記画像符号化ステップで符号化された前記第１及び第２のストリームを記録媒体に記録する記録ステップとを含む。
この発明に係る画像再生方法は、画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生する画像再生方法であって、再生モードとして通常再生及びスロー再生の一方を指示する再生モード指示ステップと、前記記録媒体からストリームを読み出す読み出しステップと、前記読み出しステップにより読み出されたストリームを復号する復号ステップと、前記復号ステップにより復号されたフレーム群を再生する画像再構成ステップとを備える。そして、前記再生モード指示ステップにより通常再生が指示された場合において、前記読み出しステップは、前記記録媒体に記録された第１のストリームを読み出し、前記復号ステップは、前記読み出しステップにより読み出された第１のストリームを復号化し、前記画像再構成ステップは、前記復号化ステップにより復号化された第１のフレーム群をそのまま再生する。一方、前記再生モード指示ステップによりスロー再生が指示された場合において、前記読み出しステップは、前記記録媒体に記録された第１及び第２のストリームの両方を読み出し、前記復号ステップは、前記読み出しステップにより読み出された第１及び第２のストリームをそれぞれ復号化し、前記画像再構成ステップは、前記復号化ステップにより復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する。
この発明に係るプログラムは、コンピュータに入力画像を記録させるプログラムであって、入力された電気信号に基づいて前記入力画像を構成する同一解像度の複数のフレームを生成する画像生成ステップと、前記画像生成ステップで生成された前記入力画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べて第１のフレーム群を生成すると共に、前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群を生成する画像変換ステップと、前記画像変換ステップで生成された前記第１のフレーム群を独立して再生可能な１つの動画像として符号化して第１のストリームを出力すると共に、前記画像変換ステップで生成された前記第２のフレーム群を１つの動画像として符号化して第２のストリームを出力する画像符号化ステップと、前記画像符号化ステップで符号化された前記第１及び第２のストリームを記録媒体に記録する記録ステップとを含む。
この発明に係るプログラムは、コンピュータに、画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生させるプログラムであって、再生モードとして通常再生及びスロー再生の一方を指示する再生モード指示ステップと、前記記録媒体からストリームを読み出す読み出しステップと、前記読み出しステップにより読み出されたストリームを復号する復号ステップと、前記復号ステップにより復号されたフレーム群を再生する画像再構成ステップとを含む。そして、前記再生モード指示ステップにより通常再生が指示された場合において、前記読み出しステップは、前記記録媒体に記録された第１のストリームを読み出し、前記復号ステップは、前記読み出しステップにより読み出された第１のストリームを復号化し、前記画像再構成ステップは、前記復号化ステップにより復号化された第１のフレーム群をそのまま再生する。一方、前記再生モード指示ステップによりスロー再生が指示された場合において、前記読み出しステップは、前記記録媒体に記録された第１及び第２のストリームの両方を読み出し、前記復号ステップは、前記読み出しステップにより読み出された第１及び第２のストリームをそれぞれ復号化し、前記画像再構成ステップは、前記復号化ステップにより復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する。
この発明に係る集積回路は、入力画像を符号化する集積回路であって、前記入力画像に含まれる同一解像度の複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べて第１のフレーム群を生成すると共に、前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群を生成する画像変換部と、前記画像変換部で生成された前記第１のフレーム群を独立して再生可能な１つの動画像として符号化して第１のストリームを出力すると共に、前記画像変換部で生成された前記第２のフレーム群を１つの動画像として符号化して第２のストリームを出力する画像符号化部とを備える。
この発明に係る集積回路は、画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生する集積回路であって、入力されたストリームを復号する復号部と、前記復号部により復号されたフレーム群を再生する画像再構成部とを備える。そして、前記記録媒体に記録されている第１のストリームが入力されると共に通常再生が指示された場合において、前記復号部は、前記読み出し部により読み出された第１のストリームを復号化し、前記画像再構成部は、前記復号化部により復号化された第１のフレーム群をそのまま再生する。一方、前記記録媒体に記録されている第１及び第２のストリームが入力されると共にスロー再生が指示された場合において、前記復号部は、前記読み出し部により読み出された第１及び第２のストリームをそれぞれ復号化し、前記画像再構成部は、前記復号化部により復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する。

なお、本発明は、このような画像記録装置として実現することができるだけでなく、このような画像記録装置により記録された画像を再生する画像再生装置として実現したり、このような画像記録装置が備える特徴的な手段をステップとする画像記録方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上のように、本発明によれば、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる。すなわち、高解像度の主ストリームと低解像度の副ストリームとが記録されるので、通常再生時には、高解像度の主ストリームを再生することが可能となり、スロー再生時には、高解像度の主ストリームと低解像度の副ストリームとを用いてきれいな画像を再構成して再生することが可能となる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像記録装置１００および画像再生装置２００の概観を示す図である。例えば、画像記録装置１００は、図１（ａ）に示されるように、撮影した画像をＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）などの記録媒体に記録するビデオカメラに適用することができる。また、画像再生装置２００は、図１（ｂ）に示されるように、記録媒体に記録された画像を読み出して再生するＤＶＤプレーヤに適用することができる。なお、図１（ａ）に示されるビデオカメラが画像記録装置１００および画像再生装置２００を備えてもよい。

図２は、本発明の実施の形態１における画像記録装置１００のブロック図である。
この図に示されるように、画像記録装置１００は、画像を記録する装置であって、機能的には、撮像素子１１０と、画像生成部１２０と、画像変換部１３０と、画像符号化部１４０と、記録部１５０とを備えている。撮像素子１１０は、入射する光を電気信号に変換して出力する。画像生成部１２０は、撮像素子１１０により変換された電気信号に基づいて入力画像を生成する。生成される画像は、例えば、１９２０×１０８０プログレッシブ、１９２０×１０８０インターレース、１２８０×７２０プログレッシブなど、画角及びインターレース／プログレッシブの区別を持つ画像である。画像変換部１３０は、画像生成部１２０により生成された入力画像のうち、所定の時間間隔（例えば、通常撮影時の時間間隔）のフレームを第１の解像度のフレームに変換して出力するとともに、画像生成部１２０により生成された入力画像のうち、前記所定の時間間隔（例えば、通常撮影時の時間間隔）以外のフレームを第２の解像度のフレームに変換したのちに、当該第２の解像度のフレーム同士を合成して出力する。第２の解像度は、第１の解像度よりも低い解像度である。画像変換部１３０は、入力画像をそのまま出力することもある。例えば、本実施の形態１では、所定の時間間隔（例えば、通常撮影時の時間間隔）のフレームについては、解像度を変換することなくそのまま出力するようになっている。画像符号化部１４０は、画像変換部１３０により第１の解像度に変換されたフレーム群を符号化して主ストリーム（以下、「ストリームＡ」という）を出力するとともに、画像変換部１３０により第２の解像度に変換されたフレーム群を符号化して副ストリーム（以下、「ストリームＢ」という）を出力する。符号化方式としては、例えばＨ．２６４／ＡＶＣなどの符号化方式が用いられる。記録部１５０は、画像符号化部１４０により出力されたストリームＡ及びストリームＢをＤＶＤやＢＤなどの記録媒体３００に記録する。

図３は、本発明の実施の形態１における画像変換方法を示す図である。
ここでは、撮像素子１１０及び画像生成部１２０により、入力画像Ｇ０、Ｇ１、Ｇ２、・・・、Ｇ１３、Ｇ１４、Ｇ１５、・・・が生成された場合を想定して説明する（図４、Ｓ１１→Ｓ１２）。この入力画像は１２８０×７２０のプログレッシブ画像であり、１秒間に３００枚生成される場合は１２８０×７２０／３００ｐと表記される。

まず、画像変換部１３０は、入力画像Ｇ０、Ｇ１、Ｇ２、・・・、Ｇ１３、Ｇ１４、Ｇ１５、・・・を変換する（図４、Ｓ１３）。ここで、入力画像Ｇ０、Ｇ１、Ｇ２、・・・、Ｇ１３、Ｇ１４、Ｇ１５、・・・のうち、入力画像Ｇ０、Ｇ５、Ｇ１０、Ｇ１５、・・・は、通常撮影時の時間間隔のフレームであり、入力画像Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ６、Ｇ７、Ｇ８、Ｇ９、・・・は、通常撮影時の時間間隔以外のフレームである。

そこで、画像変換部１３０は、入力画像Ｇ０、Ｇ５、Ｇ１０、Ｇ１５、・・・は、変換せずに画像Ａ０、Ａ１、Ａ２、Ａ３、・・・とする。また、入力画像Ｇ１の画素行０、４、８、・・・と、入力画像Ｇ２の画素行１、５、９、・・・と、入力画像Ｇ３の画素行２、６、１０、・・・と、入力画像Ｇ４の画素行３、７、１１、・・・とを使用して画像Ｂ０を作成する。さらには、入力画像Ｇ６の画素行０、４、８、・・・と、入力画像Ｇ７の画素行１、５、９、・・・と、入力画像Ｇ８の画素行２、６、１０、・・・と、入力画像Ｇ９の画素行３、７、１１、・・・とを使用して画像Ｂ１を作成する。同様に、画像Ｂ２、Ｂ３、・・・も作成する。ここで、画像Ａ０、Ａ１、Ａ２、Ａ３、・・・及び画像Ｂ０、Ｂ１、Ｂ２、Ｂ３、・・・は、それぞれ、１２８０×７２０／６０ｐの動画像になる。

その後、画像符号化部１４０は、画像変換部１３０により作成された動画像を符号化する（図４、Ｓ１４）。具体的には、画像Ａ０、Ａ１、Ａ２、Ａ３、・・・を１つの動画像として符号化し、ストリームＡを作成する。また、画像Ｂ０、Ｂ１、Ｂ２、Ｂ３、・・・も１つの動画像として符号化し、ストリームＢを作成する。

最後に、記録部１５０は、画像符号化部１４０により作成されたストリームＡとストリームＢとを記録媒体３００に記録する（図４、Ｓ１５）。

図５は、本発明の実施の形態１における画像再生装置２００のブロック図である。
この図に示されるように、本発明の実施の形態１における画像再生装置２００は、画像を再生する装置であって、機能的には、再生モード指示部２１０と、画像復号化部２２０と、読み出し部２３０と、画像再構成部２４０とを備えている。ここでは、画像記録装置１００により作成された１２８０×７２０／６０ｐのストリームＡとストリームＢとが記録媒体３００に記録されているものとして説明する。

再生モード指示部２１０は、再生モードとして通常再生及びスロー再生の一方を指示する。読み出し部２３０は、再生モード指示部２１０により通常再生が指示されたときは、記録媒体３００に記録されたストリームＡを読み出す。一方、読み出し部２３０は、再生モード指示部２１０によりスロー再生が指示されたときは、記録媒体３００に記録されたストリームＡとストリームＢとを読み出す。画像復号化部２２０は、再生モード指示部２１０により通常再生が指示されたときは、読み出し部２３０により読み出されたストリームＡを復号化する。一方、再生モード指示部２１０によりスロー再生が指示されたときは、読み出し部２３０により読み出されたストリームＡとストリームＢとを復号化する。画像再構成部２４０は、再生モード指示部２１０により通常再生が指示されたときは、画像復号化部２２０により復号されたストリームＡをそのまま再生し、通常再生映像を得る。一方、再生モード指示部２１０によりスロー再生が指示されたときは、画像復号化部２２０により復号化されたストリームＡとストリームＢとを用いて入力画像と同じ画角及びフレーム数の画像を再構成して再生し、スロー再生映像を得る。

図６は、本発明の実施の形態１における画像再構成方法を示す図である。
ここでは、再生モード指示部２１０によりスロー再生が指示されたものとする。スロー再生が指示されると、図３に示されるストリームＡとストリームＢとが読み出し部２３０により記録媒体３００から読み出され、画像復号化部２２０により復号化され、以下のように画像再構成部２４０により再構成される（図７、Ｓ２１→Ｓ２２→Ｓ２６→Ｓ２７→Ｓ２８）。

まず、画像再構成部２４０は、ストリームＡを復号化して得られる画像Ａ０、Ａ１、Ａ２、・・・をそのまま出力画像ｇ０、ｇ５、ｇ１０、・・・とする。また、画像再構成部２４０は、ストリームＢを復号化して得られる画像Ｂ０を分解し、画素行を記録した順番に並べて画像ｂ０−０、ｂ０−１、ｂ０−２、ｂ０−３を作成する。ｂ０−０は、画像Ｂ０の画素行０、４、８、・・・から作成し、ｂ０−１は、画像Ｂ０の画素行１、５、９、・・・から作成し、ｂ０−２は、画像Ｂ０の画素行２、６、１０、・・・から作成し、ｂ０−３は、画像Ｂ０の画素行３、７、１１、・・・から作成する。

さらに、画像再構成部２４０は、このように作成した４つの画像ｂ０−０、ｂ０−１、ｂ０−２、ｂ０−３と画像Ａ０とＡ１とから、画素の補間処理や超解像技術等を使用して、画像記録時に間引かれた画素を作成し、出力画像ｇ１、ｇ２、ｇ３、ｇ４を再構成する。同様に、画像Ｂ１から画像ｂ１−０、ｂ１−１、ｂ１−２、ｂ１−３を作成し、それらと画像Ａ１とＡ２とから、出力画像ｇ６、ｇ７、ｇ８、ｇ９を再構成する。ｇ１１、ｇ１２、・・・も同様の方法で再構成される。

以上の方法により、出力画像ｇ０、ｇ１、ｇ２、ｇ３、・・・は、１２８０×７２０の画素を持つ画像となり、さらには、１秒間に３００フレームの画像で構成される高速撮影された映像となる。この映像を１秒間に６０フレームずつ表示すると、１／５のスロー再生映像となる。このスロー再生映像は、きれいでスムーズな再生映像となる。

なお、再生モード指示部２１０により通常再生が指示されると、記録媒体３００に記録されたストリームＡが読み出し部２３０により読み出され、画像復号化部２２０により復号化され、画像再構成部２４０によりそのまま再生され、通常再生映像が得られることになる（図７、Ｓ２１→Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２５）。

以上のように、本実施の形態１によれば、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる。すなわち、高解像度のストリームＡと低解像度のストリームＢとが記録されるので、通常再生時には、高解像度のストリームＡを再生することが可能となり、スロー再生時には、高解像度のストリームＡと低解像度のストリームＢとを用いてきれいな画像を再構成して再生することが可能となる。

（実施の形態２）
本実施の形態２では、前記実施の形態１と異なる画像変換方法を採用している。すなわち、前記実施の形態１では、行単位で画素を間引く方法を採用しているが、本実施の形態２では、行および列単位で画素を間引く方法を採用している。以下、本実施の形態２における画像変換方法を前記実施の形態１と異なる点を中心に説明する。

図８は、本発明の実施の形態２における画像変換方法を示す図である。
この図に示されるように、本実施の形態２における画像変換方法は、画像変換部１３０における画像Ｂ０、Ｂ１、Ｂ２、・・・の変換方法が異なる点を除き、前記実施の形態１における画像変換方法（図３参照）と同様である。すなわち、画像Ｂ０は、入力画像Ｇ１の偶数画素行かつ偶数画素列の画素と、入力画像Ｇ２の偶数画素行かつ奇数画素列の画素と、入力画像Ｇ３の奇数画素行かつ偶数画素列の画素と、入力画像Ｇ４の奇数画素行かつ奇数画素列の画素とを使用して作成される。画像Ｂ１、Ｂ２、Ｂ３、・・・についても同様である。

本実施の形態２では、前記実施の形態１と異なる画像再構成方法を採用している。以下、本実施の形態２における画像再構成方法を前記実施の形態１と異なる点を中心に説明する。

図９は、本発明の実施の形態２における画像再構成方法を示す図である。
この図に示されるように、本実施の形態２における画像再構成方法は、画像再構成部２４０における画像ｂ０−０、ｂ０−１、ｂ０−２、ｂ０−３の作成方法が異なる点を除き、前記実施の形態１における再構成方法（図６参照）と同様である。すなわち、ｂ０−０は、画像Ｂ０の画素行０、２、４、・・・かつ画像Ｂ０の画素列０、２、４・・・から作成する。また、ｂ０−１は、画像Ｂ０の画素行０、２、４、・・・かつ画像Ｂ０の画素列１、３、５、・・・から作成する。また、ｂ０−２は、画像Ｂ０の画素行１、３、５、・・・かつ画像Ｂ０の画素行０、２、４、・・・から作成する。また、ｂ０−３は、画像Ｂ０の画素行１、３、５、・・・かつ画像Ｂ０の画素列１、３、５、・・・から作成する。画像ｂ１−０、ｂ１−１、ｂ１−２、ｂ１−３についても同様である。

以上のように、本実施の形態２では、前記実施の形態１と異なる画像変換方法および画像再構成方法を採用しているものの、前記実施の形態１と同様の効果を得ることができる。すなわち、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる。

（実施の形態３）
前記実施の形態１では、プログレッシブ画像を例示したが、本実施の形態３では、インターレース画像を例示する。以下、本実施の形態３における画像記録装置１００および画像再生装置２００の構成を前記実施の形態１と異なる点を中心に説明する。

図１０は、本発明の実施の形態３における画像変換方法を示す図である。
ここでは、撮像素子１１０及び画像生成部１２０により、入力画像Ｇ０、Ｇ１、Ｇ２、・・・、Ｇ７、Ｇ８、Ｇ９、・・・が生成された場合を想定して説明する。入力画像は、１９２０×１０８０／２４０ｉのインターレース画像である。ただし、入力画像Ｇ０、Ｇ１、Ｇ２、Ｇ３がｅｖｅｎラインの画像であり、入力画像Ｇ４、Ｇ５、Ｇ６、Ｇ７がｏｄｄラインの画像であるとして説明する。

まず、画像変換部１３０は、入力画像Ｇ０、Ｇ１、Ｇ２、・・・、Ｇ７、Ｇ８、Ｇ９、・・・を変換する。すなわち、画像変換部１３０は、入力画像Ｇ０の画素行０、４、８、・・・と、入力画像Ｇ１の画素行２、６、１０、・・・とを使用して画像Ａ０を作成する。同様に、入力画像Ｇ２の画素行０、４、８、・・・と、入力画像の画素行２、６、１０、・・・とを使用して画像Ｂ０を作成する。さらには、入力画像Ｇ４の画素行１、５、９、・・・と、入力画像Ｇ５の画素行３、７、１１、・・・とを使用して画像Ａ１を作成する。同様に、入力画像Ｇ６の画素行１、５、９、・・・と、入力画像Ｇ７の画素行３、７、１１、・・・とを使用して画像Ｂ１を作成する。このような処理をくり返し、画像Ａ０、Ａ１、Ａ２、・・・と、画像Ｂ０、Ｂ１、Ｂ２、・・・とを作成する。

その後、画像符号化部１４０は、画像変換部１３０により作成された動画像を符号化する。具体的には、画像Ａ０、Ａ１、Ａ２、・・・を１つの動画像として符号化し、ストリームＡを作成する。また、画像Ｂ０、Ｂ１、Ｂ２、・・・を連続する動画として符号化してストリームＢを作成する。ストリームＡとストリームＢとは、１９２０×１０８０／６０ｉの一般的なハイビジョン映像となる。最後に、記録部１５０は、画像符号化部１４０により作成されたストリームＡとストリームＢとを記録媒体３００に記録する。

図１１は、本発明の実施の形態３における画像再構成方法を示す図である。
ここでは、再生モード指示部２１０によりスロー再生が指示されたものとする。スロー再生が指示されると、図１０に示されるストリームＡとストリームＢとが読み出し部２３０により記録媒体３００から読み出され、画像復号化部２２０により復号化され、以下のように画像再構成部２４０により再構成される。

まず、画像再構成部２４０は、ストリームＡを復号化して得られる画像Ａ０を分解し、画素行を入力ピクチャとして入力された順番に並べてａ０−０、ａ０−１を作成する。ａ０−０は、画像Ａ０の画素行０、４、８、・・・から作成し、ａ０−１は、画像Ａ０の画素行２、６、１０、・・・から作成する。同様に、ストリームＢを復号化して得られる画像Ｂ０を分解し、ｂ０−０、ｂ０−１を作成する。さらに、画像Ａ１を分解し、ａ１−０、ａ１−１を作成する。ａ１−０は、画像Ａ１の画素行１、５、９、・・・から作成し、ａ１−１は、画像Ａ１の画素行３、７、１１、・・・から作成する。

次に、画像再構成部２４０は、このように作成した画像ａ０−０、ａ０−１、ｂ０−０、ｂ０−１、ａ１−０、・・・から、画素補間や超解像技術等を使用して、出力画像ｇ０、ｇ１、ｇ２、ｇ３、・・・を再構成する。出力画像ｇ０、ｇ１、ｇ２、ｇ３、・・・は、１９２０×１０８０／２４０ｉの映像であり、１秒間に６０フィールドずつ表示すると１／４のスロー再生映像になる。

以上のように、本実施の形態３では、プログレッシブ画像ではなくインターレース画像を適用対象としているものの、前記実施の形態１と同様の効果を得ることができる。すなわち、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することができる。

なお、本実施の形態３では、請求項１でいう「所定の時間間隔のフレーム」は入力画像Ｇ０、Ｇ１、Ｇ４、Ｇ５、Ｇ８、Ｇ９、・・・に相当すると考えることができる。また、請求項１では第１の解像度のフレーム同士を合成する点については言及していないが、本実施の形態３のように、第１の解像度のフレーム同士を合成することも可能である。

（実施の形態４）
前記実施の形態２では、行および列単位で画素を間引く方法を採用した場合を説明し、また、前記実施の形態３ではインターレース画像を適用対象とした場合を説明した。本実施の形態４は、前記実施の形態２と前記実施の形態３とを組み合わせた形態である。

すなわち、図１２は、本発明の実施の形態４における画像変換方法を示す図であり、図１３は、本発明の実施の形態４における画像再構成方法を示す図である。これらの図に示されるように、インターレース画像を適用対象とした場合にも、行および列単位で画素を間引く方法を採用することができる。その他の点については、前記実施の形態２または前記実施の形態３と同じであるため、ここでは詳しい説明を省略する。

（実施の形態５）
前記実施の形態１では、入力画像を作成するために１２８０×７２０の画素を全て撮像素子１１０が読み出すことになるが、その中には画像変換部１３０が使用しない画素も含まれている。そこで、本実施の形態５では、画像変換部１３０が使用しない画素を撮像素子１１０が読み出さないように撮像素子１１０を制御するようにしている。以下、本実施の形態５における画像記録装置１００の構成を前記実施の形態１と異なる点を中心に説明する。

図１４は、本発明の実施の形態５における画像記録装置１００のブロック図である。
この画像記録装置１００は、読み出し制御部１６０が追加された点を除き、図２と同じ構成である。読み出し制御部１６０は、画像変換部１３０が使用しない画素を撮像素子１１０が読み出さないように撮像素子１１０を制御する。すなわち、撮像素子１１０から読み出す画素を選択する機能を有する。以下、図３に示されるストリームを作成する場合における読み出し制御部１６０の動作を説明する。

まず、読み出し制御部１６０は、入力画像Ｇ０を生成するために撮像素子１１０から画素を読み出すときは、１２８０×７２０の画角の中にある画素を全て読み出すように撮像素子１１０を制御する。撮像素子１１０は、その命令に従って、１２８０×７２０の画素を全て画像生成部１２０に出力する。

また、読み出し制御部１６０は、入力画像Ｇ１を生成するために撮像素子１１０から画素を読み出すときは、１２８０×７２０の画角の中にある画素のうち、画素行０、４、８、・・・、７１６を読み出すように撮像素子１１０を制御する。撮像素子１１０は、その命令に従って、画素行０、４、８、・・・、７１６の画素を画像生成部１２０に出力する。

同様に、読み出し制御部１６０は、入力画像Ｇ２を生成するために撮像素子１１０から画素を読み出すときは、画素行１、５、９、・・・、７１７の画素を読み出すように撮像素子１１０を制御し、入力画像Ｇ３を生成するために撮像素子１１０から画素を読み出すときは、画素行２、６、１０、・・・、７１８を読み出すように撮像素子１１０を制御し、入力画像Ｇ４を生成するために撮像素子１１０から画素を読み出すときは、画素行３、７、１１、・・・、７１９を読み出すように撮像素子１１０を制御する。

以上のように、本実施の形態５における読み出し制御部１６０は、画像変換部１３０が使用しない画素を撮像素子１１０が読み出さないように撮像素子１１０を制御する。これにより、入力画像を作成するために１２８０×７２０の画素を全て読み出す場合と比べて読み出す画素が削減され、撮像素子１１０からの画像転送速度を低減することが可能になる。また、読み出す画素が削減されるので、画像記録装置１００の消費電力が削減されるという効果もある。

（実施の形態６）
Ｈ．２６４に限らず、通常の画像符号化部は、動画像を１つだけ符号化するように構成されている。それに対して、本実施の形態６では、１つの動画像を符号化する符号化部を２つ備えた画像記録装置１００を採用している。以下、本実施の形態６における画像記録装置１００の構成を前記実施の形態１と異なる点を中心に説明する。

図１５は、本発明の実施の形態６における画像記録装置１００を示すブロック図である。

この図に示されるように、本実施の形態６における画像記録装置１００は、高フレームレートの映像を２つの動画像に分割して符号化することが特徴である。ここで、符号化される２つの動画像は同じフォーマットである。このような２つの動画像を同時に符号化するために、画像符号化部としてＨ．２６４画像符号化部１４１とＨ．２６４画像符号化部１４２とを備える。このＨ．２６４画像符号化部１４１とＨ．２６４画像符号化部１４２とは同じ構成であるため、画像記録装置１００の製造が特に複雑になることはない。

以上のように、本実施の形態６によれば、高フレームレートの映像を２つの動画像に分割して符号化することができる。また、Ｈ．２６４画像符号化部１４１とＨ．２６４画像符号化部１４２とは同じ構成であるため、画像記録装置１００の製造が特に複雑になることはないという効果もある。

なお、前記実施の形態１では行間引きを例示し、前記実施の形態２では行・列間引きを例示して説明したが、画素の間引き方はこれらに限定されるものではない。すなわち、画素の間引き方は、図１６に示されるように、ライン間引き（行間引き）、列間引き、ライン・列間引き（行・列間引き）のいずれかであればよく、またこれら以外の間引き方を用いてもよく、特に限定されるものではない。

本発明は、画質を大きく劣化させることなく、高速撮影に必要な撮像素子からの画像転送速度、符号化速度および画像記録速度を低減することが必要なカムコーダやＤＶＤプレーヤ等に適用することができる。

本発明の実施の形態１における画像再生装置および画像再生装置の概観を示す図である。 本発明の実施の形態１における画像記録装置のブロック図である。 本発明の実施の形態１における画像変換方法を示す図である。 本発明の実施の形態１における画像変換手順を示すフローチャートである。 本発明の実施の形態１における画像再生装置のブロック図である。 本発明の実施の形態１における画像再構成方法を示す図である。 本発明の実施の形態１における画像再構成手順を示すフローチャートである。 本発明の実施の形態２における画像変換方法を示す図である。 本発明の実施の形態２における画像再構成方法を示す図である。 本発明の実施の形態３における画像変換方法を示す図である。 本発明の実施の形態３における画像再構成方法を示す図である。 本発明の実施の形態４における画像変換方法を示す図である。 本発明の実施の形態４における画像再構成方法を示す図である。 本発明の実施の形態５における画像記録装置のブロック図である。 本発明の実施の形態６における画像記録装置を示すブロック図である。 本発明における画素の間引き方の例を示す図である。 特許文献１記載の画像記録装置を説明するための説明図である。

符号の説明

１００ 画像記録装置
１１０ 撮像素子
１２０ 画像生成部
１３０ 画像変換部
１４０ 画像符号化部
１５０ 記録部
２００ 画像再生装置
２１０ 再生モード指示部
２２０ 画像復号化部
２３０ 読み出し部
２４０ 画像再構成部
３００ 記録媒体

Claims (4)

1. 画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生する画像再生装置であって、
   再生モードとして通常再生及びスロー再生の一方を指示する再生モード指示部と、
   前記記録媒体からストリームを読み出す読み出し部と、
   前記読み出し部により読み出されたストリームを復号する復号部と、
   前記復号部により復号されたフレーム群を再生する画像再構成部とを備え、
   前記再生モード指示部により通常再生が指示された場合において、
   前記読み出し部は、前記記録媒体に記録された第１のストリームを読み出し、
   前記復号部は、前記読み出し部により読み出された第１のストリームを復号化し、
   前記画像再構成部は、前記復号化部により復号化された第１のフレーム群をそのまま再生し、
   前記再生モード指示部によりスロー再生が指示された場合において、
   前記読み出し部は、前記記録媒体に記録された第１及び第２のストリームの両方を読み出し、
   前記復号部は、前記読み出し部により読み出された第１及び第２のストリームをそれぞれ復号化し、
   前記画像再構成部は、前記復号化部により復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する
   画像再生装置。
2. 画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生する画像再生方法であって、
   再生モードとして通常再生及びスロー再生の一方を指示する再生モード指示ステップと、
   前記記録媒体からストリームを読み出す読み出しステップと、
   前記読み出しステップにより読み出されたストリームを復号する復号ステップと、
   前記復号ステップにより復号されたフレーム群を再生する画像再構成ステップとを含み、
   前記再生モード指示ステップにより通常再生が指示された場合において、
   前記読み出しステップは、前記記録媒体に記録された第１のストリームを読み出し、
   前記復号ステップは、前記読み出しステップにより読み出された第１のストリームを復号化し、
   前記画像再構成ステップは、前記復号化ステップにより復号化された第１のフレーム群をそのまま再生し、
   前記再生モード指示ステップによりスロー再生が指示された場合において、
   前記読み出しステップは、前記記録媒体に記録された第１及び第２のストリームの両方を読み出し、
   前記復号ステップは、前記読み出しステップにより読み出された第１及び第２のストリームをそれぞれ復号化し、
   前記画像再構成ステップは、前記復号化ステップにより復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する
   画像再生方法。
3. コンピュータに、画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生させるプログラムであって、
   再生モードとして通常再生及びスロー再生の一方を指示する再生モード指示ステップと、
   前記記録媒体からストリームを読み出す読み出しステップと、
   前記読み出しステップにより読み出されたストリームを復号する復号ステップと、
   前記復号ステップにより復号されたフレーム群を再生する画像再構成ステップとを含み、
   前記再生モード指示ステップにより通常再生が指示された場合において、
   前記読み出しステップは、前記記録媒体に記録された第１のストリームを読み出し、
   前記復号ステップは、前記読み出しステップにより読み出された第１のストリームを復号化し、
   前記画像再構成ステップは、前記復号化ステップにより復号化された第１のフレーム群をそのまま再生し、
   前記再生モード指示ステップによりスロー再生が指示された場合において、
   前記読み出しステップは、前記記録媒体に記録された第１及び第２のストリームの両方を読み出し、
   前記復号ステップは、前記読み出しステップにより読み出された第１及び第２のストリームをそれぞれ復号化し、
   前記画像再構成ステップは、前記復号化ステップにより復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する
   プログラム。
4. 画像に含まれる複数のフレームのうち所定の時間間隔毎に抽出された複数の前記フレームを時系列に並べた独立して再生可能な画像である第１のフレーム群、および前記複数のフレームのうちの前記第１のフレーム群に含まれない複数の前記フレームから第２のフレーム群が生成され、それぞれが符号化された第１のストリームおよび第２のストリームが記録された記録媒体から画像を再生する集積回路であって、
   入力されたストリームを復号する復号部と、
   前記復号部により復号されたフレーム群を再生する画像再構成部とを備え、
   前記記録媒体に記録されている第１のストリームが入力されると共に通常再生が指示された場合において、
   前記復号部は、前記読み出し部により読み出された第１のストリームを復号化し、
   前記画像再構成部は、前記復号化部により復号化された第１のフレーム群をそのまま再生し、
   前記記録媒体に記録されている第１及び第２のストリームが入力されると共にスロー再生が指示された場合において、
   前記復号部は、前記読み出し部により読み出された第１及び第２のストリームをそれぞれ復号化し、
   前記画像再構成部は、前記復号化部により復号化された第１及び第２のフレーム群に含まれる複数のフレームを時系列に並び替えて再生する
   集積回路。

Images