JPWO2008075688A1 - 撮像装置及び方法、記録装置及び方法、再生装置及び方法 - Google Patents

Abstract

本発明は、例えば撮像装置に適用して、所定フィールド又はフレーム毎に間引き全画角読み出し処理の画像信号を生成し、残りのフィールド又はフレームでは、全画素部分読み出し処理の画像信号を生成する。

Description

本発明は、撮像装置及び方法、記録装置及び方法、再生装置及び方法に関する。

従来、日本特開平９−８３９５２号公報には、大容量のメモリを用いて撮像画像の画像信号を遅延させて記録媒体に記録する方法が提案されている。この日本特開平９−８３９５２号公報に開示の手法によれば、ユーザが撮像の開始を指示した時点より一定時間だけ逆上った時点の映像から記録を開始することができ、貴重な撮像機会を逃さないようにすることができる。

また日本特開２００５−２９５４２３号公報には、メモリを用いて画像信号のフィールド周波数を低減し、スローモーションの映像を記録する方法が提案されている。すなわちこの日本特開２００５−２９５４２３号公報に開示の手法は、通常のビデオ信号のフィールド周波数（５０フィールド／秒又は６０フィールド／秒）より高速度で撮像素子から画像信号を出力し、この画像信号を順次循環的にメモリに格納する。またこのメモリに格納した画像信号を通常のビデオ信号のフィールド周波数で読み出して記録媒体に記録する。以下、このように通常のビデオ信号より高いフィールド周波数又はフレーム周波数で撮像画像を取得する処理を高速度撮像と呼ぶ。

また撮像素子からの画像信号の出力に関して、日本特開昭６４−２４８０号公報、日本特開平１−１０５６７４号公報には、撮像素子から出力する画像信号の撮像画像について、撮像画像の解像度すなわち撮像画像の画素数を低減して、画像信号のデータレートの増大を防止する方法が提案されている。また日本特開平１０−５１７３５号公報には、撮像された画像の一部を取り込むようにしてデータレートの増大を防止する方法が提案されている。

ところで、日本特開２００５−２９５４２３号公報の手法により高速度撮像する場合、種々に高速度撮像する時間が制限され、その結果、貴重な撮像機会を逃してしまう問題がある。

すなわちこの手法では、画像信号を高速度でメモリに格納し、その後、メモリから読み出して記録媒体に記録していることから、１回の撮像で撮像可能な時間がメモリの容量で制限される。したがって所望するシーンが長時間に及ぶ場合には、結局、全部のシーンを高速度撮像することが困難になる。またこの方法では、メモリに格納した画像信号全て読み出した後でなければ、次のシーンを撮像できないことになる。したがって所望するシーンが短い時間間隔で繰り返される場合には、この繰り返しのシーンの一部を撮り逃してしまうことになる。

この問題を解決する１つの方法として、高いフィールド周波数又はフレーム周波数で画像信号を取得して直接、大容量の記録媒体に記録する方法が考えられる。

しかしながら実際上、高いフィールド周波数又はフレーム周波数で画像信号を生成する場合には、通常のビデオ信号のフィールド周波数又はフレーム周波数で画像信号を生成する場合のように、撮像素子から全画素を示す画像信号を生成することが困難な場合が殆どである。したがって、この方法では、日本特開昭６４−２４８０号公報、日本特開平１−１０５６７４号公報に開示されているように、高速度撮像時、撮像素子から出力する画像において撮像画像の解像度を低減したり、日本特開平１０−５１７３５号公報に開示されているように、撮像画像の画角を小さくすることが必要になる。このため、所望の解像度の撮像画像を得ることができなくなり画質の劣化を招いたり、所望の画角の撮像画像が得られなくなってしまう。

本発明は以上の点を考慮してなされたもので、画質の劣化等を有効に回避して、貴重な撮像機会を逃すことなく高速度撮像や、高速度撮像を行うことにより得られた画像信号の記録再生を行うことができる撮像装置及び方法、記録装置及び方法、再生装置及び方法を提案するものである。

上記の課題を解決するため本発明の撮像装置は、撮像画像の画像信号を生成するイメージセンサと、イメージセンサに、有効画像領域の画素に対して間引き読み出しを行い画像信号を生成する間引き全画角読み出し処理と、有効画像領域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部分読み出し処理を、所定単位期間で切り換えて行わせる制御部とを備えるものである。

また本願発明の記録装置は、イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い画像信号を生成する間引き全画角読み出し処理と、有効画像領域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行うことで生成された撮像画像の画像信号に対して圧縮処理をすることで符号化データを生成する画像圧縮部と、符号化データを記録する記録部とを備え、画像圧縮部は、間引き全画角読み出し処理を行って得られた画像信号を、予測符号化を用いた符合化方式で圧縮処理し、全画素部分読み出し処理を行って得られた画像信号を、予測符号化を用いていない符合化方式で圧縮処理するものである。

また本願発明の再生装置は、イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い画像信号を生成する間引き全画角読み出し処理と、有効画像領域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行い、間引き全画角読み出し処理を行って得られた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符号化データとして記録され、全画素部分読み出し処理を行って得られた画像信号が、予測符号化を用いていない符合化方式で圧縮処理されて符号化データとして記録された記録メディアから、符号化データを読み出す再生部と、読み出された符号化データを伸長して画像信号を生成する画像伸長部と、画像伸長部で生成された画像信号を用いて合成を行う画像合成部とを備え、画像合成部は、間引き全画角読み出し処理を行って得られた画像信号と全画素部分読み出し処理を行って得られた画像信号とを合成するものである。

さらに、本願発明の撮像装置と記録装置と再生装置に対応した撮像方法と記録方法と再生方法である。

本発明の構成により、基準フィールド周波数又は基準フレーム周波数より周波数の高い、フィールド周波数又はフレーム周波数で画像信号を生成して記録する場合に、基準フィールド期間又は基準フレーム期間内の先頭のフィールド又はフレームでは、間引き全画角読み出し処理の画像信号を生成し、基準フィールド期間又は基準フレーム期間内の残りのフィールド又はフレームでは、全画素部分読み出し処理の画像信号を生成する。このようにすれば、基準フィールド期間又は基準フレーム期間でイメージセンサから出力する信号量を、全てのフィールド又はフレームで全画角の撮像画像を取得する場合に比して低減することができ、直接、大容量の記録媒体に記録することができる。したがってメモリを介して記録する場合のような制約を回避することができ、貴重な撮像機会を逃すことなく高速度撮像することができる。また間引き全画角読み出し処理を行うことにより得られた画像信号と全画素部分読み出し処理を行うことにより得られた画像信号を合成して画質の劣化を少なくすることが可能となる。このため、画質の劣化等を有効に回避して、貴重な撮像機会を逃すことなく高速度撮像や、高速度撮像を行うことにより得られた画像信号の記録再生を行うことができる。

撮像装置の構成を示すブロック図である。 イメージセンサの動作を説明するための図である。 カメラ信号処理部の構成を示すブロック図である。 カメラ信号処理部における解像度変換／画像合成部の構成の一部を示すブロック図である。 解像度変換／画像合成部における水平方向と垂直方向の利得を説明するための図である。 撮像画像と境界の座標の関係を示す図である。 画像圧縮伸長部の構成を示すブロック図である。 動画像の符号化データを説明するための図である。 記録装置の構成を示すブロック図である。 再生装置の構成を示すブロック図である。 フレームレートを基準フレームレートの２倍として高速度撮像する場合のタイムチャートである。 フレームレートを基準フレームレートの２倍として高速度撮像を行うことにより得られた画像を、標準の再生速度で再生する場合のタイムチャートである。 フレームレートを基準フレームレートの２倍として高速度撮像した画像を、１／２倍の再生速度でスローモーション再生する場合のタイムチャートである。 フレームレートを基準フレームレートの３倍として高速度撮像する場合のタイムチャートである。 フレームレートを基準フレームレートの３倍として高速度撮像した画像を、標準の再生速度で再生する場合のタイムチャートである。 フレームレートを基準フレームレートの４倍として高速度撮像する場合のタイムチャートである。 フレームレートを基準フレームレートの４倍として高速度撮像した画像を、標準の再生速度で再生する場合のタイムチャートである。 フレームレートを基準フレームレートの４倍として高速度撮像した画像を、１／２倍の再生速度でスローモーション再生する場合のタイムチャートである。 フレームレートを基準フレームレートの４倍として高速度撮像した画像を、１／４倍の再生速度でスローモーション再生する場合のタイムチャートである。 可変速で高速度撮像する場合のタイムチャートである。 可変速で高速度撮像した画像を、可変速で再生する場合のタイムチャートである。 動きベクトルの判定基準を示す図である。 全画素部分読み出しにおける枠の説明に供する略線図である。 可変速の高速度撮像におけるフレームレート設定の処理手順を示すフローチャートである。

以下、図面を参照しながら本発明の実施の形態について説明する。図１は、本発明の撮像装置の構成を示すブロック図である。撮像装置１０は、ユーザの操作に応じて、通常の撮像時の動作モードである標準撮像モード、又は高速度撮像の動作モードである高速度撮像モードに切り換え可能とされている。

撮像装置１０は、標準撮像モードに設定されたとき、予め設定されている基準単位期間の画像信号を生成して、この画像信号に対してカメラ信号処理や画像圧縮処理等を行い記録メディアに記録する。ここで、基準単位期間とは、テレビジョン方式で用いられているフィールド期間やフレーム期間を示すものであり、基準単位期間を例えば（１／６０）秒として、フィールド期間が（１／６０）秒であるインタレース走査方式の画像信号、又はフレーム期間が（１／６０）秒であるノンインタレース方式の画像信号を生成する。なお、ノンインタレース方式の画像信号の生成を行う場合、基準単位期間を基準フレーム期間、基準単位期間を周期としたフレームレートを基準フレームレートと呼ぶ。また、インタレース方式の画像信号の生成を行う場合、基準単位期間を基準フィールド期間、基準単位期間を周期としたフィールドレートを基準フィールドレートと呼ぶ。

撮像装置１０は、高速度撮像モードに設定されたとき、標準撮像モードの基準フレームレート（基準フィールドレート）よりも高く基準フレームレート（基準フィールドレート）の整数倍で画像信号を生成して、この画像信号に対してカメラ信号処理や画像圧縮処理等を行い記録メディアに記録する。ここで、基準フレームレート（基準フィールドレート）の整数倍のフレームレート（基準フィールドレート）であるときのフレーム期間（フィールド期間を所定単位期間と呼ぶ。

このようにフレームレート（フィールドレート）が高くなり所定単位期間が短くなると、撮像装置１０では、撮像部１１で用いられている固体撮像素子における撮像面の有効画像領域から、全画素を示す画像信号を生成することが困難となる。このため、撮像装置１０は、標準撮像モードよりもフレームレート（フィールドレート）が高いとき、すなわち所定単位期間が基準単位期間よりも短いとき、有効画像領域の画素に対して画素間引き及びライン間引きを行って画像信号を生成する処理（以下「間引き全画角読み出し処理」という）や、有効画像領域の一部の領域から全画素の読み出し行って画像信号を生成する処理（以下「全画素部分読み出し処理」という）を行い信号量を削減する。さらに、撮像装置１０は、間引き全画角読み出し処理や全画素部分読み出し処理を行うことにより得られた画像信号に対してカメラ信号処理や画像圧縮処理等を行い記録メディアに記録する。また、高速度撮像モードで記録された撮像画像を再生する場合、撮像装置１０は、間引き全画角読み出し処理を行うことにより得られた画像信号と、全画素部分読み出し処理を行うことにより得られた画像信号を合成することで、画質の劣化が少ない再生画像を得られるようにする。以下、撮像装置１０では、ノンインタレース方式の画像信号を生成するものとして説明を行う。

撮像装置１０の撮像部１１は、イメージセンサ１１１やＡＦＥ（Analog Front End）１１２、ＡＤＣ（Analog-Digital Converter）１１３を用いて構成されており、後述する制御部６１によって撮像部１１の動作が制御される。

撮像部１１のイメージセンサ１１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）型等の固体撮像素子を用いて構成されている。イメージセンサ１１１は、図示しないレンズユニットによって撮像面に形成された光学像を光電変換処理して画像信号、例えば赤色、緑色、青色の原色色信号からなる画像信号を出力する。なお、イメージセンサ１１１には、ＣＤＳ（Correlated Double Sampling）回路が設けられており、このＣＤＳ回路で相関二重サンプリング処理を行うことで画像信号のノイズが低減される。

撮像装置１０が標準撮像モードに設定されているとき、イメージセンサ１１１は、制御部６１によって制御されて、固体撮像素子における撮像面の有効画像領域から全画素を読み出す処理（以下「全画角全画素読み出し処理」という）を行い、基準フレームレート例えば６０フレーム／秒〔ｆｐｓ〕の画像信号を出力する。

図２は、イメージセンサ１１１から出力する画像信号の画素位置を示しており、斜線で示す画素は画像信号に含まれない画素を示している。ここで、標準撮像モードであるとき、イメージセンサ１１１は、図２の（Ａ）に示すように撮像面の有効画像領域ＡＲから全画素を読み出して画像信号を出力する。

また、撮像装置１０が高速度撮像モードに設定されているとき、イメージセンサ１１１は、制御部６１によって制御されて、間引き全画角読み出し処理や全画素部分読み出し処理を行い、基準フレームレートよりも高く整数倍のフレームレートで画像信号を出力する。例えば、基準フレームレートが６０フレーム／秒〔ｆｐｓ〕であるとき、高速度撮像モードでは、フレームレートが１２０〔ｆｐｓ〕、１８０〔ｆｐｓ〕、又は２４０〔ｆｐｓ〕の画像信号を出力する。また、イメージセンサ１１１は、設定されたフレームレートの画像信号を撮像部１１から出力できるように、フレームレートに応じて間引き全画角読み出し処理における間引き読み出しの間隔や、全画素部分読み出し処理における領域サイズを調整する。

ここで、フレームレートが標準撮像モードの基準フレームレートに対して２倍とされたとき、全画素部分読み出し処理では、例えば図２の（Ｂ１）に示すように撮像面における有効画像領域ＡＲの一部領域として、有効画像領域ＡＲの１／２の面積である矩形領域から矩形領域の全画素を読み出す。また、間引き全画角読み出し処理では、例えば図２の（Ｂ２）に示すように間引き読み出しを行い、有効画像領域ＡＲから総画素数の（１／２）を読み出す。イメージセンサ１１１は、水平方向に隣接して配置された同色フォトセンサの出力信号を加算して出力することにより、画素間引きの処理を実行する。またイメージセンサ１１１は、垂直方向に隣接して配置された同色フォトセンサの出力信号を加算して出力することにより、ライン間引きの処理を実行する。このような全画素部分読み出し処理と間引き全画角読み出し処理を行うものとすると、フレームレートが基準フレームレートの２倍とされても、基準フレーム期間でイメージセンサ１１１から出力される画像信号の信号量を標準撮像モードと等しくすることができる。

フレームレートが標準撮像モードの基準フレームレートに対して３倍とされたとき、全画素部分読み出し処理では、例えば図２の（Ｃ１）に示すように、有効画像領域ＡＲの１／３の面積である矩形領域から矩形領域の全画素を読み出す。また、間引き全画角読み出し処理では、例えば図２の（Ｃ２）に示すように間引き読み出しを行い、有効画像領域ＡＲから総画素数の１／３を読み出す。さらに、フレームレートが標準撮像モードの基準フレームレートに対して４倍とされたとき、全画素部分読み出し処理では、例えば図２の（Ｄ１）に示すように、有効画像領域ＡＲの１／４の面積である矩形領域から矩形領域の全画素を読み出す。また、間引き全画角読み出し処理では、例えば図２の（Ｄ２）に示すように間引き読み出しを行い、有効画像領域ＡＲから総画素数の１／４を読み出す。このような全画素部分読み出し処理と間引き全画角読み出し処理を行うものとすると、フレームレートが基準フレームレートの３倍又は４倍とされても、画像信号の信号量を標準撮像モードと等しくすることができる。

なお、イメージセンサ１１１は、間引き全画角読み出し処理おける間引きパターンをフレーム毎に切り換えるものとすれば、同じ画素位置の画素が常に間引かれてしまうことを防止できる。

また、イメージセンサ１１１は、制御部６１によって制御されて、撮像装置１０が高速度撮像モードである場合、標準撮像モードの基準フレーム期間で出力信号を区切って見た場合において、基準フレーム期間内の先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号を出力する。また、イメージセンサ１１１は、この基準フレーム期間内の先頭フレーム以外のフレーム期間で、全画素部分読み出し処理を行うことにより得られた画像信号を出力する。

ＡＦＥ（Analog Front End）１１２は、イメージセンサ１１１から出力される画像信号をＡＧＣ（Automatic Gain Control）処理し、画像信号の利得を制御する。ＡＤＣ（Analog-Digital Converter）１１３は、ＡＦＥ１１２で処理されたアナログの画像信号をディジタルの画像信号ＤＶ1に変換する。

カメラ信号処理部１２は、制御部６１によって制御されて、撮像部１１で生成された画像信号を用いてモニタ表示を行うとき、撮像部１１から出力される画像信号ＤＶ1をカメラ信号処理して、モニタ画像信号ＤＶ2として表示処理部２１に出力する。また、カメラ信号処理部１２は、モニタ画像信号ＤＶ2を表示処理部２１に供給している状態で画像信号の記録を指示するユーザ操作が行われたとき、カメラ信号処理した画像信号ＤＶ3を画像圧縮伸長部３１に出力する。さらに、カメラ信号処理部１２は、記録された撮像画像の再生動作が行われたとき、画像圧縮伸長部３１から供給された画像信号ＤＶ4をカメラ信号処理して、再生画像信号ＤＶ5として表示処理部２１に出力する。このカメラ信号処理部１２は、カメラ信号処理としてホワイトバランス調整処理、色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理等を行う。さらに、カメラ信号処理部１２は、間引き全画角読み出し処理によって生成された画像信号と全画素部分読み出し処理によって生成された画像信号を合成して再生画像信号ＤＶ5として出力する処理も行う。

図３は、カメラ信号処理部１２の構成を示すブロック図である。カメラ信号処理部１２のレベル補正部１２１は、撮像部１１から供給された画像信号ＤＶ1に対して、赤色、緑色、青色の色信号毎に信号レベルを補正する。レベル補正部１２１は、この信号レベルの補正により、クランプ、オフセット、ディファレンシャルゲイン等を設定し、シェーディング補正、フリッカ補正等の処理を実行する。

画素補正部１２２は、レベル補正部１２１で処理された画像信号に対して、混色補正、画素欠陥補正等の画素値補正処理を行う。

ゲイン調整部１２３は、画素補正部１２２で処理された画像信号に対して、イメージセンサ１１１におけるフレームレートの切り換えにより生じた信号レベルの変化を補正する。すなわち、フレームレートを高くすると、イメージセンサ１１１おける電荷蓄積時間が短くなり信号レベルが低下する。したがって、ゲイン調整部１２３は、フレームレートの切り換えを行っても、切り換え前後で信号レベルが等しくなるように信号レベルを補正する。

画素補間部１２４は、間引き全画角読み出し処理で生成された画像信号に対してのみ画素補間を行い、間引きされた画素が補間された画像信号をセレクタ１２５に供給する。画素補間処理では、例えば隣接画素の相関を利用したフィルタリング処理により、間引きした画素のデータを生成する。全画素部分読み出し処理で生成された画像信号は、間引きが行われていないので画素補間を行うことなくセレクタ１２５に供給する。このように、間引き全画角読み出し処理で生成された画像信号に対してのみ画素補間を行うものとすると、間引き全画角読み出し処理が基準フレーム期間内の先頭フレームで行われていることから、基準フレーム期間内の先頭フレームの画像信号によって表示される画像は、標準撮像モードで撮像した画像に比べて等しい解像度であって画質の低下している画像となる。

セレクタ１２５は、撮像部１１で生成された画像信号を用いてモニタ表示を行うとき、画素補間部１２４から供給された画像信号を色補正部１２６、輪郭補正部１２７に供給する。また、セレクタ１２５は、撮像画像を記録メディア４２に記録するとき、画素補間部１２４から供給された画像信号を図１の画像圧縮伸長部３１に出力する。また、セレクタ１２５は、記録された撮像画像の再生動作が行われたとき、画像圧縮伸長部３１から供給された画像信号ＤＶ4を色補正部１２６と輪郭補正部１２７に供給する。

色補正部１２６は、セレクタ１２５を介して供給された画像信号から低域成分を分離し、この低域成分をリニアマトリクス処理等して色補正する。

輪郭補正部１２７は、セレクタ１２５を介して供給された画像信号から、高域成分を分離し、この高域成分から輪郭補正データを生成する。

ガンマ／ニー処理部１２８は、輪郭補正部１２７で生成された輪郭補正データと、色補正部１２６で処理された画像信号とを合成して、合成後の画像信号に対してガンマ補正、ニー処理等を実行する。

色空間変換部１２９は、ガンマ／ニー処理部１２８で処理された画像信号を、輝度信号、色差信号の画像信号に変換する。

解像度変換／画像合成部１３０は、撮像部１１で生成された画像信号を用いてモニタ表示を行う場合、標準撮像モードが選択されているとき、色空間変換部１２９で生成された輝度信号及び色差信号の画像信号をモニタ画像信号ＤＶ2として表示処理部２１や外部機器(図示せず)に出力する。

また、解像度変換／画像合成部１３０は、高速度撮像モードが選択とされているときにモニタ表示を行う場合、間引き全画角読み出し処理を行うことにより得られた画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出して、モニタ画像信号ＤＶ2として表示処理部２１等に出力する。また、解像度変換／画像合成部１３０は、高速度撮像モードで記録された撮像画像の再生動作を行う場合、全画素部分読み出し処理を行うことにより得られた画像信号又は間引き全画角読み出し処理を行うことにより得られた画像信号の少なくとも一方をフレームメモリ５１に記憶して、フレームメモリ５１に記憶されている画像信号と他方の画像信号を合成して、合成後の画像信号を再生画像信号ＤＶ5として表示処理部２１や外部機器(図示せず)に出力する。

なお、解像度変換／画像合成部１３０は、表示処理部２１に出力するモニタ画像信号ＤＶ2や再生画像信号ＤＶ5については、表示部２２における表示に適した解像度に変換して出力する。また、フレームメモリ５１は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成する。

図４は、解像度変換／画像合成部１３０において、画像合成を行う画像合成部１３０Ａの構成を示すブロック図である。画像合成部１３０Ａは、全画素部分読み出し処理の画像信号ＤＡを乗算回路１３１に供給し、間引き全画角読み出し処理の画像信号ＤＢを乗算回路１３２に供給する。乗算回路１３１は、画像信号ＤＡに利得Ｇを乗算して、乗算結果Ｇ×ＤＡを加算器１３３に供給する。乗算回路１３２は、画像信号ＤＢに利得（１−Ｇ）を乗算して、乗算結果（１−Ｇ）×ＤＢを加算器１３３に供給する。加算器１３３は、２つの乗算結果Ｇ×ＤＡ，（１−Ｇ）×ＤＢを加算して、加算結果を再生画像信号ＤＶ5として出力する。

また、利得Ｇは、図５の（Ａ）に示す水平方向の座標値に対する利得ｘ-ｇａｉｎと、図５の（Ｂ）に示す垂直方向の座標値に対する利得ｙ-ｇａｉｎとの乗算値である。ここで、全画素部分読み出しの撮像画像における水平方向の境界を座標ｘ1，ｘ2、垂直方向の境界を座標ｙ1，ｙ2とする。なお、図６は、撮像画像と境界の座標の関係を示しており、図６の（Ａ）は、全画素部分読み出しの撮像画像と境界の座標の関係、図６の（Ｂ）は、間引き全画角読み出しの撮像画像と境界の座標の関係を例示したものである。

図５の（Ａ）（Ｂ）に示すように、全画素部分読み出しの撮像画像の境界を示す座標ｘ1，ｘ2から全画素部分読み出しの撮像画像の内側方向に境界領域ｄｘ、座標ｙ1，ｙ2から全画素部分読み出しの撮像画像の内側方向に境界領域ｄｙを設ける。さらに、座標ｘ1，ｘ2，ｙ1，ｙ2では利得を「０」として、座標ｘ1，ｘ2から境界領域ｄｘ、座標ｙ1，ｙ2から境界領域ｄｙまで移動する伴い利得が「０」から「１」に順次増加するように利得Ｇを設定する。このようにすれば、画像合成部１３０Ａは、全画素部分読み出しの撮像画像によって画素補間が行われた間引き全画角読み出し処理の撮像画像を置き換えて画質の低下を防止できる。また、画像合成部１３０Ａは、全画素部分読み出し処理の撮像画像と画素補間が行われた間引き全画角読み出し処理の撮像画像との境界を目立たなくすることができる。

表示処理部２１には表示部２２が接続されている。また、表示部２２は例えばＬＣＤ（Liquid Crystal Display）等を用いて構成されている。表示処理部２１は、カメラ信号処理部１２から供給されたモニタ画像信号ＤＶ2や再生画像信号ＤＶ5に基づき表示駆動信号を生成して、この表示駆動信号で表示部２２を駆動することで、表示部２２の画面上にモニタ画像や再生画像を表示する。

画像圧縮伸長部３１は、撮像画像を記録メディア４２に記録するとき、カメラ信号処理部１２から供給された画像信号ＤＶ3のデータ圧縮を行い、得られた符号化データＤＷを記録再生処理部４１に供給する。また、画像圧縮伸長部３１は、記録再生処理部４１から供給された符号化データＤＲの復号化処理を行い、得られた画像信号ＤＶ4をカメラ信号処理部１２に供給する。

画像圧縮伸長部３１は、全画素全画角読み出し処理の画像信号や、画素補間が行われている間引き全画角読み出し処理の画像信号をデータ圧縮する場合、予測符号化を用いた符合化方式例えばＭＰＥＧ（Moving Picture Experts Group）等の動画像の符号化方式で圧縮処理を行い、動画像の符号化データのストリームを生成する。これに対して全画素部分読み出し処理の画像信号をデータ圧縮する場合、画像圧縮伸長部３１は、予測符号化を用いていない符合化方式例えばＪＰＥＧ（Joint Photographic Experts Group）等の静止画像の符号化方式でデータ圧縮処理し、フレーム毎に静止画像の符号化データを生成する。

また、画像圧縮伸長部３１は、動画像の符号化方式で符号化処理するフレーム間で、順次マクロブロック毎に動きベクトルＭＶを検出して制御部６１に通知する。なお画像圧縮伸長部３１は、ＭＰＥＧにより符号化処理する場合には、この符号化処理の際に検出される動きベクトルＭＶを利用し、フレーム内符号化処理するフレームのみ、別途、動きベクトルＭＶを検出する。

図７は、画像圧縮伸長部３１の構成を示すブロック図である。カメラ信号処理部１２から供給された画像信号ＤＶ3は、画像圧縮伸長部３１のＭＶ検出器３１１と予測減算器３１５に供給される。ＭＶ検出器３１１は、カメラ信号処理部１２から供給された画像信号ＤＶ3を用いて、動画像の符号化データを生成する連続するフレーム間で、順次動きベクトルＭＶを検出する。ＭＶ検出器３１１は、この検出した動きベクトルＭＶを動き補償器３１２とＭＶ符号化器３１９及び制御部６１に通知する。

動き補償器３１２は、動画像の符号化時、ＭＶ検出器３１１で検出された動きベクトルＭＶを用いて、画像メモリ３１３に格納した画像信号を動き補償し、符号化用の予測値を生成する。また動き補償器３１２は、動画像の復号時、ＭＶ復号器３１４で復号された動きベクトルＭＶを用いて、同様に復号用の予測値を生成する。

予測減算器３１５は、動画像の符号化時、カメラ信号処理部１２から供給された画像信号ＤＶ3から、動き補償器３１２で生成された符号化用の予測値を減算して、減算結果である予測誤差値をＤＣＴ３１６に供給する。また予測減算器３１５は、静止画像の符号化時、カメラ信号処理部１２から入力される画像信号ＤＶ3を何ら処理することなくＤＣＴ３１６に供給する。

ＤＣＴ３１６は、予測減算器３１５の出力データを２次元離散コサイン変換し、その処理結果である係数データを量子化器３１７に供給する。量子化器３１７は、ＤＣＴ３１６から供給された係数データの量子化処理を行い、得られた量子化データを可変長符号化器３１８と逆量子化器３２１に供給する。

可変長符号化器３１８は、量子化器３１７から供給された量子化データを可変長符号化処理する。ＭＶ符号化器３１９は、ＭＶ検出器３１１で得られた動きベクトルＭＶを符号化処理する。多重化器３２０は、可変長符号化器３１８で可変長符号化処理を行うことにより得られたデータと、ＭＶ符号化器３１９で符号化処理を行うことにより得られたデータとを多重化処理して符号化データＤＷとして記録再生処理部４１に供給する。

逆量子化器３２１は、符号化時、量子化器３１７から供給された量子化データの逆量子化処理を行い、得られた係数データを逆ＤＣＴ３２３に供給する。また復号時、可変長復号器３２２で得られたデータの逆量子化処理を行い、得られた係数データを逆ＤＣＴ３２３に供給する。

逆ＤＣＴ３２３は、ＤＣＴ３１６とは逆に、逆量子化器３２１から供給された係数データの逆２次元離散コサイン変換を行い、得られた画像信号を加算器３２４に供給する。

加算器３２４は、逆ＤＣＴ３２３から供給された画像信号に、動き補償器３１２から供給された符号化用又は復号用の予測値を加算して、加算結果を画像信号ＤＶ4としてカメラ信号処理部１２や画像メモリ３１３に供給する。

したがって、この画像圧縮伸長部３１では、全画像全画角読み出しの画像信号、間引き全画角読み出しの画像信号は、それまでに符号化処理した画像信号から逆量子化器３２１、逆ＤＣＴ３２３、加算器３２４、画像メモリ３１３、動き補償器３１２で予測値が生成され、この予測値との予測誤差値が順次ＤＣＴ３１６、量子化器３１７、可変長符号化器３１８で処理されて動画像の符号化データに符号化処理される。また全画素部分読み出しの画像信号は、直接、ＤＣＴ３１６に入力され、ＤＣＴ３１６、量子化器３１７、可変長符号化器３１８で処理されて静止画像の符号化データに符号化処理される。

多重分離器３２６は、復号時、記録再生処理部４１から供給された符号化データＤＲを係数データの部分と、動きベクトルＭＶの部分とに分離して、係数データの部分を可変長復号器３２２、動きベクトルＭＶの部分をＭＶ復号器３１４に供給する。ＭＶ復号器３１４は、多重分離器３２６から供給されたデータの復号化処理を行い、得られた動きベクトルを動き補償器３１２に供給する。可変長復号器３２２は、多重分離器３２６から供給されたデータの復号化処理を行い、得られた係数データを逆量子化器３２１に供給する。

図１の記録再生処理部４１は、制御部６１の制御により動作を切り換えて、画像圧縮伸長部３１から供給された符号化データＤＷを記録メディア４２に記録する処理、また記録メディア４２から所望の符号化データＤＲを読み出して画像圧縮伸長部３１に供給する処理を行う。記録メディア４２は、例えばハードディスク装置、光ディスク装置、メモリカード等の大容量の各種記録媒体である。

記録再生処理部４１は、符号化データＤＷを記録メディア４２に記録するとき、動画像の符号化方式でデータ圧縮処理した符号化データを単独で読み出したり、動画像に対応する静止画像の符号化データと共に順次時系列で読み出すことができるように記録メディア４２に記録する。例えば、記録再生処理部４１は、動画像の符号化方式としてＭＰＥＧ方式を用いる場合、符号化データは階層構造とされている。なお、図８は、動画像の符号化データを説明するためのものであり、階層構造の一部を示している。

図８の（Ａ）に示すシーケンス層は、１以上のＧＯＰにシーケンスヘッダとシーケンスエンドを付加して構成されている。図８の（Ｂ）に示すＧＯＰ層は、１以上のピクチャにＧＯＰヘッダを付加して構成されている。図８の（Ｃ）に示すピクチャ層は、１以上のスライスにピクチャヘッダを付加して構成されている。

ピクチャ層のピクチャヘッダは、ピクチャ層の開始同期コードやピクチャの表示順を示す番号、ピクチャタイプを示す情報や符号化条件等が示されている。また、図８の（Ｄ）に示すように、ユーザデータ領域が設けられており、ピクチャレベルでユーザデータを設定することができるようになされている。このため、記録再生処理部４１は、ユーザデータ領域に、図８の（Ｅ）に示す高速度撮像モードのフレームレートや対応する静止画像の記録位置を示すポインタ情報を挿入して記録メディア４２に記録する。例えば、高速度撮像モードのフレームレートが基準フレームレートの２倍であるとき、記録再生処理部４１は、間引き全画角読み出し処理の画像信号の符号化データを示すピクチャのピクチャヘッダに、ポインタ情報として、基準フレーム期間内の先頭フレーム以外のフレーム期間で生成された全画素部分読み出し処理の画像信号を静止画像の画像信号として符号化した符号化データの記録位置を挿入する。

このように動画像の符号化データに、対応する静止画像の記録位置を示す情報を挿入すれば、記録再生処理部４１は、動画像の符号化データを単独で読み出したり、動画像に対応する静止画像の符号化データを動画像の符号化データと共に順次時系列で読み出すことができる。

制御部６１は、撮像装置１０全体の動作を制御するものであり、ＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラである。制御部６１は、図示しないメモリに記録されたプログラムを実行し、この撮像装置１０の各部の動作を制御する。プログラムは、この撮像装置１０に事前にインストールされて提供されるものの、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供してもよい。なお、制御部６１は、画像圧縮伸長部３１等で行う処理をソフトウェアで行うものとしてもよい。

制御部６１は、撮像部１１で生成された画像信号を順次カメラ信号処理部１２や表示処理部２１で処理させて、表示部２２の画面上にモニタ画像を表示させる。また、この状態でユーザが画像信号の記録を指示したとき、制御部６１は、カメラ信号処理部１２から画像圧縮伸長部３１に画像信号ＤＶ3を供給してデータ圧縮処理を行い、得られた符号化データＤＷを記録メディア４２に記録させる。またユーザが記録メディア４２の再生を指示したとき、制御部６１は、記録再生処理部４１によって記録メディア４２から所望の符号化データＤＲを読みして画像圧縮伸長部３１に供給させる。また、制御部６１は、画像圧縮伸長部３１でデータ伸長処理を行うことにより得られた画像信号ＤＶ4をカメラ信号処理部１２や表示処理部２１で処理させて、表示部２２の画面上に再生画像を表示させる。

さらに、制御部６１は、画像圧縮伸長部３１でマクロブロック毎に検出される動きベクトルＭＶを１フレーム毎に集計し、その集計結果に基づいて、被写体の動きを表していると判断される動きベクトルを求め、この動きベクトルにより全画素部分読み出しでイメージセンサ１１１から読み出す矩形領域の位置を変化させる。具体的には、制御部６１は、動く被写体が矩形領域に収まるように位置を変化させる。なおこの動きベクトルの集計方法は、動きベクトルの度数分布を検出して最も分布の大きな動きベクトルを検出する方法、物体追跡の手法を適用して連続した動きを呈する部位の動きベクトルを検出する方法等、種々の集計方法を広く適用することができる。

ところで、上述の実施の形態では、撮像装置１０に、撮像部１１やカメラ信号処理部１２、画像圧縮伸長部３１、記録再生処理部４１等を一体に設けるものとしたが、撮像部１１や表示処理部２１、表示部２２を別個に設けて、画像信号の記録装置や再生装置を構成するものとしてもよい。さらに、カメラ信号処理部１２を別個に設けて、画像信号の記録を行う記録装置を構成するものとしてもよい。

図９は、記録装置７０の構成を示すブロック図である。なお、図９において、図１や図３と対応する部分については同一符号を付している。

記録装置７０は、画像信号の圧縮処理を行い符号化データを生成するための画像圧縮伸長部３１、記録メディア４２に対して符号化データＤＷを書き込むための記録再生処理部４１、各部の動作を制御する制御部６１を有している。

この記録装置７０において、画像圧縮伸長部３１は、イメージセンサ１１１で、有効画像領域の画素に対して間引き読み出しを行い画像信号を生成する間引き全画角読み出し処理と、有効画像領域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行うことで生成された撮像画像の画像信号に対して圧縮処理を行い符号化データＤＷを生成する。ここで、画像圧縮伸長部３１は、間引き全画角読み出し処理を行って得られた画像信号を、予測符号化を用いた符合化方式で圧縮処理し、全画素部分読み出し処理を行って得られた画像信号を、予測符号化を用いていない符合化方式で圧縮処理する。

また、画像圧縮伸長部３１は、予測符号化を用いた符号化方式で間引きパターンが異なる画像信号を圧縮処理すると、効率よく圧縮処理を行うことができない。したがって、撮像部１１から出力された画像信号ＤＶ1を記録する場合、記録装置７０には、画素補間部１２４を設けるものとして、間引きされた画素を補間してから画像圧縮伸長部３１に供給することで、効率よく圧縮処理を行えるようにする。

記録再生処理部４１は、画像圧縮伸長部３１で生成された符号化データＤＷを記録メディア４２に書き込む処理を行う。

なお、図９に示す記録装置７０は、図１のように、色補正や輪郭補正及びガンマ／ニー処理等が行われる前の画像信号を記録する場合の構成を示しているが、色補正や輪郭補正及びガンマ／ニー処理等が行われた画像信号を記録するものとしてもよい。さらに、送信部を設けるものとして、画像圧縮伸長部３１で生成された符号化データＤＷを通信信号として送信するものとしてもよい。

図１０は、再生装置８０の構成を示すブロック図である。なお、図１０において、図１や図３と対応する部分については同一符号を付している。

再生装置８０は、記録メディア４２から符号化データＤＲを読み出すための記録再生処理部４１、読み出された符号化データを伸長処理するための画像圧縮伸長部３１、画像圧縮伸長部３１で伸長処理を行うことに得られた画像信号を処理して再生画像信号ＤＶ5を生成するデータ処理部１５、及びフレームメモリ５１、各部の動作を制御する制御部６１を有している。また、データ処理部１５は、色補正部１２６、輪郭補正部１２７、ガンマ／ニー処理部１２８、色空間変換部１２９、解像度変換／画像合成部１３０で構成されている。

この再生装置８０において、記録再生処理部４１は、記録メディア４２、すなわち、イメージセンサ１１１で、有効画像領域の画素に対して間引き読み出しを行い画像信号を生成する間引き全画角読み出し処理と、有効画像領域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行い、間引き全画角読み出し処理を行って得られた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符号化データとして記録され、全画素部分読み出し処理を行って得られた画像信号が、予測符号化を用いていない符合化方式で圧縮処理されて符号化データとして記録された記録メディアから、符号化データを読み出す処理を行う。

画像圧縮伸長部３１は、記録再生処理部４１によって読み出された符号化データを伸長して画像信号を生成する。

データ処理部１５の解像度変換／画像合成部１３０は、画像圧縮伸長部３１で生成された画像信号を用いて、間引き全画角読み出し処理の画素補間が行われた画像信号と全画素部分読み出し処理を行って得られた画像信号を合成する。また、記録再生処理部４１は、記録メディア４２から、予測符号化を用いていない符合化方式で圧縮処理された符号化データを読み出すことなく、予測符号化を用いた符合化方式で圧縮処理された符号化データを読み出し、画像圧縮伸長部は、符号化データを伸長して、基準単位期間毎の画像信号として出力する。

なお、図１０に示す再生装置８０は、色補正や輪郭補正及びガンマ／ニー処理等が行われる前の画像信号が記録された記録メディアを用いる場合の構成を示しているが、色補正や輪郭補正及びガンマ／ニー処理等が行われた画像信号が記録された記録メディアを用いるものとしてもよい。この場合は、画像圧縮伸長部３１で伸長処理を行うことにより得られた画像信号を解像度変換／画像合成部１３０に供給する。さらに、受信部を設けて、受信部で受信した符号化データを画像圧縮伸長部３１で伸長処理するものとしてもよい。

次に、画像信号の生成動作及び画像信号の記録再生動作について説明する。ユーザによって動作モードが標準撮像モードに設定された場合、制御部６１は、イメージセンサ１１１の撮像面の有効画像領域ＡＲから例えば６０〔ｆｐｓ〕で全画素全画角の撮像画像を取得するように撮像部１１の動作を制御する。また、制御部６１は、６０〔ｆｐｓ〕の撮像画像を表示部２２で表示するように、カメラ信号処理部１２、表示処理部２１の動作を制御する。また、標準撮像モードで撮像動作を行うことにより得られた画像信号を記録メディアに記録する場合、制御部６１は、カメラ信号処理部１２から画像信号ＤＶ3を画像圧縮伸長部３１に供給させて、データ圧縮処理を行うことにより得られた符号化データＤＷを記録再生処理部４１によって記録メディア４２に記録させる。また、記録した画像信号を再生するユーザ操作が行われたとき、制御部６１は、記録メディア４２から所望の撮像画像を示す符号化データＤＲを記録再生処理部４１で読み出して画像圧縮伸長部３１に供給させる。また、制御部６１は、画像圧縮伸長部３１で符号化データＤＲのデータ伸長処理を行って得られた画像信号ＤＶ4をカメラ信号処理部１２に供給させて、再生画像を表示部２２に表示又は外部機器に出力させる。

次に、ユーザによって動作モードが標準撮像モードから高速度撮像モードに切り換えられた場合の動作について説明する。図１１は、高速度撮像モードのフレームレートを標準撮像モードのフレームレートである基準フレームレートの２倍としたときの動作を示している。

図１１の（Ａ）は、基準フレーム期間のタイミング信号である基準垂直同期信号ＶＤＢを示している。また、図１１の（Ｂ）は、撮像装置１０の動作モードを示している。ユーザによって動作モードが標準撮像モードから高速度撮像モードに切り換えられたとき、制御部６１は、基準垂直同期信号ＶＤＢに同期したタイミングで、撮像部１１やカメラ信号処理部１２、画像圧縮伸長部３１や記録再生処理部４１等の動作を標準撮像モードから高速度撮像モードに切り換える。なお、図１１の（Ｃ）は、高速度撮像モードのフレーム期間のタイミング信号である垂直同期信号ＶＤを示している。

撮像部１１は、高速度撮像モードである場合、上述のように基準フレーム期間内の先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の出力を行い、先頭フレーム以外のフレーム期間では、全画素部分読み出し処理を行うことにより得られた画像信号の出力を行う。

したがって、撮像部１１から出力される画像信号ＤＶ1は、図１１の（Ｄ）に示すように、基準フレーム期間内の先頭フレームは、間引き全画角読み出し処理を行って得られた画像信号（斜線で示す）、基準フレーム期間内の先頭フレーム以外のフレーム期間では、全画素部分読み出し処理を行って得られた画像信号（太線の枠で示す）となる。

ここで、モニタ表示を行う場合、カメラ信号処理部１２の解像度変換／画像合成部１３０は、上述のように、間引き全画角読み出し処理の画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出す。図１１の（Ｅ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１１の（Ｆ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。このように、解像度変換／画像合成部１３０は、フレームメモリ５１から基準フレーム期間で読み出した間引き全画角読み出し処理の画像信号を、図１１の（Ｇ）に示すモニタ画像信号ＤＶ2として表示処理部２１等に出力することで、標準撮像モードと等しいフレームレートで撮像画像を表示することができる。

また、ユーザによって記録の指示が行われたとき、制御部６１は、図１１の（Ｄ）に示す画像信号ＤＶ1の画素補間および符号化処理等を行わせて、符号化データを記録メディア４２に記録させる。

次に、記録メディア４２に記録された撮像画像の再生動作について図１２を用いて説明する。図１２の（Ａ）は、記録メディア４２に符号化して記録されている撮像画像のフレームＰＷを示している。高速度撮像モードのフレームレートが基準フレームレートの２倍であるとき、記録されている撮像画像を基準フレームレートで再生すると、出力される画像信号ＤＶ5は、被写体の動きが１／２倍の速度とされたスロー再生画像の画像信号となる。したがって、制御部６１は、記録されている画像を間欠的に用いることで、被写体の動きが１倍の速度とされた再生画像信号ＤＶ5を生成させる。

なお、図１２の（Ｂ）は、基準フレーム期間のタイミング信号である基準垂直同期信号ＶＤＢ、図１２の（Ｃ）は、撮像画像を記録したときの撮像装置１０の動作モード、図１２の（Ｄ）は、垂直同期信号ＶＤを示している。

高速度撮像モードで撮像動作を行ったとき、基準フレーム期間内の先頭フレームが間引き全画角読み出し処理の画像信号となっている。したがって、制御部６１は、間引き全画角読み出し処理の画像信号を符号化した符号化データ、すなわち動画像の符号化データを記録メディア４２から読み出して復号化処理を行い、垂直同期信号ＶＤに同期した画像信号ＤＶ4を生成させる。このとき、カメラ信号処理部１２から出力される再生画像信号ＤＶ5は、図１２の（Ｅ）に示すように、被写体の動きが１倍の速度である画像信号となる。

また、画像圧縮伸長部３１で符号化データの復号化処理を符号化処理と同等の速度で行うことができる場合であって、フレームメモリ５１では複数フレームの画像信号を記憶できるとき、制御部６１は、間引き全画角読み出し処理の画像信号に全画素部分読み出し処理の画像信号を合成させて、被写体の動きが１倍の速度である再生画像信号ＤＶ5を生成するようにしてもよい。

この場合、制御部６１は、記録メディア４２から符号化データを読み出して復号化処理を行い、図１２の（Ｆ）に示すように、撮像時のフレーム順の画像信号ＤＶ4を生成させる。

ここで、カメラ信号処理部１２の解像度変換／画像合成部１３０では、間引き全画角読み出し処理の画像信号と画素部分読み出し処理の画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出して合成する。また、フレームメモリ５１には、書き込まれた画像信号を基準フレーム期間で読み出して合成しているときに読み出された、間引き全画角読み出し処理の画像信号と画素部分読み出し処理の画像信号を書き込むものとする。図１２の（Ｇ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１２の（Ｈ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。また、図１２の（Ｉ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「４」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「５」の画像信号を合成したフレーム「４＋５」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが１倍速であり、全画部分読み出しの画像信号によって画質の低下を改善した撮像画像の画像信号を出力することができる。

図１３は、記録されている撮像画像を撮像時のフレーム順に用いることで、被写体の動きが１／２倍の速度である再生画像信号ＤＶ5を生成する場合を示している。なお、図１３の（Ａ）〜（Ｄ）は、図１２の（Ａ）〜（Ｄ）に相当する。

この場合、制御部６１は、記録メディア４２から符号化データを順次読み出して復号化処理を行い基準フレームレートの画像信号ＤＶ4を生成させる。なお、図１３の（Ｅ）は、画像信号ＤＶ4を示している。

カメラ信号処理部１２の解像度変換／画像合成部１３０では、間引き全画角読み出し処理の画像信号、又は全画素部分読み出し処理の画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出す。図１３の（Ｆ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１３の（Ｇ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。

さらに、解像度変換／画像合成部１３０は、フレームメモリ５１から読み出した間引き全画角読み出し処理の画像信号とフレームメモリ５１に書き込まれる全画素部分読み出し処理の画像信号、又はフレームメモリ５１から読み出した全画素部分読み出し処理の画像信号とフレームメモリ５１に書き込まれる間引き全画角読み出し処理の画像信号を合成する。図１３の（Ｈ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、解像度変換／画像合成部１３０は、全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号と間引き全画角読み出し処理の画像信号であるフレーム「４」の画像信号を合成したフレーム「３＋４」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが１／２倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下を防止した再生画像の画像信号を出力することができる。また、フレームメモリ５１には、１フレームの画像信号を記憶するだけでよい。

次に、高速度撮像モードのフレームレートを標準撮像モードの３倍としたときの動作について説明する。

図１４の（Ａ）は基準垂直同期信号ＶＤＢ、図１４の（Ｂ）は撮像装置１０の動作モード、図１４の（Ｃ）は、高速度撮像モードのフレーム期間のタイミング信号である垂直同期信号ＶＤを示している。

撮像部１１は、高速度撮像モードである場合、上述のように基準フレーム期間内の先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の出力を行い、先頭フレーム以外の２フレーム期間では、全画素部分読み出し処理を行うことにより得られた画像信号の出力を行う。

したがって、撮像部１１から出力される画像信号ＤＶ1は、図１４の（Ｄ）に示すように、基準フレーム期間内の先頭フレームは、間引き全画角読み出し処理を行って得られた画像信号（斜線で示す）、基準フレーム期間内の先頭フレーム以外の２フレーム期間では、全画素部分読み出し処理を行って得られた画像信号（太線の枠で示す）となる。

ここで、モニタ表示を行う場合、カメラ信号処理部１２の解像度変換／画像合成部１３０では、上述のように、間引き全画角読み出し処理の画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号が基準フレーム期間で読み出される。図１４の（Ｅ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１４の（Ｆ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。このように、解像度変換／画像合成部１３０は、フレームメモリ５１から基準フレーム期間で読み出した間引き全画角読み出し処理の画像信号を、図１４の（Ｇ）に示すモニタ画像信号ＤＶ2として表示処理部２１等に出力することで、標準撮像モードと等しいフレームレートで撮像画像を表示することができる。

また、ユーザによって記録の指示が行われたとき、制御部６１は、図１４の（Ｄ）に示す画像信号ＤＶ1の画素補間および符号化処理等を行わせて、符号化データを記録メディア４２に記録させる。

次に、記録メディア４２に記録された撮像画像の再生動作について図１５を用いて説明する。図１５の（Ａ）は記録メディア４２に符号化して記録されている撮像画像のフレームＰＷを示している。高速度撮像モードのフレームレートが基準フレームレートの３倍であるとき、記録されている撮像画像を基準フレームレートで再生すると、出力される画像信号ＤＶ5は、被写体の動きが１／３倍の速度とされたスロー再生画像の画像信号となる。したがって、制御部６１は、記録されている画像を間欠的に用いることで、被写体の動きが１倍の速度とされた再生画像信号ＤＶ5を生成させる。

なお、図１５の（Ｂ）は、基準フレーム期間のタイミング信号である基準垂直同期信号ＶＤＢ、図１５の（Ｃ）は、撮像画像を記録したときの撮像装置１０の動作モード、図１５の（Ｄ）は、垂直同期信号ＶＤを示している。

高速度撮像モードで撮像動作を行ったとき、基準フレーム期間内の先頭フレームが間引き全画角読み出し処理の画像信号を示すものとなっている。したがって、制御部６１は、間引き全画角読み出し処理の画像信号を符号化した符号化データ、すなわち動画像の符号化データを記録メディア４２から読み出して復号化処理を行い、垂直同期信号ＶＤに同期した画像信号ＤＶ4を生成させる。このとき、カメラ信号処理部１２から出力される再生画像信号ＤＶ5は、図１５の（Ｅ）に示すように、被写体の動きが１倍の速度である画像信号となる。

また、画像圧縮伸長部３１で符号化データの復号化処理を符号化処理と同等の速度で行うことができる場合であって、フレームメモリ５１では複数フレームの画像信号を記憶できるとき、制御部６１は、間引き全画角読み出し処理の画像信号に全画素部分読み出し処理の画像信号を合成させて、被写体の動きが１倍の速度である再生画像信号ＤＶ5を生成するようにしてもよい。

この場合、制御部６１は、記録メディア４２から符号化データを読み出して復号化処理を行い、図１５の（Ｆ）に示すように、画像信号ＤＶ4を生成させる。

ここで、カメラ信号処理部１２の解像度変換／画像合成部１３０では、間引き全画角読み出し処理の画像信号と画素部分読み出し処理の画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出して合成する。また、フレームメモリ５１には、書き込まれた画像信号を基準フレーム期間で読み出して合成しているときに読み出された、間引き全画角読み出し処理の画像信号と画素部分読み出し処理の画像信号を書き込むものとする。図１５の（Ｇ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１５の（Ｈ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。また、図１５の（Ｉ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「５」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「６」の画像信号を合成したフレーム「５＋６」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが１倍速であり、全画素部分読み出しの画像信号によって画質の低下を改善した撮像画像を出力することができる。

また、制御部６１は、高速度撮像モードのフレームレートを標準撮像モードの３倍として記録された撮像画像を読み出して撮像時のフレーム順の画像信号ＤＶ4を生成して、間引き全画角読み出し処理の画像信号と全画素部分読み出し処理の画像信号を合成して出力すれば、被写体の動きが１／３倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下を防止した再生画像を表示させることができる。また、１／２倍の再生速度でスローモーション再生する場合、１／３倍のスローモーション再生と、１倍速の再生とを交互に切り換える等により対応することができる。

次に、高速度撮像モードのフレームレートを標準撮像モードの４倍としたときの動作について説明する。

図１６の（Ａ）は基準垂直同期信号ＶＤＢ、図１６の（Ｂ）は撮像装置１０の動作モード、図１６の（Ｃ）は、高速度撮像モードのフレーム期間のタイミング信号である垂直同期信号ＶＤを示している。

撮像部１１は、高速度撮像モードである場合、上述のように基準フレーム期間内の先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の出力を行い、先頭フレーム以外の２フレーム期間では、全画素部分読み出し処理を行うことにより得られた画像信号の出力を行う。

したがって、撮像部１１から出力される画像信号ＤＶ1は、図１６の（Ｄ）に示すように、基準フレーム期間内の先頭フレームは、間引き全画角読み出し処理を行って得られた画像信号（斜線で示す）、基準フレーム期間内の先頭フレーム以外の３フレーム期間では、全画素部分読み出し処理を行って得られた画像信号（太線の枠で示す）となる。

ここで、モニタ表示を行う場合、カメラ信号処理部１２の解像度変換／画像合成部１３０では、上述のように、間引き全画角読み出し処理の画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号が基準フレーム期間で読み出される。図１６の（Ｅ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１６の（Ｆ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。このように、解像度変換／画像合成部１３０は、フレームメモリ５１から基準フレーム期間で読み出した間引き全画角読み出し処理の画像信号を、図１６の（Ｇ）に示すモニタ画像信号ＤＶ2として表示処理部２１等に出力することで、標準撮像モードと等しいフレームレートで撮像画像を表示することができる。

また、ユーザによって記録の指示が行われたとき、制御部６１は、図１６の（Ｄ）に示す画像信号ＤＶ1の画素補間および符号化処理等を行わせて、符号化データを記録メディア４２に記録させる。

次に、記録メディア４２に記録された撮像画像の再生動作について図１７を用いて説明する。図１７の（Ａ）は記録メディア４２に符号化して記録されている撮像画像のフレームＰＷを示している。高速度撮像モードのフレームレートが基準フレームレートの４倍であるとき、記録されている撮像画像を基準フレームレートで再生すると、出力される画像信号ＤＶ5は、被写体の動きが１／４倍の速度とされたスロー再生画像となる。したがって、制御部６１は、記録されている画像を間欠的に用いることで、被写体の動きが１倍の速度とされた再生画像信号ＤＶ5を生成させる。

なお、図１７の（Ｂ）は、基準フレーム期間のタイミング信号である基準垂直同期信号ＶＤＢ、図１７の（Ｃ）は、撮像画像を記録したときの撮像装置１０の動作モード、図１７の（Ｄ）は、垂直同期信号ＶＤを示している。

高速度撮像モードで撮像動作を行ったとき、基準フレーム期間内の先頭フレームが間引き全画角読み出し処理の画像信号を示すものとなっている。したがって、制御部６１は、間引き全画角読み出し処理の画像信号を符号化した符号化データ、すなわち動画像の符号化データを記録メディア４２から読み出して復号化処理を行い、垂直同期信号ＶＤに同期した画像信号ＤＶ4を生成させる。このとき、カメラ信号処理部１２から出力される再生画像信号ＤＶ5は、図１７の（Ｅ）に示すように、被写体の動きが１倍の速度である再生画像の画像信号となる。

また、制御部６１は、フレームレートを基準フレームレートの２倍や３倍とした場合と同様に、間引き全画角読み出し処理の画像信号に全画素部分読み出し処理の画像信号を合成して、被写体の動きが１倍の速度である再生画像信号ＤＶ5を生成するものとしてもよい。図１７の（Ｆ）は、記録メディア４２から符号化データを読み出して復号化処理を行うことで得られた画像信号ＤＶ4を示している。また、図１７の（Ｇ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。

ここで、高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「６」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「７」の画像信号を合成したフレーム「６＋７」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが１倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下を防止した再生画像を出力することができる。

図１８は、被写体の動きが１／２倍の速度である再生画像信号ＤＶ5を生成する場合を示している。なお、図１８の（Ａ）〜（Ｄ）は、図１７の（Ａ）〜（Ｄ）に相当する。

この場合、高速度撮像モードで記録された撮像画像の再生期間において、制御部６１は、記録メディア４２から符号化データを読み出して復号化処理を行い１フレームおきの画像信号ＤＶ4を生成させる。なお、図１８の（Ｅ）は、復号化処理して得られた画像信号ＤＶ4を示している。

カメラ信号処理部１２の解像度変換／画像合成部１３０では、間引き全画角読み出し処理を行うことにより得られた画像信号、又は全画素部分読み出し処理を行うことにより得られた画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出す。図１８の（Ｆ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１８の（Ｇ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。

さらに、解像度変換／画像合成部１３０は、フレームメモリ５１から読み出した間引き全画角読み出し処理を行うことにより得られた画像信号と、フレームメモリ５１に書き込まれる全画素部分読み出し処理の画像信号を合成する。又は、フレームメモリ５１から読み出した全画素部分読み出し処理の画像信号と、フレームメモリ５１に書き込まれる間引き全画角読み出し処理の画像信号を合成する。図１８の（Ｈ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「４」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、解像度変換／画像合成部１３０は、全画素部分読み出し処理の画像信号であるフレーム「４」の画像信号と間引き全画角読み出し処理の画像信号であるフレーム「６」の画像信号を合成したフレーム「４＋６」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが１／２倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下を防止した再生画像の画像信号を出力することができる。

図１９は、記録されている撮像画像を撮像時のフレーム順に用いることで、被写体の動きが１／４倍の速度である再生画像信号ＤＶ5を生成する場合を示している。なお、図１９の（Ａ）〜（Ｄ）は、図１７の（Ａ）〜（Ｄ）に相当する。

この場合、高速度撮像モードで記録された撮像画像の再生期間において、制御部６１は、記録メディア４２から符号化データを読み出して復号化処理を行いフレーム順の撮像画像を示す画像信号ＤＶ4を生成させる。なお、図１９の（Ｅ）は、復号化処理して得られた画像信号ＤＶ4を示している。

カメラ信号処理部１２の解像度変換／画像合成部１３０では、間引き全画角読み出し処理を行うことにより得られた画像信号、又は全画素部分読み出し処理を行うことにより得られた画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出す。図１９の（Ｆ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図１９の（Ｇ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。

さらに、解像度変換／画像合成部１３０は、フレームメモリ５１から読み出した画像信号とフレームメモリ５１に書き込まれる画像信号、又はフレームメモリ５１から読み出した間引き全画角読み出し処理の画像信号と復号化処理して得られた全画素部分読み出し処理の画像信号を合成する。図１９の（Ｈ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「４」の画像信号を合成したフレーム「２＋４」の画像信号、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「５」の画像信号を合成したフレーム「２＋５」の画像信号、全画素部分読み出し処理の画像信号であるフレーム「５」の画像信号と間引き全画角読み出し処理の画像信号であるフレーム「６」の画像信号を合成したフレーム「５＋６」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが１／４倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下を防止した再生画像を出力することができる。

さらに、再生速度を低下させてスローモーション再生する場合には、合成画像の繰り返し処理を行うことで、スローモーション再生画像を表示できる。また、１／３倍の再生速度でスローモーション再生する場合、１／２倍の再生速度でスローモーションの処理と１／４倍の再生速度でスローモーションの処理とを交互に切り換える等により対応することができる。

このように、標準撮像モードが選択された場合、撮像装置１０の撮像部１１は、基準フレームレートの画像信号を生成する。また、撮像装置１０では、このフレームレートの画像信号を順次記録メディア４２に記録する処理や、基準フレームレートで撮像画像を表示部２２で表示する処理を行う。

また、高速度撮像モードが選択された場合、撮像装置１０の撮像部１１は、基準フレーム期間内の先頭フレームで間引き全画角読み出し処理の画像信号を生成し、先頭フレーム以外のフレーム期間では、全画素部分読み出し処理の画像信号を生成する。したがって、基準フレーム期間内の先頭フレームの画像信号を用いて画像表示を行うものとすれば、高速度撮像モードのフレームレートに係らず基準フレームレートで撮像画像を表示できる。

また、基準フレーム期間内の先頭フレームは、間引き全画角読み出し処理の画像信号とされており、撮像装置１０は、間引き全画角読み出し処理の画像信号に対して画素補間処理を行う。したがって、基準フレーム期間内の先頭フレームのみの画素補間処理が行われた画像信号を順次用いて撮像画像の表示を行えば、高速度撮像モードが選択されている場合でも、標準撮像モードと等しい画素数で撮像画像を表示部２２に表示させることができる。

さらに、解像度変換／画像合成部１３０は、間引き全画角読み出し処理を行うことにより得られた画像信号と全画素部分読み出し処理を行うことにより得られた画像信号を合成して出力する。このため、撮像装置１０は、間引き全画角読み出し処理を行うことにより生じた画質の劣化を全画素部分読み出し処理を行うことにより得られた撮像画像によって補うことができる。

また、撮像装置１０や記録装置７０は、間引き全画角読み出し処理を行うことにより得られた画像信号を動画像の符号化データ、全画素部分読み出し処理を行うことにより得られた画像信号を静止画像の符号化データとして記録メディア４２に記録する。したがって、撮像装置１０や再生装置８０は、予測符号化を用いていない符合化方式で圧縮処理された符号化データを読み出すことなく、予測符号化を用いた符合化方式で圧縮処理された符号化データを読み出して再生する。すなわち、静止画像の符号化データを読み出すことなく、動画像の符号化データのみを読み出して復号化処理すれば、標準撮像モードと等しいフレームレートで被写体の動きが１倍速の画像信号を容易に得ることができる。また、撮像装置１０や再生装置８０は、動画像の符号化データの再生と再生速度に対応して静止画像の符号化データの再生を行い、再生された画像信号を合成することで、所望の再生速度で画質低下の少ない画像信号を出力させることができる。すなわち、動画像の符号化データを常時処理するようにして再生を行えば、被写体の動きが１倍速である画像信号を出力できる。また、再生速度に対応して静止画像の符号化データの再生や画像信号の合成を行えば、被写体の動きが１倍速よりも遅いスローモーション画像を容易に得ることができる。

さらに、撮像装置１０では、従来の撮像装置のように、高速度の画像信号を一時的にメモリに格納し、その後、大容量の記録媒体に記録し直すような処理が必要ないので、高速度撮像する時間がメモリの容量によって制限されてしまうことがなく、貴重な撮像機会を逃すことなく高速度撮像を行うことができる。

また、間引き全画角読み出し処理では、フレームレートが高くなると（所定単位期間が短くされると）、間引き読み出しの間隔が大きくされる。また、全画素部分読み出し処理では、フレームレートが高くなると画素の読み出しを行う領域が狭いものとされる。このため、フレームレートが高くなると読み出す画素が少ないものとされて、基準フレーム期間中に読み出す画素の数を一定に保つことができる。すなわち、高速度撮像モードでフレームレートが高くなっても、信号量が増大してしまうことを防止でき、十分に高速度撮像することができる。

また、間引き全画角読み出し処理では、標準撮像モードよりも高いフレームレートであって、高速度撮像モードにおいてはフレームレートが低くなると（所定単位期間が長くされると）、間引き読み出しの間隔が小さくされる。また、全画素部分読み出し処理では、フレームレートが低いと画素の読み出しを行う領域が広いものとされる。このため、高速度撮像モードにおいてフレームレートが低いとき、高速度撮像モードにおいてフレームレートが高いときよりも読み出す画素が多いものとされて、基準フレーム期間中に読み出す画素の数を一定に保つことができる。

ところで、上述の実施の形態では、高速度撮像モードにおけるフレームレートが一定の場合について説明したが、高速度撮像モードにおいてフレームレートを可変できるようにしてもよい。なお、フレームレートを可変する場合は、１２０〔ｆｐｓ〕，１８０〔ｆｐｓ〕，２４０〔ｆｐｓ〕だけでなく、標準撮像モードのフレームレートである６０〔ｆｐｓ〕に切り換えることも可能としている。図２０は、ユーザがフレームレートを順次指定した場合の動作を示しており、ユーザがフレームレートを６０〔ｆｐｓ〕→１２０〔ｆｐｓ〕→１８０〔ｆｐｓ〕→２４０〔ｆｐｓ〕→１８０〔ｆｐｓ〕→１２０〔ｆｐｓ〕→６０〔ｆｐｓ〕の順に変化させた場合である。なお、図２０の（Ａ）は基準垂直同期信号ＶＤＢ、図２０の（Ｂ）は撮像装置１０の動作モード、図２０の（Ｃ）は、垂直同期信号ＶＤを示している。

撮像部１１は、高速度撮像モードである場合、基準フレーム期間内の先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の出力を行い、先頭フレーム以外のフレーム期間では、全画素部分読み出し処理を行うことにより得られた画像信号の出力を行う。

したがって、撮像部１１から出力される画像信号ＤＶ1は、図２０の（Ｄ）に示すように、基準フレーム期間内の先頭フレームは、間引き全画角読み出し処理を行って得られた画像信号（斜線で示す）、基準フレーム期間内の先頭フレーム以外のフレーム期間では、全画素部分読み出し処理を行って得られた画像信号（太線の枠で示す）となる。

ここで、モニタ表示を行う場合、カメラ信号処理部１２の撮像装置１０や再生装置８０は、上述のように、間引き全画角読み出し処理を行うことにより得られた画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出す。図２０の（Ｅ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図２０の（Ｆ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。このように、撮像装置１０や再生装置８０は、フレームメモリ５１から基準フレーム期間で読み出した間引き全画角読み出し処理の画像信号を、図２０の（Ｇ）に示すようにモニタ画像信号ＤＶ2として表示処理部２１等に出力することで、標準撮像モードと等しいフレームレートで撮像画像を表示することができる。

また、ユーザによって記録の指示が行われたとき、制御部６１は、図２０の（Ｄ）に示す画像信号ＤＶ1の画素補間および符号化処理等を行わせて、符号化データを記録メディア４２に記録させる。

次に、記録メディア４２に記録された撮像画像の再生動作について図２１を用いて説明する。図２１の（Ａ）は記録メディア４２に符号化して記録されている撮像画像のフレームＰＷを示している。図２１の（Ｂ）は基準垂直同期信号ＶＤＢ、図２１の（Ｃ）は、撮像画像を記録したときの撮像装置１０の動作モード、図２１の（Ｄ）は、垂直同期信号ＶＤを示している。

高速度撮像モードで記録された撮像画像の再生期間において、制御部６１は、記録メディア４２から符号化データを読み出して復号化処理を行い撮像時のフレーム順の画像信号ＤＶ4を生成する。なお、図２１の（Ｅ）は、復号化処理して得られた画像信号ＤＶ4を示している。

カメラ信号処理部１２の解像度変換／画像合成部１３０では、間引き全画角読み出し処理を行うことにより得られた画像信号、又は全画素部分読み出し処理を行うことにより得られた画像信号をフレームメモリ５１に書き込み、フレームメモリ５１に書き込まれた画像信号を基準フレーム期間で読み出す。図２１の（Ｆ）はフレームメモリ５１に書き込まれる画像信号ＤＶfw、図２１の（Ｇ）はフレームメモリ５１から読み出される画像信号ＤＶfrを示している。

さらに、解像度変換／画像合成部１３０は、フレームメモリ５１から読み出した画像信号とフレームメモリ５１に書き込まれる画像信号を合成する。又は、フレームメモリ５１から読み出した間引き全画角読み出し処理の画像信号と復号化処理して得られた全画素部分読み出し処理の画像信号を合成する。図２１の（Ｈ）は解像度変換／画像合成部１３０から出力される画像信号ＤＶ5を示している。高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換／画像合成部１３０は、間引き全画角読み出し処理の画像信号であるフレーム「２」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号を合成したフレーム「２＋３」の画像信号を出力する。次に、全画素部分読み出し処理の画像信号であるフレーム「３」の画像信号と間引き全画角読み出し処理の画像信号であるフレーム「４」の画像信号を合成したフレーム「３＋４」の画像信号、間引き全画角読み出し処理の画像信号であるフレーム「４」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「５」の画像信号を合成したフレーム「４＋５」の画像信号、・・・を順次出力する。すなわち、解像度変換／画像合成部１３０は、被写体の動きが高速度撮像モードのフレームレートに応じた変化するとともに、全画素部分読み出し処理を行うことにより得られた画像信号によって画質の低下を防止した再生画像の画像信号を出力することができる。

また、制御部６１は、記録メディア４２から予測符号化を用いていない符合化方式で圧縮処理された符号化データを読み出すことなく、予測符号化を用いた符合化方式で圧縮処理された符号化データを読み出して、復号化処理を行って画像信号ＤＶ4を生成すれば、すなわち動画像の符号化データのみを読み出して、復号化処理を行って画像信号ＤＶ4を生成すれば、高速度撮像モードのフレームレートを変化させても、被写体の動きが１倍の速度である再生画像を出力させることができる。

さらに、フレームレートを可変する場合、制御部６１は、予めプログラムされた順序でフレームレートを自動的に可変するものとしてもよい。また、制御部６１は、被写体の動きに応じてフレームレートを自動的に可変して、被写体の動きが速いときには時間解像度の高い撮像画像すなわちフレームレートの高い撮像画像を記録できるようにしてもよい。

次に、被写体の動きに応じてフレームレートを自動的に可変して撮像画像を記録する動作について説明する。ここで、被写体の動きが速いほど、時間解像度の高い撮像画像が得られるようにフレームレートを高くする。また、全画素部分読み出し処理する領域の位置を被写体の動きに追従して変化させる。

制御部６１は、被写体の動きに応じてフレームレートを自動的に可変する場合、画像圧縮伸長部３１から通知される動きベクトルＭＶに基づいて、フレームレートや全画素部分読み出しする矩形領域の位置を制御する。なお、イメージセンサ１１１で読み出す画素の数を基準フレーム期間で一定とすれば、フレームレートを決定することで間引き全画角読み出し処理における間引き読み出しの間隔と全画素部分読み出しする矩形領域の領域サイズも自動的に決定される。

ここで、被写体の動きに応じてフレームレートを自動的に可変させる場合、制御部６１は、画像圧縮伸長部３１から通知される動きベクトルＭＶを絶対値化し、その後、図２２に示す判定基準値Ｌv1、Ｌv2、Ｌv3と比較してフレームレートを判定する。この判定基準値Ｌv1、Ｌv2、Ｌv3は、被写体の動きによるブレの軽減を期待できるフレームレートを定義する判定基準であり、動きベクトルによって示される各マクロブロックの動きが大きくなるにしたがって、フレームレートを１倍である「Ｆro（例えば６０〔ｆｐｓ〕）」〜４倍である「Ｆr3（例えば２４０〔ｆｐｓ〕）」で順次段階的に増大させる判定基準値である。

ここで、動きベクトルの絶対値が「Ｌv1」未満であるとき、フレームレートは標準撮像モードと等しくする。動きベクトルの絶対値が「Ｌv1」以上で「Ｌv2」未満であるとき、フレームレートは高速度撮像モードとして標準撮像モードの２倍とする。また、動きベクトルの絶対値が「Ｌv2」以上で「Ｌv3」未満であるとき、フレームレートは標準撮像モードの３倍とし、動きベクトルの絶対値が「Ｌv3」以上であるとき、フレームレートは標準撮像モードの４倍とする。

また、制御部６１は、検出した動きベクトルから全画素部分読み出し処理を行う領域、例えば図２３に示すように矩形領域を定義する。制御部６１は、検出した動きベクトルを水平方向成分及び垂直方向成分に分解し、マクロブロックの位置に応じた重み付け係数で重み付け加算することにより、各マクロブロックで検出される動きベクトルを統計的に処理し、画枠Ｔr1〜Ｔr3を定義する。なお、この重み付け加算の処理は、例えば画面中央部分程、重み付け係数の値を大きくするように設定して実行される。また、この場合に、一定フレームレートで撮像した場合と同様にして画枠Ｔr1〜Ｔr3を定義してもよい。なお、この図２３では、各マクロブロックの動きの大きさを判定基準値Ｌv1〜Ｌv3で判定した結果を併せて示している。

制御部６１は、基準フレーム期間毎に、フレームレートの設定や画枠Ｔr1〜Ｔr3の設定を実行する。

フレームレートの設定や画枠の設定は、図２４の処理手順を実行することにより行う。

すなわち制御部６１は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、当該フレームについての処理を開始し、続くステップＳＰ３において、現在のフレームレートが基準フレームレートの３倍である「Ｆr2」以上か否か判断する。ここで否定結果が得られると、制御部６１は、ステップＳＰ３からステップＳＰ４に移る。

制御部６１は、ステップＳＰ４で現在のフレームレートが基準フレームレートの２倍である「Ｆr1」か否か判断する。ここで否定結果が得られると、この場合、現在のフレームレートは基準フレームレートの１倍である「Ｆr0」であることから、ステップＳＰ４からステップＳＰ５に移る。

制御部６１は、ステップＳＰ５で第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが検出されているか否か判断する。ここで否定結果が得られると、制御部６１は、ステップＳＰ５からステップＳＰ６に移り、続く基準フレーム期間のフレーム周波数を基準フレーム周波数の１倍である「Ｆr0」、例えば６０〔ｆｐｓ〕に設定する。また続いてステップＳＰ７において、制御部６１は、当該基準フレーム期間の処理を終了してステップＳＰ２に戻る。

また、ステップＳＰ５で肯定結果が得られると、制御部６１は、ステップＳＰ５からステップＳＰ８に移る。制御部６１は、現在のフレームレートより１段階だけ高いフレームレート、すなわち基準フレームレートの２倍に対応する画枠Ｔr1内に、第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが全て含まれているか否か判断する。ここで否定結果が得られると、制御部６１は、ステップＳＰ８からステップＳＰ６に移り、続く基準フレーム期間のフレームレートを基準フレームレートの１倍である「Ｆro」に設定する。これに対してステップＳＰ８で肯定結果が得られると、制御部６１は、ステップＳＰ８からステップＳＰ９に移り、続く基準フレーム期間のフレームレートを基準フレームレートの２倍のである「Ｆr1」、例えば１２０〔ｆｐｓ〕に設定し、その後、ステップＳＰ７に移る。

現在のフレームレートが基準フレームレートの２倍のである「Ｆr1」の場合、制御部６１は、ステップＳＰ４で肯定結果が得られることにより、ステップＳＰ４からステップＳＰ１０に移る。制御部６１は、ステップＳＰ４で第２の判定基準値Ｌv2以上に動きの大きなマクロブロックが検出されているか否か判断する。ここで否定結果が得られると、制御部６１は、ステップＳＰ１０からステップＳＰ１１に移り、現在のフレームレートが基準フレームレートの３倍のである「Ｆr2」か否か判断する。この場合、否定結果が得られることにより、制御部６１は、ステップＳＰ１１からステップＳＰ５に移る。また、制御部６１は、ステップＳＰ５に移ることで、フレームレートが低減可能であると、すなわち第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが検出されていないときや、基準フレームレートの２倍に対応する画枠Ｔr1内に、第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが全て含まれている状態でないとき、続く基準フレーム期間のフレームレートを基準フレームレートの１倍である「Ｆro」に設定する。また制御部６１は、これとは逆にフレームレートが低減可能でないとき、すなわち第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが検出されているときや、基準フレームレートの２倍に対応する画枠Ｔr1内に、第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが全て含まれているとき、現在のフレームレートを保持して、次の基準フレームに処理を移す。

ステップＳＰ１１で肯定結果が得られると、制御部６１は、ステップＳＰ１１からステップＳＰ９に移り、続く基準フレーム期間のフレームレートを基準フレームレートの２倍である「Ｆr1」、すなわち現在のフレームレートに保持したまま、次の基準フレームに処理を移す。またステップＳＰ１０で肯定結果が得られると、制御部６１は、ステップＳＰ１０からステップＳＰ１２に移り、現在のフレームレートより１段階だけ高いフレームレート、すなわち基準フレームレートの３倍に対応する画枠Ｔr2内に、第２の判定基準値Ｌv2以上に動きの大きなマクロブロックが全て含まれているか否か判断する。ここで否定結果が得られると、制御部６１は、ステップＳＰ１２からステップＳＰ１１に移る。また、ステップＳＰ１１で肯定結果が得られると、制御部６１は、フレームレートを基準フレームレートの２倍に保持したまま、次の基準フレームに処理を移す。これに対してステップＳＰ１２で肯定結果が得られると、制御部６１は、ステップＳＰ１２からステップＳＰ１３に移り、続く基準フレーム期間のフレームレートを基準フレームレートの３倍である「Ｆr2」、例えば１８０〔ｆｐｓ〕に設定し、その後、次の基準フレームに処理を移す。

現在のフレームレートが基準フレームレートの３倍である「Ｆr2」又は４倍である「Ｆr3」の場合、制御部６１は、ステップＳＰ３で肯定結果が得られることにより、ステップＳＰ３からステップＳＰ１５に移る。制御部６１は、ステップＳＰ１５で第３の判定基準値Ｌv3以上に動きの大きなマクロブロックが検出されているか否か判断する。ここで否定結果が得られると、制御部６１は、ステップＳＰ１５からステップＳＰ１６に移り、現在のフレームレートが基準フレームレートの４倍である「Ｆr3」か否か判断する。ここで現在のフレームレートが基準フレームレートの３倍である「Ｆr2」の場合、ステップＳＰ１６で否定結果が得られることにより、制御部６１は、ステップＳＰ１６からステップＳＰ１０に移る。また、制御部６１は、ステップＳＰ１０に移ることで、フレームレートが低減可能であると、すなわち第２の判定基準値Ｌv2以上に動きの大きなマクロブロックが検出されていないときや、基準フレームレートの３倍に対応する画枠Ｔr2内に、第２の判定基準値Ｌv2以上に動きの大きなマクロブロックが全て含まれている状態でないとき、続く基準フレーム期間のフレームレートを基準フレームレートの２倍である「Ｆr1」に設定する。また、制御部６１は、第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが検出されていないときや、基準フレームレートの２倍に対応する画枠Ｔr1内に、第１の判定基準値Ｌv1以上に動きの大きなマクロブロックが全て含まれている状態でないとき、ステップＳＰ１１に続く処理において、現在のフレームレートが「Ｆr2」である条件から、続く基準フレーム期間のフレームレートを基準フレームレートの２倍であるである「Ｆr1」に設定する。制御部６１は、これとは逆にフレームレートが低減可能でないとき、すなわち、第２の判定基準値Ｌv2以上に動きの大きなマクロブロックが検出されているときや、基準フレームレートの３倍に対応する画枠Ｔr2内に、第２の判定基準値Ｌv2以上に動きの大きなマクロブロックが全て含まれているとき、現在のフレームレートを保持して、次の基準フレームに処理を移す。

現在のフレームレートが基準フレームレートの４倍である「Ｆr3」であるとき、ステップＳＰ１６で肯定結果が得られ、この場合、制御部６１は、ステップＳＰ１６からステップＳＰ１３に移り、続く基準フレーム期間のフレームレートを基準フレームレートの３倍である「Ｆr2」、例えば１８０〔ｆｐｓ〕に設定し、その後、次の基準フレームに処理を移す。

また、第３の判定基準値Ｌv3以上に動きの大きなマクロブロックが検出されている場合、ステップＳＰ１５で肯定結果が得られて、制御部６１はステップＳＰ１５からステップＳＰ１７に移る。 制御部６１は、ステップＳＰ１７で基準フレームレートの４倍に対応する画枠Ｔr3内に、第３の判定基準値Ｌv3以上に動きの大きなマクロブロックが全て含まれているか否か判断する。ここで、肯定結果が得られると、制御部６１はステップＳＰ１８に移り、続く基準フレーム期間のフレームレートを基準フレームレートの４倍である「Ｆr3」、例えば２４０〔ｆｐｓ〕に設定し、その後、次の基準フレームに処理を移す。

また、否定結果が得られると、制御部６１は、ステップＳＰ１７からステップＳＰ１６に移り、ステップＳＰ１６に続く処理によって、現在のフレームレートが「Ｆf3」である条件から、続く基準フレーム期間のフレームレートを基準フレームレートの３倍、例えば１８０〔ｆｐｓ〕に設定する。

この図２４の処理により、撮像する被写体の動きが大きくなると、制御部６１は、順次段階的にフレームレートが高く設定する。また、被写体の動きが小さくなると、制御部６１は、順次段階的にフレームレートを低く設定する。このように、制御部６１は、フレームレートを自動的に設定し、設定されたフレームレートに対応する画枠を選択する。また、イメージセンサ１１１は、選択された画枠内の全画素を読み出す全画素部分読み出し処理を行う。

制御部６１は、ユーザが記録メディア４２に記録した撮像画像の再生を指示すると、ユーザが再生を指示した撮像画像の管理情報を記録再生処理部４１から取得し、この管理情報に基づいて、上述のように記録メディア４２から符号化データを読み出して復号化処理や画像信号の合成を行うように各部を制御する。

このように、ユーザが可変速の高速度撮像を指示した場合、制御部６１は、被写体の動きが大きいときにはフレームレートが増大するように動的に切り換えて、この動的に切り換えられたフレームレートの画像信号を生成させる。また、制御部６１は、被写体の動きが小さいときにはフレームレートが準撮像モードのフレームレートとなるように動的に切り換えて、この動的に切り換えられたフレームレートの画像信号を生成させる。したがって、撮像装置１０では、動きが遅く、高いフレームレートで高速度撮像する必要の無い場合には、標準撮像モードと等しいフレームレートで画像信号が生成され、記録媒体の無駄な消費を防止することができる。また、被写体の動きが大きい場合には、高いフレームレートの画像信号が生成されて、時間解像度の高い撮像画像を取得することができる。

例えば、高速度で移動する被写体を流れることなく撮像したり、高速度で移動する被写体について動きの滑らかなスローモーション画像が得られるようにするために高速度撮像モードを選択する場合、背景は動きが小さい場合が殆どであり、高速度撮像しても余り意味の無い部位であると言える。ここで、上述のように、動き検出結果に応じて高速度撮像モードにおけるフレームレートや全画素部分読み出し処理を行う領域の設定を行ものとすると、間引き全画角読み出し処理を行うことにより画質の劣化を生じる部分は背景となり、高速度で移動する被写体は、全画素部分読み出し処理を行うことにより得られた画像信号によって画質の低下が補われる。したがって、撮像装置１０では、イメージセンサ１１１から基準フレーム期間内で出力する画像信号の信号量を増大させることなく、高速度で移動する被写体を流れることなく撮像したり、高速度で移動する被写体について動きの滑らかなスローモーション画像が得ることができる。

また、撮像装置１０は、被写体の動きの変化に対応して滑らかにフレームレートを切り換えることができ、再生時の違和感を防止することができる。すなわち例えば被写体の動きに応じてマニュアル操作でフレームレートを切り換えて高速度撮像した場合、被写体の動きに応じて必ずしも適切にフレームレートを切り換えることが困難になる。したがって、フレームレートを切り換えた画像信号を連続して再生した場合には、急激にフレームレートが変化することにより、著しく違和感が発生する。しかし、被写体の動きの変化に対応してフレームレートが動的に切り換えられることから、再生時の違和感を防止ができる。

さらに撮像装置１０では、被写体の動きに追従するように、全画素部分読み出しする矩形領域が設定されて画像信号が生成される。したがってこの撮像装置１０では、全画素読み出しする矩形の領域を小さな領域として、高速度撮像時における画像信号のレートの増大を低減する場合でも、高速度撮像が必要とされる被写体については、確実に高速度撮像して画質の劣化を防止することができる。

撮像装置１０では、画像信号の符号化処理時に検出される動きベクトルを用いて、全画素分読み出しする矩形領域の大きさ、位置の設定、フレームレートの設定に使用する被写体の動きが検出される。したがってこの撮像装置１０では、画像圧縮伸長部３１の構成を有効に利用して被写体の動きを検出しており、別途、被写体の動きを検出する場合に比して、全体構成を簡略化することができる。

これに対して可変速で高速度撮像した画像信号を可変速で再生する場合には、撮像した順序で画像信号が順次再生され、この画像信号における全画素部分読み出しの画像信号、間引き全画角読み出しの画像信号が同様に処理されて表示される。この場合、この撮像装置１０では、動きの速い部分では、自動的に再生速度が低下してスローモーション再生することができ、動きの量の変化に応じて違和感を与えることなく再生速度を切り換えることができる。

なお上述の実施の形態においては、全画素部分読み出しの画角を間引き全画角読み出しの画角に補正する場合について述べたが、本発明はこれに限らず、これとは逆に、間引き全画角読み出しの画角を全画素部分読み出しの画角に補正するようにしてもよい。このようにすれば、被写体をズームアップした映像を表示することができる。

また上述の実施例においては、間引き全画角読み出しを適用して全画角の画像信号を生成する場合について述べたが、本発明はこれに限らず、実用上十分な処理能力を有する場合には、全画素全画角読み出しを適用して全画角の画像信号を生成するようにしてもよい。またこの場合、フレームレートの増大により、全画素全画角読み出しから間引き全画角読み出しに切り換えて、全画角の画像信号を生成するようにしてもよい。

また上述の実施の形態においては、プログレッシブ方式で画像信号を生成する場合について述べたが、本発明はこれに限らず、インタレース方式で画像信号を生成する場合にも広く適用することができる。

本発明は、例えば撮像装置に適用することができる。

Claims (21)

1. 撮像画像の画像信号を生成するイメージセンサと、
   前記イメージセンサに、有効画像領域の画素に対して間引き読み出しを行い前記画像信号を生成する間引き全画角読み出し処理と、前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処理を、所定単位期間で切り換えて行わせる制御部とを備えてなる撮像装置。
2. 前記制御部は、前記所定単位期間が予め設定されている基準単位期間よりも短いとき、前記間引き全画角読み出し処理と前記全画素部分読み出し処理を行うよう前記イメージセンサを制御する請求の範囲第１項に記載の撮像装置。
3. 前記制御部は、前記基準単位期間内の先頭の所定単位期間で前記間引き全画角読み出し処理を行い、前記基準単位期間内の他の所定単位期間で前記全画素部分読み出し処理を行うよう前記イメージセンサを制御する請求の範囲第２項に記載の撮像装置。
4. 間引きされた画素の信号を生成する画素補間を行う画素補間部をさらに備え、
   前記画素補間部は、前記間引き全画角読み出し処理によって得られた画像信号に対して前記画素補間を行う請求の範囲第３項に記載の撮像装置。
5. 前記所定単位期間が切り換え可能である請求の範囲第４項に記載の撮像装置。
6. 前記制御部は、前記所定単位期間が短くされたときは、前記間引き読み出しの間隔を大きく前記有効画像領域の一部領域を狭くし、前記所定単位期間が長くされたときは、前記間引き読み出しの間隔を小さく前記有効画像領域の一部領域を広くするよう前記イメージセンサを制御する請求の範囲第５項に記載の撮像装置。
7. 前記画素補間が行われた画像信号を用いて動きを検出する動き検出部をさらに備え、
   前記制御部は、前記動き検出部で検出された動きに基づき、前記有効画像領域の一部領域に前記動きを生じた被写体を含めて前記全画素部分読み出し処理を行うよう前記イメージセンサを制御する請求の範囲第６項に記載の撮像装置。
8. 前記制御部は、前記動きが大きいときには前記所定単位期間を長くし、前記動きが小さいときには前記所定単位期間を短くする請求の範囲第７項に記載の撮像装置。
9. 前記画像信号を圧縮処理して符号化データを生成する画像圧縮部と、
   前記符号化データを記録メディアに記録する記録部をさらに備え、
   前記画像圧縮部は、前記間引き全画角読み出し処理の前記画素補間が行われた画像信号を、予測符号化を用いた符合化方式で圧縮処理し、前記全画素部分読み出し処理を行って得られた画像信号を、予測符号化を用いていない符合化方式で圧縮処理する請求の範囲第４項に記載の撮像装置。
10. 前記画像圧縮部は、前記画素補間が行われた画像信号を用いて前記動きを検出し、
    前記制御部は、前記動きに基づいて、前記動きを生じた被写体が前記有効画像領域の一部領域に含まれるように前記イメージセンサに前記全画素部分読み出し処理を行わせる請求の範囲第９項に記載の撮像装置。
11. 前記記録メディアに記録された符号化データを読み出す再生部と、
    前記再生部によって読み出された符号化データを伸長して画像信号を生成する画像伸長部と、
    前記画像伸長部で生成された画像信号を用いて合成を行う画像合成部とをさらに備え、
    前記画像合成部は、前記間引き全画角読み出し処理の前記画素補間が行われた画像信号と前記全画素部分読み出し処理を行って得られた画像信号とを合成する請求の範囲第９項に記載の撮像装置。
12. 前記再生部は、前記記録メディアから、前記予測符号化を用いていない符合化方式で圧縮処理された符号化データを読み出すことなく、前記予測符号化を用いた符合化方式で圧縮処理された符号化データを読み出し、
    前記画像伸長部は、前記再生部で読み出された符号化データを伸長して、前記基準単位期間毎の画像信号として出力する請求の範囲第１１項に記載の撮像装置。
13. 前記間引き全画角読み出し処理は、画素間引き処理とライン間引き処理の少なくとも一方を含む請求の範囲第１項に記載の撮像装置。
14. 表示部をさらに備え、
    前記表示部は、前記間引き全画角読み出し処理して得られた画像信号に基づいた画像を表示する請求の範囲第１項に記載の撮像装置。
15. イメージセンサを用いて撮像画像の画像信号を生成する撮像方法において、
    前記イメージセンサの有効画像領域の画素に対して間引き読み出しを行うことで前記画像信号を生成する間引き全画角読み出し工程と、
    前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し工程とを含み、
    前記間引き全画角読み出し工程と前記全画素部分読み出し工程とが、所定単位期間で切り換えられる撮像方法。
16. イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像信号を生成する間引き全画角読み出し処理と、前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行うことで生成された撮像画像の画像信号に対して圧縮処理をすることで符号化データを生成する画像圧縮部と、
    前記符号化データを記録する記録部とを備え、
    前記画像圧縮部は、前記間引き全画角読み出し処理を行って得られた画像信号を、予測符号化を用いた符合化方式で圧縮処理し、前記全画素部分読み出し処理を行って得られた画像信号を、予測符号化を用いていない符合化方式で圧縮処理する記録装置。
17. 間引きされた画素の信号を生成する画素補間を行う画素補間部をさらに備え、
    前記画素補間部は、前記間引き全画角読み出し処理によって得られた画像信号に対して前記画素補間を行い、
    前記画像圧縮部は、前記画素補間部において前記間引き全画角読み出し処理の前記画素補間が行われた画像信号を、予測符号化を用いた符合化方式で圧縮処理する請求の範囲第１６項に記載の記録装置。
18. イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像信号を生成する間引き全画角読み出し処理と、前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行うことで生成された撮像画像の画像信号のうち、
    前記間引き全画角読み出し処理を行って得られた画像信号を、予測符号化を用いた符合化方式で圧縮処理して符号化データを生成する工程と、
    前記全画素部分読み出し処理を行って得られた画像信号を、予測符号化を用いていない符合化方式で圧縮処理して符号化データを生成する工程と、
    前記符号化データを記録する工程とを備えた記録方法。
19. イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像信号を生成する間引き全画角読み出し処理と、前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行い、前記間引き全画角読み出し処理を行って得られた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符号化データとして記録され、前記全画素部分読み出し処理を行って得られた画像信号が、予測符号化を用いていない符合化方式で圧縮処理されて符号化データとして記録された記録メディアから、前記符号化データを読み出す再生部と、
    前記読み出された符号化データを伸長して画像信号を生成する画像伸長部と、
    前記画像伸長部で生成された画像信号を用いて合成を行う画像合成部とを備え、
    前記画像合成部は、前記間引き全画角読み出し処理を行って得られた画像信号と前記全画素部分読み出し処理を行って得られた画像信号とを合成する再生装置。
20. 前記再生部は、前記記録メディアから、前記予測符号化を用いていない符合化方式で圧縮処理された符号化データを読み出すことなく、前記予測符号化を用いた符合化方式で圧縮処理された符号化データを読み出し、
    前記画像伸長部は、前記符号化データを伸長して、前記基準単位期間毎の画像信号として出力する請求の範囲第１９項に記載の再生装置。
21. イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像信号を生成する間引き全画角読み出し処理と、前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行い、前記間引き全画角読み出し処理を行って得られた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符号化データとして記録され、前記全画素部分読み出し処理を行って得られた画像信号が、予測符号化を用いていない符合化方式で圧縮処理されて符号化データとして記録された記録メディアから、前記符号化データを読み出す工程と、
    前記読み出された符号化データを伸長して画像信号を生成する工程と、
    前記間引き全画角読み出し処理の画像信号と前記全画素部分読み出し処理を行って得られた画像信号を合成する工程とを備える再生方法。

Images