JP4921265B2

JP4921265B2 - 撮像装置及び画像処理方法

Info

Publication number: JP4921265B2
Application number: JP2007182553A
Authority: JP
Inventors: 心高木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-11
Filing date: 2007-07-11
Publication date: 2012-04-25
Anticipated expiration: 2027-07-11
Also published as: JP2009021810A

Description

本発明は撮像装置及び画像処理方法に関し、更に詳しくは、手ブレによって少しずつずれて撮影された複数枚の画像を可逆圧縮して記録する撮像装置及び画像処理方法に関する。

従来より連続する複数枚の静止画信号を効率的に圧縮する方法として、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などと言った方法が広く使用されている。しかし、これらの圧縮方法は符号量を大幅に削減する手段として非可逆圧縮を用いているため、復号化した際に元の画像を完全に復元することはできない。

連続する複数枚の静止画を効率的に可逆圧縮して保存する方法は、より高画質での電子手ブレ補正を目的としている技術の他に、業務用・医療用等のデータの改変が嫌われる分野での画像の圧縮方法としても必要とされている。

特許文献１では、先ず、映像信号がＲＧＢの３原色成分で構成されている映像信号をＸＹＺ成分に変換後、ＸＹＺ成分それぞれに対して、同一の画素値が続く信号平坦部とそれ以外の領域に分ける。そして、信号平坦部に対しては同じ画素値が続く範囲を記録し、それ以外の領域に対しては線形予測誤差変換を行った後で可変長符号化を行うことで可逆圧縮する方法が提案されている。

特開２００５−０４５５２７号公報

しかしながら特許文献１の従来技術では、映像信号がＲＧＢの３原色成分で構成されている場合に、ＸＹＺ成分に色信号を変換後、Ｘプレーン、Ｙプレーン、Ｚプレーン毎に可変長符号化を行う。そのため、ベイヤー配列で入力された映像信号のように隣接画素と色が異なる画像が連続して複数枚ある場合に可逆圧縮する方法については考慮されていない。

本発明は上記問題点を鑑みてなされたものであり、本発明のフレーム間可逆圧縮を行う撮像装置は、画素毎にベイヤー配列されたＲ、Ｇ、Ｂのいずれかの色の画素値を出力する撮像素子を用いて撮影を行い、１フレーム分の画像データを出力する撮像手段と、前記撮像手段による前記撮影時の手ブレ量を検出する手ブレ量検出手段と、前記検出した手ブレ量が示す手ブレを相殺するように、現フレームの画像データと１フレーム前の画像データの画素の位置を相対的にシフトするシフト手段と、前記シフト後に、前記現フレームのＲ及びＢ画素に対応する前記１フレーム前の各画素を、前記ベイヤー配列の格子状配置に基づいて対応する前記現フレームの画素と同じ色の画素値を持つように補間し、前記現フレームのＧ画素に対応する１フレーム前の各画素を、前記ベイヤー配列のオフセット配置に基づいてＧの画素値を持つように補間する補間手段と、Ｒ、Ｇ、Ｂそれぞれについて前記現フレームの画素値と前記１フレーム前の補間された画素値との差分を対応する画素毎に計算し、該計算したＲ、Ｇ、Ｂの差分を可逆圧縮することにより、前記現フレームの画像データを可逆圧縮するフレーム間可逆圧縮手段と、前記可逆圧縮された圧縮画像データと、前記手ブレ量とを関連づけて記憶する記憶手段とを有する。

また、本発明のフレーム間可逆圧縮を行う画像処理方法は、撮像手段が、画素毎にベイヤー配列されたＲ、Ｇ、Ｂのいずれかの色の画素値を出力する撮像素子を用いて撮影を行い、１フレーム分の画像データを取得する撮影工程と、手ブレ量検出手段が、前記撮影工程における前記撮影時の手ブレ量を検出する手ブレ量検出工程と、シフト手段が、前記検出した手ブレ量が示す手ブレを相殺するように、前記撮影工程で取得した現フレームの画像データと１フレーム前の画像データの画素の位置を相対的にシフトするシフト工程と、補間手段が、前記シフト後に、前記現フレームのＲ及びＢ画素に対応する前記１フレーム前の各画素を、前記ベイヤー配列の格子状配置に基づいて対応する前記現フレームの画素と同じ色の画素値を持つように補間し、前記現フレームのＧ画素に対応する１フレーム前の各画素を、前記ベイヤー配列のオフセット配置に基づいてＧの画素値を持つように補間する補間工程と、フレーム間可逆圧縮手段が、Ｒ、Ｇ、Ｂそれぞれについて前記現フレームの画素値と前記１フレーム前の補間された画素値との差分を対応する画素毎に計算し、該計算したＲ、Ｇ、Ｂの差分を可逆圧縮することにより、前記現フレームの画像データを可逆圧縮するフレーム間可逆圧縮工程と、前記可逆圧縮された圧縮画像データと、前記手ブレ量とを関連づけて記憶手段に記憶する記憶工程とを有する。

本発明によれば、複数の画像を相対的にシフトすることにより手ブレを補正する場合に、シフト後の画像間で互いに対応する画素が異なる色信号を出力する場合であっても、同色の色信号を用いてフレーム間可逆圧縮を行うことが可能になる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は本実施の形態における撮像装置１００の概略構成を示すブロック図である。本実施の形態においては、本発明を短秒時露光で撮影された連続する複数枚の画像を合成して手ブレ補正を行う場合に適用するものとし、図１に示す撮像装置１００は、そのような手ブレ補正を行う機能を有する。

図１において、１０は被写体光学像を後述する撮像素子１２上に結像させる撮像レンズである。１２は結像した被写体光学像をアナログの電気信号に変換する撮像素子である。本実施の形態では図２に示すようなベイヤー配列のフィルタにより覆われており、各画素はフィルタの色に応じて、それぞれＲ、Ｇ、Ｂいずれかの色成分のアナログ信号を１回の撮像動作につき１フレーム分、出力する。１４は撮像素子１２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

１６はＤ／Ａ変換器、１８はＬＣＤ等からなる画像表示部である。メモリ４０に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１６を介してデジタルデータからアナログデータに変換され、画像表示部１８により表示される。また、撮像素子１２から画像信号を連続的に読み出し、制御回路５０によりメモリ４０に一旦画像信号を書込み、メモリ４０から画像信号を読み出して画像表示部１８に逐次表示することで、電子ビューファインダ（ＥＶＦ）機能を実現することができる。

２０はメモリカードやハードディスク等の記憶媒体であり、撮影された画像データ等は記憶媒体２０に記録される。

３０は画像処理回路であり、撮影あるいは記録された画像データに対して、画素補間処理や色変換処理等の現像処理やリサイズ処理など、所定の画像処理を行う。

４０は撮影した画像データを一時的に格納するためのメモリであり、所定枚数の静止画像を格納するのに十分な記録容量を備えている。例えば、Ａ／Ｄ変換器１４から出力された画像データが制御回路５０、画像処理回路３０、可逆圧縮回路８０を介して、あるいは、制御回路５０を介して、直接メモリ４０に書き込まれる。

５０は制御回路であり、Ａ／Ｄ変換器１４、Ｄ／Ａ変換器１６、記憶媒体２０、画像処理回路３０、メモリ４０、手ブレ量検出回路６０、可逆圧縮回路８０、補間値生成回路９０へのデータフローを制御する。

６０は手ブレ量検出回路であり、装置の手ブレ量を検出する。手ブレ量検出回路６０は、手ブレ量として、光軸方向の回転ブレ角と水平垂直方向のブレ量とを出力する。

８０は可逆圧縮回路であり、撮影された画像を可逆圧縮し、圧縮画像データを生成する。９０は補間値生成回路であり、可逆圧縮回路８０でフレーム間可逆圧縮を行う際に使用する、画素値の補間値を生成する。９１は正弦波テーブルであり、回転ブレ発生時に補間値を生成するために使用する。

９２は、例えば、モードダイアルスイッチなどのダイアルや、シャッターボタンなどのボタン等により構成される操作部で、例えば、撮影を指示したり、電源オフ、撮影モード、再生モード等の各機能モードを切り替え設定したりすることができる。９３は、手ブレ量検出回路６０で検出された手ブレ量に基づき、撮影した画像データの手ブレを補正する手ブレ補正回路である。

次に、本実施の形態における撮影して得た複数の画像データを可逆圧縮する方法について説明する。

図３は、本実施の形態における撮像から画像データの記録までの処理を示すフローチャートである。なお、本実施の形態では、上述したように、短秒時露光で複数枚（複数フレーム分）の画像を連続撮影し、撮影した複数枚の画像を、撮影時のブレを相殺するようにシフトしながら重ね合わせ合成する電子ブレ補正処理に本発明を適用するものとして説明する。なお、各画像を撮影する露光時間は、撮像素子１２を駆動可能な時間内であって、各画像がブレの影響を受けない程度の時間に設定される。また、電子ブレ補正処理で合成に用いる画像枚数は、上述した露光時間と、測光データとに基づいて決められる。

先ず、ユーザーが操作部９２に含まれるシャッターボタンを押下すると、撮像素子１２を上述した、予め設定された短秒時間露光して得られた電荷を各画素から読み出し、Ａ／Ｄ変換器１４を介してデジタル信号を取得する（ステップＳ１１）。得られたデジタル信号（原フレームの画像）が電子手ブレ補正処理に用いられる複枚数の画像の１枚目（１フレーム目）である場合には（ステップＳ１２でＹＥＳ）、一旦メモリ４０に記録し、ステップＳ１３へ進む。

１枚目の場合は、フレーム間可逆圧縮するために必要な直前の画像が無いので、可逆圧縮回路８０でフレーム内可逆圧縮を行う（ステップＳ１３）。

ここで、フレーム内可逆圧縮の方法について図２を参照しながら説明する。フレーム内可逆圧縮は、注目画素とそれに隣接する同色画素との画素値の差分を計算して、可逆符号化し、可逆圧縮することで行う。

具体的には、先ず、図２に示す画像の左上の画素Ｒ00の画素値はそのまま記録する。次に、画素Ｒ02とＲ00の画素値の差分を計算し、可逆圧縮回路８０で可逆符号化し、可逆圧縮する。他の画素についても左隣りの同色画素との画素値の差分を画像全体に渡って計算する。なお、画素Ｒ20のように左隣りに同色画素が無い場合には、上隣りの同色画素である画素Ｒ00の画素値との差分を計算する。他の色の画素についても同様に処理を行う。

圧縮した画像データのヘッダには、フレーム内可逆圧縮を行ったことを示す情報を追加する（ステップＳ１４）。そして、この圧縮した画像を記憶媒体２０に記録し（ステップＳ２３）、取得した画像の枚数が、電子ブレ補正処理に用いる予め設定した枚数に達したかどうかを判断し（ステップＳ２４）、予め定められた枚数に達していたら、ステップＳ２５に進む。

一方、予め定められた枚数にまだ達していなければ（ステップＳ２４でＮＯ）、ステップＳ１１に戻って、再び撮像素子１２を短秒時間露光して画像データを取得する。

一方、現フレームの画像が２枚目以降の場合には（ステップＳ１２でＮＯ）、手ブレ量検出回路６０で直前（１フレーム前）の画像に対する撮影時のブレ量を検出し、画素毎に位置のずれを計算する（ステップＳ１５）。画素の位置は回転行列により以下の式（１）により計算する。
X = sx + xcosθ - ysinθ
Y = sy + xsinθ + ycosθ …（１）

ただし、式（１）において、xは撮像素子１２の中心を原点とした、注目画素の水平方向の位置（中心より左がマイナス、右がプラス）である。同様に、yは撮像素子１２の中心を原点とした、注目画素の垂直方向の位置（中心より上がプラス、下がマイナス）である。また、sxは水平シフトブレ量、syは垂直シフトブレ量、θは回転ブレ角である。
一例として、図４を用いて、手ブレによる画素Ｒ22（注目画素）の位置のずれの計算方法を説明する。図４に示す例では、画素Ｒ22の撮像素子１２の中心に対する水平方向の位置xは−１．５、水平方向の位置yは０．５である。また、ここでは、ｎ＋１枚目（フレーム目）の画像のｎ枚目（フレーム目）の画像に対する水平シフトブレ量sxが−１、垂直シフトブレ量syが１．５、回転ブレ角θが１５度、ＸをＲ22_n+1_x、ＹをR22_n+1_yとする。この場合、上記式（１）から、以下の式（２）によりシフト後の位置を求めることができる。なお、Ｒ22_n+1_x、R22_n+1_yはそれぞれ、ｎ＋１枚目の画像の画素Ｒ22_n+1の、ｎ枚目の画像におけるｘ座標、ｙ座標を表す。
R22_n+1_x = sx + xcosθ - ysinθ
= -1 - 1.5*cos15° - 0.5*sin15°
= -2.578
R22_n+1_y = sy + xsinθ + ycosθ
= 1.5 - 1.5*sin15° + 0.5*cos15°
= 1.595 …（２）

上記式（２）中のsin15°及びcos15°は、補間値生成回路９０が正弦波テーブル９１から取得する。式（２）から、画素Ｒ22のｎ枚目の画像における画素は、中心からｘ方向に-2.578、ｙ方向に1.595にある画素に対応することが分かる。従って、図４に示すように、ｎ枚目の画素Ｂ11が、ｎ＋１枚目の画素Ｒ22に対応する。
シフト後、直前の画像と重ならない画素は（ステップＳ１６でＮＯ）、可逆圧縮回路８０でフレーム内可逆圧縮する（ステップＳ１７）。フレーム内可逆圧縮は、１枚目の画像をフレーム内可逆符号化した手順と同様にして隣接同色画素と画素値の差分を計算し、可逆符号化することで行う。

一方、直前の画像と重なる画素である場合には（ステップＳ１６でＹＥＳ）、フレーム間可逆圧縮を行う。

ベイヤー配列の場合、Ｇ画素と、Ｒ画素またはＢ画素では全画面に占める割合が異なるため、補間値生成回路９０で計算する補間値の計算方法を、Ｇ画素と、Ｒ画素またはＢ画素とで変える。圧縮対象の画素がＲ画素またはＢ画素である場合には（ステップＳ１８でＹＥＳ）、直前の画像の画素値から計算される補間値との差分をとり、可逆圧縮回路８０でフレーム間圧縮する。

先ず、Ｒ画素またはＢ画素の補間値の計算方法を図５を用いて説明する。

手ブレによりｎ＋１枚目の画像がｎ枚目の画像に対してずれ、式（２）を演算した結果、ｎ＋１枚目の画像の画素Ｒ22に対応するｎ枚目の画像の画素がＢ11であるとする。この場合、隣接するＲ画素がＲ00、Ｒ02、Ｒ20、Ｒ22であるので、画素Ｒ22に対応するｎ枚目の画像における補間値Ｒ’22_nは線形補間法で以下の式（３）により計算することができる。
R'22_n = { (2-dx)(2-dy)×R00 + dx(2-dy)×R02
+ (2-dx)dy×R20 + dx × dy × R22 } ÷ 4 …（３）

上記式（３）中、dxは画素Ｒ22の水平座標Ｒ22_n+1_xと、画素Ｒ00の水平座標Ｒ00_n_xの差分値、dyは画素Ｒ00の垂直座標Ｒ00_n_yと画素Ｒ22の垂直座標Ｒ22_n+1_yの差分値である。即ち、
dx = |R22_n+1_x - R00_n_x|
dy = |R22_n_y - R00_n+1_y| …（４）
である。計算された補間値Ｒ’22_nとｎ＋１枚目の画像の画素Ｒ22の差分値を計算してフレーム間可逆圧縮する。
また、補間値Ｒ’22_nとの差分値を計算するのではなく、ｎ＋１枚目の画素Ｒ22との距離が最も近い画素であるｎ枚目の画素Ｒ20との差分値を計算してもよいし、手ブレ量を考慮せず、ｎ枚目の画素Ｒ22との差分値を計算してもよい。

一方、圧縮対象の画素がＧ画素である場合には（ステップＳ１８でＮＯ）、直前の画像から計算される補間値との差分をとり、可逆圧縮回路８０でフレーム間圧縮する。

ここで、Ｇ画素の補間値の生成方法を図６及び図７を用いて説明する。

手ブレによりｎ＋１枚目の画像がｎ枚目の画像に対してずれ、式（２）を演算した結果、ｎ＋１枚目の画像の画素Ｇ23に対応するｎ枚目の画像の画素がＢ11であるとする。この場合、隣接するＧ画素がＧ01、Ｇ10、Ｇ12、Ｇ21であるので、Ｇ23に対応するｎ枚目の画像における補間値Ｇ’23_nは線形補間法で以下の手順で計算する。

ベイヤー配列ではＲ画素またはＢ画素は撮像面に格子状に配置されているのに対して、Ｇ画素はオフセット配置されている。そのためＧ画素の配置を格子状にして、Ｇ画素の補間値をＲ画素またはＢ画素の補間値の計算方法と同じ方法で計算するために、以下のようにする。まず、図６で示されたｎ枚目の画像を４５°回転させ（図７）、画素Ｇ01、Ｇ10、Ｇ12、Ｇ21のそれぞれの位置（座標）Ｇ01_n_x（y)、Ｇ10_n_x（y)、Ｇ12_n_x（y)、Ｇ21_n_x（y)を計算する。ここでは、回転行列を用いて以下の式（５）により計算する。なお、下記式（５）中のＧ’01_n(x,y)は、ｎ枚目の画像の画素Ｇ01を４５°回転した場合のx座標、y座標を表す。Ｇ’10_n(x,y)、Ｇ’12_n(x,y)、Ｇ’21_n(x,y)も同様である。
G’01_n(x,y) = ( G01_n_x × cos45° - G01_n_y × sin45°,
G01_n_x × cos45° + G01_n_y × sin(45° )
= √2/2 ( G01_n_x - G01_n_y, G01_n_x + G01_n_y )
G’10_n(x,y) = √2/2 ( G10_n_x - G10_n_y, G10_n_x + G10_n_y )
G’12_n(x,y) = √2/2 ( G12_n_x - G12_n_y, G12_n_x + G12_n_y )
G’21_n(x,y) = √2/2 ( G21_n_x - G21_n_y, G21_n_x + G21_n_y ) …（５）

また、ｎ＋１枚目の画像を４５°回転し、かつ手ブレ量を考慮した画素Ｇ23の位置G23_n+1を以下の式（６）で計算する。
G23_n+1(x,y)
= ( sx + xcos(θ＋45°) - ysin(θ＋45°), sy + xsin(θ＋45°) + ycos(θ＋45°) )
…（６）

上記式（６）中、式（１）と同様に、sxは水平シフトブレ量、syは垂直シフトブレ量、θは回転ブレ角である。d0、d1を以下の式（７）で定義すると
d0 = |G23_n+1_x − G’01_n_x|
d1 = |G23_n+1_y − G’01_n_y| …（７）
ｎ＋１枚目の画像の画素Ｇ23の位置Ｇ23_n+1_x（またはy)に対応するｎ枚目の画像の補間値G'23_nは線形補間法で以下の式（８）で計算される。
G'23_n = ( (√2-d0)(√2-d1) × G01_n + d0(√2-d1) × G12_n
+ (√2-d0) × d1 × G10_n + d0×d1×G21_n ) ÷2 …（８）
上記式（８）で計算された補間値Ｇ’23_nとＧ23_n+1の差分値を計算して可逆符号化して、フレーム間可逆圧縮する。
また、補間値Ｇ’23_nとの差分値を計算するのではなく、ｎ＋１枚目の画像の画素Ｇ23に近接する、ｎ枚目の画像の画素値Ｇ10_nとの差分値を計算してもよい。

また、ｎ枚目の画像とｎ＋１枚目の画像で重なる領域はフレーム内可逆圧縮とフレーム間可逆圧縮の両方を行い、圧縮画像データの符号量を比較し、符号量が少なくなる方を圧縮結果としてもよい。

全画素の処理が終了したら（ステップＳ２１でＹＥＳ）、最後に記憶媒体２０に圧縮記録されたファイルのヘッダにブレ量を書き込む（ステップＳ２２）。これにより、ＰＣ側ではフレーム間可逆圧縮された領域とフレーム内可逆圧縮された領域を識別して復号化することができる。その後、ステップＳ２３に進み、上述した処理を行う。

また、手ブレ量検出回路６０で検出された手ブレ量が示す手ブレを相殺するように、重ね合わせ合成する手ブレ補正を手ブレ補正回路９３で行って、記憶媒体２０に記録してもよい。

また、１枚目に撮影された画像をフレーム内可逆圧縮した結果と、２枚目以降に撮影された画像をフレーム間可逆圧縮ないしはフレーム内可逆圧縮した一連の結果を、１つのセットとして関連付けて記憶媒体２０に記録する（ステップＳ２５）。

上記の通り、本発明によれば、複数の画像を相対的にシフトすることにより手ブレを補正する場合に、シフト後の画像間で互いに対応する画素が異なる色信号を出力する場合であっても、同色の色信号を用いてフレーム間可逆圧縮を行うことが可能になる。

なお、上述実施形態では、電子手ブレ補正に本発明を適用する場合について説明したが、一般的に複数の一連の画像（例えば、連写画像や動画）を記録する場合に適用しても良い。その場合、例えば、連写画像の１枚目や、動画撮影を開始した直後の１フレーム目の画像をフレーム内可逆圧縮し、２枚目または２フレーム目以降の画像を、上述したように手ブレを補正しながらフレーム間可逆圧縮を行うようにする。

また、上記実施形態では撮像素子１２がベイヤー配列のフィルタにより覆われている場合について説明したが、本発明はこれに限るものではなく、他の配色のフィルタ（例えば補色系のフィルタ）により覆われている場合にも、本発明を適用することができる。配色が異なる場合、図５乃至図７を参照して説明したものと画素値の補間方法が異なるが、周辺の同色画素からの画素値を用いて補間すればよい。

本発明の実施の形態における撮像装置の概略構成を示すブロック図である。本発明の実施の形態における撮像素子の画素の色配列の一例を示す図である。本発明の実施の形態において複数フレームを可逆圧縮する動作を表すフローチャートである。シフトブレと回転ブレが同時に検出された場合の、位置ずれの計算方法を説明するための図である。Ｒ画素またはＢ画素の補間値の算出方法を説明するための図である。Ｇ画素の補間値の算出方法を説明するための図である。Ｇ画素の補間値の算出方法を説明するための図である。

符号の説明

１０撮像レンズ
１２撮像素子
１４Ａ／Ｄ変換器
１６Ｄ／Ａ変換器
１８画像表示部
２０記憶媒体
３０画像処理回路
４０メモリ
５０制御回路
６０手ブレ量検出回路
８０可逆圧縮回路
９０補間値生成回路
９１正弦波テーブル
９２操作部
９３手ブレ補正回路
１００撮像装置

Claims

フレーム間可逆圧縮を行う撮像装置であって、
画素毎にベイヤー配列されたＲ、Ｇ、Ｂのいずれかの色の画素値を出力する撮像素子を用いて撮影を行い、１フレーム分の画像データを出力する撮像手段と、
前記撮像手段による前記撮影時の手ブレ量を検出する手ブレ量検出手段と、
前記検出した手ブレ量が示す手ブレを相殺するように、現フレームの画像データと１フレーム前の画像データの画素の位置を相対的にシフトするシフト手段と、
前記シフト後に、前記現フレームのＲ及びＢ画素に対応する前記１フレーム前の各画素を、前記ベイヤー配列の格子状配置に基づいて対応する前記現フレームの画素と同じ色の画素値を持つように補間し、前記現フレームのＧ画素に対応する１フレーム前の各画素を、前記ベイヤー配列のオフセット配置に基づいてＧの画素値を持つように補間する補間手段と、
Ｒ、Ｇ、Ｂそれぞれについて前記現フレームの画素値と前記１フレーム前の補間された画素値との差分を対応する画素毎に計算し、該計算したＲ、Ｇ、Ｂの差分を可逆圧縮することにより、前記現フレームの画像データを可逆圧縮するフレーム間可逆圧縮手段と、
前記可逆圧縮された圧縮画像データと、前記手ブレ量とを関連づけて記憶する記憶手段と
を有することを特徴とする撮像装置。
前記現フレームの画像が前記１フレーム前の画像に関連しているかどうかを判断する判断手段を更に有し、
前記判断手段による判断結果に基づいて、前記１フレーム前の画像に関連していない前記現フレームの画像に対して、フレーム内可逆圧縮する手段を更に有することを特徴とする請求項１に記載の撮像装置。
前記現フレームの画像が前記１フレーム前の画像に関連しない場合とは、前記現フレームの画像が連写の１フレーム目の画像である場合と、動画撮影を開始したときの１フレーム目の画像である場合とを含むことを特徴とする請求項２に記載の撮像装置。
前記記憶手段で記憶された、連写して得られた複数フレーム分の画像データを、前記手ブレ量が示す手ブレを相殺するように重ね合わせ合成する画像処理手段を更に有することを特徴とする請求項３に記載の撮像装置。
フレーム内可逆圧縮を行うフレーム内可逆圧縮手段と、
前記現フレームの画像信号を前記フレーム間可逆圧縮手段により圧縮して得られた前記圧縮画像データの符号量と、前記フレーム内可逆圧縮手段により圧縮して得られた圧縮画像データの符号量とを比較する比較手段とを更に有し、
前記記憶手段では、前記比較の結果、符号量が少ない圧縮画像データを記憶することを特徴とする請求項１に記載の画像処理装置。
フレーム内可逆圧縮を行うフレーム内可逆圧縮手段を更に有し、
前記１フレーム前の画像と前記現フレームの画像が重なる領域に対しては、前記フレーム間可逆圧縮手段がフレーム間可逆圧縮を行い、前記１フレーム前の画像と前記現フレームの画像が重ならない領域に対しては、前記フレーム内可逆圧縮手段がフレーム内可逆圧縮を行うことを特徴とする請求項１に記載の画像処理装置。
フレーム間可逆圧縮を行う画像処理方法であって、
撮像手段が、画素毎にベイヤー配列されたＲ、Ｇ、Ｂのいずれかの色の画素値を出力する撮像素子を用いて撮影を行い、１フレーム分の画像データを取得する撮影工程と、
手ブレ量検出手段が、前記撮影工程における前記撮影時の手ブレ量を検出する手ブレ量検出工程と、
シフト手段が、前記検出した手ブレ量が示す手ブレを相殺するように、前記撮影工程で取得した現フレームの画像データと１フレーム前の画像データの画素の位置を相対的にシフトするシフト工程と、
補間手段が、前記シフト後に、前記現フレームのＲ及びＢ画素に対応する前記１フレーム前の各画素を、前記ベイヤー配列の格子状配置に基づいて対応する前記現フレームの画素と同じ色の画素値を持つように補間し、前記現フレームのＧ画素に対応する１フレーム前の各画素を、前記ベイヤー配列のオフセット配置に基づいてＧの画素値を持つように補間する補間工程と、
フレーム間可逆圧縮手段が、Ｒ、Ｇ、Ｂそれぞれについて前記現フレームの画素値と前記１フレーム前の補間された画素値との差分を対応する画素毎に計算し、該計算したＲ、Ｇ、Ｂの差分を可逆圧縮することにより、前記現フレームの画像データを可逆圧縮するフレーム間可逆圧縮工程と、
前記可逆圧縮された圧縮画像データと、前記手ブレ量とを関連づけて記憶手段に記憶する記憶工程と
を有することを特徴とする画像処理方法。
判断手段が、前記現フレームの画像が前記１フレーム前の画像に関連しているかどうかを判断する判断工程を更に有し、
前記判断工程における判断結果に基づいて、フレーム内可逆圧縮手段が、前記１フレーム前の画像に関連していない前記現フレームの画像をフレーム内可逆圧縮する工程を更に有することを特徴とする請求項７に記載の画像処理方法。
前記現フレームの画像が前記１フレーム前の画像に関連しない場合とは、前記現フレームの画像が連写の１フレーム目の画像である場合と、動画撮影を開始したときの１フレーム目の画像である場合とを含むことを特徴とする請求項８に記載の画像処理方法。
前記記憶工程で記憶された、連写して得られた複数フレーム分の画像データを、前記手ブレ量が示す手ブレを相殺するように重ね合わせ合成する工程を更に有することを特徴とする請求項９に記載の画像処理方法。
フレーム内可逆圧縮手段が、フレーム内可逆圧縮を行うフレーム内可逆圧縮工程と、
比較手段が、前記現フレームの画像信号を前記フレーム間可逆圧縮工程で圧縮して得られた前記圧縮画像データの符号量と、前記フレーム内可逆圧縮工程で圧縮して得られた圧縮画像データの符号量とを比較する比較工程とを更に有し、
前記記憶工程では、前記比較の結果、符号量が少ない圧縮画像データを記憶することを特徴とする請求項７に記載の画像処理方法。
フレーム内可逆圧縮手段が、フレーム内可逆圧縮を行うフレーム内可逆圧縮工程を更に有し、
前記１フレーム前の画像と前記現フレームの画像が重なる領域に対しては、前記フレーム間可逆圧縮工程でフレーム間可逆圧縮を行い、前記１フレーム前の画像と前記現フレームの画像が重ならない領域に対しては、前記フレーム内可逆圧縮工程でフレーム内可逆圧縮を行うことを特徴とする請求項７に記載の画像処理方法。