JP5167385B2 - デジタルカメラ - Google Patents

Description

本発明は、デジタルカメラ、あるいは撮影機能を備えた携帯電話などに関し、特に、画像データの圧縮処理に関する。

ＲＡＷデータなどの画像データを高画質のまま記録する場合などでは、原画像データの情報を失わずに復元できる可逆符号化方式に従って画像データが記録される。ＪＰＥＧに準拠した可逆符号化方式では、空間（Spatial）方式が適用されており、ＤＰＣＭ変換に従って隣接する画素データの差分値が順次算出され、ハフマンテーブルに基づきハフマン符号化される。圧縮画像データのデータ量を少なくするため、例えば、あらかじめ用意された複数のハフマンテーブルそれぞれを使用して画像データを符号化処理し、最もデータ量の少ない符号データを選択する（特許文献１参照）。

特開２００１−６１０６７号公報

可逆符号化方式で画像データを圧縮する場合、出現頻度が高いものを予測して圧縮処理が行われるため、隣接画素間の相関関係が低い画像では、圧縮画像データのデータ量が原画像データのデータ量よりも大きくなることがある。一方、カメラで連続撮影等を行う場合、画像データの圧縮、記録処理をできるだけ短時間で行う必要がある。

本発明の撮影装置は、カメラ、カメラ付き携帯電話など撮影装置であり、撮像素子と、撮影動作を実行して撮像素子に被写体像を形成させる露出制御手段と、撮像素子から読み出される画素信号に基づいて画像データを生成する信号処理手段と、複数の画素データによって構成される画像データを、可逆符号化方式に従って圧縮する符号化手段を備える。画像データとして、例えば各画素データがそのまま撮像素子から読み出されるＲＡＷデータを符号化処理の対象とすればよい。可逆符号化方式としては、ＪＰＥＧに準拠した可逆符号化方式を適用すればよく、符号化としては、エントロピー符号化、算術符号化を適用可能であり、エントロピー符号化としては例えばハフマン符号化が用いられる。例えば、ＤＰＣＭ変換によって隣接する画素データの差分値を符号化すればよい。ベイヤー配列等による色フィルタが撮像素子に配設された撮像素子を備えたカメラ等においてカラー画像を圧縮する場合などでは、相関関係の高い同色の隣接画素によって差分値を生成するのがよい。

そして、本発明の撮影装置は、画像データが圧縮されたときのデータ量が画像データのデータ量（以下では、原データ量という）より大きくなると判断した場合、画像データを圧縮せずにそのままメモリに記録し、圧縮データ量が原データ量より大きくならないと判断した場合、前記符号化手段によって生成される圧縮画像データを前記メモリに記録する記録制御手段とを備える。相関関係の低い原画像のデータの場合には原画像データがそのまま記録され、保存されるデータ量が抑えられる。また、圧縮画像データを記録する前にデータ量が判別され、短時間で効果的な記録処理が実行される。メモリは、例えばメモリカードなどの着脱自在にカメラ等の機器へ装着されるメモリであり、画像データを保存、再生等のため記録するのに用いられる。なお、一フレーム分の前画像を対象として原データ量との比較判断をしてもよいが、一部（例えば半分）画像を対象として比較判断してもよい。

さらに本発明の撮影装置は、露出制御手段が、連写撮影モードが設定されると、１フレーム分の画像データが順次メモリへ記録されるように、撮影動作を繰り返し実行し、記録制御手段が、連写撮影が行われていると判断すると、各撮影動作において、前の撮影動作によって記録された画像データが圧縮画像データである場合には符号化手段によって生成される圧縮画像データをメモリに記録し、前の撮影動作によって記録された画像データが圧縮処理していない画像データである場合には圧縮処理していない画像データをそのままメモリへ記録することを特徴とする。

圧縮画像データのデータ量と原画像データのデータ量を比較判断する方法として、実際に画像データを圧縮して判断するか、あるいは、記録処理を短縮化するため、画像データの一部データを利用して圧縮データ量を推定するのが望ましい。

実際に画像データを圧縮して判断する場合、画像データを実際に符号化処理することにより生成された圧縮画像データのデータ量（以下では、圧縮データ量という）と、原データ量とを比較する第１の比較手段を設ける。そして、記録制御手段は、圧縮データ量が原データ量より小さい場合には圧縮画像データをメモリに記録する一方、圧縮データ量が原データ量より大きい場合には画像データをそのままメモリに記録する。

一方、画像データそのものを圧縮しないで比較判断する場合、画像データの一部を抽出し、画像データの一部として構成されるデータ（以下では、部分的画像データという）を形成する抽出手段を設け、また、部分的画像データを可逆符号化方式に従って符号化処理し、その圧縮データである部分的圧縮画像データを生成する前段階符号化手段を備える。そして、部分的圧縮画像データと画像データとの対応関係に基づき、部分的圧縮画像データの圧縮データ量から、原画像データの圧縮データ量に相当するデータ量（以下では、推定圧縮データ量という）を算出する算出手段と、推定圧縮データ量と、原データ量とを比較する第２の比較手段とを設けるのが望ましい。

部分的圧縮画像データと画像データとの対応関係として、例えば画像サイズ比、画素数比などから推定圧縮データ量が求められる。記録制御手段は、推定圧縮データ量が原データ量より小さい場合には圧縮画像データをメモリに記録する一方、推定圧縮データ量が原データ量より大きい場合には画像データをメモリに記録する。

画像データの一部を抽出する構成として、例えば、画像データの相関関係を維持するように、画像データを分割することによって規定される複数のブロックから一部のブロックを抽出すればよい。例えば、原画像データを解像度変換したデータを得ればよく、ブロックごとに、あるいは、画素配列に沿って間引き処理（ダウンサンプリング）すればよい。

本発明によれば、可逆符号化方式によっても画像データのデータ量を確実に抑え、効率よく画像データを記録することができる。

第１の実施形態であるデジタルスチルカメラの背面図である。 デジタルスチルカメラのブロック図である。 第１の実施形態における非可逆符号化方式に基づいた画像記録制御処理を示したフローチャートである。 色フィルタの配列に応じた画素データの配列を示した図である。 第２の実施形態における可逆符号化方式に基づいた画像記録制御処理を示したフローチャートである。 ブロックごとに分割された画像を示した図である。

以下では、図面を参照して本発明の実施形態について説明する。

図１は、第１の実施形態であるデジタルスチルカメラの背面図である。

デジタルスチルカメラ１０の背面１０Ｂには、被写体像を動画／静止画として表示可能なＬＣＤモニタ３０が設けられており、ＬＣＤモニタ３０の上には、ファインダ窓２２が設置されている。また、デジタルカメラ１０の背面１０Ｂには、ユーザによって操作される一連のボタン等が設けられており、ここでは、ズームレバー１２、上キーボタン１６Ｕ、下キーボタン１６Ｄ、右キーボタン１６Ｒ、左キーボタン１６Ｌから構成される十字キーボタン１６、実行ボタン１８、モード切替ボタン１９が配置されている。モード切替ボタン１９は、メニューモード、撮影モード、再生モード等などのモードを切り替えるために操作される。

カメラ上面１０Ｕには、メインスイッチボタン１１、レリーズボタン１３が設けられている。レリーズボタン１３の操作によって被写体像が記録されるとともに、メインスイッチボタン１１に対する操作により、カメラが起動する。十字キーボタン１６の操作によって撮影方式の選択モードが設定されると、通常撮影モード、連写撮影モードなどが選択される。また、十字キーボタン１６の操作によって圧縮方式の選択モードが設定され、ＪＰＥＧに準拠した非可逆圧縮（符号化）方式、もしくは可逆圧縮（符号化）方式が選択される。

図２は、デジタルスチルカメラ１０のブロック図である。

ＣＰＵ５０Ａ、ＲＡＭ５０Ｂ、ＲＯＭ５０Ｃを含むシステムコントロール回路５０はデジタルカメラ１０の動作を制御し、メインスイッチ１１Ａ、ズームスイッチ１２Ａ、レリーズ半押しスイッチ１３Ａ、レリーズ全押しスイッチ１３Ｂ、選択スイッチ１６Ａ、実行スイッチ１８Ａ、モード切替スイッチ１９Ａなどがシステムコントロール回路５０に接続されている。ＲＯＭ５０Ｃには、カメラ動作を制御処理するプログラムがあらかじめ格納されている。

モード切替ボタン１９の操作によって通常撮影モードが設定されている場合、撮影する被写体をＬＣＤモニタ３０に動画像として表示するための信号処理が施される。被写体からの反射光が撮影光学系１５を通り、被写体像がＣＣＤ４０の受光面に結像される。これにより、被写体像に応じたアナログ画像信号が発生する。ＣＣＤ４０には、赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色の色要素をベイヤー配列した色フィルタ４０Ａが受光面と向き合うように配設されており、各色要素に応じた画素信号から構成される画像信号が発生する。

ＣＣＤ４０はＣＣＤ駆動回路５２によって駆動され、一連の画像信号が所定の時間間隔でＣＣＤ４０から読み出されてアンプ回路４２へ順次送られる。ここでは、ビデオ規格に合わせて１フレーム（フィールド）分の画像信号が１／３０（１／６０）秒間隔で読み出される。ＣＣＤ４０から読み出された画素信号がアンプ回路４２において増幅処理されると、Ａ／Ｄ変換器４４では、アナログの画像信号がデジタルの画像信号に変換され、画像処理回路４６に送られる。

画像処理回路４６では、ホワイトバランス、ガンマ補正処理などの様々な信号処理がデジタル画像信号に対して施される。処理されたデジタル画像信号は、フレームメモリ４８に画像データとして一時的に格納された後、ＬＣＤドライバ４７へ送られる。ＬＣＤドライバ４７では、送られてきた画像信号に基づいてＬＣＤモニタ３０を制御する。これにより、被写体像がＬＣＤモニタ３０に動画像として表示される。また、デジタル画像信号に基づいて輝度信号が１フレーム（フィールド）分の画像信号に従って順次生成され、システムコントロール回路５０へ送られる。

撮影光学系１５にはフォーカシングレンズ１５Ａが含まれており、レンズ駆動部６４により光軸に沿って駆動される。レンズ駆動部６４は露出制御回路５８によって制御され、システムコントロール回路５０からの制御信号に基いて撮影光学系１５の光軸に沿った位置が合焦するように調整される。

被写体を撮影するためにレリーズボタン１３が半押しされると、レリーズ半押しスイッチ１３ＡがＯＮ状態となって半押し操作が検出され、判押し時に得られた被写体像の画像信号に基づいて、ＡＦ動作が実行されるとともに露出値が演算される。さらにレリーズボタン１３が全押しされると、レリーズ全押しスイッチ１３ＢがＯＮ状態となって全押し操作が検出され、シャッタ２８が所定期間だけ開く。シャッタ２８は露出制御回路５８によって制御されている。

被写体像に応じた１フレーム分の画像信号がＣＣＤ４０から読み出されると、アンプ回路４２、Ａ／Ｄ変換器４４、画像処理回路４６において画像信号が処理され、画像データがフレームメモリ４８に一時的に格納される。格納された画像データは圧縮回路６２へ送られる。圧縮回路６２では、画像データに対して圧縮処理が施され、圧縮された画像データはメモリカード６０に記録される。

可逆圧縮方式が選択されている場合、ＣＣＤ４０から読み出された画像信号に対して加算等の処理が行われず、各画素データが独立して固有の情報をもつＲＡＷデータとして画像データが生成され、圧縮回路６２へ送られる。圧縮回路６２では、ＲＡＷデータに対してハフマン符号化処理が施され、後述するように、生成された圧縮画像データもしくはＲＡＷデータのいずれかが選択的にメモリカード６０に記録される。システムコントロール回路５０は、圧縮画像データのデータ量（データサイズ）を検出し、画像処理回路４６、フレームメモリ４８、メモリカード６０、圧縮回路６２を制御する。

モード切替ボタン１９の操作によって再生モードが選択された場合、システムコントロール回路５０において再生モード選択が検出される。そして、メモリカード６０から圧縮された画像信号が読み出され、圧縮回路６２において伸張処理されると、画像信号が画像処理回路４６を介してＬＣＤドライバ４７へ送られる。ＬＣＤドライバ４７では、送られてきた画像信号に基いてＬＣＤモニタ３０を制御し、これにより、記録された被写体像がＬＣＤモニタ３０に再生表示される。

連写撮影モードが設定された場合、システムコントロール回路５０からレンズ駆動部６４、露出制御回路５８へ制御信号が送信され、シャッタの開閉等の撮影動作が繰り返し実行される。これに応じて、１フレーム分の画像信号が順次フレームメモリ４８、圧縮回路６２に送信され、画像データがメモリカード６０に記録されていく。

図３は、第１の実施形態における可逆符号化方式に基づいた画像記録制御処理を示したフローチャートである。図４は、色フィルタ４０Ａの配列に応じた画素データの配列を示した図である。

ステップＳ１０１では、圧縮回路６２において、ＤＰＣＭ変換によりＲＡＷデータの差分値が算出され、あらかじめ用意されたハフマンテーブルのデータに基づいて差分値がハフマン符号化される。図４に示すように、各色要素に応じた画素データに対し、ＣＣＤ４０の横方向（水平走査方向）に沿って差分値が順番に算出される。差分値は、以下の式に示すように、色フィルタ４０Ａの色要素が同色である２画素前の画素データとの差を表す。

ＤＲ_ｍ＝Ｒ_ｍ−Ｒ_ｍ＋１（ｍ＝０、１、２・・・）
ＤＧｂ_ｍ＝Ｇｂ_ｍ−Ｇｂ_ｍ＋１
ＤＧｒ_ｍ＝Ｇｒ_ｍ−Ｇｒ_ｍ＋１
ＤＢ_ｍ＝Ｂ_ｍ−Ｂ_ｍ＋１

ハフマン符号化処理に使用されるハフマンテーブルは標準的なハフマンテーブルが用いられており、ハフマンテーブルを参照しながら画像データの各差分値がハフマン符号に変換する。そして、ハフマン符号を上位ビット、他の付加情報を下位ビットして組み合わせることにより、符号化データが圧縮画像データとして生成される。ＲＡＷデータは、ここでは１２ビットデータであり、符号化データは、１〜２４ビットの可変長ビットで表される。

ステップＳ１０２では、圧縮画像データのデータ量（圧縮データ量）が、画像データの非圧縮状態でのデータ量（原データ量）よりも大きいか否かが判断される。画像データのデータ量はＣＣＤ４０の画素数に基づいてあらかじめ定められ、また、圧縮画像データのデータ量は、符号化データのデータ量として検出される。圧縮画像データのデータ量が画像データのデータ量よりも大きいと判断されると、ステップＳ１０４に進み、生成された圧縮画像データはメモリカード６０に記録されず、画像データがＲＡＷデータとしてフレームメモリ４８から読み出され、システムコントロール回路５０を介してメモリカード６０に記録される。一方、圧縮画像データのデータ量が画像データのデータ量よりも小さいと判断されると、ステップＳ１０３へ進み、生成された圧縮画像データがメモリカード６０に記録される。また、圧縮画像データの記録とともに、圧縮処理の有無、すなわち圧縮処理によって記録されたか否かを知らせるデータが記録される。

なお、撮影時間間隔を計測することによって連写撮影などの連続撮影を行っていることを判断し、前画像の圧縮処理の有無から、圧縮処理するか否かを判断してもよい。また、ステップＳ１０２における圧縮データ量と原データ量との判断を、一フレーム分の画像の代わりに一部画像を用いて判断してもよい。

次に、図５、６を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、画像データの一部を利用して圧縮画像データのデータ量を予測、推定し、圧縮画像データもしくは非圧縮の原画像データを選択的に記録する。それ以外の構成については、第１の実施形態と実質的に同じである。

図５は、第２の実施形態における可逆符号化方式に基づいた画像記録制御処理を示したフローチャートである。図６は、ブロックごとに分割された画像を示した図である。

ステップＳ２０１では、圧縮対象となる画像データの一部が抽出される。図６には、複数のブロックに分割された画像が示されており、各ブロックは所定の画素数で構成されている。ここでは、ブロックを単位とした間引き処理が実行され、画像全体の中で、縦方向、横方向にそれぞれ１／２ずつブロックを等間隔で間引く処理が実行される（図６に示す斜線の引いたブロックが取り除かれる）。フレームメモリ４８では、原画像データに対して抽出すべき画像データが読み出され、抽出された画像データが圧縮回路６２へ送られる。

ステップＳ２０２では、間引き処理によって抽出された画像データに対してハフマン符号化処理が施され、符号化データ（部分的圧縮画像データ）が生成される。この符号化データに基づいて、原画像データを圧縮した場合のデータ量を推定する。間引き処理後の画像データは、原画像データの１／４の画素数で構成される、すなわち画像サイズが１／４である。そのため、部分的圧縮画像データのデータ量を４倍にした値を原画像データ全体を圧縮したときのデータ量（推定圧縮データ量）とみなす。

ステップＳ２０３では、算出された圧縮データ量が、原画像データ全体のデータ量よりも大きいか否かが判断される。算出された圧縮データ量が、原画像データのデータ量よりも大きいと判断されると、ステップＳ２０５へ進む。ステップＳ２０５では、フレームメモリ４８に格納されていた画像データが、ＲＡＷデータとしてシステムコントロール回路５０へ送られ、圧縮処理されずにそのままメモリカード６０に記録される。一方、算出された圧縮データ量（推定圧縮データ量）が原画像データのデータ量よりも小さいと判断されると、ステップＳ２０４へ進む。ステップＳ２０４では、フレームメモリ４８に格納されていた原画像データ全体が圧縮回路６２へ送られ、画像データに対してハフマン符号化処理が施される。そして、符号化データがメモリカード６０に記録される。

第２の実施形態によれば、画像データの一部だけを圧縮処理して圧縮画像データのデータ量を推定するため、画像データの記録処理スピードが向上し、画素数の多いＣＣＤ（数百万、数千万画素）を使用してＲＡＷデータを記録する場合にも短時間で記録が可能であり、連写撮影の場合、撮影時間間隔を短縮することができる。

画像データの一部を抽出する方法としては、ブロックごとに間引く処理以外の方法でも可能であり、例えば、画素をダウンサンプリングする間引き処理や、一部エリアを抽出する処理などを適用してもよい。解像度変換処理など、原画像データの相関関係を維持するように画像データの一部を抽出すればよい。

符号化処理に関しては、ハフマン以外のエントロピー符号化処理、あるいは算術符号化処理を適用してもよい。また、メモリカード以外の記録用メモリに画像データを記録してもよい。

ＲＡＷデータ以外の画像データに対しても可逆圧縮処理を適用してもよい。また、色フィルタは補色フィルタなど任意であり、モノクロ画像においても適用可能である。また、デジタルスチルカメラ以外のムービーカメラ、あるいは撮影機能を備えた携帯電話などに適用可能であり、さらには、コンピュータ、インターネット間での圧縮システムにも適用可能である。

原データ量との比較については、一フレーム分の画像を対象として行う代わりに、一部画像を抽出して判断してもよく、連写撮影などの場合、前画像の圧縮処理の有無に応じて、間引き処理の間引く程度を変えてもよい。

１０ デジタルスチルカメラ
４６ 画像処理回路
４８ フレームメモリ
５０ システムコントロール回路（記録制御手段）
６０ メモリカード
６２ 圧縮回路（符号化手段）

Claims (9)

1. 撮像素子と、
   撮影動作を実行して前記撮像素子に被写体像を形成させる露出制御手段と、
   前記撮像素子から読み出される画素信号に基づいて画像データを生成する信号処理手段と、
   前記撮像素子から読み出される複数の画素データによって構成される画像データを、可逆符号化方式に従って圧縮する符号化手段と、
   画像データを圧縮したときのデータ量が前記画像データの原データ量より大きくなると判断した場合、圧縮処理していない画像データをそのままメモリに記録し、圧縮データ量が原データ量より大きくならないと判断した場合、前記符号化手段によって生成される圧縮画像データを前記メモリに記録する記録制御手段とを備え、
   前記露出制御手段が、連写撮影モードが設定されると、１フレーム分の画像データが順次前記メモリへ記録されるように、撮影動作を繰り返し実行し、
   前記記録制御手段が、連写撮影が行われていると判断すると、各撮影動作において、前の撮影動作によって記録された画像データが圧縮画像データである場合には前記符号化手段によって生成される圧縮画像データを前記メモリに記録し、前の撮影動作によって記録された画像データが圧縮処理していない画像データである場合には圧縮処理していない画像データをそのまま前記メモリへ記録することを特徴とする撮影装置。
2. 前記画像データを実際に符号化処理することにより生成された圧縮画像データの圧縮データ量と、前記原データ量とを比較する第１の比較手段をさらに有し、
   前記記録制御手段が、前記圧縮データ量が前記原データ量より小さい場合には前記圧縮画像データを前記メモリに記録する一方、前記圧縮データ量が前記原データ量より大きい場合には前記画像データをそのまま前記メモリに記録することを備えたことを特徴とする請求項１に記載の撮影装置。
3. 前記画像データの一部を抽出し、部分的画像データを形成する抽出手段と、
   前記部分的画像データを可逆符号化方式に従って符号化処理し、部分的圧縮画像データを生成する前段階符号化手段と、
   前記部分的画像データと前記画像データとの対応関係に基づき、前記部分的圧縮画像データの圧縮データ量から、前記画像データの圧縮データ量に相当する推定圧縮データ量を算出する算出手段と、
   前記推定圧縮データ量と、前記原データ量とを比較する第２の比較手段とをさらに有し、
   前記記録制御手段が、前記推定圧縮データ量が前記原データ量より小さい場合には前記圧縮画像データを前記メモリに記録する一方、前記推定圧縮データ量が前記原データ量より大きい場合には前記画像データを前記メモリに記録することを特徴とする請求項１に記載の撮影装置。
4. 前記算出手段が、前記部分的圧縮画像データと前記画像データとの画像サイズの比に基づき、前記推定圧縮データ量を算出することを特徴とする請求項３に記載の撮影装置。
5. 前記抽出手段が、前記画像データの相関関係を維持するように、前記画像データを分割することによって規定される複数のブロックから一部のブロックを抽出することを特徴とする請求項３に記載の撮影装置。
6. 前記抽出手段が、間引き処理をすることを特徴とする請求項３に記載の撮影装置。
7. 前記前段階符号化手段および前記符号化手段が、エントロピー符号化処理を実行することを特徴とする請求項３に記載の撮影装置。
8. 前記前段階符号化手段および前記符号化手段が、隣接する画素データの差分値を符号化することを特徴とする請求項３に記載の撮影装置。
9. 複数の色要素から構成される色フィルタを配設した撮像素子によって画像データが生成される場合、前記前段階符号化手段および前記符号化手段が、同じ色要素に応じた画素データの差分値を符号化することを特徴とする請求項３に記載の撮影装置。
   
   

Images