JP5749401B2 - 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラムに係り、特に、画像データの圧縮処理技術に関する。

カメラ等の撮像デバイスの分野では、ＲＧＢ等のカラーフィルタが配設された撮像素子（ＣＣＤ、ＣＭＯＳ等）によってデジタル撮影画像が取得されている。撮像取得される画像データは様々な画像フォーマットで保存・出力され、例えば撮像素子からの電気信号をデジタルデータ化したＲＡＷデータの形式や、ＪＰＥＧ等の所定の画像フォーマット形式で保存・出力される。

とりわけ、画像データを圧縮してデータ量を低減させたＪＰＥＧ形式は、圧縮率が比較的高いにもかかわらず画質の劣化が比較的目立たないことから、撮像デバイスの分野において広く利用されている。このＪＰＥＧ形式等の画像圧縮処理に関し、様々な技術が提案されている。

例えば特許文献１は、視覚特性に基づいた量子化を可能とする画像情報符号化方法を開示する。この特許文献１に開示される方法によれば、輝度信号及び色差信号の圧縮処理において、各々異なる量子化パラメータＱＰｌｕｍａ、ＱＰｃｈｒｏｍａが使用される。２つの量子化パラメータの重み付けは変えられるが、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）及びＢ（ＱＰ）が、Ａ（ＱＰ）×Ｂ（ＱＰ）＝Ｃｏｎｓｔ．（ただし、Ｃｏｎｓｔ．は定数）の関係を満たす。なお、量子化行列は、ユーザーがピクチャ単位で設定可能であるが、設定されていない場合には所定のデフォルト値が用いられる。

また特許文献２は、入力画像の色成分にあった量子化係数を選択し、画像圧縮処理による画質劣化を減少するための画像処理装置を開示する。この特許文献２に開示される画像処理装置では、輝度データ及び色差データの少なくとも一方のデータ成分の割合が算出され、その算出結果により量子化パラメータが選択される。

また特許文献３は、記録媒体におけるデータ容量の負担を軽減してユーザーによる所望の画素補間を可能にするため、デジタル撮像データとともに、各画素に対応するカラーフィルタの配列をフィルタ配列データとして記録するデジタルカメラを開示する。

特開２００３−２８９５４２号公報 特開２００２−３５４２６６号公報 特開平１１−１６８７４５号公報

近年の撮像素子の高画素化に伴って撮像データのデータサイズ（データ量）は全体的に肥大化の傾向にあり、画質劣化を抑えつつ高効率に圧縮保存することが、撮像技術分野における課題の一つとなっている。

また、光学ローパスフィルタ等により画像データの高周波成分を取り除いてモアレ等の画像劣化を抑えることが行われているが、カラーフィルタの配列パターンを工夫することで、ローパスフィルタを使用しなくても、モアレ等の画像劣化が十分に抑制された撮影画像を取得することもできるようになってきている。そのため、カラーフィルタの配列パターン次第では、光学ローパスフィルタを積極的に使用せずに、高周波成分を失うことなく、解像度感をより高めた撮影画像を取得することも可能となっている。しかしながら、そのような高周波成分を含む画像データは、従来の圧縮処理ではデータサイズが十分に小さくならなかったり、高周波成分を含むことの優位性を十分に活かしきれなかったりする場合も想定される。

このように、光学ローパスフィルタの有無や各種配列パターンのカラーフィルタの使用など、撮像装置の構成及び機能も多様化しているが、特許文献１や特許文献２に開示されるような従来の技術では、上記多様化に対応した適切な画像圧縮処理が難しい。

例えば特許文献１に開示される技術は、擬似輪郭の発生防止等の視覚特性に応じた量子化を可能にするかもしれないが、光学ローパスフィルタの有無やカラーフィルタの配列パターンの変更に対して適正化が図られていない。また特許文献２には、入力画像の色成分にあった量子化係数を選択する圧縮処理技術の一例が開示されているが、特許文献１と同様に、この特許文献２に開示される技術も光学ローパスフィルタの有無やカラーフィルタの配列パターンの変更に対して適正化が図られていない。さらに、特許文献３に開示される技術も光学ローパスフィルタの有無等に対して適正化が図られていない。

したがって、特許文献１〜特許文献３に開示の技術では、光学ローパスフィルタの有無等に応じて、画質劣化を抑えて高効率に画像データを圧縮保存することが難しい。

本発明は上述の事情に鑑みてなされたものであり、光学ローパスフィルタの有無等に適切に対応した画像圧縮処理を可能にする技術を提供することを目的とする。

本発明の一態様は、画像データを圧縮パラメータに基づいて圧縮する画像処理装置であって、入力される画像データに撮影条件データが付加されているか否か及び撮影条件データの内容を取得するデータ取得部と、データ取得部による撮影条件データの取得結果に基づいて、圧縮パラメータを決定する圧縮パラメータ決定部と、決定された圧縮パラメータに基づいて、画像データを圧縮処理する圧縮処理部と、を備え、撮影条件データは、画像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む画像処理装置に関する。

本態様によれば、光学ローパスフィルタの有無に関する情報に基づいて圧縮パラメータが決定されるので、光学ローパスフィルタの有無に応じた適切な圧縮処理を画像データに施すことができる。

なお、ここでいう「圧縮処理」は、データ量を低減させる処理全般を含みうる概念であり、いわゆるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式やＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）方式による圧縮処理が含まれうる。また、「圧縮パラメータ」とは圧縮の程度を左右するパラメータを意味し、例えばＪＰＥＧ方式の圧縮時にはＤＣＴ係数に対する量子化のパラメータを圧縮パラメータとして使用しうる。

また「光学ローパスフィルタ」は、光の高周波成分を光学的にカットするフィルタ要素であり、撮像素子に照射される前の光から高周波成分をカットすることができる位置に適宜配置可能である。なお光学ローパスフィルタの有無に関する情報は、撮影条件データに直接的に含まれていてもよいし、例えば撮像デバイスの機種毎に光学ローパスフィルタの有無が決められている場合のように、光学ローパスフィルタの有無の情報を間接的に取得可能な機種名等の他の情報が撮影条件データに含まれていてもよい。

望ましくは、撮影条件データは、画像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含む。

本態様によれば、カラーフィルタの配列に関する情報に基づいて圧縮パラメータが決定されるので、カラーフィルタの配列パターン特性に応じた適切な圧縮処理を画像データに施すことができる。

なお「カラーフィルタ」は、撮像素子に照射するときに通過させることで色毎の光の強さを判断するためのフィルタ要素であり、原色フィルタ（赤、緑、青等）や補色フィルタ（シアン、マゼンタイエロー、グリーン等）をカラーフィルタとして使用することができる。なお、カラーフィルタの配列パターンや構成色要素は、特に限定されるものではない。カラーフィルタの配列に関する情報は、撮影条件データに直接的に含まれていてもよいし、例えば撮像デバイスの機種毎にカラーフィルタの配列が決められている場合のように、カラーフィルタの配列の情報を間接的に取得可能な機種名等の他の情報が撮影条件データに含まれていてもよい。

望ましくは、画像処理装置は、少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部によって撮像作成された画像データが入力され、圧縮レベルを複数の選択候補の中から選択可能に表示する表示部と、圧縮レベルに関するユーザーの選択を受け付ける選択部と、を更に備え、圧縮パラメータ決定部は、第１の撮像部によって撮像作成された画像データに対する撮影条件データの取得結果と選択部を介して受け付けた圧縮レベルの選択結果とに基づいて、第１の撮像部によって撮像作成された画像データに対する圧縮パラメータを決定し、第２の撮像部によって撮像作成された画像データに対する撮影条件データの取得結果と選択部を介して受け付けた圧縮レベルの選択結果とに基づいて、第２の撮像部によって撮像作成された画像データに対する圧縮パラメータを決定し、圧縮処理部は、決定された圧縮パラメータに基づいて、第１の撮像部によって撮像作成された画像データ及び第２の撮像部によって撮像作成された画像データの各々を圧縮処理する。

本態様によれば、圧縮レベルだけではなく、撮像部の撮影条件データをも踏まえて圧縮パラメータが決定されるので、第１の撮像部及び第２の撮像部を含む複数の撮像部の各々の特性に応じた圧縮パラメータの決定及び圧縮処理が可能である。

ここでいう「撮像部」とは、撮像データの生成に寄与する各種機器類を含みうる概念であり、いわゆる撮像素子自体を撮像部として捉えることも可能であるし、光を撮像素子に導くレンズ類を含む全体の構成を撮像部として捉えることも可能である。したがって、異なる撮像素子、異なるレンズ、或いはレンズ〜撮像素子間の構成が異なる撮像デバイスによって撮像作成された撮像データを含む画像撮影データが入力される画像処理装置に対して、本態様を適用することが可能である。

また「圧縮レベル」とは、圧縮の程度を直接的又は間接的に示す指標であり、複数段階の圧縮の程度を定めるものである。例えば、圧縮レベルを２段階（ノーマルモード（高圧縮モード）／ファインモード（低圧縮モード））、３段階（ノーマルモード（高圧縮モード）／ファインモード（低圧縮モード）／スーパーファインモード（超低圧縮モード））、或いはそれ以上の複数段階に設定し、ユーザーは所望の圧縮段階（モード）を選択することも可能である。

なお、本態様における撮影条件データは、光学ローパスフィルタの有無に関する情報やカラーフィルタの配列に関する情報に加えて、画像データを取得した撮像部の特性を識別可能な情報が含まれていてもよい。このような「撮像部の特性を識別可能な情報」が用いられて圧縮パラメータを決定することにより、撮像部の特性を活かした形の圧縮パラメータを決定することが可能である。例えば第１の撮像部と第２の撮像部との間において撮像性能に差がある場合に、その撮像性能を反映する情報（例えば撮像可能画素数、撮像データ量、撮像感度、等）を「撮像部の特性を識別可能な情報」として採用しうる。

望ましくは、画像データは、輝度データを含み、圧縮パラメータは、輝度データの占めるデータ量比率に基づく。

本態様によれば、輝度データの占めるデータ量比率に基づいて圧縮パラメータが定められる。例えばＪＰＥＧ方式の圧縮処理のように、輝度データと色差データとに基づいて圧縮処理が行われる場合、人間の視覚認識が色差変化よりも輝度変化に敏感であることから、色差データをより低減させる圧縮処理が行われる。このような場合に、圧縮処理後のデータ量の占める割合に関して色差データに対する輝度データの占めるデータ量比率を「光学ローパスフィルタの有無に関する情報」や「カラーフィルタの配列に関する情報」に基づいて定めることで、これらの撮影条件データに最適化された圧縮パラメータの決定及び圧縮処理を行うことが可能である。

望ましくは、圧縮パラメータは、圧縮率である。

本態様によれば、「光学ローパスフィルタの有無に関する情報」や「カラーフィルタの配列に関する情報」に応じた圧縮率を定めることができる。

ここでいう「圧縮率」は、圧縮処理前後におけるデータ量の比率に基づくものであり、この比率を直接的又は間接的に示す指標である。したがって、圧縮率が直接的に定められる場合だけではなく、データ圧縮可能な範囲を複数段階に分けて圧縮処理前後におけるデータ量の比率を間接的に示す要素（パラメータ）も、ここでいう圧縮率に含まれうる。

望ましくは、圧縮処理は、離散コサイン変換によって画像データからＤＣＴ係数を算出する工程と、このＤＣＴ係数を量子化テーブルに基づいて量子化する工程とを含むＪＰＥＧ方式の圧縮処理であり、圧縮パラメータは、量子化テーブルである。

本態様によれば、ＪＰＥＧ方式の圧縮処理において、量子化テーブルが、光学ローパスフィルタの有無の情報やカラーフィルタ配列情報に基づいて定められ、これらの情報に基づいて適正化された圧縮処理が可能となる。

望ましくは、画像処理装置は、圧縮パラメータ決定部による圧縮パラメータの決定結果を表示する表示部を更に備える。

本態様によれば、表示部に圧縮パラメータの決定結果が表示されるので、ユーザーは表示部を介して圧縮パラメータの決定結果を確認することが可能である。表示部による表示方法は特に限定されるものではなく、ユーザーに対して圧縮パラメータの決定結果を警告通知するものであってもよいし、ユーザーが圧縮パラメータの決定結果を了承（確定）／非了承（非確定）可能なように選択表示するものであってもよい。

望ましくは、圧縮パラメータ決定部によって決定される圧縮パラメータは、複数の選択候補を含み、表示部は、圧縮パラメータを複数の選択候補の中から選択可能に表示し、画像処理装置は、圧縮パラメータに関するユーザーの選択を受け付ける選択部を更に備え、圧縮パラメータ決定部は、選択部を介して受け付けた選択結果に応じて、圧縮パラメータを確定し、圧縮処理部は、確定された圧縮パラメータに基づいて画像データを圧縮処理する。

本態様によれば、ユーザーは、表示部に表示される複数の選択候補の中から圧縮パラメータを選択することができ、このユーザーの選択結果に応じて圧縮パラメータが決められる。このため、適切な圧縮パラメータをユーザーのニーズに応じて決めることが可能である。

望ましくは、カラーフィルタの配列に関する情報は、画像データの撮像作成時に用いられた撮像部のカラーフィルタが、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に所定のカラーフィルタ配列をもって配設されるカラーフィルタであって、カラーフィルタ配列が、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第１のフィルタが、カラーフィルタ配列の第１の方向、この第１の方向と垂直な第２の方向、及び第１の方向及び第２の方向と４５°を成す第３の方向の各ライン内に配置され、第２のフィルタが、基本配列パターン内にカラーフィルタ配列の第１の方向及び第２の方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラーフィルタであるか否かに関する情報である。

望ましくは、カラーフィルタ配列は、第１のフィルタが第１の方向、第２の方向、及び第３の方向の各ライン内で２画素以上連続する部分を含む。

望ましくは、カラーフィルタ配列は、第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている。

望ましくは、第２の色は、第１構成色及び第２構成色を含み、所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅に第１のフィルタが配置され、中心の第１のフィルタを第１の方向に挟むように第１構成色に対応する第２のフィルタが配置され、中心の第１のフィルタを第２の方向に挟むように第２構成色に対応する第２のフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅に第１のフィルタが配置され、中心の第１のフィルタを第２の方向に挟むように第１構成色に対応する第２のフィルタが配置され、中心の第１のフィルタを第１の方向に挟むように第２構成色に対応する第２のフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されている。

望ましくは、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）色である。

本発明の別の態様は、画像データを撮像作成する撮像部を有する撮像ユニットと、上記の画像処理装置と、を備える撮像装置に関する。

本態様の撮像装置は特に限定されず、撮像を主たる機能とするデジタルカメラの他に、撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類もここでいう「撮像装置」に含まれうる。

本発明の別の態様は、画像データを撮像作成する少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部を有する撮像ユニットと、上記の画像処理装置と、を備える撮像装置に関する。

本態様の撮像装置は特に限定されず、複数の撮像部を備え撮像を主たる機能とするデジタルカメラ（例えば３Ｄ対応可能カメラ等）の他に、撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類もここでいう「撮像装置」に含まれうる。

本発明の別の態様は、画像データを撮像作成する撮像部を有する撮像ユニットであって、撮像部が少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットと、上記の画像処理装置と、を備える撮像装置に関する。

本態様の撮像装置は特に限定されず、例えば、レンズや撮像素子（ＣＣＤ、ＣＭＯＳ等）がユーザーによって交換可能なデジタルカメラ等がここでいう「撮像装置」に含まれうる。

本発明の別の態様は、上記の画像処理装置を備えるコンピュータに関する。

本発明の別の態様は、入力される画像データに撮影条件データが付加されているか否か及び撮影条件データの内容を取得するデータ取得ステップと、撮影条件データの取得結果に基づいて、圧縮パラメータを決定する圧縮パラメータ決定ステップと、決定された圧縮パラメータに基づいて、画像データを圧縮処理する圧縮処理ステップと、を備え、撮影条件データは、画像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む画像処理方法に関する。

本発明の別の態様は、入力される画像データに撮影条件データが付加されているか否か及び撮影条件データの内容を取得する手順と、撮影条件データの取得結果に基づいて、圧縮パラメータを決定する手順と、決定された圧縮パラメータに基づいて、画像データを圧縮処理する手順と、をコンピュータに実行させるためのプログラムであって、撮影条件データは、画像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含むプログラムに関する。

本発明によれば、光学ローパスフィルタの有無に関する情報を含む撮影条件に基づいて圧縮パラメータが決定され、これらの撮影条件に応じて適正化された画像圧縮処理が可能となる。

本発明を適用可能な機器類を例示する機能ブロック図であり、一つの撮像素子を備える撮像デバイスの一例を示す。 本発明を適用可能な機器類を例示する機能ブロック図であり、二つ（複数）の撮像素子を備える撮像デバイスの一例を示す。 本発明を適用可能な機器類を例示する機能ブロック図であり、撮像部と画像処理部（圧縮処理部）とが別体に設けられる例を示す。 画像処理部におけるデジタル処理の一例を示す機能ブロック図である。 入出力画像撮影データの概略を示す図であり、付帯情報（撮影条件データ）の一例を示す。 入出力画像撮影データの概略を示す図であり、撮影条件データ（付帯情報）及び撮像データを含む画像撮影データのデータ構造を示す。 入出力画像撮影データの概略を示す図であり、撮像データを含む（撮影条件データを含まない）画像撮影データのデータ構造を示す。 撮像装置（デジタルカメラ）の一実施形態を示すブロック図である。 カラーフィルタの基本配列パターン例を示す図であり、ベイヤー配列のカラーフィルタを示す。 カラーフィルタの基本配列パターン例を示す図であり、別タイプの配列を有するカラーフィルタを示す。 図５Ｂに示す基本配列パターンのカラーフィルタを水平方向及び垂直方向に２つずつ並べて配置したカラーフィルタ配列を示す。 撮像データに撮影条件データを付加する処理の一例を示す図である。 撮像データに撮影条件データを付加する処理の一例を示す図である。 撮像データに撮影条件データを付加する処理の一例を示す図である。 カラーフィルタの配列に関する情報（撮影条件データ）が付加されるタイミングを示す画像処理フロー図である。 画像圧縮処理部の機能ブロック図である。 第１の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。 圧縮率／圧縮レベルの選択に関する表示例を示し、圧縮率の選択例を示す。 圧縮率／圧縮レベルの選択に関する表示例を示し、圧縮レベルの選択例を示す。 第２の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。 第３の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。 第４の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。 第５の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。 本発明の撮影装置の一実施形態であるスマートフォンの外観図である。 図１８に示すスマートフォンの構成を示すブロック図である。

以下、添付図面を参照して本発明の実施形態について説明する。まず、本発明の概略について説明し、その後、具体的な適用例について説明する。なお、下記の構成は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。また各構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。

本発明は、画像データの圧縮処理技術に関するものであって、画像データの圧縮処理が可能な機器類全般に適用可能である。したがって、例えばカメラ等の撮像デバイスや、撮像デバイスが接続されるコンピュータによっても本発明は実現可能である。

図１Ａは、一つの撮像素子を備える撮像デバイスの一例を示す機能ブロック図であり、図１Ｂは、二つ（複数）の撮像素子を備える撮像デバイスの一例を示す機能ブロック図である。また図１Ｃは、撮像デバイス及びこの撮像デバイスが接続されるコンピュータの一例を示す機能ブロック図である。

図１Ａに示す撮像ユニット１０は、相互に接続された撮像部１２、画像処理部（画像処理装置）１４、ユーザーＩ／Ｆ（ユーザーインターフェース）１６、入出力制御部１８、記憶部２０、表示部２２及び信号入出力Ｉ／Ｆ（信号入出力インターフェース）２４を備える。

撮像部１２は、撮影を行って撮像データ（画像データ）を生成し、例えばレンズ、絞り、シャッター、カラーフィルタが配設された撮像素子（ＣＣＤ、ＣＭＯＳ等）等を必要に応じて備える。なお、後述の光学ローパスフィルタ（ＯＬＰＦ）は、撮像部１２に設けられていてもよいし、設けられていなくてもよい。

画像処理部１４は、撮像部１２によって生成された撮像データ（ＲＡＷデータ）にデジタル画像処理を施し、例えばオフセット補正処理、ＷＢ（ホワイトバランス）補正処理、白とび画素検出補正処理、露出補正処理、γ（ガンマ）補正処理、デモザイク（同時化）処理、画像圧縮処理等が必要に応じて行われる。

図２は、画像処理部１４におけるデジタル処理（画像処理方法）の一例を示す機能ブロック図である。

撮像部１２で撮像生成された撮像データ（ＲＡＷデータ）は、例えば１４ビットのＲ（赤）、Ｇ（緑）、Ｂ（青）の色データを含み、画像処理部１４のリニア前処理部８１にＲ、Ｇ、Ｂの点順次で加えられる。Ｒ、Ｇ、ＢのＲＡＷデータは、リニア前処理部８１にてオフセット調整、１６ビット化、シェーディング補正といったリニアデータに対する前処理が行われる。

リニア前処理部８１から出力されたＲ、Ｇ、Ｂデータは、ホワイトバランス（ＷＢ）補正部８２に出力される。ＷＢ補正部８２は、Ｒ、Ｇ、Ｂデータ毎にホワイトバランス補正用のゲイン値Ｒｇ、Ｇｇ、Ｂｇを掛けることにより、ホワイトバランス補正を行う。ここで、ホワイトバランス補正用のゲイン値Ｒｇ、Ｇｇ、Ｂｇは、ＲＡＷデータを解析して、例えば光源種（太陽光、蛍光灯、タングステン電球等）を特定し、その光源種に対応して予め記憶されているゲイン値に設定され、あるいはホワイトバランス補正を行うメニュー画面上において手動で選択された光源種や色温度に対応するゲイン値に設定される。

ＷＢ補正部８２から出力されたＲ、Ｇ、Ｂデータは、露出補正部８３に加えられる。露出補正部８３は、手動による露出補正値（例えば、−３ＥＶ〜＋３ＥＶ）の指示入力に応じて通常露出（露出補正をしない場合の露出）に対して露出をアンダーに補正（減感処理）、あるいはオーバーに補正（増感処理）する。

露出補正部８３から出力されたＲ、Ｇ、Ｂデータは、ガンマ（γ）補正部８４に出力され、ここで、リニアデータを、ｓＲＧＢ、ＡｄｏｂｅＲＢＧ、ｓｃＲＧＢといった色空間の階調データに変換する。ガンマ補正されたＲ、Ｇ、Ｂデータは、デモザイク処理部８５に出力される。

デモザイク処理部８５は、撮像素子におけるカラーフィルタの配列に伴うＲ、Ｇ、Ｂデータの空間的なズレを補間してＲ、Ｇ、Ｂデータを同時式に変換する処理を行い、デモザイクしたＲ、Ｇ、ＢデータをＲＧＢ／ＹＣ変換部８６に出力する。

ＲＧＢ／ＹＣ変換部８６は、Ｒ、Ｇ、Ｂデータを輝度データ（輝度信号）Ｙ、色差データ（色差信号）Ｃｒ、Ｃｂに変換し、輝度データＹを輪郭補正部８７に出力し、色差データＣｒ、Ｃｂを色調補正部８８に出力する。輪郭補正部８７は、輝度データＹの輪郭部（輝度変化の大きい部分）を強調する処理を行う。色調補正部８８は、入力する色差信号Ｃｒ、Ｃｂと、２行×２列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。色補正マトリクス係数は、ユーザーからの色補正の指示入力に応じて適宜変更される。

画像圧縮処理部８９は、画像データを圧縮パラメータに基づいて圧縮する画像処理部である。本例の画像圧縮処理部８９は、輪郭補正された輝度データＹ及び色調補正された色差データＣｒ、Ｃｂに基づいて圧縮処理を行い、ＪＰＥＧフォーマット等の圧縮画像データを生成する。

なお、画像圧縮処理部８９における圧縮処理の詳細については後述する（図１１参照）。

図１Ａの撮像部１２によって撮像データ３２を取得した際の撮影条件のデータ（撮影条件データ：撮影日、画素数、Ｆ値等（図３Ａ参照））３４は、撮像データ３２にヘッダ情報として付加されてもよいし（図３Ｂ参照）、撮像データ３２に付加されなくてもよい（図３Ｃ参照）。この撮影条件データ３４は、撮像時に撮像部１２において撮像データ３２に付加されてもよいし、撮像後に画像処理部１４等において撮像データ３２に付加されてもよい。撮像データ３２に対する撮影条件データ３４の付加については後述する（図７〜図１０参照）。

画像処理部１４において、各種画像処理及び画像圧縮処理が行われた圧縮画像データは、図１Ａに示す入出力制御部１８によって出力制御され、記憶部（メモリ等）２０に記憶されたり、表示部（液晶ディスプレー等）２２に縮小画像が表示されたり、信号入出力Ｉ／Ｆ２４を介して外部に出力されたりする。

なお、撮像部１２、画像処理部１４及び入出力制御部１８における各種処理の情報は、表示部２２を介してユーザーに提供可能である。ユーザーは、表示部２２に示される情報を確認しながら、ユーザーＩ／Ｆ１６を介し、撮像部１２、画像処理部１４及び入出力制御部１８に対して制御指示信号を送ることもできる。特に、本例では、画像処理部１４（圧縮パラメータ決定部）によって決定される圧縮パラメータ（決定結果）が表示部２２に表示される。

画像圧縮処理を含む上述の画像処理は、図１Ｂに示されるような複数の撮像部（第１の撮像部１２Ａ、第２の撮像部１２Ｂ）を備える撮像ユニット１０’においても同様に実施可能である。すなわち、第１の撮像部１２Ａ及び第２の撮像部１２Ｂの各々で生成された撮像データは、撮像部が一つである撮像ユニット１０（図１Ａ）と同様に、画像処理部１４において各種画像処理及び圧縮処理が施されて圧縮画像データが生成され、入出力制御部１８により入出力制御されて、圧縮画像データが記憶部２０に記憶されたり、表示部２２に縮小画像が表示されたり、信号入出力Ｉ／Ｆ２４を介して外部に出力されたりする。ユーザーが、ユーザーＩ／Ｆ１６を介して、撮像部（第１の撮像部１２Ａ、第２の撮像部１２Ｂ）、画像処理部１４及び入出力制御部１８に対して制御指示信号を送ることができる点も同様である。

なお、撮像部を交換可能な構成として、少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットを採用することも可能である。例えば、図１Ｂに示す第１の撮像部１２Ａ及び第２の撮像部１２Ｂを取り付け及び取り外し可能な構成として捉え、第１の撮像部１２Ａ及び第２の撮像部１２Ｂのいずれかを選択して使用可能とする構成も可能である。このような構成を採用する機器類として、例えば、レンズ〜撮像素子を含むレンズユニット（撮像部）を付け替え可能なカメラ（レンズ交換カメラ等）が挙げられる。

図１Ａ及び図１Ｂには、撮像部１２、１２Ａ、１２Ｂと画像処理部１４とが単体に設けられる例が示されているが、撮像部と画像処理部（特に画像圧縮処理部）とは図１Ｃに示されるように別体に設けられてもよい。

例えば、撮像部１２を備える撮像ユニット１０”と、画像処理部（特に画像圧縮処理部）１４Ｂを備えるコンピュータ１１とが、お互いの信号入出力Ｉ／Ｆ２４Ａ、２４Ｂを介して接続可能なシステムに対しても本発明は適用可能である。

この場合、画像処理部は、撮像ユニット１０”側に設けられていてもよいし（図１Ｃの符号「１４Ａ」参照）、コンピュータ１１側に設けられていてもよい（図１Ｃの符号「１４Ｂ」参照）。撮像ユニット１０”側に画像処理部１４Ａが設けられる場合には、デジタル画像処理後の画像撮影データが、信号入出力Ｉ／Ｆ２４Ａを介して撮像ユニット１０”から出力され、信号入出力Ｉ／Ｆ２４Ｂを介してコンピュータ１１に入力される。このときに入出力される画像撮影データは、画像処理部１４Ａにおいて各種画像処理が施された画像データに加えて、画像処理部１４Ａにおける各種画像処理が施されていない画像データ（ＲＡＷデータ等）が含まれていてもよい。ＲＡＷデータのように各種画像処理が施されていない画像データがコンピュータ１１に入力される場合には、コンピュータ１１の画像処理部１４Ｂにおいて各種画像処理及び画像圧縮処理が行われ、入出力制御部１８に制御されて、記憶部２０、表示部２２及び信号入出力Ｉ／Ｆ２４Ｂに適宜出力されるようになっている。

なお、この機能構成は、図１Ｃに示す「画像データを撮像作成する撮像部１２を有する撮像ユニット１０”と、画像処理部（画像圧縮処理部）１４Ｂを有するコンピュータとを備える撮像装置（システム）」だけではなく、図１Ｂに示す撮像ユニット１０’がコンピュータ１１に接続されるケースのような「少なくとも第１の撮像部１２Ａ及び第２の撮像部１２Ｂを含む複数の撮像部を有する撮像ユニットと、画像処理部（画像圧縮処理部）を有するコンピュータとを備える撮像装置（システム）」に対しても適用可能である。

次に、上記の図１Ａに示されるタイプの撮像ユニット１０をデジタルカメラに適用した場合の、より詳細な具体例について説明する。

図４は撮像装置（デジタルカメラ）の一実施形態を示すブロック図である。

この撮像装置４０は、撮像した画像を内部メモリ（メモリ部５６）又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、ＣＰＵ（中央処理装置）４２によって統括制御される。

撮像装置４０には、シャッターボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部（選択部）４４が設けられている。この操作部４４からの信号はＣＰＵ４２に入力され、ＣＰＵ４２は入力信号に基づいて撮像装置４０の各回路を制御し、例えば、デバイス制御部４６を介してレンズ部４８、シャッター５０、画像取得部として機能する撮像素子５２を制御し、また撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部５５の表示制御などを行う。

レンズ部４８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部４８及びシャッター５０を通過した光束は、撮像素子５２の受光面に結像される。

撮像素子５２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型等のカラーイメージセンサであり、カラーフィルタと、カラーフィルタを通過した光を受光する多数の受光素子（フォトダイオード）が２次元配列された構造を有する。各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換される。したがって、カラーフィルタは、水平方向（第１の方向）及び水平方向と垂直な垂直方向（第２の方向）に配列された光電変換素子からなる複数の画素上に所定のカラーフィルタ配列をもって配設される。

図５Ａ及び図５Ｂは、カラーフィルタの基本配列パターン例を示す図であり、図５Ａはいわゆるベイヤー（Ｂａｙｅｒ）配列のカラーフィルタを示し、図５Ｂは別タイプの配列を有するカラーフィルタを示す。なお図５Ａ及び図５Ｂにおいて、「Ｒ」はレッド（赤）のフィルタを示し、「Ｇ」はグリーン（緑）のフィルタを示し、「Ｂ」はブルー（青）のフィルタを示す。

本例の撮像素子５２のカラーフィルタは、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されて構成される。したがって、撮像素子５２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際には、繰り返しパターンに従って処理を行うことができる。このようなカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

例えば図５Ａに示すベイヤー配列のカラーフィルタでは、ＧフィルタとＲフィルタとが交互に配置される行（水平方向並び）と、ＧフィルタとＢフィルタとが交互に配置される行とが、垂直方向に関して交互に配置され、各Ｒフィルタ及び各Ｂフィルタの上下左右の位置にＧフィルタが配置される。そして各Ｒフィルタの斜め方向の位置にはＢフィルタが配置され、各Ｂフィルタの斜め方向の位置にはＲフィルタが配置され、各Ｇフィルタの斜め方向の位置にはＧフィルタが配置されている。

一方、図５Ｂに示す別配列のカラーフィルタでは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平方向及び垂直方向に交互に並べられた配列となっている。

Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置されており、両対角線上にＧフィルタが配置されている。Ａ配列では、Ｒフィルタが中央のＧフィルタを挟んで水平方向に配列され、Ｂフィルタが中央のＧフィルタを挟んで垂直方向に配列されている。一方、Ｂ配列では、Ｂフィルタが中央のＧフィルタを挟んで水平方向に配列され、Ｒフィルタが中央のＧフィルタを挟んで垂直方向に配列されている。すなわち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

図６は、図５Ｂに示す基本配列パターンのカラーフィルタを水平方向及び垂直方向に２つずつ並べて配置したカラーフィルタ配列を示す。このカラーフィルタ配列では、図６からも明らかなように、一般に輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に１以上配置されている。

ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

このようなカラーフィルタ配列によれば、輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ、ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。

また、図６に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ、Ｂの色）に対応するＲフィルタ、Ｂフィルタが、それぞれ基本配列パターンの水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

さらに、図６に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即（すなわ）ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のように、図６に示すカラーフィルタ配列では、Ｇ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、デモザイク処理時におけるエリアシングを抑制することができ、また高周波再現性も改善することができる。

上記の図５Ａや図５Ｂに示される基本配列を有するカラーフィルタを備える撮像素子５２に蓄積された信号電荷は、デバイス制御部４６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子５２から読み出された電圧信号は、Ａ／Ｄ変換器（アナログ／デジタル変換器）５４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部５６に保存される。

メモリ部５６は、揮発性メモリであるＳＤＲＡＭや、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（記憶手段）等を含み、ＳＤＲＡＭは、ＣＰＵ４２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子５２の画素の欠陥情報、混色補正を含む画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部５８は、メモリ部５６に一旦格納されたデジタルの画像信号に対して、所定の信号処理（図２参照）を行う。

画像処理部５８で処理された画像データは、エンコーダ６０において画像表示用のデータにエンコーディングされ、ドライバ６２を介してカメラ背面に設けられている表示部５５に出力される。これにより、被写体像が連続的に表示部５５の表示画面上に表示される。

操作部４４のシャッターボタンの第１段階の押下（半押し）があると、ＣＰＵ４２は、ＡＦ動作（自動焦点）及びＡＥ動作（自動露出）を開始させ、デバイス制御部４６を介してレンズ部４８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ４２は、シャッターボタンの半押し時にＡ／Ｄ変換器５４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッターボタンの第２段階の押下（全押し）があると、決定した露出条件により絞り、シャッター５０及び撮像素子５２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子５２から読み出され、Ａ／Ｄ変換器５４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図５Ａ、図５Ｂ及び図６に示したカラーフィルタ配列に対応する画像）の画像データ（ＲＡＷデータ）は、メモリ部５６に一時的に記憶される。

メモリ部５６に一時的に記憶された画像データは、画像処理部５８により適宜読み出され、ここで、混色補正、ホワイトバランス補正、ガンマ補正、デモザイク処理、ＲＧＢ／ＹＣ変換等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆファイル）形式で内部メモリや外部メモリに記録される。

このような撮像装置４０では、撮像素子５２に照射される光の高周波成分を光学的にカットする光学ローパスフィルタ（ＯＬＰＦ）６４が配設されることがある。例えば図５Ａに示すベイヤー型の基本配列を有するカラーフィルタを用いる場合には、得られる画像の高周波成分がモアレ等の画像劣化の要因になりやすい。したがって、高周波成分が画像劣化に寄与しやすいベイヤー型のようなカラーフィルタを使用して画像データを取得する場合には、光学ローパスフィルタ６４を配置することで画像劣化を抑制することができる。一方、図５Ｂに示す基本配列を有するカラーフィルタを用いる場合には、上述のようにモアレ等の画像劣化を効果的に低減することができるため、光学ローパスフィルタを設けないことで、高周波成分を残した解像度の高い画像データを得ることができる。

このように、光学ローパスフィルタ６４を配設するか否かは、撮像装置４０において使用される撮像素子（カラーフィルタ）の種類、具体的な画像処理内容、等の装置構成に応じて適宜決められる。

なお、上述の撮像装置４０（図４参照）において、レンズ部４８、光学ローパスフィルタ６４、シャッター５０、撮像素子５２が図１Ａから図１Ｃの撮像部１２、１２Ａ、１２Ｂとして機能し、画像処理部５８が図１Ａから図１Ｃの画像処理部１４、１４Ａ、１４Ｂとして機能し、操作部４４が図１Ａから図１ＣのユーザーＩ／Ｆ１６として機能し、ＣＰＵ４２が図１Ａから図１Ｃの入出力制御部１８として機能し、エンコーダ６０及びドライバ６２が図１Ａから図１Ｃの入出力制御部１８として機能し、メモリ部５６が図１Ａから図１Ｃの記憶部２０として機能し、表示部５５が図１Ａから図１Ｃの表示部２２として機能する。

次に、撮像データ３２に付加される撮影条件データ３４について説明する。

上述したように、撮影条件データ３４には撮像データ３２の取得時における各種の情報が含まれ（図３Ａ参照）、撮像データ３２には撮影条件データ３４が付加されてもよいし（図３Ｂ参照）、付加されなくてもよい（図３Ｃ参照）。

撮像データ３２に撮影条件データ３４を付加する箇所は特に限定されるものではなく、画像圧縮処理部８９の前であれば任意の箇所で、撮像データ３２に対して撮影条件データ３４を付加することができる。

例えば図７に示すように撮像部（例えばＣＭＯＳセンサを有する撮像素子）１２が撮影条件データ付加部９０を備える場合には、撮像部１２において、撮像データ（ＲＡＷデータ）３２が撮像作成され、撮影条件データ付加部９０がこの撮像データ３２に対して撮影条件データ３４を付加する。そして、撮像データ３２及び撮影条件データ３４を含む画像撮影データ３０は、撮像部１２から画像処理部（信号処理ＬＳＩ）１４に送られ、画像処理部１４の画像圧縮処理部８９によって圧縮処理が施され、圧縮画像データ３６が画像処理部１４から出力される。

また図８に示すように、撮像部１２の代わりに画像処理部１４が撮影条件データ付加部９０を備える場合には、撮像部１２において撮像作成された撮像データ（ＲＡＷデータ）３２を含む画像撮影データ３０が画像処理部１４に送られる。そして画像処理部１４において、撮影条件データ付加部９０が撮像データ３２に撮影条件データ３４を付加した後に画像圧縮処理部８９が圧縮処理を行い、圧縮画像データ３６が画像処理部１４から出力される。なお、撮影条件データ３４は記憶部２０（メモリ等）に記憶しておくこともでき、画像処理部１４は、記憶部２０に記憶された撮影条件データ３４を適宜読み出すことで撮影条件データ３４を把握してもよい。

また図９に示すように、撮像ユニット１０とコンピュータ１１とが接続される場合であって、撮像ユニット１０の画像処理部１４Ａが撮影条件データ付加部９０を備え、またコンピュータ１１の画像処理部１４Ｂが画像圧縮処理部８９を備える場合には、撮像ユニット１０の撮像部１２によって撮像作成された撮像データ（ＲＡＷデータ）３２を含む画像撮影データ３０が画像処理部１４Ａに送られ、撮影条件データ付加部９０によって撮像データ３２に撮影条件データ３４が付加される。そして、撮像データ３２及び撮影条件データ３４を含む画像撮影データ３０が、撮像ユニット１０から出力されてコンピュータ１１に入力される。そして、コンピュータ１１の画像処理部１４Ｂの画像圧縮処理部８９によって画像撮影データ３０に対して圧縮処理が行われ、圧縮画像データ３６が生成される。なお、画像処理部１４Ａの代わりに撮像部１２に撮影条件データ付加部９０が設けられる場合には、撮像部１２において撮影条件データ３４が撮像データ３２に対し付加され、撮像データ３２及び撮影条件データ３４を含む画像撮影データ３０が、撮像ユニット１０の画像処理部１４Ａ及びコンピュータ１１の画像処理部１４Ｂに送られることとなる。

図１０は、カラーフィルタ（ＣＦ）の配列に関する情報（撮影条件データ）が付加されるタイミングを示す画像処理フロー図である。

画像圧縮処理において、まず画像撮影データ３０から撮像データ（ＲＡＷデータ等）３２が取り込まれ（図１０のステップＳ１１）、輝度色差データ（ＹＣデータ）が生成される（Ｓ１２）。輝度色差データの具体的な生成方法については特に限定されず、任意の手法を採用することが可能であり、例えば撮像データ（ＲＡＷデータ）３２から各画素のＲＧＢデータをデモザイク処理により生成してこのＲＧＢデータからいわゆるＹ／Ｃｂ／Ｃｒ信号を生成することができる。

その後、カラーフィルタの配列パターンが判別されるが（Ｓ１３）、ＲＡＷデータに対するカラーフィルタ配列情報の付加は、このカラーフィルタの配列の判別に先立つ任意の段階で行うことができる。例えば、ＲＡＷデータの取り込み前にカラーフィルタ配列情報の付加が行われてもよいし、ＲＡＷデータの取り込み後であって輝度色差データの生成前にカラーフィルタ配列情報の付加が行われてもよいし、輝度色差データの生成時に併せてカラーフィルタ配列情報の付加が行われてもよい（Ｓ１６）。

このようにして付加されたカラーフィルタ配列情報に基づいてカラーフィルタの配列パターンが判別され（Ｓ１３）、判別されたカラーフィルタ配列に応じて圧縮パラメータが決定設定される（Ｓ１４）。そして、設定された圧縮パラメータによって、撮像データ３２の圧縮処理が行われ（Ｓ１５）、圧縮画像データが得られる。

次に、画像圧縮処理の一例としてＪＰＥＧフォーマットによる圧縮処理について説明する。

図１１は、画像撮影データ３０のＪＰＥＧ圧縮処理を行って圧縮画像データ３６を変換生成する画像圧縮処理部８９の機能ブロック図である。画像圧縮処理部８９は、圧縮制御部７１と、この圧縮制御部７１によって統括的にコントロールされるデータ取得部７２、圧縮パラメータ決定部７３、ダウンサンプリング処理部７４、ＤＣＴ処理部７５、量子化処理部７６及びエントロピー圧縮処理部７７とを含む。

データ取得部７２は、入力される撮像データ（画像データ）３２に撮影条件データ３４が付加されているか否か及び撮影条件データ３４の内容を取得する。本例では、特に、「撮像データ３２の撮像作成時における光学ローパスフィルタの有無に関する情報」及び／又は「撮像データ３２の撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報」を含む撮影条件データ３４が、データ取得部７２において取得される。

圧縮パラメータ決定部７３は、データ取得部７２による撮影条件データの取得結果に基づいて、圧縮パラメータを決定する。すなわち「撮像データ３２の撮像作成時における光学ローパスフィルタの有無に関する情報」や「撮像データ３２の撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報」のように、再現可能な画像空間周波数の基準となる撮影条件データに応じて、圧縮パラメータ決定部７３は圧縮パラメータを決定する。ここで決定される圧縮パラメータは、圧縮割合に影響を及ぼす任意のパラメータである。例えばＪＰＥＧフォーマットによる圧縮処理の場合、輝度データの占めるデータ量比率に基づくパラメータ（後述のダウンサンプリング処理部７４参照）やＤＣＴ係数に対する量子化のパラメータ（後述のＤＣＴ処理部７５参照）が、圧縮パラメータ決定部７３において圧縮パラメータとして決定される。

なお、このような圧縮パラメータ決定部７３における圧縮パラメータの決定は、ユーザーに選択決定（確定）を促す対話形式で処理を進めてもよいし、圧縮パラメータ決定部７３における決定結果に基づいて、ユーザーに選択決定を促すことなく処理を進めてもよい。ユーザーとの対話形式の場合、例えば圧縮パラメータ決定部７３は決定結果を表示部５５に選択可能に表示することができる。この場合、ユーザーは、表示部５５に表示される圧縮パラメータ決定部７３の決定結果を確定するか否かを、操作部４４を介して選択することができる。

なお、操作部４４は任意の構成を有することができ、表示部５５と一体的に設けられてもよいし、表示部５５と別体として設けられてもよい。タッチパネル等のように操作部４４と表示部５５とを一体的に設けることによって、ユーザーは、表示部５５に提示される選択決定や確定選択を直感的に行うことができる。また、表示部５５と別体に設けられるボタン等によって操作部４４を構成する場合、ユーザーは、表示部５５に表示されるカーソル等の表示を操作部４４によって所望の選択候補に対応させて選択決定や確定選択を行うことができる。

また、圧縮パラメータ決定部７３によって決定される圧縮パラメータは、複数の選択候補を含んでいてもよく、その場合、表示部５５は圧縮処理の処理パラメータを複数の選択候補の中から選択可能に表示することができる。ユーザーは、表示部５５に表示される複数の選択候補の中から処理パラメータとして採用する候補を選択することができ、圧縮パラメータ決定部７３は、ユーザーの選択に応じて、圧縮パラメータを確定することができる。

ダウンサンプリング処理部７４は、色情報（色差データ）の情報量を低減するダウンサンプリング処理（サブサンプリング処理）を撮像データ３２に対して施す。これは、人間の視覚が輝度変化よりも色変化に対して鈍感であるという事実に基づくものであり、「Ｙ：Ｃｂ：Ｃｒ」の比率（ダウンサンプリング比）を「４：２：２」や「４：１：１」とするダウンサンプリング処理が通常は行われる。

このダウンサンプリング処理部７４におけるダウンサンプリング比は、圧縮パラメータ決定部７３において決定される圧縮パラメータに含まれうるものである。すなわち、光学ローパスフィルタの有無やカラーフィルタ配列に応じて輝度色差データのダウンサンプリング比が圧縮パラメータ決定部７３において最適値に決定され、決定された最適なダウンサンプリング比によって撮像データ３２のダウンサンプリングがダウンサンプリング処理部７４において行われてもよい。このように色差データ（Ｃｂ、Ｃｒ）に対する輝度データ（Ｙ）の占めるデータ量比率に基づく圧縮パラメータを撮影条件データに応じて適正化することで、画像劣化を抑制しつつ効率的な画像圧縮処理を実現することが可能である。

ＤＣＴ処理部７５は、ダウンサンプリング処理が施された撮像データ３２の画素信号（明るさ画素値）を、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）によって空間周波数成分の大きさを表す値（ＤＣＴ係数）に変換する。そして、量子化処理部７６は、このＤＣＴ係数を量子化して近似ＤＣＴ係数を作成する。

ＤＣＴは、一般に利用されている技術であるため詳細な説明は省略するが、画質に対する高周波成分の影響が比較的小さいことに鑑みて、ＤＣＴ係数の量子化によって高周波成分を削減することで情報量の低減化（圧縮）が行われる。ＤＣＴ係数の量子化は、量子化ステップの集合から成る量子化テーブルに基づいて行われる。量子化ステップの値は、周波数成分毎に決定されるＤＣＴ係数の各々に対して定められ、一般に、高周波成分ほど大きな値の量子化ステップが用いられる傾向がある。

この量子化テーブルは、圧縮対象毎に準備され、例えば輝度データに対する量子化テーブルと色差データに対する量子化テーブルとが別個に準備される。

また、この量子化テーブルは、圧縮パラメータ決定部７３において決定される圧縮パラメータに含まれうるものである。すなわち、光学ローパスフィルタの有無やカラーフィルタ配列に応じて量子化テーブルが圧縮パラメータ決定部７３において最適値に決定され、量子化処理部７６において最適な量子化テーブルによって撮像データ３２のＤＣＴ係数の量子化が行われることが好ましい。

さらに、複数の撮像部（撮像素子等）によって撮像される撮像データ３２を扱う場合には、撮像部毎に量子化テーブルを準備しておくことも可能である。すなわち、各撮像部の特性（生成画像特性）に応じた量子化テーブルを撮像部毎に準備しておくことで、各撮像部の特性を活かした形式の量子化が可能となる。

エントロピー圧縮処理部７７は、ＤＣＴ係数の量子化により高周波成分が低減された近似ＤＣＴ係数（撮像データ）をハフマン符号によりエントロピー符号化して、符号化信号（圧縮画像データ（ＪＰＥＧ）３６）を生成する。なお、ハフマン符号によるエントロピー符号化は、一般に利用されている技術であるため詳細な説明は省略するが、出現頻度により符号長を代える可変長符号化処理であり、符号化を最適化することができる。

したがって本例では、ダウンサンプリング処理部７４、ＤＣＴ処理部７５、量子化処理部７６及びエントロピー圧縮処理部７７を含んで、圧縮処理部が構成されることとなる。

圧縮制御部７１は、例えば、データ取得部７２及び圧縮パラメータ決定部７３によって決定された圧縮パラメータ（ダウンサンプリング比、量子化テーブル）に基づいてダウンサンプリング処理部７４や量子化処理部７６をコントロールする。また圧縮制御部７１は、操作部４４と表示部５５とに接続されており、圧縮パラメータ決定部７３によって決定された圧縮パラメータを表示部５５に表示したり、操作部４４を介したユーザーの指示に基づいて圧縮パラメータを最終的に確定し、この確定した圧縮パラメータによってダウンサンプリング処理部７４や量子化処理部７６をコントロールすることもできる。

なお、圧縮パラメータ決定部７３において撮影条件データに応じて決定される圧縮パラメータとして、ダウンサンプリング処理部７４におけるダウンサンプリング比や量子化処理部７６における量子化テーブルの量子化ステップ値（量子化パラメータ）が挙げられ、いずれか一方若しくは両方が圧縮パラメータ決定部７３において決定される。また、圧縮処理前後のデータ量の比率（圧縮率）を圧縮パラメータとして、この比率に基づき、ダウンサンプリング比や量子化テーブルの量子化ステップ値が圧縮パラメータ決定部７３において決められるようにしてもよい。

次に、具体的な圧縮処理例について説明する。以下に説明する圧縮処理は、任意の機器類で実行することが可能であり、デジタルカメラ等の撮像装置や撮像装置が接続されるコンピュータによって実行することができる。また、以下の圧縮処理工程（手順）をコンピュータに実行させるためのプログラム（ソフトウェア）がインストールされたコンピュータ等の機器類によっても、下記の圧縮処理を実行することが可能である。このソフトウェア（プログラム等）はＲＯＭなどのコンピュータ読み取り可能な非一時的記録媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に記録されてもよい。

＜第１の実施形態＞
第１の実施形態に係る圧縮処理例について、図１１及び図１２を参照して説明する。図１２は、第１の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。

本実施形態では、画像圧縮処理時にヘッダ情報（撮影条件データ３４）が参照され、「カラーフィルタの配列パターン」に応じて圧縮パラメータの選択可能範囲が適正化され、ユーザーによる最適な圧縮パラメータの選択決定を容易にすることができる。

すなわち、画像撮影データ３０が画像圧縮処理部８９に入力されると、データ取得部７２は撮像データ３２に撮影条件データ（画像情報）３４が付加されているか否か、及び撮影条件データ３４の内容を取得する（図１２のステップＳ２１；データ取得ステップ）。本実施形態では特に、「画像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報」が撮影条件データ３４として用いられる。

そして圧縮パラメータ決定部７３は、データ取得部７２における取得結果に基づいて圧縮パラメータを決定する（圧縮パラメータ決定ステップ）。

すなわち、撮像データ３２に撮影条件データ３４が付加されているか否かの判別において（Ｓ２２）、撮像データ３２に撮影条件データ３４が付加されていないと判別された場合（Ｓ２２のＮＯ）、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」を採用設定する（Ｓ２５ａ）。ここでいう圧縮パラメータの設定選択可能範囲には、圧縮パラメータの複数の選択候補が含まれ、ユーザーは、これらの選択候補の中から任意のパラメータを圧縮パラメータとして採択することが可能となっている。

一方、撮像データ３２に撮影条件データ３４が付加されていると判別された場合（Ｓ２２のＹＥＳ）、圧縮パラメータ決定部７３は、撮影条件データ３４に基づいて、使用されたカラーフィルタ（ＣＦ）がベイヤー配列以外か否かを判別する（Ｓ２３）。

カラーフィルタがベイヤー配列以外ではない（すなわちベイヤー配列である）と判別された場合（Ｓ２３のＮＯ）、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」を採用設定する（Ｓ２５ａ）。

一方、カラーフィルタがベイヤー配列以外である（例えば図５Ｂ及び図６に示すカラーフィルタ配列である）と判別された場合（Ｓ２３のＹＥＳ）、圧縮パラメータ決定部７３は解像度を優先させるか否かを判別する（Ｓ２４）。解像度を優先させるか否かは、ユーザーによって選択される事項であり、この選択結果に基づいて、圧縮パラメータ決定部７３は解像度を優先させるか否かを判別する。解像度を優先させるか否かの選択については後述する（図１３Ａ及び図１３Ｂ参照）。

解像度を優先させると判別された場合（Ｓ２４のＹＥＳ）、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が低めであるパラメータ領域β」を採用設定する（Ｓ２５ｂ）。

一方、解像度を優先させないと判別された場合（Ｓ２４のＮＯ）、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が高めであるパラメータ領域γ」を採用設定する（Ｓ２５ｃ）。

そして、圧縮パラメータ決定部７３は、圧縮制御部７１に制御され、設定したパラメータ領域α、β、γを表示部５５に表示する。表示部５５はパラメータ領域α、β、γに含まれる複数の選択候補中の圧縮パラメータを選択可能に表示し、ユーザーは、表示部５５の表示を確認しながら、操作部４４によって任意の圧縮パラメータを選択することができる（Ｓ２６）。

操作部４４を介して受け付けた圧縮パラメータの選択結果は、圧縮制御部７１を介して圧縮パラメータ決定部７３に送られ、圧縮パラメータ決定部７３はこの選択結果に応じて圧縮パラメータを確定する。

そして、後段の圧縮処理部（ダウンサンプリング処理部７４、ＤＣＴ処理部７５、量子化処理部７６、エントロピー圧縮処理部７７）は、この確定された圧縮パラメータに基づいて画像撮影データ３０（撮像データ３２）を圧縮処理し（Ｓ２７）、圧縮画像データ３６を生成する（圧縮処理ステップ）。

上述のように図１２に示される本実施形態の処理フローによれば、撮影条件データ３４の有無やカラーフィルタ配列によって、ユーザーが選択可能な圧縮パラメータの範囲が適正化されるため、ユーザーは容易に最適な圧縮パラメータを選択することができる。例えば、撮影条件データ３４が不明な場合（Ｓ２２のＮＯ）や、カラーフィルタ配列がベイヤー配列の場合（Ｓ２３のＮＯ）には、通常の高周波成分のカット比率が設定される。一方、カラーフィルタ配列がベイヤー配列以外（例えば図５Ｂ及び図６のカラーフィルタ配列）であって、画像解像度を優先させる場合には、高周波成分のカット比率が低めの領域が圧縮パラメータの選択可能範囲として設定される。これにより、高周波成分を含み解像度感が高められた画像の撮像データ３２を圧縮処理する場合であっても、高周波成分が過剰に除去されないような圧縮パラメータの選択をユーザーに促すことができ、画像解像度感が損なわれないような圧縮処理を効果的に行うことができる。一方、画像解像度を優先させない場合には、高周波成分のカット比率が高めの領域が圧縮パラメータの選択可能範囲として設定される。これにより、撮像データ３２の圧縮効率を高めるような圧縮パラメータの選択をユーザーに促すことができ、圧縮率の高い圧縮処理を効果的に行うことができる。このように、カラーフィルタ配列及び解像度の優先度に基づいて圧縮パラメータの選択可能範囲を調整することで、画像劣化を抑えつつ高効率に画像データを圧縮するというユーザーのニーズに、柔軟に対応することが可能である。

なお、圧縮パラメータ決定部７３において決定される圧縮パラメータの設定選択可能範囲は、更にユーザーが指定した圧縮率に応じて定められてもよい。ここでいう圧縮率は、圧縮処理前後のデータ量の比率に基づくものであり、圧縮可能なデータ量を直接的又は間接的に示す。表示部５５は、複数の選択候補の中から圧縮レベルを選択可能に表示することができ、操作部４４は、圧縮レベルに関するユーザーの選択を受け付けることができる。例えば図１３Ａに示すように、圧縮の程度（圧縮率、圧縮レベル）を複数段階（図１３Ａでは「１」〜「１０」の１０段階；「１」が圧縮率最小、「１０」が圧縮率最大）用意し、ユーザーは操作部４４を介してカーソル９３を操作し、任意の圧縮レベルを指定選択することができる。この場合、圧縮パラメータ決定部７３は圧縮制御部７１に制御され、ユーザーが指定選択する圧縮段階（圧縮率）に基づいて、圧縮パラメータの設定選択可能範囲を定める。なお、このようなユーザーによる圧縮率の指定は、撮像データ３２の撮像取得の前に行われてもよいし、撮像データ３２の撮像取得の後に行われてもよく、圧縮処理の最中に行われてもよい。

また解像度の優先度も、ユーザーによって設定可能であり、撮像データ３２の撮像取得の前に予め設定されていてもよいし、撮像データ３２の撮像取得の後に設定されてもよく、圧縮処理の最中に設定されてもよい。例えば、ユーザーは操作部４４を操作して、図１３Ｂのように表示部５５に表示されるノーマルモード（圧縮サイズ優先）表示９１及びファインモード（画質優先）表示９２のいずれかにカーソル９３を合わせて、ノーマルモード又はファインモードを選択することができる。ノーマルモードが選択された場合には「解像度は優先されない」と判別され（図１２のＳ２４のＮＯ）、ファインモードが選択された場合には「解像度は優先される」と判別される（Ｓ２４のＹＥＳ）。

なお、圧縮パラメータは圧縮処理に応じた任意のパラメータとすることができる。例えばＪＰＥＧフォーマットによる圧縮処理の場合、ダウンサンプリング比や量子化テーブルの量子化ステップ値（量子化パラメータ）を圧縮パラメータとすることができる。

したがって、例えば図５Ｂ及び図６に示すカラーフィルタ配列のように撮像データ３２の高周波成分が比較的多くなる配列構造を有するカラーフィルタが使用されると判別される場合（Ｓ２３のＹＥＳ）、圧縮パラメータ決定部７３において、輝度信号については高周波領域成分の比率を上げる量子化パラメータ（パラメータ設定可能範囲）（すなわち、高周波領域成分をカットする割合を減らす量子化パラメータ）に切り替えられ、色差信号については高周波領域の比率を下げた量子化パラメータ（パラメータ設定可能範囲）（すなわち、高周波領域成分をカットする割合を増やす量子化パラメータ）に切り替えられ、圧縮処理を行うこともできる。これにより、画質の劣化を抑えつつ圧縮率が比較的高い圧縮画像を得ることが可能となる。

＜第２の実施形態＞
第２の実施形態に係る圧縮処理例について、図１１及び図１４を参照して説明する。図１４は、第２の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。

本実施形態において、上述の第１の実施形態と同一又は類似の処理については、詳細な説明は省略する。

本実施形態は、光学ローパスフィルタの有無に応じて圧縮パラメータの選択可能範囲を適正化することで、ユーザーによる最適な圧縮パラメータの選択決定を容易にすることができる。したがって、第１の実施形態では「画像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報」が撮影条件データ３４として用いられるが、本実施形態では「画像データの撮像作成時における光学ローパスフィルタの有無に関する情報」が撮影条件データ３４として用いられる。

なお、第２の実施形態に係る図１４の処理ステップＳ３１〜Ｓ３７は、第１の実施形態における「カラーフィルタ配列の判別処理（図１２のＳ２３）」が「光学ローパスフィルタの有無の判別処理（図１４のＳ３３）」に置き換えられている点を除けば、第１の実施形態に係る図１２の処理ステップＳ２１〜Ｓ２７と同じであるため、両者に共通の処理の詳細な説明は省略する。

本実施形態では、第１の実施形態と同様に、画像撮影データ３０が画像圧縮処理部８９に入力されると、データ取得部７２において撮影条件データ３４の取得が行われ（図１４のステップＳ３１）、圧縮パラメータ決定部７３において撮像データ３２に撮影条件データ３４が付加されているか否かの判別が行われ（Ｓ３２）、撮影条件データ３４が付加されていないと判別された場合には（Ｓ３２のＮＯ）、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」が採用設定される（Ｓ３５ａ）。

撮像データ３２に撮影条件データ３４が付加されていると判別された場合（Ｓ３２のＹＥＳ）、圧縮パラメータ決定部７３は、撮影条件データ３４に基づいて、光学ローパスフィルタ（ＯＬＰＦ）の有無を判別する（Ｓ３３）。撮像データ３２の撮像取得時に光学ローパスフィルタが用いられていたと判別される場合（Ｓ３３のＮＯ）、圧縮パラメータ決定部７３は圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」を採用設定する（Ｓ３５ａ）。

一方、撮像データ３２の撮像取得時に光学ローパスフィルタが用いられていなかったと判別される場合（Ｓ３３のＹＥＳ）、圧縮パラメータ決定部７３は解像度を優先させるか否かを判別する（Ｓ３４）。

解像度の判別結果に応じて圧縮パラメータの設定選択可能範囲を採用設定する点（Ｓ３５ｂ、Ｓ３５ｃ）や、ユーザーによる圧縮パラメータの設定選択（Ｓ３６）によって圧縮処理を行う点（Ｓ３７）は、第１の実施形態と同様である。

上述のように、図１４に示される本実施形態の処理フローによれば、撮影条件データ３４の有無や光学ローパスフィルタの有無によって、ユーザーが選択可能な圧縮パラメータの範囲が適正化されるため、ユーザーは容易に最適な圧縮パラメータを選択することができる。特に、光学ローパスフィルタが設けられていない撮像部によって取得され且つ解像度が優先される場合には、撮像データ３２に含まれる高周波成分が過剰に除去されないような圧縮パラメータの選択をユーザーに促すことができ、画像解像度感が損なわれないような圧縮処理を効果的に行うことができる。

＜第３の実施形態＞
第３の実施形態に係る圧縮処理例について、図１１及び図１５を参照して説明する。図１５は、第３の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。

本実施形態において、上述の第１の実施形態又は第２の実施形態と同一又は類似の処理については、詳細な説明は省略する。

圧縮パラメータの選択可能範囲の適正化に関して、第１の実施形態では「カラーフィルタ配列」を基準にし（図１２参照）、第２の実施形態では「光学ローパスフィルタの有無」を基準にしていたが（図１４参照）、本実施形態では「カラーフィルタ配列」及び「光学ローパスフィルタの有無」の両者を基準にしている。

なお、第３の実施形態に係る図１５の処理ステップＳ４１〜Ｓ４８は、第１の実施形態の処理フロー（図１２のＳ２１〜Ｓ２７）及び第２の実施形態の処理フロー（図１４のＳ３１〜Ｓ３７）を組み合わせたものであり、個々の処理ステップの内容は基本的に同じであるため、共通の処理内容に関する詳細な説明は省略する。

本実施形態では、第１の実施形態及び第２の実施形態と同様に、画像撮影データ３０が画像圧縮処理部８９に入力されると、データ取得部７２において撮影条件データ３４の取得が行われ（図１５のステップＳ４１）、圧縮パラメータ決定部７３において撮像データ３２に撮影条件データ３４が付加されているか否かの判別が行われ（Ｓ４２）、撮影条件データ３４が付加されていないと判別された場合には（Ｓ４２のＮＯ）、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」が採用設定される（Ｓ４６ａ）。

撮像データ３２に撮影条件データ３４が付加されていると判別された場合（Ｓ４２のＹＥＳ）、圧縮パラメータ決定部７３は、光学ローパスフィルタ（ＯＬＰＦ）の有無を判別する（Ｓ４３）。撮像データ３２の撮像取得時に光学ローパスフィルタが用いられていたと判別される場合（Ｓ４３のＮＯ）、圧縮パラメータ決定部７３は圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」を採用設定する（Ｓ４６ａ）。

一方、撮像データ３２の撮像取得時に光学ローパスフィルタが用いられていなかったと判別される場合（Ｓ４３のＹＥＳ）、圧縮パラメータ決定部７３は、使用されたカラーフィルタ（ＣＦ）がベイヤー配列以外か否かを判別する（Ｓ４４）。

カラーフィルタがベイヤー配列以外ではない（すなわちベイヤー配列である）と判別された場合（Ｓ４４のＮＯ）、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域α」を採用設定する（Ｓ４６ａ）。

一方、カラーフィルタがベイヤー配列以外である（例えば図５Ｂ及び図６に示すカラーフィルタ配列である）と判別された場合（Ｓ４４のＹＥＳ）、圧縮パラメータ決定部７３は解像度を優先させるか否かを判別する（Ｓ４５）。

解像度の判別結果に応じて圧縮パラメータの設定選択可能範囲を採用設定する点（Ｓ４６ｂ、Ｓ４６ｃ）や、ユーザーによる圧縮パラメータの設定選択（Ｓ４７）によって圧縮処理を行う点（Ｓ４８）は、第１の実施形態及び第２の実施形態と同様である。

上述のように図１５に示される本実施形態の処理フローによれば、撮影条件データ３４の有無、光学ローパスフィルタの有無及びカラーフィルタ配列によって、ユーザーが選択可能な圧縮パラメータの範囲が適正化されるため、ユーザーは容易に最適な圧縮パラメータを選択することができる。

＜第４の実施形態＞
第４の実施形態に係る圧縮処理例について、図１１及び図１６を参照して説明する。図１６は、第４の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。

本実施形態において、上述の第３の実施形態と同一又は類似の処理については、詳細な説明は省略する。

上述の第３の実施形態では、複数の選択候補を含む所定範囲からユーザーが選択した圧縮パラメータに基づいて圧縮処理が行われるが、本実施形態では、ユーザーに複数の選択候補を提示することなく、撮影条件データに応じて圧縮パラメータが自動的に決定される。

なお、第４の実施形態に係る図１６の処理ステップＳ５１〜Ｓ５７のうち、第３の実施形態の処理ステップ（図１５のＳ４１〜Ｓ４８）と共通する処理ステップの詳細な説明は省略する。

本実施形態では、第３の実施形態と同様に、画像撮影データ３０が画像圧縮処理部８９に入力されると、データ取得部７２において撮影条件データ３４の取得が行われ（図１６のステップＳ５１）、圧縮パラメータ決定部７３において撮像データ３２に撮影条件データ３４が付加されているか否かの判別が行われる（Ｓ５２）。撮影条件データ３４が付加されていないと判別された場合（Ｓ５２のＮＯ）、圧縮パラメータ決定部７３は、圧縮パラメータとして「高周波成分のカット比率が通常であるパラメータα’」を採用設定する（Ｓ５６ａ）。

また、撮影条件データ３４が付加されていると判別され（Ｓ５２のＹＥＳ）、撮像データ３２の撮像取得時に光学ローパスフィルタが用いられていたと判別される場合（Ｓ５３のＮＯ）にも、圧縮パラメータ決定部７３は、圧縮パラメータとして「高周波成分のカット比率が通常であるパラメータα’」を採用設定する（Ｓ５６ａ）。

また、撮像データ３２の撮像取得時に光学ローパスフィルタが用いられていなかったと判別され（Ｓ５３のＹＥＳ）、カラーフィルタの配列がベイヤー配列であると判別される場合（Ｓ５４のＮＯ）にも、圧縮パラメータ決定部７３は、圧縮パラメータとして「高周波成分のカット比率が通常であるパラメータα’」を採用設定する（Ｓ５６ａ）。

一方、カラーフィルタがベイヤー配列以外である（例えば図５Ｂ及び図６に示すカラーフィルタ配列である）と判別された場合（Ｓ５４のＹＥＳ）、圧縮パラメータ決定部７３は解像度を優先させるか否かを判別する（Ｓ５５）。

解像度を優先させると判別される場合（Ｓ５５のＹＥＳ）、圧縮パラメータ決定部７３は、圧縮パラメータとして「高周波成分のカット比率が低めであるパラメータβ’」を採用設定する（Ｓ５６ｂ）。また、解像度を優先させないと判別される場合（Ｓ５５のＮＯ）、圧縮パラメータ決定部７３は、圧縮パラメータとして「高周波成分のカット比率が高めであるパラメータγ’」を採用設定する（Ｓ５６ｃ）。

そして、後段の圧縮処理部（ダウンサンプリング処理部７４、ＤＣＴ処理部７５、量子化処理部７６、エントロピー圧縮処理部７７）は、この採用設定された圧縮パラメータα’、β’、γ’に基づいて画像撮影データ３０（撮像データ３２）を圧縮処理する（Ｓ５７）。

上述のように図１６に示される本実施形態の処理フローによれば、撮影条件データの有無、光学ローパスフィルタの有無及びカラーフィルタ配列によって、適正な圧縮パラメータが自動的に採用設定され、画像劣化を抑制した効果的な圧縮処理を行うことができる。

なお、本例のように適正な圧縮パラメータが撮影条件データ３４に基づいて自動的に設定される場合、圧縮処理前に、圧縮パラメータ決定部７３は採用設定した圧縮パラメータを表示部５５に表示し、この採用設定の了承（確定）をユーザーに促すようにしてもよい。この場合、ユーザーは操作部４４を操作して、設定された圧縮パラメータの了承（確定）を行う。したがって、設定された圧縮パラメータが「ＪＰＥＧ圧縮処理において、輝度信号の占める比率を増加させて、色差信号の比率を下げる」ものである場合には、その事実を表示部５５に表示（警告通知）して、ユーザーによる了承（確定）を促すようにしてもよい。

また上述の実施形態では、「光学ローパスフィルタの有無」及び「カラーフィルタの配列」の両情報に基づいて、圧縮パラメータの設定が行われているが、「光学ローパスフィルタの有無」及び「カラーフィルタの配列」のいずれか一方の情報のみに基づいて圧縮パラメータが設定されてもよい。例えば「光学ローパスフィルタの有無」の情報のみに基づく場合、光学ローパスフィルタが使用されていないと判別されると（Ｓ５３のＹＥＳ）、解像度優先か否かの判別が行われる（Ｓ５５）。同様に、「カラーフィルタの配列」の情報のみに基づく場合、撮影条件データ３４があると判定されると（Ｓ５２のＹＥＳ）、カラーフィルタ配列がベイヤー配列か否かの判別が行われる（Ｓ５４）。

＜第５の実施形態＞
第５の実施形態に係る圧縮処理例について、図１１及び図１７を参照して説明する。図１７は、第５の実施形態に係る圧縮パラメータの決定フローを示すフローチャートである。

本実施形態において、上述の第３の実施形態と同一又は類似の処理については、詳細な説明は省略する。

本実施形態では、複数の撮像部（第１の撮像部、第２の撮像部）によって撮像作成された撮像データ（画像データ）３２が画像処理部１４（画像圧縮処理部８９）に入力される例について説明する。特に以下の例では、ユーザーが圧縮レベル（図１３Ａ及び図１３Ｂ参照）を複数の選択候補の中から選択し、この選択圧縮レベルと撮影条件データ３４とによって各撮像部で撮像作成された撮像データ３２に対する圧縮パラメータが決定される。

本実施形態では、まず、所望の圧縮レベルがユーザーによって決定される（図１７のステップＳ６１）。この圧縮レベルの選択決定の方法は特に限定されず、例えば図１３Ｂの表示に基づいて任意の圧縮レベル（ノーマルモード（圧縮優先）、ファインモード（画質優先））が操作部４４を介してユーザーにより選択される。

そして、データ取得部７２において撮影条件データ３４の取得が行われ（Ｓ６２）、圧縮パラメータ決定部７３において撮像データ３２に撮影条件データ３４が付加されているか否かの判別が行われる（Ｓ６３）。

撮影条件データ３４が付加されていないと判別された場合（Ｓ６３のＮＯ）、圧縮パラメータ決定部７３は、処理対象の撮像データ３２が第１の撮像部及び第２の撮像部のいずれによって撮像取得されたかを判定する（Ｓ６７ａ）。本実施形態の撮影条件データ３４には、光学ローパスフィルタの有無に関する情報やカラーフィルタの配列に関する情報に加えて、画像データを取得した撮像部の特性を識別可能な情報が含まれている。圧縮パラメータ決定部７３は、この「撮像部の特性を識別可能な情報」に基づき、撮像データ３２が第１の撮像部及び第２の撮像部のいずれによって撮像取得されたかを判別することができる。なお「撮像部の特性を識別可能な情報」は特に限定されず、第１の撮像部及び第２の撮像部の撮像性能を反映する任意の情報が「撮像部の特性を識別可能な情報」として採用されうる。

第１の撮像部によって撮像取得されたと判定された場合、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が低めであるパラメータ領域α１」を採用設定する（Ｓ６８ａ）。一方、第２の撮像部によって撮像取得されたと判定された場合、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が低めであるパラメータ領域α２」を採用設定する（Ｓ６８ｂ）。

このときに採用設定される圧縮パラメータの設定選択可能範囲は、選択された「圧縮レベル」と「各撮像部の特性」との両方に基づいて定められている。すなわち、圧縮パラメータ決定部７３は、第１の撮像部によって撮像作成された撮像データ３２に対する撮影条件データ３４の取得結果と操作部４４を介して受け付けた圧縮レベルの選択結果とに基づいて、第１の撮像部によって撮像作成された撮像データ３２に対する圧縮パラメータの設定選択可能範囲α１を決定する。同様に、圧縮パラメータ決定部７３は、第２の撮像部によって撮像作成された撮像データ３２に対する撮影条件データ３４の取得結果と操作部４４を介して受け付けた圧縮レベルの選択結果とに基づいて、第２の撮像部によって撮像作成された撮像データ３２に対する圧縮パラメータの設定選択可能範囲α２を決定する。

したがってユーザーが選択した圧縮レベルが同じであったとしても、撮像データ３２を撮像取得した撮像部（例えば撮像素子（センサ））が異なる場合には、圧縮パラメータの設定選択可能範囲が相違するケースもある。このように本実施形態では、圧縮レベルだけではなく撮像部の特性も加味されて、圧縮パラメータの設定選択可能範囲が決定される。

同様に、撮像データ３２に撮影条件データ３４が付加されていると判別され（Ｓ６３のＹＥＳ）、「撮像取得時に光学ローパスフィルタが用いられていたと判別される場合（Ｓ６４のＮＯ）」や、光学ローパスフィルタが用いられていなかったと判別され（Ｓ６４のＹＥＳ）、「カラーフィルタがベイヤー配列であると判別される場合（Ｓ６５のＮＯ）」にも、上述のステップＳ６７ａを経て圧縮パラメータの設定選択可能範囲が「パラメータ領域α１」又は「パラメータ領域α２」に設定される（Ｓ６８ａ、Ｓ６８ｂ）。

一方、カラーフィルタがベイヤー配列以外である（例えば図５Ｂ及び図６に示すカラーフィルタ配列である）と判別された場合（Ｓ６５のＹＥＳ）、圧縮パラメータ決定部７３は解像度を優先させるか否かを判別する（Ｓ６６）。

解像度を優先させると判別される（ファインモード）場合（Ｓ６６のＹＥＳ）、圧縮パラメータ決定部７３は、処理対象の撮像データ３２が第１の撮像部及び第２の撮像部のいずれによって撮像取得されたかを判定し（Ｓ６７ｂ）、第１の撮像部による撮像取得の場合には圧縮パラメータの設定選択可能範囲を「パラメータ領域β１」に設定し（Ｓ６８ｃ）、第２の撮像部による撮像取得の場合には圧縮パラメータの設定選択可能範囲を「パラメータ領域β２」に設定する（Ｓ６８ｄ）。

また解像度を優先させないと判別される（ノーマルモード）場合（Ｓ６６のＮＯ）、圧縮パラメータ決定部７３は、処理対象の撮像データ３２が第１の撮像部及び第２の撮像部のいずれによって撮像取得されたかを判定し（Ｓ６７ｃ）、第１の撮像部による撮像取得の場合には圧縮パラメータの設定選択可能範囲を「パラメータ領域γ１」に設定し（Ｓ６８ｅ）、第２の撮像部による撮像取得の場合には圧縮パラメータの設定選択可能範囲を「パラメータ領域γ２」に設定する（Ｓ６８ｆ）。

そして、圧縮パラメータ決定部７３は、圧縮制御部７１に制御され、設定したパラメータ領域α１、α２、β１、β２、γ１、γ２を表示部５５に表示し、ユーザーは、表示部５５の表示を確認しながら、操作部４４によって任意の圧縮パラメータを選択することができる（Ｓ６９）。

操作部４４を介して受け付けた圧縮パラメータの選択結果は、圧縮制御部７１を介して圧縮パラメータ決定部７３に送られ、圧縮パラメータ決定部７３はこの選択結果に応じて圧縮パラメータを確定する。

そして、後段の圧縮処理部（ダウンサンプリング処理部７４、ＤＣＴ処理部７５、量子化処理部７６、エントロピー圧縮処理部７７）は、この確定された圧縮パラメータに基づいて、第１の撮像部によって撮像作成された撮像データ３２及び第２の撮像部によって撮像作成された撮像データ３２の各々を圧縮処理する（Ｓ７０）。

上述のように図１７に示される本実施形態の処理フローによれば、撮影条件データの有無、光学ローパスフィルタの有無及びカラーフィルタ配列だけではなく、撮像データ３２を撮像した撮像部毎の特性に基づいて、適正な圧縮パラメータの設定選択可能範囲が定められるため、ユーザーは、容易により最適な圧縮パラメータを選択することができる。

なお、複数の撮像デバイス（第１の撮像部、第２の撮像部）は、同一装置に組み込まれていてもよいし、別装置に組み込まれていてもよい。

同一装置に複数の撮像デバイスが組み込まれる場合には、例えば図１Ｂの第１の撮像部１２Ａ及び第２の撮像部１２Ｂのような構成とすることができる。一方、別装置に複数の撮像デバイスが組み込まれる場合には、例えば図１Ｃのコンピュータ１１に接続される撮像ユニット１０”が複数台あるような構成とすることも可能である。

なお、撮像部が少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットを備えるセンサー交換型のカメラに対しても本実施形態は適用可能であり、取り付けられた撮像部（光学ローパスフィルタの有無／カラーフィルタ配列）に応じて最適な圧縮処理を行うことが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、他の形態に対しても適宜応用可能である。

上記実施形態では、カラーフィルタ（ＣＦ）が「ベイヤー配列」以外か否かを圧縮パラメータ決定部７３が判別する例（図１２のＳ２３、図１５のＳ４４、図１６のＳ５４、図１７のＳ６５参照）について説明したが、他のカラーフィルタ配列を基準に使用されたカラーフィルタを判別してもよい。例えば、圧縮パラメータ決定部７３は、撮影条件データ３４に基づいて、画像データの撮像作成時に用いられた撮像部に使用されたカラーフィルタ（ＣＦ）が「図５Ｂ及び図６に示すカラーフィルタ配列」以外か否かを判別してもよい。

上述のように「図５Ｂ及び図６に示すカラーフィルタ配列」は、輝度信号を得るために最も寄与する緑（第１の色）に対応するＧフィルタ（第１のフィルタ）と、緑以外の２色以上の第２の色（図示の例では赤及び青（第１構成色、第２構成色））に対応するＲフィルタ及びＢフィルタ（第２のフィルタ）とが配列された所定の基本配列パターンを含む。該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、Ｇフィルタが、カラーフィルタ配列のうちの水平方向（第１の方向）、垂直方向（第２の方向）、及び水平方向及び垂直方向と４５°を成す斜め方向（第３の方向）の各ライン内に配置され、第２のフィルタ（Ｒフィルタ及びＢフィルタ）が、基本配列パターン内にカラーフィルタ配列の水平方向及び垂直方向の各ライン内に１つ以上配置され、Ｇフィルタに対応する緑の画素数の比率は、Ｒフィルタ及びＢフィルタに対応する第２の色（赤、青）の各色の画素数の比率よりも大きいカラーフィルタである。このカラーフィルタ配列は、Ｇフィルタが垂直方向、垂直方向、斜め方向の各ライン内で２画素以上連続する部分を含む。また、Ｇフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている。より詳細には、基本配列パターンは、６×６画素に対応する正方配列パターンであり、カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを水平方向に挟むように赤に対応するＲフィルタが配置され、中心のＧフィルタを垂直方向に挟むように青に対応するＢフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを垂直方向に挟むように赤色に対応するＲフィルタが配置され、中心のＧフィルタを水平方向に挟むように青色に対応するＢフィルタが配置された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。

このように、入力される画像データに付加される撮影条件データは、画像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含んでいてもよく、画像データの撮像作成時に用いられた撮像部のカラーフィルタが図５Ｂ及び図６に示すカラーフィルタか否かに関する情報をここでいう「カラーフィルタの配列に関する情報」として使用してもよい。従来のベイヤー配列を使って光学ローパスフィルタが設けられていない撮像装置で撮影した画像は、被写体によっては、そのカラーフィルタ配列が原因で偽色や色モアレ等が発生する。この場合に偽色や色モアレ等を含む画像データに対し圧縮パラメータを変えても、圧縮画像に対する画質については十分な効果を得ることができない。これに対して、図５Ｂ及び図６に示すカラーフィルタ配列を使って光学ローパスフィルタが設けられていない撮像装置では、偽色・色モアレが抑制され、高画質で高解像度の画像を取得することができるため、圧縮パラメータ変えることによる画質への影響が大きい。したがって、図５Ｂ及び図６に示すカラーフィルタか否かに関する情報を「カラーフィルタの配列に関する情報」として使用する場合には、圧縮パラメータを調整することで高画質を維持して圧縮することが可能となる。

したがって、使用されたカラーフィルタが図５Ｂ及び図６に示すカラーフィルタであると判別される場合（或いは更に解像度を優先させると判別される場合）に、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が低めであるパラメータ領域」を採用設定してもよい。一方、使用されたカラーフィルタが図５Ｂ及び図６に示すカラーフィルタであると判別されたが解像度を優先させないと判別された場合、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が高めであるパラメータ領域」を採用設定してもよい。また使用されたカラーフィルタが図５Ｂ及び図６に示すカラーフィルタではないと判別された場合、圧縮パラメータ決定部７３は、圧縮パラメータの設定選択可能範囲として「高周波成分のカット比率が通常であるパラメータ領域」を採用設定してもよい。

また、上記実施形態ではデジタルカメラについて説明したが（図４参照）、撮影装置の構成はこれに限定されない。本発明を適用可能な他の撮影装置（撮像装置）としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。また、上述の実施形態は、コンピュータに対しても適用可能であり、上述の各処理ステップをコンピュータに実行させるプログラムに対しても、本発明を適用することが可能である。コンピュータやプログラムに対して本発明を適用する場合、コンピュータ上でＲＡＷデータ等を編集する際に、最適圧縮パラメータをユーザーに対して明示し、最適圧縮パラメータの決定を容易にすることができ、最適な画像編集が可能なユーザーインターフェースを提供することができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１８は、本発明の撮影装置の一実施形態であるスマートフォン１０１の外観を示すものである。図１８に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１９は、図１８に示すスマートフォン１０１の構成を示すブロック図である。図１９に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザーに情報を伝達し、表示した情報に対するユーザー操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザーの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザーの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザー操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザーの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１８に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザーからの指示を受け付けるものである。例えば、図１８に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉ ｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥースＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、このスマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサーなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザー操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザー操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することができる。図１８に示すにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサーを用いずに、或いは、３軸の加速度センサーと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することもできる。

なお、上述のスマートフォン１０１において、カメラ部１４１が図１Ａから図１Ｃの撮像部１２、１２Ａ、１２Ｂとして機能し、主制御部１００が図１Ａから図１Ｃの画像処理部１４、１４Ａ、１４Ｂとして機能し、操作部１４０及び操作パネル１２２が図１Ａから図１ＣのユーザーＩ／Ｆ１６として機能し、主制御部１００及び外部入出力部１６０が図１Ａから図１Ｃの入出力制御部１８として機能し、記憶部１５０が図１Ａから図１Ｃの記憶部２０として機能し、表示パネル１２１が図１Ａから図１Ｃの表示部２２として機能する。

１０…撮像ユニット、１１…コンピュータ、１２…撮像部、１２Ａ…撮像部、１２Ｂ…撮像部、１４…画像処理部、１４Ａ…画像処理部、１４Ｂ…画像処理部、１６…ユーザーＩ／Ｆ、１８…入出力制御部、２０…記憶部、２２…表示部、３０…画像撮影データ、３２…撮像データ、３４…撮影条件データ、３６…圧縮画像データ、４０…撮像装置、４４…操作部、４６…デバイス制御部、４８…レンズ部、５０…シャッター、５２…撮像素子、５４…Ｄ変換器、５５…表示部、５６…メモリ部、５８…画像処理部、６０…エンコーダ、６２…ドライバ、６４…光学ローパスフィルタ、７０…データ取得部、７１…圧縮制御部、７２…データ取得部、７３…圧縮パラメータ決定部、７４…ダウンサンプリング処理部、７５…ＤＣＴ処理部、７６…量子化処理部、７７…エントロピー圧縮処理部、８１…リニア前処理部、８２…ＷＢ補正部、８３…露出補正部、８４…補正部、８５…デモザイク処理部、８６…ＹＣ変換部、８７…輪郭補正部、８８…色調補正部、８９…画像圧縮処理部、９０…撮影条件データ付加部、９１…表示、９２…表示、９３…カーソル、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (19)

1. 画像データを圧縮パラメータに基づいて圧縮する画像処理装置であって、
   入力される前記画像データに対して前記画像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む撮影条件データが付加されているか否か及び前記撮影条件データの内容を取得するデータ取得部と、
   前記データ取得部による前記撮影条件データの取得結果に基づいて、前記圧縮パラメータを決定する圧縮パラメータ決定部と、
   決定された前記圧縮パラメータに基づいて、前記画像データを圧縮処理する圧縮処理部と、を備え、
   前記圧縮パラメータ決定部は、前記光学ローパスフィルタの有無に関する情報に基づいて前記圧縮パラメータを決定する画像処理装置。
2. 前記撮影条件データは、前記画像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含む請求項１に記載の画像処理装置。
3. 少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部によって撮像作成された画像データが入力される請求項１または２に記載の画像処理装置であって、
   圧縮レベルを複数の選択候補の中から選択可能に表示する表示部と、
   圧縮レベルに関するユーザーの選択を受け付ける選択部と、を更に備え、
   前記圧縮パラメータ決定部は、前記第１の撮像部によって撮像作成された前記画像データに対する前記撮影条件データの取得結果と前記選択部を介して受け付けた前記圧縮レベルの選択結果とに基づいて、前記第１の撮像部によって撮像作成された前記画像データに対する前記圧縮パラメータを決定し、前記第２の撮像部によって撮像作成された前記画像データに対する前記撮影条件データの取得結果と前記選択部を介して受け付けた前記圧縮レベルの選択結果とに基づいて、前記第２の撮像部によって撮像作成された前記画像データに対する前記圧縮パラメータを決定し、
   前記圧縮処理部は、決定された前記圧縮パラメータに基づいて、前記第１の撮像部によって撮像作成された前記画像データ及び前記第２の撮像部によって撮像作成された前記画像データの各々を圧縮処理する画像処理装置。
4. 前記画像データは、輝度データを含み、
   前記圧縮パラメータは、前記輝度データの占めるデータ量比率に基づく請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記圧縮パラメータは、圧縮率である請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記圧縮処理は、離散コサイン変換によって前記画像データからＤＣＴ係数を算出する工程と、当該ＤＣＴ係数を量子化テーブルに基づいて量子化する工程とを含むＪＰＥＧ方式の圧縮処理であり、
   前記圧縮パラメータは、前記量子化テーブルである請求項１から３のいずれか１項に記載の画像処理装置。
7. 前記圧縮パラメータ決定部による前記圧縮パラメータの決定結果を表示する表示部を更に備える請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記圧縮パラメータ決定部によって決定される前記圧縮パラメータは、複数の選択候補を含み、
   前記表示部は、前記圧縮パラメータを複数の選択候補の中から選択可能に表示し、
   前記画像処理装置は、前記圧縮パラメータに関するユーザーの選択を受け付ける選択部を更に備え、
   前記圧縮パラメータ決定部は、前記選択部を介して受け付けた選択結果に応じて、前記圧縮パラメータを確定し、
   前記圧縮処理部は、確定された前記圧縮パラメータに基づいて前記画像データを圧縮処理する請求項７に記載の画像処理装置。
9. 前記カラーフィルタの配列に関する情報は、前記画像データの撮像作成時に用いられた撮像部のカラーフィルタが、
   第１の方向及び当該第１の方向と垂直な第２の方向に配列された光電変換素子からなる複数の画素上に所定のカラーフィルタ配列をもって配設されるカラーフィルタであって、前記カラーフィルタ配列が、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが前記第１の方向及び前記第２の方向に繰り返して配置され、前記第１のフィルタが、前記カラーフィルタ配列のうちの前記第１の方向、前記第２の方向、及び前記第１の方向及び前記第２の方向と４５°を
   成す第３の方向の各ライン内に配置され、前記第２のフィルタが、前記基本配列パターン内に前記カラーフィルタ配列の前記第１の方向及び前記第２の方向の各ライン内に１つ以上配置され、前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラーフィルタであるか否か
   に関する情報である請求項２に記載の画像処理装置。
10. 前記カラーフィルタ配列は、前記第１のフィルタが前記第１の方向、前記第２の方向、及び前記第３の方向の各ライン内で２画素以上連続する部分を含む請求項９に記載の画像処理装置。
11. 前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が前記第１の方向及び前記第２の方向に繰り返し配置されている請求項９または１０に記載の画像処理装置。
12. 前記第２の色は、第１構成色及び第２構成色を含み、
    前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅に前記第１のフィルタが配置され、中心の前記第１のフィルタを前記第１の方向に挟むように前記第１構成色に対応する前記第２のフィルタが配置され、中心の前記第１のフィルタを前記第２の方向に挟むように前記第２構成色に対応する前記第２のフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅に前記第１のフィルタが配置され、中心の前記第１のフィルタを前記第２の方向に挟むように前記第１構成色に対応する前記第２のフィルタが配置され、中心の前記第１のフィルタを前記第１の
    方向に挟むように前記第２構成色に対応する前記第２のフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている請求項９から１１のいずれか１項に記載の画像処理装置。
13. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色である請求項９から１２のいずれか１項に記載の画像処理装置。
14. 画像データを撮像作成する撮像部を有する撮像ユニットと、
    請求項１から１３のいずれか１項に記載の画像処理装置と、を備える撮像装置。
15. 画像データを撮像作成する少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部を有する撮像ユニットと、
    請求項１から１３のいずれか１項に記載の画像処理装置と、を備える撮像装置。
16. 画像データを撮像作成する撮像部を有する撮像ユニットであって、前記撮像部が少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットと、
    請求項１から１３のいずれか１項に記載の画像処理装置と、を備える撮像装置。
17. 請求項１から１３のいずれか１項に記載の画像処理装置を備えるコンピュータ。
18. 入力される画像データに対して前記画像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む撮影条件データが付加されているか否か及び前記撮影条件データの内容を取得するデータ取得ステップと、
    前記撮影条件データの取得結果に基づいて、圧縮パラメータを決定する圧縮パラメータ決定ステップと、
    決定された前記圧縮パラメータに基づいて、前記画像データを圧縮処理する圧縮処理ステップと、を備え、
    前記圧縮パラメータ決定ステップでは、前記光学ローパスフィルタの有無に関する情報に基づいて前記圧縮パラメータが決定される画像処理方法。
19. 入力される画像データに対して前記画像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む撮影条件データが付加されているか否か及び前記撮影条件データの内容を取得する手順と、
    前記撮影条件データの取得結果に基づいて、圧縮パラメータを決定する手順と、
    決定された前記圧縮パラメータに基づいて、前記画像データを圧縮処理する手順と、をコンピュータに実行させるためのプログラムであって、
    前記圧縮パラメータを決定する手順では、前記光学ローパスフィルタの有無に関する情報に基づいて前記圧縮パラメータが決定されるプログラム。

Images