JP7289642B2 - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関し、特に撮像画像を画像処理し圧縮記録する画像処理装置に関する。

デジタルカメラで撮像した画像を画像処理しＪＰＥＧなど標準的な圧縮ファイルとして記録媒体などに記録する機能は必須となっている。さらにＨＥＶＣ圧縮、ＨＥＩＦ形式による記録も広まってきている。一方、カメラ内の画像処理はセンサの高画素化、高フレームレート化にともない高速化が要求され、されには高感度撮影時の高画質化も要求されてきている。これにともない高速連写時などでカメラ内の画像処理が撮影速度には追い付かなくなってきている。また画像処理に関してもディープラーニングの画像処理への応用など処理時間はかかるがより高画質な画像処理が登場してきている。そこで、撮影時は一旦従来の画像処理で記録し、撮影後に高度な画像処理を記録画像に対して再処理することを考える。また撮影時には再処理に必要なＲＡＷデータを復元するための差分画像を合わせて記録する。例えば特許文献１では、本画像のＪＰＥＧファイルにＲＡＷデータとの差分である差分画像を可逆符号化した符号化データを付加し記録する技術が開示されている。

特開２００６－１７３９３１号公報

しかしながら、特許文献１に開示されている技術では、撮影時にＪＰＥＧ本画像を復号、逆変換処理を施して差分画像を生成しているため、全体の処理時間が通常の撮影処理と比較し長くなってしまい、メモリ使用量が増大する。

本発明は、上記課題を鑑みて、撮影後の再処理を想定した差分画像を記録する場合において処理性能を向上する画像処理装置を提供することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、撮像手段により生成された画像データに対して非可逆な画像処理を行う第一の画像処理手段と、前記第一の画像処理手段により前記非可逆な画像処理が行われた画像データを圧縮処理する第一の圧縮手段と、前記画像データに対して可逆な画像処理を行う、前記第一の画像処理手段と異なる第二の画像処理手段と、前記非可逆な画像処理後の画像データと前記可逆な画像処理後の画像データとの差分データを生成する生成手段と、前記生成手段により生成された前記差分データを圧縮処理する第二の圧縮手段と、前記第一の圧縮手段により圧縮された画像データと前記第二の圧縮手段により圧縮された画像データを記録する記録手段とを備えることを特徴とする。

本発明によれば、撮影後の再処理を想定した差分画像を記録する場合において処理性能を向上できる画像処理装置を提供することができる。

第１実施形態に係る機能ブロック図である。 第１実施形態に係る処理フローをを示す図である。 第１本実施形態に係るタイミングチャート図である。 第１実施形態に係る第二の処理フローを示す図である。 第１実施形態に係る第二のタイミングチャート図である。 第１実施形態に係る可逆画像処理およびその逆変換を説明する図である。 第１実施形態に係るデモザイク処理を説明する図である。 第１実施形態に係る再ベイヤ化を説明する図である。 第１実施形態に係るガンマ補正および逆ガンマ補正を説明する図である。 第１実施形態に係るマトリクス変換および逆変換を説明する図である。 第１実施形態に係る歪曲補正および逆補正を説明する図である。 第１実施形態に係る差分生成処理および加算処理を説明する図である。 第１実施形態に係るＨＥＩＦファイル構成を説明する図である。 第１実施形態に係る外部サーバ処理を示すフローチャートである。 第１実施形態に係る処理の切替えを説明する図である。 第２実施形態に係る処理フローを示す図である。 第２実施形態に係るタイミングチャート図である。

以下、図面を参照しながら本発明の例示的な実施形態について説明する。

（第１実施形態）
まず、図１を参照して、複数の撮像光学系により結像された撮像画像から画像信号を生成し、画像処理、圧縮処理を施し記録を行う画像処理装置として機能する撮像装置について説明する。なお、本実施形態では撮像装置の内部で画像処理と圧縮処理を行う例をあげて説明を行うが、これらに限られるものではない。例えば撮像装置は生成した画像データを通信を介して外部のサーバやクラウドなどの外部の処理装置に転送し、この外部の処理装置において、画像処理と圧縮処理を行う構成としてもよい。図１は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置は、結像光学部１０１と、撮像素子１０２と、Ａ／Ｄ変換回路１０３と、非可逆画像処理部１０４と、ＣＰＵ１０５とを備える。結像光学部１０１は、レンズや絞り等からなり、焦点調節や露出調節を行う。撮像素子１０２は、光学像を電気信号に変換するＣＣＤ等の撮像素子である。Ａ／Ｄ変換回路１０３は、撮像素子１０２からのアナログ画像信号をデジタル画像データに変換する。出力されるＲＡＷデータは、画素に全ての色データ揃っていないような例えばベイヤ配列のデータである。非可逆画像処理部１０４は、Ａ／Ｄ変換回路１０３から出力された画像データに対してノイズ低減、デモザイク、色変換、ガンマ変換等の非可逆な画像処理を施す。ＣＰＵ１０５は、バスを介して各種制御を司る。

なお、非可逆な画像処理は、撮像画像の本画像記録用の画像処理であり、撮像画像の領域ごとにベタ部かエッジ部かまたエッジ部の場合は、エッジの方向など画像特徴の特徴量を抽出し、これに適したノイズ除去処理、デモザイク処理を含む現像処理を施す。また、被写体によっては画像領域ごとに適した露出補正を行う場合もある。よって、これらの画像処理は、撮像画像の特徴に応じた一般的に非可逆な処理であり、また処理に必要なパラメータ数も多い。

また、撮像装置は、表示部１０６と、メモリ１０７と、記録部１０８と、可逆画像処理部１０９と、加減算処理部１１０と、圧縮伸張処理部１１１と、通信部１１２とを備え、通信部１１２を介し外部サーバ１１３に接続する。表示部１０６は、液晶モニター等で構成され、メモリ１０７に格納された画像データを表示する表示部である。また、表示部１０６は、シャッターボタンやメニューボタン、方向キー、決定キーなどユーザーが撮像装置に各種の指示や設定などを入力するための入力デバイスを兼ねる。メモリ１０７は、非可逆画像処理部１０４、または可逆画像処理部１０９から出力された画像データを一時的に格納するＤＲＡＭなどで構成される。また、後述する圧縮伸張処理部１１１の圧縮データのバッファ領域、表示部１０６用表示データの格納領域としても使用する。記録部１０８は、ＳＤカード等で構成され、メモリ１０７に格納された画像圧縮データなどをＪＰＥＧやＨＥＩＦなどのファイル形式として記録する。可逆画像処理部１０９は、Ａ／Ｄ変換回路１０３から出力された画像データに対してデモザイク処理、色変換、ガンマ処理等の可逆な画像処理を施す。なお、可逆画像処理は、ＲＡＷ復元用の画像データ生成のための画像処理であり、画質優先で無く可逆性が優先され、パラメータ数も最小限に抑えることを特徴としている。

加減算処理部１１０は、撮影時には可逆画像処理部１０９の出力画像データと非可逆画像処理部１０４の出力画像データの差分画像を生成する。また、記録後の再処理時のＲＡＷ復元においては本記録画像と差分画像データを加算しＲＡＷ復元用の画像データを生成する。圧縮伸張処理部１１１は、撮影時には非可逆画像処理部１０４の出力画像データの圧縮処理、または加減算処理部１１０の出力差分画像データの圧縮処理を行う。非可逆画像処理部１０４の出力画像データの圧縮は、ＪＰＥＧ圧縮やＨＥＶＣ圧縮などが考えられる。加減算処理部１１０の出力差分画像データの圧縮は可逆なロスレス圧縮が好ましいが記録ファイルサイズの圧縮を優先し非可逆な圧縮とすることでも構わない。これら圧縮データはメモリ１０７に格納する。また、記録後の再処理時には圧縮されたこれらの画像データを伸張処理する。通信部１１２は、ＷｉＦｉなどの外部通信機器とデータの送受信を行う。外部サーバ１１３は、ネットワークおよびクラウドサーバのようなサーバである。

次に、図２を用いて、本実施形態に係る処理フローについて説明する。図２（Ａ）は、撮影時の処理フローの例を示す図である。ＲＡＷデータ２０１は、撮像されたＲＡＷデータであり、Ａ／Ｄ変換回路１０３から出力されたベイヤ配列のＲＡＷデータである。次に、非可逆画像処理２０２は、非可逆画像処理部１０４で行う非可逆な画像処理である。本画像ＹＵＶデータ２０３は、非可逆画像処理２０２の出力である本画像記録用のＹＵＶデータである。そして、本画像ＹＵＶデータ２０３は、メモリ１０７に書き込まれる。次に、ＨＥＶＣ圧縮２０４は、圧縮伸張処理部１１１で行うＨＥＶＣ圧縮処理であり、本画像ＹＵＶデータ２０３をＨＥＶＣ圧縮する。なお、本実施形態では、ＨＥＶＣ圧縮手段を例にしているが、ＪＰＥＧ圧縮のような別の圧縮方式でも構わない。そして、圧縮処理２０４後の圧縮データは、メモリ１０７に書き込まれる。

一方、可逆画像処理２０６は、可逆画像処理部１０９で行う可逆な画像処理である。本実施形態で使用する可逆パラメータは、非可逆画像処理２０２で使用されたパラメータに基づいて生成する。非可逆画像処理パラメータからの可逆パラメータの生成は、ＣＰＵ１０５で処理する。この処理について後述で詳しく説明する。次に、ＲＡＷ復元用ＹＵＶデータ２０７は、可逆画像処理２０６の出力であるＲＡＷ復元用ＹＵＶデータである。そして、ＲＡＷ復元用ＹＵＶデータ２０７は、メモリ１０７に書き込まれる。次に、差分生成処理２０８は、加減算処理部１１０で行う差分生成処理であり、メモリ１０７上の非可逆な画像処理後の本画像ＹＵＶデータ２０３、可逆な画像処理後のＲＡＷ復元用ＹＵＶデータ２０７の差分データ２０９を生成する。そして、差分データ２０９は、加減算処理部１１０での差分生成処理２０８の出力であり、メモリ１０７に書き込まれる。次に、圧縮処理２１０は、圧縮伸張処理部１１１で行う差分データ２０９の圧縮処理である。ＲＡＷの復元性を考えると可逆圧縮がよいが、ＲＡＷ復元性より圧縮後のデータサイズを優先する場合は非可逆な圧縮処理でもよい。

そして、ＨＥＩＦファイル２０５は、本画像ＹＵＶデータ２０３のＨＥＶＣ圧縮処理２０４後の圧縮データとして、差分データ２０９の圧縮処理２１０後の圧縮データは、ＨＥＩＦファイル２０５として形成されて記録部１０８に記録する。また、可逆画像処理２０６で使用した可逆パラメータもこのＨＥＩＦファイル２０５に付加し記録する。

図２（Ｂ）は、ＨＥＩＦファイル２０５からＲＡＷを復元する処理フローである。ＨＥＩＦファイル２２１は、撮影時に記録部１０８で記録された記録ファイルであって、図２（Ａ）のＨＥＩＦファイル２０５である。ＨＥＩＦファイル２２１からＨＥＶＣ圧縮された本画像ＹＵＶ圧縮データを読み出し、圧縮伸張処理部１１１でＨＥＶＣ伸張処理２２２を行い、伸張本画像ＹＵＶデータ２２３を出力する。そして、出力された伸張本画像ＹＵＶデータ２２３は、メモリ１０７に書き込まれる。一方、ＨＥＩＦファイル２２１から圧縮された差分データを読み出し、圧縮伸張処理部１１１で伸張処理２２８を行い、伸張差分データ２２９を出力する。そして、出力された伸張差分データ２２９は、メモリ１０７に書き込まれる。

次に、伸張本画像ＹＵＶデータ２２３と伸張差分データ２２９をメモリ１０７から読み出し加減算処理部１１０で加算処理２２４を行い、ＲＡＷ復元用ＹＵＶデータ２２５を出力する。出力されたＲＡＷ復元用ＹＵＶデータ２２５は、メモリ１０７に書き込まれる。なお、ＲＡＷ復元用ＹＵＶデータ２２５は、撮影時のＲＡＷ復元用ＹＵＶデータ２０７を伸張復元したものである。

また、ＨＥＩＦファイル２２１からは撮影時にＨＥＶＣ圧縮データ、差分圧縮データともに記録していた可逆パラメータを読み出す。読み出した可逆パラメータに対して、パラメータ逆変換処理２３０を行い逆変換パラメータを生成する。次に、ＲＡＷ復元用ＹＵＶデータ２２５をメモリ１０７から読み出し、可逆画像処理部１０９にて可逆画像処理の逆変換処理２２６を行い、復元ＲＡＷデータ２２７を生成し、メモリ１０７に書き込む。このときの逆変換処理２２６の処理パラメータは、パラメータ逆変換処理２３０で生成した逆変換パラメータを使用する。なお、パラメータ逆変換処理２３０は、ＣＰＵ１０５で処理する。

図２（Ｃ）は、復元したＲＡＷデータに対して改めて、図２（Ａ）で示した非可逆画像処理とは異なる、高負荷かつ高度な非可逆画像処理を行う処理フローである。ここで、高度な非可逆画像処理とは、例えば、ディープラーニングを画像処理に応用したような、非常に高画質な画像処理ではあるが、画像１枚あたりの処理時間は、長く撮影時に処理することが製品機能上好ましくないものである。例えば、画像１枚あたり数十秒から数分以上かかるような画像処理である。

まず、復元ＲＡＷデータ２４１は、図２（Ｂ）で復元された復元ＲＡＷデータ２２７である。高度な非可逆画像処理Ａ２４２は、メモリ１０７から復元ＲＡＷデータ２２７を読み出し、非可逆画像処理部１０４で画像処理を施し処理後ＲＡＷデータ２４３を出力する。出力された処理後ＲＡＷデータ２４３は、メモリ１０７に書き込まれる。

次に、高度な非可逆画像処理Ｂ２４４は、メモリ１０７から処理後ＲＡＷデータ２４３を読み出し、非可逆画像処理部１０４で画像処理を施し処理後本画像ＹＵＶデータ２４５を出力する。出力された処理後本画像ＹＵＶデータ２４５は、メモリ１０７に書き込まれる。次に、処理後本画像ＹＵＶデータ２４５は、圧縮伸張処理部１１１でＨＥＶＣ圧縮処理２４６を行い、ＨＥＶＣ圧縮データは、メモリ１０７に書き込まれる。

一方、選択器２４８は、処理フローの切替えスイッチであり、復元ＲＡＷデータ２４１と処理後ＲＡＷデータ２４３のどちらを選択するかを切り替える。選択器２４８は、今回の復元対象のＲＡＷデータをどちらとするかを選択する。選択器２４８で選択されたＲＡＷは、可逆画像処理部１０９で可逆画像処理２４９されＲＡＷ復元用ＹＵＶデータ２５０を出力する。出力されたＲＡＷ復元用ＹＵＶデータ２５０は、メモリ１０７に書き込まれる。本実施形態で使用する可逆パラメータは、高度な非可逆画像処理Ｂ２４４のパラメータに基づいて生成する。生成手法は、図２（Ａ）の可逆画像処理２０６の可逆パラメータの生成と同様であるため説明を省略する。なお、可逆パラメータの生成については、ＣＰＵ１０５で処理される。

次に、処理後本画像ＹＵＶデータ２４５とＲＡＷ復元用ＹＵＶデータ２５０をメモリ１０７から読み出し加減算処理部１１０で差分生成処理２５１を行い、生成された差分データ２５２をメモリ１０７に書き込む。次に、差分データ２５２は、圧縮伸張処理部１１１で圧縮し圧縮データを出力する。出力された圧縮データは、メモリ１０７に書き込まれる。次に、ＨＥＩＦファイル２４７は、ＨＥＩＦファイルを示しており、前処理後本画像ＹＵＶデータ２４５のＨＥＶＣ圧縮処理２４６後の圧縮データと差分データ２５２の圧縮処理２５３後の圧縮データをＨＥＩＦファイル２４７として形成して、記録部１０８に記録する。また、可逆画像処理２４９で使用した可逆パラメータもこのＨＥＩＦファイル２４７に付加し記録する。

なお、図２（Ａ）の処理フローについて、撮影時の処理フローとして説明したが、図２（Ｂ）の処理フローにより復元された復元ＲＡＷデータ２２７に対する処理にも適用できる。また、図２（Ｃ）の処理フローの処理後ＲＡＷデータ２４３にも適用できる。

図３は、図２（Ａ）で示した処理フローのタイミングチャートを説明する図である。Ｖ信号３０１は、静止画撮影が行われたタイミングを表している。本実施形態では、高速な連写が行われ、Ｖ信号３０１のタイミングで連続した撮影が行われていることを示す。図３に示すように、撮像によるＲＡＷデータ２０１の取得、非可逆画像処理２０２、ＨＥＶＣ圧縮処理２０４、可逆画像処理２０６、差分生成処理２０８、差分データの圧縮処理２１０、ＨＥＩＦファイル２０５の記録は、各々連続した撮影画像に対し順次並列に処理する。また、非可逆画像処理からＨＥＶＣ圧縮、あるいは、可逆画像処理から、差分生成、差分データ圧縮に対しては画像１枚の処理が完了する前から追いかけて処理するようなタイミングチャートとしている。

期間Ｔ１は、撮影からＨＥＩＦファイル２０５が記録されるまでの一連の処理全体の処理時間である。一連の処理のように処理完了の待ち合わせを極力無くしフォワード処理のみで構成することにより画像１枚の全体処理時間Ｔ１を極力短くすることができる。また、これにより各処理に必要なメモリバッファのライフタイムの長期化を抑え使用メモリ量を抑えることができる。

図４は、図２（Ａ）とは異なる差分データ生成の処理フローの例を示す図である。ＲＡＷデータ４０１は、撮像されたＲＡＷデータであり、Ａ／Ｄ変換回路１０３から出力されたベイヤ配列のＲＡＷデータである。また、図２（Ｂ）の処理フローにより復元された復元ＲＡＷデータ２２７でもよい。さらに、図２（Ｃ）の処理フローの処理後ＲＡＷデータ２４３でもよい。

画像処理４０２は、非可逆画像処理部１０４で行う非可逆な画像処理である。本画像用ＹＵＶデータ４０３は、非可逆画像処理４０２の出力である本画像記録用のＹＵＶデータである。出力された本画像用ＹＵＶデータ４０３は、メモリ１０７に書き込まれる。次に、ＨＥＶＣ圧縮処理４０４は、圧縮伸張処理部１１１で行うＨＥＶＣ圧縮処理であり、本画像用ＹＵＶデータ４０３をＨＥＶＣ圧縮する。なお、本実施形態では、ＨＥＶＣ圧縮手段を例にしているが、ＪＰＥＧ圧縮など別の圧縮方式でもよい。そして、圧縮処理４０４後の圧縮データは、メモリ１０７に書き込まれる。

一方、可逆画像処理４０６は、可逆画像処理部１０９で行う可逆な画像処理である。本実施形態で使用する可逆パラメータは、非可逆画像処理４０２で使用されたパラメータに基づいて生成する。この生成については、後述で詳しく説明する。次に、ＲＡＷ復元用ＹＵＶデータ４０７は、可逆画像処理４０６の出力であるＲＡＷ復元用ＹＵＶデータである。出力されたＲＡＷ復元用ＹＵＶデータ４０７は、メモリ１０７に書き込まれる。

次に、ＨＥＶＣ伸張処理４１２は、圧縮伸張処理部１１１で行うＨＥＶＣ伸張処理である。ＨＥＶＣ圧縮処理４０４で出力されたメモリ１０７上のＨＥＶＣ圧縮データを伸張処理し、メモリ１０７に伸張本画像ＹＵＶデータ４１１を書き込む。次に、差分生成処理４０８は、加減算処理部１１０で行う差分生成処理であり、メモリ１０７上の伸張本画像ＹＵＶデータ４１１、ＲＡＷ復元用ＹＵＶデータ４０７の差分データ４０９を生成する。なお、差分データ４０９は、加減算処理部１１０での差分生成処理４０８の出力であり、メモリ１０７に書き込まれる。次に、圧縮処理４１０は、圧縮伸張処理部１１１で行う差分データ４０９の圧縮処理である。ＲＡＷの復元性を考えると可逆圧縮がよいが、ＲＡＷ復元性より圧縮後のデータサイズを優先する場合は非可逆な圧縮処理でもよい。

そして、本画像用ＹＵＶデータ４０３のＨＥＶＣ圧縮処理４０４後の圧縮データ、差分データ４０９の圧縮処理４１０後の圧縮データは、ＨＥＩＦファイル４０５として形成され、記録部１０８に記録される。また、可逆画像処理４０６で使用した可逆パラメータもこのＨＥＩＦファイル４０５に付加し記録される。なお、図４で記録されたＨＥＩＦファイル４０５は、図２（Ｂ）の処理フローにより復元ＲＡＷデータ２２７に復元ができる。また、図４の処理フローは、撮影時だけでなく、図２（Ｃ）の処理フローの処理後ＲＡＷデータ２４３にも適用できる。

次に、図５は、図４で示した処理フローのタイミングチャートを説明する図である。Ｖ信号５０１は、静止画撮影が行われたタイミングを表している。本実施形態では、高速な連写が行われ、Ｖ信号５０１のタイミングで連続した撮影が行われていることを示している。図５で示すように、撮像によるＲＡＷデータ４０１の取得、非可逆画像処理４０２、ＨＥＶＣ圧縮処理４０４、可逆画像処理４０６は各々連続した撮影画像に対し順次並列に処理する。

ＨＥＶＣ伸張処理４１２は、ＨＥＶＣ圧縮処理４０４を待って行う。そして、差分生成処理４０８、差分データの圧縮処理４１０、ＨＥＩＦファイル４０５の記録部１０８への記録は、ＨＥＶＣ伸張処理４１２の開始を待って順次処理が開始される。非可逆画像処理からＨＥＶＣ圧縮、あるいは可逆画像処理から、差分生成、差分データ圧縮に対しては画像１枚の処理が完了する前から追いかけて処理するようなタイミングチャートとしている。

期間Ｔ２は、撮影からＨＥＩＦファイル４０５が記録されるまでの一連の処理全体の処理時間である。本実施形態において、期間Ｔ２は、図３のタイミングチャートで示した期間Ｔ１より長い時間がかかることがわかる。つまり、図４で示した処理フローでは、各処理に必要なメモリバッファのライフタイムが図２（Ａ）に示す処理フローより長くなり、使用メモリ量は多くなる傾向がある。

一方、図４に示す処理フローでは、本画像用ＹＵＶデータ４０３でなく、伸張本画像ＹＵＶデータ４１１とＲＡＷ復元用ＹＵＶデータ４０７との差分生成処理４０８を行い、差分データ４０９を取得している。そのため、図２（Ｂ）に示す処理フローによる復元ＲＡＷを生成した際に復元処理の誤差が抑えられ結果として復元ＲＡＷの品質が向上する傾向がある。

次に、図６は、図２（Ａ）に示す可逆画像処理２０６、およびその逆変換処理である図２（Ｂ）に示す可逆画像処理の逆変換処理２２６の処理フローを説明する図である。まず、図６（Ａ）は、可逆画像処理２０６の処理フローの例を示す図である。ベイヤ配列のＲＡＷデータ６０１は、撮像された図２（Ａ）のＲＡＷデータ２０１であってよく、図２（Ｃ）の復元ＲＡＷデータ２４１、処理後ＲＡＷデータ２４３であってもよい。

次に、デモザイク処理６０２は、ベイヤ配列の画像データから各画素位置で不足している色を補間し、ＲＧＢ全色を生成する。ガンマ補正処理６０３は、本記録画像のガンマ特性に合わせたガンマ補正を行う。マトリクス変換処理６０４は、ＲＧＢ色空間からＹＵＶ色空間への変換を行う。歪曲補正処理６０５は、レンズの歪曲収差の補正を行う。ＲＡＷ復元用ＹＵＶデータ６０６は、可逆画像処理２０６の出力データである。図２（Ａ）に示す処理フローでは、ＲＡＷ復元用ＹＵＶデータ２０７に相当する。なお、各処理の詳細については後述説明する。

図６（Ｂ）は、可逆画像処理の逆変換処理２２６の処理フローの例を示す図である。ＲＡＷ復元用ＹＵＶデータ６２１は、可逆画像処理の逆変換２２６の入力画像データである。なお、図２（Ｂ）に示す処理フローでは、ＲＡＷ復元用ＹＵＶデータ２２５である。歪曲補正の逆変換処理６２２は、歪曲補正処理６０５の逆変換処理を行う。マトリクス逆変換処理６２３は、マトリクス変換処理６０４の逆変換処理であり、ＹＵＶ色空間からＲＧＢ色空間への変換を行う。逆ガンマ補正処理６２４は、ガンマ補正処理６０３の逆変換処理を行う。再ベイヤ化６２５は、画素ごとにＲＧＢ全色そろった画像データからベイヤ配列の画像データを生成する。復元ＲＡＷデータ６２６は、図２（Ｂ）に示す処理フローでは、可逆画像処理の逆変換処理２２６の出力の復元ＲＡＷデータ２２７である。なお、各処理の詳細については後述する。

次に、図７を参照して、デモザイク処理の例について説明する。ベイヤ配列の画像データ７０１は、１行目、３行目、以降の奇数行目は、画素ごとにＲＧの色の画素値が繰り返し配置されている。２行名、４行目、以降の偶数行目は画素ごとにＧＢの色の画素値が繰り返し配置されている。

補間処理７０２は、Ｒ色の補間処理を示す。ベイヤ画像の奇数行目に１画素おきにＲ画素を配置しており、これらはそのまま出力される。ベイヤ配列のＧの位置のＲ画素値は、左右または上下Ｒ画素の間となっているので、この２つのＲ画素値の平均から求める。ベイヤ配列のＢの位置のＲ画素値は、左上、右上、左下、右下の４つのＲ画素値の平均から求める。補間処理７０３は、Ｇ色の補間処理を示す。ベイヤ配列のＧ色はそのまま出力する。ベイヤ配列のＲまたはＢの画素位置のＧ画素値は、左右のＧ画素値の平均から求める。補間処理７０４は、Ｂ色の補間処理を示す。ベイヤ画像の偶数行目に１画素おきにＢ画素を配置しており、これらはそのまま出力される。ベイヤ配列のＧの位置のＢ画素値は、左右または上下Ｂ画素の間となっているのでこの２つのＢ画素値の平均から求める。ベイヤ配列のＲの位置のＢ画素値は、左上、右上、左下、右下の４つのＢ画素値の平均から求める。データ７０５は、各色の補間処理（７０２、７０３、７０４）後の各画素ＲＧＢが揃った出力画像データを示す。

次に、図８を参照して、再ベイヤ化処理の例について説明する。データ８０１は、再ベイヤ化前の各画素ＲＧＢが揃った出力画像データである。Ｒ画素値８０２は、データ８０１のＲ画素を示す。このＲ画素値８０２からＲ画素値８０５のような配置で間引きを行う。間引かれた箇所は０値となる。Ｇ画素値８０３は、データ８０１のＧ画素を示す。このＧ画素値８０３からＧ画素値８０６のような配置で間引きを行う。間引かれた箇所は０値となる。Ｂ画素値８０４は、データ８０１のＢ画素を示す。このＢ画素値８０４からＢ画素値８０７のような配置で間引きを行う。間引かれた箇所は０値となる。間引かれた各色の画素値（８０５、８０６、８０７）を合わせることで再ベイヤ化データ８０８を生成する。

図９（Ａ）はガンマ補正処理の例を示す図である。本実施形態では、３点の折れ線で定義される近似によってガンマ補正を処理する。折れ線は、原点（０，０）と（ＢＰ１，ＢＣ１）、（ＢＰ２，ＢＣ２）、（ＢＰ３，ＢＣ３）の３点の入力に対する出力値によって直線の始点が定義され、各直線の傾きは、ＧＲ０、ＧＲ１、ＧＲ２、ＧＲ３で定義される。原点と３点の間は、定義された各直線によって入力に対する出力が決まる。ガンマ補正の典型例としては、図９（Ａ）のように上に凸のカーブを近似する折れ線として定義する。

図９（Ｂ）は逆ガンマ補正処理の例を示す図である。この実現方法は、図９（Ａ）ガンマ補正処理と同様であり、３点の（ＢＰ１，ＢＣ１）、（ＢＰ２，ＢＣ２）、（ＢＰ３，ＢＣ３）の定義、各直線の傾きＧＲ０、ＧＲ１、ＧＲ２、ＧＲ３の定義が図９（Ａ）と異なる。なお、逆ガンマ補正の典型例としては、図９（Ｂ）のように下に凸のカーブを近似する折れ線として定義する。なお、いずれも、３点の折れ線で定義処理することとして説明したが、同様な定義パラメータを増やし、折れ線の点の数を増やすことで入出力定義折れ線を目的のカーブにより近似させてもよい。

図１０は、マトリクス変換の例を示す図である。図１０（Ａ）は、ＲＧＢからＹＵＶへの変換を示し、３×３のマトリクス変換によって処理する。３×３マトリクスの係数ａ００、ａ０１、ａ０２、ａ１０、ａ１１、ａ１２、ａ２０、ａ２１、ａ２２は、ビデオや記録形式などの規格で色空間変換の係数として定義されたものでよい。本実施形態の場合、ＨＥＶＣ圧縮の対象となるＹＵＶ空間の規格に合わせることが好ましい。次に、図１０（Ｂ）は、ＹＵＶからＲＧＢへの逆変換を示し、３×３のマトリクス変換によって処理する。３×３マトリクスの係数ｂ００、ｂ０１、ｂ０２、ｂ１０、ｂ１１、ｂ１２、ｂ２０、ｂ２１、ｂ２２は、ビデオや記録形式などの規格で色空間変換の係数として定義されたものでよい。本実施形態の場合、ＨＥＶＣ圧縮の対象となるＹＵＶ空間の規格に合わせることが好ましい。この３×３マトリクスは、図１０（Ａ）で定義した３×３マトリクスの逆行列に相当する。

図１１は、歪曲収差補正の例を示す図である。画像データ１１０１は、レンズの歪曲収差のある画像データである。例えば、歪曲収差補正処理により画像データ１１０１を、画像データ１１０２のように補正する。また、歪曲逆補正処理では、逆に補正後の画像データ１１０２に対して歪曲収差戻しを行い、補正前の画像データ１１０１を得る。この実施方法としては、像高中心からの距離ごとに拡縮率を定義し、これに基づいた画素位置から再サンプリングする方法がある。

次に、図１２（Ａ）を参照して、加減算処理部１１０による差分生成処理について説明する。加減算処理部１１０による差分生成処理は、図２（Ａ）に示す処理フローの差分生成処理２０８、図２（Ｃ）に示す処理フローの差分生成処理２５１、図４に示す処理フローの差分生成処理４０８に該当する。

本画像ＹＵＶデータ１２０１は、図２（Ａ）に示す処理フローにおける本画像ＹＵＶデータ２０３に相当する。また、図２（Ｃ）に示す処理フローにおける処理後本画像ＹＵＶデータ２４５、図４に示す処理フローの伸張本画像ＹＵＶデータ４１１に相当する。ＲＡＷ復元用ＹＵＶデータ１２０５は、図２（Ａ）に示す処理フローにおけるＲＡＷ復元用ＹＵＶデータ２０７に相当する。また、図２（Ｃ）に示す処理フローにおけるＲＡＷ復元用ＹＵＶデータ２５０、図４に示す処理フローのＲＡＷ復元用ＹＵＶデータ４０７に相当する。４２２－４４４変換処理１２０２は、ＹＵＶ４２２形式からＹＵＶ４４４形式に変換を行う処理である。つまり、ＵＶについて水平方向に奇数画素位置のＵＶ値を補間して、ＹＵＶ４４４形式に変換を行う。例えば、補間処理は、隣接２画素値の平均から求める。

シフタ１２０３は、ｂｉｔシフタである。４２２－４４４変換処理１２０２の出力のｂｉｔ数がＲＡＷ復元用ＹＵＶデータ１２０５のｂｉｔ数より小さい場合、ｂｉｔ幅が合うように左シフトし下位ｂｉｔは０埋めする。なお、４２２－４４４変換処理１２０２およびシフタ１２０３は、本画像ＹＵＶデータがＲＡＷ復元用ＹＵＶデータとデータ形式として、輝度に対する色成分のサンプリング比、輝度および色成分の有効ビット数に差がある場合にこれを合わせる目的で行う。差分データ１２０４は、図２（Ａ）に示す処理フローにおける差分データ２０９に相当する。また、図２（Ｃ）に示す処理フローにおける差分データ２５２に相当する。ＲＡＷ復元用ＹＵＶデータ１２０５からシフタ１２０３の出力を減算し差分データ１２０４を生成出力する。

次に、図１２（Ｂ）を参照して、加減算処理部１１０による加算処理について説明する。加減算処理部１１０による加算処理は、図２（Ｂ）に示す処理フローの加算処理２２４に相当する。本画像ＹＵＶデータ１２２１は図２（Ｂ）に示す処理フローにおける伸張本画像ＹＵＶデータ２２３に相当する。差分データ１２２５は、図２（Ｂ）に示す処理フローにおける伸張差分データ２２９に相当する。４２２－４４４変換処理１２２２は、ＹＵＶ４２２形式からＹＵＶ４４４形式に変換を行う処理である。つまり、ＵＶについて水平方向に奇数画素位置のＵＶ値を補間して４４４形式に変換を行う。例えば、補間処理は、隣接２画素値の平均から求める。

シフタ１２２３は、ｂｉｔシフタである。４２２－４４４変換処理１２２２の出力のｂｉｔ数が差分データ１２２５のｂｉｔ数より小さい場合、ｂｉｔ幅が合うように左シフトし下位ｂｉｔは０埋めする。なお、４２２－４４４変換処理１２２２およびシフタ１２２３は、本画像ＹＵＶデータが差分データ１２２５とデータ形式として、輝度に対する色成分のサンプリング比、輝度および色成分の有効ビット数に差がある場合にこれを合わせる目的で行う。ＲＡＷ復元用ＹＵＶデータ１２２４は、図２（Ｂ）に示す処理フローにおけるＲＡＷ復元用ＹＵＶデータ２２５に相当する。差分データ１２２５とシフタ１２２３の出力を加算しＲＡＷ復元用ＹＵＶデータ１２２４を生成出力する。

次に、図１３を参照して、記録部１０８に記録する記録データのデータ構成について説明する。データ構成は、図２（Ａ）に示す処理フローのＨＥＩＦファイル２０５、図２（Ｂ）に示す処理フローのＨＥＩＦファイル２２１、図２（Ｃ）に示す処理フローのＨＥＩＦファイル２４７に相当する。ＨＥＩＦファイル１３０１は、ヘッダ１３０２と、ＨＥＶＣ本画像１３０３と、差分画像圧縮データ１３０４と、可逆画像処理パラメータ１３０５を含む。ヘッダ１３０２は、構成する複数のコンテナデータのへのリンク情報を含む。ＨＥＶＣ本画像１３０３は、ＨＥＶＣ圧縮された本画像データであり、図２（Ａ）に示すＨＥＶＣ圧縮処理２０４および図２（Ｃ）に示すＨＥＶＣ圧縮処理２４６の出力圧縮データに相当する。また、画像データのサイズ、データ形式などの情報も含む。差分画像圧縮データ１３０４は、図２（Ａ）に示す圧縮処理２１０および図（Ｃ）に示す圧縮処理２５３の出力圧縮データに相当する。また、画像データのサイズ、データ形式などの情報も含む。可逆画像処理パラメータ１３０５は、図（Ａ）に示す可逆画像処理２０６で使用した可逆パラメータである。

次に、図１４を参照して、ネットワーク経由での画像処理について説明する。図２（Ｃ）に示す処理フローでは、撮像装置内で復元したＲＡＷデータに対して改めて高度な非可逆画像処理を行うことを説明した。本図では、撮像装置内でなく通信部１１２を介しネットワーク経由で外部サーバ１１３などにおいて高度な非可逆画像処理を行う場合を示す。高度な非可逆画像処理とは、例えばディープラーニングを画像処理に応用したような、非常に高画質な画像処理ではあるが、画像１枚あたりの処理時間は長く撮影時に処理することが製品機能上好ましくないものである。例えば、画像１枚あたり数十秒から数分以上かかるような画像処理である。

まず、ステップＳ１４０１では、外部サーバで未処理の記録データであるＨＥＩＦファイル２０５があるか否かを判定する。未処理のＨＥＩＦファイル２０５がある場合（ＹＥＳ）、ステップＳ１４０２に進む。未処理のＨＥＩＦファイル２０５がない場合（ＮＯ）、処理を終了する。次に、ステップＳ１４０２では、外部サーバにＨＥＩＦファイル２０５を送付する。つまり、ＨＥＩＦファイル２０５は、通信部１１２を介しネットワーク経由で外部サーバ１１３に送付される。次に、ステップＳ１４０３では、外部サーバによる非可逆画像処理が完了した旨の通知が受信されたか否かを判定する。なお、この通知は、通信部１１２を介して受信される。完了通知が受信されていない場合（ＮＯ）、ステップＳ１４０３にて通知があるまで待機する。完了通知があった場合（ＹＥＳ）、ステップＳ１４０４に進む。次に、ステップ１４０４では、外部サーバ１１３から通信部１１２を介して非可逆画像処理を行った画像が圧縮格納されたＨＥＩＦファイルを受信、記録部１０８に保存し、ステップＳ１４０１に戻る。以上、未処理のＨＥＩＦファイル２０５が無くなるまでこれを繰り返す。

次に、図４に示す処理フローで示した伸張処理ありの差分生成を行う場合と、図２（Ａ）に示す処理フローで示した伸張処理なしの差分生成を行う場合との切替え制御について説明する。図１５は、伸張ありと伸張なしを切り替える条件を管理する表であり、例えば、ユーザーはこの表をメニューで表示し切り替える条件を選択する。図１５に示す例では、低速連写モード時は「伸張あり」であり、図４で示した処理フローでＲＡＷ復元用ＹＵＶデータ４０７と伸張本画像ＹＵＶデータ４１１との差分から差分データ４０９が生成される。一方、高速連写モード時は「伸張なし」であり、図２（Ａ）で示した処理フローでＲＡＷ復元用ＹＵＶデータ２０７と本画像ＹＵＶデータとの差分から差分データ２０９が生成される。これにより記録速度優先の「伸張なし」かＲＡＷ復元の品質優先の「伸張あり」かを指定管理された条件で切り替え処理する。

なお、図１５では高速連写／低速連写が切替え条件でありこれについて説明したが、他の再生編集時／撮影時、単写撮影／連写撮影、連写代表画像／その他の画像、が選択された場合も同様である。例えば、「撮影時」は、あらゆる撮影モードで動作している場合であり、「再生編集時」は、それ以外の動作モードを示す。「連写」は、連写撮影モードで動作している場合で、「単写」は、単写撮影の撮影モードのことである。「高速連写」は、ある連写速度以上の連写モードを示し、「低速連写」は、単写撮影を含むある連写速度以下の撮影モードを示す。「連写代表画像」は、連写撮影において自動で選択される代表記録画像を示しており、この画像に対しては「伸張あり」で処理する。これに対する「その他」はその他の連写画像であり、「伸張なし」で処理することを示す。なお、本実施形態では、「常に伸張あり」、「常に伸張なし」という選択肢もありこれも選択できる。なお、本実施形態では、ユーザーがメニューでこれらの条件を選択する例について説明した。しかしながら、これに限定することなく、例えば、撮像装置の機能ごとの要求処理速度、可能使用メモリに応じて条件を予め決定し自動的に「伸張あり」「伸張なし」を選択してもよい。

以上、本実施形態では、ＲＡＷ復元ができる記録ファイル生成において、処理速度の速さ、使用メモリ量の少なさを極力優先した場合について説明した。また、伸張画像との差分によるＲＡＷ復元性が高い方式とを条件によって切り替える場合についても説明した。従って、本実施形態によれば、各撮影モードにおいてＲＡＷ復元可能な記録ファイル生成処理を最適な処理速度と品質で処理が可能となる。

（第２実施形態）
以下、本実施形態に係る撮像装置について説明する。本実施形態に係る撮像装置の構成は、第１実施形態の図１を用いて説明した構成と同じであり、図６から図１１で説明した可逆な画像処理およびその逆変換処理についても同様である。また図１３、図１４、図１５で説明した実施形態も同様である。

次に、図１６を参照して、本実施形態の処理フローについて説明する。図１６（Ａ）は、撮影時の処理フローの例を示す図である。図１６（Ａ）は、図２（Ａ）、図４とは異なる差分データ生成の処理フローの例を示す。まず、ＲＡＷデータ１６０１は、撮像されたＲＡＷデータであり、Ａ／Ｄ変換回路１０３から出力されたベイヤ配列のＲＡＷデータである。また、図２（Ｂ）に示す処理フローにより復元された復元ＲＡＷデータ２２７であってもよい。さらに、図２（Ｃ）に示す処理フローの処理後ＲＡＷデータ２４３であってもよい。次に、非可逆画像処理１６０２は、非可逆画像処理部１０４で行う非可逆な画像処理である。本画像ＹＵＶデータ１６０３は、非可逆画像処理１６０２の出力である本画像記録用のＹＵＶデータである。そして、本画像記録用の本画像ＹＵＶデータ１６０３は、メモリ１０７に書き込まれる。ＨＥＶＣ圧縮処理１６０４は、圧縮伸張処理部１１１で行うＨＥＶＣ圧縮処理であり本画像ＹＵＶデータ１６０３をＨＥＶＣ圧縮する。なお、本実施形態では、ＨＥＶＣ圧縮手段を例に説明しているが、ＪＰＥＧ圧縮など別の圧縮方式でもよい。そして、ＨＥＶＣ圧縮処理１６０４後の圧縮データは、メモリ１０７に書き込まれる。

次に、ＨＥＶＣ伸張処理１６１２は、圧縮伸張処理部１１１で行うＨＥＶＣ伸張処理である。ＨＥＶＣ圧縮処理１６０４で出力されたメモリ１０７上のＨＥＶＣ圧縮データを伸張処理し、メモリ１０７に伸張本画像ＹＵＶデータ１６１１を書き込む。次に、可逆画像処理の逆変換処理１６０７は、可逆画像処理部１０９で行う可逆な画像処理の逆変換処理である。本実施形態で使用する逆変換パラメータは、非可逆画像処理４０２で使用されたパラメータに基づいた可逆パラメータをパラメータ逆変換処理１６１３で逆変換パラメータに変換して生成する。なお、非可逆画像処理パラメータからの可逆パラメータの生成、パラメータ逆変換処理１６１３は、ＣＰＵ１０５で処理する。

そして、可逆画像処理の逆変換処理１６０７で出力した逆変換ＲＡＷデータ１６０６は、メモリ１０７に書き込まれる。差分生成処理１６０８は加減算処理部１１０で行う差分生成処理であり、メモリ１０７上の逆変換ＲＡＷデータ１６０６、ＲＡＷデータ１６０１の差分データ１６０９を生成する。差分データ１６０９は、加減算処理部１１０での差分生成処理１６０８の出力であり、メモリ１０７に書き込まれる。圧縮処理１６１０は、圧縮伸張処理部１１１で行う差分データ１６０９の圧縮処理である。ＲＡＷの復元性を考えると可逆圧縮がよいが、ＲＡＷ復元性より圧縮後のデータサイズを優先する場合は非可逆な圧縮処理でもよい。ＨＥＩＦファイル１６０５は、ＨＥＩＦファイルを示しており、本画像ＹＵＶデータ１６０３のＨＥＶＣ圧縮処理１６０４後の圧縮データ、差分データ１６０９の圧縮処理１６１０後の圧縮データはＨＥＩＦファイルとして形成され記録部１０８に記録する。また、可逆画像処理の逆変換処理１６０７で使用した逆変換パラメータもこのＨＥＩＦファイル１６０５に付加し記録する。図１６（Ａ）で記録されたＨＥＩＦファイル１６０５は、撮影時だけでなく、図２（Ｃ）に示す処理フローの処理後ＲＡＷデータ２４３にも適用できる。

次に、図１６（Ｂ）は、図１６（Ａ）で記録したＨＥＩＦファイル１６０５からＲＡＷを復元する処理フローである。ＨＥＩＦファイル１６２１は、撮影時に記録部１０８で記録された記録ファイルで、図１６（Ａ）のＨＥＩＦファイル１６０５に相当する。ＨＥＩＦファイル１６２１からＨＥＶＣ圧縮された本画像ＹＵＶ圧縮データを読み出し、圧縮伸張処理部１１１でＨＥＶＣ伸張処理１６２２を行い、伸張本画像ＹＵＶデータ１６２３を出力する。伸張本画像ＹＵＶデータ１６２３は、メモリ１０７に書き込まれる。

一方、ＨＥＩＦファイル１６２１から圧縮された差分データを読み出し、圧縮伸張処理部１１１で伸張処理１６２８を行い、伸張差分データ１６２９を出力する。伸張差分データ１６２９はメモリ１０７に書き込まれる。次に、伸張本画像ＹＵＶデータ１６２３は、可逆画像処理の逆変換処理１６２４を行う。このときの逆変換パラメータは、ＨＥＩＦファイル１６２１から読み出し使用する。可逆画像処理の逆変換処理１６２４の出力は、逆変換ＲＡＷデータ１６２５であり、メモリ１０７に書き込まれる。次に、逆変換ＲＡＷデータ１６２５と伸張差分データ１６２９をメモリ１０７から読み出し加減算処理部１１０で加算処理２２４を行い、復元ＲＡＷデータ１６２７を出力する。出力された復元ＲＡＷデータ１６２７は、メモリ１０７に書き込まれる。なお、復元ＲＡＷデータ１６２７は、撮影時のＲＡＷデータ１６０１を復元したものである。

このように非可逆画像処理１６０２の逆変換処理でなく可逆画像処理の逆変換処理１６０７で行うことで処理負荷を極力軽減し処理時間短縮、使用メモリの削減が可能である。また、非可逆画像処理１６０２の逆変換処理に必要なパラメータと比較し可逆画像処理の逆変換処理１６０７の逆変換パラメータは、最低限のパラメータ数で済む。そのため、パラメータの逆変換処理１６１３についても処理負荷を軽減し処理時間短縮、使用メモリの削減が可能である。また、ＨＥＩＦファイル１６０５に格納するパラメータのサイズを最小化できる。

図１７は、図１６（Ａ）で示した処理フローのタイミングチャートを説明する図である。Ｖ信号１７０１は、静止画撮影が行われたタイミングを表している。本実施形態では、高速な連写が行われ、Ｖ信号１７０１のタイミングで連続した撮影が行われていることを示している。

図１７で示すように、撮像によるＲＡＷデータ１６０１取得、非可逆画像処理１６０２、ＨＥＶＣ圧縮処理１６０４は各々連続した撮影画像に対し順次並列に処理する。次に、ＨＥＶＣ伸張１６１２は、ＨＥＶＣ圧縮処理１６０４を待って行う。ＨＥＶＣ伸張１６１２、可逆画像処理の逆変換処理１６０７、差分生成処理１６０８、圧縮処理１６１０、ＨＥＩＦファイル１６０５の記録部１０８への記録は、ＨＥＶＣ伸張１６１２の開始を待って順次処理が開始される。非可逆画像処理からＨＥＶＣ圧縮、あるいはＨＥＶＣ伸張から、可逆画像逆変換処理、差分生成、差分データ圧縮に対しては画像１枚の処理が完了する前から追いかけて処理するようなタイミングチャートとしている。

期間Ｔ３は、撮影からＨＥＩＦファイル１６０５が記録されるまでの一連の処理全体の処理時間である。Ｔ３は、図３のタイミングチャートで示した期間Ｔ１より長い時間が掛かることがわかる。つまり、図１６で示した処理フローでは、各処理に必要なメモリバッファのライフタイムが図２（Ａ）に示す処理フローより長くなり、使用メモリ量は多くなる傾向がある。

一方、図１６に示す処理フローでは、本画像ＹＵＶデータ１６０３でなく、直接ＲＡＷデータ１６０１と逆変換ＲＡＷデータ１６０６との差分を差分生成処理１６０８で差分データ１６０９を取得している。そのため、図１６（Ｂ）に示す処理フローによる復元ＲＡＷを生成した際に復元処理の誤差が抑えられ結果として復元ＲＡＷの品質が向上する傾向がある。

本実施形態では、第１実施形態の図１５を用いて説明した「伸張あり」、「伸張なし」の切替えの対象となる処理フローは、図１６（Ａ）の処理フローと図２（Ａ）の処理フローとなる。どちらの処理フローに従って記録するＨＥＩＦファイルを生成するかを切り替える。また、本実施形態において、ＨＥＩＦファイルからのＲＡＷ復元処理について、「伸張あり」の場合は、図１６（Ｂ）に示す処理フローであり、「伸張なし」の場合は、図２（Ｂ）に示す処理フローによって行われる。

以上、本実施形態では、逆変換ＲＡＷとの差分によるＲＡＷ復元性が高い方式とを条件によって切り替える場合について説明した。従って、本実施形態によれば、各撮影モードにおいてＲＡＷ復元可能な記録ファイル生成処理を最適な処理速度と品質で処理が可能となる。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 撮像素子
１０４ 非可逆画像処理部
１０８ 記録部
１０９ 可逆画像処理部
１１０ 加減算処理部
１１１ 圧縮伸張処理部

Claims (19)

1. 撮像手段により生成された画像データに対して非可逆な画像処理を行う第一の画像処理手段と、
   前記第一の画像処理手段により前記非可逆な画像処理が行われた画像データを圧縮処理する第一の圧縮手段と、
   前記画像データに対して可逆な画像処理を行う第二の画像処理手段と、
   前記非可逆な画像処理後の画像データと前記可逆な画像処理後の画像データとの差分データを生成する生成手段と、
   前記生成手段により生成された前記差分データを圧縮処理する第二の圧縮手段と、
   前記第一の圧縮手段により圧縮された画像データと前記第二の圧縮手段により圧縮された画像データを記録する記録手段と
   を備える
   ことを特徴とする画像処理装置。
2. 前記第一の圧縮手段は、圧縮処理としてＨＥＶＣ圧縮処理を行う
   ことを特徴とする請求項１の画像処理装置。
3. 前記記録手段に記録する、前記第一の圧縮手段により圧縮された画像データと前記第二の圧縮手段により圧縮された画像データのデータ形式は、ＨＥＩＦ形式である
   ことを特徴とする請求項１または２の画像処理装置。
4. 前記第一の画像処理手段は、前記非可逆な画像処理として画像特徴の特徴量に応じてノイズ除去処理およびデモザイク処理の少なくともいずれかを含む現像処理を行う
   ことを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記第二の画像処理手段は、前記可逆な画像処理として、デモザイク処理、ガンマ処理、および、マトリクス変換処理の少なくともいずれかを行う
   ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
6. 前記可逆な画像処理のパラメータは、前記非可逆な画像処理のパラメータに基づいて決定される
   ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記記録手段は、前記可逆な画像処理のパラメータを、前記第一の圧縮手段により圧縮された画像データと前記第二の圧縮手段により圧縮された画像データとともに記録する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記非可逆な画像処理後の画像データのデータ形式が前記可逆な画像処理後の画像データのデータ形式と異なる場合、前記非可逆な画像処理後の画像データを前記可逆な画像処理後の画像データのデータ形式に変換した後に差分データを生成する
   ことを特徴とする請求項１の画像処理装置。
9. 前記画像データのデータ形式は、輝度に対する色成分のサンプリング比および有効ビット数である
   ことを特徴とする請求項８の画像処理装置。
10. 前記第一の圧縮手段により圧縮された画像データを伸張する伸張手段
    をさらに備え、
    前記生成手段は、前記伸張された画像データと前記可逆な画像処理後の画像データとの第二の差分データを生成する
    ことを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
11. 前記伸張手段により伸張された画像データに対して逆変換を行う逆変換手段
    をさらに備え、
    前記逆変換手段は、前記可逆な画像処理のパラメータを逆変換したパラメータを用いて前記逆変換を行う
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記差分データと前記第二の差分データを切り替える切替手段を
    さらに備え、
    前記切替手段は、撮影モードに応じて前記差分データにするか前記第二の差分データにするかを切り替える
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 前記切替手段は、高速連写モード時には、前記差分データに切り替え、低速連写モード時には前記第二の差分データに切り替える
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記第一の圧縮手段により圧縮された画像データと、前記第二の圧縮手段により圧縮された画像データを伸張する伸張手段と、
    前記第一の圧縮手段により圧縮された画像データを伸張した画像データと、前記第二の圧縮手段により圧縮された画像データを伸張した画像データを加算する加算手段と、
    前記加算手段によって生成された画像データに対して、前記第二の画像処理手段による前記可逆な画像処理の逆変換となる画像処理を行う第三の画像処理手段と、
    を備える
    ことを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
15. 前記第三の画像処理手段によって生成された画像データに対して、前記第一の画像処理手段により行われる前記非可逆な画像処理とは異なる、非可逆な画像処理を行う第四の画像処理手段を有する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記第四の画像処理手段により行われる前記非可逆な画像処理は、前記第一の画像処理手段により行われる前記非可逆な画像処理よりも高負荷な画像処理である
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記撮像手段と、
    請求項１～１６のいずれか１項に記載の画像処理装置と
    を有する
    ことを特徴とする撮像装置。
18. 撮像手段により生成された画像データに対して非可逆な画像処理を行う第一の画像処理工程と、
    前記第一の画像処理工程により前記非可逆な画像処理が行われた画像データを圧縮処理する第一の圧縮工程と、
    前記画像データに対して可逆な画像処理を行う第二の画像処理工程と、
    前記前記非可逆な画像処理後の画像データと前記可逆な画像処理後の画像データとの差分データを生成する生成工程と、
    前記生成工程により生成された前記差分データを圧縮処理する第二の圧縮工程と、
    前記第一の圧縮工程により圧縮された画像データと前記第二の圧縮工程により圧縮された画像データを記録する記録工程と
    を有する
    ことを特徴とする画像処理装置の制御方法。
19. コンピュータを、請求項１～１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images