JP6242172B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

従来、画像処理装置として、被写体を撮像して得られた画像データを記録媒体に記録する撮像装置が知られている。従来、撮像装置では、撮像素子（ＣＣＤ、ＣＭＯＳ）により得られたＲＡＷ画像（生の画像）情報に対して、「現像処理」を施し、輝度情報および色差情報に変換した後に、たとえばＪＰＥＧ、ＭＰＥＧ等の圧縮符号化技術で情報を圧縮して記録媒体に記録していた。近年では、「現像処理」を後で自由に行うためにＲＡＷ画像情報をそのまま記録媒体に記録することができる撮像装置も登場してきている。しかしながら、ＲＡＷ画像は、データサイズが大きくなってしまいがちである。そこで、たとえば特許文献１のように、ＲＡＷ画像のデータを圧縮する技術が開発されてきている。

特開２０１１−１３０２７３号公報

しかしながら、特許文献１では、画質を評価せずにデータを圧縮していない。そのため、たとえば、画質に対して符号量が多くなりすぎていたり、符号量は少ないが画質が低下ししまったりするという問題があった。

そこで、本発明は、たとえば、ＲＡＷ画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる画像処理装置を提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、被写体の光学像を撮像しＲＡＷ画像データを取得する撮像手段と、ＲＡＷ画像データを現像する現像手段と、ＲＡＷ画像データを圧縮する圧縮手段と、前記圧縮手段により圧縮されたＲＡＷ画像データを伸張する伸張手段と、前記撮像手段により得られたＲＡＷ画像データを前記現像手段における現像パラメータに基づいて補正した第１のＲＡＷ画像データと、前記伸張手段により伸張されたＲＡＷ画像データを前記現像手段における現像パラメータに基づいて補正した第２のＲＡＷ画像データとを比較した結果に基づいて、前記圧縮手段による圧縮率を制御する制御手段とを有することを特徴とする。

本発明によれば、たとえば、ＲＡＷ画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。

本実施例の撮像装置の構成を示す図。 本実施例の画像処理部の構成を示す図。 本実施例の現像前の画像の特性を示すフロー図。 本実施例の画像処理部の構成示す図。 本実施例の撮像素子のカラーフィルター配列を示す図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

本実施例では、撮像装置を例にとって説明するが、ＲＡＷ画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

本実施例の撮像装置は、撮像部、画像処理部、記録再生部を有する。撮像部は、レンズにより取得された被写体の光学像を撮像素子で光電変換し、得られたアナログ画像信号をＡＤ変換部でデジタル画像信号に変換する。この画像信号は、撮像素子のカラーフィルターのベイヤー配列に応じた画像であり、一般にＲＡＷ画像データと呼ばれる。そして、画像処理部は、撮像部により得られたＲＡＷ画像データを処理する。たとえば、ＲＡＷ画像データの現像処理、ＲＡＷ画像データの圧縮処理、圧縮されたＲＡＷ画像データの伸張処理等を行う。このとき、画像処理部では、撮像部により得られたＲＡＷ画像データを現像した画像と、圧縮処理され伸張処理されたＲＡＷ画像データを現像した画像を比較して、圧縮処理における圧縮率を制御する。そして、画像処理部で圧縮されたＲＡＷ画像データは記録再生部により記録媒体に記録される。

このような構成とすることで、本実施例の撮像装置は、たとえば、ＲＡＷ画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。

以下、このような撮像装置について説明する。

＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、撮像部１１０と、画像処理部１１１と、マイクユニット１２０と、音声処理部１２１と、スピーカユニット１２２とを有する。また、撮像装置１００は、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、通信部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。この撮像部１１０により生成されたデジタル画像信号は、撮像素子の画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換したものである。図５は、撮像素子に配置されるカラーフィルターの一例を示すものである。図５に示すように撮像素子に配置されたカラーフィルターは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。すなわち、撮像部１１０により生成されたデジタル画像信号はベイヤー配列のデジタル画像信号であり、一般にこの画像をＲＡＷ画像と呼ぶ。本実施例においても、撮像部１１０により得られた画像データをＲＡＷ画像データと呼ぶ。

画像処理部１１１は、記録時にはＲＡＭ１０２に記憶されたＲＡＷ画像データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮済みのＲＡＷ画像データを処理する。たとえば、圧縮済みのＲＡＷ画像データの伸張処理、ＲＡＷ画像データの現像処理、ＲＡＷ画像データの圧縮処理等を行う。画像処理部１１１は、現像処理した画像データを、表示制御部１４１に送信したり、圧縮済みのＲＡＷ画像データを記録再生部１５０や通信部１６０に送信したりする。また画像処理部１１１では、ＲＡＷ画像データの修復処理や画質調整処理を行ってもよい。画像処理部１１１の処理については後述する。

音声処理部１２１は、記録時には、マイクユニット１２０により得られた音声データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、圧縮された音声データの伸張処理、音声データのレベル調整処理、音声データの圧縮処理等を行う。音声処理部１２１は、処理した音声データを、記録再生部１５０や通信部１６０に送信したり、再生時にはスピーカ１２２に送信したりする。なお、マイクユニット１２０は、たとえば、撮像装置１００のハウジング内に内蔵された無指向性のマイクとＡＤ変換部を有する。マイクユニット１２０では、マイクにより周囲の音声を集音（収音）し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換する。また、音声処理部１２１では音声圧縮方式として、たとえば、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いる。また、スピーカユニット１２２は、スピーカとＤＡ変換部とを有する。

表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理された画像データに基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。

記録再生部１５０は、記録時においては、画像処理部１１１により処理された圧縮済みのＲＡＷ画像データや音声データを記録媒体１５１に記録し、再生時においては、記録媒体１５１に記録された圧縮済みのＲＡＷ画像データや音声データを再生する。なお、以後の説明において、音声データの処理については説明を省略する。記録再生部１５０は、記録時においては、圧縮済みのＲＡＷ画像データとともに、撮影日や、圧縮に関する情報、撮像部１１０の設定等の各種情報を記録媒体１５１に書き込む。なお、記録再生部１５０は、圧縮済みのＲＡＷ画像データを記録媒体１５１に記録する際は、たとえばＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

また、通信部１６０は、撮像装置１００とは異なる外部装置との間で、制御信号や画像データ、音声データ、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。

ここで、画像処理部１１１、音声処理部１２１、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

＜画像処理部１１１について＞
続いて、画像処理部１１１の構成及び動作について説明する。

画像処理部１１１は、撮像部１１０により得られたＲＡＷ画像データを圧縮する処理を行う。画像処理部１１１では、ＲＡＷ画像データを所定の圧縮率で圧縮し、圧縮済みのＲＡＷ画像データを伸張する。そして、撮像部１１０により得られたＲＡＷ画像データと圧縮伸張されたＲＡＷ画像データとを、同じパラメータで現像し、現像後のそれぞれの画像を比較する。そして、その画質を評価して、画質に応じて圧縮処理における圧縮率を制御する。本実施例では画質評価の例としてＰＳＮＲを用いるが、これ以外の評価手法を用いてもよい。

図２は、画像処理部１１１の構成を示すブロック図である。本実施例の画像処理部１１１は、図２に示すように、信号処理部２０１、簡易現像部２１０、高画質現像部２１１、ＲＡＷ圧縮部２２０、ＲＡＷ伸張部２２１、画質評価部２３１を有する。

信号処理部２０１は、ＲＡＷ画像データの修復処理を実行する。修復処理には、撮像部１１０の撮像素子における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理がある。

簡易現像部２１０、高画質現像部２１１は、ＲＡＷ画像データを現像する処理を行う。簡易現像部２１０においては、高画質現像部２１１よりも限定された条件で現像を行うものとする。簡易現像部２１０、高画質現像部２１１はそれぞれ、ＲＡＷ画像データに対して、ホワイトバランス調整処理、デベイヤー処理（デモザイク処理）等のいわゆる現像処理を行う。他にも、デベイヤー処理後の画像データを輝度と色差から成る信号に変換する処理、各信号に含まれるノイズを除去する処理、光学的な歪を補正する処理、ガンマ補正処理等をおこなう。なお、「現像処理」とは、デベイヤー処理（デモザイク処理）、ホワイトバランス調整処理、ガンマ補正処理のそれぞれのうち一つの処理のみを示すこともあるし、これらのうち複数の処理を含む処理を示すこともある。なお、簡易現像部２１０は高画質現像部２１１よりも処理を簡易化して高速に処理を行うものとする。そのため、たとえば、簡易現像部では、ＲＡＷ画像データを所定のサイズ（たとえば２０００×２０００以下）に縮小してから処理を行う。また、光学的な歪みを補正する処理やノイズを除去する処理に関しても、補正対象の画像の前後に撮影された画像データの解析等を行わずに処理をすることで処理を簡易化することができる。逆に、高画質現像部２１１では、サイズを制限せずに現像処理を行い、また補正対象の画像の前後に撮影された画像データの解析を行い、高精度な補正処理、ノイズ除去処理を行う。

このように、高画質現像部２１１は、簡易現像部２１０よりも処理負荷が大きいため、記録時に高画質現像部２１１を動作させずに、たとえば再生時や記録終了後に高画質現像部２１１による処理を実行するようにしてもよい。他方、簡易現像部２１０は、高画質現像部２１１よりも、処理負荷が小さいので、記録時の現像の際には簡易現像部２１１を用いるようしてもよい。そうすることで、記録時の消費電力の増大（ピーク）を低く抑えることができる。なお、本実施例では、簡易現像部２１０、高画質現像部２１１の２つの現像部を有するものとして説明するが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を行う構成であってもよい。

ＲＡＷ圧縮部２２０は、信号処理部２０１で処理されたＲＡＷ画像データのデータ量を圧縮するものである。ＲＡＷ圧縮部２２０では、たとえば、ウェーブレット変換、差分符号化等の圧縮符号化技術を用いてＲＡＷ画像データを圧縮する。本実施例では、たとえばＪＰＥＧ２０００や、ＭｏｔｉｏｎＪＰＥＧ２０００で用いられていたように、ウェーブレット変換された情報を量子化する構成であるものとする。そのため、ＲＡＷ圧縮部２２０において、量子化ステップ数を減らすことで圧縮率を上げることができ、量子化ステップ数を増やすことで圧縮率を下げ画質を向上させることができる。なお、量子化ステップ数を増減させるほか、算術符号化の精度を変更することでも圧縮率を変更することもできるので、圧縮率の変更をする方法は、量子化ステップ数の変更に限られるものではない。また、本実施例では、ウェーブレット変換を用いて画像を圧縮するものとするが、Ｈ．２６５、Ｈ．２６４、ＭＰＥＧ、ＭＰＥＧ２等の既存の技術でＲＡＷ画像を圧縮してもよい。

ＲＡＷ伸張部２２１は、記録時には、ＲＡＷ圧縮部２２０により圧縮された、圧縮済みのＲＡＷ画像データを伸張し、再生時には、記録媒体１５１から読みだされた圧縮済みのＲＡＷ画像データを伸張するものである。ＲＡＷ伸張部２２１では、たとえば、ウェーブレット逆変換、差分復号化等の復号化技術を用いて圧縮済みのＲＡＷ画像データを伸張する。本実施例では、ウェーブレット変換され、量子化された情報を伸長するため、逆量子化、ウェーブレット逆変換をする構成であるものとする。

次に、画質評価部２３１は、簡易現像部２１０から出力された２つの現像された画像データを比較するものである。具体的には、信号処理部２０１から出力され簡易現像部２１０で現像された第１の現像画像データと、ＲＡＷ圧縮部２２０で圧縮されＲＡＷ伸張部２２１で伸張され簡易現像部２１０で現像された第２の現像画像データとを比較する。このとき、簡易現像部２１０では、同じパラメータで現像処理を行う。画質評価部２３１では、入力された第１の現像画像データと、第２の現像画像データとを比較し、「ピーク信号対雑音比」（一般に、ＰＳＮＲと呼ばれる）を求める。そして画質評価部２３１は、算出された「ピーク信号対雑音比（ＰＳＮＲ）」に応じて、ＲＡＷ圧縮部２２０における圧縮率を制御する。

本実施例の画像処理部１１１は、このような構成により、現像処理されないＲＡＷ画像データを圧縮する場合に、現像処理された後の画質に基づいて、より最適な圧縮率になるように制御することができる。

次に画像処理部１１１の記録時の動作について説明する。

記録動作が開始すると、撮像部１１０から出力されたＲＡＷ画像データは画像処理部１１１に送信される。画像処理部１１１においては、まず、信号処理部２０１でＲＡＷ画像データの修復処理が行われる。次に、ＲＡＷ画像データは簡易現像部２１０及びＲＡＷ圧縮部２２０に送られる。ＲＡＷ圧縮部２２０においては、画質評価部２３１の指示に基づく圧縮率でＲＡＷ画像データを圧縮する。ＲＡＷ圧縮部２２０で圧縮された圧縮済みのＲＡＷ画像データは、ＲＡＷ伸張部２２１および記録再生部１５０に送信される。ＲＡＷ伸張部２２１では、ＲＡＷ圧縮部２２０で圧縮された圧縮済みのＲＡＷ画像データを伸張する。そして、簡易現像部２１０に伸張したＲＡＷ画像データを送信する。

簡易現像部２１０では、信号処理部２０１により処理されたＲＡＷ画像データ、及び、ＲＡＷ伸張部２２１により伸張されたＲＡＷ画像データを同じパラメータで現像する。そして、信号処理部２０１により処理されたＲＡＷ画像データを現像した第１の現像画像データ、及び、ＲＡＷ伸張部２２１により伸張されたＲＡＷ画像データを現像した第２の現像画像データを画質評価部２３１に送信する。なお、第１の現像画像データは表示制御部１４１に送信され、表示制御部１４１の制御のもと表示部１４０に表示される。

画質評価部２３１では、第１の現像画像データと第２の現像画像データを比較し、「ピーク信号対雑音比（ＰＳＮＲ）」を算出する。そして、「ピーク信号対雑音比（ＰＳＮＲ）」が所定の上限値を超えていた場合には、画質が良好であることを示しているので、圧縮率を上げても画質がさほど低下しない。そのため、そして、「ピーク信号対雑音比（ＰＳＮＲ）」が所定の上限値を超えていた場合には、圧縮率を上げる指示をＲＡＷ圧縮部２２０に出す。一方、所定の下限値を下回っていた場合には、画質が所定のレベルよりも低下してしまっていること示しているので画質を良くするために圧縮率を下げる指示をＲＡＷ圧縮部２２０に出す。なお、「ピーク信号対雑音比（ＰＳＮＲ）」が、前述の所定の上限値を超えず、所定の下限値を下回らない場合には圧縮率を変更しないようにする。

ＲＡＷ圧縮部２２０においては、圧縮率を上げる指示が画質評価部２３１から入力されると、圧縮処理における量子化ステップ数を減らし、圧縮率を下げる指示が入力されると圧縮処理における量子化ステップ数を増やすように動作する。前述したように、圧縮率を上げる方法は量子化ステップ数を変更する以外の方法であってもよい。

以上の動作により、記録時においては、入力されたＲＡＷ画像データを現像せずに圧縮する場合に、現像後の画質を考慮した圧縮を行うことができる。そのために、本実施例では、撮像により得られたＲＡＷ画像データを現像した第１の現像画像データと、圧縮したＲＡＷ画像データを再伸張したＲＡＷ画像データを現像した第２の現像画像データとを比較して、現像後の画質評価を行う。そして、圧縮したＲＡＷ画像データを再伸張したＲＡＷ画像データを現像した際の画質が所定のレベルに収まるように現像していないＲＡＷ画像データの圧縮動作を制御する。このように、本実施例の撮像装置は、ＲＡＷ画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。

本実施例では、動画、静止画の撮影に特に限定して説明を行わなかったがどちらの撮影においても適用可能である。動画の場合は、画質評価部２３１によって決定された圧縮率を次のフレームの圧縮において適用し、静止画の場合は、同じ画像に対して再度画質評価部２３１で決定した圧縮率で同じフレーム画像を圧縮するようにしてもよい。

また、本実施例の簡易現像部２１０で用いられた現像パラメータは撮像時に設定されたホワイトバランス調整値に対応したパラメータや、撮像装置１００のＣＰＵ１０１により撮像画像を解析した結果、自動的に設定されたパラメータである。

ここで、補足説明として、現像後の画像同士を比較する理由について説明する。一言でいえば、現像後の画像同士を比較する理由は、圧縮前のＲＡＷ画像と圧縮され伸張されたＲＡＷ画像との誤差が所定の範囲に収まるように圧縮を行ったとしても現像後の画像においては所定の範囲より大きい誤差が発生してしまうからである。そのため、本実施例では、単純に圧縮前のＲＡＷ画像と圧縮され伸張されたＲＡＷ画像と誤差が所定範囲に収まるように圧縮率を制御するのではなく、現像した画像同士の誤差が所定の範囲に収まるように圧縮率を制御している。

図３（ａ）は、特定の被写体をある環境光のもとで撮影をした場合に得られた、ホワイトバランス調整処理をする前のＲＡＷ画像データのＲＧＢ各成分のヒストグラムを示している。一方、図３（ｂ）は、同じ特定の被写体を図３（ａ）の場合とは異なる環境光のもとで撮影をした場合に得られたホワイトバランス調整をする前のＲＡＷ画像データのＲＧＢ各成分のヒストグラムを示している。簡易現像部２１０や高画質現像部２１１で、ホワイトバランス調整処理が適正に行われた場合には、同じ被写体を撮影した結果であるため、調整後のヒストグラムはほぼ同じものとなる。たとえば、特定の被写体が無彩色の被写体であったとするならば、ホワイトバランス調整処理の結果ＲＧＢ成分は等しい値になる。

しかしながら、たとえばＲ成分に着目してみてみるとＧ成分に対して図３（ａ）では暗くなっているのがわかる。そのため、撮像部１１０によって得られたＲＡＷ画像データと、圧縮伸張後のＲＡＷ画像データとを現像前の状態で比較すると、たとえばＲ成分においては、目標となる信号のレベルが低いために誤差（ノイズ）成分の割合が現像後に比べて低くなってしまうことがある。この画像を現像すると、ホワイトバランス調整処理によりＲ成分のレベルが補正されるので、小さかった誤差（ノイズ）成分が大きくなってしまうことがある。このように現像前のＲＡＷ画像データを比較すると、ホワイトバランス調整処理やガンマ補正処理のように現像処理によって変化する画質に関して最適な比較を行うことができなくなってしまうことがあるからである。そのため、本実施例では、ＲＡＷ画像データを圧縮する場合であっても、圧縮前のＲＡＷ画像データと圧縮伸張されたＲＡＷ画像データとを比較するのではなく、現像後の画像同士を比較してＲＡＷ画像データの圧縮率を調整している。

なお、本実施例では、簡易現像部２１０により現像された画像同士を、画質評価部２３１で比較するものとして説明したが、高画質現像部２１１で現像された画像同士を比較するようにしてもよい。

また、本実施例の画質評価部２３１において、現像した画像データの特定の領域のみまたは任意の一部を比較するようにしてもよい。また、簡易現像部２１０において、信号処理部２０１により処理されたＲＡＷ画像データ、及び、ＲＡＷ伸張部２２１により伸張されたＲＡＷ画像データを同じパラメータで現像する。このときのパラメータは、ホワイトバランス調整処理における各色成分データに対するレベル調整パラメータや、ガンマ補正処理におけるガンマ補正パラメータを含む。

また、本実施例においては、高画質現像部２１０、簡易現像部２１１で現像した画像について、表示するために用いるものとして説明したが、たとえば、高画質現像部２１０、簡易現像部２１１で現像した画像を静止画または動画として圧縮してもよい。このとき用いる圧縮方式は、ウェーブレット変換を用いたＪＰＥＧ２０００やＭｏｔｉｏｎＪＰＥＧ２０００であってもよいし、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧ、ＭＰＥＧ２などどのような形式の圧縮方式を用いてもよい。

なお、本実施例では、撮像装置を例にとって説明したが、ＲＡＷ画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

次に、実施例２について説明する。実施例２においても実施例１と同様に、撮像装置について説明する。撮像装置の基本的な構成は実施例１と同様であるため、撮像装置の基本的な構成は実施例１と同様のものとして説明を省略する。

実施例２では、実施例１と比べて、画像処理部１１１の動作が異なるので、画像処理部１１１の説明を行う。

＜画像処理部１１１について＞
画像処理部１１１は、撮像部１１０により得られたＲＡＷ画像データを圧縮する処理を行う。画像処理部１１１では、ＲＡＷ画像データを所定の圧縮率で圧縮し、圧縮済みのＲＡＷ画像データを伸張する。そして、撮像部１１０により得られたＲＡＷ画像データと圧縮伸張されたＲＡＷ画像データとを、現像パラメータで補正して、補正後のそれぞれの画像を比較する。そして、その画質を評価して、画質に応じて圧縮処理における圧縮率を制御する。本実施例では画質評価の例としてＰＳＮＲを用いるが、これ以外の評価手法を用いてもよい。

図４は、画像処理部１１１の構成を示すブロック図である。本実施例の画像処理部１１１は、図４に示すように、信号処理部４０１、簡易現像部４１０、高画質現像部４１１、ＲＡＷ圧縮部４２０、ＲＡＷ伸張部４２１、データ補正部４３０、画質評価部４３１を有する。

信号処理部４０１は、ＲＡＷ画像データの修復処理を実行する。修復処理には、撮像部１１０の撮像素子における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理がある。

簡易現像部４１０、高画質現像部４１１は、ＲＡＷ画像データを現像する処理を行う。簡易現像部４１０においては、高画質現像部４１１よりも限定された条件で現像を行うものとする。簡易現像部４１０、高画質現像部４１１はそれぞれ、ＲＡＷ画像データに対して、ホワイトバランス調整処理、デベイヤー処理（デモザイク処理）等のいわゆる現像処理を行う。他にも、デベイヤー処理後の画像データを輝度と色差から成る信号に変換する処理、各信号に含まれるノイズを除去する処理、光学的な歪を補正する処理、ガンマ補正処理等をおこなう。なお、「現像処理」とは、デベイヤー処理（デモザイク処理）、ホワイトバランス調整処理、ガンマ補正処理のそれぞれのうち一つの処理のみを示すこともあるし、これらのうち複数の処理を含む処理を示すこともある。なお、簡易現像部４１０は高画質現像部４１１よりも処理を簡易化して高速に処理を行うものとする。そのため、たとえば、簡易現像部では、ＲＡＷ画像データを所定のサイズ（たとえば２０００×２０００以下）に縮小してから処理を行う。また、光学的な歪みを補正する処理やノイズを除去する処理に関しても、補正対象の画像の前後に撮影された画像データの解析等を行わずに処理をすることで処理を簡易化することができる。逆に、高画質現像部４１１では、サイズを制限せずに現像処理を行い、また補正対象の画像の前後に撮影された画像データの解析を行い、高精度な補正処理、ノイズ除去処理を行う。

このように、高画質現像部４１１は、簡易現像部４１０よりも処理負荷が大きいため、記録時に高画質現像部４１１を動作させずに、たとえば再生時や記録終了後に高画質現像部４１１による処理を実行するようにしてもよい。他方、簡易現像部４１０は、高画質現像部４１１よりも、処理負荷が小さいので、記録時の現像の際には簡易現像部２１１を用いるようしてもよい。そうすることで、記録時の消費電力の増大（ピーク）を低く抑えることができる。なお、本実施例では、簡易現像部４１０、高画質現像部４１１の２つの現像部を有するものとして説明するが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を行う構成であってもよい。

ＲＡＷ圧縮部４２０は、信号処理部４０１で処理されたＲＡＷ画像データのデータ量を圧縮するものである。ＲＡＷ圧縮部４２０では、たとえば、ウェーブレット変換、差分符号化等の圧縮符号化技術を用いてＲＡＷ画像データを圧縮する。本実施例では、たとえばＪＰＥＧ２０００や、ＭｏｔｉｏｎＪＰＥＧ２０００で用いられていたように、ウェーブレット変換された情報を量子化する構成であるものとする。そのため、ＲＡＷ圧縮部４２０において、量子化ステップ数を減らすことで圧縮率を上げることができ、量子化ステップ数を増やすことで圧縮率を下げ画質を向上させることができる。なお、量子化ステップ数を増減させるほか、算術符号化の精度を変更することでも圧縮率を変更することもできるので、圧縮率の変更をする方法は、量子化ステップ数の変更に限られるものではない。

ＲＡＷ伸張部４２１は、記録時には、ＲＡＷ圧縮部４２０により圧縮された、圧縮済みのＲＡＷ画像データを伸張し、再生時には、記録媒体１５１から読みだされた圧縮済みのＲＡＷ画像データを伸張するものである。ＲＡＷ伸張部４２１では、たとえば、ウェーブレット逆変換、差分復号化等の復号化技術を用いて圧縮済みのＲＡＷ画像データを伸張する。本実施例では、ウェーブレット変換され、量子化された情報を伸長するため、逆量子化、ウェーブレット逆変換をする構成であるものとする。

次に、データ補正部４３０は、簡易現像部４１０で使用された現像パラメータに基づいて、ＲＡＷ画像データを補正する。具体例をあげると、ホワイトバランス調整処理における各色のレベル補正パラメータに応じてＲＡＷ画像データを補正したり、ガンマ補正処理における補正パラメータに応じてＲＡＷ画像データを補正したりする。補正されるＲＡＷ画像データは、信号処理部４０１で処理されたＲＡＷ画像データおよび、ＲＡＷ圧縮部４２０で圧縮されＲＡＷ伸張部４２１で伸張されたＲＡＷ画像データである。データ補正部４３０は補正したＲＡＷ画像データは画質評価部４３１に送信する。

画質評価部４３１は、データ補正部４３０から出力された２つの未現像のＲＡＷ画像データを比較するものである。信号処理部２０１から出力されたＲＡＷ画像データをデータ補正部４３０で補正した第１のＲＡＷ画像データと、ＲＡＷ圧縮部２２０で圧縮されＲＡＷ伸張部２２１で伸張されたＲＡＷ画像データをデータ補正部４３０で補正した第２のＲＡＷ画像データとを比較する。画質評価部４３１では、入力された第１のＲＡＷ画像データと、第２のＲＡＷ画像データとを比較し、「ピーク信号対雑音比」（一般に、ＰＳＮＲと呼ばれる）を求める。そして画質評価部４３１は、算出された「ピーク信号対雑音比（ＰＳＮＲ）」に応じて、ＲＡＷ圧縮部４２０における圧縮率を制御する。

本実施例の画像処理部１１１は、このような構成により、現像処理されないＲＡＷ画像データを圧縮する場合に、現像パラメータを用いて補正されたＲＡＷ画像データの画質に基づいて、より最適な圧縮率になるように制御することができる。

次に画像処理部１１１の記録時の動作について説明する。

記録動作が開始すると、撮像部１１０から出力されたＲＡＷ画像データは画像処理部１１１に送信される。画像処理部１１１においては、まず、信号処理部４０１でＲＡＷ画像データの修復処理が行われる。次に、ＲＡＷ画像データは簡易現像部４１０、データ補正部４３０及びＲＡＷ圧縮部４２０に送られる。ＲＡＷ圧縮部４２０においては、画質評価部４３１の指示に基づく圧縮率でＲＡＷ画像データを圧縮する。ＲＡＷ圧縮部４２０で圧縮された圧縮済みのＲＡＷ画像データは、ＲＡＷ伸張部４２１および記録再生部１５０に送信される。ＲＡＷ伸張部４２１では、ＲＡＷ圧縮部４２０で圧縮された圧縮済みのＲＡＷ画像データを伸張する。そして、データ補正部４３０に伸張したＲＡＷ画像データを送信する。

簡易現像部４１０では、信号処理部２０１により処理されたＲＡＷ画像データを現像して表示制御部１４１に送信する。一方で、現像パラメータをデータ補正部４３０に送信する。

データ補正部４３０は、信号処理部４０１から出力されたＲＡＷ画像データと、ＲＡＷ圧縮部４２０で圧縮されＲＡＷ伸張部で伸張されたＲＡＷ画像データを取得し、簡易現像部４１０から送信された現像パラメータを用いて、２つのＲＡＷ画像データを補正する。ここで、信号処理部４０１から出力されたＲＡＷ画像データを補正した画像を第１のＲＡＷ画像データ、ＲＡＷ圧縮部４２０で圧縮されＲＡＷ伸張部で伸張されたＲＡＷ画像データを補正した画像を第２のＲＡＷ画像データと呼ぶものとする。

画質評価部４３１では、第１のＲＡＷ画像データと第２のＲＡＷ画像データを比較し、「ピーク信号対雑音比（ＰＳＮＲ）」を算出する。そして、「ピーク信号対雑音比（ＰＳＮＲ）」が所定の上限値を超えていた場合には、画質が良好であることを示しているので、圧縮率を上げても画質がさほど低下しない。そのため、そして、「ピーク信号対雑音比（ＰＳＮＲ）」が所定の上限値を超えていた場合には、圧縮率を上げる指示をＲＡＷ圧縮部４２０に出す。一方、所定の下限値を下回っていた場合には、画質が所定のレベルよりも低下してしまっていること示しているので画質を良くするために圧縮率を下げる指示をＲＡＷ圧縮部４２０に出す。なお、「ピーク信号対雑音比（ＰＳＮＲ）」が、前述の所定の上限値を超えず、所定の下限値を下回らない場合には圧縮率を変更しないようにする。

ＲＡＷ圧縮部４２０においては、圧縮率を上げる指示が画質評価部４３１から入力されると、圧縮処理における量子化ステップ数を減らし、圧縮率を下げる指示が入力されると圧縮処理における量子化ステップ数を増やすように動作する。前述したように、圧縮率を上げる方法は量子化ステップ数を変更する以外の方法であってもよい。

以上の動作により、記録時においては、入力されたＲＡＷ画像データを現像せずに圧縮する場合に、現像後の画質を考慮した圧縮を行うことができる。そのために、本実施例では、撮像により得られたＲＡＷ画像データを現像したパラメータを用いて、ＲＡＷ画像データを補正してから画像比較を行う。具体的には、撮像により得られたＲＡＷ画像データを撮像パラメータを用いて補正した第１のＲＡＷ画像データと、圧縮したＲＡＷ画像データを再伸張したＲＡＷ画像データを撮像パラメータを用いて補正した第２のＲＡＷ画像データとを比較して、現像後の画質評価を行う。そして、圧縮したＲＡＷ画像データを再伸張したＲＡＷ画像データを現像パラメータで補正した画質が所定のレベルに収まるようにＲＡＷ画像データの圧縮動作を制御する。このように、本実施例の撮像装置は、ＲＡＷ画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。

本実施例では、動画、静止画の撮影に特に限定して説明を行わなかったがどちらの撮影においても適用可能である。動画の場合は、画質評価部４３１によって決定された圧縮率を次のフレームの圧縮において適用し、静止画の場合は、同じ画像に対して再度画質評価部４３１で決定した圧縮率で同じフレーム画像を圧縮するようにしてもよい。

また、本実施例の簡易現像部４１０で用いられた現像パラメータは撮像時に設定されたホワイトバランス調整値に対応したパラメータや、撮像装置１００のＣＰＵ１０１により撮像画像を解析した結果、自動的に設定されたパラメータである。

なお、本実施例では、簡易現像部４１０で使用された現像パラメータを用いて補正したＲＡＷ画像データ同士を、画質評価部４３１で比較するものとして説明した。しかし、高画質現像部４１１で使用された現像パラメータを用いて補正されたＲＡＷ画像データ同士を比較するようにしてもよい。

また、本実施例の画質評価部４３１において、ＲＡＷ画像データの特定の領域のみを比較するようにしてもよい。また、簡易現像部４１０における現像パラメータは、ホワイトバランス調整処理における各色成分データに対するレベル調整パラメータや、ガンマ補正処理におけるガンマ補正パラメータ等を含む。

また、本実施例においては、高画質現像部４１０、簡易現像部４１１で現像した画像について、表示するために用いるものとして説明したが、たとえば、高画質現像部４１０、簡易現像部４１１で現像した画像を静止画または動画として圧縮してもよい。このとき用いる圧縮方式は、ウェーブレット変換を用いたＪＰＥＧ２０００やＭｏｔｉｏｎＪＰＥＧ２０００であってもよいし、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧ、ＭＰＥＧ２などどのような形式の圧縮方式を用いてもよい。

なお、本実施例では、撮像装置を例にとって説明したが、ＲＡＷ画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (13)

1. 被写体の光学像を撮像しＲＡＷ画像データを取得する撮像手段と、
   ＲＡＷ画像データを現像する現像手段と、
   ＲＡＷ画像データを圧縮する圧縮手段と、
   前記圧縮手段により圧縮されたＲＡＷ画像データを伸張する伸張手段と、
   前記撮像手段により得られたＲＡＷ画像データを前記現像手段における現像パラメータに基づいて補正した第１のＲＡＷ画像データと、前記伸張手段により伸張されたＲＡＷ画像データを前記現像手段における現像パラメータに基づいて補正した第２のＲＡＷ画像データとを比較した結果に基づいて、前記圧縮手段による圧縮率を制御する制御手段とを有することを特徴とする画像処理装置。
2. 前記現像手段は、前記ＲＡＷ画像データを縮小して現像することを特徴とする請求項１に記載の画像処理装置。
3. 前記現像手段は、前記ＲＡＷ画像データに対してホワイトバランス調整処理をすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記現像手段は、前記ＲＡＷ画像データに対してガンマ補正処理をすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記第１のＲＡＷ画像データと前記第２のＲＡＷ画像データの一部を比較した結果に基づいて、前記圧縮手段による圧縮率を制御する制御手段とを有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記圧縮手段は、前記ＲＡＷ画像データを示す情報を量子化し、
   前記制御手段は、前記圧縮手段における量子化ステップ数を変更することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 被写体の光学像を撮像しＲＡＷ画像データを取得する撮像ステップと、
   ＲＡＷ画像データを現像する現像ステップと、
   ＲＡＷ画像データを圧縮する圧縮ステップと、
   前記圧縮ステップで圧縮されたＲＡＷ画像データを伸張する伸張ステップと、
   前記撮像ステップで得られたＲＡＷ画像データを前記現像ステップにおける現像パラメータに基づいて補正した第１のＲＡＷ画像データと、前記伸張ステップにより伸張されたＲＡＷ画像データを前記現像ステップにおける現像パラメータに基づいて補正した第２のＲＡＷ画像データとを比較した結果に基づいて、前記圧縮ステップにおける圧縮率を制御する制御ステップとを有することを特徴とする画像処理方法。
8. 前記現像ステップは、前記ＲＡＷ画像データを縮小して現像することを特徴とする請求項７に記載の画像処理方法。
9. 前記現像ステップは、前記ＲＡＷ画像データに対してホワイトバランス調整処理をすることを特徴とする請求項７または８に記載の画像処理方法。
10. 前記現像ステップは、前記ＲＡＷ画像データに対してガンマ補正処理をすることを特徴とする請求項７から９のいずれか１項に記載の画像処理方法。
11. 前記制御ステップは、前記第１のＲＡＷ画像データと前記第２のＲＡＷ画像データの一部を比較した結果に基づいて、前記圧縮ステップにおける圧縮率を制御する制御ステップとを有することを特徴とする請求項７から１０のいずれか１項に記載の画像処理方法。
12. 前記圧縮ステップは、前記ＲＡＷ画像データを示す情報を量子化し、
    前記制御ステップは、前記圧縮ステップにおける量子化ステップ数を変更することを特徴とする請求項７から１１のいずれか１項に記載の画像処理方法。
13. コンピュータに請求項７から１２のいずれか１項に記載の各ステップを実行させるためのコンピュータプログラム。

Images