JP4174493B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、撮像画像の圧縮処理に好適な画像処理装置及び方法に関する。

近年、デジタルカメラによる画像入力（撮影）、及びプリンタによる画像出力が盛んに行われている。しかしながら、デジタルカメラで撮影した多数の写真の中には、撮影者の期待通りの写真ばかりではなく、様々な失敗写真が存在する。失敗写真は、例えば撮影時の手ブレや焦点ぼけといった撮影時の失敗に起因するものと、使用したデジタルカメラの特性によりノイズが増感されたり、階調特性や解像性が減少したり等の入力デバイスの特性に起因するものとに分類できる。このような失敗写真の画質の改善を図るための、入力した画像情報に対して様々なデジタル画像補正処理、デジタル加工処理の提案が従来よりなされている。

失敗写真の一例として、フラッシュを発光して撮影した写真に度々起こる赤目現象について説明する。

赤目現象とは、暗い周囲の環境下での人物撮影において、フラッシュ光が被写体の眼球内の血管等で反射してカメラ側に帰来することにより、開いた瞳孔が赤く撮影されてしまう現象のことをいう。赤目現象は、撮影時にフラッシュ発光のタイミングをずらすことによって、ある程度は回避することが可能である。しかし、そのようなフラッシュ制御を実現するためにはカメラ側に特殊な機構が必要になること、また、フラッシュを事前に発光することにより被写体の自然な表情に変化を及ぼすこと等が課題となっている。その為、撮影機器の改良により赤目発生を防止する技術よりも、既に赤目現象が発生した画像の中から、赤目部分を検出して、自然な色合いの瞳孔色に補正する技術の提案が重要になってきている。

特許文献１では、入力画像の種別、画像の形式、スキャン条件等に基づいて、赤目部分を検出するパラメータや、赤目修正のパラメータを変更させる方法が開示されている。また、特許文献２では、撮影時間、撮影場所、撮影光源、照明、ストロボ発光の有無、撮影に用いたカメラ機種、撮影露光条件、及び、撮影シーン解析結果の少なくとも１つ以上の情報によって、主要被写体領域に赤目等の不具合いが発生している可能性が高いか否かを判定する方法が開示されている。
特開２００３−２８３８４９号公報 特開２００３−２０９６８３号公報 特開平１０−２３３９２９号公報 特開平１０−３２２３７２号公報 特開２００４−１３３４９号公報 「カラー静止画符号化国際標準化」、画像電子学会誌、第18巻、第6号、pp.398-407,1989

しかし、前述した技術は、何れも撮影時の情報やファイルの属性情報に基づいて、画像情報の中から赤目部分を検出したり、画像補正をする際の各種パラメータを制御するものである。特許文献１及び２の何れにも、画像情報の圧縮と赤目部分の検出との関連性に関しては全く言及されていない。画像情報の圧縮は、例えばデジタルカメラで撮影した数多くの画像ファイルをカードＩ／Ｆを介してカードメモリに格納する際に必要となる技術である。大部分のデジタル機器は、静止画の圧縮符号化国際標準方式である、ＪＰＥＧ（非特許文献１参照）の画像フォーマットに適合させて符号化を行う。

ＪＰＥＧの画像圧縮符号化方式では、簡単には以下の処理手順により符号化が行われる。
（１）画像情報を輝度成分と色差成分に色分解。
（２）各色成分毎に所定画素単位にブロック化。
（３）ブロック内で直交変換（ＤＣＴ：離散コサイン変換）。
（４）ＤＣＴ係数を視覚特性に適合させた量子化ステップにおいて量子化。
（５）ＡＣ量子化係数を低周波域から高周波域にかけてジグザグスキャンの規則性に基づいて一次元配列に並び替え。
（６）係数ゼロの連続するラン数と係数ゼロ後に出現した非ゼロの有意係数との２次元ハフマン符号化。
（７）ＤＣ量子化係数は近接ブロックとＤＰＣＭ符号化。

上記の（４）、及び（７）に相当するＤＣＴ係数の量子化工程において画像情報に劣化が生じ、圧縮符号化後のデータから原画像情報への完全な復元はできない。劣化の度合いは圧縮率に起因し、使用者の指示により数段階の圧縮率を指定できるデジタルカメラが多い。また。量子化工程は人間の視覚特性に適合するように、感度の高い輝度成分よりも感度の低い色差成分に荒い量子化ステップが設定されている。その為、量子化の結果として色差成分の非可逆性が大きくなる。当然、圧縮率を上げた方が画像ファイルのファイルサイズは小さくなり、カードメモリ等に格納できる画像ファイルの数は増加する。

一方、デジタル画像処理を駆使した赤目検出方法は古くより様々な方法が開示されているが、例えば特許文献３（特開平１０−２３３９２９号公報）には、赤目領域の可能性のある領域に対して、
（１）面積、
（２）最大長、
（３）平均彩度、
（４）平均色相、
（５）平均明度、
（６）形状、
（７）領域周辺の黒領域分布状態、
（８）領域周辺の白領域分布状態、
（９）領域内の微小白領域の分布状態、
（１０）顔領域に対する相対的な領域存在位置
の各項目の少なくとも一つ以上の項目に関して所定の演算により評価値を算出して、赤目領域の可能性を判断している。可能性判断は経験的に赤目領域の画像の特徴量を基にして厳密に評価されるわけであるが、赤目検出工程よりも前工程にて画像情報が各種補正加工により変更されていた場合には、期待していた特徴量が得られずに所望の検出精度を得ることが困難になる。特に赤目検出工程で重要となる色差成分の変更（劣化）、改竄は赤目領域が有する特徴量抽出にとって大きなマイナス要因となる。

すなわち、赤目部分を検出する工程と、ＪＰＥＧフォーマット化に代表される非可逆圧縮工程の動作手順の前後関係が重要になってくる。例えばデジタルカメラにおいて、常に赤目部分を検出、補正した後にＪＰＥＧフォーマット化をする動作手順が実行されるのであれば問題はない。しかしながら、デジタルカメラでは動作手順が逆になる場合も数多く存在する。例えば、（１）デジタルカメラが赤目補正機能を有しておらず、出力先のプリンタ内部で赤目補正を行う場合（デジタルカメラとプリンタ等の外部装置を通信接続する技術は特許文献４、特許文献５を参照）や、（２）デジタルカメラがデジタル画像処理を用いた赤目補正機能を有していた場合でもＪＰＥＧフォーマット化後に赤目補正を作動させなくてはならない場合等である。

このような場合、つまり、デジタル画像処理による赤目検出補正をする前にＪＰＥＧによる非可逆圧縮を施された場合には、赤目検出性能が大幅に低下し、赤目補正機能を働かせていても赤目が補正されない画像が増加するという問題点があった。

本発明は、上記の課題に鑑みてなされたものであり、圧縮処理による赤目補正機能への影響を低減することを目的とする。

上記の課題を解決するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
撮像手段により画像を撮像した時のフラッシュの使用状態を判定する判定手段と、
前記撮像により得られた前記画像に応じた画像情報を非可逆圧縮して符号化する符号化手段と、
前記判定手段で判定されたフラッシュの使用状態に基づいて前記符号化手段の圧縮条件を制御する圧縮制御手段とを備える。

上記の課題を解決するための本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
画像情報を符号化する画像処理装置であって、
前記画像情報を非可逆圧縮して符号化する符号化手段と、
接続可能な外部装置の画像補正機能を登録する登録手段と、
前記登録手段で登録された画像補正機能に基づいて、前記符号化手段の圧縮条件を制御する圧縮制御手段とを備える。

本発明によれば、圧縮処理による赤目補正機能への影響を低減することができる。

以下、添付の図面を参照して本発明に係る好適な実施形態を詳細に説明する。

図１のブロック図に沿って本実施形態の動作手順を説明していく。なお、本発明の画像処理装置及び方法は、デジタルカメラ、デジタルビデオ、カメラ付き携帯電話機、プリンタ等に適用することが可能である。また、以下の実施形態で説明する画像処理方法及び記録媒体は、前述したハード機器本体への内蔵に加え、コンピュータ内のアプリケーションソフトや、各機器を制御するデバイスドライバソフト等に内蔵することが可能である。

以下の実施形態では、本発明の画像処理装置をデジタルカメラ内部に応用した例を説明する。なお、このデジタルカメラは、図９に示すようにプリンタと直接接続することにより、コンピュータを介在させない直接印刷を実現することができるものとする。

図９は本実施形態によるプリントシステムを示す図である。デジタルカメラ１００とプリンタ６００とがコンピュータを介さずに直接に接続され、撮影されたた画像はデジタルカメラ１００から直接プリンタ６００に出力される。

図１は本実施形態のデジタルカメラ１００の要部構成を示すブロック図である。レンズユニット１０１はズームレンズ、フォーカスレンズ及び絞り等により構成される。なお、レンズユニット１０１は、ズームレンズを動作させるズームモータ、フォーカスレンズを動作させるフォーカスモータ、及び、絞りの開口径を調節する絞りモータ等も具備する。もちろん、レンズユニット１０１が固定焦点のレンズで構成されていてもよい。レンズユニット１０１内の各モータはカメラ制御部１０２内の各駆動回路により与えられる制御信号により制御される。

撮像素子１０３は、ＣＣＤ、ＣＭＯＳ等の光電変換素子であり、２次元配列された受光素子（画素）で受光した光量を電気信号に変換することにより撮像した被写体像に対応した画像信号を得る。なお、撮像素子１０３は、各素子に蓄積される電荷の蓄積時間を制御する電子シャッタ機能を有する。

信号処理部１０４は、アナログ信号処理を司り、ＣＤＳ（相関二重サンプリング）回路とＡＧＣ（オートゲインコントロール）回路を主たる構成としている。ＣＤＳ回路は、ＣＣＤ等の出力に含まれるノイズの低減を行い、ＡＧＣ回路は、アナログ信号の所定出力レベルまでの増幅、調整を司る。Ａ／Ｄ変換器１０５は、信号処理部１０４で調整されたアナログ信号をデジタル信号値に変換する。Ａ／Ｄ変換器１０５は、タイミング制御部（不図示）からの信号に基づいて、各画素のアナログ信号を所望のｎビット分のデジタル信号値に変換する。

画像メモリ１０６は、２次元のデジタル信号値（例えばＲＧＢ信号値）を格納するメモリである。画像処理部１０７は、画像メモリ１０６に格納されたデータ（ＲＧＢ信号値）を輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）へ変換したり、ガンマ補正、コントラスト補正、ホワイトバランス補正、画素補間等の各種画像処理を施す。

メインＣＰＵ１０８は、デジタルカメラ１００による撮影、再生の全体動作の制御を司る中央演算装置である。メインＣＰＵ１０８は、ＲＯＭ１０９に格納された制御プログラムを実行することにより画像処理部１０７やカメラ制御部１０２等の制御を実現する。ＲＡＭ１１０は、各プログラムの実行時の作業領域を提供する。なお、ＲＡＭ１１０は接続可能なプリンタのプリンタ能力情報１１０ａを保持する。プリンタ能力情報１１０ａには少なくともプリンタが赤目補正機能を有するか否かを示す情報が含まれる（詳細は後述する）。ＶＲＡＭ１１１は画像表示ＬＣＤ１１２に表示するための画像を記憶する画像メモリである。例えば、ＶＲＡＭ１１１に撮影画像を書き込むことにより、画像表示ＬＣＤ１１２に撮影画像を表示させることができる。

カメラ制御部１０２は、操作スイッチ１１３からの操作信号に応じて各種動作を実行する。また、シャッタスイッチ１１４が押下されることにより、カメラ制御部１０２は所定の動作手順に基づいて一連の撮影機構を駆動する。

調光制御部１１５はフラッシュ１１６の発光量を制御する。カメラ制御部１０２は、操作スイッチ１１３からの使用者の操作信号により、もしくは、自動的にフラッシュ発光の必要性を検知することにより、調光制御部１１５に発光指示を出し、フラッシュの発光や強制停止等を制御する。

圧縮／伸長処理部１１７は、画像メモリ１０６内の画像情報をＪＰＥＧの画像圧縮符号化方式に基づき符号化する。符号化されたデータはＩ／Ｆ１１８を介して、メモリカード１１９に格納することができる。通信用回路１２０は、他の情報機器と接続通信するための回路である。通信用回路１２０に適用できる通信規格としては、ＵＳＢ、ＬＡＮ、無線ＬＡＮ、また、ＩＥＥＥ１３９４により規定されたシリアルバス等が考えられる。また、通信用回路１２０を介してデジタルカメラ１００に接続可能な機器としては、パーソナルコンピュータ、プリンタ等が考えられる（特許文献４）。

昨今、デジタルカメラとプリンタとをＵＳＢ等により直接接続して印刷指示命令や各種ステイタス情報、画像情報を送受信することを可能とし、パーソナルコンピュータを介さずに撮影された写真の直接印刷を実現できるシステムが提案されている。このようなシステムをダイレクトプリントという。ダイレクトプリントの標準規格としては、ＣＩＰＡ（カメラ映像機器工業会）にて設定されたPictBridgeがある。ダイレクトプリントに関しては、プリンタが保持している能力（Capability）をカメラ側に転送し、カメラ側の表示を能力に合わせて変更する提案（特許文献５）等がある。

図２は圧縮伸長処理部１１７に搭載されている、カラー静止画符号化の国際標準化方式としてＪＰＥＧ（Joint Photographic Experts Group）にて提案されているベースラインシステム（基本方式）の符号化方式（非特許文献１）の構成を示すブロック図である。

図２において、入力端子２０１より入力されたイメージ画素データは、ブロック化回路２０２において８×８画素のブロック状に切出され、離散コサイン変換（以下、「ＤＣＴ」という）回路２０３にてコサイン変換される。コサイン変換により得られた変換係数は量子化器（Ｑ）２０４に供給される。圧縮率制御部２１７は、量子化テーブル（Ｑテーブル）２０５と、外部から入力される画質指定（Quality）情報を基に量子化ステップを決定する。量子化器２０４は、圧縮率制御部２１７にて決定された量子化ステップに従って、ＤＣＴ回路２０３からの変換係数に線形量子化を施す。圧縮率制御部２１７は例えばQuality値として５０を中心にして、１（最も高圧縮率）から９９（最も低圧縮率）まで指定ができ、Qualityに応じて予め用意された量子化テーブル値に乗算する係数が変化する。当然、量子化ステップ値が大きい程、粗い量子化になる為に画質は劣化する。例えば、量子化器２０４に与えるＤＣＴ成分[i,j]における量子化ステップＱnew[i,j]は、Ｑテーブル２０５に予め設定されている量子化ステップＱorg[i, j]と、与えられたQuality値に応じて以下のように算出される。

Quality＜５０の場合、
Ｑnew[i,j] ＝ Ｑorg[i, j] × (50／Quality) …（式１）
Quality≧５０の場合、
Ｑnew[i,j] ＝ Ｑorg[i, j] × ((100 − Quality)／50) …（式２）

量子化された変換係数のうち、ＤＣ係数は予測符号化回路（以下、「ＤＰＣＭ」という）２０６にて、前ブロックのＤＣ成分との差分（予測誤差）がとられ、１次元ハフマン符号化回路２０７に供給される。図３はＤＰＣＭ２０６の構成を詳細に示すブロック図である。量子化器２０４からの量子化されたＤＣ係数は遅延回路３０１及び減算器３０２に印加される。遅延回路３０１はＤＣＴ回路２０３が１ブロック、即ち８×８画素分の演算に必要な時間分だけ遅延させる回路である。従って遅延回路３０１から前ブロックのＤＣ係数が減算器３０２に供給される。よって、減算器３０２からは、前ブロックとのＤＣ係数の差分（予測誤差）が出力されることになる。本予測符号化では予測値として前ブロック値を用いているため、ＤＰＣＭ２０６は遅延回路３０１を含んで構成される。

１次元ハフマン符号化回路２０７は、ＤＰＣＭ２０６より供給された予測誤差信号をＤＣハフマンコードテーブル２０８に従って可変長符号化し、多重化回路２０９にＤＣハフマンコードを供給する。

一方、量子化器２０４にて量子化されたＡＣ係数（ＤＣ係数以外の係数）は、スキャン変換回路２１０に供給される。スキャン変換回路２１０は、ＡＣ係数を、図４に示すように低次の係数より順にジグザクスキャンし、このスキャン順でＡＣ係数を有意係数検出回路２１１に供給する。有意係数検出回路２１１は、量子化されたＡＣ係数が“０”かどうかを判定する。“０”の係数の場合、有意係数検出回路２１１はラン長カウンタ２１２にカウントアツプ信号を供給し、カウンタの値を＋１増加させる。一方、“０”以外の係数の場合、有意係数検出回路２１１はリセット信号をラン長カウンタ２１２に供給してカウンタの値をリセットすると共に係数値をグループ化回路２１３に供給する。グループ化回路２１３は、図５に示されるようにグループ番号ＳＳＳＳと付加ビットに分割し、グループ番号ＳＳＳＳを２次元ハフマン符号化回路２１４に、付加ビットを多重化回路２０９に各々供給する。

ラン長カウンタ２１２は、“０”のラン長をカウントする回路であり、“０”以外の有意係数間の“０”の数ＮＮＮＮを２次元ハフマン符号化回路２１４に供給する。２次元ハフマン符号化回路２１４は、ラン長カウンタ２１２から供給された“０”のラン長ＮＮＮＮと有意係数のグループ番号ＳＳＳＳをＡＣハフマンコードテーブル２１５に従って可変長符号化し、多重化回路２０９にＡＣハフマンコードを供給する。

多重化回路２０９は、１ブロック（８×８の入力画素）分のＤＣハフマンコード、ＡＣハフマンコード及び付加ビットを多重化し、圧縮された画像データを出力端子２１６より出力する。以上がＪＰＥＧの圧縮方式の説明である。

次に、本実施形態のシステムにおけるプリンタについて説明する。図６は本実施形態のシステムに適用可能なプリンタ６００の要部構成を示すブロック図である。なお、本実施形態では、プリンタ６００としてインクジェットプリンタを用いるが、これに限られるものではないことはいうまでもない。

通信用回路６０１は、コンピュータやデジタルカメラ等の外部装置と接続するためのインターフェースである。通信用回路６０１では、画像データ、プリンタの印字制御信号、プリンタの有する画像処理能力を問い合わせる信号（capability信号）等が通信される。ＣＰＵ６０２は、ＲＯＭ６０３に格納された各種制御プログラムを実行することにより、プリンタ６００における各種処理を実現する。ＲＡＭ６０４は、通信用回路６０１から入力した画像データ等を保持するメモリとして、及び、ＣＰＵ６０２が各制御プログラムを実行する際の作業領域として使用される。操作／表示制御部６０５は、ＬＥＤ、ＬＳＤ等を用いた表示部や、各種キースイッチ等の操作部を制御する。操作／表示制御部６０５は、操作部から入力された使用者の指示命令をＣＰＵ６０２に送り、ＣＰＵ６０２からの指示に従って表示部への表示（ステイタス等の表示）を行う。

エンジンドライバ６０６は、プリンタエンジン６０７の制御を司る。エンジンドライバ６０６は、記録ヘッドの各ノズルへの印加制御を司るヘッドドライバ、記録ヘッドを搭載したキャリアを稼動するキャリアモータや記録紙を搬送する紙送りモータ等の各種モータ制御を司るモータドライバ等を具備する。また、プリンタ６００はゲートアレイ等の集積回路で構成されるカスタムＩＣ（ＡＳＩＣ）（不図示）を保持してもよい。このようなＡＳＩＣによりＣＰＵ６０２の処理の一部を実行させることにより、複雑な画像補正や加工処理を高速に実現することができる。

通信用回路６０１を介してＪＰＥＧ等の圧縮符号化情報を受信した場合においては、ＣＰＵ６０２は、ＲＯＭ６０３に格納された伸長処理プログラムを実行して伸長処理を施す。そして、伸長処理された画像データに基づいてプリントのための各種処理が実行される。すなわち、輝度色差データからプリンタが保持しているインク毎の濃度データへ変換する色変換処理、インク毎の濃度データを擬似階調表現する為の量子化処理、量子化データをヘッドノズルへの印加情報へ変換するプリンタプロセス処理等が実行される。

本実施形態では、プリンタ６００が、ＣＰＵ６０２によって赤目補正機能６１１を実行可能な場合を説明する。赤目補正機能６１１は、フラッシュ発光により瞳孔が赤く光ることにより生じた赤目領域を入力した画像情報から検出する赤目検出処理６１１ａと、検出された赤目を補正する赤目補正処理６１１ｂを含む。

図７は、プリンタ６００において実行される赤目検出処理６１１ａを説明するフローチャートである。なお、赤目検出処理６１１ａと赤目補正処理６１１ｂに先立って、入力した圧縮画像の伸長処理が行なわれる。図７のフローチャートによって示される処理において、入力画像は伸長処理が施された後の画像である。

まず、入力画像に対して、ステップＳ７０１にて注目画素を走査して赤領域を検索する。なお、ステップＳ７０１で検索が行われる画像情報には、設定された検出精度に応じて入力画像を所定の縮小率で縮小した画像情報が用いられる。また、赤領域の検索においては、ＪＰＥＧフォーマットを復号して得られたＹ成分（輝度成分）、Ｕ及びＶ成分（色差成分）を用いても良いし、ＹＵＶの輝度色差成分からＲＧＢの三原色成分に色変換した後の情報を用いても良い。また、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）の色成分に分解した情報を用いるのも有効な手段である。また、赤領域の検索は、赤目の色情報を基に実験的に色域を設定しておき、各色成分の閾値比較によって行われる。

ステップＳ７０１の検索により赤領域が検出された場合は、ステップＳ７０２からステップＳ７０３へ進む。ステップＳ７０３では、検出された赤領域と、予め用意してある目のビットマップデータとの間でパターンマッチング（テンプレートマッチング）が行われる。パターンマッチング法そのものは公知である為、説明を省略する。目のビットマップデータについて拡大縮小や回転等の幾何学的変換や画素値の振幅変換を行い、探索された赤領域と目のビットマップとのマッチング処理を実行する。

続いて、ステップＳ７０４にてパターンとの適合の可能性を判断する。可能性判断はステップＳ７０３のパターンマッチング処理で得られたマッチング距離を所定閾値と比較することによって行われる。この時点で、もし目のビットマップとの適合性が低いと判断された場合には、処理はステップＳ７１２へスキップし、未処理の画素に対して処理を継続するためにステップＳ７０１へ戻ることになる。一方、テップＳ７０４にて、パターン適合の可能性が高いと判断された場合には、ステップＳ７０５に進む。

ステップＳ７０５では、瞳の対を探索する。ステップＳ７０３のパターンマッチングにより目の大きさが推測できるので、もう一方の瞳までの距離を推測できる。従って、ステップＳ７０５ではこの距離を用いて対となる瞳が探索される。ステップＳ７０６では、推測される位置に白領域があるかを判定する。これは、虹彩外側の白目部分の探索を意味する。すなわち、両目とも赤目が発生しているとは限らず、片側の目の画像は劣化していない場合があるからである。ステップＳ７０６にて白領域があると判断されると、ステップＳ７０７においてて、当該対の位置において目のビットマップとのパターンマッチングを行う。なお、対となる目に対して行われるパターンマッチングに用いられるビットマップパターンは、瞳孔部のパターンだけではなく、白目部分を有するパターンであることが好ましい。

対の位置のパターンマッチングにおいても適合する可能性が高い（目である可能性が高い）場合には、ステップＳ７０８からステップＳ７０９に進む。ステップＳ７０９では、検出された両目の位置から唇の位置を推測する。そして、ステップＳ７１０にて、推測された唇の位置付近に赤領域が存在するか否かを判定する。なお、唇の位置付近で検索する赤味成分の所定域は、ステップＳ７０２の赤目部の検索に用いた赤味成分の所定域よりも広く設定するのが好ましい。また、唇に関しては口の形状が規定できない為、パターンマッチングは行わない。ステップＳ７１０にて、唇領域付近に赤領域が存在すると判断されると、ステップＳ７１１において、ステップＳ７０１にて探索した赤領域の注目画素が赤目である判定する。

一方、ステップＳ７０６、ステップＳ７０８、ステップＳ７１０の各判断において、不適合であると判断された場合には、当該注目画素は赤目ではないと判断されステップＳ７１２へスキップする。ステップＳ７１２では未処理の画素が残っているかどうかを判断し、未処理の画素があればステップＳ７０１に処理を戻し、赤領域の検索を継続する。こうして、画像情報に含まれる全ての画素について処理が終了すると、本処理を終了する。

なお、実施形態では、両目及び唇が写っていない場合には赤目とは判定されないが、当然、より緩和した、或いはより厳密な判定基準を用いてもよいことはいうまでもない。また、唇に限らず、他の顔器官との相対位置関係に基づき、顔の判断をすることも考えられる。

赤目補正処理６１１ｂでは、図７に示した赤目検出処理６１１ａにて検出された赤目に対して瞳孔の赤領域の色を適切な値に変換する。色の変換は、瞳孔部分の赤領域の輝度成分と彩度成分を減少し、より暗い無彩色へと近づけることによって実現できる。以上が赤目検出補正機能６１１の詳細説明である。

以上のデジタルカメラ１００とプリンタ６００とを直接接続する構成（図９）において、デジタルカメラ１００のメインＣＰＵ１０８は、圧縮／伸長処理部１１７における圧縮処理の処理条件を図８のフローチャートに示す処理により決定し、設定する。但し、デジタルカメラ１００内部には赤目検出補正機能は有していない、或いは赤目検出補正機能がオフ状態であるものとする。

ステップＳ８０１では、直接接続の接続先のプリンタ６００が赤目補正機能を有しているか否かを判定する。この判定のため、ステップＳ８０１の処理に先立って、ステップＳ８００において、デジタルカメラ１００はプリンタ６００に対して能力の問い合わせを行い、プリンタ６００から送信された能力情報をプリンタ能力情報１１０ａとしてＲＡＭ１１０に登録する。すなわち、プリンタ６００への能力問い合わせ、取得、登録（ステップＳ８００の処理）は、印刷時ではなく、最初の接続時に予め行っておく。従って、ステップＳ８００の処理は毎回行なう必要はない。

また、接続可能なプリンタを複数台所有している場合に対応可能にするために、プリンタ機種名とプリンタ能力情報を関連づけてプリンタ能力情報１１０ａとしてＲＡＭ１１０に登録する構成としてもよい。この場合、デジタルカメラ１００はプリンタ機種名をプリンタ６００から取得する必要がある。また、この場合、ステップＳ８００では、接続時に取得されたプリンタ名が未登録の場合に、当該プリンタ能力情報をプリンタ能力情報１１０ａに追加登録する。なお、能力情報にプリンタ機種名が登録されているようにしてもよい。また、デジタルカメラ１台に対してプリンタが１台接続された形態が一般的である。従って、単に接続されたプリンタから取得したプリンタ情報をＲＡＭ１１０に登録するように構成し、コストを抑えるようにしてもよい。この場合、プリンタとの接続が発生する度にプリンタ能力情報１１０ａが上書きされることになる。

直接接続が可能なプリンタ６００が赤目補正機能を有している場合（複数台のプリンタが登録されている場合には、それらの少なくとも１台が赤目補正機能を有している場合）、処理はステップＳ８０２に進む。ステップＳ８０２では、圧縮対象画像のＥｘｉｆ情報を検知する。Ｅｘｉｆ情報とは、デジタルカメラ画像のファイルフォーマット規格であり、日本電子情報技術産業協会（ＪＥＩＴＡ）によって仕様が定められている。Ｅｘｉｆ情報には撮影時の各種設定情報が格納されているが、ステップＳ８０２では対象画像のＥｘｉｆ情報からフラッシュに関するパラメータ値を検知する。Ｅｘｉｆ情報は、フラッシュの動作モードは強制発光や発光禁止等の識別結果や、フラッシュの動作結果としての発光の有無の識別結果が格納されている。

続いてステップＳ８０３では、ステップＳ８０２で検出したＥｘｉｆ情報を基に、対象画像がフラッシュ発光した画像か否かを判断する。もし、フラッシュ発光したと判断された場合には、ステップＳ８０４にてＪＰＥＧ圧縮時の量子化間隔を細かく設定する。フラッシュ発光していないと判断された場合には、ステップＳ８０５にてＪＰＥＧ圧縮時の量子化間隔を粗く設定する。このような量子間隔の設定は、図２に示した圧縮伸長部１１７の圧縮率制御部２１７に送信するQuality値の設定により実現する。

例えば、ステップＳ８０４ではQuality値を８０に設定し、ステップＳ８０５ではQuality値を２０に設定する。本実施形態では、Quality＝５０を中心にして、１（最も高圧縮率）〜９９（最も低圧縮率）まで指定ができるものとする。上述した式１、式２に基づくと、ステップＳ８０４では量子化器２０４に与える量子化ステップは、Ｑテーブル２０５の各成分の量子化ステップを０．４倍した値になる。一方、ステップＳ８０５では、Ｑテーブル２０５の各成分の量子化ステップを２．５倍した値になる。ステップＳ８０６では、ステップＳ８０４或いはステップＳ８０５で設定された量子化ステップを用いて、図２で説明した一連のＪＰＥＧ圧縮符号化処理を実行する。

以上のように、本実施形態のデジタルカメラ１００は、接続先の機器の画像処理能力、特に赤目補正機能の有無を検知して、その機器に出力する画像ファイルの画質を制御する。前述したように、画質劣化を伴う非可逆の圧縮符号化の後段に赤目検出補正処理を行なう場合には、圧縮符号化の劣化度合いが赤目検出性能に大きく依存する。本実施形態では、接続機器（例えばプリンタ６００）が赤目補正機能を有している場合（Ｓ８０１）、かつ、対象画像がフラッシュオンで撮影された場合（Ｓ８０３）には、そうでない場合（Ｓ８０５）に比べて圧縮率を下げて画質劣化を極力少なくし（Ｓ８０４）、後段の赤目検出性能を向上させる。

以上、本実施形態では、デジタルカメラ１００とプリンタ６００とを直接接続して、コンピュータが介在しない直接印刷の例について説明した。しかしながら、本発明は当然これに限定されるものではない。

例えば、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、前述した赤目検出処理は非可逆圧縮により機能が影響される処理の一例であり、これに限定されるものではない。また、赤目処理そのものもについても、上記図７で説明した処理に限定されるものではない。

また、非可逆な圧縮符号化としてＪＰＥＧを用いた例を説明したがこれに限定されるものではなく、非可逆圧縮となる全ての符号化に共通することは勿論である。また、ＪＰＥＧ２０００（ISO/IEC 15444）で規格化された圧縮符号化方式では、ＲＯＩ（関心領域）の決定により局所的に圧縮率を変化させることも可能である（特開２００２−３２５７５４号公報参照）。その場合には、赤目発生の可能性と推測される濃度領域（例えば赤、肌色等の領域）を低圧縮率に設定し、その他の領域、例えば明らかに赤目とは異なる濃度領域（例えば青、緑等の領域）に関しては高圧縮率に設定することも有効的である。

また、デジタルカメラ１００側での画像解析技術との併用も効果的である。そのような画像解析技術としては、例えば顔検出技術の導入が考えられる。例えば、上記実施形態では、接続機器に赤目補正機能を有していること、かつ、フラッシュがオンであることにより圧縮率を制御したが、顔検出技術をデジタルカメラ側で有している場合には、前記条件に加え、顔検出により顔部が画像中に存在しているという条件を加えても良い。顔検出技術に関しては公知な技術で十分である。当然、顔検出技術以外の画像解析技術の導入により、明らかにポートレートではないと評価される画像には圧縮率の変更はしないという制御も考えられる。

また、前述した実施形態では、赤目検出機能を有している機器と、圧縮符号化を実現する機器とが異なっていたが、圧縮符号化処理を実施した後に赤目補正機能を作動させる可能性がある機器であれば同一機器上であっても本発明を有効に適用できる。昨今、デジタルカメラ側ではＪＰＥＧによる圧縮符号化をしないで、Ａ／Ｄ変換後のビットマップイメージ、もしくは可逆の圧縮符号化をした画像ファイルをコンピュータ上に送り、コンピュータ上のアプリケーションソフトで使用者の好みにより色補正等を施した後にＪＰＥＧによる圧縮符号化を施す使用方法も普及している。当然、ＪＰＥＧによる圧縮符号化の工程以前に赤目補正処理が実現できれば問題ないが、逆の順序となる可能性があるのであれば本発明を有効に適用できる。

また、フラッシュ発光の有無だけではなく、フラッシュの光量を検出できるのであれば、発光した光量に依存して圧縮率を制御しても良い。その場合には、ステップＳ８０４において発光量が大きい程赤目の発生の可能性が大きくなると仮定し、低圧縮率になるように制御する。すなわち、光量が大きいほど量子化間隔を細かく設定する。なお、フラッシュの光量は、Exif情報から取得してもよいし、画像を解析して取得してもよい。画像を解析する場合は、背景の輝度と画像の中央の輝度の差からフラッシュ光量を推定できる。例えば、背景の輝度が低く、画像中央の輝度が非常に高くなっている画像はフラッシュ光量が大きい。

また、接続機器の画像処理能力検知は赤目検出補正以外にも考えられる。プリンタに搭載した、例えば顔検出、顔器官検出、画像解析等の各種検出技術が、デジタルカメラ側の圧縮符号化処理による画質劣化により影響を受けるのであれば、いかなる画像処理能力を有しているかという能力（capabilty）信号に応じて圧縮率を制御するようにしてもよい。

なお、フラッシュの使用状態に関わらず、後段の画像処理能力に応じて圧縮率を制御するようにしてもよい。

また、逆に接続先の画像処理能力の有無とは関係なく、フラッシュがオンの時には、フラッシュがオフの時に比べて常に低圧縮率になるように設定しておくことも考えられる。つまり、デジタルカメラにおいて撮影された画像情報が、カードメモリ、もしくは通信手段を介してコンピュータに送信された後に、コンピュータ内のアプリケーションソフトにおいて赤目検出補正処理を実行される可能性がある。つまり、デジタルカメラ側では、圧縮符号化された後に、いかなる画像補正、加工処理工程が実行されるのかが全く判断できない。その為には、圧縮符号化よりも後段に行われる特に部位検出を伴う処理工程において悪影響とならないように圧縮符号化時の劣化を抑えておくことが有効である。

また、本発明はフラッシュ発光の状態、もしくは、接続機器の画像処理能力により圧縮条件を制御する構成であるが、制御に用いる評価因子はこれに限らず、使用者の画質設定と連動できるのは勿論である。

以上説明したように、上記実施形態によれば、入力した画像がフラッシュ発光した画像か否かを判断して圧縮符号化条件を制御することにより、符号化の後段にて赤目補正機能を動作させる場合に、赤目部位を検出する性能を十分に発揮させることが可能になる。また接続先の画像処理装置の能力に応じて圧縮符号化条件を制御することにより接続先の画像補正、加工の性能に悪影響を及ぼさない適切な符号化を実現できる。

本発明の実施形態を示すデジタルカメラの要部ブロック図である。 図１の圧縮／伸長処理の要部ブロック図である。 図2のDPCMの構成図である。 図２のジグザグスキャンの説明図である。 図２の2次元ハフマン符号化の説明図である。 本発明の実施形態を示すプリンタの要部ブロック図である。 図６のプリンタに搭載された赤目検出手段の動作手順を示すフローチャートである。 図１の圧縮／伸長処理の圧縮条件制御の動作手順を示すフローチャートである。 実施形態によるデジタルカメラとプリンタの接続形態を示す図である。

Claims (17)

1. 撮像手段により画像を撮像した時のフラッシュの使用状態を判定する判定手段と、
   前記撮像により得られた前記画像に応じた画像情報を非可逆圧縮して符号化する符号化手段と、
   前記判定手段で判定されたフラッシュの使用状態に基づいて前記符号化手段の圧縮条件を制御する圧縮制御手段とを備えることを特徴とする画像処理装置。
2. 前記符号化手段で符号化された画像情報の送信先となる外部装置が有する画像補正機能を取得し、登録する登録手段を更に備え、
   前記圧縮制御手段は、前記登録手段で登録された画像補正機能と前記判定手段で判定されたフラッシュの使用状態に基づいて前記符号化手段の圧縮条件を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記圧縮制御手段は、前記画像補正機能として赤目補正が存在する場合に、前記フラッシュの使用状態に基づいて前記符号化手段の圧縮条件を制御することを特徴とする請求項２に記載の画像処理装置。
4. 前記圧縮制御手段による圧縮条件の制御は、フラッシュの光量が大であるほど圧縮率を小さくすることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記圧縮制御手段による圧縮条件の制御は、フラッシュがオンの場合の圧縮率をフラッシュがオフの場合の圧縮率よりも小さくすることを特徴とする請求項１または２に記載の画像処理装置。
6. 前記圧縮手段は、画像情報を直交変換処理して得られた直交変換係数を量子化処理し、
   前記圧縮条件制御手段は、前記量子化処理における量子化間隔を変更することで圧縮率を制御することを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記画像情報から撮影画像中における顔画像の有無を判定する解析手段を更に備え、
   前記圧縮制御手段は、さらに前記解析手段で顔画像が存在すると判定したか否かに基づいて前記符号化手段の圧縮条件を制御することを特徴とする請求項１に記載の画像処理装置。
8. 前記圧縮制御手段は、前記解析手段で顔画像が存在すると判定され、前記判定手段でフラッシュが発光されたと判定された場合に、該顔画像の少なくとも一部を含む領域の圧縮率を他の領域の圧縮率より小さくすることを特徴とする請求項７に記載の画像処理装置。
9. 画像情報を符号化する画像処理装置であって、
   前記画像情報を非可逆圧縮して符号化する符号化手段と、
   接続可能な外部装置の画像補正機能を登録する登録手段と、
   前記登録手段で登録された画像補正機能に基づいて、前記符号化手段の圧縮条件を制御する圧縮制御手段とを備えることを特徴とする画像処理装置。
10. 前記画像処理装置はデジタルカメラであり、前記外部装置は該デジタルカメラと直接に接続することが可能なプリンタであることを特徴とする請求項２又は９に記載の画像処理装置。
11. 前記画像補正機能は赤目補正機能であることを特徴とする請求項９記載の画像処理装置。
12. 前記圧縮制御手段において、前記登録手段で登録された画像補正機能に基づいて前記外部装置が赤目補正機能を有すると判定された場合に、前記符号化手段による圧縮率を下げることを特徴とする請求項９記載の画像処理装置。
13. 画像情報を符号化する画像処理方法であって、
    前記画像情報を非可逆圧縮して符号化する符号化工程と、
    接続可能な外部装置の画像補正機能をメモリに登録する登録工程と、
    前記登録工程で登録された画像補正機能に基づいて、前記符号化工程による圧縮条件を制御する圧縮制御工程とを備えることを特徴とする画像処理方法。
14. 前記圧縮制御工程において、前記登録工程で登録された画像補正機能に基づいて前記外部装置が赤目補正機能を有すると判定された場合に、前記符号化工程による圧縮率を下げることを特徴とする請求項１３記載の画像処理方法。
15. 撮像手段により画像を撮像した時のフラッシュの使用状態を判定する判定工程と、
    前記撮像により得られた前記画像に応じた画像情報を非可逆圧縮して符号化する符号化工程と、
    前記判定工程で判定されたフラッシュの使用状態に基づいて前記符号化工程の圧縮条件を制御する圧縮制御工程とを備えることを特徴とする画像処理方法。
16. 請求項１３乃至１５のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
17. 請求項１６に記載の制御プログラムを格納した記憶媒体。

Images