JP3927802B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3927802B2 JP3927802B2 JP2001386761A JP2001386761A JP3927802B2 JP 3927802 B2 JP3927802 B2 JP 3927802B2 JP 2001386761 A JP2001386761 A JP 2001386761A JP 2001386761 A JP2001386761 A JP 2001386761A JP 3927802 B2 JP3927802 B2 JP 3927802B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- white balance
- area
- evaluation value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びカラー画像撮像装置に関し、さらに詳しくは、顔認識をして自動ホワイトバランスの評価値を変更する画像処理装置に関するものである。
【０００２】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、デジタルカメラは、特殊な操作技術をもたない撮影者が使用する場合がほとんどであり、撮影の失敗を無くすためにシャッター速度、露出、ピント合わせを被写体に合わせて自動的に設定するようになっているものが多い。また、一般に被写体は人物である場合が多く、人物特有の設定モードを特別に備えたデジタルカメラもある。
そこで、特開平５−１１０９３６号公報には、被写体の背景をぼかすポートレートや被写体を美しく見せるために被写体の色を補正する等のような映像表現等のための新機能を、照度等の条件にかかわりなく、実現可能としたビデオカメラについて開示されている。それによると、撮像素子の出力信号を信号処理回路で処理して映像信号に変換するに際し、該信号処理回路の出力映像信号から特定の被写体部分を抽出する抽出手段と、該信号処理回路での該特定の被写体部分とその他の部分の信号処理パラメ−タを該抽出手段の抽出出力に応じて個別に制御する制御手段とを設けることにより実現している。
また、特開２００１−１１９６２２公報には、被写体が画面の中心に位置しなくても、効果的に自動焦点制御、自動露出制御、自動ホワイトバランス制御、電子ズーム制御を行なうことができるようにする技術について開示されている。これによると、結像光学系を介して得られた光学像をＣＣＤで電気画像信号に変換し、記憶する撮像装置であって、特定画像パターンを記憶する読み出し専用メモリと、前記記憶された画像信号の部分画像と、前記特定画像パターンの相関値を算出する相関値計算部と、前記相関値計算部により算出された相関値の極大値を検出するデータ読み出し制御回路と、検出された極大値に対応する部分画像に基づいて、所定の制御を行うＡＦ，ＡＥ，ＡＷＢ制御回路とを有することにより実現している。
このように、特開平５−１１０９３６号公報及び特開２００１−１１９６２２公報は、何れも特定被写体を認識して、その被写体の情報からＡＷＢやＡＥを行っているが、本発明では、特定被写体（顔）を検出したら、その部分の情報を除外してＡＷＢを行うようにしたものである。
【０００３】
【発明が解決しようとする課題】
つまり、従来の自動でホワイトバランスを制御する機能を有した画像処理装置は、画面内の物体が無彩色部分を抽出して、その部分を白（無彩色）にするように色調整の制御を行う。無彩色部分はその物体に照射されている光源の色の変化で違った色合いになってしまう。そこで無彩色部分に自然光源が照射されているときに変化する色の範囲を無彩色検出範囲としている。しかし人物撮影を行ったときに、人物の顔の色と無彩色部分に低色温度光源の光が照射されたときの色合いが非常に近いために誤認識をしてしまい、顔を白くしてしまう問題がある。
また、顔検出を行い、顔が検出された場合は顔の色合いが自然になるようにホワイトバランスを制御する方法が提案されているが、人物の顔の色は個人差があり必ずしも良好の制御ができないといった問題もある。
本発明は、かかる課題に鑑み、顔検出を行い、顔部分の色情報をホワイトバランス演算に用いないことで、顔部分が青白いなどの違和感のあるホワイトバランスを行わないようにして良好な画像処理を実現する画像処理装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１は、処理対象画面の少なくとも１以上の任意のエリアにおける色情報である自動ホワイトバランス評価値を取得する自動ホワイトバランス評価値取得手段と、前記色情報を元にホワイトバランスの演算を行う自動ホワイトバランス演算手段と、該自動ホワイトバランス演算手段の結果によりホワイトバランス制御を自動で行うホワイトバランス制御手段を有する画像処理装置において、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段と、画面の各部分の明るさを検出する輝度検出手段を更に備え、前記顔検出手段により前記顔が検出され、かつ前記顔検出手段により検出された顔部分以外のエリアの明るさが所定範囲内の場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することを特徴とする。
自動ホワイトバランス（ＡＷＢ）評価値の取得エリアは、通常は画面全体である。そして、従来の自動でホワイトバランスを制御する機能を有した画像処理装置は、画面内の物体が無彩色部分を抽出して、その部分を白（無彩色）にするように色調整の制御を行う。そのため、そのエリアに人物の顔がある場合、人物の顔の色と無彩色部分に低色温度光源の光が照射されたときの色合いが非常に近いために誤認識をしてしまい、顔を白くしてしまう問題があった。そこで、顔認識動作モードで顔検出手段により顔と認識された場合、自動ホワイトバランス評価値の取得エリアを顔部分から移動して、顔部分のホワイトバランスの演算を行なわないようにする。
かかる発明によれば、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することにより、顔部分の良好な画像処理を実現することができる。
請求項２は、処理対象画面の少なくとも１以上の任意のエリアにおける色情報である自動ホワイトバランス評価値を取得する自動ホワイトバランス評価値取得手段と、前記色情報を元にホワイトバランスの演算を行う自動ホワイトバランス演算手段と、該自動ホワイトバランス演算手段の結果によりホワイトバランス制御を自動で行うホワイトバランス制御手段を有する画像処理装置において、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段と、画面の各部分の明るさを検出する輝度検出手段を更に備え、前記顔検出手段により前記顔が検出され、かつ前記顔検出手段により検出された顔部分以外のエリアの明るさが所定範囲内の場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことを特徴とする。
顔検出を実行する場合のモードは、撮像動作に先立ち顔検出を行い、検出できた場合は、顔が含まれるエリア以外のエリアから作成されたＡＷＢ評価値を用いて、ＡＷＢ演算及び制御が行われる。顔検出により、このエリアをＡＷＢ演算対象から除外することで、違和感のあるＡＷＢ制御を行わないようにすることができる。
かかる発明によれば、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことにより、違和感のあるＡＷＢ制御を行わないようにすることができる。
【０００５】
請求項３は、前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定することも本発明の有効な手段である。
撮像装置によっては撮影モードが人物撮影モードや、それ以外の場合を選択する機能が付いているものがある。人物撮影モード以外の場合、評価値取得エリアは顔を撮影しないので、通常エリアに指定する。また、人物撮影モードの場合で、顔検出処理の動作により顔を検出しない場合も同じように、評価値取得エリアを通常エリアに指定する。かかる技術手段によれば、前記顔検出モードに設定されない場合、若しくは前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定するため、不必要な処理を省略することができる。
【０００７】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の実施形態のデジタルスカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ１と、レンズ１により集光された光束を集束する絞り部２と、図示しない複数のレンズを移動させて合焦したり、絞り部２を駆動するモータドライバ１１と、レンズ１と絞り部２を通過した光学画像を光電変換するＣＣＤ（Charge Coupled Device：電荷結合素子）３と、ＣＣＤ３に含まれる雑音を低減するＣＤＳ(Correlated Double Sampling)４と、ＣＣＤ３からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器５と、前記ＣＣＤ３、ＣＤＳ４、Ａ／Ｄ変換器５のタイミングを発生するタイミング発生器１３と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路７と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ６と、液晶（ＬＣＤ：Liquid Crystal Display）により撮像画像を表示する表示部８と、デジタル信号処理回路７で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路９と、画像圧縮伸張回路９により圧縮された画像データを格納するメモリカード１０と、制御プログラムに基づいて所定の制御を実行するＣＰＵ１４と、パラメータを格納するＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)１６と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部１７により構成される。
【０００８】
次に、図１を参照しながら、本構成のデジタルスチルカメラ１００の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部１７のレリーズボタンを押すと、ＣＰＵ１４はその信号を検出してモータドライバ１１に対してレンズ１と絞り２を駆動して、被写体の画像をＣＣＤ３に合焦させる。これらの一連の動作は、自動的にＣＰＵ１４が図示しないセンサの情報に基づいて行われる。ＣＣＤ３に合焦された画像は、タイミング発生器１３から発生されるクロックにより順次取り出され、ＣＤＳ４によりデータに含まれる雑音を低減する。ここで、ＣＣＤ３の出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をＡ／Ｄ変換器５により１０ビットのデジタル信号に変換して、デジタル信号処理回路７に入力され、フレームメモリ６に一時保管される。そして、ＥＥＰＲＯＭ１６に格納されたパラメータにより、ＣＰＵ１４からの指示によりフレームメモリ６に一時保管されたデータを処理し、その処理された画像をフレームメモリ６に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ６に書き込まれたデータを表示部８の制御部に送り、ＬＣＤにその内容を表示する。フレームメモリ６は、少なくとも撮像画素の１画面以上の画像データを蓄積することができる画像メモリであり、例えば、ＶＲＡＭ(Video Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory) 、あるいはＳＤＲＡＭ（Synchronous DRAM）などの一般に用いられているメモリを用いる。
ここで、操作者の意思により、その画像をメモリカード１０に記録しておきたい場合、カメラ操作部１７から指示をすると、ＣＰＵ１４はそれに従って、デジタル信号処理回路７に対して画像をメモリカード１０に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ６から読み出し、画像圧縮伸張回路９に送る。ここで、ＪＰＥＧ（Joint Photographic Experts Group）方式で画像を圧縮し、メモリカード１０に記憶する。この符号化アルゴリズムにはＡＤＣＴ（適応離散コサイン）を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカード１０は、フレームメモリ６に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば８ＭＢ程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード１０の内容を表示部８に表示する場合や、外部端子により他のＰＣと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部１７から指示すると、ＣＰＵ１４はデジタル信号処理回路７に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路９に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部８に画像を表示する。
【０００９】
図２は、本発明の第１の実施形態に係る動作フローチャートである。図３は顔が検出されたときに自動ホワイトバランス（以下、ＡＷＢと記す）評価値取得エリアを移動した図である。図２と図３を併せて参照しながら動作について説明する。まず、撮像装置が顔認識動作モードかどうか判断し（Ｓ１）、顔認識動作モードでない場合（ＮＯのルート）図３のＡＷＢ評価値取得エリアを通常エリア２０に指定する（Ｓ５）。ステップＳ１で顔認識動作モードの場合（ＹＥＳのルート）顔認識処理を行い（Ｓ２）、顔と認識されるか否かを判断する（Ｓ３）。顔と認識されない場合（ＮＯのルート）図３のＡＷＢ評価値取得エリアを通常エリア２０に指定する（Ｓ５）。ステップＳ３で顔と認識された場合（ＹＥＳのルート）、図３のＡＷＢ評価値取得エリアを顔２２以外のエリア２１に移動させる（Ｓ４）。そして、ＡＷＢ評価値取得エリアを設定し（Ｓ６）、そのＡＷＢ評価値を取得する（Ｓ７）。そしてＡＷＢ値を演算して（Ｓ８）、最終的なＡＷＢゲインを設定する（Ｓ９）。
以上のように、自動ホワイトバランス（ＡＷＢ）評価値の取得エリア２０は、通常は画面全体である。そして、従来の自動でホワイトバランスを制御する機能を有した画像処理装置は、画面内の物体が無彩色部分を抽出して、その部分を白（無彩色）にするように色調整の制御を行う。そのため、そのエリアに人物の顔２２がある場合、人物の顔の色と無彩色部分に低色温度光源の光が照射されたときの色合いが非常に近いために誤認識をしてしまい、顔を白くしてしまう問題があった。そこで、顔認識動作モードで顔検出手段により顔と認識された場合、ＡＷＢ評価値の取得エリア２１を顔部分から移動して、顔部分のホワイトバランスの演算を行なわないようにする。これにより、顔部分の良好な画像処理を実現することができる。また、撮像装置によっては撮影モードが人物撮影モードや、それ以外の場合を選択する機能が付いているものがある。人物撮影モード以外の場合、評価値取得エリアは顔を撮影しないので、通常エリアに指定する。
また、人物撮影モードの場合で、顔検出処理の動作により顔を検出しない場合も同じように、評価値取得エリアを通常エリアに指定するため、不必要な処理を省略することができる。
【００１０】
図４は、本発明の第２の実施形態に係る動作フローチャートである。図５は画面を分割してＡＷＢ評価値を取得している図である。図４と図５を併せて参照しながら動作について説明する。まず、撮像装置が顔認識動作モードかどうか判断し（Ｓ１１）、顔認識動作モードでない場合（ＮＯのルート）図５のＡＷＢ評価値取得エリアを通常エリア２３に指定する（Ｓ１５）。ステップＳ１１で顔認識動作モードの場合（ＹＥＳのルート）顔認識処理を行い（Ｓ１２）、顔と認識されるか否かを判断する（Ｓ１３）。顔と認識されない場合（ＮＯのルート）図５のＡＷＢ評価値取得エリアを通常エリア２３に指定する（Ｓ１５）。ステップＳ１３で顔と認識された場合（ＹＥＳのルート）、図５のＡＷＢ評価値取得エリア２３から顔２５が含まれるエリア２４を除外する（Ｓ１４）。そして、ＡＷＢ評価値指定エリアからの評価値を取得する（Ｓ１６）。そしてＡＷＢ値を演算して（Ｓ１７）、最終的なＡＷＢゲインを設定する（Ｓ１８）。
【００１１】
以上のように、顔検出を実行する場合のモードは、撮像動作に先立ち顔検出を行い、検出できた場合は、顔が含まれるエリア以外のエリアから作成されたＡＷＢ評価値を用いて、ＡＷＢ演算及び制御が行われる。顔検出により、このエリアをＡＷＢ演算対象から除外することで、違和感のあるＡＷＢ制御を行わないようにすることができる。
また、顔検出を実行する場合のモードにおいて、撮像動作に先立ち顔検出を行い、検出できた場合は、検出された顔エリアとそれ以外のエリアとの明るさの差を輝度検出手段により算出する。顔検出を行うモードでは、主要被写体である人物を適正露光状態に設定されるので、それ以外の部分が極端に明るい場合や暗い場合は、ＡＷＢ評価値エリアの移動や除外を行わない。顔以外の部分が極端に明るい場合とは逆光の場合などで、その場合主要被写体以外の部分は飽和してしまっている場合があり、そのときの色情報は正確な色の検出がされている保証がない。また、顔以外の部分が極端に暗い場合とは、人物のみがスポットライトで照らされている場合などで、この場合の主要被写体以外の部分の信号は値が小さいため、ノイズなどの影響を受けやすく、正確な色情報の抽出ができない可能性がある。そのため顔認識結果に基づいたＡＷＢ評価値取得エリアの移動や除外の処理をしてしまうと、かえって良好なＡＷＢ制御ができない可能性がある。これにより、ＡＷＢの誤動作を防止することができる。
また、以上の画像処理機能は、画像を扱う全ての装置に対して応用が可能である。特に、デジタルカメラにこの画像処理技術を応用することは最適である。そのときは、更に光学系を介して得られた光信号をカラー画像信号に変換して出力するカラー画像撮像手段を備えることにより実現される。これにより、顔部分が青白いなどの違和感のあるホワイトバランスが行わないようにして、良好な画像処理を実現したデジタルカメラを提供することができる。
【００１２】
【発明の効果】
以上記載のごとく本発明によれば、請求項１は、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することにより、顔部分の良好な画像処理を実現することができる。
また請求項２は、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことにより、違和感のあるＡＷＢ制御を行わないようにすることができる。
また請求項３は、前記顔検出モードに設定されない場合、若しくは前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定するため、不必要な処理を省略することができる。
【図面の簡単な説明】
【図１】本発明の実施形態のデジタルスカメラのブロック図である。
【図２】本発明の第１の実施形態に係る動作フローチャートである。
【図３】本発明の顔が検出されたときに自動ホワイトバランス評価値取得エリアを移動した図である。
【図４】本発明の第２の実施形態に係る動作フローチャートである。
【図５】本発明の画面を分割してＡＷＢ評価値を取得している図である。
【符号の説明】
１ レンズ、２ 絞り部、３ ＣＣＤ、４ ＣＤＳ、５ Ａ／Ｄ変換器、６ フレームメモリ、７ デジタル信号処理回路、８ 表示部、９ 画像圧縮伸張回路、１４ ＣＰＵ
【発明の属する技術分野】
本発明は、画像処理装置及びカラー画像撮像装置に関し、さらに詳しくは、顔認識をして自動ホワイトバランスの評価値を変更する画像処理装置に関するものである。
【０００２】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、デジタルカメラは、特殊な操作技術をもたない撮影者が使用する場合がほとんどであり、撮影の失敗を無くすためにシャッター速度、露出、ピント合わせを被写体に合わせて自動的に設定するようになっているものが多い。また、一般に被写体は人物である場合が多く、人物特有の設定モードを特別に備えたデジタルカメラもある。
そこで、特開平５−１１０９３６号公報には、被写体の背景をぼかすポートレートや被写体を美しく見せるために被写体の色を補正する等のような映像表現等のための新機能を、照度等の条件にかかわりなく、実現可能としたビデオカメラについて開示されている。それによると、撮像素子の出力信号を信号処理回路で処理して映像信号に変換するに際し、該信号処理回路の出力映像信号から特定の被写体部分を抽出する抽出手段と、該信号処理回路での該特定の被写体部分とその他の部分の信号処理パラメ−タを該抽出手段の抽出出力に応じて個別に制御する制御手段とを設けることにより実現している。
また、特開２００１−１１９６２２公報には、被写体が画面の中心に位置しなくても、効果的に自動焦点制御、自動露出制御、自動ホワイトバランス制御、電子ズーム制御を行なうことができるようにする技術について開示されている。これによると、結像光学系を介して得られた光学像をＣＣＤで電気画像信号に変換し、記憶する撮像装置であって、特定画像パターンを記憶する読み出し専用メモリと、前記記憶された画像信号の部分画像と、前記特定画像パターンの相関値を算出する相関値計算部と、前記相関値計算部により算出された相関値の極大値を検出するデータ読み出し制御回路と、検出された極大値に対応する部分画像に基づいて、所定の制御を行うＡＦ，ＡＥ，ＡＷＢ制御回路とを有することにより実現している。
このように、特開平５−１１０９３６号公報及び特開２００１−１１９６２２公報は、何れも特定被写体を認識して、その被写体の情報からＡＷＢやＡＥを行っているが、本発明では、特定被写体（顔）を検出したら、その部分の情報を除外してＡＷＢを行うようにしたものである。
【０００３】
【発明が解決しようとする課題】
つまり、従来の自動でホワイトバランスを制御する機能を有した画像処理装置は、画面内の物体が無彩色部分を抽出して、その部分を白（無彩色）にするように色調整の制御を行う。無彩色部分はその物体に照射されている光源の色の変化で違った色合いになってしまう。そこで無彩色部分に自然光源が照射されているときに変化する色の範囲を無彩色検出範囲としている。しかし人物撮影を行ったときに、人物の顔の色と無彩色部分に低色温度光源の光が照射されたときの色合いが非常に近いために誤認識をしてしまい、顔を白くしてしまう問題がある。
また、顔検出を行い、顔が検出された場合は顔の色合いが自然になるようにホワイトバランスを制御する方法が提案されているが、人物の顔の色は個人差があり必ずしも良好の制御ができないといった問題もある。
本発明は、かかる課題に鑑み、顔検出を行い、顔部分の色情報をホワイトバランス演算に用いないことで、顔部分が青白いなどの違和感のあるホワイトバランスを行わないようにして良好な画像処理を実現する画像処理装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１は、処理対象画面の少なくとも１以上の任意のエリアにおける色情報である自動ホワイトバランス評価値を取得する自動ホワイトバランス評価値取得手段と、前記色情報を元にホワイトバランスの演算を行う自動ホワイトバランス演算手段と、該自動ホワイトバランス演算手段の結果によりホワイトバランス制御を自動で行うホワイトバランス制御手段を有する画像処理装置において、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段と、画面の各部分の明るさを検出する輝度検出手段を更に備え、前記顔検出手段により前記顔が検出され、かつ前記顔検出手段により検出された顔部分以外のエリアの明るさが所定範囲内の場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することを特徴とする。
自動ホワイトバランス（ＡＷＢ）評価値の取得エリアは、通常は画面全体である。そして、従来の自動でホワイトバランスを制御する機能を有した画像処理装置は、画面内の物体が無彩色部分を抽出して、その部分を白（無彩色）にするように色調整の制御を行う。そのため、そのエリアに人物の顔がある場合、人物の顔の色と無彩色部分に低色温度光源の光が照射されたときの色合いが非常に近いために誤認識をしてしまい、顔を白くしてしまう問題があった。そこで、顔認識動作モードで顔検出手段により顔と認識された場合、自動ホワイトバランス評価値の取得エリアを顔部分から移動して、顔部分のホワイトバランスの演算を行なわないようにする。
かかる発明によれば、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することにより、顔部分の良好な画像処理を実現することができる。
請求項２は、処理対象画面の少なくとも１以上の任意のエリアにおける色情報である自動ホワイトバランス評価値を取得する自動ホワイトバランス評価値取得手段と、前記色情報を元にホワイトバランスの演算を行う自動ホワイトバランス演算手段と、該自動ホワイトバランス演算手段の結果によりホワイトバランス制御を自動で行うホワイトバランス制御手段を有する画像処理装置において、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段と、画面の各部分の明るさを検出する輝度検出手段を更に備え、前記顔検出手段により前記顔が検出され、かつ前記顔検出手段により検出された顔部分以外のエリアの明るさが所定範囲内の場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことを特徴とする。
顔検出を実行する場合のモードは、撮像動作に先立ち顔検出を行い、検出できた場合は、顔が含まれるエリア以外のエリアから作成されたＡＷＢ評価値を用いて、ＡＷＢ演算及び制御が行われる。顔検出により、このエリアをＡＷＢ演算対象から除外することで、違和感のあるＡＷＢ制御を行わないようにすることができる。
かかる発明によれば、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことにより、違和感のあるＡＷＢ制御を行わないようにすることができる。
【０００５】
請求項３は、前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定することも本発明の有効な手段である。
撮像装置によっては撮影モードが人物撮影モードや、それ以外の場合を選択する機能が付いているものがある。人物撮影モード以外の場合、評価値取得エリアは顔を撮影しないので、通常エリアに指定する。また、人物撮影モードの場合で、顔検出処理の動作により顔を検出しない場合も同じように、評価値取得エリアを通常エリアに指定する。かかる技術手段によれば、前記顔検出モードに設定されない場合、若しくは前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定するため、不必要な処理を省略することができる。
【０００７】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の実施形態のデジタルスカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ１と、レンズ１により集光された光束を集束する絞り部２と、図示しない複数のレンズを移動させて合焦したり、絞り部２を駆動するモータドライバ１１と、レンズ１と絞り部２を通過した光学画像を光電変換するＣＣＤ（Charge Coupled Device：電荷結合素子）３と、ＣＣＤ３に含まれる雑音を低減するＣＤＳ(Correlated Double Sampling)４と、ＣＣＤ３からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器５と、前記ＣＣＤ３、ＣＤＳ４、Ａ／Ｄ変換器５のタイミングを発生するタイミング発生器１３と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路７と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ６と、液晶（ＬＣＤ：Liquid Crystal Display）により撮像画像を表示する表示部８と、デジタル信号処理回路７で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路９と、画像圧縮伸張回路９により圧縮された画像データを格納するメモリカード１０と、制御プログラムに基づいて所定の制御を実行するＣＰＵ１４と、パラメータを格納するＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)１６と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部１７により構成される。
【０００８】
次に、図１を参照しながら、本構成のデジタルスチルカメラ１００の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部１７のレリーズボタンを押すと、ＣＰＵ１４はその信号を検出してモータドライバ１１に対してレンズ１と絞り２を駆動して、被写体の画像をＣＣＤ３に合焦させる。これらの一連の動作は、自動的にＣＰＵ１４が図示しないセンサの情報に基づいて行われる。ＣＣＤ３に合焦された画像は、タイミング発生器１３から発生されるクロックにより順次取り出され、ＣＤＳ４によりデータに含まれる雑音を低減する。ここで、ＣＣＤ３の出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をＡ／Ｄ変換器５により１０ビットのデジタル信号に変換して、デジタル信号処理回路７に入力され、フレームメモリ６に一時保管される。そして、ＥＥＰＲＯＭ１６に格納されたパラメータにより、ＣＰＵ１４からの指示によりフレームメモリ６に一時保管されたデータを処理し、その処理された画像をフレームメモリ６に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ６に書き込まれたデータを表示部８の制御部に送り、ＬＣＤにその内容を表示する。フレームメモリ６は、少なくとも撮像画素の１画面以上の画像データを蓄積することができる画像メモリであり、例えば、ＶＲＡＭ(Video Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory) 、あるいはＳＤＲＡＭ（Synchronous DRAM）などの一般に用いられているメモリを用いる。
ここで、操作者の意思により、その画像をメモリカード１０に記録しておきたい場合、カメラ操作部１７から指示をすると、ＣＰＵ１４はそれに従って、デジタル信号処理回路７に対して画像をメモリカード１０に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ６から読み出し、画像圧縮伸張回路９に送る。ここで、ＪＰＥＧ（Joint Photographic Experts Group）方式で画像を圧縮し、メモリカード１０に記憶する。この符号化アルゴリズムにはＡＤＣＴ（適応離散コサイン）を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカード１０は、フレームメモリ６に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば８ＭＢ程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード１０の内容を表示部８に表示する場合や、外部端子により他のＰＣと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部１７から指示すると、ＣＰＵ１４はデジタル信号処理回路７に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路９に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部８に画像を表示する。
【０００９】
図２は、本発明の第１の実施形態に係る動作フローチャートである。図３は顔が検出されたときに自動ホワイトバランス（以下、ＡＷＢと記す）評価値取得エリアを移動した図である。図２と図３を併せて参照しながら動作について説明する。まず、撮像装置が顔認識動作モードかどうか判断し（Ｓ１）、顔認識動作モードでない場合（ＮＯのルート）図３のＡＷＢ評価値取得エリアを通常エリア２０に指定する（Ｓ５）。ステップＳ１で顔認識動作モードの場合（ＹＥＳのルート）顔認識処理を行い（Ｓ２）、顔と認識されるか否かを判断する（Ｓ３）。顔と認識されない場合（ＮＯのルート）図３のＡＷＢ評価値取得エリアを通常エリア２０に指定する（Ｓ５）。ステップＳ３で顔と認識された場合（ＹＥＳのルート）、図３のＡＷＢ評価値取得エリアを顔２２以外のエリア２１に移動させる（Ｓ４）。そして、ＡＷＢ評価値取得エリアを設定し（Ｓ６）、そのＡＷＢ評価値を取得する（Ｓ７）。そしてＡＷＢ値を演算して（Ｓ８）、最終的なＡＷＢゲインを設定する（Ｓ９）。
以上のように、自動ホワイトバランス（ＡＷＢ）評価値の取得エリア２０は、通常は画面全体である。そして、従来の自動でホワイトバランスを制御する機能を有した画像処理装置は、画面内の物体が無彩色部分を抽出して、その部分を白（無彩色）にするように色調整の制御を行う。そのため、そのエリアに人物の顔２２がある場合、人物の顔の色と無彩色部分に低色温度光源の光が照射されたときの色合いが非常に近いために誤認識をしてしまい、顔を白くしてしまう問題があった。そこで、顔認識動作モードで顔検出手段により顔と認識された場合、ＡＷＢ評価値の取得エリア２１を顔部分から移動して、顔部分のホワイトバランスの演算を行なわないようにする。これにより、顔部分の良好な画像処理を実現することができる。また、撮像装置によっては撮影モードが人物撮影モードや、それ以外の場合を選択する機能が付いているものがある。人物撮影モード以外の場合、評価値取得エリアは顔を撮影しないので、通常エリアに指定する。
また、人物撮影モードの場合で、顔検出処理の動作により顔を検出しない場合も同じように、評価値取得エリアを通常エリアに指定するため、不必要な処理を省略することができる。
【００１０】
図４は、本発明の第２の実施形態に係る動作フローチャートである。図５は画面を分割してＡＷＢ評価値を取得している図である。図４と図５を併せて参照しながら動作について説明する。まず、撮像装置が顔認識動作モードかどうか判断し（Ｓ１１）、顔認識動作モードでない場合（ＮＯのルート）図５のＡＷＢ評価値取得エリアを通常エリア２３に指定する（Ｓ１５）。ステップＳ１１で顔認識動作モードの場合（ＹＥＳのルート）顔認識処理を行い（Ｓ１２）、顔と認識されるか否かを判断する（Ｓ１３）。顔と認識されない場合（ＮＯのルート）図５のＡＷＢ評価値取得エリアを通常エリア２３に指定する（Ｓ１５）。ステップＳ１３で顔と認識された場合（ＹＥＳのルート）、図５のＡＷＢ評価値取得エリア２３から顔２５が含まれるエリア２４を除外する（Ｓ１４）。そして、ＡＷＢ評価値指定エリアからの評価値を取得する（Ｓ１６）。そしてＡＷＢ値を演算して（Ｓ１７）、最終的なＡＷＢゲインを設定する（Ｓ１８）。
【００１１】
以上のように、顔検出を実行する場合のモードは、撮像動作に先立ち顔検出を行い、検出できた場合は、顔が含まれるエリア以外のエリアから作成されたＡＷＢ評価値を用いて、ＡＷＢ演算及び制御が行われる。顔検出により、このエリアをＡＷＢ演算対象から除外することで、違和感のあるＡＷＢ制御を行わないようにすることができる。
また、顔検出を実行する場合のモードにおいて、撮像動作に先立ち顔検出を行い、検出できた場合は、検出された顔エリアとそれ以外のエリアとの明るさの差を輝度検出手段により算出する。顔検出を行うモードでは、主要被写体である人物を適正露光状態に設定されるので、それ以外の部分が極端に明るい場合や暗い場合は、ＡＷＢ評価値エリアの移動や除外を行わない。顔以外の部分が極端に明るい場合とは逆光の場合などで、その場合主要被写体以外の部分は飽和してしまっている場合があり、そのときの色情報は正確な色の検出がされている保証がない。また、顔以外の部分が極端に暗い場合とは、人物のみがスポットライトで照らされている場合などで、この場合の主要被写体以外の部分の信号は値が小さいため、ノイズなどの影響を受けやすく、正確な色情報の抽出ができない可能性がある。そのため顔認識結果に基づいたＡＷＢ評価値取得エリアの移動や除外の処理をしてしまうと、かえって良好なＡＷＢ制御ができない可能性がある。これにより、ＡＷＢの誤動作を防止することができる。
また、以上の画像処理機能は、画像を扱う全ての装置に対して応用が可能である。特に、デジタルカメラにこの画像処理技術を応用することは最適である。そのときは、更に光学系を介して得られた光信号をカラー画像信号に変換して出力するカラー画像撮像手段を備えることにより実現される。これにより、顔部分が青白いなどの違和感のあるホワイトバランスが行わないようにして、良好な画像処理を実現したデジタルカメラを提供することができる。
【００１２】
【発明の効果】
以上記載のごとく本発明によれば、請求項１は、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することにより、顔部分の良好な画像処理を実現することができる。
また請求項２は、処理対象となる画像内に人物の顔が存在することを検出する顔検出手段を更に備え、前記顔検出モードに設定され前記顔検出手段により前記顔が検出された場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことにより、違和感のあるＡＷＢ制御を行わないようにすることができる。
また請求項３は、前記顔検出モードに設定されない場合、若しくは前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定するため、不必要な処理を省略することができる。
【図面の簡単な説明】
【図１】本発明の実施形態のデジタルスカメラのブロック図である。
【図２】本発明の第１の実施形態に係る動作フローチャートである。
【図３】本発明の顔が検出されたときに自動ホワイトバランス評価値取得エリアを移動した図である。
【図４】本発明の第２の実施形態に係る動作フローチャートである。
【図５】本発明の画面を分割してＡＷＢ評価値を取得している図である。
【符号の説明】
１ レンズ、２ 絞り部、３ ＣＣＤ、４ ＣＤＳ、５ Ａ／Ｄ変換器、６ フレームメモリ、７ デジタル信号処理回路、８ 表示部、９ 画像圧縮伸張回路、１４ ＣＰＵ
Claims (3)
- 処理対象画面の少なくとも１以上の任意のエリアにおける色情報である自動ホワイトバランス評価値を取得する自動ホワイトバランス評価値取得手段と、前記色情報を元にホワイトバランスの演算を行う自動ホワイトバランス演算手段と、該自動ホワイトバランス演算手段の結果によりホワイトバランス制御を自動で行うホワイトバランス制御手段を有する画像処理装置において、
処理対象となる画像内に人物の顔が存在することを検出する顔検出手段と、
画面の各部分の明るさを検出する輝度検出手段を更に備え、
前記顔検出手段により前記顔が検出され、かつ前記顔検出手段により検出された顔部分以外のエリアの明るさが所定範囲内の場合は、前記自動ホワイトバランス評価値を取得するエリアを前記顔以外のエリアに変更することを特徴とする画像処理装置。 - 処理対象画面の少なくとも１以上の任意のエリアにおける色情報である自動ホワイトバランス評価値を取得する自動ホワイトバランス評価値取得手段と、前記色情報を元にホワイトバランスの演算を行う自動ホワイトバランス演算手段と、該自動ホワイトバランス演算手段の結果によりホワイトバランス制御を自動で行うホワイトバランス制御手段を有する画像処理装置において、
処理対象となる画像内に人物の顔が存在することを検出する顔検出手段と、
画面の各部分の明るさを検出する輝度検出手段を更に備え、
前記顔検出手段により前記顔が検出され、かつ前記顔検出手段により検出された顔部分以外のエリアの明るさが所定範囲内の場合は、前記顔が検出されたエリアから取得された前記自動ホワイトバランス評価値を前記自動ホワイトバランス演算に使用しないことを特徴とする画像処理装置。 - 前記顔検出手段により前記顔が検出されない場合は、前記自動ホワイトバランス評価値を取得するエリアを通常エリアに設定することを特徴とする請求項１又は２に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001386761A JP3927802B2 (ja) | 2001-12-19 | 2001-12-19 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001386761A JP3927802B2 (ja) | 2001-12-19 | 2001-12-19 | 画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007018304A Division JP4074883B2 (ja) | 2007-01-29 | 2007-01-29 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189325A JP2003189325A (ja) | 2003-07-04 |
| JP3927802B2 true JP3927802B2 (ja) | 2007-06-13 |
Family
ID=27595819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001386761A Expired - Fee Related JP3927802B2 (ja) | 2001-12-19 | 2001-12-19 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3927802B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7598997B2 (en) | 2004-01-14 | 2009-10-06 | Ricoh Company, Ltd. | Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method |
| US20060182433A1 (en) | 2005-02-15 | 2006-08-17 | Nikon Corporation | Electronic camera |
| JP4217698B2 (ja) | 2005-06-20 | 2009-02-04 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| EP1906674A4 (en) | 2005-07-13 | 2011-06-22 | Nec Corp | METHOD AND DEVICE FOR COLOR CORRECTION |
| JP4639271B2 (ja) | 2005-12-27 | 2011-02-23 | 三星電子株式会社 | カメラ |
| JP4254841B2 (ja) | 2006-10-20 | 2009-04-15 | ソニー株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム |
| JP5021338B2 (ja) * | 2007-03-02 | 2012-09-05 | 富士フイルム株式会社 | ホワイトバランス補正装置および方法 |
| JP4702635B2 (ja) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 |
| JP5064947B2 (ja) * | 2007-09-11 | 2012-10-31 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| JP5113514B2 (ja) | 2007-12-27 | 2013-01-09 | キヤノン株式会社 | ホワイトバランス制御装置およびホワイトバランス制御方法 |
| JP5166860B2 (ja) * | 2007-12-28 | 2013-03-21 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| JP5398156B2 (ja) | 2008-03-04 | 2014-01-29 | キヤノン株式会社 | ホワイトバランス制御装置およびその制御方法並びに撮像装置 |
| JP4726251B2 (ja) * | 2008-09-18 | 2011-07-20 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP5367140B2 (ja) * | 2012-09-28 | 2013-12-11 | キヤノン株式会社 | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
-
2001
- 2001-12-19 JP JP2001386761A patent/JP3927802B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003189325A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4008778B2 (ja) | 撮像装置 | |
| US8111315B2 (en) | Imaging device and imaging control method that detects and displays composition information | |
| JP4914045B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2001251551A (ja) | 電子カメラ | |
| JP3927802B2 (ja) | 画像処理装置 | |
| JP2005318554A (ja) | 撮影装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2008078712A (ja) | 撮影装置および方法並びにプログラム | |
| JP4421151B2 (ja) | デジタルカメラ撮像装置 | |
| US7428012B2 (en) | Image processing method including generating face region information and a digital camera including face region identification unit | |
| TWI309328B (ja) | ||
| JP4818999B2 (ja) | 撮影装置および方法並びにプログラム | |
| JP2007188126A (ja) | 画像明るさ算出装置および方法並びにプログラム | |
| JP4468598B2 (ja) | 画像処理装置及び画像処理プログラムを記録した記録媒体 | |
| JP5048599B2 (ja) | 撮像装置 | |
| JP4178017B2 (ja) | 画像処理方法及びデジタルカメラ | |
| JP6033006B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
| JP5569361B2 (ja) | 撮像装置およびホワイトバランス制御方法 | |
| JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
| JP4844073B2 (ja) | 撮像装置 | |
| JP4680022B2 (ja) | 撮影装置 | |
| JP4074883B2 (ja) | 画像処理装置 | |
| JP5200820B2 (ja) | 撮像装置及び撮像方法、画像処理プログラム | |
| JP5289354B2 (ja) | 撮像装置 | |
| JP5393189B2 (ja) | 撮像装置及び画像処理方法 | |
| JP2004080167A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041104 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070305 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |