JP4200428B2 - 顔領域抽出方法及び装置 - Google Patents
顔領域抽出方法及び装置 Download PDFInfo
- Publication number
- JP4200428B2 JP4200428B2 JP2002356794A JP2002356794A JP4200428B2 JP 4200428 B2 JP4200428 B2 JP 4200428B2 JP 2002356794 A JP2002356794 A JP 2002356794A JP 2002356794 A JP2002356794 A JP 2002356794A JP 4200428 B2 JP4200428 B2 JP 4200428B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- skin color
- accuracy
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は顔領域抽出方法及び装置に係り、特にデジタルカメラ等により取得したカラー画像中に存在する人物の顔に相当する領域を抽出するための方法及び装置に関する。
【0002】
【従来の技術】
人物写真を鑑賞するときに最も注目される部位は人物の顔である。人物の顔が適正な明るさ及び色で再現されるように、画像内の人物の顔に相当する領域を自動的に検出する技術が提案されている(特許文献1)。特許文献1に開示された方法によれば、撮影時の照明条件に応じて顔面色分布モデルを選択し、顔面抽出を行っている。
【0003】
【特許文献1】
特開2001−167273
【0004】
【発明が解決しようとする課題】
しかしながら、特許文献1は照明条件の判定に関して、カメラの撮影条件(ストロボON/OFF,ホワイトバランス,ホワイロバランスモード,絞り、シャッタースピード,AGC,AE,ガンマ,ペデスタルレベル)を利用すると述べるに留まり、実際に何が問題でどのように顔面色分布モデルを設定するかについて開示していない。
【0005】
一般的なデジタルカメラに搭載されているオートホワイトバランス(AWB)機能は、撮像した画像データから光源種を自動判別するが、照明条件を正確に自動で把握することは困難であり、ある程度照明条件判定の誤差を許容する必要がある。撮影光源の検出ばらつきを考慮すると、広い範囲の肌色色相で顔抽出する必要がある。これは、AWB結果後のデータにおいても言える。
【0006】
すなわち、AWBの処理においては、光源種を正しく判定することは不可能であるから、推定された光源に対してある程度ホワイトバランスの補正量を弱めている。この結果として、光源色が完全には補正されずに残る。つまり、白が白にならず、結果として照明光源により肌色がばらつく。したがって、広い範囲の肌色色相で顔抽出すると、顔以外の物体も誤検出する頻度が増えてしまう問題がある。
【0007】
本発明はこのような事情に鑑みてなされたもので、照明光源の検出ばらつきを考慮して、様々な撮影状況下において精度よく顔領域を抽出することができる顔領域抽出方法及び装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
前記目的を達成するために本発明に係る顔領域抽出方法は、画像内から人物の顔に相当する領域を抽出する方法であって、画像データに基づいて撮影時の光源を判定する光源判定工程と、1画面を複数のエリアに分割し、分割エリアごとに画像データを積算して得た積算値に基づいて重み付け加算を行うことにより被写体輝度を検出する被写体輝度検出工程と、予め光源種ごとに被写体輝度のしきい値が設定され、光源種ごとに被写体輝度の情報から前記しきい値に応じてその光源の確度がランク分けされており、前記被写体輝度検出工程により検出した被写体輝度と前記光源判定工程で判定した光源に対応して定められている前記しきい値との比較から前記光源判定工程による光源判定の確度のランクを求める確度決定工程と、予め肌色検出に必要な肌色の色相範囲を定める肌色条件が光源種と光源判別の確度のランクとに対応して複数用意され、前記光源判定工程から得られた光源情報及び前記確度決定工程から得られた確度のランクを示す情報に応じて前記複数の肌色条件の中から該当する肌色条件を設定する肌色条件設定工程と、前記肌色条件設定工程で設定された肌色条件に従って画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、を含むことを特徴とする。
【0009】
本発明によれば、画像データを解析し、その色情報などから当該画像の撮影光源を推定する。撮影光源を完璧に自動判別することは困難であるため、推定した光源の確からしさ(確度)を考慮して、光源判定の誤差を許容するように肌色条件を可変設定している。肌色条件は、肌色として検出されるべき色相の条件を規定したものであり、光源に応じてこの肌色条件が最適化される。これにより、全ての光源に共通の肌色条件を適用する従来の方法と比較して肌色の誤検出を軽減でき、精度のよい顔抽出が可能となる。
【0010】
肌色条件をある表色座標系の領域(エリアや体積)で表したとすると、推定された撮影光源とその確度によって肌色条件領域の大きさや中心位置又は形状などが変更される。光源判定の確度が高ければ、肌色条件領域を比較的小さく設定することができるので、肌色の検出精度が向上する。
【0011】
本発明の一態様に係る顔領域抽出方法は、被写体輝度を検出する被写体輝度検出工程を含み、前記確度決定工程は、前記被写体輝度検出工程で検出した被写体輝度に応じて前記光源判定の確度を決定することを特徴とする。
【0012】
電球(タングステン)や蛍光灯などの人工光源の特性、或いは屋外日陰、晴天などの自然光源の特性から、それぞれの光源下で得られる被写体輝度(明るさ)を想定できるため、実際の被写体輝度によって光源判定の確度を定めることができる。
【0013】
本発明の他の態様によれば、前記肌色領域検出工程は、前記肌色条件に基づいて検出される肌色部分を更に彩度によって分割する彩度分割工程を含むことを特徴とする。
【0014】
また、前記彩度分割工程で分割された彩度別の肌色領域の形状に基づいて顔領域を決定する顔領域決定工程を含む態様がある。
【0015】
画像内で肌色の色相を有する領域(肌色領域)を更に彩度によって細かく領域分けして、その形状や大きさを認識することにより、顔領域の判定が容易になる。
【0016】
彩度分割された肌色領域(顔領域の候補)の中から真の顔領域を特定するには、その領域の形状に基づいて顔領域を絞り込むことが好ましい。例えば、人物の顔はおよそ円形或いは楕円形に近いものと考えられ、顔領域か否かを判別するための縦横比を定めておくことができる。顔領域の各候補について規定の縦横比から極端に外れるもの(極端に細長いものなど)は、顔でないものとして排除され、規定の縦横比に近いものについて顔であると判断される。
【0017】
上記方法発明を具現化する装置を提供するため、本発明に係る顔領域抽出装置は、画像内から人物の顔に相当する領域を抽出する装置であって、画像データに基づいて撮影時の光源を判定する光源判定手段と、1画面を複数のエリアに分割し、分割エリアごとに画像データを積算して得た積算値に基づいて重み付け加算を行うことにより被写体輝度を検出する被写体輝度検出手段と、予め光源種ごとに被写体輝度のしきい値が設定され、光源種ごとに被写体輝度の情報から前記しきい値に応じてその光源の確度がランク分けされており、前記被写体輝度検出手段により検出した被写体輝度と前記光源判定手段で判定した光源に対応して定められている前記しきい値との比較から前記光源判定手段による光源判定の確度のランクを求める確度決定手段と、予め肌色検出に必要な肌色の色相範囲を定める肌色条件が光源種と光源判別の確度のランクとに対応して複数用意され、前記光源判定手段から得られた光源情報及び前記確度決定手段から得られた確度のランクを示す情報に応じて前記複数の肌色条件の中から該当する肌色条件を設定する肌色条件設定手段と、前記肌色条件設定手段で設定された肌色条件に従って画像内から肌色の色相を有する領域を検出する肌色領域検出手段と、を含むことを特徴とする。
【0018】
本発明の顔領域抽出装置は、デジタルカメラやビデオカメラなどの電子撮影装置(電子カメラ)の信号処理部に組み込むことが可能であるとともに、電子カメラで記録した画像データを再生表示又はプリント出力する画像処理装置などに組み込むことが可能である。
【0019】
また、本発明の顔領域抽出装置は、コンピュータによって実現することが可能であり、上述した顔領域抽出方法の各工程をコンピュータによって実現させるためのプログラムをCD−ROMや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供することも可能である。
【0020】
【発明の実施の形態】
以下添付図面に従って本発明に係る顔領域抽出方法及び装置の好ましい実施の形態について詳説する。
【0021】
図1は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ10は、被写体の光学像をデジタル画像データに変換して記録メディア12に記録するデジタルカメラであり、撮影により得られた画像信号を処理する信号処理手段の一部に本発明の顔領域抽出装置が用いられている。
【0022】
カメラ10全体の動作は、カメラ内蔵の中央処理装置(CPU)14によって統括制御される。 CPU14は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、及びオートホワイトバランス(AWB)制御、顔領域抽出演算など各種演算を実施する演算手段として機能する。
【0023】
CPU14はバス16を介してROM20及びメモリ(RAM)22と接続されている。ROM20にはCPU14が実行するプログラム及び制御に必要な各種データ等が格納されている。メモリ22はプログラムの展開領域及びCPU14の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【0024】
また、CPU14にはEEPROM24が接続されている。EEPROM24は、顔領域抽出処理に必要な肌色判定用テーブル(肌色テーブル)、AE、AF及びAWB等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などを記憶している不揮発性の記憶手段であり、電源OFF時においても記憶内容が保持される。CPU14は必要に応じてEEPROM24のデータを参照して演算等を行う。なお、ROM20は書換不能なものであってもよいし、EEPROMのように書換可能なものでもよい。
【0025】
カメラ10にはユーザが各種の指令を入力するための操作部30が設けられている。操作部30は、マクロボタン31、シャッターボタン32、ズームスイッチ33など各種操作部を含む。
【0026】
マクロボタン31は、近距離撮影に適したマクロモードの設定(ON)/解除(OFF)を行う操作手段である。マクロモードは、被写界深度を比較的浅くして背景を美しくぼかしたクローズアップ写真を撮影できる。マクロボタン31の押下によってカメラ10がマクロモードに設定されると、近距離撮影に適したフォーカス制御が行われ、被写体距離が約20cm〜80cmの範囲で撮影が可能となる。
【0027】
シャッターボタン32は、撮影開始の指示を入力する操作手段であり、半押し時にONするS1 スイッチと、全押し時にONするS2 スイッチとを有する二段ストローク式のスイッチで構成されている。S1 オンにより、AE及びAF処理が行われ、S2 オンによって記録用の露光が行われる。ズームスイッチ33は、撮影倍率や再生倍率を変更するための操作手段である。
【0028】
また、図示しないが、操作部30には、撮影モードと再生モードとを切り換えるためのモード選択手段、撮影目的に応じて最適な動作モード(連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど)を設定する撮影モード設定手段、液晶モニタ40にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン(カーソル移動操作手段)、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。なお、操作部30の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【0029】
操作部30からの信号はCPU14に入力される。CPU14は操作部30からの入力信号に基づいてカメラ10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ40の表示制御などを行う。
【0030】
液晶モニタ40は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ40は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、液晶ディスプレイに代えて、有機ELなど他の方式の表示装置(表示手段)を用いることも可能である。
【0031】
次に、カメラ10の撮影機能について説明する。
【0032】
カメラ10は撮影光学系としての撮影レンズ42とCCD固体撮像素子(以下、CCDという。)44とを備えている。なお、CCD44に代えて、MOS型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ42は、電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更(焦点距離可変)作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【0033】
撮影者によってズームスイッチ33が操作されると、そのスイッチ操作に応じてCPU14からズーム駆動部46に対して制御信号が出力される。ズーム駆動部46は、動力源となるモータ(ズームモータ)とその駆動回路とを含む電動駆動手段である。ズーム駆動部46のモータ駆動回路は、CPU14からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータに与える。こうして、モータ駆動回路から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ42内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ42の焦点距離(光学ズーム倍率)が変更される。
【0034】
本例では、ワイド(広角)端からテレ(望遠)端までのズーム動作範囲内において撮影レンズ42の焦点距離を10段階で可変できるものとする。撮影者は撮影目的に応じて所望の焦点距離を選択して撮影を行うことができる。
【0035】
撮影レンズ42のズーム位置(焦点距離に相当)は、ズーム位置検出センサ48によって検出され、その検出信号はCPU14に通知される。CPU14はズーム位置検出センサ48からの信号によって現在のズーム位置(すなわち、焦点距離)を把握できる。ズーム位置検出センサ48は、ズームモータ等の回転によりパルスを発生する回路であってもよいし、レンズ鏡胴の外周に位置検出エンコード板を配置した構成などであってもよく、本発明の実施に際しては、特に限定されるものではない。
【0036】
撮影レンズ42を通過した光は、図示せぬ絞り機構を介して光量が調節された後、CCD44に入射する。CCD44の受光面には多数のフォトセンサ(受光素子)が平面的に配列され、各フォトセンサに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造(ベイヤー、Gストライプなど)で配置されている。
【0037】
CCD44の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。CCD44は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。
【0038】
CCD44の各フォトセンサに蓄積された信号電荷は、CCDドライバ50から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。CCD44から出力された画像信号は、アナログ処理部52に送られる。アナログ処理部52は、CDS(相関二重サンプリング)回路及びゲイン調整回路を含む先行処理部であり、このアナログ処理部52において、サンプリング処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。
【0039】
アナログ処理部52から出力された画像信号はA/D変換器54によってデジタル信号に変換された後、信号処理部56を介してメモリ22に格納される。このときメモリ22に記憶される画像データは、CCD44から出力された画像信号のA/D変換出力をそのまま(未加工のまま)記録したものであり、ガンマ変換や同時化などの信号処理が行われていない画像データである(以下、CCDRAWデータという)。ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素(キズ)のデータを補間する欠陥画素補正処理を行って得られた画像データなどについては汎用フォーマットに展開されていないという点でCCDRAWデータの概念に含まれるものとする。
【0040】
タイミングジェネレータ(TG)58は、CPU14の指令に従ってCCDドライバ50、アナログ処理部52及びA/D変換器54に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【0041】
信号処理部56は、メモリ22の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部56は、AE/AF/AWB処理を行うオート演算部と、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路)、ホワイトバランス回路、ガンマ変換回路、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、CPU14からのコマンドに従ってメモリ22を活用しながら画像信号を処理する。
【0042】
メモリ22に格納されたCCDRAWデータは、バス16を介して信号処理部56に送られる。信号処理部56に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号(Y信号)及び色差信号(Cr,Cb 信号)への変換処理(YC処理)など、所定の信号処理が施された後、メモリ22に格納される。
【0043】
撮影画像をモニタ出力する場合、メモリ22から画像データが読み出され、表示回路60に転送される。表示回路60に送られた画像データは表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換された後、液晶モニタ40に出力される。CCD44から出力される画像信号によってメモリ22内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ40に供給されることにより、撮像中の映像(スルー画)がリアルタイムに液晶モニタ40に表示される。撮影者は液晶モニタ40に表示される映像(いわゆるスルームービー)によって画角(構図)を確認できる。
【0044】
撮影者が画角を決めてシャッターボタン32を押下すると、CPU14はこれを検知し、シャッターボタン32の半押し(S1 ON)に応動してAE処理及びAF処理を行い、シャッターボタン32の全押し(S2 =ON)に応動して記録用の画像を取り込むためのCCD露光及び読み出し制御を開始する。
【0045】
本カメラ10におけるAF制御は、例えば映像信号のG信号の高周波成分が極大になるようにフォーカスレンズ(撮影レンズ42を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ)を移動させるコントラストAFが適用される。すなわち、AF演算部は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内(例えば、画面中央部)に予め設定されているフォーカス対象エリア内の信号を切り出すAFエリア抽出部、及びAFエリア内の絶対値データを積算する積算部から構成される。
【0046】
AF演算部で求めた積算値のデータはCPU14に通知される。CPU14は、AFモータを含むフォーカス駆動部62を制御してフォーカスレンズを移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)の演算を行い、各AF検出ポイントで算出されたAF評価値からその値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズを移動させるようにフォーカス駆動部62を制御する。
【0047】
また、AE制御に関連して、AE演算部は1画面を複数のエリア(例えば、8×8)に分割し、分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU14に提供する。CPU14は、AE演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。
【0048】
次に、撮影EV値の算出方法について説明する。
【0049】
撮影画像の1画面を複数のエリア(例えば8×8の64ブロック)に分割し、分割エリアごとにR、G、B信号から得た積算値に基づいて各分割エリアのEV値(EVi)を求める。続いて、図2に示すように撮影モードに対応して各分割エリアのEV値に重み付けを行い、画面全体のEV′値を次式によって算出する。
【0050】
【数1】
EV′=log2{Σ(Wi ×2EVi )/ΣWi }
ただし、i:0〜63(8×8の分割エリアを示す添え字)
Wi :撮影モードに応じた各分割エリアごとの重み係数
すなわち、撮影モードがオート/人物モードの場合には、図2(A)の重み付け係数に示すように中央重点測光方式となり、風景モードの場合には、図2(B)に示すように最外周に位置する分割エリアの重み付けを減じた測光方式となり、夜景モードの場合には、図2(C)に示すように平均測光方式となる。
【0051】
上記のように算出したEV′値に対し、更に、次式に示すように撮影モードに応じた露出補正ΔEVを行って撮影EV値を求める。
【0052】
【数2】
EV=EV′−ΔEV
なお、ΔEVは、例えば、人物モードの場合にはΔEV=0、風景モード、夜景モードの場合にはΔEV=0.3とする。
【0053】
上記のようにして求めた撮影EV値に基づいて撮影時の絞り値とシャッタースピードを決定する。
【0054】
そして、シャッターボタン32の全押し時に前記決定した絞り値になるように絞り駆動部(不図示)を介して絞り機構を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【0055】
シャッターボタン32の全押し(S2 =ON)に応動して取り込まれた画像データは、図1に示した信号処理部56においてYC処理その他の所定の信号処理を経た後、圧縮伸張回路64において所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メディアインターフェース部66を介して記録メディア12に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【0056】
画像データを保存する手段は、スマートメディア(商標)、コンパクトフラッシュ(商標)などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ10に内蔵された記録媒体(内部メモリ)であってもよい。
【0057】
モード選択手段によって再生モードが選択されると、記録メディア12に記録されている最終の画像ファイル(最後に記録したファイル)が読み出される。記録メディア12から読み出された画像ファイルのデータは、圧縮伸張回路64によって伸張処理され、表示回路60を介して液晶モニタ40に出力される。
【0058】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア12から読み出され、上記と同様にして画像が再生される。
【0059】
図3は、本例のカメラ10における顔抽出処理に関係する要部ブロック図である。図3中図1で説明した構成と共通する部分には同一の符号を付し、その説明は省略する。
【0060】
図3において、上段の積算回路70とホワイトバランス回路72は、通常のオートホワイトバランス処理に使用している処理系である。また、その下段に示した積算回路74、ホワイトバランス回路76及び同時化回路78は、顔抽出アルゴリズムの前処理を実施するための処理部(以下、前処理系という。)である。
【0061】
シャッターボタン32の全押し時にA/D変換器18から出力されたCCDRAWデータはメモリ22に格納され、メモリ22から積算回路70に送られる。積算回路70は、1画面内を複数のエリア(例えば、8×8の64ブロック)に分割し、エリアごとにRGB信号の色別の平均積算値を算出する回路を含み、その算出結果は基準光源(デーライト)を想定したホワイトバランス回路72に送られる。ホワイトバランス回路72でゲイン調整された信号はCPU14に提供される。
【0062】
CPU14は、Rの積算値、Bの積算値、Gの積算値を得て、R/G、B/Gの比を求め、これらR/G、B/Gの値と、AE演算による撮影EV値の情報(被写体輝度LV値=EV値)に基づいてシーン判別(光源種の判別)を行い、シーンに適した所定のホワイトバランス調整値(光源の雰囲気を残すような設定)に従って、信号処理部56内のホワイトバランス回路80及び前処理系のホワイトバランス回路76のアンプゲインを制御し、各色チャンネルの信号に補正をかける。光源種の判別方法及び光源の雰囲気を残すホワイトバランス制御方法については、特開2000−224608号公報等に開示された手法を用いることができる。
【0063】
また、S2 =ONに応じて取得されたCCDRAWデータはメモリ22から信号処理部56及び顔抽出用の前処理系の積算回路74に送られる。前処理系の積算回路74は、1画面を例えば、130×190のエリアに分割し、エリアごとに積算値を算出する。積算回路74の算出結果は、ホワイトバランス回路76に送られ、ここでAWBを反映させたホワイトバランス処理が行われる。AWBを効かせたデータは、同時化回路78に送られ、ここでR,G,Bについてそれぞれ同画素数のデータ(3面データ)が生成される。
【0064】
CPU14は、同時化回路78で生成されたRGBの3面データに基づいて、肌色検出、彩度分割、顔候補抽出、並びに顔候補の領域の形状に基づく顔領域の特定の処理を実行する。顔抽出のアルゴリズムについて詳細は後述する。
【0065】
その一方、メモリ22から信号処理部56に送られたCCDRAWデータは、ホワイトバランス回路80によりAWBを反映させた処理が行われた後、ガンマ変換回路82に送られる。ガンマ変換回路82は、ホワイトバランス調整されたRGB信号が所望のガンマ特性となるように入出力特性を変更し、輝度/色差信号生成回路84に出力する。
【0066】
輝度/色差信号生成回路84は、ガンマ補正されたR、G、B信号から輝度信号Yとクロマ信号Cr、Cbとを作成する。これらの輝度信号Yとクロマ信号Cr、Cb(YC信号)は、圧縮伸張回路64によってJPEGその他の所定のフォーマットで圧縮され、記録メディア12に記録される。
【0067】
次に、本実施形態に係るカメラ10に搭載されている顔抽出機能について説明する。
【0068】
図4は、肌色として抽出されるべき色相の範囲を定めた肌色テーブルを決定するシーケンスを示したフローチャートである。同図に示したように、シャッターボタン32のS1 =ON確定によってAE及びAF処理を実行し(ステップS110)、S2 =ONに応動してCCDRAWデータを取り込み、これをメモリ22に一旦記録する(ステップS112)。
【0069】
その後、この取得したCCDRAWデータに基づいて光源種別の判断を行う(ステップS114)。また、ステップS110のAE処理で求めた被写体輝度の情報を取得し(ステップS116)、ステップS114で得た光源情報とステップS116で得た被写体輝度情報から肌色テーブルを選択する(ステップS118)。
【0070】
撮影光源の判別は以下の方法で行う。
【0071】
まず、被写体の輝度情報は、シャッターボタン32のS1 =ONに基づく測光値から重み付け加算により取得する。
【0072】
色情報については、撮像画像にデーライトホワイトバランスをかけて、デーライト時のホワイトバランスに規格化して取り扱う。デーライト時は、R/G、B/Gともにホワイトバランスが合う形なのでR/G=B/G=1となる。
【0073】
一方、タングステンは赤いのでR/Gが大きく、B/Gは小さい。一方、日陰は色温度が高いのでR/Gは小さく、B/Gが大きい。このように、R/GとB/Gを座標軸とする表色系を用いて光源色を判定し得る。
【0074】
図5に光源色の検出例を示す。同図は、(R/G,B/G)=(1,1)を原点とする表色座標系である。図示した日陰検出枠、昼光色蛍光灯検出枠、デーライト検出枠、昼白色蛍光灯検出枠、タングステン検出枠は、それぞれ光源種の色分布の範囲を規定するものである。このような検出枠のデータはカメラ10内に記憶されている。
【0075】
光源判別に際して、撮像画像の1画面を複数のエリア(例えば、8×8)に分割し、分割エリアごとにR、G、B信号の色別の平均積算値を求め、R信号の積算値とG信号の積算値との比R/G、及びB信号の積算値とG信号の積算値との比B/Gを求める。
【0076】
こうして、分割エリアごとに求められた(R/G,B/G)と図5の各検出枠とを対比し、各検出枠内に入る分割エリアの個数を求め、各検出枠のうち最も頻度の多いものをそのシーンの光源と判断する。
【0077】
ところで、例えば蛍光灯のシーンは緑色を含む傾向にあるのでR/G、B/Gは双方ともに「1」より小さい値となる。しかし、屋外の緑シーンも同様の結果(R/G、B/Gが双方ともに「1」より小さい値)を示すので、色情報のみから光源色と物体色の切り分けは困難である。そこで、本実施形態では、色情報のみならず、被写体輝度情報を利用して光源判定を行う。
【0078】
すなわち、蛍光灯は極端に明るいことは考えられないことから、所定の明るさ以上に明るい緑は蛍光灯ではなく、屋外の葉緑と推定する。このような光源判定を反映して肌色テーブルも屋外よりに設定する。
【0079】
図6は、肌色テーブルの選択に利用される光源判定の確度を定めた図表である。同図によれば、被写体輝度(LV値で表現)に応じてその光源の確度の高低がランク分けされている。Aランクは、その光源の確度が高いことを示し、Bランクはその光源の確度が低いことを示している。
【0080】
例えば、「昼白色蛍光灯」と判定された光源に対して、被写体輝度が11LVよりも低ければその光源(昼白色蛍光灯)である確度は高く、被写体輝度が11LV以上の場合にはその光源の確度が低いことを示している。ただし、「晴れ(デーライト)」と判定された場合には、確度のランク分けをせず、全領域について不変とする。
【0081】
カメラ10は、画像に含まれる色相の分布と被写体輝度(LV値)とに応じた肌色テーブルを備えており、光源判別情報(色相、輝度)に応じて、肌色テーブルを自動的に切り換える制御を行っている。
【0082】
図7は、光源種別ごとに設定された肌色テーブル(Aランク時)を例示した図である。横軸をR/G、縦軸をB/Gとした座標系において、各光源のAランク時に選択される肌色テーブルはそれぞれ図示のような矩形枠で囲まれた範囲(肌色抽出エリア)として設定されている。
【0083】
図8は、昼白色蛍光灯のBランク時に選択される肌色テーブルの例である。同図に示したように、昼白色蛍光灯Bランクの肌色テーブル(実線にて図示)90は、昼白色蛍光灯Aランクの肌色テーブル(一点鎖線にて図示)91よりも大きなエリアを有し、昼白色蛍光灯Aランクの肌色テーブル91と晴れの肌色テーブル(点線にて図示)92とを包含する範囲となっている。
【0084】
図9は、電球(タングステン)のBランク時に選択される肌色テーブルの例である。同図に示したように、電球Bランクの肌色テーブル(実線にて図示)94は、電球Aランクの肌色テーブル(二点鎖線にて図示)95よりも大きなエリアを有し、電球Aランクの肌色テーブル95と晴れの肌色テーブル(点線にて図示)92とを包含する範囲となっている。
【0085】
他の光源についてBランクの肌色テーブルは図示しないが、図8及び図9で説明した例と同様に、他の光源(デーライトを除く)に関してもBランクの肌色テーブルはAランクの肌色テーブルよりも大きな範囲が設定されている。
【0086】
なお、図7乃至図9では矩形形の肌色テーブルを例示したが、肌色テーブルの形状は矩形に限定されず、様々な形状に設計し得る。
【0087】
光源種別並びにその判定の確度に対応して複数の肌色テーブルがカメラ10内に用意されており、自動判別された撮影光源とその確度に応じて肌色テーブルが自動選択され、肌色テーブルの範囲内に入った色相点が「肌色」として検出される。
【0088】
図10は、顔抽出のシーケンスを示すフローチャートである。
【0089】
まず、シャッターボタン32のS1 =ON及びS2 =ONを経て、CCDRAWデータをメモリ22に記録する(ステップS210)。そして、図3で説明した前処理系(74、76、78)による処理を行い、記録したCCDRAWデータに対してオートホワイトバランスによるゲイン補正の処理(図10のステップS212)、積算処理(ステップS214)及び同時化処理を行う(ステップS216)。こうして、RGBの3面データが生成される。
【0090】
次いで、CPU14は、EEPROM24から肌色テーブルを取得する(ステップS218)。このとき、図4乃至図9で説明したように、光源種別とその確度に応じて肌色テーブルが選択される。
【0091】
その後、CPU14は、前処理系の同時化回路78から取得したRGBの3面データ(ガンマをかける前のリニアな系のデータ)を基に、肌色テーブル内の色相を検出する(図10のステップS220)。
【0092】
例えば、図11の符号100で示した矩形枠で囲まれた範囲が肌色抽出エリア(肌色テーブルに相当)として設定された場合、この範囲内に入ったものを肌色として判定する。
【0093】
更に、肌色抽出エリア100は、彩度によって更に複数のエリアに分割されている。図11において、「彩度」は原点Oからの距離によって表され、原点Oから離れるほど彩度が高くなる。同図の例では、原点を中心とする同心円状の境界線(破線により図示)によって肌色検出エリア100が6つの領域に区分けされている。
【0094】
CPU14は、前処理系の同時化回路78から取得したRGBの3面データから肌色領域を検出した後、当該肌色検出された部分を更に彩度を基準に領域分割する(図10のステップS222)。
【0095】
図12に、肌色検出された領域を更に彩度によって区分けした例を示す。画像内で対象物が異なるとその彩度も異なり、一般に人物の顔の肌色は、タングステン光源下の白色物や机などの木よりも彩度が高い傾向がある。したがって、肌色検出された領域を彩度によって細かく分けてその領域形状を把握することにより顔領域であるか、顔以外の領域であるかを判別することが容易になる。
【0096】
図10のステップS222において彩度による領域分割を行った後は、ステップS224に進む。ステップS224では、彩度によって領域分割されたもの(顔領域候補)の中から、更に各領域について形状検出を行い、形状から顔領域を特定する処理を行う。
【0097】
すなわち、顔として妥当なモデル形状(楕円や円)から定められた縦横比の規定値と、顔領域候補の形状とを対比し、検出された形状の縦横比が規定値から大きく外れるものについては、顔以外の領域であると判断する。
【0098】
顔領域候補の縦横比は、例えば、図13のように、顔領域候補102について垂直方向及び水平方向のヒストグラムからH(縦方向値)とW(水平方向値)を求め、これらの比H/Wを算出する。縦横比の値(H/W)がある一定の範囲のもの(楕円や円に近い形状)である場合に顔形状と判断する。
【0099】
このような形状認識によって顔候補が最終的に絞り込まれ、所定の縦横比を有する形状の領域部分が「顔」として抽出される。
【0100】
顔領域の抽出結果は、明るさ補正、ホワイトバランス補正、肌色をベストの色(目標値)に近づける色補正、赤目補正などに利用される。
【0101】
〔変形例〕
上述の実施形態では、画像に含まれる色相の分布によって光源色を推定し、被写体輝度値(LV値)によって確度を定めたが、本発明の実施に際して、色相の分布から確度を定めることも可能である。例えば、図で説明した光源色の判定の際に、各検出枠に含まれる分割エリアの頻度(個数)によって光源の確度を判断してもよい。もちろん、被写体輝度値と色相分布とを組み合わせて確度を判断してもよい。
【0102】
上記実施の形態では、(R/G,B/G)の表色系を述べたが、本発明の実施に際しては、表色空間は特に限定されず、RGB系、CIE L*a*b、CIE L*u*vその他の色空間を使用してもよい。
【0103】
また、上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、カメラ付き携帯電話機、カメラ付きPDA、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の情報機器についても本発明を適用できる。この場合、撮像部は携帯電話機等の本体から分離可能な着脱式(外付けタイプ)のものであってもよい。更に、上述のような電子撮像機能付き機器で記録した画像データを再生表示する画像再生装置、或いはプリント出力するプリント装置などについても本発明を適用することが可能である。
【0104】
【発明の効果】
本発明によれば、画像データから自動判定される撮影光源の種別とその確度に応じて肌色条件を最適化できるので、肌色の検出精度を向上させることが可能である。また、光源種別判定の確度に応じて肌色条件領域の大きさや中心位置又は形状などを変更することにより、光源検出の誤差をカバーできる。これにより、精度のよい顔抽出が可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図2】撮影モード別の測光方式を説明するために用いた図
【図3】本例のカメラにおける顔抽出処理に関係する要部ブロック図
【図4】肌色テーブル決定のシーケンスを示すフローチャート
【図5】光源種の色分布の範囲を示す検出枠を示す図
【図6】肌色テーブルの選択に利用される光源の確度を定めた図表
【図7】光源種別ごとに設定された肌色テーブル(Aランク時)を例示した図
【図8】昼白色蛍光灯のBランク時に選択される肌色テーブルの例を示す図
【図9】電球(タングステン)のBランク時に選択される肌色テーブルの例を示す図
【図10】顔抽出のシーケンスを示すフローチャート
【図11】肌色抽出エリア(肌色テーブル)と彩度分割の例を示す図
【図12】肌色検出された領域を更に彩度によって区分けした例を示す図
【図13】顔領域候補の形状から縦横比を求める方法を説明するために用いた図
【符号の説明】
10…カメラ、14…CPU、24…EEPROM、42…撮影レンズ、44…CCD、70…積算回路、72…ホワイトバランス回路、74…積算回路、76…ホワイトバランス回路、78…同時化回路、90…昼白色蛍光灯Bランクの肌色テーブル、91…昼白色蛍光灯Aランクの肌色テーブル、92…晴れの肌色テーブル、94…電球Bランクの肌色テーブル、95…電球Aランクの肌色テーブル
Claims (5)
- 画像内から人物の顔に相当する領域を抽出する方法であって、
画像データに基づいて撮影時の光源を判定する光源判定工程と、
1画面を複数のエリアに分割し、分割エリアごとに画像データを積算して得た積算値に基づいて重み付け加算を行うことにより被写体輝度を検出する被写体輝度検出工程と、
予め光源種ごとに被写体輝度のしきい値が設定され、光源種ごとに被写体輝度の情報から前記しきい値に応じてその光源の確度がランク分けされており、前記被写体輝度検出工程により検出した被写体輝度と前記光源判定工程で判定した光源に対応して定められている前記しきい値との比較から前記光源判定工程による光源判定の確度のランクを求める確度決定工程と、
予め肌色検出に必要な肌色の色相範囲を定める肌色条件が光源種と光源判別の確度のランクとに対応して複数用意され、前記光源判定工程から得られた光源情報及び前記確度決定工程から得られた確度のランクを示す情報に応じて前記複数の肌色条件の中から該当する肌色条件を設定する肌色条件設定工程と、
前記肌色条件設定工程で設定された肌色条件に従って画像内から肌色の色相を有する領域を検出する肌色領域検出工程と、
を含むことを特徴とする顔領域抽出方法。 - 前記予め用意された複数の肌色条件のうち同じ光源情報に対しては確度が高いほど肌色の色相範囲が小さく設定されていることを特徴とする請求項1記載の顔領域抽出方法。
- 前記肌色領域検出工程は、前記肌色条件に基づいて検出される肌色部分を更に彩度によって分割する彩度分割工程を含むことを特徴とする請求項1又は2記載の顔領域抽出方法。
- 前記彩度分割工程で分割された彩度別の肌色領域の形状に基づいて顔領域を決定する顔領域決定工程を含むことを特徴とする請求項3記載の顔領域抽出方法。
- 画像内から人物の顔に相当する領域を抽出する装置であって、
画像データに基づいて撮影時の光源を判定する光源判定手段と、
1画面を複数のエリアに分割し、分割エリアごとに画像データを積算して得た積算値に基づいて重み付け加算を行うことにより被写体輝度を検出する被写体輝度検出手段と、
予め光源種ごとに被写体輝度のしきい値が設定され、光源種ごとに被写体輝度の情報から前記しきい値に応じてその光源の確度がランク分けされており、前記被写体輝度検出手段により検出した被写体輝度と前記光源判定手段で判定した光源に対応して定められている前記しきい値との比較から前記光源判定手段による光源判定の確度のランクを求める確度決定手段と、
予め肌色検出に必要な肌色の色相範囲を定める肌色条件が光源種と光源判別の確度のランクとに対応して複数用意され、前記光源判定手段から得られた光源情報及び前記確度決定手段から得られた確度のランクを示す情報に応じて前記複数の肌色条件の中から該当する肌色条件を設定する肌色条件設定手段と、
前記肌色条件設定手段で設定された肌色条件に従って画像内から肌色の色相を有する領域を検出する肌色領域検出手段と、
を含むことを特徴とする顔領域抽出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356794A JP4200428B2 (ja) | 2002-12-09 | 2002-12-09 | 顔領域抽出方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002356794A JP4200428B2 (ja) | 2002-12-09 | 2002-12-09 | 顔領域抽出方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004192129A JP2004192129A (ja) | 2004-07-08 |
JP4200428B2 true JP4200428B2 (ja) | 2008-12-24 |
Family
ID=32757030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002356794A Expired - Fee Related JP4200428B2 (ja) | 2002-12-09 | 2002-12-09 | 顔領域抽出方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4200428B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8055063B2 (en) | 2003-09-30 | 2011-11-08 | Sharp Laboratories Of America, Inc. | Methods and systems for improving robustness of color balance correction |
JP4498040B2 (ja) * | 2004-07-09 | 2010-07-07 | キヤノン株式会社 | 画像処理方法及び装置 |
KR100680278B1 (ko) | 2005-12-28 | 2007-02-07 | 고려대학교 산학협력단 | 입술모양 추출방법 및 그 장치 |
RU2006104311A (ru) * | 2006-02-14 | 2007-09-20 | Самсунг Электроникс Ко. | Способ обнаружения лиц на цифровых изображениях |
JP4782600B2 (ja) * | 2006-03-30 | 2011-09-28 | 富士フイルム株式会社 | 顔検出方法およびこれを用いた撮影装置 |
US8144944B2 (en) | 2007-08-14 | 2012-03-27 | Olympus Corporation | Image sharing system and method |
JP2009055443A (ja) * | 2007-08-28 | 2009-03-12 | Toshiba Corp | 画像検索システム |
JP2009134383A (ja) * | 2007-11-29 | 2009-06-18 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5132327B2 (ja) * | 2008-01-10 | 2013-01-30 | キヤノン株式会社 | 画像処理装置 |
JP5022956B2 (ja) * | 2008-03-19 | 2012-09-12 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理システム |
JP2010068120A (ja) * | 2008-09-09 | 2010-03-25 | Toshiba Corp | 監視システム |
JP4851624B2 (ja) * | 2008-11-19 | 2012-01-11 | シャープ株式会社 | 指定色領域画定回路、検出回路及びそれを用いた画像処理装置 |
JP4831175B2 (ja) | 2009-01-27 | 2011-12-07 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP2010177821A (ja) | 2009-01-27 | 2010-08-12 | Sony Corp | 撮像装置及び撮像方法 |
JP5501393B2 (ja) * | 2012-02-13 | 2014-05-21 | キヤノン株式会社 | 画像処理装置 |
JP6361332B2 (ja) * | 2014-07-04 | 2018-07-25 | 富士通株式会社 | ジェスチャ認識装置およびジェスチャ認識プログラム |
JP6394338B2 (ja) | 2014-12-04 | 2018-09-26 | ソニー株式会社 | 画像処理装置、画像処理方法、及び撮像システム |
KR101718085B1 (ko) * | 2015-09-09 | 2017-03-20 | 연세대학교 산학협력단 | 음식 영상의 시각적 풍미 강조 장치 및 그 방법 |
JP6700950B2 (ja) * | 2016-04-28 | 2020-05-27 | キヤノン株式会社 | 監視システム |
-
2002
- 2002-12-09 JP JP2002356794A patent/JP4200428B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004192129A (ja) | 2004-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4284448B2 (ja) | 画像処理装置及び方法 | |
JP4200428B2 (ja) | 顔領域抽出方法及び装置 | |
JP4126721B2 (ja) | 顔領域抽出方法及び装置 | |
JP4158592B2 (ja) | オートホワイトバランス調整方法及びこの方法が適用されたカメラ | |
US8462228B2 (en) | Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product | |
US7509042B2 (en) | Digital camera, image capture method, and image capture control program | |
US8823829B2 (en) | Image capture with adjustment of imaging properties at transitions between regions | |
JP2006352795A (ja) | 撮像装置及び画像処理方法 | |
JP2001211362A (ja) | デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ | |
JP2008236101A (ja) | 撮像装置および撮像方法 | |
EP1825682B1 (en) | System and method for automatic format selection for digital photographs | |
US8665355B2 (en) | Image capture with region-based adjustment of contrast | |
JP2004201228A (ja) | 顔領域抽出方法及び装置 | |
JP5048599B2 (ja) | 撮像装置 | |
US7570294B2 (en) | Digital camera | |
JP4178017B2 (ja) | 画像処理方法及びデジタルカメラ | |
JP2004297650A (ja) | ホワイトバランスの制御方法及びデジタルカメラ | |
US8760527B2 (en) | Extending a digital camera focus range | |
JP2004120225A (ja) | デジタルカメラ | |
JP2005033255A (ja) | デジタル画像の画像処理方法、デジタルカメラ及びプリントシステム | |
JP2002218495A (ja) | ホワイトバランス制御方法及び電子カメラ | |
JP2003324651A (ja) | デジタルカメラ | |
JP4081609B2 (ja) | 撮像装置 | |
JP2010103672A (ja) | 撮像装置 | |
JP2003309854A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080911 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4200428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |