JP6318535B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6318535B2 JP6318535B2 JP2013212362A JP2013212362A JP6318535B2 JP 6318535 B2 JP6318535 B2 JP 6318535B2 JP 2013212362 A JP2013212362 A JP 2013212362A JP 2013212362 A JP2013212362 A JP 2013212362A JP 6318535 B2 JP6318535 B2 JP 6318535B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- images
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 23
- 238000011156 evaluation Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 description 23
- 238000012854 evaluation process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
連写撮影した複数の画像の中からベストショット候補画像を選ぶカメラが知られている(特許文献1参照)。このカメラでは、上記複数の画像に対して、顔部不要物の有無や目瞑りの有無、顔エリアのブレなどの複数の評価因子に関する評価を行い、この評価結果に基づいてベストショット画像が選ばれる。 There is known a camera that selects a best shot candidate image from a plurality of continuously shot images (see Patent Document 1). With this camera, the above multiple images are evaluated for multiple evaluation factors, such as the presence or absence of unwanted facial parts, the presence or absence of eye meditation, and blurring of the face area, and the best shot image is selected based on the evaluation results. It is.
上記従来技術では、被写体の顔に不要物が重なっている画像についてはベストショット候補画像として選ばれないように評価を低くしている。顔に不要物が重なっているか否かの評価については、顔検出処理の結果、顔のパーツ(目、鼻、口など)の一部が検出されないことにより判断することが可能である。しかしながら、顔に不要物が重なっていても顔のパーツが遮蔽されていないような画像については、顔のパーツの検出結果だけでは顔に不要物が重なっているか判断できず、適切に評価を行えないおそれがある。 In the above-described conventional technology, the evaluation is lowered so that an image in which an unnecessary object overlaps the face of the subject is not selected as the best shot candidate image. The evaluation of whether or not an unnecessary object is superimposed on the face can be determined by detecting that a part of face parts (eyes, nose, mouth, etc.) are not detected as a result of the face detection process. However, for images where facial parts are not occluded even if unwanted objects overlap the face, it is not possible to determine whether the unwanted parts are superimposed on the face based on the detection results of the facial parts, and appropriate evaluation can be performed. There is a risk of not.
発明の一態様による撮像装置は、入力された複数の画像から被写体の顔を検出する顔検出部と、前記顔の領域に第1領域および第2領域を設定する領域設定部と、前記第1領域の特徴量および前記第2領域の特徴量を算出する特徴量算出部と、前記複数の画像のうちの所定枚数の画像について、各画像の前記第1領域の特徴量および前記第2領域の特徴量に基づいて、前記各画像を前記所定枚数の中で相対的に評価する画像評価部と、を備える。An imaging apparatus according to an aspect of the invention includes a face detection unit that detects a face of a subject from a plurality of input images, a region setting unit that sets a first region and a second region in the face region, and the first A feature amount calculation unit that calculates a feature amount of the region and a feature amount of the second region; and for a predetermined number of images of the plurality of images, the feature amount of the first region and the second region of each image And an image evaluation unit that relatively evaluates each of the images within the predetermined number based on a feature amount.
本発明によれば、顔に不要物が重なっている画像を適切に評価することができる。 According to the present invention, it is possible to appropriately evaluate an image in which an unnecessary object is superimposed on a face.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるデジタルカメラ1の要部構成を説明するブロック図である。デジタルカメラ1は、メインCPU11によって制御される。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram for explaining a main configuration of a
撮影レンズ21は、撮像素子22の撮像面上に被写体像を結像させる。撮像素子22はCCDイメージセンサまたはCMOSイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路23へ出力する。撮像回路23は、撮像素子22から出力される光電変換信号に対するアナログ処理(ゲインコントロールなど)を行う他、内蔵するA/D変換回路でアナログ撮像信号をディジタルデータに変換する。
The photographing
メインCPU11は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路12は、たとえばASICとして構成され、撮像回路23から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整(ホワイトバランス調整)処理、画像信号に対するフォーマット変換処理が含まれる。
The main CPU 11 inputs a signal output from each block, performs a predetermined calculation, and outputs a control signal based on the calculation result to each block. The
画像圧縮回路13は、画像処理回路12による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路14は、撮像画像を液晶モニタ19に表示させるための表示用信号を生成する。
The
液晶モニタ19は液晶パネルによって構成され、表示画像作成回路14から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路20は、表示画像作成回路14から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。
The
バッファメモリ15は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体30へ記録する前の画像ファイルを記憶したり、記録媒体30から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示前(レリーズボタンの全押し操作前)に撮像素子22によって所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する場合にも使用される。プリキャプチャー画像については後述する。
The
フラッシュメモリ16は、メインCPU11が実行するプログラムや、メインCPU11が行う処理に必要なデータなどが格納される。フラッシュメモリ16が格納するプログラムやデータの内容は、メインCPU11からの指示によって追加、変更が可能に構成されている。
The
カードインターフェース(I/F)17はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記録媒体30が接続される。カードインターフェース17は、メインCPU11からの指示により、接続された記録媒体30に対するデータの書き込みや、記録媒体30からのデータの読み込みを行う。記録媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
The card interface (I / F) 17 has a connector (not shown), and a
操作部材18は、デジタルカメラ1の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインCPU11へ出力する。半押しスイッチ18aおよび全押しスイッチ18bは、レリーズボタン(不図示)の押下操作に連動して、それぞれがオン信号をメインCPU11へ出力する。半押しスイッチ18aからのオン信号(半押し操作信号)は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ18bからのオン信号(全押し操作信号)は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインCPU11に対して撮影準備の開始を指示する。全押し操作信号は、メインCPU11に対して記録用画像の取得開始を指示する。
The
<撮影モード>
デジタルカメラ1は、通常の撮影モードとプリキャプチャー撮影モードとを有する。通常の撮影モードでは、上記全押し操作信号に応じて1コマずつ撮影画像を取得して記録媒体30へ記録する。プリキャプチャー撮影モードでは、上記半押し操作信号を受けると高速シャッタ秒時(たとえば125分の1秒より高速)の静止画像を120フレーム/毎秒(120fps)で連写撮影して複数コマの連写撮影画像を取得する。そして、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体30へ記録する。各撮影モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
<Shooting mode>
The
<再生モード>
再生モードのデジタルカメラ1は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ19に再生表示する。
<Playback mode>
The
<プリキャプチャー撮影>
図2は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。図2において、時刻t0に半押し操作信号が入力されると、メインCPU11はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、120フレーム/毎秒(120fps)のフレームレートで被写体像を連続的に撮影し、取得した画像データを逐次バッファメモリ15へ記憶する。
<Pre-capture shooting>
FIG. 2 is a diagram for explaining image acquisition timing in the pre-capture shooting mode. In FIG. 2, when a half-press operation signal is input at time t0, the main CPU 11 starts a release standby process. In the release standby process, for example, subject images are continuously captured at a frame rate of 120 frames / second (120 fps), and the acquired image data is stored in the
プリキャプチャー撮影のために使用するバッファメモリ15のメモリ容量は、あらかじめ十分な容量が確保されている。メインCPU11は、時刻t0以降にバッファメモリ15内に記憶したフレーム画像の枚数が所定枚数(たとえばA枚)に達した場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ15のメモリ容量を制限できる。
A sufficient memory capacity of the
時刻t1に全押し操作信号が入力されると、メインCPU11はレリーズ処理を開始させる。レリーズ処理では、時刻t1以前に撮像したA枚のフレーム画像と、時刻t1以降に撮像されるB枚のフレーム画像とを合わせた(A+B)枚のフレーム画像を記録媒体30への記録候補画像とする。
When the full press operation signal is input at time t1, the main CPU 11 starts the release process. In the release process, (A + B) frame images obtained by combining A frame images captured before time t1 and B frame images captured after time t1 are used as recording candidate images on the
次に、プリキャプチャー撮影モードにおける処理の流れについて、図3に示すフローチャートを用いて説明する。メインCPU11は、半押し操作信号が入力されると、図3による処理を起動する。 Next, the flow of processing in the pre-capture shooting mode will be described using the flowchart shown in FIG. When the half-press operation signal is input, the main CPU 11 starts the processing shown in FIG.
図3のステップS1において、メインCPU11は、上述したレリーズ待機処理を開始して、ステップS2に進む。 In step S1 of FIG. 3, the main CPU 11 starts the release standby process described above, and proceeds to step S2.
ステップS2において、メインCPU11は、全押し操作信号が入力されたか否かを判定する。CPU11は、全押し操作信号が入力されるまでステップS2の判定処理を繰り返し、全押し操作信号が入力されると、ステップS3に進む。 In step S2, the main CPU 11 determines whether or not a full-press operation signal has been input. The CPU 11 repeats the determination process in step S2 until a full-press operation signal is input. When the full-press operation signal is input, the CPU 11 proceeds to step S3.
ステップS3において、メインCPU11は、上述したレリーズ処理を行って、(A+B)枚のフレーム画像を記録候補画像とし、ステップS4に進む。 In step S3, the main CPU 11 performs the above-described release process, sets (A + B) frame images as recording candidate images, and proceeds to step S4.
ステップS4において、メインCPU11は、記録候補画像とした(A+B)枚のフレーム画像をそれぞれ評価する画像評価処理を行う。この画像評価処理において、メインCPU11は、(A+B)枚のフレーム画像のそれぞれに対して、顔検出信頼度、目瞑りの有無、顔エリアのブレなど、複数の評価項目について評価を行う。そして、メインCPU11は、各フレーム画像(A+B)枚のフレーム画像のそれぞれについて、これらの評価結果をもとに総合的な評価を求めて、ステップS5に進む。 In step S4, the main CPU 11 performs an image evaluation process for evaluating each of the (A + B) frame images as recording candidate images. In this image evaluation process, the main CPU 11 evaluates each of (A + B) frame images with respect to a plurality of evaluation items such as face detection reliability, presence / absence of eye meditation, and blurring of the face area. Then, the main CPU 11 obtains a comprehensive evaluation for each frame image (A + B) frame images based on these evaluation results, and proceeds to step S5.
ステップS5において、メインCPU11は、ステップS4での評価結果をもとに、(A+B)枚のフレーム画像のうち、総合的な評価の高いC枚のフレーム画像(C<(A+B))をベストショット候補画像として選定する。メインCPU11は、選定したC枚のフレーム画像を関連付けて記録媒体30に記録する。さらに、メインCPU11は、C枚のフレーム画像(ベストショット候補画像)のうち、最も総合的な評価の高い1枚のフレーム画像を、ベストショット画像として選定して、図3の処理を終了する。
In step S5, based on the evaluation result in step S4, the main CPU 11 performs the best shot on C frame images (C <(A + B)) having a high overall evaluation among (A + B) frame images. Select as a candidate image. The main CPU 11 records the selected C frame images in the
本実施形態は、上述した画像評価処理において、特に顔検出信頼度の評価処理に特徴を有するため、以下の説明はこの点を中心に行う。 The present embodiment has a feature in the above-described image evaluation processing, particularly in the face detection reliability evaluation processing. Therefore, the following description will be focused on this point.
<顔検出信頼度の評価処理>
まず、顔検出信頼度の評価処理の概要について、図4を用いて説明する。図4は、被写体である人物が顔100の前で手150を振っている際に連写撮影された画像の一例を模式的に示している。図4(a)に示す画像では、人物の顔100に手150が重なっており、人物の目は見えているが、鼻と口が遮蔽されている。図4(b)に示す画像では、人物の顔100の一部に手150が重なっているが、人物の目、鼻および口は遮蔽されていない。図4(c)に示す画像では、人物の顔100に手150が重なっていない。たとえば人物が手150を顔に当ててポーズをとるような場合と異なり、手150を動かしているような場合は人物が意図せずに手150が顔に重なり、手150が不要物であると考えられる。そこで、図4(a)〜図4(c)に示す画像の中では、人物の顔100に不要物である手150が重なっていない図4(c)に示す画像がベストショット候補画像として選定されるのが望ましい。そのため、図4(a)および(b)に示す画像では、顔検出信頼度が相対的に低く評価され、図4(c)に示す画像では、顔検出信頼度が相対的に高く評価されることが望ましい。
<Face detection reliability evaluation process>
First, an outline of the face detection reliability evaluation process will be described with reference to FIG. FIG. 4 schematically illustrates an example of an image continuously shot when a person who is a subject is waving his
図4(a)に示す画像に対して顔検出処理を行った場合、顔100の肌色や目は検出されるが、鼻および口が検出されない。そのため、顔のパーツの検出結果から顔100に不要物が重なっていることが判断でき、顔検出信頼度の評価を低くできる。
When face detection processing is performed on the image shown in FIG. 4A, the skin color and eyes of the
一方、図4(b)に示す画像に対して顔検出処理を行った場合、顔100の顎部分に手150が重なっているものの、目、鼻および口については検出される。同様に、図4(c)に示す画像に対して顔検出処理を行った場合にも、目、鼻および口が検出される。したがって、顔のパーツの検出結果だけでは、図4(b)に示す画像と図4(c)に示す画像との区別がつかず、図4(b)に示す画像において顔100に不要物が重なっていることを判断できない。そのため、図4(b)に示す画像においても、図4(c)に示す画像と同様に、顔検出信頼度の評価が高くなってしまう。
On the other hand, when the face detection process is performed on the image shown in FIG. 4B, the eyes, nose, and mouth are detected even though the
そこで、本実施形態では、図4(b)のように目、鼻および口が遮蔽されていないが顔100に不要物が重なっている画像については評価が低くなり、図4(c)のように顔100に不要物が重なっていない画像について評価が高くなるように、顔検出信頼度の評価を行う。
Therefore, in this embodiment, as shown in FIG. 4B, the evaluation is low for an image in which the eyes, nose, and mouth are not shielded but an unnecessary object overlaps the
以下、顔検出信頼度の評価処理の詳細について説明する。図5は、顔検出信頼度の評価処理の流れを説明するフローチャートである。メインCPU11は、レリーズ処理が終了し、記録候補画像である(A+B)枚のフレーム画像がバッファメモリ15に入力されると、図5による処理を起動する。
Details of the face detection reliability evaluation process will be described below. FIG. 5 is a flowchart for explaining the flow of the face detection reliability evaluation process. When the release process is completed and (A + B) frame images as recording candidate images are input to the
図5のステップS11において、メインCPU11は、記録候補画像とした(A+B)枚のフレーム画像の各々において、被写体の顔を検出する顔検出処理を行う。顔検出処理については公知の方法を用いればよい。 In step S11 of FIG. 5, the main CPU 11 performs face detection processing for detecting the face of the subject in each of the (A + B) frame images that are the recording candidate images. A known method may be used for the face detection process.
ステップS12において、メインCPU11は、図6に示すように、顔検出処理により検出された顔100の領域を分割する矩形状の7つの小領域201〜207を設定する。これら7つの小領域201〜207は、それぞれ顔の一部の輪郭を含む位置および大きさに設定される。
In step S12, as shown in FIG. 6, the main CPU 11 sets seven small
具体的に、メインCPU11は、左目101の輪郭を含むように左目小領域201を設定し、右目102の輪郭を含むように右目小領域202を設定する。左目小領域201および右目小領域202は、目およびその周囲の領域を左目101と右目102の中央位置から左右に分割するように設定される。
Specifically, the main CPU 11 sets the left eye
また、メインCPU11は、左頬の輪郭を含むように左頬小領域203を設定し、右頬の輪郭を含むように右頬小領域204を設定する。左頬小領域203は、左目小領域201の下側に設定される。右頬小領域204は、右目小領域202の下側に設定される。また左頬小領域203および右頬小領域204は、鼻および頬の領域を鼻103の中央位置から左右に分割するように設定される。
Further, the main CPU 11 sets the left cheek
さらに、メインCPU11は、左顎の輪郭を含むように左顎小領域205を設定し、右顎の輪郭を含むように右顎小領域206を設定し、口104の輪郭を含むように口小領域207を設定する。左顎小領域205は、左頬小領域203の下側且つ口小領域207の左側に設定される。右顎小領域206は、口小領域207の右側に設定される。
Further, the main CPU 11 sets the left jaw
なお、本実施形態では、顔検出処理によって顔100の輪郭(エッジ)そのものは検出していない。しかしながら、左目101、右目102および口104の位置関係から顔100の標準的な輪郭の位置を推測することができる。このことをふまえ、メインCPU11は、顔検出処理の結果得られた左目101、右目102および口104の位置関係に基づいて、7つの小領域201〜207の位置および大きさを決定する。
In the present embodiment, the contour (edge) itself of the
図5のステップS13において、メインCPU11は、上記設定した7つの小領域201〜207の各々において、鮮鋭度を算出する。なお、各小領域の鮮鋭度は、たとえば2次微分処理を用いるなど、公知の方法で算出すればよい。
In step S <b> 13 of FIG. 5, the main CPU 11 calculates the sharpness in each of the set seven
図7は、図4(b)に示した画像の顔100の領域において、上記7つの小領域201〜207を設定した状態を示す図である。図7では、顔100において、目、鼻および口は遮蔽されていないものの、左顎から口元にかけて手150が重なっているため、左顎の輪郭の一部が遮蔽されている。そのため、図7において、左顎小領域205の鮮鋭度は、顎部分の輪郭が遮蔽されていない右顎小領域206の鮮鋭度と比べて低くなる。特に手150を動かしている際に撮影された場合には、手150がブレて写るため、左顎小領域205の鮮鋭度は、右顎小領域206の鮮鋭度と比べてより低くなる。
FIG. 7 is a diagram showing a state in which the seven
たとえば、図6に示したように、顔100に手150が重なっていない画像において、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との比が10:9であると仮定する。これに対し、図7に示すように、左顎部分に手150が重なった画像では、たとえば、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との比が5:9となるなど、左顎小領域205の鮮鋭度が図6に示した画像と比べても低くなる。つまり、図6に示す画像と図7に示す画像とを比較すると、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いが異なる。
For example, as shown in FIG. 6, in the image in which the
したがって、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いについて、顔100が遮蔽されていない画像と評価対象の画像とを比較することで、評価対象の画像において左顎または右顎に不要物が重なっているか否かを判断できる。すなわち、顔100が遮蔽されていない画像における上記度合いに対して評価対象の画像における上記度合いが大きく異なる場合には、評価対象の画像において左顎または右顎に不要物が重なっていると判断できる。一方、顔100が遮蔽されていない画像における上記度合いと評価対象の画像における上記度合いとがほぼ等しい場合には、評価対象の画像において左顎または右顎に不要物が重なっていないと判断できる。
Therefore, the image of the evaluation target is compared by comparing the image where the
また、左目小領域201と右目小領域202、および左頬小領域203と右頬小領域204についても同様に判断できると考えられる。すなわち、顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いに基づいて、顔100に不要物が重なっているか否かを判断できると考えられる。
Further, it can be considered that the left eye
さらに、左右の小領域における鮮鋭度の違いを比較するだけでなく、左頬小領域203と左顎小領域205、および右頬小領域204と右顎小領域206における鮮鋭度の違いを比較しても、同様に判断できると考えられる。また、左目小領域201と右目小領域202の鮮鋭度の平均値と口小領域207の鮮鋭度との違いを比較すれば、目または口に不要物が重なっているか否かを判断できると考えられる。
Furthermore, not only the difference in sharpness between the left and right subregions, but also the difference in sharpness between the
本実施形態では、以上の点をふまえて顔検出信頼度の評価処理が行われる。図5のステップS14において、メインCPU11は、記録候補画像とした(A+B)枚のフレーム画像の中から、顔100が遮蔽されていないと予測される1枚のフレーム画像を、基準画像として決定する。このときメインCPU11は、ステップS13において各フレーム画像の上記7つの小領域201〜207の各々で算出した鮮鋭度に基づいて、基準画像を決定する。
In the present embodiment, the evaluation process of the face detection reliability is performed based on the above points. In step S14 of FIG. 5, the main CPU 11 determines, from the (A + B) frame images that are recording candidate images, one frame image that is predicted not to be covered by the
たとえば、メインCPU11は、(A+B)枚のフレーム画像において、7つの小領域201〜207の各々における鮮鋭度の最大値を求める。メインCPU11は、各フレーム画像の鮮鋭度と上記鮮鋭度の最大値との差分を算出し、7つの小領域201〜207における上記差分が総合的に最も小さいフレーム画像を、顔100が遮蔽されていない画像と判断し、基準画像として決定する。
For example, the main CPU 11 obtains the maximum value of the sharpness in each of the seven
ステップS15において、メインCPU11は、(A+B)枚のフレーム画像を順に評価対象画像に設定して、顔検出信頼度の評価を行う。メインCPU11は、以下の第1組〜第6組における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、この比較結果に基づいて評価対象画像における顔検出信頼度を評価する。
(第1組)左目小領域201の鮮鋭度と右目小領域202の鮮鋭度との違いの度合い
(第2組)左頬小領域203の鮮鋭度と右頬小領域204の鮮鋭度との違いの度合い
(第3組)左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合い
(第4組)左頬小領域203の鮮鋭度と左顎小領域205の鮮鋭度との違いの度合い
(第5組)右頬小領域204の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合い
(第6組)左目小領域201の鮮鋭度および右目小領域202の鮮鋭度の平均値と口小領域207の鮮鋭度との違いの度合い
In step S15, the main CPU 11 sequentially sets (A + B) frame images as evaluation target images, and evaluates the face detection reliability. The main CPU 11 compares the reference image and the evaluation target image for the degree of difference in sharpness in the following first to sixth groups, and evaluates the face detection reliability in the evaluation target image based on the comparison result. .
(First set) The degree of difference between the sharpness of the left eye
なお、上記鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較する方法としては、たとえば、以下に説明する方法を用いればよい。以下の説明では、上記第3組(左顎小領域205と右顎小領域206の組)における鮮鋭度の違いの度合いについて比較する場合を例に説明する。メインCPU11は、評価対象画像における左顎小領域205の鮮鋭度を、基準画像における左顎小領域205の鮮鋭度で規格化する。また、メインCPU11は、評価対象画像における右顎小領域206の鮮鋭度を、基準画像における右顎小領域206の鮮鋭度で規格化する。ここで、評価対象画像における規格化後の左顎小領域205の鮮鋭度をαと表記し、右顎小領域206の鮮鋭度をβと表記する。
As a method for comparing the reference image and the evaluation target image with respect to the degree of difference in the sharpness, for example, a method described below may be used. In the following description, an example will be described in which the degree of difference in sharpness in the third set (the set of the
メインCPU11は、αとβの比が基準値から所定範囲内にある場合、評価対象画像における上記度合いと基準画像における上記度合いとの違いが所定範囲内であると判断する。この場合、メインCPU11は、左顎小領域205または右顎小領域206に不要物が重なっていないと判断する。
When the ratio of α and β is within a predetermined range from the reference value, the main CPU 11 determines that the difference between the degree in the evaluation target image and the degree in the reference image is within the predetermined range. In this case, the main CPU 11 determines that an unnecessary object does not overlap the
一方、メインCPU11は、αとβの比が基準値から所定値以上異なる場合には、評価対象画像における上記度合いが基準画像における上記度合いと所定以上異なると判断する。この場合、メインCPU11は、左顎小領域205または右顎小領域206に不要物が重なっていると判断する。
On the other hand, when the ratio of α and β differs from the reference value by a predetermined value or more, the main CPU 11 determines that the degree in the evaluation target image is different from the degree in the reference image by a predetermined value or more. In this case, the main CPU 11 determines that an unnecessary object overlaps the
このようにして、メインCPU11は、上記第1組〜第6組における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、各小領域に不要物が重なっているか否かを判断する。メインCPU11は、上記第1組〜第6組のうちいずれか1組についても、評価対象画像における上記度合いが基準画像における上記度合いと所定以上異なる場合には、評価対象画像における顔検出信頼度の評価を上記(A+B)枚のフレーム画像内で相対的に低くする。すなわち、メインCPU11は、上記第1組〜第6組のうちいずれか1組でも不要物が重なっていると判断された場合には、顔検出信頼度の評価を相対的に低くする。 In this way, the main CPU 11 compares the reference image with the evaluation target image for the degree of difference in sharpness in the first to sixth groups, and determines whether or not unnecessary objects overlap each small region. to decide. For any one of the first to sixth sets, the main CPU 11 determines the degree of face detection reliability in the evaluation target image when the degree in the evaluation target image differs from the above level in the reference image by a predetermined amount or more. The evaluation is relatively low in the (A + B) frame images. That is, the main CPU 11 relatively lowers the evaluation of the face detection reliability when it is determined that any one of the first to sixth sets overlaps with an unnecessary object.
一方、メインCPU11は、上記第1組〜第6組の全てにおいて、評価対象画像における上記度合いと基準画像における上記度合いとの違いが所定範囲内である場合には、評価対象画像における上記(A+B)枚のフレーム画像内で相対的に高くする。すなわち、メインCPU11は、上記第1組〜第6組のうち全てにおいて不要物が重なっていないと判断された場合に、顔検出信頼度の評価を相対的に高くする。 On the other hand, if the difference between the degree in the evaluation target image and the degree in the reference image is within a predetermined range in all of the first to sixth sets, the main CPU 11 (A + B) ) Relatively high in one frame image. That is, the main CPU 11 relatively increases the evaluation of the face detection reliability when it is determined that unnecessary objects do not overlap in all of the first to sixth groups.
このようにメインCPU11は、上記第1組〜第6組のうちいずれか1組においても不要物が重なっていると判断された場合には、上記第1組〜第6組の全てにおいて不要物が重なっていないと判断された場合と比べて、評価対象画像における顔検出信頼度の評価を低くする。 As described above, when it is determined that any one of the first group to the sixth group overlaps the unnecessary object, the main CPU 11 determines the unnecessary object in all the first group to the sixth group. The evaluation of the face detection reliability in the evaluation target image is made lower than when it is determined that the two do not overlap.
以上の処理により、図4(a)に示したように目、鼻および口のいずれか遮蔽された画像だけでなく、図4(b)に示したように目、鼻および口が遮蔽されていないが顔100に不要物が重なっている画像についても、顔検出信頼度の評価を相対的に低くすることができる。一方、図4(c)に示したように顔100に不要物が重なっていない画像については、顔検出信頼度の評価を相対的に高くすることができる。
As a result of the above processing, not only the eye, nose and mouth are shielded as shown in FIG. 4 (a), but also the eyes, nose and mouth are shielded as shown in FIG. 4 (b). The evaluation of the face detection reliability can be relatively lowered even for an image in which an unnecessary object overlaps the
上述した図3のステップS5において、メインCPU11は、この顔検出信頼度の評価を含む評価結果に基づいて、(A+B)枚のフレーム画像からC枚のベストショット候補画像を選定する。このとき、目、鼻および口が遮蔽されていないが顔100に不要物が重なっている画像について顔検出信頼度の評価が相対的に低くなっているので、このような画像がベストショット候補画像として選ばれるのを防止できる。一方、顔100に不要物が重なっていない画像については顔検出信頼度の評価が相対的に高くなっているので、ベストショット候補画像として選ばれるようにできる。
In step S5 of FIG. 3 described above, the main CPU 11 selects C best shot candidate images from (A + B) frame images based on the evaluation result including the evaluation of the face detection reliability. At this time, since the evaluation of the face detection reliability is relatively low with respect to an image in which the eyes, nose and mouth are not shielded but an unnecessary object is superimposed on the
以上説明した実施の形態によれば、次の作用効果が得られる。
(1)デジタルカメラ1において、メインCPU11は、入力された複数の画像から被写体の顔を検出し、顔の領域に複数の小領域201〜207を設定し、複数の小領域201〜207の各々において、鮮鋭度を算出する。メインCPU11は、上記複数の画像の中から基準画像を決定する。メインCPU11は、複数の小領域201〜207のうちの顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較し、比較結果に基づいて上記複数の画像をそれぞれ評価する。メインCPU11は、上記評価結果に基づいて、上記複数の画像の中から一枚以上の画像を選定する。こうすることにより、デジタルカメラ1は、顔に不要物が重なった画像を適切に評価でき、このような画像がベストショット候補として選ばれるのを防止することができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) In the
(2)メインCPU11は、上記複数の画像のうちの評価対象画像における上記度合いが、上記基準画像における上記度合いと所定以上異なる場合に、上記評価対象画像の評価を上記複数の画像内で相対的に低くする。これにより、顔に不要物が重なった画像の評価を上記複数の画像内で相対的に低くすることができる。 (2) When the degree of the evaluation target image among the plurality of images is different from the degree of the reference image by a predetermined amount or more, the main CPU 11 relatively evaluates the evaluation target image within the plurality of images. To lower. Thereby, the evaluation of an image in which an unnecessary object is superimposed on the face can be relatively lowered in the plurality of images.
(3)上記複数の小領域201〜207は、顔の一部の輪郭を含む位置および大きさに設定される。これにより、上記複数の小領域201〜207の各々において算出した鮮鋭度に基づいて、顔に不要物が重なっている場合か否かを判断できる。
(3) The plurality of
(4)メインCPU11は、左頬小領域203の鮮鋭度と右頬小領域204の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左頬または右頬に不要物が重なっているか否かを判断できる。
(4) The main CPU 11 compares the degree of difference between the sharpness of the
(5)メインCPU11は、左顎小領域205の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左顎または右顎に不要物が重なっているか否かを判断できる。
(5) The main CPU 11 compares the degree of difference between the sharpness of the
(6)メインCPU11は、左目小領域201の鮮鋭度と右目小領域202の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左目または右目に不要物が重なっているか否かを判断できる。
(6) The main CPU 11 compares the degree of difference between the sharpness of the left-eye
(7)メインCPU11は、左頬小領域203の鮮鋭度と左顎小領域205の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左頬または左顎に不要物が重なっているか否かを判断できる。
(7) The main CPU 11 compares the degree of difference between the sharpness of the
(8)メインCPU11は、右頬小領域204の鮮鋭度と右顎小領域206の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、右頬または右顎に不要物が重なっているか否かを判断できる。
(8) The main CPU 11 compares the degree of difference between the sharpness of the
(9)メインCPU11は、左目小領域201および右目小領域202の鮮鋭度と口小領域207の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、目または口に不要物が重なっているか否かを判断できる。
(9) The main CPU 11 compares the degree of difference between the sharpness of the small
(変形例1)
上述した実施の形態では、図6に示したように、顔領域を7つの小領域に分割する例について説明した。しかしながら、顔領域の分割数や小領域の形状など、分割方法についてはこれに限らなくてもよい。たとえば、口小領域207を設定せずに、口を含む顎の領域を口104の中央位置から左右に分割するように、左顎小領域205および右顎小領域206を設定するようにしてもよい。
(Modification 1)
In the above-described embodiment, as shown in FIG. 6, the example in which the face area is divided into seven small areas has been described. However, the division method such as the number of divisions of the face area and the shape of the small area is not limited to this. For example, the
また、上述した実施形態では、顔領域を上下左右に分割するように小領域を設定する例について説明したが、顔領域を左右のみに分割するように小領域を設定してもよいし、顔領域を上下のみに分割するように小領域を設定してもよい。 In the above-described embodiment, the example in which the small area is set to divide the face area vertically and horizontally has been described. However, the small area may be set to divide the face area only to the left and right. You may set a small area | region so that an area | region may be divided | segmented only into upper and lower sides.
(変形例2)
上述した実施の形態では、上記第1組〜第6組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価する例について説明した。しかしながら、必ずしも上記第1組〜第6組の全ての組について鮮鋭度の違いの度合いを比較しなくてもよい。
(Modification 2)
In the embodiment described above, the reference image and the evaluation target image are compared for the degree of difference in sharpness in the first to sixth sets of small regions, and the face detection reliability in the evaluation target image is based on the comparison result. The example which evaluates a degree was demonstrated. However, it is not always necessary to compare the degree of sharpness difference for all of the first to sixth groups.
たとえば、上記第1組〜第3組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価するようにしてもよい。このようにしても、顔100に不要物が重なっているか否かを判断して評価することができる。
For example, the reference image and the evaluation target image are compared for the degree of difference in sharpness in the first to third sets of small regions, and the face detection reliability in the evaluation target image is evaluated based on the comparison result. It may be. Even in this case, it can be evaluated by judging whether or not an unnecessary object is superimposed on the
(変形例3)
上述した実施の形態では、顔領域に設定した各小領域において、特徴量として鮮鋭度を算出し、当該鮮鋭度に基づいて顔検出信頼度を評価する例について説明した。しかしながら、各小領域において、鮮鋭度の代わりにこの他の特徴量を算出し、当該特徴量に基づいて顔検出信頼度を評価するようにしてもよい。たとえば、各小領域において、顔の輪郭線の滑らかさを算出し、当該顔の輪郭線の滑らかさに基づいて顔検出信頼度を評価するようにしてもよい。また、たとえば、各小領域において、顔の輪郭線のパターンマッチングを行い、この結果に基づいて顔検出信頼度を評価するようにしてもよい。この場合、顔に不要物(たとえば手など)が重なっていない画像を基準画像として決定し、基準画像以外の画像について、基準画像に基づいて顔の輪郭線のパターンマッチングを行ってもよい。
(Modification 3)
In the embodiment described above, an example has been described in which the sharpness is calculated as the feature amount in each small region set as the face region, and the face detection reliability is evaluated based on the sharpness. However, in each small region, another feature amount may be calculated instead of the sharpness, and the face detection reliability may be evaluated based on the feature amount. For example, in each small region, the smoothness of the face outline may be calculated, and the face detection reliability may be evaluated based on the smoothness of the face outline. In addition, for example, pattern matching of face contour lines may be performed in each small region, and the face detection reliability may be evaluated based on the result. In this case, an image in which an unnecessary object (such as a hand) does not overlap the face may be determined as the reference image, and pattern matching of the face contour line may be performed based on the reference image for images other than the reference image.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
1…デジタルカメラ、11…メインCPU、15…バッファメモリ、18…操作部材、18a…半押しスイッチ、18b…全押しスイッチ、21…撮影レンズ、22…撮像素子、30…記録媒体
DESCRIPTION OF
Claims (9)
前記顔の領域に第1領域および第2領域を設定する領域設定部と、
前記第1領域の特徴量および前記第2領域の特徴量を算出する特徴量算出部と、
前記複数の画像のうちの所定枚数の画像について、各画像の前記第1領域の特徴量および前記第2領域の特徴量に基づいて、前記各画像を前記所定枚数の中で相対的に評価する画像評価部と、
を備える撮像装置。 A face detection unit for detecting the face of a subject from a plurality of input images;
An area setting unit for setting a first area and a second area in the face area;
A feature amount calculation unit for calculating a feature amount of the first region and a feature amount of the second region;
For a predetermined number of images of the plurality of images, the images are relatively evaluated within the predetermined number of images based on the feature amount of the first region and the feature amount of the second region of each image. An image evaluation unit;
An imaging apparatus comprising:
前記所定枚数の画像の中から基準画像を決定する基準画像決定部を備え、
前記画像評価部は、前記基準画像における前記第1領域の特徴量および前記第2領域の特徴量と、前記基準画像以外の他の画像における前記第1領域の特徴量および前記第2領域の特徴量と、に基づいて前記相対的な評価を行う撮像装置。 The imaging device according to claim 1,
A reference image determination unit for determining a reference image from the predetermined number of images;
The image evaluation unit includes the feature amount of the first region and the feature amount of the second region in the reference image, and the feature amount of the first region and the feature of the second region in an image other than the reference image. and quantity, the imaging apparatus performs the relative evaluation based on.
前記画像評価部は、前記第1領域の特徴量および前記第2領域の特徴量の違いの度合いについて、前記基準画像と前記基準画像以外の他の画像とで比較し、前記比較の結果に基づいて前記各画像を評価する撮像装置。 The imaging device according to claim 2,
The image evaluation unit compares the difference between the feature amount of the first region and the feature amount of the second region between the reference image and another image other than the reference image, and based on the result of the comparison An imaging device for evaluating each image.
前記画像評価部は、前記基準画像以外の他の画像における前記度合いが、前記基準画像における前記度合いと所定以上異なる場合に、その画像の評価を前記所定枚数の画像内で相対的に低くする撮像装置。 The imaging device according to claim 3.
The image evaluation unit is configured to capture an image with a relatively low evaluation in the predetermined number of images when the degree of the image other than the reference image differs from the degree of the reference image by a predetermined amount or more. apparatus.
前記領域設定部は、前記顔の一部の輪郭を含む位置および大きさで前記第1領域および前記第2領域を設定する撮像装置。 In the imaging device according to any one of claims 1 to 4,
The area setting unit is an imaging apparatus that sets the first area and the second area at a position and size including a partial outline of the face.
前記領域設定部は、前記顔の右側に前記第1領域を設定し、前記顔の左側に前記第2領域を設定する撮像装置。 In the imaging device according to any one of claims 1 to 5,
The area setting unit sets the first area on the right side of the face and sets the second area on the left side of the face.
前記領域設定部は、前記顔の右側または左側において、頬を含む位置に前記第1領域を設定し、顎を含む位置に前記第2領域を設定する撮像装置。 In the imaging device according to any one of claims 1 to 5,
The area setting unit sets the first area at a position including a cheek and sets the second area at a position including a chin on the right side or the left side of the face.
前記所定枚数の画像は、連続的に撮影された画像である撮像装置。 In the imaging device according to any one of claims 1 to 7,
The image pickup apparatus, wherein the predetermined number of images are images taken continuously.
前記画像評価部による評価結果に基づいて、前記所定枚数の画像の中から一枚以上の画像を選定する画像選定部をさらに備える撮像装置。 In the imaging device according to any one of claims 1 to 8,
An imaging apparatus further comprising an image selection unit that selects one or more images from the predetermined number of images based on an evaluation result by the image evaluation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013212362A JP6318535B2 (en) | 2013-10-09 | 2013-10-09 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013212362A JP6318535B2 (en) | 2013-10-09 | 2013-10-09 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018073164A Division JP2018106763A (en) | 2018-04-05 | 2018-04-05 | Imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015076767A JP2015076767A (en) | 2015-04-20 |
JP6318535B2 true JP6318535B2 (en) | 2018-05-09 |
Family
ID=53001309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013212362A Active JP6318535B2 (en) | 2013-10-09 | 2013-10-09 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6318535B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7409172B2 (en) | 2020-03-12 | 2024-01-09 | 大日本印刷株式会社 | image generation system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4448304B2 (en) * | 2003-09-11 | 2010-04-07 | セコム株式会社 | Face detection device |
JP2008167028A (en) * | 2006-12-27 | 2008-07-17 | Nikon Corp | Imaging apparatus |
JP2008228185A (en) * | 2007-03-15 | 2008-09-25 | Fujifilm Corp | Imaging apparatus |
JP5482080B2 (en) * | 2009-10-14 | 2014-04-23 | 富士通株式会社 | Hand recognition device |
JP5172995B2 (en) * | 2011-06-29 | 2013-03-27 | アイシン精機株式会社 | Face orientation discrimination device and computer program |
-
2013
- 2013-10-09 JP JP2013212362A patent/JP6318535B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015076767A (en) | 2015-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9854149B2 (en) | Image processing apparatus capable of obtaining an image focused on a plurality of subjects at different distances and control method thereof | |
JP4748244B2 (en) | Image selection apparatus, image selection method, and program | |
JP5246363B2 (en) | Image processing apparatus and image evaluation program | |
JP5736796B2 (en) | Electronic camera, program and recording medium | |
US8922669B2 (en) | Image processing apparatus having a display unit and image processing program for controlling the display unit | |
US8441554B2 (en) | Image capturing apparatus capable of extracting subject region from captured image | |
JP5126207B2 (en) | Imaging device | |
CN108156365B (en) | Image pickup apparatus, image pickup method, and recording medium | |
US9092659B2 (en) | Subject determination apparatus that determines whether or not subject is specific subject | |
JP2006254229A (en) | Imaging apparatus, imaging method and imaging program | |
JP6720881B2 (en) | Image processing apparatus and image processing method | |
US20100188520A1 (en) | Imaging device and storage medium storing program | |
KR101423432B1 (en) | Imaging apparatus, imaging method and storage medium | |
US20100246968A1 (en) | Image capturing apparatus, image processing method and recording medium | |
KR101004914B1 (en) | Imaging apparatus and imaging method | |
JP2007188126A (en) | Image brightness calculation device, method, and program | |
JP2006287814A (en) | Imaging apparatus and method of determining motion vector | |
JP2008263478A (en) | Imaging apparatus | |
JP6450107B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
JP6318535B2 (en) | Imaging device | |
JP2018106763A (en) | Imaging apparatus | |
JP2013152643A (en) | Image processing apparatus, image processing method, and program | |
JP2011223399A (en) | Camera | |
JP4983672B2 (en) | Imaging apparatus and program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6318535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |