JP4498296B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP4498296B2
JP4498296B2 JP2006081601A JP2006081601A JP4498296B2 JP 4498296 B2 JP4498296 B2 JP 4498296B2 JP 2006081601 A JP2006081601 A JP 2006081601A JP 2006081601 A JP2006081601 A JP 2006081601A JP 4498296 B2 JP4498296 B2 JP 4498296B2
Authority
JP
Japan
Prior art keywords
hierarchy
image
object detection
detected
detection process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006081601A
Other languages
English (en)
Other versions
JP2007257358A (ja
Inventor
晶彦 山田
正義 岡本
真己 安田
淳 木山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006081601A priority Critical patent/JP4498296B2/ja
Publication of JP2007257358A publication Critical patent/JP2007257358A/ja
Application granted granted Critical
Publication of JP4498296B2 publication Critical patent/JP4498296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

この発明は、入力画像から顔等の特定の物体を検出するために用いられる物体検出装置に関する。
本出願人は、次のような物体検出装置を開発し、既に特許出願している(特願2006−053304参照)。つまり、入力画像から複数の縮小画像を生成する。入力画像と縮小画像とから構成される複数の階層画像毎にエッジ特徴画像を生成する。各階層画像のエッジ特徴画像毎に、エッジ特徴画像内において、判定領域を走査しながら、判定領域内に特定物体が存在するか否かを判別する。
このような物体検出を動画像から取り込んだ入力画像に対して連続的に行なう場合、各入力画像毎に全ての階層画像を使用すると、検出精度は維持できるが処理時間が常に長くなるという問題がある。
特開2000−134638号公報
この発明は、動画像から取り込んだ入力画像に対して物体検出を連続的に行なう場合に、検出精度を維持しながら、処理時間の短縮化が図れる物体検出装置を提供することを目的とする。
請求項1に記載の発明は、入力画像中の特定物体を検出する物体検出装置において、入力画像から複数の階層画像を生成し、各階層画像毎に特定物体検出処理を行なう第1の物体検出処理を行なう手段、特定の階層画像を生成し、その階層に対して特定物体検出処理を行なう第2の物体検出処理を行なう手段、第1の物体検出処理によって、特定物体が検出されなかった場合には、次の入力画像に対しても、第1の物体検出処理を行なう手段、第1の物体検出処理によって、いずれかの階層において特定物体が検出された場合には、次の入力画像に対しては、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、第2の物体検出処理によって特定物体が検出された場合には、次の入力画像に対しても、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、ならびに第2の物体検出処理によって、特定物体が検出されなかった場合には、次の入力画像に対しては、第1の物体検出処理を行なう手段を備えていることを特徴とする。
請求項2に記載の発明は、入力画像中の特定物体を検出する物体検出装置において、入力画像から複数の階層画像を生成し、各階層画像毎に特定物体検出処理を行なう第1の物体検出処理を行なう手段、特定の階層画像を生成し、その階層に対して特定物体検出処理を行なう第2の物体検出処理を行なう手段、第1の物体検出処理によって、特定物体が検出されなかった場合には、次の入力画像に対しても、第1の物体検出処理を行なう手段、第1の物体検出処理によって、いずれかの階層において特定物体が検出された場合には、次の入力画像に対しては、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、第2の物体検出処理によって特定物体が検出された場合には、次の入力画像に対しても、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、第2の物体検出処理によって特定物体が検出されなかった場合には、次の入力画像に対して処理対象となる階層画像の階層を選択する階層番号選択処理を行うとともに、次の入力画像に対しては階層番号選択処理によって選択された階層の階層画像に対して第2の物体検出処理を行なう手段、ならびに第2の物体検出処理において、特定物体が検出されない状態が所定回数連続した場合においては、次の入力画像に対しては、第1の物体検出処理を行なう手段を備えていることを特徴とする。
請求項3に記載の発明は、請求項2に記載の発明において、階層番号選択処理は、最新に特定物体が検出された階層を基準階層として、基準階層を中心として交互にかつ階層が基準階層から離れていく方向に処理対象となる階層が変化するように、処理対象となる階層を決定するものであることを特徴とする。
請求項4に記載の発明は、請求項2に記載の発明において、階層番号選択処理は、最新に特定物体が検出された階層を基準階層として、基準階層から最下位の階層または最上位の階層に向かう方向に、処理対象となる階層が変化するように、処理対象となる階層を決定するものであることを特徴とする。
請求項5に記載の発明は、請求項2に記載の発明において、階層番号選択処理は、特定物体が検出された階層の履歴に基づいて、画像内の特定物体の大きさが変化する方向を予測し、予測した方向に処理対象となる階層が変化するように、処理対象となる階層を決定するものであることを特徴とする。
請求項6に記載の発明は、請求項1乃至5に記載の発明において、第2の物体検出処理を行なうにあたっては、最新に検出された特定物体の位置に基づいて、処理対象となる階層画像に対して探索する領域を限定するための探索領域設定処理を行なう手段を備えていることを特徴とする。
請求項7に記載の発明は、請求項6に記載の発明において、探索領域設定処理は、最新に検出された特定物体の位置を略中心とする所定範囲の領域に、探索領域を設定するものであることを特徴とする。
請求項8に記載の発明は、請求項6に記載の発明において、探索領域設定処理は、最新に特定物体が検出された階層において、複数の特定物体が検出されている場合には、検出された各特定物体それぞれを略中心とする複数の所定範囲の領域を合成した領域を、探索領域として設定するものであることを特徴とする。
この発明によれば、動画像から取り込んだ入力画像に対して物体検出を連続的に行なう場合に、検出精度を維持しながら、処理時間の短縮化が図れるようになる。
本願発明の実施例を説明する前に、本出願人が既に開発した顔検出方法について説明する。
図1は、入力画像から生成される階層画像の例を示している。
この例では、縮小率Rを0.8に設定し、入力画像に対してR倍、R2 倍、R3 倍、R4 倍 、R5 倍の5枚の縮小画像を生成することにより、入力画像と5枚の縮小画像とからなる6枚の階層画像が生成されている。階層画像を特定するために、最下位の階層の画像から順に、1〜N(この例ではN=6)までの階層番号が付けられているものとする。41は判定領域を示している。この例では、判定領域は24×24の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。また、この例では、矢印で示すように、判定領域を左から右に水平方向に走査するといった動作を、上方から下方に向かって行なうようにしている。ただし、走査順はこれに限られるものではない。入力画像の他に、複数の縮小画像を生成しているのは、1種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
図2は、顔検出処理方法を示している。
まず、入力画像を取得し(ステップS1)、階層番号(1〜N)を表す変数nを0に設定する(ステップS2)。次に、nを1だけインクリメントする(ステップS3)。そして、n番目の階層画像を作成する(ステップS4)。次に、n番目の階層画像に対して、4方向のエッジ特徴画像を生成し(ステップS5)、各エッジ特徴画像と後述する重みテーブルとを用いて顔検出処理を行なう(ステップS6)。そして、検出結果を出力する(ステップS7)。n=Nであるか否かを判別する(ステップS8)。n=Nでなけれ、ステップS3に戻り、ステップS3〜S8の処理を行なう。そして、ステップS8でn=Nであると判別されると、今回の処理を終了する。
図3は、図2のステップS5で行なわれる4方向のエッジ特徴画像の生成処理の手順を示している。
処理対象の階層画像を入力し(ステップS11)、入力した階層画像に対し、例えば、図4(a)〜(d)に示すような、水平方向、垂直方向、右斜上方向および左斜上方向の4方向それぞれに対応するPrewitt 型の微分フィルタを用いて、エッジ強調処理を行なうことにより、4方向の第1エッジ強調画像を生成する(ステップS12)。次に、得られた4方向の第1エッジ強調画像の各対応する画素毎に、画素値が最大のものを残し、その他の画素値を0とすることにより、4方向の第2エッジ強調画像を生成する(ステップS13)。生成された4方向の第2エッジ強調画像それぞれに対して平滑化処理を行なうことにより、4方向のエッジ特徴画像を生成する(ステップS14)。そして、生成した4方向のエッジ特徴画像を出力する(ステップS15)。
図5は、図2のステップS6の顔検出処理を説明するための図である。
ここでは、任意の下層画像に対して行なわれる顔検出処理について説明する。図5において、41は入力画像内に設定された判定領域を示している。
図6は、入力画像内の判定領域に対応する4方向のエッジ特徴画像を示している。上述したように、判定領域41の大きさは24×24であるが、説明の便宜上、図6においては判定領域41の大きさを8×8の大きさとしている。図7は、判定領域41の大きさを8×8の大きさとした場合の、重みテーブルの内容例を示している。
判定領域41の大きさの各エッジ特徴画像の画素位置を、エッジ特徴画像の種類q(エッジ番号:0〜3)と行番号y(0〜7)と列番号x(0〜7)で表すことにする。重みテーブルには、各エッジ特徴画像内の画素のうち、顔検出に用いられる特徴画素毎に、その画素における特徴量(画素値)に対応して顔らしさを表す重みwが格納されている。
図7の例では、水平方向のエッジ特徴画像のエッジ番号を”0”、垂直方向のエッジ特徴画像のエッジ番号を”1”、右斜上方向のエッジ特徴画像のエッジ番号を”2”、左斜上方向水平エッジのエッジ特徴画像のエッジ番号を”3”に設定している。
このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる(Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20,1995.)。
なお、Adaboostは、適応的なブースティング学習方法の1つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
顔検出処理は、画像内に設定された判定領域41に対応する4方向のエッジ特徴画像と重みテーブルとを用いて行なわれる。
図8は、入力画像内に設定された判定領域に対して行なわれる顔検出処理手順を示している。
顔検出処理は、第1の判定ステップ(ステップS21)から第6の判定ステップ(ステップS26)までの判定ステップを備えている。各判定ステップは、判定に用いる特徴画素数Mに違いがある。第1の判定ステップ(ステップS21)〜第6の判定ステップ(ステップS26)では、それぞれ判定に用いる特徴画素数MはM1〜M6となっている。M1<M2<M3<M4<M5<M6である。
ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定する。
図9は、図8の各判定ステップで実行される判定処理手順を示している。
以下、N個の特徴画素数を用いて判定を行なう場合について説明する。まず、判定領域を設定し(ステップS31)、スコアを表す変数Sを0に設定するとともに、重みを取得した特徴画素の数を表す変数mを0に設定する(ステップS32)。
そして、特徴画素F(m)を選択する(ステップS33)。F(m)は、上述したように、エッジ番号q、行番号yおよび列番号xで表される。なお、この例では、重みテーブルに重みが格納されている特徴画素のうち、顔検出に重要なものから順番に、F(0)、F(1)、F(2)、…として、特徴画素が選択されるようになっているものとする。
選択した特徴画素F(m)に対応する画素値i(m)を、当該判定領域に対応するエッジ特徴画像から取得する(ステップS34)。重みテーブルから、特徴画素F(m)の画素値i(m)に対応する重みw(m)を取得する(ステップS35)。取得した重みw(m)をスコアSに加算する(ステップS36)。
次に、mを1だけインクリメントする(ステップS37)。そして、m=Mであるか否かを判別する(ステップS38)。m=Mでなければ、ステップS33に戻り、更新されたmを用いて、ステップS33〜S38の処理を行なう。
M個の特徴画素に対して、ステップS33〜S36の処理が行なわれると、ステップS38において、m=Mとなるため、ステップS39に移行する。ステップS39では、特徴画素数がM個である場合に予め定められた閾値ThよりスコアSが大きいか否かを判別する。S>Thであれば、当該判定領域に顔が存在すると判定する(ステップS40)。一方、S≦Thであれば、当該判定領域に顔が存在しないと判定する(ステップS41)。
本願発明を顔検出装置に適用した場合の実施例について説明する。
〔1〕顔検出装置の構成についての説明
図10は、顔検出装置の構成を示している。
顔検出装置は、入力画像信号をデジタルデータに変換するAD変換手段11、AD変換手段11によって得られた画像データを取込む画像取込み手段12、画像取込み手段12によって取り込まれた画像に基づいて階層画像を生成する階層画像生成手段13、階層画像生成手段13によって生成された階層画像に基づいて4方向のエッジ特徴画像を生成する4方向エッジ特徴画像生成手段14、大量の教師サンプル(顔および非顔のサンプル画像)から求められた顔検出用の重みテーブルを記憶したメモリ17、4方向エッジ特徴画像生成手段14によって生成された4方向のエッジ特徴画像と重みテーブルとを用いて、入力画像に顔が存在するか否かを判定する顔判定手段15、顔判定手段15の検出結果を出力する検出結果出力手段16および各部を制御する制御手段20を備えている。
検出結果出力手段16は、顔が検出された場合には、入力画像を基準として、検出された顔の大きさと位置とを出力する。検出結果出力手段16の検出結果は制御手段20に与えられる。
〔2〕顔検出装置による顔検出方法の考え方についての説明
この顔検出装置による顔検出方法の考え方について説明する。ここでは、入力画像に顔が存在する場合には、1種類の大きさの顔のみが存在するものとする。
まず、入力画像を取込み、取込んだ入力画像に対して、全階層検出モードによる顔検出処理を行う。全階層検出モードによる顔検出処理は、図2で示した従来例と同様な処理であり、図1で示されるような、予め定められた数の階層画像(この例では、6枚の階層画像)の全てに対して、顔検出処理を行う。全階層検出モードによる顔検出処理を行なった結果、いずれの階層画像においても顔が検出されなかった場合には、次の入力画像を取込み、取込んだ入力画像に対して全階層検出モードによる顔検出処理を行う。
全階層検出モードによる顔検出処理を行なった結果、いずれか1つの階層画像において顔が検出された場合には、次の入力画像を取込み、取り込んだ入力画像に対して単階層検出モードによる顔検出処理を行う。つまり、前回、顔が検出された階層画像に対応する1つの階層画像に対してのみ、顔検出処理を行う。
単階層検出モードによる顔検出処理を行なった結果、顔が検出された場合には、次の入力画像を取込み、取り込んだ入力画像に対して、再度、単階層検出モードによる顔検出処理を行う。この場合には、処理対象となる1つの階層画像の階層番号は変更されない。
単階層検出モードによる顔検出処理を行なった結果、いずれの階層画像においても顔が検出されなかった場合には、次の入力画像を取込み、取込んだ入力画像に対して、再度、単階層検出モードによる顔検出処理を行う。ただし、この場合には、処理対象となる1つの階層画像の階層番号を変更する。単階層検出モードによる顔検出処理において顔が検出されない状態が、予め定められた所定回数にわたって連続した場合には、次の取込み画像に対しては全階層検出モードによる顔検出処理を行う。
なお、単階層検出モードによる顔検出処理において顔が検出されなかった場合には、次に取り込んだ入力画像に対して、全階層検出モードによる顔検出処理を行うようにしてもよい。
この顔検出装置による顔検出方法では、取り込んだ全ての入力画像に対して従来例と同様な全階層検出モードによる顔検出処理を行なうのではなく、条件によっては取り込んだ入力画像に対して1つの階層画像に対してのみ顔検出処理を行なう単階層検出モードによる顔検出処理を行なうので、取り込んだ全ての入力画像に対して従来例と同様な全階層検出モードによる顔検出処理を行なう場合に比べて、処理時間の短縮化が図れる。
また、デジタルカメラから入力される表示用スルー画像のような動画像では、画像内の顔の大きさが変化することは少ないと考えられるので、単階層検出モードによる顔検出処理でも顔を検出できる可能性は高く、検出精度もさほど低下しないと考えられる。
また、ズーム操作によって画像内の顔の大きさが変化する場合もあるが、単階層検出モードによる顔検出処理で顔が検出できない場合には、次の取込み画像に対しては、処理対象となる1つの階層画像の階層を変更して単階層検出モードによる顔検出処理を行なうことにより、画像内の顔の大きさが変化する場合にも、単階層検出モードによる顔検出処理において顔を検出できる可能性が高く、検出精度もさほど低下しないと考えられる。
〔3〕顔検出装置によって行なわれる全体的な処理についての説明
図11は、顔検出装置によって行なわれる全体的な処理手順を示している。図11は、入力画像を取り込んでから、次の入力画像を取り込むまでに行なわれる処理の手順を示している。
上述したように、この顔検出装置では、単階層検出モードによる顔検出処理において顔が検出されない状態の連続回数が予め定められた所定回数(限界値)に達した場合には、次の取込み画像に対しては全階層検出モードによる顔検出処理を行う。kは、単階層検出モードによる顔検出処理において顔が検出されない状態の連続回数を記憶するための変数である。Kは、上記限界値を示す値である。なお、この実施例では、単階層検出モードによる顔検出処理において顔が検出されない状態の連続回数kが予め定められた所定回数Kに達していない場合においても、次回において全階層検出モードによる顔検出処理を行なう場合がある。
フラグFaは、今回取り込んだ画像に対して、全階層検出モードによる顔検出処理を行なうか、単階層検出モードによる顔検出処理を行なうかを判定するための検出モード判定用フラグである。フラグFaの初期値は0である。フラグFbは、単階層検出モードによる顔検出処理において顔が検出されない状態の連続回数kが予め定められた所定回数Kに達していない場合において、次回において全階層検出モードによる顔検出処理を行なうか単階層検出モードによる顔検出処理を行なうかを判定するためのフラグである。フラグFbの初期値は0である。
まず、入力画像を取り込む(ステップS101)。次に、Fa=1であるか否かを判別する(ステップS102)。Faの初期値は0である。
Fa=0である場合には、全階層検出モードによる顔検出処理を実行する(ステップS103)。図12は、全階層検出モードによる顔検出処理手順を示している。図12のステップS201〜S207は、それぞれ図2のステップS2〜S8に対応している。全階層検出モードによる顔検出処理では、上記ステップS101で取り込まれた画像に基づいて、図2で説明した処理と同様な処理が行なわれる。つまり、階層番号n=1〜n=N(この例では、N=6)の全ての階層画像に対して、顔検出処理が行なわれる。この場合には、各階層画像の全体の領域にわたって、判定領域を走査する。
上記ステップS103の全階層検出モードによる顔検出処理において、顔が検出されなかった場合には(ステップS104でNO)、ステップS101に戻る。この場合には、入力画像が取り込まれ、取り込まれた画像に対して、全階層検出モードによる顔検出処理が実行される。
上記ステップS103の全階層検出モードによる顔検出処理において、1つの階層画像に対して顔が検出された場合には(ステップS104でYES)、k=0とした後(ステップS105)、顔が検出された階層画像の階層番号pを取得する(ステップS106)。そして、次回において処理対象となる階層画像の階層番号nとしてpを設定する(ステップS107)。したがって、次回においては、今回、顔が検出された階層画像と同じ階層の階層画像に対して、単階層検出モードによる顔検出処理が行なわれることになる。また、次回において探索する領域を設定する(ステップS108)。
次回において探索する領域を、ステップS107で設定された階層番号nに対応する階層画像の全体の領域としてもよいが、処理時間の短縮化を図るために、図13に示すように、最新に検出された顔の位置を中心とする所定の領域42に探索領域設定することが好ましい。次回においては、設定された探索領域内において、判定領域41が走査されることになる。次回において探索する領域を設定すると、Fa=1とした後(ステップS109)、ステップS101に戻る。
上記ステップS102において、Fa=1と判別された場合には、単階層検出モードによる顔検出処理を実行する(ステップS110)。図14は、単階層検出モードによる顔検出処理手順を示している。単階層検出モードによる顔検出処理では、前回においてステップS107で設定された階層番号nによって指定される階層画像に対してのみ顔検出処理が行なわれる。また、前回のステップS108で設定された探索領域内に対してのみ顔検出処理が行なわれる。つまり、まず、上記ステップS101で取り込まれた画像に基づいて、階層番号nに対応する階層画像を生成する(ステップS211)。そして、生成した階層画像に対して、4方向のエッジ特徴画像を生成し(ステップS212)、各エッジ特徴画像と重みテーブルとを用いて顔検出処理を行なう(ステップS213)。そして、検出結果を出力する(ステップS214)。
上記ステップS110の単階層検出モードによる顔検出処理において、顔が検出された場合には(ステップS111でYES)、k=0とした後(ステップS105)、顔が検出された階層画像の階層番号pを取得する(ステップS106)。そして、次回において処理対象となる階層画像の階層番号nとしてpを設定する(ステップS107)。したがって、次回においても、今回と同じ階層の1つの階層画像に対して、単階層検出モードによる顔検出処理が行なわれることになる。また、次回において探索する領域を設定する(ステップS108)。そして、Fa=1とした後(ステップS109)、ステップS101に戻る。
上記ステップS110の単階層検出モードによる顔検出処理において、顔が検出されなかった場合には(ステップS111でNO)、kを1だけインクリメントする(ステップS112)。そして、kがKに達したか否かを判別する(ステップS113)。kがKに達してないと判別した場合には、次回において処理対象となる1つの階層画像を選択するための処理(階層番号選択処理)を実行する(ステップS114)。階層番号選択処理は、単階層検出モードによる顔検出処理において顔が検出されなかった場合に、次回の単階層検出モードによる顔検出処理において処理対象となる階層画像の階層番号nを決定するための処理である。この階層番号選択処理の詳細については後述する。
階層番号選択処理によって次回において処理対象となる階層画像の階層番号nが決定されると、Fb=1か否かを判別する(ステップS115)。Fbは、例えば、階層番号選択処理によって決定された階層番号nが、階層画像が存在しない階層番号(0,N+1)である場合等に、階層番号選択処理においてセット(Fb=1)される。
ステップS115において、Fb=0と判別した場合には、次回において探索する領域を設定する(ステップS108)。そして、Fa=1とした後(ステップS109)、ステップS101に戻る。
上記ステップS115において、Fb=1と判別した場合には、Fa=0、Fb=0とした後(ステップS116)、ステップS101に戻る。上記ステップS113において、k=Kであると判別した場合にも、Fa=0、Fb=0とした後(ステップS116)、ステップS101に戻る。
〔4〕階層番号選択処理についての説明
図15は、階層番号選択処理(図11のステップS114の処理)の詳細な手順を示している。
この階層番号選択処理の基本的な考え方について説明する。図16の丸数字は、単階層検出モードによる顔検出処理において顔未検出状態が連続した場合に、処理対象となる階層画像がどのような順番で変化せしめられるかを示している。1回目の単階層検出モードでの処理対象の階層画像の階層番号nが”3”であるとすると、それ以降の単階層検出モードによる顔検出処理において処理対象となる階層画像の階層番号nは、”2”、”4”、”1”、”5”と変化する。
この階層番号選択処理では、まず、連続未検出回数kを取得する(ステップS221)。また、今回の単階層検出モードによる顔検出処理で処理対象とされた1つの階層画像の階層番号nを取得する(ステップS222)。
次に、次式(1)に基づいて、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する(ステップS223)。
n=n+k*(−1)k …(1)
そして、nが”0”または”N+1”のいずれかに該当するかを判別する(ステップS224)。nが”0”または”N+1”のいずれかに該当する場合には、Fb=1とする(ステップS225)。そして、今回の階層番号選択処理を終了する。上記ステップS224において、nが”0”または”N+1”のいずれにも該当しない場合には、今回の階層番号選択処理を終了する。
〔5〕階層番号選択処理の変形例についての説明
図17は、階層番号選択処理の他の例を示している。
この階層番号選択処理の基本的な考え方について説明する。階層番号決定モードとして、画像内の顔が小さくなる方向に変化していると予測して階層番号nを決定する第1の階層番号決定モードと、画像内の顔が大きくなる方向に変化していると予測して階層番号nを決定する第2の階層番号決定モードとがあり、いずれか一方の階層番号決定モードが予めユーザによって選択されるようになっている。なお、カメラのズームの変化等に基づいて、階層番号決定モードが自動的に選択されるようにしてもよい。
図18(a)の丸数字は、第1の階層番号決定モードが選択されている場合において、対象となる階層画像の選択順序を示している。1回目の単階層検出モードでの処理対象の階層画像の階層番号nが”3”であるとすると、それ以降の単階層検出モードでの処理対象の階層画像の階層番号nは、”4”、”5”、”6(=N)”と変化した後、”2”、”1”と変化する。
ただし、1回目の単階層検出モードでの処理対象の階層画像の階層番号nが”6(=N)”である場合には、それより、上位の階層画像が存在しないため、それ以降の単階層検出モードでの処理対象の階層画像の階層番号nは、”5”、”4”、”3”、”2”、”1”と変化する。
図18(b)の丸数字は、第2の階層番号決定モードが選択されている場合において、対象となる階層画像の選択順序を示している。1回目の単階層検出モードでの処理対象の階層画像の階層番号nが”3”であるとすると、それ以降の単階層検出モードでの処理対象の階層画像の階層番号nは、”2”、”1”と変化した後、”4”、”5”、”6(=N)”と変化する。
ただし、1回目の単階層検出モードでの処理対象の階層画像の階層番号nが”1”である場合には、それより、下位の階層画像が存在しないため、それ以降の単階層検出モードでの処理対象の階層画像の階層番号nは、”2”、”3”、”4”、”5”、”6”と変化する。
この階層番号選択処理では、まず、変数dをdiに設定する(ステップS241)。diの初期設定値は、第1の階層番号決定モードが選択されている場合には”1”であり、第2の階層番号決定モードが選択されている場合には”−1”である。なお、diは、図11のステップS105およびS116で、初期設定値に設定されるものとする。
次に、今回の単階層検出モードによる顔検出処理で処理対象とされた階層画像の階層番号nを取得する(ステップS242)。
次に、nが”1”または”N”のいずれかに該当するかを判別する(ステップS243)。つまり、今回の単階層検出モードによる顔検出処理において、最上位または最下位の階層画像に対して顔検出処理が行なわれたか否かを判別する。
nが”1”または”N”のいずれかに該当する場合には、今回の単階層検出モードによる顔検出処理において最上位または最下位の階層画像に対して顔検出処理が行なわれたと判別し、顔が検出されない一連の単階層検出モードによる顔検出処理において、最上位または最下位の階層画像に対して顔検出処理が行なわれた回数を記憶するための変数jを1だけインクリメントする(ステップS244)。そして、ステップS245に移行する。変数jの初期値は0であり、図11のステップS105およびS116で、jは初期値(j=0)に設定されるものとする。
上記ステップS243において、nが”1”または”N”のいずれにも該当しない場合には、今回の単階層検出モードによる顔検出処理において、最上位または最下位の階層画像以外の階層画像に対して顔検出処理が行なわれたと判別し、ステップS245に移行する。
ステップS245では、n+dの値が”0”または”N+1”のいずれかに該当するかを判別する。n+dの値が”0”または”N+1”のいずれにも該当しない場合には、次式(2)に基づいて、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する(ステップS250)。そして、今回の階層番号選択処理を終了する。
n=n+d …(2)
つまり、n+dの値を、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nとして決定する。
上記ステップS245において、n+dの値が”0”または”N+1”のいずれかに該当すると判別した場合には、j=2であるか否かを判別する(ステップS246)。つまり、顔が検出されない一連の単階層検出モードによる顔検出処理において、最上位または最下位の階層画像に対して顔検出処理が行なわれた回数が1回であるか、2回であるかを判別する。
j=2でなければ、今回の単階層検出モードによる顔検出処理において、最上位または最下位の階層画像に対して1回目の顔検出処理が行なわれたが、n+dの階層番号に対応する階層画像は存在しないと判断し、diの値を−diに設定した後、dの値をdiに設定する(ステップS247)。
次に、最新に顔検出に成功した階層画像の階層番号pを取得する(ステップS248)。そして、n=pとした後(ステップS249)、上記式(2)に基づいて、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する(ステップS250)。そして、今回の階層番号選択処理を終了する。
例えば、第1の階層番号決定モードが選択されており、最新に顔が検出された階層画像の階層番号pが”3”である場合には、単階層検出モードによる顔検出処理での対象階層画像の階層番号は、顔が検出されない場合、”3”、”4”、”5”、”6(=N)”と変化していく。そして、階層番号”6(=N)”の階層画像に対して単階層検出モードによる顔検出処理が行なわれた結果、顔が検出されなかった場合には、最新に顔が検出された階層画像の階層番号p(この例では3)より1つ下位の階層番号2が、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nとして決定される。
上記ステップS246において、j=2であると判別した場合には、今回の単階層検出モードによる顔検出処理において、最上位または最下位の階層画像に対して2回目の顔検出処理が行なわれたと判断し、Fb=1とする(ステップS251)。そして、今回の階層番号選択処理を終了する。
〔6〕階層番号選択処理の他の変形例についての説明
図19は、階層番号選択処理のさらに他の例を示している。
この階層番号選択処理の基本的な考え方について説明する。この階層番号選択処理では、単階層検出モードによる顔検出処理での顔未検出連続回数kが1でかつそれまでに顔検出に成功した回数が2回以上である場合には、今回の単階層検出モードによる顔検出処理で処理対象とされた階層画像の階層番号nと、顔検出に成功した階層画像の履歴とに基づいて、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する。
単階層検出モードによる顔検出処理での顔未検出連続回数kが1でかつそれまでに顔検出に成功した回数が2未満である場合および単階層検出モードによる顔検出処理での顔未検出連続回数kが2以上の場合には、上述した図15の階層番号選択処理または上述した図17の階層番号選択処理と同様な処理により、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する。
顔検出に成功した階層画像の履歴に基づいて、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する方法について説明する。最新に顔検出に成功した階層画像の階層番号をpt とし、その前において最新に顔検出に成功した階層画像の階層番号をpt-1 とする。例えば、pt-1 が”4”で、pt が”3”である場合には、ズームで拡大中または顔がカメラに近づいてきている途中のように、画像内の顔が大きくなる方向に変化している状態であると予測し、階層番号nが小さくなる方向に階層番号nを決定する。一方、例えば、pt-1 が”3”でpt が”4”である場合には、ズームで縮小中または顔がカメラから遠ざかっている途中のように、画像内の顔が小さくなる方向に変化している状態であると予測し、階層番号nが大きくなる方向に階層番号nを決定する。
例えば、pt-1 が”4”で、pt が”3”であり、今回の単階層検出モードによる顔検出処理で処理対象とされた階層画像の階層番号nが3である場合には、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nは2と決定される。その次の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nは1と決定される。
また、例えば、pt-1 が”3”で、pt が”4”であり、今回の単階層検出モードによる顔検出処理で処理対象とされた階層画像の階層番号nが4である場合には、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nは5と決定される。その次の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nは6と決定される。
この階層番号選択処理では、まず、これまでに顔検出に成功した回数eが2未満であるか否かを判別する(ステップS261)。e≧2であれば、k=1であるか否かを判別する(ステップS262)。k=1であれば、今回の単階層検出モードによる顔検出処理で処理対象とされた階層画像の階層番号nを取得する(ステップS263)。次に、最新に顔検出に成功した階層画像の階層番号pt と、その前において最新に顔検出に成功した階層画像の階層番号pt-1 とを取得する(ステップS264)。
次に、次式(3)に基づいて、次回の単階層検出モードによる顔検出処理で処理対象とされる階層画像の階層番号nを決定する(ステップS265)。
n=n+(pt −pt-1 ) …(3)
そして、n≦0またはn≧N+1に該当するかを判別する(ステップS266)。n≦0またはn≧N+1に該当する場合には、Fb=1とする(ステップS267)。そして、今回の階層番号選択処理を終了する。上記ステップS266において、n≦0でなくかつn≧N+1でない場合には、今回の階層番号選択処理を終了する。
上記ステップS262において、k=1ではないと判別した場合、つまり、kが2以上である場合には、k=1のときに、ステップS263以降の処理が1回行なわれていると判断し、kの値を本来の値(単階層検出モードによる顔検出処理での顔未検出連続回数を示す値)より1だけ少なくするための処理を行なう。つまり、ki=1とした後(ステップS268)、k=k−kiの演算によりkを算出する(ステップS270)。そして、図15の階層番号選択処理または図17の階層番号選択処理と同様な処理を行なう(ステップS271)。この後、kの値の本来のkの値に戻す処理を行なう。つまり、k=k+kiの演算によりkを算出する(ステップS272)。そして、今回の階層番号選択処理を終了する。
上記ステップS261において、これまでに顔検出に成功した回数eが2未満であると判別した場合には、ki=0とした後(ステップS269)、k=k−kiの演算によりkを算出する(ステップS270)。この場合は、kの値は本来のkの値となる。そして、図15の階層番号選択処理または図17の階層番号選択処理と同様な処理を行なう(ステップS271)。この後、kの値の本来のkの値に戻す処理を行なう。つまり、k=k+kiの演算によりkを算出する(ステップS272)。そして、今回の階層番号選択処理を終了する。
〔7〕探索領域の設定処理についての説明
1つの階層画像内に複数の顔が検出された場合における探索領域の設定処理(図11のステップS108の処理)について説明する。
探索領域の設定方法には、検出された顔毎に個別に設定する方法と、検出された顔毎に個別に設定した領域を合成する方法とがある。
図20を参照して、1つの階層画像内に顔が2つ検出された場合について説明する。図20(a)は、検出された顔毎に探索領域を個別に設定した場合を示している。つまり、検出された顔Q1,Q2毎に、それを中心とする探索領域R1,R2を設定する。次回の単階層検出モードによる顔検出処理では、各探索領域R1,R2毎に判定領域41を走査する。
図20(b)は、検出された顔毎に個別に設定した領域を合成することにより、探索領域を設定した場合を示している。つまり、図20(a)の領域R1,R2が合成された領域Sを探索領域として設定する。次回の単階層検出モードによる顔検出処理では、探索領域S内において判定領域41を走査する。
図21を参照して、1つの階層画像内に顔が3つ検出された場合について説明する。図21(a)は、検出された顔毎に探索領域を個別に設定した場合を示している。つまり、検出された顔Q1,Q2,Q3毎に、それを中心とする探索領域R1,R2,R3を設定する。次回の単階層検出モードによる顔検出処理では、各探索領域R1,R2,R3毎に判定領域41を走査する。
図21(b)は、検出された顔毎に個別に設定した領域を合成することにより、探索領域を設定した場合を示している。つまり、図21(a)の領域R1,R2,R3が合成された領域Sを探索領域として設定する。次回の単階層検出モードによる顔検出処理では、探索領域S内において判定領域41を走査する。
なお、図14の単階層検出モードによる顔検出処理におけるステップS212においては、図11のステップS108で設定された探索領域に対してのみ4方向エッジ特徴画像を生成するようにしてもよい。
複数の階層画像を示す模式図である。 顔検出処理の手順を示すフローチャートである。 図2のステップS5で行なわれる4方向のエッジ特徴画像の生成処理の手順を示すフローチャートである。 水平方向エッジ、垂直方向エッジ、右斜上方向エッジおよび左斜上方向エッジの4方向それぞれに対応する微分フィルタの一例を示す模式図である。 図2のステップS6の顔検出処理を説明するための模式図である。 入力画像内の判定領域に対応する4方向のエッジ特徴画像を示す模式図である。 重みテーブルの内容例を示す模式図である。 階層画像内に設定された判定領域に対して行なわれる顔検出処理手順を示すフローチャートである。 図8の各判定ステップで実行される判定処理手順を示すフローチャートである。 顔検出装置の構成を示すブロック図である。 顔検出装置によって行なわれる全体的な処理手順を示すフローチャートである。 全階層検出モードによる顔検出処理(図11のステップS103の処理)の詳細な手順を示すフローチャートである。 探索領域の設定方法を説明するための模式図である。 単階層検出モードによる顔検出処理(図11のステップS110の処理)の詳細な手順を示すフローチャートである。 階層番号選択処理(図11のステップS114の処理)の詳細な手順を示すフローチャートである。 図15の階層番号選択処理を説明するための模式図である。 階層番号選択処理(図11のステップS114の処理)の他の例を示すフローチャートである。 図17の階層番号選択処理を説明するための模式図である。 階層番号選択処理(図11のステップS114の処理)のさらに他の例を示すフローチャートである。 1つの階層画像内に顔が2つ検出された場合において、探索領域を設定する方法を説明するための模式図である。 1つの階層画像内に顔が3つ検出された場合において、探索領域を設定する方法を説明するための模式図である。
符号の説明
11 AD変換手段
12 画像取込み手段
13 階層画像生成手段
14 4方向エッジ特徴画像生成手段
15 顔判定手段
16 検出結果出力手段
17 重みテーブルを記憶したメモリ
20 制御手段

Claims (8)

  1. 入力画像中の特定物体を検出する物体検出装置において、
    入力画像から複数の階層画像を生成し、各階層画像毎に特定物体検出処理を行なう第1の物体検出処理を行なう手段、
    特定の階層画像を生成し、その階層に対して特定物体検出処理を行なう第2の物体検出処理を行なう手段、
    第1の物体検出処理によって、特定物体が検出されなかった場合には、次の入力画像に対しても、第1の物体検出処理を行なう手段、
    第1の物体検出処理によって、いずれかの階層において特定物体が検出された場合には、次の入力画像に対しては、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、
    第2の物体検出処理によって特定物体が検出された場合には、次の入力画像に対しても、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、ならびに
    第2の物体検出処理によって、特定物体が検出されなかった場合には、次の入力画像に対しては、第1の物体検出処理を行なう手段、
    を備えていることを特徴とする物体検出装置。
  2. 入力画像中の特定物体を検出する物体検出装置において、
    入力画像から複数の階層画像を生成し、各階層画像毎に特定物体検出処理を行なう第1の物体検出処理を行なう手段、
    特定の階層画像を生成し、その階層に対して特定物体検出処理を行なう第2の物体検出処理を行なう手段、
    第1の物体検出処理によって、特定物体が検出されなかった場合には、次の入力画像に対しても、第1の物体検出処理を行なう手段、
    第1の物体検出処理によって、いずれかの階層において特定物体が検出された場合には、次の入力画像に対しては、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、
    第2の物体検出処理によって特定物体が検出された場合には、次の入力画像に対しても、特定物体が検出された階層と同じ階層の階層画像に対して第2の物体検出処理を行なう手段、
    第2の物体検出処理によって特定物体が検出されなかった場合には、次の入力画像に対して処理対象となる階層画像の階層を選択する階層番号選択処理を行うとともに、次の入力画像に対しては階層番号選択処理によって選択された階層の階層画像に対して第2の物体検出処理を行なう手段、ならびに
    第2の物体検出処理において、特定物体が検出されない状態が所定回数連続した場合においては、次の入力画像に対しては、第1の物体検出処理を行なう手段、
    を備えていることを特徴とする物体検出装置。
  3. 階層番号選択処理は、最新に特定物体が検出された階層を基準階層として、基準階層を中心として交互にかつ階層が基準階層から離れていく方向に処理対象となる階層が変化するように、処理対象となる階層を決定するものであることを特徴とする請求項2に記載の物体検出装置。
  4. 階層番号選択処理は、最新に特定物体が検出された階層を基準階層として、基準階層から最下位の階層または最上位の階層に向かう方向に、処理対象となる階層が変化するように、処理対象となる階層を決定するものであることを特徴とする請求項2に記載の物体検出装置。
  5. 階層番号選択処理は、特定物体が検出された階層の履歴に基づいて、画像内の特定物体の大きさが変化する方向を予測し、予測した方向に処理対象となる階層が変化するように、処理対象となる階層を決定するものであることを特徴とする請求項2に記載の物体検出装置。
  6. 第2の物体検出処理を行なうにあたっては、最新に検出された特定物体の位置に基づいて、処理対象となる階層画像に対して探索する領域を限定するための探索領域設定処理を行なう手段を備えていることを特徴とする請求項1乃至5に記載の物体検出装置。
  7. 探索領域設定処理は、最新に検出された特定物体の位置を略中心とする所定範囲の領域に、探索領域を設定するものであることを特徴とする請求項6に記載の物体検出装置。
  8. 探索領域設定処理は、最新に特定物体が検出された階層において、複数の特定物体が検出されている場合には、検出された各特定物体それぞれを略中心とする複数の所定範囲の領域を合成した領域を、探索領域として設定するものであることを特徴とする請求項6に記載の物体検出装置。
JP2006081601A 2006-03-23 2006-03-23 物体検出装置 Active JP4498296B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006081601A JP4498296B2 (ja) 2006-03-23 2006-03-23 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006081601A JP4498296B2 (ja) 2006-03-23 2006-03-23 物体検出装置

Publications (2)

Publication Number Publication Date
JP2007257358A JP2007257358A (ja) 2007-10-04
JP4498296B2 true JP4498296B2 (ja) 2010-07-07

Family

ID=38631532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006081601A Active JP4498296B2 (ja) 2006-03-23 2006-03-23 物体検出装置

Country Status (1)

Country Link
JP (1) JP4498296B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213909B2 (en) 2012-03-30 2015-12-15 Canon Kabushiki Kaisha Object detection method, object detection apparatus, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071962A (ja) 2009-08-28 2011-04-07 Sanyo Electric Co Ltd 撮像装置及び再生装置
JP5924991B2 (ja) * 2012-03-09 2016-05-25 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP7438684B2 (ja) 2019-07-30 2024-02-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111946A (ja) * 1996-10-04 1998-04-28 Matsushita Electric Ind Co Ltd 画像追跡装置
JP2001092976A (ja) * 1999-09-24 2001-04-06 Mitsubishi Heavy Ind Ltd 移動体の検知方法
JP2006508461A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出及び顔追跡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111946A (ja) * 1996-10-04 1998-04-28 Matsushita Electric Ind Co Ltd 画像追跡装置
JP2001092976A (ja) * 1999-09-24 2001-04-06 Mitsubishi Heavy Ind Ltd 移動体の検知方法
JP2006508461A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出及び顔追跡

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213909B2 (en) 2012-03-30 2015-12-15 Canon Kabushiki Kaisha Object detection method, object detection apparatus, and program

Also Published As

Publication number Publication date
JP2007257358A (ja) 2007-10-04

Similar Documents

Publication Publication Date Title
JP5045371B2 (ja) 動画像の各画素の前景背景分類装置、方法及びプログラム
JP4814375B2 (ja) 検出装置、検出方法および検出用集積回路
JP4540661B2 (ja) 物体検出装置
US8385649B2 (en) Information processing apparatus and method for detecting object in image data
US20130163869A1 (en) Apparatus and method for extracting edge in image
JP4498296B2 (ja) 物体検出装置
JP7062474B2 (ja) 劣化状況識別装置、劣化状況識別方法及びプログラム
CN114219044A (zh) 一种图像分类方法、装置、终端及存储介质
JP2022055953A (ja) 欠陥分類装置、欠陥分類方法及びプログラム
CN111753590A (zh) 一种行为识别方法、装置及电子设备
JP2010165052A (ja) 画像処理装置及び画像処理方法
CN114627397A (zh) 行为识别模型构建方法以及行为识别方法
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
US8300888B2 (en) Image displacement detection method
CN116363468A (zh) 一种基于特征先校正再融合的多模态显著性目标检测方法
JP4165571B2 (ja) 画像処理装置および方法、プログラム
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
JP5218345B2 (ja) 画像検出装置
JP2002165109A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2018180964A (ja) 画像処理装置及び画像処理方法
CN114782239A (zh) 一种基于卷积神经网络的数字水印添加方法及系统
TWI598829B (zh) 資料分析系統以及方法
JP7286330B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2006260410A (ja) 画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータをその評価装置として機能させるためのプログラム、およびコンピュータをその生成装置として機能させるためのプログラム
CN113469299B (zh) 工业检测中的缺陷检测方法、缺陷检测装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100318

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4498296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250