JP4036051B2 - 顔照合装置および顔照合方法 - Google Patents
顔照合装置および顔照合方法 Download PDFInfo
- Publication number
- JP4036051B2 JP4036051B2 JP2002220655A JP2002220655A JP4036051B2 JP 4036051 B2 JP4036051 B2 JP 4036051B2 JP 2002220655 A JP2002220655 A JP 2002220655A JP 2002220655 A JP2002220655 A JP 2002220655A JP 4036051 B2 JP4036051 B2 JP 4036051B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- face image
- detected
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 12
- 238000001454 recorded image Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Description
【発明の属する技術分野】
本発明は、カメラが撮影した画像から人物の顔を検出し、これを予め登録されている顔と照合することにより特定人物を検出する顔照合の技術に関するものである。
【0002】
【従来の技術】
指名手配中の人物のような特定人物を発見するために、空港、駅、ショッピングセンター、街角などに監視用カメラを設置し、不特定多数の人物を撮影してその画像を記録するシステムが実用化されている。このようなシステムにおいて、従来は、撮影した画像をそのまま記録するか、あるいは撮影画像から顔画像のみを抜き出して記録しているが、これらの方法では特定人物以外の者の顔画像も記録されることになるため、肖像権に係る個人のプライバシーが保護されないという問題がある。
【0003】
そこで、監視用カメラで撮影した人物の顔画像と、登録されている特定人物の顔画像とを照合して、両者が一致したときに撮影した人物の顔画像のみを記録し、一致しないときは撮影した人物の顔画像を破棄するシステムが実用化されている。これによると、撮影した顔画像のうち、登録されている特定人物の顔画像と一致しない顔画像は記録に残らないため、特定人物以外の者のプライバシー保護が保障される。
【0004】
【発明が解決しようとする課題】
しかしながら、上記のシステムでは、記録されるのは特定人物の顔画像と一致する顔画像だけであるため、特定人物の服装や手荷物、あるいは周囲の状況といった顔以外の有益な情報が失われてしまう。したがって、照合結果が一致して通報により係員が駆けつけた場合、あるいは記録された画像を後で確認する場合に、顔以外の情報が存在しないことから、特定人物の捜索が困難になるという問題がある。
【0005】
一方、個人のプライバシーを保護する手段としては、たとえば特開2001−86407号公報に記載されているように、顔画像の部分にモザイク処理を施す方法もある。しかしながら、本公報では、撮影した人物画像から肌色を検知して自動的に顔部分にモザイク処理を施しているため、撮影したすべての顔画像に対してモザイク処理が施されることとなり、特定の人物だけを除外して顔画像にモザイク処理を施すことはできない。
【0006】
また、特開2000−216号公報にも人物画像にモザイク処理を施してプライバシーを保護することが記載されているが、特定人物以外の者のプライバシーを保護するために本公報の技術を用いた場合は、人物画像全体にモザイク処理が施されるため、特定人物の周囲の状況を確認するのが困難になるという問題がある。
【0007】
本発明は、上記課題を解決するものであって、その目的とするところは、特定人物以外の者の肖像権に係るプライバシーを保護するとともに、特定人物の顔以外の情報や、特定人物の周囲の状況を容易に確認できるようにすることにある。本発明の他の目的は、事後的に登録された特定人物を検出できるようにすることにある。
【0008】
【課題を解決するための手段】
本発明に係る顔照合装置は、カメラで撮影した人物の画像から顔画像を検出する検出手段と、特定の人物の顔画像が事前登録によりあらかじめ記憶されている記憶手段と、検出手段で検出された顔画像を記憶手段に事前登録されている顔画像と照合して、両顔画像が一致するか否かを判定する判定手段と、検出手段で検出された顔画像のうち、所定の顔画像に対して顔の認識を不可能とする抽象化処理を施す抽象化手段とを備えている。そして、判定手段により両顔画像が一致しないと判定されたときは、抽象化手段は、検出された顔画像の部分にのみ抽象化処理を施す。一方、判定手段により両顔画像が一致すると判定されたときは、抽象化手段は、検出された顔画像の部分に抽象化処理を施さないようになっている。
【0009】
また、本発明では、記憶手段に特定人物の顔画像が事後登録された場合に、抽象化処理が施された顔画像に対して、抽象化処理を解除して原画像を復元し、復元された原画像から顔を検出する。そして、原画像から検出された顔画像と、事後登録された顔画像とが一致するか否かを照合し、その照合結果を表示する。
【0010】
なお、上記でいう「一致」とは、検出された顔画像と登録されている顔画像との完全一致だけを意味するのではなく、それらの顔画像の類似する度合いが高い場合も含む。
【0011】
本発明によると、検出された顔画像と登録された顔画像とが一致しない場合、すなわち検出された顔が特定人物でない場合は、顔画像に抽象化処理が施されることで、特定人物以外の者の肖像権に係るプライバシーを保護することができる。また、この抽象化処理は顔画像の部分にのみ施されるため、顔以外の服装や荷物等の画像はそのまま残すことができる。一方、検出された顔画像と登録された顔画像とが一致する場合、すなわち検出された顔が特定人物である場合は、顔画像の部分に抽象化処理は施されず、特定人物の顔の画像はそのまま残り、また、顔以外の服装や荷物等の画像もそのまま残る。このように、特定人物およびそれ以外の人の服装や荷物等の画像を残すことによって、それらを有益な手がかりとして特定人物の捜索を容易に行うことが可能となる。
【0012】
さらに、本発明においては、顔画像が事後登録された場合に、抽象化処理が施された顔画像の抽象化処理を解除して原画像を復元し、原画像から検出された顔画像と、事後登録された顔画像とを照合するようにしているので、記憶手段に記録されている顔画像を用いて、事後的に登録された特定人物の検出を行うことができる。これにより、捜索願いが出されている人物や迷子などの検出が可能となる。
【0013】
本発明の好ましい実施形態では、原画像を復元する者が正当な権限を有するか否かを判別し、正当な権限を有する場合のみ、原画像の復元が許可される。これによると、正当な権限のない第三者による復元が禁止されるため、セキュリティを確保することができる。この場合、正当な権限を有する者の顔画像を、電子透かしとして抽出化処理が施された画像に埋め込み、原画像を復元する際に、当該復元作業を行う復元者の顔画像のデータと電子透かしのデータとが一致するか否かを判定し、一致する場合に復元者が正当な権限を有していると判別するようにしてもよい。
【0014】
また、本発明では、検出された顔画像と事前登録されている顔画像とが一致すると判定されたときに、顔および顔以外の部分に抽象化処理が施されていない特定人物の画像と、顔の部分にのみ抽象化処理が施された特定人物以外の者の画像とを表示するとともに、警報を出力するようにしている。これによると、特定人物が検出された時点で警報が出力されるので、迅速な対応をとることができる。また、特定人物については撮影した画像がそのまま表示され、特定人物以外の者については顔の抽象化処理によりプライバシーが保護されるとともに、服装や手荷物などの画像はそのまま表示されるので、特定人物や周囲の状況に関する有益な情報を得ることができ、特定人物の捜索が容易となる。さらに、本発明では、復元した原画像から検出された顔画像と、記憶手段に事後登録された顔画像とが一致すると判定されたときに、当該復元した原画像を表示するようにしているので、捜索 願いが出されている人物や迷子などの検出が可能となる。
【0015】
【発明の実施の形態】
図1は、本発明が適用される顔照合システムのブロック図である。図において、顔照合システムは、人物を撮影する監視用カメラ1と、この監視用カメラ1で撮影した人物の顔画像を照合する本発明の顔照合装置2とからなる。監視用カメラ1は、たとえば空港、駅、ショッピングセンター、街角など人の集まる場所に複数台設置され、それぞれのカメラ1が監視センタなどに設置された顔照合装置2と接続されている。
【0016】
顔照合装置2において、3は顔照合を行なうコンピュータ、4はコンピュータ3での顔照合の結果を出力する照合結果出力装置、5は特定の人物(たとえば指名手配中の容疑者)の顔画像データがあらかじめ記憶されている記憶装置である。6,7は記憶装置5へ顔画像を登録するための画像入力装置であって、6はスキャナ、7はデジタルカメラである。コンピュータ3は、監視用カメラ1で撮影した人物の画像から顔画像を検出する検出手段、検出された顔画像を記憶装置5に記憶されている顔画像と照合して両顔画像が一致するか否かを判定する判定手段、および検出された顔画像のうち所定の顔画像に対して顔の認識を不可能とする抽象化処理を施す抽象化手段を構成する。照合結果出力装置4は、照合結果を表示するディスプレイや、照合結果を印刷するプリンタなどの出力機器からなる。記憶装置5は、たとえばハードディスクからなり、本発明の記憶手段を構成する。なお、記憶手段としてはハードディスク以外に光ディスクなどを用いることもできる。
【0017】
次に、上記構成からなる顔照合システムの動作につき説明する。本システムでは、特定人物の顔画像を記憶装置5にあらかじめ登録しておく。図2は、この顔画像登録時の手順を示したフローチャートであって、コンピュータ3により実行される手順を表している。最初に、登録する特定人物の顔を含んだ画像をスキャナ6やデジタルカメラ7からコンピュータ3に取り込む(ステップS1)。次に、取り込んだ画像より登録する顔を検出する(ステップS2)。この顔の検出には、肌色検出による方法、背景画像との差分を抽出する方法、パターンマッチングから顔らしさを抽出する方法など、公知の方法が用いられる。顔が検出されると、続いて、顔画像より目、鼻、口、耳などの特徴点を検出し(ステップS3)、検出した各特徴点についてそれらの形状や位置に関する特徴量を抽出する(ステップS4)。この特徴量の抽出も、目、鼻、口、耳などの濃淡画像からテンプレートマッチングにより特徴量を抽出する方法など、公知の方法を用いて行うことができる。そして、抽出した特徴量を顔画像データとして記憶装置5に記憶させて登録する(ステップS5)。
【0018】
図3は、本発明に係る顔照合方法の手順を示したフローチャートであって、コンピュータ3により実行される手順を表している。コンピュータ3では、監視用カメラ1が撮影した画像を、たとえば1秒間隔で静止画像として取り込み(ステップS11)、取り込んだ画像より顔を検出する(ステップS12)。顔が検出されなければ(ステップS13:NO)、ステップS11へ戻って次のタイミングで画像を取り込む。顔が検出されれば(ステップS13:YES)、検出した顔画像と記憶装置5にあらかじめ登録されている顔画像とを照合し(ステップS14)、両顔画像が一致するか否かを判定する(ステップS15)。
【0019】
図4は、ステップS14での照合の具体的手順を示したフローチャートである。照合においては、検出した顔画像から特徴点(目、鼻、口など)を検出し(ステップS31)、検出された各特徴点についてそれらの形状や位置に関する特徴量を抽出する(ステップS32)。そして、抽出した特徴量を記憶装置5に登録されている顔の特徴量と比較する(ステップS33)。この比較結果に基づいて、図3のステップS15で両顔画像の一致・不一致を判定する。なお、ここでいう一致とは完全一致だけを指すのではなく、両顔画像の類似の度合いが高い場合も一致と判定する。具体的には、それぞれの顔画像の特徴量から類似度を算出し、類似度をあらかじめ定められた閾値と比較して、閾値以上である場合に一致と判定する。
【0020】
ステップS15での判定の結果、検出された顔画像と登録されている顔画像とが一致しない場合は(ステップS15:NO)、検出された顔画像の人物は登録されている特定人物ではないので、検出された顔画像の部分にのみモザイク処理を施す(ステップS16)。図5は、モザイク処理が施された画像の例であって、特定人物以外の人物10B〜10Fの顔画像の部分にモザイク処理12が施されて、顔が認識できないように抽象化されている。また、モザイク処理12が施されるのは顔画像の部分のみであり、顔以外の服や手荷物等の部分にはモザイク処理12は施されない。
【0021】
一方、検出された顔画像と登録されている顔画像とが一致した場合は(ステップS15:YES)、検出された顔画像の人物は登録されている特定人物であるので、検出された顔画像の部分にモザイク処理は施さずマーカを付与する(ステップS17)。図5では、人物10Aが特定人物であり、この特定人物10Aの顔画像の部分にはモザイク処理12は施されておらず、顔11は監視用カメラ1で撮影されたままの画像となっている。また、顔11を囲むようにマーカ13が付与され、特定人物であることが一目瞭然に判別できるようになっている。なお、この特定人物10Aの顔以外の服や手荷物等の部分にもモザイク処理12は施されていない。すなわち、特定人物10Aについては、監視カメラ1で撮影された画像がそのまま現れている。
【0022】
ステップS17の処理の後、照合結果出力装置4のディスプレイに、顔および顔以外の部分にモザイク処理12が施されていない特定人物10Aの画像と、顔の部分にのみモザイク処理12が施された特定人物以外の人物10B〜10Fの画像とを含む図5の画像を、警報とともに表示する(ステップS18)。この警報は、特定人物の氏名、撮影日時、撮影場所などを含むメッセージとして表示され、また、係員の注意を促すために、必要により表示と並行して警報音も発せられる。これにより、係員は特定人物捜索のために必要な人員配備などの手配を行う。
【0023】
ここで、特定人物10A以外の者の顔には、図5のようなモザイク処理12が施されているため、画像がディスプレイに表示されても肖像権に係るプライバシーが侵害されるおそれはない。また、モザイク処理12が施されるのは顔のみであり、顔以外の部分にはモザイク処理12が施されないので、特定人物10Aの周囲にいる人の服装や手荷物などを容易に確認することができる。一方、特定人物10Aについては、全身にわたって撮影した画像がそのまま現れているので、顔だけでなく服装や手荷物なども確認することができる。こうして、プライバシーが問題となる顔にのみモザイク処理12を施し、それ以外の部分については撮影画像をそのまま残すことで、服装や手荷物を有益な手がかりにして特定人物10Aの捜索を容易に行うことができる。
【0024】
ステップS16〜S18を実行した後、検出したすべての顔につき照合を行ったか否かを判定し(ステップS19)、まだ照合すべき顔が残っている場合は(ステップS19:NO)、ステップS14へ戻って次の顔について照合を行う。すべての顔につき照合が終了すれば(ステップS19:YES)、ステップS16,S17の処理を施した画像を記憶装置5へ記録する(ステップS20)。その後、ステップS11へ戻って、次のタイミング(ここでは1秒後)で再び監視用カメラ1から撮影画像を取り込み、以後は上述したステップS12〜S20の手順を繰り返す。
【0025】
なお、上記の例では、監視用カメラ1が撮影した画像を1秒間隔で静止画像として取り込む場合を説明したが、監視用カメラ1が撮影した動画像から顔を検出し、検出された顔を自動追尾しながら照合を行うような方式を採用してもよい。これによると、同一人物について何回も画像を記録する必要がないので、記憶装置5に記録する画像のデータ量を減らすことができ、記憶装置5は容量の小さなもので済む。
【0026】
記憶装置5に記録された画像は、その後任意の時点で照合結果出力装置4で表示したり印刷したりして、出力することができる。この場合も、特定人物10A以外の者の顔はモザイク処理によってプライバシーが保護されるとともに、服装や手荷物などの画像はそのまま保存され、特定人物に関しても服装や手荷物などの画像はそのまま保存されるので、これらの情報を手がかりにすることで特定人物10Aの捜索が容易となる。
【0027】
以上の実施形態では、特定人物の顔画像を事前に登録しておき、撮影した顔画像と登録されている顔画像とを照合して特定人物を検出するようにしたが、記憶装置5に記録された画像を用いて、事後的に登録された特定人物の検出を行うこともできる。これによると、たとえば捜索願いが出されている人物や迷子などの検出が可能となる。
【0028】
図6は、上記のような事後登録の場合の照合手順を示したフローチャートであって、コンピュータ3により実行される手順を表している。最初に、記憶装置5に記録されている画像をコンピュータ3へ取り込む(ステップS41)。ここで、記憶装置5に記録されている画像は、前述のようにモザイク処理が施されていてそのままでは判別できないので、原画像を復元したうえで照合を行う必要がある。そこで、次に、モザイク処理を解除して原画像の復元を行う(ステップS42)。そして、原画像の復元後、その復元画像から顔を検出する(ステップS43)。復元した画像から顔が検出されなければ(ステップS44:NO)、ステップS41に戻って記録画像の取り込みを行う。復元した画像から顔が検出されれば(ステップS44:YES)、検出された顔画像と事後に登録した顔画像とを照合する(ステップS45)。事後登録の顔画像は、事前登録の場合と同様に、スキャナ6やデジタルカメラ7により撮影され、記憶装置5に記録されている。
【0029】
ステップS45での照合の結果、記録画像の顔と事後登録の顔とが一致しなければ(ステップS46:NO)、記録画像から検出したすべての顔を照合したか否かを判定し(ステップS47)、未照合の顔が残っている場合は(ステップS47:NO)、ステップS45へ戻って次の顔について照合を行う。すべての顔の照合が終了すれば(ステップS47:YES)、全記録画像について照合を行ったか否かを判定し(ステップS48)、全記録画像についての照合が終了してなければ(ステップS48:NO)、ステップS41へ戻って記憶装置5から次の記録画像を取り込んで上述した手順を繰り返す。また、全記録画像についての照合が終了すれば(ステップS48:YES)、事後登録した顔画像と一致する顔画像が記録されていなかったことを照合結果出力装置4のディスプレイへ表示して通知する(ステップS49)。
【0030】
一方、ステップS46において、記録画像の顔と事後登録の顔とが一致すれば(ステップS46:YES)、復元した原画像を照合結果出力装置4へ出力してディスプレイへ表示するとともに(ステップS50)、事後登録した顔画像と一致する顔画像が記録されていたことをディスプレイへ表示して通知する(ステップS51)。
【0031】
ところで、上述したような事後登録の場合の照合において、記憶装置5に記録されている画像のモザイク処理を解除して原画像を復元する処理は、正当な権限を有する者(たとえばシステム管理者)のみが行えるよう制限を加えることがセキュリティ上好ましい。図7および図8は、この場合の実施形態を示したフローチャートである。
【0032】
図7は、図3に対応するフローチャートであって、図3と同一のステップには同一符号を付してある。ステップS11〜S19の処理は図3と全く同じであるので、説明は省略する。ステップS19ですべての顔の照合が終了すると(ステップS19:YES)、画像の記録を行う記録者の顔画像を取り込み(ステップS20a)、取り込んだ記録者の顔画像を、ステップS16,S17の処理を施した画像に「電子透かし」として埋め込み、この「電子透かし」が埋め込まれた画像を記憶装置5に記録する(ステップS20b)。ここで、記録者とはたとえばシステム管理者であり、ステップS20aで取り込む記録者の顔画像は、スキャナ6やデジタルカメラ7であらかじめ撮影されて記憶装置5に記録されている。
【0033】
次に、画像を復元する手順について説明する。図8は、図6に対応するフローチャートであって、図6と同一のステップには同一符号を付してある。最初に、記憶装置5に記録されている画像をコンピュータ3へ取り込む(ステップS41)。続いて、画像の復元作業を行う復元者の顔画像を取り込む(ステップS41a)。この復元者の顔画像は、この時点でスキャナ6やデジタルカメラ7により撮影される。次に、ステップS41aで取り込んだ顔画像のデータが、ステップS41で取り込んだ画像に埋め込まれている「電子透かし」のデータと一致するか否かを判定する(ステップS41b)。データが一致しなければ(ステップS41b:NO)、復元作業を行おうとしている復元者が前述の記録者(システム管理者)ではないと判断して、処理を終了する。一方、データが一致すれば(ステップS41b:YES)、復元者が記録者(システム管理者)と同一人物であると判断して、モザイクの解除を行い、原画像を復元する(ステップS42)。ステップS42以降の処理については図6と全く同じであるので、説明は省略する。
【0034】
以上のように、記録者の顔画像を「電子透かし」として用いることで、モザイク処理を解除して画像を復元する場合に、記録者のみが復元を行うことが許され、正当な権限のない第三者による復元は禁止されるため、セキュリティを確保することができる。
【0035】
本発明は、以上述べた実施形態以外にも種々の形態を採用することができる。たとえば、上記実施形態においては、顔画像に施す抽象化処理としてモザイク処理を例に挙げたが、モザイク処理に代えて顔画像の部分をぼかすような処理を施してもよい。あるいは、モザイク処理やぼかし処理に代えて、顔画像の部分を黒色や白色などで塗り潰すような処理を施してもよい。
【0036】
また、上記実施形態においては、監視用カメラ1で撮影されてモザイク処理やマーカが施された画像を記憶装置5に保存するようにしたが、この画像は単に照合結果出力装置4のディスプレイに表示されるだけであってもよく、この場合は記憶装置5への保存は不要である。
【0037】
また、上記実施形態においては、事前登録または事後登録した顔画像を記憶装置5に記録するとともに、監視用カメラ1で撮影されてモザイク処理やマーカが施された画像も同じ記憶装置5に記録するようにしたが、図9のように、記憶装置5とは別に専用の画像記録装置8を設け、登録する顔画像のみを記憶装置5に記録し、監視用カメラ1で撮影した画像は画像記録装置8へ記録するようにしてもよい。画像記録装置8は、ビデオテープレコーダ、DVD(Digital Versatile Disk)レコーダ、ハードディスクレコーダなど、各種の記録メディアを扱う装置から構成することができる。この場合も、特定人物以外の顔には抽象化処理が施されているので、再生時に肖像権に係るプライバシーが侵害されるおそれはない。
【0038】
【発明の効果】
本発明によれば、特定人物以外の者の顔画像部分にのみ抽象化処理を施すようにしたので、肖像権に係るプライバシーを保護できるとともに、特定人物およびそれ以外の者の服装や手荷物などの画像はそのまま残るため、これらを手がかりとして特定人物の捜索を容易に行うことが可能となる。また、記憶手段に記録されている画像を用いて、事後的に登録された特定人物の検出を行うこともできるので、捜索願いが出されている人物や迷子などの検出が可能となる。
【図面の簡単な説明】
【図1】本発明が適用される顔照合システムのブロック図である。
【図2】顔画像登録時の手順を示したフローチャートである。
【図3】本発明に係る顔照合方法の手順を示したフローチャートである。
【図4】照合の具体的手順を示したフローチャートである。
【図5】モザイク処理が施された画像の例である。
【図6】事後登録の場合の照合手順を示したフローチャートである。
【図7】顔照合方法の他の実施形態を示したフローチャートである。
【図8】他の実施形態による事後登録の場合の照合手順を示したフローチャートである。
【図9】本発明の他の実施形態を示したブロック図である。
【符号の説明】
1 監視用カメラ
2 顔照合装置
3 コンピュータ
4 照合結果出力装置
5 記憶装置
6 スキャナ
7 デジタルカメラ
8 画像記録装置
10A 特定人物
10B〜10F 特定人物以外の人物
11 顔
12 モザイク処理
13 マーカ
Claims (5)
- カメラで撮影した人物の画像から顔画像を検出する検出手段と、
特定人物の顔画像が事前登録によりあらかじめ記憶されている記憶手段と、
前記検出手段で検出された顔画像を前記記憶手段に事前登録されている顔画像と照合して、両顔画像が一致するか否かを判定する判定手段と、
前記検出手段で検出された顔画像のうち、所定の顔画像に対して顔の認識を不可能とする抽象化処理を施す抽象化手段と、を備え、
前記抽象化手段は、前記判定手段により両顔画像が一致しないと判定されたときは、検出された顔画像の部分にのみ抽象化処理を施し、前記判定手段により両顔画像が一致すると判定されたときは、検出された顔画像の部分に抽象化処理を施さないようにした顔照合装置であって、
前記記憶手段に特定人物の顔画像が事後登録された場合に、前記抽象化処理が施された顔画像に対して、抽象化処理を解除して原画像を復元し、
前記検出手段により、前記復元された原画像から顔を検出し、
前記判定手段により、前記原画像から検出された顔画像と、前記事後登録された顔画像とが一致するか否かを照合し、
前記判定手段による照合結果を表示することを特徴とする顔照合装置。 - 請求項1に記載の顔照合装置において、
前記原画像を復元する者が正当な権限を有するか否かを判別し、正当な権限を有する場合のみ、原画像の復元を許可するようにしたことを特徴とする顔照合装置。 - 請求項2に記載の顔照合装置において、
前記正当な権限を有する者の顔画像を、電子透かしとして前記抽出化処理が施された画像に埋め込み、
前記原画像を復元する際に、当該復元作業を行う復元者の顔画像のデータと前記電子透かしのデータとが一致するか否かを判定し、一致する場合に前記復元者が正当な権限を有していると判別することを特徴とする顔照合装置。 - 請求項1ないし請求項3のいずれかに記載の顔照合装置において、
前記検出手段で検出された顔画像と、前記記憶手段に事前登録されている顔画像とが一致すると判定されたときに、顔および顔以外の部分に抽象化処理が施されていない特定人物の画像と、顔の部分にのみ抽象化処理が施された特定人物以外の者の画像とを表示するとともに、警報を出力し、
前記復元した原画像から検出された顔画像と、前記記憶手段に事後登録された顔画像とが一致すると判定されたときに、当該復元した原画像を表示することを特徴とする顔照合装置。 - カメラで撮影した人物の画像から顔画像を検出し、
検出された顔画像を、事前登録により記憶手段にあらかじめ記憶されている特定人物の顔画像と照合して両顔画像が一致するか否かを判定し、
両顔画像が一致しないと判定されたときは、検出された顔画像の部分にのみ顔の認識を不可能とする抽象化処理を施し、
両顔画像が一致すると判定されたときは、検出された顔画像の部分に前記抽象化処理を施さないようにし、
前記記憶手段に特定人物の顔画像が事後登録された場合に、前記抽象化処理が施された顔画像に対して、抽象化処理を解除して原画像を復元し、
前記復元された原画像から顔を検出し、
前記原画像から検出された顔画像と、前記事後登録された顔画像とが一致するか否かを照合し、
前記照合の結果を表示することを特徴とする顔照合方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002220655A JP4036051B2 (ja) | 2002-07-30 | 2002-07-30 | 顔照合装置および顔照合方法 |
CNA031204503A CN1472691A (zh) | 2002-07-30 | 2003-03-17 | 脸部对照确认装置及脸部对照确认方法 |
EP03016612A EP1388802B1 (en) | 2002-07-30 | 2003-07-29 | Face identification device and face identification method |
US10/628,228 US7440594B2 (en) | 2002-07-30 | 2003-07-29 | Face identification device and face identification method |
AT03016612T ATE394751T1 (de) | 2002-07-30 | 2003-07-29 | Vorrichtung und verfahren zur gesichtsidentifikation |
DE60320721T DE60320721D1 (de) | 2002-07-30 | 2003-07-29 | Vorrichtung und Verfahren zur Gesichtsidentifikation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002220655A JP4036051B2 (ja) | 2002-07-30 | 2002-07-30 | 顔照合装置および顔照合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004062560A JP2004062560A (ja) | 2004-02-26 |
JP4036051B2 true JP4036051B2 (ja) | 2008-01-23 |
Family
ID=30437675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002220655A Expired - Lifetime JP4036051B2 (ja) | 2002-07-30 | 2002-07-30 | 顔照合装置および顔照合方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7440594B2 (ja) |
EP (1) | EP1388802B1 (ja) |
JP (1) | JP4036051B2 (ja) |
CN (1) | CN1472691A (ja) |
AT (1) | ATE394751T1 (ja) |
DE (1) | DE60320721D1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013197785A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 画像生成装置、画像生成方法及びプログラム |
CN107564225A (zh) * | 2017-10-27 | 2018-01-09 | 华润电力技术研究院有限公司 | 一种图像检测报警系统 |
US10432877B2 (en) | 2014-06-30 | 2019-10-01 | Nec Corporation | Image processing system, image processing method and program storage medium for protecting privacy |
KR20200065115A (ko) * | 2018-11-29 | 2020-06-09 | 오지큐 주식회사 | 무선단말을 이용한 초상권 보호 방법 |
Families Citing this family (218)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1276320B1 (de) * | 2001-06-15 | 2015-05-27 | L-1 Identity Solutions AG | Verfahren zur Unkenntlichmachung und Wiederherstellung von Bildinhalten |
JP2004221725A (ja) * | 2003-01-10 | 2004-08-05 | Matsushita Electric Ind Co Ltd | 監視装置 |
US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US7346196B2 (en) * | 2003-07-30 | 2008-03-18 | Extreme Cctv International Inc. | Rotatable bay window switch box surveillance camera and illuminator for facial recognition |
KR100601933B1 (ko) * | 2003-11-18 | 2006-07-14 | 삼성전자주식회사 | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 |
CN1627317A (zh) * | 2003-12-12 | 2005-06-15 | 北京阳光奥森科技有限公司 | 利用主动光源获取人脸图像的方法 |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
US7460737B2 (en) | 2004-02-12 | 2008-12-02 | Hoshiko Llc | Method and apparatus for photograph finding |
US8345918B2 (en) * | 2004-04-14 | 2013-01-01 | L-3 Communications Corporation | Active subject privacy imaging |
TW200603016A (en) * | 2004-07-09 | 2006-01-16 | Avermedia Tech Inc | Surveillance system and surveillance method |
EP1769637A2 (en) * | 2004-07-09 | 2007-04-04 | Emitall Surveillance S.A. | Smart video surveillance system ensuring privacy |
US20060020630A1 (en) * | 2004-07-23 | 2006-01-26 | Stager Reed R | Facial database methods and systems |
JP4403039B2 (ja) * | 2004-08-12 | 2010-01-20 | 株式会社日立製作所 | 画像処理装置、画像処理システム |
WO2006034135A2 (en) * | 2004-09-17 | 2006-03-30 | Proximex | Adaptive multi-modal integrated biometric identification detection and surveillance system |
JP4217831B2 (ja) * | 2004-09-29 | 2009-02-04 | カシオ計算機株式会社 | 撮影装置及びプログラム |
US7386150B2 (en) * | 2004-11-12 | 2008-06-10 | Safeview, Inc. | Active subject imaging with body identification |
JP4515228B2 (ja) * | 2004-11-16 | 2010-07-28 | 三菱電機ビルテクノサービス株式会社 | 防犯カメラシステム、防犯カメラ画像蓄積装置 |
SG123618A1 (en) * | 2004-12-15 | 2006-07-26 | Chee Khin George Loo | A method and system for verifying the identity of a user |
EP1831849A1 (en) * | 2004-12-27 | 2007-09-12 | Emitall Surveillance S.A. | Efficient scrambling of regions of interest in an image or video to preserve privacy |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
JP4512763B2 (ja) * | 2005-02-02 | 2010-07-28 | 株式会社国際電気通信基礎技術研究所 | 画像撮影システム |
JP2007066227A (ja) * | 2005-09-02 | 2007-03-15 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
JP2006248364A (ja) * | 2005-03-10 | 2006-09-21 | Omron Corp | 移動体のドライバー認証装置 |
US7869630B2 (en) * | 2005-03-29 | 2011-01-11 | Seiko Epson Corporation | Apparatus and method for processing image |
JP2006287287A (ja) | 2005-03-31 | 2006-10-19 | Hitachi Ltd | 画像処理装置およびそのシステム及びそれらのプログラムの記録媒体 |
WO2006115156A1 (ja) | 2005-04-25 | 2006-11-02 | Matsushita Electric Industrial Co., Ltd. | 監視カメラシステム、撮影装置および映像表示装置 |
JP4795718B2 (ja) * | 2005-05-16 | 2011-10-19 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US9230601B2 (en) * | 2005-07-01 | 2016-01-05 | Invention Science Fund I, Llc | Media markup system for content alteration in derivative works |
US20090037278A1 (en) * | 2005-07-01 | 2009-02-05 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Implementing visual substitution options in media works |
US20090150199A1 (en) * | 2005-07-01 | 2009-06-11 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Visual substitution options in media works |
US20090300480A1 (en) * | 2005-07-01 | 2009-12-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Media segment alteration with embedded markup identifier |
US9092928B2 (en) | 2005-07-01 | 2015-07-28 | The Invention Science Fund I, Llc | Implementing group content substitution in media works |
US9426387B2 (en) | 2005-07-01 | 2016-08-23 | Invention Science Fund I, Llc | Image anonymization |
US7860342B2 (en) | 2005-07-01 | 2010-12-28 | The Invention Science Fund I, Llc | Modifying restricted images |
US9583141B2 (en) * | 2005-07-01 | 2017-02-28 | Invention Science Fund I, Llc | Implementing audio substitution options in media works |
US20100154065A1 (en) * | 2005-07-01 | 2010-06-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Media markup for user-activated content alteration |
US8910033B2 (en) | 2005-07-01 | 2014-12-09 | The Invention Science Fund I, Llc | Implementing group content substitution in media works |
US20070005423A1 (en) * | 2005-07-01 | 2007-01-04 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Providing promotional content |
US20080052161A1 (en) * | 2005-07-01 | 2008-02-28 | Searete Llc | Alteration of promotional content in media works |
US20080013859A1 (en) * | 2005-07-01 | 2008-01-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Implementation of media content alteration |
US20090235364A1 (en) * | 2005-07-01 | 2009-09-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Media markup for promotional content alteration |
US20100017885A1 (en) * | 2005-07-01 | 2010-01-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Media markup identifier for alterable promotional segments |
US9065979B2 (en) * | 2005-07-01 | 2015-06-23 | The Invention Science Fund I, Llc | Promotional placement in media works |
US20090150444A1 (en) * | 2005-07-01 | 2009-06-11 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Media markup for audio content alteration |
US8732087B2 (en) | 2005-07-01 | 2014-05-20 | The Invention Science Fund I, Llc | Authorization for media content alteration |
US20090037243A1 (en) * | 2005-07-01 | 2009-02-05 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Audio substitution options in media works |
US20090204475A1 (en) * | 2005-07-01 | 2009-08-13 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Media markup for promotional visual content |
JP4696856B2 (ja) * | 2005-11-02 | 2011-06-08 | オムロン株式会社 | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 |
WO2007055194A1 (ja) * | 2005-11-08 | 2007-05-18 | Pioneer Corporation | 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体 |
CN1767638B (zh) * | 2005-11-30 | 2011-06-08 | 北京中星微电子有限公司 | 一种保护隐私权的可视图像监控方法及其系统 |
JP4756589B2 (ja) * | 2005-12-07 | 2011-08-24 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2007213177A (ja) * | 2006-02-08 | 2007-08-23 | Omron Corp | 情報処理装置および方法、並びにプログラム |
JP4701356B2 (ja) * | 2006-02-08 | 2011-06-15 | 株式会社国際電気通信基礎技術研究所 | プライバシー保護画像生成装置 |
GB2450024B (en) * | 2006-03-03 | 2011-07-27 | Honeywell Int Inc | Modular biometrics collection system architecture |
KR101001060B1 (ko) | 2006-03-15 | 2010-12-14 | 오므론 가부시키가이샤 | 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체 |
JP4877005B2 (ja) * | 2006-03-28 | 2012-02-15 | オムロン株式会社 | 監視装置および方法、並びにプログラム |
US7526105B2 (en) * | 2006-03-29 | 2009-04-28 | Mark Dronge | Security alarm system |
JP4756357B2 (ja) * | 2006-03-31 | 2011-08-24 | サクサ株式会社 | 映像監視装置 |
JP4923042B2 (ja) | 2006-04-04 | 2012-04-25 | パナソニック株式会社 | 個人情報管理装置 |
EP1847958B1 (fr) * | 2006-04-14 | 2014-03-19 | Orange | Segmentation d'image numérique d'une zone d'observation en temps réel |
JP4823135B2 (ja) * | 2006-05-22 | 2011-11-24 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置 |
JP4110178B2 (ja) * | 2006-07-03 | 2008-07-02 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP4270230B2 (ja) * | 2006-07-11 | 2009-05-27 | ソニー株式会社 | 撮像装置および方法、画像処理装置および方法、並びにプログラム |
US7515740B2 (en) | 2006-08-02 | 2009-04-07 | Fotonation Vision Limited | Face recognition with combined PCA-based datasets |
JP4984728B2 (ja) * | 2006-08-07 | 2012-07-25 | パナソニック株式会社 | 被写体照合装置および被写体照合方法 |
JP5490351B2 (ja) * | 2006-10-13 | 2014-05-14 | 株式会社システム エイ・ブイ | 遊技履歴管理システム |
US20080180539A1 (en) * | 2007-01-31 | 2008-07-31 | Searete Llc, A Limited Liability Corporation | Image anonymization |
JP4671133B2 (ja) * | 2007-02-09 | 2011-04-13 | 富士フイルム株式会社 | 画像処理装置 |
JP4853320B2 (ja) | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
JP2008225550A (ja) | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP4424364B2 (ja) | 2007-03-19 | 2010-03-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
US7777783B1 (en) | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
US9544563B1 (en) | 2007-03-23 | 2017-01-10 | Proximex Corporation | Multi-video navigation system |
JP4396720B2 (ja) | 2007-03-26 | 2010-01-13 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN101641715B (zh) * | 2007-03-29 | 2012-05-30 | 富士通株式会社 | 摄影装置、摄影方法以及摄影程序 |
JP5414154B2 (ja) * | 2007-03-29 | 2014-02-12 | 京セラ株式会社 | 画像送信装置、画像送信方法および画像送信プログラム |
US9215512B2 (en) | 2007-04-27 | 2015-12-15 | Invention Science Fund I, Llc | Implementation of media content alteration |
US8934717B2 (en) * | 2007-06-05 | 2015-01-13 | Intellectual Ventures Fund 83 Llc | Automatic story creation using semantic classifiers for digital assets and associated metadata |
EP2157781B1 (en) * | 2007-06-22 | 2013-08-07 | Panasonic Corporation | Camera device and imaging method |
JP2009003334A (ja) | 2007-06-25 | 2009-01-08 | Sony Corp | 画像撮像装置、撮像制御方法 |
DE102007029606B3 (de) * | 2007-06-27 | 2009-01-15 | Siemens Ag | Verfahren zur Datenschutz konformen Videoüberwachung |
JP2009033738A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置、画像ファイルのデータ構造 |
US8233677B2 (en) | 2007-07-04 | 2012-07-31 | Sanyo Electric Co., Ltd. | Image sensing apparatus and image file data structure |
JP4466702B2 (ja) * | 2007-09-12 | 2010-05-26 | カシオ計算機株式会社 | 撮像装置、及び撮像制御プログラム |
ITAV20070003U1 (it) * | 2007-09-14 | 2007-12-14 | Silvio Spiniello | Modello di utilita' dal nome "secutity" per la prevenzione,la repressione,la sicurezza,la ricerca di persone scomparse e la ricostruzione storica dei fatti realmente accaduti.il tutto con l'utilizzo della mia invenzione che ci permettera' di poter ce |
US9639740B2 (en) | 2007-12-31 | 2017-05-02 | Applied Recognition Inc. | Face detection and recognition |
US9721148B2 (en) | 2007-12-31 | 2017-08-01 | Applied Recognition Inc. | Face detection and recognition |
US8750574B2 (en) * | 2007-12-31 | 2014-06-10 | Applied Recognition Inc. | Method, system, and computer program for identification and sharing of digital images with face signatures |
US20090174805A1 (en) * | 2008-01-07 | 2009-07-09 | Motorola, Inc. | Digital camera focusing using stored object recognition |
US8693738B2 (en) | 2008-01-29 | 2014-04-08 | Canon Kabushiki Kaisha | Imaging processing system and method and management apparatus |
JP2009188697A (ja) | 2008-02-06 | 2009-08-20 | Fujifilm Corp | 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム |
JP5141317B2 (ja) * | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
CA2719504A1 (en) | 2008-04-14 | 2009-10-22 | Thomson Licensing | Technique for automatically tracking an object |
JP5733775B2 (ja) * | 2008-06-06 | 2015-06-10 | 日本電気株式会社 | 対象物画像表示システム |
JP5043763B2 (ja) * | 2008-06-24 | 2012-10-10 | キヤノン株式会社 | 撮像装置のアダプタ装置、撮像装置及び情報処理方法 |
JP4915403B2 (ja) * | 2008-07-31 | 2012-04-11 | ブラザー工業株式会社 | カラオケ装置、カラオケシステム、セットトップボックス |
CN101640779B (zh) * | 2008-07-31 | 2011-01-05 | 鸿富锦精密工业(深圳)有限公司 | 影像摄取装置加密系统和方法 |
JP5178392B2 (ja) * | 2008-08-13 | 2013-04-10 | キヤノン株式会社 | 情報処理装置及び情報処理装置の制御方法 |
WO2010036098A1 (en) * | 2008-09-25 | 2010-04-01 | Tele Atlas B.V. | Method of and arrangement for blurring an image |
JP5237037B2 (ja) * | 2008-10-01 | 2013-07-17 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
JP2010108475A (ja) | 2008-10-03 | 2010-05-13 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
JP4650579B2 (ja) * | 2009-03-30 | 2011-03-16 | 日本ビクター株式会社 | ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法 |
KR101594293B1 (ko) * | 2009-04-06 | 2016-02-16 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
CN101859370A (zh) * | 2009-04-07 | 2010-10-13 | 佛山普立华科技有限公司 | 成像系统及其成像方法 |
JP5397014B2 (ja) * | 2009-05-21 | 2014-01-22 | ソニー株式会社 | 監視システム、撮像装置、解析装置及び監視方法 |
JP5471124B2 (ja) * | 2009-07-29 | 2014-04-16 | ソニー株式会社 | 画像検索装置、画像検索方法及び画像検索プログラム |
US8564667B2 (en) * | 2009-08-21 | 2013-10-22 | Empire Technology Development Llc | Surveillance system |
JP5709367B2 (ja) | 2009-10-23 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、および画像処理方法 |
KR20110052345A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 디스플레이장치, 카메라 및 그 제어방법 |
JP5574692B2 (ja) * | 2009-12-17 | 2014-08-20 | キヤノン株式会社 | 映像情報処理方法及びその装置 |
JP5269033B2 (ja) | 2009-12-18 | 2013-08-21 | 韓國電子通信研究院 | 映像のプライバシーマスキング方法及び装置 |
JP5604285B2 (ja) * | 2009-12-28 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 撮像装置 |
JP5008744B2 (ja) * | 2010-04-15 | 2012-08-22 | 三菱電機ビルテクノサービス株式会社 | 防犯カメラシステム、防犯カメラ画像蓄積装置 |
JP5152281B2 (ja) * | 2010-09-03 | 2013-02-27 | 日本電気株式会社 | 画像処理装置、方法及びプログラム |
JP2012083915A (ja) * | 2010-10-08 | 2012-04-26 | Canon Inc | 画像公開システム、画像公開方法、撮像装置 |
CN102456232A (zh) * | 2010-10-20 | 2012-05-16 | 鸿富锦精密工业(深圳)有限公司 | 人脸影像代换系统以及方法 |
JP5871473B2 (ja) | 2011-02-09 | 2016-03-01 | キヤノン株式会社 | 目標物選択装置、その制御方法、および制御プログラム |
US8842875B2 (en) | 2011-05-26 | 2014-09-23 | Digimarc Corporation | Image related methods and systems |
US9552376B2 (en) | 2011-06-09 | 2017-01-24 | MemoryWeb, LLC | Method and apparatus for managing digital files |
US8548207B2 (en) | 2011-08-15 | 2013-10-01 | Daon Holdings Limited | Method of host-directed illumination and system for conducting host-directed illumination |
US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
JP5766625B2 (ja) * | 2012-01-16 | 2015-08-19 | 株式会社東芝 | カメラ装置 |
US9615015B2 (en) * | 2012-01-27 | 2017-04-04 | Disney Enterprises, Inc. | Systems methods for camera control using historical or predicted event data |
JP5880946B2 (ja) * | 2012-02-17 | 2016-03-09 | 日本電気株式会社 | 画像処理装置、端末装置、画像処理方法及びプログラム |
JP2013192154A (ja) | 2012-03-15 | 2013-09-26 | Omron Corp | 監視装置、信頼度算出プログラム、および信頼度算出方法 |
WO2013149340A1 (en) | 2012-04-02 | 2013-10-10 | Mcmaster University | Optimal camera selection iν array of monitoring cameras |
US8837788B2 (en) | 2012-06-04 | 2014-09-16 | J. Stephen Hudgins | Disruption of facial recognition system |
CN103489149B (zh) * | 2012-06-08 | 2017-08-29 | 联想(北京)有限公司 | 一种图像获取的方法及一种电子设备 |
KR101936802B1 (ko) * | 2012-07-20 | 2019-01-09 | 한국전자통신연구원 | 얼굴인식 기반의 개인정보보호 장치 및 방법 |
WO2014021005A1 (ja) * | 2012-07-31 | 2014-02-06 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
US9298931B2 (en) | 2012-08-15 | 2016-03-29 | Empire Technology Development Llc | Digital media privacy protection |
US9940525B2 (en) * | 2012-11-19 | 2018-04-10 | Mace Wolf | Image capture with privacy protection |
JP6080940B2 (ja) * | 2013-02-28 | 2017-02-15 | 株式会社日立国際電気 | 人物検索方法及びホーム滞留人物検索装置 |
JP2014203407A (ja) * | 2013-04-09 | 2014-10-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム並びに記憶媒体 |
JP6273566B2 (ja) * | 2013-04-12 | 2018-02-07 | パナソニックIpマネジメント株式会社 | 通信システム、画像生成方法、及び通信装置 |
WO2014184801A2 (en) * | 2013-04-19 | 2014-11-20 | Rajamani Muthuraj | Crime evidence provider cum help seeker |
JP6189116B2 (ja) * | 2013-07-09 | 2017-08-30 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN104378542A (zh) * | 2013-08-14 | 2015-02-25 | 腾讯科技(深圳)有限公司 | 一种媒体内容的处理方法及装置、终端设备 |
CN110274355B (zh) * | 2014-03-03 | 2022-01-11 | 松下电器(美国)知识产权公司 | 传感方法、传感系统及包含它们的空调设备 |
WO2015136796A1 (ja) * | 2014-03-10 | 2015-09-17 | ソニー株式会社 | 情報処理装置、記憶媒体、および制御方法 |
JP6413272B2 (ja) * | 2014-03-20 | 2018-10-31 | フリュー株式会社 | 管理サーバ、画像管理方法、制御プログラム、コンピュータ読み取り可能な記録媒体 |
US9423901B2 (en) | 2014-03-26 | 2016-08-23 | Intel Corporation | System and method to control screen capture |
EP2924663B1 (en) * | 2014-03-26 | 2019-10-23 | Airbus Operations GmbH | Automatic head count determination on board an aircraft |
US9571785B2 (en) * | 2014-04-11 | 2017-02-14 | International Business Machines Corporation | System and method for fine-grained control of privacy from image and video recording devices |
US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
US9773156B2 (en) * | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
US10099644B2 (en) * | 2014-05-27 | 2018-10-16 | University Of Southern California | Virtual head mounted video camera system |
JP6469975B2 (ja) * | 2014-06-27 | 2019-02-13 | 株式会社 日立産業制御ソリューションズ | 映像監視装置、映像監視システムおよび映像監視方法 |
US9679194B2 (en) * | 2014-07-17 | 2017-06-13 | At&T Intellectual Property I, L.P. | Automated obscurity for pervasive imaging |
US11256792B2 (en) | 2014-08-28 | 2022-02-22 | Facetec, Inc. | Method and apparatus for creation and use of digital identification |
US10915618B2 (en) | 2014-08-28 | 2021-02-09 | Facetec, Inc. | Method to add remotely collected biometric images / templates to a database record of personal information |
CA2902093C (en) | 2014-08-28 | 2023-03-07 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
US10803160B2 (en) | 2014-08-28 | 2020-10-13 | Facetec, Inc. | Method to verify and identify blockchain with user question data |
US10698995B2 (en) | 2014-08-28 | 2020-06-30 | Facetec, Inc. | Method to verify identity using a previously collected biometric image/data |
US10614204B2 (en) | 2014-08-28 | 2020-04-07 | Facetec, Inc. | Facial recognition authentication system including path parameters |
JP6098841B2 (ja) * | 2015-01-06 | 2017-03-22 | マツダ株式会社 | 車両用歩行者画像取得装置 |
JP6124223B2 (ja) * | 2015-04-16 | 2017-05-10 | パナソニックIpマネジメント株式会社 | 事件映像ログデータ生成装置、事件映像処理システム、事件映像ログデータ生成方法、及びプログラム |
JP6202283B2 (ja) | 2015-04-16 | 2017-09-27 | パナソニックIpマネジメント株式会社 | 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム |
JP6587435B2 (ja) | 2015-06-29 | 2019-10-09 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
CN105120169B (zh) * | 2015-09-01 | 2019-10-29 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
EP3378227A4 (en) * | 2015-11-18 | 2019-07-03 | Jorg Tilkin | PRIVACY PROTECTION IN VIDEO SURVEILLANCE SYSTEMS |
JP6206542B2 (ja) * | 2015-12-01 | 2017-10-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2017157435A1 (en) * | 2016-03-16 | 2017-09-21 | Deutsche Telekom Ag | A method and system for visual privacy protection for mobile and wearable devices |
JP6690338B2 (ja) * | 2016-03-22 | 2020-04-28 | 日本電気株式会社 | 通信システム、検索装置、検索方法およびプログラム |
JP6211125B2 (ja) * | 2016-03-31 | 2017-10-11 | 株式会社Medi Plus | 画像処理システム |
CN105957001A (zh) * | 2016-04-18 | 2016-09-21 | 深圳感官密码科技有限公司 | 一种隐私保护方法及装置 |
USD987653S1 (en) | 2016-04-26 | 2023-05-30 | Facetec, Inc. | Display screen or portion thereof with graphical user interface |
JP6589736B2 (ja) * | 2016-04-28 | 2019-10-16 | 京セラドキュメントソリューションズ株式会社 | 監視システム |
JP6485709B2 (ja) * | 2016-05-26 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法 |
US9996773B2 (en) * | 2016-08-04 | 2018-06-12 | International Business Machines Corporation | Face recognition in big data ecosystem using multiple recognition models |
US11068696B2 (en) * | 2016-08-24 | 2021-07-20 | International Business Machines Corporation | Protecting individuals privacy in public through visual opt-out, signal detection, and marker detection |
JP6817602B2 (ja) * | 2016-10-07 | 2021-01-20 | パナソニックIpマネジメント株式会社 | 監視映像解析システム、監視映像解析方法及び監視映像解析プログラム |
JP2018097148A (ja) | 2016-12-13 | 2018-06-21 | パナソニックIpマネジメント株式会社 | 画像投影システム、画像投影装置、及び画像投影方法 |
EP3343441A1 (en) * | 2016-12-30 | 2018-07-04 | Facebook, Inc. | Systems and methods for providing augmented reality overlays |
US10229312B2 (en) | 2016-12-30 | 2019-03-12 | Facebook, Inc. | Systems and methods for providing augmented reality overlays |
JP6542819B2 (ja) * | 2017-02-10 | 2019-07-10 | セコム株式会社 | 画像監視システム |
WO2018179555A1 (ja) * | 2017-03-31 | 2018-10-04 | パナソニックIpマネジメント株式会社 | 撮像装置 |
CN107316000A (zh) * | 2017-06-01 | 2017-11-03 | 青岛海信日立空调系统有限公司 | 一种监控方法及装置 |
CN109309808A (zh) * | 2017-07-26 | 2019-02-05 | 梭维智能科技(深圳)有限公司 | 一种基于人脸识别的监控系统及方法 |
WO2019050508A1 (en) * | 2017-09-06 | 2019-03-14 | Hitachi Data Systems Corporation | EMOTION DETECTION ACTIVATED VIDEO CUSHIONING |
EP3454254B1 (en) | 2017-09-07 | 2023-11-08 | Canon Kabushiki Kaisha | Image processing apparatus, image providing apparatus, control methods thereof, and program |
JP7084795B2 (ja) * | 2017-09-07 | 2022-06-15 | キヤノン株式会社 | 画像処理装置、画像提供装置、それらの制御方法及びプログラム |
JP6994886B2 (ja) * | 2017-09-26 | 2022-01-14 | 株式会社日立国際電気 | 映像編集システム |
US10929561B2 (en) * | 2017-11-06 | 2021-02-23 | Microsoft Technology Licensing, Llc | Removing personally identifiable data before transmission from a device |
CN108133718B (zh) * | 2017-12-13 | 2021-04-06 | 北京奇虎科技有限公司 | 一种对视频进行处理的方法和装置 |
CN108235054A (zh) * | 2017-12-15 | 2018-06-29 | 北京奇虎科技有限公司 | 一种直播视频数据的处理方法和装置 |
KR102000058B1 (ko) * | 2017-12-22 | 2019-07-15 | 주식회사 더에스 | 인터넷 브로드캐스팅 및 업로딩을 위한 카메라 |
JP7030534B2 (ja) * | 2018-01-16 | 2022-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US10902274B2 (en) * | 2018-04-30 | 2021-01-26 | Adobe Inc. | Opting-in or opting-out of visual tracking |
EP3564900B1 (en) * | 2018-05-03 | 2020-04-01 | Axis AB | Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image |
CN108920907A (zh) * | 2018-06-25 | 2018-11-30 | 北京爱云动科技有限公司 | 网络图像的肖像权授权许可方法及装置 |
GB2575282A (en) * | 2018-07-04 | 2020-01-08 | Arm Ip Ltd | Event entity monitoring network and method |
CN109035167B (zh) * | 2018-07-17 | 2021-05-18 | 北京新唐思创教育科技有限公司 | 对图像中的多个人脸进行处理的方法、装置、设备和介质 |
JP7134784B2 (ja) | 2018-08-20 | 2022-09-12 | 株式会社東芝 | 監視システム、監視方法、およびプログラム |
US11527265B2 (en) | 2018-11-02 | 2022-12-13 | BriefCam Ltd. | Method and system for automatic object-aware video or audio redaction |
US10936178B2 (en) | 2019-01-07 | 2021-03-02 | MemoryWeb, LLC | Systems and methods for analyzing and organizing digital photos and videos |
US11058956B2 (en) * | 2019-01-10 | 2021-07-13 | Roblox Corporation | Consent verification |
CN109671317B (zh) * | 2019-01-30 | 2021-05-25 | 重庆康普达科技有限公司 | 基于ar的脸谱互动教学方法 |
CN110177255B (zh) * | 2019-05-30 | 2021-06-11 | 北京易华录信息技术股份有限公司 | 一种基于案件调度的视频信息发布方法及系统 |
US11586682B2 (en) * | 2019-07-30 | 2023-02-21 | Motorola Solutions, Inc. | Method and system for enhancing a VMS by intelligently employing access control information therein |
JP7334536B2 (ja) | 2019-08-22 | 2023-08-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN110660032A (zh) * | 2019-09-24 | 2020-01-07 | Oppo广东移动通信有限公司 | 一种对象屏蔽方法、对象屏蔽装置及电子设备 |
US10831926B1 (en) * | 2019-12-09 | 2020-11-10 | Emza Visual Sense Ltd | Privacy proof visual sensor |
EP3869391A1 (en) | 2020-02-20 | 2021-08-25 | Aletheaid Limited | Secure facial recognition |
KR102277929B1 (ko) * | 2020-02-21 | 2021-07-14 | 한국기술교육대학교 산학협력단 | 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법 |
JP7173597B2 (ja) * | 2020-04-06 | 2022-11-16 | 日本電気株式会社 | 通信システム、検索装置および検索方法 |
EP3916620A1 (en) | 2020-05-26 | 2021-12-01 | Aletheaid Limited | Mobile device-assisted facial recognition |
IL277206B2 (en) * | 2020-09-08 | 2023-04-01 | Emza Visual Sense Ltd | A photo element that preserves privacy |
WO2023233457A1 (ja) * | 2022-05-30 | 2023-12-07 | 日本電気株式会社 | 画像処理装置、認証システム、画像処理方法、及び非一時的なコンピュータ可読媒体 |
US11769233B1 (en) * | 2022-07-05 | 2023-09-26 | Motorola Solutions, Inc. | Random image substitution used for video redaction |
CN115063873B (zh) * | 2022-08-15 | 2022-11-08 | 珠海翔翼航空技术有限公司 | 基于静态和动态人脸检测的飞行数据获取方法、设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
JPH10165490A (ja) | 1996-12-06 | 1998-06-23 | Matsushita Electric Ind Co Ltd | 脱臭体およびその製造方法 |
JPH11263092A (ja) | 1998-03-17 | 1999-09-28 | Mitsubishi Pencil Co Ltd | 筆記具のペン先 |
US6496594B1 (en) * | 1998-10-22 | 2002-12-17 | Francine J. Prokoski | Method and apparatus for aligning and comparing images of the face and body from different imagers |
JP2001086407A (ja) | 1999-09-17 | 2001-03-30 | Matsushita Electric Ind Co Ltd | モザイク機能付きの撮像装置およびモザイク処理装置 |
JP4236785B2 (ja) * | 1999-12-27 | 2009-03-11 | 株式会社Nttファシリティーズ | 映像監視システム |
JP2002142214A (ja) * | 2000-11-02 | 2002-05-17 | Matsushita Electric Ind Co Ltd | 映像監視システム |
JP2002150441A (ja) | 2000-11-09 | 2002-05-24 | Yokogawa Electric Corp | 監視システム |
JP2004032459A (ja) * | 2002-06-27 | 2004-01-29 | Hitachi Ltd | 監視システム、およびこれに用いるコントローラと監視端末 |
-
2002
- 2002-07-30 JP JP2002220655A patent/JP4036051B2/ja not_active Expired - Lifetime
-
2003
- 2003-03-17 CN CNA031204503A patent/CN1472691A/zh active Pending
- 2003-07-29 DE DE60320721T patent/DE60320721D1/de not_active Expired - Lifetime
- 2003-07-29 AT AT03016612T patent/ATE394751T1/de not_active IP Right Cessation
- 2003-07-29 US US10/628,228 patent/US7440594B2/en active Active
- 2003-07-29 EP EP03016612A patent/EP1388802B1/en not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013197785A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 画像生成装置、画像生成方法及びプログラム |
US10432877B2 (en) | 2014-06-30 | 2019-10-01 | Nec Corporation | Image processing system, image processing method and program storage medium for protecting privacy |
US10623664B2 (en) | 2014-06-30 | 2020-04-14 | Nec Corporation | Image processing system, image processing method and program storage medium for protecting privacy |
US11159745B2 (en) | 2014-06-30 | 2021-10-26 | Nec Corporation | Image processing system, image processing method and program storage medium for protecting privacy |
CN107564225A (zh) * | 2017-10-27 | 2018-01-09 | 华润电力技术研究院有限公司 | 一种图像检测报警系统 |
KR20200065115A (ko) * | 2018-11-29 | 2020-06-09 | 오지큐 주식회사 | 무선단말을 이용한 초상권 보호 방법 |
KR102238939B1 (ko) | 2018-11-29 | 2021-04-14 | 오지큐 주식회사 | 무선단말을 이용한 초상권 보호 방법 |
Also Published As
Publication number | Publication date |
---|---|
ATE394751T1 (de) | 2008-05-15 |
EP1388802A2 (en) | 2004-02-11 |
EP1388802A3 (en) | 2006-04-05 |
US7440594B2 (en) | 2008-10-21 |
EP1388802B1 (en) | 2008-05-07 |
CN1472691A (zh) | 2004-02-04 |
DE60320721D1 (de) | 2008-06-19 |
JP2004062560A (ja) | 2004-02-26 |
US20040081338A1 (en) | 2004-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4036051B2 (ja) | 顔照合装置および顔照合方法 | |
JP3753722B2 (ja) | 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 | |
KR101641646B1 (ko) | 동영상 마스킹 처리방법 및 장치 | |
Mishra et al. | Digital image tamper detection techniques-a comprehensive study | |
WO2020130309A1 (ko) | 영상 마스킹 장치 및 영상 마스킹 방법 | |
WO2020134527A1 (zh) | 人脸识别的方法及装置 | |
KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
KR102313554B1 (ko) | 개인정보 비식별화 방법 및 시스템 | |
US20100103193A1 (en) | Image monitor apparatus and computer-readable storage medium storing image monitor program | |
CN108629275A (zh) | 图像处理装置、图像处理装置的控制方法和存储介质 | |
CN108959884B (zh) | 人证核验装置和方法 | |
CN108647509A (zh) | 一种防止敏感文件泄露的方法及装置 | |
JP2002304651A (ja) | 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
JP5730000B2 (ja) | 顔照合システム、顔照合装置及び顔照合方法 | |
JP5353147B2 (ja) | 顔照合システム | |
CN114140674B (zh) | 结合图像处理及数据挖掘技术的电子证据可用性鉴别方法 | |
JP2002281486A (ja) | 画像取得システム | |
WO2023024473A1 (zh) | 活体检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品 | |
CN115359539A (zh) | 办公场所信息安全检测方法、装置、设备和存储介质 | |
KR102539533B1 (ko) | 타인의 신분증 불법 촬영을 방지하기 위한 인증 방법 및 장치 | |
WO2024053183A1 (ja) | 人物検索装置および人物検索方法 | |
JP2002288671A (ja) | 個人認証装置 | |
CN117313142A (zh) | 一种基于图像隐写的视频人脸隐私保护方法 | |
Roshini et al. | A novel approach to image forgery detection | |
JP2004355253A (ja) | セキュリティ装置、セキュリティ方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071022 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4036051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |