JP4297876B2 - 撮影装置、光源制御方法、およびコンピュータプログラム - Google Patents

撮影装置、光源制御方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP4297876B2
JP4297876B2 JP2004570133A JP2004570133A JP4297876B2 JP 4297876 B2 JP4297876 B2 JP 4297876B2 JP 2004570133 A JP2004570133 A JP 2004570133A JP 2004570133 A JP2004570133 A JP 2004570133A JP 4297876 B2 JP4297876 B2 JP 4297876B2
Authority
JP
Japan
Prior art keywords
light
light source
illumination
intensity
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004570133A
Other languages
English (en)
Other versions
JPWO2004088588A1 (ja
Inventor
尚之 藤本
隆之 杉浦
清司 鎮西
三枝子 仲埜
敦司 三木
修治 木村
光宏 後藤
智 福井
利生 遠藤
隆浩 青木
充昭 福田
正規 渡辺
繁 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Frontech Ltd filed Critical Fujitsu Ltd
Publication of JPWO2004088588A1 publication Critical patent/JPWO2004088588A1/ja
Application granted granted Critical
Publication of JP4297876B2 publication Critical patent/JP4297876B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0517Housing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0517Housing
    • G03B2215/0539Ringflash
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0557Multiple units, e.g. slave-unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • G06V2201/121Acquisition of 3D measurements of objects using special illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Description

【0001】
【技術分野】
本発明は、非接触式の撮影装置に関する。
【0002】
【背景技術】
従来より、人間の身体的特徴に基づいて個人を識別し本人であるか否かを確認する個人の確認技術が提案されている。撮影装置によって獲得される身体的特徴とあらかじめ登録された身体的特徴とを照合することにより、個人の識別や本人かどうかの判断が行われる。
【0003】
撮影装置は、装置と身体とが接触する接触式のものと、装置と身体とが接触しない非接触式のものと、に大別される。不特定多数の人間が利用する場所では、汚れにくさ、衛生面、心理的抵抗感などから非接触式のものが望まれている。
【0004】
例えば、施設の入退出管理に用いる場合は、その施設に人が出入りするたびに撮影を行う必要がある。この場合、接触式の装置は頻繁に人に触られる。よって、手などを当てるガラス面が汚れてしまうおそれがあり、その場合には撮影を上手く行うことができない。さらに、汚れた面に接触することで衛生上の問題や心理的抵抗感を招くおそれもある。このような理由より、非接触式の装置が望まれている。
【0005】
医療機関または研究機関などのように、衛生について厳しい場所で用いる場合も、接触式の装置よりも、非接触式の装置が望まれている。また、近年、種々の抗菌グッズや衛生グッズがヒット商品になっていることから分かるように、世間では、非接触式の製品のニーズが高まっている。
【0006】
身体的特徴の撮影においては、外光の影響を除き所望の画像を得るため、照明装置を用いることが多い。しかし、被写体が装置から離れてしまうと、被写体に対して均一に照明を照射することができず画質の低下を招いていた。よって、非接触式の装置を実現することは困難であった。
【0007】
この問題に対して、上記の特許文献1には、撮像された画像を基に光源の光量を調整する技術が開示されている。しかし、撮像のために光源を常時点灯させる必要があるため消費電力の増加を招き、さらに複数回の撮像により処理時間が増加する、という問題点があった。
【0008】
本発明は、このような問題点に鑑み、良好な画質の画像を獲得することができる非接触式の撮影装置を提供することを目的とする。
【0009】
【特許文献1】
特開2002−92616号公報
【0010】
【発明の開示】
本発明に係る撮影装置は、非接触で対象物に均一に照明を与えるための撮影装置であって、生体的特徴を含む対象物に対して、強さがほぼ均一になるようにかつ当該対象物に応じて発光量、発光時間、および発光波長を調整して照明を照射するための照射手段と、前記対象物に照射した照明の反射光を受光する受光手段と、が設けられ、前記照射手段は、前記受光手段を囲むように配置された複数の光源を有し、前記各光源は、前記受光手段を中心とした四角形の各隅と各辺の中央とに位置するように設けられ、配置位置に応じて照明の強さが調整されている。
【0011】
好ましくは、前記各光源は、撮影範囲の中心からの位置が遠いほど強く発光されるように調整されている。
【0012】
または、前記各光源に対して供給する電流の制御を行うことによって、前記各光源から発光される照明の強さを調整する制御手段が設けられてなる。
【0013】
または、前記受光手段によって受光された、反射率が均一な物体に向けて前記各光源によって照射した照明の反射光に基づいて、前記対象物が前記各光源から受光する照明の強さを示す光度情報を取得する光度情報取得手段が設けられ、前記制御手段は、前記受光手段からの距離が同じである前記光源については、当該光源が発光する照明の強さが同じになるように前記光度情報に基づいて前記制御を行う。
【0014】
または、露出時間の長さに基づいて前記照明の制御を行う。
【0015】
または、露出のタイミングに基づいて前記照明の制御を行う。
【0016】
または、人体に影響が及ばないように照射手段の発光量、発光時間、発光の波長を調整する。
【0017】
または、対象物を手としたとき、照射手段の位置を手の大きさに合わせて設置する。
【0018】
または、対象物を人体の血管パターンとしたとき、照明手段の波長を人体の血管パターンの撮影に合わせる。
【0019】
または、前記各光源が設けられた空間と前記受光手段が設けられた空間とを光学的に仕切る仕切部材が設けられている。
【0020】
または、前記撮影を行う際に前記対象物と向かい合う面である前面が開放されている箱状のケーシングを有してなり、前記前面には、赤外線を透過しかつ赤外線よりも波長の短い光を遮断するフィルタ板が取り付けられ、前記各光源は、前記ケーシングの内側であって前記前面とは反対側の面である後面に近い位置に設けられ、前記ケーシングの内面は光の反射を防止するように加工されている。
【0021】
本発明に係る個人確認システムは、個人の確認を行う個人確認システムであって、上記の撮影装置と、個人ごとに、予め撮影を行うことにより取得しておいた当該個人の画像を、当該個人を識別するIDと対応付けて記憶する、記憶手段と、前記IDを入力するための入力手段と、入力された前記IDに対応する、前記記憶手段に記憶されている画像と、前記確認を行う際に当該IDを入力した個人の撮影を前記撮影装置によって行うことにより取得した画像と、を照合することによって、当該IDを入力した個人が本人であるか否かを判別する判別手段と、が設けられてなる。
【0022】
複数の施設において個人の確認を行うための個人確認システムの場合は、次のように構成される。すなわち、前記施設ごとに、個人を識別するIDを入力するための入力手段と、上記の撮影装置と、が設けられ、前記各撮影装置が接続されたサーバに、個人ごとに、予め撮影を行うことにより取得しておいた当該個人の画像を、当該個人の前記IDと対応付けて記憶する、記憶手段と、前記入力手段によって入力された前記IDに対応する、前記記憶手段に記憶されている画像と、前記確認を行う際に当該IDを入力した個人の撮影を前記撮影装置によって行うことにより取得した画像と、を照合することによって、当該IDを入力した個人が本人であるか否かを判別する判別手段と、が設けられ、てなる。
【0023】
また、上記の個人の確認(認識)を行う個人確認システムにより、特定の部屋の入室許可者を確認し、金融端末機において取引者を確認し、従業者の出勤を確認し、またはPCのログイン許可者を確認する。
【0024】
【発明を実施するための最良の形態】
添付の図面に従って、本発明をより詳細に説明する。
【0025】
〔第一の実施形態〕
図1は撮影装置1の構成の例を示す斜視図、図2は撮影装置1の中央付近の側断面図、図3はセキュリティシステム100の例を示す図、図4は手の撮影の状況の例を示す図、図5は第一の実施形態における撮影装置1の機能的構成の例を示すブロック図、図6は被写体に照射した光の強さの分布の例を示す図、図7は画像処理がなされた手の血管のパターンの画像FA1の例を示す図、図8は撮影装置1の正面から見た照明機器の配置の変形例を示す図である。
【0026】
本発明に係る撮影装置1は、図1および図2に示すように、撮影装置本体2および本体カバー3によって構成される。撮影を行う際には、予め本体カバー3を撮影装置本体2の正面20aに取り付けておく。そして、図4に示すように、対象物を撮影装置1の正面に向けシャッタを切る。
【0027】
撮影装置本体2は、ケーシング(筐体)20、撮影部21、回路基板22、照射部23、外部接続インタフェース24、およびシャッタボタン25などによって構成される。また、外部接続インタフェース24を介して、図3に示すようにパーソナルコンピュータ6に接続することができる。
【0028】
撮影部21は、レンズ211およびイメージセンサ212などによって構成される。イメージセンサ212として、例えば、CMOSタイプのイメージセンサが用いられる。
【0029】
回路基板22には、後に説明する撮影装置1の各部の制御およびD/A変換などを行うための制御回路、コンピュータプログラム(ファームウェア)が格納されたROM、およびCPUなどが設けられている。CPUは、パーソナルコンピュータ6またはシャッタボタン25からの指令、コンピュータプログラム、または撮影などによって得られたデータに基づいて演算処理を行う。このような構成によって、撮影装置1には、図5に示すような電源制御部201、画像処理部202、および照明機器駆動部261、262などの機能が実現される。
【0030】
照射部23は、光源として複数の照明機器(照明機器51a〜51d、照明機器52a〜52d)を有する。
【0031】
これらの照明機器は、次に列挙する要件を満たすように設けられている。すなわち、(1)各照明機器51a〜51dとレンズ211との距離は互いに同じである。(2)各照明機器52a〜52dとレンズ211との距離は互いに同じである。
【0032】
図5に示すように、照明機器駆動部261、262は、それぞれ、電源制御部201からの指令に従って照明機器51a〜51d、52a〜52dに電流を供給することによって、これらの照明機器を駆動する。
【0033】
電源制御部201は、照明機器51a〜51dに供給する電流の大きさが照明機器52a〜52dに供給する電流の大きさより大きくなるように、照明機器駆動部261、262を制御する。したがって、照明機器51a〜51dは、照明機器52a〜52dよりも強い光を発する。なお、これらの照明機器に供給する電流は、外部接続インタフェース24を介してパーソナルコンピュータ6より得られる。
【0034】
このように、照明機器51a〜51d、52a〜52dからそれぞれ出力される光の強さに差を設けることによって、被写体に照射される光の強さをほぼ均一に近づけることができる。
【0035】
すなわち、図4に示すように撮影の対象物つまり被写体に光を照射する場合において、照明機器の出力をすべて同じにすると、撮影範囲(被写体)の一部分に光が集中し過ぎてしまい、照明のむらが大きく現れてしまう。本実施形態の撮影装置1であれば、例えば、図6(b)に示すように撮影範囲の中心付近に光が集中し過ぎてしまう。なお、図6(a)(b)の点線で示される各円は、被写体が各照明機器より受光する光が同じ所定の強さ(光度)となる位置を表している。つまり、各照明機器による高度の分布または光度の等高線を示している。図6(b)の例では、撮影範囲の中心付近では8つの円が重なっているのに対して、被写体の四隅では3つ程度しか重なっていないことから、中心付近は相対的に光が非常に集中していることが分かる。
【0036】
一方、本実施形態のように、複数の照明機器のうち、被写体(撮影範囲)の中心よりも遠くに位置する照明機器51a〜51dの出力を、近くに位置する他の照明機器52a〜52dの出力よりも大きくすると、図6(a)に示すような光度の等高線が現れる。つまり、円の重なりが最も多いところで6個程度になることから分かるように、複数の照明機器の出力をすべて同じにした場合に比べて、照明のむらを小さくすることができる。
【0037】
図1および図2に戻って、本体カバー3は、合成樹脂板またはガラス板などからなるフィルタ板31および合成樹脂板などからなるレンズカバー32によって構成される。
【0038】
複数の照明機器は、シャッタおよびシャッタ速度(露出時間)と同期して発光する。つまり、電源制御部201は、シャッタボタン25が押されシャッタが切られた瞬間に照明機器駆動部261、262に対して電流の供給を開始するように指令する。そして、シャッタ速度に併せて電流の供給を止めるように指令する。シャッタを切る指令は、シャッタボタン25の代わりにパーソナルコンピュータ6によって行われるようにしてもよい。
【0039】
被写体からの反射光は、フィルタ板31を透過してケーシング20の中に入り、レンズ211によってイメージセンサ212上に結像する。イメージセンサ212は、これを信号化することによって撮像データを生成する。
【0040】
本実施形態によると、被写体に対してほぼ均一に照明(照明光)を照射することができるので、被写体の撮影を好適に行うことができる。
【0041】
照明機器51a〜51d、52a〜52dに流す電流の大きさを撮影条件に応じて適宜変更可能である。例えば、撮影場所の照明の種類、位置、または強さ、被写体の特徴、被写体と撮影装置1との距離、または照明機器の個数または配置などに応じて設定すればよい。
【0042】
イメージセンサ212として、CMOSの代わりにCCDを用いてもよい。各照明機器の出力を、次のように調整してもよい。例えば、照明機器52a〜52dに光学的なフィルタを被せ、照明機器51a〜51dよりも出力を弱くするようにしてもよい。または、照明機器51a〜51d、照明機器52a〜52dとして、それぞれ発光強度の異なる照明機器を用いるようにしてもよい。
【0043】
照明機器を、図8(a)に示すように配置し、照明機器52よりも照明機器51に強い電流を供給するようにしてもよい。または、図8(b)に示すように配置し、撮影中心からの距離に比例して照射する光の強さを調整してもよい。
【0044】
図5に示す照明機器51a〜51d、52a〜52dのそれぞれに、電流微調整用の回路を並列に接続してもよい。
【0045】
照明機器には、LED(発光ダイオード)、ランプ(電球他)、蛍光灯、陰極線、キセノンフラッシュ管を使用できる。
【0046】
〔第二の実施形態〕
図9は第二の実施形態における撮影装置1の機能的構成の例を示すブロック図、図10はキャリブレーション処理の流れの例を説明するフローチャート、図11はキャリブレーションシートに照射した光の強さの分布の例を示す図、図12は設定画面HG1の例を示す図である。
【0047】
第一の実施形態では、図5に示すように、4つの照明機器51a〜51dにはすべて同じ大きさの電流が流された。したがって、これらの照明機器は、理想的には、同じ強さの光を出力するはずである。照明機器52a〜52dについても、同様である。
【0048】
しかし、実際には、照明機器は、同じ型のものであっても、個々に少しずつ異なる特性を有している。また、製造過程において照明機器が本来の正しい位置からずれた位置に取り付けられることや、長期間の使用によって発光の強さが変化することがある。よって、撮影装置1ごとにそれぞれ異なる照度むらが生じ、得られる画像に差異が生じてしまうことがある。第二の実施形態は、このような問題点に鑑み、撮影装置1ごとの照度むらを補正し、得られる画像を第一の実施形態の場合よりもさらに均一にすることを目的とする。
【0049】
第二の実施形態に係る撮影装置1の構成および処理内容は、基本的に第一の実施形態に係る撮影装置1の場合と同じであるが、幾つかの異なる点がある。以下、主に、これらの異なる点について説明する。
【0050】
図9に示すように、LED51a〜51dには、それぞれ、LED駆動部261が設けられている。LED52a〜52dについても同様である。以下、LED51a〜51dに対応するLED駆動部261を「LED駆動部261a」のように「a」〜「d」の添え字を付けて記載することがある。LED駆動部262についても同様である。
【0051】
撮影装置1には、LED51a〜51d、52a〜52dに与えるべき電流の設定情報70を記憶するためのメモリ22Mが設けられている。この設定情報70は、例えば、キャリブレーション処理を実行することによって生成される。係る処理は、図10に示すような手順で実行される。
【0052】
まず、パーソナルコンピュータ6または撮影装置1に設けられた操作ボタンを操作するなどして、撮影装置1をキャリブレーションモードに切り替える(#11)。反射率が均一な物体を撮影装置1の正面に置き、撮影を行う(#12)。例えば、スキャナの色の違いを補正(調整)するために一般に用いられるキャリブレーションシートを撮影する。キャリブレーションシートには、白いシートなどを用いる。
【0053】
なお、撮影の際に、既にメモリ22Mに設定情報70が記憶されている場合は、電源制御部201は、設定情報70の内容に基づいてLED51a〜51d、52a〜51dに電流を供給するようにLED駆動部261a〜261d、262a〜262dに対して指令する。設定情報70が記憶されていない場合は、撮影装置1の出荷時の初期値に基づいて電流を供給するように指令する。
【0054】
撮影によって得られた撮像データは画像処理部202によって画像処理がなされ、ある所定の光度の部分のみを抽出して、図11(a)に示すような円を取得する(#13)。これらの円は、LEDがキャリブレーションシートに対して照射した光の反射光を、撮影部21が受光することによって得られたものである。なお、各LEDから照射された光同士の干渉をなくすために、1つずつ順番にLEDを発光させてステップ#12の撮影を行うようにしてもよい。
【0055】
もしも、撮影装置1のLEDの特性に差がなければ、LED51a〜51dによって得られる円の大きさは、図11(b)に示すように同じになるはずである。LED52a〜52dによって得られる円についても同様である。
【0056】
設定情報生成部203は、大きな円の大きさが同じになるように、つまり、これらの円が図11(b)に示す理想の円と一致するように、LED51a〜51dに供給すべき電流の大きさを求める(#14)。例えば、電流を調整しながらステップ#12、#13の処理を繰り返し行い、徐々に理想の円に近づけていくことによって、供給すべき電流の大きさを求める。または、円の大きさと電流の大きさとに関する既知の関係式に基づいて求める。小さな円についても同様の処理を行い、LED52a〜52dに供給すべき電流の大きさを求める。
【0057】
そして、求められた各LEDに供給すべき電流の大きさを、設定情報70としてメモリ22Mに記憶させる(#15)。なお、ステップ#13、#14の処理をパーソナルコンピュータ6によって行い、設定情報70をパーソナルコンピュータ6の磁気記憶装置などに記憶するように構成してもよい。
【0058】
または、オペレータによるパーソナルコンピュータ6の操作に基づいて、供給すべき電流の大きさを求めるようにしてもよい。この場合は、次のような手順で処理が行われる。
【0059】
パーソナルコンピュータ6は、ステップ#12、#13の処理によって得られた図11(a)に示す円の画像をウィンドウに表示する。また、この画像のウィンドウとは別のウィンドウに、図12に示すような設定画面HG1を表示する。両ウィンドウは並べて表示される。
【0060】
設定画面HG1において、左上にある1〜8の番号の付された円は、それぞれ、図11(a)の同じ位置にある円に対応しており、各テキストボックスと図11(a)の各円との対応関係をオペレータに知らせるためのものである。
【0061】
「粗調整」の列の各テキストボックスには、対応する図11(a)の各円の大きさを調整するための値が入力される。つまり、これらのテキストボックスによって、LED51a〜51dおよびLED52a〜52dに供給する電流の大きさを設定することができる。これらのテキストボックスには、例えば、0〜255の範囲の8ビットの値が入力される。したがって、各LEDに供給可能な電流の範囲を0〜150mAとした場合には、約0.59mA刻みでの設定が可能である。
【0062】
「微調整」の列の各テキストボックスには、微調整用の回路を調整するための値が入力される。つまり、粗調整により設定された電流の大きさの微調整を行うことができる。これらのテキストボックスには、例えば、−127〜128の範囲の8ビットの値が入力される。したがって、10mAの範囲での微調整を可能とした場合には、約0.04mA刻みでの設定が可能である。
【0063】
オペレータは、図11(a)の画像に含まれる各円の大きさを参考にして、設定画面HG1の各テキストボックスの値を入力する。入力後、再撮影ボタンをクリックする。すると、パーソナルコンピュータ6から撮影装置1に対して撮影の指令がなされる。
【0064】
撮影装置1において、図9に示す電源制御部201は、設定画面HG1で入力された各値に従ってLED51a〜51dおよびLED52a〜52dに電流を供給するように、LED駆動部261a〜261dおよびLED駆動部262a〜262dを制御する。これにより、図10のステップ#12、#13と同様の処理が再び行なわれ、新たな円の画像が得られる。
【0065】
パーソナルコンピュータ6は、前に表示されていた円の画像を消去し、新たに得られた円の画像を表示する。もしも、新たに得られた円の大きさが図11(b)の円の大きさと一致したのであれば、キャリブレーション(電流の調整)は成功である。この場合は、オペレータは、設定画面HG1の設定ボタンをクリックする。すると、設定画面HG1で入力された各値が設定情報70として撮影装置1のメモリ22Mに記憶される。一致しなかった場合は、再度、上記の設定の操作をやり直す。
【0066】
または、設定情報生成部203またはパーソナルコンピュータ6による調整処理とオペレータの手動による調整処理とを組み合わせてもよい。例えば、粗調整はコンピュータプログラムによって自動的に行い、微調整はオペレータの操作によって行うようにしてもよい。
【0067】
撮影を行う手順は、基本的に第一の実施形態の場合と同じである。ただし、電源制御部201は、メモリ22Mに記憶されている設定情報70に基づいて各LEDに電流を供給するように各LED駆動部を制御する。
【0068】
本実施形態によると、キャリブレーション処理を行うことによってLEDごとの差異を小さくして照度むらを補正するので、被写体の撮影を第一の実施形態よりもさらに好適に行うことができる。
【0069】
キャリブレーション処理は、撮影を行う前に実施してもよいし、定期的に(例えば1か月ごとに)撮影装置1のメンテナンス作業の一環として行うようにしてもよい。
【0070】
〔第三の実施形態〕
第一の撮影対象を人間または動物の血管パターンとする。例えば、人間の手の血管パターンを撮影するのであれば、手を撮影装置1の正面に向け、シャッタを切る。
【0071】
血管パターンを対象とする場合は、照明装置として赤外線を発光するものが用いられる。特に、近赤外線をよく発光するものが望ましい。
【0072】
フィルタ板31として、例えば、可視光線およびそれよりも波長の短い光(すなわち、およそ800nm以下の光)をカットし、かつ、赤外線、特に近赤外線を透過させる、という性質の材料が用いられる。よって、フィルタ板31は、ケーシング20の中に外部の可視光線などが入り込むのを防止する役割を果たす。
【0073】
また、対象が人体となるので、人体に影響が及ばないように照射手段の発光量、発光時間、発光の波長を調整する。
【0074】
発光された光は、被写体に照射される。ただし、可視光線などはフィルタ板31によってカットされるので、赤外線のみが被写体に照射される。一般に、人間または動物の血管は、赤外線を吸収する性質がある。よって、人間または動物の表面のうち、皮下に血管のある部分は照射された赤外線をあまり反射しないが、血管のない部分はよく反射する。
【0075】
画像処理部202は、撮影によって得られた撮像データに画像処理を施すことによって、図7に示すような血管のパターンの画像FA1を生成する。画像FA1は、白黒反転処理が施されたものである。よって、白い部分が血管パターンを表している。なお、係る画像処理は、パーソナルコンピュータ6で行うように構成してもよい。
【0076】
本実施形態によると、被写体に対してほぼ均一に赤外線を照射することができるので、被写体の血管のパターンの撮影を好適に行うことができる。
【0077】
人間の手に限らず、人間または動物の様々な部位が、撮影装置1による撮影の対象となり得る。
【0078】
〔撮影装置1を血管パターンに基づくセキュリティシステムに用いた場合の実施の形態〕
図13は磁気記憶装置6dに格納されているプログラムなどの例を示す図、図14は血管パターンデータベース6DBの例を示す図、図15は個人確認の処理の流れの例を説明するフローチャートである。
【0079】
次に、撮影装置1を用いたセキュリティシステムについて説明する。ここでは、予め許可された従業員しか入場することができない施設(研究室、実験室、開発室、または資料室など)を有する企業におけるセキュリティシステム100(図3参照)を例に説明する。
【0080】
施設には、パーソナルコンピュータ6が設置されている。このパーソナルコンピュータ6には、第一または第二の実施形態に係る撮影装置1およびテンキー6tが接続されている。撮影装置1およびテンキー6tは、施設の外側の入口付近に設置されている。従業員は、これらを操作して個人の確認を得なければ、施設に入場することができない。
【0081】
パーソナルコンピュータ6の磁気記憶装置6dには、図13に示すように、血管パターンデータベース6DBが記憶されている。この血管パターンデータベース6DBには、図14に示すように、各従業員の血管パターンデータ71がその従業員を識別するユーザIDと対応付けられて格納されている。
【0082】
血管パターンデータ71は、従業員の体の一部、例えば、手を撮影装置1によって予め撮影して取得しておいたものである。血管パターンデータ71を、血管のパターンの画像FA1(図7参照)のデータとして格納しておいてもよいし、その画像を解析することによって得られる血管パターンの太さ、長さ、本数、または配置などの特徴を示すデータとして格納しておいてもよい。
【0083】
また、磁気記憶装置6dには、個人確認プログラム6PGがインストールされている。このプログラムを実行することによって、施設に入場しようとする従業員の個人の確認の処理が図15に示すフローチャートのような手順で行われる。
【0084】
施設に入場したい従業員は、入口にあるテンキー6tを操作して自分のユーザIDを入力し(#21)、撮影装置1によって自分の体の一部の撮影を行う(#22)。入力されたユーザIDおよび撮影によって得られた撮像データは、パーソナルコンピュータ6へ送信される。
【0085】
パーソナルコンピュータ6は、血管パターンデータベース6DBの中から、ユーザIDに対応する血管パターンデータ71を検索する(#23)。そして、その血管パターンデータ71と撮影によって得られた撮像データとが一致するか否かを判別することによって、個人の確認を行う(#24)。
【0086】
一致した場合すなわち確認された場合は(#25でYes)、パーソナルコンピュータ6は、入口を開錠するように制御する(#26)。これにより、従業員は施設に入場することができる。確認されなかった場合は(#25でNo)、入場することができない旨および操作をやり直す旨のメッセージを従業員に知らせる(#27)。このメッセージは、例えば、入口付近に設けられたスピーカによって出力すればよい。
【0087】
なお、複数の施設を有する企業の場合は、施設ごとにパーソナルコンピュータ6および撮影装置1などを設け、施設への入場の可否のチェックを行えばよい。また、血管パターンデータベース6DBおよび個人確認プログラム6PGを、各パーソナルコンピュータ6より接続可能なサーバに設けておき、個人の確認の処理(図10のステップ#23、#24)をサーバで行うようにしてもよい。この場合は、各施設の撮影装置1として、特に第二の実施形態に係る撮影装置1を用いるのが望ましい。
【0088】
施設のセキュリティに限らず、例えば、コンピュータなどへのログイン、電子決済システムにおける確認、出退勤の際の本人の確認(タイムカード)などのために、上記の個人の確認を用いてもよい。
【0089】
その他、撮影装置1、セキュリティシステム100の全体または各部の構成、撮影の対象、照明機器の配置および光度、レンズなどの光学系の配置、処理内容、処理順序、データベースの内容、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。
【0090】
【産業上の利用可能性】
以上のように、本発明は、被写体に対してほぼ均一に照明を照射することによって、被写体の撮影を好適に行うことができるという点で有用なものである。
【図面の簡単な説明】
【図1】 撮影装置の構成の例を示す斜視図である。
【図2】 撮影装置の中央付近の側断面図である。
【図3】 セキュリティシステムの例を示す図である。
【図4】 手の撮影の状況の例を示す図である。
【図5】 第一の実施形態における撮影装置の機能的構成の例を示すブロック図である。
【図6】 被写体に照射した光の強さの分布の例を示す図である。
【図7】 画像処理がなされた手の血管パターンの画像FA1の例を示す図である。
【図8】 撮影装置の正面から見た照明機器の配置の変形例を示す図である。
【図9】 第二の実施形態における撮影装置の機能的構成の例を示すブロック図である。
【図10】 キャリブレーション処理の流れの例を説明するフローチャートである。
【図11】 キャリブレーションシートに照射した光の強さの分布の例を示す図である。
【図12】 設定画面の例を示す図である。
【図13】 磁気記憶装置に格納されているプログラムなどの例を示す図である。
【図14】 血管パターンデータベースの例を示す図である。
【図15】 個人確認の処理の流れの例を説明するフローチャートである。

Claims (7)

  1. 照明を併せ持った撮影装置であって、
    生体的特徴を含む対象物に対して、強さがほぼ均一になるようにかつ当該対象物に応じて発光量、発光時間、および発光波長を調整して照明を照射するための照射手段と、
    前記対象物に照射した照明の反射光を受光する受光手段と、が設けられ、
    前記照射手段は、前記受光手段を囲むように配置された複数の光源を有し、
    前記各光源は、前記受光手段を中心とした四角形の各隅と各辺の中央とに位置するように設けられ、配置位置に応じて照明の強さが調整されている、
    ことを特徴とする撮影装置。
  2. 前記各光源は、撮影範囲の中心からの位置が遠いほど強く発光されるように調整されている、
    請求項1記載の撮影装置。
  3. 前記各光源に対して供給する電流の制御を行うことによって、前記各光源から発光される照明の強さを調整する制御手段が設けられてなる、
    請求項1または請求項2記載の撮影装置。
  4. 前記受光手段によって受光された、反射率が均一な物体に向けて前記各光源によって照射した照明の反射光に基づいて、前記対象物が前記各光源から受光する照明の強さを示す光度情報を取得する光度情報取得手段が設けられ、
    前記制御手段は、前記受光手段からの距離が同じである前記光源については、当該光源が発光する照明の強さが同じになるように前記光度情報に基づいて前記制御を行う、
    請求項3記載の撮影装置。
  5. 露出時間の長さに基づいて前記照明の制御を行う、
    請求項3記載の撮影装置。
  6. 露出のタイミングに基づいて前記照明の制御を行う、
    請求項3記載の撮影装置。
  7. 生体的特徴を含む対象物の撮影を行う撮影装置に設けられた、前記対象物に照明を照射するための複数の光源を制御する光源制御方法であって、
    前記各光源を、前記撮影装置に設けられた受光手段を中心とした四角形の各隅と各辺の中央とに位置するように設けておき、
    反射率が均一な物体に向けて前記複数の光源によって前記対象物に応じた発光量、発光時間、および発光波長で照明を照射するステップと、
    前記物体からの反射光を前記受光手段によって受光するステップと、
    受光した前記物体からの反射光に基づいて前記対象物が前記各光源から受光する照明の強さを示す光度情報を取得するステップと、
    前記撮影を行う際に前記各光源によって照射する照明の強さを、前記受光手段からの距離が同じである光源同士は同じになるように、かつ、当該距離が遠い光源ほど強くなるように、前記光度情報に基づいて調整するステップと、
    を有してなることを特徴とする光源制御方法。
JP2004570133A 2003-03-28 2003-03-28 撮影装置、光源制御方法、およびコンピュータプログラム Expired - Lifetime JP4297876B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/003989 WO2004088588A1 (ja) 2003-03-28 2003-03-28 撮影装置、光源制御方法、およびコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007271754A Division JP4597178B2 (ja) 2007-10-18 2007-10-18 撮影装置および個人確認システム

Publications (2)

Publication Number Publication Date
JPWO2004088588A1 JPWO2004088588A1 (ja) 2006-07-06
JP4297876B2 true JP4297876B2 (ja) 2009-07-15

Family

ID=33105314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004570133A Expired - Lifetime JP4297876B2 (ja) 2003-03-28 2003-03-28 撮影装置、光源制御方法、およびコンピュータプログラム

Country Status (6)

Country Link
US (1) US7415202B2 (ja)
EP (1) EP1610265B1 (ja)
JP (1) JP4297876B2 (ja)
CN (1) CN100395775C (ja)
AU (1) AU2003220951A1 (ja)
WO (1) WO2004088588A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148200A (ja) * 2003-11-12 2005-06-09 Pentax Corp 撮影用光量制御装置
JP4645887B2 (ja) * 2004-11-01 2011-03-09 ソニー株式会社 画像処理装置及び画像処理方法並びにプログラム
EP1834312A2 (en) * 2005-01-03 2007-09-19 Vumii, Inc. Systems and methods for night time surveillance
TWM288941U (en) * 2005-08-23 2006-03-21 Instr Technology Res Er Ct Near-photographing device having illumination
JP4769859B2 (ja) * 2006-02-28 2011-09-07 富士通株式会社 反射光検出装置、並びに、反射特性判断装置、及び、物体検出装置
JP4804962B2 (ja) 2006-03-03 2011-11-02 富士通株式会社 撮像装置
JP4708220B2 (ja) 2006-03-03 2011-06-22 富士通株式会社 照明装置及びこれを用いた撮像装置
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
JP4566929B2 (ja) 2006-03-03 2010-10-20 富士通株式会社 撮像装置
JP4745084B2 (ja) 2006-03-03 2011-08-10 富士通株式会社 撮像装置
JP4566930B2 (ja) 2006-03-03 2010-10-20 富士通株式会社 撮像装置
JP5352960B2 (ja) * 2006-04-27 2013-11-27 セイコーエプソン株式会社 生体情報取得装置、生体情報取得方法及び生体認証装置
JP4153971B2 (ja) * 2006-05-16 2008-09-24 セイコーエプソン株式会社 生体情報取得装置、生体情報取得方法及び生体認証装置
JP4975494B2 (ja) 2007-03-23 2012-07-11 富士通株式会社 撮像装置
US20080266445A1 (en) * 2007-04-30 2008-10-30 Min Soo Park Infra-red closed circuit television camera having reflection plate
JP4636340B2 (ja) 2007-07-10 2011-02-23 ソニー株式会社 生体撮像装置
KR101271730B1 (ko) * 2007-08-29 2013-06-04 삼성테크윈 주식회사 감시카메라
ES2329328B1 (es) * 2008-05-23 2010-08-30 Hanscan Ip B.V. Procedimiento y escaner biometrico para identificar a una persona.
KR100927002B1 (ko) * 2008-10-30 2009-11-17 (주)실리콘화일 이미지센서
BR112013021651A2 (pt) * 2011-02-28 2016-11-22 Fujitsu Frontech Ltd sistema óptico de iluminação para aparelho de captação de imagens
WO2014017061A1 (ja) * 2012-07-25 2014-01-30 株式会社デンソー 状態監視装置
JP6343972B2 (ja) * 2014-03-10 2018-06-20 富士通株式会社 照明装置及び生体認証装置
FR3027135B1 (fr) * 2014-10-09 2016-11-25 Morpho Systeme et un procede d'acquisition d'images de veines d'un doigt
HK1204847A2 (en) * 2015-09-16 2015-12-04 英基科技有限公司 A time card punching system
WO2017147460A1 (en) * 2016-02-25 2017-08-31 Ralph Birchard Lloyd System and method for disinfecting an occupied environment using direction controlled germicidal radiation
DE102017103883A1 (de) * 2017-02-24 2018-08-30 Osram Opto Semiconductors Gmbh Anordnung zur Ausleuchtung und Aufzeichnung einer Szene
TWI608735B (zh) * 2017-03-13 2017-12-11 晶睿通訊股份有限公司 影像擷取裝置及亮度調整方法
US10602035B2 (en) * 2017-09-19 2020-03-24 Google Llc Temperature-controlled camera assembly
CN107734320B (zh) * 2017-09-29 2019-08-13 成都国翼电子技术有限公司 一种计算vr摄影场地内主动发光标记点光强下限的方法
CN111200709B (zh) * 2019-01-08 2023-12-29 英属开曼群岛商麦迪创科技股份有限公司 设定照相机系统的光源的方法、照相机系统及车辆
JP7323787B2 (ja) * 2019-07-31 2023-08-09 日亜化学工業株式会社 照明装置及び赤外線カメラ付き照明装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1287028C (en) * 1988-03-18 1991-07-30 National Research Council Of Canada Distributed coaxial light source producing constant target luminance
WO1989011093A1 (en) * 1988-05-09 1989-11-16 Omron Corporation Substrate examining apparatus and method of operating same
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
JPH0782539B2 (ja) 1988-07-14 1995-09-06 株式会社エイ・ティ・アール通信システム研究所 瞳孔画像撮影装置
JPH03269681A (ja) * 1990-03-19 1991-12-02 Sharp Corp 画像認識装置
US5598474A (en) 1994-03-29 1997-01-28 Neldon P Johnson Process for encrypting a fingerprint onto an I.D. card
JPH0883391A (ja) * 1994-09-14 1996-03-26 Hitachi Ltd 車番認識装置
US6040895A (en) * 1997-10-08 2000-03-21 Siemens Aktiengesellschaft Method and device for controlled illumination of an object for improving identification of an object feature in an image of the object
JPH11183389A (ja) * 1997-12-18 1999-07-09 Lintec Corp 観測装置
JP3869545B2 (ja) * 1998-01-19 2007-01-17 株式会社日立製作所 指の特徴パターン特徴検出装置及び個人識別装置
AU7813500A (en) * 1999-10-18 2001-04-30 Mv Research Limited Machine vision
IL132817A (en) * 1999-11-08 2003-11-23 Orbotech Schuh Gmbh & Co Illumination and image acquisition system
US6617559B1 (en) * 2000-01-13 2003-09-09 Hewlett-Packard Development Company, L.P. Light arrangement for vision systems
US6498440B2 (en) * 2000-03-27 2002-12-24 Gentex Corporation Lamp assembly incorporating optical feedback
JP2002016907A (ja) * 2000-06-30 2002-01-18 Fujitsu General Ltd 監視対象物検出装置
JP2002092616A (ja) 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
JP2002352229A (ja) * 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置

Also Published As

Publication number Publication date
AU2003220951A1 (en) 2004-10-25
WO2004088588A1 (ja) 2004-10-14
US20060110145A1 (en) 2006-05-25
EP1610265A1 (en) 2005-12-28
CN100395775C (zh) 2008-06-18
US7415202B2 (en) 2008-08-19
CN1689038A (zh) 2005-10-26
EP1610265B1 (en) 2013-08-21
JPWO2004088588A1 (ja) 2006-07-06
EP1610265A4 (en) 2007-12-26

Similar Documents

Publication Publication Date Title
JP4297876B2 (ja) 撮影装置、光源制御方法、およびコンピュータプログラム
US7340159B2 (en) Image taking device and personal identification system
EP0989517A2 (en) Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame
US8514277B2 (en) Video infrared retinal image scanner
JP2007319174A (ja) 撮影装置およびそれを用いた認証装置
US20030002714A1 (en) Individual identifying apparatus
EP1610545B1 (en) Photographing apparatus, photographing method and computer program
JP2004038305A (ja) 個人識別装置
CN110099226A (zh) 阵列摄像模组及其深度信息采集方法和电子设备
TW201539330A (zh) 認證裝置及認證用稜鏡體
JP2007319175A (ja) 撮影装置およびそれを用いた認証装置
JP2008310480A (ja) 虹彩撮影装置および虹彩認証装置
WO2018150554A1 (ja) 脈波測定装置、携帯端末装置及び脈波測定方法
JP4597178B2 (ja) 撮影装置および個人確認システム
JP2004062846A (ja) 個人識別装置の入力装置
KR100748923B1 (ko) 촬영 장치, 광원 제어 방법 및 컴퓨터 프로그램을 기록한 기록매체
KR100847792B1 (ko) 촬영 장치, 광원 제어 방법 및 컴퓨터 프로그램을 기록한기록매체
US20210192205A1 (en) Binding of selfie face image to iris images for biometric identity enrollment
KR102333490B1 (ko) 이종 이미지 처리 장치
KR100732931B1 (ko) 촬영 장치, 촬영 방법 및 컴퓨터 프로그램을 기록한 기록매체
EP2565827A1 (en) Device for producing images of irises of the eyes

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071018

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071130

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090414

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4297876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term