JP4709814B2 - クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像 - Google Patents

クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像 Download PDF

Info

Publication number
JP4709814B2
JP4709814B2 JP2007232418A JP2007232418A JP4709814B2 JP 4709814 B2 JP4709814 B2 JP 4709814B2 JP 2007232418 A JP2007232418 A JP 2007232418A JP 2007232418 A JP2007232418 A JP 2007232418A JP 4709814 B2 JP4709814 B2 JP 4709814B2
Authority
JP
Japan
Prior art keywords
aperture
optical
input
light
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007232418A
Other languages
English (en)
Other versions
JP2008176763A (ja
Inventor
ジョージ・イー・スミス
Original Assignee
アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド filed Critical アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Publication of JP2008176763A publication Critical patent/JP2008176763A/ja
Application granted granted Critical
Publication of JP4709814B2 publication Critical patent/JP4709814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

(関連出願との相互参照)
本願は、Tong Xieにより2005年3月21日に出願された「Compact and Low Profile Optical Navigation Device」という名称の同時係属の米国特許出願第11/085,282号に関係する。この特許出願は、参照することによって本願に組み込まれる。
撮像装置は、ディジタル静止画像カメラ、ディジタル・ビデオカメラ、デスクトップコンピュータ及びモバイルコンピュータ用に設計されたカメラ(「PCカメラ」と呼ばれることが多い)、入力装置(例えば、コンピュータマウス内の光ナビゲーションセンサ)、ハンドヘルド電子装置(例えば、携帯電話)、及び他の内蔵環境(embedded environments)を含む、多種多様な装置の中に組み込まれる。装置の寸法を最小にする、および複数の機能を1つの装置に組み合わせるという傾向の増大により、撮像機能を含む全ての装置機能を実施するのに必要な空間を減らすよう、絶えず圧力が加えられている。
大抵の撮像装置は、ほとんどの小形の装置環境では収容できない、大きくてかさばった部品を必要とする。例えば、光ナビゲーションセンサは一般に、2:1から1:2の範囲の倍率で結像光学部品により取り込まれる、約1平方ミリメートルのナビゲーション面の領域の高品質画像中の特徴を追跡するように設計される。一般的な光ナビゲーションセンサの設計では、結像光学部品は、1つのプラスチック成形レンズと、50マイクロメートル(μm)ピッチの20×20のフォトセルアレイから構成するイメージセンサとから成る。これらの結像部品を有しかつこれらの動作仕様を満足できる光ナビゲーションセンサは一般に、イメージセンサとナビゲーション面との間に10ミリメートル(mm)を超える空間を必要とする。
従来の光ナビゲーションセンサの設計における固有の寸法に対する制約は、デスクトップコンピュータのマウスなどの用途環境では重要な問題ではない。しかしながら、寸法の制約により、ハンドヘルド電子装置(例えば、携帯電話)及び他の内蔵環境などの小形の用途環境では、光ナビゲーションセンサ技術を組み込むことが妨げられる。必要なものは、小形撮像用途環境において重要な寸法の制約を満足できるシステム及び装置である。
1つの態様では、本発明は、光センサ、レンズ系、及び光学絞り(optical stop)システムを含む装置を特徴としている。光センサはフォトセルを有し、各フォトセルは、捕捉面内にそれぞれのフォトセル活性領域を有する。レンズ系はレンズを有し、各レンズは、シーンのそれぞれのサブフィールドからの光を、対応する集束ビームに集束するように動作可能である。光学絞りシステムは開口システムを含み、各開口システムは、対応する集束ビームの1つを、捕捉面内のそれぞれの照射領域に限定する。
1つの態様では、本発明は、シーンのそれぞれのサブフィールドからの光を、対応する集束ビームに集束する方法を特徴としている。対応する集束ビームは、捕捉面内のそれぞれの重なり合わない照射領域に限定される。光データは、照射領域を照射する集束ビームの光から発生される。シーンに対する動きを示す運動測定値は、光データから生成される。
本発明の他の特徴及び利点は、図面及び特許請求の範囲とともに下記の説明から明らかになるであろう。
下記の説明では、同じ要素を識別するために同じ参照番号が使用される。さらに、図面は、例示的な実施形態の主要な特徴を概略的な方法で例示するように意図されている。図面は実際の実施形態の全ての特長及び描写された素子の相対的な寸法を表すことを意図されていない、また寸法通りに描かれていない。
I.概要
A.序論
図1は、レンズ系12、光学絞り(optical stop)システム14、及び光センサ16を備える撮像装置10の実施形態を示す。レンズ系12は、レンズ17、18、20、22のアレイを含む。光センサ16はフォトセルのアレイを有し、各フォトセルは、捕捉面24内においてそれぞれのフォトセル活性領域を有している。光学絞りシステム14は、開口システム26、28、30、32のアレイを備えている。
図2は、撮像装置10によって実行される撮像方法の実施形態を示す。この方法によれば、それぞれのレンズ17〜22は、シーン42のそれぞれのサブフィールド34、36、38、40からの光を対応する集束ビーム44、46、48、50に集束させる(図2のブロック52)。開口システム26〜32のそれぞれは、集束ビーム44〜50の対応する1つを捕捉面24内のそれぞれの照射領域に限定する(図2のブロック54)。光センサ16のフォトセルは、照射領域を照射する集束ビーム44〜50の光から光データ56を発生する(図2のブロック58)。
撮像装置10は、比較的小さくかつ安価な部品を用いて実現されるため、極めて都合よくどのような種類の装置にも組み込むことができる。これらの装置において、画像のボケを除くこと、運動の安定化、及びグラフィカルユーザーインターフェースの制御信号を発生すること、などの運動感知用途を含む、シーンのサブフィールドに関する画像情報を都合よく使用することができる。幾つかの実施形態では、撮像装置10は、携帯電話、コードレス電話、ポータブル・メモリ装置(例えば、スマートカード)、携帯情報端末(PDA)、半導体のディジタル・オーディオプレーヤ、CDプレーヤ、MCDプレーヤ、静止画像、ビデオカメラ、PCカメラ、ゲーム・コントローラ、ページャ、ラップトップコンピュータ、及び他の内蔵環境などのモバイル装置の中に組み込まれる。
B.レンズ系の一般的な特徴
一般に、レンズ系12は、シーン42の少なくとも2つのサブフィールドからの光を、光センサ16の捕捉面24と一致する焦点面上に集束させる。それぞれのサブフィールドは、シーン42の様々な部分に対応する。代表的な実施形態では、レンズ系12はレンズの平面アレイを含み、各レンズは、サブフィールドのそれぞれの1つからの光を捕捉面24内の1つ以上のフォトセル活性領域のそれぞれの組に集束させる。このレンズ系12は、さらに別のレンズや光ファイバーなどの付加的な光学部品を備えることもできる。
C.光学絞りシステムの一般的な特徴
光学絞りシステム14の開口システム26〜32は、捕捉面24内の照射領域を照射する集束された光ビーム44〜50の一部を制御する。一般に、各開口システム26〜32は、それぞれの入力開口60とそれぞれの出力開口62とを備えている。
入力開口60のそれぞれは、サブフィールド34〜40のそれぞれの1つから入射する光の少なくとも一部を通過させる。例示した実施形態では、入力開口60は、レンズ系12の後ろ側(すなわち、光センサ側)に配置される。この実施形態では、入力開口60のそれぞれは、集束ビーム44〜50の対応する1つの少なくとも一部を通過させる。別の実施形態では、入力開口60は、レンズ系12の前方(すなわち、被写体側)に配置される。
出力開口62のそれぞれは、捕捉面24内で、それぞれの照射領域とそれぞれのシャドーゾーンとの間の境界を規定する。このシャドーゾーンは、対応する集束ビーム44〜50の通過した部分からの光がない領域のことを指す。代表的な実施形態では、出力開口62は、照射領域がフォトセル活性領域のいずれかで重なり合わないように構成される。この機能により、光センサ16によって生成される光データ56における画像コントラストを高めることができる。例えば、幾つかの実施形態では、レンズ17〜22の視野に対応するサブフィールド34〜40の領域は重なっている(例えば、図1を参照されたい)。これらの実施形態では、開口システム26〜32は、サブフィールド34〜40の重なった領域からの集束ビーム44〜50の部分間のクロストークを抑制する。このような方法で、これらの実施形態は、他の場合ではレンズ17〜22の重なった視野の撮像から生ずる可能性がある画像のコントラストの低下を回避する。
D.光センサの一般的な特徴
光センサ16は、レンズ系12によって捕捉面24上に集束されたサブフィールドの光から連続した画像を取り込むことができる任意の種類の撮像装置とすることができる。光センサ16は、電荷結合素子(CCD)イメージセンサ技術又は相補型金属酸化膜半導体(CMOS)イメージセンサ技術を含む任意の種類のイメージセンサ技術を用いて実現することができる。光センサ16は、取り込んだ画像データ上で1つ以上のフロントエンド動作を実行する、静止画像処理パイプライン又はビデオ処理パイプラインなどの別の構成要素も備えることができる(例えば、ダウン・サンプリング、デモザイク処理、及び色補正)。
幾つかの実施形態では、光センサ16のフォトセルは、1つ以上のフォトセルからなるグループに分割される。ここで、各フォトセルのグループは、捕捉面24内の照射領域のうちのそれぞれの1つのサブフィールド画像を取り込む。幾つかの実施形態では、フォトセルのグループは、それらの画素値を読み出す間に電子的に分割される。別の実施形態では、フォトセルのグループは、照射領域と一致する位置における共通の基板(例えば、シリコンのチップ又はプリント回路基板)にわたって分散される個別の領域に空間的に分割される。
光センサ16によって取り込まれたそれぞれの画像は、フォトセルグループによって取り込まれたサブフィールド画像のそれぞれ同時に発生した組から形成される。本願で使用される「同時発生する」という用語は、構成要素のサブフィールド画像が光センサ16の同じフレーム周期(又は読出し周期)の間に取り込まれることを意味する。同時発生するサブフィールド画像は、同時に取り込まれるか、又は同じフレーム周期の間に逐次取り込まれる。同時発生するサブフィールド画像は、光センサ16から直列又は並列に出力される。光センサ16は一般に、同時発生するサブフィールド画像の各組を、シーン42の一連の画像が重なるような十分な早さ(例えば、1秒当たり1500画像すなわちフレーム以上)で取り込む。
II.例示的な撮像装置の実施形態
A.第1の例示的な撮像装置の実施形態
図3は、レンズ系12の例示的な実施形態72、光学絞りシステム14の例示的な実施形態74、及び光センサ16の例示的な実施形態76を含む撮像装置10の例示的な実施形態70を示す。
レンズ系72は、光学素子78、80、82、84の平面アレイを含む。一般に、光学素子78〜84は、光を焦点面の捕捉領域上に集束できる任意の種類の光学素子とすることができる。典型的な種類の光学素子は、複製のエポキシレンズ及び、コンピュータ生成ホログラム(CGH)及びグレーティングなどの回折光学素子(DOE)を含む。各光学素子78、80、82、84は、それぞれの光軸86、88、90,92を有する。例示された実施形態では、レンズ系72は正面及び裏面を含む。レンズ系72の正面は、光学素子78〜84のそれぞれ1つに対応する湾曲面のアレイを含む。レンズ系72の裏面は、光学絞りシステム74と向き合う平面を有する。
幾つかの例示的な実施形態では、各レンズ78〜84は、それぞれ、前方焦点面と、捕捉面24と一致するそれぞれの後方焦点面とを有する。ここで、各前方焦点面と捕捉面との間の距離は5ミリメートル未満である。これらの実施形態の幾つかでは、各前方焦点面と捕捉面との間の距離は約2ミリメートルである。
光学絞りシステム74は、撮像装置70の指定された動作波長範囲内の光(例えば、可視光又は赤外光)に対しては不透明な基板94を備えている。この基板94は、光軸86〜92のそれぞれ1つと整列されるそれぞれの開口システムを規定するキャビティ96、98、100、102のアレイを備えている。各キャビティ96〜102は、開口絞りとして機能するそれぞれの入力開口104と、視野絞りとして機能するそれぞれの出力開口106とを備えている。
図3、図4A及び図4Bに示された実施形態では、各入力開口104は正方形であり、各出力開口106は対応する正方形をしており、また各キャビティ96〜102の側壁の形状はピラミッド形の錐台である。一般に、入力及び出力開口104、106は、多角形(例えば、長方形、正方形、五角形、六角形など)、楕円形(例えば、楕円、円、長円形)、及び任意の形状を含む、規則的又は不規則な閉じた平面図形の任意の種類の形状とすることができる。各入力開口104及びその関連する出力開口106は、それぞれの大きさは同じであるか又は異なっているが、概して同じ形状である。例示的な実施形態では、入力開口104のそれぞれは、その関連する出力開口106よりも小さい。
図3及び図5に示すように、各入力開口104は、光学素子78〜84によって集束された光ビームの対応する1つの少なくとも一部を通過させる。各出力開口106は、光センサ76の捕捉面24内のそれぞれの照射領域と、対応する集束ビームの通過した部分からの光がないそれぞれのシャドーゾーンとの間の境界108、110、112、114を規定する。この工程では、各入力開口104及びその対応する出力開口106は、図5に概略的に示されているように、捕捉面132内の対応する照射領域を照射することを許可されたサブフィールド光の光束の円錐角を決定する。
光センサ76は、捕捉面132内にそれぞれの活性領域124、126、128、130を有するフォトセル116、118、120、122の平面アレイを備えている。各活性領域124〜130は、レンズ系72の光学素子78〜84によって規定された光軸86〜92のそれぞれの1つと整列している。図5及び図6に概略的に示されているように、境界108〜112のそれぞれの1つの中の各照射領域は、フォトセル活性領域124〜130のそれぞれの1つをシーンのサブフィールドのそれぞれの1つからの集束された光で照射する。各照射領域の寸法は概して、フォトセル活性領域の寸法から、隣接するフォトセル活性領域の端部に接触する寸法までの範囲である。図5に示された例示的な実施形態では、照射領域108は活性領域124よりも僅かに大きい。図6で矢印134によって概略的に示されるように、活性領域124を照射する照射領域136の寸法は、活性領域124の寸法から、隣接する活性領域126〜130のうちの1つの端部に接触する大きさまでの範囲にわたる。このように照射領域の寸法を制限することによって、光学絞りシステム74は、シーンの隣接するサブフィールドの間のクロストークを抑制して、これにより発生する可能性がある画像のコントラストの低下を回避する。
図3に例示された実施形態では、レンズ系72は4つの光学素子78〜84を含み、光学絞りシステム74は4つのキャビティ96〜102を含み、また光センサ76は4つのフォトセル116〜122を含んでいる。他の実施形態は、より大きい又は少ない数の関連した構成要素を含むことができる。
図3〜図6に示された例示的な撮像装置の実施形態は、レンズ系72と光センサ76との間に配置される光学フィルタも含むことができる。一般に、この光学フィルタは、カラーフィルタ、吸収フィルタ、反射フィルタ、単色フィルタ、赤外線フィルタ、紫外線フィルタ、ニュートラル・デンシティ・フィルタ、ロング・パス・フィルタ、及びショート・パス・フィルタを含む、1つ以上のターゲット特性を有する光を選択的に透過する任意の種類のフィルタとすることができる。
レンズ系72、光学絞りシステム74及び光センサ76は、モノリシック構造体に一体化することができ、あるいは、支持フレームによって結合される若しくは共通の筐体の中に組み込まれる別個の部品によって実現することができる。図5に示された例示的な実施形態では、レンズ系72、光学絞りシステム74及び光センサ76は、支持構造体(図示せず)によって結合される別個の部品から形成される。この支持構造体によって、別個の部品の間にいくらかの空間が与えられる。
B.第2の例示的な撮像装置の実施形態
図7は、撮像装置10の第2の例示的な実施形態140の断面図である。この撮像装置140は、レンズ系12の例示的な実施形態142、光学絞りシステム14の例示的な実施形態144及び光センサ16の例示的な実施形態146を含む。撮像装置140は、レンズ系142、光学絞りシステム144及び光センサ146が単一のモノリシック構造体の中に組み込まれ、かつ開口システム148のそれぞれが複数(例えば、4×4=16)のフォトセル活性領域のそれぞれのグループ152を照射するそれぞれの照射領域150を規定することを除いて、図3に示された撮像装置70に対応する。
この幾つかの実施形態では、光センサ146は、空間的に分離されたグループ152にクラスタ化され、グループのそれぞれが2つ以上の構成要素のフォトセルを含むフォトセルの平面アレイを含む。各フォトセルグループのフォトセルの代表的な数はP×Qである。ここで、P及びQのそれぞれは、2から20の範囲の整数値である。クラスタ化された平面アレイのフォトセルグループ152のそれぞれは、レンズ系142の光学素子154のそれぞれ1つと整列される。
動作に当たっては、光学素子154のそれぞれは、図7に概略的に示すように、シーンのサブフィールドからの入射光156を対応するフォトセルグループ152のフォトセル上に集束するように構成される。
C.第3の例示的な撮像装置の実施形態
図8は、光学絞りシステム162がレンズ系12の前方(すなわち、被写体側)に配置された前方絞りシステム164と、レンズ系12の後方に配置された後方絞りシステム166とを備えていることを除いて、図1に示した撮像装置に対応する撮像装置160の実施形態の概略図である。前方絞りシステム164は、光学絞りシステム14内の入力装置60の機能と類似した機能を実行する入力開口168のアレイを備えている。後方絞りシステム166は、光学絞りシステム14内の出力装置62の機能と類似した機能を実行する出力開口170のアレイを備えている。
撮像装置160の1つの例示的な実施形態では、レンズ系12は、それぞれレンズ17〜22に対応する湾曲面を含む平坦な前面及び背面を有するレンズ基板を備えている。この実施形態では、レンズ基板の平坦な前面が、入力開口168の領域を除いて、撮像装置160の指定された動作波長範囲内の光に対して不透明な材料で塗装又はめっきされる。出力開口170は、指定された動作波長範囲内の光に対して不透明なプラスチック又は金属材料の薄板で規定される。別の方法では、出力開口170は、指定された動作波長範囲内の光に対して透明な光学基板上で塗装又はめっきされる不透明な材料の層によって規定される。この光学基板は、フォトセルと整列している光センサ16に取り付けられる。
III.撮像装置の実施形態に対する例示的な用途環境
前述したように、本願で説明される撮像装置の実施形態は、比較的小さくかつ安価な部品を用いて実現できるため、任意の種類の装置の中に組み込むのに極めて好適にすることができる。これらの装置において、画像のボケを除くこと、運動の安定化、及びグラフィカルユーザーインターフェースの制御信号を発生することなどの運動感知用途を含む、シーンのサブフィールドに関する画像情報を都合よく使用することができる。幾つかの実施形態では、これらの撮像装置は、携帯電話、コードレス電話、ポータブル・メモリ装置(例えば、スマートカード)、携帯情報端末(PDA)、半導体のディジタル・オーディオプレーヤ、CDプレーヤ、MCDプレーヤ、静止画像、ビデオカメラ、PCカメラ、ゲーム・コントローラ、ページャ、ラップトップコンピュータ、及び他の内蔵環境などのモバイル装置の中に組み込まれる。
図9は、光ナビゲーション装置180の中に組み込まれた撮像装置10の実施形態のブロック図である。この光ナビゲーション装置180は、画像処理パイプライン184及び画像処理パイプライン184の出力から運動測定値185を発生する運動計算モジュール186を備える処理システムをさらに含む。
画像処理パイプライン184は、光センサ16のフォトセルが発生した未加工の画像データ182を、それぞれが同時発生するサブフィールド画像のそれぞれの組から構成する連続画像188、...、190に変換する。特に、各フレーム周期の間に、画像処理パイプライン184はサブフィールド光からサブフィールド画像の組を発生する。このサブフィールド光は、捕捉面内のそれぞれの照射領域内のフォトセル上に集束される。例えば、フレーム周期T0の間に、画像処理パイプライン184は画像188のサブフィールド画像(すなわち、「サブフィールド画像(1,T0)」,...,「サブフィールド画像(4,T0)」を発生し、またフレーム周期TMの間に、画像処理パイプライン184は画像190のサブフィールド画像(すなわち、「サブフィールド画像(1,TM)」,...,「サブフィールド画像(4,TM)」を発生する。画像処理パイプライン184は、ナビゲーションセンサ180が実施される用途環境に応じて、静止画像処理パイプライン又はビデオ処理パイプラインとすることができる。未加工の画像データをサブフィールド画像に変換する処理の中で、画像処理パイプライン184は、ダウン・サンプリング、デモザイク処理、及び色補正を含む1つ以上のフロントエンド動作を、取り込まれた画像データ182上で実行できる。
一般に、運動計算モジュール186は多種多様の異なる方法を用いて、一般に1つ以上の変位パラメータ値、速度パラメータ値、及び加速度パラメータ値に対応する運動測定値185を決定することができる。幾つかの実施形態では、運動計算モジュール186は、画像処理パイプライン184が発生した連続した画像188,...,190との比較に基づいて運動測定値185を発生する。幾つかの実施形態では、運動計算モジュール186は、対応する画像188,...,190の中にテクスチャ又は他の特徴を識別して、連続した画像188,...,190にわたってそのような特徴の動きを追跡する。幾つかの実施形態では、運動計算モジュール186は、画像化されるシーンに対する光ナビゲーションシステム180の位置に関連する情報を得るために、連続する画像中で識別された特徴を互いに関係付ける。幾つかの実施形態では、運動計算モジュール186は、一連の画像中に共通の特徴を特定して、特定された共通の特徴をシフト又は移動させる方向及び距離を決定する。幾つかの実施形態では、運動計算モジュール186は、変位情報を光ナビゲーションシステム180の相対位置に対応する二次元の位置座標(例えば、x及びyの座標)に変換する。
一般に、画像処理パイプライン184及び運動計算モジュール186は、1つ以上の処理システムの別個のモジュールによって実現することができる。これらのモジュールは、どのような特定のハードウェア、ファームウェア、又はソフトウェアの構成にも制限されることはない。それよりも、これらのモジュールは、ディジタル電子回路(例えば、ディジタル信号処理装置(DSP)などの特定用途向け集積回路)又はコンピュータのハードウェア、ファームウェア、デバイスドライバ、若しくはソフトウェアを含む任意のコンピューティング又はデータ処理環境の中で実現できる。幾つかの実施形態では、これらのモジュールの機能を実現するためのコンピュータ処理命令及びそれらが発生するデータは、1つ以上の機械読取り可能な媒体の中に記憶される。これらの命令及びデータを確実に具体化するのに適当な記憶装置には、例えば、EPROM、EEPROM、及びフラッシュメモリ装置などの半導体メモリ装置、内蔵のハードディスク及びリムーバブル・ハードディスクなどの磁気ディスク、磁気光ディスク、及びCD−ROMを含む全ての形式の不揮発性メモリが含まれる。
図10は、光入力装置200の中に組み込まれた光ナビゲーションセンサ180の実施形態のブロック図である。光入力装置200は、光源202、及び接触面206を有する窓204をさらに備えている。光源202及び撮像装置10は、筐体207の空所の中に収められており、この筐体は一般に、指定された動作波長範囲内の光に対しては透明な、プラスチックなどの屈折材料から形成されている。
動作に当たっては、ユーザが一般的に指208で接触面206に接触すると、撮像装置10がユーザの指208の接触面206にわたる動きを捉えて、また処理システム210が光センサ16によって発生された光データ182を運動測定値に変換する。幾つかの動作環境では、光ナビゲーションセンサ180は、運動測定値から表示制御信号を得て、そしてこの表示制御信号を、ディスプレイ24を駆動する表示コントローラに送る。この表示コントローラは表示制御信号を処理して、例えばディスプレイ上のポインタの動きを制御する。表示コントローラ22は一般にドライバを実行して、表示制御信号を処理する。一般に、ディジタル電子回路又はコンピュータのハードウェア、ファームウェア、若しくはソフトウェアを含む任意のコンピューティング又はデータ処理環境の中で、ドライバを実装することがきる。幾つかの実施形態では、ドライバはオペレーティングシステム又はソフトウェアのアプリケーションプログラムの構成要素である。
窓204は、撮像装置10の指定された動作波長範囲内の光(例えば、可視光又は赤外光)に対してはほぼ透明である。窓204は、目標の波長範囲内の光に対して透明な、プラスチックなどのガラス又は他の耐摩耗性の材料から形成することができる。
光源202(例えば、発光ダイオード又はレーザ)は、指定された動作波長範囲内の光212を発生する。光学素子214は光212を平行にし、反射性光学素子216は平行にされた光218を接触面206に向けて方向付ける。光源202は、窓204を通して接触面206を照射する。これらの実施形態では、光218は窓204を通過し、そして被写体(例えば、ユーザの指先208の隆起部)が接触面206に接触している領域を除いて、接触面206から外に出る。被写体から反射された光は、撮像装置10によって取り込まれる。別の実施形態では、光源202は、窓204の端部に光を注入するように構成することができる。これらの実施形態では、光学素子(例えば、円柱レンズ)を使用して、窓204に対して均一な光の注入を行うことができる。注入された光は、被写体(例えば、ユーザの指先208の隆起部)が接触面206に接触している領域を除いて、内部全反射によって窓204内に保持される。そのような接触は、窓204内の内部全反射を乱して、注入された光を撮像装置10に向けて方向付ける。
IV.結論
本願で詳細に説明された実施形態により、小形の撮像用途環境における寸法に対する著しい制約を満足することができる改良された撮像装置及び方法が提供された。
他の実施形態は、特許請求の範囲の中にある。
光センサ、レンズ系、及び光学絞りシステムを備える撮像装置の実施形態の線図である。 撮像方法の実施形態のフローチャートである。 光学絞り構造体を備えた、図1に示した撮像装置の実施形態の線図である。 図3に示した光学絞り構造体の実施形態の概略下面図である。 図3に示した光学絞り構造体の実施形態の概略平面図である。 図3に示した撮像装置の統合された実施形態の断面図である。 図3に示した光センサのフォトセル上に重ね合わされた2つの照射領域の概略平面図である。 組み込まれた撮像装置の実施形態の断面図である。 撮像装置の実施形態の線図である。 光ナビゲーション装置の中に組み込まれた、図1の撮像装置の実施形態のブロック図である。 光入力装置の中に組み込まれた、図1の撮像装置の実施形態のブロック図である。
符号の説明
10:撮像装置
12:レンズ系
14:光学絞りシステム
16:光センサ
17、18、20、22:レンズ
24:捕捉面
26、28、30、32:開口システム
42:シーン
44、46、48、50:集束ビーム
56:光データ

Claims (19)

  1. 捕捉面内にフォトセル活性領域をそれぞれ有する複数のフォトセルを含む光センサと、
    シーン内の各サブフィールドからの光を対応する集束ビームに集束するようそれぞれ動作可能な複数のレンズを含むレンズ系と、
    前記集束ビームのうちの対応する1つを前記捕捉面内の対応する照射領域にそれぞれ限定する複数の開口システムを有する光学絞りシステムと、
    を備え、
    前記レンズの各々は、それぞれの光軸に沿って前記開口システムのうちの対応する1つと整列され、
    前記照射領域の各々は、前記光軸のうちの対応する1つに中心が配置され、
    前記開口システムの各々は、入力開口と出力開口とを有するキャビティによって画定され、前記出力開口の大きさは、前記入力開口の大きさより大きく、前記出力開口および前記入力開口の各々の形状は多角形であり、前記出力開口は、前記入力開口の配置に対して、該出力開口および該入力開口によって画定されるキャビティを含む当該開口システムの照射領域を、該照射領域が、隣接する開口システムの照射領域に重なり合わないよう限定するように配置される、装置。
  2. 前記レンズ系が正面及び裏面を含み、前記正面が前記レンズの各々にそれぞれ対応する湾曲した面のアレイを含み、かつ前記裏面が前記光学絞りシステムに隣接した平面を含む、請求項1に記載の装置。
  3. 前記照射領域が、1つ以上の前記フォトセル活性領域をそれぞれ有する互いに排他的な組をそれぞれ取り囲む、請求項1に記載の装置。
  4. 前記光学絞りシステムが、前記集束ビームを、前記捕捉面内の対応する重なり合わない照射領域に限定する、請求項1に記載の装置。
  5. 前記光学絞りシステムが、前記レンズ系と前記光センサとの間の光学絞り構造体の中に組み込まれる、請求項1に記載の装置。
  6. 前記光学絞り構造体が、指定された波長範囲内の光に対しては不透明な基板を含み、前記開口システムのうちの対応する1つをそれぞれ規定する複数のキャビティを前記基板が含む、請求項5に記載の装置。
  7. 前記キャビティの各々が入力開口と出力開口とを有し、前記入力開口が前記集束ビームのうちの対応する1つの少なくとも一部を通過させ、かつ前記出力開口がそれぞれの照射領域と、前記対応する集束ビームの通過した部分からの光のないそれぞれのシャドーゾーンとの間の前記捕捉面内の境界を規定する、請求項6に記載の装置。
  8. 前記キャビティの各々がピラミッド形の錐台の形状の側壁を有する、請求項6に記載の装置。
  9. 前記開口システムの各々が前記レンズ系の被写体側に入力開口を含み、かつ前記レンズ系と前記光センサとの間に出力開口を含む、請求項1に記載の装置。
  10. 前記開口システムの各々が入力開口と出力開口とを有し、前記入力開口が集束ビームのうちの対応する1つの少なくとも一部を通過させ、かつ前記出力開口がそれぞれの照射領域の外側の前記捕捉面の領域に向けられた前記対応する集束ビームの通過された一部の光を遮断する、請求項1に記載の装置。
  11. 前記入力開口の各々が長方形であり、かつ前記出力開口の各々が長方形である、請求項10に記載の装置。
  12. 前記レンズの各々が、それぞれの前方焦点面と、前記捕捉面と一致するそれぞれの後方焦点面とを有し、各前方焦点面と前記捕捉面との間の距離が5ミリメートル未満である、請求項1に記載の装置。
  13. 前記光センサ、前記レンズ系、及び前記光学絞り構造体が単一の構造体に一体化される、請求項1に記載の装置。
  14. 前記光センサが前記レンズによって前記照射領域上に集束された光から光データを発生するように動作可能であることと、前記光データから前記シーンに対する動きを示す運動測定値を生成するように動作可能な処理システムをさらに備えている、請求項1に記載の装置。
  15. 前記光センサが前記照射領域の前記フォトセル活性領域上に集束されたサブフィールドの画像から構成された連続した画像を取り込むように動作可能であり、かつ前記処理システムが前記取り込まれた画像のうちの複数の画像の比較により運動測定値を生成する、請求項14に記載の装置。
  16. シーン内の各サブフィールドからの光を対応する集束ビームに集束する手段と、
    前記集束ビームのうちの対応する1つを捕捉面内の対応する重なり合わない照射領域に限定する手段と、
    前記照射領域を照射する前記集束ビームの光から光データを発生する手段と、
    前記光データから前記シーンに対する動きを示す運動測定値を生成する手段と、
    を備え、
    前記限定する手段は、入力開口と出力開口とを有するキャビティによって画定される各開口システムを含み、
    前記出力開口の大きさは、前記入力開口の大きさより大きく、
    前記出力開口および前記入力開口の各々の形状は多角形であり、
    前記出力開口は、前記入力開口の配置に対して、該出力開口および該入力開口によって画定されるキャビティを含む当該開口システムの照射領域を、該照射領域が、隣接する開口システムの照射領域に重なり合わないよう限定するように配置される、システム。
  17. シーン内の各サブフィールドからの光を対応する集束ビームに集束するステップと、
    前記集束ビームのうちの対応する1つを、対応する開口システムを通して、捕捉面内の対応する重なり合わない照射領域に限定するステップと、
    前記照射領域を照射する前記集束ビームの光から光データを発生するステップと、
    前記光データから前記シーンに対する動きを示す運動測定値を生成するステップと、
    を含み、
    各前記対応する開口システムは、入力開口と出力開口とによって画定されるキャビティを有し、前記出力開口の大きさは、前記入力開口の大きさより大きく、前記出力開口および前記入力開口の各々の形状は多角形であり、前記出力開口は、前記入力開口の配置に対して、該出力開口および該入力開口によって画定されるキャビティを含む前記対応する開口システムの照射領域を、該照射領域が、隣接する開口システムの照射領域に重なり合わないよう限定するように配置される、方法。
  18. 前記限定するステップが、前記集束ビームのうちの対応する1つの少なくとも一部を通過させるステップと、対応する照射領域の外側の前記捕捉面の領域に向けられた前記対応する集束ビームの通過された一部の光を遮断するステップと、を含む、請求項17に記載の方法。
  19. 前記発生するステップが、前記照射領域上に集束されたサブフィールドの画像から構成される連続した画像を取り込むステップを含み、前記生成するステップが、前記取り込まれた画像のうちの複数の画像の比較により運動測定値を生成するステップを含む、請求項17に記載の方法。
JP2007232418A 2006-09-07 2007-09-07 クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像 Expired - Fee Related JP4709814B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/516,993 US7408718B2 (en) 2006-09-07 2006-09-07 Lens array imaging with cross-talk inhibiting optical stop structure
US11/516,993 2006-09-07

Publications (2)

Publication Number Publication Date
JP2008176763A JP2008176763A (ja) 2008-07-31
JP4709814B2 true JP4709814B2 (ja) 2011-06-29

Family

ID=39192462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007232418A Expired - Fee Related JP4709814B2 (ja) 2006-09-07 2007-09-07 クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像

Country Status (3)

Country Link
US (1) US7408718B2 (ja)
JP (1) JP4709814B2 (ja)
CN (1) CN101140492B (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2026051B1 (en) * 2007-08-07 2011-11-09 FUJIFILM Corporation Spectroscopy device, spectroscopy apparatus and spectroscopy method
US8803967B2 (en) * 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
JP4842363B2 (ja) * 2009-11-17 2011-12-21 シャープ株式会社 ポインティング装置および電子機器
US8711097B2 (en) * 2009-11-22 2014-04-29 Digitaloptics Corporation Optical navigation device with image sensor and inner housing
KR101275388B1 (ko) * 2010-04-14 2013-06-14 삼성전기주식회사 광포인팅 모듈 및 전자 장치
US9619047B2 (en) 2010-10-26 2017-04-11 Pixart Imaging Inc. Optical finger navigation device
US8547333B2 (en) * 2011-06-22 2013-10-01 Blackberry Limited Optical navigation device with haptic feedback
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
US9647150B2 (en) * 2013-05-21 2017-05-09 Jorge Vicente Blasco Claret Monolithic integration of plenoptic lenses on photosensor substrates
US9325906B2 (en) * 2013-10-18 2016-04-26 The Lightco Inc. Methods and apparatus relating to a thin camera device
US9551854B2 (en) 2013-10-18 2017-01-24 Light Labs Inc. Methods and apparatus for controlling sensors to capture images in a synchronized manner
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US20150244949A1 (en) 2014-02-21 2015-08-27 Rajiv Laroia Illumination methods and apparatus
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
WO2016007799A1 (en) 2014-07-09 2016-01-14 The Lightco Inc. Camera device including multiple optical chains and related methods
US9912864B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
DE102016200285A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
CN108197560B (zh) * 2017-12-28 2022-06-07 努比亚技术有限公司 人脸图像识别方法、移动终端及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171429A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2004096638A (ja) * 2002-09-03 2004-03-25 Canon Inc 撮像装置およびその製造方法
JP2004336228A (ja) * 2003-05-02 2004-11-25 Alps Electric Co Ltd レンズアレイ装置
JP2005072662A (ja) * 2003-08-25 2005-03-17 Sharp Corp 透光板および透光板の製造方法、並びに透光板を用いた画像入力装置
JP2005167443A (ja) * 2003-12-01 2005-06-23 Canon Inc 複眼光学系
JP2005176117A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
JP2005303694A (ja) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
JP2006080597A (ja) * 2004-09-07 2006-03-23 Canon Inc 撮像モジュール及び撮像モジュールの製造方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3899778A (en) * 1974-01-04 1975-08-12 Ncr Co Means employing a multiple lens array for reading from a high density optical memory storage
US4421379A (en) * 1981-01-12 1983-12-20 Grumman Aerospace Corporation Multiple holographic lens
US4409479A (en) 1981-12-03 1983-10-11 Xerox Corporation Optical cursor control device
US5907152A (en) * 1992-10-05 1999-05-25 Logitech, Inc. Pointing device utilizing a photodetector array
KR100525067B1 (ko) 1997-01-20 2005-12-21 가부시키가이샤 니콘 노광 장치의 광학 특성 측정 방법, 노광 장치의 동작 방법 및 투영 노광 장치
US6256016B1 (en) * 1997-06-05 2001-07-03 Logitech, Inc. Optical detection system, device, and method utilizing optical matching
EP1073005A1 (de) 1999-07-28 2001-01-31 Siemens Aktiengesellschaft Bedienoberfläche mit einem optischen Sensor
US6825832B2 (en) * 1999-11-30 2004-11-30 Vercel Development, Inc. Hand held internet browser with folding keyboard
DE60141704D1 (de) * 2000-11-06 2010-05-12 Koninkl Philips Electronics Nv Verfahren zur messung der bewegung eines eingabegeräts
US6977645B2 (en) 2001-03-16 2005-12-20 Agilent Technologies, Inc. Portable electronic device with mouse-like capabilities
US6809723B2 (en) * 2001-05-14 2004-10-26 Agilent Technologies, Inc. Pushbutton optical screen pointing device
US7126585B2 (en) * 2001-08-17 2006-10-24 Jeffery Davis One chip USB optical mouse sensor solution
JP3826047B2 (ja) * 2002-02-13 2006-09-27 キヤノン株式会社 露光装置、露光方法、及びそれを用いたデバイス製造方法
US6967321B2 (en) * 2002-11-01 2005-11-22 Agilent Technologies, Inc. Optical navigation sensor with integrated lens
EP1429235B1 (en) 2002-12-10 2010-08-25 OPDI Technologies ApS An input device for screen navigation, such as cursor control on a computer screen
US6967718B1 (en) * 2003-02-28 2005-11-22 Silicon Light Machines Corportion Method and apparatus for monitoring WDM channels and for analyzing dispersed spectrum of light
KR100465969B1 (ko) * 2003-04-11 2005-01-13 (주)모비솔 손가락 표면을 이용한 소형 포인팅 장치
US20060055811A1 (en) * 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
JPWO2006046396A1 (ja) * 2004-10-28 2008-05-22 松下電器産業株式会社 カメラモジュール
TW200629129A (en) * 2005-02-04 2006-08-16 Pacing Technology Co Ltd Optical system with aperture stop for optical mouse and light projection method thereof
US7244925B2 (en) * 2005-03-21 2007-07-17 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd Compact and low profile optical navigation device
JP2007121631A (ja) * 2005-10-27 2007-05-17 Funai Electric Co Ltd 複眼撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171429A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2004096638A (ja) * 2002-09-03 2004-03-25 Canon Inc 撮像装置およびその製造方法
JP2004336228A (ja) * 2003-05-02 2004-11-25 Alps Electric Co Ltd レンズアレイ装置
JP2005072662A (ja) * 2003-08-25 2005-03-17 Sharp Corp 透光板および透光板の製造方法、並びに透光板を用いた画像入力装置
JP2005167443A (ja) * 2003-12-01 2005-06-23 Canon Inc 複眼光学系
JP2005176117A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
JP2005303694A (ja) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
JP2006080597A (ja) * 2004-09-07 2006-03-23 Canon Inc 撮像モジュール及び撮像モジュールの製造方法

Also Published As

Publication number Publication date
US7408718B2 (en) 2008-08-05
CN101140492B (zh) 2010-04-21
JP2008176763A (ja) 2008-07-31
CN101140492A (zh) 2008-03-12
US20080074755A1 (en) 2008-03-27

Similar Documents

Publication Publication Date Title
JP4709814B2 (ja) クロストークを抑制する光学絞り構造体を備えたレンズアレイ撮像
CN210983445U (zh) 电子设备
US9201524B2 (en) Lensless optical navigation device for directing radiation via reflection by three total internal surfaces
US7969410B2 (en) Optically detecting click events
TWI387902B (zh) 光學導向裝置及光學導向方法
US8035625B2 (en) Touch screen
JP4392377B2 (ja) デバイスと表面との間の距離を測定する光学デバイス
US7732752B2 (en) Continuous base beneath optical sensor and optical homodyning system
JP3877058B2 (ja) 小型装置およびその製造方法
US9347833B2 (en) Infrared touch and hover system using time-sequential measurements
JP2007052025A (ja) 光学的に透明な層を通してナビゲーション情報を生成するように構成された、滑動機能を有する光ナビゲーションデバイスのためのシステム及び方法
US20120300989A1 (en) Imaging device, biometric authentication device, electronic equipment
US20130136305A1 (en) Pattern generation using diffractive optical elements
TWI408429B (zh) 光學感測模組
JP2004318892A (ja) 指画像入力用途における時間空間多重化システム及び方法
JP2004318891A (ja) 指認識及びフィンガ・ナビゲーションを組み合わせたモジュールにおける反射を多重化するためのシステム及び方法
JP2010257089A (ja) 光学式位置検出装置
KR20100037014A (ko) 사용자 입력 장치, 광학 손가락 네비게이션 방법 및 핸드 헬드 컴퓨팅 시스템
EP2256600A2 (en) Optimal use of F-TIR issues in finger mouse
JPWO2006077718A1 (ja) レンズアレイ及びレンズアレイを備えるイメージセンサ
US20070139381A1 (en) Speckle navigation system
JP2006202291A (ja) 光学スライドパッド
US20070241262A1 (en) Optical sensing unit for an optical input device
CN112395937A (zh) 感测模块和包括该感测模块的电子装置
US20100207011A1 (en) System and method for performing optical navigation using a compact optical element

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100702

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110318

R150 Certificate of patent or registration of utility model

Ref document number: 4709814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees