JP6722287B2 - 立体撮像センサ装置及び立体撮像に用いる画像センサ対を製作するための方法 - Google Patents

立体撮像センサ装置及び立体撮像に用いる画像センサ対を製作するための方法 Download PDF

Info

Publication number
JP6722287B2
JP6722287B2 JP2018529653A JP2018529653A JP6722287B2 JP 6722287 B2 JP6722287 B2 JP 6722287B2 JP 2018529653 A JP2018529653 A JP 2018529653A JP 2018529653 A JP2018529653 A JP 2018529653A JP 6722287 B2 JP6722287 B2 JP 6722287B2
Authority
JP
Japan
Prior art keywords
image sensors
sensor
image
sensors
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529653A
Other languages
English (en)
Other versions
JP2019508873A (ja
Inventor
ビー. チノック ランドル
ビー. チノック ランドル
ピー. ジュリアン ジェイソン
ピー. ジュリアン ジェイソン
グラブナー ジョージ
グラブナー ジョージ
エル. ウェーバー ウィリアム
エル. ウェーバー ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titan Medical Inc
Original Assignee
Titan Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titan Medical Inc filed Critical Titan Medical Inc
Publication of JP2019508873A publication Critical patent/JP2019508873A/ja
Application granted granted Critical
Publication of JP6722287B2 publication Critical patent/JP6722287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607Geometry of the photosensitive area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

この開示は、一般に、立体撮像において用いられる画像センサ対を製作することに関する。
立体撮像システムにおいて、二次元画像の対がs立体カメラを用いて僅かに異なる視点から取り込まれてもよい。右の画像をユーザの右眼に、そして、左の画像をユーザの左眼に表示することにより、人間の視覚を模倣する三次元図を提供する。三次元表示は二次元画像を超える追加の距離知覚を提供する。
立体カメラは多くの用途において用いられてもよく、例えば、人間又は動物の体腔内部の腹腔鏡手術を行うこと等の閉ざされた空間内部で作業する場合に有用であってもよい。小型立体カメラは、通常、左右画像間で視点の僅かな相違を有するが、それでもなお有用なレベルの三次元知覚を提供する。
開示する一態様によれば、立体撮像において用いられる画像センサ対を製作するための方法が提供され、各画像センサは画像センサの前面上に行列で配置される複数の感光素子を有する。方法は、担持体上に整列された複数の画像センサを製作することに関係し、複数の画像センサは整列公差内で担持体上に配設されることを含み、整列公差は、隣接する画像センサ同士の間の目標横方向オフセットと、隣接する画像センサ上の感光素子の対応する行同士の間の目標配向とを含む。方法は、また、整列された複数の画像センサ内の画像センサを画像センサのダイシングされた対に切り離すようダイシングすることに関係し、画像センサのそれぞれダイシングされた対はダイシングされた担持体の共通部分に配設される。
方法は、更に、画像センサのそれぞれダイシングされた対のために、画像センサのダイシングされた対の前面の全体にわたって共通窓を接合することに関係してもよく、窓は、光がそれぞれの前面に到達することを可能にするよう配設される開口を有するスペーサによって画像センサのダイシングされた対の前面から離間される。
整列された複数の画像センサを製作することは、更に、複数の画像センサの前面の全体にわたって延在する窓を接合することに関係し、窓は、光がそれぞれの前面に到達することを可能にするよう配設される開口を有するスペーサによって複数の画像センサの前面から離間され、担持体をダイシングすることは、担持体、スペーサ、及び窓を、それぞれの前面を横断して延在する共通窓を有する画像センサのダイシングされた対にダイシングすることに関係してもよい。
整列された複数の画像センサを製作することは、複数の画像センサ内の各画像センサのために、それぞれの前面上に1つ以上のアライメント印を形成することに関係してもよく、印は画像センサへの光学素子の後続の整列を容易にするよう操作可能である。
複数の画像センサ内の隣接する画像センサ上の感光素子の対応する行同士の間の目標配向は、隣接する画像センサ上の感光素子の対応する行同士の間の目標共線性、及び、複数の画像センサ内の隣接する画像センサの前面同士の間の目標共平面性のうちの少なくとも1つに関係してもよい。
複数の画像センサ内の各画像センサは画像センサの裏面上に複数のセンサ取付用パッドを含んでいてもよく、方法は、更に、画像センサのダイシングされた対のそれぞれの裏面上にセンサ取付用パッドを接合させてセンサを電気回路内の導体に接続することに関係してもよい。
別の開示する態様によれば、共通担持体上に隣接して製作される一対の画像センサを含む立体画像センサ装置が提供され、共通担持体は、整列された複数の画像センサが整列公差内で製作されている担持体のダイシングされた一部であり、整列公差は隣接する画像センサ同士の間の目標横方向オフセットと、隣接する画像センサ上の感光素子の対応する行同士の間の目標配向とを含んでいる。
画像センサの各対は、画像センサ対の前面にわたって接合されるスペーサと、スペーサに接合される共通窓とを含んでいてもよく、スペーサは窓を介して受ける光が各センサ対のそれぞれの前面に到達することを可能にするよう配設される開口を有する。
共通窓は整列された複数の画像センサの前記前面にわたって延在する窓のダイシングされた一部を含んでいてもよい。
複数の画像センサ内の隣接する画像センサ上の感光素子の対応する行同士の間の目標配向は、隣接する画像センサ上の感光素子の対応する行同士の間の目標共線性、及び、複数の画像センサ内の隣接する画像センサの前面同士の間の目標共平面性のうちの少なくとも1つを含んでいてもよい。
複数の画像センサ内の画像センサ対のそれぞれは、電気回路内の導体へのセンサの接続を容易にするよう操作可能な画像センサの裏面上の複数のセンサ取付用パッドを含んでいてもよい。
別の開示する態様によれば、立体撮像において用いられる第1及び第2の画像センサを隣接して実装するための方法が提供され、各画像センサは画像センサの前面上に行列で配置される複数の感光素子を有する。方法は、整列公差内で画像センサ同士を整列させるよう第1及び第2の画像センサのうちの少なくとも1つの相対移動を生じさせることに関係し、整列公差は、第1及び第2のセンサ間の目標横方向オフセットと、第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向とを含む。方法は、また、第1及び第2の画像センサが整列公差内で整列される場合に第1及び第2の画像センサを共通窓に接合することにも関係する。
第1及び第2の画像センサのそれぞれは前面の周囲に配設されるスペーサを含み、スペーサは有し、開口は光がそれぞれの前面に到達することを可能にするよう配設され、第1及び第2の画像センサを共通窓に接合することはスペーサを共通窓に接合することに関係してもよい。
第1及び第2の画像センサを共通窓に接合することは、1つ以上のスペーサを窓に接合することであって、1つ以上のスペーサは、光が第1及び第2の画像センサのそれぞれの前面に到達することを可能にするよう配設される開口を有することと、1つ以上のスペーサを第1及び第2の画像センサに接合することとに関係してもよい。
第1及び第2の画像センサのそれぞれは前面の周囲に配設されるスペーサとスペーサに接合されるセンサ窓とを含んでいてもよく、スペーサは光が前面に到達することを可能にするよう配設される開口を有し、第1及び第2の画像センサを共通窓に接合することはそれぞれのセンサ窓を前記共通窓に接合することに関係してもよい。
第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向は、第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標共線性と、第1及び第2の画像センサの前面同士の間の目標共平面性とのうちの少なくとも1つに関係してもよい。
第1及び第2の画像センサのそれぞれは画像センサの裏面上に複数のセンサ取付用パッドを含んでいてもよく、方法は、更に、第1及び第2の画像センサのそれぞれの裏面上のセンサ取付用パッドを共通担持体に接合することに関係してもよい。
別の開示する態様によれば、立体画像センサ装置が提供される。装置は、共通窓と、それぞれが画像センサの前面上に行列で配置される複数の感光素子を有する第1及び第2の画像センサとを含み、第1及び第2の画像センサは整列公差内で共通窓に接合され、整列公差は、第1及び第2のセンサ間の目標横方向オフセットと、第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向とを含む。
装置は、画像センサの前面の周囲と共通窓との間に接合される1つ以上のスペーサを含んでいてもよく、1つ以上のスペーサは、光がそれぞれの前面に到達することを可能にするよう配設されるそれぞれの開口を有する。
第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向は、第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標共線性と、第1及び第2の画像センサの前面同士の間の目標共平面性とのうちの少なくとも1つを含んでいてもよい。
複数の画像センサ内の画像センサ対のそれぞれは、電気回路内の導体へのセンサの接続を容易にするよう操作可能な画像センサの裏面上の複数のセンサ取付用パッドを含んでいてもよい。
別の開示する態様によれば、立体画像センサ装置が提供される。装置は、それぞれが画像センサの前面上に行列で配置される複数の感光素子と画像センサの裏面上の複数のセンサ取付用パッドとを有する第1及び第2の画像センサを含み、それぞれの第1及び第2の画像センサの前記裏面は、第1及び第2のセンサ間の目標横方向オフセットと、第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向とを含む整列公差内で共通回路基板に接合される。
装置は、整列公差内で第1及び第2の画像センサを位置決めするよう操作可能な基準特徴を有するアライメントフレームを含んでいてもよい。
装置は、画像センサ対の前記前面にわたって接合される共通窓を含んでいてもよく、窓は第1及び第2の画像センサの前面を目標共平面性内で配設させるよう操作可能であり、窓は光がそれぞれの前面に到達することを可能にするよう配設される開口を有するスペーサによって画像センサ対の前面から離間される。
画像センサ対のそれぞれは前面の周囲に配設されるスペーサとスペーサに接合されるセンサ窓とを含んでいてもよく、スペーサは光が前面に到達することを可能にするよう配設される開口を有し、第1及び第2の画像センサのセンサ窓は共通窓に接合されてもよい。
装置は、整列公差内で第1及び第2の画像センサを位置決めするよう操作可能な基準特徴を有するアライメントフレームを含んでいてもよく、センサは基準特徴と係合状態で配設される。
別の開示する態様によれば、立体撮像において用いられる第1及び第2の画像センサを隣接して実装するための方法が提供され、各画像センサは前面上に行列で配置される複数の感光素子と画像センサの裏面上の複数のセンサ取付用パッドとを有する。方法は、第1及び第2の画像センサのそれぞれをアライメントフレームの基準特徴との係合状態で配設することに関係し、基準特徴は整列公差内で第1及び第2の画像センサを位置決めするよう操作可能であり、整列公差は、第1及び第2の画像センサ間の目標横方向オフセットと、第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向とを含む。方法は、また、第1及び第2の画像センサがアライメントフレームによって整列公差内で保持されている間に、第1及び第2の画像センサのそれぞれの裏面上のセンサ取付用パッドを共通回路基板に接合することに関係する。
方法は、センサ取付用パッドを共通回路基板に接合した後に、アライメントフレームを取り外すことに関係してもよい。
アライメントフレームの基準特徴は第1及び第2の画像センサを目標横方向オフセット内及び隣接するセンサ上の感光素子の対応する行同士の間の目標共線性内で位置決めするよう操作可能であってもよく、方法は、更に、第1及び第2の画像センサのそれぞれの裏面上のセンサ取付用パッドを共通回路基板に接合する前に、画像センサ対の前面にわたって共通窓を接合することに関係してもよく、共通窓は第1及び第2の画像センサの前面を目標共平面性内で配設させるよう操作可能であり、共通窓は光がそれぞれの前面に到達することを可能にするよう配設されるそれぞれの開口を有する1つ以上のスペーサによって画像センサ対の前面から離間される。
アライメントフレームの基準特徴は、目標横方向オフセット内と、隣接するセンサ上の感光素子の対応する行同士の間の目標共線性内と、目標共平面性内とで第1及び第2の画像センサを位置決めするよう操作可能であってもよい。
方法は、センサ取付用パッドを共通回路基板に接合した後に、画像センサ対の前面にわたって共通窓を接合することに関係してもよい。
アライメントフレームは、目標横方向オフセット及び目標共線性内で第1及び第2の画像センサを位置決めするための基準特徴を画成する第1の面と、目標共平面性内で第1及び第2の画像センサの前面を位置決めするための第2の面とを含んでいてもよい。
アライメントフレームは凹部を有するフレーム本体を含んでいてもよく、凹部は目標横方向オフセット及び目標共線性内で第1及び第2の画像センサを位置決めするための基準特徴を画成する面を有し、フレーム本体は、更に、目標共平面性内で第1及び第2の画像センサの前面を位置決めするための平面を含んでいてもよい。
アライメントフレームは第1及び第2の画像センサを基準特徴との係合状態に付勢するよう操作可能な複数のバネを含んでいてもよい。
共通回路基板はセンサ取付用パッドに対応する取付用パッドを有してもよく、取付用パッドは金属に関係してもよく、センサ取付用パッドを共通回路基板に接合することは、溶融した可融合金をセンサ取付用パッドと回路基板取付用パッドとの間に流動させることに関係してもよく、可融合金は、可融合金の融点未満に冷却される場合にセンサ取付用パッドと回路基板取付用パッドとの間の接合を提供するよう操作可能である。
センサ取付用パッドの少なくとも一部は画像センサに電気接続されてもよく、共通回路基板は、回路基板取付用パッド、可融合金、及びセンサ取付用パッドを介して第1及び第2の画像センサへ、又は、それらから信号を接続操作可能な電気回路を含んでいてもよい。
他の態様及び特徴は、添付図面と共に特定の開示する実施形態の以下の説明の査読時に当業者に明らかとなるであろう。図面は開示する実施形態を示す。
立体カメラの斜視図である。 図1に示す立体カメラにおいて用いられる第1及び第2の画像センサの斜視図である。 複数の画像センサを含むCMOSウェハの平面図である。 画像センサアセンブリの分解斜視図である。 図4の組み立てられた画像センサの斜視図である。 図5に示す組み立てられた画像センサの後面斜視図である。 開示する一実施形態による立体画像センサ装置である。 開示する一実施形態による図7に示す立体画像センサの分解斜視図である。 別の開示する実施形態による図7に示す立体画像センサの分解斜視図である。 別の開示する実施形態による立体画像センサの分解斜視図である。 画像センサ対を共通窓に整列させ、接合するためのプロセスを表すフロー図である。 別の開示する実施形態による共通担持体上の立体画像センサ装置である。 図3に示すCMOSウェハの拡大部分である。 ダイシングカット後に線14−14に沿って取られた図13に示すCMOSウェハの断面図である。 図12に示す立体画像センサの実施形態のための代替組立プロセスを示す断面図である。 図12に示す立体画像センサの実施形態のための別の組立プロセスを示す断面図である。 別の開示する実施形態による回路基板上の立体画像センサの斜視図である。 図17に示す立体カメラにおいて用いられる画像センサ対を整列させるためのアライメントフレームの斜視略図である。 図18に示すアライメントフレームの分解後面斜視図である。 図17に示す立体画像センサにおいて用いられる画像センサ対を整列させるための代替アライメントフレームの斜視図である。 図20に示すアライメントフレームの分解後面斜視図である。 アライメントフレームの更なる実施形態の斜視図である。 画像センサ対を搭載された図22に示すアライメントフレームの斜視図である。 回路基板上の図23に示す複数のアライメントフレームの後面斜視図である。
図1を参照すると、立体カメラが100で概して示されている。立体カメラ100は、ハウジング106内部に密閉される撮像装置102と撮像装置104とを含む2つの離間した撮像装置を含んでいる。撮像装置102は、オブジェクトフィールド114内部の第1の透視ビューポート112から取り込まれる光を受けるよう配設されるレンズアセンブリ108と第1の画像センサ110とを含んでいる。レンズアセンブリ108は複数のレンズ素子(図示せず)を含んでいてもよい。撮像装置104は、オブジェクトフィールド114内部の第2の透視ビューポート118から取り込まれる光を受けるよう配設されるレンズアセンブリ116と第2の画像センサとを含んでいる(第2の撮像装置104と関連する画像センサは図1に示す図において見えていない)。
撮像装置102はレンズアセンブリ108を通してオブジェクトフィールド114から光を受け、光を第1の画像センサ110上で撮像して第1の透視ビューポート112に対応する第1の透視視点から画像を取り込む。第1の画像センサ110はセンサ上の感光素子で受けられる光エネルギーを表すデータ信号を生成する。同様に、第2の撮像装置104のレンズアセンブリ116は第2の透視ビューポート118と関連する第2の透視視点から画像を取り込み、対応する第2の画像センサ(図1では図示せず)が画像を表すデータ信号を生成する。撮像装置102及び104からのデータ信号は立体カメラ100からの出力として提供され、オブジェクトフィールド114と関連する三次元(3D)空間情報を伝える画像を閲覧者に表示するよう処理されてもよい。例えば、画像は人間の視覚を模倣するようユーザの左右の眼に別々に提示されてもよい。
図2を参照すると、第1の画像センサ110が第2の画像センサ120と共に示されている。各画像センサ110及び120はそれぞれの中心点126及び128を有するそれぞれのアクティブ領域122及び124を有する。アクティブ領域122及び124はそれぞれ行132、133及び列134、135に配設される複数の感光素子又は画素130を含んでいる。図2において、個々の感光素子130は例示のために拡大されて示されており、実際には、ほんの数マイクロメートルの寸法(例えば、3μm×3μm)を有していてもよい。センサ110及び120は数百万ピクセルの画素数を有していてもよい。センサ110及び120は、中心点同士126及び128がx軸方向でセンサ間距離ISDによって離間されるように、互いに対して横方向にオフセットされている。センサ間距離ISDは第1の透視ビューポート112と第2の透視ビューポート118との間の十分な透視差を提供するよう選択される。一般に、ハウジング106の大きさはセンサ間距離に制約を置く可能性があり、特定用途と関連する空間的制約内で人間の眼の間の平均的な離隔距離に可能な限り近付くよう概して選択される。
第1及び第2のセンサ110及び120間に厳しい公差内で(通常、マイクロメートル領域内で)精確に整列された感光素子の行132及び133を有することは有利である。十分に精確な整列は3D情報を表示及び/又は抽出するための画像センサ110及び120のそれぞれによって生成されたデータ信号の処理量を低減する。画像センサ110及び120並びにそれらそれぞれのレンズが精確に整列される場合、撮像装置102及び104によって取り込まれる予め選択された公称距離にある平面オブジェクトの個々の2D画像のそれぞれ内の点はオブジェクトフィールド114内の平面全体にわたって略ゼロの画像対視差を有する。この場合、いずれかの残りの画像視差は、主に、オブジェクトフィールド114内の平面からのオブジェクト距離逸脱の関数である。
図2に示す実施形態において、第1及び第2のセンサ110及び120の感光素子の行132及び133はy軸方向における距離Δyによって離間されて示されている。第1の画像センサ110は、また、行同士132及び133が角度αにあるように、第2の画像センサ120に対して傾斜している。一般に、行132及び133は距離ΔY、角度αによって表される共線公差内で共線に整列される。センサ110及び120ISDの横方向オフセットも公差Δx内にあるべきである。一実施形態において、整列公差は立体カメラ100の所望の解像度に見合った精度にセンサの視野略全体にわたってピクセルを整列するよう選択されてもよい。解像度は、一般に、画像品質、F値、ピクセルサイズ、及び他の撮像パラメータに依存する。加えて、アクティブ領域122及び124も、画像センサ同士が略共通の焦点面を共有し、台形歪み及び倍率一致問題が最小化されるようにx−y平面において略同一平面上にあるべきである。
一般に、撮像装置102及び104の整列は画像センサ110及び120のそれぞれ並びにそれぞれのレンズ108及び116のための幾らかの自由度での光学的及び機械的調整を必要とする。幾つかの機械的及び光学的調整は、また、相互に関係し、先の調整に影響を及ぼす後続の調整を回避し、例えば、レンズ位置合わせ等の性能上の問題を生じる原因となる可能性のある他の誤差及び収差を補償するために調整戦略を必要としてもよい。
幾つかの実施形態において、第1の透視ビューポート112及び第2の透視ビューポート118は、オブジェクトフィールド114内の平面における共通オブジェクト点が2点間の相関性を有して両カメラによって撮像されるように正確に一部重複することが望ましくてもよい。オブジェクトフィールド114内の公称平面から逸脱する三次元オブジェクト上の点は、次いで、2つのカメラの異なる透視点のために2D画像同士の間に視差を有し、従って、立体表示を用いて表示される場合に3D効果を提供する。一実施形態において、画像センサ110及び120並びにそれぞれのレンズ108及び116は、第1の透視ビューポート112、第2の透視ビューポート118が厳しい公差Δx内で正確に一部重複するように、オフセット又は整列されてもよい。一実施形態において、この整列はアクティブ領域122及び124の中心点126及び128に対して互いに向かって(x方向に沿って)僅かに軸外にレンズ108及び116を移動させて第1及び第2の透視ビューポート112及び118間で部分的な重複を達成することに関係していてもよい。オブジェクトフィールド114内部の公称平面の2D画像内の共通点は、従って、画像対のそれぞれのための同じピクセル行列に位置し、画像を表すデータ信号は、従って、信号をそれぞれの立体表示に供給する前に、異なるビューポート同士を一致させるために更に処理される必要はない。透視ビューポート112及び118間のいずれかの大きな視差も、画像の取得及び表示の間に望ましくない待ち時間を加える2D画像間の回転の除去等の画像を表すデータ信号の処理を必要とする。3D画像の表示がオペレータに対してライブビデオフィードバックを提供する多くのシステムにおいて、待ち時間は問題となり、撮像システムの効率を低減する恐れがある。
画像センサ110及び120は、通常、マイクロリソグラフィ技術を用いて半導体ウェハ上に多数製作されるCMOSアクティブピクセルセンサデバイスであってもよい。代替として、電荷結合素子(CCD)画像センサが幾つかの用途において用いられてもよい。図3を参照すると、複数の画像センサを含む代表的な300mmCMOSウェハが概して200で平面図において示されている。ウェハ200は多数の個々の画像センサ202を担持体204上に含んでいる。製作は、先ず、後で画像センサの光起動領域を曝露させるよう大きく除去されてもよいシリコンオンインシュレータ(SOI)等のウェハ基板又は他の従来のシリコン基板上で開始してもよい。担持体204は、従って、元のシリコン基板でなくてもよく、元のシリコン基板の除去前にウェハに接合されてもよい。電気接続が、次いで、担持体204の裏側に形成される。幾つかの実施形態において、電気接続は、センサの後続の表面実装のために設けるウェハ200の裏に形成される複数のボールグリッドアレイパッドの形を取ってもよい。電気接続は、例えば、プリント回路基板又はフレキシブル相互接続回路等の電気回路基板上のセンサと導体との間で信号及び電力を接続するために設ける。
幾つかの製造プロセスにおいて、更なる光学層がウェハレベルパッケージング(WLP)プロセスにおいて画像センサを露出させるよう追加されてもよい。例えば、反射防止(AR)コーティングがセンサ202の前面にわたって施されてもよく、光学的品質のガラス窓がセンサ全体にわたって接合されて損傷及び汚染からアクティブ領域を保護してもよい。窓は、一般に、窓とウェハとの間のスペーサによってセンサの前面から離間されている。幾つかの実施形態において、センサ上の各感光素子のためのマイクロレンズ素子を有するマイクロレンズアレイはセンサ全体にわたって窓を接合する前にセンサに対して整列され、接合されてもよい。ウェハは、次いで、個々のセンサにダイシングされ、その後、WLPプロセスが、概して使用できる状態であり、何の追加処理ステップも必要としない個々の画像センサを提供する。他の非WLPプロセスにおいて、裸のARコーティングされたセンサは、前面へのスペーサ/窓及び/又はマイクロレンズアレイの接合前に個々のセンサにダイシングされてもよい。
図4を参照すると、個々の画像センサの分解図が250で示されている。画像センサ250は、スペーサ258の実装を容易にする担持体204の前面256上で内側に間隔を空けて配置されるアクティブ領域254を有する裸センサアセンブリ252を含んでいる。スペーサ258は、光がそれぞれのアクティブ領域254に到達することを可能にするよう配設される開口260を含んでいる。画像センサ250は、また、スペーサ258に接合されて図5に示すような組み立てられた画像センサ250を生じる光学的品質の窓262も含んでいる。アクティブ領域254は窓262によって埃の侵入又は他の汚染から保護されている。画像センサ250は、また、担持体204の裏面266上に形成される複数の電気接続264も含んでいる。図6を参照すると、画像センサ250が、この実施形態においてボールグリッドアレイのパッドとして提供される複数の電気接続264を示すよう上向きに配向された裏面266と共に示されている。
図4〜6に示す個々の画像センサ250はWLPプロセスにおいて製作されてもよく、ここで、個々のセンサがスペーサに沿ってダイシングされてセンサ同士を切り離す前に、スペーサ258及び窓262の包含がウェハレベルで行われる。代替として、非WLPプロセスにおいて、裸センサ252がウェハレベルで製作され、次いで、個々の裸センサ252にダイシングされてもよい。ダイシングの後、スペーサ258及び窓262が個々に各裸センサに接合されて画像センサ250を作成してもよい。
図7を参照すると、一実施形態による立体画像センサ装置が300で概して示されている。立体画像センサ300は、センサ及び/又は照明光源の波長帯にわたって光の高い透過率及び低い表面反射率を有する略平面で均一厚さの光学的品質のガラスから製作されてもよい共通窓302を含んでいる。立体画像センサ300は、また、共通窓302に接合される第1の画像センサ304及び第2の画像センサ306を含んでいる。共通窓302の材料は、異なる環境温度で動作する場合に熱的に誘導される剪断力を低減するためにセンサ304及び306の熱膨張係数と類似する熱膨張係数を有するよう選択されてもよい。共通窓302は、従って、第1の画像センサ304及び第2の画像センサ306の両方によって共用される。
第1の画像センサ304及び第2の画像センサ306はそれぞれ、図2に示すように、画像センサのそれぞれの前面上で行と列に配置される感光素子を含んでいる。第1及び第2の画像センサ304及び306は整列公差内で共通窓302に接合される。整列公差は、目標のセンサ間距離ISD並びに第1及び第2の画像センサ上の感光素子の対応する行の間の目標の共線性によってセンサ304及び306同士を離間させることに関係する。加えて、窓262は、窓に接合される場合に、センサ304及び306の前面312及び314に目標の共平面性内で配向させるよう十分な平面を提供するよう選択されてもよい。
図示する実施形態において、第1及び第2の画像センサ304及び306のそれぞれは、前面312及び314と窓302との間に配設されるそれぞれのスペーサ308及び310を有する。窓302は、従って、埃又は組み立て中の取り扱いによる汚染からセンサ304及び306の前面312及び314上のアクティブ領域を保護している。この実施形態において、図7のセンサ304及び306はそれぞれ、センサのそれぞれの裏面326上にボールグリッド電気接続324及び325を含んでいる。他の実施形態において、センサ304及び306は、他の種類の表面実装又は非表面実装技術を介する電気接続のために構成されてもよい。
開示する一実施形態による立体画像センサ300の分解斜視図を図8に示す。図8によれば、この実施形態において、センサ304及び306はセンサの前面312及び314上に含まれるスペーサ308及び310と共に製作され、次いでダイシングされる。それぞれのセンサのスペーサ308及び310は、次いでその後、窓302に接合される。
図9を参照すると、センサ304及び306は、代替として、ウェハで複数の裸センサとして製作され、次いで、個々の裸センサにダイシングされてもよい。個々のスペーサ308及び310は共通窓302に接合されて窓アセンブリを形成してもよい。窓アセンブリは、次いで、センサ304及び306の前面312及び314に接合されてもよい。
図10を参照すると、別の実施形態において、センサ304及び306は、両スペーサ308及び310並びにそれぞれのセンサ窓320及び322を含むようWLPプロセスにおいて製作されてもよい。後続の組立プロセスにおいて、センサ窓320及び322は窓の間に光学的に透明な接着剤を用いて共通窓302に接合されてもよい。この実施形態はOEM機器に組み込むためのメーカによって利用可能にされるような標準的にパッケージ化された汎用センサを用いる可能性を提供する。図8及び9に示す実施形態は、追加センサ窓320及び322を省略する利点を有しているが、図9の実施形態の場合に裸センサ又は図8の実施形態の場合にスペーサ308及び310を有する部分的にパッケージ化されたセンサの使用を必要とする。
図11を参照すると、図7乃至図10に示すような第1の画像センサ304及び第2の画像センサ306を共通窓302に対して整列し、接合するためのプロセスフロー図が概して350で示されている。352に示すように、センサ窓320は最初に固定化され、これは一実施形態において、取り付け力により著しい歪みを生じることなく、窓を所定位置で確実に保持する固定具に窓を受け取ることに関係してもよい。
共通窓302は光学的に平坦であり(通常、サブμm範囲で)、従って、センサ304及び306を実装するための平面の基準面を提供する表面を有している。354において、第1のセンサ304及び第2のセンサ306のどちらか一方又は両方が3自由度での移動を提供する治具内部に取り付けられる。図8を参照すると、一実施形態において、3自由度はx軸に沿った各センサの変位、y軸に沿った各センサの変位、及びz軸を中心とする各センサの回転を含んでいる。
プロセス350は次いで356で継続し、ここで、UV硬化型接着剤が第1及び第2のセンサ304及び306と共通窓302との間に導入される。358において、第1の画像センサ304及び第2の画像センサ306は、前面312及び314上のアクティブ領域が共通窓302の平面基準面との係合により略同一平面上にあるように、共通窓302に当接される。この時、共通窓302に対する第1のセンサ304の位置は、また、センサの縁部が共通窓と略整列して位置決めされ、且つ、センサ上の感光素子の行が窓の長い縁部316と略平行になるように、調整されてもよい。共通窓302の縁部に対するセンサ位置のための公差は、概して、センサ間の整列程重要ではなく、第1のセンサのs精確な調整はこの点において必要とされなくてもよい。
360で示すように、プロセス350は次いで第2のセンサの調整を継続して、目標の共線公差に適合するよう感光素子の対応する行をx軸に沿って整列させる。一実施形態において、複数の基準マーカー318及び319(図8に示す)が第1及び第2のセンサ304及び306のそれぞれの前面312及び314上でのマイクロリソグラフィ製作プロセス中に組み込まれる。基準マーカー318及び319は、例えば、各センサ上の感光素子の中央に位置する行と比較して高い精度で位置してもよい。一例として、第1及び第2のセンサ固定具のx軸と整列される高精度の移動軸及び尺度を有するトラベリングマイクロスコープが、第1のセンサ304上の基準マーク318のうちの1つを中央に置くために用いられてもよい。トラベリングマイクロスコープは、次いで、第2のセンサ306上の対応する基準マーカー319の上で移動されてもよく、第2のセンサに関連する固定具が基準マーカーをトラベリングマイクロスコープの軸と整列させるために用いられ、従って、Δy≒0を設定する。同様に、センサ間距離ISDが、基準マーカー318及び319をトラベリングマイクロスコープの尺度によって示される所望のx軸オフセットに配置するよう、第2のセンサ306を移動させることによってx軸において設定されてもよく、従って、Δx≒0を設定する。トラベリングマイクロスコープは、また、共平面性を検証するために用いられてもよい。他の実施形態において、代替の光学機械式整列及び測定機器が基準マーカー318及び319に対して整列させるために用いられてもよい。
他の実施形態において、基準マーカー318及び319は省略されてもよく、トラベリングマイクロスコープ又は他の機器はセンサのアクティブ領域内の選択された感光素子又はセンサ上の他の特徴を基準マーカーとして用いてもよい。多くの小型フォーマットのCMOS画像センサにおいて、ピクセルは小さく(例えば3μm×3μm)、サブミクロン整列精度を容易にするべきである。
プロセスは362で継続し、ここで第2のセンサ306の配向角度が次いで、ピクセル行が目標の角度公差α内で平行となるように設定するために複数の基準マーカー318及び319を用いて調整される。364において、更なる測定は、y及びISD位置の両方がそれぞれのΔy及びα公差内にあり、且つ、ISDがΔx公差内にあるかどうかを判断するためにトラベリングマイクロスコープ又は他の機器を用いて行われる。一般に、配向角度に対する変化はy位置及び場合によるとISDに影響を及ぼし、全ての公差が364において適合するまで、別々の調整を反復して行う必要がある可能性がある。仮に364において、第1及び第2のセンサ304及び306の位置及び配向が公差内にある場合、プロセスは366で継続し、ここで第1及び第2のセンサ304及び306がUV照射に曝露されてUV接着剤を硬化させ、整列されたセンサを窓302上の所定位置に固定する。
結果として生じる立体画像センサアセンブリ300(図7に示す)は、従って、予め整列され、いずれかの更なるセンサ毎の調整を必要とすることなく、図1に示す立体カメラ100に組み込まれてもよい。それぞれの第1及び第2の画像センサに対するレンズアセンブリ108の整列等の残りの光学的整列はカメラ組み立て時に行われてもよい。一実施形態において、光学的整列は各レンズアセンブリ108及び116に関連する光学軸をセンサアクティブ領域のそれぞれの中心点(すなわち、図2に示す点126)に整列させることに関係してもよい。代替として、上で説明したように、レンズアセンブリ108及び116の光学軸は、第1の透視ビューポート112及び第2の透視ビューポート118にオブジェクトフィールド114(図1)内の公称平面で一部重複させるよう意図的にオフセットされてもよい。
共通窓平面302への第1の画像センサ304及び第2の画像センサ306の接合に依存する実施形態は、画像センササブアセンブリレベルにおいて目標のセンサ間距離ISDへの変化を容易に促進し、低い精度の製造プロセス及び/又は他のカメラ調整不良を可能にすることに有利である。加えて、立体撮像において、第1及び第2のセンサ304及び306のアクティブ領域に重ね合わせる窓部分間の厚さのいずれかの変化も、センサに僅かに異なる撮像特性をもたらしてもよい。図8及び9に示す実施形態のために、光学的品質の共通窓302は略均一な厚さを有し、撮像性能に関する窓の効果は、従って、略同一である。図10に示す実施形態のために、共通窓302は、2つのセンサのための別々の、そして場合によっては異なるセンサ窓320及び322の使用による任意の固有の相違を超え、それより上の撮像特性における何らかの有意差の原因とはならない。しかし、レンズアセンブリ108及び116のための光学的設計は追加の窓厚さを考慮に入れる必要があるかもしれない。
図12を参照すると、代替の実施形態による立体画像センサ装置が400で概して示されている。立体画像センサ400は共通の担持体406上に隣接して製作される一対の画像センサ402及び404を含んでいる。図示の実施形態において、画像センサ402はセンサの前面416上でアクティブ領域412を取り囲むスペーサ408を有し、画像センサ404はセンサの前面418上でアクティブ領域414を取り囲むスペーサ410を有する。共通窓420はスペーサ408及び410に接合され、センサ402及び404の前面416及び418を覆う。
図3に示すウェハ200の拡大部分206を図13に示す。共通担持体406は、整列された複数の画像センサ202が製作された担持体204のダイシングされた部分である。図13を参照すると、ウェハ上のセンサ202は製作プロセス中に用いられるマイクロリソグラフィ技術によって提供される整列公差内で配設される。センサ間の整列は、通常、製作プロセスにおいて用いられるリソグラフィプロセスのライン幅に見合ったサブミクロン範囲であり、通常、約0.1μm未満であってもよい。ウェハ200上のセンサ202は、従って、隣接する画像センサ同士の間の目標横方向オフセット及び隣接する画像センサ上の感光素子の対応する行同士の間の目標共線性を含む整列公差内で製作されてもよい。更なるWLP集積化はウェハ全体にわたるスペーサ層及び完全な窓プレートを含むことができる。
図13に示す実施形態において、個々のセンサ202はy軸方向に密接して離間されて示されているが、x軸方向において、隣接するセンサ同士の間の間隔は、センサ間の距離が選択したセンサ間距離ISDに対応するように拡張されている。この実施形態において、x軸に沿ってウェハ200をダイシングすることはウェハ製作において通常通りに進行する。しかし、y軸方向に沿ってウェハ200を個々のセンサ202にダイシングするのではなく、センサは図13において402及び404で示すセンサのような隣接して対となったセンサに切り離される。センサ202を対にするための例示のダイシングカットは略図的に示されるダイシングブレード430、432、434、及び436によって示されている。ダイシングは、センサが対となるセンサ同士に切り離されるのと同時に、スペーサ及び窓を切り出してもよい。
図14を参照すると、担持体200のダイシングされた部分406上のセンサ402及び404を切り離すx軸方向でのダイシングカット430及び432並びにy軸方向でのダイシングカット434及び436後のダイシングされたセンサが断面で示されている。x軸及びy軸方向のダイシングは任意の順序で行われてもよい。代替の実施形態において、ウェハ200は、より多くのセンサがウェハ上で製作されることを可能にするよう隣接する対同士の間の間隔を低減して対で配置されるセンサ202を有していてもよい。代替として、ウェハは、各ウェハが対となったセンサと個々のセンサの両方を生じるように、対で配置される複数のセンサの一部だけを有して製作されてもよい。
幾つかの実施形態において、WLP処理は、更に、ウェハ処理段階においてマイクロレンズアレイをセンサ202全体にわたって接合することに関係してもよい。マイクロレンズアレイは、アクティブ領域上の各感光素子のための個々のレンズを含んでいてもよく、ウェハ製作に特有の製作公差に見合った公差に対してマイクロリソグラフィ技術を用いて製作されてもよい。
図15を参照すると、代替の実施形態において、ウェハは共通担持体406上の一対の裸センサ402及び404として製作されてもよく、別々の窓420並びにスペーサ408及び410は、ウェハをセンサ対にダイシングした後、センサに接合されてもよい。図16を参照すると、別の実施形態において、スペーサ408及び410はダイシングの前にウェハ200上に製作されてもよく、窓420はダイシングされた各センサ対のためのスペーサに接合されてもよい。
図8及び9に示す実施形態の場合のように、図12に示す立体画像センサ400は画像センサ402及び404の各対を覆う共通窓420の一部に対して略均一な厚さを有する。共通担持体406及び共通窓420は共に、センサ402及び404の前面416及び418が略同一平面上にあることを確実にする。
図17を参照すると、別の開示する実施形態による立体画像センサが500で概して示されている。立体画像センサ500は第1の画像センサ504及び第2の画像センサ506を含んでいる。画像センサ504及び506はそれぞれ、図2に関連して上で説明したように画像センサのそれぞれの前面508及び510上で行列に配置される複数の感光素子を有している。センサ504及び506はそれぞれ、画像センサのそれぞれの裏面516及び518上で複数の電気取付用パッド512及び514を含む。それぞれの第1及び第2の画像センサ504及び506の取付用パッド512及び514は整列公差内で共通回路基板520に接合される。整列公差は、第1及び第2のセンサ504及び506間の目標横方向オフセットISD並びに第1及び第2の画像センサ上の感光素子の対応する行の間の目標配向を含む。共通回路基板520はセンサ504及び506の実装並びにセンサへの電気接続の両方を容易にするプリント回路基板であってもよい。
図17に示す実施形態において、立体画像センサ500は一対の画像センサ504及び506の前面にわたって接合される共通窓522並びにスペーサ524及び526を含む。共通窓522は光学的に平坦であり、窓に接合されるか又は付勢されてそれと当接する場合に、第1及び第2の画像センサの前面を目標の同一平面内に配設させる。
図18を参照すると、センサ504及び506を整列させるためのアライメントフレームが530で示されている。アライメントフレーム530は、対応する行が角度α及びΔy公差内で同一線上に整列されるようにセンサを設置するための基準特徴として作用する面534及び536を有する基部532を含んでいる。アライメントフレーム530は、また、所望のセンサ間距離ISDでセンサ504及び506の間隔を空けるための基準特徴として作用する面540及び542を有する中央スペーサ538も含んでいる。面536内の切欠き544及び面540内の切欠き546は、センサによる面の正確な係合を防ぐことによって整列精度を低減する可能性のある材料を角から切除している。アライメントフレーム530は、更に、センサ504を基準面540に係合させるよう中央スペーサ538に向かって押圧されてもよいピン548と、センサ506を基準面542に係合させるよう中央スペーサ538に向かって押圧されてもよいピン550とを含んでいる。アライメントフレーム530は金属材料から製作されてもよく、基準面534、536、540、及び542はセンサ504及び506の正確な整列を提供するための正確な土台であってもよい。他のピン(図示せず)がセンサ504及び506を基準面534及び536に対して付勢するためにy方向において用いられてもよい。
アライメントフレーム530の後側並びにセンサ504及び506の裏面516及び518を図19に示す。図19を参照すると、センサ取付用パッド512及び514が曝露され、アライメントフレーム530を満足し、これははんだプロセス中に回路基板520に接合することを可能にしている。この場合、複数のセンサ取付用パッド512及び514はボールグリッド電気接続であり、はんだプロセスは流動はんだプロセス又はリフローはんだプロセスであってもよい。はんだペースト等の可融材料は、センサ504及び506を回路基板に一時的に取り付けるために複数のセンサ取付用パッド512及び514と回路基板520上の対応するパッドとの間に施される。はんだペーストは、ピン548及び550がセンサを基準面540及び542に係合させるよう中央スペーサ538に向かって押し下げられた後、センサの縁部を基準面534及び536に位置合わせするようセンサ504及び506の横方向の移動を可能にする。これらの条件の下で、センサ504及び506はアライメントフレーム530に整列され、共通窓522は、前面508及び510を互いに同一平面上に整列させるようセンサ504及び506上のスペーサ524及び526に接合されてもよい。アライメントフレームの基準面の係合に依存するプロセスは、基準と係合するセンサの縁部が感光素子の行列に対して正確に位置することを必要とする。
接合された共通窓522、アライメントフレーム530、及びセンサを含む立体画像センサ500は次いでリフローはんだプロセスを受け、ここで熱サイクルが、可融合金を溶融させ、且つ、センサ取付用パッドとPCB取付用パッドとの間に流動させるよう施される。可融合金は、従って、可融合金の融点未満に冷却される場合にセンサ取付用パッド512及び514とPCB取付用パッドとの間の接合を提供するよう操作可能である。図17に示す実施形態において、アライメントフレーム530はその後、取り外される。しかし、他の実施形態において、アライメントフレーム530はセンサアセンブリ500の一部として所定位置に残されてもよい。
アライメントフレーム530の基準特徴は、従って、目標の横方向オフセット内、感光素子の対応する行同士の間の目標の共線性、及びそれぞれの前面508及び510の目標の共平面性内での第1及び第2の画像センサ504及び506の位置決めを容易にする。この実施形態において、アライメントフレーム530の基準特徴は面として実装されるが、他の実施形態において、ピン又は球状ボール等の他の基準特徴が用いられてもよい。厳しい整列公差を必要とする実施形態において、はんだ付けは容認できない歪みの原因となる可能性があり、かかる場合、上で説明したように、最初にセンサを共通窓に接合することが好ましい可能性がある。
センサ504及び506(図17に示す)を整列させるためのアライメントフレームの代替の実施形態を図20において560で示す。図20を参照すると、アライメントフレーム530に関連して上で説明したように、アライメントフレーム560は、センサ上の対応する行がα及びy公差内で整列されるように、センサ504及び506を設置するための基準特徴として作用する基準面564及び568を有する基部562を含んでいる。アライメントフレーム560は、また、所望のセンサ間距離ISDによってセンサ504及び506の間隔を空けるための基準特徴として作用する面570及び572を有する中央スペーサ569も含んでいる。アライメントフレーム560は、更に、センサを中央スペーサ569上の面570及び572に向けて付勢するためのピン574及び576を含んでいる。他のピンがセンサ504及び506を基準面564及び568に対して付勢するためにy方向において用いられてもよい。
アライメントフレーム560は、加えて、センサ504の平面を整列させるための平面基準を共に提供するアライメントフレーム560によって画成される基準面578及び580を含んでいる。アライメントフレーム560は、また、面578及び580と同一平面上のアライメントフレーム560によって画成される基準面582及び584も含んでいる。基準面578、580、582、及び584は図20においてアライメントフレーム560の外側に面している面の後ろに位置している。基準面582及び584は共に、センサの前面508及び510が同一平面上にあるように、センサ506の平面を整列させるための基準平面を提供する。センサ504及び506は、センサの共平面性を保証するようピン又は他の手段によって提供される保持力によって基準面578、580、582、及び584に対して付勢される。
アライメントフレーム560の後側並びにセンサ504及び506の裏面516及び518を図21に示す。センサ506は、センサ506の横方向の整列を提供する基準面564及び570と、センサ504及び506の同一平面上の整列を提供する基準面582及び584とを明らかにするよう部分的に切り取られて示されている。図20及び21に示す実施形態において、アライメントフレーム560がセンサ504及び506の共平面性を提供するため、共通窓は必要とされない。一実施形態において、センサ504及び506は、図5に示す画像センサ250等の一体型の窓を有する汎用のWLPでパッケージ化されたセンサを用いて実装されてもよい。
図18に関連して上で説明したように、センサ504及び506がアライメントフレーム560内で整列されると、センサの裏面516及び518はプリント回路基板にはんだ付けされてセンサを互いに整列した関係で固定してもよい。アライメントフレーム560は次いで取り外されてもよい。代替として、センサ506及び508ははんだ付けの前に接着剤を用いてフレーム560に接合されてもよく、フレームは画像センサアセンブリ500の一部を残してもよい。
センサ504及び506(図17に示す)を整列させるためのアライメントフレームの別の実施形態を図22及び23において600で示す。アライメントフレーム600は、凹部604と、第1及び第2の画像センサを目標横方向オフセット、共線性、及び共平面性内に位置決めするための基準特徴を画成する複数の面とを有するフレーム本体602を含んでいる。凹部604はセンサ504及び506間で共平面性を確立するための基準面606を含んでいる。基準面606は、図17に示すセンサ504及び506の前面508及び510と係合するための略平面であるべき土台であってもよく、センサは凹部604内で下向きに載置される。代替として、センサが図5に示すような一体型のセンサ窓を有する場合、共平面性が基準面606との窓の慎重な係合により確立されてもよい。
凹部604は、また、センサ504及び506上の感光素子の対応する行同士の間で共線性を確立するための基準面608も含んでいる。凹部604は、更に、センサ504及び506の目標横方向オフセットを確立するための基準面610及び612を含んでいる。切欠き614、616、及び618は、整列の不正確さの原因となるセンサの縁部と係合してもよい角から材料を除去するよう設けられてもよい。アライメントフレーム600は、また、各センサ504及び506を基準面608との当接状態に付勢し、センサを凹部604内部に固定するためのバネ620及び622も含んでいる。追加バネ(図示せず)が、センサ504及び506を基準面606、610、及び612との係合状態に付勢するために設けられてもよい。
図24を参照すると、複数のアライメントフレーム600が後面透視から示されている。バネ620及び622は、基部602の裏側に取り付けられ、スロット642及び644を通って突出する平坦部638及び640を含んでいる。図24に示す実施形態において、複数のアライメントフレーム600はセンサ対を搭載し、次いで、リフローはんだ付けに備えてプリント回路基板650と当接した状態で載置されている。プリント回路基板650はその後、センサ対同士を切り離すようダイシングされてもよい。
上で開示した実施形態は、目標の共線性、共平面性内の、及び互いに対する目標センサ間距離で間隔を空けたセンサ対のプリアライメントを可能にする。整列されたセンサはその後、図1において100で示したような立体カメラに組み込まれてもよい。カメラは、実装の複雑さを排除する整列された対としてのセンサ及びハウジング106内のハードウェアの後続の整列を提供することのみを必要とする。
特定の実施形態を説明し、例示してきたが、かかる実施形態は発明の例示としてのみ考えられるべきであり、発明を添付の特許請求の範囲に従って解釈されるように制限するものとして考えるべきではない。

Claims (33)

  1. 立体撮像において用いられる画像センサ対を製作するための方法であって、各画像センサは前記画像センサの前面上に行列で配置される複数の感光素子を有し、
    担持体上に整列された複数の画像センサを製作することであって、前記複数の画像センサは整列公差内で前記担持体上に配設されることを含み、前記整列公差は、
    隣接する画像センサ同士の間の目標横方向オフセットと、
    隣接する画像センサ上の感光素子の対応する行同士の間の目標配向を含み、
    前記整列された複数の画像センサ内の画像センサを画像センサのダイシングされた対に切り離すよう前記担持体をダイシングすることであって、画像センサのそれぞれダイシングされた対は前記ダイシングされた担持体の共通部分に配設されることを含み、
    画像センサのそれぞれダイシングされた対について、前記画像センサのダイシングされた対の前記前面の全体にわたって共通窓を接合することを含み、前記共通窓は、光が前記それぞれの前面に到達することを可能にするよう配設される開口を有するスペーサによって前記画像センサのダイシングされた対の前記前面から離間される、
    方法。
  2. 前記整列された複数の画像センサを製作することは、
    前記複数の画像センサの前記前面の全体にわたって延在する窓を接合することを含み、前記窓は、光が前記それぞれの前面に到達することを可能にするよう配設される開口を有するスペーサによって前記複数の画像センサの前記前面から離間され、
    前記担持体をダイシングすることは、前記担持体、前記スペーサ、及び前記窓を、前記それぞれの前面を横断して延在する共通窓を有する前記画像センサのダイシングされた対にダイシングすることを更に含む、
    請求項1に記載の方法。
  3. 前記整列された複数の画像センサを製作することは、前記複数の画像センサ内の各画像センサのために、前記それぞれの前面上に1つ以上のアライメント印を形成することを含み、前記アライメント印は前記画像センサへの光学素子の後続の整列を容易にするよう操作可能である、請求項1に記載の方法。
  4. 前記複数の画像センサ内の隣接する画像センサ上の感光素子の対応する行同士の間の前記目標配向は、
    隣接する画像センサ上の感光素子の対応する行同士の間の目標共線性、及び、
    前記複数の画像センサ内の隣接する画像センサの前面同士の間の目標共平面性のうちの少なくとも1つを備える、請求項1に記載の方法。
  5. 前記複数の画像センサ内の各画像センサは前記画像センサの裏面上に複数のセンサ取付用パッドを備え、更に、前記画像センサのダイシングされた対の前記それぞれの裏面上に前記センサ取付用パッドを接合させて前記画像センサを電気回路内の導体に接続することを含む、請求項1に記載の方法。
  6. 共通担持体上に隣接して製作される対の画像センサを備える立体画像センサ装置であって、前記共通担持体は、整列された複数の画像センサが整列公差内で製作された担持体のダイシングされた一部であり、前記整列公差は、
    前記隣接する画像センサ同士の間の目標横方向オフセットと、
    前記隣接する画像センサ上の感光素子の対応する行同士の間の目標配向を含み、
    画像センサの各対は、
    前記1対の画像センサの前面にわたって接合されるスペーサと、
    前記スペーサに接合される共通窓を備え、前記スペーサは前記共通窓を介して受ける光が前記1対の画像センサのそれぞれについて前記それぞれの前面に到達することを可能にするよう配設される開口を有する、
    立体画像センサ装置。
  7. 前記共通窓は前記整列された複数の画像センサの前記前面にわたって延在する窓のダイシングされた一部を備える、請求項に記載の装置。
  8. 前記複数の画像センサ内の隣接する画像センサ上の感光素子の対応する行同士の間の前記目標配向は、
    隣接する画像センサ上の感光素子の対応する行同士の間の目標共線性、及び、
    前記複数の画像センサ内の隣接する画像センサの前面同士の間の目標共平面性のうちの少なくとも1つを備える、請求項に記載の装置。
  9. 前記複数の画像センサ内の前記1対の画像センサのそれぞれは、電気回路内の導体への前記画像センサの接続を容易にするよう操作可能な前記画像センサの裏面上の複数のセンサ取付用パッドを備える、請求項に記載の装置。
  10. 立体撮像において用いられる第1及び第2の画像センサを隣接して実装するための方法であって、各画像センサは前記画像センサの前面上に行列で配置される複数の感光素子を有し、
    整列公差内で前記画像センサ同士を整列させるよう前記第1及び第2の画像センサのうちの少なくとも1つの相対移動を生じさせることを含み、前記整列公差は、
    前記第1及び第2のセンサ間の目標横方向オフセットと、
    前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向を含み、
    前記第1及び第2の画像センサが前記整列公差内で整列される場合に前記第1及び第2の画像センサを共通窓に接合することを含む、
    方法。
  11. 前記第1及び第2の画像センサのそれぞれは前記前面の周囲に配設されるスペーサを含み、前記スペーサは有し、開口は光が前記それぞれの前面に到達することを可能にするよう配設され、前記第1及び第2の画像センサを前記共通窓に接合することは前記スペーサを前記共通窓に接合することを含む、請求項10に記載の方法。
  12. 前記第1及び第2の画像センサを前記共通窓に接合することは、
    1つ以上のスペーサを前記共通窓に接合することであって、前記1つ以上のスペーサは、光が前記第1及び第2の画像センサの前記それぞれの前面に到達することを可能にするよう配設される開口を有することと、
    前記1つ以上のスペーサを前記第1及び第2の画像センサに接合することと、を含む、
    請求項10に記載の方法。
  13. 前記第1及び第2の画像センサのそれぞれは前記前面の周囲に配設されるスペーサと前記スペーサに接合されるセンサ窓とを含み、前記スペーサは光が前記前面に到達することを可能にするよう配設される開口を有し、前記第1及び第2の画像センサを前記共通窓に接合することは前記それぞれのセンサ窓を前記共通窓に接合することを含む、請求項10に記載の方法。
  14. 前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の前記目標配向は、
    前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標共線性と、
    前記第1及び第2の画像センサの前面同士の間の目標共平面性とのうちの少なくとも1つを備える、
    請求項10に記載の方法。
  15. 前記第1及び第2の画像センサのそれぞれは前記画像センサの裏面上に複数のセンサ取付用パッドを備え、更に、前記第1及び第2の画像センサの前記それぞれの裏面上の前記センサ取付用パッドを共通担持体に接合することを含む、請求項10に記載の方法。
  16. 立体画像センサ装置であって、
    共通窓と、
    第1及び第2の画像センサであって、前記第1の画像センサが前記第1の画像センサの前面上に行列で配置される複数の感光素子を有し、前記第2の画像センサが前記第2の画像センサの前面上に行列で配置される複数の感光素子を有し、前記第1及び第2の画像センサは整列公差内で前記共通窓に接合され、前記整列公差は、
    前記第1及び第2の画像センサ間の目標横方向オフセットと、
    前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向とを含む、第1及び第2の画像センサと、
    立体画像センサ装置。
  17. 前記第1及び第2の画像センサの前記前面の周囲と前記共通窓との間に接合される1つ以上のスペーサを更に備え、前記1つ以上のスペーサは、光が前記それぞれの前面に到達することを可能にするよう配設されるそれぞれの開口を有する、請求項16に記載の装置。
  18. 前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の前記目標配向は、
    前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標共線性と、
    前記第1及び第2の画像センサの前面同士の間の目標共平面性とのうちの少なくとも1つを備える、
    請求項16に記載の装置。
  19. 第1及び第2の画像センサ、電気回路内の導体への前記第1及び第2の画像センサの接続を容易にするよう操作可能な前記第1及び第2の画像センサの裏面上の複数のセンサ取付用パッドを備える、請求項16に記載の装置。
  20. 立体画像センサ装置であって、
    第1及び第2の画像センサであって、前記第1及び第2の画像センサの前面上に行列で配置される複数の感光素子と前記第1及び第2の画像センサの裏面上の複数のセンサ取付用パッドとを有し、前記それぞれの第1及び第2の画像センサの前記裏面は、
    前記第1及び第2のセンサ間の目標横方向オフセットと、
    前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向とを含む整列公差内で共通回路基板に接合される、第1及び第2の画像センサと、
    前記画像センサ対の前記前面にわたって接合される共通窓であって、前記共通窓は前記第1及び第2の画像センサの前記前面を目標共平面性内で配設させるよう操作可能であり、前記共通窓は光が前記それぞれの前面に到達することを可能にするよう配設される開口を有するスペーサによって前記画像センサ対の前記前面から離間される、共通窓と、
    を備える、
    立体画像センサ装置。
  21. 前記整列公差内で前記第1及び第2の画像センサを位置決めするよう操作可能な基準特徴を有するアライメントフレームを更に備える、請求項20に記載の装置。
  22. 前記画像センサ対のそれぞれは前記前面の周囲に配設されるスペーサと前記スペーサに接合されるセンサ窓とを含み、前記スペーサは光が前記前面に到達することを可能にするよう配設される開口を有し、前記第1及び第2の画像センサの前記センサ窓は前記共通窓に接合される、請求項20に記載の装置。
  23. 前記整列公差内で前記第1及び第2の画像センサを位置決めするよう操作可能な基準特徴を有するアライメントフレームを更に備え、前記第1及び第2の画像センサは前記基準特徴と係合状態で配設される、請求項20に記載の装置。
  24. 立体撮像において用いられる第1及び第2の画像センサを隣接して実装するための方法であって、各画像センサは前面上に行列で配置される複数の感光素子と前記画像センサの裏面上の複数のセンサ取付用パッドとを有し、
    前記第1及び第2の画像センサのそれぞれをアライメントフレームの基準特徴との係合状態で配設することを含み、前記基準特徴は整列公差内で前記第1及び第2の画像センサを位置決めするよう操作可能であり、前記整列公差は、
    前記第1及び第2の画像センサ間の目標横方向オフセットと、
    前記第1及び第2の画像センサ上の感光素子の対応する行同士の間の目標配向を含み、
    前記第1及び第2の画像センサが前記アライメントフレームによって前記整列公差内で保持されている間に、前記第1及び第2の画像センサの前記それぞれの裏面上の前記センサ取付用パッドを共通回路基板に接合することを含む、
    方法。
  25. 前記センサ取付用パッドを前記共通回路基板に接合した後に、前記アライメントフレームを取り外すことを更に含む、請求項24に記載の方法。
  26. 前記アライメントフレームの前記基準特徴は前記第1及び第2の画像センサを前記目標横方向オフセット内及び隣接するセンサ上の感光素子の対応する行同士の間の目標共線性内で位置決めするよう操作可能であり、
    前記第1及び第2の画像センサの前記それぞれの裏面上の前記センサ取付用パッドを前記共通回路基板に接合する前に、前記画像センサ対の前記前面にわたって共通窓を接合することを更に含み、前記共通窓は前記第1及び第2の画像センサの前記前面を目標共平面性内で配設させるよう操作可能であり、前記共通窓は光が前記それぞれの前面に到達することを可能にするよう配設されるそれぞれの開口を有する1つ以上のスペーサによって前記画像センサ対の前記前面から離間される、請求項24に記載の方法。
  27. 前記アライメントフレームの前記基準特徴は、
    前記目標横方向オフセット内と、
    隣接するセンサ上の感光素子の対応する行同士の間の目標共線性内と、
    目標共平面性内と、で前記第1及び第2の画像センサを位置決めするよう操作可能である、
    請求項24に記載の方法。
  28. 前記センサ取付用パッドを前記共通回路基板に接合した後に、前記画像センサ対の前記前面にわたって共通窓を接合することを更に含む、請求項27に記載の方法。
  29. 前記アライメントフレームは、前記目標横方向オフセット及び前記目標共線性内で前記第1及び第2の画像センサを位置決めするための前記基準特徴を画成する第1の面と、前記目標共平面性内で前記第1及び第2の画像センサの前記前面を位置決めするための第2の面とを備える、請求項27に記載の方法。
  30. 前記アライメントフレームは凹部を有するフレーム本体を備え、前記凹部は前記目標横方向オフセット及び前記目標共線性内で前記第1及び第2の画像センサを位置決めするための前記基準特徴を画成する面を有し、前記フレーム本体は、前記目標共平面性内で前記第1及び第2の画像センサの前記前面を位置決めするための平面を更に備える、請求項27に記載の方法。
  31. 前記アライメントフレームは前記第1及び第2の画像センサを前記基準特徴との係合状態に付勢するよう操作可能な複数のバネを備える、請求項24に記載の方法。
  32. 前記共通回路基板は前記センサ取付用パッドに対応する取付用パッドを有し、前記取付用パッドは金属を備え、前記センサ取付用パッドを前記共通回路基板に接合することは、
    溶融した可融合金を前記センサ取付用パッドと回路基板取付用パッドとの間に流動させることを含み、前記可融合金は、前記可融合金の融点未満に冷却される場合に前記センサ取付用パッドと回路基板取付用パッドとの間の接合を提供するよう操作可能である、
    請求項24に記載の方法。
  33. 前記センサ取付用パッドの少なくとも一部は前記画像センサに電気接続され、前記共通回路基板は、前記回路基板取付用パッド、前記可融合金、及び前記センサ取付用パッドを介して前記第1及び第2の画像センサへ、又は、それらから信号を接続操作可能な電気回路を備える、請求項32に記載の方法。


JP2018529653A 2015-12-09 2016-12-02 立体撮像センサ装置及び立体撮像に用いる画像センサ対を製作するための方法 Active JP6722287B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562265021P 2015-12-09 2015-12-09
US62/265,021 2015-12-09
PCT/CA2016/000300 WO2017096455A1 (en) 2015-12-09 2016-12-02 Stereoscopic imaging sensor apparatus and method for fabricating pairs of image sensors used in stereoscopic imaging

Publications (2)

Publication Number Publication Date
JP2019508873A JP2019508873A (ja) 2019-03-28
JP6722287B2 true JP6722287B2 (ja) 2020-07-15

Family

ID=59012484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529653A Active JP6722287B2 (ja) 2015-12-09 2016-12-02 立体撮像センサ装置及び立体撮像に用いる画像センサ対を製作するための方法

Country Status (5)

Country Link
US (1) US10805596B2 (ja)
JP (1) JP6722287B2 (ja)
KR (1) KR102130112B1 (ja)
CN (1) CN108464000B (ja)
WO (1) WO2017096455A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3443586B1 (en) * 2016-04-15 2021-01-20 Teledyne Digital Imaging, Inc. Alignment of multiple image dice in package
EP3510744B1 (en) * 2016-09-09 2022-05-04 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
US10823843B1 (en) * 2016-10-20 2020-11-03 Leidos, Inc. Motion extended array synthesis for use in high resolution imaging applications
CN107529001B (zh) * 2017-08-28 2020-07-24 信利光电股份有限公司 一种双摄像模组搭载对位方法
US20200154094A1 (en) * 2018-11-09 2020-05-14 Titan Medical Inc. Stereoscopic imaging apparatus for use in confined spaces

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3963489A (en) * 1975-04-30 1976-06-15 Western Electric Company, Inc. Method of precisely aligning pattern-defining masks
JP2000261829A (ja) * 1999-03-12 2000-09-22 Sony Corp 二眼撮像装置
JP2003204053A (ja) * 2001-03-05 2003-07-18 Canon Inc 撮像モジュール及び該撮像モジュールの製造方法、デジタルカメラ
CN1674262A (zh) * 2004-03-25 2005-09-28 郑明德 影像感测器及其封装方法
WO2006052024A1 (ja) * 2004-11-15 2006-05-18 Hitachi, Ltd. ステレオカメラ
JP2007322128A (ja) 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd カメラモジュール
JP2010021283A (ja) 2008-07-09 2010-01-28 Panasonic Corp 固体撮像装置およびその製造方法
JP5182143B2 (ja) * 2009-02-19 2013-04-10 ソニー株式会社 半導体装置の製造方法
JP5421207B2 (ja) 2010-08-25 2014-02-19 株式会社東芝 固体撮像装置
DE102011101835A1 (de) * 2011-05-16 2012-11-22 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
US9438889B2 (en) * 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
JP2013174784A (ja) 2012-02-27 2013-09-05 Ricoh Co Ltd カメラモジュール、カメラモジュールの組み付け方法、レンズアレイの製造方法及び金型
DE102012106834A1 (de) * 2012-07-27 2014-01-30 Conti Temic Microelectronic Gmbh Verfahren zur Ausrichtung zweier Bildaufnahmeelemente eines Stereokamerasystems
US9013017B2 (en) * 2012-10-15 2015-04-21 Stmicroelectronics Pte Ltd Method for making image sensors using wafer-level processing and associated devices
US9202963B2 (en) * 2012-11-21 2015-12-01 Taiwan Semiconductor Manufacturing Company, Ltd. Dual-side illumination image sensor chips and methods for forming the same
DE102013102820A1 (de) 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Stereokameramodul sowie Verfahren zur Herstellung
US9749553B2 (en) * 2013-08-23 2017-08-29 Semiconductor Components Industries, Llc Imaging systems with stacked image sensors
US9965856B2 (en) * 2013-10-22 2018-05-08 Seegrid Corporation Ranging cameras using a common substrate
WO2015149046A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
US10455131B2 (en) * 2015-01-26 2019-10-22 Omnivision Technologies, Inc. Wafer-level methods for packing camera modules, and associated camera modules
US10317205B2 (en) * 2015-02-24 2019-06-11 Rambus Inc. Depth measurement using a phase grating
US9721927B1 (en) * 2015-04-19 2017-08-01 Monolithic 3D Inc. Semiconductor device, structure and methods
ES2842209T3 (es) * 2015-05-27 2021-07-13 Landa Labs 2012 Ltd Dispositivo de generación de imágenes
US10284838B2 (en) 2016-08-19 2019-05-07 Titan Medical Inc. Method and apparatus for transmitting images captured by first and second image sensors

Also Published As

Publication number Publication date
CN108464000A (zh) 2018-08-28
US20190075283A1 (en) 2019-03-07
US10805596B2 (en) 2020-10-13
WO2017096455A1 (en) 2017-06-15
CN108464000B (zh) 2020-10-02
KR102130112B1 (ko) 2020-07-03
KR20180093021A (ko) 2018-08-20
JP2019508873A (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
JP6722287B2 (ja) 立体撮像センサ装置及び立体撮像に用いる画像センサ対を製作するための方法
US7329861B2 (en) Integrally packaged imaging module
US20120113276A1 (en) Multi-Camera
US9748214B2 (en) Techniques for tiling arrays of pixel elements and fabricating hybridized tiles
US6838689B1 (en) Backside alignment and packaging of opto-electronic devices
CN103915454B (zh) 具有对齐的ir滤光片和电介质层的图像传感器设备和相关方法
CN101926171A (zh) 具有芯片上的多个像素阵列的照相机系统
JP6051399B2 (ja) 固体撮像装置及びその製造方法
US9838599B1 (en) Multiple camera alignment system with rigid substrates
EP2434269B1 (en) Method of aligning an imaging device in an optical system
TWI644443B (zh) Solar cell, concentrating solar power generation unit, concentrating solar power generation module, and illuminating solar power generation module manufacturing method
US9838600B1 (en) Multiple camera alignment system with flexible substrates and stiffener members
US9111827B2 (en) Manufacturing method of solid-state imaging apparatus, solid-state imaging apparatus, and electronic imaging apparatus
JP2000266979A (ja) 撮像装置
JP2011100971A (ja) 湾曲した回路を製造するための方法
KR20180027325A (ko) 전자 부품의 실장 방법 및 실장 장치
US20120025341A1 (en) Aligning a sensor with a faceplate
US12027486B2 (en) Substrate bonding apparatus
JP2003332545A (ja) 固体撮像素子の固定方法
EP4357829A1 (en) Method for manufacturing an objective carrier assembly, objective carrier assembly for a camera, method for manufacturing a camera, and camera
JPH03259691A (ja) 固体撮像装置
EP4357848A1 (en) Camera and method for manufacturing a camera
WO2012169363A1 (ja) ステレオカメラの製造方法及びステレオカメラ
JPH0574269B2 (ja)
US11205670B2 (en) Alignment of multiple image dice in package

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200619

R150 Certificate of patent or registration of utility model

Ref document number: 6722287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250