JP4235729B2 - 距離画像センサ - Google Patents

距離画像センサ Download PDF

Info

Publication number
JP4235729B2
JP4235729B2 JP2003132945A JP2003132945A JP4235729B2 JP 4235729 B2 JP4235729 B2 JP 4235729B2 JP 2003132945 A JP2003132945 A JP 2003132945A JP 2003132945 A JP2003132945 A JP 2003132945A JP 4235729 B2 JP4235729 B2 JP 4235729B2
Authority
JP
Japan
Prior art keywords
charge
light
image sensor
gate
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2003132945A
Other languages
English (en)
Other versions
JP2004294420A (ja
Inventor
祥二 川人
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003025609 priority Critical
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to JP2003132945A priority patent/JP4235729B2/ja
Publication of JP2004294420A publication Critical patent/JP2004294420A/ja
Application granted granted Critical
Publication of JP4235729B2 publication Critical patent/JP4235729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01BASIC ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES; ELECTRIC SOLID STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infra-red radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H01BASIC ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES; ELECTRIC SOLID STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infra-red radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14641Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • HELECTRICITY
    • H01BASIC ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES; ELECTRIC SOLID STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H01L31/00Semiconductor devices sensitive to infra-red radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08Semiconductor devices sensitive to infra-red radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10Semiconductor devices sensitive to infra-red radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by at least one potential-jump barrier or surface barrier, e.g. phototransistors
    • H01L31/101Devices sensitive to infra-red, visible or ultra-violet radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Description

【0001】
【産業上の利用分野】
本発明は、光の速度が既知であることを利用し、光を対象物に照射したのち、対象物からはね返ってきた光を受け、その遅れ時間を計測することで対象物までの距離を測定する技術に関する。
【0002】
【従来の技術】
光の速度は、3×108 m/sである。これが既知であるので、光を放って、対象物からはね返ってきた光を受け、その遅れ時間を計測することで、対象物までの距離を測定することができる。TOF(Time-of-flight)法とは、この光の飛行時間を測定することで対象物までの距離を測る方法である。その遅れ時間の計測の分解能と、距離の分解能の関係は、表1のようになる。
【0003】
【表1】
表1 TOF法による遅れ時間計測分解能と距離分解能の関係
【0004】
表1からは測距分解能とともに、遅れ時間計測範囲に対する距離計測範囲を読み取ることができ、たとえば遅れ時間計測範囲が1usで、遅れ時間計測分解能が、1nsのものができれば、150mの範囲を15cmの分解能で測定でき、車載用の距離センサとして利用可能である。
【0005】
関連する従来法としては、3件報告されている。
(1) Inventer:Cyrus Bamji, Assignee:Canesta Inc., "CMOS-Compatible Three-dimensional image sensor" , US Patent No. US6323942 B1, Nov. 27, 2001
(2) R. Lange, P. Seitz, A. Biber, S. Lauxtermann, " Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging ", Proceedings of SPIE, Vol. 3965, pp. 177- 188, (2000).
(3) Ryohei Miyagawa, Takeo Kanade, " CCD-based range-finding sensor ", IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652, (1997).
【0006】
(1)の方式は、パルス光を投影し、受光した信号のパルスのピークを検出することでパルスの波形を整形し、高速なパルスを用いて遅れ時間をディジタル的に計測するものである。この場合、受光した信号をパルスにできるためには、光の明るさが十分にないと実現できず、用途が限られる。
(2)と(3)は、方式としては近いものである。
(2)の方式は、CCDとCMOSと一体化したプロセスで実現するものであり、20MHzの高い周波数の変調光を用いて、CCDの電荷転送を利用し、変調光と同期して2つのノードに高速に交互に電荷転送し、2つのノードへの電荷の配分比が変調光の遅れ時間に依存することを利用する。CCDとCMOSの混在プロセスが必要であるため、コストが高くなる。
(3)の方式は、CCDの構造を利用し、パルス変調された変調光で発生した電荷を、2つのノードに交互に転送し、その配分比が、変調光の遅れ時間に依存することを利用する。これもCCDを利用するため、特殊な製造工程が必要となる。
【0007】
【特許文献1】
米国特許6323942号明細書
【非特許文献1】
R. Lange, P. Seitz, A. Biber, S. Lauxtermann, "Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging", Proceedings of SPIE, Vol. 3965, pp. 177- 188, (2000)
【非特許文献2】
Ryohei Miyagawa, Takeo Kanade, " CCD-based range-finding sensor", IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652, (1997)
【0008】
【発明が解決しようとする課題】
従来の光の飛行時間を測定することで対象物までの距離を測る方法は、感度が低いか、製造工程が複雑なものであった。また、いずれも背景光を除去することは考慮されていない。
【0009】
【発明の概要】
標準的なCMOSプロセスまたはCMOSイメージセンサのための比較的簡単な工程を追加することにより、または回路を追加することで、比較的安価に電荷転送効率の向上と電荷蓄積(積分)を実現でき、これにより感度の高い距離画像センサを得ることを本発明者は考案した。また、本発明の一実施例では、背景光の影響を取り除くことができるので、通常の環境で使用できる。
発明のポイントは以下のとおりである。
【0010】
電荷転送効率の向上と電荷蓄積(積分)を実現しつつ対象物までの距離を測る方式は大きく分けて2つ考えられる。1つは埋め込みフォトダイオードを用いて完全空乏化するデバイス構造を利用し、その電荷を2つのノードに高速に交互に電荷転送および蓄積し、その配分比が変調光の遅れ時間に依存することを利用する。もう1つは、特殊なデバイス構造は利用せず(より低コストになる)、フォトダイオードで発生した電荷を、変調光に同期して、アンプを用いて、2つの容量に交互に電荷転送し蓄積する。このとき、その配分比が変調光の遅れ時間に依存することを利用する。
【0011】
埋め込みフォトダイオードの構造を用いて2つのノードに電荷配分を行う原理は、従来法の(3)に原理がかなり近い。しかしながら、従来法の(3)はCCDデバイスであるので、CMOSの処理回路との混在はできない。埋め込みフォトダイオードは高画質のCMOSイメージセンサの標準的な技術になりつつあり、本願構成で採用するCMOS構造において、比較的低コストで性能の高いCMOSイメージセンサ技術を用いて、距離画像センサが実現できる利点を有する。
【0012】
従来のいずれの方法も、そのままでは背景光を除去することは考慮されていない。本発明の実施例では、背景光の影響を取り除くことができるので、通常の環境で利用することができる。背景光の除去方法として、3つの方法を提案する。
【0013】
(a)電荷蓄積のノード(あるいは容量)を3つもち、その内の2つは、変調光の遅れによって、電荷配分の比率が変わるようにタイミングを選び、残りの1つは、常に変調光がOFFになっているタイミングにすることで、背景光のみによる信号を蓄積するようにする。これを用いて、変調光の遅れの情報を含む信号から、背景による成分を差し引くことで、背景の影響を除去する。非常に高速にこれらを切り替えるため、3つのノードでの背景光の同一性が高い。しかし、画素回路がやや複雑になる点と、暗電流の影響が残る点が課題としてある。
【0014】
(b) 電荷蓄積ノード(あるいは容量)は2つだけとする。画像を高速に読み出すことを考え、その高速の画像をさらに2つの時間帯に分ける。最初の時間帯では、変調光を投射して、2つの電荷蓄積ノードの信号(変調光の遅れに依存した信号)を取り出し、後の時間帯では、変調光をOFFし、背景光だけによる2つの電荷蓄積ノードの信号を取り出す。これらの信号を用いて処理することで、背景光の影響が除くことができる。ただし、2つの時間帯で、背景が変化する場合には、完全に取りきれない可能性もある。しかし、最終的には、高速に読み出して計算した値に対して平均値処理で求めるため、この処理により、背景光の影響をより少なくすることができる。
【0015】
(c)変調光の遅れ時間に依存する2つの電荷蓄積ノードの信号の差を求め、これを積分器で増幅して、電圧制御遅延回路の制御電圧として与える。遅延回路の出力パルスにより、2つの電荷蓄積ノードへの電荷転送のタイミングを制御し、負帰還回路とすることで、2つの電荷蓄積ノードの信号は同じになる。このときの積分器の出力電圧が、遅延時間に依存していることを利用する。この場合には、2つのノードの差だけをみて、遅延時間を直接測定している回路となり、背景分が差し引かれるので、背景の影響が自動的に取り除かれる。ただし、回路が複雑になる。
このように、それぞれ一長一短がある。
本発明の距離画像センサは、光源からの光を断続的に対象物に投射し、その反射光の遅れ時間から距離を計測する距離画像センサにおいて、対象物からの反射光を電荷に変換する半導体基板に埋め込まれたフォトダイオード構造による受光素子と、半導体基板上のMOS(Metal Oxide Semiconductor)構造による第1、第2及び第3のゲート手段と、第1、第2及び第3のゲート手段にそれぞれ対応する第1、第2及び第3の電荷蓄積ノードと、第1、第2及び第3のゲート手段の開閉を制御する制御手段と、を具備し、第1の電荷蓄積ノードと第2の電荷蓄積ノードに対して、受光素子からの電荷を、第1のゲート手段と第2のゲート手段により光源からの光の断続動作と同期させて交互に電荷転送して蓄積を行い、受光素子からの電荷転送効率を向上させるとともに蓄積電荷の配分比から対象物までの距離を求め、さらに、投射光による反射光が存在しない期間に、第3のゲート手段を開くことにより背景光による電荷を第3の電荷蓄積ノードへ転送し、背景光除去のための電荷蓄積を第3の電荷蓄積ノードに対して行い、投射光を受光するパルス幅、すなわちゲートが開く期間を繰返し周期に対して十分短くしてなることを特徴とする。
また、本発明の距離画像センサは、さらに、各電荷蓄積ノードに対応してサンプリング・ホールド手段を設けてなることとしてもよい。
また、本発明の距離画像センサは、第1および第2の蓄積ノードに蓄積された電荷の和、第1乃至第3の蓄積ノードに蓄積された電荷の和、あるいは第3の蓄積ノードに蓄積された電荷から、輝度画像信号を得ることとしてもよい。
また、本発明の距離画像センサは、さらに、第1および第2のゲート手段の開閉を制御する信号を通過させる電圧制御遅延手段を設け、蓄積ノードに蓄積された電荷の差に基づく信号を、電圧制御遅延手段に制御信号として電荷の差が零に近づくような極性で与えて、負帰還ループを構成することとしてもよい。
また、本発明の距離画像センサは、投射光の繰返し周期の各周期に同期して背景光による電荷を捨てるリセット手段を設けてなることとしてもよい。
また、本発明の距離画像センサは、制御手段は、 第1の電荷蓄積ノードには反射光の立ち上がる一瞬の電荷を、第2の電荷蓄積ノードには反射光が安定的レベルになってからの電荷を蓄積するようにゲート手段を制御してなることとしてもよい。
【0016】
【実施例】
まず、最も簡単な図1のブロック図の場合を例にとり、背景が除去されながら、光の飛行時間が測定できる原理について説明する。これは上の原理の(b)に対応する。図2は、各画素の構造図であり、図3はその等価回路である。図4に各画素の回路での動作タイミング図を示す。高速に画像を取得する周期をThとする。これをパルス変調光を投射する期間ThLと変調光をOFFする期間ThDに分ける。変調光を投射する期間では、光源は、ある周期をもつ繰り返しパルスで駆動されて発光する。これを対象物に照射する。その反射光による像を、レンズを介して距離画像センサに結像する。
【0017】
各画素には埋め込みフォトダイオードがあり、蓄積された電荷を2つの拡散層(n+)へ、図示されていない制御部からの制御信号が供給される制御信号線TX1(以下「TX1」と略す)と制御信号線TX2(以下「TX2」と略す)によるゲート構造によって交互に電荷転送し電荷蓄積を行う。このとき埋め込みフォトダイオードは、TX1またはTX2に高い電圧が加えられたとき、n形の領域が完全に空乏化されるように作っておく。これにより、高速に電荷が伝送される。変調光の周波数は高くする程、光飛行時間測定の分解能が上がるため、1MHz以上の高い周波数でTX1とTX2の制御を行わなければならず高速の電荷転送は必須である。また、この構造により電荷転送効率が向上する。
【0018】
いま遅れがなければ、TX1を開くときと光源の照射のタイミングが完全に一致し、TX1の側だけに、電荷が転送される。変調光の到来に遅れ時間があると、TX2側に一部の電荷が転送される。いま光源の発光している時間の幅をToとし、(発光していない時間幅もTo)、光源の遅れ時間をTd,変調光により発生する光電流をIp,背景光により発生する光電流をIb,2つの電荷蓄積ノードで発生する暗電流をそれぞれ、Id1,Id2とする。また、電荷から電圧への変換利得をGcとし、信号を取り出すまでの電荷転送の回数をNとすると、それぞれのノードでの信号電圧V1,V2は以下のようになる。
V1=Gc・N(Ip(To−Td)+Id1・2To+Ib・To) (1)
V2=Gc・N(Ip・Td+Id2・2To+Ib・To) (2)
【0019】
次に、変調光をOFFし、同じ時間同じ処理を行ったときの2つのノードの電圧をV1’,V2’とする。このとき、
V1’=Gc・N(Id1・2To+Ib・To) (3)
V2’=Gc・N(Id2・2To+Ib・To) (4)
となる。ここで、
A=V1+V2,B=V1’+V2’,C=V1−V1’,D=V2−V2’ (5)
とすると
A−B=Gc・N・Ip・To (6)
D−C=Gc・N・Ip(2Td+To) (7)
となり、これらは、暗電流と背景の成分を含まない。式(6)(7)から、パルス光の飛行時間を以下のように計算することができる。
【0020】
【数1】
図4に示すように1つの高速画像の取得の周期で、この飛行時間が計算される。この時間は、微小な信号により計算されるためノイズの影響を受けており、これを何フレームにもわたって平均値処理をすることでノイズの影響が低減でき、精度が上げられる。M回平均化する場合、次式のようになる。
【0021】
【数2】
ここで、Ai,Bi,Ci,Diはi回目の高速フレームでの前記A,B,C,Dの値である。
図2の場合、電荷蓄積ノードがn+になり、この部分で発生するリセットノイズを除去することができないため、ノイズレベルが高くなり、また暗電流も大きい。暗電流は上の処理で除去できても、暗電流によるショットノイズは除去できないので、ノイズが大きくなる。そこで、図5に示すようにTXを開いた先に1段だけのCCDの構造を用い、制御信号線STの電極の直下に電荷をいったん蓄積し、読み出しのときのn+に電荷転送して読むようにすれば、これらの問題がなくなる。ただし、構造が複雑になるため、製作コストが上がる。
【0022】
次に、図6に示すように、電荷転送用のTXが3つある構造での背景光の除去と光飛行時間の測定原理を説明する。タイミング図を図7に示す。
図7に示すように、3つのノードのうち1つに変調光の遅延時間に関係した信号成分を取り出し、3つ目の蓄積ノードには、変調光が発光していないタイミングのときの電荷だけを取り込む。暗電流を、それぞれ、Id1,Id2,Id3とし、3つ目の電荷蓄積ノードでの信号電圧をV3とすると次式がなりたつ。
V1=Gc・N(Ip(To−Td)+Id1・3To+IbTo) (10)
V2=Gc・N(IpTd+Id2・3To+IbTo) (11)
V3=Gc・N(Id3・3To+IbTo) (12)
この方式では、暗電流は除去できないため、暗電流が問題にならない場合に使用できる。そこで暗電流の項を無視して考える。A=V2+V1,B=V2−V1とすると、Tdは以下のように求められる。
【0023】
【数3】
次に、アンプ負帰還による電荷転送を用い、変調光の遅延に依存した電荷蓄積を行う方式について説明する。
【0024】
図8に利得Aを有する反転増幅器を用いたアンプ負帰還型の回路を示す。
その動作タイミングは、図4と同じである。φ1とφ2は、互いにオーバーラップしないクロックである。最初、φRによるスイッチをオンにしながら、φ1とφ2によるスイッチをオンにすることで、C1,C2の電荷のリセットを行う。その後、パルス変調光の周波数に同期してφ1とφ2を交互にオンする。このとき、C1とC2に転送される電荷Q1,Q2は、以下の関係がある。
【0025】
Q1=Ip(To−Td)+Id1・2To+Ib・To (14)
Q2=Ip・Td+Id2・2To+Ib・To (15)
これをN回繰り返し、アンプの出力で観測すれば、C1,C2をアンプに接続したときの電圧V1,V2は、以下のようになる。
【0026】
【数4】
【数5】
【0027】
つまり、先に説明した埋め込みフォトダイオードを用いたものと同じ原理(図2)で動作し、パルス変調光の飛行時間(遅れ時間)を計算できるとともに、背景除去も同様な処理によって可能である。
図8を画素回路として用いた距離画像センサ全体の構成は、図9のようになる。
また、図10に示すように、C3と直列にφ3で制御されるスイッチを設け、タイミングを図7と同じにし、パルス変調光が発光していないときの背景光だけによる電荷をC3に記憶するようにφ3を制御する。これにより、図6の場合と同じ原理で、背景光を除去しながら、パルス変調光の飛行時間を計算することができる。
アンプ負帰還による電荷転送を用いることにより、受光素子で発生した光電荷の転送効率が向上するとの効果がある。
【0028】
次に、比較的高速に動く物体に対する距離を測定、或いは車載用など距離画像センサ自体が移動体にのって使用されるような場合、全画素同時に距離測定がなされないといけない。このためには、図8あるいは、図10の回路に、負帰還アンプの出力に、サンプル&ホールド回路を設けた図11の回路とする。
次に、遅延同期ループを用い、背景の影響をなくした距離画像センサの原理を説明する。
【0029】
図12に、そのブロック図を示す。画素回路は、フォトダイオード(PD)、電荷電圧変換回路、積分器、電圧制御パルス遅延回路、及び電圧読み出し用バッファアンプからなる。電荷電圧変換回路には、先に述べた、図2,図5の埋め込みフォトダイオードを用いて、垂直信号線に出力する代わりに、電流源負荷だけを接続したもの、或いは、図8で出力バッファを取り除いたものを使用する。
【0030】
基本原理は同じなので、電荷電圧変換回路として、図2の回路に電流源負荷を接続した場合について説明する。その2つの出力の差を求めた値を、一定時間ごとにサンプルし、積分器に与える。サンプルしたあとは、電荷電圧変換回路の信号電荷をリセットする。この積分器は、遅延同期ループの安定化のために必要である。積分器の出力で、電圧制御遅延回路のパルスの遅延時間を制御する。その出力パルスで、電荷転送のためのTX1,TX2を制御する信号を生成する。動作タイミング図を、図13に示す。
【0031】
変調光の遅延時間が大きいときには、電荷蓄積ノード1の出力が大きくなり、電荷蓄積ノード2の出力が小さくなる。積分器がノード2の出力電圧からノード1の出力電圧を引いた値を積分するようにしてあると積分器の出力電圧が低下し、この電圧で制御される電圧制御遅延回路のパルスの遅れ量が大きくなり、これによってノード1の電荷転送時間が増え、ノード2の電荷転送時間が減る。つまり、負帰還ループになっている。
【0032】
最終的に平衡するのは、ノード1とノード2への電荷転送の時間が同じになった場合であり、このとき、電圧制御遅延回路のパルスの遅延が、パルス変調光の遅延量に同期していることになる。その電圧制御遅延回路の制御電圧は、その遅延量に比例するため、その制御電圧を読み出すことで、パルス変調光の遅延量を測ることができる。
【0033】
この方式では、2つのノードに蓄積される電荷Q1,Q2は、転送をN回繰り返すと以下のようになる。
Q1=N(Ip(Ts−Td)+IbTo) (18)
Q2=N(Ip(To+Td−Ts)+IbTo) (19)
ここでTsは、電圧制御遅延回路によるパルスの遅延時間である。
【0034】
その差に比例した電圧を取り出し、積分器で増幅する。その直流利得が十分大きいとすると積分器の直流出力は、次式のように表される。
Vcont=A(2Ts−2Td−To) (20)
Vcontと電圧制御遅延回路の遅延時間Tsの関係は、
Ts=Tso−kVcont (21)
と表せる。式(21)を(20)に代入して整理し、kA>>1であれば
【0035】
【数6】
となる。すなわち、制御電圧は、変調光の遅延時間を直接反映したものになる。この電圧を読み出せばよい。
この回路では遅延同期ループ内に安定化のための積分器が設けられているが、これはよく知られているようにローパスフィルタで代替することができる。
これらの処理回路はCMOSで構成できるので、CMOSイメージセンサの基板上に一体で集積化することができる。これにより、コンパクトな距離画像センサを構成することができる。
【0036】
次に、投影光の発光時間の幅を狭くすることで、各画素の繰り返し動作周波数を高くすることなく、距離分解能を高くするようにした例を示す。
本距離画像センサにおける距離計測分解能は、光ショットノイズで決まり、次式となる。
【数7】
ここで、Nsは、2つの容量にたまっている電子数の和であり、fsは、パルス周波数、cは光速である。背景光の影響は無視している。分解能を向上させるためには、パルスの繰り返し周波数を高くする必要がある。比較的に近距離を測定を対象とする場合、パルスの繰り返し周波数を高くしないで、パルス幅を短くすることで、分解能を高くすることができる。図14に、背景光の除去機能のない場合の短パルスを用いた動作タイミングを示す。
【0037】
この場合の距離分解能は、
【数8】
となり、パルス幅twを短くすることにより、繰り返し周波数を高くしなくても、距離分解能を高くできる。
なお、図14のタイミングを、図4に示した動作タイミングに適用することで、背景光の影響を除去することができる。
背景光を除去する場合は、図15または図16のようにする。図15は、前記の図7においてTX3(φ3)を一定とし、投射光の発光パルス幅と、TX1(φ1),TX2(φ2)を短くしたものに相当する。背景光の除去原理は、既に述べたものと同じである。
図16は、投射光のパルス幅を短くすることにより、同じ投入電力に対してその分発光強度を強くできることと、発光していない期間アンプのリセットスイッチを投入することで、背景光の影響を軽減するものである。パルス光を受信している期間における背景光の影響は残るが、発光強度を十分高くすることができれば、その影響を小さくすることができる。
【0038】
図16の投射光と受信光とに着目すると、図17に示されるように、実際のLEDでの発光波形は、立ち上がり、立ち下がりにおいて、急峻には変化せず、傾斜をもってたちあがっていることがわかる。そこで、信号のサンプル幅と位置を変更することにより、光強度の傾斜面を利用して距離を計測する構成を次に示す。
受信したパルス光の立ち上がり瞬間にあわせ、短時間の時間幅で、受信光により発生した電荷を検出して、これを1つの電荷蓄積容量に転送し、またパルス光が完全に立ち上がって一定になった後の時刻において、受信光により発生した電荷を検出して、これをべつの電荷蓄積容量に転送することで、その2つの容量にたまった電荷による信号電圧の比を用いて、遅れ時間を計算することにより、距離計測精度を向上できる。
【0039】
距離計測分解能をあげるためには、信号の遅れによって容量に取り込まれる電荷の変化の比率を大きくする必要がある。別の言い方をすれば、信号の遅れとは無関係に取り込まれる電荷を少なくする。このためには、信号電荷を取り込むパルス幅を短くすればよい。この場合、2つの条件を満たさないといけない。1つは、その取り込みパルスの幅の期間に、受信光の遅れ時間により、信号電荷が連続的に変化すること、もう1つは、取り込んだ信号電荷の組み合わせにより、受信光の強度だけで決まる基準となる値を遅れ時間と無関係な信号値を求められることである。
【0040】
電荷の取り込みパルス幅を短くしながら、これらの条件を満たすために図17のようにする。この方法では、一方の容量に、TX1(φ1)のパルス幅を短くしたもので、電荷を取り込む。このとき、図17に示したS1の面積に比例する信号電荷を取り込むことになる。また、他方の容量にTX2(φ2)のパルス幅を短くしたもので、信号電荷を取り込む。この場合は、図のS1の面積に比例した信号電荷を取り込むことになるが、これは、受信光が遅れても、受信したパルス光が完全に立ち上がって強度が一定になった信号を取り込んでいることになる。つまり、一方の容量には、遅延時間に依存した電荷、他方の容量には遅延時間に無関係の電荷が取り込めることになる。
【0041】
受信光の強度をL、取り込みパルス幅をTとすると
【数9】
である。また、パルス光の立ち上がり時間をT、光の送信パルスに対する取り込みパルスに対する先行時間をT、受信光の遅れ時間をTdとすると、受信光が直線的に立ち上がっていれば、
【数10】
となることがわかる。
【0042】
式(25),(26)より、次式が得られる。
【数11】
2つの容量にたまった電荷により発生する読みだした電圧は、S1とS2に比例するので、その信号の比を計算すれば、S1とS2の比が計算でき、式(27)から遅れ時間が計測できる。
この場合の距離分解能は、ほぼ
【数12】
となり、Tを短くすることで、分解能をあげることができる。
なお、信号を距離画像センサから読み出したあと、平均化処理を行うことで、距離分解能を改善することができる。M回平均化を行った場合の分解能は、
【数13】
となる。このようにM回平均化を行うと、画像のフレーム速度がその分遅くなるが、これは、もともとの画像の読みだしのフレーム速度を速くすることができれば、動画として十分なフレーム速度で距離画像を得ることができる。特に、解像度が低い(画素数が少ない)場合には、フレーム速度を速くすることは容易であり、有効である。
【0043】
なお、このような短い発光パルス幅を用いることは、多重反射による信号を取り込むのを防ぐことにも利用できる。さらに、予定外の遠い距離のところで反射してきた光が、次の取り込みパルスのタイミングで戻ってくることで、距離計測を誤るのを防ぐためにも用いることができる。つまり、発光パルス幅に対して繰り返し周期を長くすれば、次の取り込みパルスのタイミングで取り込まれるためには、非常に遠いところで反射してくる必要があり、近距離に比べて十分減衰しているので影響は少ない。
【0044】
以上画像情報から距離情報を取り出すことを述べたが、本願構成によれば2つの容量に蓄積された信号V1およびV2を得て、この信号から距離情報を算出しているため、同時に輝度画像情報を得ることができる。
つまり、式(1)のV1と式(2)のV2の和を求めれば、これが対象としている物体の輝度情報となるためである。また、図6や図9の回路を図7に示すタイミングで動作させた場合では式(12)のV3が背景の輝度信号となるので、これそのものを対象物の輝度画像信号とすることもできるし、照射した光による反射光も利用するために式(10)のV1、式(11)のV2、式(12)のV3を全て加算することにより輝度画像信号を得ることもできる。
【0045】
スイッチについて説明すると、図8、10、11に用いられているスイッチは電荷の転送を制御するゲートとして動作し、これは、フォトダイオードと半導体基板上において接続される、図18に示すようなMOSトランジスタを用いる。これには、図18(a)のようにnチャネルMOSトランジスタを用いるもの(pチャネルであってもよい)と、図18(b)のように、nチャネルとpチャネルのMOSトランジスタを並列接続し、pチャネルには、nチャネルの制御信号を論理反転させた信号を与えるものが、考えられる。
【0046】
距離画像センサからの信号読みだしについては、おおむね通常のCMOSイメージセンサと同様である。ただしフォトダイオードからの電荷転送の制御信号TX1(φ1)、TX2(φ2)は全画素に同時に与えられ、しかも高い周波数の信号であるので、その期間には、スイッチングノイズが発生する。したがって画素部からの信号読みだしとしては、これらの処理が終了したあとに読みだし期間を設けて行うのが得策である。
【0047】
その読みだしは、図1の場合は、まず読みだしたい行の画素部のバッファ選択信号Sを与え、2つの電荷蓄積ノードの信号をカラムの読みだし回路に設けたサンプル&ホールド回路(S/H)において、φc1とφc2によりサンプルし、記憶することで行う。そのカラムのS/H回路に記憶された1行分の信号は水平走査により順次選択して、時系列信号として出力する。このときに、カラムのサンプルホールド回路において、画素部のリセット信号Rを与えた時の信号も読みだして、画素のソースフォロワが発生する固定パターンノイズ等をキャンセルした信号を記憶して、これを水平走査して読み出しても良い。
【0048】
また、図9の場合には、まず読みだしたい行の画素部のバッファ選択信号Sを与える。次いで、画素部にφ1を与えたときに、画素内の容量C1に記憶された信号が画素部から出力され、これをカラムに並べたS/H回路において、制御信号φc1によりサンプルし、記憶する。ついで、画素部にφ2を与えたときに、画素内の容量C2に記憶された信号が画素部から出力され、これをカラムに並べたS/H回路において、制御信号φc2によりサンプルし、記憶する。これらのカラムのS/H回路に記憶された1行分の信号は水平走査により順次選択して、時系列信号として出力する。この場合においても、画素部のリセット信号φRを与えた時の信号も読みだして、画素のソースフォロワが発生する固定パターンノイズ等をキャンセルした信号を記憶して、これを水平走査して読み出しても良い。
【0049】
なお、図9では、φ1,φ2の信号が垂直に与えられているが、図19のように、タイミング制御回路を、垂直に配置し、φ1,φ2の信号を水平に与えてもよい。この場合には、信号を読み出す際、読み出したい行のφ1,φ2だけを動作させることができる。このようにした方が、画素部の発生するノイズを効果的にキャンセルできる可能性がある。なお、ノイズキャンセルの方法としては、図19では、画素部をリセットした値を記憶するためのS/H回路を設け、リセットレベルをφCRによりサンプルし、その出力と、画素部のC1とC2に記憶された信号を読みだした2つのS/H回路の出力の信号との差を、最終出力の手前で差分をとることでキャンセルすることも可能である。
【0050】
【発明の効果】
以上述べた構成により、感度が向上するとともに背景光や暗電流の影響を取り除くことができるので、光の飛行速度を利用した距離測定用画像センサを、通常の環境で利用することができる。また、距離画像情報とともに輝度画像信号を得ることもできる。
【図面の簡単な説明】
【図1】 TOF測距センサのブロック図
【図2】 埋め込みフォトダイオードを用いたCMOS距離画像センサの画素構造(1)
【図3】 図2に示す構造の等価回路
【図4】 動作タイミング(図2の回路)
【図5】 CMOS距離画像センサの画素構造(2)
【図6】 CMOS距離画像センサの画素構造(3) (背景光除去)
【図7】 図6に示す構造を用いる場合の動作タイミング図
【図8】 アンプ負帰還による電荷転送を用いた変調光遅延時間依存電荷電圧変換回路
【図9】 アンプ負帰還による電荷転送を用いた距離画像センサの全体の構成
【図10】 図8に背景信号記憶用容量(C3)を追加した構成
【図11】 図8にサンプル&ホールド回路を設け、全画素同時距離計算を可能とした構成
【図12】 電圧制御遅延回路を用いた背景除去距離画像センサのブロック図
【図13】 各画素の処理の動作タイミング図
【図14】 短パルスを用いた場合の動作タイミング(背景光の影響を低減する処理なし)
【図15】 短パルスを用いた場合の動作タイミング(背景光の除去機能あり)
【図16】 短パルスを用い、周期的リセットを加えた場合の動作タイミング(背景光による部分を低減)
【図17】 受信光のパルスの立ち上がり部を検出することで、距離計測分解能を向上させるためのタイミング図
【図18】 MOSトランジスタによるスイッチ
【図19】 電荷転送制御信号を水平方向から与える場合の構成
【符号の説明】
PD フォトダイオード
R リセット用制御信号線
S 信号読み出し用制御信号線
ST ポテンシャル井戸形成用制御信号線
S/H サンプル・ホールド回路
Td 反射光の遅れ時間
TX1,TX2 転送ゲート用制御信号線
VR リセット用基準電位

Claims (6)

  1. 光源からの光を断続的に対象物に投射し、その反射光の遅れ時間から距離を計測する距離画像センサにおいて、
    対象物からの反射光を電荷に変換する半導体基板に埋め込まれた埋め込みフォトダイオード構造による受光素子と、
    半導体基板上のMOS(Metal Oxide Semiconductor)構造による第1、第2及び第3のゲート手段と、
    前記第1、第2及び第3のゲート手段にそれぞれ対応する第1、第2及び第3の電荷蓄積ノードと、
    前記第1、第2及び第3のゲート手段の開閉を制御する制御手段と、を具備し、
    前記第1の電荷蓄積ノードと前記第2の電荷蓄積ノードに対して、前記受光素子からの電荷を、前記第1のゲート手段と前記第2のゲート手段により前記光源からの光の断続動作と同期させて交互に電荷転送して蓄積を行い、前記受光素子からの電荷転送効率を向上させるとともに蓄積電荷の配分比から対象物までの距離を求め、
    さらに、投射光による反射光が存在しない期間に、前記第3のゲート手段を開くことにより背景光による電荷を前記第3の電荷蓄積ノードへ転送し、背景光除去のための電荷蓄積を前記第3の電荷蓄積ノードに対して行い、
    投射光を受光するパルス幅、すなわち前記ゲートが開く期間を繰返し周期に対して十分短くしてなることを特徴とする距離画像センサ。
  2. さらに、前記の各電荷蓄積ノードに対応してサンプリング・ホールド手段を設けてなる請求項1記載の距離画像センサ。
  3. 前記第1および第2の蓄積ノードに蓄積された電荷の和、前記第1乃至第3の蓄積ノードに蓄積された電荷の和、あるいは前記第3の蓄積ノードに蓄積された電荷から、輝度画像信号を得ることを特徴とする請求項1又は2記載の距離画像センサ。
  4. さらに、前記第1および第2のゲート手段の開閉を制御する信号を通過させる電圧制御遅延手段を設け、前記蓄積ノードに蓄積された電荷の差に基づく信号を、前記電圧制御遅延手段に制御信号として前記電荷の差が零に近づくような極性で与えて、負帰還ループを構成することを特徴とする請求項1記載の距離画像センサ。
  5. 投射光の繰返し周期の各周期に同期して背景光による電荷を捨てるリセット手段を設けてなる請求項1記載の距離画像センサ。
  6. 前記制御手段は、前記第1の電荷蓄積ノードには反射光の立ち上がる一瞬の電荷を、前記第2の電荷蓄積ノードには反射光が安定的レベルになってからの電荷を蓄積するように前記ゲート手段を制御してなる請求項1記載の距離画像センサ。
JP2003132945A 2003-02-03 2003-05-12 距離画像センサ Active JP4235729B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003025609 2003-02-03
JP2003132945A JP4235729B2 (ja) 2003-02-03 2003-05-12 距離画像センサ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003132945A JP4235729B2 (ja) 2003-02-03 2003-05-12 距離画像センサ
PCT/JP2004/000767 WO2004070313A1 (ja) 2003-02-03 2004-01-28 距離画像センサ
US10/537,960 US7436496B2 (en) 2003-02-03 2004-01-28 Distance image sensor

Publications (2)

Publication Number Publication Date
JP2004294420A JP2004294420A (ja) 2004-10-21
JP4235729B2 true JP4235729B2 (ja) 2009-03-11

Family

ID=32852650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003132945A Active JP4235729B2 (ja) 2003-02-03 2003-05-12 距離画像センサ

Country Status (3)

Country Link
US (1) US7436496B2 (ja)
JP (1) JP4235729B2 (ja)
WO (1) WO2004070313A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10794695B2 (en) 2015-06-24 2020-10-06 Murata Manufacturing Co., Ltd. Range sensor
WO2020202779A1 (ja) * 2019-03-29 2020-10-08 株式会社ブルックマンテクノロジ 固体撮像装置、撮像システム及び撮像方法

Families Citing this family (358)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4280822B2 (ja) * 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
KR100614653B1 (ko) * 2004-11-18 2006-08-22 삼성전자주식회사 백점 및 오버플로우의 문제없이 글로벌 노출이 가능한씨모스 이미지 센서 및 그 제조 방법
JP2009153167A (ja) * 2005-02-04 2009-07-09 Canon Inc 撮像装置
JP2006323651A (ja) * 2005-05-19 2006-11-30 Atsumi Electric Co Ltd 防犯センサ
JP2006323652A (ja) * 2005-05-19 2006-11-30 Atsumi Electric Co Ltd 防犯センサ
US7655493B2 (en) * 2005-07-14 2010-02-02 Fairchild Imaging, Inc Multi spectral sensor
US7781811B2 (en) 2005-08-30 2010-08-24 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
US7910964B2 (en) 2005-08-30 2011-03-22 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
US7417718B2 (en) 2005-10-28 2008-08-26 Sharp Kabushiki Kaisha Optical distance measuring apparatus
US7876422B2 (en) 2005-11-14 2011-01-25 Panasonic Electric Works Co., Ltd. Spatial information detecting device and photodetector suitable therefor
US8279312B2 (en) * 2005-11-24 2012-10-02 Stmicroelectronics S.A. Image sensor element with multiple outputs
WO2007083704A1 (ja) * 2006-01-18 2007-07-26 National University Corporation Shizuoka University 固体撮像装置及びその画素信号の読みだし方法
US7843029B2 (en) 2006-03-31 2010-11-30 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
JP2008009877A (ja) 2006-06-30 2008-01-17 Brother Ind Ltd 画像処理装置,画像処理方法およびプログラム
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP5204963B2 (ja) * 2006-10-12 2013-06-05 スタンレー電気株式会社 固体撮像素子
KR101030263B1 (ko) * 2006-11-30 2011-04-22 고쿠리츠 다이가꾸 호우진 시즈오까 다이가꾸 반도체 거리 측정 소자 및 고체 촬상 장치
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
JP5486150B2 (ja) * 2007-03-30 2014-05-07 富士フイルム株式会社 測距装置、測距方法及び測距システム
JP2008268112A (ja) * 2007-04-24 2008-11-06 Sanyo Electric Co Ltd センサ
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子
JP5171158B2 (ja) * 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5171157B2 (ja) * 2007-08-22 2013-03-27 浜松ホトニクス株式会社 測距装置
JP5154862B2 (ja) * 2007-08-22 2013-02-27 浜松ホトニクス株式会社 測距装置
JP5089289B2 (ja) * 2007-08-22 2012-12-05 浜松ホトニクス株式会社 測距センサ及び測距装置
WO2009079789A1 (en) * 2007-12-21 2009-07-02 Leddartech Inc. Detection and ranging methods and systems
JP5175562B2 (ja) * 2008-01-28 2013-04-03 シャープ株式会社 人物位置検出装置および空気調和機
EP2297783A1 (en) * 2008-03-04 2011-03-23 MESA Imaging AG Drift field demodulation pixel with pinned photo diode
KR101448152B1 (ko) * 2008-03-26 2014-10-07 삼성전자주식회사 수직 포토게이트를 구비한 거리측정 센서 및 그를 구비한입체 컬러 이미지 센서
JP5356726B2 (ja) * 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
EP2296368B1 (en) * 2008-06-04 2017-01-04 Shizuoka University Imaging device
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
JP5271643B2 (ja) * 2008-09-19 2013-08-21 スタンレー電気株式会社 光飛行時間型距離画像センサの制御方法およびそのシステム
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
JP5617159B2 (ja) * 2008-10-07 2014-11-05 トヨタ自動車株式会社 画像取得装置及び方法
JP2010098260A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 発光装置、受光システム及び撮像システム
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8448094B2 (en) 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
JP5404112B2 (ja) 2009-03-12 2014-01-29 キヤノン株式会社 固体撮像素子、その駆動方法及び撮像システム
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
JP4798254B2 (ja) * 2009-05-13 2011-10-19 株式会社デンソー 受光デバイス及びその制御方法
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
KR101668869B1 (ko) 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US9117712B1 (en) * 2009-07-24 2015-08-25 Mesa Imaging Ag Demodulation pixel with backside illumination and charge barrier
DE102009037596B4 (de) * 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
WO2011020921A1 (en) * 2009-08-21 2011-02-24 Iee International Electronics & Engineering S.A. Time-of-flight sensor
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
KR101565969B1 (ko) * 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
US8508919B2 (en) 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8760571B2 (en) 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8988432B2 (en) 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
JP5558999B2 (ja) * 2009-11-24 2014-07-23 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5244076B2 (ja) 2009-11-24 2013-07-24 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
GB2477083A (en) * 2010-01-13 2011-07-27 Cmosis Nv Pixel structure with multiple transfer gates to improve dynamic range
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
ITMI20100091A1 (it) * 2010-01-26 2011-07-27 Fond Bruno Kessler Demodulatore elettro-ottico basato su fotodiodo sepolto
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
JP5364619B2 (ja) * 2010-02-26 2013-12-11 浜松ホトニクス株式会社 距離画像センサ
US8422769B2 (en) 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8655069B2 (en) 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
WO2011117161A2 (de) * 2010-03-26 2011-09-29 Iee International Electronics & Engineering S.A. Lichtsensor mit photoempfindlicher halbleiterstruktur
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
JP5476190B2 (ja) * 2010-03-31 2014-04-23 本田技研工業株式会社 固体撮像装置
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
JP2011247872A (ja) * 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
JP5521854B2 (ja) * 2010-07-26 2014-06-18 コニカミノルタ株式会社 撮像装置及び画像入力装置
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
JP5616170B2 (ja) * 2010-09-06 2014-10-29 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US20120120285A1 (en) * 2010-11-16 2012-05-17 Texas Instruments Incorporated Method and apparatus for reconfiguring time of flight shot mode
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8785831B2 (en) 2011-01-05 2014-07-22 Luxima Technology LLC Image sensors and methods with high speed global shutter pixels
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
JP5829036B2 (ja) * 2011-03-31 2015-12-09 本田技研工業株式会社 単位画素の信号加算方法
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
JP5635938B2 (ja) 2011-03-31 2014-12-03 本田技研工業株式会社 固体撮像装置
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
KR101802243B1 (ko) 2011-05-06 2017-11-29 삼성전자주식회사 비행 시간 방식의 거리 측정 센서와 이를 포함하는 반도체 장치
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
TWI575494B (zh) * 2011-08-19 2017-03-21 半導體能源研究所股份有限公司 半導體裝置的驅動方法
KR101797014B1 (ko) 2011-09-14 2017-11-14 삼성전자주식회사 3차원 이미지 센서의 단위 픽셀
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
JP5576851B2 (ja) 2011-12-27 2014-08-20 本田技研工業株式会社 測距システム及び測距方法
JP5876289B2 (ja) * 2011-12-28 2016-03-02 浜松ホトニクス株式会社 距離測定装置
JP5781918B2 (ja) * 2011-12-28 2015-09-24 浜松ホトニクス株式会社 距離測定装置
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
JP5917929B2 (ja) * 2012-01-31 2016-05-18 浜松ホトニクス株式会社 撮像装置
KR101955334B1 (ko) 2012-02-07 2019-03-07 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR101848771B1 (ko) 2012-02-08 2018-05-28 삼성전자주식회사 3차원 이미지 센서 및 이를 포함하는 휴대용 장치
US8686367B2 (en) * 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CN104272718B (zh) * 2012-04-19 2017-08-25 国立大学法人东北大学 固体摄像装置
US8690063B2 (en) 2012-05-01 2014-04-08 Symbol Technologies, Inc. Apparatus for and method of electro-optically reading direct part marking indicia by image capture
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
JP2012185174A (ja) * 2012-05-29 2012-09-27 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
WO2013189058A1 (en) 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US9137521B2 (en) 2012-07-24 2015-09-15 Samsung Electronics Co., Ltd. Depth sensing apparatus and method
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
KR102003496B1 (ko) 2013-03-06 2019-10-01 삼성전자주식회사 이미지 센서 및 이미지 픽업 장치
JP2013137324A (ja) * 2013-03-07 2013-07-11 Toyota Motor Corp 画像取得装置及び方法
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US8994867B2 (en) 2013-03-15 2015-03-31 Samsung Electronics Co., Ltd. Image sensor, operating method thereof, and device including the image sensor
JP6176777B2 (ja) * 2013-03-25 2017-08-09 国立大学法人静岡大学 画素回路及び撮像素子
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9729860B2 (en) * 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US9369648B2 (en) 2013-06-18 2016-06-14 Alexander Krymski Image sensors, methods, and pixels with tri-level biased transfer gates
EP3020075B1 (en) * 2013-07-05 2018-09-05 Actlight S.A. Proximity sensor systems and their operating methods
JP6245900B2 (ja) * 2013-09-02 2017-12-13 株式会社メガチップス 距離測定装置
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US9182490B2 (en) * 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
JP6304567B2 (ja) * 2014-02-28 2018-04-04 パナソニックIpマネジメント株式会社 測距装置及び測距方法
JP6374690B2 (ja) 2014-04-01 2018-08-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9952323B2 (en) 2014-04-07 2018-04-24 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
JP6406856B2 (ja) 2014-04-07 2018-10-17 キヤノン株式会社 撮像装置及びその制御方法
JP6320154B2 (ja) * 2014-04-25 2018-05-09 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
JP6231940B2 (ja) 2014-05-08 2017-11-15 浜松ホトニクス株式会社 測距装置及び測距装置の駆動方法
US9729809B2 (en) 2014-07-11 2017-08-08 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and driving method of semiconductor device or electronic device
JP6280002B2 (ja) * 2014-08-22 2018-02-14 浜松ホトニクス株式会社 測距方法及び測距装置
JP6422306B2 (ja) * 2014-11-04 2018-11-14 キヤノン株式会社 撮像装置及びその制御方法
JP6520053B2 (ja) * 2014-11-06 2019-05-29 株式会社デンソー 光飛行型測距装置
JP6666620B2 (ja) * 2015-02-20 2020-03-18 国立大学法人静岡大学 距離画像計測装置
JP6696647B2 (ja) * 2015-03-31 2020-05-20 国立大学法人静岡大学 測長素子及び固体撮像装置
JP6676866B2 (ja) * 2015-05-28 2020-04-08 パナソニック株式会社 測距撮像装置及び固体撮像素子
JP2018136123A (ja) * 2015-06-24 2018-08-30 株式会社村田製作所 距離センサ及びユーザインタフェース装置
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
JP6327656B2 (ja) * 2015-07-09 2018-05-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 超音波距離検出のための装置、方法、プログラム、及びモバイルプラットフォーム
JP6558122B2 (ja) * 2015-07-30 2019-08-14 株式会社デンソー 光飛行型測距装置
US9880266B2 (en) * 2015-07-31 2018-01-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Measurement system incorporating ambient light component nullification
EP3330739A4 (en) * 2015-07-31 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Range imaging device and solid-state imaging device
JPWO2017022220A1 (ja) 2015-08-04 2018-05-31 パナソニックIpマネジメント株式会社 固体撮像装置
EP3334151B1 (en) 2015-08-04 2021-04-07 Panasonic Semiconductor Solutions Co., Ltd. Method for driving solid-state imaging device
CN107925733B (zh) 2015-08-04 2020-09-18 松下半导体解决方案株式会社 固体摄像装置
JP6700687B2 (ja) * 2015-08-07 2020-05-27 キヤノン株式会社 光電変換デバイス、測距装置および情報処理システム
GB201516701D0 (en) * 2015-09-21 2015-11-04 Innovation & Business Dev Solutions Ltd Time of flight distance sensor
US10840282B2 (en) 2015-10-21 2020-11-17 Ams Sensors Singapore Pte. Ltd. Demodulation pixel devices, arrays of pixel devices and optoelectronic devices incorporating the same
EP3388858A4 (en) 2015-12-08 2018-12-12 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device, distance measuring device, and distance measurement method
FR3046495B1 (fr) * 2015-12-30 2018-02-16 Stmicroelectronics (Crolles 2) Sas PIXEL FLIGHT TIME DETECTION
EP3414599B1 (en) * 2016-02-08 2019-12-18 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
EP3425901A4 (en) * 2016-02-29 2019-06-26 Panasonic Intellectual Property Management Co., Ltd. IMAGING DEVICE AND SEMICONDUCTOR IMAGING ELEMENT USED THEREIN
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
FR3052297A1 (fr) 2016-06-06 2017-12-08 Stmicroelectronics (Crolles 2) Sas Capteur d'image de type a obturation globale
JPWO2017217240A1 (ja) * 2016-06-15 2019-04-04 ソニー株式会社 撮影装置、撮影方法、プログラム
US10764505B2 (en) * 2016-08-10 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Projection image pickup device and projection image pickup method
EP3570066A4 (en) 2017-01-13 2019-12-25 Sony Corporation SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, AND PROGRAM
JP6735515B2 (ja) 2017-03-29 2020-08-05 パナソニックIpマネジメント株式会社 固体撮像装置
EP3392675B1 (en) * 2017-04-21 2021-03-10 Melexis Technologies NV Active pixel circuit for a time-of-flight system and method for operating the same
JP2019029906A (ja) * 2017-08-01 2019-02-21 スタンレー電気株式会社 撮像装置
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US11002836B2 (en) * 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN109510955B (zh) * 2018-10-17 2021-04-27 天津大学 基于飞行时间三维图像传感器的背景噪声抑制像素电路
DE102018132683A1 (de) * 2018-12-18 2020-06-18 Huf Hülsbeck & Fürst Gmbh & Co. Kg Pixelstruktur zur optischen abstandsmessung an einem objekt und zugehöriges abstandserfassungssystem
CN112018133A (zh) * 2019-05-31 2020-12-01 宁波飞芯电子科技有限公司 半导体元件、半导体元件制备方法以及固态成像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3411690A1 (de) * 1983-04-01 1984-11-08 Canon Kk Fotoelektrische wandlervorrichtung
US4864515A (en) * 1987-03-30 1989-09-05 Honeywell Inc. Electronic sensing screen for measuring projectile parameters
AT254758T (de) * 1996-09-05 2003-12-15 Rudolf Schwarte METHOD AND DEVICE FOR DETERMINING THE PHASE AND / OR AMPLITUDE INFORMATION OF AN ELECTROMAGNETIC SHAFT
JP3736829B2 (ja) * 1998-02-13 2006-01-18 株式会社東芝 情報入力装置
JP3600430B2 (ja) * 1998-03-19 2004-12-15 株式会社東芝 固体撮像装置
US6239456B1 (en) * 1998-08-19 2001-05-29 Photobit Corporation Lock in pinned photodiode photodetector
JP4157223B2 (ja) * 1999-04-13 2008-10-01 Hoya株式会社 3次元画像入力装置
JP4377013B2 (ja) * 1999-11-18 2009-12-02 國寛 渡辺 固体撮像装置及び固体撮像素子
JP3574602B2 (ja) * 1999-12-27 2004-10-06 ペンタックス株式会社 3次元画像入力装置
JP2001281336A (ja) * 2000-03-31 2001-10-10 Olympus Optical Co Ltd 距離画像撮像装置
JP2002368205A (ja) * 2001-06-12 2002-12-20 Olympus Optical Co Ltd 距離情報入力装置
JP2003247809A (ja) * 2002-02-26 2003-09-05 Olympus Optical Co Ltd 距離情報入力装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10794695B2 (en) 2015-06-24 2020-10-06 Murata Manufacturing Co., Ltd. Range sensor
WO2020202779A1 (ja) * 2019-03-29 2020-10-08 株式会社ブルックマンテクノロジ 固体撮像装置、撮像システム及び撮像方法

Also Published As

Publication number Publication date
US7436496B2 (en) 2008-10-14
JP2004294420A (ja) 2004-10-21
WO2004070313A1 (ja) 2004-08-19
US20060192938A1 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
JP4235729B2 (ja) 距離画像センサ
US10101155B2 (en) Optical distance measuring device and method for optical distance measurement
JP2019531489A (ja) イメージング・アレイ内のピクセルの露出値から背景光を差し引くための方法、及び、この方法における使用のためのピクセル
US7507947B2 (en) Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
EP1614159B1 (en) Method and system to differentially enhance sensor dynamic range
US10764518B2 (en) Pixel structure
US6522395B1 (en) Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
JP2012501608A (ja) デイジーチェーン構成の電荷格納領域を有する復調ピクセルおよびそれを操作する方法
US7947939B2 (en) Detection of optical radiation using a photodiode structure
WO2016075945A1 (ja) 光飛行型測距装置
US8829408B2 (en) Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes
US10928493B2 (en) Method for driving solid-state imaging device
JP2005291985A (ja) オフセット低減機能をもつtof距離センサ
Spickermann et al. CMOS 3D image sensor based on pulse modulated time-of-flight principle and intrinsic lateral drift-field photodiode pixels
US8947646B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
JP6539990B2 (ja) 光飛行型測距装置
CN212486472U (zh) 一种像素级的高速窄脉冲峰值保持电路
JPH08304540A (ja) 画像および距離検知システム用センサ
HALIN et al. Design of a charge domain CMOS time-of-flight range image sensor
Joboji et al. A Range Finding Array Sensor Performing Correlated Calculations with a PN Code Modulation Light
JPH08320223A (ja) 測距装置
Kawahito et al. Active pixel circuits for CMOS time-of-flight range image sensors

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060116

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080820

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081008

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150