JP7208156B2 - ピクセルワイズイメージングの方法及びシステム - Google Patents
ピクセルワイズイメージングの方法及びシステム Download PDFInfo
- Publication number
- JP7208156B2 JP7208156B2 JP2019559035A JP2019559035A JP7208156B2 JP 7208156 B2 JP7208156 B2 JP 7208156B2 JP 2019559035 A JP2019559035 A JP 2019559035A JP 2019559035 A JP2019559035 A JP 2019559035A JP 7208156 B2 JP7208156 B2 JP 7208156B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- nodes
- light
- wise
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 58
- 230000000873 masking effect Effects 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 58
- 238000012546 transfer Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 18
- 230000000295 complement effect Effects 0.000 claims description 9
- 238000009792 diffusion process Methods 0.000 claims description 9
- 238000007667 floating Methods 0.000 claims description 9
- 108091008695 photoreceptors Proteins 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 108020003175 receptors Proteins 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 238000005286 illumination Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000011068 loading method Methods 0.000 description 4
- 102000005962 receptors Human genes 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 102100021999 Cytosolic Fe-S cluster assembly factor NUBP2 Human genes 0.000 description 1
- 101001107795 Homo sapiens Cytosolic Fe-S cluster assembly factor NUBP2 Proteins 0.000 description 1
- 101000827688 Homo sapiens Fibroblast growth factor receptor 2 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003518 caustics Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
- H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
- H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Input (AREA)
Description
ここで、cpは、フレームfのサブフレーム内のピクセルpのアクティブなバケットを指定するS次元の行ベクトルである。cfsは、フレームfのサブフレームsのすべてのピクセルのアクティブなバケットを指定する列ベクトルである。
ここで、行ベクトルlsは、各フレームのサブフレームsでのシーンの照明条件を示す。この例では、強度がベクトルlsで与えられる一連のL方向光源と、「常にオン」であるL番目の光源として扱われる(つまり、すべてのsにつき、要素ls[L]=1)、周囲光の存在下でlsの最初のL-1要素で指定されたパターンを投影するプロジェクタとの2種類のシーン照明が考慮される。
をそれぞれFフレームでピクセルpに関連付けられたバケット1とバケット0の強度を保持する列ベクトルとする。図22に図示するように、この強度は、L光源からピクセルに関連付けられた2つのバケットへの光輸送の結果としてモデル化される。
ここで、
は、行列又はベクトルbのバイナリ補数を示し、Cpはpに対応するコード行列のスライス、tpはピクセルの輸送ベクトルである。このベクトルの要素tp[l]は、1つのサブフレームのタイムスパンで、すべての光路と両方のバケットにわたってピクセルpに輸送される光源lの強度の割合を特定する。
によって与えられる2つの潜在的に異なる照明条件の下でシーンを「見る」と考えることができる。さらに、cp fがフレームごとに異なる場合、これらの照明条件も変化する。
で示され、各バケットの照明条件はベクトルl=cp fLと
で示される。
ここで、l、
、Dはすべて既知である。Dは照明条件を表し、xはピクセル固有の未知数を含む3Dベクトルであり、aは未知のスカラーであり、e、
は観測ノイズである。各問題に関連する仮定の概要、及び、各問題の量と上記の関係式の要因のマッピングについては、以下の表1を参照する。
上記の方程式は、要素として強度i、
を持っているため、暗黙的にアルベドに依存する。
ランクW=分(F+1、S)
ここで、すべての多重化行列Wについて、最良の不偏線形推定器のMSEは、上記の式の下限を満たす。
は、画像センサ110の解像度の1/Fでサンプリングされる。フル解像度で3D形状を計算するには、画像デモザイキング技術によって照明モザイクをアップサンプリングし、ここで説明する技術をすべてのピクセルに個別に適用できる。カラーセンサに取り付けられ、通常変更できないカラーフィルターモザイクとは異なり、本実施形態の照明モザイクの取得は、あらゆるFに対して完全にプログラミング可能である。特定の場合、形状解像度を最大化するために、F=3又はF=2フレームを1つのショットに多重化する、可能な限り最も密度の高いモザイクの取得が考慮される。これを図23に示す。最初の3列のフレームは、3フレームコード行列Cによってキャプチャされたものである。この行列では、フレーム内のすべてのピクセルで同じであるが、フレーム間で異なる照明条件が割り当てられた。4列目には、一番右の画像の3ピクセルタイルを使用して左側のフレームを多重化する、1回のショットでキャプチャされた照明モザイクを示す。
を空間的に多重化する1フレームコード行列Cを特定することになる。これは、(1)センサ面の通常のFピクセルタイリングを定義し、(2)タイル内のピクセルとフレーム間の1対1の対応(pi、fi)、1≦i≦Fを特定することで行われる。
の列は、以下のように定義される。
Claims (24)
- シーンのピクセルワイズイメージングを行うためのシステムであって、
シーンに光パターンを投影するプロジェクタと、
シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な1つ又は複数の収集ノードを含む信号記憶モジュールと、
制御メモリと1つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記画像センサと前記信号記憶モジュールの間に直接配置され、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記1つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を1つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと1つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
を備え、
i)前記1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを備え、前記ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、1つ又は複数の論理コンポーネントが電子信号を収集ノードの1つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含み、または
ii)前記1つ又は複数の収集ノードは、各ピクセルにつき正確に1つの収集ノードを備え、前記ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、1つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視する、
ことを特徴とするシステム。 - 前記1つ又は複数の収集ノードは、ピクセル当たり正確に2つの収集ノードを含み、マスキング値は1桁のバイナリ値であり、高いバイナリ値は、電子信号を1つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項1に記載のシステム。
- 前記1つ又は複数の収集ノードは、ピクセル当たり正確に4つの収集ノードを含み、マスキング値は2桁のバイナリ値であり、4つの収集ノードのそれぞれは2桁のバイナリ値の1つに関連付けられ、1つ又は複数の論理コンポーネントは、各2桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する、ことを特徴とする請求項1に記載のシステム。
- 前記制御メモリは、前記画像センサの各ピクセルで受信される信号を含むフレームごとに新しいピクセルワイズパターンを受け取り、1つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する、ことを特徴とする請求項1に記載のシステム。
- 前記制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、1つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導し、各フレームは複数のサブフレームを有し、各サブフレームはフレームの時間的な区分を構成する、ことを特徴とする請求項1に記載のシステム。
- 前記制御メモリは、
次のサブフレームの新しいピクセルワイズパターンを格納する第1のメモリユニットと、
現在のサブフレームのピクセルワイズパターンを格納する第2のメモリユニットと
を備えることを特徴とする請求項5に記載のシステム。 - 前記次のサブフレームの新しいピクセルワイズパターンが前記第1のメモリユニットに順次ロードされ、前記現在のサブフレームのピクセルワイズパターンが前記第2のメモリユニットに同時にロードされる、請求項6に記載のシステム。
- 前記画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの1つを含む、ことを特徴とする請求項1に記載のシステム。
- 前記論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える、ことを特徴とする請求項1に記載のシステム。
- 各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備えることを特徴とする請求項1に記載のシステム。
- 前記画像センサはラインセンサであることを特徴とする請求項1に記載のシステム。
- 前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項1に記載のシステム。
- 前記信号記憶モジュールは、各ピクセルに対するマスキング値に基づいて前記収集ノードの1つまたは複数に誘導する前に前記電子信号を記憶するための記憶ノードを備える、請求項1に記載のシステム。
- 前記感光性受容体が単一光子アバランシェダイオードである、請求項1に記載のシステム。
- シーンのピクセルワイズイメージングを行うための方法であって、
シーンに光パターンを投影する工程と、
画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
各ピクセルで受信した電子信号を各マスキング値に基づいて該ピクセルに関連付けられた1つ又は複数の収集ノードに直接誘導する工程であって、前記1つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
を備え、
i)前記1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを備え、前記ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、1つ又は複数の論理コンポーネントが電子信号を収集ノードの1つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含み、または
ii)前記1つ又は複数の収集ノードは、各ピクセルにつき正確に1つの収集ノードを備え、前記ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、1つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視する、
ことを特徴とする方法。 - 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを含み、マスキング値は1桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの1つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項15に記載の方法。
- 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に4つの収集ノードを含み、マスキング値は2桁のバイナリ値であり、4つの収集ノードはそれぞれ2桁のバイナリ値の1つに関連付けられ、電子信号は、各2桁のバイナリ値に基づいて各収集ノードに誘導される、ことを特徴とする請求項15に記載の方法。
- 前記画像センサの各ピクセルで受信される信号を含むフレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が誘導される、ことを特徴とする請求項15に記載の方法。
- フレームの時間的な区分を構成するサブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて誘導され、各フレームは複数のサブフレームを含む、ことを特徴とする請求項15に記載の方法。
- 現在のサブフレームのピクセルワイズパターンを格納する工程と、
次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
をさらに備えることを特徴とする請求項19に記載の方法。 - 前記次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる、ことを特徴とする請求項20に記載の方法。
- 前記各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備えることを特徴とする請求項15に記載の方法。
- 前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項15に記載の方法。
- 各ピクセルに対するマスキング値に基づいて信号を1つまたは複数の収集ノードに誘導する前に前記信号を記憶するための記憶ノードに転送することをさらに含む、請求項15に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023000522A JP7532559B2 (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762491620P | 2017-04-28 | 2017-04-28 | |
US62/491,620 | 2017-04-28 | ||
US201862649763P | 2018-03-29 | 2018-03-29 | |
US62/649,763 | 2018-03-29 | ||
PCT/CA2018/050496 WO2018195669A1 (en) | 2017-04-28 | 2018-04-27 | Method and system for pixel-wise imaging |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023000522A Division JP7532559B2 (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020519102A JP2020519102A (ja) | 2020-06-25 |
JP7208156B2 true JP7208156B2 (ja) | 2023-01-18 |
Family
ID=63920110
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559035A Active JP7208156B2 (ja) | 2017-04-28 | 2018-04-27 | ピクセルワイズイメージングの方法及びシステム |
JP2023000522A Active JP7532559B2 (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023000522A Active JP7532559B2 (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10229943B2 (ja) |
JP (2) | JP7208156B2 (ja) |
KR (1) | KR102479014B1 (ja) |
CA (1) | CA3061622A1 (ja) |
WO (1) | WO2018195669A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10234439B2 (en) * | 2012-11-07 | 2019-03-19 | Airscout Inc. | Methods and systems for analyzing a field |
US11184564B2 (en) * | 2017-04-28 | 2021-11-23 | The Governing Council Of The University Of Toronto | Method and system for pixel-wise imaging |
US11563911B2 (en) * | 2018-10-10 | 2023-01-24 | Northwestern University | Method and system for time-of-flight imaging with high lateral resolution |
US10791286B2 (en) * | 2018-12-13 | 2020-09-29 | Facebook Technologies, Llc | Differentiated imaging using camera assembly with augmented pixels |
US10791282B2 (en) | 2018-12-13 | 2020-09-29 | Fenwick & West LLP | High dynamic range camera assembly with augmented pixels |
US10855896B1 (en) | 2018-12-13 | 2020-12-01 | Facebook Technologies, Llc | Depth determination using time-of-flight and camera assembly with augmented pixels |
US11348954B2 (en) | 2019-03-19 | 2022-05-31 | Samsung Electronics Co., Ltd. | Time-resolving sensor for range measurement and 2D greyscale imaging |
JP2022537117A (ja) * | 2019-06-21 | 2022-08-24 | ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント | 画素パラメータの画素単位の符号化を用いて画像ダイナミックレンジを拡張するための方法およびシステム |
DE102019124142A1 (de) * | 2019-09-09 | 2021-03-11 | pmdtechnologies ag | Lichtlaufzeitkamerasystem |
JP7371443B2 (ja) * | 2019-10-28 | 2023-10-31 | 株式会社デンソーウェーブ | 三次元計測装置 |
US10902623B1 (en) | 2019-11-19 | 2021-01-26 | Facebook Technologies, Llc | Three-dimensional imaging with spatial and temporal coding for depth camera assembly |
US11194160B1 (en) | 2020-01-21 | 2021-12-07 | Facebook Technologies, Llc | High frame rate reconstruction with N-tap camera sensor |
WO2024168432A1 (en) * | 2023-02-14 | 2024-08-22 | The Governing Council Of The University Of Toronto | Image sensor and method for flux-to-digital conversion and pixel-wise exposure coding |
CN115993094B (zh) * | 2023-03-01 | 2023-09-12 | 大连交通大学 | 一种基于ccd相机的大型膜结构屋顶位移监测方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003521836A (ja) | 1999-03-04 | 2003-07-15 | ビジョン−サイエンシズ・インコーポレイテッド | 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル |
JP2013509820A (ja) | 2009-10-28 | 2013-03-14 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 符号化ローリングシャッタの方法およびシステム |
JP2014209103A (ja) | 2013-03-20 | 2014-11-06 | コグネクス コーポレイション | マシーンビジョン3dラインスキャンイメージ取得及び処理 |
JP2015215181A (ja) | 2014-05-08 | 2015-12-03 | 浜松ホトニクス株式会社 | 測距装置及び測距装置の駆動方法 |
WO2016010838A1 (en) | 2014-07-12 | 2016-01-21 | Gibbons Robert C | Read-out integrated circuit with integrated compressive sensing |
WO2016028200A1 (en) | 2014-08-21 | 2016-02-25 | Totalförsvarets Forskningsinstitut | An imaging system parallelizing compressive sensing imaging |
JP2016511539A (ja) | 2013-01-31 | 2016-04-14 | アップル インコーポレイテッド | 垂直積層型画像センサ |
JP2016092593A (ja) | 2014-11-04 | 2016-05-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2256989B (en) * | 1991-06-21 | 1995-02-08 | Sony Broadcast & Communication | Video image capture apparatus |
US7369167B2 (en) * | 2003-06-02 | 2008-05-06 | Micron Technology, Inc. | Photo diode ID for CMOS imagers |
US7973838B2 (en) * | 2006-07-07 | 2011-07-05 | Immersive Media Company | Active mask for electronic imaging system |
US8648948B2 (en) * | 2009-09-30 | 2014-02-11 | Infrared Newco, Inc. | Imaging systems with multiple imaging pixel types and related methods |
EP2385698A3 (en) * | 2010-04-30 | 2012-01-04 | Honda Motor Co., Ltd. | Imaging apparatus, imaging method, and imaging program |
US9741754B2 (en) * | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
US9549099B2 (en) * | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
US20150022869A1 (en) * | 2013-07-17 | 2015-01-22 | Samsung Electronics Co., Ltd. | Demosaicing rgbz sensor |
US9467628B2 (en) * | 2014-08-26 | 2016-10-11 | Sensors Unlimited, Inc. | High dynamic range image sensor |
KR102224851B1 (ko) * | 2014-12-11 | 2021-03-08 | 삼성전자주식회사 | 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템 |
US10145678B2 (en) * | 2015-04-20 | 2018-12-04 | Samsung Electronics Co., Ltd. | CMOS image sensor for depth measurement using triangulation with point scan |
US9942503B2 (en) * | 2016-02-23 | 2018-04-10 | Semiconductor Components Industries, Llc | Image sensors having high-efficiency charge storage capabilities |
US10484628B2 (en) | 2016-10-21 | 2019-11-19 | The Johns Hopkins University | Flexible pixel-wise exposure control and readout |
-
2018
- 2018-04-27 JP JP2019559035A patent/JP7208156B2/ja active Active
- 2018-04-27 CA CA3061622A patent/CA3061622A1/en active Pending
- 2018-04-27 US US15/964,722 patent/US10229943B2/en active Active
- 2018-04-27 KR KR1020197035361A patent/KR102479014B1/ko active IP Right Grant
- 2018-04-27 WO PCT/CA2018/050496 patent/WO2018195669A1/en active Application Filing
-
2023
- 2023-01-05 JP JP2023000522A patent/JP7532559B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003521836A (ja) | 1999-03-04 | 2003-07-15 | ビジョン−サイエンシズ・インコーポレイテッド | 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル |
JP2013509820A (ja) | 2009-10-28 | 2013-03-14 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 符号化ローリングシャッタの方法およびシステム |
JP2016511539A (ja) | 2013-01-31 | 2016-04-14 | アップル インコーポレイテッド | 垂直積層型画像センサ |
JP2014209103A (ja) | 2013-03-20 | 2014-11-06 | コグネクス コーポレイション | マシーンビジョン3dラインスキャンイメージ取得及び処理 |
JP2015215181A (ja) | 2014-05-08 | 2015-12-03 | 浜松ホトニクス株式会社 | 測距装置及び測距装置の駆動方法 |
WO2016010838A1 (en) | 2014-07-12 | 2016-01-21 | Gibbons Robert C | Read-out integrated circuit with integrated compressive sensing |
WO2016028200A1 (en) | 2014-08-21 | 2016-02-25 | Totalförsvarets Forskningsinstitut | An imaging system parallelizing compressive sensing imaging |
JP2016092593A (ja) | 2014-11-04 | 2016-05-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023052222A (ja) | 2023-04-11 |
US20180331139A1 (en) | 2018-11-15 |
KR20200003858A (ko) | 2020-01-10 |
KR102479014B1 (ko) | 2022-12-16 |
WO2018195669A1 (en) | 2018-11-01 |
US10229943B2 (en) | 2019-03-12 |
JP7532559B2 (ja) | 2024-08-13 |
CA3061622A1 (en) | 2018-11-01 |
JP2020519102A (ja) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7208156B2 (ja) | ピクセルワイズイメージングの方法及びシステム | |
CN105308747B (zh) | 分离栅极有条件重置的图像传感器 | |
JP7308830B2 (ja) | コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法 | |
CN113412611B (zh) | 具有多个光电二极管的像素传感器 | |
Ma et al. | Quanta burst photography | |
Heredia Conde | Compressive sensing for the photonic mixer device | |
CN105144699B (zh) | 阈值监测的有条件重置的图像传感器及其操作方法 | |
CN108291969B (zh) | 具有共享像素读出电路系统的成像传感器 | |
KR102456875B1 (ko) | 심도 촬상 장치, 방법 및 응용 | |
TWI825092B (zh) | 以多光二極體型像素單元量測入射光強度的設備和方法 | |
KR101348522B1 (ko) | 고체 촬상 장치 및 거리 화상 측정 장치 | |
US7767949B2 (en) | Apparatus and method for capturing still images and video using coded aperture techniques | |
CN108307180A (zh) | 图像传感器中的像素、成像单元、用于测距的系统及方法 | |
CN106210572B (zh) | 图像传感器以及操作图像传感器的方法 | |
WO2017158483A1 (en) | A vision sensor, a method of vision sensing, and a depth sensor assembly | |
US20080063294A1 (en) | System and Method for High Performance Image Processing | |
US20130229491A1 (en) | Method of operating a three-dimensional image sensor | |
WO2017003477A1 (en) | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure | |
TWI837107B (zh) | 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法 | |
CN109792495A (zh) | 摄像系统及摄像方法 | |
US20220116556A1 (en) | Method and system for pixel-wise imaging | |
Zhang et al. | First arrival differential lidar | |
US20220018946A1 (en) | Multi-function time-of-flight sensor and method of operating the same | |
WO2021252153A1 (en) | Global-shutter image sensor with time-of-flight sensing capability | |
Gulve et al. | 39 000-Subexposures/s Dual-ADC CMOS Image Sensor With Dual-Tap Coded-Exposure Pixels for Single-Shot HDR and 3-D Computational Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7208156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |