JP7132375B2 - レーザスペックルの効果を低減させるためのイメージセンサ回路 - Google Patents

レーザスペックルの効果を低減させるためのイメージセンサ回路 Download PDF

Info

Publication number
JP7132375B2
JP7132375B2 JP2021014967A JP2021014967A JP7132375B2 JP 7132375 B2 JP7132375 B2 JP 7132375B2 JP 2021014967 A JP2021014967 A JP 2021014967A JP 2021014967 A JP2021014967 A JP 2021014967A JP 7132375 B2 JP7132375 B2 JP 7132375B2
Authority
JP
Japan
Prior art keywords
pixel
image sensor
window
pixels
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021014967A
Other languages
English (en)
Other versions
JP2021132371A (ja
Inventor
マティアス・ヨハンネソン
ヨハン・メランデル
ロマン・ミュラー
Original Assignee
シック アイヴィピー エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シック アイヴィピー エービー filed Critical シック アイヴィピー エービー
Publication of JP2021132371A publication Critical patent/JP2021132371A/ja
Application granted granted Critical
Publication of JP7132375B2 publication Critical patent/JP7132375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/701—Line sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本明細書における実施形態は、イメージセンサを備えるイメージセンシング回路、および、どのようにしてそのようなイメージセンシング回路を、イメージセンサによって感知される光に基づくデジタル画像におけるレーザスペックル効果の低減をサポートするように構成できるか、ならびにこのための方法に関する。
デジタル画像は、典型的に画素のアレイとして定義される。アレイにおける画素数は通常解像度と称される。各画素は、画素の位置に対する画像についての情報を含む1つまたは複数の画素値によって表される、すなわちそれらと関連付けられる。グレースケールデジタル画像では、画素値は、典型的にその画素の強度を評する非負整数値によって表される。画像のビット深度は、画素が有することができる値の範囲を定める。
工場および物流の自動化のための産業用ビジョンカメラおよびシステムは、シーンおよび/または物体の3D画像がキャプチャされる、3次元(3D)マシンビジョンに基づき得る。3D画像とは、従来の画像におけるように2次元(2D)のみの画素に関する情報、例えば強度および/もしくは色でなく、または少なくともそれだけでなく、「高さ」または「深度」情報も含む画像を指す。すなわち、画像の各画素は、画像における画素の位置と関連し、かつ撮像されたもの、例えば物体の位置にマッピングするそのような情報を含み得る。次いで、3D画像から物体の特性に関する情報、すなわち物体の3D特性を抽出し、そして例えば様々な3D画像フォーマットに変換する処理が適用され得る。そのような高さに関する情報はレンジデータと称され得るが、ここでレンジデータは、したがって撮像されている物体の高さ測定からの、または言い換えれば物体のレンジもしくは距離測定からのデータに相当し得る。代替的または追加的に、画素は、例えば撮像領域における光の散乱または特定の光の波長の反射に関するなどの材料特性に関する情報を含み得る。
それ故、画素値は、例えば画素の強度におよび/またはレンジデータにおよび/または材料特性に関し得る。
例えば画像データを一度に1行の画素だけ感知および提供するように構成されるセンサを伴うカメラによって、画像の画像データが一度に1行だけ走査または提供されると、ライン走査画像データが生じる。ライン走査画像の特例が、例えばいわゆるレーザ三角測量の場合である、レーザ線からなど、レーザ光の反射によって提供される画像データである。
3Dマシンビジョンシステムは、しばしば、例えばレーザ光三角測量に使用されるように、レーザ光を使用することに基づく。そのようなシステムでは、物体にレーザ線を照射する光源があり得、その線に沿って、物体の断面に対応して、物体の3D特性が取得できる。そのような線で物体を走査する、すなわちライン走査を行うことによって、複数断面に対応して、物体全体の3D特性が取得できる。
三角測量のために光のシートを使用する3Dマシンビジョンシステムまたはデバイスは、光もしくは光のシート、三角測量、またはレーザ光が使用されるときは単にレーザ三角測量に基づく3Dイメージングのためのシステムまたはデバイスと称され得る。
従来は、レーザ光三角測量に基づく3D画像を生成するために、撮像されることになる物体からの反射光がカメラのイメージセンサによって取得され、そして物体から反射された、例えばレーザ線に対応する入射光を伴う撮像物体上の場所に対応する位置に強度ピークが発生するので、これらが画像データにおいて検出される。検出されたピークの画像における位置は、ピークをもたらす光が反射された物体上の位置にマッピングすることになる。各ピークは、光が実際にどのように反射されるかにより高さも幅も有するが、ここで光は、レーザ光の場合でさえ、物体から反射されるときに常に或る程度発散および拡散することになる。これは、ピークが、例えば画像における、1列の画素になど、或る方向に沿った、画像における複数の連続して出現する画素を伴うことを意味する。画像においてピークの位置を見つけるために、例えば重心を使用してピークの中心に対応する位置を見つけることによってなど、画像データを演算してピーク位置を提供する、或るアルゴリズム、または同様のアルゴリズムが典型的に適用される。そのような3D画像の精度ならびに、したがって正確な3Dデータおよび画像を提供する能力も、画像データにおける強度ピークの位置を識別して見つけることができる能力に依存することが認識される。
3Dイメージング用途におけるように、構造化レーザ光が使用されて、情報を抽出するために撮像されると、レーザ光のコヒーレンスが、いわゆるスペックルの形成に至る。これらのスペックルは情報の品質を著しく低下させ得る。スペックルは、レーザ光線が通過して波面誤差を増している、関与する光学部品により、または撮像されている物体の表面の粗さからの散乱により生じる。
画素サイズが大きいと、画像におけるスペックル誘起歪みは、典型的に実際的な関心事でないが、解像度が上がり画素サイズが縮小するにつれて、スペックル影響および歪みはより大きな問題になり、制限因子でさえあり得る。言い換えれば、画素サイズが縮小すると、レーザスペックルの影響は増加する。レーザ三角測量に基づく3Dイメージングでは、スペックルは、例えばピーク位置を決定するときに精度低下をもたらし得るが、したがって正確な3Dデータおよび画像を提供する能力も制限し得る。
先行技術にはスペックル低減のための種々の解決策があり、主にレーザ光への或るランダム性の導入によってスペックルを平均化することに基づく。例えば、レーザの周波数を変調することに基づく解決策がある。一部は、液体および小粒子を伴うキュベットを使用して粒子のブラウン運動の効果を活用して、光のランダムな散乱を達成する。他は、回転物体を使用してレーザスペックルを平均化することに基づく。
米国特許出願公開第20180203249(A1)号は、例えば線形拡散器を通して投射されるラインパターンの局所位相が急速に変化するように拡散器を周期的に横切るコヒーレント光(レーザ)光線の提供に基づいており、撮像されるスペックルパターンは高速に変動して、比較的短い露光時間も可能にする。
米国特許出願公開第20180203249(A1)号
上記に鑑みて、目的は、デジタル画像における、特に3Dイメージングシステムによって行われるレーザ三角測量の一部として物体から反射されるレーザ光を感知するイメージセンサから生じるデジタル画像におけるレーザスペックルの効果を低減させるための解決策を提供するなど、先行技術の1つまたは複数の改良または代替を提供することである。
本明細書における実施形態の第1の態様によれば、上記目的は、イメージセンサを備えるイメージセンサ回路であって、イメージセンサの少なくとも部分領域の各画素位置ごとに、上記画素位置およびその最隣接画素位置のうちの1つまたは複数を含む既定の画素ウィンドウを上記画素位置に割り当てることと、上記既定の画素ウィンドウ内に位置する各画素に対して第1の画素値を得ることであって、第1の画素値が、同じ露光に起因し、この露光からの感知光に対応する、得ることと、得られた第1の画素値を既定の組合せ関数に従って単一の第2の画素値へ組み合わせることとを行うように構成される、イメージセンサ回路によって達成される。更に、イメージセンサ回路は、次いで画素位置の画素値として、その第1の画素値の代わりに第2の画素値を提供するように構成され得る。
本明細書における実施形態の第2の態様によれば、上記目的は、デジタル画像におけるレーザスペックル効果の低減をサポートするための、イメージセンサを備えるイメージセンサ回路によって行われる、方法によって達成される。イメージセンサの少なくとも部分領域の各画素位置ごとに、イメージセンシング回路は、上記画素位置およびその最隣接画素位置のうちの1つまたは複数を含む既定の画素ウィンドウを上記画素位置に割り当てることと、上記既定の画素ウィンドウ内に位置する各画素に対して第1の画素値を得ることであって、第1の画素値が、同じ露光に起因し、この露光からの感知光に対応する、得ることと、得られた第1の画素値を既定の組合せ関数に従って単一の第2の画素値へ組み合わせることとを行う。イメージセンサ回路は、第2の画素値に基づくデジタル画像を提供する。
全ての関与する画素位置に対して、例えばイメージセンサの上記少なくとも部分領域に対して上記のように行うように構成されるイメージセンサは、本方法によって提供されるデジタル画像などの、第1の画素値の代わりに第2の画素値に基づくデジタル画像におけるレーザスペックルの影響低減を可能にする。同時に、依然として第2および第1の画素値間に1:1マッピングがあることになるので、解像度の損失は回避できる。また、組合せは、典型的に第1の画素値の加算を含んで、信号増大を可能にし、これは、露光時間を減らし、かつ第1の画素値を生成する露光あたりの時間を省くために活用できる。これは、上記スペックルの影響低減を伴いかつ第2の画素値に基づくデジタル画像が第1の画素値を含む従来のデジタル画像とほぼ同じ速度で提供できるように活用できる。第2の画素値への第1の画素値の組合せは、非重複画素ウィンドウを伴う画素位置に対して並列におよび重複画素ウィンドウを伴う画素位置に対して順次なされ得る。各第1の画素値がそれによって同時に第2の画素値への複数組合せに関与しないので、破壊読出しに基づくイメージセンサでの実装が容易になる。
本明細書における実施形態の例が、以下に簡単に説明される添付の略図を参照しつつより詳細に記載される。
3D画像の提供のための、本明細書における実施形態が実装され得る、三角測量ベースの3Dイメージングシステムを概略的に例示する図である。 物体上でのレーザ線の反射から生じた光線を取得したデジタル画像の一例を示す図である。 望ましくないレーザスペックル効果の低減を達成するための本明細書における実施形態の基礎となる原理を例証するための概略図である。 望ましくないレーザスペックル効果の低減を達成するための本明細書における実施形態の基礎となる原理を例証するための概略図である。 望ましくないレーザスペックル効果の低減を達成するための本明細書における実施形態の基礎となる原理を例証するための概略図である。 望ましくないレーザスペックル効果の低減を達成するための本明細書における実施形態の基礎となる原理を例証するための概略図である。 望ましくないレーザスペックル効果の低減を達成するための本明細書における実施形態の基礎となる原理を例証するための概略図である。 図3A～図3Eに対して上記したような本明細書における実施形態の適用後に結果がどうであり得るかを概略的に例証する図である。 本明細書における実施形態に係る方法の実施形態を概略的に例示するフローチャートである。 本明細書における実施形態と使用され得る画素ウィンドウを概略的に図示および例証する図である。 本明細書における実施形態と使用され得る画素ウィンドウを概略的に図示および例証する図である。 本明細書における実施形態と使用され得る画素ウィンドウを概略的に図示および例証する図である。 本明細書における実施形態と使用され得る画素ウィンドウを概略的に図示および例証する図である。 本明細書における実施形態と使用され得る画素ウィンドウを概略的に図示および例証する図である。 4画素ウィンドウが、同時に重複画素ウィンドウを回避するために、4つの異なる時点でどのように位置付けられ得るかを概略的に例示する図である。 従来のイメージセンサ画素がどのように設計され得るかを概略的に例示する図である。 そのような画素がイメージセンサを形成するために配置され得る原理を概略的に例示する図である。 本明細書における実施形態がどのようにして、図8A～図8Bに関連して記載したような従来のイメージセンシング回路の変形によって実装され得るかを概略的に例示する図である。 本明細書における実施形態に係るイメージセンサ回路、ならびに、どのようにしてそのようなデバイスを、図5に関して記載した方法および動作を実施するように構成できるかの実施形態を例示するための機能ブロック図である。
本明細書における実施形態は例証的な実施形態である。これらの実施形態が必ずしも相互に排他的であるわけではないことが留意されるべきである。一実施形態からの構成要素が別の実施形態に存在すると黙示的に想定され得るが、それらの構成要素がその他の例証的な実施形態においてどのように使用され得るかは当業者にとって明らかであろう。
図1は、マシンビジョンシステムの一例でもある、背景技術で述べたような種類の3Dイメージングシステムの一例、すなわち3Dイメージングシステム100を概略的に例示する。以下に更に説明することになるように、システム100は、本明細書における実施形態を実装するために使用され得る。
システム100は、ここではレーザ光などのコヒーレント光に基づいて、ここでは背景技術で述べたような光のシート三角測量の形態で光三角測量を行うように構成される。システム100は、撮像されることになる物体に、図において光のシートとして例証および例示される特定の光パターン111を照射するための光源110、すなわちここではレーザなどのコヒーレント光源を更に備える。図示の例では、物体は、車の形態の第1の物体120および歯車構造の形態の第2の物体121によって例証される。特定の光パターン111が物体に入射すると、これは、物体への特定の光パターン111の投射に相当しており、特定の光パターン111が物体と交差する限り観察され得る。例えば、図示の例では、光のシートとして例証される特定の光パターン111は、第1の物体120上に光線112、典型的にレーザ線をもたらす。特定の光パターン111は、交差部において、すなわち図示の例では光線112において、物体によって、より詳細には物体の部分によって反射される。測定システム100は、イメージセンサ(図1に図示せず)を備えるカメラユニット130を更に備えており、光源110および撮像されることになる物体に関して、特定の光パターンが、物体によって反射されると、イメージセンサへの入射光になるように配置される。イメージセンサは、入射光を画像データに変換するための、典型的にチップとして実装される装置である。イメージセンサは、例えばx行かつy列の画素を備えて、結果として合計でx*y画素になり得る。本明細書における一部の実施形態において、以下に別途説明することになるように、カメラユニット130のイメージセンサは、本明細書における実施形態に係るイメージセンサ回路に備えられる。物体の上記部分は、反射によってイメージセンサへの上記入射光を生じさせるが、それによってカメラユニット130およびイメージセンサによって取得され得、そして対応する画像データが生成されて更なる使用のために提供され得る。例えば、図示の例では、特定の光パターン111は、第1の物体120の車の屋根の一部分上の光線112において、カメラユニット130およびイメージセンサに向けて反射されることになり、それによって車の屋根の上記一部分についての情報を持つ画像データを生成および提供し得る。測定システム100の幾何形状についての、例えばイメージセンサ座標がどのように世界座標、例えば撮像されている物体およびその状況に関連する座標系123、例えばデカルトの座標に関係するかについての知識により、画像データは、適切なフォーマットで撮像されている物体の3D特性、例えば3D形状または断面に関する情報に変換され得る。上記3D特性、例えば上記3D形状または断面に関する情報は、任意の適切なフォーマットで3D特性を描くデータから成り得る。
例えば光源110および/または、第1の物体120もしくは第2の物体121などの、撮像されることになる物体を、物体の複数部分が照射されてイメージセンサへの反射光を生じさせるように、移動させることによって、実際には典型的に物体を走査することによって、例えば、第1の物体120の図示される断面画像140-1～140-Nなどの、物体の複数の連続した断面に対応して、物体のより完全な3D形状を描く画像データが生成され得るが、ここで各断面画像は、カメラユニット130のイメージセンサが断面画像をもたらす光を感知したときに特定の光パターン111が反射された第1の物体120の輪郭を図示している。図に示すように、光源110およびカメラユニット130を典型的に固定したまま特定の光パターン111を通して物体を移動させるために、コンベアベルト122もしくは類似物が使用され得る、または物体の全ての部分もしくは少なくとも光源110を向く全ての部分が照射され、そしてカメラユニットが、撮像が望まれる物体の全ての部分から反射される光を受光するように、特定の光パターン111および/もしくはカメラユニット130が物体上方を移動され得る。
一般に、反射光は拡散および/または鏡面であることができる。認識されるように、上記のような物体は拡散反射を生じさせており、そしてここで主な対象のイメージングシステムは通常、そのような、すなわち光を散乱させる表面を持つ物体のイメージングのために設計され、鏡面反射を生じさせる鏡のような表面を持つ物体のためではない。
上記から理解されるように、例えば第1の物体120の、カメラユニット130およびイメージセンサによって提供される画像は、断面画像140-1～140-Nのいずれか1つに相当し得る。断面画像140-1～140-Nのいずれかに図示される第1の物体の輪郭の各位置は、イメージセンサによって取得される画像データにおける強度ピークの識別に、およびこれらの強度ピークの位置を見つけることに基づいて決定される。レーザスペックルが存在すると、結果は、断面画像におけるピーク位置が、少なくとも望ましい精度で見つけるのがより困難または不可能になるということである。
カメラユニット130のイメージセンサが本明細書における実施形態に係るイメージセンサ回路に備えられるとき、レーザスペックルのそのような効果は低減でき、そしてピークは、他に可能であろうより高い精度で決定できる。結果として、より正確な3D画像も提供でき、しかも特に高解像度である。小物体の3Dイメージングは特にこれから恩恵をうけ得る。
図2は、物体上のレーザ線の拡散反射から生じた光線241を取得したデジタル画像240の一例を図示しており、光線は、レーザ線構造上に重畳されたスペックルパターンを含む。不均質な強度パターンが観察できる。レーザスペックルの存在が、ここでは不均質な強度パターンに隠れた理由である。不均質な強度パターンは、拡散反射から生じる散乱光の波面の位相差によって引き起こされる。これにより、望ましい精度で実際のピーク位置を検出することは煩雑であり得る。レーザ線241は、例えば、スペックル効果のいかなる低減もなく、断面画像140-1～140-Nのいずれか1つなどの、断面画像の一行の一部に相当し得る。
背景技術で述べた先行技術の解決策に関する利点は、スペックル効果を低減させる平均化が単一の画素レベルで行われるということである。しかしながら、不利点は、機械的な、典型的に回転する部品が導入されなければならず、比較的高価であり、かつ製品寿命短縮にも至りかねず、かつ一部の場合には産業状況において適用するのに不適切であるということである。その上、機械ベースの解決策は、レーザ三角測量が適用されるときによくあることであるが、しばしば多くの高速用途に対して本質的に遅すぎる。例えば、速度制限が少ない解決策が、より費用効率的に、かつ新たな種類の問題を生じさせ得るかつ/または稼働時間および/もしくは製品寿命に悪影響を及ぼし得る新たな種類の部品を導入することなく実装できることが望ましいであろう。
簡単かつ簡潔に説明すれば、本明細書における実施形態は、イメージセンサが光を感知した後にスペックル効果を低減させるという思想に基づく。これは、イメージセンサの露光に起因する画素値を演算することによって行われる。それは、アナログ側で画素値を読み出すことに密接に関連して、すなわちアナログデジタル変換前に行うことができ、好ましくはそのように行われる。イメージセンサを備えるイメージセンシング回路が、解像度の保存を伴うローリングビニングの応用として簡単に説明され得る、以下に詳細に説明される或るステップを実施するように構成され得る。イメージセンサを備え、そしてそれを動作させるための既存のイメージセンシング回路は、本明細書における実施形態を実装するように比較的簡潔に変形および構成できる。
本明細書で使用される場合および以下では、「画素値」という用語は、イメージセンサの画素における感知光を表すまたはそれに対応する任意の種類の情報または尺度、例えば画素の露光に起因する電荷量または電荷量および/もしくは感知光に対応する電圧を指し得る。
図3A～図3Eは、上述したように望ましくないレーザスペックル効果の低減を達成するための本明細書における実施形態の基礎となる原理を例証するために使用されることになる。
図3Aは、x行かつy列の画素を持つイメージセンサ領域、および画素がどのようにして光線341を含む光に露光されて感知され、それによって画素がその後その画素の露光からの感知光に対応するそれぞれの画素値を保持し得たかを概略的に例示する。この状態では、画素値は、典型的にイメージセンサ画素における蓄積電荷によって表される。位置による画素指定の原理を例証するために、2つの画素を具体的に示すと、画素p3,1、すなわち行3、列1であり、図に示されるように光線341から取得した光に起因する画素値を保持する、および画素p2,6、すなわち行2、列6であり、光線341外の画素値を保持しかつゼロまたは有意に少ない感知光に対応し得る。
図3Bは、画素ウィンドウ350の一例、本明細書において3x1画素ウィンドウ、すなわち線に沿って位置する3つの連続画素を含む形態を概略的に図示する。図3Aを参照しつつ、例えば列に沿った3つの連続画素。画素ウィンドウは、一般に以下ではおよび図ではwによって示される。画素ウィンドウは、本明細書で使用される場合、仮想ウィンドウであり、或る数の直接隣接する画素がどのように集合されるものとなるかを決定または特定する任意の情報によって定義され得、したがって或るパターンに従うなどの、特定の画素の集合に対応する。例えば、画素ウィンドウは、画素数、およびそれらがどのように互いに関係するか、例えばそれらがどのように互いに関して位置付けられるかに関する情報によって定義または決定され得る。本明細書における各画素ウィンドウは画素位置の連続群に対応するべきである。
更に、本明細書における各画素ウィンドウは、ウィンドウの1つの特定の画素位置と特に関連付けられ得るが、その画素位置は、画素ウィンドウの対象画素位置と称され得、かつ次に説明することになるように、画素ウィンドウが本明細書における実施形態との関連でどのように使用されるかに関係する。画素ウィンドウは、本明細書における実施形態の機能および基礎原理を説明するための表現と考えられ得る。画素ウィンドウ350は対象画素位置351を有する。
本明細書における実施形態の基礎となる思想は、以下では第1の画素値と称される、イメージセンサの露光に直接起因する画素値を第2の画素値に置き換えることである。画素位置に対する第2の画素値は、第1の値の代わりに第2の画素値に基づくデジタル画像がスペックル効果によって影響されにくくなることができるように隣接画素位置の第1の画素値と組み合わされた上記位置の第1の画素値に基づく。画素ウィンドウは、どの画素位置が組合せに関与することになるかを決定する。例えば、対象画素位置が第1の画素値を持つ或る画素位置に位置付けられて、画素ウィンドウは、上記或る画素位置に対する第2の値をもたらす組合せに、どの他の画素が関与するものとなるかを決定する。これは、イメージセンサの全ての画素に対して、または露光が感知光に起因する画素値の有意な変化をもたらした、および/もしくはスペックル効果を被る画素値が予期され得る全ての画素など、少なくともスペックル低減が望ましい部分領域の画素に対して行われるべきである。
図3Cは、各々画素ウィンドウ350に相当する画素ウィンドウを、ここで図3Aとの関連で各列に1つの画素ウィンドウを示して、概略的に図示する。画素ウィンドウは、同例では、各画素ウィンドウの対象位置が、画素が光線341の露光により有意に変化した画素値を保持する所に位置付けられるように位置付けられる。例えば、対象位置が画素px,y=p3,1に置かれた画素ウィンドウが図示されており、そしてこの画素に対して新たな第2の画素値を提供するために、ウィンドウによって覆われた画素、すなわち画素p2,1、p3,1、p4,1の第1の画素値が組み合わされることになる。組合せは、単に第1の画素値の平均化に相当しまたはそれを含み得る、以下に更に詳細に述べられ説明される既定のまたは所定の組合せ関数に従って行われるべきである。
部分領域の画素ごとに対して、例えば列y=1における全ての画素に対して、または少なくとも、画素p3,1、p4,1、p5,1などの、光線341から光を感知したその列における全ての画素に対して第2の画素値が提供されることになるので、画素ウィンドウ間の重複が必要とされる。画素ごとに画素ウィンドウ350があると非常に混乱するであろうから、これは図には示されない。ウィンドウによって覆われる画素数により、画素の第1の画素値が第2の画素値を提供するために必要とされ得る回数を決定することになることが認識される。図示の例では、画素ウィンドウが3つの画素を覆うので、画素の第1の画素値は、第2の画素値を提供するために3回必要とされ得る。例えば、画素p4,1の第1の画素値は、画素p4,1も覆う、対象位置がp3,1の画素ウィンドウによって図に示されるように、画素p3,1の第2の画素値を提供するために使用されるが、しかしそれは、それ自体に対して、すなわち画素p4,1に対しての他、対象位置351が画素p5,1の画素ウィンドウ350が画素p4,1も覆うことになるので、画素p5,1に対して第2の画素値を提供するためにも使用されることになる。
各画素の同じ第1の画素値の、すなわち露光中の感知光に起因する画素値の「多重使用」のそのような必要性を複雑にし得る事実が、画素からの画素値の読出しが典型的に破壊的であるということである。すなわち、画素が露光中に光を感知し、そして電荷に対応する画素値が読み出されると、典型的に電荷が読出しによって移動されたので、画素はその後もはや画素値を保持していない。1つの解決策が、読み出された第1の画素値を、非破壊的に読み取ることができる何らかのメモリに記憶することであり得るが、しかしながら、それは高価な解決策であり得、遅延をもたらしかねず、かつ画素に密接に関連して実装するのが困難であり得る。代わりに好まれ得る、画素値の組合せに関連して使用されると或る特別な利点を有する解決策が、第1の画素値の組合せが非重複画素ウィンドウに対して同時に、すなわち並列になされるだけであり、それによって各第1の画素値が第2の画素値を提供するために一度に1つの組合せに使用されることになるだけであるようにすることである。次いで新たな露光があり、新たな第1の画素値が形成され、非重複画素ウィンドウが1つの画素位置だけ、すなわち各々の対象画素位置が1画素移動されるように移動され、そして新たな読出し等がある。3画素ウィンドウに関する図示の例では、したがって、全ての画素に対して第2の画素値を提供することができるためには、3回の露光および画素ウィンドウの3回の移動が必要とされる。各露光後に、非重複画素ウィンドウの対象画素位置における画素に対して第2の画素値を提供するための3つの第1の画素値の組合せがある。3回の露光が単一の名目露光と比較して3倍の遅延をもたらすことになるが、しかしながら、各露光はこの状況では名目露光時間のほぼ1/3であり得、それ故実際の遅延は回避できる、または少なくとも、いかなるもたらされる遅延も、それが実際的な問題でないほど小さくなり得るようである。名目露光時間の1/3は、1つの第2の画素値への3つの第1の画素値の組合せにより十分であり得、3倍強い信号、例えば3倍多い電荷を可能にする。実際には、3つの1/3の第1の画素値の加算が、3つの第1の画素値を加算して3で割ることに相当する、すなわち平均に相当する第2の画素値が、単に第1の画素値を加算することによって達成できるので、より弱い第1の画素値は、第1の画素値を平均化する組合せ関数の実装を支援さえし得る。
図3D～図3Eは、上記、すなわち重複画素ウィンドウの回避、およびそれによって同じ第1の画素値を複数組合せに使用する必要性の回避を概略的に例証する。図3Dは、図3Cにおける列y=1に対する画素および画素ウィンドウを図示し、そして図3Eは、基本的に同じものの別の図であるが、水平軸に沿った時間を伴う。3つの異なる時点t1～t3がある。各図示した画素ウィンドウ内の画素は図ではpwと記される。例えば名目露光時間の1/3での第1の露光後に、時点t1で画素p3,1に対する第2の画素値の提供のために対象画素位置が画素p3,1の画素ウィンドウがある。同時に、図には示されないが、適用されるが図示した画素ウィンドウと重複しない他の画素ウィンドウがあり得る。例えば、同時に画素p5,1、p6,1およびp7,1を覆う画素ウィンドウがあり得、そしてこれらの画素の第1の画素値が組み合わされて、画素p6,1に対して第2の画素値を提供する。次いで、時点t2で、同じく例えば名目露光時間の1/3での第2の露光後に、画素p4,1に対する第2の画素値の提供のために画素p4,1に画素ウィンドウがあり、t1とt2との間に画素ウィンドウが1画素だけ移動したように見られ得る。または一般に、時間t2で、t1での非重複画素ウィンドウが1つの画素位置移動し、そして依然として非重複である。その後、時点t3で、これが再び繰り返される、すなわち、同じく例えば名目露光時間の1/3での第3の露光後に、画素ウィンドウは、画素p5,1に対する第2の画素値の提供のために画素p5,1にある。
図4は、図3A～図3Eに対して上記したような本明細書における実施形態の適用後に、すなわち上記したような画素ウィンドウの適用および第2の画素値v2への第1の画素値v1の組合せにより、結果がどうであり得るかを概略的に例証する。第2の画素値v2は、したがって第1の画素値を置き換えると考えられ得る。ここで第2の画素値はイメージセンサの全ての画素に対して提供された。しかしながら、代替的に、露光中に光によって、例えば光線341によって実質的に影響を及ぼされた画素に対してだけ第2の画素値が提供され得る。
図5は、本明細書における実施形態に係る方法の実施形態を概略的に例示するフローチャートである。以下の動作は、本方法を形成し得るが、したがって第1の画素値の代わりに、上述したような第2の画素値に基づくデジタル画像の提供をサポートするためであり、それによってデジタル画像におけるレーザスペックルの影響低減を可能にし得る。言い換えれば、本方法は、デジタル画像におけるレーザスペックル効果の低減をサポートするためである。
本方法および/または動作は、イメージセンサを備えるイメージセンシング回路によって行われるべきである。イメージセンシング回路は以下に別途更に述べられる。
以下の動作全体が任意の適切な順にとられ得るかつ/または可能かつ適切であれば時間が完全にもしくは部分的に重複して実施され得ることに留意されたい。
以下の動作501～504は、イメージセンサ、すなわち上述したような、デジタル画像ならびに本方法および/または動作を行うイメージセンシング回路の一部を提供するために使用されるイメージセンサの少なくとも部分領域の各画素位置、例えばx,yごとに行われる。言い換えれば、動作は、上述したように、イメージセンサの各画素位置に対してまたはそのスペックル低減が望ましい部分領域に対して行われる。
上記「イメージセンサの少なくとも部分領域の各画素位置ごとに」は、図3A～図3Eに関連して上に例証した、画素ウィンドウがイメージセンサの画素列yに対応する画素線に沿って移動されるなど、イメージセンサの画素線に沿った各画素位置ごとであり得る。一般に、画素線は、例えばイメージセンサの画素行もしくは列に対応する、またはイメージセンサのセンサ領域における任意の他の方向に対応する既定または所定の方向であり得る。既定の方向はユーザ構成可能であり得る。イメージセンサ回路は、イメージセンサの複数の平行画素線に対して動作を行い得る。
以下の動作501～505下で言及される画素位置は、したがってセンサの位置x,y、すなわち画素px,yが位置する所に相当し、そして上記動作は、イメージセンサの上記少なくとも部分領域内の全ての位置x,yに対して行われる。
動作501
イメージセンサ回路は、例えば画素ウィンドウ350に相当する、既定の、例えば所定の画素ウィンドウwを上記画素位置x,yに割り当てる。画素ウィンドウwは、上記画素位置x,yおよびその最隣接画素位置のうちの1つまたは複数を含む。図3A～図3Eに関連して上述した例との関連では、画素ウィンドウは、したがって対象画素位置、例えば351が位置x,yにあるように画素位置x,yに割り当てられる。
好ましくは、既定の画素ウィンドウwは1次元である。すなわち、既定のウィンドウは、一連の画素に沿って続く画素だけを伴う。これは、典型的に、一連、例えば列の全ての画素がしばしば共通バスに接続されて、それを使用して読み取られる、多くの一般的かつ既存のイメージセンサでの実装およびそれとの互換性を容易にする。既定の画素ウィンドウwは、例えば画素位置x,yならびに画素位置x,y直前および/または直後の1つまたは2つの最隣接画素から成り得る。
本明細書における実施形態と使用され得る種々の画素ウィンドウの例が以下に別途記載される。
動作502
イメージセンサ回路は、上記既定の画素ウィンドウw内に位置する各画素、例えばpwから、上に例証した第1の画素値、例えばv1を得る。第1の画素値は、同じ露光に起因し、かつこの露光からの、または言い換えれば、画素ウィンドウ内であるイメージセンサの上記画素によって感知される感知光に対応する。この動作は、したがってイメージセンサの関与する画素から画素値を読み取ることを含み得る。
動作503
イメージセンサ回路は、得られた第1の画素値、例えばv1を既定の、例えば所定の組合せ関数に従って単一の第2の画素値、例えばv2へ組み合わせる。第2の画素値は上記画素位置x,yに割り当てられる。これは、第2の値v2が、第1の画素値v1の代わりに、すなわちこの画素においてイメージセンサによって感知された値の代わりに画素位置x,yに割り当てられている、またはそれと関連付けられているように見られ得る。
動作504
イメージセンサ回路は、したがって画素位置x,yの画素値として、その第1の画素値、例えばv1の代わりに第2の画素値、例えばv2を提供し得る。すなわち、第2の画素値は、従来通りの場合である第1の画素値の代わりに画素位置の画素値として提供される。解像度はしたがって維持される。
上記動作501～504が、例えばイメージセンサの上記少なくとも部分領域の全ての関与する画素位置に対して行われると、第2の画素値、例えばv2への第1の画素値、例えばv1の組合せは、非重複画素ウィンドウを伴う画素位置に対して並列におよび重複画素ウィンドウを伴う画素位置に対して順次なされ得る。各第1の画素値がそれによって同時に第2の画素値への複数組合せに関与しないので、破壊読出しに基づくイメージセンサでの実装が容易になる。原理は、以下に続く例に鑑みてより良く理解され得る。並列によって、ここでは第2の画素値への組合せが、時間が完全にまたは部分的に重複してなされることが意味される。重複ウィンドウは、ここでは1つまたは複数の画素位置を共有するウィンドウを意味する。各ウィンドウが、例えば1x3ウィンドウ、例えば画素ウィンドウ350など、3つの画素位置から成り、かつ第2の画素値が各画素位置に対して、したがってそのようなウィンドウによって覆われる全ての3つの画素に対して提供されるものとすれば、これは3つの重複ウィンドウを伴うことになり、それによってこれらの3つの画素位置に対する3つの第2の画素値への組合せは順次であるべきである。
その上、既に上に示したように、重複ウィンドウを伴う画素位置に対して得られた第1の画素値、例えばv1はイメージセンサの異なる露光からのものであり得る。異なる露光は、破壊読出しに基づくイメージセンサでの実装を可能にまたは容易にする。典型的に、既定のウィンドウの画素位置と同数の異なる露光があることになる。
動作505
イメージセンサ回路は、次いで第2の画素値に基づくデジタル画像を提供し得る。
動作501～503は、各画素位置ごとに行われると、第1の画素値の代わりに第2の画素値に基づくデジタル画像におけるレーザスペックルの影響低減を可能にする。同時に、依然として第2および第1の画素値間に1:1マッピングがあることになるので、従来の画素値のビニングが適用されれば生じるであろう、解像度の損失は回避できる。また、組合せは、典型的に第1の画素値の加算を含んで、信号増大を可能にし、これは、露光時間を減らし、かつ第1の画素値を生成する露光あたりの時間を省くために活用できる。これは、上記スペックルの影響低減を伴いかつ第2の画素値に基づくデジタル画像が第1の画素値を含む従来のデジタル画像とほぼ同じ速度で提供できるように活用できる。
既に上に示したように、組合せ関数は、既定の画素ウィンドウ内に位置する画素位置、例えばpwの第1の画素値、例えばv1を加算することに基づき得る。更に、組合せ関数は、既定の画素ウィンドウ、例えばw内に位置する画素位置、例えばpwの第1の画素値、例えばv1を平均化することに基づき得る。
すなわち、画素位置に対する第2の画素値は単に、画素ウィンドウw内の画素の第1の画素値を平均化することによって達成され得るが、これは、ただ第1の画素値を加算することを含みまたはそれから成りさえし得る。
或る実施形態において、組合せ関数は、既定の画素ウィンドウ内に位置する画素、例えばpwの第1の画素値、例えばv1のうちの1つまたは複数に加重することに基づく。加重された第1の画素値を持つ画素は、画素ウィンドウの対象画素位置におけるものであり得る。そのような加重の理由は、それが、第2の画素値に「置き換えられる」ことになる第1の画素値からのより多くの影響により望ましくなることができるということであり得る。これは、改善されたデジタル画像を可能にし得る。言い換えれば、組合せ関数は、動作503での組合せが、既定の画素ウィンドウ内に位置する画素、例えばpwの第1の画素値、例えばv1の他のいずれよりも画素位置x,yの第1の画素値に加重するようなものであり得る。
速度を促進しかつ/またはメモリ要求を低減させるために、本明細書における実施形態をソフトウェアだけでの代わりに完全にまたは部分的にハードウェアで実装し、かつ実際の画素および感知される画素値に近付くのが好まれ得る。第1の画素値、例えばv1および第2の画素値、例えばv2は好ましくはアナログ画素値である。言い換えれば、動作が好ましくは行われ、イメージセンサが好ましくは、アナログデジタル変換が開始する前に上記動作に従って動作するように構成される。これが実際にどのように達成できるかの例が以下に別途述べられることになる。
これは、効率的実装が高速動作を容易にすることを可能にする。アナログ画素値を演算することは、組合せがデジタル値に基づいて行われる場合と比較して、結果的なデジタル画像におけるノイズ減少も可能にし得る。
上記の実際的な実装では、既定のウィンドウおよび/または既定の組合せ関数は、ユーザ選択可能など、ユーザ構成可能であり得る。例えば、それは、ユーザがソフトウェアおよび/またはハードウェアを介して、本明細書に開示されるような既定の、例えば所定の画素ウィンドウおよび/または組合せ機能を適用するまたは適用しないように構成可能であり得る。画素ウィンドウまたは組合せ関数が適用されなければ、例えば適用されないように構成または選択されれば、動作は従来通りであり得、そして第2の画素値、例えばv2の代わりに、第1の画素値、例えばv1が従来通り提供され得る。
図6A～図6Eは、本明細書における実施形態と使用され得る種々の画素ウィンドウwを概略的に図示および例証する。図6Aは、ちょうど画素ウィンドウ350のように線に沿って3つ続く画素から成るが、ここでは直交方向に向けられて上記例での画素ウィンドウ350の移動のさせ方と比較して直交方向に移動する、対象画素位置651aを持つ画素ウィンドウ650aを図示する。図6B～図6Cは、2つの向きの2画素画素ウィンドウ、対象画素位置651bを持つ画素ウィンドウ650bおよび対象画素位置651cを持つ画素ウィンドウ650cを図示する。2つの画素は可能な限りの最小のウィンドウサイズである。図6A～図6Cにおける画素ウィンドウは1次元画素ウィンドウの例であり、すなわち一方向だけに向けられる、すなわち線に沿った画素を持ち、実装観点から好まれ得る、かつ多くの用途において望ましいスペックル低減に十分であり得る。図6Dは、対象画素位置651dを持つ4画素2次元画素ウィンドウ650dの例を図示し、そして図6Eは、対象画素位置651eを持つ9画素画素ウィンドウ650eの例を図示する。
図7は、対象画素位置751を持つ4画素ウィンドウ750が、画素ウィンドウの同時重複および第2の画素値を形成する異なる組合せにおける同じ第1の画素値の多重使用を回避するために、4つの異なる時点t1～t4でどのように位置付けられ得るかを概略的に例示する。各時点で、画素ウィンドウは、その対象画素位置が異なる画素に位置付けられる:t1で画素p1に、t2で画素p2に、t3で画素p3に、t4で画素p4に。各時点での矢印が、画素ウィンドウが次にどのように移動されることになるかを示す。各時点およびウィンドウ位置で、動作501～504に相当する動作が対象画素位置における画素に対して行われ得る。t1前に、イメージセンサはしたがって光に露光され、光が感知され、そして画素はその後感知光に起因する第1の画素値を保持する。t1で、少なくとも画素ウィンドウ内の画素の第1の画素値が読み取られており、t1でこれらは画素p1～p4であり、そして第1の画素値は既定の組合せ関数に従って組み合わされ、例えば平均化され、そしてその結果は、その画素が画素ウィンドウの対象画素位置にあるので画素p1を割り当てられる第2の画素値である。
図において各時点で単一の画素ウィンドウだけが図示されるが、実際には同時に適用される複数の更なる非重複画素ウィンドウがあり得ることが理解されるべきである。例えば実装に応じて可能な範囲で、動作501～504に相当する動作も、上記更なる非重複画素ウィンドウの対象画素位置における画素に対して同時に行われ得る。図示された画素ウィンドウが図において矢印によって示されるように移動されると、更なるウィンドウは、好ましくは対応する方式で、すなわち図に図示されたのと同じパターンで移動される。このように、4つの時点後に、図示された全ての画素に対して第2の画素値があり得る。上に説明したのと同様の理由で、時点間で画素を露光するために適用される名目もしくは正常露光時間の1/4、すなわち従来使用され得る露光時間の1/4、または言い換えれば、デジタル画像を形成するために第2の画素値への組合せのない第1の画素値の単一の露光および読出しの場合に使用され得る露光時間の1/4があり得る。
図8A～図8Bは、従来のイメージセンサ画素がどのように設計され得るか、およびそのような画素がイメージセンサを形成するために配置され得る原理を概略的に例示する。各画素は、バスライン803に順に接続される読出し部802に接続される光感知部801を備える。3つの画素行x1～x3の一部およびそれぞれのバスライン803aおよび803bを伴う2つの画素列y1～y2の一部が図示され、すなわち全体で6つの画素が図示される。画素x1,y1は、すなわち列y1の行x1における画素位置において、光感知部801aおよびバスライン803aに接続する読出し部802aを備える。図から認識されるように、その他の図示された画素は対応部を備える。同じ列yにおける画素はここでは同じバスラインに接続され、次いで例えばアナログデジタル変換のための回路を含め、更なる回路(図示せず)に接続され、かつ読取り画像データに更なる、例えば算術演算を行うための何らかのメモリおよび回路も備え得る。読取りデータは、従来は上述の第1の画素値に相当する。イメージセンサは典型的に、例えば図ではx1～x3によって例証されたラインが順次読み取られるように動作され、そして列ごとに1つの画素だけが同時にバスラインに信号を提供している。同じ行における列の画素は並列に読み取ることができ、典型的にそのように読み取られる。
図8Aに見て取れるように、各画素は、以下ではスイッチとして動作し、かつそのように称される幾つかのトランジスタ、典型的に相補型金属酸化膜半導体(CMOS)トランジスタを備える。光感知部801は、光にさらされると電荷を蓄積する、ここでは感光フォトダイオード804によって例示される光感知部品、フォトダイオード804のリセットのために使用される第1のリセットスイッチ805、およびフォトダイオード804から読出し部802に露光後の電荷を移動するために開かれる読出しスイッチ806を備える。読出し部802は、光感知部801から移動された電荷を蓄積するコンデンサ807、読出し部802をリセットするための第2のリセットスイッチ808、読出しトランジスタ809、およびバススイッチ810を備える。読出しトランジスタ809は、バススイッチ810が開かれるとコンデンサ807における電荷を電荷に比例した電圧に変換し、そしてバスラインはそれによって同電圧に設定される。
図9は、本明細書における実施形態がどのようにして、図8A～図8Bに関連して上記したような従来のイメージセンシング回路の変形によって実装され得るかを概略的に例示する。図から認識されるように、イメージセンサの画素ごとに、図8Aにおける光感知部801および読出し部802としてであり得る光感知部901および読出し部902がある。しかしながら、直接隣接する画素の光感知部の出力を選択的に相互接続する可能性を導入し、それによって本明細書における実施形態に係る、図5に関連して上記したような動作を実施するようにイメージセンサを動作させることを可能にするために、幾つかの追加スイッチが追加された。各読出し部には、その入力に入力スイッチが追加され、例えば読出し部902bは入力スイッチ904bを有する。更に、同例では、列yにおける各画素は、その光感知部の出力が、同じ列におけるその直接隣接する画素の光感知部の出力と相互接続される。各相互接続は相互接続スイッチを介してなされる。例えば、画素x2,y1は、その光感知部901bの出力が、相互接続スイッチ905abを介して、隣接画素x1,y1の光感知部901aの出力と、および相互接続スイッチ905bcを介して、隣接画素x3,y1の光感知部901cの出力と相互接続される。例えば、画素p3,1に相当する画素x2,y1に対して、かつ画素ウィンドウ350などの3x1画素ウィンドウを使用して上記のように第2の画素値を形成するために、イメージセンサは、例えば光感知部901a～901cによって感知される光にさらされる。したがって、光感知部のそれぞれのフォトダイオードは、その後感知に起因する電荷を保持する。相互接続スイッチ905abおよび905bcは閉じられ、したがって光感知部901a～901cの出力は相互接続される。入力スイッチ904a、904cは開かれ、したがって読出し部902aおよび902cを切断し、そのためそれらは入力を受信できない一方、入力スイッチ904bは閉じられる。光感知部901a～901cの読出しスイッチが閉じられると、各そのような読出しスイッチは読出しスイッチ806に相当し得るが、感知電荷が光感知部901a～901cの全ての出力から合計し、そして読出し部902bのコンデンサ、すなわちコンデンサ807に相当するコンデンサに移動されて、第2の画素値を形成し、かつ読出し部902bを介してバスライン903a上に対応する電圧をもたらす。
このように相互接続スイッチおよび入力スイッチを制御することによって、様々な画素ウィンドウが達成でき、これらの画素ウィンドウ内の画素からの第1の画素値の平均化がなされ、そして第2の画素値には画素ウィンドウ内の選択可能な或る画素が割り当てられることが認識される。例えば2x1サイズの画素ウィンドウが達成できる。更なる相互接続スイッチおよび列間の接続にもより、2次元画素ウィンドウが達成できる。基本的に、上に例証したもののいずれか1つなど、いかなる種類の画素ウィンドウも同じ原理に基づいて達成できる。
それ故、上記から認識されるように、既定の画素ウィンドウ、例えばw、および図5に関連して上記したような組合せ関数は、既定の画素ウィンドウ内に位置する画素、例えばpwの感知電荷が第2の画素値へ組み合わされるように、イメージセンサの画素間の選択的相互接続に基づいて実装され得る。第2の画素値は次いで、すなわちその後、読出しのための電圧に変換され、そして例えばバスライン、例えばバスライン903aまたは903bに提供されて、イメージセンサから画像データを読み取るために使用され得る。
本明細書における実施形態の他のハードウェアベースの実装は、代わりに、例えばバスラインに接続され、第1の画素値に対応する読出し電圧を一時的に記憶するためのアナログメモリの導入および/または使用を含み得、その結果、同じ読取り電圧が、たとえ順次読み取られても、複数組合せに、例えば更なる複数回使用され、かつ全ての関与する画素に対する第2の画素値に対応する電圧を形成できる。アナログデジタル変換を含む任意の更なる演算が第1の画素値の代わりに第2の画素値に行われ得る。一部の代替実施形態において、アナログデジタル変換が第1の画素値に行われてデジタルの第1の画素値をもたらし、次いで上記のように、例えばまずメモリに記憶された後に、デジタルの第2の画素値へ組み合わされ得る。イメージセンシング回路は、その後これに基づく、すなわちデジタルの第2の画素値に基づくデジタル画像を提供し得る。
図10は、上述したようなイメージセンサ回路であり得かつ上述したように本方法および/または動作を行うための、イメージセンサ回路1000の実施形態を例示するための概略ブロック図である。概略ブロック図は、イメージセンサ回路1000がどのようにして、図5に関して上述の方法および動作を行うように構成され得るかの実施形態を例示するためでもある。
それ故、イメージセンサ回路1000は、第1の画素値の代わりに、上述したような第2の画素値に基づくデジタル画像の提供をサポートするためであり、それによってデジタル画像におけるレーザスペックルの影響低減を可能にし得る。
イメージセンサ回路1000はイメージセンサ1001を備える。イメージセンサ自体は、従来型、例えばCMOSアレイまたは電荷結合素子(CCD)アレイ型のイメージセンサであり得る。
イメージセンサ回路1000は、ハードウェアモジュールおよび/または回路を例証するとして、信号およびデータの処理および例えば符号化に関与する処理回路1002も備え得る、かつ1つまたは複数のプロセッサまたは処理回路を備え得るまたはそれに相当し得る。処理回路は、例えばイメージセンサ自体と考えられ得るものの一部でない、図9に図示されるものなどの、回路の一部を備えて得る。また、アナログデジタル変換のための任意の回路が処理回路1002の一部であり得る。
イメージセンサ回路1000は、コンピュータプログラム1004を、含有または記憶など、含み得るメモリ1003を更に備え得る。コンピュータプログラム1004は、上記方法および/または動作の少なくとも一部を行うためにイメージセンサ回路1000によって直接または間接的に実行可能な「命令」または「コード」を含む。メモリ1003は、1つまたは複数のメモリユニットを備え得る、かつ本明細書における実施形態の機能および動作を行う際に関与するまたは行うための、構成、データおよび/または値などの、データを記憶するように更に配置され得る。一部の実施形態において、メモリ1003は、処理回路1002によって実行可能なコンピュータプログラム1004を含み得、それによってイメージセンサ回路1000は上記方法および/またはその動作を行うように動作する、または構成される。
イメージセンサ回路1000、例えば処理モジュール1001は、イメージセンサ回路1000の外部の、例えばイメージセンサ回路1000を実装するチップの外部のデバイスへおよび/またはデバイスから情報を送るおよび/または受けることなど、他のユニットおよび/またはデバイスへのおよび/または他のユニットおよび/またはデバイスからの任意の通信に、例えば行うことによって、関与するように構成される入出力(I/O)回路1005を備え得る。I/O回路1005は、適宜、得る、例えば受けるモジュールおよび/または提供する、例えば送るモジュールによって例証され得る。
更に、一部の実施形態において、イメージセンサ回路1000、例えば処理回路1002は、本明細書における実施形態の動作を実施するためのハードウェアおよび/またはソフトウェアモジュールを例証するとして、割当てモジュール、獲得モジュール、組合せモジュールおよび提供モジュールのうちの1つまたは複数を備える。これらのモジュールは処理回路1002によって完全にまたは部分的に実装され得る。
それ故:
イメージセンサ回路1000および/または処理回路1002および/または割当てモジュールは、図5に関連して上記したように、イメージセンサの少なくとも上記部分領域の各画素位置ごとに、既定の画素ウィンドウ、例えばwを画素位置、例えばx,yに割り当てるように動作し、または構成され得る。
イメージセンサ回路1000および/または処理回路1002および/またはI/O回路1005および/または獲得モジュールは、図5に関連して上記したように、イメージセンサの少なくとも上記部分領域の各画素位置ごとに、上記既定の画素ウィンドウ、例えばw内に位置する各画素、例えばpwに対して上記第1の画素値、例えばv1を得るように動作し、または構成され得る。
イメージセンサ回路1000および/または処理回路1002および/または獲得モジュールは、図5に関連して上記したように、イメージセンサの少なくとも上記部分領域の各画素位置ごとに、得られた第1の画素値、例えばv1を上記既定の組合せ関数に従って上記単一の第2の画素値、例えばv2へ組み合わせるように動作し、または構成され得る。
その上、イメージセンサ回路1000および/または処理回路1002および/またはI/O回路1005および/または提供モジュールは、図5に関連して上記したように、イメージセンサの少なくとも上記部分領域の各画素位置ごとに、画素位置、例えばx,yの画素値として、その第1の画素値、例えばv1の代わりに第2の画素値、例えばv2を提供するように動作し、または構成され得る。
更に、イメージセンサ回路1000および/または処理回路1002および/またはI/O回路1005および/または提供モジュールは、図5に関連して上記したように、第2の画素値に基づく上記デジタル画像を提供するように動作し、または構成され得る、すなわちイメージセンサの上記少なくとも部分領域の画素位置、例えばx、yに対して第2の画素値、例えばv2が提供されたときにデジタル画像が提供される。
以上に述べたいかなる処理モジュールおよび回路もソフトウェアおよび/またはハードウェアモジュールとして、例えば既存のハードウェアにおよび/または特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)等として実装され得ることに留意されたい。また、以上に述べたいかなるハードウェアモジュールおよび/または回路も、例えば単一のASICもしくはFPGAに含まれ、またはシステムオンチップ(SoC)へ個別にパッケージ化されようとアセンブルされようと、幾つかの別々のハードウェアコンポーネント中で分散され得ることに留意されたい。
本明細書に述べたモジュールおよび回路が、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/またはソフトウェアおよび/もしくはファームウェアが例えばメモリに記憶され、1つもしくは複数のプロセッサによって実行されると、デバイス、センサ等を上記の方法および動作を行うように構成させるかつ/もしくは行わせる、ように構成された1つもしくは複数のプロセッサ、の組合せを指し得ることも当業者は認識するであろう。
本明細書におけるいかなる識別子による識別も黙示的または明示的であり得る。識別は、例えば或るコンピュータプログラムまたはプログラムプロバイダに対して、或る状況において一意であり得る。
本明細書で使用する場合、「メモリ」という用語は、デジタル情報を記憶するためのデータメモリ、典型的にハードディスク、磁気ストレージ、媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)等を指し得る。更には、メモリはプロセッサの内部レジスタメモリであり得る。
また、第1の値、第2の値、第1のデバイス、第2のデバイス等などの、いかなる列挙用語も、それ自体は非限定的であるとみなされるべきであり、そして用語自体は特定の階層関係を暗示しないことに留意されたい。反対するいかなる明示的な情報なしでも、列挙による指定は、単に異なる名前を与える手段とみなされるべきである。
本明細書で使用する場合、「数」または「値」という用語は一般に、2進数、実数、虚数または有理数等など、いずれの種類の数字も指し得る。その上、「数」または「値」は、文字または文字列などの、1つまたは複数の記号であり得る。また、「数」または「値」はビット列によって表され得る。
本明細書で使用する場合、「～するように構成される」という表現は、処理回路が、本明細書に記載した動作のうちの1つまたは複数を行うように、ソフトウェアまたはハードウェア構成を用いて構成されるまたは適合されることを意味し得る。
本明細書で使用する場合、「～し得る」および「一部の実施形態において」という表現は、典型的に、記載される特徴が、本明細書に開示されるいずれの他の実施形態とも組み合わされ得ることを示すために使用された。
図面において、一部の実施形態だけに存在し得る特徴は、典型的に点線または破線を使用して描かれる。
「～を備える」または「～を備えている」という語を使用するとき、それは、非限定的と、すなわち「～から少なくとも成る」を意味すると解釈されるものとする。
本明細書における実施形態は上記した実施形態に限定されない。様々な代替例、変形例および均等物が使用され得る。したがって、上記の実施形態は、添付の特許請求の範囲によって定められる、本開示の範囲を限定するとはとられるべきでない。
100 3Dイメージングシステム
110 光源
111 特定の光パターン
112 光線
120 第1の物体
121 第2の物体
122 コンベアベルト
123 座標系
130 カメラユニット
140-1～140-N 断面画像
240 デジタル画像
241 光線
341 光線
350 画素ウィンドウ
351 対象画素位置
650a 画素ウィンドウ
650b 画素ウィンドウ
650c 画素ウィンドウ
650d 画素ウィンドウ
650e 画素ウィンドウ
651a 対象画素位置
651b 対象画素位置
651c 対象画素位置
651d 対象画素位置
651e 対象画素位置
750 画素ウィンドウ
751 対象画素位置
801 光感知部
802 読出し部
803 バスライン
803a バスライン
803b バスライン
804 感光フォトダイオード
805 第1のリセットスイッチ
806 読出しスイッチ
807 コンデンサ
808 第2のリセットスイッチ
809 読出しトランジスタ
810 バススイッチ
901 光感知部
902 読出し部
903a バスライン
903b バスライン
904a 入力スイッチ
904b 入力スイッチ
904c 入力スイッチ
905ab 相互接続スイッチ
905bc 相互接続スイッチ
1000 イメージセンサ回路
1001 イメージセンサ
1002 処理回路
1003 メモリ
1004 コンピュータプログラム
1005 入出力(I/O)回路
t1～t4 時点
x1～x3 画素行
y1～y2 画素列

Claims (11)

  1. 3Dイメージングシステムによって行われるレーザ三角測量の一部として物体から反射されるレーザ光を感知するイメージセンサから生じるデジタル画像におけるレーザスペックル効果を低減するための、イメージセンサを備えるイメージセンサ回路(900、1000)によって行われる、方法であって、
    前記イメージセンサの少なくとも部分領域の各画素位置(x,y)ごとに、
    - 前記画素位置(x,y)およびその最隣接画素位置のうちの1つまたは複数を含む既定の画素ウィンドウ(w)を前記画素位置(x,y)に割り当てるステップ(501)と、
    - 前記既定の画素ウィンドウ(w)内に位置する各画素(pw)に対して第1の画素値(v1)を得るステップ(502)であって、前記第1の画素値(v1)が、同じ露光に起因し、この露光からの感知光に対応する、得るステップ(502)と、
    - 前記得られた第1の画素値(v1)を既定の組合せ関数に従って単一の第2の画素値(v2)へ組み合わせるステップ(503)と、
    - 前記第2の画素値に基づく前記デジタル画像を提供することで、デジタル画像が代わりに前記第1の画素値に基づいた場合と比較してデジタル画像におけるレーザスペックル効果を低減するステップ(505)と
    を含む、方法。
  2. 前記イメージセンサの少なくとも部分領域の各画素位置(x,y)ごとが、前記イメージセンサの画素線(y)に沿った画素位置ごとである、請求項１に記載の方法。
  3. 前記第1の画素値(v1)および前記第2の画素値(v2)がアナログ画素値である、請求項１または２に記載の方法。
  4. 前記既定の画素ウィンドウ(w)が1次元である、請求項１乃至３のいずれか一項に記載の方法。
  5. 前記既定の画素ウィンドウ(w)が、前記画素位置(x,y)ならびに前記画素位置(x,y)直前および/または直後の1つまたは2つの最隣接画素から成る、請求項4に記載の方法。
  6. 前記組合せ関数が、前記既定の画素ウィンドウ(w)内に位置する画素(pw)の前記第1の画素値(v1)を加算することに基づく、請求項１から5のいずれか一項に記載の方法。
  7. 前記組合せ関数が、前記既定の画素ウィンドウ(w)内に位置する画素(pw)の前記第1の画素値(v1)を平均化することに基づく、請求項１から6のいずれか一項に記載の方法。
  8. 前記組合せ関数が、前記平均化前に前記既定の画素ウィンドウ(w)内に位置する画素(pw)の前記第1の画素値(v1)のうちの1つまたは複数に加重することに基づく、請求項7に記載の方法。
  9. 前記組合せ関数が、前記既定の画素ウィンドウ(w)内に位置する画素(pw)の前記第1の画素値(v1)の他のいずれよりも前記画素位置(x,y)における前記画素の前記第1の画素値(v1)に加重する、請求項8に記載の方法。
  10. 前記第2の画素値(v2)への前記第1の画素値(v1)の前記組合せが、非重複画素ウィンドウ(w)を伴う画素位置に対して並列におよび重複画素ウィンドウ(w)を伴う画素位置に対して順次なされる、請求項1から9のいずれか一項に記載の方法。
  11. 重複ウィンドウを伴う画素位置に対して得られた第1の画素値(v1)が前記イメージセンサの異なる露光からのものである、請求項1から10のいずれか一項に記載の方法。
JP2021014967A 2020-02-19 2021-02-02 レーザスペックルの効果を低減させるためのイメージセンサ回路 Active JP7132375B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20158365 2020-02-19
EP20158365.5A EP3869793B1 (en) 2020-02-19 2020-02-19 Method for reducing effects of laser speckles

Publications (2)

Publication Number Publication Date
JP2021132371A JP2021132371A (ja) 2021-09-09
JP7132375B2 true JP7132375B2 (ja) 2022-09-06

Family

ID=69701126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021014967A Active JP7132375B2 (ja) 2020-02-19 2021-02-02 レーザスペックルの効果を低減させるためのイメージセンサ回路

Country Status (5)

Country Link
US (1) US11736816B2 (ja)
EP (1) EP3869793B1 (ja)
JP (1) JP7132375B2 (ja)
CN (1) CN113365003A (ja)
CA (1) CA3102400A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4266673A1 (en) * 2022-04-19 2023-10-25 Sick IVP AB Method and arrangements for provision of pixel values for readout from an image sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189193A (ja) 2001-12-13 2003-07-04 Olympus Optical Co Ltd 撮像装置
JP2011044887A (ja) 2009-08-20 2011-03-03 Canon Inc 固体撮像装置
JP2014217021A (ja) 2013-04-30 2014-11-17 株式会社ニコン 固体撮像素子及び撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332335A (ja) * 1997-04-03 1998-12-18 Keyence Corp 光学式変位計
US6895077B2 (en) * 2001-11-21 2005-05-17 University Of Massachusetts Medical Center System and method for x-ray fluoroscopic imaging
US7813013B2 (en) * 2006-11-21 2010-10-12 Illumina, Inc. Hexagonal site line scanning method and system
JP4930638B2 (ja) * 2008-05-30 2012-05-16 富士通株式会社 画像補正装置および画像補正方法
EP2154879A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing CMOS image sensor with selectable hard-wired binning
US8694273B2 (en) * 2009-11-09 2014-04-08 Avatekh, Inc. Method and apparatus for adaptive real-time signal conditioning and analysis
JP5455611B2 (ja) * 2009-12-24 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10051210B2 (en) * 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
TW201419853A (zh) * 2012-11-09 2014-05-16 Ind Tech Res Inst 影像處理器及其影像壞點偵測方法
KR101488074B1 (ko) * 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
CA3197174A1 (en) * 2014-04-28 2015-11-05 Lynx System Developers, Inc. Systems and methods for processing event timing images
EP3165874B1 (en) * 2015-11-04 2020-08-19 Hexagon Technology Center GmbH Method and device for triangulation-based distance measurement
US10620447B2 (en) 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
JP7217227B2 (ja) * 2017-05-02 2023-02-02 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
US11463677B2 (en) * 2017-07-13 2022-10-04 Samsung Electronics Co., Ltd. Image signal processor, image processing system and method of binning pixels in an image sensor
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
US20190172180A1 (en) * 2017-12-04 2019-06-06 Canon U.S.A., Inc. Apparatus, system and method for dynamic encoding of speckle reduction compensation
US10868991B2 (en) * 2018-03-25 2020-12-15 Ideal Industries Lighting Llc High density parallel proximal image processing
CN112534240A (zh) * 2018-07-24 2021-03-19 玻璃技术公司 用于测量波形玻璃片的表面的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189193A (ja) 2001-12-13 2003-07-04 Olympus Optical Co Ltd 撮像装置
JP2011044887A (ja) 2009-08-20 2011-03-03 Canon Inc 固体撮像装置
JP2014217021A (ja) 2013-04-30 2014-11-17 株式会社ニコン 固体撮像素子及び撮像装置

Also Published As

Publication number Publication date
EP3869793A1 (en) 2021-08-25
CN113365003A (zh) 2021-09-07
CA3102400A1 (en) 2021-08-19
US20210258452A1 (en) 2021-08-19
JP2021132371A (ja) 2021-09-09
US11736816B2 (en) 2023-08-22
EP3869793B1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP4580983B2 (ja) レンジ検査のための測定装置および方法
EP1359534A1 (en) Method and system for imaging an object or pattern
US10509977B2 (en) Image sensing device and measuring system for providing image data and information on 3D-characteristics of an object
WO2022126870A1 (en) Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line
JP7132375B2 (ja) レーザスペックルの効果を低減させるためのイメージセンサ回路
CN112393681B (zh) 提供三维成像的图像数据中的强度峰值位置的方法和设备
JP5445064B2 (ja) 画像処理装置および画像処理プログラム
KR20190129693A (ko) 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템
EP3240993B1 (en) An arrangement of optical measurement
JP2017026466A (ja) 光学特性の測定装置
WO2020193412A1 (en) Analysis portion, time-of-flight imaging device and method
US20230335027A1 (en) Method and arrangements for provision of pixel values for readout from an image sensor
EP4220075B1 (en) Method and arrangements for obtaining and associating 2d image data with 3d image data from light triangulation
JP3004794B2 (ja) 表面検査用カメラ機構及び表面検査方法
WO2023041465A1 (en) Control and control method
JPH09179979A (ja) 欠陥検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220825

R150 Certificate of patent or registration of utility model

Ref document number: 7132375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150