JP7111528B2 - 超解像度画像を生成するための画素の較正 - Google Patents
超解像度画像を生成するための画素の較正 Download PDFInfo
- Publication number
- JP7111528B2 JP7111528B2 JP2018120682A JP2018120682A JP7111528B2 JP 7111528 B2 JP7111528 B2 JP 7111528B2 JP 2018120682 A JP2018120682 A JP 2018120682A JP 2018120682 A JP2018120682 A JP 2018120682A JP 7111528 B2 JP7111528 B2 JP 7111528B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- light intensity
- image
- images
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 51
- 230000003321 amplification Effects 0.000 claims description 39
- 238000006073 displacement reaction Methods 0.000 claims description 39
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 39
- 230000035945 sensitivity Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
a+b+c+d=9
a+0+c+0=0
a+0+0+0=0
a+b+0+0=0
a=b=c=0,d=9
レンズと、
前記レンズを通して焦点面に集束された風景の画像を取得するように構成された検出器アレイであって、前記検出器アレイが、前記風景の各部分に対して画素を提供するように構成された個別の検出器のアレイを含み、前記検出器アレイが、前記レンズまたは前記検出器アレイ及びそれによって前記焦点面が、前記検出器アレイの物理的構成によって定義された水平方向または垂直方向に沿って個別の検出器の長さだけ動かされる移動量で、前記画像を取得するように構成された、検出器アレイと、
前記画像内の前記画素の光強度を決定し、前記画素を、前記光強度に基づいて前記画素のうちの参照画素に対して較正し、それによって前記個別の検出器のいずれかの感度差を補償するように構成された処理ユニットと、を含み、
前記画素の少なくともいくつかのうちの各画素について、画素を較正するように構成された前記処理ユニットが、少なくとも、
前記風景の一部が前記画像のうちの1つの画像における前記参照画素及び前記画像のうちの別の画像における前記画素について同じであるような、前記画像のうちの1つの画像における前記参照画素の光強度と、前記画像のうちの別の画像における画素の光強度との比較を行うことと、
それに基づいて、少なくとも、前記参照画素の前記光強度と前記画素の前記光強度とが異なる場合において、前記画素の前記光強度の調整のために増幅因子を決定することであって、前記増幅因子が前記参照画素の前記光強度の、前記画素の前記光強度に対する比であるか、または前記比から決定される、増幅因子を決定することと、
を行うように構成されることを含む、カメラシステム。
前記風景の一部が前記画像のうちの1つの画像における画素及び前記画像のうち別の画像における別の画素について同じであるような、前記画像のうち1つの画像における前記画素の光強度の、前記画像のうち別の画像における別の画素の光強度に対する比を決定することと、
前記別の画素の前記光強度の調整のための増幅因子を決定することであって、前記増幅因子が、前記画素の前記光強度の調整のための前記増幅因子と、前記画素の前記光強度の、前記別の画素の前記光強度に対する比との積である、増幅因子を決定することと、
を行うように構成されることを含む、項目1または2に記載のカメラシステム。
前記増幅因子を決定するように構成された前記処理ユニットが、前記画像の各対についての前記参照画素の前記光強度の画素の光強度に対する比の平均を決定するように構成されることを含む、項目1から3のいずれか一項に記載のカメラシステム。
前記風景の一部が前記画像のうち1つの画像における参照画素及び前記画像のうち別の画像における特定の画素について同じであるような、前記画像のうち1つの画像における前記参照画素の前記光強度と、前記画像のうち別の画像における前記特定の画素の光強度との比較を実行することと、
前記参照画素の前記光強度と前記特定の画素の前記光強度とが、不良画素を示す所定の閾値よりも大きい量だけ異なるような場合において、前記特定の画素を不良画素として識別することと、
を行うように構成された、項目1から4のいずれか一項に記載のカメラシステム。
前記トランスデューサと通信可能であり、前記レンズまたは前記検出器アレイを動かすために前記トランスデューサを制御するように構成された、制御ユニットと、をさらに含む、項目1から5のいずれか一項に記載のカメラシステム。
前記トランスデューサが、前記レンズまたは前記検出器アレイ及びそれにより前記焦点面を、前記検出器アレイが複数の画像を取得するように構成された所定の期間にわたって動かすように構成され、
前記制御ユニットが、前記画素をサブ画素に分割し、前記所定の期間の間、サブ画素の長さの移動量ごとに前記レンズまたは前記検出器アレイを動かすように前記トランスデューサを制御するように構成され、
前記処理ユニットが、前記複数の画像から、前記画素の光強度を、前記画素の少なくともいくつかの各画素について前記増幅因子を使用して決定し、前記画素の前記光強度から前記サブ画素の光強度を決定し、前記サブ画素の前記光強度をまとめて単一画像を生成するように構成された、項目6に記載のカメラシステム。
前記風景の一部が、前記最初の画像及び前記最後の画像の少なくとも一対の画素について同じであるような、前記最初の画像及び前記最後の画像における少なくとも一対の画素の光強度を比較することを実行するように構成され、
前記少なくとも一対の画素の前記光強度が、前記風景の動きを示す所定の閾値よりも大きい量だけ異なるような少なくとも1つの場合において、前記画素の前記光強度を決定するように構成された前記処理ユニットが、前記最初の画像と前記最後の画像との間の少なくとも1つの画像における画素の光強度を、前記最初の画像及び前記最後の画像内の画素の前記光強度から内挿することによって決定するように構成されることを含む、項目7に記載のカメラシステム。
前記少なくとも1つの画像における前記風景の各部分について、光強度を、前記最初の画像及び前記最後の画像における前記風景の各部分についての画素の光強度に基づいて内挿することと、
前記少なくとも1つの画像における前記画素の前記風景の各部分の数分の1に対応する前記風景の各部分の光強度の数分の1に基づいて、前記少なくとも1つの画像における前記画素の前記光強度を決定することと、
を行うように構成されることを含む、項目8に記載のカメラシステム。
検出器アレイによって、レンズを通して焦点面に集束された風景の画像を取得する段階であって、前記検出器アレイが、前記風景の各部分についての画素を提供する個別の検出器のアレイを含み、前記検出器アレイが、前記レンズまたは前記検出器アレイ及びそれにより前記焦点面が、前記検出器アレイの物理的構成によって定義される水平方向または垂直方向に沿って個別の検出器の長さだけ移動される移動量ごとに前記画像を取得する、画像を取得する段階と、
処理ユニットによって、前記画像における画素の光強度を決定し、前記光強度に基づいて、前記画素を、前記画素のうち参照画素に対して較正し、それによって前記個別の検出器のいずれかの感度差を補償する段階と、を含み、
前記画素の少なくともいくつかのうちの各画素について、前記画素の較正が、少なくとも、
前記風景の一部が前記画像のうち1つの画像における前記参照画素及び前記画像のうち別の画像における画素について同じであるような、前記画像のうち1つの画像の前記参照画素の光強度と、前記画像のうち別の画像における前記画素の光強度との比較を実行する段階と、
それに基づいて、少なくとも、前記参照画素の前記光強度と、前記画素の前記光強度とが異なるような場合に、前記画素の前記光強度の調整のための増幅因子を決定する段階であって、前記増幅因子が、前記参照画素の前記光強度の、前記画素の前記光強度に対する比であるか、またはその比から決定される、増幅因子を決定する段階と、
を含む、方法。
前記風景の一部が前記画像のうち1つの画像の画素及び前記画像のうち別の画像の別の画素について同じであるような、前記画像のうち1つの画像における画素の光強度の、前記画像のうち別の画像における別の画素の光強度に対する比を決定する段階と、
前記別の画素の前記光強度の調整のための増幅因子を決定する段階であって、前記増幅因子が、前記画素の前記光強度の調整のための前記増幅因子と、前記画素の前記光強度の、前記別の画素の前記光強度に対する比との積である、増幅因子を決定する段階と、を含む、項目10または11に記載の方法。
前記増幅因子を決定する段階が、前記画像の各対について、前記参照画素の前記光強度の、前記画素の前記光強度に対する比の平均を決定する段階を含む、項目10から12のいずれか一項に記載の方法。
前記風景の一部が、前記画像のうち1つの画像における前記参照画素及び、前記画像のうち別の画像における前記特定の画素について同じであるような、前記画像のうち1つの画像における前記参照画素の光強度と、前記画像のうち別の画像における前記特定の画素の光強度との比較を実行する段階と、
前記参照画素の光強度と前記特定の画素の光強度とが、不良画素を示す所定の閾値よりも大きな値だけ異なるような例において、前記特定の画素を不良画素として識別する段階を含む、項目10から13のいずれか一項に記載の方法。
前記トランスデューサと通信可能である制御ユニットによって、前記レンズまたは前記検出器アレイを動かすために、前記トランスデューサを制御する段階と、をさらに含む、項目10から14のいずれか一項に記載の方法。
前記トランスデューサによって、前記レンズまたは前記検出器アレイ及びそれにより前記焦点面を、前記検出器アレイが複数の画像を取得するように構成された所定の期間にわたって動かす段階と、
前記制御ユニットによって、前記画素をサブ画素に分割し、前記所定の期間の間、サブ画素の長さの移動量ごとに前記レンズまたは前記検出器アレイを動かすように前記トランスデューサを制御する段階と、
前記処理ユニットによって、前記複数の画像から、前記画素の光強度を、前記画素の少なくともいくつかの各画素について前記増幅因子を使用して決定し、前記画素の前記光強度から前記サブ画素の光強度を決定し、前記サブ画素の前記光強度をまとめて単一画像を生成する段階と、をさらに含む、項目15に記載の方法。
前記風景の一部が、前記最初の画像及び前記最後の画像の少なくとも一対の画素について同じであるような、前記最初の画像及び前記最後の画像における少なくとも一対の画素の光強度を比較することを実行する段階を含み、
前記少なくとも一対の画素の前記光強度が、前記風景の動きを示す所定の閾値よりも大きい量だけ異なるような少なくとも1つの場合において、前記画素の前記光強度を決定する段階が、前記最初の画像と前記最後の画像との間の少なくとも1つの画像における画素の光強度を、前記最初の画像及び前記最後の画像内の画素の前記光強度から内挿することによって決定する段階を含む、項目10から16のいずれか一項に記載の方法。
前記少なくとも1つの画像における前記風景の各部分について、光強度を、前記最初の画像及び前記最後の画像における前記風景の各部分についての画素の光強度に基づいて内挿する段階と、
前記少なくとも1つの画像における前記画素の前記風景の各部分の数分の1に対応する前記風景の各部分の光強度の数分の1に基づいて、前記少なくとも1つの画像における前記画素の前記光強度を決定する段階と、を含む、項目10から17のいずれか一項に記載の方法。
レンズを通して焦点面に集束された画像を取得するように構成された検出器アレイによる風景の画像における画素の光強度を決定する段階であって、前記検出器アレイが、前記風景の各部分についての画素を提供するように構成された個別の検出器のアレイを含み、前記検出器アレイが、前記レンズまたは前記検出器アレイ及びそれにより前記焦点面が、前記検出器アレイの物理的構成によって定義される水平方向または垂直方向に沿って個別の検出器の長さだけ移動される移動量ごとに前記画像を取得するように構成された、画素の光強度を決定する段階と、
前記光強度に基づいて、前記画素を、前記画素のうち参照画素に対して較正し、それによって前記個別の検出器のいずれかの感度差を補償する段階と、を実行させ、
前記画素のうち少なくともいくつかの各画素について、前記画素の較正を行うようにされる前記装置が、少なくとも、
前記風景の一部が前記画像のうち1つの画像における前記参照画素及び前記画像のうち別の画像における画素について同じであるような、前記画像のうち1つの画像の前記参照画素の光強度と、前記画像のうち別の画像における前記画素の光強度との比較を実行することと、
それに基づいて、少なくとも、前記参照画素の前記光強度と、前記画素の前記光強度とが異なるような場合に、前記画素の前記光強度の調整のための増幅因子を決定することであって、前記増幅因子が、前記参照画素の前記光強度の、前記画素の前記光強度に対する比であるか、またはその比から決定される、増幅因子を決定することと、
を行うようにされることを含む、コンピュータ可読保存媒体。
前記風景の一部が前記画像のうち1つの画像の画素及び前記画像のうち別の画像の別の画素について同じであるような、前記画像のうち1つの画像における画素の光強度の、前記画像のうち別の画像における別の画素の光強度に対する比を決定することと、
前記別の画素の前記光強度の調整のための増幅因子を決定する段階であって、前記増幅因子が、前記画素の前記光強度の調整のための前記増幅因子と、前記画素の前記光強度の、前記別の画素の前記光強度に対する比との積である、増幅因子を決定することと、
を行うようにされることを含む、項目19に記載のコンピュータ可読保存媒体。
前記増幅因子を決定するようにされる前記装置が、前記画像の各対について、前記参照画素の前記光強度の、前記画素の前記光強度に対する比の平均を決定するようにされることを含む、項目19または20に記載のコンピュータ可読保存媒体。
前記風景の一部が、前記画像のうち1つの画像における前記参照画素及び、前記画像のうち別の画像における前記特定の画素について同じであるような、前記画像のうち1つの前記参照画素の光強度と、前記画像のうち別の画像における前記特定の画素の光強度との比較を実行することと、
前記参照画素の光強度と前記特定の画素の光強度とが、不良画素を示す所定の閾値よりも大きな値だけ異なるような例において、前記特定の画素を不良画素として識別することと、
を行うようにされる、項目19から21のいずれか一項に記載のコンピュータ可読保存媒体。
120 ターゲット画像
104 検出器アレイ
106、108 レンズ
110 アパーチャ
112 焦点面
114 検出器
116 トランスデューサ
118 制御ユニット
120 メモリ
122 第1の垂直辺
124 第1の水平辺
126 第2の垂直辺
128 第2の水平辺
129 白いサブ画素
130 サブ画素
131 灰色のサブ画素
132 第1の位置
133 黒いサブ画素
134 第1の画像
136 第2の位置
138 第2の画像
140 第3の位置
142 第3の画像
144 第4の位置
146 第4の画像
150 処理ユニット
152 単一の画像
154 頂部左側の検出器
156 左側の角
158 参照アレイ
160 6×6アレイ
162、164 境界
170、172、174 画像
176 単一の画像
220 解像度を向上させるためのプロセス
280 画素
280a 参照画素
280b 画素
280c 画素
282 物体
284 第1の位置
286 第1の画像
288 第2の位置
290 第2の画像
292 最初の画像
294 最後の画像
296 第2の画像
298 第3の画像
300 超解像度画像を生成するための方法
312 装置
314 プロセッサ
316 メモリ
318 コンピュータ可読プログラムコード
320 通信インターフェース
322 ディスプレイ
324 ユーザー入力インターフェース
Claims (15)
- 超解像度画像を生成するためのカメラシステム(100)であって、前記カメラシステム(100)が、
レンズ(106、108)と、
前記レンズ(106、108)を通して焦点面(112)に集束された風景の画像(102)を取得するように構成された検出器アレイ(104)であって、前記検出器アレイ(104)が、前記風景の各部分に対して画素を提供するように構成された個別の検出器(114)のアレイを含み、前記検出器アレイ(114)が、前記レンズ(106、108)または前記検出器アレイ(104)及びそれによって前記焦点面(112)が、前記検出器アレイ(104)の物理的構成によって定義された水平方向または垂直方向に沿って個別の検出器(114)の長さだけ動かされる移動量で、前記画像(102)を取得するように構成された、検出器アレイ(104)と、
前記画像内の前記画素の光強度を決定し、前記画素を、前記光強度に基づいて前記画素のうちの参照画素に対して較正し、それによって前記個別の検出器(114)のいずれかの感度差を補償するように構成された処理ユニット(150)と、を含み、
前記画素の少なくともいくつかのうちの各画素について、前記画素を較正するように構成された前記処理ユニット(150)が、少なくとも、
前記風景の一部が前記画像のうちの1つの画像における前記参照画素及び前記画像(102)のうちの別の画像における前記画素について同じであるような、前記画像(102)のうちの1つの画像における前記参照画素の光強度と、前記画像(102)のうちの別の画像における画素の光強度との比較を行うことと、
それに基づいて、少なくとも、前記参照画素の前記光強度と前記画素の前記光強度とが異なる場合において、前記画素の前記光強度の調整のために増幅因子を決定することであって、前記増幅因子が前記参照画素の前記光強度の、前記画素の前記光強度に対する比であるか、または前記比から決定される、増幅因子を決定することと、
を行うように構成されることを含む、カメラシステム(100)。 - ある移動量ごとに前記画像を取得するように構成された前記検出器アレイ(104)が、少なくとも2つの移動量ごとに前記画像を取得するように構成されること、前記焦点面(112)が前記水平方向に沿って前記個別の検出器(114)の長さだけ移動される少なくとも1つの移動量及び、前記焦点面(112)が前記垂直方向に沿って前記個別の検出器(114)の長さだけ移動される少なくとも1つの移動量を含むこと、を含む、請求項1に記載のカメラシステム。
- 前記画素のうち少なくとも別のいくつかの画素のそれぞれについて、前記別の画素を較正するように構成された前記処理ユニット(150)が、少なくとも、
前記風景の一部が前記画像(102)のうちの1つの画像における画素及び前記画像(102)のうち別の画像における別の画素について同じであるような、前記画像(102)のうち1つの画像における前記画素の光強度の、前記画像(102)のうち別の画像における別の画素の光強度に対する比を決定することと、
前記別の画素の前記光強度の調整のための増幅因子を決定することであって、前記増幅因子が、前記画素の前記光強度の調整のための前記増幅因子と、前記画素の前記光強度の、前記別の画素の前記光強度に対する比との積である、増幅因子を決定することと、
を行うように構成されることを含む、請求項1または2に記載のカメラシステム。 - 前記比較を実行するように構成された前記処理ユニット(150)が、前記風景の一部が前記参照画素及び前記画素について同じであるような、前記画像(102)の各対における前記参照画素の前記光強度と前記画素の前記光強度との比較を実行するように構成されることを含み、
前記増幅因子を決定するように構成された前記処理ユニット(150)が、前記画像(102)の各対について前記参照画素の前記光強度の前記画素の前記光強度に対する比の平均を決定するように構成されることを含む、請求項1から3のいずれか一項に記載のカメラシステム。 - 前記画素のうちいずれかの特定の画素について、前記処理ユニット(150)が、
前記風景の一部が前記画像のうち1つの画像における参照画素及び前記画像(102)のうち別の画像における特定の画素について同じであるような、前記画像(102)のうち1つの画像における前記参照画素の前記光強度と、前記画像(102)のうち別の画像における前記特定の画素の光強度との比較を実行することと、
前記参照画素の前記光強度と前記特定の画素の前記光強度とが、不良画素を示す所定の閾値よりも大きい量だけ異なるような場合において、前記特定の画素を不良画素として識別することと、
を行うように構成された、請求項1から4のいずれか一項に記載のカメラシステム。 - 前記レンズ(106、108)または前記検出器アレイ(104)に結合され、前記レンズ(106、108)または前記検出器アレイ(104)及びそれにより前記焦点面(112)を動かすように構成された、トランスデューサ(116)と、
前記トランスデューサ(116)と通信可能であり、前記レンズ(106、108)または前記検出器アレイ(104)を動かすために前記トランスデューサ(116)を制御するように構成された、制御ユニット(118)と、をさらに含む、請求項1から5のいずれか一項に記載のカメラシステム。 - 前記カメラシステムが、前記画素の較正後に超解像度画像(152、168、176)を生成するように構成され、
前記トランスデューサ(116)が、前記レンズ(106、108)または前記検出器アレイ(104)及びそれにより前記焦点面(112)を、前記検出器アレイ(104)が複数の画像を取得するように構成された所定の期間にわたって動かすように構成され、
前記制御ユニット(118)が、前記画素をサブ画素に分割し、前記所定の期間の間、サブ画素(130)の長さの移動量ごとに前記レンズ(106、108)または前記検出器アレイ(104)を動かすように前記トランスデューサ(116)を制御するように構成され、
前記処理ユニット(150)が、前記複数の画像(102)から、前記画素の光強度を、前記画素の少なくともいくつかの各画素について前記増幅因子を使用して決定し、前記画素の前記光強度から前記サブ画素(130)の光強度を決定し、前記サブ画素(130)の前記光強度をまとめて単一画像を生成するように構成された、請求項6に記載のカメラシステム。 - 前記複数の画像が、最初の画像、最後の画像及びそれらの間の少なくとも1つの画像を有する一連の画像を含み、前記処理ユニット(150)がさらに、少なくとも、
前記風景の一部が、前記最初の画像及び前記最後の画像の少なくとも一対の画素について同じであるような、前記最初の画像及び前記最後の画像における少なくとも一対の画素の光強度を比較することを実行するように構成され、
前記少なくとも一対の画素の前記光強度が、前記風景の動きを示す所定の閾値よりも大きい量だけ異なるような少なくとも1つの場合において、前記画素の前記光強度を決定するように構成された前記処理ユニット(150)が、前記最初の画像と前記最後の画像との間の少なくとも1つの画像における画素の光強度を、前記最初の画像及び前記最後の画像内の画素の前記光強度から内挿することによって決定するように構成されることを含む、請求項7に記載のカメラシステム。 - 前記サブ画素(130)の長さが、画素の数分の一に対応し、少なくとも1つの画像における前記画素の前記光強度を決定するように構成された前記処理ユニットが、少なくとも、
前記少なくとも1つの画像における前記風景の各部分について、光強度を、前記最初の画像及び前記最後の画像における前記風景の各部分についての画素の光強度に基づいて内挿することと、
前記少なくとも1つの画像における前記画素の前記風景の各部分の数分の1に対応する前記風景の各部分の光強度の数分の1に基づいて、前記少なくとも1つの画像における前記画素の前記光強度を決定することと、
を行うように構成されることを含む、請求項8に記載のカメラシステム。 - 超解像度画像を生成する方法(300)であって、前記方法が、
検出器アレイ(104)によって、レンズ(106、108)を通して焦点面(112)に集束された風景の画像を取得する段階(302)であって、前記検出器アレイ(104)が、前記風景の各部分についての画素を提供する個別の検出器(114)のアレイを含み、前記検出器アレイ(104)が、前記レンズ(106、108)または前記検出器アレイ(104)及びそれにより前記焦点面(112)が、前記検出器アレイ(104)の物理的構成によって定義される水平方向または垂直方向に沿って個別の検出器(114)の長さだけ移動される移動量ごとに前記画像を取得する、画像を取得する段階(302)と、
処理ユニット(150)によって、前記画像における画素の光強度を決定し、前記光強度に基づいて、前記画素を、前記画素のうち参照画素に対して較正し、それによって前記個別の検出器(114)のいずれかの感度差を補償する段階(304)と、を含み、
前記画素の少なくともいくつかのうちの各画素について、画素の較正(306)が、少なくとも、
前記風景の一部が前記画像のうち1つの画像における前記参照画素及び前記画像のうち別の画像における画素について同じであるような、前記画像のうち1つの画像の前記参照画素の光強度と、前記画像のうち別の画像における前記画素の光強度との比較を実行する段階(308)と、
それに基づいて、少なくとも、前記参照画素の前記光強度と、前記画素の前記光強度とが異なるような場合に、前記画素の前記光強度の調整のための増幅因子を決定する段階(310)であって、前記増幅因子が、前記参照画素の前記光強度の、前記画素の前記光強度に対する比であるか、またはその比から決定される、増幅因子を決定する段階(310)と、
を含む、方法(300)。 - 移動量ごとに前記画像を取得する段階が、少なくとも2つの移動量において前記画像を取得することを含み、前記移動量が、前記焦点面(112)が前記水平方向に沿って前記個別の検出器(114)の長さだけ移動される少なくとも1つの移動量と、前記焦点面(112)が前記垂直方向に沿って前記個別の検出器(114)の長さだけ移動される少なくとも1つの移動量と、を含む、請求項10に記載の方法。
- 前記画素のうち少なくとも別のいくつかの画素の別の画素のそれぞれについて、前記別の画素を較正する段階が、少なくとも、
前記風景の一部が前記画像のうち1つの画像の画素及び前記画像のうち別の画像の別の画素について同じであるような、前記画像のうち1つの画像における画素の光強度の、前記画像のうち別の画像における別の画素の光強度に対する比を決定する段階と、
前記別の画素の前記光強度の調整のための増幅因子を決定する段階であって、前記増幅因子が、前記画素の前記光強度の調整のための前記増幅因子と、前記画素の前記光強度の、前記別の画素の前記光強度に対する比との積である、増幅因子を決定する段階と、を含む、請求項10または11に記載の方法。 - 前記比較を実行する段階(308)が、前記風景の一部が前記参照画素及び前記画素について同じであるような、前記画像の各対における前記参照画素の前記光強度と前記画素の前記光強度との比較を実行する段階を含み、
前記増幅因子を決定する段階が、前記画像の各対について、前記参照画素の前記光強度の、前記画素の前記光強度に対する比の平均を決定する段階を含む、請求項10から12のいずれか一項に記載の方法。 - 前記画素のうちいずれかの特定の画素について、前記方法が、
前記風景の一部が、前記画像のうち1つの画像における前記参照画素及び、前記画像のうち別の画像における前記特定の画素について同じであるような、前記画像のうち1つの画像における前記参照画素の光強度と、前記画像のうち別の画像における前記特定の画素の光強度との比較を実行する段階と、
前記参照画素の光強度と前記特定の画素の光強度とが、不良画素を示す所定の閾値よりも大きな値だけ異なるような例において、前記特定の画素を不良画素として識別する段階を含む、請求項10から13のいずれか一項に記載の方法。 - 前記レンズ(106、108)または前記検出器アレイ(104)に結合されたトランスデューサ(116)によって、前記レンズ(106、108)または前記検出器アレイ(104)及びそれにより前記焦点面(112)を動かす段階と、
前記トランスデューサ(116)と通信可能である制御ユニット(118)によって、前記レンズ(106、108)または前記検出器アレイ(104)を動かすために、前記トランスデューサ(116)を制御する段階と、をさらに含む、請求項10から14のいずれか一項に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/668,310 US10264191B2 (en) | 2017-08-03 | 2017-08-03 | Calibration of pixels for producing super resolution images |
US15/668,310 | 2017-08-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019029999A JP2019029999A (ja) | 2019-02-21 |
JP7111528B2 true JP7111528B2 (ja) | 2022-08-02 |
Family
ID=63254511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018120682A Active JP7111528B2 (ja) | 2017-08-03 | 2018-06-26 | 超解像度画像を生成するための画素の較正 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10264191B2 (ja) |
EP (1) | EP3439286B1 (ja) |
JP (1) | JP7111528B2 (ja) |
CN (1) | CN109391752B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6684382B2 (en) | 2001-08-31 | 2004-01-27 | Numerical Technologies, Inc. | Microloading effect correction |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220301193A1 (en) * | 2019-09-02 | 2022-09-22 | Sony Group Corporation | Imaging device, image processing device, and image processing method |
US11595573B2 (en) * | 2021-06-25 | 2023-02-28 | Hewlett-Packard Development Company, L.P. | Adjustable imaging devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004214890A (ja) | 2002-12-27 | 2004-07-29 | Minolta Co Ltd | 固体撮像装置 |
JP2007189370A (ja) | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | 撮像装置、および多素子検出器の補正方法 |
US20120249799A1 (en) | 2011-03-30 | 2012-10-04 | Yukiko Shibata | Image capture device, pixel output level compensation method for same, infrared camera system, and interchangeable lens system |
US20160093021A1 (en) | 2014-09-29 | 2016-03-31 | The Boeing Company | Move Based and Sonic Based Super Resolution |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5400070A (en) | 1992-10-07 | 1995-03-21 | Eastman Kodak Company | Lever actuated optical offset image sampling system |
DE69528915T2 (de) | 1994-02-28 | 2003-07-31 | Canon K.K., Tokio/Tokyo | Bildaufnahmevorrichtung |
US5514865A (en) | 1994-06-10 | 1996-05-07 | Westinghouse Electric Corp. | Dither image scanner with compensation for individual detector response and gain correction |
US5789622A (en) | 1996-09-12 | 1998-08-04 | Trw Inc. | Focal plane array calibration method |
JP4536170B2 (ja) | 1996-12-27 | 2010-09-01 | シャープ株式会社 | 撮像装置 |
US6184527B1 (en) | 1997-08-26 | 2001-02-06 | Raytheon Company | Dither correction for infrared detector arrays |
US6208765B1 (en) | 1998-06-19 | 2001-03-27 | Sarnoff Corporation | Method and apparatus for improving image resolution |
JP2002209223A (ja) * | 2001-01-09 | 2002-07-26 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
US7218751B2 (en) | 2001-06-29 | 2007-05-15 | Digimarc Corporation | Generating super resolution digital images |
US9270868B2 (en) | 2005-03-15 | 2016-02-23 | Hewlett-Packard Development Company, L.P. | Charge coupled device |
US7884861B2 (en) | 2005-03-22 | 2011-02-08 | Microview Technologies PTD Ltd. | Image resolution multiplier |
US7657000B2 (en) | 2006-11-27 | 2010-02-02 | Cmt Medical Technologies Ltd. | Method and apparatus for dual energy radiography |
JP4356777B2 (ja) * | 2007-06-18 | 2009-11-04 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP5523017B2 (ja) * | 2009-08-20 | 2014-06-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9083948B2 (en) * | 2012-07-18 | 2015-07-14 | Qualcomm Incorporated | Crosstalk reduction in multiview video processing |
DE102013114996A1 (de) * | 2013-01-07 | 2014-07-10 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Bildsuperauflösung für dynamischen Rückspiegel |
-
2017
- 2017-08-03 US US15/668,310 patent/US10264191B2/en active Active
-
2018
- 2018-06-26 JP JP2018120682A patent/JP7111528B2/ja active Active
- 2018-07-31 EP EP18186609.6A patent/EP3439286B1/en active Active
- 2018-08-01 CN CN201810866861.6A patent/CN109391752B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004214890A (ja) | 2002-12-27 | 2004-07-29 | Minolta Co Ltd | 固体撮像装置 |
JP2007189370A (ja) | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | 撮像装置、および多素子検出器の補正方法 |
US20120249799A1 (en) | 2011-03-30 | 2012-10-04 | Yukiko Shibata | Image capture device, pixel output level compensation method for same, infrared camera system, and interchangeable lens system |
JP2012209848A (ja) | 2011-03-30 | 2012-10-25 | Tamron Co Ltd | 撮像装置、その画素出力レベル補正方法、赤外線カメラシステム及び交換可能なレンズシステム |
US20160093021A1 (en) | 2014-09-29 | 2016-03-31 | The Boeing Company | Move Based and Sonic Based Super Resolution |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6684382B2 (en) | 2001-08-31 | 2004-01-27 | Numerical Technologies, Inc. | Microloading effect correction |
Also Published As
Publication number | Publication date |
---|---|
US10264191B2 (en) | 2019-04-16 |
CN109391752A (zh) | 2019-02-26 |
EP3439286B1 (en) | 2022-05-04 |
CN109391752B (zh) | 2021-08-10 |
EP3439286A1 (en) | 2019-02-06 |
JP2019029999A (ja) | 2019-02-21 |
US20190045106A1 (en) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230362344A1 (en) | System and Methods for Calibration of an Array Camera | |
JP5649091B2 (ja) | 画像キャプチャ装置および画像キャプチャ方法 | |
JP5929553B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP7111528B2 (ja) | 超解像度画像を生成するための画素の較正 | |
US20120044369A1 (en) | Imaging apparatus, aberration correcting method, and program | |
CN105980928B (zh) | 使用超声波深度感测的rgb-d成像系统和方法 | |
JP2012123296A (ja) | 電子機器 | |
CN101438577A (zh) | 具有改善的图像质量的图像获取装置 | |
JP2009288042A (ja) | 距離測定装置 | |
CN104427251A (zh) | 焦点检测设备、其控制方法、以及摄像设备 | |
CN104581137A (zh) | 检测设备、摄像设备、摄像系统和检测设备的控制方法 | |
US20150287208A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
US11812137B2 (en) | Measurement apparatus, image capturing apparatus, control method, and recording medium | |
US10084978B2 (en) | Image capturing apparatus and image processing apparatus | |
JP5493900B2 (ja) | 撮像装置 | |
US9430814B2 (en) | Move based and sonic based super resolution | |
JP5939945B2 (ja) | 移動物体の位置検出装置及び方法 | |
JPWO2017199559A1 (ja) | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 | |
JP2018066931A5 (ja) | ||
JP2022545748A (ja) | Tofカメラ | |
JP6625184B2 (ja) | 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム | |
KR100999887B1 (ko) | 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 | |
JP2024060961A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
KR20210114846A (ko) | 고정된 기하학적 특성을 이용한 카메라 모듈, 촬상 장치 및 이미지 처리 방법 | |
JP5855485B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220721 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7111528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |