JP5220777B2 - 画像処理装置、撮像装置、プログラム及び画像処理方法 - Google Patents
画像処理装置、撮像装置、プログラム及び画像処理方法 Download PDFInfo
- Publication number
- JP5220777B2 JP5220777B2 JP2010010656A JP2010010656A JP5220777B2 JP 5220777 B2 JP5220777 B2 JP 5220777B2 JP 2010010656 A JP2010010656 A JP 2010010656A JP 2010010656 A JP2010010656 A JP 2010010656A JP 5220777 B2 JP5220777 B2 JP 5220777B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- light receiving
- unit
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 35
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000004364 calculation method Methods 0.000 claims description 48
- 238000011156 evaluation Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 description 163
- 230000006870 function Effects 0.000 description 42
- 230000008569 process Effects 0.000 description 27
- 238000005070 sampling Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
- H04N7/0152—High-definition television systems using spatial or temporal subsampling
- H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
そこで、本実施形態では、画素ずらしにより高フレームレートの低解像動画を撮影し、その低解像動画から簡素な画素推定手法で高解像画像を生成する。そして、生成した高解像画像を用いて、動画の中の任意タイミングの高解像静止画を取得したり、高フレームレートの高解像動画を取得する。
a00=b00+b10,
a10=b10+b20 ・・・ (1)
b00=(未知数),
b10=a00−b00,
b20=b00+δi0=b00+(a10−a00) ・・・ (2)
δi0=a10−a00
=(b10+b20)−(b00+b10)
=b20−b00 ・・・ (3)
b00=v00+v01,
b01=v01+v02 ・・・ (5)
v00=(未知数),
v01=b00−v00,
v02=v00+δj0=v00+(b01−b00) ・・・ (6)
δi0=b01−b00
=(v01+v02)−(v00+v01)
=v02−v00 ・・・ (7)
Ej=(b00−α)2+ξ ・・・ (9)
図2(B)等で上述のように、中間画素値b00、b10に設定された推定処理ブロックでは、中間画素値b20まで推定される。このb20は、中間画素値b20、b30に設定された次の推定処理ブロックでの未知数(初期変数)に当たる。本実施形態では、既に推定された中間画素値b20を利用して、次に推定する未知数b20の推定を高速化することができる。
a00=b00+b10,
a10=b10+b20 ・・・ (10)
b00=(未知数),
b10=a00−b00,
b20=b00+δi0=b00+(a10−a00) ・・・ (11)
δi0=a10−a00
=(b10+b20)−(b00+b10)
=b20−b00 ・・・ (12)
a20=b20+b30,
a30=b30+b40 ・・・ (14)
b20=(未知数),
b30=a20−b20,
b40=b20+δi2=b20+(a30−a20) ・・・ (15)
δi2=a30−a20
=(b30+b40)−(b20+b30)
=b40−b20 ・・・ (16)
上述の実施形態では、未知数(b00、b20等)を1回だけ推定するが、本実施形態では、未知数を複数回推定し、その複数の推定値に基づいて未知数の値を高精度に決定してもよい。図16、図17を用いて、複数の推定値から未知数の値を決定する第3の推定手法について説明する。以下では、中間画素値(b20)を例に説明するが、推定画素値(v02等)も同様に推定できる。
上述の推定手法では、最小二乗法を用いて画素値を推定するが、本実施形態では、ニューラルネットワーク(非線形の推定手法)を用いて画素値を推定してもよい。図18を用いて、この第4の推定手法について説明する。以下では、中間画素値(b00等)の推定について説明するが、推定画素値(v00等)も同様に推定できる。
本実施形態では、推定された画素値vijに対して、画素位置(例えば、受光単位内での画素位置)に応じたノイズフィルタ処理(広義にはフィルタ処理)を行ってもよい。図19に、ノイズフィルタの構成例を示す。
上述の推定手法では、受光単位内の画素値を単純加算して読み出しているが、本実施形態では、受光単位内の画素値を重み付け加算して読み出し、その受光値から推定画素値を求めてもよい。図20〜図28を用いて、この第5の推定手法について説明する。
c1=1,c2=1/r,c3=1/r,c4=1/r2 ・・・ (19)
c1=1、c2=1/2、c3=1/2、c4=1/4 ・・・ (20)
a00=c1v00+c2v01+c3v10+c4v11
a10=c1v10+c2v11+c3v20+c4v21 ・・・ (21)
b00=c1v00+c2v01=v00+(1/2)v01
b10=c1v10+c2v11=v10+(1/2)v11
b20=c1v20+c2v21=v20+(1/2)v21 ・・・ (22)
a00=v00+(1/2)v01+(1/2)v10+(1/4)v11
=b00+(1/2)b10
a10=v10+(1/2)v11+(1/2)v20+(1/4)v21
=b10+(1/2)b20 ・・・ (23)
δi0=a10−2a00
=(1/2)v20+(1/4)v21−(2v00+v01)
=(1/2)b20−2b00 ・・・ (24)
b00=(未知数),
b10=2(a00−b00),
b20=4b00+2δi0=4b00+2(a10−2a00) ・・・ (25)
aij=bij+(1/2)b(i+1)j ・・・ (26)
b00=c1v00+c2v01=v00+(1/2)v01,
b01=c1v01+c2v02=v01+(1/2)v02 ・・・ (28)
δj0=b01−2b00
=(v01+(1/2)v02)−(2v00+v01)
=(1/2)v02−2v00 ・・・ (29)
v00=(未知数),
v01=2(b00−v00),
v02=4v00+2δj0=4v00+2(b01−2b00) ・・・ (30)
bij=vij+(1/2)vi(j+1) ・・・ (31)
本実施形態では、画素値の推定に用いる受光値(a00等)として、加算読み出しされた受光値をそのまま用いてもよく、補間により生成された受光値を用いてもよい。図29〜図32を用いて、本実施形態における受光値の補間手法について説明する。図29には、第1の補間手法の説明図を示す。
これにより、各ポジション(例えばP1)の受光値(fx、fx+4のaij)をそれぞれ時間軸補間し、欠落ポジション(fx+1〜fx+3のP1)の受光値(a’ij)を生成できる。
本実施形態では、被写体の動きに応じた適応的な受光値の補間を行ってもよい。図33、図34を用いて、適応的な受光値の補間を行う第2の補間手法について説明する。
|a00(x)−a00(x+4)|≦δのとき、
a00(x+1)=a00(x)=a00(x+4)
|a00(x)−a00(x+4)|>δのとき、
a00(x+1)={a10(x+1)+a(−1)0(x+1)}/2
・・・ (33)
|a11(x−2)−a11(x+2)|≦δのとき、
a11(x+1)=a11(x−2)=a11(x+2)
|a11(x−2)−a11(x+2)|>δのとき、
a11(x+1)={a10(x+1)+a12(x+1)}/2
・・・ (34)
|a01(x−1)−a01(x+3)|≦δのとき、
a01(x+1)=a01(x−1)=a01(x+3)
|a01(x−1)−a01(x+3)|>δのとき、
a01(x+1)={a10(x+1)+a(−1)2(x+1)}/2
・・・ (35)
上記の実施形態では、モノクロ画像の画素値推定について説明したが、本実施形態は、カラー画像の画素値推定にも適用できる。図35を用いて、カラー画像の第1の推定手法について説明する。
a00=R10+G100+G211+B01,
a10=R10+G120+G211+B21,
a01=R12+G102+G211+B01,
a11=R12+G122+G211+B21 ・・・ (36)
本実施形態では、RGBを分離して加算読み出しし、RGBの最終画素値を推定してもよい。図36〜図39を用いて、このカラー画像の第2の推定手法について説明する。
a00=G100+G120+G102+G122,
a10=G120+G140+G122+G142,
a01=G102+G122+G104+G124,
a11=G122+G142+G124+G144 ・・・ (37)
a00=G211+G231+G213+G233,
a10=G231+G251+G233+G253,
a01=G213+G233+G215+G235,
a11=G233+G253+G235+G255 ・・・ (38)
a00=R10+R30+R12+R32,
a10=R30+R50+R32+R52,
a01=R12+R32+R14+R34,
a11=R32+R52+R34+R54 ・・・ (39)
a00=B01+B21+B03+B23,
a10=B21+B41+B23+B43,
a01=B03+B23+B05+B25,
a11=B23+B43+B25+B45 ・・・ (40)
上述の実施形態では、受光単位を4画素毎に設定したが、本実施形態では、撮像画像の明るさに応じて受光単位の設定画素数を変化させてもよい。図40、図41を用いて、この明るさに適応した加算画素数の設定手法について説明する。
110 光学ローパスフィルタ、120 撮像素子、
130 重畳シフトサンプリング部、140 データ記録部、150 表示処理部、
160 モニター表示部、170 明るさ検出部、180 加算画素数設定部、
200 時間軸画素補間部、210 画素値推定演算部、
220,250 アンチエリアシングフィルタ、230 ローパスフィルタ、
240 アンダーサンプリング部、300 画像出力部、
Bk00 推定処理ブロック、a00 受光単位、v00 推定画素値、
b00 中間画素値、p 画素ピッチ、i,j 画素位置、δi0 受光値の差分値、
Ej,Ei 評価関数、c1〜c4 重み係数、P1〜P4 ポジション、
fx フレーム
Claims (14)
- 受光値を取得する単位である受光単位が、カラー撮像素子が有する水平方向及び垂直方向に隣接する複数の画素毎に設定され、前記受光単位に含まれる複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を備え、
前記記憶部は、
前記受光単位が1画素ずつ順次画素シフトされて取得された、前記受光単位を構成する画素数と同数の前記低解像フレーム画像を記憶し、
前記推定演算部は、
前記受光単位が順次画素シフトされることで得られた複数の前記低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定することを特徴とする画像処理装置。 - 請求項1において、
前記画素シフトにより、前記受光単位が、第1のポジションと、前記第1のポジションの次の第2のポジションに順次設定され、前記第1のポジションの受光単位と前記第2のポジションの受光単位が重畳する場合に、
前記推定演算部は、
前記第1、第2のポジションの受光単位の受光値の差分値を求め、
前記第1のポジションの受光単位から重畳領域を除いた第1の受光領域の受光値である第1の中間画素値と、前記第2のポジションの受光単位から前記重畳領域を除いた第2の受光領域の受光値である第2の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第1、第2の中間画素値を推定し、推定した前記第1の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする画像処理装置。 - 請求項2において、
前記推定演算部は、
前記第1、第2の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、
中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする画像処理装置。 - 請求項1乃至3のいずれかにおいて、
前記受光単位の各画素値は、前記受光単位内での画素位置に応じた重み付け係数で重み付け加算されて前記受光単位の受光値として読み出され、
前記推定演算部は、
重み付け加算により得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。 - 請求項4において、
前記受光単位内での前記水平方向の画素位置をxとし、前記受光単位内での前記垂直方向の画素位置をyとし、前記受光単位内での前記水平方向の左端及び前記垂直方向の上端の画素位置を(x,y)=(0,0)とし、前記水平方向の右方向をxの正方向とし、前記垂直方向の下方向をyの正方向とし、rを1より大きい実数とする場合に、
前記受光単位内での前記画素位置(x,y)に応じた前記重み付け係数C(x,y)は、C(x,y)=1/r (x+y) であることを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記画素シフトが各フレームで行われ、前記画素シフトにより設定される前記受光単位の各ポジションに対応して時系列に連続する前記低解像フレーム画像が取得される場合に、
補間対象のフレームの前記低解像フレーム画像での欠落したポジションの受光単位の受光値を、前記補間対象のフレームの前後のフレームの前記低解像フレーム画像での、前記欠落したポジションと同じポジションの受光単位の受光値を用いて時間軸補間する補間処理部と、
を備え、
前記推定演算部は、
前記時間軸補間により補間された前記低解像フレーム画像に基づいて、前記各フレームでの前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。 - 請求項6において、
前記画像出力部は、
前記推定演算部により推定された前記各フレームでの前記受光単位の各画素の画素値に基づく各フレームでの前記高解像フレーム画像を、動画として出力することを特徴とする画像処理装置。 - 請求項6または7において、
前記補間処理部は、
前記時間軸補間を時間軸補間フィルタにより行うことを特徴とする画像処理装置。 - 請求項6または7において、
前記補間処理部は、
前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より小さい場合には、
前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記前後のフレームでの、前記欠落したポジションと同じポジションの受光単位の受光値を用いて補間し、
前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より大きい場合には、前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記補間対象のフレームで取得された受光値を用いて補間することを特徴とする画像処理装置。 - 請求項1乃至9のいずれかにおいて、
前記受光単位に含まれる画素数は、前記撮像素子により撮像された画像の明るさに応じて設定されることを特徴とする画像処理装置。 - 請求項10において、
前記明るさは、前記画像の平均輝度であることを特徴とする画像処理装置。 - 請求項11において、
前記受光単位の画素数は、前記平均輝度が所定の閾値よりも小さい場合に増加されることを特徴とする画像処理装置。 - カラー撮像素子と、
前記カラー撮像素子が有する水平方向及び垂直方向に隣接する複数の画素毎に受光単位を設定し、前記受光単位の複数の画素の画素値を加算して前記受光単位の受光値として読み出し、低解像度フレーム画像を取得する読出制御部と、
前記読出制御部により取得された前記低解像フレーム画像を記憶する記憶部と、
前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を備え、
前記読出制御部は、
前記受光単位を1画素ずつ順次画素シフトし、前記受光単位を構成する画素数と同数の前記低解像フレーム画像を取得し、
前記推定演算部は、
前記受光単位が順次画素シフトされることで得られた複数の前記低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする撮像装置。 - カラー撮像素子が有する水平方向及び垂直方向に隣接する複数の画素毎に受光単位が設定され、前記受光単位の複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、
前記受光単位が1画素ずつ順次画素シフトされて取得された、前記受光単位を構成する画素数と同数の前記低解像フレーム画像を記憶し、
前記受光単位が順次画素シフトされることで得られた複数の前記低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定し、
推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010010656A JP5220777B2 (ja) | 2010-01-21 | 2010-01-21 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
EP11734713.8A EP2528320B1 (en) | 2010-01-21 | 2011-01-20 | Image processing device, imaging device, program, and image processing method |
CN201180005234.XA CN102726037B (zh) | 2010-01-21 | 2011-01-20 | 图像处理装置、摄像装置和图像处理方法 |
PCT/JP2011/050948 WO2011090107A1 (ja) | 2010-01-21 | 2011-01-20 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
US13/532,071 US8698906B2 (en) | 2010-01-21 | 2012-06-25 | Image processing device, imaging device, information storage medium, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010010656A JP5220777B2 (ja) | 2010-01-21 | 2010-01-21 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011151569A JP2011151569A (ja) | 2011-08-04 |
JP2011151569A5 JP2011151569A5 (ja) | 2013-02-21 |
JP5220777B2 true JP5220777B2 (ja) | 2013-06-26 |
Family
ID=44306907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010010656A Active JP5220777B2 (ja) | 2010-01-21 | 2010-01-21 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8698906B2 (ja) |
EP (1) | EP2528320B1 (ja) |
JP (1) | JP5220777B2 (ja) |
CN (1) | CN102726037B (ja) |
WO (1) | WO2011090107A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5341010B2 (ja) * | 2010-04-15 | 2013-11-13 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
JP2012231378A (ja) * | 2011-04-27 | 2012-11-22 | Olympus Corp | 撮像装置及び画像生成方法 |
JP2012231377A (ja) * | 2011-04-27 | 2012-11-22 | Olympus Corp | 撮像装置及び画像生成方法 |
US8687923B2 (en) * | 2011-08-05 | 2014-04-01 | Adobe Systems Incorporated | Robust patch regression based on in-place self-similarity for image upscaling |
US9123138B2 (en) | 2013-06-18 | 2015-09-01 | Adobe Systems Incorporated | Adaptive patch-based image upscaling |
US9984440B2 (en) | 2013-06-18 | 2018-05-29 | Adobe Systems Incorporated | Iterative patch-based image upscaling |
US9135683B2 (en) * | 2013-09-05 | 2015-09-15 | Arecont Vision, Llc. | System and method for temporal video image enhancement |
US8917327B1 (en) * | 2013-10-04 | 2014-12-23 | icClarity, Inc. | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
WO2015165528A1 (en) * | 2014-04-30 | 2015-11-05 | Siemens Aktiengesellschaft | Method and a device for generating a high quality image using pixel shifted low resolution images |
TW201624421A (zh) * | 2014-12-17 | 2016-07-01 | 由田新技股份有限公司 | 影像資料產生方法及裝置 |
US9984494B2 (en) * | 2015-01-26 | 2018-05-29 | Uber Technologies, Inc. | Map-like summary visualization of street-level distance data and panorama data |
US9760978B1 (en) * | 2016-05-09 | 2017-09-12 | Adobe Systems Incorporated | Missing region prediction |
US9911201B2 (en) | 2016-06-23 | 2018-03-06 | Adobe Systems Incorporated | Imaging process initialization techniques |
KR20210134066A (ko) | 2016-08-03 | 2021-11-08 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템 |
EP3296749B1 (en) * | 2017-01-27 | 2019-01-23 | Sick IVP AB | Motion encoder |
JP6981760B2 (ja) * | 2017-03-10 | 2021-12-17 | 株式会社半導体エネルギー研究所 | 半導体装置 |
KR102695519B1 (ko) | 2018-07-02 | 2024-08-14 | 삼성전자주식회사 | 영상 모델 구축 장치 및 방법 |
JP6896175B2 (ja) * | 2018-07-27 | 2021-06-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
CN115314627B (zh) * | 2021-05-08 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、系统及摄像机 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005149266A (ja) * | 2003-11-18 | 2005-06-09 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5011519B2 (ja) * | 2005-07-05 | 2012-08-29 | 国立大学法人東京工業大学 | 固体撮像素子の信号読み出し方法及び画像信号処理方法 |
JP2007251343A (ja) * | 2006-03-14 | 2007-09-27 | Pentax Corp | 撮像素子駆動装置及びオートフォーカスユニット |
JPWO2008053791A1 (ja) * | 2006-10-31 | 2010-02-25 | 三洋電機株式会社 | 撮像装置および撮像装置における映像信号生成方法 |
US8237808B2 (en) | 2007-01-17 | 2012-08-07 | Sony Corporation | Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition |
JP4786631B2 (ja) * | 2007-01-17 | 2011-10-05 | ソニー株式会社 | 固体撮像装置、撮像装置 |
JP2008243037A (ja) | 2007-03-28 | 2008-10-09 | National Univ Corp Shizuoka Univ | 画像処理装置、画像処理方法および画像処理プログラム |
JP5263753B2 (ja) * | 2007-11-19 | 2013-08-14 | 株式会社ザクティ | 超解像処理装置及び方法並びに撮像装置 |
JP2009181508A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2011248576A (ja) * | 2010-05-26 | 2011-12-08 | Olympus Corp | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
-
2010
- 2010-01-21 JP JP2010010656A patent/JP5220777B2/ja active Active
-
2011
- 2011-01-20 WO PCT/JP2011/050948 patent/WO2011090107A1/ja active Application Filing
- 2011-01-20 CN CN201180005234.XA patent/CN102726037B/zh active Active
- 2011-01-20 EP EP11734713.8A patent/EP2528320B1/en active Active
-
2012
- 2012-06-25 US US13/532,071 patent/US8698906B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120320228A1 (en) | 2012-12-20 |
EP2528320A4 (en) | 2016-07-27 |
WO2011090107A1 (ja) | 2011-07-28 |
CN102726037A (zh) | 2012-10-10 |
US8698906B2 (en) | 2014-04-15 |
JP2011151569A (ja) | 2011-08-04 |
EP2528320B1 (en) | 2017-11-01 |
CN102726037B (zh) | 2015-08-19 |
EP2528320A1 (en) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5220777B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5341010B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
TWI451754B (zh) | 改善缺陷色彩及全色彩色濾光器陣列影像 | |
KR101612165B1 (ko) | 초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터 | |
TWI459324B (zh) | 修改色彩及全色通道彩色濾光片陣列影像 | |
WO2011148760A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5133281B2 (ja) | 撮像処理装置 | |
JP4218022B2 (ja) | 合成画像を生成する方法 | |
JP5306563B2 (ja) | 撮像装置及び画像生成方法 | |
US9432563B2 (en) | Three-dimensional imaging through multi-image processing | |
JP4317587B2 (ja) | 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム | |
JP2011151569A5 (ja) | ||
US20100209009A1 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
US8723969B2 (en) | Compensating for undesirable camera shakes during video capture | |
JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2012142676A (ja) | 撮像装置及び画像生成方法 | |
JP6218520B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20140117242A (ko) | 영상 처리 장치 및 방법 | |
JP2013125999A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2012231378A (ja) | 撮像装置及び画像生成方法 | |
JP2012119852A (ja) | 撮像装置及び撮像方法 | |
JP2012231379A (ja) | 撮像装置及び画像生成方法 | |
JP2009047733A (ja) | 撮像装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130306 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5220777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |