JPWO2017158690A1 - 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 - Google Patents
画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 Download PDFInfo
- Publication number
- JPWO2017158690A1 JPWO2017158690A1 JP2016560837A JP2016560837A JPWO2017158690A1 JP WO2017158690 A1 JPWO2017158690 A1 JP WO2017158690A1 JP 2016560837 A JP2016560837 A JP 2016560837A JP 2016560837 A JP2016560837 A JP 2016560837A JP WO2017158690 A1 JPWO2017158690 A1 JP WO2017158690A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- unit
- position information
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000003384 imaging method Methods 0.000 title claims description 29
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000004075 alteration Effects 0.000 claims abstract description 270
- 238000012937 correction Methods 0.000 claims abstract description 195
- 230000003287 optical effect Effects 0.000 claims abstract description 52
- 230000010363 phase shift Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 137
- 238000004364 calculation method Methods 0.000 claims description 122
- 238000000034 method Methods 0.000 claims description 122
- 230000008569 process Effects 0.000 claims description 97
- 238000013139 quantization Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000013041 optical simulation Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 35
- 238000003702 image correction Methods 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
特許文献3には、解像度変換を行う際の画質劣化を未然に防止する技術が開示されている。
特許文献4及び特許文献5には、レンズ収差に起因する像の歪みを補正するための補正量を精度良く求める技術が開示されている。
コード分類型適応フィルタは、第1の画像を第2の画像に変換する画像変換処理であり、第1及び第2の画像の定義に応じて様々な信号処理を行う。
例えば、第1の画像が低解像度画像であり、第2の画像が高解像度画像の場合、コード分類型適応フィルタは、解像度を向上させる超解像処理を行う。
第2の画像が第1の画像よりも画素数が多い又は少ない場合、コード分類型適応フィルタは、画像のリサイズ(拡大又は縮小)処理を行う。
第1の画像が位相をシフトさせた画像であり、第2の画像が位相をシフトさせていない画像の場合、コード分類型適応フィルタは、位相シフト処理を行う。
注目画素選択部11は、第2の画像を構成するそれぞれの画素を、順次、注目画素として選択し、選択した注目画素を表す情報を所定のブロックに供給する。
なお、フィルタタップとコードタップのタップ構造(選択される画素の構造)は、同一のタップ構造であっても良いし、異なるタップ構造であっても良い。
以上のようなコードタップを構成するNビットの各画素の画素値が所定の順番で並べられ、並べられたビット列がDR量子化コードとして出力される。
ステップS11では、注目画素選択部11は、画像変換装置10に入力された第1の画像に対する第2の画像を構成する画素のうち、まだ注目されていない(変換処理されていない)画素の1つを注目画素として選択する。注目画素選択部11は、例えば、第2の画像を構成する各画素に対して、ラスタースキャン順に、まだ注目されていない画素から注目画素を選択する。そして、ステップS12へ進む。
次に、積和演算部16の積和演算と、係数記憶部15に記憶されるタップ係数の学習について説明する。ここでは、第2の画像が高画質画像であり、第1の画像がその高画質画像にLPF(Low Pass Filter)処理を施して画質(解像度)を低下させた低画質画像であるものとする。
第kサンプル(k番目)の高画質画素の画素値の真値をykと表し、式(1)によって得られるその真値ykの予測値をyk’と表す。予測値yk’の真値ykに対する予測誤差ekは、式(2)で表される。
学習装置20の学習用画像記憶部21は、タップ係数wnの学習に用いられる学習用画像を記憶している。なお、学習用画像は、例えば、解像度の高い高画質画像が該当する。
生徒データ生成部24は、学習用画像記憶部21から学習用画像を読み出す。生徒データ生成部24は、学習用画像から、タップ係数の学習の生徒、すなわち、式(1)による予測演算としての写像による変換対象の画素値となる生徒データ(生徒画像)を生成し、生徒データ記憶部25に供給する。
生徒データ記憶部25は、生徒データ生成部24から供給される低画質画像を生徒データとして記憶する。
注目画素選択部31は、教師データ記憶部23に記憶されている教師データを構成する画素を、順次注目画素として選択し、その注目画素を表す情報を所定のブロックに供給する。
図1の画像変換装置10における係数記憶部15には、以上のようにして求められたコード毎のタップ係数wnが記憶されている。
ステップS21では、教師データ生成部22は、学習用画像記憶部21に記憶された学習用画像から教師データを生成し、生成した教師データを教師データ記憶部23に供給する。生徒データ生成部24は、学習用画像記憶部21に記憶された学習用画像から生徒データを生成し、生成した生徒データを生徒データ記憶部25に供給する。そして、ステップS22へ進む。なお、教師データ又は生徒データとして最適な学習用画像は、コード分類型適応フィルタがどのような画像変換処理を行うかに応じて、選択される。
図4に示すコードタップ選択部33は、注目画素について、図3に示す生徒データ記憶部25に記憶された生徒データからコードタップとする生徒データを選択し、コード演算部34に供給する。そして、ステップS24に進む。
図6は、本発明の第1の実施の形態に係るディジタルカメラ40の構成例を示すブロック図である。ディジタルカメラ40は、光学系の設計情報を用いて、収差のない静止画又は動画を撮影する。
光学系41は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り、光学ローパスフィルタ等を有する。光学系41は、外部からの光をイメージセンサ42に入射させる。光学系41は、図示せぬズームレンズのズーム情報、絞りの絞り情報などの撮影情報を画像補正部45に供給する。
記憶部43は、イメージセンサ42が出力する画像を一時記憶する。
画像補正部45は、光学系41より供給された撮影情報を用いて、信号処理部44から供給された画像に対して収差補正等の画像補正処理を行う。
制御部47は、ユーザの操作等に従い、ディジタルカメラ40を構成する各ブロックを制御する。
イメージセンサ42が出力する画像は、記憶部43に供給されて記憶される。記憶部43に記憶された画像は、信号処理部44及び画像補正部45による信号処理が施される。画像補正部45による画像補正済みの画像は、出力部46を介して、外部に出力される。
図7は、図6の画像補正部45で行われる収差補正処理を行う画像変換装置50の構成例を示すブロック図である。
歪曲収差とは、画像の中心から放射方向に画像が伸縮して画像が歪曲することをいう。但し、画像の中心は、撮像光学系の光軸とイメージセンサの撮像面との交点とする。
図10は、図7の歪曲収差補正位置情報生成処理部53の処理を説明するフローチャートである。
図7の係数補間処理部56は、図6の光学系41からズームレンズのズーム量や絞り値などの撮影情報が供給されると、現在のズーム量又は絞り値に対応する位置別係数を生成して、位置別係数記憶部57に供給する。
ステップS41では、係数補間処理部56は、光学系41から供給された撮影情報(例えば、ズームレンズのズーム情報やF値、交換レンズに対応した複数の係数値)を参照して、図7の係数記憶部55から、現在の撮影情報の近傍の値に対応する複数の係数を読み出す。そして、ステップS42に進む。
画像変換装置50は、光学系41から撮影情報が供給され、信号処理部44から信号処理済みの画像(第1の画像)が供給されると、次の処理を行う。
画像変換装置70は、入力画像の微小な収差補正処理、具体的には、入力画像に発生しうるジャギーやリンギングを抑制しつつ入力画像に対して位相シフト補正を行うコード分類型適応フィルタである。
画像変換装置70に供給された入力画像(第1の画像)は、コードタップ選択部72及びフィルタタップ選択部73に供給される。なお、入力画像は、例えば、RGBの各色成分の画素値である。
フィルタタップ選択部72は、例えば、図1のフィルタタップ選択部12と同様に、注目画素の位置から近い位置にある第1の画像の複数の画素の画素値をフィルタタップとして選択し、選択したフィルタタップを積和演算部76に供給する。
コード演算部74は、コードタップ選択部73からのコードタップに基づいて、例えばDR量子化による量子化値、中心画素値からの差分比等を演算して、コードタップの特徴量を示すコードに分類し、当該コードを係数記憶部75に供給する。
係数記憶部75は、コード演算部74からコードが供給され、図7に示す歪曲収差補正位置情報記憶部54から位相情報(歪曲収差補正位置情報の小数点以下の情報)が供給されると、供給されたコードに対応し、かつ、供給された位相情報の近傍の複数のタップ係数を読み出す。読み出された複数のタップ係数は、積和演算部76に供給される。
積和演算器91〜106には、フィルタタップ(例えば後述する図17に示す13画素の各画素値)が入力される。さらに、積和演算器91〜106には、図15に示す16個のタップ係数がそれぞれ入力される。本実施の形態では、選択されたタップ係数の数は、積和演算器の数と同じであるが、積和演算器の数と異なる数であってもよい。
積和演算器92は、係数群2(例えば図15の16個の黒丸印のうちの左から1番目で上から2番目の黒丸印に対応するタップ係数)とフィルタタップ(例えば前述した13画素の各画素値)とを用いて積和演算を行い、画素値2を出力する。
同様に、積和演算器93,94は、係数群3、4(例えば図15の16個の黒丸印のうちの左から1番目で上から3番目及び4番目の黒丸印にそれぞれ対応するタップ係数)とフィルタタップ(例えば13画素の画素値)とを用いて積和演算を行い、画素値3,4を出力する。
以上のように、積和演算部76は、注目画素の画素値について、係数記憶部75より供給された複数のタップ係数(係数群1〜16)をそれぞれの積和演算器91〜106に供給して、複数の画素値1〜16を得て、これら複数の画素値1〜16を補間演算部77に供給する。
図17は、図14のフィルタタップ選択部72で選択されるフィルタタップの構成例を示す図である。
したがって、入力画像である第1の画像は、歪曲収差補正位置情報記憶部54からの位相情報に基づいて、位相シフトした第3の画像に変換される。
図18は、図14のコードタップ選択部73で選択されるコードタップの構成例を示す図である。太線の丸印は、コードタップとなる入力画素を表す。その他の丸印は、図17と同じである。
図19は、コード演算部74の構成例を示すブロック図である。
コード演算部74は、量子化演算部81、中心画素差分比検出部82、及び変換テーブル記憶部83を有する。
例えば、図18に示すコードタップの場合、コードタップを構成する13画素が1ビットDR量子化処理の対象となる。その結果、入力されたコードタップの特徴量を表す13ビットのDR量子化コードが得られる。
最初に、中心画素差分比検出部82は、画素位置(横軸)方向において、注目画素(中心画素)が中心となる所定の範囲を範囲1として設定し、注目画素が中心となり、かつ、範囲1を包含する広い範囲を範囲2として設定する。
図23は、図14の画像変換装置70による画像変換処理の例を説明するフローチャートである。
ステップS51では、注目画素選択部71は、画像変換装置70に入力される入力画像に対する出力画像を構成する画素のうち、まだ注目されていない画素の1つを注目画素として選択する。そして、ステップS52に進む。例えば、注目画素選択部71は、例えば、出力画像を構成する画素のうち注目画素として選択されていない画素を、ラスタースキャン順で注目画素として選択する。
図14に示す係数記憶部75に記憶されるタップ係数は、図3に示す学習装置20により求められる。
具体的には、図3に示す学習用画像記憶部21には、学習用画像として高画質画像が記憶される。
図7の第2収差補正処理部61は、図24に示す画像変換装置110を有する。画像変換装置110は、コード分類型適応フィルタを利用して、第1収差補正処理部60により歪曲収差が補正された第3の画像に対して、主に先鋭感改善のための収差補正処理を行う。なお、画像変換装置110は、先鋭感改善だけでなく、収差に起因するあらゆる画像の劣化を改善させるための収差補正を行う。
注目画素選択部71は、画像変換装置110の出力画像である第2の画像を構成するそれぞれ画素を、順次、注目画素として選択し、選択した注目画素を表す情報を所定のブロックに供給する。
コードタップ選択部73は、例えば、図1のフィルタタップ選択部13と同様に、注目画素の位置から近い位置にある第3の画像を構成する複数の画素の画素値をコードタップとして選択し、選択したコードタップをコード演算部74に供給する。
係数記憶部115は、図7の係数補間処理部56で求めた複数のタップ係数であって、図28に示すように注目画素選択部111からの位置情報を分割した位置情報(ブロック情報)によって読み出されたコード毎にタップ係数を記憶している。
積和演算部116は、係数記憶部115より供給された複数のタップ係数を、それぞれの積和演算器91〜106に供給することで複数の画素値1〜16を演算し、補間演算部117に供給する。
図25は、図24のフィルタタップ選択部112で選択されるフィルタタップの構成例を示す図である。
細線の丸印は、入力画素を表すと共に、出力画素も表す。出力画素は、図17と異なり、入力画素と同じ位置に変換される。
図26は、図24のコードタップ選択部113で選択されるコードタップの構成例を示す図である。太線の丸印は、コードタップとなる入力画素を表す。その他の丸印は、図25と同じである。
図27は、コード演算部114の構成例を示すブロック図である。
コード演算部114は、量子化演算部121、及び変換テーブル記憶部122を有する。
例えば、図26に示すコードタップの場合、コードタップを構成する9画素が1ビットDR量子化処理の対象となる。その結果、入力されたコードタップの特徴量を表す9ビットのDR量子化コードが得られる。
図29は、図24の画像変換装置110による画像変換処理の例を説明するフローチャートである。
係数記憶部115は、記憶しているタップ係数のうち、コード演算部114から供給されるコードに対応するアドレスに記憶されているタップ係数であって、注目画素選択部111から供給されるブロック情報に対応した近傍の複数のタップ係数を選択し、読み出す。積和演算部116は、係数記憶部115から出力された複数のタップ係数を取得する。そして、ステップS75に進む。
図24に示す係数記憶部115に記憶されるタップ係数は、図3に示す学習装置20により求められる。
具体的には、図3に示す学習用画像記憶部21には、学習用画像として先鋭感の高い高画質画像が記憶される。
生徒データ生成部24は、学習用画像記憶部21から学習用画像を読み出し、読み出した学習用画像に対して、図6の光学系41の設計データに基づく光学シミュレーションデータや歪曲収差補正データ等を用いて、画質を劣化させた生徒データ(生徒画像)を生成する。生徒データ生成部24は、生成された生徒データを生徒データ記憶部25に供給する。
図30は、図7の画像変換装置50による画像変換処理の例を説明するフォローチャートである。
ステップS91では、画像変換装置50は、図6の光学系41から、撮像レンズのズーム値や絞りのF値等の撮影情報を取得する。そして、ステップS92に進む。
さらに、フレーム記憶部58は、図12Bに示すように、その整数位置情報の画素近傍の4画素以上の画素値を読み出す。フレーム記憶部58は、画素値を位置情報整列部59に供給する。そして、ステップS97に進む。
第1収差補正処理部60は、図14に示す画像変換装置70に代えて、図31に示す画像変換装置150を有する構成であってもよい。
画像変換装置150には、入力画像(第1の画像)として、例えばRGBの各色成分の画素値が入力される。画像変換装置150は、入力画像の微小な歪曲収差を補正し、かつ、画像に発生しうるジャギーやリンギングを抑制した出力画像を得る。画像変換装置150は、入力画像の微小な歪曲収差補正として、入力画像を歪曲収差が改善された画像に変換する画像処理、サイン関数による補間処理、三角波フィルタによる補間処理(線形補間処理)等を行う。
ここで、画像信号Vaの画素間隔をΔt、画像信号Vaの画素位置nΔtの画素データをx(nΔt)、画像信号Vcの画素位置をtとする。画素位置tの画素データx(t)は、以下の式(15)により、画素位置tの前後に位置する画像信号VaのN個(適当な有限の数)の画素の画素値を用いて求められる。
注目画素選択部151は、出力画像を構成する画素を、順次注目画素として選択し、選択した注目画素を表す情報を所定のブロックに供給する。
つぎに、本発明の第2の実施の形態について説明する。
第1の実施の形態に係るディジタルカメラ40は、光学系の設計情報を用いて収差のない静止画又は動画を撮影する。但し、他社製の交換レンズを利用しようとすると、光学系の設計情報が手に入らないため、第1の実施の形態に係るディジタルカメラ40が利用できなくなる。
画像変換装置160は、図7に示す画像変換装置50と同様に、注目画素選択部51、歪曲収差テーブル記憶部52、歪曲収差補正位置情報生成処理部53、フレーム記憶部58、位置情報整列部59、及び第1収差補正処理部60を有する。
第2収差補正処理部162は、図33の画像変換装置170を有する。画像変換装置170は、主に先鋭感改善のための収差補正処理を行う。
画像変換装置170は、図24の画像変換装置110と同様に、注目画素選択部111、コードタップ選択部112、フィルタタップ選択部113、コード演算部114、及び積和演算部116を有する。
以上のように構成された画像変換装置170は、図29に示すフローチャートと同様にして、画像変換処理を行うことができる。
図33に示す係数記憶部171に記憶されるタップ係数は、図3に示す学習装置20により求められる。
具体的には、図3に示す学習用画像記憶部21には、学習用画像として先鋭感の高い高画質画像が記憶される。
生徒データ生成部24は、学習用画像記憶部21から学習用画像を読み出し、読み出した学習用画像に対してローパスフィルタ等でフィルタリングすることにより、教師データよりも先鋭感が低い生徒データ(生徒画像)を生成する。生徒データ生成部24は、生成された生徒データを生徒データ記憶部25に供給する。
図34は、図32の画像変換装置160による画像変換処理の例を説明するフォローチャートである。なお、ステップS121からステップS126までの処理は、図30に示すステップS91からステップS96までの処理と比較すると、F値の取得(ステップS91)、位置別係数の生成(ステップS92)を除き、同様に行われる。そこで、ステップS127以降の処理について説明する。
本発明は、前述した実施の形態に限定されるものではなく、請求の範囲に記載された事項の範囲内において種々の変更が可能である。
本発明は、1つの機能を、ネットワークを介して、複数の装置で分担、共同して処理するクラウドコンピューティングにも適用可能である。
本発明は、ディジタルカメラ、いわゆるスマートフォン、監視カメラ、内視鏡、顕微鏡、シネマカメラなどの撮像装置、画像を編集するアプリケーション等にも適用可能である。
放送局用カメラ、内視鏡、及び顕微鏡などは、リアルタイムで長時間の撮影することが多いため、カメラヘッドと画像処理装置に分かれているケースが多い。カメラヘッドと画像処理装置に分かれているシステムを、システムカメラという。本発明は、このようなシステムカメラにも適用可能である。
高級一眼ディジタルカメラ及び業務用カメラなどのレンズ交換式ディジタルカメラで撮影された画像は、信号処理装置で編集されることが多い。この場合、レンズ交換式ディジタルカメラは、撮影した画像や撮影情報などのデータを、メモリカードに記録する。信号処理装置は、メモリカードに記録された画像や撮影情報などのデータを読み込んで、画像を編集する。本発明は、この信号処理装置にも適用可能である。
本発明は、ハードウェアにもソフトウェアにも適用可能である。例えば、図6に示す画像補正部45は、ハードウェアで構成されたものでもよいし、前述した一連の処理を実行できるプログラムがインストールされたコンピュータ(プロセッサ)で構成されたものでもよい。
Claims (15)
- 光学系の収差の影響を受けた第1の画像を記憶する画像記憶部と、
前記収差の影響が除去された第2の画像の各画素の画素値を生成するために所定の順序で走査された注目画素の位置情報と、前記第1の画像の各画素の位置情報と前記第2の画像の各画素の位置情報との対応関係を示す歪曲収差テーブルと、に基づいて、前記注目画素が前記第2の画像上で所定の順序で走査される毎に、走査された注目画素に対応する前記第1の画像の画素の位置情報を生成する位置情報生成部と、
前記位置情報生成部により生成された位置情報の小数点以下情報を用いて、前記画像記憶部から読み出された第1の画像の各画素に対して、歪曲収差による位相ずれを補正する第1の収差補正部と、
前記第1の収差補正部により補正された第1の画像に対して、歪曲収差以外の収差を補正することで前記第2の画像を生成する第2の収差補正部と、
を備える画像処理装置。 - 第1の収差補正部は、
前記画像記憶部から読み出された前記第1の画像から、前記走査された注目画素に基づいて、所定パターンの複数画素を選択する第1の選択部と、
前記第1の選択部により選択された前記所定パターンの複数画素の特徴量を示すコードを演算する第1のコード演算部と、
コード毎に歪曲収差による位相ずれを補正するためのタップ係数を記憶し、前記コード演算部により演算されたコードと、前記位置情報生成部により生成された位置情報の小数点以下情報と、に基づく複数のタップ係数を出力する第1の係数記憶部と、
前記画像記憶部から読み出された前記第1の画像から、前記走査された注目画素に基づいて、前記第1の画像の特定パターンの複数画素を選択する第2の選択部と、
前記第2の選択部により選択された複数画素の各画素値と、前記第1の係数記憶部から出力された複数のタップ係数と、前記位置情報生成部により生成された位置情報の小数点以下情報と、に基づいて、前記注目画素の画素値を演算することで、前記第1の画像の各画素に対して歪曲収差による位相ずれを補正する第1の画素値演算部と、
を有する請求項1に記載の画像処理装置。 - 第2の収差補正部は、
前記第1の収差補正部により補正された前記第1の画像から、前記走査された注目画素に基づいて、所定パターンの複数画素を選択する第3の選択部と、
前記第3の選択部により選択された前記所定パターンの複数画素の特徴量を示すコードを演算する第2のコード演算部と、
コード毎に歪曲収差以外の収差を補正するためのタップ係数を記憶し、前記コード演算部により演算されたコードに基づいて複数のタップ係数を出力する第2の係数記憶部と、
前記第1の収差補正部により補正された前記第1の画像から、前記走査された注目画素に基づいて、前記第1の画像の特定パターンの複数画素を選択する第4の選択部と、
前記第4の選択部により選択された複数画素の各画素値と、前記第2の係数記憶部から出力された複数のタップ係数と、に基づいて、前記注目画素の画素値を演算することで、前記第1の画像の各画素に対して歪曲収差以外の収差を補正して前記第2の画像を生成する第2の画素値演算部と、
を有する請求項1に記載の画像処理装置。 - 前記第2の係数記憶部は、前記光学系の設計情報による光学シミュレーションを用いた学習により求められたものであって、画像の先鋭感を改善するための複数のタップ係数を記憶し、
前記第2の画素値演算部は、前記第2の係数記憶部から出力された複数のタップ係数を用いて前記注目画素の画素値を演算することで、前記第1の画像から先鋭感の改善された前記第2の画像を生成する
請求項3に記載の画像処理装置。 - 前記第1のコード演算部は、
前記第1の選択部により選択された複数画素の各画素値を量子化して量子化コードを出力する第1の量子化手段と、
複数の量子化コードと前記第1の係数記憶部から複数のタップ係数を読み出すための複数のコードとの対応関係を示す第1の変換テーブルに対して、近似するタップ係数を読み出すための複数のコードを同一のコードに設定して、前記第1の量子化コード演算部により演算された量子化コードを、前記第1の変換テーブルに基づいて、対応するコードに変換する第1の変換テーブル記憶部と、
を有する請求項2に記載の画像処理装置。 - 前記第2のコード演算部は、
前記第3の選択部により選択された複数画素の各画素値を量子化して量子化コードを出力する第2の量子化手段と、
複数の量子化コードと前記第2の係数記憶部から複数のタップ係数を読み出すための複数のコードとの対応関係を示す第2の変換テーブルに対して、近似するタップ係数を読み出すための複数のコードを同一のコードに設定して、前記第2の量子化コード演算部により演算された量子化コードを、前記第2の変換テーブルに基づいて、対応するコードに変換する第2の変換テーブル記憶部と、
を有する請求項3に記載の画像処理装置。 - 第1の画素値演算部は、
前記第2の選択部により選択された複数画素の各画素値と、前記第1の係数記憶部から出力された複数のタップ係数と、の積和演算を行うことで複数の画素値を得る複数の第1の積和演算器と、
前記複数の第1の積和演算器により得られた複数の画素値を用いて補間処理を行うことで、前記注目画素の画素値を演算する第1の補間演算部と、
を有する請求項2に記載の画像処理装置。 - 第2の画素値演算部は、
前記第4の選択部により選択された複数画素の各画素値と、前記第2の係数記憶部から出力された複数のタップ係数と、の積和演算を行うことで複数の画素値を得る複数の第2の積和演算器と、
前記複数の第2の積和演算器により得られた複数の画素値を用いて補間処理を行うことで、前記注目画素の画素値を演算する第2の補間演算部と、
を有する請求項3に記載の画像処理装置。 - 前記位置情報生成部により生成された所定フレームの前記第1の画像の各画素の位置情報を記憶する位置情報記憶部を更に備え、
前記第1の収差補正部は、前記所定フレーム以降のフレームについて、前記位置情報記憶部に記憶された各画素の位置情報の小数点以下の情報を用いて、歪曲収差による位相ずれを補正する
請求項1に記載の画像処理装置。 - 撮影情報毎に用意された複数の前記歪曲収差テーブルを記憶する歪曲収差テーブル記憶部を更に備え、
前記位置情報生成部は、前記歪曲収差テーブル記憶部から、入力された撮影情報に近似する撮影情報に対応する複数の歪曲収差テーブルを読み出し、読み出された複数の歪曲収差テーブルを用いて前記入力された撮影情報に対応する歪曲収差テーブルを補間して、補間された歪曲収差テーブルを用いて、前記第1の画像の画素の位置情報を生成する
請求項1に記載の画像処理装置。 - 前記第2の収差補正部は、
撮影情報毎に用意された複数のタップ係数を記憶する前記第2の係数記憶部から、入力された撮影情報に近似する撮影情報に対応する複数のタップ係数を読み出し、読み出された複数のタップ係数を用いて前記入力された撮影情報に対応する複数のタップ係数を補間するタップ係数補間部を更に備え、
前記第2の画素値演算部は、前記タップ係数補間部で補間された複数のタップ係数を用いて、前記注目画素の画素値を演算する
請求項3に記載の画像処理装置。 - 光学系の収差の影響を受けた第1の画像の各画素の位置情報と前記収差の影響が除去された第2の画像の各画素の位置情報との対応関係を示す歪曲収差テーブルと、前記第2の画像の各画素の画素値を生成するために所定の順序で走査された注目画素の位置情報と、に基づいて、前記注目画素が前記第2の画像上で所定の順序で走査される毎に、走査された注目画素に対応する前記第1の画像の画素の位置情報を生成する位置情報生成ステップと、
前記位置情報生成ステップで生成された位置情報の小数点以下情報を用いて、前記第1の画像を記憶する画像記憶部から読み出された第1の画像の各画素に対して、歪曲収差による位相ずれを補正する第1の収差補正ステップと、
前記第1の収差補正ステップで補正された第1の画像に対して、歪曲収差以外の収差を補正することで前記第2の画像を生成する第2の収差補正ステップと、
を備える画像処理方法。 - コンピュータを、
光学系の収差の影響を受けた第1の画像を記憶する画像記憶部と、
前記収差の影響が除去された第2の画像の各画素の画素値を生成するために所定の順序で走査された注目画素の位置情報と、前記第1の画像の各画素の位置情報と前記第2の画像の各画素の位置情報との対応関係を示す歪曲収差テーブルと、に基づいて、前記注目画素が前記第2の画像上で所定の順序で走査される毎に、走査された注目画素に対応する前記第1の画像の画素の位置情報を生成する位置情報生成部と、
前記位置情報生成部により生成された位置情報の小数点以下情報を用いて、前記画像記憶部から読み出された第1の画像の各画素に対して、歪曲収差による位相ずれを補正する第1の収差補正部と、
前記第1の収差補正部により補正された第1の画像に対して、歪曲収差以外の収差を補正することで前記第2の画像を生成する第2の収差補正部と、
して機能させるためのプログラムが記録された記録媒体。 - コンピュータを、
光学系の収差の影響を受けた第1の画像を記憶する画像記憶部と、
前記収差の影響が除去された第2の画像の各画素の画素値を生成するために所定の順序で走査された注目画素の位置情報と、前記第1の画像の各画素の位置情報と前記第2の画像の各画素の位置情報との対応関係を示す歪曲収差テーブルと、に基づいて、前記注目画素が前記第2の画像上で所定の順序で走査される毎に、走査された注目画素に対応する前記第1の画像の画素の位置情報を生成する位置情報生成部と、
前記位置情報生成部により生成された位置情報の小数点以下情報を用いて、前記画像記憶部から読み出された第1の画像の各画素に対して、歪曲収差による位相ずれを補正する第1の収差補正部と、
前記第1の収差補正部により補正された第1の画像に対して、歪曲収差以外の収差を補正することで前記第2の画像を生成する第2の収差補正部と、
して機能させるためのプログラム。 - 光学系を介して入射される撮像光に応じて第1の画像を生成する撮像素子と、
前記撮像素子で生成された第1の画像を記憶する画像記憶部と、
前記収差の影響が除去された第2の画像の各画素の画素値を生成するために所定の順序で走査された注目画素の位置情報と、前記第1の画像の各画素の位置情報と前記第2の画像の各画素の位置情報との対応関係を示す歪曲収差テーブルと、に基づいて、前記注目画素が前記第2の画像上で所定の順序で走査される毎に、走査された注目画素に対応する前記第1の画像の画素の位置情報を生成する位置情報生成部と、
前記位置情報生成部により生成された位置情報の小数点以下情報を用いて、前記画像記憶部から読み出された第1の画像の各画素に対して、歪曲収差による位相ずれを補正する第1の収差補正部と、
前記第1の収差補正部により補正された第1の画像に対して、歪曲収差以外の収差を補正することで前記第2の画像を生成する第2の収差補正部と、
を備える撮像装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/057997 WO2017158690A1 (ja) | 2016-03-14 | 2016-03-14 | 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6164564B1 JP6164564B1 (ja) | 2017-07-19 |
JPWO2017158690A1 true JPWO2017158690A1 (ja) | 2018-04-05 |
Family
ID=59351317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016560837A Active JP6164564B1 (ja) | 2016-03-14 | 2016-03-14 | 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10291844B2 (ja) |
JP (1) | JP6164564B1 (ja) |
KR (1) | KR102011938B1 (ja) |
CN (1) | CN107924558B (ja) |
DE (1) | DE112016006582T5 (ja) |
WO (1) | WO2017158690A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018000795A (ja) * | 2016-07-07 | 2018-01-11 | オリンパス株式会社 | 内視鏡プロセッサ |
CN107845583B (zh) * | 2016-09-18 | 2020-12-18 | 中芯国际集成电路制造(上海)有限公司 | 基板表面缺陷检测装置、图像畸变校正方法和装置以及基板表面缺陷检测设备 |
JP7005168B2 (ja) * | 2017-05-02 | 2022-01-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN107290700B (zh) * | 2017-08-08 | 2020-12-04 | 上海联影医疗科技股份有限公司 | 一种相位校正方法、装置及磁共振系统 |
JP6516806B2 (ja) * | 2017-08-31 | 2019-05-22 | キヤノン株式会社 | 画像表示装置 |
JP6435560B1 (ja) * | 2018-03-10 | 2018-12-12 | リアロップ株式会社 | 画像処理装置、画像処理方法、プログラム及び撮像装置 |
TWI692939B (zh) * | 2018-08-14 | 2020-05-01 | 鈺創科技股份有限公司 | 過濾訊號的數位濾波器 |
CN110188225B (zh) * | 2019-04-04 | 2022-05-31 | 吉林大学 | 一种基于排序学习和多元损失的图像检索方法 |
JP7403279B2 (ja) | 2019-10-31 | 2023-12-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6694626B1 (ja) * | 2019-12-17 | 2020-05-20 | リアロップ株式会社 | 画像処理装置、画像処理方法、プログラム及び撮像装置 |
CN112819725B (zh) * | 2021-02-05 | 2023-10-03 | 广东电网有限责任公司广州供电局 | 一种径向畸变的快速图像校正方法 |
CN116823681B (zh) * | 2023-08-31 | 2024-01-26 | 尚特杰电力科技有限公司 | 红外图像的畸变矫正方法、装置、系统及存储介质 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6165024A (ja) | 1984-09-04 | 1986-04-03 | Mazda Motor Corp | エンジンのトルク変動制御装置 |
JPH04348343A (ja) | 1991-05-27 | 1992-12-03 | Matsushita Electron Corp | 縮小投影露光装置用レチクル |
JP3035416B2 (ja) | 1992-11-18 | 2000-04-24 | キヤノン株式会社 | 撮像装置及び画像再生装置及び映像システム |
JP3653287B2 (ja) * | 1993-12-25 | 2005-05-25 | ソニー株式会社 | 画像情報変換装置及び画像情報変換方法 |
JPH0893790A (ja) | 1994-09-29 | 1996-04-09 | Exedy Corp | ダンパーディスク組立体 |
JP3950188B2 (ja) * | 1996-02-27 | 2007-07-25 | 株式会社リコー | 画像歪み補正用パラメータ決定方法及び撮像装置 |
JP2000004391A (ja) | 1998-06-16 | 2000-01-07 | Fuji Photo Film Co Ltd | 収差補正量設定方法、位置調整装置及び画像処理装置 |
JP4144292B2 (ja) * | 2002-08-20 | 2008-09-03 | ソニー株式会社 | 画像処理装置と画像処理システム及び画像処理方法 |
JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
JP2005267457A (ja) * | 2004-03-19 | 2005-09-29 | Casio Comput Co Ltd | 画像処理装置、撮影装置、画像処理方法及びプログラム |
JP2005311473A (ja) | 2004-04-16 | 2005-11-04 | Sharp Corp | 撮像装置および信号処理方法ならびにそのプログラムと記録媒体 |
US7920200B2 (en) * | 2005-06-07 | 2011-04-05 | Olympus Corporation | Image pickup device with two cylindrical lenses |
JP4348343B2 (ja) | 2006-02-10 | 2009-10-21 | パナソニック株式会社 | 部品実装機 |
JP4487952B2 (ja) * | 2006-02-27 | 2010-06-23 | ソニー株式会社 | カメラ装置及び監視システム |
WO2008139577A1 (ja) * | 2007-05-09 | 2008-11-20 | Fujitsu Microelectronics Limited | 画像処理装置、撮像装置、および画像歪み補正方法 |
US8169510B2 (en) | 2007-12-18 | 2012-05-01 | Sony Corporation | Data processing device, data processing method, and storage medium |
JP5010533B2 (ja) * | 2008-05-21 | 2012-08-29 | 株式会社リコー | 撮像装置 |
JP5180687B2 (ja) * | 2008-06-03 | 2013-04-10 | キヤノン株式会社 | 撮像装置及び補正方法 |
JP5241823B2 (ja) * | 2009-07-21 | 2013-07-17 | キヤノン株式会社 | 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 |
JP5546229B2 (ja) | 2009-12-09 | 2014-07-09 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP5438579B2 (ja) * | 2010-03-29 | 2014-03-12 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5742179B2 (ja) * | 2010-11-05 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |
JP2014087022A (ja) * | 2012-10-26 | 2014-05-12 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム |
JP6108773B2 (ja) * | 2012-11-06 | 2017-04-05 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
JP6041651B2 (ja) * | 2012-12-10 | 2016-12-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2014155754A1 (ja) * | 2013-03-28 | 2014-10-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
JP2015198380A (ja) * | 2014-04-02 | 2015-11-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
-
2016
- 2016-03-14 US US15/740,568 patent/US10291844B2/en active Active
- 2016-03-14 KR KR1020187029600A patent/KR102011938B1/ko active IP Right Grant
- 2016-03-14 CN CN201680038914.4A patent/CN107924558B/zh active Active
- 2016-03-14 DE DE112016006582.5T patent/DE112016006582T5/de not_active Withdrawn
- 2016-03-14 WO PCT/JP2016/057997 patent/WO2017158690A1/ja active Application Filing
- 2016-03-14 JP JP2016560837A patent/JP6164564B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6164564B1 (ja) | 2017-07-19 |
US20180198977A1 (en) | 2018-07-12 |
US10291844B2 (en) | 2019-05-14 |
KR102011938B1 (ko) | 2019-08-19 |
WO2017158690A1 (ja) | 2017-09-21 |
KR20180118790A (ko) | 2018-10-31 |
CN107924558A (zh) | 2018-04-17 |
DE112016006582T5 (de) | 2018-12-13 |
CN107924558B (zh) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6164564B1 (ja) | 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置 | |
CN102474626B (zh) | 用于校正色像差的图像处理设备和图像处理方法 | |
JP3915563B2 (ja) | 画像処理装置および画像処理プログラム | |
US8031232B2 (en) | Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus | |
JP4657367B2 (ja) | 画像処理装置、撮像装置、および画像歪み補正方法 | |
CN102930506B (zh) | 图像处理装置、图像处理方法和图像拾取装置 | |
JP2004241991A (ja) | 撮像装置、画像処理装置及び画像処理プログラム | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5344648B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP4649171B2 (ja) | 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム | |
CN102158731B (zh) | 影像处理系统及方法 | |
JP2013009293A (ja) | 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置 | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6838918B2 (ja) | 画像データ処理装置及び方法 | |
CN107979715B (zh) | 摄像装置 | |
CN102158730B (zh) | 影像处理系统及方法 | |
KR101205833B1 (ko) | 디지털 줌 시스템을 위한 영상 처리 장치 및 방법 | |
KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
JP6694626B1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 | |
JP6408884B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6435560B1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 | |
JP5359814B2 (ja) | 画像処理装置 | |
JPWO2015083502A1 (ja) | 画像処理装置、該方法および該プログラム | |
JP2014086957A (ja) | 画像処理装置及び画像処理方法 | |
JP2011182071A (ja) | 倍率色収差・像歪補正装置およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161004 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161003 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20161003 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161003 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161003 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6164564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20220303 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |