JP5798696B2 - 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 - Google Patents
画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 Download PDFInfo
- Publication number
- JP5798696B2 JP5798696B2 JP2014550105A JP2014550105A JP5798696B2 JP 5798696 B2 JP5798696 B2 JP 5798696B2 JP 2014550105 A JP2014550105 A JP 2014550105A JP 2014550105 A JP2014550105 A JP 2014550105A JP 5798696 B2 JP5798696 B2 JP 5798696B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- mosaic image
- shift
- mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 160
- 238000000034 method Methods 0.000 title claims description 49
- 238000003384 imaging method Methods 0.000 title claims description 48
- 238000011156 evaluation Methods 0.000 claims description 170
- 238000001514 detection method Methods 0.000 claims description 91
- 238000012937 correction Methods 0.000 claims description 59
- 238000000605 extraction Methods 0.000 claims description 52
- 239000003086 colorant Substances 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 58
- 239000011295 pitch Substances 0.000 description 52
- 230000006870 function Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 17
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000238366 Cephalopoda Species 0.000 description 1
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- -1 white Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明は画像処理装置、方法、記録媒体及びプログラム並びに撮像装置に係り、特に連続して撮像された画像間の画像ずれを検出する技術に関する。
従来、手ぶれが生じない短い露光時間で同一の被写体を連続して撮影した複数の画像を取得し、これらの画像間のずれ(ぶれ)を補正しながら複数の画像を合成して長い露光時間(適正露光)の合成画像を得る画像処理装置が提案されている(特許文献1)。
特許文献1に記載のぶれ検出部は、ぶれ検出対象の2つの画像のうちの一方の画像内の所定サイズのブロックを、他方の画像内のサーチ範囲内で移動させながら、画像間のマッチング処理を行うことにより画像間のぶれを検出する。
このマッチング処理では、対象となるブロックと参照する画像との間で、位置を1画素ずつずらしながら差分二乗和もしくは差分絶対値和を求め、算出値が最小であったところをマッチングの取れた位置としている。
特許文献1に記載のぶれ検出部のように、2つの画像間を1画素ずつずらしながらマッチングをとることにより画像間のぶれ(ずれ)を検出する場合、隣接する画素間の1画素ピッチの精度で画像のずれを検出することができる。
ところで、単板式のカラー撮像素子から取得した複数の画像のマッチング処理を行う場合、マッチング処理に使用する画像は、撮像素子のカラーフィルタ配列に対応したRAW画像(モザイク画像)でななく、同時化処理(又は「デモザイク処理」という、以下同じ)により欠落している色の画素を、周囲の同色の画素で補間して生成したデモザイク(同時化)処理後の画像でなければならない。これは、1画素ずつずらしながらマッチング処理を行う場合、画像内の全ての画素位置において、同色の画素(輝度の画素を含む)が存在しなければならないからである。
尚、特許文献1には、マッチング処理に使用する画像がカラー画像か否かについては記載されていないが、ぶれ検出部は、画像処理部により画像処理されてメモリに記憶された画像を読み出してマッチング処理を行っている。一方、特許文献1では、画像間のずれを補正して合成した合成画像に対しては画像処理を行っていない。
しかしながら、デモザイク(同時化)処理後の画像を使用して画像間のずれを検出する場合、各画像について少なくともデモザイク(同時化)処理の画像処理を行う必要がある。このため、画像間のずれを検出するまでの処理量及び処理時間が増加し、画像間のずれを短時間で検出する際の障害になる。
また、デモザイク(同時化)処理後の画像を使用して画像間のずれを検出する場合、複数の画像の合成時に赤(R)、緑(G)、青(B)の画像、又は輝度(Y),色差(Cr,Cb)の3面の画像で位置合わせをする必要がある。その分、処理量及び処理時間が増加し、更に画像データ確保分のメモリも必要になるという問題がある。
本発明はこのような事情に鑑みてなされたもので、連続して撮影された撮影時点から複数の画像間のずれを検出するまでの処理量及び処理時間を低減することができ、これにより画像間のずれを短時間で検出することができ、また、複数の画像間のずれの補正及び補正後の複数の画像の合成等の処理量及び処理時間を低減することができる画像処理装置、方法、記録媒体及びプログラム並びに撮像装置を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る画像処理装置は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得されたカラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得部と、画像取得部により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出部と、画素抽出部により抽出された同色の画素間の各画素値に基づいて第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出部と、評価値算出部により算出された評価値と画素抽出部による画素ずらしに関する情報とに基づいて第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出部と、を備えている。
本発明の一の態様によれば、デモザイク(同時化)処理等の画像処理を施す前のモザイク画像(第1、第2のモザイク画像)の段階でモザイク画像間の画像ずれを検出するようにしている。但し、画像ずれを検出する際にモザイク画像間で相対的に画素ずらしを行うが、モザイク画像であるため、画素ずらしをした位置において重なる全ての画素が同色の画素にはならない。そこで、画素ずらしをした第1、第2のモザイク画像間で重なる画素同士のうちで同色になる画素を抽出し、抽出した画素間の各画像値に基づいて第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出するようにしている。ここで、最小検出画素ピッチとは、画素ずらしをした場合に特定の色画素について同色画素が重なりを持ちうる画素間隔(ピッチ)のうちの最小の画素間隔であり、最小検出画素ピッチで画素ずらしをすることで第1、第2のモザイク画像間で重なる同色の画素同士を抽出できる。このように、デモザイク(同時化)処理等の画像処理前のモザイク画像の段階で画像ずれを検出するようにしたため、連続して撮影された撮影時点から複数の画像間のずれを検出するまでの処理量及び処理時間を低減することができる。これにより、画像間のずれを短時間で検出することができる。
本発明の他の態様に係る画像処理装置において、画像ずれ検出部は、評価値算出部により算出された評価値に基づいて、第1のモザイク画像と第2のモザイク画像との一致度が最大になるときの画素抽出部による画素ずらしに関する情報を取得し、取得した画素ずらしに関する情報に基づいて画像ずれを検出する。
本発明の更に他の態様に係る画像処理装置において、画像ずれ検出部は、第1のモザイク画像と第2のモザイク画像との一致度が最大になる第1の画素ずらしと、第1の画素ずらしをした場合の第1のモザイク画像と第2のモザイク画像の相対的な位置ずれに対し、相対的な位置ずれが近傍になるよう第1のモザイク画像と第2のモザイク画像に対し第2の画素ずらしを行い、評価値算出部は、第1の画素ずらしをした場合の第1のモザイク画像と第2のモザイク画像との一致度を示す第1の評価値と、第2の画素ずらしをした場合の第1のモザイク画像と第2のモザイク画像との一致度を示す第2の評価値とを算出し、画像ずれ検出部は、第1、第2の画素ずらしに関する情報と、第1、第2の画素ずらしに対応して評価値算出部により算出された第1、第2の評価値とに基づいて第1のモザイク画像と第2のモザイク画像との一致度が最大になる画像ずれを算出することが好ましい。これにより、最小検出画素ピッチ以内の画像ずれを検出することができる。
本発明の更に他の態様に係る画像処理装置において、第1のモザイク画像及び第2のモザイク画像は、第1の方向の±n画素(n:整数)の画素ずらしと、第2の方向の±n画素の画素ずらしと、第1の方向の±n画素の画素ずらしと第2の方向の±n画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、全ての画素ずらしに対応して画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素が存在することが好ましい。
本発明の更に他の態様に係る画像処理装置において、画像ずれ検出部は、第1の方向の画像ずれ、第2の方向の画像ずれ、及び第1の方向の画像ずれと第2の方向の画像ずれとを組み合わせた画像ずれを、隣接する画素間の1画素ピッチ以内の精度で検知する。即ち、最小検出画素ピッチを1画素ピッチとし、画像間の画像ずれを1画素ピッチ以内で検知できるようにしている。
本発明の更に他の態様に係る画像処理装置において、モザイク画像は、N×N(N:3以上の整数)画素に対応する基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されたものであることが好ましい。上記N×N画素に対応する基本配列パターンを有するモザイク画像により、最小検出画素ピッチが1画素ピッチとなるモザイク画像にすることができる。
本発明の更に他の態様に係る画像処理装置において、モザイク画像は、3×3画素に対応する基本配列パターン、又は3×3画素に対応するサブ配列パターンを組み合わせた6×6画素に対応する基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されたものであることが好ましい。
本発明の更に他の態様に係る画像処理装置において、画素抽出部は、画像取得部により取得した第1のモザイク画像と第2のモザイク画像とを画素ずらしする第1の方向の±n画素(n:整数)の画素ずらしと、第2の方向の±n画素の画素ずらしと、第1の方向の±n画素の画素ずらしと第2の方向の±n画素の画素ずらしとを組み合わせた全ての画素ずらしに対し、全ての画素ずらしのうちの各画素ずらしに対応して、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素の位置を示すパターンをそれぞれ記憶する記憶部を有し、画素ずらしに対応して記憶部から読み出したパターンに基づいて画像取得部により取得した第1のモザイク画像及び第2のモザイク画像から画素ずらし後の第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出することが好ましい。第1のモザイク画像と第2のモザイク画像との画素ずらしの態様により、重複する画素同士が同色になる画素の現れる位置が異なる。そこで、画素ずらしに対応して同色になる画素の位置を示すパターンをそれぞれ記憶部に記憶させておき、画素ずらし毎に記憶部から対応するパターンを取得することにより、取得したパターンに基づいて画素ずらしをしたモザイク画像から画像間で重複する画素同士で同色になる画素を抽出するようにしている。
本発明の更に他の態様に係る画像処理装置において、第1のモザイク画像及び第2のモザイク画像は、第1の方向の±n画素(n:偶数)の画素ずらしと、第2の方向の±n画素の画素ずらしと、第1の方向の±n画素の画素ずらしと第2の方向の±n画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、全ての画素ずらしに対応して画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素が存在し、画像ずれ検出部は、第1の方向の画像ずれ、第2の方向の画像ずれ、及び第1の方向の画像ずれと第2の方向の画像ずれとを組み合わせた画像ずれを、1画素置きの画素間隔で検知する。この場合の第1の方向及び第2の方向における最小検出画素ピッチは、2画素ピッチである。
本発明の更に他の態様に係る画像処理装置において、モザイク画像は、ベイヤ配列のカラーフィルタを有する撮像素子から取得されたものである。
本発明の更に他の態様に係る画像処理装置において、画像ずれ検出部により検出された画像ずれに基づいて第1のモザイク画像と第2のモザイク画像との画像ずれを補正する画像ずれ補正部と、画像ずれ補正部により画像ずれが補正された第1のモザイク画像と第2のモザイク画像とに基づいて第3のモザイク画像を生成する画像生成部と、を備えることが好ましい。これにより、デモザイク(同時化)処理等の画像処理前のモザイク画像の段階で、第1、第2のモザイク画像を使用した第3のモザイク画像を生成することができる。
本発明の更に他の態様に係る画像処理装置において、画像ずれ補正部は、画像ずれを補正した第1のモザイク画像及び第2のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正することが好ましい。第1、第2のモザイク画像を加算して第3のモザイク画像を生成する場合、加算する画素同士の色を揃える必要があるからである。
本発明の更に他の態様に係る画像処理装置において、評価値算出部は、画素抽出部により抽出された同色の画素間の各画素値の差分絶対値和、又は差分自乗和を算出し、算出した差分絶対値和、又は差分自乗和を、第1のモザイク画像と第2のモザイク画像との一致度を示す評価値として算出することが好ましい。
本発明の更に他の態様に係る画像処理装置において、第1のモザイク画像及び第2のモザイク画像は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、画素抽出部は、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色となる第1の色の画素を抽出することが好ましい。
本発明の更に他の態様に係る画像処理装置において、第1のモザイク画像及び第2のモザイク画像は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、画素抽出部は、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色となる第1の色及び第2の色の画素を抽出することが好ましい。これにより、第1の色の画素に基づいて算出した評価値の他に、第2の色の画素に基づいて算出した評価値を第1のモザイク画像と第2のモザイク画像との一致度の検出に使用することができ、一致度の検出の信頼性を向上させることができる。
本発明の更に他の態様に係る撮像装置は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有するカラーフィルタが配設されてなる撮像素子と、上記した画像処理装置と、を備え、画像取得部は、複数の画像を連続して撮像させる撮像時に撮像素子から少なくとも第1のモザイク画像及び第2のモザイク画像を取得するようにしている。
本発明の更に他の態様に係る画像処理方法は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得されたカラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得工程と、画像取得工程により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出工程と、画素抽出工程により抽出された同色の画素間の各画素値に基づいて第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出工程と、評価値算出工程により算出された評価値と画素抽出工程による画素ずらしに関する情報とに基づいて第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出工程と、を含んでいる。
本発明の更に他の態様に係る画像処理プログラムは、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得されたカラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得機能と、画像取得機能により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出機能と、画素抽出機能により抽出された同色の画素間の各画素値に基づいて第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出機能と、評価値算出機能により算出された評価値と画素抽出機能による画素ずらしに関する情報とに基づいて第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出機能と、をコンピュータに実行させる。
本発明によれば、デモザイク(同時化)処理等の画像処理を施す前のモザイク画像の段階で、連続して撮影されたモザイク画像間の画像ずれを検出するようにしたため、撮影時点から複数の画像間のずれを検出するまでの処理量及び処理時間を低減することができ、画像間のずれを短時間で検出することができる。また、モザイク画像の段階で複数の画像間のずれの補正及び複数の画像の合成等を行うようにしたため、ずれの補正及び画像合成等の処理量及び処理時間の低減も図ることができる。
以下、添付図面に従って本発明に係る画像処理装置、方法、記録媒体及びプログラム並びに撮像装置の好ましい実施の形態について説明する。
[撮像装置]
図1及び図2はそれぞれ本発明に係る画像処理装置を搭載した撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。
図1及び図2はそれぞれ本発明に係る画像処理装置を搭載した撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。
図1に示すように撮像装置10は、その正面に撮影レンズ12、フラッシュ発光部1等が配設され、上面にはシャッタボタン2、電源/モードスイッチ3、モードダイヤル4等が配設されている。一方、図2に示すように、カメラ背面には、3D表示用の液晶モニタ24、ズームボタン5、十字ボタン6、MENU/OKボタン7、再生ボタン8、BACKボタン9等が配設されている。
撮影レンズ12は、沈胴式のズームレンズで構成されている。撮影レンズ12は、電源/モードスイッチ3によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。フラッシュ発光部1は、主要被写体に向けてフラッシュ光を照射するものである。
シャッタボタン2は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。撮像装置10は、撮影モードで駆動しているときは、このシャッタボタン2が「半押し」されることにより、AE(Automatic Exposure)/AF(Automatic Focus)が作動し、「全押し」されることにより、撮影を実行する。また、撮像装置10は、撮影モードで駆動しているときは、このシャッタボタン2が「全押し」されることにより、撮影を実行する。
電源/モードスイッチ3は、撮像装置10の電源をON/OFFする電源スイッチとしての機能と、撮像装置10のモードを設定するモードスイッチとしての機能とを併せ持っている。電源/モードスイッチ3は、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置10は、電源/モードスイッチ3をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチ3をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル4は、撮像装置10の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、撮像装置10の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。
液晶モニタ24は、撮影モード時のライブビュー画像(スルー画像)の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース(GUI)の一部として機能する。
ズームボタン5は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン5Tと、広角側へのズームを指示するワイドボタン5Wとからなる。撮像装置10は、撮影モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、撮影レンズ12の焦点距離が変化する。また、再生モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、再生中の画像が拡大、縮小する。
十字ボタン6は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
MENU/OKボタン7は、液晶モニタ24の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作ボタンである。
再生ボタン8は、撮影記録した静止画又は動画を液晶モニタ24に表示させる再生モードに切り替えるためのボタンである。
BACKボタン9は、入力操作のキャンセルや1つ前の操作状態に戻すことを指示するボタンとして機能する。
[撮像装置の内部構成]
図3は撮像装置10の要部ブロック図である。撮像装置10は、撮影レンズ12、撮像素子14、撮影処理部16、画像処理部18、駆動部20、及び制御部22等を備えている。
図3は撮像装置10の要部ブロック図である。撮像装置10は、撮影レンズ12、撮像素子14、撮影処理部16、画像処理部18、駆動部20、及び制御部22等を備えている。
撮影レンズ12は、被写体像を撮像素子14の撮像面上に結像する。撮像素子14は、その撮像面上に2次元配列された光電変換素子で構成される複数の画素と、各画素の受光面の上方に設けられた3色以上のカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。
撮像素子14に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部22の指令に従って駆動部20から与えられる読出し指令信号に基づいて信号電荷に応じた電圧信号(画像信号)として撮像素子14から順次読み出される。撮像素子14から読み出される画像信号は、撮像素子14のカラーフィルタ配列に対応した色のモザイク画像を示す信号である。尚、撮像素子14は、CCD(Charge Coupled Device)型撮像素子、CMOS(Complementary Metal Oxide Semiconductor)型撮像素子などの他の種類の撮像素子であってもよい。
撮像素子14から読み出された画像信号は、撮影処理部16に入力される。撮影処理部16は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC(Automatic Gain Control)回路、及びA/D変換器を有している。この撮影処理部16は、入力された画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部18に出力する。尚、撮像素子14がCMOS(Complementary Metal Oxide Semiconductor)型撮像素子の場合には、撮像素子14から直接デジタルの画像信号が読み出され、画像処理部18に出力される。
画像処理部18は、図9に示すように本発明に係る第1の画像処理部18Aと、通常の画像処理を行う第2の画像処理部18Bとを有している。
第1の画像処理部18Aは、モードダイヤル4(図2)により、例えば、被写体が暗い場合に手ぶれが生じない短い露光時間で同一の被写体を連写し、連写した複数の画像間のずれを補正しながら加算(合成)し、長い露光時間(適正露光)の合成画像を得る撮影モード時、あるいは適正露光の画像とアンダー露光の画像とを連続して撮影し、これらの画像間のずれを補正した後、合成して広ダイナミックレンジの合成画像を得る撮影モード等が選択された場合に機能する処理部である。尚、第1の画像処理部18Aの詳細については後述する。
第2の画像処理部18Bは、ホワイトバランス(WB)補正部200、ガンマ(γ)補正部210、同時化処理部220(単板式の撮像素子14のカラーフィルタ配列に伴う赤(R)、緑(G)、青(B)のモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理部(デモザイク処理部))、RGB/YC変換部230、輪郭補正部240、色調補正部250等を有している。画像処理部18Bは、第1の画像処理部18Aにより合成された合成画像(モザイク画像)に対して各処理部にて所要の信号処理を施して、画素毎にRGB全ての色情報を有するRGB画素信号を生成し、これに基づいて輝度データ(Yデータ)と色差データ(Cr、Cbデータ)とからなる画像データ(YUVデータ)を生成する。
尚、第2の画像処理部18Bは、通常の撮影モード時には、第1の画像処理部18Aでの処理を経由せずに、撮影処理部16から入力したモザイク画像(RAWデータ)に信号処理を施して、所望の画像データを生成することは言うまでもない。
画像処理部18で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG(Joint Photographic Experts Group)規格に準拠した圧縮処理が施され、動画に対してはMPEG2(Moving Picture Experts Group)規格に準拠した圧縮処理が施される。圧縮処理が施された画像データは、図示しない記録メディア(例えばメモリカード)に記録され、また、液晶モニタ24の表示手段(図2)に出力されて表示される。
[モザイク画像の第1の実施形態]
撮像素子14は、水平方向(第1の方向)及び垂直方向(第2の方向)に配列された光電変換素子(フォトダイオード)で構成される複数の画素上に、3色以上のカラーフィルタが配設されて構成されており、カラーフィルタのフィルタ配列に対応したモザイク画像(「色モザイク画像」ともいう)を出力する。
撮像素子14は、水平方向(第1の方向)及び垂直方向(第2の方向)に配列された光電変換素子(フォトダイオード)で構成される複数の画素上に、3色以上のカラーフィルタが配設されて構成されており、カラーフィルタのフィルタ配列に対応したモザイク画像(「色モザイク画像」ともいう)を出力する。
図4は撮像素子14から出力されるモザイク画像の第1の実施形態を示す図である。
第1の実施形態のモザイク画像は、M×N(6×6)画素に対応する基本配列パターンP(太枠で示したパターン)を含み、この基本配列パターンPが水平方向(左右方向:第1の方向)及び垂直方向(上下方向:第2の方向)に繰り返し配置されている。また、基本配列パターンPは、3×3画素に対応するサブ配列パターン(2種類、合計4個のサブ配列パターン)が組み合わされて構成されている。
即ち、上記構成のモザイク画像は、所定の周期性をもってRGBの画素が配列されているため、画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
また、図4に示すモザイク画像は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するG画素が、水平、垂直、斜め右上(NE)、及び斜め左上(NW)方向の各画素ライン内に1以上配置されている。ここで、画素ラインとは、水平、垂直、斜め右上、又は斜め左上方向に一列に画素が配列されているラインをいい、以下、単に「ライン」という。
また、この実施形態での斜め右上方向及び斜め右下方向は、水平方向及び垂直方向に対してそれぞれ45°傾いた方向である。これは、複数の画素が水平方向及び垂直方向に正方格子状に配列されているからである。従って、複数の画素が矩形格子状に配列されている場合には、その矩形格子の対角線の方向が、斜め右上方向及び斜め右下方向に対応する。
輝度系画素に対応するG画素が、水平、垂直、斜め右上、及び斜め左上方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク(同時化)処理の再現精度を向上させることができる。
また、図4に示すモザイク画像は、Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するR画素、B画素が、それぞれ基本配列パターンPの水平、及び垂直方向の各ライン内に1つ以上配置されている。
R画素、B画素が、水平及び垂直方向の各ライン内に配置されるため、偽色(色モワレ)の発生を低減することができる。これにより、偽色の発生を低減(抑制)するための光学ローパスフィルタを省略することができる。
更に、図4に示すモザイク画像は、G画素の画素数がR,B画素の画素数よりも多いため、デモザイク(同時化)処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。また、後述するように、2つのモザイク画像間を水平又は垂直方向に1画素ずつずらした場合に、互いに重なるG画素が存在する。
[モザイク画像間の画像ずれの検出方法]
次に、連続して撮影されたモザイク画像間の画像ずれの検出方法について説明する。
次に、連続して撮影されたモザイク画像間の画像ずれの検出方法について説明する。
図5から図7は、それぞれ図4に示した第1の実施形態の2枚のモザイク画像と、これらのモザイク画像を重ね合わせた画像とを示す図である。
図5の(a)部及び(b)部は、それぞれ連続して撮影された2枚のモザイク画像の一部を示す図である。図5では、特にモザイク画像中のG画素をハッチングで示し、他の色画素(R画素、B画素)と区別可能にしている。
また、図5の(a)部に示すモザイク画像(以下、「画像A」という)と、図5の(b)部に示すモザイク画像(以下、「画像B」という)とは、水平方向に1画素ずれている。
図5の(c)部は、上記画像Aと画像Bとを重ね合わせた画像を示している。図5の(c)部に示すように、画像AのG画素と画像BのG画素とは、一部のG画素同士が一定のパターンで重なる。即ち、画像Aと画像Bとが水平方向に1画素ずれている場合には、垂直方向のラインのG画素が2ライン置きに重なる。
図6の(a)部に示す画像Aと、図6の(b)部に示す画像Bとは、水平方向に2画素ずれている。
図6の(c)部は、上記画像Aと画像Bとを重ね合わせた画像を示している。図6の(c)部に示すように画像AのG画素と画像BのG画素とは、図5の(c)部に示した場合と同様に垂直方向のラインのG画素が2ライン置きに重なる。尚、重なるG画素のラインは、図5の(c)部に示した重なるG画素のラインに比べて、水平方向に1画素(1ライン)ずれている。
図7の(a)部に示す画像Aと、図7の(b)部に示す画像Bとは、垂直方向に1画素ずれている。
図7の(c)部は、上記画像Aと画像Bとを重ね合わせた画像を示している。図7の(c)部に示すように画像AのG画素と画像BのG画素とは、一部のG画素同士が一定のパターンで重なり、水平方向のラインのG画素が2ライン置きに重なっている。
図8は、水平方向(左右方向)及び垂直方向(上下方向)に±2画素の範囲内で画像A,B間を画素ずらしをした場合に重なるG画素等を示す図である。ここで、「画素ずらしをする」とは、画像A(第1のモザイク画像)と画像B(第2のモザイク画像)との画像ずれがない状態を基準にして、最小検出画素ピッチ(第1の実施形態のモザイク画像の場合には、1画素ピッチ)の整数倍のずれ量となるように、両画像A,Bを相対的に左右方向又は上下方向にずらすことを意味する。また、図8上では、重なるG画素は、重ならない他の画素に比べて濃く図示されている。
図8に示すように重なるG画素は、画素ずらしに応じて特定のパターンで重なり、第1の実施形態のモザイク画像の場合には、図8中の太枠内の7つのパターンがある。即ち、画素ずれがない場合には、全てのG画素が重なる。左右方向のみ画素ずれが発生する場合には、図5の(c)部及び図6の(c)部に示したように垂直方向のラインのG画素が2ライン置きに重なる。尚、前述したように1画素ずれる場合にG画素が重なるパターンと、2画素ずれる場合にG画素が重なるパターンとでは、重なるG画素のラインが1画素分ずれている。
上下方向のみ画素ずれが発生する場合には、水平方向のラインのG画素が2ライン置きに重なり、この場合も2つのパターンが存在する。
一方、上下方向及び左右方向にそれぞれ画素ずれが発生する場合には、斜め方向のラインのG画素が一定のパターンにしたがって重なる。斜め方向のラインのG画素が重なるパターンは、斜め右上方向のラインのG画素が重なるパターンと、斜め左上方向のラインのG画素が重なるパターンの2つのパターンが存在する。
尚、画像A,B間が、3画素の整数倍だけ画素ずれする場合には、G画素の位置は、画素ずれが0の場合と同じになる。これは、G画素は、左右方向及び上下方向に対して3画素置きに同じパターン(3×3画素のサブ配列内のG画素のパターン)を繰り返しているからである。
上記のように画像Aと画像Bとの間で画素ずれが発生する場合、どの位置、どの方向に画素ずれが発生していても画像A,B間には互いに重なるG画素が存在し、かつ画素ずれの位置及び方向に応じて重なるG画素の位置は、一意に特定することができる。
したがって、画像Aと画像Bとを最小検出画素ピッチ(本例の場合、1画素ピッチ)毎に相対的に画素ずらしし(一方の画像を他方の画像に対してサーチ範囲内で移動させ)、各画素ずらし(サーチ位置)に応じて重なっているG画素を抽出し、重なっているG画素の各画素値の差分値に基づいて画像A,B間の画像ずれを検出することができる。
即ち、上記差分値が最も小さくなるときに、画像Aと画像Bとの一致度は最も高くなる。したがって、差分値に基づいて画像Aと画像Bとの一致度が最も高くなる画素ずらし(サーチ位置)に基づいて元々の画像Aと画像Bとの画像ずれを検出することができる。
[画像処理部]
図9は図3に示した画像処理部18の実施形態をブロック図である。
図9は図3に示した画像処理部18の実施形態をブロック図である。
図9に示すように画像処理部18は、本発明に係る画像処理装置に相当する第1の画像処理部18Aと、通常の画像処理を行う第2の画像処理部18Bとを備えている。
第1の画像処理部18Aは、メモリ100、画素ずらし指示部110、画素抽出部120A,120B、評価値算出部130、画像ずれ検出部140、画像ずれ補正部150、及び画像合成部160を備えている。
メモリ100は、連続撮影された複数の画像を合成する撮影モード時に、画像取得部として機能する撮像素子14及び撮影処理部16を介して出力される複数のモザイク画像(RAWデータ)を一時格納する部分である。メモリ100は、画像処理部18内のものに限らず、カメラ内の主メモリの一部を適用することができる。尚、説明の簡単のために、メモリ100には、新型カラーフィルタに対応する2枚の画像A,B(第1のモザイク画像、第2のモザイク画像)が一時的に記憶されているものとする。
図10は2枚の画像間の一致度を検出する場合に両画像から読み出されるブロック等を示す図である。
画素ずらし指示部110は、図10に示すように所定のサーチ範囲S内のサーチ位置(画素ずらしに相当)を示す情報を画素抽出部120A、120B、及び画像ずれ検出部140に出力する。図10に示す例では、サーチ範囲Sは、画像A内の基準位置pから左4画素及び上4画素の位置sをサーチ開始位置とし、基準位置pから右4画素及び下4画素の位置eをサーチ終了位置とする、9×9画素の範囲である。画素ずらし指示部110は、このサーチ範囲Sのサーチ開始位置sからサーチ終了位置eまで順次サーチ位置を示す情報を出力する。
画素抽出部120Aは、画素ずらし指示部110から入力するサーチ位置を示す情報に基づいてサーチ位置を基準にした一定サイズのブロックBA(図10に示す例では、9×9画素サイズ)を、メモリ100内の画像Aから読み出し、読み出したブロックBAから更にサーチ位置(画素ずらし)に対応するG画素を抽出する。
図8で説明したように、画像間の画素ずらしが決定されると、画像間で重なる各画像上のG画素の位置(パターン)が一意に特定されるため、画素抽出部120Aは、画素ずらしに対応するパターンにしたがってブロックBAからG画素を抽出する。具体的には、画素抽出部120Aは、図8に示した太枠内の7パターン(画像A側における画像Bと重なるG画素のパターン)を記憶するメモリ(記憶部)Aを有し、メモリAからサーチ位置に応じたパターンを読み出し、読み出したパターンにより特定されるG画素を抽出する。
また、画素抽出部120Bは、図10に示すように画像A(ブロックBA)のサーチ範囲の中心の基準位置pと同じ位置pを基準にした一定サイズのブロックBBを、メモリ100内の画像Bから読み出し、読み出したブロックBBから更にサーチ位置に対応するG画素を抽出する。即ち、画素抽出部120Bは、画素抽出部120Aと同様に図8に示した太枠内の7パターン(画像B側における画像Aと重なるG画素のパターン)を記憶するメモリ(記憶部)Bを有し、メモリBからサーチ位置に応じたパターンを読み出し、読み出したパターンにより特定されるG画素を抽出する。
即ち、画素抽出部120A,120Bは、画素ずらし指示部110から入力するサーチ位置を示す情報に基づいてサーチ位置を基準にした一定サイズのブロックBA、ブロックBBの画像を読み出すことにより、画像A,Bを相対的に画素ずらしを行い、かつ読み出したブロックBA、ブロックBBの画像から互いに重なるG画素(ブロックBA、BB内の画素位置が同一のG画素)を、サーチ位置(画素ずらし)に応じたパターンにより特定して抽出する。
評価値算出部130は、画素抽出部120A及び120Bから抽出された互いに重なるG画素の画素値に基づいて、画像Aから読み出したブロックBAと画像Bから読み出したブロックBBの画像間の一致度を示す評価値を算出するもので、この実施形態では、ブロックマッチング法によりブロックBAとブロックBBの一致度を示す評価値を算出する。
評価値算出部130は、ブロック間の一致度を評価するための評価値として、画素値の差分絶対値和(SAD:Sum of Absolute Difference)、又は画素値の差分自乗和(SSD:Sum of Squared Difference)を使用する。
ブロックBAとブロックBB内の互いに重なるG画素の画素値を、f(i,j),g(i,j)とすると、画素値の差分絶対値和(SAD)を示す評価値SSADは、次式により算出する。
また、画素値の差分自乗和(SSD)を示す評価値SSSDは、次式により算出する。
尚、[数1]式、及び[数2]式におけるi,jの値は、ブロックBAとブロックBB内の画素の位置(図10に示す例では、9×9画素内の画素の位置)を示し、特に画素抽出部120A及び120Bにより抽出された互いに重なるG画素の位置を示す。
評価値算出部130は、上記[数1]式、又は[数2]式に示す評価値SSAD、又は評価値SSSDを算出し、更に評価値SSAD、又は評価値SSSDを、重なるG画素の画素数で除算した値を評価値とする。これは、サーチ位置により重なるG画素の画素数が異なるためである。尚、サーチ範囲内で上記評価値が最小になるとき、ブロックBAとブロックBBの一致度が最大になる。また、ブロックBAとブロックBBの一致度を評価するための評価関数は、上記の実施形態に限られるものではない。例えば、評価関数として、正規化相互相関等の他の関数を使用してもよい。
画像ずれ検出部140は、評価値算出部130により算出された評価値を、ブロックBAのサーチ範囲内のサーチ位置毎に入力するとともに、画素ずらし指示部110からサーチ位置を示す情報を入力する。そして、サーチ範囲内で評価値が最小となるときのサーチ位置に基づいて画像A,B(ブロックBA,BB)の画像ずれを検出する。例えば、ブロックBAのサーチ位置が、サーチ範囲の中心の基準位置pから左1画素及び上1画素の場合、画像Bは、画像Aに対して右1画素及び下1画素ずれていることになる。画像ずれ検出部140は、上記のようにして検出した画像ずれを示す情報を画像ずれ補正部150に出力する。即ち、画像ずれ検出部140は、サーチ範囲内におけるサーチ位置毎(画像ずらし毎)に評価値算出部130により算出された評価値と、そのときのサーチ位置を示す情報(画像ずらしに関する情報)とを入力し、評価値が最小となるときのサーチ位置を示す情報に基づいて画像ずれを検出する。
画像ずれ補正部150は、メモリ100内の画像Bを読み出し、画像ずれ検出部140から入力する画像ずれを示す情報に基づいて、読み出した画像Bの画像Aに対する画像ずれを補正する。画像ずれの補正は、画像合成する画像サイズ(最大の画像ずれを考慮してオリジナルの画像Bよりも小さい画像サイズ)にて画像Bから画像を切り出す際に、その切り出し位置を、前記画像ずれに対応してシフトすることにより行う。
また、画像ずれ補正部150は、画像ずれが補正された画像(以下、「画像B1」と、画像Aを画像合成する画像サイズになるようにトリミングした(切り出した)画像(以下、「画像A1」という)との同じ位置の画素の色が一致するように、画像B1の各画素を補正する。例えば、画像A1のある位置x(i,j)の画素がG画素で、その位置x(i,j)に対応する画像B1の画素がG画素以外の場合、画像B1の位置x(i,j)の近傍の複数のG画素の画素値を補間して位置x(i,j)におけるG画素を生成する。これにより、補正後の画像B1(以下、「画像B2」という)の各位置の画素は、画像A1の対応する位置の画素の色と一致するようになる。画像ずれ補正部150により補正された画像B2は、画像合成部160に出力される。
画像合成部160は、メモリ100から読み出した画像Aを、画像合成する画像サイズになるように切り出し、切り出した画像A1と画像ずれ補正部150から入力する画像B2とを合成し、合成画像(以下、「画像C」という)を生成する。この画像Cは、画像A,Bと同様のモザイク画像(第3のモザイク画像)である。尚、画像Aから画像A1を切り出す際には、画像Aの中心と画像A1の中心とがずれないように(画像ずれが生じないように)切り出す。また、画像A1と画像B2との合成は、各画像内の同じ位置の画素(互いに重なる同じ色の画素)の画素値を加算することにより行われる。
この実施形態では、画像Aに対する画像Bの画像ずれを補正するようにしたが、本発明はこれに限定されない。例えば、画像Bに対する画像Aの画像ずれ等を補正するようにしてもよい。また、2枚のモザイク画像を合成する場合について説明したが、3枚以上のモザイク画像を合成する場合にも同様に行うことができる。
画像合成部160により合成された画像Cは、第2の画像処理部18Bに出力される。
第2の画像処理部18Bは、通常の画像処理を行う部分であり、WB補正部200、ガンマ補正部210、同時化処理部220、RGB/YC変換部230、輪郭補正部240、色調補正部250等を有している。
画像Cは、例えば、R、G、B毎に14ビットのビット長を有する2バイトのRAWデータであり、WB補正部200は、R,G,Bデータごとにそれぞれホワイトバランス補正用のゲイン値をかけることによりホワイトバランス補正を行う。
ここで、ホワイトバランス補正用のゲイン値は、RAWデータを解析して、例えば光源種(太陽光、蛍光灯、タングステン電球等)を特定し、その光源種に対応して予め記憶されているRGB毎のゲイン値に設定され、あるいはホワイトバランス補正を行うメニュー画面上で手動で選択された光源種や色温度に対応するRGB毎のゲイン値に設定される。
WB補正部200から出力されたR、G、Bデータは、ガンマ補正部210に出力される。ガンマ補正部210は、リニアデータを、sRGB,AdobeRBGといった色空間の階調データに変換する。このガンマ補正は、例えば、ガンマ補正用の入出力特性を有するルックアップテーブル(LUT)を使用し、R、G、Bの入力データに対応した出力データをLUTから読み出すことにより行われる。2バイトの入力データは、ガンマ補正時に0〜255の8ビット(1バイト)の出力データに変換される。ガンマ補正されたR、G、Bデータは、同時化処理部220に出力される。
同時化処理部220は、図4に示したカラーフィルタ配列に伴うR、G、Bデータの空間的なずれを補間してR、G、Bデータを同時式に変換する処理(デモザイク処理)を行い、デモザイク(同時化)したR、G、BデータをRGB/YC変換部230に出力する。
RGB/YC変換部230は、R、G、Bデータを輝度データY,色差データCr,Cbに変換し、輝度データYを輪郭補正部240に出力し、色差データCr,Cbを色調補正部250に出力する。輪郭補正部240は、輝度データYの輪郭部(輝度変化の大きい部分)を強調する処理を行う。
色調補正部250は、入力する色差データCr,Cbと、2行×2列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。色補正マトリクス係数は、ユーザからの色補正の指示入力に応じて適宜変更される。
このようにして輪郭補正された輝度データY、及び色調補正された色差データCr,Cbは、後段の記録部又は表示部(図示せず)に出力される。尚、RAWデータの記録を行う場合には、画像Cがそのまま記録メディアに記録される。
この実施形態では、ブロックBA,ブロックBBのサイズ、及びサーチ範囲を、それぞれ9×9画素としているが、ブロックのサイズ及びサーチ範囲は任意である。例えば、最大の画像ずれとしては、画面内で大きく動く被写体(動体)も考慮し、有効画素1200万画素の画像の場合に100画素程度まで検知する必要がある。この場合、サーチ範囲も一辺が100画素程度必要になる。
[画像処理方法]
次に、第1の画像処理部18Aによる画像処理方法について説明する。
次に、第1の画像処理部18Aによる画像処理方法について説明する。
図11は画像処理方法の実施形態を示すフローチャートである。図11は、特に画像間の画像ずれを検出するまでの処理に関して示している。
図11において、連続して撮影された2枚のモザイク画像(画像A,B)を取得する(ステップS10、画像取得工程)。
続いて、図10で説明したように画像Bから一致度を検出するために参照するブロックBBを読み出し(ステップS12)、また、画像Aからサーチ位置範囲内のサーチ位置に応じてブロックBAを読み出す(ステップS14)。
読み出したブロックBA及びブロックBBから重なるG画素を抽出し(ステップS16、画素抽出工程)、抽出したG画素に基づいてブロック間(画像間)の一致度を示す評価値(G画素の差分絶対値和、もしくは差分自乗和)を算出する(ステップS18、評価値算出工程)。
ステップS18で算出した評価値とその算出時のブロックBAのサーチ位置(画像ずれに相当)とを関連付けて一時メモリ等に保持する(ステップS20)。
次に、サーチ範囲内の全サーチ位置で上記ステップS14〜ステップS20の処理が終了したか否かを判別する(ステップS22)。サーチ範囲内の全サーチ位置で処理が終了していない場合(「No」の場合)には、ステップS14に遷移させ、現在のサーチ位置を次にサーチ位置に移動させて上記ステップS14〜ステップS20の処理を行わせる。一方、サーチ範囲内の全サーチ位置で処理が終了している場合(「Yes」の場合)には、ステップS24に遷移させる。
ステップS24では、ステップS20において保持したサーチ範囲内の全サーチ位置における評価値のうちの最小の評価値を検知し、最小の評価値が得られたときのサーチ位置に基づいて画像A,B間の画像ずれを検出する(画像ずれ検出工程)。
上記のようにして画像A,B間の画像ずれが検出されると、画像間の画像ずれを補正し、補正された画像ずれのない複数の画像を使用して画像の合成を行う。
[モザイク画像の他の実施形態]
図12から図14A及び図14Bは、それぞれモザイク画像のカラー配列の実施形態を示す図であり、基本配列パターンに関して示している。
図12から図14A及び図14Bは、それぞれモザイク画像のカラー配列の実施形態を示す図であり、基本配列パターンに関して示している。
図12に示す第2の実施形態のモザイク画像は、6×6画素に対応する正方配列パターンからなる基本配列パターンを有しており、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
第2の実施形態のモザイク画像は、G画素、R画素、及びB画素が、それぞれ基本配列パターン内の水平及び垂直方向の各ライン内に1つ以上配置されている。
RGBの画素が、それぞれ基本配列パターン内の水平及び垂直方向の各ライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。
また、G画素は、水平、垂直、及び斜め(NE,NW)方向の各方向に2以上隣接する部分が含まれるように配置されている。これらの隣接するG画素の画素値に基づいて、水平、垂直、及び斜め(NE,NW)方向の各方向のうち、輝度の変化が最も小さい方向(相関の高い相関方向)を、最小画素間隔で判別することができる。尚、判別された相関方向は、デモザイク(同時化、補間)処理等を行う際に利用することができる。
更に、第2の実施形態のモザイク画像は、2つのモザイク画像間を水平又は垂直方向に1画素ずつ画素ずらしすると、互いに重なるG画素が存在する。これにより、重なるG画素の画素値に基づいて1画素ピッチで、2つのモザイク画像間の画像ずれを検出することができる。
図13A及び図13Bに示す第3の実施形態のモザイク画像は、4×4画素に対応する正方配列パターンからなる基本配列パターンを有しており、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
また、このモザイク画像は、G画素が水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。輝度系画素に対応するG画素が、水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク(同時化)処理の再現精度を向上させることができる。
更に、このモザイク画像の基本配列パターンは、その基本配列パターン内におけるG画素の画素数が、R画素、B画素の画素数よりも大きくなっている。
上記のようにG画素の画素数がR,B画素の画素数よりも多いため、デモザイク(同時化)処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。また、2つのモザイク画像間を水平又は垂直方向に画素ずらしすると、互いに重なるG画素が存在する。これにより、重なるG画素の画素値に基づいて1画素ピッチで、2つのモザイク画像間の画像ずれを検出することができる。
図14A及び図14Bに示すモザイク画像は、それぞれ3×3画素に対応する正方配列パターンからなる基本配列パターンを有しており、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
図14Aに示す第4の実施形態のモザイク画像は、G画素の配置に関しては図4に示した第1の実施形態と共通しており、これらのG画素に基づいて第1の実施形態のモザイク画像と同様に1画素ピッチで2つのモザイク画像間の画像ずれを検出することができる。
図14Bに示す第5の実施形態のモザイク画像は、基本配列パターン内でG画素がL字状に配置されている。
第5の実施形態のモザイク画像は、G画素が水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されている。輝度系画素に対応するG画素が、水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置される。このため、高周波となる方向によらず高周波領域でのデモザイク(同時化)処理の再現精度を向上させることができる。
また、第5の実施形態のモザイク画像は、2つのモザイク画像間を水平又は垂直方向に1画素ずつ画素ずらしすると、互いに重なるG画素が存在する。これにより、重なるG画素の画素値に基づいて1画素ピッチで、2つのモザイク画像間の画像ずれを検出することができる。
[モザイク画像間の画像ずれの検出方法の他の実施形態]
図10及び図11に示したモザイク画像間の画像ずれの検出方法は、画像A内のブロックBAをサーチ範囲内で1画像ずつ移動させ、画像BのブロックBBとのマッチングをとることにより、両ブロックの一致度が最大となるサーチ位置から画像Aと画像Bとの画像ずれを1画素ピッチで検出するようにしている。
図10及び図11に示したモザイク画像間の画像ずれの検出方法は、画像A内のブロックBAをサーチ範囲内で1画像ずつ移動させ、画像BのブロックBBとのマッチングをとることにより、両ブロックの一致度が最大となるサーチ位置から画像Aと画像Bとの画像ずれを1画素ピッチで検出するようにしている。
画像ずれの検出方法の他の実施形態は、1画素ピッチ以内の画像ずれを、パラボラフィッティング法又は等角フィッティング法を使用して検出する。
<パラボラフィッティング法>
図15はパラボラフィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。
図15はパラボラフィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。
図15において、モザイク画像間の一致度を示す評価値が最小となる位置(サーチ位置)を、最小検出画素ピッチで検出する(ステップS50)。図10等で示したモザイク画像間の画像ずれの検出方法では、サーチ位置を1画素ずつ移動させているため、前記最小検出画素ピッチは1画素ピッチである。
ステップS50で得られた評価値と、その評価値が得られた位置に隣接する位置の評価値とを取得し、これらの評価値を通る近似曲線を算出する(ステップS52)。
図16は、最小の評価値が得られた位置mと、この位置mに隣接する前後の位置m−1,m+1における評価値、及びこれらの評価値(3つの評価値)を通る近似曲線を示すグラフである。
ステップS52により近似曲線が算出されると、この近似曲線の最下点(最小値)の位置minを算出する(ステップS54)。これにより、最小検出画素ピッチ以内の画像間のずれを検出することができる。
即ち、上記画像ずれ検出方法によれば、最小の評価値が得られた位置m(第1の画素ずらし)、及び位置mに隣接する前後の位置m−1,m+1(第1の画素ずらしに対し、相対的な位置ずれが近傍になる第2の画素ずらし)に対応して算出された評価値をそれぞれ取得し、第1、第2の画素ずらしに関する情報(位置m−1,m,m+1)と、第1、第2の画素ずらしに対応して算出された評価値とに基づいて、モザイク画像間の一致度が最大になる画像ずれ(位置min)を、最小検出画素ピッチ以内の精度で算出することができる。
<等角フィッティング法>
図17は第1の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。
図17は第1の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。
図17において、モザイク画像間の一致度を示す評価値が最小となる位置を、最小検出画素ピッチで検出する(ステップS60)。
続いて、ステップS60で得られた位置に隣接する前後の位置の評価値を取得し、これらの評価値の大小を比較する(ステップS62)。
ステップS62での評価値の大小の比較結果に基づいて各評価値を通る2直線を決定する(ステップS64)。
図18A及び図18Bはそれぞれ最小の評価値が得られた位置mと、この位置mに隣接する前後の位置m−1,m+1における評価値、及びこれらの評価値(3つの評価値)を通る2直線を示すグラフである。
即ち、ステップS64では、3つの評価値のうちの最小の評価値と最大の評価値とを通る1つの直線を決定し、この決定した直線の傾きと符号の異なる傾きを有し、かつ最小最大以外の評価値を通る他の直線を決定する。
次に、ステップS64により決定した2直線の交点を算出し、この交点の位置minを算出する(ステップS66)。これにより、最小検出画素ピッチ以内の画像間のずれを検出することができる。
図19は第2の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。
図19において、モザイク画像間の一致度を示す評価値が最小となる位置を、最小検出画素ピッチで検出し(ステップS70)、検出した位置に隣接する前後の位置の評価値を取得し、これらの評価値の大小を比較する(ステップS72)。
一方、ステップS70で検出した位置を基準に切り出した自画像(例えば、画像AのブロックBA)を最小検出画素ピッチでずらした画像を作成し、自画像とずらした画像との差分をとって評価値を算出する(ステップS74)。
ステップS74で得た評価値が、ステップS72で得た評価値よりも小さい場合には、サーチ位置に対して評価値の変化が少ない領域であると判断し、ステップS74で得た評価値を採用する(ステップS76)。
続いて、ステップS72又はステップS76で得た評価値に基づいて各評価値を通る2直線を決定する(ステップS78)。
図20は最小の評価値が得られた位置mと、この位置mに隣接する前後の位置m−1,m+1における評価値、及びこれらの評価値(3つの評価値)を通る2直線を示すグラフである。尚、位置m−1,m+1において、それぞれ2つの評価値が図示されているが、2つの評価値は、ステップS72で得た評価値とステップS74で得た評価値である。そして、最小の評価値が得られた位置に隣接する位置の評価値として、上記2つの評価値のうちの小さい方の評価値を採用し、2直線を決定するようにしている。
次に、ステップS78により決定した2直線の交点を算出し、この交点の位置minを算出する(ステップS80)。これにより、最小検出画素ピッチ以内の画像間のずれを検出することができる。
尚、最初に最小検出画素ピッチで検出された、一致度の評価値が最小となる位置からずれ方向(真に評価値が最小となる位置の方向)を検出し、その後、検出したずれ方向の評価値を使用して、上記パラボラフィッティング法又は等角フィッティング法により1画素ピッチ以内の画像ずれを検出するようにしてもよい。
また、画像間のずれは、2次元面上で生じるため、1画素ピッチ以内の画像ずれを検出する場合には、上記の1画素ピッチ以内の画像ずれの検出を、上下方向及び左右方向(垂直及び水平方向)別に行う必要がある。
更に、画像ずれ補正部150(図9)は、1画素ピッチ未満の精度で画像ずれが検出され、この画像ずれを補正する場合には、補正しようとする画素を、その画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより1画素ピッチ未満の画素ずれを補正する。
[ベイヤ配列のモザイク画像への適用例]
図21は、カラーフィルタ配列として最も広く用いられているベイヤ配列を有する撮像素子から出力される、ベイヤ配列のモザイク画像を示す図である。
図21は、カラーフィルタ配列として最も広く用いられているベイヤ配列を有する撮像素子から出力される、ベイヤ配列のモザイク画像を示す図である。
図21に示すようにベイヤ配列のモザイク画像は、Gが市松状(チェッカーフラグ状)に配置され、R画素、B画素がラインごとに交互に配置されている。
図22の(a)部及び(b)部は、それぞれ連続して撮影された2枚のベイヤ配列のモザイク画像の一部を示す図である。図22では、特にモザイク画像中のG画素をハッチングで示し、他の色画素(R画素、B画素)と区別可能にしている。
また、図22の(a)部に示すモザイク画像(画像A)と、図22の(b)部に示すモザイク画像(画像B)とは、水平方向に1画素ずれている。
図22の(c)部は、上記画像Aと画像Bとを重ね合わせた画像を示している。図22の(c)部に示すように画像AのG画素と画像BのG画素とは、重なるG画素がない。一方、画像Aと画像Bとが水平方向に2画素ずれている場合には、全てのG画素が重なる。
即ち、ベイヤ配列のモザイク画像間の画像ずれを検出する場合、最小検出画素ピッチは、水平方向又は垂直方向ともに2画素ピッチとなる。
図23は2枚の画像間の一致度を検出する場合に両画像から読み出されるブロック等を示す図である。
図23に示すように画像Aから読み出されるブロックBAは、サーチ範囲Sのサーチ開始位置sからサーチ終了位置eまで順次サーチ位置をずらしながら読み出される。この場合のサーチ位置は、水平方向に1画素ずつ移動した位置に移動するのではなく、最小検出画素ピッチである2画素ピッチずつ(1画素置きに)移動する。即ち、サーチ位置は、ベイヤ配列のG画素の位置に対応した位置に移動する。
また、各サーチ位置において画像Aから読み出されるブロックBAと、画像Bから読み出されるブロックBBとは、サーチ位置にかかわらず、各ブロック内の全てのG画素が重なる。
したがって、ブロックBAとブロックBB内の互いに重なるG画素の画素値に基づいて、前述したブロックマッチング法によりブロックBAとブロックBBとの一致度(即ち、画像A,B間の画像ずれ)を検出することができる。
一方、ベイヤ配列のモザイク画像の場合、最小検出画素ピッチが2画素ピッチであるため、画像間の画像ずれの検出の精度が2画素ピッチになる。画像ずれの検出精度を2画素ピッチよりも高くする場合には、2画素ピッチで算出される複数の評価値を使用し、前述したパラボラフィッティング法又は等角フィッティング法を適用すればよい。これにより、最小検出画素ピッチ(2画素ピッチ)以内の画像ずれを検出することができる。
[画像ずれの検出にRGBの各画素を使用する実施形態]
上記の実施形態では、モザイク画像中のG画素を使用してモザイク画像間の画像ずれを検出するようにしたが、これに限らず、R画素、B画素を使用してもよい。
上記の実施形態では、モザイク画像中のG画素を使用してモザイク画像間の画像ずれを検出するようにしたが、これに限らず、R画素、B画素を使用してもよい。
図24は、第1の実施形態の2枚のモザイク画像を、上下方向及び左右方向に±2画素の範囲内で相対的に画素ずらしをした場合に重なる画素等を示す図である。尚、図8では、画像間を画素ずらしをした場合に重なるG画素を示したが、図24では、画像間を画素ずらしをした場合に重なるR画素及びB画素も示している。
図24に示すように全25通りの画素ずらしのうち、12通りの画素ずらしにおいて、R画素及びB画素の一部が重なる。したがって、12通りの画素ずらしにおいては、重なったR、G、B画素の画素値に基づいて、これらのR、G、B画素の組合せに応じた複数種類の評価値を算出することができる。
前述した画像ずれ検出部140(図9)は、例えば、サーチ範囲が上下方向及び左右方向にそれぞれ±2画素の場合には、全25通りの画素ずらし(サーチ位置)毎にそれぞれ算出された25の評価値のうちの最小の評価値が得られたときの、サーチ位置から画像ずれを検出するが、R画素及びB画素の画素値により算出される評価値を使用することにより、以下に示す画像ずれの検出を行うことができる。
G画素の画素値に基づいて算出した25の評価値のうち、最小の評価値が複数存在する場合(ほぼ同じ評価値も含む)において、複数の評価値が得られた画素ずらしのうちのいずれの画素ずらしが、正しい画像ずれに対応するものかを判断するために、R画素及びB画素の画素値により算出される評価値を使用する。
即ち、複数の評価値が得られた画素ずらしのうちの1以上の画素ずらしが、前記12通りの画素ずらしに該当する場合には、その画素ずらしに対してR画素及びB画素の画素値に基づいて別の評価値を算出することができる。そして、別の評価値が最小の評価値に近い場合には、その画素ずらしは、正しい画像ずれに対応するものと判断することができる。一方、別の評価値が、両画像がほぼ一致していると判断される評価値に比べて大きい場合には、その画素ずらしは、正しい画像ずれに対応するものから除外することができる。これにより、最小の評価値が得られた複数の画素ずらしのうちから、正しい画像ずれに対応する画像ずらしを絞り込むことができる。
撮像装置10の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
[スマートフォンの構成]
図25は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図25に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図25は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図25に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図26は、図25に示すスマートフォン500の構成を示すブロック図である。図26に示すように、スマートフォンの主たる構成要素として、無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示に従って、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、主制御部501の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。生成された3D画像を鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図25に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。また、図25に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の側面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部540は、スマートフォン500の筐体502の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。尚、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示に従って、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN(Local Area Network))から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示に従って、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示に従って、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データに従って動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアに従って主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部541に、前述した撮像装置10を適用することができる。
また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図25に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。尚、複数のカメラ部541が搭載されている場合には、撮影に供するカメラ部541を切り替えて単独にて撮影したり、あるいは、複数のカメラ部541を同時に使用して撮影することもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力の1つとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
[その他]
この実施形態では、撮像装置又はスマートフォンについて説明したが、本発明は、RAWデータ(モザイク画像)の記録が可能な撮像装置から直接、又は記録媒体を介して連続撮影された複数のモザイク画像を取得し、これらのモザイク画像に対して本発明に係る画像処理を含む各種の画像処理(「RAW現像」という)を行うパーソナルコンピュータ等の画像処理装置にも適用できる。また、本発明は、汎用のパーソナルコンピュータにインストールされることにより該パーソナルコンピュータを上記画像処理装置として機能させるRAW現像ソフト(画像処理プログラム)、及びこのRAW現像ソフトが記録された記録媒体(非一次的(non-transitory)な記録媒体)を含む。画像処理プログラムは、少なくとも上記画像処理装置の画像取得部、画素抽出部、評価値算出部、及び画像ずれ検出部に対応する画像取得機能、画素抽出機能、評価値算出機能及び画像ずれ検出機能を、コンピュータを実行させるものである。
この実施形態では、撮像装置又はスマートフォンについて説明したが、本発明は、RAWデータ(モザイク画像)の記録が可能な撮像装置から直接、又は記録媒体を介して連続撮影された複数のモザイク画像を取得し、これらのモザイク画像に対して本発明に係る画像処理を含む各種の画像処理(「RAW現像」という)を行うパーソナルコンピュータ等の画像処理装置にも適用できる。また、本発明は、汎用のパーソナルコンピュータにインストールされることにより該パーソナルコンピュータを上記画像処理装置として機能させるRAW現像ソフト(画像処理プログラム)、及びこのRAW現像ソフトが記録された記録媒体(非一次的(non-transitory)な記録媒体)を含む。画像処理プログラムは、少なくとも上記画像処理装置の画像取得部、画素抽出部、評価値算出部、及び画像ずれ検出部に対応する画像取得機能、画素抽出機能、評価値算出機能及び画像ずれ検出機能を、コンピュータを実行させるものである。
また、本発明は、この実施形態に示したモザイク画像に限らず、種々のものが適用でき、例えば、RGBの画素からなるモザイク画像以外に、ホワイト、エメラルド、イエロー等の他の色の画素を含むモザイク画像や、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)にGを加えた4色の補色系のモザイク画像にも適用できる。
更に本発明は、デモザイク(同時化)処理等の画像処理を施す前のモザイク画像の段階で、複数のモザイク画像間のずれの補正及び複数のモザイク画像の画像合成等の画像処理を行うようにしたため、画像処理の処理量及び処理時間の低減を図ることができるが、この実施形態によれば、2バイトのモザイク画像(RAWデータ)の段階で上記の画像処理を行うため、デモザイク(同時化)処理後の1バイトの画像データで同様な画像処理を行う場合に比べて画質の劣化を防止することができるという効果がある。
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…撮像装置、12…撮影レンズ、14…撮像素子、16…撮影処理部、18…画像処理部、18A…第1の画像処理部、18B…第2の画像処理部、20…駆動部、22…制御部、110…画素ずらし指示部、120A,120B…画素抽出部、130…評価値算出部、140…画像ずれ検出部、150…画像ずれ補正部、160…画像合成部
Claims (19)
- 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得部と、
前記画像取得部により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出部と、
前記画素抽出部により抽出された同色の画素間の各画素値に基づいて前記第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出された評価値と前記画素抽出部による画素ずらしに関する情報とに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出部と、を備え、
前記第1のモザイク画像及び第2のモザイク画像は、前記第1の方向の±n画素(n:整数)の画素ずらしと、前記第2の方向の±n画素の画素ずらしと、前記第1の方向の±n画素の画素ずらしと前記第2の方向の±n画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、当該全ての画素ずらしに対応して画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素が存在する画像処理装置。 - 前記画像ずれ検出部は、前記評価値算出部により算出された評価値に基づいて、前記第1のモザイク画像と第2のモザイク画像との一致度が最大になるときの前記画素抽出部による画素ずらしに関する情報を取得し、取得した画素ずらしに関する情報に基づいて前記画像ずれを検出する請求項1に記載の画像処理装置。
- 前記画素抽出部は、前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる第1の画素ずらしと、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第1のモザイク画像と第2のモザイク画像に対し第2の画素ずらしを行い、
前記評価値算出部は、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第1の評価値と、前記第2の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第2の評価値とを算出し、
前記画像ずれ検出部は、前記第1、第2の画素ずらしに関する情報と、該第1、第2の画素ずらしに対応して前記評価値算出部により算出された前記第1、第2の評価値とに基づいて前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる前記画像ずれを算出する請求項1に記載の画像処理装置。 - 前記画像ずれ検出部は、前記第1の方向の画像ずれ、第2の方向の画像ずれ、及び前記第1の方向の画像ずれと第2の方向の画像ずれとを組み合わせた画像ずれを、隣接する画素間の1ピッチ以内の精度で検知する請求項1から3のいずれか1項に記載の画像処理装置。
- 前記モザイク画像は、N×N(N:3以上の整数)画素に対応する基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されたものである請求項1に記載の画像処理装置。
- 前記モザイク画像は、3×3画素に対応する基本配列パターン、又は3×3画素に対応するサブ配列パターンを組み合わせた6×6画素に対応する基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されたものである請求項5に記載の画像処理装置。
- 前記画素抽出部は、
前記画像取得部により取得した第1のモザイク画像と第2のモザイク画像とを画素ずらしする前記第1の方向の±n画素(n:整数)の画素ずらしと、前記第2の方向の±n画素の画素ずらしと、前記第1の方向の±n画素の画素ずらしと前記第2の方向の±n画素の画素ずらしとを組み合わせた全ての画素ずらしに対し、当該全ての画素ずらしのうちの各画素ずらしに対応して、画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素の位置を示すパターンをそれぞれ記憶する記憶部を有し、
前記画素ずらしに対応して前記記憶部から読み出したパターンに基づいて前記画像取得部により取得した第1のモザイク画像及び第2のモザイク画像から画素ずらし後の第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する請求項1から6のいずれか1項に記載の画像処理装置。 - 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得部と、
前記画像取得部により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出部と、
前記画素抽出部により抽出された同色の画素間の各画素値に基づいて前記第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出された評価値と前記画素抽出部による画素ずらしに関する情報とに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出部と、
前記画像ずれ検出部により検出された画像ずれに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを補正する画像ずれ補正部と、
前記画像ずれ補正部により画像ずれが補正された前記第1のモザイク画像と第2のモザイク画像とに基づいて第3のモザイク画像を生成する画像生成部と、を備え、
前記画素抽出部は、前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる第1の画素ずらしと、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第1のモザイク画像と第2のモザイク画像に対し第2の画素ずらしを行い、
前記評価値算出部は、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第1の評価値と、前記第2の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第2の評価値とを算出し、
前記画像ずれ検出部は、前記第1、第2の画素ずらしに関する情報と、該第1、第2の画素ずらしに対応して前記評価値算出部により算出された前記第1、第2の評価値とに基づいて前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる前記画像ずれを、1画素ピッチ未満の精度で算出し、
前記画像ずれ補正部は、前記第1のモザイク画像及び前記第2のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記1画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより1画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第1のモザイク画像及び第2のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する画像処理装置。 - 前記第1のモザイク画像及び第2のモザイク画像は、前記第1の方向の±n画素(n:偶数)の画素ずらしと、前記第2の方向の±n画素の画素ずらしと、前記第1の方向の±n画素の画素ずらしと前記第2の方向の±n画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、当該全ての画素ずらしに対応して画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素が存在し、
前記画素抽出部は、前記全ての画素ずらしに対応して画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する請求項8に記載の画像処理装置。 - 前記モザイク画像は、ベイヤー配列の前記カラーフィルタを有する撮像素子から取得されたものである請求項9に記載の画像処理装置。
- 前記画像ずれ検出部により検出された画像ずれに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを補正する画像ずれ補正部と、
前記画像ずれ補正部により画像ずれが補正された前記第1のモザイク画像と第2のモザイク画像とに基づいて第3のモザイク画像を生成する画像生成部と、
を備えた請求項1から7のいずれか1項に記載の画像処理装置。 - 前記画像ずれ補正部は、前記画像ずれを補正した前記第1のモザイク画像及び第2のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する請求項11に記載の画像処理装置。
- 前記評価値算出部は、前記画素抽出部により抽出された同色の画素間の各画素値の差分絶対値和、又は差分自乗和を算出し、算出した差分絶対値和、又は差分自乗和を、前記第1のモザイク画像と第2のモザイク画像との一致度を示す評価値として算出する請求項1から12のいずれか1項に記載の画像処理装置。
- 前記第1のモザイク画像及び第2のモザイク画像は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、
前記画素抽出部は、前記画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色となる第1の色の画素を抽出する請求項1から13のいずれか1項に記載の画像処理装置。 - 前記第1のモザイク画像及び第2のモザイク画像は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、
前記画素抽出部は、前記画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色となる第1の色及び第2の色の画素を抽出する請求項1から14のいずれか1項に記載の画像処理装置。 - 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有するカラーフィルタが配設されてなる撮像素子と、
請求項1から15のいずれか1項に記載の画像処理装置と、を備え、
前記画像取得部は、複数の画像を連続して撮像させる撮像時に前記撮像素子から少なくとも前記第1のモザイク画像及び第2のモザイク画像を取得する撮像装置。 - 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得工程と、
前記画像取得工程により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出工程と、
前記画素抽出工程により抽出された同色の画素間の各画素値に基づいて前記第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出工程と、
前記評価値算出工程により算出された評価値と前記画素抽出工程による画素ずらしに関する情報とに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出工程と、
前記画像ずれ検出工程により検出された画像ずれに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを補正する画像ずれ補正工程と、
前記画像ずれ補正工程により画像ずれが補正された前記第1のモザイク画像と第2のモザイク画像とに基づいて第3のモザイク画像を生成する画像生成工程と、を含み、
前記画素抽出工程は、前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる第1の画素ずらしと、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第1のモザイク画像と第2のモザイク画像に対し第2の画素ずらしを行い、
前記評価値算出工程は、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第1の評価値と、前記第2の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第2の評価値とを算出し、
前記画像ずれ検出工程は、前記第1、第2の画素ずらしに関する情報と、該第1、第2の画素ずらしに対応して前記評価値算出工程により算出された前記第1、第2の評価値とに基づいて前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる前記画像ずれを、1画素ピッチ未満の精度で算出し、
前記画像ずれ補正工程は、前記第1のモザイク画像及び前記第2のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記1画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより1画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第1のモザイク画像及び第2のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する画像処理方法。 - コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得工程と、
前記画像取得工程により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出工程と、
前記画素抽出工程により抽出された同色の画素間の各画素値に基づいて前記第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出工程と、
前記評価値算出工程により算出された評価値と前記画素抽出工程による画素ずらしに関する情報とに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出工程と、
前記画像ずれ検出工程により検出された画像ずれに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを補正する画像ずれ補正工程と、
前記画像ずれ補正工程により画像ずれが補正された前記第1のモザイク画像と第2のモザイク画像とに基づいて第3のモザイク画像を生成する画像生成工程と、を実行し、
前記画素抽出工程は、前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる第1の画素ずらしと、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第1のモザイク画像と第2のモザイク画像に対し第2の画素ずらしを行い、
前記評価値算出工程は、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第1の評価値と、前記第2の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第2の評価値とを算出し、
前記画像ずれ検出工程は、前記第1、第2の画素ずらしに関する情報と、該第1、第2の画素ずらしに対応して前記評価値算出工程により算出された前記第1、第2の評価値とに基づいて前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる前記画像ずれを、1画素ピッチ未満の精度で算出し、
前記画像ずれ補正工程は、前記第1のモザイク画像及び前記第2のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記1画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより1画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第1のモザイク画像及び第2のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する記録媒体。 - 第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に3色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第1のモザイク画像及び第2のモザイク画像を取得する画像取得機能と、
前記画像取得機能により取得した第1のモザイク画像と第2のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第1のモザイク画像と第2のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出機能と、
前記画素抽出機能により抽出された同色の画素間の各画素値に基づいて前記第1のモザイク画像と第2のモザイク画像との一致度を示す評価値を算出する評価値算出機能と、
前記評価値算出機能により算出された評価値と前記画素抽出機能による画素ずらしに関する情報とに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを検出する画像ずれ検出機能と、
前記画像ずれ検出機能により検出された画像ずれに基づいて前記第1のモザイク画像と第2のモザイク画像との画像ずれを補正する画像ずれ補正機能と、
前記画像ずれ補正機能により画像ずれが補正された前記第1のモザイク画像と第2のモザイク画像とに基づいて第3のモザイク画像を生成する画像生成機能と、をコンピュータに実行させ、
前記画素抽出機能は、前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる第1の画素ずらしと、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第1のモザイク画像と第2のモザイク画像に対し第2の画素ずらしを行い、
前記評価値算出機能は、前記第1の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第1の評価値と、前記第2の画素ずらしをした場合の前記第1のモザイク画像と第2のモザイク画像との一致度を示す第2の評価値とを算出し、
前記画像ずれ検出機能は、前記第1、第2の画素ずらしに関する情報と、該第1、第2の画素ずらしに対応して前記評価値算出機能により算出された前記第1、第2の評価値とに基づいて前記第1のモザイク画像と第2のモザイク画像との一致度が最大になる前記画像ずれを、1画素ピッチ未満の精度で算出し、
前記画像ずれ補正機能は、前記第1のモザイク画像及び前記第2のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記1画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより1画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第1のモザイク画像及び第2のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014550105A JP5798696B2 (ja) | 2012-11-30 | 2013-11-08 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012262443 | 2012-11-30 | ||
JP2012262443 | 2012-11-30 | ||
JP2014550105A JP5798696B2 (ja) | 2012-11-30 | 2013-11-08 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
PCT/JP2013/080243 WO2014084022A1 (ja) | 2012-11-30 | 2013-11-08 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5798696B2 true JP5798696B2 (ja) | 2015-10-21 |
JPWO2014084022A1 JPWO2014084022A1 (ja) | 2017-01-05 |
Family
ID=50827668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014550105A Expired - Fee Related JP5798696B2 (ja) | 2012-11-30 | 2013-11-08 | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5798696B2 (ja) |
WO (1) | WO2014084022A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106657996B (zh) * | 2016-11-09 | 2019-03-26 | 广州视源电子科技股份有限公司 | 显示设备的性能参数检测方法和系统 |
JP7336773B2 (ja) * | 2018-10-29 | 2023-09-01 | パナソニックIpマネジメント株式会社 | 情報提示方法、情報提示装置、及び、情報提示システム |
JP2022063719A (ja) * | 2020-10-12 | 2022-04-22 | 日本電気株式会社 | 画像補正装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002094999A (ja) * | 2000-09-18 | 2002-03-29 | Mitsubishi Electric Corp | 撮像装置 |
JP2005038396A (ja) * | 2003-06-23 | 2005-02-10 | Sony Corp | 画像処理方法および装置、並びにプログラム |
JP2006157568A (ja) * | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | 撮像装置およびプログラム |
JP2007133823A (ja) * | 2005-11-14 | 2007-05-31 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
JP2007181168A (ja) * | 2005-12-01 | 2007-07-12 | Sony Corp | 画像処理装置および画像処理方法 |
JP2007208580A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置 |
JP2009230537A (ja) * | 2008-03-24 | 2009-10-08 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器 |
JP2013115544A (ja) * | 2011-11-28 | 2013-06-10 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1638340B1 (en) * | 2003-06-23 | 2013-08-07 | Sony Corporation | Image processing method and device, and program |
CN100559843C (zh) * | 2005-12-01 | 2009-11-11 | 索尼株式会社 | 图像处理装置和图像处理方法 |
-
2013
- 2013-11-08 WO PCT/JP2013/080243 patent/WO2014084022A1/ja active Application Filing
- 2013-11-08 JP JP2014550105A patent/JP5798696B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002094999A (ja) * | 2000-09-18 | 2002-03-29 | Mitsubishi Electric Corp | 撮像装置 |
JP2005038396A (ja) * | 2003-06-23 | 2005-02-10 | Sony Corp | 画像処理方法および装置、並びにプログラム |
JP2006157568A (ja) * | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | 撮像装置およびプログラム |
JP2007133823A (ja) * | 2005-11-14 | 2007-05-31 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
JP2007181168A (ja) * | 2005-12-01 | 2007-07-12 | Sony Corp | 画像処理装置および画像処理方法 |
JP2007208580A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置 |
JP2009230537A (ja) * | 2008-03-24 | 2009-10-08 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器 |
JP2013115544A (ja) * | 2011-11-28 | 2013-06-10 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2014084022A1 (ja) | 2014-06-05 |
JPWO2014084022A1 (ja) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5755814B2 (ja) | 画像処理装置、方法、プログラム及び撮像装置 | |
JP5697801B2 (ja) | 撮像装置及び自動焦点調節方法 | |
JP5740054B2 (ja) | 撮像装置及び画像処理方法 | |
JP5775977B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム | |
JP5749401B2 (ja) | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム | |
WO2014006783A1 (ja) | 撮像装置及び画像処理方法 | |
JP5753323B2 (ja) | 撮像装置及び画像表示方法 | |
US11184523B2 (en) | Imaging apparatus with phase difference detecting element | |
US11290635B2 (en) | Imaging apparatus and image processing method | |
JP5749409B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP5798696B2 (ja) | 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 | |
JP5897769B2 (ja) | 撮像装置、キャリブレーションシステム、及びプログラム | |
WO2013183379A1 (ja) | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム | |
JP6580801B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
WO2014097792A1 (ja) | 撮像装置、信号処理方法、信号処理プログラム | |
JP5680803B2 (ja) | 画像処理装置および方法ならびに撮像装置 | |
JP5740053B6 (ja) | 撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5798696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |