JP4840967B2 - 撮像装置及び画像処理方法及びプログラム及び記憶媒体 - Google Patents

撮像装置及び画像処理方法及びプログラム及び記憶媒体 Download PDF

Info

Publication number
JP4840967B2
JP4840967B2 JP2005347931A JP2005347931A JP4840967B2 JP 4840967 B2 JP4840967 B2 JP 4840967B2 JP 2005347931 A JP2005347931 A JP 2005347931A JP 2005347931 A JP2005347931 A JP 2005347931A JP 4840967 B2 JP4840967 B2 JP 4840967B2
Authority
JP
Japan
Prior art keywords
data
image
component data
color
luminance component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005347931A
Other languages
English (en)
Other versions
JP2007158509A (ja
JP2007158509A5 (ja
Inventor
正已 杉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005347931A priority Critical patent/JP4840967B2/ja
Priority to US11/606,210 priority patent/US7626727B2/en
Publication of JP2007158509A publication Critical patent/JP2007158509A/ja
Publication of JP2007158509A5 publication Critical patent/JP2007158509A5/ja
Application granted granted Critical
Publication of JP4840967B2 publication Critical patent/JP4840967B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40068Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像した画像データをリサイズ(解像度変換)する技術に関するものである。
従来より、デジタルカメラの生成するファイルには2種類あることが一般によく知られている。1つは、デジタルカメラ内で画像処理が行われた後の画像で、JPEGもしくは、TIFFといった形式の汎用的な画像表示ビューワで開くことが出来るファイル形式である。もう1つは、撮像条件に関する画像処理を施さずに撮像時の2次元配列のセンサ出力をそのまま記録したRAW形式と呼ばれるファイル形式である。RAW形式のファイルの特徴は、カメラ外部のアプリケーションで撮像条件に関する画像処理を行うため、さまざまなパラメータを撮影時とは異なる設定にして再現像することが出来ることである(例えば、特許文献1を参照)。
しかしながら、RAW形式の画像ファイルは、可逆圧縮したデータであるため、一般的にJPEG形式やTIFF形式のファイルよりファイルサイズが大きくなってしまう。JPEG圧縮したくない場合や、光源の状態の推測が難しく、後で調整したい場合などには、RAW形式のファイルが有効である。
なお、従来のデジタルカメラには、1回の撮像で、RAW形式の画像データとJPEG形式の画像データの双方を生成するものがあり、図8は、RAW形式の画像データとJPEG形式の画像データを生成するブロック構成を示す図である。
撮像素子から出力されA/D変換されたデジタル画像データには、まずホワイトバランス処理回路7b1においてホワイトバランス係数が掛けられ、ホワイトバランスがとられる。ホワイトバランスがとられた画像データは、色補間回路7b2において色補間され、R(赤)G(緑)B(青)が格子状に配列されたパターン(例えばベイヤー配列)のデータから、RGBの3プレーンが作り出される。次に、RGBの3プレーンが揃った画像データは、マスキング処理回路7b3において、例えば、3×3のマトリクス演算等で色の最適化が行なわれ、ガンマ変換回路7b4でガンマ変換される。次に、ガンマ変換された画像データは、YUV変換回路7b5において、RGB信号から、偽色処理やエッジ強調を行なうためのYUVという輝度成分と色差成分の信号に変換される。
通常のJPEG画像を作成する場合は、YUV変換された信号の内の輝度成分であるY信号は、エッジ強調回路7b9でエッジ強調される。また、YUV変換された信号の内の色差成分であるUV信号は、メディアンフィルタ回路7b8でメディアンフィルタをかけられる。最後に、整ったYUVのデータはJPEG圧縮回路7eでJPEG圧縮される。
一方、デジタル画像データは、ホワイトバランス回路以降の回路を通らずに、直接可逆圧縮回路7dにも供給され、可逆圧縮が行なわれる。これにより、RAW形式の画像データが作られる。
特開2004−128809号公報
しかしながら、RAW形式のファイルは、図4に示すように、常にセンサーの画素数分のデータを持つため、画像の用途に応じて、簡単にはファイルサイズを小さくして使うことが出来ない。デジタルカメラの画素数が増えていけばRAW形式のファイルのサイズも増大するが、センサーの2次元配列は、ベイヤー配列と呼ばれるRGBの千鳥格子の並びが多く、そのままではRGBの3プレーンのデータのようには画素数を減らすことが出来ない。さらに、単純にベイヤー配列のままリサイズを行い、同じ配列に戻そうとすると、現像後のモアレや、偽色がリサイズ前に比べて多くなり、画質を劣化させてしまう。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、リサイズした画像を得るに当たり、リサイズした画像の偽色やモアレ等の画質の劣化を低減することである。
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、R,G,及びBのベイヤー配列のカラーフィルタで分離される光学像をR,G,及びBの電気信号に変換する撮像素子と、前記撮像素子から出力されたR,G,及びBの画像信号をデジタル画像データに変換するA/D変換手段と、前記R,G,及びBのデジタル画像データを色補間する色補間手段と、前記色補間手段により色補間されたデジタル画像データを輝度成分データと色差成分データとに分離する分離手段と、前記分離手段によって分離された輝度成分データと色成分データの画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段によって変換された輝度成分データと色差成分データとのタイミングを調整して前記ベイヤー配列のGの位置に前記輝度成分データを再配列し前記ベイヤー配列のRとBの位置に前記色差成分データを再配列する再配列手段と、前記再配列手段により再配列された輝度成分データと色差成分データを圧縮して圧縮データを生成する圧縮手段と、を具備することを特徴とする。
また、本発明に係わる画像処理方法は、R,G,及びBのベイヤー配列のカラーフィルタで分離される光学像をR,G,及びBの電気信号に変換する撮像素子から出力されたR,G,及びBの画像信号をデジタル画像データに変換するA/D変換工程と、前記R,G,及びBのデジタル画像データを色補間する色補間工程と、前記色補間工程において色補間されたデジタル画像データを輝度成分データと色差成分データとに分離する分離工程と、前記分離工程において分離された輝度成分データと色差成分データの画像サイズを変換する画像サイズ変換工程と、前記画像サイズ変換工程において変換された輝度成分データと色差成分データとのタイミングを調整して前記ベイヤー配列のGの位置に前記輝度成分データを再配列し前記ベイヤー配列のRとBの位置に前記色差成分データを再配列する再配列工程と、前記再配列工程において再配列された輝度成分データと色差成分データを圧縮する圧縮工程と、を具備することを特徴とする。
また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。
本発明によれば、リサイズした画像を得るに当たり、リサイズした画像の画質の劣化を低減することが可能となる。
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わるデジタルカメラの構成を示すブロック図である。
撮影レンズ1を通ってきた光は、赤外カットフィルタ2及び光学LPF(ローパスフィルタ)3を通過し、撮像素子4(以下CCDと呼ぶ)に結像される。
CCD4の受光面にはフォトダイオードを用いた光電変換センサが平面的に配置されており、各センサに対して、1色のカラー、例えば、R(赤)・G(緑)・B(青)の原色カラーフィルタが所定の配列で配置されている。なお、本実施形態では、カラーフィルタを用いて光をRGBの3色の成分に分離しているが、例えば、撮像素子を複数枚(例えば3枚)用いて、各撮像素子に対して1色を割り当てる形態も可能である。
CCD4に結像された光は、各センサにおいて、入射光量に応じた量の電荷に変換される。
タイミングジェネレータ16が発生する信号は、水平駆動用ドライバ17と垂直駆動用ドライバ18に供給される。そして、水平駆動用ドライバ17と垂直駆動用ドライバ18によりCCD4が駆動され、センサに蓄積された電荷が転送され、その電荷が順次電圧信号に変換されて、CCD4から出力される。
CCD4から出力された電圧信号は、相関二重サンプリング回路5(以下CDSと呼ぶ)でサンプリングされ、A/D変換器6でデジタル信号に変換される。
デジタル信号に変換された画像データは、画像処理IC7に入力され、まず、ホワイトバランスをとるためのデータを算出するWB(ホワイトバランス)回路7aに入力され、WB回路7aからの出力画像データが第1のメモリ8に一旦格納される。
第1のメモリ8に格納されたデータは、再び画像処理IC7に入力され、3つの画像処理を施される。
まず、デジタル信号に変換された画像データは、そのまま可逆圧縮(ロスレス圧縮)をかける可逆圧縮回路7dに入力される。そして、可逆圧縮回路7dにおいて可逆圧縮され、可逆圧縮されたRAWデータが、CPUバス10に送り出される。
また、デジタル信号に変換された画像データは、RAWサムネイル回路7cにも入力される。RAWサムネイル回路7cでは、例えば図2Aに示すように、RAWデータをブロック内平均し、そこから間引くことによってダウンサンプリングし、元の画像サイズより小さいサムネイル画像データを生成する。RAWサムネイル回路7cから出力されたサムネイル画像データは、CPUバス10に送られる。
なお、RAWサムネイルデータを生成する方法には、他に図2Bに示すような方法もある。すなわち、RAWデータにLPF(ローパスフィルタ)をかけた後に間引き、元の画像サイズよりも小さいサムネイル画像データを生成する方法である。
このようにRAWデータを非可逆圧縮せずに間引いてサムネイル画像データを生成することにより、カメラの液晶表示部又はPC(パーソナルコンピュータ)などに表示するサムネイル画像も高画質にすることができる。
また、デジタル信号に変換された画像データは、画像処理回路7bにも入力される。RGBの画像データは、画像処理回路7bにおいてYCbCr信号に変換されるとともに、ラスタブロック変換されて、JPEG圧縮回路7eでJPEG圧縮される。JPEG圧縮回路7eから出力されたJPEG形式の画像データは、CPUバス10に送られる。
さらに、画像処理回路7bの一部の機能を利用してリサイズされた画像データが、可逆圧縮回路7dに送られる。そして、可逆圧縮回路7dの出力が、リサイズされたRAWデータ(Small RAWデータ)としてCPUバス10に送られる。
ここで、画像処理回路7bで行わる画像処理についてさらに詳しく説明する。
図3は、画像処理回路7bにおける画像処理の概要を示すブロック図である。
第1のメモリ8から入力されたデジタル画像データは、ホワイトバランス回路7b1に入力される。ホワイトバランス回路7b1では、予めWB回路7aで算出されたデータに基づいてCPU15で計算されたホワイトバランス係数を画像データに掛ける。もしくは、予め設定されているホワイトバランス(例えばデイライト、タングステン、蛍光灯等)の係数を画像データに掛ける。
ホワイトバランス回路7b1でホワイトバランスがとられた画像データは、色補間回路7b2で色補間され、図4に示す様にRGBが格子状に配列されたパターン(例えばベイヤー配列)のデータから、RGBの3プレーンが作り出される。
次に、RGBの3プレーンが揃った画像データは、マスキング処理回路7b3において、例えば、式(1)に示すような3×3のマトリクス演算等で色の最適化が行われ、ガンマ変換回路7b4でガンマ変換される。
R’=m11×R+m12×G+m13×B
G’=m21×R+m22×G+m23×B 式(1)
B’=m31×R+m32×G+m33×B
次に、ガンマ変換された画像データは、偽色処理や、エッジ強調処理を行なうためにRGB信号からYUVという輝度成分と色差成分の信号に変換される。
通常のJPEG画像を作成する場合は、YUV変換された信号のうちの輝度成分Yは、エッジ強調回路7b9でエッジ強調される。また、YUV変換された信号のうちの色差成分UVは、メディアンフィルタ回路7b8でメディアンフィルタをかけられる。最後に、整ったYUVのデータはJPEG圧縮回路7eでJPEG圧縮される。
一方、リサイズされたRAWデータ(Smll RAWデータ)は、次のように生成される。
まず、第1のメモリ8から入力されたデジタル画像データは、ホワイトバランス回路7b1を未処理(所定の係数をかけることも可能)で通過し、色補間回路7b2で色補間される。そして、マスキング処理回路7b3、ガンマ変換回路7b4を未処理で通過し、YUV変換回路7b5でRGB信号からYUV信号に変換される。YUV変換回路7b5から出力された輝度信号Yと色差信号UVは、LPF(ローパスフィルタ)回路7b61、7b62で2次元LPFをかけられる。そして、リサイズ回路7b71、7b72で、解像度変換をされる。
次に、解像度変換されたUVデータは、LPF/間引き処理回路7b10で更にLPFをかけられ、間引かれる。輝度信号Yと間引かれた色差信号UVは、再配列回路7b11でタイミングを調整され、たとえば、一般的なRAWデータの様に、図5に示すベイヤー配列の形に戻すように配列しなおされる。そして、可逆圧縮回路7dに送られ可逆圧縮される。最終的に図6の様に、入力されたRGBのベイヤー配列のデジタル画像データは、解像度変換されたYCbCrのベイヤー配列型に再配列されて可逆圧縮される。この解像度変換(リサイズ)されたYCbCrのベイヤー配列型に再配列されて可逆圧縮されたデータをSmall RAWデータと呼ぶことにする。
このSmall RAWデータは、ベイヤー配列のデータを色補間し、RGBの3プレーンを生成した後、輝度色差(Y、Cr、Cb)成分に変換してLPFをかけることによってリサイズを行っている。そして、その後、色差成分のみを間引くことによって、輝度成分の情報を保持したまま、ベイヤー配列に再配列するため、偽色やモアレが少なく、解像力を保ったSmall RAWデータを生成することができる。
CPUバス10に送られた、JPEGデータ、可逆圧縮データ(RAWデータ)、Small RAWデータ、RAWサムネイルデータはそれぞれ、第2のメモリ9に格納され、各々のファイル形式に変換される。
次に、JPEGデータ、可逆圧縮データ(RAWデータ)、Small RAWデータ、RAWサムネイルデータは、I/F回路13に送られ、コンパクトフラッシュ(登録商標)等の着脱可能な記憶媒体14に格納される。
これらの一連の動作は、CPU15のレリーズスイッチ19が一度押されることによって、すなわち撮像時に行われる。
以上説明したように、本実施形態では、撮像装置においてJPEGデータ、RAWデータの他に、Small RAWデータ、RAWサムネイルデータを生成するようにしている。
Small RAWデータは、画質の低下の少ない状態で縮小(リサイズ)された画像データであるため、撮像装置において画像処理パラメータを変えながら画像処理結果を見る場合などに有効である。すなわち、小さい画像サイズでありながら画質の低下が少ない画像であるために、画像処理パラメータを変更した場合の効果を撮像装置の液晶表示装置などの画面上により明瞭に再現することができる。なお、これはPCの画面上で見る場合でも同じことであり、予め画質の低下が少ない状態で縮小した画像データを撮像装置側で用意しておくことにより、PC上で画像処理パラメータを変更して処理した場合の効果を把握することが容易に行なえる。
また、画質の低下の少ない状態で縮小したRAWサムネイルデータを生成することにより、サムネイル表示する画像の画質も向上させることができる。
(第2の実施形態)
図7は、本発明の第2の実施形態に係るデジタルカメラの構成を示すブロック図である。
この第2の実施形態では、通常のJPEG画像を形成する構成は第1の実施形態と同じであるが、Small RAWデータを生成する構成が異なる。第2の実施形態では、特に可逆圧縮にこだわらず、ビット数が多いことを利用し、拡張JPEGを利用してSmall RAWデータを生成する。
まず、第1のメモリ8から入力されたデジタル画像データは、ホワイトバランス回路7b1を未処理(所定の係数をかけることも可能)で通過し、色補間回路7b2で色補間される。そして、マスキング処理回路7b3、ガンマ変換回路7b4を未処理で通過し、YUV変換回路7b5でRGB信号からYUV信号に変換される。YUV変換回路7b5から出力された輝度信号Yと色差信号UVは、LPF(ローパスフィルタ)回路7b61、7b62で2次元LPFをかけられる。そして、リサイズ回路7b71、7b72で、解像度変換をされる。
次に、解像度変換されたUVデータは、LPF/間引き処理回路7b10で更にLPFをかけられ、間引かれる。輝度信号Yと間引かれた色差信号UVは、再配列回路7b11でタイミングを調整され、たとえば、上位12ビットは、一般的なJPEGのYUV4:2:2の配列の形に戻すように配列しなおされる。そして、拡張JPEG圧縮回路7eに送られJPEG圧縮される。また、12ビットを超えるビット数を持ったデジタルデータの場合、下位ビット(たとえば、14ビットの場合、下位2ビット)は集められて下位ビットパック7fでパックされ、JPEGとは別に格納される。
上記の動作を画像全体に対して行なうことによって、Small RAWデータが作成できる。
なお、上記の実施形態においては、RAWデータは、撮像素子から出力された信号をA/D変換し、A/D変換後に可逆圧縮したデータであるものとして説明したが、圧縮処理をしない画像データであっても良い。
また、RAWデータは、撮像素子から得られた出力アナログ信号でも良いし、A/D変換を施した画像信号に、少なくともホワイトバランス処理を施していない段階のものであってもよい。また、撮像素子から得られたA/D変換を施した画像信号に輝度信号と色信号に分ける色分離処理をしていない段階のものでもよい。あるいは、ベイヤー配列等の色フィルタを用いた場合等、色フィルタからの出力信号を色補間処理していない段階のものであってもよい。すなわち、撮像素子から出力された信号を再生時の損失がない状態で保持出来るデータであれば良い。
また、元のRAWデータを保存することなく、元のRAWデータから作成されたSmall RAWデータのみを保存するようにしてもよい。Small RAWデータは元のRAWデータよりもデータ量が少ないため、記録媒体の容量を節約し、多くの画像を記録することが可能になる。そのため、撮影時の撮影画像データの記録時間を削減することができ、カメラの連続撮影可能枚数を増やすことが可能になる。
また、元のRAWデータとSmall RAWデータを関連付けて保存することも可能である。その場合は、記録容量は増加するが、元のRAWデータのサイズよりも小さいSmall RAWデータのサイズも保持することによって、PCでのリサイズ処理が不要になり、利便性が上がる。
上記の実施形態によれば、上述のようにして画素数が減らされるので、偽色や、モアレの発生を防ぐということが出来る。
また、RAWサムネイル画像は、JPEG圧縮画像にユーザが任意の画像処理を施す場合と比べて、画質劣化やデータの損失なく画像処理結果を再生することが出来るものである。また、RAWサムネイル画像は、RAW本画像を縮小したもので、RAW本画像よりもデータ容量が小さく、画像処理にかかる時間が短くなるため、ユーザが任意に設定した画像処理パラメータを反映させた結果をすばやく表示することが出来る。
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
本発明の第1の実施形態に係わるデジタルカメラの構成を示すブロック図である。 本発明の第1の実施形態におけるデータを処理する様子を示す図である。 本発明の第1の実施形態におけるデータを処理する様子を示す図である。 本発明の第1の実施形態における画像処理部の詳細構成を示すブロック図である。 本発明の第1の実施形態におけるデータを処理する様子を示す図である。 本発明の第1の実施形態におけるデータを処理する様子を示す図である。 本発明の第1の実施形態におけるデータを処理する様子を示す図である。 本発明の第2の実施形態における画像処理部の詳細構成を示すブロック図である。 従来の画像処理部の構成を示すブロック図である。
符号の説明
4 撮像素子
7 画像処理IC
8 第1のメモリ
15 CPU
14 記録媒体

Claims (8)

  1. R,G,及びBのベイヤー配列のカラーフィルタで分離される光学像をR,G,及びBの電気信号に変換する撮像素子と、
    前記撮像素子から出力されたR,G,及びBの画像信号をデジタル画像データに変換するA/D変換手段と、
    前記R,G,及びBのデジタル画像データを色補間する色補間手段と、
    前記色補間手段により色補間されたデジタル画像データを輝度成分データと色差成分データとに分離する分離手段と、
    前記分離手段によって分離された輝度成分データと色成分データの画像サイズを変換する画像サイズ変換手段と、
    前記画像サイズ変換手段によって変換された輝度成分データと色差成分データとのタイミングを調整して前記ベイヤー配列のGの位置に前記輝度成分データを再配列し前記ベイヤー配列のRとBの位置に前記色差成分データを再配列する再配列手段と、
    前記再配列手段により再配列された輝度成分データと色差成分データを圧縮して圧縮データを生成する圧縮手段と、
    を具備することを特徴とする撮像装置。
  2. 前記圧縮手段は、可逆圧縮することを特徴とする請求項1に記載の撮像装置。
  3. 前記画像サイズ変換手段によりサイズ変換された前記輝度成分データを間引きせずに、色差成分データを間引きする間引き手段をさらに具備し、前記再配列手段は、前記間引き手段により間引かれたデータの再配列を行うことを特徴とする請求項1に記載の撮像装置。
  4. 前記輝度成分データと色差成分データは、Y、Cb、Cr信号であることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  5. 前記分離手段によって分離された輝度成分データと色差成分データに画像処理を行なう画像処理手段と、
    前記画像処理手段によって画像処理された輝度成分データと色差成分データに非可逆JPEG圧縮を行なったJPEG圧縮画像データを生成するJPEG圧縮手段と、
    前記圧縮手段によって生成された圧縮データと、前記JPEG圧縮手段によって生成されたJPEG圧縮画像データとを記憶媒体に格納する記憶手段とをさらに具備することを特徴とする請求項1に記載の撮像装置。
  6. R,G,及びBのベイヤー配列のカラーフィルタで分離される光学像をR,G,及びBの電気信号に変換する撮像素子から出力されたR,G,及びBの画像信号をデジタル画像データに変換するA/D変換工程と、
    前記R,G,及びBのデジタル画像データを色補間する色補間工程と、
    前記色補間工程において色補間されたデジタル画像データを輝度成分データと色差成分データとに分離する分離工程と、
    前記分離工程において分離された輝度成分データと色差成分データの画像サイズを変換する画像サイズ変換工程と、
    前記画像サイズ変換工程において変換された輝度成分データと色差成分データとのタイミングを調整して前記ベイヤー配列のGの位置に前記輝度成分データを再配列し前記ベイヤー配列のRとBの位置に前記色差成分データを再配列する再配列工程と、
    前記再配列工程において再配列された輝度成分データと色差成分データを圧縮する圧縮工程と、
    を具備することを特徴とする画像処理方法。
  7. 請求項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
  8. 請求項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2005347931A 2005-12-01 2005-12-01 撮像装置及び画像処理方法及びプログラム及び記憶媒体 Expired - Fee Related JP4840967B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005347931A JP4840967B2 (ja) 2005-12-01 2005-12-01 撮像装置及び画像処理方法及びプログラム及び記憶媒体
US11/606,210 US7626727B2 (en) 2005-12-01 2006-11-30 Image capturing apparatus, image processing method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005347931A JP4840967B2 (ja) 2005-12-01 2005-12-01 撮像装置及び画像処理方法及びプログラム及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2007158509A JP2007158509A (ja) 2007-06-21
JP2007158509A5 JP2007158509A5 (ja) 2009-01-15
JP4840967B2 true JP4840967B2 (ja) 2011-12-21

Family

ID=38118439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005347931A Expired - Fee Related JP4840967B2 (ja) 2005-12-01 2005-12-01 撮像装置及び画像処理方法及びプログラム及び記憶媒体

Country Status (2)

Country Link
US (1) US7626727B2 (ja)
JP (1) JP4840967B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340120A (ja) * 2005-06-03 2006-12-14 Sony Corp 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム
JP4840967B2 (ja) 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
EP2145330B1 (en) * 2007-04-11 2014-07-16 Red.Com, Inc. Video camera
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
KR20090010803A (ko) * 2007-07-24 2009-01-30 삼성전자주식회사 카메라에서 획득된 영상데이터를 표시하는 방법 및휴대단말기
US8452082B2 (en) 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
JP5280448B2 (ja) * 2008-08-04 2013-09-04 パナソニック株式会社 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
JP5191407B2 (ja) * 2009-01-20 2013-05-08 三洋電機株式会社 画像処理装置
JP5430379B2 (ja) * 2009-02-03 2014-02-26 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN103155567B (zh) * 2010-10-20 2015-08-12 松下电器产业株式会社 图像处理装置以及图像处理方法
JP5669556B2 (ja) * 2010-12-15 2015-02-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2528319A1 (en) * 2011-05-23 2012-11-28 Alcatel Lucent Image data compressing and decompressing methods and devices
WO2012164896A1 (ja) 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
CN103563359B (zh) 2011-06-08 2016-11-09 松下知识产权经营株式会社 图像处理装置及图像处理方法以及数码相机
JP5841358B2 (ja) * 2011-06-28 2016-01-13 キヤノン株式会社 画像処理装置及び画像処理方法
US9521384B2 (en) 2013-02-14 2016-12-13 Red.Com, Inc. Green average subtraction in image data
JP6136669B2 (ja) 2013-07-08 2017-05-31 株式会社ニコン 撮像装置
JP6396044B2 (ja) * 2014-03-13 2018-09-26 オリンパス株式会社 固体撮像素子
US9727947B2 (en) * 2015-03-23 2017-08-08 Microsoft Technology Licensing, Llc Downscaling a digital raw image frame
CN105427776B (zh) * 2016-01-26 2018-08-07 深圳市华星光电技术有限公司 液晶面板影像残留检测方法和装置
US10863158B2 (en) * 2016-05-17 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP6929711B2 (ja) 2017-06-15 2021-09-01 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
EP3649783A1 (en) 2017-07-05 2020-05-13 Red.Com, Llc Video image data processing in electronic devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5267333A (en) * 1989-02-28 1993-11-30 Sharp Kabushiki Kaisha Image compressing apparatus and image coding synthesizing method
JP4330046B2 (ja) * 1999-03-12 2009-09-09 カシオ計算機株式会社 撮像装置
JP4100836B2 (ja) * 1999-08-20 2008-06-11 キヤノン株式会社 画像処理装置
JP4298253B2 (ja) 2002-10-01 2009-07-15 キヤノン株式会社 画像処理方法及び装置、及び撮像装置
JP2005277908A (ja) * 2004-03-25 2005-10-06 Nec Access Technica Ltd 画像処理装置、その画像処理方法およびカメラつき携帯電話
JP2005318100A (ja) * 2004-04-27 2005-11-10 Olympus Corp デジタルカメラ及びファインダ表示方法
JP4189820B2 (ja) * 2004-05-10 2008-12-03 富士フイルム株式会社 撮像装置及び画像記録方法
JP4840967B2 (ja) 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体

Also Published As

Publication number Publication date
US7626727B2 (en) 2009-12-01
US20070127095A1 (en) 2007-06-07
JP2007158509A (ja) 2007-06-21

Similar Documents

Publication Publication Date Title
JP4840967B2 (ja) 撮像装置及び画像処理方法及びプログラム及び記憶媒体
US9560256B2 (en) Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP5280448B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路
JP5240194B2 (ja) 信号処理方法および信号処理装置
WO2012164896A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
WO2012169140A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2005175975A (ja) 画像処理装置
JP3926947B2 (ja) 画像データ形成装置および画像データ処理方法
JP4096626B2 (ja) 画像処理方法及び画像処理プログラム
JP4560180B2 (ja) 撮像装置
JPH11168745A (ja) デジタルカメラ
US7469059B1 (en) Reorganization of raw image data for processing
JP2005175978A (ja) プリンタに直接接続可能なデジタルカメラの画像処理システム
JP4429148B2 (ja) 画像撮影記録装置及び方法
JPH11168688A (ja) ディジタルカメラ装置ならびにその記録および/または再生処理方法
EP0998130B1 (en) Digital camera and image processing method
JP2002330322A (ja) 電子カメラ
JPH07131721A (ja) ディジタルスチルカメラ
JP2000232618A (ja) フォトフィニッシング方法およびシステム並びに記録媒体
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2002330387A (ja) 電子カメラ
JP3343861B2 (ja) ディジタル電子スチル・カメラおよびその動作方法
US20050200914A1 (en) Digital camera and image recording method
JP2005150835A (ja) 画像処理装置、デジタルカメラシステム、及びデジタルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111003

R151 Written notification of patent or utility model registration

Ref document number: 4840967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees