JP5256725B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5256725B2
JP5256725B2 JP2007332281A JP2007332281A JP5256725B2 JP 5256725 B2 JP5256725 B2 JP 5256725B2 JP 2007332281 A JP2007332281 A JP 2007332281A JP 2007332281 A JP2007332281 A JP 2007332281A JP 5256725 B2 JP5256725 B2 JP 5256725B2
Authority
JP
Japan
Prior art keywords
image
unit
field
image data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007332281A
Other languages
English (en)
Other versions
JP2009159056A (ja
Inventor
壽久 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007332281A priority Critical patent/JP5256725B2/ja
Priority to US12/314,664 priority patent/US20090160969A1/en
Publication of JP2009159056A publication Critical patent/JP2009159056A/ja
Priority to US13/791,439 priority patent/US8767086B2/en
Application granted granted Critical
Publication of JP5256725B2 publication Critical patent/JP5256725B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮像装置に関する。
電子カメラにおいては、撮像した被写体像を複数フィールドに分けて読み出す撮像素子を備えたものが一般化している。出願人は、特許文献1の発明において、全てのフィールドに対する読み出しが終了するのを待たずに、撮影結果確認のために表示装置に表示するのに適した画像(以下、「クイックビュー画像」と称する)や一覧表示用に適した画像(以下、「サムネイル画像」と称する)を作成することにより、撮影間隔の短い電子カメラを提案した。
特開2004−135225号公報
しかし、近年の撮像素子の高画素化に伴い、読み出しのフィールド数も増加している。そのため、全てのフィールドに対する読み出しが終了するまでの時間がさらに長時間化している。結果として、ユーザの待ち時間が長時間化し、問題となっている。
本発明の撮像装置は、上記問題に鑑みてなされたものであり、撮像素子からの読み出し時間を有効利用することを目的とする。
請求項1に記載の撮像装置は、被写体を撮像して、複数の色情報を有する画像データを複数フィールドに分けて出力する場合、前記複数の色情報のうち一部の色情報のみを含んだ画像データをフィールド単位で出力する第1モードと、前記複数の色情報すべての色情報を含んだ画像データをフィールド単位で出力する第2モードとを切替可能な撮像部と、前記撮像部が前記第1モードに切り替えられている場合は、前記複数フィールドのうち前記複数の色情報すべてが含まれるように2以上かつ全てではない複数フィールドを選択し、前記撮像部が前記第2モードに切り替えられている場合は、前記複数フィールドのうち1つのフィールドを選択する選択部と、前記選択部により選択されたフィールドの画像データに基づいて画像を生成する画像生成部と、前記選択部により選択されたフィールド以外のフィールドの画像データを出力する期間に、前記画像の生成を前記画像生成部に開始させる制御部とを備えることを特徴とする。
請求項2に記載の撮像装置は、請求項1に記載の撮像装置において、前記画像生成部は、前記画像に解像度変換処理を施すことで、前記画像とは別のサムネイル画像を生成することを特徴とする。
請求項3に記載の撮像装置は、請求項2に記載の撮像装置において、前記画像は、表示装置に表示するための画像であることを特徴とする。
請求項4に記載の撮像装置は、請求項2又は請求項3に記載の撮像装置において、前記画像生成部は、前記複数フィールドに分けて出力された前記画像データに基づいて、前記画像及び前記サムネイル画像とは別のメイン画像を生成することを特徴とする。
請求項5に記載の撮像装置は、請求項4に記載の撮像装置において、前記サムネイル画像及び前記メイン画像を含む画像ファイルを記録媒体に記録する記録制御部を更に備えることを特徴とする。
請求項6に記載の撮像装置は、請求項1から請求項5のいずれか一項に記載の撮像装置において、前記第1モードは、4以上かつ偶数のフィールドに分けて、前記複数の色情報を有する前記画像データを出力するモードであることを特徴とする。
請求項7に記載の撮像装置は、請求項1から請求項6のいずれか一項に記載の撮像装置において、前記撮像部に配置されるカラーフィルターは、ベイヤー配列であることを特徴とする。
請求項8に記載の撮像装置は、請求項1から請求項7のいずれか一項に記載の撮像装置において、前記撮像部が前記第1モードに切り替えられている場合は、前記選択部は、前記複数フィールドのうち前記複数の色情報すべてを含むために必要な最小フィールドを選択することを特徴とする。
本発明の撮像装置によれば、撮像素子からの読み出し時間を有効利用することができる。
以下、図面を用いて本発明の実施形態について説明する。
まず、本発明の実施形態における電子カメラ1の構成について、図1を用いて説明する。
電子カメラ1は、図1に示すように、撮影レンズ10、CCD11、AFE(Analog Front End)12、画像処理部13の各部を備える。撮影レンズ10は、不図示のフォーカスレンズ、ズームレンズ、レンズ駆動用のモータ等を含む。また、CCD11は、図2に示すように、Bayer配列の色フィルタを備える。なお、CCD11はこの例に限定されない。ストライプ配列等他のフィルタ配列を備えるものでも良いし、CCD以外の撮像素子であっても良い。撮影レンズ10を介してCCD11により撮像された被写体像は、CCD11によって画像信号に変換されてAFE12に出力される。そして、出力された画像信号は、AFE12でデジタルデータ(以下、「画像データ」と称する)に変換され、画像処理部13に出力される。
電子カメラ1は、さらに、CCD11およびAFE12に対して露光や画像信号の出力等の駆動を行うTG(Timing Generator)14、撮影レンズ10のレンズ駆動用のモータを駆動するMDIC(Motor Driver IC)15、TG14およびMDIC15を制御するSIO(Serial Input / Output)16、MDIC15を制御するPIO(Parallel Input / Output)17の各部を備える。
また、電子カメラ1は、画像処理部13により画像処理が施された画像データを圧縮および伸長するJPEG圧縮部18、画像処理や画像の圧縮時に画像データを一時記録するSDRAM19、SDRAM19とのインタフェースであるSDRAMコントローラ20、画像データや各種情報を表示するLCD21、LCD21を制御するDisplayコントローラ22の各部を備える。なお、画像処理部13、JPEG圧縮部18、SDRAMコントローラ20、Displayコントローラ22の各部は画像バスを介して相互に接続される。
また、電子カメラ1は、画像データ等を記録する着脱可能なメモリカード23、メモリカード23とのインタフェースであるカードI/F部24、ホストPCなどと相互に接続可能なUSBI/F部25、各部に動作クロックを供給するクロック発生器26の各部を備えるとともに、各部を制御するCPU27を備える。なお、画像処理部13、SIO16、PIO17、JPEG圧縮部18、SDRAMコントローラ20、Displayコントローラ22、カードI/F部24、USBI/F部25、クロック発生器26、CPU27の各部はCPUバスを介して相互に接続される。
図3は、画像処理部13の詳細を示すブロック図である。画像処理部13は、図3に示すように、前処理部30と後処理部31とから構成される。前処理部30は、欠陥補正部32、OBクランプ処理部33、感度比調整部34、3A評価値算出部35、出力バッファ36の各部を備える。欠陥補正部32は、AFE12から入力された画像データに欠陥画素補正を施し、OBクランプ処理部33は、欠陥補正部32による補正後の画像データの黒レベルを決定する。また、感度比調整部34は、OBクランプ処理部33による処理後の画像データに感度比調整を施してR,G,Bの信号レベルを揃え、3A評価値算出部35は、感度比調整部34の出力に基づいて、上述したAEおよびAFに加えて、AWB(AutoWhiteBlance)の各評価値を算出する。また、3A評価値算出部35による算出結果は、CPUバスを介してCPU27に供給される。また、感度比調整部34の出力は、後処理部31に出力されるとともに、出力バッファ36を経由して、画像バスに出力される。
後処理部31は、水平間引き部40、WB調整部41、γ補正部42、色補間部43、色変換色補正部44、解像度変換部45、空間フィルタ部46、CbCr間引き部47、入力バッファ48、出力バッファ49の各部を備える。
水平間引き部40は、前処理部30により前処理が施された画像データに、水平間引きを施し、水平画素数を削減する。WB調整部41は、水平間引き部40による間引き後の画像データに対して、3A評価値算出部35により算出したAWB評価値などに基づいて、ホワイトバランス調整を施す。γ補正部42は、WB調整部41によるホワイトバランス調整後の画像データに対してγ補正を施す。色補間部43は、γ補正部42による補正後の画像データに対して、色補間処理を施し、1画素1色のBayer配列の画像データから1画素3色の画像データを生成する。色変換色補正部44は、色補間部43による補間後の画像データに対して、色変換および色補正を施し、目的の色空間(例えばsRGB)の画像データを生成する。この画像データは、通常、YCbCr=4:4:4の画像データである。
解像度変換部45は、色変換色補正部44による補正後の画像データに対して解像度変換処理を施し、目的のサイズの画像データを作成する。例えば、後述するView動作の場合には、QVGA(320×240)サイズやVGA(640×480)サイズの画像データを作成する。空間フィルタ部46は、解像度変換部45による変換後の画像データに対して、空間フィルタ処理を施す。具体的には、Y信号にはエッジ強調処理を施し、色差信号(Cb信号およびCr信号)にはローパスフィルタ処理を施す。CbCr間引き部47は、色差信号(Cb信号およびCr信号)に間引き処理を施して、例えば、YCbCr=4:2:2の画像データを作成して出力バッファ49に出力する。出力バッファ49の出力は、画像バスに接続される。また、入力バッファ48には、画像バスからの出力が接続されるとともに、入力バッファ48の出力は、水平間引き部40および色変換色補正部44に接続される。
以上説明した構成の電子カメラ1において、撮影動作にはView動作と静止画撮影動作とがある。View動作とは、リアルタイムに構図を確認するためのスルー画像を作成して表示する動作であり、静止画撮影動作とは、本撮像により画像(以下、「メイン画像」と称する)を生成する動作である。
View動作においては、図4に示すように、CCD11から間引かれた画像信号が出力されるので、フレームレートが高く(例えば30fps)、LCD21でリアルタイムに被写体を観察したり、AE(Auto Exposure)のための測光やAF(Aoto Focusing)を行ったりするのに適している。
一方、静止画撮影動作においては、図5に示すように、CCD11から全画素の画像信号が出力されるので、解像度が高く、しかも画像信号が複数のフィールドに分かれて出力される。図5では、4フィールド出力の例を示しているが、CCD11の高画素化に伴い、このフィールド数も増加する傾向にある。
また、上述したView動作の場合、図4に示したように、隣り合うラインの画像信号が順にCCD11から出力されるので、前処理部30による前処理が済んだ画像データに、そのまま後処理部31による後処理を施すことができる。すなわち、View動作の場合には、前処理後の画像データを、前処理部30から後処理部31に直接入力する。そして、後処理部31による後処理後の画像データは、画像バスおよびSDRAMコントローラ20を介して、SDRAM19に一旦記憶される。さらに、この画像データは、SDRAM19から、SDRAMコントローラ20、画像バス、Displayコントローラ22を順に経由して、LCD21にスルー画像として表示される。
一方、上述した静止画撮影動作の場合、図5に示したように、画像信号がCCD11から複数のフィールドに分かれて出力されるので、後処理部31による後処理のうち、補間処理などを実行することができない。例えば、図5の第1フィールドでは、ラインnの次にラインn+4が出力されており、その後に、間のラインであるn+1,n+2,n+3というラインが挿入されるので、色補間や解像度変換や空間フィルタのように隣接するラインの画像データを利用する処理を第1フィールドの画像データに施すことができない。このため、上述した静止画撮影動作の場合には、各フィールドの画像データに前処理を施した後に、一旦前処理部30からSDRAM19に記憶し、SDRAM19上でフレーム画像に合成してから後処理部31による後処理を施す。
図6は、View動作時における画像データのフローである。CPU27は、(1)の矢印に沿って画像処理を行い、(2)の矢印に沿ってスルー画像の表示を行う。なお、スルー画像の表示を継続的に行うために、図7に示すようにV1バッファ60とV2バッファ61との2つの画像バッファを用意し、これらを1フレームごとに切り替える。そして、CPU27は、レリーズボタンが半押しされると、静止画撮影動作に備えて、3A評価値算出部35によるAEの評価値を用いたAE演算と、AFの評価値を用いたAFとを行う。そして、レリーズボタンの半押しに続いて全押しが行われると、CPU27は、AFが完了した後に、上述したAE演算の結果に基づいて静止画撮影のための露光を行い、静止画撮影動作に移行する。
静止画撮影のための露光は、不図示のメカシャッターの閉鎖によって終了し、CCD11からは、図5に示したように、複数のフィールドに分かれた画像信号が出力される。CPU27は、各フィールドの画像データに対して前処理部30により前処理を施してSDRAM19に記憶するとともに、各フィールドごとに3A評価値算出部35によりAWB評価値を算出する。そして、前処理が施された全てのフィールドの画像データがSDRAM19に記憶されると、CPU27は、前述したAWB評価値から求めたWB調整値をWB調整部41に設定する。そして、CPU27は、SDRAM19に記憶された画像データをライン順(Progressive)に読み出して、後処理部31により後処理を施す。
なお、静止画撮影においては撮影確認用のクイックビュー画像、一覧表示用に適したサムネイル画像、メイン画像という3つの画像が作成される。これらの画像は前処理の済んだ画像データに、別々に後処理を施すことにより作成される。メイン画像は、サイズが大きいので一般に1回の後処理で作成することはできず、図8に示すように、前処理の済んだ画像データを、細い短冊状のブロックに分割し、ブロックごとに後処理を施した後でそれらを結合することにより作成する。ただし、後処理では周囲の画素が切り落とされてサイズが小さくなるため、図8に示すように、ブロックの境界部が重なるようにして後処理後の画像が正しく繋がるようにする。なお、メイン画像を作成する場合は、一般に水平間引き部40をバイパスしてフル解像度の画素を後段に送っている。一方、クイックビュー画像およびサムネイル画像は、サイズが小さいので、最初に水平間引きを施すことによりそれぞれ1回の後処理で作成することができる(図8で説明したような短冊状のブロックへの分割は不要)。
はじめに、比較のために従来の静止画撮影動作時について説明する。図9は、静止画撮影動作時における画像データのフローである。CPU27は、(1)の矢印に沿って前処理を行い、(2)および(3)の矢印に沿って後処理を行う。前処理部30および後処理部31の画像処理パイプラインは1つなので、クイックビュー画像、サムネイル画像、メイン画像は、それぞれシーケンシャルに作成される。これらの3つの画像はSDRAM19にそれぞれ記憶される。なお、撮影されたメイン画像の内容を速やかにユーザに確認させるため、最初にクイックビュー画像を作成することが望ましい。次いでサムネイル画像を作成し、メイン画像を最後に作成することが望ましい。これは、Exif/DCFという一般的なファイルフォーマット規格では、サムネイル画像を、JPEGファイルのヘッダ部に記録し、メイン画像をJPEGファイルの最後尾に記録するというデータの並びになっているためである。CPU27は、(6)の矢印に沿ってクイックビュー画像の画像データをLCD21に表示する。
また、CPU27は、サムネイル画像およびメイン画像を、共にJPEG圧縮して記録する。CPU27は、(4)および(5)の矢印に沿ってJPEG圧縮を行う。JPEG圧縮部18は1つなので、サムネイル画像の圧縮とメイン画像の圧縮とはシーケンシャルに行われる。この場合も、サムネイル画像、メイン画像の順に圧縮することが望ましい。そして、CPU27は、(7)の矢印に沿って、サムネイル画像の圧縮データとメイン画像の圧縮データとを、Exif/DCFのフォーマットにしたがってってSDRAM19上で1つのファイルに結合し、このファイルをカードI/F部24を介してメモリカード23に記録する。
以上説明したように、静止画撮影動作には複数のデータフローが存在する。そのため、それに対応してSDRAM19内に複数の画像バッファを用意する。SDRAM19は、図10に示すように、Rバッファ62、Tバッファ63、Mバッファ64、T−Jバッファ65、M−Jバッファ66、Qバッファ67の各画像バッファを備える。
そして、CPU27は、図10に示すように、Rバッファ62には、前処理後の画像データを記憶する。また、Tバッファ63には、Rバッファ62の画像データに後処理を施して作成したサムネイル画像の画像データを記憶し、Mバッファ64には、Rバッファ62の画像データに後処理を施して作成したメイン画像の画像データを記憶する。さらに、T−Jバッファ65には、Tバッファ63の画像データにJPEG圧縮部18によりJPEG圧縮を施して作成した圧縮画像の画像データを記憶し、M−Jバッファ66には、Mバッファ64の画像データにJPEG圧縮部18によりJPEG圧縮を施して作成した圧縮画像の画像データを記憶する。そして、T−Jバッファ65およびM−Jバッファ66の画像データは、上述したように、1つのSDRAM19上で1つのファイルに結合され、メモリカード23に記録される。また、Qバッファ67には、Rバッファ62の画像データに後処理を施して作成したクイックビュー画像の画像データを記憶する。Qバッファ67の画像データは、上述したように、Displayコントローラ22を介してLCD21に表示される。
なお、図10では、Rバッファ62に入るデータフローを1本で描いているが、実際は、図5に示したように複数のフィールドに分かれた画像データが順にRバッファ62に入るので、図11に示すような複数のデータフローとなる。図11に示すように、SDRAM19は、図10のRバッファ62に代えて、R1バッファ68、R2バッファ69、R3バッファ70、R4バッファ71の各画像バッファを備える。これらの画像バッファは、元のフィールド数にかかわらず、1フレームの画像としてライン順(Progressive)に読み出されるよう、各フィールドのRバッファ(R1〜R4)62は飛び飛びのアドレスから構成されるようにすれば良い。そして、R4バッファには4番目のフィールドの画像データが入力される。そして、CPU27は、4フィールドの画像データ全てがそれぞれの画像バッファに記憶されてから、後処理部31による後処理を開始する。
図12Aは、上述した1回の静止画撮影のシーケンスを示すタイミング図である。図12Aにおいて、「Q画」はクイックビュー画像を示し、「T画」はサムネイル画像を示し、「M画」はメイン画像を示す。図12Aに示すように、CCD11からの画像信号出力と前処理部30による前処理とは並列に行われ、前処理の施されたフィールドの画像データは、順次Rバッファ(R1バッファ68〜R4バッファ71)に記憶される。そして、全フィールドの画像データがRバッファに記憶されると、後処理部31により後処理を施してクイックビュー画像とサムネイル画像とメイン画像との3つを、順に作成する。なお、CPU27は、クイックビュー画像を作成すると、直ちにLCD21に表示する。次に、CPU27は、サムネイル画像とメイン画像とを、順にJPEG圧縮部18によりJPEG圧縮する。最後に、CPU27は、サムネイル画像の圧縮データとメイン画像の圧縮データとを、順にメモリカード23に記録する。
ところでサムネイル画像とメイン画像とは、順番に作成され、かつ、順番にJPEG圧縮される。そこで、図12Bに示すように、メイン画像の作成中にサムネイル画像のJPEG圧縮を行い、メイン画像のJPEG圧縮中にサムネイル画像の圧縮データの記録を行うことにより、複数の処理をオーバーラップして実行することができるので、合計の処理時間(撮影時間)を短縮することができる。さらに、CCD11の読み出しフィールド数が奇数の場合は、従来技術で触れたように、CCD11からの画像信号出力と並行して、1つのフィールドの画像データだけからクイックビュー画像や、サムネイル画像のような低解像度のカラー画像を作成することもできる(図12C参照)。
図12Dは、図12Bと図12Cとを組み合わせた高速の静止画撮影のシーケンスを示すタイミング図である。図12Dに示すように、CCD11からの画像信号出力と並行して、1つのフィールドの画像データだけからクイックビュー画像を作成しつつ、メイン画像の作成中にサムネイル画像のJPEG圧縮を開始することにより、クイックビュー画像やサムネイル画像がさらに早めに作成されるという大きなメリットがある。
さらに、図12Cおよび図12Dでは、CCD11からの画像信号出力中に、クイックビュー画像のみを並行して作成する例を示した。しかし、CCD11が3フィールド出力であれば、図13AのようにTG14からの垂直同期信号(VD信号)に同期して、3つのフィールドの画像信号が順に出力される。したがって、第1フィールドまたは第2フィールドの読み出し中にクイックビュー画像を作成し、第2フィールドまたは第3フィールドの読み出し中にサムネイル画像を作成することにより、CCD11からの全フィールドの画像信号出力が終了するまでに、クイックビュー画像およびサムネイル画像の作成を完了させることも可能である。
ところで、上述したように、読み出しのフィールド数の増加に伴い、CCDの全てのフィールドに対する読み出しが終了するまでの時間がさらに長時間化している。そこで、本実施形態では、この読み出し時間を有効利用するために、クイックビュー画像およびサムネイル画像の作成をより早く開始する。
図14Aおよび図14Bは、本実施形態におけるクイックビュー画像の作成について説明する図である。図14Aは、CCD11が、3フィールド出力の場合の例であり、図14Bは、CCD11が、4フィールド出力の場合の例である。CCD11が、3フィールド出力である場合、図14Aに示すように、1つのフィールドに全ての色信号成分(R,G,B)が含まれる。そのため、1つのフィールド(図14Aの例では第1フィールド)の画像データだけからクイックビュー画像およびサムネイル画像を作成することができる。一方、CCD11が、4フィールド出力である場合、図14Bに示すように、各フィールドのそれぞれに、1色の色信号成分が不足する。例えば、第1フィールドにはB信号が含まれておらず、第2フィールドにはR信号が含まれていない。そのため、このような場合には、全ての色情報を抽出可能な2つのフィールド(図14Bの例では第1フィールドおよび第2フィールド)の画像データからクイックビュー画像およびサムネイル画像を作成する。なお、図14Bの例では、2つのフィールドの画像信号から全ての色情報を抽出可能であるが、3色以上の色成分を含むカラーフィルタが使われたCCDなどに関しては、全ての色情報を抽出可能な最小のフィールド数を適宜採用すれば良い。
例えば、図13Bで説明したように、CCD11が4フィールド出力である場合、第2フィールドの画像信号出力が終わった時点で、CCD11からの全てのフィールドの画像信号出力が終わるまで待つこと無く、第1フィールドおよび第2フィールドの画像データからクイックビュー画像およびサムネイル画像を作成することができる。そのため、第3フィールドおよび第4フィールドの読み出し期間を有効利用することができる。
この時、クイックビュー画像の作成をサムネイル画像の作成より優先すると良い。これは、クイックビュー画像によりユーザが撮影の確認を早めに行うことができるとともに、サムネイル画像の作成にクイックビュー画像が利用できるからである。第1フィールドと第2フィールドとを合わせた画像と、それらから作成されたクイックビュー画像とを比較すると、一般にはクイックビュー画像の方がサイズ(解像度)は小さい。そこで、クイックビュー画像を先に作成し、サムネイル画像の作成にクイックビュー画像を利用することにより、処理を高速化することができる。
図15は、クイックビュー画像を作成する時のデータフローである。図15に示すように、CPU27は、第3フィールドおよび第4フィールドの画像データをSDRAM19(R3バッファ70およびR4バッファ71)に記憶している間に、SDRAM19(R1バッファ68およびR2バッファ69)に記憶されている第1フィールドと第2フィールドの画像データを読み出す。そして、読み出した第1フィールドと第2フィールドの画像データに対して後処理部31により後処理を施してクイックビュー画像を作成する。
図16は、図15のデータフローで作成したクイックビュー画像からサムネイル画像を作成する時のデータフローである。図16に示すように、CPU27は、SDRAM19(Qバッファ67)に記憶されているクイックビュー画像の画像データを読み出し、読み出したクイックビュー画像の画像データに対して後処理部31の中の解像度変換部45により縮小処理などを施してサムネイル画像を作成する。
図15および図16で説明したように、クイックビュー画像とサムネイル画像とをシーケンシャルに作成する場合でも、全体では処理時間が短縮される。例えば、クイックビュー画像を作成するのに第3フィールドと第4フィールドの全読み出し期間を要した場合は、上述した図12Cや図12Dと同様のタイミングで全体の処理が行われる。また、それよりも短時間でクイックビュー画像が作成される場合には、サムネイル画像の作成を前倒しして実行することができるので、全体の処理時間をさらに短縮することができる。例えば、後処理部31に関する処理クロックの周波数を高く設定することにより実現可能である。また、第4フィールドの読み出し期間内の早いタイミングでクイックビュー画像の作成が終了する場合、第4フィールドの読み出し期間の終わりまでにサムネイル画像の作成を終了することも可能である。この場合は、図16で説明したように、クイックビュー画像からサムネイル画像を作成すると効果的である。
一方、図13Aで説明したように、CCD11が3フィールド出力である場合、第1フィールドの画像データのみからクイックビュー画像およびサムネイル画像を作成することができる。そのため、第2フィールドおよび第3フィールドの読み出し期間を有効利用することができる。この場合、図15で説明したように、CPU27は、SDRAM19(R1バッファ68)に記憶した第1フィールドの画像データを読み出し、読み出した第1フィールドの画像データに対して後処理部31により後処理を施してクイックビュー画像およびサムネイル画像を作成する。
図14Aで説明したように、1つのフィールドに全ての色信号成分(R,G,B)が含まれる場合には、図17に示すデータフローでクイックビュー画像およびサムネイル画像の作成を行うことにより、処理をより効率的に行うことができる。すなわち、図17に示すように、CPU27は、前処理部30による前処理が施された1つのフィールドの画像データを、前処理部30から直接後処理部31に送る。そして、後処理部31により後処理を施してクイックビュー画像を作成し、SDRAM19(Qバッファ67)に記憶する。
画像データを前処理部30から直接後処理部31に送る際には、図6および図7で説明したように、View動作時のデータフローと同様の処理を行えば良い。ただし、画像データを、単純に前処理部30から直接後処理部31に送ると、複数のクイックビュー画像を作成してしまうことになる。そこで、複数のフィールドのうち、1つのフィールドを選択するフィールド選択手段を備えておき、このフィールド選択手段により予め設定された1つのフィールドの画像データだけを後処理部31に直接送って後処理を施すことにより、クイックビュー画像を1つだけ作成すれば良い。このように構成することにより、選択された1つのフィールドの読み出し期間のみ後処理部31を動作させ、他のフィールドの読み出し期間内は後処理部31を停止させるという制御が画像処理部13によって自動的に行われる(CPU27が後処理部31の動作/停止をその都度制御する必要がない)。
また、クイックビュー画像を作成する場合は、一般に縮小処理が行われるので、図6および図7で説明したView動作時と同様に、水平間引き部40を有効利用することができる。その一方で、後で高解像度のメイン画像を作成するため、前処理部30により前処理が施された全てのフィールドの画像データをSDRAM19に記憶する必要がある。そのため、図17に示すように、後処理部31から出力されるクイックビュー画像と、前処理部30から出力される画像データとの2つのデータフローが存在する。
図17で説明した構成によれば、リアルタイムでクイックビュー画像が作成されるというメリットと、SDRAM19に関するデータトラフィックが少なくて済むというメリットとが期待できる。例えば、図13Aにおいて、第1フィールドの読み出し期間にクイックビュー画像の作成を終了すれば、第2フィールドの読み出し期間と第3フィールドの読み出し期間との2つが空くので、余裕を持ってサムネイル画像を作成することができる。この場合も、図16で説明したように、クイックビュー画像からサムネイル画像を作成すると良い。クイックビュー画像からサムネイル画像を作成すれば、第2フィールドの読み出し期間内にサムネイル画像の作成を終了することも実現可能である。すなわち、図18Aのタイミング図に示すように、処理時間を短縮することができる。さらに、処理クロックを適宜調整することにより、第3フィールドの読み出し期間内にサムネイル画像の圧縮を開始または終了するなど、処理をさらに前倒しすることも可能である。
また、図16で説明したようにクイックビュー画像からサムネイル画像を作成する代わりに、第1フィールドの読み出し期間内に、第1フィールドの画像データからクイックビュー画像を作成し、第2フィールドの読み出し期間内に、第2フィールドの画像データからサムネイル画像を作成しても良い。この場合、上述した選択手段によりクイックビュー画像を作成するフィールドとサムネイル画像を作成するフィールドとを、それぞれ設定すれば良い。このような構成とすることにより、クイックビュー画像からサムネイル画像する場合と同程度に処理時間を短縮することができる。
また、クイックビュー画像とサムネイル画像とを並行して同時に作成する構成としても良い。クイックビュー画像のサイズは、QVGA(320×240)サイズやVGA(640×480)サイズであることが多い。一方、サムネイル画像のサイズは、Exif/DCFフォーマットでは標準で(160×120)サイズに規定されている。クイックビュー画像とサムネイル画像とのサイズを比較すると、クイックビュー画像を「1/N」倍(N:整数)に縮小処理すればExif/DCFの標準サムネイル画像(160×120)が作成できることが分かる。この相性の良さは、図16で説明したようにクイックビュー画像からサムネイル画像を作成する場合にももちろん有効である。一方で、この縮小処理は、水平方向および垂直方向のそれぞれが「N画素」から成るブロックの平均値を求めることに相当する。そこで、公知技術であるビットシフトの技術を用いて、クイックビュー画像とサムネイル画像とを並行して同時に作成することができる。具体的には、「1/4」倍(N=4)の場合は、2ビットの右シフトを行い、「1/2」倍(N=2)の場合は、1ビットの右シフトを行う。このような画素の平均値を求める回路は、非常に簡単な構成であるため、この回路を設けることによるコストや消費電力の増加は受容できる程度である。
そこで、図19のデータフローに示すように、後処理部31の後方に画素平均化部50を設ける。そして、後処理後の画像データを、後処理部31から画素平均化部50に直接入力する。図19は、CCD11が4フィールド出力である場合の例を示す。画素平均化部50は、後処理部31においてクイックビュー画像が作成されている時に、その画素を水平方向および垂直方向のそれぞれ4画素(合計16画素)の平均値を算出(16画素の積算値を1/16倍(4ビットシフト))するか、または、水平方向および垂直方向のそれぞれ2画素(合計4画素)の平均値を算出(4画素の積算値を1/4倍(2ビットシフト))する。そして、画素平均化部50は、その平均値をサムネイル画像の1画素として出力する。
そして、CPU27は、後処理部31により作成されたクイックビュー画像の画像データを、SDRAM19(Qバッファ67)に記憶するとともに、画素平均化部50により作成されたサムネイル画像の画像データを、SDRAM19(Tバッファ63)に記憶する。すなわち、図18Bのタイミング図に示すように、処理時間を短縮することができる。
このような画素平均化部50による平均化処理は、1つのフィールドの画像データからクイックビュー画像を作成する際にも有効であるが、2つ以上のフィールドの画像データからクイックビュー画像を作成する場合に特に効果的である。2つ以上のフィールドの画像データからクイックビュー画像を作成する場合には、1つのフィールドの画像データからクイックビュー画像を作成する場合に比較して、常にクイックビュー画像の作成開始が遅くなる。しかし、上述したようにサムネイル画像を同時に作成することで、その遅延を補うことができる。例えば、図13Bで説明したように、CCD11が4フィールド出力である場合、第2フィールドの画像信号出力が終わった時点からクイックビュー画像の作成を開始することができるとともに、それと同時にサムネイル画像の作成を開始することができるので、全てのフィールドの読み出し期間が終了するまでに、クイックビュー画像およびサムネイル画像を作成することも可能である。
さらに、2つ以上のフィールドの画像データからクイックビュー画像を作成する場合の処理速度をさらに向上させるために、クイックビュー画像作成用に予め縮小された画像データ(低解像度のRAWデータ)をSDRAM19に記憶させても良い。すなわち、図20のデータフローに示すように、前処理部30による前処理が施された全てのフィールドの画像データをSDRAM19(R1バッファ68〜R4バッファ71)に記憶するとともに、クイックビュー画像の作成に使うフィールドの画像データを前処理部30から直接後処理部31に送り、その画像データを後処理部31で縮小してSDRAM19(Q−R1バッファ82およびQ−R2バッファ83)に記憶する。この場合、クイックビュー画像よりも僅かに大きな画像が得られるように、後処理部31の中の水平間引き部40における縮小処理の倍率を設定する。
そして、水平方向が縮小された第1フィールドおよび第2フィールドの画像データを、出力バッファ49を経由してSDRAM19(Q−R1バッファ82およびQ−R2バッファ83)に記憶する。そのため、水平間引き部40の出力も出力バッファ49に接続できるようにしておく。なお、水平方向の縮小を行うだけでも、クイックビュー画像の作成は高速になるが、クイックビュー画像のライン数よりも第1フィールドおよび第2フィールドの合計のライン数がかなり多いような場合(例えば、第1フィールドと第2フィールドとのライン数の合計が、クイックビュー画像のライン数の2倍以上の場合)は、垂直方向も縮小しておくとクイックビュー画像の作成をより高速化できる。
図20において、Q−R1バッファ82およびQ−R2バッファ83に記憶されるのはBayer配列の画像データであるが、図14Bで説明したように、1つのフィールド内の色配列は全てのラインで同じである。したがって、図14Bにおいて、例えば、第1フィールドのラインnとラインn+4とを加算しても、第2フィールドのラインn+1とラインn+5とを加算しても、その色配列は変わらない。すなわち、図4のView動作で説明した2ライン加算の場合と同様である。したがって、前述した垂直方向の縮小は、ライン平均(加算と除算)を利用して実現すれば良い。ただし、ライン平均を加算と除算との両方の手法で行うためには、ラインメモリが必要である。すなわち、水平間引き部40によって水平方向が縮小された画像データをラインメモリに記憶し、同じく水平方向が縮小された次のラインとの平均(加算とビットシフトによる除算)を求めることにより、垂直方向の縮小を行う。
一般に、画像処理の所要時間は、画像処理の対象である画像のサイズに比例する。そこで、図20で説明したように、低解像度RAWデータ(縮小されたBayer配列の画像データ)からクイックビュー画像を作成することにより、処理時間を短縮することができる。なお、前述したラインメモリを設けることが困難であれば、水平間引き部40による水平方向の縮小を行うだけでも、水平方向の画素数が減ることに加えて、図8に示すような短冊状のブロック分割が不要となるため、クイックビュー画像の作成は高速化される。
また、図20の変形例として、図21に示すデータフローも有効である。すなわち、図21に示すように、まずクイックビュー画像を作成し、次にそのクイックビュー画像からサムネイル画像を作成する。この場合、図20に示したデータフローよりも処理時間は長くなるが、クイックビュー画像からサムネイル画像を作成することで処理時間の延びを抑えることができるとともに、画素平均回路などの新たな構成を設ける必要性が無いので、ハードウェアの増大を抑えることができる。
また、後処理部31のWB調整部41によるホワイトバランス調整の的確性を考慮して、以下の工夫を行うこともできる。図3で説明したように、画像データに後処理部31により後処理を施す場合には、WB調整部41に適切なWB調整値を設定しておく必要がある。ホワイトバランス調整とは、被写体の照明光の色温度が変わった場合、その色温度の変化を補正して適切な色を再現する調整処理である。このホワイトバランス調整を行う際に、CPU27は、図3で説明した3A評価値算出部35により算出されるAWB評価値から求めたWB調整値をWB調整部41に設定する。スルー画像をLCD21に表示するView動作の際には、絶えず新しい画像データが前処理部30に入ってくるので、AWB評価値もそれに合わせて一定の頻度(例えば、30fpsのレート)で更新される。通常、照明光の色温度が高速に変化することは無いので、WB調整値を頻繁に変更する必要は無い。したがって、View動作の場合にも、適当な頻度でWB調整値を更新すれば良い。
一方、静止画撮影動作により生成される静止画像は、独立した1コマの画像であるため、通常はその静止画像の画像データ自身から抽出されたAWB評価値を基に、WB調整値を求める。しかし、クイックビュー画像やサムネイル画像を作成する際にも、同様にその画像の画像データ自身から抽出したAWB評価値に基づいてWB調整値を求めていると、クイックビュー画像やサムネイル画像の作成が遅くなってしまう。そこで、クイックビュー画像やサムネイル画像を作成する際のWB調整値を予め決めておくことが好ましい。このWB調整値は、例えば、直前のView動作で使われていた最新のWB調整値でも良いし、照明光の色温度が予め分かっていれば(例えば、閃光発光撮影のような場合)、電子カメラ1内のデータベースから、その色温度に対応するWB調整値を求めても良い。そして、CPU27は、予め決定されたWB調整値にしたがってって、WB調整部41によるホワイトバランス調整を行う。
ただし、AWB評価値に基づくWB調整値の算出を高速に行うことができるのであれば、クイックビュー画像やサムネイル画像を作成する際にも、それぞれの画像の画像データ自身から抽出したAWB評価値に基づいてWB調整値を求めても良い。例えば、図13Aで説明したように、CCD11が3フィールド出力である場合、第1フィールドの読み出し期間に、その画像データからAWB評価値を抽出し、第2フィールドの読み出し期間に、第1フィールドの読み出し期間内に抽出したAWB評価値に基づくWB調整値の算出を行い、最後の第3フィールドの読み出し期間内にクイックビュー画像を作成する。各フィールド間の相関性は高いと考えられるので、第1フィールドの読み出し期間内に抽出したAWB評価値に基づいて、第3フィールドの画像データからクイックビュー画像を作成しても大きな問題は無い。
また、例えば、図13Bで説明したように、CCD11が4フィールド出力である場合、第1フィールドおよび第2フィールドの読み出し期間に、それらの画像データからAWB評価値を抽出し、第3フィールドの読み出し期間に、第1フィールドおよび第2フィールドの読み出し期間内に抽出したAWB評価値に基づくWB調整値の算出を行い、第4フィールドの読み出し期間内にクイックビュー画像およびサムネイル画像を作成する。なお、WB調整値の算出に時間を要する場合には、第3フィールドおよび第4フィールドの読み出し期間内にWB調整値の算出を行い、最後の第4フィールドの読み出しが完了してからクイックビュー画像およびサムネイル画像を同時に作成すれば良い。CCD11からの画像信号読み出し期間内にクイックビュー画像やサムネイル画像を作成することはできないが、WB調整値の算出が前倒しできるので、全体の処理時間は短縮される。この場合、図20で説明したデータフローにしたがって処理を行っても良い。
次に、電子カメラ1が高速連写モードを備える場合の例外的な処理について説明する。高速連写モードとは、図22に示すように、最新の静止画像を1コマを撮影している間に、1つ前のコマの画像処理(後処理)を並行して行い、さらに1つ前のコマのJPEG圧縮を並行して行い、さらに1つ前のコマの記録を並行して行う撮影モードである。高速連写モードにおいては、画像処理(後処理)において、クイックビュー画像とサムネイル画像とメイン画像との3つが作成され、JPEG圧縮処理において、サムネイル画像およびメイン画像の圧縮が行われ、記録において、サムネイル画像およびメイン画像の圧縮データが記録される。すなわち、各ステップでは、複数の画像の処理が並行して行われている。
図22に示すように、4つのステップをオーバーラップさせるためには、画像バッファを複数持つ必要がある。例えば、図23に示すように、図10で説明したRバッファ62に代えて、R1バッファ68およびR2バッファ69を備え、Qバッファ67に代えて、Q1バッファ72およびQ2バッファ73を備える。また、図10で説明したTバッファ63に代えて、T1バッファ74およびT2バッファ75を備え、Mバッファ64に代えて、M1バッファ76およびM2バッファ77を備える。さらに、図10で説明したT−Jバッファ65に代えて、T−J1バッファ78およびT−J2バッファ79を備え、M−Jバッファ66に代えて、M−J1バッファ80およびM−J2バッファ81を備える。つまり、図23に示すように、全ての画像バッファを2つずつ用意する。SDRAM19をこのような構成とすることにより、図22で説明した4つのステップを完全にオーバーラップさせることができる。なお、それぞれのステップは、さらに小さなサブステップから構成されるが、それらのサブステップは、シーケンシャルに実行される。
ここまで説明した高速連写モードによる撮影を実行する場合、最新の静止画像の1コマの画像信号をCCD11から出力している間に、並行して1つ前のコマの画像処理(後処理)を実行するので後処理部31による後処理が行われる。したがって、最新の静止画像の1コマのクイックビュー画像やサムネイル画像を並行して作成することができない。そこで、高速連写モードによる撮影を実行する場合には、CCD11からの画像信号出力中に、クイックビュー画像およびサムネイル画像の作成を開始しない。そして、クイックビュー画像およびサムネイル画像の作成は後にまとめて行う。この場合、それぞれのステップの処理時間は単写モードによる撮影時よりも長くなるが、次々と新しいコマの撮影が行われるので、全体での高速化が可能である。また、図23で説明したように、全ての画像バッファを2つずつ用意することがメモリ容量の点などで困難である場合には、少なくともRバッファを2つ(R1バッファ68およびR2バッファ69)用意することにより、次のコマの撮影を続けて行うことができる。
最後に、ここまで説明した処理を組み合わせる例について説明する。CCD11の構成が、1つのフィールドに全ての色信号成分(R,G,B)が含まれる場合と、含まれない場合とで読み出しモードを切り替え可能である場合には、それぞれの場合に対応する複数の処理モードを備え、読み出しモードの切り替えに応じて何れかの処理モードを選択して実行する構成としても良い。すなわち、1つのフィールドに全ての色信号成分(R,G,B)が含まれる場合には、そのフィールドの画像データからクイックビュー画像やサムネイル画像を作成し、含まれない場合には、2つ以上のフィールドの画像データからクイックビュー画像やサムネイル画像を作成すれば良い。このような構成とすることにより、CCD11の構成や読み出しフィールド数、読み出しモードの変更にかかわらず最適な処理を行うことができる。
以上説明したように、本実施形態によれば、低解像度の画像の作成を、複数フィールドのうち、一部のフィールドを除く残りのフィールドの読み出し期間内に開始する。したがって、撮像素子からの読み出し時間を有効利用することができる。
また、本実施形態によれば、低解像度の画像である撮影結果確認用の画像が作成されると、その画像を表示する表示手段をさらに備える。したがって、ユーザの待ち時間を短縮することができる。
また、本実施形態によれば、複数フィールドのうち、1つのフィールドを選択するフィールド選択手段をさらに備え、低解像度の画像を作成する際には、フィールド選択手段によって選択された1つのフィールドのカラー画像を、前処理部から後処理部に直接送ることにより、前処理と後処理とを一体化して行う。したがって、低解像度画像を効率よく作成することができるとともに、その作成を早めることができる。
また、本実施形態によれば、低解像度の第1画像と低解像度の第2画像とを作成し、フィールド選択手段は、第1画像を作成するのに用いるフィールドと、第2画像を作成するのに用いるフィールドとをそれぞれ選択する。したがって、特別な構成を追加すること無く、複数の低解像度画像をシーケンシャルに作成することができるとともに、その作成を早めることができる。
また、本実施形態によれば、低解像度の画像を作成する際には、後処理部により低解像度の第1画像を作成し、作成した第1画像を後処理部から画素平均化部に直接送ることにより、第1画像よりもさらに低解像度の第2画像を同時に作成する。したがって、複数の低解像度画像を効率よく作成することができるとともに、その作成を早めることができる。
また、本実施形態によれば、ホワイトバランス調整部は、低解像度の画像を作成する際に、予め決定されたホワイトバランス調整値にしたがってって、ホワイトバランス調整を行う。したがって、適正なホワイトバランス調整を行いつつ、低解像度の画像の作成を早めることができる。
また、本実施形態によれば、高速連写モードを備え、高速連写モードによる撮影実行中には、低解像度の画像の作成を、残りのフィールドの読み出し期間内に開始しない。したがって、撮影モードにかかわらず撮像素子からの読み出し時間を有効利用することができる。
なお、上記実施形態では、図12A〜図12Dおよび図18A〜図18Bのタイミング図において、各サブステップの長さを簡単のために略等しく描写したが、実際の処理の長さとの相関関係は無い。一般に、画像処理やJPEG圧縮処理やデータ記録等の処理に要する処理時間は、そのデータ量に比例する。すなわち、クイックビュー画像やサムネイル画像の作成に比較して、メイン画像の作成およびJPEG圧縮処理に最も長い処理時間を要する。JPEG圧縮についても、メイン画像の圧縮に最も時間が掛かる。したがって、画像処理(後処理)とJPEG圧縮処理とデータ記録という3つのサブステップでは、メイン画像の処理に専念することにより、撮影時間の短縮を実現することができる。本実施形態で説明したように、クイックビュー画像やサムネイル画像の作成を早めることにより、結果として撮影時間の短縮を実現することができる。
また、従来は、撮影の確認のみに利用されていたクイックビュー画像をJPEG圧縮して、メイン画像と対応づけてメモリカード23に記録すれば、画像の再生時にそのクイックビュー画像をLCD21に表示することができる。この結果、従来のようにメイン画像を縮小してからLCD21に表示するよりも、ユーザの待ち時間を短縮することができる。この場合、クイックビュー画像にもJPEG圧縮処理を行えば良い。また、クイックビュー画像の記録に際しては、Exif/DCFのプライベート領域(メーカーノート領域)を利用すれば良い。
また、JPEG圧縮処理においては、1コマのデータをほぼ一定サイズにするために、従来から符号量制御(Bit Rate Control)が行われている。符号量制御により、メモリカード23の記録容量に応じて、一定の撮影コマ数を確保することができる。しかし、符号量制御を行う際には、JPEG圧縮を複数回繰り返す場合があり、これによって撮影時間が著しく延びてしまう。そのため、できるだけ少ない圧縮回数でデータ量を目標近くに収束させることが望まれる。このような場合に、先に作成したクイックビュー画像やサムネイル画像をJPEG圧縮した際の情報を参考として、メイン画像をJPEG圧縮する際の量子化テーブルを決めることにより、圧縮回数を減らすことができる。
実施形態における電子カメラ1の構成を示すブロック図である。 Bayer配列について説明する図である。 画像処理部13の詳細を示すブロック図である。 View動作について説明する図である。 静止画撮影動作について説明する図である。 View動作時における画像データのフローである。 SDRAM19の画像バッファについて説明する図である。 メイン画像の作成について説明する図である。 静止画撮影動時における画像データのフローである。 SDRAM19の画像バッファについて説明する別の図である。 SDRAM19の画像バッファについて説明する別の図である。 静止画撮影のシーケンスを示すタイミング図である。 静止画撮影動時におけるCCD11の画像信号出力のタイミング図である。 クイックビュー画像の作成について説明する図である。 クイックビュー画像を作成する時のデータフローである。 サムネイル画像を作成する時のデータフローである。 クイックビュー画像およびサムネイル画像を作成するときの別のデータフローである。 静止画撮影のシーケンスを示す別のタイミング図である。 クイックビュー画像およびサムネイル画像を作成するときの別のデータフローである。 クイックビュー画像およびサムネイル画像を作成するときの別のデータフローである。 クイックビュー画像およびサムネイル画像を作成するときの別のデータフローである。 高速連写モードについて説明する図である。 SDRAM19の画像バッファについて説明する別の図である。
符号の説明
1…電子カメラ、10…撮影レンズ、11…CCD、13…画像処理部、18…JPEG圧縮部、19…SDRAM、20…SDRAMコントローラ、21…LCD、22…Displayコントローラ、30…前処理部、31…後処理部、35…3A評価値算出部、40…水平間引き部、41…WB調整部、45…解像度変換部、50…画素平均化部

Claims (8)

  1. 被写体を撮像して、複数の色情報を有する画像データを複数フィールドに分けて出力する場合、前記複数の色情報のうち一部の色情報のみを含んだ画像データをフィールド単位で出力する第1モードと、前記複数の色情報すべての色情報を含んだ画像データをフィールド単位で出力する第2モードとを切替可能な撮像部と、
    前記撮像部が前記第1モードに切り替えられている場合は、前記複数フィールドのうち前記複数の色情報すべてが含まれるように2以上かつ全てではない複数フィールドを選択し、前記撮像部が前記第2モードに切り替えられている場合は、前記複数フィールドのうち1つのフィールドを選択する選択部と、
    前記選択部により選択されたフィールドの画像データに基づいて画像を生成する画像生成部と、
    前記選択部により選択されたフィールド以外のフィールドの画像データを出力する期間に、前記画像の生成を前記画像生成部に開始させる制御部とを備えること
    を特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記画像生成部は、前記画像に解像度変換処理を施すことで、前記画像とは別のサムネイル画像を生成すること
    を特徴とする撮像装置。
  3. 請求項2に記載の撮像装置において、
    前記画像は、表示装置に表示するための画像であること
    を特徴とする撮像装置。
  4. 請求項2又は請求項3に記載の撮像装置において、
    前記画像生成部は、前記複数フィールドに分けて出力された前記画像データに基づいて、前記画像及び前記サムネイル画像とは別のメイン画像を生成すること
    を特徴とする撮像装置。
  5. 請求項4に記載の撮像装置において、
    前記サムネイル画像及び前記メイン画像を含む画像ファイルを記録媒体に記録する記録制御部を更に備えること
    を特徴とする撮像装置。
  6. 請求項1から請求項5のいずれか一項に記載の撮像装置において、
    前記第1モードは、4以上かつ偶数のフィールドに分けて、前記複数の色情報を有する前記画像データを出力するモードであること
    を特徴とする撮像装置。
  7. 請求項1から請求項6のいずれか一項に記載の撮像装置において、
    前記撮像部に配置されるカラーフィルターは、ベイヤー配列であること
    を特徴とする撮像装置。
  8. 請求項1から請求項7のいずれか一項に記載の撮像装置において、
    前記撮像部が前記第1モードに切り替えられている場合は、前記選択部は、前記複数フィールドのうち前記複数の色情報すべてを含むために必要な最小フィールドを選択すること
    を特徴とする撮像装置。
JP2007332281A 2007-12-25 2007-12-25 撮像装置 Expired - Fee Related JP5256725B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007332281A JP5256725B2 (ja) 2007-12-25 2007-12-25 撮像装置
US12/314,664 US20090160969A1 (en) 2007-12-25 2008-12-15 Image capturing apparatus
US13/791,439 US8767086B2 (en) 2007-12-25 2013-03-08 Image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007332281A JP5256725B2 (ja) 2007-12-25 2007-12-25 撮像装置

Publications (2)

Publication Number Publication Date
JP2009159056A JP2009159056A (ja) 2009-07-16
JP5256725B2 true JP5256725B2 (ja) 2013-08-07

Family

ID=40788134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007332281A Expired - Fee Related JP5256725B2 (ja) 2007-12-25 2007-12-25 撮像装置

Country Status (2)

Country Link
US (2) US20090160969A1 (ja)
JP (1) JP5256725B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024056B2 (en) 2011-04-15 2018-07-17 Tac-Fast Georgia L.L.C. Methods and systems for engagement of decorative covering

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885208B2 (en) * 2006-07-21 2014-11-11 Adobe Systems Incorporated Progressive refinement of an edited image using secondary high resolution image processing
KR100985003B1 (ko) * 2008-03-10 2010-10-04 (주)세미솔루션 멀티 ccd 센서의 영상처리 장치 및 그 영상처리 방법
US8487963B1 (en) 2008-05-30 2013-07-16 Adobe Systems Incorporated Preview representation of pixels effected by a brush tip area
TW201101829A (en) * 2009-06-19 2011-01-01 Asia Optical Co Inc Image capture and processing methods and systems, and computer program products thereof
JP5625298B2 (ja) * 2009-09-28 2014-11-19 ソニー株式会社 撮像装置
US9521395B2 (en) * 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
JP2013131878A (ja) * 2011-12-21 2013-07-04 Sony Corp 画像処理装置、画像処理方法、プログラム
JP5884604B2 (ja) * 2012-03-30 2016-03-15 株式会社ニコン 画像記録装置、撮像装置、画像記録プログラム、および画像表示プログラム
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
KR102004989B1 (ko) * 2013-01-29 2019-07-29 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP6335563B2 (ja) 2014-03-18 2018-05-30 キヤノン株式会社 撮像装置及びその制御方法
WO2017088127A1 (zh) * 2015-11-25 2017-06-01 华为技术有限公司 一种拍照方法、拍照装置和终端
US11177311B2 (en) * 2016-03-29 2021-11-16 Nikon Corporation Image sensor and image capture device
US10115223B2 (en) * 2017-04-01 2018-10-30 Intel Corporation Graphics apparatus including a parallelized macro-pipeline
JP2019021968A (ja) * 2017-07-11 2019-02-07 キヤノン株式会社 画像符号化装置及びその制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136244A (ja) * 1996-11-01 1998-05-22 Olympus Optical Co Ltd 電子的撮像装置
JP4304795B2 (ja) * 1999-09-28 2009-07-29 株式会社ニコン 電子カメラ
JP3988461B2 (ja) * 2001-12-28 2007-10-10 株式会社ニコン 電子カメラ
JP4077247B2 (ja) * 2002-06-04 2008-04-16 株式会社リコー 撮像方法および撮像装置および画像情報処理装置
CN1219395C (zh) * 2002-01-30 2005-09-14 株式会社理光 摄像装置和摄像方法
JP2003244714A (ja) * 2002-02-19 2003-08-29 Mega Chips Corp 画像処理装置及びデジタルスチルカメラ
CN1269364C (zh) * 2002-05-01 2006-08-09 佳能株式会社 摄影装置、摄影方法
JP2004032713A (ja) * 2002-05-01 2004-01-29 Canon Inc 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP2004135225A (ja) * 2002-10-15 2004-04-30 Nikon Corp 電子カメラ
JP4599917B2 (ja) * 2004-07-09 2010-12-15 ソニー株式会社 撮像装置
JP2007074475A (ja) * 2005-09-08 2007-03-22 Sanyo Electric Co Ltd 撮影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10024056B2 (en) 2011-04-15 2018-07-17 Tac-Fast Georgia L.L.C. Methods and systems for engagement of decorative covering

Also Published As

Publication number Publication date
JP2009159056A (ja) 2009-07-16
US20090160969A1 (en) 2009-06-25
US20130194450A1 (en) 2013-08-01
US8767086B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
JP5256725B2 (ja) 撮像装置
JP4727457B2 (ja) 撮影装置
JP6335563B2 (ja) 撮像装置及びその制御方法
US7830447B2 (en) Imaging apparatus including a plurality of image pickup elements
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20100141823A1 (en) Image Processing Apparatus And Electronic Appliance
US8018497B2 (en) Image pick-up apparatus having still image advancing/retreating manipulation function, and method and non-transitory computer readable medium therefor
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
US10187594B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium storing computer program
US7365777B2 (en) Digital camera
JP2001285703A (ja) 電子カメラ
JP4189820B2 (ja) 撮像装置及び画像記録方法
US20160012562A1 (en) Image processing apparatus and image processing method
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
JP2011223146A (ja) 電子カメラ
JP5530304B2 (ja) 撮像装置および撮影画像表示方法
JP2010283504A (ja) 撮像装置、撮像方法、および、撮像プログラム
JP4902365B2 (ja) 画像合成装置及びプログラム
JP2009033385A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP4244218B2 (ja) 撮像信号処理回路およびカメラシステム
JP6296909B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2008124793A (ja) 撮像装置、撮像方法
JP4966680B2 (ja) 動画再生装置、動画再生方法及び撮影装置
JP2007019593A (ja) 輪郭強調信号生成回路、画像信号処理装置、撮像装置、輪郭強調信号生成方法、プログラム
JP5610860B2 (ja) 撮像装置及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5256725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees