JP4964541B2 - 撮像装置、画像処理装置、撮像システム及び画像処理プログラム - Google Patents

撮像装置、画像処理装置、撮像システム及び画像処理プログラム Download PDF

Info

Publication number
JP4964541B2
JP4964541B2 JP2006245975A JP2006245975A JP4964541B2 JP 4964541 B2 JP4964541 B2 JP 4964541B2 JP 2006245975 A JP2006245975 A JP 2006245975A JP 2006245975 A JP2006245975 A JP 2006245975A JP 4964541 B2 JP4964541 B2 JP 4964541B2
Authority
JP
Japan
Prior art keywords
data
color
image
raw
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006245975A
Other languages
English (en)
Other versions
JP2008067315A (ja
Inventor
英治 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006245975A priority Critical patent/JP4964541B2/ja
Priority to PCT/JP2007/067012 priority patent/WO2008032589A1/ja
Priority to EP07806485A priority patent/EP2063628A1/en
Publication of JP2008067315A publication Critical patent/JP2008067315A/ja
Priority to US12/389,793 priority patent/US8203613B2/en
Application granted granted Critical
Publication of JP4964541B2 publication Critical patent/JP4964541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、画像の高解像度化を行う画像処理において、ハードウェアの負担を減らしつつ、高品質な画像を生成する撮像装置、画像処理装置、撮像システム及び画像処理プログラムに関する。
複数枚の画像から高品位な画像を生成する技術が従来より提案されている。
例えば、特許文献１には、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
また、特許文献２では、Ｂａｙｅｒ配列のＲＡＷデータを各色毎に分割して各色毎に圧縮する手法を提案している。各色毎に分割したデータは隣接画素間の相関性が高いため、圧縮効率が良好になる。また、その際、高周波成分の多い色の分割データは圧縮率を低くし、その他の色の分割データは圧縮率を高くすることで解像度を保ち、なおかつ圧縮効率を良好にしている。
特許第２８２８１３８号公報 特開２００４−１２８５８３号公報
そもそも、高解像度化するための超解像処理は、高周波成分を損なうことなく記録するＲＡＷデータ記録が効果的である。しかしながら、ＲＡＷデータ記録は、データ容量が大きく、ＳＤＲＡＭやバスアーキテクチャが高速・大容量書き込みに対応していなければならないため、ハードウェアに大きな負担をかける。
前述の特許文献１に開示されている技術では、高画質化を行うことができるが、撮像後、超解像処理への画像入力部における画像入力データの圧縮率と超解像画像の画質、さらにハードウェアへの負担との関係性については考慮されていなかった。
また、前述の特許文献２に開示されている技術では、撮像時の解像度をある程度保ちつつ、圧縮効率を良好にしているものの、解像度は、圧縮しない場合よりも落ちてしまう。
本発明は、上記の点に鑑みてなされたもので、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にして、ハードウェアの負担を軽減させると共に、高品質な画像生成を可能とする撮像装置、画像処理装置、撮像システム及び画像処理プログラムを提供することを目的とする。
本発明の撮像装置の一態様は、被写体の像を電子的に記録する撮像装置において、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
を具備することを特徴とする。
また、本発明の画像処理装置の一態様は、
記録手段に記録された、色毎に分割したＲＡＷデータを色毎に制御された圧縮率で圧縮することで得られた色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記記録手段に記録された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備することを特徴とする。
また、本発明の撮像システムの一態様は、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備し、
上記各手段のうち、少なくとも上記撮像素子、上記ＲＡＷデータ分割手段、上記圧縮率制御手段、上記圧縮符号化処理手段、及び上記記録手段は、撮像装置に備えられ、
上記撮像装置が備える以外の手段は、上記撮像装置に接続可能な画像処理装置に備えられることを特徴とする。
また、本発明の画像処理プログラムの一態様は、被写体の像を電子的に記録する撮像装置の画像処理プログラムであって、
コンピュータに、
色フィルタを前面に配置した撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割する手順と、
上記色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御する手順と、
上記色毎に分割したＲＡＷデータを上記制御された圧縮率で圧縮して色毎の符号化データを生成する手順と、
上記生成された上記色毎の符号化データを記録する手順と、
上記記録した上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成する手順と、
上記生成された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する手順と、
を実行させることを特徴とする。
本発明によれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にし、また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を可能とする撮像装置、画像処理装置、撮像システム及び画像処理プログラムを提供することができる。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置としての電子スチルカメラ１０のブロック構成図である。この電子スチルカメラ１０は、絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８、ＣＣＤ撮像素子２０、Ａ／Ｄ変換回路２２、ＡＥ用フォトセンサ２４、ＡＦモータ２６、撮像制御部２８、第１画像処理部３０、画像用バッファ３２、画像圧縮伸張部３４、メモリカードＩ／Ｆ部３６、メモリカード３８、外部出力Ｉ／Ｆ部４０、パラメータ解析部４２、操作表示部４４、撮像条件設定部４６、連写判定部４８、画素混合判定部５０、切替部５２、連写用バッファ５４、第２画像処理部５６、画像分割・再生成部５８を備える。
絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８及びＣＣＤ撮像素子２０は、光軸に沿って配置されている。本実施形態では、ＣＣＤ撮像素子２０として単板ＣＣＤ撮像素子の使用を前提としている。分光ハーフミラー系１４から分岐した光束はＡＥ用フォトセンサ２４に導かれる。また、レンズ系１２には、合焦作業時に該レンズ系１２の一部（フォーカスレンズ）を移動するためのＡＦモータ２６が接続されている。
ＣＣＤ撮像素子２０からの信号は、Ａ／Ｄ変換回路２２でデジタルデータ化される。このデジタルデータは、第１画像処理部３０、切替部５２を介して画像用バッファ３２又は連写用バッファ５４へ入力される。また、本実施形態では、第１画像処理部３０を介することなく、切替部５２を介して画像用バッファ３２又は連写用バッファ５４へ入力される場合もある。なお、切替部５２は、連写判定部４８からの入力に従って、その切替動作を行うようになっている。
Ａ／Ｄ変換回路２２及びＡＥ用フォトセンサ２４からの信号は撮像条件設定部４６へ入力されており、撮像条件設定部４６からの信号は撮像制御部２８、連写判定部４８及び画素混合判定部５０へ入力される。撮像制御部２８へは、連写判定部４８及び画素混合判定部５０からも信号が入力される。撮像制御部２８は、それら撮像条件設定部４６、連写判定部４８及び画素混合判定部５０からの信号に基づいて、絞り１２Ａ、ＣＣＤ撮像素子２０及びＡＦモータ２６を制御する。
画像用バッファ３２及び連写用バッファ５４は、第２画像処理部５６へ出力が行え、画像圧縮伸張部３４とは入出力が行える。画像分割・再生成部５８は、画像用バッファ３２と連写用バッファ５４から入力を行え、第２画像処理部５６へ出力が行え、画像圧縮伸張部３４と入出力が行える。第２画像処理部５６は、モーション推定部５６Ａ及び超解像処理部５６Ｂを備え、画像圧縮伸張部３４及び操作表示部４４と入出力が可能に、さらにメモリカードＩ／Ｆ部３６及び外部出力Ｉ／Ｆ部４０へ出力が可能となっている。また、ＪＰＥＧやＭＰＥＧなどの圧縮を行う画像圧縮伸張部３４からの信号は、メモリカードＩ／Ｆ部３６を介して脱着可能なメモリカード３８へ、更には、外部出力Ｉ／Ｆ部４０を介して、パーソナルコンピュータやプリンタ等の外部の画像処理装置へ入力が行える。
図２（Ａ）は、本実施形態における電子スチルカメラ１０の概略の外観構成を示す背面図である。同図に示すように、この電子スチルカメラ１０は、操作表示部４４として、カメラ本体１０Ａの上面に配置された電源スイッチ４４Ａ及びレリーズスイッチ４４Ｂと、カメラ本体１０Ａの背面に配された液晶表示パネル４４Ｃ及び操作ボタン４４Ｄと、を有している。この操作表示部４４の各スイッチの操作による操作信号は、メモリカードＩ／Ｆ部３６、パラメータ解析部４２、撮像条件設定部４６及び第２画像処理部５６に入力される。また、操作表示部４４の液晶表示パネル４４Ｃは、パラメータ解析部４２からの信号に従ったパラメータを表示する。このパラメータ解析部４２からの信号は、画像圧縮伸張部３４及び撮像条件設定部４６にも入力される。
図３（Ａ）は、本実施形態における電子スチルカメラ１０の処理フローチャートを示す図である。
即ち、電子スチルカメラ１０は、まず、ＲＡＷデータ圧縮用パラメータ設定処理を実行して、各色毎の圧縮パラメータを設定しておき圧縮率制御を行う（ステップＳ１０）。これらパラメータの設定手法の詳細については後述する。
そして、使用者がレリーズスイッチ４４Ｂを全押しすることで、ＲＡＷデータ撮影が行われる（ステップＳ１２）。このＲＡＷデータ撮影で取得した画像信号は、画像用バッファ３２または連写用バッファ５４に保存される。
その後、画像分割・再生成部５８により、それら画像用バッファ３２または連写用バッファ５４に保存されたＲＡＷデータを各色毎に分割するＲＡＷデータ分割処理を実施する（ステップＳ１４）。次に、画像圧縮伸張部３４により、それぞれの分割した画像データに対して、上記ステップＳ１０のＲＡＷデータ圧縮用パラメータ設定処理による圧縮率制御方法で画像圧縮処理を施し（ステップＳ１６）、圧縮した画像データを画像用バッファ３２または連写用バッファ５４に記録する（ステップＳ１８）。
その後、上記画像用バッファ３２または連写用バッファ５４に記録した圧縮画像データを画像圧縮伸張部３４により画像伸張処理して読み出し（ステップＳ２０）、画像分割・再生成部５８によりＲＡＷフォーマットデータを再生成するＲＡＷデータ再生成処理を実施する（ステップＳ２２）。この際、撮影方式として、通常撮影以外に画素混合読み出し撮影を行う場合がある。画素混合読み出し撮影とは、図４に示すように、Ｂａｙｅｒ配列の色フィルタを前面に配置したＣＣＤ撮像素子２０からの信号の読み出しにおいて、同じカラーチャンネルの複数画素信号を加算して読み出すことで、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式である。これに対して、通常撮影は、画素混合読み出しを行わずに、Ｂａｙｅｒ配列の色フィルタを前面に配置したＣＣＤ撮像素子２０からの信号の読み出しにおいて、画素毎に信号を読み出す方式である。
これらの処理を単数、または複数枚の撮影した画像に対して施すことで、色毎に圧縮率制御した圧縮データのＲＡＷフォーマット画像信号が得られる。その後、色毎に分割されたデータとＲＡＷフォーマットに再生成された単数または複数枚の画像信号を使用し、モーション推定部５６Ａ及び超解像処理部５６Ｂを含む第２画像処理部５６で、高解像度化処理を施して（ステップＳ２４）、高品質な画像を生成する。
こうして第２画像処理部５６で生成された高品質な画像は、操作表示部４４の液晶表示パネル４４Ｃに表示され（ステップＳ２６）、使用者の操作ボタン４４Ｄの操作によって選択されたものが、メモリカードＩ／Ｆ部３６によりメモリカード３８に保存される（ステップＳ２８）。あるいは、外部出力Ｉ／Ｆ部４０により、図示しない外部の画像処理装置に出力される。
以下、電子スチルカメラ１０で行われる上述の処理について、データの流れに基づいてさらに説明する。
図３（Ｂ）は、上記ステップＳ１０において、使用者が使用中に、圧縮制御に関する色毎の圧縮パラメータを設定する際の手順と、その手順に対応してパラメータ解析部４２で処理されるＲＡＷデータ圧縮用パラメータ設定処理手順のフローチャートである。また、このＲＡＷデータ圧縮用パラメータ設定処理は、出荷時のメーカパラメータを設定するために、設計者が電子スチルカメラ１０の製造時に行うこともできる。
即ち、設計者または使用者は、液晶表示パネル４４Ｃに表示された設定メニューに従って操作ボタン４４Ｄを介して、ＲＡＷデータのＲとＢの圧縮方式を設定し（ステップＳ１０Ａ）、また、ＲとＢの圧縮率を制御するための圧縮クオリティパラメータを設定する（ステップＳ１０Ｂ）。次に、ＲＡＷデータのＧｒとＧｂの圧縮方式を設定する（ステップＳ１０Ｃ）。その後、パラメータ解析部４２は、その設定されたＧｒとＧｂの圧縮方式を判定し（ステップＳ１０Ｄ）、圧縮方式が可逆圧縮の場合には、このＲＡＷデータ圧縮用パラメータ設定処理を終了する。
これに対して、設定されたＧｒとＧｂの圧縮方式が非可逆圧縮の場合には、設計者または使用者にＧｒとＧｂの圧縮クオリティパラメータを設定させる（ステップＳ１０Ｅ）。こうしてＲ，Ｇｒ，Ｇｂ，Ｂの圧縮方式と圧縮クオリティパラメータが設定された後、圧縮率の判定を行う（ステップＳ１０Ｆ）。この圧縮率の判定で、ＧｒとＧｂの圧縮率がＲとＢの圧縮率よりも小さい場合には、該ＲＡＷデータ圧縮用パラメータ設定処理を終了する。また、大きい場合には、該ＲＡＷデータ圧縮用パラメータ設定処理の始めに戻り、再度、上記ステップＳ１０ＡにおけるＲとＢの圧縮方式設定から設定し直す。
このようにしてＲＡＷデータ圧縮用パラメータが設定された状態で撮影が行われる。本実施形態においては、撮影はプリ撮影と本撮影（ＲＡＷデータ撮影）とからなる。
即ち、使用者がレリーズスイッチ４４Ｂを半押ししたり、あるいは電源スイッチ４４ＡをＯＮ状態にすることにより、撮像制御部２８は、絞り１２Ａ、シャッタ１６及びＡＦモータ２６の制御を行い、プリ撮影を行う。このプリ撮影では、ＣＣＤ撮像素子２０からの信号がＡ／Ｄ変換回路２２にてデジタル信号化され、第１画像処理部３０により公知のホワイトバランス、強調処理、補間処理等が施された三板状態の画像信号として、画像用バッファ３２に出力される。
このプリ撮像では、撮像条件設定部４６が本撮像のための撮像条件を決定し、決定した撮影条件を撮像制御部２８及び連写判定部４８に転送する。また、撮像条件設定部４６は、連写判定部４８で決定された撮影条件に基づいて撮影モードの決定を行い、決定した撮影モードの情報を撮像制御部２８及び切替部５２へ転送する。ここで、撮像条件とは、シャッタ速度、絞り値、合焦位置、ＩＳＯ感度などの撮影時に要する各要素に対する設定値の組みである。
撮像条件を求める過程は、撮像条件設定部４６が公知の技術によって行う。
露光量に関するシャッタ速度と絞り値は、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき設定される。測定対象となる領域は、ＡＥ用フォトセンサ２４の前に配置された図示しない絞り機能などから切り換え可能で、スポット測光や中央重点測光や平均測光などの手法で測光される。なお、シャッタ速度と絞り値の組み合わせとしては、事前にその組み合わせを定めてある自動露光方式や、使用者が設定したシャッタ速度にあわせて絞り値を求めるシャッタ速度優先方式や、使用者が設定した絞り値にあわせてシャッタ速度を求める絞り優先方式などが選択できる。
合焦位置は、ＣＣＤ撮像素子２０からの出力信号をＡ／Ｄ変換回路２２にてデジタルデータ化して、この単板状態の画像データからの輝度データを算出し、その輝度データ中のエッジ強度から求められる。即ち、ＡＦモータ２６にてレンズ系１２の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
ＩＳＯ感度の設定方法は、電子スチルカメラ１０における感度モードの設定によって異なる。電子スチルカメラ１０において感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラ１０において感度モードが自動感度モードの場合には、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき決定される。即ち、ＡＥ用フォトセンサ２４にて測定した光量が少ない場合に高いＩＳＯ感度に決定し、光量が多い場合に低いＩＳＯ感度に決定する。なお、本実施形態におけるＩＳＯ感度とは、ＣＣＤ撮像素子２０からの信号に対する電気的増幅（ゲインアップ）の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。
上記のようなプリ撮影の後、本実施形態では、レリーズスイッチ４４Ｂを全押しして、上記ステップＳ１２として本撮影（ＲＡＷデータ撮影）を行うと、ＣＣＤ撮像素子２０からの信号がＡ／Ｄ変換回路２２にてデジタル信号化され、今度は第１画像処理部３０を介さずに、ＲＡＷフォーマットの単板状態の画像信号として、画像用バッファ３２または連写用バッファ５４に出力される。そして、この第１画像処理部３０の処理を施さずにＲＡＷフォーマットの単板状態の画像信号として画像用バッファ３２または連写用バッファ５４に出力されたデータに対し、上記ステップＳ１４として、画像分割・再生成部５８で、ＲＡＷデータ分割処理を行って、色毎に分割する。
図５は、ＲＡＷデータ分割処理における色毎の分割方法を示したものである。同図に示すように、ＲＡＷデータ１００の画素情報を各色毎に取り出して、色毎のプレーンデータ１０２Ｒ，１０２Ｇｒ，１０２Ｇｂ，１０２Ｂを生成する。
そして、色毎に分割した画像信号に対し、上記ステップＳ１０のＲＡＷデータ圧縮用パラメータ設定処理で設定された圧縮形式及び圧縮クオリティパラメータを使用して、上記ステップＳ１６として、画像圧縮伸張部３４で、各色プレーン毎に画像圧縮処理を行う。
図３（Ｃ）は、その画像圧縮処理のフローチャートを示す図である。即ち、まず、圧縮クオリティパラメータをセットし（ステップＳ１６Ａ）、その設定されている圧縮形式によって画像データ圧縮処理を行う（ステップＳ１６Ｂ）。その後、全色分の圧縮処理が終了したかを判定し（ステップＳ１６Ｃ）、全色分の圧縮処理が終了するまで繰り返す。
その後、上記ステップＳ１８において、このようにして圧縮した後のデータを再度、画像用バッファ３２または連写用バッファ５４に保存する。
そして、上記ステップＳ２０において、画像圧縮伸張部３４で、上記圧縮して保存した画像データを伸張しながら読み出した後、上記ステップＳ２２において、画像分割・再生成部５８で、ＲＡＷフォーマットデータを再度生成する。
図６は、この分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における生成方法を示した図である。各色毎に静止画として圧縮したデータを伸張し、図５での色毎に分割した時と逆の手順で、上記ＲＡＷデータ１００と同じフォーマットであるＲＡＷフォーマットデータ１００’を再生成する。再生成されたＲＡＷフォーマットデータ１００’の画像信号は、画像用バッファ３２または連写用バッファ５４へ出力する。なお、圧縮前の色毎のプレーンデータ１０２Ｒ，１０２Ｇｒ，１０２Ｇｂ，１０２Ｂと伸張後の色毎のプレーンデータ１０２Ｒ’，１０２Ｇｒ’，１０２Ｇｂ’，１０２Ｂ’とは、圧縮方式が可逆圧縮の場合には同一のものとなる。
また、図７は、分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における別の生成方法を示した図である。これは、人間の視覚による分光感度のピークに近い色の特定分割データ（例えばプレーンデータ１０２Ｇｒ，１０２Ｇｂ）は静止画として圧縮し、他の色分割データ（例えばプレーンデータ１０２Ｒ１〜ｎ’，１０２Ｂ１〜ｎ’）はＭＰＥＧ圧縮したデータをそれぞれ伸張し、ＲＡＷフォーマットデータ１００’を再生成する。再生成されたＲＡＷフォーマットデータ１００’の画像信号は、画像用バッファ３２または連写用バッファ５４へ出力する。なお、圧縮前のプレーンデータ１０２Ｇｒ，１０２Ｇｂと伸張後のプレーンデータ１０２Ｇｒ’，１０２Ｇｂ’とは、圧縮方式が可逆圧縮の場合には同一のものとなる。
そして、画像用バッファ３２または連写用バッファ５４に入力されたＲＡＷフォーマットデータ１００’の画像信号は、第２画像処理部５６へ入力され、上記ステップＳ２４として、第２画像処理部５６で高解像度化の処理を行った後、ステップＳ２６として液晶表示パネル４４Ｃに表示され、ステップＳ２８として公知のＪＰＥＧなどの圧縮処理が画像圧縮伸張部３４にて行われ、メモリカードＩ／Ｆ部３６を介して脱着可能なメモリカード３８へ出力される。また、圧縮処理を行わずにメモリカードＩ／Ｆ部３６を介して脱着可能なメモリカード３８へ出力することも可能である。更には、外部出力Ｉ／Ｆ部４０を介して不図示の外部画像処理装置に出力することもできる。
なお、上記ステップＳ２４で実行される第２画像処理部５６での高解像度化処理は、モーション推定部５６Ａで行うモーション推定処理と、超解像処理部５６Ｂで行う超解像処理とからなる。この第２画像処理部５６で行うモーション推定、及び、超解像の処理の流れを、以下に説明する。
上述したように、連写撮影モードにより撮影され、連写用バッファ５４へ入力された複数枚の画像の画像信号（ＲＡＷデータ１００）を画像分割・再生成部５８で色毎に分割し、分割データを画像圧縮伸張部３４で圧縮符号化して、連写用バッファ５４へ出力する。そして、その連写用バッファ５４へ入力された分割符号化データのうち、人間の視覚による分光感度のピークに近い色の特定分割符号化データにおける複数枚の画像信号を、画像圧縮伸張部３４で伸張して第２画像処理部５６へ入力し、第２画像処理部５６におけるモーション推定部５６Ａによって、各画像（フレーム）におけるフレーム間の動き推定を行う。
図８に、この動き推定処理の入力データを示す。同図に示すように、本実施形態では、人間の視覚による分光感度のピークに近い色（例えばＧ）の特定分割符号化データ（プレーンデータ１０２Ｇｒ又は１０２Ｇｂ）を伸張して、得られたプレーンデータ１０２Ｇｒ’又は１０２Ｇｂ’をモーション推定部５６Ａに入力する。
図９は、このモーション推定部５６Ａで実行される動き推定処理のフローチャートを示す図である。
即ち、まず、動き推定の基準となる画像データ（基準画像）を１枚読み込む（ステップＳ２４Ａ１）。この基準画像は、例えば複数枚連続して撮影した画像データのうち最初の画像データ（第１フレームの画像）であっても良いし、使用者が任意に指定した画像データ（フレーム）であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる（ステップＳ２４Ａ２）。
その後、他の画像データ（参照画像）を１枚読み込み（ステップＳ２４Ａ３）、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する（ステップＳ２４Ａ４）。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図１０に示すような離散的な類似度マップを作成し（ステップＳ２４Ａ５）、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める（ステップＳ２４Ａ６）。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。
そしてその後、全ての参照画像において動き推定を行ったか否かを判別し（ステップＳ２４Ａ７）、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を１つ上げて（ステップＳ２４Ａ８）、上記ステップＳ２４Ａ３へ戻ることで、次の参照画像を読み込んで上記処理を継続する。
而して、対象となる全ての参照画像において動き推定を行ったならば（ステップＳ２４Ａ７）、処理を終了する。
図１０は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は２乗偏差を表し、値が小さいほど類似度が高い。
なお、上記ステップＳ２４Ａ２における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（２７通り中８通りは同じ変形パターン）に変形させる。この場合、図１０の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向，垂直方向，回転方向の組み合わせのモーションパラメータと考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。
図１１（Ａ）及び（Ｂ）は、参照画像における基準画像への近似を示す。図１１（Ａ）に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図１１（Ｂ）に示すように基準画像に近似する。
次に、第２画像処理部５６の超解像処理部５６Ｂで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を、図１２のフローチャートを参照して説明する。なお、この画像高解像度化処理においては、上述したようにして分割した各色毎の画像圧縮から再生成されたＲＡＷフォーマットデータ１００’が使用されるものである。
即ち、まず、高解像度画像推定に用いるためｋ枚（ｋ≧１）のＲＡＷフォーマットデータ１００’（低解像度画像ｙ）を読み込む（ステップＳ２４Ｂ１）。そして、それらｋ枚の低解像度画像ｙの中の任意の１枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像ｚを作成する（ステップＳ２４Ｂ２）。なお、このステップＳ２４Ｂ２は、場合により省略することができる。
その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション（例えば、上述したようにモーション推定部５６Ａで動き推定値を求める）により、画像間の位置関係を明らかにする（ステップＳ２４Ｂ３）。そして、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（ＰＳＦ）を求める（ステップＳ２４Ｂ４）。このＰＳＦは、例えばＧａｕｓｓ関数を用いる。
そして、上記ステップＳ２４Ｂ３及びステップＳ２４Ｂ４の情報を元に、評価関数ｆ（ｚ）の最小化を行う（ステップＳ２４Ｂ５）。ただし、ｆ（ｚ）は以下のような形となる。
Figure 0004964541
ここでｙは低解像度画像、ｚは高解像度画像、Ａは画像間モーション（例えばモーション推定部５６Ａで求めた動き推定値）及びＰＳＦ等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。
そして、上記ステップＳ２４Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ２４Ｂ６）。ここで、まだ最小化されていない場合には、高解像度画像ｚをアップデートして（ステップＳ２４Ｂ７）、上記ステップＳ２４Ｂ５に戻る。
而して、上記ステップＳ２４Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度画像ｚが得られたとして処理を終了する。
図１３は、このような超解像処理を実施する超解像処理部５６Ｂの構成の一例を示す図である。この超解像処理部５６Ｂは、初期画像記憶部５６Ｂ１、畳込み積分部５６Ｂ２、ＰＳＦデータ保持部５６Ｂ３、画像比較部５６Ｂ４、乗算部５６Ｂ５、貼り合せ加算部５６Ｂ６、蓄積加算部５６Ｂ７、更新画像生成部５６Ｂ８、画像蓄積部５６Ｂ９、反復演算判定部５６Ｂ１０、反復判定値保持部５６Ｂ１１、及び補間拡大部５６Ｂ１２から構成される。
即ち、上記連写用バッファ５４からの基準画像を補間拡大部５６Ｂ１２で補間拡大し、その補間拡大画像が初期画像記憶部５６Ｂ１に与えられ、初期画像として記憶される。なお、補間拡大部５６Ｂ１２での補間方法は、バイリニア補間、バイキュービック補間などで補間する。
この初期画像記憶部５６Ｂ１に記憶された初期画像は畳込み積分部５６Ｂ２に与えられ、ＰＳＦデータ保持部５６Ｂ３より与えられるＰＳＦデータと畳込み積分される。ここでのＰＳＦデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部５６Ｂ１に記憶された初期画像データは同時に画像蓄積部５６Ｂ９に送られ、ここに蓄積される。
上記畳込み積分部５６Ｂ２で畳込み積分された画像データは画像比較部５６Ｂ４に送られ、上記モーション推定部５６Ａで求められた各フレーム毎のモーション（動き推定値）を元に適切な座標位置で、上記連写用バッファ５４より与えられる撮影画像と比較される。そして、その比較された残差は乗算部５６Ｂ５に送られ、ＰＳＦデータ保持部５６Ｂ３より与えられるＰＳＦデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部５６Ｂ６に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部５６Ｂ５からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分のデータの貼り合せ加算が終るとデータは蓄積加算部５６Ｂ７に送られる。
蓄積加算部５６Ｂ７では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データ順次加算してゆく。加算された画像データは、更新画像生成部５６Ｂ８に送られる。更新画像生成部５６Ｂ８には、これと同時に、画像蓄積部５６Ｂ９に蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して、更新画像データを生成する。
この更新画像生成部５６Ｂ８で生成された更新画像データは反復演算判定部５６Ｂ１０に与えられ、反復判定値保持部５６Ｂ１１から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部５６Ｂ２に送り上記の一連の処理を繰り返す。
これに対して、反復しない場合は、更新画像生成部５６Ｂ８で生成され該反復演算判定部５６Ｂ１０に入力された更新画像データを、高解像度画像として出力する。
このような一連の処理を行うことで、反復演算判定部５６Ｂ１０から出力される画像は撮影画像よりも高解像度なものとなる。
また、上記ＰＳＦデータ保持部５６Ｂ３で保持されるＰＳＦデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部５６Ａよりフレーム毎のモーションが与えられるようになっている。
以上詳述したように、本第１実施形態によれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
［第２実施形態］
上記第１実施形態では、全ての機能を撮像装置である電子スチルカメラ１０に組み込んでいる。これに対して、本発明の第２実施形態は、撮像装置と画像処理装置とからなる撮像システムとして、機能を分担するようにしたものである。
即ち、図２（Ｂ）に示すように、電子スチルカメラ１０のカメラ本体１０Ａに、本実施形態に係る画像処理装置としてのプリンタ６０を接続する。ここで、カメラ本体１０Ａ内には、図１の構成におけるレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８、ＣＣＤ撮像素子２０、Ａ／Ｄ変換回路２２、ＡＥ用フォトセンサ２４、ＡＦモータ２６、撮像制御部２８、第１画像処理部３０、画像用バッファ３２、画像圧縮伸張部３４のうちの画像圧縮処理を行う機能、メモリカードＩ／Ｆ部３６、メモリカード３８、外部出力Ｉ／Ｆ部４０、パラメータ解析部４２、操作表示部４４、撮像条件設定部４６、連写判定部４８、画素混合判定部５０、切替部５２、連写用バッファ５４、及び画像分割・再生成部５８のうちの画像分割処理を行う機能を備え、上記外部出力Ｉ／Ｆ部４０を介して接続されるプリンタ６０には、画像圧縮伸張部３４のうちの画像伸張処理を行う機能、第２画像処理部５６、及び画像分割・再生成部５８のうちのＲＡＷフォーマットデータの再生成処理を行う機能を備える。
そして、このような構成において、電子スチルカメラ１０では画像を複数枚撮像して、色毎の分割、圧縮をして記録するまでを行い、プリンタ６０で、動き推定処理、ＲＡＷフォーマットデータ再生成処理、超解像処理を行う。
画像全体の超解像度化をすることは、ハードウェアへの負担が大きく、処理時間が多大となるが、電子スチルカメラ１０とプリンタ６０を接続しているような場合、電子スチルカメラ１０のユーザインタフェース（操作表示部４４）から使用者がプリント印刷する指示を行った際に、動き推定処理、並びに、超解像度化処理をプリンタ６０側で行い、高解像度化された画像をプリント印刷する際には、プリンタ６０のハードウェア性能を利用することになるので、電子スチルカメラ１０内部で処理するよりも高速に処理することも可能となるし、また、使用者の待ち時間の点から考慮すると、印刷待ちの間に超解像処理も含めて処理を行うので、高解像度化の処理時間も気にならない。
なお、電子スチルカメラ１０とプリンタ６０の機能分担は、例えば動き推定処理も電子スチルカメラ１０側で行う等、上記に限定されるものではないことは勿論である。
また、画像処理装置は、プリンタ６０に限らず、パーソナルコンピュータ、ビュアー（ストレージビュアー）、モニタ、プロジェクタ、レコーダ（ＤＶＤ、ＣＤ）、プレーヤ等、外部出力Ｉ／Ｆ部４０を介して接続可能なその他の機器を含むことができる。
［第３実施形態］
電子スチルカメラ１０においては、撮影時の手ぶれ補正用に加速度センサを搭載しているものが知られている。
本発明の第３実施形態に係る撮像装置としての電子スチルカメラ１０は、図１４に示すように、そのような加速度センサ６２の出力を第２画像処理部５６のモーション推定部５６Ａにも与え、該モーション推定部５６Ａでの動き推定の際に、その加速度センサ６２の出力も併用して推定するものである。
即ち、加速度センサを用いない場合、電子スチルカメラ１０撮影時の使用者の手ぶれ量が大きければ大きいほど、動き推定処理時の推定カーネル領域は大きくしなければならず、処理時間が増えてしまう。
しかしながら、図１５に示すように、加速度センサ６２で検知した分だけ、プラスマイナス逆方向に参照画像を変形すれば、基準画像にほぼ近似したことになり、さらに小領域の画像処理による動き推定処理を行うことで、短時間で精度の高い動き推定値を求めることが可能となる。
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、複数枚の低解像度画像（画像データ）を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を説明したが、１枚の低解像度画像を使用して高解像度の画像を復元することも可能なことは勿論である。
また、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、メモリ等に保存してある低解像度画像を用いて、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
（１） 被写体の像を電子的に記録する撮像装置において、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
を具備することを特徴とする撮像装置。
（対応する実施形態）
この（１）に記載の撮像装置は、第１及び第３実施形態が対応する。それらの実施形態において、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、画像分割・再生成部５８が上記ＲＡＷデータ分割手段に、パラメータ解析部４２及び操作表示部４４が上記圧縮率制御手段に、画像圧縮伸張部３４が上記圧縮符号化処理手段に、画像用バッファ３２又は連写用バッファ５４が上記記録手段に、画像圧縮伸張部３４及び画像分割・再生成部５８が上記ＲＡＷフォーマットデータ再生成手段に、第２画像処理部５６のモーション推定部５６Ａが上記動き補償手段に、それぞれ対応する。
（作用効果）
この（１）に記載の撮像装置によれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
（２） 上記圧縮符号化処理手段は、各色毎にＪＰＥＧ準拠、ＭＰＥＧ準拠、または可逆圧縮が可能な圧縮アルゴリズムの何れかの圧縮符号化処理手法を選択可能であることを特徴とする（１）に記載の撮像装置。
（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。
（作用効果）
この（２）に記載の撮像装置によれば、圧縮符号化処理手法を選択することができる。
（３） 上記圧縮率制御手段は、上記圧縮符号化処理手段での上記特定色分割符号化データ生成時に、選択された上記圧縮符号化処理手法が可逆圧縮が可能な圧縮アルゴリズムでない場合、上記特定色分割データの圧縮率を、他の色分割データの圧縮率よりも低くすることを特徴とする（２）に記載の撮像装置。
（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。
（作用効果）
この（３）に記載の撮像装置によれば、不可逆圧縮による影響を少なくし、動き推定精度の誤差を少なくすることができる。
（４） 上記ＲＡＷフォーマットデータ再生成手段は、上記ＲＡＷデータ分割手段によって分割する前のＲＡＷデータのフォーマットと同じフォーマットを有するＲＡＷフォーマットデータを生成することを特徴とする（１）に記載の撮像装置。
（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。
（作用効果）
この（４）に記載の撮像装置によれば、一つのフォーマットのみ対応すれば良いので、構成・機能が簡単で済む。
（５） 上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段を更に具備することを特徴とする（１）乃至（４）の何れかに記載の撮像装置。
（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、第２画像処理部５６の超解像処理部５６Ｂが上記高解像度化処理手段に対応する。
（作用効果）
この（５）に記載の撮像装置によれば、高解像度の画像を得ることができる。
（６） 上記高解像度化処理手段は、上記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段を備えることを特徴とする（５）に記載の撮像装置。
（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、第２画像処理部５６の超解像処理部５６Ｂが上記画像合成手段に対応する。
（作用効果）
この（６）に記載の撮像装置によれば、複数フレームの画像を使用することで、高品質な高解像度画像を生成することができる。
（７） 撮像画面の少なくとも一部の領域を表示可能なモニタを更に具備し、
上記高解像度化処理手段は、上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータから上記モニタに表示される領域の画像データに対して上記高解像度化処理を行い、その結果得られた画像データのうち上記モニタの表示サイズに相当したサイズの画像データを上記モニタに表示することを特徴とする（５）又は（６）に記載の撮像装置。
（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、操作表示部４４の液晶表示パネル４４Ｃが上記モニタに対応する。
（作用効果）
この（７）に記載の撮像装置によれば、高解像度化した画像のうちモニタの表示サイズに相当する部分が表示されるので、使用者は高解像度化の効果が認識し易い。
（８） 記録手段に記録された、色毎に分割したＲＡＷデータを色毎に制御された圧縮率で圧縮することで得られた色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記記録手段に記録された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備することを特徴とする画像処理装置。
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。その実施形態において、画像圧縮伸張部３４及び画像分割・再生成部５８が上記ＲＡＷフォーマットデータ再生成手段に、第２画像処理部５６のモーション推定部５６Ａが上記動き補償手段に、第２画像処理部５６の超解像処理部５６Ｂが上記高解像度化処理手段に、プリンタ６０が上記画像処理装置に、それぞれ対応する。
（作用効果）
この（８）に記載の画像処理装置によれば、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
また、画像全体の超解像度化をすることは、ハードウェアへの負担が大きく、処理時間が多大となるが、動き推定処理、並びに、超解像度化処理を画像処理装置側で行うことで、画像処理装置のハードウェア性能を利用することになるので、撮像装置内部で処理するよりも高速に処理することも可能となる。
（９） 色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備し、
上記各手段のうち、少なくとも上記撮像素子、上記ＲＡＷデータ分割手段、上記圧縮率制御手段、上記圧縮符号化処理手段、及び上記記録手段は、撮像装置に備えられ、
上記撮像装置が備える以外の手段は、上記撮像装置に接続可能な画像処理装置に備えられることを特徴とする撮影システム。
（対応する実施形態）
この（９）に記載の撮像システムに関する実施形態は、第２実施形態が対応する。その実施形態において、ＣＣＤ撮像素子２０が上記撮像素子に、画像分割・再生成部５８の画像分割機能が上記ＲＡＷデータ分割手段に、パラメータ解析部４２及び操作表示部４４が上記圧縮率制御手段に、画像圧縮伸張部３４が上記圧縮符号化処理手段に、画像用バッファ３２又は連写用バッファ５４が上記記録手段に、画像圧縮伸張部３４及び画像分割・再生成部５８の再生成機能が上記ＲＡＷフォーマットデータ再生成手段に、第２画像処理部５６のモーション推定部５６Ａが上記動き補償手段に、第２画像処理部５６の超解像処理部５６Ｂが上記高解像度化処理手段に、電子スチルカメラ１０が上記撮像装置に、プリンタ６０が上記画像処理装置に、それぞれ対応する。
（作用効果）
この（９）に記載の撮像システムによれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
また、画像全体の超解像度化をすることは、ハードウェアへの負担が大きく、処理時間が多大となるが、動き推定処理、並びに、超解像度化処理を画像処理装置側で行うことで、画像処理装置のハードウェア性能を利用することになるので、撮像装置内部で処理するよりも高速に処理することも可能となる。
（１０） 被写体の像を電子的に記録する撮像装置の画像処理プログラムであって、
コンピュータに、
色フィルタを前面に配置した撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割する手順と、
上記色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御する手順と、
上記色毎に分割したＲＡＷデータを上記制御された圧縮率で圧縮して色毎の符号化データを生成する手順と、
上記生成された上記色毎の符号化データを記録する手順と、
上記記録した上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成する手順と、
上記生成された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する手順と、
を実行させるための画像処理プログラム。
（対応する実施形態）
この（１０）に記載の画像処理プログラムに関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、ステップＳ１４が上記ＲＡＷデータを同じ色毎に分割する手順に、ステップＳ１０が上記圧縮率を色毎に制御する手順に、ステップＳ１６が上記色毎の符号化データを生成する手順に、ステップＳ１８が上記色毎の符号化データを記録する手順に、ステップＳ２２が上記ＲＡＷフォーマットデータを再生成する手順に、ステップＳ２４Ａ１乃至ステップＳ２４Ａ８が上記フレーム間の相対的な位置関係を補償する手順に、それぞれ対応する。
（作用効果）
この（１０）に記載の画像処理プログラムによれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
図１は、本発明の第１実施形態に係る撮像装置としての電子スチルカメラのブロック構成図である。 図２（Ａ）は、第１実施形態における電子スチルカメラの概略の外観構成を示す背面図であり、図２（Ｂ）は、本発明の第２実施形態に係る撮像システムの構成を示す図である。 図３（Ａ）は、第１実施形態における電子スチルカメラの処理フローチャートを示す図、図３（Ｂ）は、図３中のＲＡＷデータ圧縮用パラメータ設定処理のフローチャートを示す図であり、図３（Ｃ）は、図３中の画像圧縮処理のフローチャートを示す図である。 図４は、同じカラーチャンネル隣接４画素における画素混合読み出しを説明するための図である。 図５は、ＲＡＷデータ分割処理における色毎の分割方法を説明するための図である。 図６は、分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における生成方法を説明するための図である。 図７は、分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における別の生成方法を説明するための図である。 図８は、動き推定処理の入力データを説明するための図である。 図９は、第２画像処理部のモーション推定部で実行される動き推定処理のフローチャートを示す図である。 図１０は、動き推定における最適類似度推定のための類似度マップを示す図である。 図１１（Ａ）は、複数の連続撮影した画像を示す図であり、図１１（Ｂ）は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。 図１２は、第２画像処理部の超解像処理部で実行される画像高解像度化処理（超解像処理）のフローチャートを示す図である。 図１３は、第２画像処理部の超解像処理部の一例を示すブロック構成図である。 図１４は、本発明の第３実施形態に係る撮像装置としての電子スチルカメラのブロック構成図である。 図１５は、加速度センサを用いた動き推定処理を説明するための図である。
符号の説明
１０…電子スチルカメラ、 １０Ａ…カメラ本体、 １２…レンズ系、 １４…分光ハーフミラー系、 １６…シャッタ、 １８…ローパスフィルタ、 ２０…ＣＣＤ撮像素子、 ２２…Ａ／Ｄ変換回路、 ２４…ＡＥ用フォトセンサ、 ２６…ＡＦモータ、 ２８…撮像制御部、 ３０…画像処理部、 ３２…画像用バッファ、 ３４…画像圧縮伸張部、 ３６…メモリカードＩ／Ｆ部、 ３８…メモリカード、 ４０…外部出力Ｉ／Ｆ部、 ４２…パラメータ解析部、 ４４…操作表示部、 ４４Ａ…電源スイッチ、 ４４Ｂ…レリーズスイッチ、 ４４Ｃ…液晶表示パネル、 ４４Ｄ…操作ボタン、 ４６…撮像条件設定部、 ４８…連写判定部、 ５０…画素混合判定部、 ５２…切替部、 ５４…連写用バッファ、 ５６…画像処理部、 ５６Ａ…モーション推定部、 ５６Ｂ…超解像処理部、 ５６Ｂ１…初期画像記憶部、 ５６Ｂ２…畳込み積分部、 ５６Ｂ３…ＰＳＦデータ保持部、 ５６Ｂ４…画像比較部、 ５６Ｂ５…乗算部、 ５６Ｂ６…貼り合せ加算部、 ５６Ｂ７…蓄積加算部、 ５６Ｂ８…更新画像生成部、 ５６Ｂ９…画像蓄積部、 ５６Ｂ１０…反復演算判定部、 ５６Ｂ１１…反復判定値保持部、 ５６Ｂ１２…補間拡大部、 ５８…画像分割・再生成部、 ６０…プリンタ、 ６２…加速度センサ、 １００…ＲＡＷデータ、 １００’…ＲＡＷフォーマットデータ、 １０２Ｒ，１０２Ｇｒ，１０２Ｇｂ，１０２Ｂ…プレーンデータ。

Claims (10)

  1. 被写体の像を電子的に記録する撮像装置において、
    色フィルタを前面に配置した撮像素子と、
    該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
    上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
    上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
    上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
    上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
    上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
    を具備することを特徴とする撮像装置。
  2. 上記圧縮符号化処理手段は、各色毎にＪＰＥＧ準拠、ＭＰＥＧ準拠、または可逆圧縮が可能な圧縮アルゴリズムの何れかの圧縮符号化処理手法を選択可能であることを特徴とする請求項１に記載の撮像装置。
  3. 上記圧縮率制御手段は、上記圧縮符号化処理手段での上記特定色分割符号化データ生成時に、選択された上記圧縮符号化処理手法が可逆圧縮が可能な圧縮アルゴリズムでない場合、上記特定色分割データの圧縮率を、他の色分割データの圧縮率よりも低くすることを特徴とする請求項２に記載の撮像装置。
  4. 上記ＲＡＷフォーマットデータ再生成手段は、上記ＲＡＷデータ分割手段によって分割する前のＲＡＷデータのフォーマットと同じフォーマットを有するＲＡＷフォーマットデータを生成することを特徴とする請求項１に記載の撮像装置。
  5. 上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段を更に具備することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
  6. 上記高解像度化処理手段は、上記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段を備えることを特徴とする請求項５に記載の撮像装置。
  7. 撮像画面の少なくとも一部の領域を表示可能なモニタを更に具備し、
    上記高解像度化処理手段は、上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータから上記モニタに表示される領域の画像データに対して上記高解像度化処理を行い、その結果得られた画像データのうち上記モニタの表示サイズに相当したサイズの画像データを上記モニタに表示することを特徴とする請求項５又は６に記載の撮像装置。
  8. 記録手段に記録された、色毎に分割したＲＡＷデータを色毎に制御された圧縮率で圧縮することで得られた色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
    上記記録手段に記録された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
    上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
    を具備することを特徴とする画像処理装置。
  9. 色フィルタを前面に配置した撮像素子と、
    該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
    上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
    上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
    上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
    上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
    上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
    上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
    を具備し、
    上記各手段のうち、少なくとも上記撮像素子、上記ＲＡＷデータ分割手段、上記圧縮率制御手段、上記圧縮符号化処理手段、及び上記記録手段は、撮像装置に備えられ、
    上記撮像装置が備える以外の手段は、上記撮像装置に接続可能な画像処理装置に備えられることを特徴とする撮影システム。
  10. 被写体の像を電子的に記録する撮像装置の画像処理プログラムであって、
    コンピュータに、
    色フィルタを前面に配置した撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割する手順と、
    上記色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御する手順と、
    上記色毎に分割したＲＡＷデータを上記制御された圧縮率で圧縮して色毎の符号化データを生成する手順と、
    上記生成された上記色毎の符号化データを記録する手順と、
    上記記録した上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成する手順と、
    上記生成された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する手順と、
    を実行させるための画像処理プログラム。
JP2006245975A 2006-09-11 2006-09-11 撮像装置、画像処理装置、撮像システム及び画像処理プログラム Active JP4964541B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006245975A JP4964541B2 (ja) 2006-09-11 2006-09-11 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
PCT/JP2007/067012 WO2008032589A1 (en) 2006-09-11 2007-08-31 Imaging device, image processing device, imaging system, and image processing program
EP07806485A EP2063628A1 (en) 2006-09-11 2007-08-31 Imaging device, image processing device, imaging system, and image processing program
US12/389,793 US8203613B2 (en) 2006-09-11 2009-02-20 Image acquisition apparatus, image processing apparatus, image acquisition system, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006245975A JP4964541B2 (ja) 2006-09-11 2006-09-11 撮像装置、画像処理装置、撮像システム及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2008067315A JP2008067315A (ja) 2008-03-21
JP4964541B2 true JP4964541B2 (ja) 2012-07-04

Family

ID=39183650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006245975A Active JP4964541B2 (ja) 2006-09-11 2006-09-11 撮像装置、画像処理装置、撮像システム及び画像処理プログラム

Country Status (4)

Country Link
US (1) US8203613B2 (ja)
EP (1) EP2063628A1 (ja)
JP (1) JP4964541B2 (ja)
WO (1) WO2008032589A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374444B2 (en) * 2008-08-06 2013-02-12 Sony Corporation Method and apparatus for providing higher resolution images in an embedded device
EP2324625A4 (en) * 2008-09-15 2013-08-07 Hewlett Packard Development Co MINIMAL TREATMENT OF DISPLAYED IMAGES CAPTURED FROM A BURST
CN102648632B (zh) * 2009-11-27 2015-01-28 株式会社尼康 数据处理装置
US9554108B2 (en) 2010-06-25 2017-01-24 Nikon Corporation Image processing device and storage medium storing image processing program
US20120044389A1 (en) * 2010-08-20 2012-02-23 Altek Corporation Method for generating super resolution image
JP2012045130A (ja) * 2010-08-26 2012-03-08 Hoya Corp 画像信号処理システムおよび画像信号処理方法
US9344736B2 (en) * 2010-09-30 2016-05-17 Alcatel Lucent Systems and methods for compressive sense imaging
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
JP6630895B2 (ja) * 2016-02-18 2020-01-15 キヤノン株式会社 信号処理装置及び画像ノイズ低減方法
KR102351083B1 (ko) * 2017-08-30 2022-01-13 삼성전자주식회사 디스플레이 장치 및 그 영상 처리 방법
US11164848B2 (en) * 2019-06-20 2021-11-02 Taiwan Semiconductor Manufacturing Company, Ltd. Semiconductor structure and method manufacturing the same
CN110827317B (zh) * 2019-11-04 2023-05-12 西安邮电大学 一种基于fpga的四目运动目标检测与识别设备及方法
CN113888565A (zh) * 2020-07-03 2022-01-04 深圳光峰科技股份有限公司 视频信号处理系统、方法、投影系统以及投影方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0936749A (ja) * 1995-07-21 1997-02-07 Hitachi Ltd 符号化復号化装置およびこれに用いられる符号化方法
JP2828138B2 (ja) 1996-08-28 1998-11-25 日本電気株式会社 画像合成方法及び画像合成装置
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
JPH11168688A (ja) * 1997-12-02 1999-06-22 Fuji Photo Film Co Ltd ディジタルカメラ装置ならびにその記録および／または再生処理方法
JP2001036809A (ja) * 1999-07-16 2001-02-09 Fuji Photo Film Co Ltd 固体撮像装置および画像処理方法
JP2004034532A (ja) * 2002-07-04 2004-02-05 Ricoh Co Ltd カラー複写装置及び画像形成システム
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
JP3956360B2 (ja) * 2002-09-30 2007-08-08 株式会社リコー 撮像装置及び画像処理方法
WO2004068862A1 (ja) * 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
JP3880578B2 (ja) * 2004-01-30 2007-02-14 キヤノン株式会社 符号化装置、符号化方法
JP4451181B2 (ja) * 2004-03-26 2010-04-14 オリンパス株式会社 画像圧縮方法及び画像圧縮装置
JP4594688B2 (ja) * 2004-06-29 2010-12-08 オリンパス株式会社 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化／復号化システム、拡張画像圧縮伸張処理システム
JP2006033088A (ja) * 2004-07-12 2006-02-02 Canon Inc 画像処理装置及び方法及び撮像装置及びプログラム及び記憶媒体
JP4438635B2 (ja) * 2005-01-28 2010-03-24 セイコーエプソン株式会社 画像処理方法、ディジタルカメラ及び画像処理プログラム
JP4630174B2 (ja) * 2005-11-14 2011-02-09 日本放送協会 動きベクトル検出装置
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
EP2063628A1 (en) 2009-05-27
JP2008067315A (ja) 2008-03-21
WO2008032589A1 (en) 2008-03-20
US20090153683A1 (en) 2009-06-18
US8203613B2 (en) 2012-06-19

Similar Documents

Publication Publication Date Title
JP4964541B2 (ja) 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP3971246B2 (ja) デジタル撮影装置
JP4567593B2 (ja) 撮像装置および撮影方法
US8149283B2 (en) Image processing device, electronic camera, image processing method, and image processing program
JP3893099B2 (ja) 撮像システムおよび撮像プログラム
JP4973719B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US20100091131A1 (en) Imaging system and storage medium storing an imaging program
WO2008041522A1 (fr) Dispositif de traitement d'image, programme de traitement d'image, procédé de production d'image et support d'enregistrement
US10187594B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium storing computer program
JP2009049777A (ja) 撮像装置及びそのコンピュータプログラム
JP4742813B2 (ja) 画像処理装置および画像処理方法
JP2015195582A (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体
JP2002305684A (ja) 撮像システム及びプログラム
JP2008109482A (ja) 撮像装置、画像記録処理方法及び画像記録処理プログラム
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
JP2018148512A (ja) 撮像装置と撮像装置の制御方法、及びプログラム
JP4985180B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP4759488B2 (ja) 撮像装置
JP2007013270A (ja) 撮像装置
JP4299753B2 (ja) 画像信号処理装置及び画像信号処理方法
JP2004287794A (ja) 画像処理装置
JP2007013269A (ja) 撮像装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP4429148B2 (ja) 画像撮影記録装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120328

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250