JP4096626B2 - 画像処理方法及び画像処理プログラム - Google Patents
画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP4096626B2 JP4096626B2 JP2002154906A JP2002154906A JP4096626B2 JP 4096626 B2 JP4096626 B2 JP 4096626B2 JP 2002154906 A JP2002154906 A JP 2002154906A JP 2002154906 A JP2002154906 A JP 2002154906A JP 4096626 B2 JP4096626 B2 JP 4096626B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- color
- signal
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 9
- 238000011946 reduction process Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は画像処理方法及び画像処理プログラムに係り、特に単板カラー撮像装置から得られる原画像の縮小処理に好適な画像処理技術に関する。
【0002】
【従来の技術】
一般的なデジタルカメラは、CCD等の撮像素子から得られる画像信号を10ビット又は12ビットのデジタルデータに変換し、様々な画像処理を施した後、JPEG符号化などの圧縮方式に従って画像データを圧縮して記録媒体に記録するようになっている。この種のデジタルカメラでは、画像記録時に非可逆な圧縮を施すため、再生時やプリント時に必ずしも充分に良好な画質が得られない場合がある。また、記録された画像は、既に様々な画像処理が施されているので、ユーザ自身が再生画像に対して更なる画像処理を施すと画質が劣化する場合がある。
【0003】
これに対して、カメラ内で画像処理を実施せず、撮像素子から出力される画素ごとのアナログ信号をA/D変換後、画像処理を加えない生(RAW )の状態でデジタルデータをそのまま記録する方式が提案されている。すなわち、カメラ側では未加工のRAW データを記録しておき、パソコン等の外部装置によって画像の再現(現像)処理を行うことにより、高品質のプリントやユーザの目的に合致したより高度な画像編集を実現するものである。
【0004】
【発明が解決しようとする課題】
しかしながら、RAW 形式のデータは、JPEG形式等のデータに比べてファイルサイズが大きく、再生処理に時間がかかる。RAW データの再生は、一画素について一色の情報しかない大サイズの原画像データを基に、ガンマ変換やホワイトバランスをとりつつ、各画素についてR/G/Bの情報を得るような同時化処理を行い、最終的に再現画像を得なければならない。画面内の細部の再現性までをも確認する場合には、このような大サイズの画像を取り扱う必要があるが、例えば、色の再現性を確認するだけの場合(色調や色の感じを確認したい場合)、或いは、明るさの程度やガンマのかけ具合を変更したときの結果確認などには、それほど大きな画像を用いなくても小さな画像で十分確認することが可能である。かかる場合、RAW 画像を縮小して再生処理を行うことにより、処理時間を大幅に短縮できる。
【0005】
このように、RAW データの処理結果を高速表示するため、或いはプレビュー用画像ファイルサイズの最小化などの目的でRAW 画像の縮小処理が行われることがある。
【0006】
特開2001−86345号公報では、原画像を縮小処理し(すなわち、低周波成分を取り出し)、その縮小画像に対して高度な色変換を行い、拡大処理後に原信号に重ね合わせることで高画質化を図る方法が提案されている。しかし、同公報に開示された従来の方法は、原画像を構成している一つ一つの画素がRGB(又はCMY)の各色情報を全て有しているものを対象としている。
【0007】
したがって、同公報に開示の方法を単板カラー撮像装置から得られるモザイク状のRAW 画像にそのまま適用すると、色によって偽色が現れたり、解像感の劣化が発生し、原画像の撮像特徴を十分に生かした縮小RAW 画像を得ることができないという欠点がある。
【0008】
本発明はこのような事情に鑑みてなされたもので、原画像を縮小する際に、偽色を低減しながらも解像感を保持することができる画像処理方法及びそれを実現する画像処理プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明は前記目的を達成するために、色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理方法であって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の空間周波数座標系における水平方向、垂直方向及び斜め方向を含む二次元的再現帯域に相似な二次元的帯域特性を有するローパスフィルタを施すフィルタ処理工程と、前記フィルタ処理工程を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理工程と、前記縮小化処理工程で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理工程と、を含むことを特徴としている。
【0010】
本発明によれば、同時化などの信号処理が行われていない原画像(RAW 画像)の縮小画像を生成するにあたり、原画像の各色信号(原信号)の再現帯域を崩すことがないように、各色の二次元的再現帯域に相似な帯域特性を有するローパスフィルタを施し、ローパスフィルタ処理後の画像から画素の間引きを行って画素数を減らし、縮小原画像を得ている。なお、画素の間引き量は最終的に生成すべき縮小画像の縮小率に依存して設定される。こうして得られた縮小原画像は、縮小前における原画像の再現特性の特徴を反映したものとなっている。
【0011】
この縮小原画像に対して、ガンマ変換、ホワイトバランス調整、同時化などの画像再現処理を行い、最終的な縮小画像を得る。これにより、再現処理時間の短縮化を達成できるとともに、最終画像における偽色の発生を防止しつつ、各色信号の最大解像感を保持することができる。
【0012】
また、本発明の他の態様は、上記の方法発明をコンピュータによって実現するためのプログラムを提供する。すなわち、本発明に係る画像処理プログラムは、色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理機能をコンピュータに実現させるためのプログラムであって、前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の空間周波数座標系における水平方向、垂直方向及び斜め方向を含む二次元的再現帯域に相似な二次元帯域特性を有するローパスフィルタを施すフィルタ処理機能と、前記フィルタ処理機能を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理機能と、前記縮小化処理機能で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理機能と、をコンピュータに実現させることを特徴としている。
【0013】
本発明の画像処理プログラムは、単独のアプリケーションソフトウエアとして構成されてもよいし、画像加工ソフトやファイル管理用ソフトウエアなどのアプリケーションの一部として組み込まれてもよい。また、本発明の画像処理プログラムは、パソコンなどのコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機などの情報機器に組み込まれる中央処理装置(CPU)の動作プログラムとしても適用することが可能である。
【0014】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像処理方法及び画像処理プログラムの好ましい実施の形態について詳説する。
【0015】
図1は本発明の実施形態に係る画像処理方法が適用される原画像を記録する撮像装置の構成図である。この撮像装置10は、撮像部12を介して撮像した被写体の光学像をデジタル画像データに変換してメモリカード14に記録する単板式のデジタルカメラである。撮像部12は、光学レンズ16、光学ローパスフィルタ(OLPF)17、カラーフィルタ18及び撮像素子20を含む。
【0016】
撮像素子20は、CCD型或いはCMOS型などに代表されるイメージセンサである。撮像素子20の受光面には多数のフォトダイオード(感光画素)が二次元的に配列されており、光学レンズ16を通過した被写体情報を光電変換する。光学ローパスフィルタ17は、撮像素子20の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現(信号処理)後の最終画像におけるエリアジング発生を防止する。
【0017】
カラーフィルタ18は、撮像素子20の一画素に対応する位置にR,G,Bの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。
【0018】
図2に原色タイプのカラーフィルタ配列の例を示す。図2(a)に示したハニカム配列は、受光素子(フォトダイオード)の幾何学的な形状の中心が行方向及び列方向に1/2ピッチずつずらして配置されている。図2(b)に示したベイヤー配列は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。なお、実際の撮像素子20の結像面では、図2に示した画素配列の構造が水平方向及び垂直方向に周期的に繰り返される。もちろん、本発明の実施上、カラーフィルタ18の配列構造は、図2に示した例に限定されず、Gストライプなど様々な配列構造が可能である。また、本例では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、イエロー(Y)、マゼンタ(M)、シアン(C)、グリーン(G)から成る補色フィルタを用いることも可能である。
【0019】
図1の光学レンズ16を通過した光は、光学ローパスフィルタ17とカラーフィルタ18を通過して撮像素子20に入射する。撮像素子20の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。
【0020】
撮像素子20は、シャッターゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。撮像素子20の動作(露光、読み出し等)はCPU22により制御される。
【0021】
撮像素子20から出力された画像信号はアナログ処理部24に送られ、アナログ処理部24においてアナログゲイン、CDS(相関二重サンプリング)などの処理が行われる。アナログ処理部24で生成された信号は、A/D変換部26においてデジタル信号に変換される。
【0022】
A/D変換された画像データは、撮像装置10の動作モードに従い必要な信号処理を経て、又は信号処理を省略してメモリカード14に記録される。本例の撮像装置10は、JPEG形式による画像記録が可能であるとともに、A/D変換した直後の画像(以下、CCDRAW画像という。) を記録することができる。
【0023】
JPEG形式で記録する場合、A/D変換された画像データは信号処理部28に送られる。信号処理部28は、同時化(カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理)、ホワイトバランス(WB)調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍(拡大/縮小)処理、画素数の変換(リサイズ)処理などの各種処理を実施する画像処理手段であり、CPU22からのコマンドに従って画像信号を処理する。信号処理部28は、処理途中の画像を一時記憶できる画像メモリ30を備えており、画像メモリ30を利用しながら画像信号の処理を行う。
【0024】
信号処理部28において所定の信号処理を経た画像データは、圧縮伸張部32に送られ、JPEG形式の圧縮フォーマットに従って圧縮される。なお、圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【0025】
圧縮された画像データは、カードインターフェース部34を介してメモリカード14に記録される。画像データを保存する手段は、メモリカード14で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置10に内蔵された記録媒体(内部メモリ)であってもよい。
【0026】
その一方、CCDRAW画像を記録するモードの場合、A/D変換部26によってデジタル化された画像データは同時化その他の信号処理を経ずにCPU22を介してメモリカード14に記録される。すなわち、CCDRAW画像は、ガンマ変換、ホワイトバランス調整、同時化などの信号処理が行われていない画像であり、カラーフィルタ18の配列パターンに対応して画素ごとに異なる色情報を一つだけ保持しているモザイク状の画像である。もちろん、圧縮処理も行われていないので、大きなファイルサイズを有する。なお、CCDRAW画像をメモリカード14に記録する際においては、可逆的な圧縮を行って記録してもよいし、非圧縮のデータを記録してもよい。
【0027】
CPU22は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、操作パネル36からの指示信号に基づいて撮像装置10内の各回路の動作を制御する。ROM38にはCPU22が実行するプログラム及び制御に必要な各種データ等が格納され、RAM40はCPU22の作業用領域として利用される。
【0028】
操作パネル36は、撮像装置10に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置10の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作(カーソル移動操作)や再生画像のコマ送り/コマ戻し等の指示を入力する十字キー、選択項目の確定(登録)や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作手段を含む。
【0029】
CPU22は操作パネル36から入力される指示信号に応じて種々の撮影条件(露出条件、ストロボ発光有無、撮影モードなど)に従い、撮像素子20などの撮像部12を制御するとともに、自動露出(AE)制御、自動焦点調節(AF)制御、オートホワイトバランス(AWB)制御、レンズ駆動制御、画像処理制御、メモリカード14の読み書き制御などを行う。
【0030】
例えば、CPU22は、レリーズスイッチの半押し(S1 =ON)を検知すると及び自動焦点調節(AF)制御を行い、レリーズスイッチの全押し(S2 =ON)を検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、CPU22は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管(発光部)の発光を制御する。
【0031】
信号処理部28は、AE及びAF制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押し(S1 =ON)に応動して取り込まれた画像信号に基づいて焦点評価値演算やAE演算などを行い、その演算結果をCPU22に伝える。レリーズスイッチの全押し(S2 =ON)が検知されると、CPU22は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ16を合焦位置に移動させるとともに、絞りや電子シャッターを制御して、露出制御を行う。こうして、取り込まれた画像データは、記録モードに従ってメモリカード14に記録される。
【0032】
次に、上記の如く構成された撮像装置10によって記録されたCCDRAW画像を取り扱う画像処理装置及びその画像処理方法について説明する。
【0033】
撮像装置10によって記録されたCCDRAW画像は、パソコン或いは専用の画像処理装置などによって再現(現像)処理される。図3は本発明の実施形態に係る画像処理プログラムが組み込まれるパソコン50のハードウェア構成例を示すブロック図である。
【0034】
同図に示すようにパソコン50は、制御部及び演算装置として機能するCPU52と、データの一時記憶やCPU52によるプログラム実行時の作業用領域として利用されるRAM54と、CPU52の動作に必要なプログラムや各種設定値、ネットワーク接続情報などを保管する書き換え可能な不揮発性メモリ(ROM)56と、パソコン50のオペレーティングシステム(OS)や本発明の実施形態に係る画像処理プログラム、各種のアプリケーションソフト、ユーザが記録した画像ファイル等が格納されるハードディスク装置58と、日時を刻むカレンダ時計60と、メモリカードや光磁気ディスクで代表される外部記録装置62の読み書き制御を行うメディア制御部64と、キーボードやマウスなどの入力装置66と、入力装置66からの信号入力を制御する入力制御部68と、画像や文字等を表示するディスプレイ70と、ディスプレイ70に対して表示用の信号を出力する表示制御部72と、USBや無線LANなど所定の通信方式に従って外部機器や通信ネットワークに接続するための通信装置74と、上記各構成要素を接続するバス76とから構成される。
【0035】
なお、上記構成からなるパソコン50は、本発明を適用した画像処理プログラムを除いて周知のものであるため、各構成要素の詳細な説明については省略する。
【0036】
次に、パソコン50を画像処理装置として機能させる画像処理プログラムについて説明する。この画像処理プログラムは、ハードディスク装置58や外部記録装置62に保存されている画像ファイル、或いは通信装置74を介して接続される外部機器(例えば、撮像装置10)内に保存されている画像ファイルを閲覧・加工(編集)できるようにパソコン50を動作させるものである。
【0037】
図4は、CCDRAW画像から縮小画像を生成する画像処理の手順を示す処理ブロック図である。同図によれば、単板式の原画像(1面)であるCCDRAW画像を色分離し(#1)、R,G,Bの各色信号の画像(3面)に分ける。色分けされたR信号、G信号、B信号に対してそれぞれ各色ごとに設定されたローパスフィルタ(以下、Pre-LPF という。)をかける(#2)。詳しくは後述するが、色分離された各色信号について、それぞれの二次元的再現帯域に相似な帯域特性を有するPre-LPF をかける。
【0038】
Pre-LPF をかけて得られたR信号、G信号、B信号を用いて、CCDRAWタイプの画素配列に再配列し(#3)、単板式の画像を再生成する。
【0039】
続いて、再生成されたCCDRAWタイプの画像の画素を一定の割合で間引く処理を行い(#4)、画像を縮小する。間引き処理で生成されたCCDRAWタイプの縮小画像(以下、縮小RAW 画像という。)を現像処理部に入力して信号処理を行い(#5)、ここでガンマ変換、ホワイトバランス調整、同時化などの処理を経て最終的な画像(例えば、表示用縮小画像であるRGBデータ)に変換する。
【0040】
なお、CCDRAW画像を縮小せずに再生する場合には、上記の処理工程(#1)〜(#4)を省略し、CCDRAW画像を直接(#5)の信号処理工程に入力して再現画像を得る。
【0041】
図4に示した画像処理プロセスに従ってハニカム配列の画像を処理する例を図5に示す。図5にはハニカム配列のCCDRAW画像から縮小画像を生成する処理プロセスが示されている。この処理プロセスは、例えば、CCDRAW処理結果のプレビュー表示のために用いられる。
【0042】
図5(a)に示すように、原画像であるCCDRAW画像はハニカム配列の画素配置を反映したモザイク状の画像である。この原画像の画像情報を色分離し、図5(b)のようにR,G,Bの3面に分ける。なお、このとき、欠落する画素点(ブランクとなる位置)を一定の割合で詰めながら画素を配列し直す。ブランクとなる画素点を詰めることによって、位相は変わるが、画素の周期的な並び方は維持されている。
【0043】
こうして色分離されたR信号、G信号、B信号について、それぞれの二次元的再現帯域の特徴を保持するように設計されたPre-LPF をかける。ハニカム配列の場合、R信号及びB信号に施すPre-LPF は斜め方向の帯域を落とし、GにかけるPre-LPF は斜め方向の帯域を保持するようなものとする。こうして、図5(c)に示す3面の画像を得る。
【0044】
Pre-LPF 処理後の3面の画像を元の1面の画像(CCDRAW画像と同じモザイク状の画像)に戻す処理(CCDRAWファイル化工程)を行い、図5(d)に示すようなモザイク状の画像を再生成する。
【0045】
再配置されたモザイク状の画像から間引き処理を行い、図5(e)に示す縮小RAW 画像を生成する。同図では1/3に縮小する例が示されている。図5(d)において「網かけ」で示したR及びGの画素が図5(e)において「網かけ」したR及びGの画素にそれぞれ対応している。
【0046】
こうして得られた縮小RAW 画像を基に、ガンマ変換、ホワイトバランス調整、同時化などの処理を行い、図5(f)に示す縮小版最終画像(例えば、表示用縮小画像であるRGBデータ)を生成する。これにより、縮小画像の高速表示が可能となる。
【0047】
次に、Pre-LPF 処理の詳細について説明する。
【0048】
上述のように、CCDRAW画像を縮小し、その縮小RAW 画像に対して所定の処理を行うことを考えるとき、縮小率に従ってPre-LPF を設計することが重要となる。このPre-LPF の帯域特性は、縮小率×fs /2(ただし、fs はサンプリング周波数)とすればよいが、これを色によらず画一的に施すと、元々サンプリング周波数の高い色信号(ハニカム配列やベイヤー配列におけるG信号)にとっては解像感の点で劣化が生じ、元々サンプリング周波数の低い色信号(ハニカム配列やベイヤー配列におけるR、B信号)にとっては偽信号の点で劣化が生じてしまう。
【0049】
そこで、本発明の実施形態では、CCDRAW画像について色ごとに設定したPre-LPF を施す構成とし、各色信号に施すべきPre-LPF の帯域特性は、縮小率×fs /2とするとともに、その二次元的特性を元の各色の再現帯域に相似させる。
【0050】
図6は、ハニカム配列及びベイヤー配列のそれぞれの場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標(規格化していない絶対的な空間周波数の座標系)上に表した図である。図6(a)に示すようにハニカム配列の場合、R,B信号の再現帯域は水平及び垂直方向に比べて斜め45度方向の再現帯域が低い菱形の形状となる。つまり、縦線、横線の入力に対しては、再現性(解像度)が高いが、斜め45度方向の線(以下、斜め線という。)の入力に対しては、再現性が低くなる(1/21/2 倍になる)。
【0051】
一方、ハニカム配列におけるG信号の場合には、水平及び垂直方向については、R,B信号と同等の再現帯域を有し、斜め45度方向についてはR,B信号よりも2倍の再現帯域を有している。すなわち、G信号の二次元的再現帯域は図6(a)に示したように矩形(正方形)の形状となる。
【0052】
このような、再現帯域の違いは、カラーフィルタ18の配列周期(画素の配列構造)に起因する(図2参照)。ハニカム配列の場合、水平及び垂直方向について、R,Bの空間サンプリング周波数とGの空間サンプリング周波数は同等であるが、斜め45度方向についてR,Bの空間サンプリング周波数はGのそれの半分である。CCDRAW画像はカラーフィルタの配列構造を反映し、色ごとに異なる帯域の特徴を有している。
【0053】
図6(b)はベイヤー配列における各色の二次元的再現帯域を示す。ベイヤー配列については、R,B信号の二次元的再現帯域は矩形となり、G信号の二次元再現帯域は菱形になる。
【0054】
なお、図6(a),(b)から明らかなように、ハニカム配列、或いはベイヤー配列におけるR,B信号と、G信号の再現帯域は、互いに45度回転させた関係になっている。大きさの違いは、G信号のサンプリング点の多さによるものである。
【0055】
本発明の実施形態では、図6に示したCCDRAW画像における色ごとの再現特性を考慮し、図4及び図5で説明した画像処理プロセスにおいて、各色信号に施すべきPre-LPF の帯域特性を、元の各色の再現帯域に相似させている。
【0056】
すなわち、具体的には、図5の画像処理プロセスにおいて、R,B信号に対しては図7に示すPre-LPF を施し、G信号に対しては図8に示すPre-LPF を施す。図7に示したPre-LPF は、j 番目のフィルタ係数をaj 、入力R信号をRj (処理前) とすると、Pre-LPF 処理後の画素位置iにおけるR信号の値Ri (処理後)は次式で表される。
【0057】
【数1】
Ri (処理後)=Σaj Rj (処理前)/16384 …(1)
B信号についても同様の計算を行う。また、G信号については、図8に示したフィルタ係数を用いて同様の計算を行う。
【0058】
図7に示したR,B信号用のPre-LPF は、縦横方向よりも斜め方向の再現帯域を落とし、図8に示したG信号用のPre-LPF は、縦横方向よりも斜め方向の再現帯域を高めるような係数配置になっている。
【0059】
図6で説明したように、R,B信号と、G信号の再現帯域は、互いに45度回転させた関係になっているので、これらに施すPre-LPF は、そのフィルタ係数を互いに45度回転させたものとしてもよい。
【0060】
実際、図7に示したPre-LPF は、図8に示したPre-LPF の係数配置を45度回転させたものとなっている。このように、R,B信号に施すPre-LPF のフィルタ係数を45度回転させたものをG信号に施すことで、ハニカム配列原色フィルタの再現帯域に相似させることができる。
【0061】
また、ベイヤー配列原色フィルタを用いた撮像装置によって取得されたCCDRAW画像から縮小画像を生成する場合には、図7のPre-LPF をG信号に施し、図8のPre-LPF をR,B信号に施すとよい。すなわち、ベイヤー配列の場合はG信号にかけるPre-LPF は斜めの帯域を落とし、R,B信号にかけるPre-LPF は斜めの帯域を保持する。
【0062】
このようなPre-LPF を用いることにより、各色のサンプリング周波数を犠牲にすることなく、また画像再現後の偽色発生も最小限に抑制することが可能になる。
【0063】
図7及び図8では11×11画素のマトリックス状フィルタを例示したが、フィルタの形態はこれに限定されず、色配列を考慮して適宜設計可能である。入力されるCCDRAW画像の画素配列が固定である場合(CCDRAWデータの規格が決まっている場合)には、フィルタの構成を固定して設計することができる。複数種類の画素配列パターンのCCDRAW画像を取り扱うことを想定する場合(多様な形式のCCDRAWデータ処理に対応する汎用ソフトとして構成する場合)には、色配列の情報に応じてフィルタの構成(フィルタ係数)を可変設定することが好ましい。
【0064】
汎用タイプのソフトにするためには、画素配列の情報を認識してフィルタの形態を可変設定する。例えば、CCDRAW画像のファイルに撮像素子のカラーフィルタ情報を付加しておき、画像処理時にそのカラーフィルタ情報を読み込んで、その色配列の再現特性の特徴を維持するようなPre-LPF を自動的に設定する。
【0065】
上述した本発明の実施形態によれば、大サイズのCCDRAW画像から同じ再現帯域の特徴を有する縮小CCDRAW画像を生成することができ、その縮小CCDRAW画像に画像再現処理(ガンマ変換、ホワイトバランス調整、同時化などの処理)を施して、最終的な縮小画像を得るようにしたので、最終画像における偽色の発生を防止できるとともに、各色信号の最大解像感を保持することができる。
【0066】
本発明の実施形態は、画像加工アプリケーション上で画像を編集する際に、その処理結果を高速表示させる場合において極めて有効である。本発明によれば、色調の変更や明るさの変更といった画像編集の結果を高速表示することが可能である。すなわち、原画像の再現特性の特徴を保持した縮小RAW 画像を生成し、この縮小RAW 画像に対して、色調の変更等の編集指示に基づく信号処理を施すため、処理結果を短時間で表示できる。
【0067】
図9にアプリケーション画面の例を示す。同図によれば、編集パラメータを指定する入力ウィンドウ80の横に処理結果の縮小画像(縮小版最終画像)を表示するプレビュー表示部82が形成される。ユーザが編集パラメータを変更すると、その入力に応じて縮小画像の信号処理が行われ、その処理結果がプレビュー表示部82に表示される。ユーザはプレビュー表示部82の縮小画像を確認しながら編集パラメータを適宜調節し、パラメータを決定する。パラメータ決定後に、大サイズの原画像に対して再現処理を実施し、最終画像を得る。パラメータの調節段階(画像編集段階)で大サイズの原画像を取り扱う場合と比較して、処理時間を大幅に短縮できる。
【0068】
本発明を実施する手段はパソコンに限らず、専用の画像処理装置(画像再生装置や画像加工装置)であってもよい。また、画像処理はソフトウエアで実現する態様に限らず、その処理の一部又は全部を専用のハードウェア(信号処理回路)で実現してもよい。
【0069】
また、上述した画像表示機能を実現させるためのコンピュータプログラムをCD−ROMや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供することも可能である。
【0070】
更に、上記した実施の形態では、CCDRAW画像に対して上記のPre-LPF を施す前に色分離工程を設けたが(図4の♯1)、本発明の実施に際して色分離工程は必ずしも必須ではない。例えば、CCDRAW画像のフォーマットを考慮した形にPre-LPF を変形しておけば、色分離工程(図4の#1)及び再配置工程(図4の#3)を省略できる。
【0071】
【発明の効果】
以上説明したように本発明によれば、同時化等の信号処理を経ていない未加工の原画像から縮小原画像を得る際に、原信号の二次元的再現帯域と相似な二次元的帯域特性を有するローパスフィルタを施すようにしたので、現信号の再現帯域の特徴を保持することができ、縮小原画像から生成される最終画像における偽色の発生を防止できるとともに、各色信号の最大解像感を保持できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像処理方法が適用される原画像を記録する撮像装置の構成例を示すブロック図
【図2】原色タイプのカラーフィルタ配列の例を示す模式図
【図3】本発明の実施形態に係る画像処理プログラムが組み込まれるパソコンのハードウェア構成例を示すブロック図
【図4】 CCDRAW画像から縮小画像を生成する画像処理の手順を示す処理ブロック図
【図5】図4に示した画像処理プロセスに従ってハニカム配列の画像を処理する例を示す説明図
【図6】ハニカム配列及びベイヤー配列のそれぞれの場合について、サンプリング定理に基づく各色の再現帯域を空間周波数座標上に表した図
【図7】図5に示した画像処理プロセスにおいて、R,B信号に対して施すPre-LPF の例を示す図
【図8】図5に示した画像処理プロセスにおいて、G信号に対して施すPre-LPF の例を示す図
【図9】本発明の実施形態に係る画像処理プログラムが適用されたアプリケーション画面の一例を示す図
【符号の説明】
10…撮像装置、12…撮像部、14…メモリカード、18…カラーフィルタ、20…撮像素子、22…CPU、50…パソコン、52…CPU、54…RAM、58…ハードディスク装置
Claims (5)
- 色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理方法であって、
前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の空間周波数座標系における水平方向、垂直方向及び斜め方向を含む二次元的再現帯域に相似な二次元的帯域特性を有するローパスフィルタを施すフィルタ処理工程と、
前記フィルタ処理工程を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理工程と、
前記縮小化処理工程で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理工程と、を含むことを特徴とする画像処理方法。 - 色配列の周期性が異なる複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成する画像処理機能をコンピュータに実現させるためのプログラムであって、
前記原画像の各色信号について前記色配列とサンプリング定理から規定される各色の空間周波数座標系における水平方向、垂直方向及び斜め方向を含む二次元的再現帯域に相似な二次元帯域特性を有するローパスフィルタを施すフィルタ処理機能と、
前記フィルタ処理機能を経て生成された画像から画素を間引いて縮小原画像を生成する縮小化処理機能と、前記縮小化処理機能で生成された縮小原画像に対して画像再現の信号処理を行うことにより前記原画像の縮小画像を得る再現処理機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。 - 前記原画像は、R(赤),G(緑),B(青)の原色カラーフィルタを搭載した単板カラー撮像装置を用いて取得された画像であり、ガンマ変換、ホワイトバランス調整及び同時化などの信号処理が行われていないデジタル画像であることを特徴とする請求項2記載の画像処理プログラム。
- 同時化の信号処理を行う前の前記原画像の各色信号に対して前記フィルタ処理工程を実施し、前記フィルタ処理工程後の前記再現処理工程において同時化の処理を行うことを特徴とする請求項1記載の画像処理方法。
- 前記フィルタ処理機能は、同時化の信号処理を行う前の前記原画像の各色信号に対して処理を行うものであり、
前記再現処理機能による前記画像再現の信号処理において同時化の処理が行われることを特徴とする請求項2又は3記載の画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002154906A JP4096626B2 (ja) | 2002-05-29 | 2002-05-29 | 画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002154906A JP4096626B2 (ja) | 2002-05-29 | 2002-05-29 | 画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003346143A JP2003346143A (ja) | 2003-12-05 |
JP4096626B2 true JP4096626B2 (ja) | 2008-06-04 |
Family
ID=29771544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002154906A Expired - Fee Related JP4096626B2 (ja) | 2002-05-29 | 2002-05-29 | 画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4096626B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006340120A (ja) | 2005-06-03 | 2006-12-14 | Sony Corp | 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム |
JP4962295B2 (ja) * | 2005-09-30 | 2012-06-27 | セイコーエプソン株式会社 | 画像処理装置及び画像処理プログラム |
JP4600424B2 (ja) | 2007-05-08 | 2010-12-15 | セイコーエプソン株式会社 | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム |
EP2157802A4 (en) | 2007-06-07 | 2015-04-01 | Sony Corp | SIGNAL PROCESSING METHOD AND SIGNAL PROCESSING DEVICE |
JP5109551B2 (ja) * | 2007-09-21 | 2012-12-26 | コニカミノルタアドバンストレイヤー株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
JP2009141430A (ja) * | 2007-12-03 | 2009-06-25 | Murata Mach Ltd | 画像処理装置 |
JP2009159359A (ja) * | 2007-12-27 | 2009-07-16 | Samsung Techwin Co Ltd | 動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラム |
JP4960309B2 (ja) | 2008-06-17 | 2012-06-27 | 株式会社東芝 | 固体撮像装置 |
JP5280448B2 (ja) * | 2008-08-04 | 2013-09-04 | パナソニック株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路 |
WO2012164896A1 (ja) * | 2011-05-31 | 2012-12-06 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
JP5853166B2 (ja) | 2011-06-08 | 2016-02-09 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
JP5912586B2 (ja) * | 2012-01-30 | 2016-04-27 | 株式会社シグマ | 画像信号処理方法及び画像信号処理回路、並びに撮像装置 |
JP6014349B2 (ja) * | 2012-04-10 | 2016-10-25 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
WO2015098305A1 (ja) * | 2013-12-27 | 2015-07-02 | リコーイメージング株式会社 | 撮影装置、撮影方法及びプログラム |
US9681109B2 (en) * | 2015-08-20 | 2017-06-13 | Qualcomm Incorporated | Systems and methods for configurable demodulation |
JP6702792B2 (ja) | 2016-05-02 | 2020-06-03 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
-
2002
- 2002-05-29 JP JP2002154906A patent/JP4096626B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003346143A (ja) | 2003-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5280448B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路 | |
JP4096626B2 (ja) | 画像処理方法及び画像処理プログラム | |
JP4840967B2 (ja) | 撮像装置及び画像処理方法及びプログラム及び記憶媒体 | |
JP4279384B2 (ja) | カラーフィルタ画像信号生成方法 | |
JP5845464B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP5240194B2 (ja) | 信号処理方法および信号処理装置 | |
JP5853166B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP2004128809A (ja) | 画像処理方法及び装置、及び撮像装置 | |
JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JPH114402A (ja) | テンプレート画像と撮影画像の合成方法,テンプレート画像の記録方法,ディジタルカメラおよびテンプレート画像記録装置 | |
JP4941219B2 (ja) | ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置 | |
JPH11168745A (ja) | デジタルカメラ | |
JP4985180B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 | |
JP4581633B2 (ja) | 色信号補正方法、装置及びプログラム | |
US7469059B1 (en) | Reorganization of raw image data for processing | |
JP2011029809A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
JP2000244937A (ja) | カメラの高画質イメージ生成方法及びその装置 | |
JP2010124114A (ja) | デジタルカメラおよび画像データ処理プログラム | |
JP2000232618A (ja) | フォトフィニッシング方法およびシステム並びに記録媒体 | |
JP2002330322A (ja) | 電子カメラ | |
JP2002330387A (ja) | 電子カメラ | |
JP2004297687A (ja) | 画像データの構造、ディジタルカメラ、及び画像データ作成プログラム | |
JP2012227869A (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP2004153753A (ja) | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 | |
JP2004241942A (ja) | サムネイル画像作成装置及びサムネイル画像作成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4096626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |