JP4940639B2

JP4940639B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP4940639B2
Application number: JP2005339855A
Authority: JP
Inventors: 聰西尾
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2005-09-30
Filing date: 2005-11-25
Publication date: 2012-05-30
Anticipated expiration: 2025-11-25
Also published as: EP1821508A2; US20070085916A1; US7924462B2; CN1941842A; CN101895660B; CN1941842B; CN101895660A; JP2007124599A; EP1821508A3

Description

本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、特にＲＡＷデータの印刷に関する。

従来、ディジタルカメラなどの画像入力装置のデータ記録フォーマットとしてカラーイメージセンサからの出力値をＡＤ変換し記録したＲＡＷデータフォーマットが知られている。カラーイメージセンサは、通常各画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが搭載されているので、一画素毎に１つの色成分しか持たないＲＡＷデータは対象物を表す画像としては不完全な情報である。したがって、少なくとも各画素の不足している色成分を近傍画素の色成分で補間するデモザイク処理（カラーフィルタ配列補間処理ともいい、各画素毎に不足する色情報を予測して生成し、各画素のカラーデータを再現して画像として完成させる処理）をＲＡＷデータに施すまでは、対象物を表す画像を印刷することができない。
ＰＣとプリンタとを組み合わせた従来のシステムでは、ＲＡＷデータは、オプティカルブラック補償処理、デモザイク処理、ホワイトバランス補正、ＥＶ補正、階調再現等が所謂現像アプリケーションによって施された後にプリンタドライバに出力され、プリンタドライバによって印刷データに変換される。現像アプリケーションで実行されるＥＶ補正及びホワイトバランス補正は、イメージセンサからの未加工の出力値であるＲＡＷデータに所定の係数を乗算する、線形変換である。一方、人間が知覚する明るさはイメージセンサの測光量である輝度に対応しておらず、一般的に画像が出力される際に非線形変換である階調再現が施される。プリンタドライバには、対応プリンタで最も好ましい出力が得られるように自動カラーバランス補正や自動輝度補正を印刷対象画像に施す機能、例えばセイコーエプソン株式会社のオートフォトファイン（登録商標）など、を備えた物が多い。しかし、非線形である階調再現処理が実行された後に、カラーバランスや輝度を補正し高精度な補正結果を得るためには、複雑な演算処理を行わなければならないという問題があった。また、デモザイク処理後の画像を処理対象とするため、ＲＡＷデータを処理対象とする場合よりもデータ量が多く、さらには現像アプリケーションとプリンタドライバとでホワイトバランス、ＥＶに関する補正処理を施すことになるため、結果として処理時間を増大させるという問題があった。

特開２００５−３３４６８号公報

本発明は、ＲＡＷデータから高速に高品質な画像を印刷できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

（１）上記目的を達成するための画像処理装置は、ＲＡＷデータを入力する入力手段と、印刷対象画像を印刷ユニットに印刷させるための印刷データを前記印刷対象画像から生成する印刷データ生成手段と、カラーバランス操作値又は輝度操作値を前記ＲＡＷデータに基づいて設定し、前記カラーバランス操作値に対応するカラーバランス補正又は前記輝度操作値に対応する輝度補正を前記ＲＡＷデータに施す補正手段と、前記カラーバランス補正又は前記輝度補正が施された前記ＲＡＷデータから、デモザイク処理及び階調再現処理を用いて前記印刷対象画像としての画像を生成する画像生成手段と、を備える。
デモザイク処理前にカラーバランス補正又は輝度補正を施す構成では、デモザイク処理後にカラーバランス補正又は輝度補正を施す場合と比較して、補正対象のデータ量が１／３であるため、高速にカラーバランス補正及び輝度補正を施すことが可能になる。非線形変換が実行される階調再現処理より前にカラーバランス補正及び輝度補正を施すことにより、印刷対象のＲＡＷデータのカラーバランス特性と明度特性とを単純な処理で補正することができ、高品質な画像を印刷することが可能になる。

（２）前記画像生成手段は、前記デモザイク処理及び前記階調再現処理により中間画像を生成し、減色処理を用いて前記中間画像から前記印刷対象画像としての画像を生成してもよい。
ＲＡＷデータを減色後にカラーバランス補正又は輝度補正を施す場合と比較して、ＲＡＷデータを減色する前にカラーバランス補正又は輝度補正をする方が、例えば露出やカラーバランスが大幅に外れている（所謂失敗写真）場合であっても、飽和によって階調が失われることなく補正することができるため、結果的に好ましい輝度及びカラーバランスに補正された高品質な印刷結果を得ることができる。

（３）前記入力手段は、前記ＲＡＷデータ及び前記印刷対象画像を入力し、前記画像生成手段は、前記カラーバランス補正又は前記輝度補正が実施済みであることを前記印刷データ生成手段に伝達し、前記印刷データ生成手段は、前記カラーバランス補正又は前記輝度補正が実施済みでない場合、第二のカラーバランス操作値又は第二の輝度操作値を前記印刷対象画像に基づいて設定し、前記第二のカラーバランス操作値に対応するカラーバランス補正又は前記第二の輝度操作値に対応する輝度補正を前記印刷対象画像に施してもよい。
画像生成手段が、カラーバランス補正又は輝度補正が実施済みであることを印刷データ生成手段に伝達することにより、印刷データ生成手段によって二重にカラーバランス補正又は輝度補正が施されることによる画質劣化や処理時間の増大を防ぐことができる。印刷データ生成手段は、カラーバランス補正又は輝度補正が実施済みでない場合、印刷対象画像に基づいて第二のカラーバランス操作値又は第二の輝度操作値を設定し、印刷対象画像にカラーバランス補正又は輝度補正を施す構成では、印刷データ生成手段はカラーバランス補正又は輝度補正が実施済みであれば、印刷対象画像にカラーバランス補正又は輝度補正を施さないので、入力手段によってＲＡＷデータ及び印刷対象画像が入力される画像処理装置における印刷データ生成手段を共用化することができる。その結果、画像処理装置の開発期間を短縮し、製造開発コストを抑えることができる。

（４）前記印刷対象画像はＪＰＥＧ形式で圧縮された画像であってもよい。
ＪＰＥＧ形式はディジタルカメラの標準的なファイル形式であるため、汎用性が高い。

（５）前記画像生成手段は、前記カラーバランス補正又は前記輝度補正が実施済みであることを前記印刷対象画像の属性情報として記録することによって前記印刷データ生成手段に伝達してもよい。

（６）上記目的を達成するための画像処理方法は、ＲＡＷデータを入力し、印刷対象画像を印刷ユニットに印刷させるための印刷データを前記印刷対象画像から生成し、カラーバランス操作値又は輝度操作値を前記ＲＡＷデータに基づいて設定し、前記カラーバランス操作値に対応するカラーバランス補正又は前記輝度操作値に対応する輝度補正を前記ＲＡＷデータに施し、前記カラーバランス補正又は前記輝度補正が施された前記ＲＡＷデータから、デモザイク処理及び階調再現処理を用いて前記印刷対象画像としての画像を生成する、ことを含む。
デモザイク処理前にカラーバランス補正又は輝度補正を施す構成では、デモザイク処理後にカラーバランス補正又は輝度補正を施す場合と比較して、補正対象のデータ量が１／３であるため、高速にカラーバランス補正及び輝度補正を施すことが可能になる。非線形変換が実行される階調再現処理より前にカラーバランス補正及び輝度補正を施すことにより、印刷対象のＲＡＷデータのカラーバランス特性と明度特性とを単純な処理で補正することができ、高品質な画像を印刷することが可能になる。

（７）上記目的を達成するための画像処理プログラムは、ＲＡＷデータを入力する入力手段と、印刷対象画像を印刷ユニットに印刷させるための印刷データを前記印刷対象画像から生成する印刷データ生成手段と、カラーバランス操作値又は輝度操作値を前記ＲＡＷデータに基づいて設定し、前記カラーバランス操作値に対応するカラーバランス補正又は前記輝度操作値に対応する輝度補正を前記ＲＡＷデータに施す補正手段と、前記カラーバランス補正又は前記輝度補正が施された前記ＲＡＷデータから、デモザイク処理及び階調再現処理を用いて前記印刷対象画像としての画像を生成する画像生成手段と、してコンピュータを機能させる。
デモザイク処理前にカラーバランス補正又は輝度補正を施す構成では、デモザイク処理後にカラーバランス補正又は輝度補正を施す場合と比較して、補正対象のデータ量が１／３であるため、高速にカラーバランス補正及び輝度補正を施すことが可能になる。非線形変換が実行される階調再現処理より前にカラーバランス補正及び輝度補正を施すことにより、印刷対象のＲＡＷデータのカラーバランス特性と明度特性とを単純な処理で補正することができ、高品質な画像を印刷することが可能になる。

尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。

以下、本発明をスタンドアロン型プリンタに適用した実施の形態を次の順に説明する。
１．プリンタの構成
２．プリンタの作動
２−１．ＲＡＷデータ処理
２−２．画像印刷処理

１．プリンタの構成
図２は、本発明を適用したプリンタ１の概略構成を示すブロック図である。プリンタ１は、リムーバブルメモリ１０からＲＡＷデータや汎用フォーマットの画像を読み込み、これらのデータに基づいて印刷が可能な所謂スタンドアロン型プリンタである。またプリンタ１は、ディジタルカメラ３０、ＰＣ（Personal Computer）３２、カメラ付携帯型電話端末３４等の外部システムからＲＡＷデータや汎用フォーマットの画像を直接入力し、その画像に基づいて印刷が可能である。

入力手段としての外部ＩＦ（Inter Face）２０は、ディジタルカメラ３０、ＰＣ３２、カメラ付携帯型電話端末３４等の外部システムと通信するためのＵＳＢコントローラ、ＵＳＢコネクタ等を備える。通信規格はＵＳＢに限らず、ＩＥＥＥ１３９４、赤外線等のいかなる規格でもよい。また、外部ＩＦ２０にＵＳＢホスト機能を備えることにより、外部システムがＵＳＢマスストレージ規格に対応している場合、外部システムに属する記憶媒体にプリンタ１がデータを入出力できるようになる。また、プリンタ１が接続されているＬＡＮ内に共有されているハードディスク等の記憶媒体がある場合にも、外部システムの制御下にある記憶媒体にプリンタ１はデータを入出力できる。すなわち、外部システムの制御下にある記憶媒体であっても、プリンタ１はＲＡＷデータから生成した画像をそれに一時保存することができるし、印刷するために読み出すこともできる。また、プリンタ１自身にハードディスク装置を備えてプリンタ１の記憶容量を増大させることもできる。

入力手段としてのリムーバブルメモリコントローラ（ＲＭＣ）１２は、リムーバブルメモリ１０に接続され、リムーバブルメモリ１０とＲＡＭ１４との間でデータ転送を制御する。リムーバブルメモリ１０は、カード型フラッシュメモリでもよいし、その他の繰り返し書き込み可能ないかなる不揮発性記憶媒体であってもよい。

印刷データ生成手段及び画像生成手段としての画像処理ユニット１６は、シャープネス補正処理・階調補正処理等の画像修整処理、分版処理、ハーフトーニング、インタレース処理等を高速に実行するためのＡＳＩＣである。尚、これらの処理をＣＰＵ２２によるプログラム処理によって実行してもよい。また画像処理ユニット１６にＪＰＥＧ圧縮・伸張機能を追加し、ＪＰＥＧ圧縮・伸張処理を高速化してもよい。

印刷ユニット１８は、印刷データに基づいてインクジェット方式で用紙に画像を形成するための記録ヘッド、記録ヘッドの往復移動機構、給排紙機構等を備える。尚、印刷方式は、インクジェット方式、レーザ方式、サーマル方式、ドットインパクト方式等のいかなる印刷方式でも採用し得る。
ＲＡＭ１４は、制御プログラムや制御プログラムの処理対象となるデータ、例えばＲＡＷデータや画像や印刷データが一時的に格納される揮発性メモリである。
印刷データ生成手段、補正手段及び画像生成手段としてのＣＰＵ２２は、フラッシュメモリ２４に格納されている制御プログラムを実行することにより、デモザイク処理を用いてＲＡＷデータから画像を生成する処理やＪＰＥＧ圧縮・伸張処理等の画像処理を実行したり、プリンタ１の各部を制御して印刷の実行を制御する。制御プログラムはコンピュータ読み取り可能な記憶媒体からフラッシュメモリ２４に転送してもよいし、遠隔地のサーバからネットワークを経由してフラッシュメモリ２４に転送してもよい。

操作ユニット２６は、ユーザのメニュー操作や印刷要求を受け付けるための操作ボタン、ジョグダイヤル、その他各種のボタンを供えている。特定のモードで特定のボタンが押されると、そのモードに応じた各種の要求がプリンタ１に入力される。
表示ユニット２８は、ＬＣＤ等のＦＰＤ（Flat Panel Display）、グラフィックコントローラ等を備える。フレームメモリ領域は表示ユニット２８の専用メモリに確保してもよいし、ＲＡＭ１４の一部領域に割り当ててもよい。

２．プリンタの作動
図１及び図４はプリンタ１の作動を示すフローチャートである。図１及び図４に示す処理は、プリンタによる画像の自動修整機能がオンの状態で、印刷対象としてＲＡＷデータファイルがユーザによって選択され印刷開始が指示されると図１、図４の順に起動される。プリンタ１はリムーバブルメモリ１０からＲＡＷデータを読み込み、ＲＡＷデータから汎用フォーマットの印刷対象画像を生成し、生成した印刷対象画像をリムーバブルメモリ１０に格納し、自ら生成した汎用フォーマットの印刷対象画像をリムーバブルメモリ１０から読み込みながら印刷を実行する。

プリンタによる画像の自動修整機能とは、例えば撮影時に適正な露出設定がされなかったような失敗写真であっても、プリンタが画像を解析して、好ましい画像になるようにプリンタの特性に適合した操作値を設定し、その操作値に基づいて補正を施す機能である。自動修整機能には、輝度補正、カラーバランス補正、コントラスト補正、シャープネス補正、記憶色補正、彩度補正等が含まれる。この機能は、ユーザが表示ユニット２８に表示されているプリンタ設定メニューを操作ユニット２６の操作ボタン、ジョグダイヤル等を操作することにより、ＯＮまたはＯＦＦに設定することができる。

印刷対象ファイルを選択する段階では、印刷対象ファイルの選択をユーザに案内するために、ＲＡＷデータファイルに格納されているサムネイル画像やＶＧＡサイズの縮小画像等がＦＰＤに表示される。表示対象となる画像はファイルヘッダの解析によって特定可能である。ＲＡＷデータファイルに画像が格納されていない場合（本明細書ではＲＡＷデータは画像でないものとして説明している。）、プリンタ１は高速なアルゴリズムでＶＧＡサイズ程度の縮小画像を生成してもよい。具体的には例えば、垂直方向及び水平方向のそれぞれで解像度がＲＡＷデータの１／２の画像を生成することによってデモザイク処理を高速化したり、ホワイトバランス補正処理、輝度補正処理、偽色抑制処理等を省略することにより縮小画像の生成を高速化できる。

尚、プリンタ１がＲＡＷデータから画像を印刷する過程で扱う印刷対象画像のフォーマットは、本実施形態ではＪＰＥＧを例にして説明するが、それに限らず、ＪＰＥＧ２０００、ＢＭＰ、ＴＩＦＦ、ＪＦＩＦ形式のＪＰＥＧ等の他の汎用フォーマットでもよいし、汎用性を犠牲にして最適化したフォーマットであってもよい。

印刷要求が発生すると以下に詳述するＲＡＷデータ処理と画像印刷処理とが実行される。印刷要求は予め決められた所定のボタンが押されると発生する。印刷要求が発生すると、プリンタ１はリムーバブルメモリ１０が書き込み可能な状態であるか否かを判定し、書き込み不可である場合や、メモリの空き容量が少ない場合はユーザにその旨を伝えるようにしてもよい。

ＣＰＵ２２は印刷要求が発生すると、図示しないアクセスインジケータの点滅を開始させてもよい。アクセスインジケータの点滅は印刷終了まで継続する。プリンタ１は印刷実行中にリムーバブルメモリ１０からＲＡＷデータや印刷対象画像を読み込んだり、リムーバブルメモリ１０に印刷対象画像を書き込んだりするため、印刷実行中にリムーバブルメモリ１０がＲＭＣ１２から取り外されると、リムーバブルメモリ１０に印刷対象画像が残ったり、処理が暴走する可能性がある。印刷実行中にアクセスインジケータを点滅させることにより、このような問題を起こす誤操作を未然に防ぐことができる。
また、プリンタ１はプログレスバーをＦＰＤに表示するなどして印刷進行状況をユーザに案内する処理を開始してもよい。印刷進行状況の表示は印刷終了まで継続する。印刷進行状況が表示されない場合、ユーザはシステム異常が発生したと誤解するおそれがあるためである。通常、プリンタ１では製造コストの制約からＣＰＵ２２の処理速度が遅いため、ＲＡＷデータから画像が生成されるまで数分の時間が消費される。

２−１．ＲＡＷデータ処理
図１はＲＡＷデータ処理の流れを示すフローチャートである。
ステップＳ２００では、ＣＰＵ２２は印刷対象のＲＡＷデータファイルの属性情報を解析し、ディジタルカメラの製造者、ディジタルカメラの機種、撮影情報（撮影日、絞り、シャッタ速度等）、印刷制御情報、現像制御情報等を特定する。印刷制御情報とは、印刷サイズ指定、印刷枚数指定、好ましい印刷結果を得るための画像の修整制御情報等を含む。印刷サイズ指定及び印刷枚数指定をディジタルカメラからプリンタに伝達するために、ＤＰＯＦ（Digital Print Order Format）ファイルを使用してもよい。好ましい印刷結果を得るための画像の修整制御情報をディジタルカメラからプリンタに伝達するための規格としてはＰＩＭ（ＰＲＩＮＴ Image Matching）及びＥｘｉｆＶｅｒ２．２が周知である。現像制御情報には、ローパスフィルタによる鮮鋭度の低下を回復させるためのシャープネス操作値、オプティカルブラック情報、色成分毎のゲイン情報、輝度補正情報、エリアイメージセンサのカラーフィルタの配列情報、デバイスカラースペースからｓＲＧＢカラースペース等へのカラーマッチング情報、ガンマ補正情報等が含まれる。現像制御情報は、ディジタルカメラ毎に固有であって一般には公開されていないが、ファイルヘッダの解析によって特定可能である。また、現像制御情報の汎用規格としてＤＮＧが提唱されている。

ステップＳ２０２では、ＣＰＵ２２はプレゲイン情報、オプティカルブラック情報に基づいてプレゲイン処理及びオプティカルブラック補償処理を実行する。プレゲイン処理では、ファイルヘッダから取得されたプレゲイン情報に基づいてＲＡＷデータの全画素値が線形に増幅される。オプティカルブラック情報は、画像入力装置のイメージセンサに設けられた光が入射しない受光素子に蓄積された電荷量を表している。オプティカルブラック補償処理では、ファイルヘッダから取得されたオプティカルブラック情報が示す値を黒とみなし、ＲＡＷデータの全画素値からオプティカルブラック情報が示す値が引き算される。

ステップＳ２０４では、ＣＰＵ２２はカラーバランス操作値または輝度操作値を設定する。ある物体の分光放射エネルギー分布は、照明環境が異なれば当然異なるにも関わらず、人間は照明環境が異なっても同じ物体の色は同じ色として知覚する。この傾向は色の恒常性（color constancy）といわれている。これに対し、イメージセンサは物体の分光放射エネルギー分布に応じたバランスで各色成分（本実施形態ではＲＧＢとして説明する。）に対応する電荷を蓄積する。このため、例えば晴天の屋外で昼間に白と知覚される物体が白の画素で表現されるように、ＲＧＢ各成分のカラーバランスを補正するカラーバランス補正が必要になる。このカラーバランス補正がホワイトバランス補正である。ＣＰＵ２２は、ＲＡＷデータに基づいて、ＲＧＢ各成分に対するカラーバランス操作値と輝度操作値を設定する。具体的には、例えばＲＡＷデータの各画素が図３（Ａ）に示すような配列で並んでいる場合、ＲＡＷデータの４画素に相当する画素を図３（Ｂ）に示すようなＲＧＢ３成分を含む２画素に変換した解析対象画像を生成する。例えばＰ₀は（Ｒ₀，Ｇ₀₁，Ｂ₀）の３成分を有する画素で、Ｐ₂は（Ｒ₀，Ｇ₀₂，Ｂ₀）の３成分を有する画素である。画素数がＲＡＷデータの１／２であるこの解析対象画像を用いてカラーバランス操作値及び輝度操作値を設定する。カラーバランス補正には種々のアルゴリズムが知られているが、例えば、解析対象画像の各画素のＲＧＢ色空間内での分布状況を解析し、無彩色と推定される画素群が無彩色となるようにＲＧＢ各成分に関する操作値を設定する。輝度補正については、各画素の輝度成分のヒストグラムに応じて、各画素の輝度成分に掛け合わせる値を輝度操作値として設定する。ＲＧＢの各成分に掛け合わせる値を輝度操作値としてもよい。尚、カラーバランス操作値は、ＲＡＷデータの現像制御情報として格納されているＲＧＢ毎のゲイン情報をさらに加味して設定されてもよい。輝度操作値に関しても、ＲＡＷデータの現像制御情報として格納されている輝度補正情報をさらに加味して設定されてもよい。ＲＡＷデータを解析した結果、輝度補正を施す必要がないと判定される場合は、例えば輝度操作値を０と設定して輝度補正を施さなくてもよい。
また、カラーバランス操作値及び輝度操作値はプリンタ１の特性を加味して設定されてもよい。プリンタ１の特性とは、例えば印刷ユニット１８で使用するインクの種類や印刷方式、画像処理ユニット１６の各種画像処理方法等に依存するものである。また、例えばＲＡＷデータの好ましい印刷結果を得るための修整制御情報として格納されているカラーバランス補正情報、輝度補正情報があれば、それを参照してもよい。

ステップＳ２０６では、ＣＰＵ２２はカラーバランス補正又は輝度補正を施す。具体的には、ステップＳ２０４で設定されたカラーバランス操作値又は輝度操作値に基づいてカラーバランス補正と輝度補正がＲＡＷデータに施される。カラーバランス補正では、ＲＧＢの各成分毎に設定された操作値（ゲイン情報）を用いて各ＲＧＢ成分を基本的には定数倍する演算が行われる。輝度補正では、輝度成分に対して定数を掛け合わせて輝度を補正してもよいが、色成分のそれぞれに定数を掛け合わせて輝度を補正してもよい。階調飽和を抑制するため、カラーバランス補正及び輝度補正は、ハイライトバンドで階調を圧縮する非線形処理であってもよい。またカラーバランス補正及び輝度補正は、入出力の対応関係を定める行列又はＬＵＴを用いて一度に実行しても良い。この場合、カラーバランス補正又は輝度補正に用いられる数式、行列又はＬＵＴが、輝度操作値及びカラーバランス操作値によって一義的に決まるように、予め複数の数式、行列又はＬＵＴをフラッシュメモリ２４に格納しておく必要がある。
ここでは、前述したプリンタによる画像の自動修整機能のうち、カラーバランス補正又は輝度補正がＲＡＷデータに対して施される。カラーバランス補正または輝度補正がデモザイク処理前に施されることにより、それらをデモザイク処理後に行う場合と比較して、後述するように解析対象のデータ量は１／２、補正対象のデータ量が１／３であるため、高速にカラーバランス補正及び輝度補正を施すことができる。

ステップＳ２０８からステップＳ２２０の処理は、ブロック単位で実行される。すなわち、ＲＡＷデータがリムーバブルメモリ１０からＣＰＵ２２に読み込まれて処理結果がＲＡＭ１４に格納され、ステップＳ２００からステップＳ２０６の処理が行われた後、以後の各ステップではＲＡＭ１４から処理対象ブロックのデータがＣＰＵ２２に読み込まれ、処理結果がＲＡＭ１４に格納される。４２２方式でＹＣｂＣｒをサブサンプリングするＪＰＥＧフォーマットでは８画素×１６画素ブロック毎に画像がエンコードされる。したがって、ブロックは垂直方向幅が８画素又はその整数倍、水平方向幅が１６画素又はその整数倍に設定される。

図５は、ＲＡＷデータから印刷データが生成されるまでどのように処理対象ブロックのデータがＲＡＭ１４に保持されるかを模式的に表した図である。静的にメモリ空間を占有するデータサイズは実線で表し、処理対象ブロックのデータのサイズをハッチングで表している。破線はＲＡＷデータ全体を処理するために累積的に必要なメモリ空間の大きさを示している。尚、本実施形態ではＲＡＷデータは１６ビット表現であるとして説明する。

ステップＳ２０８では、ＣＰＵ２２はエリアイメージセンサのカラーフィルタの配列に応じたデモザイク処理を実行する。デモザイク処理は、基本的には１画素当たり１つの色成分（例えばＲ、Ｇ、Ｂのいずれか）しか持たない近傍画素同士で欠乏している成分を補い合う処理である。この結果、ＲＡＭ１４で一時的に保持すべきブロックデータのサイズは図５のＳ２に示すように処理前（Ｓ１）と比べて３倍となる。
前述したように本実施形態では、デモザイク処理を実行する前にカラーバランス補正又は輝度補正を施す（ステップＳ２０４、Ｓ２０６）構成であるので、デモザイク処理後にカラーバランス補正又は輝度補正を施す場合と比較して、解析対象のデータ量は１／２、補正対象のデータ量が１／３であるため、高速にカラーバランス補正及び輝度補正を施すことができる。

ステップＳ２１０では、ＣＰＵ２２はＲＧＢカラースペースからＹＣｂＣｒカラースペースへの色空間変換を実行する。ステップＳ２１０の処理前後でＲＡＭ１４で一時的に保持すべきブロックデータのサイズは変化しない。
ステップＳ２１２では、ＣＰＵ２２は４２２方式のサブサンプリングを実行する。すなわち、Ｙ成分は１６ビットでサンプリングし、Ｃｂ成分及びＣｒ成分は隣接２画素毎の平均値を１６ビットでサンプリングする。この結果、ＲＡＭ１４で動的に保持すべきブロックデータのサイズは図５のＳ３に示すように処理前と比べて２／３となる。

ステップＳ２１４では、ＣＰＵ２２は偽色抑制処理を実行する。ベイヤ配列のカラーフィルタを備えたエリアイメージセンサでは、Ｇの受光素子数は、Ｒ及びＢの受光素子数の２倍であるため、エイリアシングがＲ及びＢの成分に表れやすい。このために発生する偽色はメディアンフィルタなどを用いた平滑化処理によって抑制される。
ステップＳ２１６では、ＣＰＵ２２は階調再現処理を実行する。人間が知覚する明るさはイメージセンサの測光量である輝度に対応していない。一般には、感覚量は刺激量の対数に比例するというウェーバ・フェヒナーの仮説に基づいて、輝度を非線形に変換する。尚、飽和による階調損失を避けるために、ハイライト領域及びシャドー領域で階調がゆるやかに抑圧される変換を行うこともできる。変換は例えばディジタルカメラの機種毎に最適に定義されたＬＵＴを用いて実行される。尚、デモザイク処理及び階調再現処理を施された画像は請求項に記載の中間画像に相当する。
非線形変換が実行される階調再現処理より前にカラーバランス補正及び輝度補正を施すことにより、ＲＡＷデータのカラーバランス特性と明度特性とを単純な処理で補正することができ、高品質な画像を印刷することが可能になる。

ステップＳ２１７では、ＣＰＵ２２は減色処理を実行する。具体的には、ＹＣｂＣｒの各成分を１６ビットから８ビットの値に減色させる。この結果、ＲＡＭ１４で動的に保持すべきブロックデータのサイズは図５のＳ４に示すように処理前と比べて１／２となる。
減色後にカラーバランス補正又は輝度補正を施す場合と比較して、減色する前にカラーバランス補正又は輝度補正をする方が、例えば露出やカラーバランスが大幅に外れている（所謂失敗写真）場合であっても、ハイライト領域及びシャドー領域で階調をよりなめらかに抑圧することができるため飽和によって階調が失われることなく補正することができる。その結果として適切な輝度及びカラーバランスに補正された高品質な印刷結果を得ることができる。

ステップＳ２１８では、ＣＰＵ２２はカラーマッチング処理を実行する。ＲＡＷデータの各色成分の値は画像入力装置のイメージセンサの分光感度特性に依存しているため、ｓＲＧＢ等の汎用規格で規定されている三刺激値と対応していない。カラーマッチング処理は、入力値であるＲＡＷデータで表されている色光をｓＲＧＢ等の汎用規格で規定されている刺激値で表すための処理である。具体的には、３×３の行列演算や、３次元ＬＵＴ（Look Up Table）を用いて画素値が変換される。この変換に用いる行列や３次元ＬＵＴは、ファイルヘッダから現像制御情報として取得したり、機種に応じてあらかじめ定義したものをファイルヘッダから取得した機種情報に応じて適用することができる。ステップＳ２１８の処理前後でＲＡＭ１４で保持すべきブロックデータのサイズは変化しない。

ステップＳ２２０では、ＣＰＵ２２はＪＰＥＧ圧縮処理を実行する。ＪＰＥＧ圧縮は、ＤＣＴ、量子化及びハフマン符号化を組み合わせた符号化であって水平方向８画素×垂直方向８画素のブロック毎に処理が実行される。量子化には予め決められた所定の量子化テーブル又は処理後の目標サイズに応じた量子化テーブルが適用される。尚、前述したように、圧縮アルゴリズムはＪＰＥＧに限定されるものではなく、ブロック毎に符号化するアルゴリズムであればいかなるアルゴリズムを用いてもよい。

ＪＰＥＧ圧縮処理されたブロックデータは、ステップＳ２０８からステップＳ２２０までの処理が繰り返し実行されることにより、ＲＡＭ１４の別領域（ＪＰＥＧ圧縮前のブロックデータが格納される領域とは別の領域）に累積的に格納される。最終ブロックまでステップＳ２０８からステップＳ２２０までの処理が繰り返し実行された状態では（ステップＳ２２２でＹ判定される状態）、ＲＡＭ１４の別領域には図５のＳ５に示すようにＲＡＷデータから生成されたＪＰＥＧ圧縮処理が施された画像データ全体が保持されている。

ステップＳ２２４では、ＣＰＵ２２はＪＰＥＧ圧縮処理が施された画像データのファイルフォーマットをＥｘｉｆフォーマットに整型し、リムーバブルメモリ１０への出力処理を実行し、ＲＡＭ１４に一時的に保持されたＥｘｉｆフォーマットのファイルを、リムーバブルメモリ１０への出力処理が終了した時点で削除する。具体的には量子化テーブルのように印刷対象画像の伸張に必要な情報、撮影情報（撮影日、絞り、シャッタ速度等）、印刷制御情報、好ましい印刷結果を得るための画像の修整制御情報等が属性情報としてファイルヘッダに格納される。印刷対象画像は、ユーザの意図とは無関係にそれを生成したプリンタ１の都合でリムーバブルメモリ１０に格納されるため、そのファイルの属性は「隠しファイル」として設定されることが望ましい。尚、印刷対象画像のファイルヘッダにカラーバランス補正又は輝度補正は実施済みの情報を付加してもよい。

２−２．画像印刷処理
図４は画像印刷処理の流れを詳細に示すフローチャートである。
図４に示す処理は、ＪＰＥＧフォーマット等の画像が印刷対象として選択された場合に実行される処理でもある。すなわち、本実施形態のプリンタ１は、印刷対象がＲＡＷデータであっても画像であっても全く同一のソフトウェア資源及びハードウェア資源を用いて画像の印刷処理を実行する。その結果、プリンタ１の開発期間は短縮され、製造開発コストは抑制される。

ステップＳ３００では、ＣＰＵ２２は印刷対象である印刷対象画像の属性情報（ファイルヘッダ）を解析し、印刷対象画像の伸張に必要な情報、撮影情報、印刷制御情報、好ましい印刷結果を得るための画像の修整制御情報、ファイルサイズ等を特定し、特定したこれらの情報に基づいて印刷対象画像の印刷に必要な制御値を設定する。具体的には例えば量子化テーブル、シャープネス補正処理の制御値、カラーバランス補正処理の制御値、階調補正処理の制御値、記憶色補正処理の制御値、印刷部数、印刷用紙サイズ、印刷解像度等が設定される。尚、印刷制御情報として印刷対象画像に対応するＤＰＯＦ情報等を用いてもよいが、操作ユニット２６を介してユーザに印刷サイズ、印刷解像度等の制御値を設定させてもよいことはいうまでもない。

以下に詳述するステップＳ３０２からステップＳ３１０の処理は、印刷対象バンド単位で実行される。すなわち、最初のステップＳ３０２で印刷対象バンドの圧縮データがリムーバブルメモリ１０からＣＰＵ２２に読み込まれて処理結果がＲＡＭ１４に格納され、以後の各ステップではＲＡＭ１４から印刷対象バンドデータがＣＰＵ２２に読み込まれ、処理結果がＲＡＭ１４に格納される。印刷対象バンドは印刷方向に応じて設定される。例えば、図６に示すように横長の印刷対象画像が画像の水平方向に順次印刷される場合（ＡからＧの順に印刷対象バンドが処理される方向）、すなわち印刷対象画像の水平方向と送紙方向が一致するように９０度回転した画像が印刷される場合、印刷対象バンドは画像の垂直方向に長く設定される。この場合、図６に示すように印刷対象画像の生成順（水平方向は破線矢印の順で垂直方向は数字の順）と印刷対象画像の印刷順が異なるため、印刷対象画像の生成と印刷対象画像の印刷を直列的に順次処理することができない。したがってこの場合、印刷対象画像の全体がメモリ空間に静的に保持される必要がある。ところが仮に印刷対象画像を圧縮せずに生成すれば、図５のＳ２に示す状態で印刷対象画像がＲＡＭ１４に保持されることになる。印刷時にはソース情報である印刷対象画像と出力情報である印刷データとを同時にＲＡＭ１４に保持しなければならないため、ＲＡＭ１４の必要容量は相当に大きくなる。そのため、本実施形態では圧縮した印刷対象画像を生成することによってメモリ資源を節約しているのである。加えて本実施形態では、圧縮した印刷対象画像をリムーバブルメモリ１０に保持させることにより、プリンタ１で実装すべきＲＡＭ１４の容量を、ＲＡＷデータ非対応のプリンタと実質的に同一にすることを可能としている。

尚、このような効果は画像が回転して印刷される場合にのみ有利に働くのではない。例えば、画像の修整制御値を設定するために画像全体を解析するような場合であっても、印刷対象画像を圧縮する効果は有利に働く。また例えば、印刷対象画像の出力先がハードディスク装置のようにデータ転送速度が低速なデバイスであったり、プリンタ１と出力先の外部デバイスとの通信速度が低速であるような場合でも、印刷対象画像を圧縮する効果は有利に働く。

ステップＳ３０２では、ＣＰＵ２２はリムーバブルメモリ１０から印刷対象バンド内のブロックデータを順次読み込みながら伸張し、その結果得られる印刷対象バンドのＹＣｂＣｒ画像をＲＡＭ１４に格納する。その結果、ＲＡＭ１４で保持される印刷対象バンドのデータは図５のＳ６に示す状態となる。
ステップＳ３０４では、ＣＰＵ２２はカラーバランス補正又は輝度補正が実施済みであるかを判定する。具体的には例えば、プリンタ１の内部で閉じたＡＰＩを介して、実施済みであることを伝達してもよいし、前述したように印刷対象画像のファイルヘッダに記録してステップＳ３００のファイル解析に基づいて実施済みであるか判定するようにしてもよい。補正が実施済みである場合は、ＣＰＵ２２はカラーバランス補正と輝度補正を画像に対して施さないことにより、二重にカラーバランス補正又は輝度補正が施されることによる画質劣化や処理時間の増大を防ぐことができる。

ステップＳ３０６では、ＣＰＵ２２は補正が実施済みでない場合、カラーバランス補正又は輝度補正を施す。具体的には、ＣＰＵ２２は前述のように画像を解析し、ＲＧＢ各成分に対するカラーバランス操作値（第二のカラーバランス操作値）と、輝度操作値（第二の輝度操作値）とを設定する。設定されたカラーバランス操作値と輝度操作値に基づいてＣＰＵ２２は画像にカラーバランス補正と輝度補正を施す。補正処理を施す対象の画像は図５のＳ６に示すＹＣｂＣｒ画像であってもよいし、Ｓ７に示すようにＹＣｂＣｒカラースペースからＲＧＢカラースペースへ色空間変換された画像であってもよい。尚、第二のカラーバランス操作値及び第二の輝度操作値は、プリンタ１の特性を加味して設定されたものであってもよい。

ステップＳ３０８では、ＣＰＵ２２は画像処理ユニット１６と協働しながらその他の画像修整を施す。具体的には、ステップＳ３００で設定された制御値が適用される解像度変換、シャープネス補正処理、コントラスト補正処理、彩度補正処理、記憶色補正処理等が実行される。自動修整機能オンと設定されている場合（設定されている場合にコントラストや彩度や記憶色が補正される）は、ステップＳ３００で設定された制御値と画像の解析結果とに基づいて、シャープネス補正処理、コントラスト補正処理、彩度補正処理、記憶色補正処理等が実行される。解像度変換は、ステップＳ３００で設定された印刷解像度に合わせて画像の解像度を変換する処理である。シャープネス補正処理は解像度変換後に実行され、ディジタルカメラ等の画像入力装置のローパスフィルタによる鮮鋭度の低下が考慮された制御値が適用される。シャープネス補正処理が施された画像に解像度変換処理が施されると画質が劣化する傾向がある。本実施形態では、解像度変換前にシャープネス補正処理が実行されないため、印刷画質が向上する。コントラスト補正処理、記憶色補正処理、彩度補正処理等は解像度変換後に実行されてもよいし、解像度変換前に実行されてもよい。

ステップＳ３１０では、ＣＰＵ２２は印刷対象バンドの画像から印刷対象バンドの印刷データ（図５のＳ８）を生成し、印刷ユニット１８は印刷データに基づいて印刷を実行する。
ステップＳ３１２からステップＳ３０６までの処理が最終の印刷対象バンドまで終了すると（ステップＳ３０８でＹ判定されるとき）、ＣＰＵ２２はリムーバブルメモリ１０に保持されている印刷対象画像をＲＭＣ１２に削除させる（ステップＳ３１０）。印刷後に印刷対象画像を削除すると、ユーザの意図とは無関係に生成される印刷対象画像によってリムーバブルメモリ１０の記憶領域が無用に消費されてしまうことを防止できる。

本実施形態では、印刷対象画像としてＪＰＥＧ形式に圧縮する構成を作成する例を説明したが、非圧縮の画像を扱うファイル形式（例えばＢＭＰやＴＩＦＦ）を印刷対象画像としてもよい。その場合、圧縮されることによる画質の劣化がないので、より高品質に画像を印刷することができる。

本実施形態では、印刷対象としてＲＡＷデータが選択され、自動修整機能がオンの状態であるとき、カラーバランス補正及び輝度補正をデモザイク処理前のＲＡＷデータに施す例を説明したが、カラーバランス補正及び輝度補正の他にデモザイク処理前のＲＡＷデータに対してさらに記憶色補正、コントラスト補正、黒白点補正等を実施してもよい。この場合、プリンタ１の特性（顔料インクや染料インク等のインク種、普通紙や光沢紙等の印刷用紙の紙質）を加味して各補正パラメータを設定する。例えば記憶色補正であると、プリンタ１の特性として、コバルトブルーの発色がよい場合、コバルトブルーの階調範囲を拡張し他の発色のよくない色の階調範囲を抑圧するように記憶色補正のパラメータを設定する。黒白点補正に関しても同様で、プリンタ１の特性で例えば黒又は白にノイズが載りやすい場合は、黒又は白の階調範囲を抑圧し、その他の色の階調範囲を拡大することによってより鮮やかに画像を印刷することができる。また、印刷用紙の紙質についても、例えば普通紙に印刷される場合は、光沢紙に印刷される場合よりもコントラストを上げるようにコントラスト補正のパラメータを設定する。ＲＡＷデータの段階でカラーバランス補正、輝度補正、記憶色補正、黒白点補正、コントラスト補正等を施すことは、プリンタ１が再現できる色範囲のガマットをフルに使用して画像補正を行うことができるという点で有益である。
また、以上の説明では、画像処理装置としてスタンドアロン型のプリンタに適用した実施形態を説明したが、本発明はＲＡＷ現像アプリケーションとプリンタドライバプログラムを実行するパーソナルコンピュータに適用されてもよい。

本発明の一実施例に係るプリンタの作動を示すフローチャート。本発明の一実施例に係るプリンタの概略構成を示すブロック図。本発明の一実施例に係る模式図。本発明の一実施例に係るプリンタの作動を示すフローチャート。本発明の一実施例に係る模式図。本発明の一実施例に係る模式図。

符号の説明

１：プリンタ、１０：リムーバブルメモリ、１２：リムーバブルメモリコントローラ（入力手段）、１４：ＲＡＭ、１６：画像処理ユニット（印刷データ生成手段、画像生成手段）、１８：印刷ユニット、２０：外部ＩＦ（入力手段）、２２：ＣＰＵ（印刷データ生成手段、補正手段、画像生成手段）、２６：操作ユニット、２８：表示ユニット、３０：ディジタルカメラ、３２：パーソナルコンピュータ、３４：カメラ付携帯型電話端末

Claims

ＲＡＷデータおよび画像データを取得する取得手段と、
輝度操作値を前記ＲＡＷデータに基づいて設定し、前記輝度操作値に対応する輝度補正を前記ＲＡＷデータに施す補正手段と、
前記輝度補正が施された前記ＲＡＷデータから、デモザイク処理を用いて画像を生成し、前記輝度補正が実施済みであることを示す情報を付した画像データを作成する画像生成手段と、
印刷対象画像を印刷ユニットに印刷させるための印刷データを、前記取得手段が取得した前記画像データ若しくは前記画像生成手段が作成した前記画像データから生成する印刷データ生成手段と、
を備え、
前記印刷データ生成手段は、
前記画像データに前記情報が付されていない場合に、第二の輝度操作値を該画像データに基づいて設定し、前記第二の輝度操作値に対応する輝度補正を該画像データに施し、
前記画像データに前記情報が付されている場合に、該画像データに前記第二の輝度操作値に対応する前記輝度補正を施さない
画像処理装置。
ＲＡＷデータおよび画像データを取得する取得手段と、
カラーバランス操作値を前記ＲＡＷデータに基づいて設定し、前記カラーバランス操作値に対応するカラーバランス補正を前記ＲＡＷデータに施す補正手段と、
前記カラーバランス補正が施された前記ＲＡＷデータから、デモザイク処理を用いて画像を生成し、前記カラーバランス補正が実施済みであることを示す情報を付した画像データを作成する画像生成手段と、
印刷対象画像を印刷ユニットに印刷させるための印刷データを、前記取得手段が取得した前記画像データ若しくは前記画像生成手段が作成した前記画像データから生成する印刷データ生成手段と、
を備え、
前記印刷データ生成手段は、
前記画像データに前記情報が付されていない場合に、第二のカラーバランス操作値を該画像データに基づいて設定し、前記第二のカラーバランス操作値に対応するカラーバランス補正を該画像データに施し、
前記画像データに前記情報が付されている場合に、該画像データに前記第二のカラーバランス操作値に対応する前記カラーバランス補正を施さない
画像処理装置。
前記画像データはＪＰＥＧ形式で圧縮された画像のデータである、
請求項１又は２に記載の画像処理装置。
前記画像生成手段は、前記情報をファイルヘッダに記録した画像データを作成する請求項１乃至３のいずれかに記載の画像処理装置。
ＲＡＷデータおよび画像データを取得し、
カラーバランス操作値を前記ＲＡＷデータに基づいて設定し、前記カラーバランス操作値に対応するカラーバランス補正を前記ＲＡＷデータに施し、
前記カラーバランス補正が施された前記ＲＡＷデータから、デモザイク処理を用いて画像を生成し、前記カラーバランス補正が実施済みであることを示す情報を付した画像データを作成し、
印刷対象画像を印刷ユニットに印刷させるための印刷データを、前記取得手段が取得した前記画像データ若しくは前記画像生成手段が作成した前記画像データから生成する、
ことを含み、
前記印刷データを生成するにあたり、
前記画像データに前記情報が付されていない場合に、第二のカラーバランス操作値を該画像データに基づいて設定し、前記第二のカラーバランス操作値に対応するカラーバランス補正を該画像データに施し、
前記画像データに前記情報が付されている場合に、該画像データに前記第二のカラーバランス操作値に対応する前記カラーバランス補正を施さない
画像処理方法。
ＲＡＷデータおよび画像データを取得し、
輝度操作値を前記ＲＡＷデータに基づいて設定し、前記輝度操作値に対応する輝度補正を前記ＲＡＷデータに施し、
前記輝度補正が施された前記ＲＡＷデータから、デモザイク処理を用いて画像を生成し、前記輝度補正が実施済みであることを示す情報を付した画像データを作成し、
印刷対象画像を印刷ユニットに印刷させるための印刷データを、前記取得手段が取得した前記画像データ若しくは前記画像生成手段が作成した前記画像データから生成する、
ことを含み、
前記印刷データを生成するにあたり、
前記画像データに前記情報が付されていない場合に、第二の輝度操作値を該画像データに基づいて設定し、前記第二の輝度操作値に対応する輝度補正を該画像データに施し、
前記画像データに前記情報が付されている場合に、該画像データに前記第二の輝度操作値に対応する前記輝度補正を施さない
画像処理方法。
ＲＡＷデータおよび画像データを取得する取得手段と、
輝度操作値を前記ＲＡＷデータに基づいて設定し、前記輝度操作値に対応する輝度補正を前記ＲＡＷデータに施す補正手段と、
前記輝度補正が施された前記ＲＡＷデータから、デモザイク処理を用いて画像を生成し、前記輝度補正が実施済みであることを示す情報を付した画像データを作成する画像生成手段と、
印刷対象画像を印刷ユニットに印刷させるための印刷データを、前記取得手段が取得した前記画像データ若しくは前記画像生成手段が作成した前記画像データから生成する印刷データ生成手段と、
してコンピュータを機能させ、
前記印刷データ生成手段は、
前記画像データに前記情報が付されていない場合に、第二の輝度操作値を該画像データに基づいて設定し、前記第二の輝度操作値に対応する輝度補正を該画像データに施し、
前記画像データに前記情報が付されている場合に、該画像データに前記第二の輝度操作値に対応する前記輝度補正を施さない
画像処理プログラム。
ＲＡＷデータおよび画像データを取得する取得手段と、
カラーバランス操作値を前記ＲＡＷデータに基づいて設定し、前記カラーバランス操作値に対応するカラーバランス補正を前記ＲＡＷデータに施す補正手段と、
前記カラーバランス補正が施された前記ＲＡＷデータから、デモザイク処理を用いて画像を生成し、前記カラーバランス補正が実施済みであることを示す情報を付した画像データを作成する画像生成手段と、
印刷対象画像を印刷ユニットに印刷させるための印刷データを、前記取得手段が取得した前記画像データ若しくは前記画像生成手段が作成した前記画像データから生成する印刷データ生成手段と、
してコンピュータを機能させ、
前記印刷データ生成手段は、
前記画像データに前記情報が付されていない場合に、第二のカラーバランス操作値を該画像データに基づいて設定し、前記第二のカラーバランス操作値に対応するカラーバランス補正を該画像データに施し、
前記画像データに前記情報が付されている場合に、該画像データに前記第二のカラーバランス操作値に対応する前記カラーバランス補正を施さない
画像処理プログラム。