JP4845382B2 - 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明はデジタルカメラやデジタルビデオカメラなどで撮像して得られたＲＡＷ画像データに対する画像処理に関するものである。

デジタルスチルカメラやデジタルビデオカメラなどで撮影する時、ＣＣＤやＣＭＯＳ等の撮像センサから入力された画像データを、設定された条件に従って現像処理（輝度調整、色調調整、シャープネス処理等）を行い、ＪＰＥＧ Ｂａｓｅｌｉｎｅ符号化し、所定の記憶媒体（メモリカード）にファイルとして格納することが行われる（例えば、特許文献１）。

しかし、この符号化は非可逆符号化であるため、何らかの情報が失われたものとなる。つまり、ＪＰＥＧ画像ファイルをパーソナルコンピュータで再調整するにしても、自ずと限界があり、上級者の意図した細かい調整を行なうことはできない。

そこで、このような要望に応えるため、撮像センサで得られた直後の未処理の画像データをそのまま、もしくは、可逆圧縮して記憶媒体に格納し、ＰＣ上でデジタルカメラが行なっていた現像処理と同様の処理を行なうようにすることが考えられる。このような未処理の画像データは一般にＲＡＷ画像データと呼ばれる。このＲＡＷ画像データを、ＰＣ上で現像処理することにより、上級者の要望に応えるきめ細か現像が可能になる。

しかし、ＲＡＷ画像データをＰＣ上で現像処理する場合には、撮像時の光源情報に応じて、画素の補間処理とホワイトバランス処理、露出時間やシャッタースピードやズーム位置、操作者が設定した条件に従って輝度調整処理、色調整処理、シャープネス処理などのを行なうことが必要になる。

上記現像処理は、全画素に対して行なう必要がある。昨今のデジタルカメラで撮像した画像の画素数は数百万、或いは、１千万を超えるのは普通であり、上記現像を開始してからその結果を得るまでには、多くの時間を必要とする。
特開平３−４９４８３号公報

かかる問題点を解決するための考えられる手法としては、本願発明者は次のような手法を考えた。

第１には、画素を間引いて処理し、縮小表示または低解像度の画像処理結果を再生する。

第２には、表示領域を制限し、表示領域内に表示可能な画像の一部のみを画像処理し、画像処理結果を再生する。

第３には、画像全体の画像処理結果をメモリなど記憶媒体に保持して、再生時に利用する。

第４には、画像全体の複数の画質調整処理結果をメモリなど記憶媒体に保持して、再生時および／画質調整後の処理結果表示時に利用する。

しかしながら、第１の方法では、間引く画素が多いほど再生までの処理時間が短くなるが、間引く画素が多いほど、解像度の低い画像を表示することになる。そのためシャープネス処理やノイズ除去処理などの確認には適さない。

第２の方法では、画像の一部を処理するため、画像全体を確認することはできない。そのため、ホワイトバランスや色を調整した後に全体的な色味を確認する際には適さない。また表示領域を制限することによって、使用者の操作の自由度もなくなる。

第３の方法では、１回目の再生および／または処理に時間がかかる上、画質を調整した場合、再度画像処理を行う必要があるため、その都度処理の時間がかかる。

第４の方法では、１回目の再生および／または処理に時間がかかる。また、画質調整できるパラメータの種類が少ない場合には効果が見込めるが、画質調整はむしろ多様化する傾向があるため、使用者が必要としない処理結果まで保持してしまう可能性があり、結果として演算負荷を多くしてしまう。

更に、高画質化のために画像処理は複雑になる傾向にあり、尚且つ、今後も画像を構成する画素数は増加する傾向にあるため、再生および画像処理の高速化が必要である。

本発明は、かかる課題に鑑みなされたものであり、デジタルカメラ等で撮像したＲＡＷ画像データの現像或いは編集処理中において、高レスポンスで処理することを可能ならしめる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
撮像センサを有する撮像装置より得られたＲＡＷ画像データを現像する画像処理装置であって、
ＲＡＷ画像データの画素数に対応する、表示するために用いる表示手段の表示領域の画素数の割合を示す表示倍率を、ユーザーの操作に応じて設定する倍率設定手段と、
ＲＡＷ画像データを読み込む読込手段と、
ＲＡＷ画像データに対する現像処理を行う現像手段と、
ＲＡＷ画像データの全画素よりも少ない一部の画素であって、前記倍率設定手段で設定された表示倍率が等倍未満の場合には当該設定された表示倍率が小さいほど少ない割合の画素を、前記ＲＡＷ画像データから抽出する抽出手段と、
ＲＡＷ画像データのうち、該ＲＡＷ画像データの全画素ではなく、前記抽出手段で抽出した一部の画素を対象として前記現像手段による前記現像処理を行うように制御する制御手段と、
前記現像手段による前記一部の画素を対象とした現像処理によって得られた画像データを前記表示領域に表示するように制御する表示制御手段とを備える。

本発明によれば、デジタルカメラ等で撮像したＲＡＷ画像データの現像或いは編集処理中において、高レスポンスで処理することが可能になる。

以下、添付の図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
図１は本実施形態である画像入力装置としてのデジタルスチルカメラの構成を示すブロック図である。図１において、１０１は撮影レンズ、１０２はシャッター・絞り、１０３は撮影光学系（１０１、１０２）によって結像した被写体の光学系を電気信号に変換する光電変換器（以降、ＣＣＤと記す）である。１０４は、このＣＣＤ１０３の出力をデジタル信号に変換するアナログデジタル変換器（以下、Ａ／Ｄ変換器））、１０５はＡ／Ｄ変換器１０４でデジタル化された信号を処理するデジタルプロセッサ、１０６はカメラ制御と信号処理をするＣＰＵ、１０７はＣＰＵでの処理の際一時記憶に利用される読み書き可能メモリ、１０８は記録の圧縮処理を行う信号処理回路、１０９は着脱可能な記憶媒体と接続するためのインターフェイス、１１０はパーソナルコンピュータなどと接続するためのインターフェイス（例えばＵＳＢインタフェース）、１１１は着脱可能な記録媒体（メモリカード）、１１２はシャッターボタンや撮影記録モードスイッチ等のボタン群並びに液晶表示器で構成される操作部である。

図２は本実施形態であるデジタルスチルカメラの画像データを記録媒体１１１に保存の工程を示すフローチャートである。この処理は、操作部１１２におけるシャッターボタンが押下された際の処理でもある。

ステップＳ２０１では、ＣＣＤ１０３からのアナログ信号をＡ／Ｄ変換器１０３でデジタルデータに変換したデジタル画像データを内部メモリ１０７に格納する。このＡ／Ｄ変換器１０３は、後述する内部の画像処理の精度を高めるため、及び、後述する現状処理で熟練ユーザの要望に応えるため１画素を構成する各コンポーネントを８ビットを超えるビット数のデジタルデータに変換する（例えば１２ビット）。

ステップＳ２０２では、画像処理を行なうか否かのの判定を行う。この判定は、撮影時に撮影者が操作部１１２で設定した記録モードに従って従って行なう。記録モードには、ＲＡＷ画像記録モードと通常記録モードがあり、後者に対しては記録画像のサイズ、画質、シャープネスや明るさ補正等が存在する。また、いずれの場合にも圧縮，非圧縮の設定も行なえる。ＲＡＷ画像記録モードで圧縮するように設定されている場合には可逆圧縮（ＴＩＦＦ形式等のハフマン符号化等）を行なう。また、通常記録モードで圧縮するように設定されている場合にはの場合にはＪＰＥＧＢａｓｅｌｉｎｅ符号化（非可逆圧縮）が行われる。

さて、ステップＳ２０２で通常記録モードが指示されていると判断した場合には、ステップＳ２０３に進み、操作部１１２で設定された条件に従って画像処理が行われる。本実施形態ではフィルタ処理やホワイトバランスやオートフォーカス等の情報に基づいた色調整などの処理を行なう。この段階で、画素を構成する各コンポーネントは８ビットに丸め込まれる。

ステップＳ２０４では、圧縮記録であるか否かの判定を行う。この判定は、操作部１１２で設定した圧縮の要否に基づき判定する。

圧縮すると判定した場合には、ステップＳ２０５に進む。ＲＡＷ画像記録モードの場合には、内部メモリ１０７に格納されたＲＡＷ画像データを可逆圧縮符号化する。すなわち、Ａ／Ｄ変換器１０４で得られた各コンポーネントが１２ビットのまま可逆符号化を行なう。また、通常記録モードの場合にはＪＰＥＧ Ｂａｓｅｌｉｎｅ符号化（非可逆）を行なう。ＪＰＥＧ Ｂａｓｅｌｉｎｅ符号化は、各画素のコンポーネントは８ビットで表現される。

この後、ステップＳ２０６に進んで、撮影日時、撮影機種、フラッシュオン/オフ、撮像画像ファイルの記録形式などの撮影条件や記録条件から属性情報を生成し、それを付加する。そして、ステップＳ２０７で、記録媒体１１１にファイルとして書き込む。

なお、記録媒体１１１には圧縮されたファイル、非圧縮ファイルが存在し得るが、ＣＣＤ１０３から出力された信号をＡ／Ｄ変換し、ホワイトバランス処理以降の色に関する画像処理を施していない段階の画像（各コンポーネントが１２ビット）にまで戻すことができる画像データファイルをＲＡＷ画像データと呼ぶ。

なお、撮像センサから得られた、Ａ／Ｄ変換を施した画像信号に輝度信号と色信号に分ける色分離処理をしていない段階の画像データ、あるいは、複数色から成る色フィルタをもった単板センサからの出力信号を色補間処理する前の段階の画像データをＲＡＷ画像データとしても良い。また、複色感光層を持った撮像センサのカラープレーンデータ生成処理をする前の画像データでも良い。

図３は記録媒体１１１に格納された画像ファイルの構造を示している。

図３において、３０１は画像属性情報領域であり、画像データサイズ、撮影日時、撮影機種、圧縮方法、フラッシュオン/オフ、など撮影時の情報および画像の読み出しや再生、選択に必要な情報を記憶する領域である。３０２は縮小画像データ領域で、画像ファイルの一覧表示の際に利用する縮小画像データを記憶する領域である。３０３は画像データ領域であり、当該画像ファイルとして格納すべき全ての画像データを記憶する領域である。

図４（ａ）乃至（ｃ）は、本実施形態であるＣＣＤ１０３の光電変換素子の配列を示している。この配列は、一般にＢｅｙａｒ配列と呼ばれるものである。Ａ／Ｄ変換器１０４によってデジタル化されて保存されたデータは、各原色フィルタで且つ単色感光層の場合、図４（ａ）のようなブロックに分割される。ただし１つのブロックは図４（ｂ）のように色信号赤、青、緑（RGB）を含む４つのコンポーネントで構成され、１ブロックが連続的に繰り返されることで、同図（ａ）のような配列を形成している。実施形態におけるＲＡＷ画像データは、コンポーネントが１２ビットで表わされるデータを意味する。

また、通常のカラー画像の１画素のように、Ｒ、Ｇ、Ｂの３つのコンポーネントのデータを生成する場合（ＪＰＥＧ符号化を行なう場合）には、各Ｒ、Ｇ、Ｂのデータは以下のようにして算出される。

今、注目している位置（ｘ、ｙ）が図４（ｃ）のように、原色フィルタＲの位置にあるものとする。位置（ｘ、ｙ）には、Ｒ成分のデータは存在するが、Ｂ、Ｇの成分は存在しない。そこで、次のようにしてＲ、Ｇ、Ｂのデータを求める。但し、以下の式でＤ（ｘ、ｙ）は、ＲＡＷ画像データの座標（ｘ，ｙ）の値であるものとする。
R(x,y) ＝ D(x,y)
G(x,y) ＝｛D(x+1,y)+D(x-1,y)+D(x,y+1)+D(x,y-1)｝／４
B(x,y) ＝｛D(x+1,y-1)+D(x-1,y+1)+D(x+1,y+1)+D(x-1,y-1)｝／４ …式１

上記は、注目座標位置はＲ原色フィルタが存在する場合であるが、注目画素位置がＧまたはＢ原色フィルタの場合にも同様にして求めることになる。但し、Ｇ成分を注目した場合、その位置に隣接するＢデータ、Ｒデータはそれぞれ２つ組しか存在しないので、上記式は多少変更されることになる。

次に、記録媒体１１１に記録された画像ファイル中のＲＡＷ画像データファイルをパーソナルコンピュータ等の汎用情報処理装置（以下、ＰＣという）で読出し、同装置上で実行するアプリケーションプロでもって現像及び編集処理する場合について説明する。

図１１は実施形態におけるＰＣのブロック構成図である。図示において、１はＰＣ本体であり、２は装置全体の制御を司るＣＰＵ、３はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、４はＲＡＭである。５はキーボード（ＫＢ）、マウス等のポインティングデバイス（ＰＤ）である。６は表示制御部であり、内部にはビデオメモリが設けられている。７は表示制御部から出力されたビデオ信号を表示する表示装置（ＣＲＴやＬＣＤディスプレイ等）である。９はデジタルカメラから抜き出したメモリカード等の記憶媒体をアクセスするカードリーダ、１０はデジタルカメラ２０（図１参照）のインタフェース１１０と接続するインタフェースである。

上記構成において、電源が投入されると、ＣＰＵ２はＲＯＭ３のブートプログラムに従って、ハードディスク８よりＯＳをＲＡＭ４にロードし、ユーザの指示に応じて本実施形態にかかる画像編集アプリケーションプログラムもＲＡＭ４にロードされることで、本装置が画像処理装置として機能することになる。実施形態のアプリケーションが起動した際には、図１１に示すように、画像ファイルを読込んだり、各種変数を確保する作業領域、並びに、キャッシュ領域が確保されることになる。

図１２は、実施形態の画像編集アプリケーションプログラムが起動した際の、画像編集にかかるＧＵＩを示している。図示の様に、本実施形態における編集プログラムを実行すると、表示画面には、２つのウインドウ４０、４５が表示される。

ウインドウ４０は主に編集中の画像を表示するものであり、現像処理もしくは編集結果の画像を表示する画像表示エリア４３、画像表示エリア４３のサイズを指定する表示サイズ指示部４１、表示倍率を指示する倍率指示部５０、編集結果を保存する保存ボタン４２、更には、画像ファイルを読込むためのダイアログボックス（不図示）を表示させるための「ファイル」ボタン４４が設けられている。表示サイズ指示部４１の右端には、上下の矢印が表示され、ここをマウスに連動するカーソルを移動してクリック操作（以下、単に操作という）することで、画像表示エリア４３のサイズを変更することができる。倍率指示部５０の操作も同様である。画像表示エリア４３の大きさは、ウインドウ４０を越える設定も可能である。ウインドウ４０そのものを変更する場合には、ウインドウ４０の右下部分５２をドラッグ操作することで変更可能である。

ここで倍率指示部５０で指示される倍率であるが、倍率１００％とは、原画像（ＲＡＷ画像）の１画素が画像表示エリア４３の１画素に対応することを意味する。従って図示の「２０％」とは、原画像を５×５画素が、１表示画素に対応することを意味する。すなわち、水平、垂直とも１／５倍になることを意味する。

なお、画像表示エリア４３に、原画像の一部分を表示している場合には、画像表示エリア４３内でスクロールさせて別な位置の画像を見ることができる。画像表示エリア４３内での画像のスクロールは、マウスカーソル（不図示）を画像表示エリア４３内に移動し、ドラッグ操作（ボタンを押下しながらマウスを移動する操作）を行なうものとするが、別途垂直、水平スクロールバーを用意し、それを操作することで実現しても構わない。

一方、ウインドウ４５であるが、ここには、各種画像編集項目が表示され、利用者はそのうちの所望とする項目のスライダーのツマミ（図示では弱、中、強の３段階としたが、勿論、これ以上の多段階でも良い）を移動することで、該当する編集項目を調整することが可能となっている。図示では、編集項目としてコントラストコントロール４６、色の濃さコントロール４７、シャープネスコントロール４８の３つが表示されているが、スクロールバー４９を操作してスクロールすることで、他の設定項目（トーンカーブ、明るさ、ホワイトバランス設定値、色温度、色相など）の項目を表示させることができる。本実施形態のアプリケーションを起動した直後の状態（デフォルト）では、各編集項目のスライダーバーのツマミ位置は、該当する画像の撮影時の設定情報によって決定される。すなわち、画像ファイルを読込んだ際、その属性情報３０１から各パラメータを抽出し、それに基づいて各編集項目のスライダーバーのツマミ位置を決定するようにした。なお、属性情報301中に、該当する設定情報が存在しない場合には、該当する編集項目のスライダーバーのツマミ位置は、中央になるように設定する。

なお、以下の説明において、各編集項目毎のスライダーバーのツマミ位置で決定される状態値を編集パラメータ（もしくは単にパラメータ）と呼び、ツマミ位置を変更して、その編集項目の状態を変更する操作ことを「パラメータを設定する」と言う。また、編集の度合を設定する場合、図示のようにスライダーバーを用いると操作性が良いが、数値入力によって行ってもよいし、その設定のための表示形態は如何なるものでも構わない。また、ウインドウ４０、４５の２つを表示するものとしたが、１つのウインドウに表示しても構わない。

以下、実施形態におけるアプリケーションプログラムにおける画像表示エリア４３に表示する処理を図５のフローチャートに従って説明する。なお、ユーザはカードリーダ９やインタフェース１０を介してデジタルカメラで撮像した画像ファイルを予めハードディスク８に格納しているものとする。

また、周知の通り、昨今のデジタルカメラのＣＣＤ１０３で得られる画素数は増える一方で、ＰＣの表示装置７に表示可能な画素数よりも遥かに多くなってきている。更に、ＧＵＩのＯＳに限ってみても、アプリケーションで利用できるウインドウサイズは、必然的に表示装置の表示領域よりも小さく、撮像された画像データの１画素を表示装置で表示する１画素に対応させて（倍率１００％）、尚且つ、画像全体を一度に表示することはできない。従って、１００％の倍率で表示する場合には撮像画像の一部分を画像表示エリア４３内に表示するしかない。また、撮像した画像全体を表示するためには、倍率を２０％（０．２倍）等にして、撮像画像の複数画素を１表示画素に対応させる、或いは、適当な間隔で間引きして表示するしかない。本実施形態における画像編集アプリケーションはかかる点に着目し、画像編集処理を行なう。

先ず、ステップＳ５０１で、例えば、入力手段として、パーソナルコンピュータのハードディスク（もしくはカードリーダ９、インタフェース１０を介してでも構わない）からＲＡＷ画像ファイルをＲＡＭ４に読み込む。

ステップＳ５０２で、読込まれた属性情報３０１を読み込む。この属性情報とは、ＲＡＷ画像の撮影時に決定される撮像条件であって、例えばビットの深さ（実施形態では１２ビット）、圧縮形式、露出時間、シャッタースピード、絞り値、輝度値、露光補正値、レンズ最小Ｆ値、被写体距離、測光方式、光源、フラッシュオン／オフ、レンズ焦点距離、Ｆナンバー、露出プログラム、ISOスピードレート、フラッシュ強度などである。

ステップＳ５０３では、属性情報を解析し、圧縮されているか否かの判定を行う。圧縮されていた場合、ステップＳ５０４で、属性情報で示される圧縮形式に基づき解凍処理（復号処理）を行う。この結果、非圧縮のＲＡＷ画像データを得ることができるが、この時点では各コンポーネントは１２ビットで表現されていることに注意されたい。

ステップＳ５０５で、色補間処理を行う。ＲＡＷ画像は図４Ｂに示したブロック単位のデータで構成される。そのため、色補間処理を行う。この補間処理とは、例えば線形補間であるため、先に示した式１でＲ、Ｇ、Ｂデータを生成する。

次いで、ステップＳ５０６で、パーソナルコンピュータにおいてユーザが画質調整のために情報の設定をしたか否かの判定を行なわれる（以降、この設定情報をユーザー画質調整情報という）。ユーザー画質調整情報とは、例えば、シャープネス、コントラスト、カラーマトリックス、トーンカーブ、明度、彩度、色相、ホワイトバランスなどであり、キーボードやポインティングデバイスで設定され、一時的にＲＡＭ４に格納されるものである。

ユーザー画質調整情報が設定された場合、ステップＳ５０７で、そのユーザー画質調整情報をＲＡＭ４から読み込む。

そして、ステップＳ５０８において、先のステップＳ５０２で読み込んだ属性情報およびステップＳ５０７で読み込んだユーザ画質調整情報を併せてＲＡＷ画像を再生するための再生パラメータを生成し、この再生パラメータに基づいたホワイトバランス処理を行う。ホワイトバランス処理に必要な属性情報とは、例えば光源情報、フラッシュオン/オフやフラッシュ強度などである。

ステップＳ５０９では、Ｒ、Ｇ、Ｂの原色データ（Ｒ，Ｇ，Ｂ）を、輝度色差データ（Ｙ，Ｃｂ，Ｃｒ）に変換する。

ステップＳ５１０では、先のステップＳ５０２で読み込んだ属性情報および／または、ステップＳ５０７で読み込んだユーザー画質調整情報に基づいた、輝度調整処理を行う。輝度調整処理に必要な属性情報には、例えば露出時間、シャッタースピード、絞り値、輝度値、露光補正値、被写体距離、測光方式、Ｆナンバー、露出プログラムなどがある。

ステップＳ５１１では、先のステップＳ５０２で読み込んだ属性情報および／またはステップＳ５０７で読み込んだユーザー画質調整情報に基づいた、色調整処理を行う。

ステップＳ５１２では、ステップＳ５０２で読み込んだ属性情報および／またはステップＳ５０７で読み込んだユーザー画質調整情報に基づいた、シャープネス調整処理を行う。シャープネス処理に必要な属性情報には、例えば露出時間、シャッタースピード、絞り値、輝度値、露光補正値、被写体距離、測光方式、Ｆナンバー、露出プログラム、レンズの歪み情報、レンズ焦点距離、レンズ最小Ｆ値やISOスピードレートや絞り値などがある。

次いで、ステップＳ５１３で、輝度色差データ（Ｙ，Ｃｂ，Ｃｒ）を、原色データ（Ｒ、Ｇ、Ｂ）に変換し、表示するために各コンポーネントを８ビットに丸めるよりを行なう。換言すれば、ステップＳ５０５乃至Ｓ５１３までの演算精度は１２ビットで行なうため、演算誤差を最小限なものとすることができることになる。

そして、ステップＳ５１４で、表示装置７に出力する。表示装置７は、ＣＲＴディスプレイや液晶ディスプレイ等で良い。

ステップＳ５０８からＳ５１３の処理は１画素ずつの処理であるため、同処理に要する時間は画素数に比例する。なお、本実施形態では、ステップＳ５０７のＲＡＷ画像の色補間処理後のステップＳ５０８のホワイトバランス処理からステップＳ５１３のＲＧＢデータに変換するまでの処理を、これ以降は現像処理という。

本実施形態では、原色フィルタで且つ単色感光層の場合の処理を例に説明したが、撮像センサフィルタ特性によって異なる場合がある。例えば、色信号シアン・マゼンタ・イエロー（CMY）で構成される補色フィルタの場合や、複数色の画素配列の並び順が異なる場合、画素の形は縦横比が１:１ではない（２:１など）。それぞれの場合には、ステップＳ５０５以降の処理がそれぞれの撮像センサのフィルタ特性に対応していればよい。

次に、表示装置における画像表示エリア４３のサイズ及び表示倍率と、原画像サイズとの対応関係について説明する。

図６（ａ）乃至（ｃ）は本実施形態におけるＰＣにおける倍率毎の出力結果の例である。

図６（ａ）ＲＡＷ画像全体に対して等倍、つまり倍率が１００％表示の出力結果だとすると、図６（ｂ）は５０％、図６（ｃ）は２５％の倍率の表示出力結果である。倍率５０％表示画像の縦横のそれぞれの画素数は、１００％表示画像に対して１／２である。全体の画素数（面積）は１００％表示画像に対して１／２の二乗、すなわち１／４である。２５％表示画像の縦横の画素数は、１００％表示画像に対して１／４である。全体の画素数（面積）は１００％表示画像に対して１／４の二乗、すなわち１／１６である。つまり、倍率１００％表示画像に対して倍率n％表示の縦横それぞれの画素数は、ｎ／１００で、全体の画素数（面積）は、ｎ／１００の二乗となる。

ここで、本実施形態の対象画像抽出処理のＲＡＷ画像全体を倍率ｎ％した場合の間引き処理について説明する。

横方向の画素数(x)と縦方向の画素数(y)の画像について、ｎ／１００（ｎは１００以下の正の整数）にするには、横方向の画素数を(x×(１００-n)/１００)画素を間引き、縦方向の画素数を(y×(１００-n)/１００)画素を間引く。間引く方法は例えば、（ｎ／１００）を約分して( i / k )で表し、k 画素中から等間隔になるように i 個の画素を間引く。約分できない場合や等間隔にできない場合は、結果的に横方向の画素数が(x×n/１００)縦方向の画素数が(y×n/１００)になるように、且つ処理が少なく画質が一番望ましくなるような方法を用いればよい。このように、対象画像抽出処理が行われる。

間引き処理前もしくは間引き処理中もしくは間引き処理後、スムージング処理を行うと更に望ましい縮小出力結果を得られる可能性がある。スムージング処理は、間引きをした画像に対して滑らかに見えるように平滑化を行なう画像処理であって、例えば、原画像( x , y )座標の位置およびその周辺の画素から、画像表示エリア４３中の出力画素情報Out( x , y )は次式２で算出される。
Out(x,y)
= {In(x,y)×2 + In(x-1,y) + In(x+1,y)+ In(x,y-1) + In(x,y+1)}÷6 …(式２)

図７（ａ）乃至（ｇ）は本実施形態である画像処理装置において設定された画像表示エリア４３のサイズにおける出力結果を示している。

例えば、図７（ａ）の点線枠内が原画像の全体を示している。画像表示エリア４３のサイズが図７（ｂ）の状態で、且つ、倍率が１００％となっている場合には、図７（ｃ）の枠７１内の画像を表示することになる。

より詳しく説明すると次の通りである。なお、以下の説明での座標の単位はｐｉｘｅｌである。

原画像７０の左上隅の座標を（０、０）、右下隅の座標を（１５３６、２０４８）とする。また、画像表示エリア４３のサイズが表１で示されるサイズとする。そして、原画像中の座標（２５０、３００）を、画像表示エリア４３の左上隅位置に対応させ、倍率１００％で表示する場合を考察する。この場合の画像表示エリア４３内の右下隅に表示するべき原画像中の画素位置（ｘ１，ｙ１）は式３で与えられる。

x１ = ２５０ + (４４０ × １００ ÷ １００) − １
y１ = ３００ + (３２０ × １００ ÷ １００) − １ …（式３）

また、同じ倍率で、画像表示エリア４３のサイズが図７（ｂ）から図７（ｄ）のように大きくした場合には、図７（ｅ）の実線枠７２内の画像情報を表示することになる。

具体的には、画像表示エリア４３のサイズが表２に示すサイズになった場合で、原画像の座標の(８０,１２０)の画素が画像表示エリア４３の左上隅に表示される場合、画像表示エリアの右下隅の座標（ｘ１、ｙ１）に表示すべき原画像の座標は式４で得られる。

x１ = ８０ + (８００ × １００ ÷ １００) − １
y１ = １２０ + (５６０ × １００ ÷ １００) − １ …(式４)

また、画像表示エリア４３のサイズが図７（ｄ）と同じであり、倍率を２００％にした場合には、図７（ｇ）の実線枠７３の画像が、図７（ｆ）のように表示される。

具体的には、原画像の座標の(８０,１２０)の画素が画像表示エリア４３の左上隅に表示される場合、画像表示エリアの右下隅の座標（ｘ１、ｙ１）に表示すべき原画像の座標は式５で得られる。

具体的には、画像表示エリア４３のサイズが表３に示すサイズであり、原画像の座標の(８０,１２０)の画素が画像表示エリア４３の左上隅に表示される場合、画像表示エリアの右下隅の座標（ｘ１、ｙ１）に表示すべき原画像の座標は式５で得られる。

x１ = ８０ + (８００ × １００ ÷ ２００) − １
y１ = １２０ + (５６０ × １００ ÷ ２００) − １ …（式５）

上記の処理をまとめると、次のようになる。今、画像表示エリア４３のサイズが表４に示すようになっていて、倍率（百分率で示される整数）をＭとし、画像表示エリア４３の左上隅に表示する原画像の座標を（ｘ０、ｙ０）とすると、画像表示エリア４３の右下隅に表示されるべき原画像中の座標（ｘ１、ｙ１）は式６で得られる。

x１ = x０ + (Window_W × １００ ÷ Ｍ) − １
y１ = y０ + (Window_H × １００ ÷ Ｍ) − １ …(式６)

以上からもわかるように、画像表示エリア４３のサイズＷｉｎｄｏｗ＿Ｗ、高さＷｉｎｄｏｗ＿Ｈと、その際の倍率Ｍ、更には、画像表示エリア４３の左上隅位置に表示すべき原画像の画素位置（ｘ０，ｙ０）が与えられると、原画像からの切り出し範囲（枠７１乃至７３の位置とサイズ）が決定されることになる。

従って、現像結果を保存する場合には原画像全体に対して行なうことが必要であるものの、編集中の現像処理は、原画像の切り出し範囲内の部分的な領域に対して行なえば良いことになり、高いレスポンスを得ることができる。

図８は、現像処理の前段階で行われる画像の切り出し処理（以下、対象画像抽出処理という）を示すフローチャートである。以降、ステップＳ８０１〜Ｓ８０７の処理を対象画像抽出処理と記す。

以下、図８のフローチャートに従って説明するが、説明中の各変数は以下の意味である。
fulpix_w :ＲＡＷ画像の水平方向の画素数、
fulpix_h :ＲＡＷ画像の垂直方向の画素数、
window_w :画像表示エリア４３の水平方向の画素数、
window_h :画像表示エリア４３の垂直方向の画素数、
M :倍率指示部５０で指定された倍率（％）、
C_w :倍率Ｍに基づく原画像の水平方向の画素数、
C_h :原画Ｍに基づく原画像の垂直方向の画素数

ステップＳ８０１では、ＲＡＷ画像から処理対象となる画像全体の画像情報を読込む。

次いで、ステップＳ８０２で、表示に関する情報を読込む。表示に関する情報とは、モニタ上表示された画像表示エリア４３のサイズ情報ｗｉｎｄｏｗ＿ｗ、ｗｉｎｄｏｗ＿ｈ、及び、拡大率情報Ｍである。

ステップＳ８０３では、倍率に基づくＲＡＷ画素のサイズＣ＿ｗ、Ｃ＿ｈを次式７で算出する。
C_w = ( fulpix_w × M ÷１００)
C_h = ( fulpix_h × M ÷１００) …(式７)

ステップＳ８０４では、画像表示エリア４３のサイズｗｉｎｄｏｗ＿ｗ、ｗｉｎｄｏｗ＿ｈと、倍率Ｍを反映させたＲＡＷ画像のサイズＣ＿ｗ、Ｃ＿ｈを比較する。具体的には、次式（８）、（９）が真となるかどうかを判定する。
window_w ＜ C_w …（式８）
window_h ＜ C_h …（式９）

ステップＳ８０４で、式（８）、（９）が満たされる場合、ＲＡＷ画像全体を表示することができないことを意味する。つまり、ＲＡＷ画像全体の一部分の表示になる。それ故、ステップＳ８０５では、部分的に切り出すための切り出し領域のサイズと位置を算出する。この切り出し領域のサイズは、先に示した式６で求めればよい。なお、式（６）において、座標（ｘ０，ｙ０）であるが、ＲＡＷ画像データを最初に現像処理する場合には、画像表示エリア４３の中心位置と、ＲＡＷ画像データの中心位置とを一致させるよう場合には、
ｘ０＝fulpix_w／２−window_w/２
ｙ０＝fulpix_h／２−window_h/２
として求めれば良い。

また、ステップＳ８０４で、式（８）、式（９）が満たさない場合には、倍率Ｍに応じた画像全体のサイズ（幅、高さ）が、画像表示エリア４３のサイズ内に収まり、ＲＡＷ画像全体が表示されることになるので、ステップＳ８０６に進む。

ステップＳ８０６で、倍率Ｍが１００％（元のＲＡＷ画像の大きさ）より小さいか否か、すなわち、「Ｍ＜１００」を満たすか否かを判定する。倍率Ｍが１００％より小さい場合は、画像全体に対して縮小画像になっているのでステップＳ８０７で、ＲＡＷ画像データ中の切り出し領域内の画像データを「Ｍ／１００」に従って間引き処理し、その結果を本実施形態における「対象画像抽出処理」の処理結果として出力する。間引き方法の例は図６（ａ）乃至（ｃ）の説明の通りである。また、倍率Ｍが１００％（ＲＡＷ画像の１画素＝１表示画素）以上であった場合に、間引き処理は行なわず、ステップＳ８０５で決定した切り出し領域内の画像データを、「対象画像抽出処理」の結果として出力する。

以上のようにして、ＲＡＷ画像データ中の切り出し領域からの画像データの抽出処理を行なうが、この抽出された画像データに対して、図５のステップＳ５０８〜Ｓ５１３の現像処理が行われる。このように表示状態に応じた抽出処理が行われることによって現像（再生）処理が行われる対象となる画像は、画像表示エリア４３のサイズと設定された倍率によって決まるＲＡＷ画像の一部分にすることが可能となり、結果的に現像処理を行なう際の画素数は少なくできるので、現像処理に要する処理時間を削減することができる。

また、ステップＳ５０５の色補間を終えたＲＡＷ画像をキャッシュメモリ等に保持するようにしても良い。この場合には、色補間処理にかかる時間を削減出来るのでさらに高速化することが出来る。

次に、実施形態における対象画像抽出処理を行なった場合の現像処理時間が、従来の現像処理よりも短くできる点について説明する。先ず、説明するまでに、各変数を以下にように定義する。
bef_time : 従来の処理時間（すなわち全画像情報を現像処理した場合の処理時間）
aft_time : 本実施形態を利用した場合の処理時間
pre_time : Ｓ５０１〜Ｓ５０５,Ｓ５０６及びＳ５０７の処理にかかる時間
dev_time : 現像処理の１画素あたりの処理にかかる時間
out_time : Ｓ５１４の処理にかかる時間
ext_time : 対象画像抽出処理にかかる時間
outpix_w : 対象画像抽出処理後の横方向pixel数
outpix_h : 対象画像抽出処理後の縦方向pixel数
vis_width :倍率に応じた表示領域内の横方向pixel数
vis_height :倍率に応じた表示領域内の縦方向pixel数

従来の処理時間(bef_time)は次式１０で表わされる。
bef_time = pre_time + dev_time ×(fulpix_w × fulpix_h) + out_time …（式１０）
一方、本実施形態の対象画像抽出処理を行った場合の処理時間(aft_time)は次式１１で示される。
aft_time = pre_time + ext_time + dev_time ×(outpix_w × outpix_h) + out_time …（式１１）
上記の式（１０）、式（１１）で算出される時間は、乗算係数であるfulpix_w、fulpix_h、outpix_w、及び、outpix_hの値が支配的であることは明らかである。

ここで、対象画像抽出処理後の画素数(outpix_w, outpix_h)の算出方法を以下に示す。尚、原画像の大きさ(fulpix_w, fulpix_h)と、表示に関する情報(M, window_w, window_h)は読み込み済み（代入済み）とする。

C_h = fulpix_w * M / 100;
C_w = fulpix_h * M / 100;
if(C_W > window_w){
vis_width = window_w;
}else{
vis_width = C_w;
}
if(C_h > window_h){
vis_height = window_h;
}else{
vis_height = C_h;
}
outpix_w = vis_width * 100 / M;
outpix_h = vis_height * 100 / M; …（式１２）

ここで、本実施形態において、次式１３は常に真である。
outpix_w×outpix_h <= fulpix_w× fulpix_h …(式１３)
そのため、式１４の条件が成り立つ場合、式１５は真である。
ext_time ＜ dev_time × (( fulpix_w × fulpix_h) - ( outpix_w × outpix_h) …（式１４）
bef_time ＞ aft_time …（式１５）

本実施形態において属性情報は、ファイルに付属して記録されていることを例に挙げたが、画像情報と関連づけられて保存されていれば、別ファイルで記録されていても、保存されているメディアなどが違ったとしても画像処理装置が読み込める条件が整っていれば、可能である。

本実施形態において使用者が画像表示エリア４３と倍率Ｍを変更せず画質調整のみを行った場合（つまり、ユーザ画質調整情報のみ変更があった場合）、前回の対象画素抽出処理後の画像情報がキャッシュメモリなど記憶媒体に保持されていれば、前記対象画素抽出後の画像情報に対してＳ５０８〜Ｓ５１４の処理を行なえば更なる処理時間の短縮ができる。ただし、記憶媒体からの読み込み時間(read_time)が対象画像抽出処理までの時間(pre_time + ext_time)より短かいことが条件である。対象画像抽出処理後の画像情報に対して、ステップＳ５０８〜Ｓ５１４の処理を行った場合の処理時間(cash_time)を式１６に示す。
cash_time = read_time + dev_time ×( outpix_w × outpix_h) + out_time …（式１６）

そして、式１７の条件が成り立つ場合、式１８は真である。
read_time < pre_time + ext_time + dev_time × (( fulpix_w × fulpix_h) - ( outpix_w × outpix_h) …（式１７）
bef_time > cash_time …（式１８）

本実施形態において、画像の再生および処理の対象となる範囲を算出して(ステップＳ８０５)から、間引き処理(ステップＳ８０７)を行ったが、間引き処理を行った後、前記範囲を算出しても同様の効果がある。

また、色補間処理、間引き処理、表示領域の部分を抽出処理、いずれかの組み合わせで同時もしくは平行して行うことができる場合には、同時もしくは平行に処理を行ってもよい。また、色補間処理後の画像情報をキャッシュメモリ等に保持しておくことによって、対象画像抽出処理やそれ以降のユーザの設定した再生パラメータに基づく現像処理やスクロール等の表示がさらに高速になることは言うまでもない。

また、本実施形態では、ＲＡＷ画像の色補間処理後の画像に対して対象画像抽出処理を行なう場合について示した。一方、可逆圧縮したＲＡＷ画像の記録時に所定の画素数ごとにマーキング等のインデックス情報を挿入することによって、圧縮されたＲＡＷ画像から所定の画素位置が分かるようなＲＡＷ画像とすることもであれば、対象画像抽出処理は解凍処理前のステップＳ５０４の前に行なっても良い。つまり、ＲＡＷ画像からの対象画像抽出処理を行なった後、抽出した範囲のみに対して解凍処理を行い、色補間とその後同様に現像処理を行なう。このように、抽出された対象画像のみに解凍処理を施すことによって、予め画像全体を解凍する必要がなくなるため、前述のpre_timeをさらに短くすることが可能になる。なお、この場合は対象画像抽出後の解凍処理と色補間処理は現像処理の前に行なうことになるが、全体を解凍するのに要する時間よりも短くなるため、現像処理後の画像を高速に表示することが可能となる。

本実施形態において、画像の再生および現像処理の対象となる範囲を算出する方法を式６に示したが、現像処理において式２のスムージング処理のように出力画素の周辺画素も必要となる場合には、前記範囲よりも横方向および縦方向に必要な画素分大きい範囲を対象画素として現像し、表示時に表示領域に該当する範囲のみ表示すればよい。

本実施形態において、画像表示エリア４３のサイズがＲＡＷ画像のサイズよりも小さく解像に関する画質確認に適さない場合、例えば１００％以下の場合、現像処理は画質調整の指標として妥当な画質を保てるならば、高速化のために１００％で用いる現像処理中の適当な処理を省略してもよい。例えば、倍率が２５％などの場合、解像に関する画質確認の判断材料としにくいため、シャープネス処理を簡易なものにしてしまってもよいし、シャープネス処理のみの場合は処理結果を反映させずに、倍率に応じて抽出した画像の表示だけを行なっても良い。ここで、シャープネス処理とは、アパーチャ補正処理あるいはエッジ強調処理を意味する。

以上、第１の実施形態に示したように、例えば、任意の倍率や画像表示エリアのサイズ等の表示状態に応じて、処理する対象となる画像情報を変更することによって、従来より高速に現像処理結果の表示ができる。

なお、上記のようにして最終的に現像処理結果に操作者が満足すると、操作者は保存ボタン４２を操作することになる。この保存ボタン４２が操作された場合には、図１３に示す手順で、注目しているＲＡＷ画像データに対する編集結果をファイルとして保存することになる。

すなわち、ステップＳ１３０１でＲＡＷ画像データを読込む。そして、ステップＳ１３０２で、入力したＲＡＷ画像データを、保存ボタン４２を操作する直前でウインドウ４５で設定されたパラメータに従って、現像処理する。このときの現像処理では、倍率１００％、画像表示エリア４３のサイズがＲＡＷ画像のサイズと同じであるものとして、処理を行なえば良い。そして、ステップＳ１３０３にて、処理した結果をハードディスク装置８等にファイルとして保存する。

＜第２の実施形態＞
上記第１の実施形態において本表示のための現像処理後の画像表示を高速化することについて説明した。画質調整したとき（コントラストや明度などのパラメータを変更したとき）や画像表示エリア４３のサイズを変更したとき、画像表示エリア内の画像をスクロールしたときにも、同様に処理することが望ましい。但し、画像表示エリア４３内の画像をスクロール中等、最終的なスクロール位置が確定していない状況で、微小距離スクロールする毎に現像処理すると、そのスクロール動作がぎこちないものとなる。すなわち、スクロール処理では、スクロール操作にすばやく反応することが望ましい。これは、画像表示エリア４３のサイズを変える場合でも同様である。

そこで、本第２の実施形態では、画質調整した結果が得られるまでの間、画像表示エリア４３のサイズ変更中、画像表示エリア４３内の画像のスクロール中等、最終的な処理結果を得られるまでの間では簡易的な画像を表示する例を説明する。説明を簡単なものとするため、以下では、画質調整した結果が得られるまでの間に簡易的な画像を表示する場合について説明する。

図９は表示に関する情報（画質調整パラメータ、画像表示エリア４３のサイズ、及び倍率）に応じた画像処理結果を出力するまでの間、低解像度の画像を表示する処理の工程を示したフローチャートである
ステップＳ９０１からステップＳ９０５の処理は、第１の実施形態のステップＳ５０１からＳ５０５の処理と同様であるので、説明は省略する。

ステップＳ９０６で、一時表示用の低解像度の画素を抽出する。前記抽出方法は、倍率が１００％以下の間引き処理を画像全体に行う方法と同様である。

一時表示用の画像情報の解像度（倍率）は、一時表示として妥当な画質で処理時間が短いと体感できることを基準にして、操作者が予め設定登録するようにする。

前記一時表示用の画像情報は、図１０で後述するように画質調整時や表示情報に変更があった場合に利用できるため、ＲＡＭ４の適当な領域に保持するものとするが、保存先はハードディスク装置８でも構わない。

ステップＳ９０７では、対象画素抽出処理を行う。この対象画素抽出処理後の画像情報は、第１の実施形態で説明した通り、キャッシュ領域に保持する。ただし、表示に関する情報に変更があるなど、この対象画素抽出処理後の画像情報を再利用できなくなった場合には、破棄するものとする。

ステップＳ９０８からステップＳ９０９の処理は、第１の実施形態のステップＳ５０６からＳ５０７の処理と同様である。

ステップＳ９１０で、一時表示用の画像情報に対して現像処理を行う。ステップＳ９１１では、ステップＳ９１０の画像処理結果を表示装置７の画像表示エリア４３に出力する。これはステップＳ５１４の処理と同様である。この結果、真の現像処理が完了するまでの間でも、簡易的な画像が画像表示エリア４３に表示されることになる。

ステップＳ９１２では、対象画素抽出処理後の画像情報に対して真の現像処理を行う。そして、ステップＳ９１３で、Ｓ９１２の画像処理結果を出力装置に出力する。これもステップＳ５１４の処理と同様である。

図１０は、上記図９の処理を行った画像に対して、使用者が画質調整を再度行った場合に実行する処理を示すフローチャートである。

先ず、ステップＳ１００１で、ウインドウ４５を介して操作者が設定したユーザー画質調整情報を読込む。これはステップＳ５０７と同様の処理である。

ステップＳ１００２で、ユーザー画質調整情報に変更があるかないかの判定を行う。そして、このステップＳ１００２において、変更があったと判定された場合、ステップＳ１００３からステップＳ１００８の処理を行う。

ステップＳ１００３では、変更したユーザー画質調整情報が色またはの明るさに関する調整のための再生パラメータであるか否か判定を行う。色または明るさに関する調整である再生パラメータとは、例えばコントラスト、カラーマトリックス、トーンカーブ、明度、彩度、色相、ホワイトバランスである。ステップＳ１００３において色および／または輝度に関する調整情報に変更があったと判定された場合には、ステップＳ１００４からステップＳ１００６の処理を行う。

ステップＳ１００４では、先のステップＳ９０６でＲＡＭに保存していた一時表示用画像情報を読込む。一時表示用の画像情報がない場合（スクロール等で画像切り出し領域のサイズや位置が変更された場合）は、ステップＳ９０１からＳ９０６の処理を再度行い生成する。

ステップＳ１００５で、一時表示用の低解像度の画像情報に対して現像処理を行う。これはステップＳ９１０の処理と同様である。そして、ステップＳ１００６において、Ｓ１００５の一時表示用の画像に対する処理結果を画像表示エリア４３に表示出力する（ステップＳ５１４,Ｓ９１１の処理と同様である）。

ステップＳ１００７では、例えばＲＡＭに格納された対象画素抽出処理後の画像情報を読込む。対象画素抽出処理後の画像情報がない場合は、ステップＳ９０１からＳ９０５,Ｓ９０７の処理を再度行い生成する。

ステップＳ１００８で、対象画素抽出処理後の画像情報に対する真の現像処理を行う（ステップＳ９１２の処理と同様である）。

ステップＳ１００９では、Ｓ１００８の画像処理結果を画像表示エリア４３に表示出力する（ステップＳ５１４,Ｓ９１３の処理と同様である）。

以上であるが、一時表示用の画像情報に関する現像処理は、一時表示として妥当な画質を保てるならば、ステップＳ９１２で用いる現像処理中の適当な処理を省略しても良い。例えば、シャープネス処理、スムージング処理、ノイズ除去処理などは、一時表示の画像のように解像度が低い画像に対しては、操作者の画質確認の対象とはなりにくいので、それらの処理を省くか、簡易な処理にしてしまってもよい。

また、本実施形態において表示に関する情報に変更があった場合、たとえば表示領域のスクロールや画像表示エリア４３のサイズの変更があった場合、表示領域に該当する範囲の一時表示用の画像情報がキャッシュメモリに保持し、表示の切り替えが完了するまで前記一時表示用の画像を表示してもよい。または、ステップＳ９１０またはＳ１００５のユーザが設定した現像パラメータに基づいて処理した一時表示用の縮小画像をキャッシュメモリに保持していれば、ステップＳ９０９とＳ９１１、またはステップＳ１００４とＳ１００５の処理を行わずにこの縮小画像をＲＡＷ画像が処理されるまで表示しておくことが出来るため、更に現像処理後の表示画像の切り替え時に発生するタイムラグを少なくし、スムーズな表示更新が可能である。

本実施形態において、一時表示用の画像情報は画像全体を間引いて抽出していたが、対象画素抽出処理同様に表示領域の該当する範囲のみを間引いて抽出してもよい。

本実施形態において、ユーザー画質調整情報によって一時表示用の画像の処理結果を表示するか否かを判定していたが、前記判定条件に加えて、対象画素抽出処理後の画素数と一時表示用の画素数を比較して、前者の方が少ない場合、もしくは差がほとんどない場合には一時表示用の画像の処理結果を表示しないという判定をしてもよい。差がほとんどない基準は処理速度の差が見込めるか見込めないかを、pixel数や各画像情報の読み込み速度から判断すればよい。

本実施形態において、ステップＳ１００８の処理中、ウインドウ４５に対する操作が行われた場合、或いは、画像表示領域エリア４３のサイズが変更された場合、或いは画像表示エリア内の画像のスクロール中では、ステップＳ１００８の処理を中断し、ステップＳ１００１の処理に戻り、処理をしなおせば、色および／または輝度の調整中に常に一時表示用画像が更新することが可能である。例えば、コントラストを調整するスライダーバーを操作中、リアルタイムに一時表示用画像の表示が更新するといった画像装置を提供することが可能である。

本実施形態において、処理を平行に行うことができる環境であるならば、ステップＳ１００４〜Ｓ１００５の処理と、ステップＳ１００７〜Ｓ１００８の処理を平行して行ってもよい。また前記の場合に、Ｓ１００５よりＳ１００８の処理の方が早く終われば、Ｓ１００６の処理をせず、Ｓ１００９の処理を行えばよい。

以上説明したように第２の実施形態によれば、画像表示エリア４３のサイズ変更、スクロール変更中や、ウインドウ４５での画質調整した場合には、最終的な画像処理が完了するまでの間は、簡易的な一時表示用の画像を用いて画像表示エリア４３に表示することで、第１の実施形態よりも更にスムーズな表示更新をする画像処理装置が提供できる。且つ、シャープネスやスムージングなどの調整の場合には、一時表示をしないことによって、詳細な比較ができる画像処理装置を提供可能になる。

本実施の形態ではＲＡＷ画像として、撮像センサから出力された信号をＡ／Ｄ変換し、圧縮処理をしないデータを用いたが、Ａ／Ｄ変換後に可逆圧縮したデータであってもよい。

また、他にＲＡＷ画像は、撮像センサから得られた、出力アナログ信号でも良いし、Ａ／Ｄ変換を施した画像信号に、少なくともホワイトバランス処理を施していない段階のもの、撮像センサから得られた、Ａ／Ｄ変換を施した画像信号に輝度信号と色信号に分ける色分離処理をしていない段階もの、あるいは、beyar配列等の色フィルタを用いた場合等、色フィルタからの出力信号を色補間処理していない段階のもの、いずれかであっても良い。

なお、本実施形態では、撮像センサとしてＣＣＤについて説明をしたが、ＣＭＯＳセンサであっても同様である。多色感光層を持つセンサ等でも補間処理ではなく画素ごとの各色データを求めるが、他は同様である。

また、第１、第２の実施形態では、現像処理はＣＲＴ等のモニタに出力する処理として説明をしたが、ＲＡＷ画像から再生パラメータに基づいて印刷を行い、再生するものも含まれる。

また、実施形態では、ＲＡＷ画像データの各コンポーネントは１２ビットとして説明したが、このビット数に限るものではなく、一般のＪＰＥＧ Ｂａｓｅｌｉｎｅ符号化のように８ビットを超えるビット数であれば何ビットでも構わない。

また、実施形態で説明した処理は、デジタルカメラ等の撮像装置で撮像して得られた画像を入力するためのハードウェア（例えば、デジタルカメラが通常有するＵＳＢインタフェース、もしくはデジタルカメラから取り出したメモリカード等の記憶媒体をアクセスする装置）を有するパーソナルコンピュータ等の汎用情報処理装置で実行されるアプリケーションプログラムで実現できるものであるから、本発明はコンピュータプログラムをその範疇とすることは明らかである。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータにセットしてシステムにコピーもしくはインストールすることで実行可能になるわけであるから、本発明は、そのようなコンピュータ可読記憶媒体をもその範疇とすることは明らかである。

画像入力装置としてのデジタルスチルカメラの構成を示すブロック図である。 画像入力装置の画像記録までの工程を示すフローチャートである。 画像ファイルの構造を示す図である。 画像信号の画素配列を説明するための図である。 ＲＡＷ画像を記録装置から読み込み出力装置に表示するまでの工程を示すフローチャートである。 画像処理装置において設定された表示倍率毎の出力結果の例を示す図である。 画像処理装置において設定された表示倍率と画像表示領域のサイズ毎の出力結果の例を示す図である。 画像処理装置の表示に関する情報によって処理する対象となる画像情報を変更する第一の手段の工程を示すフローチャートである。 表示に関する情報に応じた画像処理結果を出力するまでの間、低解像度の画像を表示する処理の工程を示すフローチャートである。 変更した画質調整情報によって解像度の低い画像情報の処理結果を表示する否かを切り替える処理の工程を示すフローチャートである。 実施形態の画像処理を行う装置のブロック構成図である。 実施形態における画像処理アプリケーションのＧＵＩ画面の例を示す図である。 実施形態における保存処理時の処理内容を示すフローチャートである。

Claims (19)

1. 撮像センサを有する撮像装置より得られたＲＡＷ画像データを現像する画像処理装置であって、
   ＲＡＷ画像データの画素数に対応する、表示するために用いる表示手段の表示領域の画素数の割合を示す表示倍率を、ユーザーの操作に応じて設定する倍率設定手段と、
   ＲＡＷ画像データを読み込む読込手段と、
   ＲＡＷ画像データに対する現像処理を行う現像手段と、
   ＲＡＷ画像データの全画素よりも少ない一部の画素であって、前記倍率設定手段で設定された表示倍率が等倍未満の場合には当該設定された表示倍率が小さいほど少ない割合の画素を、前記ＲＡＷ画像データから抽出する抽出手段と、
   ＲＡＷ画像データのうち、該ＲＡＷ画像データの全画素ではなく、前記抽出手段で抽出した一部の画素を対象として前記現像手段による前記現像処理を行うように制御する制御手段と、
   前記現像手段による前記一部の画素を対象とした現像処理によって得られた画像データを前記表示領域に表示するように制御する表示制御手段と
   を備えることを特徴とする画像処理装置。
2. 撮像センサを有する撮像装置より得られたＲＡＷ画像データを現像する画像処理装置であって、
   ユーザーの操作に応じて、画像を表示するための表示領域のサイズを設定する領域サイズ設定手段と、
   ＲＡＷ画像データを読み込む読込手段と、
   ＲＡＷ画像データに対する現像処理を行う現像手段と、
   前記領域サイズ設定手段で前記表示領域のサイズが設定されたことに応じて、ＲＡＷ画像データの全画素よりも少ない一部の画素であって、前記領域サイズ設定手段で設定された現在のサイズの表示領域に対応する、前記ＲＡＷ画像データにおける領域のサイズを算出し、前記ＲＡＷ画像データから、算出した領域内の画素を抽出する抽出手段と、
   ＲＡＷ画像データのうち、該ＲＡＷ画像データの全画素ではなく、前記抽出手段で抽出した一部の画像データを対象として前記現像手段による前記現像処理を行うように制御する制御手段と、
   前記現像手段による前記一部の画素を対象とした現像処理によって得られた画像データを、表示手段の前記表示領域に表示するように制御する表示制御手段と
   を備えることを特徴とする画像処理装置。
3. 前記サイズ設定手段によって前記表示領域のサイズが変更されたことに応じて、前記抽出手段が前記抽出を行い、前記制御手段が該抽出された一部の画素を対象とした前記現像処理を行うように制御することを特徴とする請求項２に記載の画像処理装置。
4. ＲＡＷ画像データの画素数に対応する、表示するために用いる表示手段の表示領域の画素数の割合を示す表示倍率を、ユーザーの操作に応じて設定する倍率設定手段をさらに有し、
   前記抽出手段は、前記倍率設定手段で設定された表示倍率が等倍未満の場合には当該設定された表示倍率が小さいほど少ない割合の画素を、前記ＲＡＷ画像データから抽出することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記表示領域に表示すべき範囲をユーザーの操作に応じて変更する範囲変更手段を更に有することを特徴とする請求項２乃至４のいずれか１項に載の画像処理装置。
6. 前記範囲変更手段によって前記一部の範囲が変更されたことに応じて、前記抽出手段が前記抽出を行い、前記制御手段が該抽出された一部の画素を対象とした前記現像処理を行うように制御することを特徴とする請求項５に記載の画像処理装置。
7. ユーザーの操作に応じて、ＲＡＷ画像データの全画素を対象として前記現像手段による前記現像処理を行い、該現像処理によって得られた画像データを記録媒体に記録するように制御する記録制御手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記現像処理のパラメータをユーザーの操作に応じて設定するパラメータ設定手段を更に有し、
   前記現像手段は、前記パラメータ設定手段で設定されたパラメータに基づいて前記現像処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記パラメータ設定手段によってパラメータが設定されると前記一部の画素を対象として前記現像処理を行うように制御することを特徴とする請求項８に記載の画像処理装置。
10. 前記パラメータ設定手段で設定可能なパラメータはシャープネス処理のパラメータを含み、
    前記現像手段は、前記表示領域へ表示する画像の倍率が等倍未満の場合のシャープネス処理は、該倍率が等倍以上のシャープネス処理よりも簡易な処理を行うあるいはシャープネス処理を行わないことを特徴とする請求項８または９に記載の画像処理装置。
11. ＲＡＷ画像データを所定の間引き率で間引きして低画素数の一次表示用画像データを生成する生成手段と、
    前記生成手段で生成された前記一次表示用画像データを保持する保持手段とを更に有し、
    前記制御手段は、前記抽出手段で抽出した前記一部の画素を対象とした前記現像処理を行う際に、前記保持手段によって保持されている前記一次表示用画像データに対する前記現像処理である予備現像処理を行うように制御し、前記抽出手段で抽出した前記一部の画素を対象とした前記現像処理が完了するまでの間、前記予備画像処理によって得られた画像データを前記表示領域に表示するように制御することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記現像処理手段は、前記予備現像処理においては、シャープネス処理、スムージング処理、ノイズ除去処理の少なくともいずれかを省いた現像処理を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記制御手段は、前記抽出手段で抽出した前記一部の画素を対象とした前記現像処理を行う際であっても、当該現像処理が現像処理の特定のパラメータの変更に応じて行われるものである場合には、前記予備現像処理を行わないように制御することを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記特定のパラメータは、コントラスト、カラーマトリックス、トーンカーブ、明度、彩度、色相、及び、ホワイトバランスを除くパラメータであることを特徴とする請求項１３に記載の画像処理装置。
15. 前記生成手段は、ＲＡＷ画像データの全範囲から前記一次表示用画像データを生成することを特徴とする請求項１１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記生成手段は、ＲＡＷ画像データのうちの全範囲ではなく前記表示領域に表示すべき範囲から前記一次表示用画像データを生成することを特徴とする請求項１１乃至１４のいずれか１項に記載の画像処理装置。
17. 撮像センサを有する撮像装置より得られたＲＡＷ画像データを現像する画像処理装置の制御方法であって、
    ＲＡＷ画像データの画素数に対応する、表示するために用いる表示手段の表示領域の画素数の割合を示す表示倍率を、ユーザーの操作に応じて設定する倍率設定工程と、
    ＲＡＷ画像データを読み込む読込工程と、
    ＲＡＷ画像データに対する現像処理を行う現像工程と、
    ＲＡＷ画像データの全画素よりも少ない一部の画素であって、前記倍率設定工程で設定された表示倍率が等倍未満の場合には当該設定された表示倍率が小さいほど少ない割合の画素を、前記ＲＡＷ画像データから抽出する抽出工程と、
    ＲＡＷ画像データのうち、該ＲＡＷ画像データの全画素ではなく、前記抽出工程で抽出した一部の画素を対象として前記現像工程による前記現像処理を行うように制御する制御工程と、
    前記現像工程による前記一部の画素を対象とした現像処理によって得られた画像データを前記表示領域に表示するように制御する表示制御工程と
    を備えることを特徴とする画像処理装置の制御方法。
18. コンピュータを、請求項１乃至１６のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
19. コンピュータを、請求項１乃至１６のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images