JP4804161B2

JP4804161B2 - 画像処理装置、画像処理システム及び画像処理装置の制御方法

Info

Publication number: JP4804161B2
Application number: JP2006033982A
Authority: JP
Inventors: 澄草間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-02-10
Filing date: 2006-02-10
Publication date: 2011-11-02
Anticipated expiration: 2026-02-10
Also published as: JP2007215001A

Description

本発明は画像処理装置、画像処理システム及び画像処理装置の制御方法に関し、特にデジタルカメラにより撮影して得られたデジタル画像データを複数の画像処理装置を使用した分散処理するシステムに用いて好適な技術に関するものである。

デジタルスチルカメラなどの撮像装置は、CMOS、CCD等の撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換したRAW（未処理）データに様々な画像処理を施すように構成されている。

RAWデータを生成するための撮像素子としては、例えばBayer配列の撮像素子があり、これに色補間、ガンマ補正処理、ホワイトバランス調整処理などを行い、画像出力装置で出力する画像を再現する。以下、これらの処理を画像再現処理と呼ぶ。なお、Bayer配列とは、撮像装置の各素子が感知する色情報の配列であり、図４に示すR、G、B値の並びからなる。各画素は１つの色情報しか持たないため、Bayer配列の色補間では、他の色情報を回りの画素の色情報から補間するようにしている。

ここで、デジタルスチルカメラにおいて、記録される撮影画像の画像データは、非常に多くの情報量を有している。そこで、JPEG符号化などの画像圧縮方式により画像データ量を減らしてから記録媒体に記録するようにしている。このような画像データは、圧縮されるために色情報が失われ、表示装置で画像を表示する際や、プリンタで出力する際に期待した画像を得られないことがある。

これに対し、RAWデータを記録媒体に記録しておき、パソコン等の外部装置により画像の再現処理を行うようにすると、色情報の精度を落とすことなく高品質な画像を得ることができる利点が得られる。

ここで、外部装置により画像の再現処理を行う際に、ユーザは画像調整用のパラメータとしてガンマ値やホワイトバランス値などを所定の値に設定し、そのパラメータが適用された画像を確認しながら適当なパラメータを決定することとなる。

この確認作業において、画像の細部まで色の再現性を確認するためには大きな確認用画像が必要となる。そして、ユーザがパラメータを変更する度に撮像装置で記録されたRAWデータ全体に画像再現処理を施して確認用画像を表示すると、非常に時間がかかってしまうという問題がある。

したがって、パラメータ調整等は、特に処理が煩雑で時間がかかる偽色緩和処理を省略した画像再現処理（高速モード）で行い、リアルタイムに処理結果を反映して表示までを行うようにしている。一方、RAWデータ全体に偽色緩和処理を含めた画像再現処理（高画質モード）を行うことは、リアルタイムではなく後処理として、まとめて行われていた。

また、ネットワークに接続された複数の画像入力装置から入力された原画像データに対して画像処理を施す際には、画像入力装置に依存する画像処理を原画像データの入力時に行い、画像入力装置に依存しない画像処理は画像処理装置の負荷が軽いときに行う。また、入力された原画像データに対して画像処理を施し、ネットワークに接続された複数の画像出力装置に供給するためのデータを生成する際には、画像出力装置に依存しない処理を画像処理装置の負荷が軽いときに行い、画像出力装置に依存する画像処理を画像出力要求時に行う、という入出力装置に関わる処理に関する工夫も行われている（例えば、特許文献１参照）。

特開２００２−１９９１５１号公報

いずれにしても、RAWデータ全体に画像再現処理を行うには、リアルタイムに偽色緩和処理を含めた画像再現処理を行うことができないという問題があった。そこで、ネットワーク先の他のリソースを用いて画像再現処理を行うという方法もあるが、ネットワーク先で画像再現処理を行っても、その現像結果を送るのに非常に大きなデータを送らなければならないという二次的問題も発生する不都合があった。

本発明は前述の問題点にかんがみ、RAWデータを画像再現処理する際に、高速にしかも高画質に行なうことができるようにすることを目的としている。

本発明の画像処理装置は、ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理手段と、前記第１の処理手段による画像再現処理の結果を表示部に表示する第１の表示手段と、前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定手段と、前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信手段と、前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信手段と、前記第１の処理手段により実行された前記第１のモードでの画像再現処理の結果と、前記受信手段により受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示手段とを備えたことを特徴とする。

本発明の画像処理装置の制御方法は、ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理ステップと、前記第１の処理ステップによる画像再現処理の結果を表示部に表示する第１の表示ステップと、前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定ステップと、前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信ステップと、前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信ステップと、前記第１の処理ステップにより実行された前記第１のモードでの画像再現処理の結果と、前記受信ステップにより受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示ステップとを備えたことを特徴とする。

本発明のプログラムは、コンピュータに、ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理ステップと、前記第１の処理ステップによる画像再現処理の結果を表示部に表示する第１の表示ステップと、前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定ステップと、前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信ステップと、前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信ステップと、前記第１の処理ステップにより実行された前記第１のモードでの画像再現処理の結果と、前記受信ステップにより受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示ステップとを実行させることを特徴とする。

本発明によれば、デジタル画像データを複数の画像処理装置を使用して分散画像再現処理を行う場合に、従来と比較して、画像再現処理の負荷を分散させることができるとともに、ネットワークへの負荷も低減することができ、高速かつ効率的で高画質な画像再現処理を行うことができる。

（第１の実施形態）
以下、図面を参照して、本発明の好適な実施形態を説明する。
図１は、第１の実施形態の構成例を示すブロック図である。図１において、読込部１００は公知のCCD素子などで構成されている撮像装置などで画像を読み込む。入力部１０１はキーボードやポインティング装置で構成されており、ユーザは入力部１０１を操作しデータの入力や操作の指示を行うことができる。

蓄積部１０２はバイナリデータやメタデータを蓄積するものであり、ハードディスクで構成されている。表示部１０３は蓄積部１０２に蓄積されたバイナリデータを表示したり、読込部１００で読み込まれた画像データを表示したりするものであり、ＣＲＴまたは液晶で構成することができる。

ＣＰＵ１０４は前記の処理のすべてに関わり、ＲＯＭ１０５とＲＡＭ１０６はその処理に必要なメモリや作業領域を提供する。また、図２及び図３のフローチャートを参照して後述する本実施形態の処理手順を実現するための制御プログラムもＲＯＭ１０５に格納されている。

次に、本実施形態で示す画像処理装置でRAWデータ全体の画像再現処理を分散して行う方法について図２を用いて説明する。
ここで、ユーザがパラメータを指定したり、主な作業を行う画像処理装置を「メインＰＣ」とし、ネットワーク先で画像再現処理を実行する画像処理装置を「ワーカーＰＣ」とする。

まず、ステップＳ２０１において、分散処理対象となる「ワーカーＰＣ」を全て登録する。
次に、ステップＳ２０２において、ユーザにより複数枚数のRAWデータの画像再現処理が指示される。

次に、ステップＳ２０３において、登録済み「ワーカーＰＣ」の中で画像再現処理を実行可能なＰＣが存在するか否かを検索する。ここで、ワーカーＰＣの負荷が大きく画像再現処理を行うことができない場合、あるいはネットワークが接続されていない場合などにはそのＰＣは不可能となる。

ステップＳ２０３の検索の結果、画像再現処理を実行可能なワーカーＰＣが存在する場合はステップＳ２０４に進み、RAWデータと画像再現処理等に必要なパラメータをワーカーＰＣに転送する。ここで、パラメータとはRAWデータを処理するために必要な画像処理パラメータ（ガンマ補正処理、ホワイトバランス調整処理、色調処理、クロップ、リサイズなど）と、ファイル処理パラメータ（RAWデータの格納場所、画像再現処理後の画像ファイルの格納場所）等である。

次に、図３を用いて分散処理動作について詳しく説明する。
まず、ステップＳ３０１で、メインＰＣ３１からRAWデータとパラメータをワーカーＰＣ３２に転送する。

次に、ステップＳ３０２で、ワーカーＰＣ３２において、転送されたRAWデータをパラメータに従って、高画質モードと高速モードの両方のモードで画像再現処理する。本実施形態においては、画像再現処理用のプログラムはあらかじめワーカーＰＣ３２に用意しているものとする。

次に、ステップＳ３０３で、ワーカーＰＣ３２で高速モードと高画質モードで画像再現処理された結果の差分データを圧縮してメインＰＣ３１に転送する。
次に、ステップＳ３０４で、メインＰＣ３１は高速モードで画像再現処理を行い、結果を表示する。

次に、ステップＳ３０５で、メインＰＣ３１はワーカーＰＣ３２から転送された差分データファイルを解凍し、ステップＳ３０４で計算された高速モードの結果と合わせて高画質モードの処理結果を表示する。

以上により、始めはメインＰＣ３１で高速モードの画像再現処理した結果を表示し、次にワーカーＰＣ３２から送られた差分データを用いて、高画質モードで画像再現処理した結果を表示することができる。特に、ワーカーＰＣ３２の処理能力がメインＰＣ３１の処理能力より著しく高い場合に、本実施形態の効果を顕著に得ることができる。

一方、ステップＳ２０３の検索の結果、ワーカーＰＣ３２が使えない場合には、ステップＳ２０５に進み、メインＰＣ３１で高速モードで画像再現処理を実行する。
ステップＳ２０４、またはステップＳ２０５によって、RAWデータの画像再現処理が終わった後にステップＳ２０６に進む。

ステップＳ２０６においては、指示された全ての画像の画像再現処理が終了したかどうかを判断する。この判断の結果、全ての画像の画像再現処理が終了していない場合にはステップＳ２０３に戻り前述した処理を繰り返し実行する。また、ステップＳ２０６の判断の結果、全ての画像の画像再現処理が終了した場合には画像再現処理の分散処理を終了する。

以上説明したように、本発明の第１の実施形態によれば、メイン画像処理装置において、RAWデータを画像再現処理を行う場合には、ワーカーＰＣ３２が使用可能かどうか判定し、使用することができない場合にはメインＰＣ３１で高速モードで画像再現処理を実行する。また、使用することができる場合にはRAWデータをワーカーＰＣ３２に転送して高速モードと高画質モードの両方で画像再現処理を行う際に、差分データをメインＰＣ３１に転送する。このようにすることで、今まで非常に時間のかかっていた高画質モードの画像再現処理をワーカーＰＣ３２を用いて効率的に行うことが可能となる。また、ワーカーＰＣ３２が使えない場合には従来どおりの高速モードで行うので、ストレスのない画像再現処理動作を行うことが可能である。

（第２の実施形態）
前述した第１の実施形態においては、ステップＳ２０１でワーカーＰＣ３２はあらかじめ登録しておいたが、ネットワークで接続された画像処理装置を検索して、ステップＳ２０２以降に動的に登録するようにしてもかまわない。

また、第１の実施形態ではステップＳ２０３において、登録済み「ワーカーＰＣ」の中で画像再現処理を実行可能なＰＣがあるかを検索し、その検索結果に応じてメインＰＣ３１のみで画像再現処理を行うか、メインＰＣ３１及びワーカーＰＣ３２の両方で分散して画像再現処理を行なうかを判断していたが、登録済みＰＣの処理能力およびネットワーク回線容量も考慮して、実行可能なＰＣがあるかどうかを判断してもよい。

また、ステップＳ３０２でワーカーＰＣ３２には画像再現処理用のプログラムをあらかじめ転送しておいたが、RAWデータと一緒に画像再現処理用のプログラムを転送するようにしてもよい。

（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。そして、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２及び図３のフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態を示し、データ処理装置の構成を示すブロック図である。第１の実施形態を示し、分散処理を行う手順を示すフローチャートである。第１の実施形態を示し、メインＰＣとワーカーＰＣとで分散処理を行う場合の処理手順を説明するフローチャートである。 Bayer配列を示す図である。

符号の説明

１００読込部
１０１入力部
１０２蓄積部
１０３表示部
１０４ＣＰＵ
１０５ＲＯＭ
１０６ＲＡＭ

Claims

ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理手段と、
前記第１の処理手段による画像再現処理の結果を表示部に表示する第１の表示手段と、
前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定手段と、
前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信手段と、
前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信手段と、
前記第１の処理手段により実行された前記第１のモードでの画像再現処理の結果と、前記受信手段により受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示手段とを備えたことを特徴とする画像処理装置。
前記第１のモードの画像再現処理は偽色緩和処理を含まず、前記第２のモードの画像再現処理は前記偽色緩和処理を含むことを特徴とする請求項１に記載の画像処理装置。
前記送信手段はさらに、画像再現処理に必要なパラメータを前記外部装置へ送信することを特徴とする請求項１または２に記載の画像処理装置。
前記送信手段は、前記ＲＡＷデータの画像再現処理を実行するための指示を受けると、前記ＲＡＷデータを前記外部装置へ送信することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
ネットワークを介して互いに通信可能な第１の画像処理装置及び第２の画像処理装置を含む複数の画像処理装置を有する画像処理システムであって、
前記第１の画像処理装置は、ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理手段と、
前記第１の処理手段による画像再現処理の結果を表示部に表示する第１の表示手段と、
前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定手段と、
前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信手段と、
前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信手段と、
前記第１の処理手段により実行された前記第１のモードでの画像再現処理の結果と、前記受信手段により受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示手段とを備え、
前記第２の画像処理装置は、前記送信手段により送信されたＲＡＷデータに対して前記第１のモードおよび第２のモードで画像再現処理を実行する第２の処理手段と、
前記第２の処理手段により前記第１のモードおよび前記第２のモードで実行された画像再現処理の結果の差分データを前記第１の画像処理装置へ送信する第２の送信手段とを備え、
前記第１の表示手段は、前記第１の処理手段により実行された前記第１のモードでの画像再現処理の結果を前記表示部に表示し、前記第２の表示手段は、前記第１の処理手段により実行された前記第１のモードでの画像再現処理の結果と、前記受信手段により受信された差分データとを合わせることにより、前記第２のモードでの画像再現処理の結果を前記表示部に表示することにより、前記第２のモードでの画像再現処理の結果を表示することを特徴とする画像処理システム。
前記第１のモードの画像再現処理は偽色緩和処理を含まず、前記第２のモードの画像再現処理は前記偽色緩和処理を含むことを特徴とする請求項５に記載の画像処理システム。
前記送信手段はさらに、画像再現処理に必要なパラメータを前記第２の画像処理装置へ送信することを特徴とする請求項５または６に記載の画像処理システム。
前記送信手段は、ＲＡＷデータの画像再現処理を実行するための指示を受けると、前記ＲＡＷデータを前記第２の画像処理装置へ送信することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理システム。
コンピュータに、ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理ステップと、
前記第１の処理ステップによる画像再現処理の結果を表示部に表示する第１の表示ステップと、
前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定ステップと、
前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信ステップと、
前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信ステップと、
前記第１の処理ステップにより実行された前記第１のモードでの画像再現処理の結果と、前記受信ステップにより受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示ステップとを実行させることを特徴とするプログラム。
ＲＡＷデータに対して第１のモードで画像再現処理を実行する第１の処理ステップと、
前記第１の処理ステップによる画像再現処理の結果を表示部に表示する第１の表示ステップと、
前記ＲＡＷデータに対する画像再現処理を実行可能な外部装置が存在するか否か判定する判定ステップと、
前記判定の結果、前記外部装置が存在するとき、前記ＲＡＷデータを外部装置へネットワークを介して送信する送信ステップと、
前記外部装置において、前記ＲＡＷデータに対して第１のモードおよび第２のモードで実行された画像再現処理結果の差分データを、前記外部装置から受信する受信ステップと、
前記第１の処理ステップにより実行された前記第１のモードでの画像再現処理の結果と、前記受信ステップにより受信された差分データとを合わせることにより、さらに前記第２のモードでの画像再現処理の結果を前記表示部に表示する第２の表示ステップとを備えたことを特徴とする画像処理装置の制御方法。