JP6536012B2 - 画像生成装置及び画像生成制御プログラム並びに画像生成制御方法 - Google Patents

Description

本発明は、画像生成装置及び画像生成制御プログラム並びに画像生成制御方法に関し、特に、ＨＤＲ（High Dynamic Range）画像を生成する画像生成装置及びＨＤＲ画像の生成を制御する画像生成制御プログラム並びに画像生成制御方法に関する。

露出が異なる複数枚の入力画像から、白飛びや黒潰れが軽減された一枚のトーンマッピングされたＨＤＲ画像を作成する技術が知られている。このＨＤＲ画像の生成方法として、コンピュータ装置上で動作するアプリケーションソフトを利用する方法の他に、デジタルカメラ本体に内蔵されたＨＤＲ画像生成モジュールを利用する方法などがある。

上記画像合成に関連する技術として、例えば、下記特許文献１には、第１の画像に第２の画像を合成した合成画像を所定の色モードで出力する画像処理装置であって、第１の画像を取得する第１の取得手段と、第２の画像及び該第２の画像の色モードを取得する第２の取得手段と、前記第１の画像の色モードを判定する判定手段と、前記第１の画像に前記第２の画像を合成して合成画像を生成する合成手段と、前記第１の画像及び前記第２の画像の色モードを利用して、前記合成画像の出力時の色モードを設定する設定手段と、前記設定手段によって設定された色モードに従って、前記合成画像を出力する出力手段と、を備える画像処理装置が開示されている。

また、下記特許文献２には、異なる撮影条件の下での撮影によって得られた複数の合成対象画像を表わすデータを記憶する合成対象画像データ記憶手段、背景を撮影して背景画像を表すデータを出力する撮像手段、上記撮像手段による背景画像の撮影時の撮影条件にもとづいて、上記合成画像データ記憶手段に記憶されている上記複数の合成対象画像データの中から、背景画像に適する一つの合成対象画像データを選択する合成対象画像選択手段、および、上記撮像手段から出力される背景画像に、上記合成対象画像選択手段によって選択された合成対象画像を合成し、合成画像を表す合成画像データを出力する画像合成手段を備えた撮像装置が開示されている。

特開２００５−１０９６９１号公報 国際公開ＷＯ９９／６７９４９号

デジタルカメラなどの撮像装置に組み込まれたＨＤＲ画像生成モジュールを用いてＨＤＲ画像を生成する場合、例えば、動作モードを設定することによって、ＨＤＲ画像生成用に撮影された複数の画像データがＨＤＲ画像生成モジュールに入力されるため、ＨＤＲ画像を容易に生成することができる。しかしながら、ＨＤＲ画像生成モジュールが別の装置に組み込まれている場合、当該装置では入力されたデータがＨＤＲ画像の生成対象となる画像データであるのかを判別することができない。例えば、プリンタ装置にＨＤＲ画像生成モジュールを搭載した場合、プリンタ装置では入力されたデータが通常の印刷のデータであるのか、ＨＤＲ画像の生成のためのデータであるのかを判別することができない。そのため、ＨＤＲ画像を確実に生成することができないという問題があった。

また、撮像モジュールとＨＤＲ画像生成モジュールとが同じ装置に搭載されている場合、これらのモジュールは連動して動作させることができるため、撮像モジュールにＨＤＲ画像の生成に適した複数の画像データを取得させることができる。しかしながら、これらのモジュールが別々の装置に搭載されている場合、撮像モジュールが取得した画像データがＨＤＲ画像の生成に適した画像データであるとは限らず、不適切な画像データがＨＤＲ画像生成モジュールに入力された場合には適切なＨＤＲ画像を生成することができないという問題があった。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、適切なＨＤＲ画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供することにある。

本発明の一側面は、印刷のための画像を生成する画像生成装置であって、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定部と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成部と、前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択部と、を備え、前記画像選択部は、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更することを特徴とする。

本発明の一側面は、印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、前記装置に、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成処理、前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択処理、を実行させ、前記画像選択処理では、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更することを特徴とする。

本発明の一側面は、印刷のための画像を生成する装置を用いた画像生成制御方法であって、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成処理と、前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択処理と、を実行し、前記画像選択処理では、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更することを特徴とする。

本発明の画像生成装置及び画像生成制御プログラム並びに画像生成制御方法によれば、適切なＨＤＲ画像を確実に生成することができる。

その理由は、画像生成装置（画像生成制御プログラム）は、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定し、特定データの場合は、当該特定データに含まれる複数の画像に基づいてＨＤＲ画像を生成するからである。また、画像生成装置（画像生成制御プログラム）は、特定データに含まれる複数の画像の取捨選択を行ったり、複数の画像の内容を確認して画像の追加・代替を促したりして、ＨＤＲ画像の生成に適した画像を選択するからである。

本発明の一実施例に係るプリンタ装置の概略構成を示すブロック図である。 本発明の一実施例に係るプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。 本発明の一実施例に係るプリンタ装置の全体動作を示すフローチャート図である。 本発明の一実施例に係るプリンタ装置の全体動作を示すフローチャート図である。 本発明の一実施例に係るプリンタ装置の動作（入力データの補正処理）を示すフローチャート図である。 本発明の一実施例に係るプリンタ装置の動作（ＨＤＲ画像生成処理）を示すフローチャート図である。

背景技術で示したように、露出を変えて撮影した複数の画像からＨＤＲ画像を作成する技術が知られており、ＨＤＲ画像生成モジュールを搭載したデジタルカメラなどが市販されている。ここで、デジタルカメラなどのように、撮像モジュールとＨＤＲ画像生成モジュールとが同一の装置に搭載されている場合は、動作モードをＨＤＲ画像生成モードなどに設定することによって、撮像モジュールにＨＤＲ画像の生成に適した複数の画像データを取得させ、その複数の画像データをＨＤＲ画像生成モジュールに転送することができるため、ＨＤＲ画像生成モジュールでは、適切なＨＤＲ画像を容易に生成することができる。

しかしながら、撮像モジュールとＨＤＲ画像生成モジュールとが別々の装置に搭載されている場合は、ＨＤＲ画像生成モジュールを搭載する装置（例えば、プリンタ装置）では、入力されたデータが通常の印刷を指示するデータであるのか、ＨＤＲ画像を生成するためのデータであるのかを判別することができないため、ＨＤＲ画像を確実に生成することができない。また、通常の印刷を指示するデータと区別できたとしても、入力されたデータがＨＤＲ画像の生成に適したデータであるとは限らず、露出が不適切な画像データが含まれていたり、不適切な被写体が写り込んでいる画像データが含まれていたり、被写体がぶれている画像データが含まれていたりした場合には、適切なＨＤＲ画像を生成することができない。

すなわち、ＨＤＲ画像生成モジュールを搭載したプリンタ装置を用いて適切なＨＤＲ画像を確実に生成するためには、
・通常の印刷処理ではなく、ＨＤＲ画像生成処理を実行することを装置に認識させる、
・ＨＤＲ画像を生成するための複数の画像データが、通常印刷のためのデータとは異なる特別なデータであることを装置に認識させる、
・どの画像データがＨＤＲ画像生成処理の入力データとしてセットになっているのかを装置に認識させる、
といった処理をプリンタ装置に実行させる必要がある。

そこで、本発明の一実施の形態では、ＨＤＲ画像生成モジュールを搭載したプリンタ装置は、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データ（例えば、ｚｉｐファイル）であるかを判定する。入力されたデータが特定データの場合、複数の画像のファイルの拡張子や撮影日時、サイズなどに基づいて画像を取捨選択する。また、特定データに含まれる複数の画像の内容（露出、ゴーストや手ブレの有無など）を確認し、不適切な画像が含まれている場合は、画像の追加・代替を促す。その後、選択した複数の画像をＨＤＲ画像生成モジュールに転送し、ＨＤＲ画像生成モジュールは一枚のトーンマッピングされたＨＤＲ画像を生成し、エンジン部で印刷する。

具体的には、特定データに含まれる複数の画像の取捨選択や画像内容の確認の際に、以下の処理を行う。
（１）所定形式でグループ化された特定データのファイル名に完成度情報（ＨＤＲ画像の仕上がりを示す情報）が含まれる時は、その完成度情報に従って選択する画像の数量を変える、
（２）所定形式でグループ化された特定データに含まれる複数の画像の中に、明らかに他とは異なる種別の画像が含まれているときは警告を発し、当該画像をＨＤＲ画像の生成対象から外す、
（３）所定形式でグループ化された特定データに含まれる複数の画像が、更に複数のグループに分割可能な時は、複数のＨＤＲ画像生成が依頼されていると解釈し、グループ毎にＨＤＲ画像生成処理を実行する、
（４）所定形式でグループ化された特定データに含まれる複数の画像の内容を確認し、露出値（Ｅｖ値）のバランスが悪い場合は警告を発して画像の追加・代替を促す、
（５）所定形式でグループ化された特定データに含まれる複数の画像の中に、ゴーストとなる要素が混入している画像が見つかった場合は、警告を発して画像の代替を促す、
（６）所定形式でグループ化された特定データに含まれる複数の画像の中に、手ブレ（傾きやズレ）が検出された場合は、警告を発して画像の代替を促す。

また、画像の追加・代替を促す場合は、ユニークなジョブＩＤを発行し、追加・代替の画像をプリンタ装置に送信する際に、ファイル名にジョブＩＤを含ませることにより、すでにプリンタ装置内に保持されている画像との関連性を保つ。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像生成装置及び画像生成制御プログラム並びに画像生成制御方法について、図１乃至図５を参照して説明する。図１は、本実施例のプリンタ装置の概略構成を示すブロック図であり、図２は、本実施例のプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。また、図３乃至図５は、本実施例のプリンタ装置（コントローラファームウェア）の動作を示すフローチャート図である。

図１に示すように、本実施例の印刷システムは、印刷を指示する１又は複数のコンピュータ装置１０と、印刷処理を実行する１又は複数のプリンタ装置２０などで構成される。コンピュータ装置１０とプリンタ装置２０とは、Ethernet（登録商標）やToken Ring等の規格に従ってデータ通信を行うＬＡＮ（Local Area Network）などのネットワーク（構内ネットワーク）を介して接続されている。

［コンピュータ装置］
コンピュータ装置１０は、パーソナルコンピュータやタブレット端末、デジタルカメラなどであり、図示しないＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カードなどの記憶装置と、ＮＩＣ（Network Interface Card）やモデムなど入出力Ｉ／Ｆなどを備える。

ＣＰＵは、コンピュータ装置１０の動作を制御するプログラム、ＯＳ（Operating System）、必要に応じて、文書のデータをプリンタ装置１０が解釈可能な言語（ＰＣＬ（Printer Control Language）やＰＳ（Post Script）などのＰＤＬ（Page Description Language））に変換して印刷ジョブを作成するデバイスドライバ（プリンタドライバ）、ＨＤＲ画像を生成するための複数の画像を所定形式でグループ化してプリンタ装置２０に送信するアプリケーションなどをＲＯＭや記憶装置から読み出し、ＲＡＭに展開して実行する。

［プリンタ装置］
プリンタ装置２０は、ＭＦＰ（Multi Function Peripheral）などであり、ＣＰＵ２１とメモリ２２と記憶装置２３と入出力Ｉ／Ｆ２４と操作部２５と表示部２６と機構部２７とエンジン部２８などで構成される。

ＣＰＵ２１は、プログラムに従って演算するデータ処理装置である。メモリ２２は、ＲＯＭやＲＡＭなどである。ＲＯＭは、プリンタ装置２０の全体の動作を制御するための制御プログラム（本実施例の画像生成制御を行うコントローラファームウェアを含む。）、フォントデータなどを記録する。ＲＡＭは、ＣＰＵ２１による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。記憶装置２３は、ＨＤＤやＳＳＤなどであり、コンピュータ装置１０から取得した印刷ジョブ、印刷ジョブから生成した印刷データ、複数の画像を所定形式でグループ化した特定データなどを保存する。入出力Ｉ／Ｆ２４は、ＮＩＣやモデムなどであり、コンピュータ装置１０との接続を行う。

操作部２５は、ハードキーやタッチセンサなどで構成され、印刷に関する各種操作や、ＨＤＲ画像生成を実施するかの選択操作などを可能にする。表示部２６は、ＬＣＤ（Liquid Crystal Display）などで構成され、印刷に関する各種画面や、ＨＤＲ画像生成を実施するかをユーザに選択させる選択画面、ＨＤＲ画像生成に適していない画像が検出されたことを通知するメッセージなどを表示する。

機構部２７は、画像を形成する用紙を格納する用紙トレイ、エンジン部２８に用紙を搬送する給紙部、画像形成後の用紙を排出する排出部などで構成される。

エンジン部２８は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置、感光体ドラム、露光装置、転写ローラ、転写ベルト、定着装置などで構成され、用紙上に画像を形成する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から印刷データやＨＤＲ画像の画像データに応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を一次転写ローラ、二次転写ベルトを介して用紙に転写し、定着装置で定着させる処理を行う。

図２は、コントローラファームウェアの機能を示している。コントローラファームウェアは、ＣＰＵ２１を、制御部３０、言語部３５などとして機能させる。

制御部３０は、プリンタ装置２０全体の制御を担当する。制御部３０は、入力データ判定部３１、画像選択部３２、画像確認部３３、ＨＤＲ画像生成部（合成画像生成部）３４などを含む。

入力データ判定部３１は、コンピュータ装置１０などから入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する。例えば、入力されたデータがｚｉｐファイルの場合に特定データであると判定する。

画像選択部３２は、特定データに含まれる複数の画像の中から、ＨＤＲ画像の生成に適切な画像を取捨選択する。例えば、特定データのファイル名に完成度情報（ＨＤＲ画像の仕上がりを示す情報）が含まれている場合は、当該完成度情報に基づいてＨＤＲ画像の生成に利用する画像の数量を変更する。また、特定データに含まれる複数の画像の中に、ファイルの拡張子が他とは異なる画像、タイムスタンプ（例えば、撮影日時）が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、当該画像をＨＤＲ画像の生成に利用する画像から除外する。また、特定データに含まれる複数の画像が、ファイルの拡張子、タイムスタンプ、ファイルのサイズの少なくとも１つに基づいて複数のグループに分類できる場合は、当該複数の画像を複数のグループに分類する。

画像確認部３３は、特定データに含まれる複数の画像の内容を確認し、ＨＤＲ画像の生成に不適切な画像が含まれている場合は、その旨をユーザに警告して画像の追加・代替を促す。例えば、特定データに含まれる複数の画像のＥｖ値（露出値）を確認し、Ｅｖ値が予め定めた基準値及び当該基準値に対して正及び負の所定値（露出補正値）の３つの画像が揃っていない場合は、その旨を警告するメッセージを通知して、Ｅｖ値が基準値又は露出補正値の画像の追加又は代替を促す。また、特定データに含まれる複数の画像の中にゴースト（不要な被写体）が写り込んでいる画像が含まれているかを確認し、ゴーストが写り込んでいる画像が含まれている場合は、その旨を警告するメッセージを通知して、前記ゴーストが写り込んでいない画像の追加又は代替を促す。また、特定データに含まれる複数の画像の中に手ブレが生じた画像が含まれているかを確認し、手ブレが生じた画像が含まれている場合は、その旨を警告するメッセージを通知して、手ブレがない画像の追加又は代替を促す。また、画像の追加又は代替を促す際に、ユニークなジョブＩＤ（所定の識別情報）を通知する。

ＨＤＲ画像生成部３４は、選択された複数の画像に基づいてＨＤＲ画像を生成する。具体的には、公知の手法を用いて、イメージ補正処理、ゴースト検出／除去処理、放射輝度マップ作成処理、シーン分類処理、トーンマッピング処理、ガモットマッピング処理などを行ってＨＤＲ画像を生成する。

なお、本実施例の画像生成制御プログラムは、ＣＰＵ２１を、入力データ判定部３１、画像選択部３２、画像確認部３３及びＨＤＲ画像生成部３４（特に、入力データ判定部３１及びＨＤＲ画像生成部３４）として機能させるものである。

言語部３５は、入力データが印刷ジョブの場合に、印刷ジョブのコマンド（ＰＤＬコマンド）を解釈し、印刷ジョブに含まれる各ページのデータをラスタライズして印刷データを生成する。

なお、本実施例では、コンピュータ装置１０からは、複数の画像が所定形式でグループ化された特定データを取得する構成とするが、コンピュータ装置１０から複数の画像データを取得してもよいし、複数の画像データを指定した印刷ジョブを取得してもよい。印刷ジョブを取得した場合は、上記言語部３５は、印刷ジョブから複数の画像データを特定して、入力データ判定部３１に転送すればよい。

また、上記では、コントローラファームウェアを機構部２７やエンジン部２８を備えるプリンタ装置２０で動作させる構成としたが、本実施例の画像生成制御を実施する装置は、コントローラファームウェアが動作可能な装置であればよく、例えば、コントローラファームウェアを、エンジン部２８に印刷を指示するプリンタコントローラやプリンタサーバなどで動作させてもよい。

以下、上記構成のプリンタ装置２０の動作について説明する。ＣＰＵ２１は、ＲＯＭ又は記憶装置２３に記憶したコントローラファームウェア（画像生成制御プログラムを含む。）をＲＡＭに展開して実行することにより、図３乃至図５のフローチャート図に示す各ステップの処理を実行する。なお、図３のフローチャートは作図の都合上、分図しているが、これらは一連の処理を示している。

図３（ａ）に示すように、コントローラファームウェアは諸々の制御処理（例えば、入出力Ｉ／Ｆ２４によるコンピュータ装置１０との通信）を実行し（Ｓ１０１）、制御部３０（入力データ判定部３１）は、複数の画像が所定形式でグループ化された特定データを受信したかを判断する（Ｓ１０２）。特定データを受信していない場合（Ｓ１０２のＮｏ）は、Ｓ１０１の制御処理に戻って、コントローラファームウェアは諸々の制御処理（例えば、印刷ジョブを受信した場合は通常の印刷処理）を実行する。なお、複数の画像が所定形式でグループ化された特定データとは、複数の画像データがｚｉｐ圧縮されたデータなどである。

特定データを受信した場合（Ｓ１０２のＹｅｓ）は、制御部３０（入力データ判定部３１）は、受信した特定データのファイル名の中にユニークなジョブＩＤが含まれているかを判断する（Ｓ１０３）。このユニークなジョブＩＤは、別々のタイミングで受信した画像を、ＨＤＲ画像生成処理の対象となる一連の画像として認識するために使用されるものであり、後述するＳ１０９で発行される。

ファイル名の中にユニークなジョブＩＤが含まれている場合（Ｓ１０３のＹｅｓ）は、追加ないし代替の画像データが送られてきたことを意味するため、制御部３０（入力データ判定部３１）は、受信した特定データに含まれる画像と既にプリンタ装置２０の記憶装置２３等に当該ジョブＩＤにて保存済みの画像とを、以降の処理においてセットの画像として認識する（Ｓ１０４）。

次に、制御部３０（画像確認部３３）は、Ｓ１０２で受信した特定データに含まれる複数の画像、又は、Ｓ１０４でセットとして認識した複数の画像の中に、不適切な画像がないか否かを事前に確認する画像確認処理を行う（Ｓ１０５）。図４は、画像確認処理の詳細を示している。

まず、制御部３０（画像確認部３３）は、Ｅｖ値バランスチェック処理として、入力された複数の画像のＥｖ値のバランスを確認する（Ｓ２０１）。例えば、デジタルカメラが最良と判断した基準値（標準露出：０Ｅｖ）に対して、プラス側とマイナス側に露出補正（＋２Ｅｖ、−２Ｅｖ）を行った合計３つの画像を用いてＨＤＲ画像を生成するのが一般的であることから、この数値を基準にして、入力された複数の画像のＥｖ値のバランスを確認する。

具体的には、Ｅｖ値が０Ｅｖと＋１Ｅｖの２つの画像が入力されたときは、マイナス側に露出補正した画像が欠落しているため、プラス側と同等の露出補正値の−１Ｅｖの画像が追加されることが望ましいと判定する。また、Ｅｖ値が−０．５Ｅｖと０Ｅｖと＋０．５Ｅｖの３つの画像が入力されたときは、標準露出に対してプラス側とマイナス側に露出補正された３つの画像があるものの、露出補正値が−０．５Ｅｖ、＋０．５Ｅｖと小さく、レンジが不足しているため、それら２つの画像を露出補正値が−２Ｅｖと＋２Ｅｖなどの画像と代替することが望ましいと判定する。なお、各々の画像のＥｖ値は画像データに含まれているＥｘｉｆ（Exchangeable image file format）情報から取得することができる。

次に、制御部３０（画像確認部３３）は、ゴースト検出処理として、入力された複数の画像の中に、ゴーストとなる要素が混入していないかどうかを確認する（Ｓ２０２）。ゴーストとは、例えば、露出ブラケティングで複数枚撮影した画像の中に、たまたま移動中の人や車などの被写体（不要な被写体）が写り込んでしまった場合、当該被写体が最終仕上がりのＨＤＲ画像の中にあたかもゴーストのようにうっすらと写ってしまう現象のことである。ここでは、複数の画像を比較し、相関関数を用いた数学的な手法などを用いて、他の画像には含まれていない移動物体等が混入していないかどうかを検出する。画像中にゴーストとなる要素が混入していた場合は、当該画像はゴーストとなる要素が混入していない画像と代替することが望ましいと判定する。

次に、制御部３０（画像確認部３３）は、手ブレ検出処理として、入力された複数の画像の中に、手ブレ（傾きやズレ）が無いかどうかを確認する。例えば、公知の画像処理技術を利用して、各々の画像の中からコーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって、ズレや回転が発生していないかを確認する。手ブレが発生していた場合は、当該画像は手ブレが無い画像と代替することが望ましいと判定する。

なお、図４では、画像確認処理として、Ｅｖ値が適切であるか、ゴーストが写り込んでいないか、手ブレが無いかを確認したが、これらの処理に加えて、撮影範囲が適切であるかなどを確認することもできる。撮影範囲が適切であるかどうかは、複数の画像の注目点の位置が一致するかなどによって確認することができる。

図３（ａ）のフローチャートに戻って、制御部３０（画像確認部３３）は、画像の追加・代替が望ましいケースを検出したかを判断する（Ｓ１０６）。画像の追加・代替が望ましいケースを検出した場合（Ｓ１０６のＹｅｓ）は、現行の画像で処理を続行するかどうかを判断する（Ｓ１０７）。例えば、追加・代替が望ましい画像の入力を促すメッセージをユーザに通知するとともに、続行、キャンセル、画像の追加・代替の実施、のいずれかのアクションをユーザに選択させ、その選択結果に基づいて処理を続行するかどうかを判断する。

処理の続行が選択された場合（Ｓ１０７のＹｅｓ）は、Ｓ１１０に遷移し、処理の続行が選択されなかった場合（Ｓ１０７のＮｏ）は、制御部３０（画像確認部３３）は、画像の追加・代替の実施が選択されたかを判断する（Ｓ１０８）。画像の追加・代替の実施が選択されなかった場合（Ｓ１０８のＮｏ）は、ＨＤＲ画像生成処理はキャンセルされたことになるため、Ｓ１０１の制御処理に戻って、コントローラファームウェアは諸々の制御処理を実行する。

画像の追加・代替の実施が選択された場合（Ｓ１０８のＹｅｓ）は、制御部３０（画像確認部３３）は、ユニークなジョブＩＤを発行し、入力された画像のファイル名にこのジョブＩＤを付加して記憶装置２３等に保存すると共に、このジョブＩＤをユーザに通知する（Ｓ１０９）。ここで発行されたジョブＩＤは、後ほど、追加・代替の画像をプリンタ装置２０に送信する際に利用される。すなわち、追加・代替の画像のファイル名にこのジョブＩＤを付加して送信することで、すでにプリンタ装置２０内に保持されている画像との関連性を保つことができる。なお、ユーザへの通知は、プリンタ装置２０の表示部２６（オペレーションパネル）上に表示する方法の他に、ユーザが追加・代替の画像を送信するコンピュータ装置１０の画面上に表示させる方法などがあり得る。その後、Ｓ１０１の制御処理に戻ってコントローラファームウェアの諸々の制御処理を実行する。

画像の追加・代替が望ましいケースを検出しなかった場合（Ｓ１０６のＮｏ）、及び、現行の画像での処理の続行が選択された場合（Ｓ１０７のＹｅｓ）は、制御部３０（画像選択部３２）は、入力された複数の画像の中に、他とは異なる種別の画像が含まれていないかどうかを判断する（Ｓ１１０）。例えば、複数の画像は露出ブラケティングで撮影することが一般的であるので、複数の画像の種類（拡張子）は同じとなり、画像のタイムスタンプやサイズは近い値となる。そこで、このタイムスタンプの値や種類（拡張子）、更にはサイズ等のパラメータを使用して、異なる種別の画像が含まれていないかどうかを判定する。

具体的には、入力された複数の画像が「J1.jpg」、「J2.jpg」、「J3.jpg」、「P.png」の場合、拡張子が異なる「P.png」は間違って混入したと推測できるため、異なる種別の画像が含まれていると判定する。また、入力された複数の画像の中に、タイムスタンプが所定の範囲（例えば、１分）を超える画像、及び／又は、サイズが所定の範囲（例えば、±１０％）を超える画像が含まれている場合は、異なる種別の画像が含まれていると判定する。なお、拡張子が異なる画像、タイムスタンプやサイズが所定の範囲を超える画像が１つだけでなく複数含まれている場合は、後述のグルーピングが可能な場合があるため、ここでは排除しないものとする。

他とは異なる種別の画像が含まれていると判断した場合（Ｓ１１０のＹｅｓ）は、制御部３０（画像選択部３２）は、その旨をユーザに通知した上で、当該画像をＨＤＲ画像生成処理の対象から除外し（Ｓ１１１）、処理を続行する。

次に、図３（ｂ）に示すように、制御部３０（画像選択部３２）は、入力された複数の画像に関してグルーピングが可能かどうかを判断する（Ｓ１１２）。例えば、複数の画像は露出ブラケティングで撮影することが一般的であるので、複数の画像の種類（拡張子）は同じとなり、画像のタイムスタンプやサイズは近い値となる。そこで、このタイムスタンプの値や種類（拡張子）、更にはサイズ等のパラメータを使用して、グルーピングが可能かどうかを判定する。

具体的には、入力された複数の画像が「A1.jpg」、「A2.jpg」、「A3.jpg」、「B1.jpg」、「B2.jpg」、「B3.jpg」であり、「A1.jpg」〜「A3.jpg」ならびに「B1.jpg」〜「B3.jpg」のタイムスタンプ及び／又はサイズが所定範囲内の場合は、Ａ、Ｂの２つのグループに分類できるものと判定する。また、入力された複数の画像が「A1.jpg」、「A2.jpg」、「A3.jpg」、「B1.bmp」、「B2.bmp」、「B3.bmp」の場合、拡張子に基づいてＡ、Ｂの２つのグループに分類できるものと判定する。

複数の画像のグルーピングが可能と判断した場合（Ｓ１１２のＹｅｓ）は、制御部３０（画像選択部３２）は、画像のグルーピングを実施する（Ｓ１１３）。その場合、後述のＨＤＲ画像生成処理（Ｓ１１６）はグループ単位で複数回実行するものとする。次に、制御部３０（画像選択部３２）は、特定データのファイル名に予め定めた完成度情報（ＨＤＲ画像の仕上がりを示す情報）があるか否かを判断する（Ｓ１１４）。ファイル名に完成度情報がある場合（Ｓ１１４のＹｅｓ）は、制御部３０（画像選択部３２）は、完成度情報に基づいて選択する画像の数量を変更する（Ｓ１１５）。

例えば、「HDR_HQ.ZIP」というファイル名の特定データを受信した場合、”ＨＱ（High Quality）”という完成度情報が含まれているので、現時点で選択されている全ての画像を使用する。また、「HDR_AUTO.ZIP」というファイル名の特定データを受信した場合、”AUTO”という完成度情報が含まれているので、現時点で選択されている画像の中から最適なもの（例えば、Ｅｖ値が所望の値の画像や露出補正値がプラス側とマイナス側とでセットになっている画像、ゴーストや手ブレがない画像など）を選択する。また、「HDR_FAST.ZIP」というファイル名の特定データを受信した場合、”FAST”という完成度情報が含まれているので、処理速度の短縮を最優先として、現時点で選択されている画像の中から必要最低限の数量の画像を選択する。

なお、ここでは特定データのファイル名に完成度情報があるかを判断したが、特定データとは別に完成度情報を取得してもよい。また、特定データに含まれる画像の数量や構成に基づいて制御部３０（画像選択部３２）が完成度を判断してもよい。

ここまでのプロセスでＨＤＲ画像生成処理に用いる複数の画像が選択されたので、制御部３０（ＨＤＲ画像生成部３４）は、ＨＤＲ画像生成処理を実行する（Ｓ１１６）。図５は、ＨＤＲ画像生成処理の詳細を示している。

まず、制御部３０（ＨＤＲ画像生成部３４）は、イメージ補正処理として、複数の画像に対して、撮影時の手ブレ等に起因する位置のズレや回転の補正処理を行う（Ｓ３０１）。例えば、公知の画像処理技術を利用して、コーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって位置のズレや回転を補正する。この位置のズレや回転の補正処理は標準露出の画像を基準とする。なお、Ｓ１０５の画像確認処理（Ｓ２０３）において手ブレが検出され、画像の代替が行われている場合、ここでの補正処理はスキップすることができる。また、撮影時の手ブレ等に起因する位置のズレや回転に加えて、撮影範囲の補正処理を行うこともできる。この補正処理は、注目点が一致する共通の撮影範囲をトリミングすることによって実現することができる。

次に、制御部３０（ＨＤＲ画像生成部３４）は、ゴースト検出／除去処理として、複数の画像の中に写り込んだゴースト（移動物体）の検出ならびに除去処理を行う。ゴースト（移動物体）の検出は前述した通りである。ゴーストの除去は、後述する放射輝度マップ作成処理の際に、ゴーストの領域の重み付けを低くすることで、最終仕上がりのＨＤＲ画像から除去することができる。なお、Ｓ１０５の画像確認処理（Ｓ２０２）において、ゴーストとなる要素が検出され、画像の代替が行われている場合、ここでの除去処理はスキップすることができる。

次に、制御部３０（ＨＤＲ画像生成部３４）は、放射輝度マップ生成処理として、イメージ補正を行うと共に、複数の画像から、各々のシーンの放射輝度マップ（ダイナミックレンジが拡張された不可視のＨＤＲイメージ）を作成する。その際、ゴーストが検出され、適切な画像に代替されていない場合は、上述したようにゴーストの領域の重み付けを低くして放射輝度マップを作成する。

次に、制御部３０（ＨＤＲ画像生成部３４）は、シーン分類処理として、撮影されたシーンの分類処理を行う（Ｓ３０３）。シーンの分類は、例えば、撮影場所が屋内か屋外か、あるいは撮影状況が暗いか普通か明るいかといった条件を組み合わせて行う。ここでのシーンの分類は、後述のトーンマッピング処理をより適切に行うための判断材料として用いられる。

次に、制御部３０（ＨＤＲ画像生成部３４）は、トーンマッピング処理として、Ｓ３０３で作成されたダイナミックレンジが拡張された不可視のＨＤＲイメージを可視の範囲に圧縮するために、トーンマッピング処理を行う（Ｓ３０５）。トーンマッピング処理は、大別して、画像全体に一律に適用するグローバルトーンマッピング手法と、周囲の情報を考慮して部分的に適用するローカルトーンマッピング手法とに分けることができる。具体的なトーンマッピングのアルゴリズムとしては、”iCAM06”、”Drago”、”Reinhard”などがあり、前述のＳ３０４のシーン分類処理で分類されたシーンに応じて、適切なトーマッピングのアルゴリズムを選択してトーンマッピング処理を実行する。

次に、制御部３０（ＨＤＲ画像生成部３４）は、ガモットマッピング処理として、公知の色変換手法を用いてＲＧＢで再現されている色をＣＭＹＫで再現可能な色空間に変換する処理を行い、最終的な可視のＨＤＲ画像を生成する（Ｓ３０６）。その後、生成したＨＤＲ画像をエンジン部２８に送り、印刷処理を実行する（Ｓ３０７）。

以上説明したように、本実施例では、コントローラファームウェア（画像生成制御プログラム）は、複数の画像が所定形式でグループ化された特定データが入力されたかを判定し、特定データが入力された場合に、特定データに含まれる複数の画像に基づいてＨＤＲ画像を生成するため、適切なＨＤＲ画像を確実に生成することができる。また、特定データに含まれる複数の画像の取捨選択を行ったり、画像の内容を確認して追加・代替を促したりするため、適切なＨＤＲ画像を生成することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

例えば、上記実施例ではＨＤＲ画像の作成に関して説明したが、複数の画像を合成して印刷のための画像を生成する任意の場合に対して、本発明の画像生成制御を同様に適用することができる。

本発明は、印刷のための画像を生成する画像生成装置及び画像の生成を制御する画像生成制御プログラム並びに当該画像生成制御プログラムを記録した記録媒体並びに画像生成制御方法に利用可能である。

１０ コンピュータ装置
２０ プリンタ装置
２１ ＣＰＵ
２２ メモリ
２３ 記憶装置
２４ 入出力Ｉ／Ｆ
２５ 操作部
２６ 表示部
２７ 機構部
２８ エンジン部
３０ 制御部
３１ 入力データ判定部
３２ 画像選択部
３３ 画像確認部
３４ ＨＤＲ画像生成部
３５ 言語部

Claims (21)

1. 印刷のための画像を生成する画像生成装置であって、
   外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定部と、
   前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成部と、
   前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択部と、を備え、
   前記画像選択部は、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更する、
   ことを特徴とする画像生成装置。
2. 前記画像選択部は、前記複数の画像の中に、ファイルの拡張子が他とは異なる画像、撮影日時が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、その旨を警告するメッセージを通知すると共に、当該画像を前記合成画像の生成に利用する画像から除外する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記画像選択部は、ファイルの拡張子、撮影日時、ファイルのサイズの少なくとも１つに基づいて、前記複数の画像が複数のグループに分類できるかを判断し、前記複数のグループに分類できると判断した場合は、前記複数の画像を前記複数のグループに分類し、
   前記合成画像生成部は、前記グループ毎に前記合成画像を生成する、
   ことを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記特定データに含まれる前記複数の画像の内容を確認する画像確認部を更に備える、
   ことを特徴とする請求項１乃至３のいずれか一に記載の画像生成装置。
5. 前記画像確認部は、画像の追加又は代替を促す前記メッセージを通知する際に、所定の識別情報を通知し、
   前記入力データ判定部は、前記特定データのファイル名に前記所定の識別情報が含まれる場合は、前記特定データに含まれる画像を、前記所定の識別情報を含むファイル名で予め保存された画像に関連付ける、
   ことを特徴とする請求項４に記載の画像生成装置。
6. 印刷のための画像を生成する画像生成装置であって、
   外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定部と、
   前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成部と、
   前記特定データに含まれる前記複数の画像の内容を確認する画像確認部と、を備え、
   前記画像確認部は、画像の追加又は代替を促す前記メッセージを通知する際に、所定の識別情報を通知し、
   前記入力データ判定部は、前記特定データのファイル名に前記所定の識別情報が含まれる場合は、前記特定データに含まれる画像を、前記所定の識別情報を含むファイル名で予め保存された画像に関連付ける、
   ことを特徴とする画像生成装置。
7. 前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択部を更に備える、
   ことを特徴とする請求項６に記載の画像生成装置。
8. 前記画像選択部は、前記複数の画像の中に、ファイルの拡張子が他とは異なる画像、撮影日時が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、その旨を警告するメッセージを通知すると共に、当該画像を前記合成画像の生成に利用する画像から除外する、
   ことを特徴とする請求項７に記載の画像生成装置。
9. 前記画像選択部は、ファイルの拡張子、撮影日時、ファイルのサイズの少なくとも１つに基づいて、前記複数の画像が複数のグループに分類できるかを判断し、前記複数のグループに分類できると判断した場合は、前記複数の画像を前記複数のグループに分類し、
   前記合成画像生成部は、前記グループ毎に前記合成画像を生成する、
   ことを特徴とする請求項７又は８に記載の画像生成装置。
10. 前記画像選択部は、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更する、
    ことを特徴とする請求項７乃至９のいずれか一に記載の画像生成装置。
11. 前記画像確認部は、前記複数の画像の露出値を確認し、露出値が予め定めた基準値及び当該基準値に対して正及び負の所定値の３つの画像が揃っているかを確認し、前記３つの画像が揃っていない場合は、露出値が前記基準値又は前記所定値の画像の追加又は代替を促すメッセージを通知する、
    ことを特徴とする請求項４乃至１０のいずれか一に記載の画像生成装置。
12. 前記画像確認部は、前記複数の画像の中に不要な被写体が写り込んでいる画像が含まれているかを確認し、前記不要な被写体が写り込んでいる画像が含まれている場合は、前記不要な被写体が写り込んでいない画像の追加又は代替を促すメッセージを通知する、
    ことを特徴とする請求項４乃至１１のいずれか一に記載の画像生成装置。
13. 前記画像確認部は、前記複数の画像の中に手ブレが生じた画像が含まれているかを確認し、前記手ブレが生じた画像が含まれている場合は、手ブレがない画像の追加又は代替を促すメッセージを通知する、
    ことを特徴とする請求項４乃至１２のいずれか一に記載の画像生成装置。
14. 前記特定データは、ｚｉｐファイルである、
    ことを特徴とする請求項１乃至１３のいずれか一に記載の画像生成装置。
15. 前記合成画像は、ＨＤＲ（High Dynamic Range）画像である、
    ことを特徴とする請求項１乃至１４のいずれか一に記載の画像生成装置。
16. 印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、
    前記装置に、
    外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、
    前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成処理、
    前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択処理、を実行させ、
    前記画像選択処理では、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更する、
    ことを特徴とする画像生成制御プログラム。
17. 印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、
    前記装置に、
    外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、
    前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成処理、
    前記特定データに含まれる前記複数の画像の内容を確認する画像確認処理、を実行させ、
    前記画像確認処理では、画像の追加又は代替を促す前記メッセージを通知する際に、所定の識別情報を通知し、
    前記入力データ判定処理では、前記特定データのファイル名に前記所定の識別情報が含まれる場合は、前記特定データに含まれる画像を、前記所定の識別情報を含むファイル名で予め保存された画像に関連付ける、
    ことを特徴とする画像生成制御プログラム。
18. 前記合成画像は、ＨＤＲ（High Dynamic Range）画像である、
    ことを特徴とする請求項１６又は１７に記載の画像生成制御プログラム。
19. 印刷のための画像を生成する装置を用いた画像生成制御方法であって、
    外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、
    前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成処理と、
    前記特定データに含まれる前記複数の画像の中から、前記合成画像の生成に利用する画像を選択する画像選択処理と、を実行し、
    前記画像選択処理では、前記特定データのファイル名に、前記合成画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記合成画像の生成に利用する画像の数量を変更する、
    ことを特徴とする画像生成制御方法。
20. 印刷のための画像を生成する装置を用いた画像生成制御方法であって、
    外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、
    前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成した合成画像を生成する合成画像生成処理と、
    前記特定データに含まれる前記複数の画像の内容を確認する画像確認処理と、を実行し、
    前記画像確認処理では、画像の追加又は代替を促す前記メッセージを通知する際に、所定の識別情報を通知し、
    前記入力データ判定処理では、前記特定データのファイル名に前記所定の識別情報が含まれる場合は、前記特定データに含まれる画像を、前記所定の識別情報を含むファイル名で予め保存された画像に関連付ける、
    ことを特徴とする画像生成制御方法。
21. 前記合成画像は、ＨＤＲ（High Dynamic Range）画像である、
    ことを特徴とする請求項１９又は２０に記載の画像生成制御方法。

Images