JP2024047232A - 画像処理方法、及び画像処理装置 - Google Patents

Abstract

【課題】第１プリント媒体から取得された第１画像データに基づいて、新たなプリント媒体にプリントするための高い色再現性を実現する第２画像データを取得する画像処理方法及び画像処理装置を提供する。【解決手段】画像処理方法は、画像がプリントされた第１プリント媒体から第１画像データを取得し、第１画像データに対して、第１プリント媒体の色再現特性に応じた第１画像処理を行い、第２画像データとして取得する。【選択図】図１

Description

本発明は、画像処理方法、及び画像処理装置に関する。

写真プリントをデジタルカメラ、又はスキャナでデジタルスキャンして得られたスキャン画像データを用いて、写真プリントの画像を再プリントして、又は再生表示して、例えばインスタント写真プリントをスマートフォンで撮影した画像データを再生表示して観察することが行われている（特許文献１～５参照）。

特開２０００－２３５２３４号公報 特開２００１－２７５００３号公報 特開２００２－２９０７２３号公報 特開２００３－２５００４７号公報 特開２００１－２３５８０２号公報

ところで、元の写真プリントのスキャン画像を再プリントする場合、又は再生表示する場合においては、元の写真プリントの画像の色、濃度が適切に再現されることが求められている。例えば、写真プリントをスマートフォンで撮影したスキャン画像を再びプリントしようとした場合、特に、色再現性の低いインスタントフィルムに再プリントする場合に、高い印刷再現性を実現することが求められている。

本発明は、上記従来技術の問題点を解消し、画像がプリントされた第１プリント媒体から取得された第１画像データに基づいて、新たなプリント媒体にプリントするための高い色再現性を実現することができる再プリント用の第２画像データを取得することができる画像処理方法、及び画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態に係る画像処理方法は、画像がプリントされた第１プリント媒体から第１画像データを取得し、取得された第１画像データに対して、第１プリント媒体の色再現特性に応じた第１画像処理を行い、第２画像データとして取得する画像処理方法である。

ここで、第２画像データを、プリンタに送信しても良い。
また、第１画像処理は、第１画像データに対して、色再現特性によって変化した画像の色再現を補正する画像処理であっても良い。
また、第１画像データは、スキャンして取得した画像データであっても良い。
また、第１画像データに対して、スキャンによる画質への影響を補正する第２画像処理を行い、第３画像データとして取得し、第３画像データに対して、１画像処理を行い、第２画像データとして取得しても良い。
また、補正の対象は、撮影時の反射光、及び／又は環境光による画質への影響であっても良い。

また、第1画像データは、第１プリント媒体をカメラ付き端末で撮影し、スキャンして取得したスキャン画像データであっても良い。
また、第２画像データは、第１画像データ、及び／又は第３画像データと関連付けして、端末に保存されても良い。
また、端末は、表示装置と、画像データを再生する再生モードとを有し、再生モードは、ユーザが設定したモードに基づいて第３画像データ、又は第２画像データを、表示装置に表示しても良い。
また、端末は、第２画像データを、プリンタに送信であっても良い。

また、第２画像処理において、ユーザがマニュアルで画質パラメータを調整することができ、１つ以上の画質パラメータを端末情報として端末に保存しても良いし、又は付帯情報として第３画像データに保存しても良い。
また、１つ以上の画質パラメータは、第３画像データの画像の明るさ、コントラスト、及び彩度の少なくとも1つを含んでいても良い。
また、第２画像処理において、画質パラメータが調整された時、第３画像データに保存された画質パラメータを更新しても良い。

また、第１プリント媒体は、第１領域と、第２領域を有するものであり、第２画像データは、第１領域と、第２領域にそれぞれ対応する第３領域と、第４領域を有し、第２画像データの第４領域を切り出した画像データをプリンタに送信しても良い。
また、第１画像処理において、第１プリント媒体のフレームデザイン、プリント媒体サイズ、及び画像の少なくとも１つから、色再現特性が標準と異なるプリント媒体であることを判別しても良い。

また、第１画像処理において、特定の画像処理が含まれていることを識別する識別子を端末情報として端末に保存しても良いし、又は付帯情報として第２画像データに保存しても良い。
また、第1プリント媒体の特定の領域の情報に基づいて、カメラ付き端末で撮影する際の撮影条件及び/又は調整条件を決定しても良い。

上記目的を達成するために、本発明の一実施形態に係る画像処理装置は、画像がプリントされた第１プリント媒体から第１画像データを取得するスキャナと、取得された第１画像データに対して、第１プリント媒体の色再現特性に応じた第１画像処理を行い、第２画像データとして取得するプロセッサと、を備えた画像処理装置である。
ここで、プロセッサは、更に、第１画像データに対して、スキャナによるスキャンの際の画質への影響を補正する第２画像処理を行い、第３画像データとして取得し、第３画像データに対して、１画像処理を行い、第２画像データとして取得しても良い。

また、更に、第２画像データを、第１画像データ、及び／又は第３画像データと関連付けして保存するストレージを備えていても良い。
また、更に、表示装置と、画像データを再生する再生モードと、を備え、再生モードは、ユーザが設定したモードに基づいて第３画像データ、又は第２画像データを、表示装置に表示しても良い。
また、更に、第２画像データを、プリンタに送信する通信用インターフェースを備えていても良い。

本発明によれば、画像がプリントされた第１プリント媒体から取得された第１画像データに基づいて、新たなプリント媒体にプリントするための高い色再現性を実現することができる再プリント用の第２画像データを取得することができる。

本発明の一実施形態に係る画像処理方法のフローチャートである。 図１に示す画像処理方法が実施されるカメラ付き端末におけるフィルムスキャンから再生表示、及び再プリントのための画像データの送信までの処理の流れの一例を示すブロック図である。 全体の画像が環境光の影響を受けた第１プリント媒体の一例を示す図である。 本発明の一実施形態に係る画像処理装置のブロック図である。 本発明に係る画像処理方法において実施される第１画像処理のフローチャートである。 本発明に係る画像処理方法の第１画像処理において用いられるＲ(赤)、Ｇ（緑）、及びＢ（青）からなる３ＤＬＵＴの一例を示す図である。 図５に示す３ＤＬＵＴのＲＧＢの一色の１ＤＬＵＴを示すグラフである。

本発明の具体的な実施形態について説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更、又は改良され得る。また、本発明には、その等価物が含まれる。

また、本明細書において、「画像」は、元となる第１プリント媒体、及び第１プリント媒体とは異なる新しい第２プリント媒体（再プリントともいう）の全体の領域の画像を意味する。更に、「画像」は、これらの全体の領域の画像に加え、第１プリント媒体の主要な第１の領域、及び第２画像データ（第２プリント媒体）の第３の領域（以下、これらの２つの領域を写真画像領域、写真部分、印画領域ともいう）に記録された写真画像を意味する。更に、「画像」は、これらのみならず、第１プリント媒体の第１の領域の周囲を囲む第２の領域（以下、フレーム領域、フレーム部分ともいう）に記録された柄の画像、模様、及びユーザなどによって記載された手書きテキスト等の画像を意味する。また、本発明では、第２画像データ（第２プリント媒体）の第３の領域の周囲を囲む第４の領域を有していても良く、この場合には、「画像」は、第４の領域（以下、フレーム領域、フレーム部分ともいう）に記録された柄、模様、及びテキスト等の画像をも意味する。
また、本明細書において、「画像」は、第１プリント媒体、及び第２プリント媒体に記録されて表示された画像のみならず、後述する第１～第３画像データを含む様々な画像データによって表示される得る画像をも意味する。

また、本明細書において、「画像データ」は、画素毎の階調を示すデータ（デジタル画像データ）を意味し、第１プリント媒体を撮影、又はスキャンして得られる第１画像データ、第１画像データを第２画像処理して取得される第３画像データ、及び第２プリント媒体をプリント出力するための第２画像データを始めとして、第１プリント媒体の第１、及び第２の領域、並びに第２画像データ（第２プリント媒体）の第３、及び第４の領域の画像のデジタル画像データを意味する。
画像データのファイルフォーマットとしては、例えばＪＰＥＧ（Joint Photographic Experts Group）、Ｔｉｆｆ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（Microsoft Windows Bitmap Image）、ＰＮＧ（Portable Network Graphics）、ＨＥＩＦ（High Efficiency Image File Format）等が挙げられる。

また、本発明書において、「ユーザ」は、本発明の画像処理方法を利用する者であり、具体的には、例えば、本発明の画像処理方法によって生成された第１画像データ、第３画像データ、及び第２画像データを利用する者、並びに第３画像データによるフィルム画像、及び第２画像データによる原画像の表示を鑑賞する者である。また、本明細書において、「者」は、特定の行為を行う主体を意味し、個人、グループ、企業等の法人、及び団体等を含み、さらには人工知能（ＡＩ：Artificial Intelligence）を構成するコンピュータ、及びデバイスも含み得る。人工知能は、推論、予測及び判断等の知的な機能をハードウェア資源、及びソフトウェア資源を使って実現されるものである。人工知能のアルゴリズムは任意であり、例えば、エキスパートシステム、事例ベース推論（ＣＢＲ：Case-Based Reasoning）、ベイジアンネットワーク、又は包摂アーキテクチャ等である。

＜＜本発明の一実施形態＞＞
以下、図面を参照しつつ、本発明の一実施形態の画像処理方法、及び画像処理装置について説明する。
図１、及び図２を参照しつつ、本発明の一実施形態の画像処理方法について説明すると共に、図３を参照しつつ、本発明の一実施形態の画像処理装置について説明する。

図１は、本発明の一実施形態に係る画像処理方法のフローチャートである。
図２は、図１に示す画像処理方法が実施されるフィルムスキャンから再生表示、及び再プリントのための画像データの送信までの処理の流れの一例を具体的に示すブロック図である。
図３は、本発明の一実施形態に係る画像処理装置のブロック図である。

図１に示すように、本発明の一実施形態の画像処理方法は、第１プリント媒体の第１画像データの取得工程Ｓ１０と、第１画像データから第３画像データを生成する第２画像処理工程Ｓ１２と、第１画像データ、又は第３画像データから第２画像データを生成する第１画像処理工程Ｓ１４と、第２画像データの保存工程Ｓ１６と、第２画像データの送信工程Ｓ１８と、第３画像データの保存工程Ｓ２０と、第３画像データによる再生表示工程Ｓ２２と、を有する。
なお、本発明では、第２画像処理が行われなくても良く、その場合には、第２画像処理工程Ｓ１２をパスして、第３画像データの代わりに直接第１画像データを第１画像処理工程Ｓ１４に送って第２画像データを生成しても良い。

ここで、図３に示す画像処理装置は、図１、及び図２に示す画像処理方法を実施するものである。
図３に示すように、画像処理装置５０は、スキャナ５２と、プロセッサ５４と、メモリ５６と、通信用インターフェース５８と、入力機器６０と、ストレージ２６と、表示装置３０と、を有する。
ここで、図１に示す第１プリント媒体の第１画像データの取得工程Ｓ１０は、図３に示すスキャナ５２によって実施されるものである。

次に、図１に示す第１画像データから第３画像データを生成する第２画像処理工程Ｓ１２と、第１画像データ、又は第３画像データから第２画像データを生成する第１画像処理工程Ｓ１４とは、図３に示すプロセッサ５４によって実施されるものである。
また、図１に示す第２画像データの保存工程Ｓ１６、及び第３画像データの保存工程Ｓ２０は、図３に示すストレージ２６によって実施されるものである。
また、図１に示す第２画像データの送信工程Ｓ１８は、図３に示す通信用インターフェース５８によって実施されるものである。
また、図１に示す第３画像データによる再生表示工程Ｓ２２は、図３に示す表示装置３０によって実施されるものである。

まず、図１に示す第１画像データの取得工程Ｓ１０において、図２のブロック図に示すように、カメラ付き端末１０のカメラ１２によって第１プリント媒体１４を撮影してスキャンし、スキャン画像１６のスキャン画像データである第１画像データを取得する。
ここで、カメラ付き端末１０としては、撮影機能付きの情報機器端末であるスマートフォン等のスマートメディアを挙げることができる。なお、図２は、カメラ付き端末１０としてスマートフォンを用いた場合におけるスマートフォンの機器を中の処理の流れを表す一例であるともいうことができる。
また、カメラ１２は、カメラ付き端末１０のカメラである。
ここで、カメラ付き端末１０は、図３に示す画像処理装置５０として、カメラ１２はスキャナ５２として用いることができる。

次に、第１プリント媒体１４としては、インスタントカメラで撮影後プリントされた第１の領域１４ａと、第２の領域１４ｂとを有する矩形状のインスタントフィルム等の写真プリントであるが、本発明では、これに限定されず、どのようなプリント媒体であっても良いし、どのようにして出力されたプリント媒体であっても良い。
第１プリント媒体１４は、第１の領域１４ａと、第２の領域１４ｂとを有していればよく、第１の領域１４ａに写真画像が記録されたプリントであれば良い。なお、第１プリント媒体１４のサイズ、及びアスペクト比も、これらのサイズ、及びアスペクト比に限定されず、様々なサイズ、及びアスペクト比であっても良く、また、第１プリント媒体１４の形状も、矩形状に限定されず、様々な形状であっても良い。

また、第１プリント媒体１４は、例えば、写真フィルムの写真画像が写真プリンタによってプリント媒体の第１の領域にプリントされた物であっても良いし、プリンタ付きデジタルカメラで撮影されて出力された物であっても良く、いかなるプリンタから出力されたものであっても良い。
本発明において、第１プリント媒体１４の第１の領域１４ａと、第２の領域１４ｂとは、それぞれ異なる画像が記録された領域を意味するが、一方の領域、例えば第１の領域１４ａの画像は、写真画像であり、他方の領域、例えば第２の領域１４ｂの画像は、写真画像の周囲を囲むフレームの画像である。なお、フレームの画像は、通常何も記録されていない無地の白地であるが、フレームを形成する柄等であっても良いし、クレームに手書きされたテキストであっても良い。

本発明においては、第１画像データは、カメラ付き端末１０によって取得するものに限定されず、第１画像データを取得できれば、どのようにして取得しても良い。
例えば、第１画像データは、第１プリント媒体１４の全領域の画像を、カメラ付き端末１０によって撮影して取得されたものであっても、図３に示すスキャナ５２、又は複写装置等によってスキャンして取得されたものであっても良い。なお、スキャナ５２としては、第１画像データを取得できればどのようなものでも良い。

なお、取得工程Ｓ１０において、第１プリント媒体１４の第１画像データとして、第１プリント媒体１４の第１の領域１４ａの第１の領域画像データと、第２の領域１４ｂの第２の領域画像データとをそれぞれ分離して検出し、これらを合成して第１画像データを取得しても良いし、第１プリント媒体１４の第１画像データを取得し、第１画像データを第１の領域画像データと、第２の領域画像データとに分離しても良い。
ところで、こうして生成されたスキャン画像１６の第１画像データは、後述する第２画像処理工程Ｓ１２に送られるが、第２画像処理工程Ｓ１２をパスして直接第１画像処理工程Ｓ１４に送られても良い。

次に、図１に示す第２画像処理工程Ｓ１２において、図２に示すブロック図のように、取得工程Ｓ１０で取得されたスキャン画像１６の第１画像データに対してスキャンによる画質への影響を補正する第２画像処理１８を行って第３画像データとして取得する。ここで、第２画像処理１８は、図３に示すプロセッサ５４によって実施される。
即ち、第２画像処理工程Ｓ１２は、スキャン画像１６の第１画像データから、スキャン時の光の反射（反射光）、及び／又は環境光の影響を除去して、第１プリント媒体１４が持っている本来の画像の画像データとするために、プロセッサ５４によってスキャン画像１６の第１画像データに第２画像処理１８を施して、第２画像処理済画像（以下、フィルム画像２０と呼ぶ）の第３画像データを生成する工程である。
なお、こうして生成されたフィルム画像２０の第３画像データは、後述する第３画像データの保存工程Ｓ２０に送られ、ストレージ２６に保存されると共に、プロセッサ５４による第１画像処理工程Ｓ１４に送られる。

第１プリント媒体１４は、１種の光沢紙であり、蛍光灯等の光源の光を受かると光の反射が生じ、スキャン時に光の反射を受けてしまい、反射を受けた部分が白くなってしまう。一方、蛍光灯、及び白熱灯等の光源の環境下で、写真撮影等をして画像をスキャンすると、蛍光灯色、及び白熱灯色等の光源色で撮影対象の白い部分が黄ばんだり、オレンジ色になったりして光カブリを生じてしまう。
このため、第２画像処理１８では、光の反射除去処理１８ａと、環境光カブリ除去処理１８ｂとの２種類の画像処理を行う。即ち、第２画像処理１８は、第１プリント媒体１４のスキャン時の光の反射、及び環境光の影響を受けたスキャン画像１６の明るさ、コントラスト、及び彩度等の画質パラメータを備える第１画像データから、光の反射、及び環境光の影響を除去し、光の反射、及び環境光の影響を受けていない第１プリント媒体１４が本来の持っている画像の画質パラメータと同じ画質パラメータを持つフィルム画像２０の第３画像データに変換する画像処理である。ここで、画質パラメータは、第３画像データのフィルム画像の明るさ、コントラスト、及び彩度の少なくとも1つを含むのが良い。

ところで、第２画像処理工程Ｓ１２で行われる第２画像処理１８において、ユーザが、マニュアルで、明るさ、コントラスト、及び彩度等の画質パラメータを調整することができるようにしても良い。これにより、端末１０に内蔵されているカメラ１２の色再現性、及びスキャンする環境の色温度等がばらつくため、ユーザのマニュアル調整結果に基づいて、これらのばらつき要因を吸収することができる。
なお、このようにしてユーザが行う画質パラメータのマニュアル調整結果に基づいて、個々のユーザのマニュアル補正用画質パラメータ１９の1つ以上の画質パラメータ、即ちフィルム画像２０の明るさ、コントラスト、及び彩度の少なくとも1つを端末情報として端末１０に保存し、又は付帯情報としてフィルム画像２０の第３画像データに保存し、端末１０、又は第３画像データに保存された第２画像処理の画質パラメータを更新するようにしても良い。なお、１つ以上の画質パラメータは、単一ユーザが１つ以上持っていてもよいし、複数のユーザが持つようにしてもよい。なお、端末情報は、端末１０である画像処理装置５０のメモリ５６に保存しても良いし、ストレージ２６に保存しても良い。

なお、環境光のカブリなどの影響は、例えばインスタントフィルムに画像をプリントした第１プリント媒体１４の第２の領域１４ｂの白枠フレームを抽出し、白色の基準として利用し、ホワイトバランスゲインを決定し、撮影し、補正することができる。なお、第１プリント媒体１４の第２の領域１４ｂが、デザインフレームで白領域が無い場合は、ホワイトバランスを第１プリント媒体１４の第１の領域１４ａのプリント画像から決定することもできる。
このように、例えばインスタントフィルム等に画像をプリントした第１プリント媒体１４のスキャン画像１６の第１画像データからホワイトバランスを決定できる場合には、環境光のカブリを自動補正することができるので、上述したマニュアル調整が不要であるか、又は微調整で済ませることができる。
なお、第１プリント媒体１４の特定の領域、例えば第２の領域１４ｂの情報に基づいて、第１プリント媒体１４をカメラ付き端末１０で撮影する際の撮影条件、又はスキャナ５２でスキャンする際のスキャン条件、及び/又は調整条件（ホワイトバランス）を決定しても良い。

ここで、図２Ａは、全体の画像、例えば写真領域である第１の領域１４ａの写真画像、及び第２の領域１４ｂであるフレームの画像が環境光の影響を受けた第１プリント媒体１４の一例を示す図である。
図２Ａに示す第１プリント媒体１４の第２の領域１４ｂであるフレームの部分は、白枠でない、即ち白色ではないことを示しており、例えばオレンジ色に着色されているものとする。この第２の領域１４ｂがオレンジ色に着色された第１プリント媒体１４のスキャン画像１６の第１画像データを用いて行う環境光のカブリの輝度補正について以下に説明する。なお、図２Ａに示す第１プリント媒体１４のスキャン画像１６の第１画像データは、逆ガンマ補正済であるものとする。

１）まず、第１プリント媒体１４のスキャン画像１６のオレンジ色の第２の領域１４ｂの第２の領域画像データ（Ｒ（赤）、Ｇ（緑）、Ｂ（青））を積分し、平均することで、Ｒ、Ｇ、Ｂの各平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅを算出する。
２）ここで、着色しているので、本来、白色でＲ、Ｇ、Ｂが等しくあるべきところが、ホワイトバランスが崩れている状態になっているので、ホワイトバランスを補正するための補正ゲイン値を算出する。
例えば、Ｇ（グリーン）を基準にして、補正ゲイン値ＧａｉｎＲ、ＧａｉｎＢを規定する。
ＧａｉｎＲ＝Ｇａｖｅ／Ｒａｖｅ
ＧａｉｎＢ＝Ｇａｖｅ／Ｂａｖｅ

３）第１プリント媒体１４のスキャン画像１６の各画素の画素値、即ち画像データ（Ｒ、Ｇ、Ｂ）に補正ゲイン値ＧａｉｎＲ、ＧａｉｎＢを乗算して補正画素値、即ち画像データ（Ｒ‘、Ｇ’、Ｂ‘）を算出する。
Ｒ‘＝Ｒ＊ＧａｉｎＲ
Ｇ‘＝Ｇ
Ｂ‘＝Ｂ＊ＧａｉｎＢ
こうして、スキャン画像１６の第１画像データの環境光のカブリを自動補正することができる。
なお、第１プリント媒体１４の第２の領域１４ｂの画像に、汚れ、及び手書きテキスト等、及びデザイン柄が検出された場合には、上記環境光のカブリを自動補正処理は、行わず、他の方法で環境光のカブリを行うのが良い。なお、この環境光のカブリの輝度補正処理は、プロセッサ５４において行うことができる。

次に、図１に示す第１画像処理工程Ｓ１４において、図２に示すブロック図のように、第２画像処理工程Ｓ１２で生成されたフィルム画像２０の第３画像データに対して、第１プリント媒体１４の色再現特性に応じた第１画像処理２２を行い、原画像２４の第２画像データとして取得する。ここで、第１画像処理２２は、図３に示すプロセッサ５４によって実施される。
なお、第１画像処理工程Ｓ１４においては、取得工程Ｓ１０で取得されたスキャン画像１６の第１画像データに対して、プロセッサ５４によって直接第１プリント媒体１４の色再現特性に応じた第１画像処理２２を行い、原画像２４の第２画像データとして取得しても良い。
なお、こうして生成された原画像２４の第２画像データは、後述する第２画像データの保存工程Ｓ１６に送られ、ストレージ２６に保存される。

第１画像処理２２は、フィルム画像２０、又はスキャン画像１６に対して、プロセッサ５４によって、更に第１プリント媒体１４の色再現特性、より明確には、画像がプリントされる前の第１プリント媒体１４（インスタントフィルム等）が有している色再現特性に応じた逆補正を行い、第１プリント媒体１４にプリントする前の画像である原画像２４を再構成する処理である。
また、第１画像処理２２は、第３画像データ、又は第１画像データに対して、プロセッサ５４によって、画像プリント前の第１プリント媒体１４（インスタントフィルム等）の色再現特性によって変化したフィルム画像２０、又はスキャン画像１６の色再現を変化前の原画像２４の第２画像データに戻す補正をする画像処理である。即ち、第１画像処理２２は、フィルム画像２０の第３画像データ、又はスキャン画像１６の第１画像データである、例えばＲ、Ｇ、Ｂの３原色に係る各画素毎のＲ、Ｇ、Ｂデータを、原画像２４の第２画像データである各画素毎のＲ、Ｇ、Ｂデータに戻すＲ、Ｇ、Ｂの３原色に係る３次元ルックアップテーブル（３ＤＬＵＴ）処理２２ａである。

ここで、本発明においては、標準である色再現特性として、例えば、富士フイルム株式会社のINSTAX Natural modeの３ＤＬＵＴを挙げるものとして以下の説明を行う。即ち、富士フイルム社製のチェキ等のアナログカメラで撮影した場合の色再現特性、換言すれば、アナログカメラで撮影した場合のプリント媒体であるインスタントフィルム（富士フイルム社製のインスタックスフィルム）の色再現特性を標準として説明する。
図４は、本発明に係る画像処理方法においてプロセッサ５４によって実施される第１画像処理の開始（ＳＴＡＲＴ）から終了（ＥＮＤ）までのフローチャートである。
図４に示すように、本発明の第１画像処理（２２）においては、まず、フィルム画像入力工程Ｓ３０では、フィルム画像２０の第３画像データが入力される。このフィルム画像２０の第３画像データには、フィルム画像２０、従って第１プリント媒体１４のサイズ情報、例えば、ピクセル数（縦横）、アスペクト比（ピクセル数の縦横比）等が含まれている。

次に、工程Ｓ３２、即ちサイズ判定を行う工程Ｓ３２に進む。工程Ｓ３２においては、入力されたフィルム画像２０のアスペクト比が規定範囲外であるか否かを判定する。上記のインスタントフィルムには、アスペクト比の規格があるので、インスタントフィルムのアスペクト比ではない、即ち規定範囲外（Ｙｅｓ）と判定された場合には、スキップ工程Ｓ３４に進み、画像処理をスキップ（Ｓｋｉｐ）して、第1画像処理を終了する。この後、図1に示す本発明の画像処理方法を終了しても良い。
なお、ここでは、インスタントフィルムの色再現特性を標準としているので、画像処理をスキップしているが、本発明はこれに限定されず、銀塩フィルム、又はその他の写真フィルムの種々のサイズのどれかを特定して、特定されたフィルムに適した画像処理を行うようにしても良い。

一方、工程Ｓ３２において、インスタントフィルムのアスペクト比である、即ち規定範囲内（Ｎｏ）と判定された場合には、工程Ｓ３６に進む。
フレームの判定工程Ｓ３６では、フィルム画像２０が取得されたインスタントフィルムのフレーム（第２領域）が特定の色／柄であるか否かを判定する。
フレームの判定工程Ｓ３６において、フレーム（第２領域）が特定の色、あるいは特定の柄である（Ｙｅｓ）と判定された場合には、色度判定工程Ｓ３８に進む。
一方、フレームの判定工程Ｓ３６において、フレーム（第２領域）が特定の色、あるいは特定の柄ではない（Ｎｏ）と判定された場合には、通常のインスタントフィルムと判定され、インスタントフィルム画像処理工程Ｓ４０に進む。

次に、画像の色度の判定工程Ｓ３８では、上記インスタントフィルム内の画像の平均色度が閾値以下であるか否かを判定する。
画像の色度の判定工程Ｓ３８において、上記インスタントフィルム内の画像の平均色度が閾値以下であると判定された場合には、インスタントフィルムはモノクロームフィルムであると判定され、工程Ｓ４２に進む。
一方、画像の色度の判定工程Ｓ３８において、上記インスタックスフィルム内の画像の平均色度が閾値以下でないと判定された場合には、通常のインスタントフィルムと判定され、通常のインスタントフィルム画像処理工程Ｓ４０に進む。

画像処理の工程Ｓ４０においては、判定工程Ｓ３６、及びＳ３８において、通常のインスタントフィルムであると判定されているので、第１画像処理２２の３ＤＬＵＴ処理２２ａとして、インスタントフィルム用ＬＵＴ２３ａを適用する。こうして、第１画像処理２２は、終了する。
一方、画像処理の工程Ｓ４２においては、判定工程Ｓ３８において、モノクロームフィルムであると判定されているので、第１画像処理２２の３ＤＬＵＴ処理２２ａとして、モノクロームフィルム用ＬＵＴ２３ｃを適用する。
ここで、第１画像処理２２の３ＤＬＵＴ処理２２ａの３ＤＬＵＴとしては、例えば、図５に示す３ＤＬＵＴを挙げることができる。
なお、第１画像処理２２の３ＤＬＵＴ処理２２ａ、例えばインスタントフィルム用ＬＵＴ２３ａ、及びモノクロームフィルム用ＬＵＴ２３ｃは、図３に示す画像処理装置５０のメモリ５６に保存しておくのが良い。

以上のように、第１画像処理２２において、第１プリント媒体１４の第２の領域１４ｂのフレームデザイン、プリント媒体サイズ、及びスキャン画像１６の少なくとも１つから、第１プリント媒体１４が、色再現特性が標準と異なるプリント媒体、例えばモノクロームフィルムであることを判別しても良い。
なお、第１プリント媒体１４のプリント媒体として、インスタントフィルム以外のプリント媒体が含まれている場合には、その種類を判別する方法として上記判別方法と異なる判別方法を用いても良い。
なお、インスタントフィルム以外のプリント物に第１画像処理２２を適用する場合は、第１画像処理２２の補正内容を変える必要があるが、各プリントメディアの色再現性を予め計測し、第１画像処理２２に反映しておく必要があることは言うまでもない。

図４においては、インスタントフィルムとして、通常のインスタントフィルムと、モノクロームフィルムとの２つのみしか取り上げていない。しかしながら、インスタントフィルムを対象とするアナログカメラ等のアナログデバイス、及びデジタルカメラ等のデジタルデバイスが混在する場合には、デジタルデバイスで事前に前処理として３ＤＬＵＴ処理を使って高彩度化処理、又は高色域化処理した後に第１プリント媒体１４としてプリントされている場合がある。このような高彩度化処理、又は高色域化処理を第１画像処理２２において行う場合には、その３ＤＬＵＴ処理２２ａとして、高彩度処理用ＬＵＴ２３ｂを適用する。また、第１画像処理２２の３ＤＬＵＴ処理２２ａとしての高彩度処理用ＬＵＴ２３ｂも、図３に示す画像処理装置５０のメモリ５６に保存しておくのが良い。
この場合には、スキャン画像１６の第１画像データ、又はフィルム画像２０の第３画像データに対して、一旦、高彩度処理、又は高色域化処理を逆補正した上で、上述したインスタントフィルムの色再現特性に応じた逆補正を第１画像処理２２として行う必要がある。あるいは、インスタントフィルムの色再現特性（色域）に加えて、前処理の高彩度処理、又は高色域化処理を踏まえて、第１画像処理２２を行う必要がある。

したがって、第１画像処理２２を行う前に、第１プリント媒体１４の画像が、高彩度処理、又は高色域化処理が施された画像であるかどうかを判別する必要がある。このため、第１画像処理２２において、高彩度処理、及び高色域化処理等の特定の画像処理が含まれていることを識別する識別子、例えばＱＲコード（登録商標）、電子透かし、透かし、又は好ましくは再プリントに表示されない識別子を端末情報として端末１０に保存しておく、又は付帯情報として原画像２４の第２画像データに保存しておくのが良い。なお、端末情報は、端末１０である画像処理装置５０のメモリ５６に保存しても良いし、ストレージ２６に保存しても良い。

本発明においては、色再現性が低いインスタントフィルムに単純にスキャンしたスキャン画像１６の第１画像データ、又はフィルム画像２０の第３画像データを印刷（プリント）すると、印刷（プリント）の色再現性が悪いので、色あせたような感じになってしまう。したがって、第１画像処理２２によって、第１プリント媒体１４のプリント前の原画像２４を再構成し、原画像２４の第２画像データを印刷（再プリント）時に用いることで、印刷（プリント）の色再現性を担保することができる。

例えば、Ｒ、Ｇ、及びＢの1色について、原画像２４と、インスタントフィルムの画像（例えば、第１プリント媒体１４のスキャン画像１６）との色再現特性の関係を表すと、図６に示すようなグラフとなる。図６に示すように、原画像２４の色再現域は、２５６諧調に近い２５５諧調であるのに対し、インスタントフィルムの画像（スキャン画像１６）の色再現域は、２５５諧調より大幅に小さい階調である。この図６に示すようなグラフは、原画像２４をインスタントフィルムにプリントする際の画像データ間の１ＤＬＵＴということもできるし、インスタントフィルムのスキャン画像１６を逆補正する場合の１ＤＬＵＴということもできる。
なお、Ｒ、Ｇ、及びＢの残の２色についても、同様な傾向の１ＤＬＵＴで表される。

次に、図１に示す原画像２４の第２画像データの保存工程Ｓ１６において、図２に示すブロック図のように、第１画像処理工程Ｓ１４において取得された原画像２４の第２画像データを端末１０、即ち図３に示す画像処理装置５０のストレージ２６の領域２６ａにＯ ｉｍａｇｅ ００１として保存する。
次に、図１に示す原画像２４の第２画像データの送信工程Ｓ１８において、図２に示すブロック図のように、端末１０は、第２画像データの保存工程Ｓ１６においてストレージ２６に保存された原画像２４の第２画像データを、例えば図３に示す画像処理装置５０の通信用インターフェース５８によってプリンタ２８に送信する。

即ち、端末１０には、第１プリント媒体１４をスキャンして最終的に得られた原画像を再プリントする機能を有しており、再プリントに際し、端末１０に備えられたアプリケーションソフトウェアからプリンタ２８に送信する画像データとして、原画像２４の第２画像データを読み出して通信用インターフェース５８送信する。
ここで、プリンタ２８に送信される原画像２４の第２画像データは、第１プリント媒体１４の写真画像領域である第１の領域１４ａに対応する第３の領域と、第１プリント媒体１４のフレーム領域である第２の領域１４ｂに対応する第４の領域とを有している。第２画像データの第３の領域は、原画像２４の写真画像領域であり、第３の領域画像データを備えている。第２画像データの第４の領域は、原画像２４のフレーム領域であり、第４の領域画像データを備えている。

送信工程Ｓ１８においては、プリント媒体にプリントする時には、通信用インターフェース５８を介して原画像２４の第２画像データをプリンタ２８に送信するが、原画像２４の第２画像データの第３の領域（写真画像領域）を切り出した第３の領域（写真）画像データをプリンタ２８に送信するのが良い。
なお、プリンタ２８からは、第２プリント媒体がプリント媒体にプリントされて出力されるが、第２プリント媒体も、第２画像データの第３の領域に対応する写真画像領域と、第２画像データの第４の領域に対応するフレーム領域とを有している。

次に、図１に示すフィルム画像２０の第３画像データの保存工程Ｓ２０において、図２に示すブロック図のように、第２画像処理工程Ｓ１２において取得されたフィルム画像２０の第３画像データを端末１０（即ち、図３に示す画像処理装置５０）のストレージ２６の領域２６ｂにＦ ｉｍａｇｅ ００１として保存する。
ここで、図２に示すように、フィルム画像２０の第３画像データと、原画像２４の第２画像データとは、端末１０のストレージ２６に同じ領域２６ｃに入るように関連付けられて保存されるのが良い。即ち、フィルム画像２０と、原画像２４とは、紐付けて保存されるのが良い。なお、原画像２４の第２画像データは、スキャン画像１６の第1画像データ、及び／又はフィルム画像２０の第３画像データと関連付けして端末１０のストレージ２６に保存されても良い。

次に、図１に示すフィルム画像２０の再生表示工程Ｓ２２において、図２に示すブロック図のように、端末１０（即ち、図３に示す画像処理装置５０）が有する表示装置（ディスプレイ）３０に、フィルム画像２０の第３画像データの保存工程Ｓ２０において保存された第３画像データをフィルム画像２０として表示する。
なお、端末１０は、表示装置３０に加え、画像データを再生する再生モードを有している。この再生モードは、ユーザが設定したモードに基づいて、フィルム画像２０の第３画像データ、又は原画像２４の第２画像データを、表示装置３０に表示するのが良い。
即ち、端末１０上においては、アプリケーションソフトウェア上で、第１プリント媒体１４をスキャンしてスキャン画像１６の第１画像データを取得するスキャンモードとは別に、再生モードに変更することができる。この再生モードで画像を鑑賞する場合には、端末１０の表示装置３０にフィルム画像２０を読み出して表示するのが良いが、原画像２４を読み出して表示しても良い。

図２に示すブロック図は、スマートフォンなどのスマートデバイスであるカメラ付き端末１０によって構成されているが、端末１０によって第１プリント媒体１４をスキャンしてスキャン画像１６の第１画像データを取得する取得工程Ｓ１０を実行して、取得された第１画像データを、ネットワークを介してコンピュータ（パーソナルコンピュータ；ＰＣ）、及びサーバ等に送信することにより、残りの本発明の画像処理方法の工程Ｓ１２～Ｓ２２は、コンピュータ、及び／又はサーバによって行っても良い。即ち、カメラ付き端末１０を構成する図３に示す画像処理装置５０のスキャナ５２以外の構成要素をコンピュータ、及び／又はサーバで構成しても良い。勿論、図３に示す画像処理装置５０を、スキャナを備えたコンピュータ、及び／又はサーバによって構成しても良い。
ここで用いられるコンピュータ、及び／又はサーバは、工程Ｓ１２～Ｓ２２を実行できれば、どのようなものであっても良く、例えば、図３に示す画像処理装置５０と同様に、プロセッサ５４、メモリ５６、通信用インターフェース５８、及びストレージ２６などを有していればよく、これらを備える一体型のサーバコンピュータであっても良い。更に、コンピュータは、キーボード、マウス、及びスキャナなどの入力機器６０、並びにディスプレイ等の表示装置３０の出力機器を有していても良いし、更にプリンタ２８等の出力機器を有していても良い。

なお、図３に示す画像処理装置５０、又はコンピュータ、及び／又はサーバ等において、プロセッサ５４は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はＴＰＵ（Tensor Processing Unit）等によって構成される。メモリ５６は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の半導体メモリ等によって構成される。通信用インターフェースは、例えば、ネットワークインターフェースカード、又は通信インターフェースボード等によって構成される。

以上詳述したように、本発明においては、例えばインスタント写真プリント等の第１プリント媒体をスマートフォン等のカメラ付き端末のアプリでスキャンしたスキャン画像を再び印刷（プリント）しようとした場合に、スキャン画像から原画像を推定して再構成した上で、再プリントするので、高いプリント（印刷）再現性を実現することができる。特に、色再現性が低いインスタントフィルムに単純にスキャンしたスキャン画像、又はスキャンによる画質への影響を補正したフィルム画像をそのままプリントすると、プリントの再現性が悪いが、本発明では、再構成した原画像をプリントするので、プリントの再現性を高めることができる。
また、原画像に加え、スキャン画像、更にフィルム画像を関連付けてセットで保存しておくことで、プリントの風合いをスマートフォン等の端末で確認することも両立できる。
本発明の一実施形態の画像処理方法、及び画像処理装置は、以上のように構成される。

以上、本発明の画像処理方法、及び画像処理装置について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良、及び変更をしてもよいのはもちろんである。

１０ カメラ付き端末
１２ カメラ
１４ 第１プリント媒体
１４ａ 第１の領域（写真画像領域）
１４ｂ 第２の領域（フレーム領域）
１６ スキャン画像
１８ 第２画像処理
１８ａ 光の反射除去処理
１８ｂ 環境光カブリ除去処理
１９ マニュアル補正用画質パラメータ
２０ フィルム画像
２２ 第１画像処理
２２ａ ３次元ルックアップテーブル（３ＤＬＵＴ）処理
２３ａ インスタントフィルム用ＬＵＴ
２３ｂ 高彩度処理用ＬＵＴ
２３ｃ モノクロームフィルム用ＬＵＴ
２４ 原画像
２６ ストレージ
２６ａ、２６ｂ、２６ｃ 領域
２８ プリンタ
３０ 表示装置（ディスプレイ）
５０ 画像処理装置
５２ スキャナ
５４ プロセッサ
５６ メモリ
５８ 通信用インターフェース
６０ 入力装置
Ｓ１０ 第１プリント媒体の第１画像データの取得工程
Ｓ１２ 第１画像データから第３画像データを生成する第２画像処理工程
Ｓ１４ 第３画像データから第２画像データを生成する第１画像処理工程
Ｓ１６ 第２画像データの保存工程
Ｓ１８ 第２画像データの送信工程
Ｓ２０ 第３画像データの保存工程
Ｓ２２ 第３画像データによる再表示工程
Ｓ３０ フィルム画像入力工程
Ｓ３２ サイズ判定を行う工程
Ｓ３４ スキップ工程
Ｓ３６ フレームの判定工程
Ｓ３８ 色度判定工程
Ｓ４０ インスタントフィルム画像処理工程
Ｓ４２ モノクロフィルム画像処理工程

Claims (22)

1. 画像がプリントされた第１プリント媒体から第１画像データを取得し、
   取得された前記第１画像データに対して、前記第１プリント媒体の色再現特性に応じた第１画像処理を行い、第２画像データとして取得する画像処理方法。
2. 前記第２画像データを、プリンタに送信する請求項１に記載の画像処理方法。
3. 前記第１画像処理は、前記第１画像データに対して、前記色再現特性によって変化した前記画像の色再現を補正する画像処理である請求項１に記載の画像処理方法。
4. 前記第１画像データは、スキャンして取得した画像データである請求項１に記載の画像処理方法。
5. 前記第１画像データに対して、前記スキャンによる画質への影響を補正する第２画像処理を行い、第３画像データとして取得し、
   前記第３画像データに対して、前記１画像処理を行い、前記第２画像データとして取得する請求項４に記載の画像処理方法。
6. 前記補正の対象は、撮影時の反射光、及び／又は環境光による画質への影響である請求項５に記載の画像処理方法。
7. 前記第1画像データは、前記第１プリント媒体をカメラ付き端末で撮影し、スキャンして取得したスキャン画像データである請求項５に記載の画像処理方法。
8. 前記第２画像データは、前記第１画像データ、及び／又は前記第３画像データと関連付けして、前記端末に保存される請求項７に記載の画像処理方法。
9. 前記端末は、表示装置と、画像データを再生する再生モードとを有し、
   前記再生モードは、ユーザが設定したモードに基づいて前記第３画像データ、又は第２画像データを、前記表示装置に表示する請求項７に記載の画像処理方法。
10. 前記端末は、前記第２画像データを、プリンタに送信する請求項７に記載の画像処理方法。
11. 前記第２画像処理において、ユーザがマニュアルで画質パラメータを調整することができ、
    １つ以上の前記画質パラメータを端末情報として端末に保存する、又は付帯情報として前記第３画像データに保存する請求項５～１０のいずれか１項に記載の画像処理方法。
12. 前記１つ以上の画質パラメータは、前記第３画像データの画像の明るさ、コントラスト、及び彩度の少なくとも1つを含む請求項１１に記載の画像処理方法。
13. 前記第２画像処理において、前記画質パラメータが調整された時、前記第３画像データに保存された前記画質パラメータを更新する、請求項１１に記載の画像処理方法。
14. 前記第１プリント媒体は、第１領域と、第２領域を有するものであり、前記第２画像データは、第１領域と、第２領域にそれぞれ対応する第３領域と、第４領域を有し、
    前記第２画像データの前記第３領域を切り出した画像データをプリンタに送信する請求項１～１０のいずれか１項に記載の画像処理方法。
15. 前記第１画像処理において、前記第１プリント媒体のフレームデザイン、プリント媒体サイズ、及び前記画像の少なくとも１つから、前記色再現特性が標準と異なるプリント媒体であることを判別する請求項１～１０のいずれか１項に記載の画像処理方法。
16. 前記第１画像処理において、特定の画像処理が含まれていることを識別する識別子を端末情報として端末に保存する、又は付帯情報として前記第２画像データに保存する請求項１～１０のいずれか１項に記載の画像処理方法。
17. 前記第1プリント媒体の特定の領域の情報に基づいて、前記カメラ付き端末で撮影する際の撮影条件、及び/又は調整条件を決定する請求項７～１０のいずれか１項に記載の画像処理方法。
18. 画像がプリントされた第１プリント媒体から第１画像データを取得するスキャナと、取得された前記第１画像データに対して、前記第１プリント媒体の色再現特性に応じた第１画像処理を行い、第２画像データとして取得するプロセッサと、を備えた画像処理装置。
19. 前記プロセッサは、更に、前記第１画像データに対して、前記スキャナによるスキャンの際の画質への影響を補正する第２画像処理を行い、第３画像データとして取得し、
    前記第３画像データに対して、前記１画像処理を行い、前記第２画像データとして取得する請求項１８に記載の画像処理装置。
20. 更に、前記第２画像データを、前記第１画像データ、及び／又は前記第３画像データと関連付けして保存するストレージを備える請求項１９に記載の画像処理装置。
21. 更に、表示装置と、画像データを再生する再生モードと、を備え、
    前記再生モードは、ユーザが設定したモードに基づいて前記第３画像データ、又は第２画像データを、前記表示装置に表示する請求項１９、又は２０に記載の画像処理装置。
22. 更に、前記第２画像データを、プリンタに送信する通信用インターフェースを備える請求項１８～２０のいずれか1項に記載の画像処理装置。

Images