JPWO2021117099A1 - 画像処理方法、プログラム、及び画像処理装置 - Google Patents

Abstract

一実施形態に係る画像処理方法は、絵画の法線に対して基準位置にある光源から絵画に対し光照射した状態で、撮影手段により絵画を撮影した画像Ｉ［０，０］を得るステップと、基準位置から第１方向に角度α１傾いた位置にある光源から絵画に対し光照射した状態で、撮影手段により絵画を撮影した画像Ｉ［α１，０］を得るステップと、基準位置から第１方向と異なる第２方向に角度β１傾いた位置にある光源から絵画に対し光照射した状態で、撮影手段により絵画を撮影した画像Ｉ［０，β１］を得るステップと、基準位置から第２方向に角度β２傾いた位置にある光源から絵画に対し光照射した状態で、撮影手段により絵画を撮影した画像Ｉ［０，β２］を得るステップと、画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、絵画の立体分布図を作成するステップと、画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成するステップと、立体分布図により示される高さに応じて、合成された画像の陰影を強調する強調処理を行うステップと強調処理が行われた画像を２次元画像データとして記録するステップとを有する画像処理方法。

Description

本発明は、画像処理方法及び画像処理装置に関する。

文化財である絵画（洋画、日本画、屏風等を含む）の複製画を作成する技術が知られている。例えば特許文献１には、陰影を含む作品の複製を作成するため、第１の光源（フラッシュ）及び第２の光源（展示環境の観察光）で撮影した画像を合成する技術が開示されている。

特開２０１１−１２８８７２号公報

絵画は様々な技法を用いて描かれており、単にフラッシュ及び観察光で撮影した画像を合成するだけでは原画の質感及び立体感を再現することは難しかった。
これに対し本発明は、原画の質感及び立体感をより再現性高く記録する技術を提供する。

本発明の一態様は、データ化対象の絵画、前記絵画に光照射する光源、及び前記絵画を撮影する撮影手段を準備するステップと、前記撮影手段の光軸と前記絵画の法線とが所定の関係となる位置に当該撮影手段を設置するステップと、前記絵画の法線に対して基準位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，０］を得るステップと、前記基準位置から第１方向に角度α１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α１，０］を得るステップと、前記基準位置から前記第１方向と異なる第２方向に角度β１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β１］を得るステップと、前記基準位置から前記第２方向に角度β２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β２］を得るステップと、画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成するステップと、画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成するステップと、前記立体分布図により示される高さに応じて、前記合成された画像の陰影を強調する強調処理を行うステップと、前記強調処理が行われた画像を２次元画像データとして記録するステップとを有する画像処理方法。

前記基準位置から前記第１方向に前記角度α１と異なる角度α２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α２，０］を得るステップを有し、前記立体分布図を作成するステップにおいて、画像Ｉ［α１，０］、画像［α２，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］が用いられ、前記合成するステップにおいて、画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［α２，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部が合成されてもよい。

前記強調処理が、前記陰影のコントラストを強調する処理であってもよい。

前記強調処理を行うステップにおいて、前記高さが高いほど前記陰影のコントラストが高くなる処理が行われてもよい。

本発明の別の一態様は、コンピュータに、データ化対象の絵画、前記絵画に光照射する光源、及び前記絵画を撮影する撮影手段を準備するステップと、前記撮影手段の光軸と前記絵画の法線とが所定の関係となる位置に当該撮影手段を設置するステップと、前記絵画の法線に対して基準位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，０］を得るステップと、前記基準位置から第１方向に角度α１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α１，０］を得るステップと、前記基準位置から前記第１方向と異なる第２方向に角度β１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β１］を得るステップと、前記基準位置から前記第２方向に角度β２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β２］を得るステップと、画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成するステップと、画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成するステップと、前記立体分布図により示される高さに応じて、前記合成された画像の陰影を強調する強調処理を行うステップと、前記強調処理が行われた画像を２次元画像データとして記録するステップとを実行させるためのプログラムを提供する。

本発明のさらに別の一態様は、データ化対象の絵画、前記絵画に光照射する光源、及び前記絵画を撮影する撮影手段の光軸と前記絵画の法線とが所定の関係となる位置に当該撮影手段が設置された状態、かつ前記絵画の法線に対して基準位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，０］を得る第１取得手段と、前記基準位置から第１方向に角度α１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α１，０］を得る第２取得手段と、前記基準位置から前記第１方向と異なる第２方向に角度β１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β１］を得る第３取得手段と、前記基準位置から前記第２方向に角度β２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β２］を得る第４取得手段と、画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成する作成手段と、画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成する合成手段と、前記立体分布図により示される高さに応じて、前記合成された画像の陰影を強調する強調処理を行う処理手段と前記強調処理が行われた画像を２次元画像データとして記録する記録手段とを有する画像処理装置を提供する。

本発明によれば、原画の質感及び立体感をより再現性高く記録することができる。

一実施形態に係る画像処理システム１の概要を示す図。 画像処理装置３０の機能構成を例示する図。 画像処理装置３０のハードウェア構成を例示する図。 図４は、絵画Ｐの表面構造を例示する図。 画像処理システム１の動作を示すフローチャート。 カメラ２０により絵画Ｐを撮影する手法を例示する図。 カメラ２０により絵画Ｐを撮影する手法を例示する図。 カメラ２０により絵画Ｐを撮影する手法を例示する図。 角度α１、α２、β１、及びβ２を例示する図。 画像Ｉを例示する図。 ｘｚ平面に平行な断面において画像Ｉを比較する図。 陰影強調処理を例示する図。 陰影強調処理を例示する図。 陰影強調処理を例示する図。

１…画像処理システム、１０…光源、２０…カメラ、３０…画像処理装置、３１…取得手段、３２…作成手段、３３…合成手段、３４…処理手段、３５…記録手段、４０…イメージスキャナ、９１…凸部、９２…凸部、３０１…ＣＰＵ、３０２…メモリ、３０３…ストレージ、３０４…通信ＩＦ、３０５…ディスプレイ、３０６…キーボード、９１１…頂点

１．概要
多くの絵画は、表面に凹凸を有する。例えば油絵では、筆遣いであったり、絵の具の厚みを変えたり、様々な表現技法の結果として表面に凹凸が形成される。日本画、浮世絵、版画では、よく観察してみると和紙自体の凹凸を絵画の一要素として取り入れた表現も見受けられる。さらに、絵画は、単なる凹凸だけでなく、絵の具等画材の粒子の多様性により複雑な視覚効果を生じるものも多い。例えば、粒の小さい青い顔料が、ガラス質の透明なプリズム状の岩絵具と混ぜた画材で描かれた絵画を考える。この絵画において、画材の粒子の大きさの差異又は光の反射方向の差異により、その見え方は一様ではなく、光源の位置や鑑賞者の位置によって様々な見え方をする。このような絵画表現を実感するためには、本来、様々な角度から様々な明るさの光を当てて絵画を鑑賞することが望ましい。しかし、一般に絵画は光（特に紫外線及び短波長の可視光）によって劣化してしまうので、鑑賞の際に絵画に強い光を当てることは御法度である。

本願の発明者らは、絵画が引き起こす感動を記録・再現できるようにするため、絵画の色彩、作家の技法及び筆さばきを記録する技術を研究し、ＤＴＩＰ（Dynamic Texture Image Processing）と呼ばれる技術を開発した。これは、表面の凹凸を有する立体的な絵画を最終的に２次元の画像データとして記録する技術である。この画像データを用いて印刷された画像は、あくまでも平面の画像でありながら、表面に多様な凹凸を有する油絵のような立体感を再現することができる。こうして生成された平面画を、本願発明者らは「プレシジョン・リマスター・アート」と名付けた（「リマスターアート」は登録商標）。プレシジョン・リマスター・アートは、フランスのオルセー美術館により公式レプリカ（復原画）として認定されている。

２．構成
図１は、一実施形態に係る画像処理システム１の概要を示す図である。画像処理システム１は、絵画Ｐを２次元画像データとして記録するためのシステムである。絵画Ｐは、データ化対象の絵画の一例である。画像処理システム１は、光源１０、カメラ２０、及び画像処理装置３０を有する。光源１０は、絵画Ｐに照射する光を出力する装置である。カメラ２０は、絵画Ｐを撮影して画像データを生成する装置、いわゆるデジタルスチルカメラである。画像処理装置３０は、カメラ２０により生成された画像データを処理及び記録する装置である。なお、カメラ２０及び光源１０に代えて、これらの機能が一体化された装置としてイメージスキャナ４０が用いられてもよい。カメラ２０及びイメージスキャナ４０は、いずれも撮影手段の一例である。

図２は、画像処理装置３０の機能構成を例示する図である。画像処理装置３０は、取得手段３１、作成手段３２、合成手段３３、処理手段３４、及び記録手段３５を有する。取得手段３１は、カメラ２０等の外部装置から複数の画像Ｉを取得する（第１取得手段、第２取得手段、第３取得手段、及び第４取得手段の一例）、複数の画像Ｉは、絵画Ｐに対して光源１０が様々な位置関係にある状態で撮影されたものである。具体的には、取得手段３１は、少なくとも、画像Ｉ［０，０］、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］を取得する。詳細は後述するが、画像Ｉ［０，０］は、絵画Ｐの法線に対して基準位置にある光源１０から絵画Ｐに対し光照射した状態で、撮影手段により前記絵画を撮影した画像である。画像Ｉ［α１，０］は、基準位置から第１方向に角度α１傾いた位置にある光源１０から絵画Ｐに対し光照射した状態で、撮影手段により絵画Ｐを撮影した画像である。画像Ｉ［０，β１］は、基準位置から第１方向と異なる第２方向に角度β１傾いた位置にある光源１０から絵画Ｐに対し光照射した状態で、撮影手段により絵画Ｐを撮影した画像である。画像Ｉ［０，β２］は、基準位置から第２方向に角度β２傾いた位置にある光源１０から絵画に対し光照射した状態で、撮影手段により絵画Ｐを撮影した画像である。作成手段３２は、少なくとも画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成する。合成手段３３は、これら複数の画像Ｉを合成する。処理手段３４は、合成前の画像Ｉ又は合成後の画像に対して所定の画像処理を行う。この画像処理は、例えば、陰影を強調する処理である。記録手段３５は、処理手段３４により処理及び合成手段３３により合成された画像をデータとして記録する。このデータは、２次元画像データである。このデータのフォーマットはbmp又はjpeg等の汎用フォーマットでもよいし、独自のものであってもよい。

図３は、画像処理装置３０のハードウェア構成を例示する図である。画像処理装置３０は、ＣＰＵ３０１、メモリ３０２、ストレージ３０３、通信ＩＦ３０４、ディスプレイ３０５、及びキーボード３０６を有するコンピュータ装置である。ＣＰＵ３０１は、プログラムに従って処理を実行するプロセッサである。メモリ３０２は、ＣＰＵ３０１が処理を実行する際のワークエリアとして機能する主記録装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ３０３は、各種のデータ及びプログラムを記録する不揮発性の記録装置であり、例えばＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）を含む。通信ＩＦ３０４は、他の装置と通信を行うためのインターフェースである。ディスプレイ３０５は、ＣＰＵ３０１が行う処理に応じて各種の情報又はＵＩ画面を表示する表示装置であり、出力装置の一例である。キーボード３０６は、作業者が画像処理装置３０に対して情報又は指示を入力するための入力装置の一例である。

この例において、ストレージ３０３は、コンピュータ装置を画像処理装置３０として機能させるためのプログラム（以下「画像処理プログラム」という）を記録している。画像処理プログラムを実行している状態において、ＣＰＵ３０１が、取得手段３１、合成手段３３、処理手段３４、及び記録手段３５の一例である。

光源１０及びカメラ２０としては、汎用の光源装置及びデジタルスチルカメラが用いられる。光源１０が発する光の色温度は例えば５０００Ｋである。光源１０が発する光の色温度は、環境光に応じて変更されてもよい。例えば、環境光が３０００Ｋ程度あるとき、光源１０が発する光の色温度は４０００Ｋ程度であってもよい。イメージスキャナ４０としては、入光角度を変更できるもの（いわゆる入光角度可変型のイメージスキャナ）が用いられる。

３．動作
図４は、絵画Ｐの表面構造を例示する図である。図４は、絵画Ｐの正面図、上面図、底面図、左側面図、及び右側面を示す。絵画Ｐの表面には絵具等の画材又はキャンバス等の下地により凹凸が形成される。この図では、その凹凸を、凸部９１及び凸部９２として単純化している。ここでは、説明のため座標軸を以下のように定義する。絵画Ｐを鑑賞状態に置いたとき、鉛直上向きをｙ軸正方向とし、右向きをｘ軸正方向とする。さらに、このｘ軸及びｙ軸といわゆる右手系を形成する向きをｚ軸とする。図示した座標軸は正面図に対応するものである。凸部９１はｙ方向に延びる三角柱形状を、凸部９２はｘ方向に延びる四角柱形状を、それぞれ有する。以下、この絵画Ｐをデータ化する処理を説明する。

図５は、画像処理システム１の動作を示すフローチャートである。ステップＳ１１において、作業者は、絵画Ｐ、光源１０、カメラ２０、及び画像処理装置３０を準備する。光源１０及びカメラ２０に代えてイメージスキャナ４０が用いられてもよいが、ここでは光源１０及びカメラ２０を用いる例を中心に説明する。絵画Ｐは、２次元画像データ化の対象となる絵画であり、例えば、油絵、貼り絵、日本画、又は屏風をいう。絵が描かれる媒体（又は下地）は、キャンバス、画用紙、和紙、木板、又は石板などどのようなものでもよい。これら媒体のうち、絵が描かれる面を「描画面」という。用いられる画材は、絵具・塗料（油絵具、水彩絵具、テンペラ絵具）、インク、クレヨン、パステル、色鉛筆、又は顔料などどのようなものでもよい。

光源１０は、絵画Ｐを撮影する際の照明である。絵画の傷みを抑制する観点から、光源１０は発熱を抑えたいわゆるコールドライトであることが好ましく、紫外線をカットしたものであることがより好ましく、赤外線をカットしたものであることがさらに好ましい。カメラ２０は、絵画Ｐを撮影する撮影手段の一例である。

ステップＳ１２において、作業者は、絵画Ｐに対し基準位置に光源１０を配置する。基準位置とは、絵画Ｐの法線（詳細には、描画面の法線）と光源１０の光軸とが所定の位置関係、例えば平行となる位置である。

ステップＳ１３において、作業者は、カメラ２０を用いて絵画Ｐを撮影する。最初は、光源１０が基準位置から絵画Ｐに光を照射した状態で撮影が行われる。基準位置にある光源１０から光照射した状態で得られる画像を画像Ｉ［０，０］という。

図６Ａ及び図６Ｂは、カメラ２０により絵画Ｐを撮影する手法を例示する図である。高精細な撮影画像を得るために、作業者は、（ｉ）絵画Ｐを複数の単位領域に分割し、（ｉｉ）複数の単位領域を一領域ずつ撮影し、（ｉｉｉ）複数の撮影画像を結合し、（ｉｖ）絵画Ｐ全体の画像を得る。一例として、Ｆ３０号（９１０×７２７ｍｍ）のキャンバスを縦１００ｍｍ×横１５０ｍｍの単位領域に分割すると、縦１０分割×横５分割である。カメラ２０の撮像素子の画素数が１９４４万画素であったとすると、解像度は９１４ｄｐｉである。解像度は、単位領域のサイズ及びカメラ２０の撮像素子の画素数により調整できる。

図６Ａはカメラ２０が移動しながら複数の単位領域を撮影する例を、図６Ｂはカメラ２０が定位置において向きを変えながら複数の単位領域を撮影する例を、それぞれ示す。撮影される単位領域は、例えば、左上の単位領域を起点として右に移動する。右端まで達したら、撮影される単位領域は１つ下の行の左端の単位領域に移動する。これが絵画Ｐを全面カバーするまで繰り返し行われる。図６Ａの例において、まず左上の単位領域Ａ１が撮影される。単位領域Ａ１が撮影された後、次の単位領域Ａ２を撮影するため、カメラ２０が移動される。移動の前後において、カメラ２０の光軸の向きと絵画Ｐの法線の向きとの関係が一定に保たれたまま（具体的には、平行のまま）である。カメラ２０は、単位領域Ａ１〜Ａｎを１つずつ順番に撮影する。この撮影の間、カメラ２０と絵画Ｐとが適切な位置関係を保つよう、雲台を移動させるためのガイドレール（図示略）が用いられてもよい。

図６Ｂの例において、カメラ２０は移動されず、光軸の向きが変更される。すなわち、ある単位領域が撮影された後、次の単位領域を撮影するため、カメラ２０の位置はそのままで向きが変更される。カメラ２０の位置が固定されているため、図６Ａの例のような、雲台を移動させるためのガイドレールが必要無いという利点がある。その一方で、領域毎にカメラ２０の光軸の向きと絵画Ｐの法線の向きとの関係が変わるため、例えば端部領域の画像が歪むという問題がある。そのため、図６Ｂの例では歪み補正が必要である。これに対し、図６Ａの手法では、カメラ２０の光軸の向きと絵画Ｐの法線の向きとの関係が一定であるので歪み補正の必要性が低いという利点があるものの、カメラ２０を移動させるための機構が必要であるという問題がある。

図６Ｃは、カメラ２０ではなくイメージスキャナ４０により絵画Ｐを撮影（又はスキャン）する手法を例示する図である。イメージスキャナ４０は、読み取り部（図示略）にあるセンサ素子を画像の一端の領域Ｌ１から他端の領域Ｌｎまで移動させつつ、画像を読み取る。なお、この読み取りの間、イメージスキャナ４０の読取り部において光源（図示略）からの入光角度は一定である。ある入光角度で絵画Ｐの全体がスキャンされると、入光角度が変更され、再び絵画Ｐがスキャンされる。

いずれの手法を採用するにしても、カメラ２０は、各単位領域を撮影する際に、その周辺の他の単位領域（の一部）を一緒に撮影する。画像処理装置３０は、これら複数の画像を取得する。画像処理装置３０は、重複部分をキーとしてこれら複数の撮影画像を結合し、画像を得る。

再び図５を参照する。ステップＳ１４において、作業者は、光源１０の位置を移動する。光源の位置を移動させるシーケンスはあらかじめ定義されている。光源１０は、例えば、（１）基準位置から第１方向に角度α１傾斜した位置、（２）基準位置から第１方向に角度α２傾斜した位置、（３）基準位置から第２方向に角度β１傾斜した位置、及び（４）基準位置から第２方向に角度β２傾斜した位置、の順に移動する。なお絵画Ｐに対してどの方向を第１方向及び第２方向とするのかは任意である。第１方向及び第２方向は、例えば絵画Ｐに応じて決められる。一例において、絵画Ｐを鑑賞状態、すなわち、作家が想定した向きに置いた状態において、鉛直上向きが第１方向として決められる。一般に絵画を制作する際、下から光源を当てることは想定されておらず、光源が上にある状態で鑑賞されることが想定されているためである。絵画Ｐが右利きの画家によって描かれ、左から右に向かう筆のタッチが多い場合、光源１０を左から当てるとタッチの凹凸がよく現れる可能性が高い。したがってこの場合、左向き（すなわち左から右に向かう向き）が第２方向として決められる。あるいは、絵画Ｐが左下から右上に向かう筆遣いを多用する画家により描かれた場合、右上から左下に向かう向きが第２方向として決められる。

なお、イメージスキャナ４０が用いられる場合、以下で説明する光源１０の移動（ステップＳ１４）は行われない。しかし、イメージスキャナ４０の読み取り部における入光角度の可変機構の構造によっては、スキャンする向きを変えて再度、絵画Ｐを読み取る場合がある。例えば、イメージスキャナ４０において、入港角度を変えられる方向が一方向に限定されている場合、具体的には、図６Ｃのように読み取り部をｙ軸に沿って移動させるのに対し入光角度がｘ方向にしか変えられない場合、絵画Ｐをｙ方向にスキャンした後、絵画Ｐを９０°回転させて（すなわちｘ方向に）スキャンを行う。

角度α１について特に制限は無い。角度α２については、絵画Ｐの表面及び法線で定義される座標軸において角度α１と同じ象限に属するものであり、かつ角度α１と値が異なっていれば、具体的な角度はどのような値であってもよい。角度β１について特に制限は無い。角度β１の値は、角度α１又はα２の値と同一であってもよい。角度β２については、先ほどの座標軸において角度β１と同じ象限に属するものであり、かつ角度β１と値が異なっていれば、具体的な角度はどのような値であってもよい。一般に、カメラ２０を用いる場合、絵画Ｐとカメラ２０との距離は相対的に遠いので、角度α１、α２、β１、及びβ２は相対に大きい。一方で、イメージスキャナ４０を用いる場合、絵画Ｐとカメラ２０との距離は相対的に近いので、角度α１、α２、β１、及びβ２は相対に小さい。一例において、カメラ２０を用いる場合又は絵画Ｐと撮影手段との距離が数１０ｃｍ以上である場合、角度α１、α２、β１、及びβ２は２０〜４０°の範囲内であり、イメージスキャナ４０を用いる場合又は絵画Ｐと撮影手段との距離が数ｃｍ程度である場合、角度α１、α２、β１、及びβ２は１０〜２０°の範囲内である。

図７は、角度α１、α２、β１、及びβ２を例示する図である。参考のため、絵画Ｐに対し右向きにｘ軸を、上向きにｙ軸を定義し、このｘｙ平面に対し右手系を形成するようにｚ軸を定義する。基準位置に対し角度α１を与えるベクトルをベクトルα１と表す。ベクトルα１及びベクトルα２はｙｚ平面に平行なベクトルである。ベクトルβ１及びベクトルβ２はｘｚ平面に平行なベクトルである。

図５に戻る。ステップＳ１５において、作業者は、終了条件が満たされたか判断する。終了条件は、例えば、絵画Ｐの全面について撮影が完了した、という条件である。絵画Ｐの全面について撮影が完了した場合、処理はステップＳ１６に移行する。絵画Ｐの全面について撮影が完了していない場合、処理は再びステップＳ１３に移行する。

ステップＳ１６において、画像処理プログラムは、絵画Ｐの立体分布図を作成する。立体分布図とは、描画面における、画材の高さの分布を示す図をいう。この時点において、光源１０が異なる角度にある状態で撮影された複数の画像が取得されている。具体的には、基準位置から見て、第１方向にθ１かつ第２方向にθ２傾斜した位置にある光源１０から光照射した状態で撮影した画像を、画像Ｉ［θ１，θ２］という。ステップＳ１３〜Ｓ１５の処理を繰り返し実行することにより、光源１０の位置を移動させるシーケンスに従って、最終的には画像Ｉ［０，０］、画像Ｉ［α１，０］、画像Ｉ［α２，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の５枚の画像が取得される。

図８は、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］を例示する図である。各画像において、凸部９１及び凸部９２に対応する陰影が形成される。基準位置（絵画Ｐの正面）に対して小さい角度から光照射した方が陰影は小さく、大きい角度から光照射した方が陰影は大きくなる。

図９は、ｘｚ平面に平行な断面において画像Ｉ［０，β１］及びＩ［０，β２］を比較する図である。凸部９１の頂点９１１に相当する位置（図の破線）から画像Ｉ［０，β１］における陰影の端部までの距離ｄ１及び画像Ｉ［０，β２］における陰影の端部までの距離ｄ２の差Δｄは、次式（１）で表される。

角度β１及びβ２は既知であり、差Δｄは画像Ｉ［０，β１］及びＩ［０，β２］から実測される。したがって、画像処理プログラムは、式（１）から凸部９１の高さｈを計算することができる。なお、図９から明らかなように、画像処理プログラムは、任意の断面において、凸部の頂点の高さを計算することができる。画像処理プログラムは、このようにして絵画Ｐの描画面の全面について立体分布図を作成する。

図５に戻る。ステップＳ１７において、画像処理プログラムは、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］において処理対象領域を特定する。一例において、処理対象領域は、陰影に相当する領域である。あるいは、処理対象領域は、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］の全体であってもよい。画像処理プログラムは、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］の各々を、画像Ｉ［０，０］と対比することにより陰影に相当する領域を特定することができる。画像Ｉ［０，０］は絵画Ｐの正面から光を照射しつつ撮影した画像であり、陰影が限りなくゼロに近い、基準となる画像である。

ステップＳ１８において、画像処理プログラムは、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］のうち処理対象領域をそれぞれ、画像Ｉ［０，０］にマッピングする（又は位置合わせする）。画像Ｉ［０，０］、画像Ｉ［α１，０］、画像Ｉ［α２，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］はすべて同じ被写体（すなわち絵画Ｐ）を撮影したものであるので、共通の部分を含んでいる。画像処理プログラムは、これらの共通の部分をキーとして各画像の処理対象領域を画像Ｉ［０，０］にマッピングする。

ステップＳ１９において、画像処理プログラムは、画像Ｉ［０，０］に、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］を合成する。詳細には、画像処理プログラムは、合成後の画像Ｉｍにおける各画素の階調値Ｐｍ（ｘ，ｙ）を次式（２）に従って計算する。

ここで、ｓ、ｔ１、ｔ２、ｔ３、及びｔ４は重み付け係数である。一例において、
ｓ＞ｔ１＝ｔ２＝ｔ３＝ｔ４
である。

なお、合成に先立って、画像Ｉ［０，０］、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］の階調が規格化されてもよい。規格化は、例えば、各画像のうち基準となる領域（以下「基準領域」という）の階調を基準となる階調（以下「基準階調」という）に一致させる処理である。基準領域は、例えば、絵画Ｐのうち光の当たり方が一様であると想定される平坦な領域である。基準階調は、例えば、画像Ｉ［０，０］における基準領域の階調である。基準領域が複数の画素を含む場合、基準階調はこれら複数の画素における階調の代表値（例えば、平均値）である。

また、絵画Ｐにおいては、これまでの保管状況により、媒体自体が変形している場合がある。例えば、巻かれた状態のまま長期間、保管されていた絵画Ｐは、媒体自体に周期的な凹凸、うねり、皺、又は折れ（以下単に「変形」という。）が生じていることがある。このような絵画Ｐを撮影すると、媒体自体の変形により画像に陰影が生じてしまうという問題がある。このような陰影は、画家が本来意図したものではないので、そのまま記録してしまうと画家が描いたものとは異なる画像が記録されることとなる。そこで、このような場合、画像処理プログラムは、画像Ｉ［０，０］から媒体自体の変形の影響を除去してもよい。具体的には、画像処理プログラムは、画像Ｉ［０，０］から媒体の変形に起因する陰影を除去する。このような陰影が生じている範囲及び／又はその周期は、例えば作業者により指定される。あるいは、画像処理プログラム自身が、陰影の変化が生じている範囲及び／又はその周期を自動的に判断してもよい。画像処理プログラムは、これらの情報を用いて、撮影した画像から、媒体自体の変形による陰影を除去する。陰影の除去を行うかどうかは、例えば絵画の所有者、美術館の学芸員、又は研究者等の意見を参考にして決められる。なお、陰影の除去は、ステップＳ１７の後かつステップＳ１８の前において行われてもよい。

ステップＳ２０において、画像処理プログラムは、合成されたにおいて、陰影を強調する処理（又は補正）を行う。一例において、陰影を強調する処理は、コントラストを強調（又は拡大）する処理である。

図１０Ａ〜Ｃは、陰影強調処理を例示する図である。これらの図において、上の図は高さ分布すなわち高さの位置依存性を、下の図は係数の高さ依存性を、それぞれ示す。高さ分布を示す図において、横軸は画素の物理的位置を、縦軸はその画素の輝度を、それぞれ表している。この例では中央付近において輝度が高く、端部において輝度が低い。画像処理プログラムは、暗い画素はより暗く、明るい画素はより明るくなるよう、各画素の輝度を補正する。一例において、この補正は次式（３）に従って行われる。

式（３）において、Ｌａ及びＬｏはそれぞれ、補正後及び補正前の輝度を表す。Ｌｓは基準輝度を表す。ｋはコントラスト強調の程度を示す補正係数である。図１０Ａ〜Ｃにおいて下の図が補正係数ｋを示す。図１０Ａの例において、係数ｋは高さに対して線形に増加する。図１０Ｂの例において、係数ｋは高さに対して二次曲線的に増加又は減少する。図１０Ｃの例において、高さＬがＬｓｌ＜Ｌ＜Ｌｓｈの範囲において係数ｋは一定である。この範囲よりＬが高い領域において高さの増加に伴って係数ｋが増加し、高さＬが低い領域において高さの減少に伴って係数ｋが減少する。この補正において、図１０Ａ〜Ｃの例はいずれも、ある基準となる高さＬに対し係数ｋの変化が点対称であるが、係数ｋの変化は高さが高い側と低い側とで対称でなくてもよい。係数ｋは最大で１〜５％程度、より好ましくは２〜４％であり、最小で−１〜−５％程度、より好ましくは−２〜−４％程度である。

基準輝度は、例えば画像Ｉ［０，０］における平均輝度である。あるいは、基準輝度は、補正される画像における平均輝度であってもよい。さらにあるいは、基準輝度は、画像Ｉ［ｘ］によらずに決められた値（例えば、この系において表現可能な最大輝度及び最小輝度の中間値）であってもよい。画像処理プログラムは、画像Ｉ［α１，０］、Ｉ［α２，０］、Ｉ［０，β１］、及びＩ［０，β２］のそれぞれに対し、式（２）の強調処理（又は補正）を行う。

図５に戻る。Ｓ２１において、画像処理プログラムは、合成により得られた画像データを記録手段３５に記録する。本願発明者らの研究によれば、このようにして処理された画像データに従って画像を紙等の媒体上に形成（例えば印刷）すると、物理的には二次元の、平坦な画像であるにも関わらず、人間の目には凹凸が見える。すなわち、このデータを用いれば、汎用のプリンターで印刷するだけで、原画の質感及び立体感を有する二次元画像を得ることができる。このように、本実施形態によれば、原画の質感及び立体感が再現性高く記録された二次元画像データを得ることができる。

なお、画像処理プログラムは、記録された画像データ（すなわち画像全体）に対し、色域のダイナミックレンジを広げる処理、すなわちいわゆるグレーディング処理を行ってもよい。本願発明者らの研究によれば、グレーディング処理を行ってから出力することにより、出力された画像の品質が向上することが確認されている。なお、出力は、プリンターによる紙等の媒体への画像形成、オフセット印刷による画像形成、ＬＣＤ（Liquid Crystal Display）、ＬＥＤ（Light Emitting Diode）ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の表示装置への表示等、どのようなものであってもよい。

３．変形例
本発明は上述の実施形態に限定されるものではなく種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

光源１０を移動するシーケンスは実施形態において例示したものに限定されない。例えば、第２方向において、角度β１及びβ２に加え、角度β３及びβ４傾斜した位置に光源１０を移動し、それぞれ光照射した状態で絵画Ｐが撮影されてもよい。この場合、角度β３及びβ４は、角度β１及びβ２に対し、絵画Ｐの法線に対し対称な象限にあってもよい。すなわち、角度β１及びβ２が絵画Ｐの右側に相当する方向であれば、角度β３及びβ４は絵画Ｐの左側に相当する方向である。このように反対側から光照射を行うことにより、例えば陰影の強い領域（すなわち暗い領域）の情報（例えば色やその変化）の情報を取得することができる。

なお、第１方向に関し、角度α３及び角度α４（下側）からの光照射を行わなかったのは、一般に絵画では下側からの光照射が想定されていないためである。作者が下側からの光照射を意図していたことが確認又は推定できる場合、若しくは天井画など、特段の事情のあるときは、さらに第１方向に関し、角度α３及び角度α４（下側）からの光照射をしつつ絵画Ｐを撮影してもよい。

あるいは、第１方向及び第２方向に加え、第３方向から光照射した状態で絵画Ｐが撮影され、この画像が合成に用いられてもよい。第１方向及び第２方向からの光照射だけでは欠落した情報がある場合（例えば、上及び左からの光照射ではいずれも陰になってしまう領域がある場合）に、第３方向からの光照射した状態で撮影した画像は、欠落した情報を補うために有用である。

あるいは、第１方向及び第２方向の少なくとも一方において、単一の角度からのみ撮影がされてもよい。例えば、第２方向については角度β２からの撮影が行われず、角度β１からの撮影のみが行われてもよい。

画像処理方法の処理の主体は、実施形態において例示したものに限定されない。実施形態において作業者が行うものとして説明した処理の一部又は全部を、画像処理プログラム等のソフトウェア、又は光源１０及びカメラ２０を移動させる装置（図示略）等のハードウェアが行ってもよい。逆に、実施形態において画像処理プログラムが行うものとして説明した処理の一部又は全部を作業者が行ってもよい。あるいは、単一のプログラムではなく複数のプログラムが協働して、実施形態で説明した処理を実行してもよい。

画像処理システム１のハードウェア構成は実施形態において例示したものに限定されない。要求される昨日を実現できるものであれば、画像処理システム１はどのようなハードウェア構成を有していてもよい。例えば画像処理装置３０は、その機能の一部をネットワーク上のサーバ（いわゆるクラウド）に割り当ててもよい。

ＣＰＵ３０１等が実行するプログラムは、ＣＤ−ＲＯＭ等の非一時的な記録媒体に記録された状態で提供されてもよく、ネットワーク上のサーバにおいてダウンロード可能な状態で提供されてもよい。

Claims (6)

1. データ化対象の絵画、前記絵画に光照射する光源、及び前記絵画を撮影する撮影手段を準備するステップと、
   前記撮影手段の光軸と前記絵画の法線とが所定の関係となる位置に当該撮影手段を設置するステップと、
   前記絵画の法線に対して基準位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，０］を得るステップと、
   前記基準位置から第１方向に角度α１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α１，０］を得るステップと、
   前記基準位置から前記第１方向と異なる第２方向に角度β１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β１］を得るステップと、
   前記基準位置から前記第２方向に角度β２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β２］を得るステップと、
   画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成するステップと、
   画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成するステップと、
   前記立体分布図により示される高さに応じて、前記合成された画像の陰影を強調する強調処理を行うステップと
   前記強調処理が行われた画像を２次元画像データとして記録するステップと
   を有する画像処理方法。
2. 前記基準位置から前記第１方向に前記角度α１と異なる角度α２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α２，０］を得るステップを有し、
   前記立体分布図を作成するステップにおいて、画像Ｉ［α１，０］、画像［α２，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］が用いられ、
   前記合成するステップにおいて、画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［α２，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部が合成される
   請求項１に記載の画像処理方法。
3. 前記強調処理が、前記陰影のコントラストを強調する処理である
   請求項１又は２に記載の画像処理方法。
4. 前記強調処理を行うステップにおいて、前記高さが高いほど前記陰影のコントラストが高くなる処理が行われる
   請求項３に記載の画像処理方法。
5. コンピュータに、
   データ化対象の絵画、前記絵画に光照射する光源、及び前記絵画を撮影する撮影手段を準備するステップと、
   前記撮影手段の光軸と前記絵画の法線とが所定の関係となる位置に当該撮影手段を設置するステップと、
   前記絵画の法線に対して基準位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，０］を得るステップと、
   前記基準位置から第１方向に角度α１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α１，０］を得るステップと、
   前記基準位置から前記第１方向と異なる第２方向に角度β１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β１］を得るステップと、
   前記基準位置から前記第２方向に角度β２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β２］を得るステップと、
   画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成するステップと、
   画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成するステップと、
   前記立体分布図により示される高さに応じて、前記合成された画像の陰影を強調する強調処理を行うステップと
   前記強調処理が行われた画像を２次元画像データとして記録するステップと
   を実行させるためのプログラム。
6. データ化対象の絵画、前記絵画に光照射する光源、及び前記絵画を撮影する撮影手段の光軸と前記絵画の法線とが所定の関係となる位置に当該撮影手段が設置された状態、かつ前記絵画の法線に対して基準位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，０］を得る第１取得手段と、
   前記基準位置から第１方向に角度α１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［α１，０］を得る第２取得手段と、
   前記基準位置から前記第１方向と異なる第２方向に角度β１傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β１］を得る第３取得手段と、
   前記基準位置から前記第２方向に角度β２傾いた位置にある前記光源から前記絵画に対し光照射した状態で、前記撮影手段により前記絵画を撮影した画像Ｉ［０，β２］を得る第４取得手段と、
   画像Ｉ［０，β１］及び画像Ｉ［０，β２］の組を用いて、前記絵画の立体分布図を作成する作成手段と、
   画像Ｉ［０，０］に対し、画像Ｉ［α１，０］、画像Ｉ［０，β１］、及び画像Ｉ［０，β２］の各々の少なくとも一部を合成する合成手段と、
   前記立体分布図により示される高さに応じて、前記合成された画像の陰影を強調する強調処理を行う処理手段と
   前記強調処理が行われた画像を２次元画像データとして記録する記録手段と
   を有する画像処理装置。

Images