JP6644966B2 - ３次元モデル作成装置、及び３次元モデル作成方法 - Google Patents

Description

本願発明は、古写真に写った物の立体的なモデル（以下、「３次元モデル」という。）を、当該古写真を基に作成する技術に関するものであり、より具体的には、古写真をグレースケールのラスタ画像にするとともに、当該ラスタ画像に基づいて対象物の３次元モデルを作成する装置と方法に関するものである。

古写真には収められているが現存しない古美術品（古い彫刻や陶磁器など）を立体的に再現するという技術は、愛好家などから望まれているところである。あるいは、古写真でのみ見ることのできる建築の内装装飾物を、新築の自宅に設けたいと望む需要者もある。室町時代後期から江戸時代初期にかけて建造された書院造には、長押の釘隠しといった飾り金物や、彫刻風の欄間（彫刻欄間）など、美術品としても優れた内装装飾物が設置されており、これを写真で知った者が再現を望むわけである。

通常、写真に収められた古美術品や内装装飾物など（以下、写真内の物を単に「対象物」ということとする。）を立体的に再現する、すなわち対象物の３次元モデルを作成する場合、当該対象物を異なる方向から撮影した２枚の画像（いわゆるステレオ画像）と種々の情報（標定要素）が必要である。しかしながら、古写真の場合は１枚の写真（単写真）のみしか残っていないケースが圧倒的に多く、ステレオによる３次元化を行うことはできない。したがって、これまで単写真から対象物を再現するには２次元モデルを作成する手法の提案に留まっており、単写真から３次元モデルを作成する技術はいまだ提示されていない。特許文献１でも、絵画等を古写真から再現する技術について提案しているが、やはり２次元モデルとして（つまり平面の図として）再現するものである。

特開２００３−２３３８１０号公報

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち１枚の古写真から、当該古写真に含まれる対象物の３次元モデルを作成することのできる、３次元モデル作成装置、及び３次元モデル作成方法を提供することである。

本願発明は、古写真のグレースケール画像を利用し、このグレースケールに基づいて対象物の３次元化を図るとともに、別途作成された下図画像を参考にしながらスムージング処理を行うことで対象物の３次元モデルを完成させる、という点に着目してなされたものであり、これまでにない発想に基づいて行われたものである。

本願発明の３次元モデル作成装置は、グレースケールのラスタ画像に基づいて、そのラスタ画像に含まれる対象物の３次元モデルを作成する装置であり、画像読出手段と、基礎モデル作成手段、表示手段、モデル作成手段を備えたものである。このうち画像読出手段は、ラスタ画像を読み出すものであり、基礎モデル作成手段は、ラスタ画像の各画素に対して画素値に応じた高さ情報を付与することで対象物の基礎３次元モデルを作成するものである。また表示手段は、ラスタ画像を基に作成された下図画像と基礎３次元モデルを重ねて表示するものであり、モデル作成手段は、基礎３次元モデルに対してスムージング処理を行うことで対象物の３次元モデルを作成するものである。

本願発明の３次元モデル作成方法は、グレースケールのラスタ画像に基づいて、そのラスタ画像に含まれる対象物の３次元モデルを作成する方法であり、下図作成工程と、基礎モデル作成工程、モデル作成工程を備えた方法である。このうち下図作成工程は、ラスタ画像に基づいて下図画像を作成する工程であり、基礎モデル作成工程は、ラスタ画像の各画素に対して画素値に応じた高さ情報を付与することで対象物の基礎３次元モデルを作成する工程であり、そしてモデル作成工程は、基礎３次元モデルに対してスムージング処理を行い対象物の３次元モデルを作成する工程である。なおモデル作成工程では、表示手段に下図画像と基礎３次元モデルを重ねて表示するとともに、下図画像に合わせるように基礎３次元モデルに対してスムージング処理を行う。

本願発明の３次元モデル作成方法は、ラスタ画像を補正するラスタ画像補正工程をさらに備えた方法とすることもできる。

本願発明の３次元モデル作成方法は、刳り貫き部を有する板状物の３次元モデルを作成する方法とすることもできる。この場合、ラスタ画像は、対象物の表面を撮影した表面ラスタ画像と裏面を撮影した裏面ラスタ画像が用意され、下図作成工程では、はじめに刳り貫き部を形成してこの刳り貫き部を除く表面部分を形成することで表面下図画像が作成されるとともに、刳り貫き部を除く裏面部分を形成することで裏面下図画像が作成される。また基礎モデル作成工程では、表面ラスタ画像に基づいて対象物表面の基礎３次元モデルが作成されるとともに、裏面ラスタ画像に基づいて対象物裏面の基礎３次元モデルが作成される。さらにモデル作成工程では、対象物表面の基礎３次元モデル及び表面下図画像に基づいて対象物表面の３次元モデルが作成されるとともに、対象物裏面の基礎３次元モデル及び裏面下図画像に基づいて対象物裏面の３次元モデルが作成される。

本願発明の３次元モデル作成装置、及び３次元モデル作成方法には、次のような効果がある。
（１）古写真が１枚あれば、そこに写っている古美術品や内装装飾物などの３次元モデルを作成することができ、例えば古い時代の彫刻欄間を再現することができる。
（２）基礎３次元モデルの作成はコンピュータによる自動処理が可能であり、基礎３次元モデルに対するスムージング処理も下図画像と重ねたうえで行うことから、操作者による個人差が比較的生じにくく、つまり操作者によらず同等の品質の３次元モデルを得ることができる。
（３）例えば、熟練工が古写真を見ながら創作的に彫刻欄間を再現することを考えれば、本願発明は比較的正確かつ容易に再現することができる。

本願発明の主な処理（工程）の流れを示すフロー図。 （ａ）はスムージング処理前の基礎３次元モデルを示すモデル図、（ｂ）はスムージング処理後の３次元モデルを示すモデル図。 本願発明の３次元モデル作成装置を示すブロック図。 （ａ）は彫刻欄間を正面から写した写真のラスタ画像図、（ｂ）は彫刻欄間を裏面から写した写真のラスタ画像図。 （ａ）は彫刻欄間の一部を示すラスタ画像図、（ｂ）は彫刻欄間の一部を示す下図画像図、（ｃ）は彫刻欄間の一部を示す基礎３次元モデルの画像図、（ｄ）は彫刻欄間の一部を示す３次元モデルの画像図。 （ａ）は彫刻欄間の表面を表す下図画像図、（ｂ）は彫刻欄間の裏面を表す下図画像図。 （ａ）は彫刻欄間の表面側を補正したラスタ画像図、（ｂ）は彫刻欄間の裏面側を補正したラスタ画像図。 （ａ）はスムージング処理後の彫刻欄間の３次元モデルのうち「鳥」を平面表示したモデル図、（ｂ）はスムージング処理後の彫刻欄間の３次元モデルのうち「花」を平面表示したモデル図。

本願発明の３次元モデル作成装置、及び３次元モデル作成方法の実施形態の一例を、図に基づいて説明する。

はじめに、図１のフロー図を参照しながら説明する。図１は、本願発明の主な処理（工程）の流れを示すフロー図であり、中央の列に実施する行為（処理、工程）を示し、左列にはその行為に必要な入力情報を、右列にはその行為から生ずる出力情報を示している。なお、以下説明する処理のうち、コンピュータを利用して実行することができると説明する処理（工程）がある。この場合のコンピュータは、パーソナルコンピュータ（ＰＣ）や、ｉＰａｄ（登録商標）といったタブレット型端末やスマートフォン、あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）などによって構成することができる。コンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリを具備しており、さらにマウスやキーボード等の入力手段やディスプレイ等の出力手段を有する。

図１に示すように、はじめに３次元化しようとする対象物が収められた古写真を用意し、イメージスキャナなどを利用してグレースケールのラスタ画像を作成する（Ｓｔｅｐ１０）。ここで古写真としたのは、現存しない対象物の３次元モデルを作成する場合に本願発明は特に有効であり、現存しないものを写した写真は古写真であることが多いためである。したがって、ここで用意する写真はアナログ式のモノクロ写真が代表例といえるが、これに限らず、アナログ式のカラー写真を利用することもできるし、デジタル式のカラー写真を利用することもできる。

ラスタ画像を作成すると、次に、下図画像を作成する（Ｓｔｅｐ２０）。この下図画像は、人（熟練者）が古写真（あるいはラスタ画像）を参考にしながら描いていくものである。このとき、紙面に手描きで下図を起こした後、イメージスキャナなどを利用してスキャンニングし、ラスタ形式の下図画像を得ることができる。あるいは熟練者が、作図ソフトウェアとコンピュータを利用して、デジタル形式やラスタ形式の下図画像を作成することもできる。

古写真は、あおりや歪みをもっていることが多いことから、これを補正したうえで利用することが望ましい。もちろん古写真そのものを補正することはできないため、古写真のラスタ画像を補正することとなる。この補正は、ラスタ画像を編集することができるソフトウェアを利用することが望ましく、したがってまずはコンピュータを利用して古写真のラスタ画像を読み込み、ディスプレイ等に表示する（Ｓｔｅｐ３０）。そして、画像編集ソフトウェアとコンピュータを用いて古写真のラスタ画像を補正していく（Ｓｔｅｐ４０）。なおこの補正は、補正する者の知識や経験に基づき、あるいは対象物の特徴などを考慮しながら、入力手段（マウス等）を操作することで行う。また、ここで利用する画像編集ソフトウェアは、従来から用いられている汎用品でもよいし、もちろん本願発明用として作成したものでもよい。

次に、補正された古写真のラスタ画像を利用して、高さ情報を付与する（Ｓｔｅｐ５０）。既述のとおりここで利用するラスタ画像はグレースケール画像であり、当該ラスタ画像を構成する各画素はグレースケールの画素値を具備している。ここで画素値とは、表示する際の濃淡を示す値のことであり、あらかじめ黒〜白を複数の階調に分け、その濃淡に応じて階調ごとに付与される値である。例えば、黒の画素値を０、白の画素値を２５５とし、その間を１階調ずつに分けた２５６階調のグレースケールとすることができる。

そして、画素値に応じて高さ情報を付与する。通常、画像のうち黒っぽい箇所は陰の部分であり、白っぽい箇所は光が当たっている部分であるため、黒っぽい箇所は見る者から遠く、白っぽい箇所は見る者に近いはずである。そこで、画素値に応じて、すなわち黒に近いほど低い高さ情報を、白に近いほど高い高さ情報を付与するわけである。ここでの処理もコンピュータを利用するとよい。コンピュータに画素値を読み取らせ、さらにコンピュータを利用して画素値と高さ情報の対応を示すテーブルを参照しながら、各画素に高さ情報を付与していく。なお、ここで得られるモデル（各画素に高さ情報を与えたもの）は、画素の平面位置情報と高さ情報を備えていることから３次元モデルであるが、この後のスムージング処理を経る前であることから「基礎３次元モデル」ということとする。

基礎３次元モデルが得られると、これに対してスムージング処理を行い、対象物の「３次元モデル」を作成する（Ｓｔｅｐ６０）。図２は、スムージング処理を説明するためのモデル図であり、（ａ）はスムージング処理前の基礎３次元モデルを示すモデル図、（ｂ）はスムージング処理後の３次元モデルを示すモデル図である。

既述のとおり基礎３次元モデルは画素ごとに画素値を持っていることから、このまま表示しても実物をきれいに再現することはできない。そこで、基礎３次元モデルの離散的な値を、連続する面（図ではライン）となるよう平滑処理を行うのが、スムージング処理である。図２（ａ）では表面が階段状に表示され、図２（ｂ）では滑らかに表示されることが理解できる。なお、図２では便宜上ある断面を例として示しているが、もちろん古写真のラスタ画像全体にわたってスムージング処理を行う。

スムージング処理は、ソフトウェアとコンピュータを利用して行うことができる。ソフトウェアとしては、例えばＣＡＤ（ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）システムが利用できる。オペレータが、ＣＡＤシステムで読み込んだ基礎３次元モデルに対して入力手段（マウス等）を操作しながらスムージング処理を行う。このとき、Ｓｔｅｐ２０で作成した下図画像を参照しながら処理するとよい。具体的には、ＣＡＤシステムで下図画像を読み込み、基礎３次元モデルとは異なるレイヤとして重ね合わせて表示し、下図画像に合わせてスムージング処理を行う。あるいは、下図画像と基礎３次元モデルを左右に並べて表示しながらスムージング処理を行ってもよい。

スムージング処理によって、ひとまず対象物の３次元モデルは完成するが、このスムージング処理はオペレータの判断によって行われていることから、経験者や専門家といった他者（以下、「点検者」という。）が点検してよりよい３次元モデルに修正するとよい。そこで、スムージング処理した３次元モデルのデータファイルを、閲覧ソフトウェア（例えば、３ＤＰＤＦ）用のファイルに変換し、点検者に電子メール等で送付する（Ｓｔｅｐ７０）。もちろん、紙面に出力して渡してもよい。

点検者は、送付されたファイルを閲覧し、古写真等と見比べながら修正箇所の有無を点検する（Ｓｔｅｐ８０）。そこで修正がある場合は、その修正すべき個所と内容（図１に示す「修正情報」。）をオペレータに返し、これを受けたオペレータが修正情報に応じてスムージング処理を行う（Ｓｔｅｐ９０）。点検者からの修正情報がなくなるまで、Ｓｔｅｐ７０〜Ｓｔｅｐ９０が繰り返し行われ、最終的な３次元モデルが得られる（Ｓｔｅｐ１００）。最後に、最終的な３次元モデルを３Ｄプリンタ用のファイルに変換（ファイルチェック含む）し、３Ｄプリンタで出力して、古写真の対象物を３次元形状で造形する。

図３は、本願発明の３次元モデル作成装置１００を示すブロック図である。ここでは、この図を参照しながら３次元モデル作成装置１００を構成する要素ごとに詳しく説明する。なお本願発明の３次元モデル作成装置１００は、コンピュータを利用して構築するとよい。ラスタ画像作成手段１０１は、例えば紙媒体の古写真からグレースケールのラスタ画像を作成するものであり、ここで作成されたラスタ画像はラスタ画像記憶手段１０２に記憶される。

ラスタ画像読出手段１０３は、ラスタ画像記憶手段１０２からラスタ画像を読出すもので、読み出されたラスタ画像のあおりや歪みを補正するのが画像補正手段１０４である。基礎モデル作成手段１０５は、補正されたラス画像に対して高さ情報を付与し基礎３次元モデルを作成する。モデル作成手段１０６は、下図画像読出手段１０７が下図画像記憶手段１０８から読み出した下図画像と、基礎モデル作成手段１０５で作成された基礎３次元モデルとを重ねて表示しながら、基礎３次元モデルに対してスムージング処理を行うことで、対象物の３次元モデルを作成するものである。なお、古写真のラスタ画像や下図画像、あるいは基礎３次元モデルなどは、ディスプレイといった表示手段１０９に表示される。

モデル作成手段１０６で作成された対象物の３次元モデルは、３次元モデル記憶手段１１０に記憶され、ファイル変換手段１１１で閲覧ソフトウェア（例えば、３ＤＰＤＦ）用のファイルに変換される。そして、電子メール等の送信手段１１２で、変換後のファイルを点検者に送信する。

図３に示すように、点検者側には閲覧装置２００が用意されている。閲覧装置２００を構成する受信手段２０１が通信手段を経て送信された変換後のファイルを受け取ると、ディスプレイといった表示手段２０２に対象物の３次元モデルを表示する。あるいは、３Ｄプリンタ用のファイルに変換して、３Ｄプリンタ等の出力手段２０３で出力してもよい。

点検者は、表示手段２０２の３次元モデルと手元にある古写真（複製）とを比べながら、修正事項の有無について点検する。修正すべき点がある場合は、スムージング処理を行うオペレータに対して修正情報を送る。点検者の点検を経て最終的な３次元モデルが得られると、この３次元モデルをファイル変換手段１１１で３Ｄプリンタ用のファイルに変換し、３Ｄプリンタ等の出力手段１１３で出力して、古写真の対象物を３次元形状で造形する。

（使用例）
本願発明の３次元モデル作成装置、及び３次元モデル作成方法の使用例について、対象物を彫刻欄間とした場合で以下説明する。なお、各工程（処理）の詳細な内容はここまで説明したとおりであり、繰り返しを避けるためここでは特徴的な内容を中心に説明する。

図４は、彫刻欄間の写真をラスタ画像にしたモデル図であり、（ａ）は正面から写した写真のラスタ画像（以下、「表面ラスタ画像」という。）、（ｂ）は裏面から写した写真のラスタ画像（以下、「裏面ラスタ画像」という。）である。この図に示すように、板状の彫刻欄間には刳り貫き部があり、当然ながら表面ラスタ画像と裏面ラスタ画像で刳り貫き部の配置と形状は一致している。なお図５は、一連の画像の変遷を示すモデル図であり、（ａ）は彫刻欄間の一部を示すラスタ画像、（ｂ）は彫刻欄間の一部を示す下図画像、（ｃ）は彫刻欄間の一部を示す基礎３次元モデルの画像、（ｄ）は彫刻欄間の一部を示す３次元モデルの画像である。この図に示すラスタ画像と下図画像に基づいて基礎３次元モデルを作成し、さらに基礎３次元モデルに基づいて３次元モデルを作成していく。

対象物が彫刻欄間の場合も、ここまで説明したとおり用意された写真からラスタ画像を作成する。ここでは彫刻欄間の表面からの写真と裏面からの写真が用意された場合で説明することとし、したがってラスタ画像も表面ラスタ画像と裏面ラスタ画像の２画像を作成する。ラスタ画像を作成する一方で、既に説明した手法により下図画像を作成する。図６は下図画像を示すモデル図であり、（ａ）は彫刻欄間の表面を表す下図画像（以下、「表面下図画像」という。）、（ｂ）は彫刻欄間の裏面を表す下図画像（以下、「裏面下図画像」という。）である。この図に示すように、下図画像もやはり彫刻欄間の表面下図画像と裏面下図画像の２画像を作成する。このとき、表面、裏面ともに刳り貫き部が共通するため、まずは刳り貫き部を描き、この刳り貫き部に描き加える要領で表面下図画像と裏面下図画像をそれぞれ作成するとよい。

表面ラスタ画像と裏面ラスタ画像のあおりや歪みを補正し、補正した表面ラスタ画像（以下、「補正表面ラスタ画像」という。）と補正した裏面ラスタ画像（以下、「補正裏面ラスタ画像」を作成する。図７は補正したラスタ画像を示すモデル図であり、（ａ）は補正表面ラスタ画像、（ｂ）は補正裏面ラスタ画像である。図４と比べて見ると、この図が補正されたことが分かる。

補正表面ラスタ画像と補正裏面ラスタ画像が得られると、それぞれに高さ情報を付与することで、表面側の基礎３次元モデルと裏面側の基礎３次元モデルを作成する。そして、表面側の基礎３次元モデルと表面下図画像とを重ねて表示し、表面側の基礎３次元モデルに対してスムージング処理を行うことで表面側の３次元モデルを作成する。同じく、裏面側の基礎３次元モデルと裏面下図画像とを重ねて表示し、裏面側の基礎３次元モデルに対してスムージング処理を行うことで裏面側の３次元モデルを作成する。図８はスムージング処理後の３次元モデルを平面表示した図であり、（ａ）は彫刻欄間のうちの「鳥」を表し、（ｂ）は彫刻欄間のうちの「花」を表した図である。この図から分かるように、スムージング処理を行ったことで表面形状が滑らかで自然に表現されている。

点検者の点検を経て最終的な３次元モデルが得られると、この３次元モデルを３Ｄプリンタ用のファイルに変換し、３Ｄプリンタで出力して彫刻欄間を３次元形状で造形する。このとき、写真だけでは寸法が把握できないため、実寸として彫刻欄間を造形することはできない。しかしながら、欄間の形状は標準的な寸法が定められており、その寸法に合うように３次元モデル（３Ｄプリンタ用ファイル）の縮尺を調整することで、原形どおりの彫刻欄間を再現することができる。

本願発明の３次元モデル作成装置、及び３次元モデル作成方法は、古美術品や内装装飾物のほか、冠瓦や軒瓦といった役物瓦や、石垣などの再現にも利用することができる。本願発明が、現存しない文化財を再現し、我が国の古い文化芸術を現代に知らしめることを考えれば、産業上利用できるばかりでなく文化発展にも大きな貢献を期待し得る発明である。

１００ 本願発明の３次元モデル作成装置
１０１ ラスタ画像作成手段
１０２ ラスタ画像記憶手段
１０３ ラスタ画像読出手段
１０４ 画像補正手段
１０５ 基礎モデル作成手段
１０６ モデル作成手段
１０７ 下図画像読出手段
１０８ 下図画像記憶手段
１０９ （３次元モデル作成装置の）表示手段
１１０ ３次元モデル記憶手段
１１１ ファイル変換手段
１１２ 送信手段
１１３ （３次元モデル作成装置の）出力手段
２００ （点検者側の）閲覧装置
２０１ 受信手段
２０２ （閲覧装置の）表示手段
２０３ （閲覧装置の）出力手段

Claims (4)

1. グレースケールのラスタ画像に基づいて、該ラスタ画像に含まれる対象物の３次元モデルを作成する装置であって、
   前記ラスタ画像を読み出す画像読出手段と、
   前記ラスタ画像の各画素に対して、当該画素が有する画素値に応じて高さ情報を付与することで、前記対象物の基礎３次元モデルを作成する基礎モデル作成手段と、
   前記ラスタ画像を基に作成された下図画像と、前記基礎３次元モデルを重ねて表示する表示手段と、
   前記基礎３次元モデルに対してスムージング処理を行うことで、前記対象物の３次元モデルを作成するモデル作成手段と、を備え、
   前記モデル作成手段は、下図画像と前記基礎３次元モデルを表示手段に重ねて表示した状態で、前記スムージング処理が可能である、ことを特徴とする３次元モデル作成装置。
2. グレースケールのラスタ画像に基づいて、該ラスタ画像に含まれる対象物の３次元モデルを作成する方法であって、
   前記ラスタ画像に基づいて下図画像を作成する下図作成工程と、
   前記ラスタ画像の各画素に対して、当該画素が有する画素値に応じて高さ情報を付与することで、前記対象物の基礎３次元モデルを作成する基礎モデル作成工程と、
   前記基礎３次元モデルに対してスムージング処理を行い、前記対象物の３次元モデルを作成するモデル作成工程と、を備え、
   前記モデル作成工程では、表示手段に前記下図画像と前記基礎３次元モデルを重ねて表示するとともに、前記下図画像に合わせるように、前記基礎３次元モデルに対してスムージング処理を行う、ことを特徴とする３次元モデル作成方法。
3. 前記ラスタ画像を補正するラスタ画像補正工程を、さらに備えたことを特徴とする請求項２記載の３次元モデル作成方法。
4. 前記対象物は、刳り貫き部を有する板状物であり、
   前記ラスタ画像は、前記対象物の表面を撮影した表面ラスタ画像と、前記対象物の裏面を撮影した裏面ラスタ画像と、が用意され、
   前記下図作成工程では、はじめに前記刳り貫き部を形成し、該刳り貫き部を除く表面部分を形成することで表面下図画像が作成されるとともに、該刳り貫き部を除く裏面部分を形成することで裏面下図画像が作成され、
   前記基礎モデル作成工程では、前記表面ラスタ画像に基づいて前記対象物の表面の前記基礎３次元モデルが作成されるとともに、前記裏面ラスタ画像に基づいて前記対象物の裏面の前記基礎３次元モデルが作成され、
   前記モデル作成工程では、前記対象物の表面の前記基礎３次元モデル及び前記表面下図画像に基づいて前記対象物の表面の３次元モデルが作成されるとともに、前記対象物の裏面の前記基礎３次元モデル及び前記裏面下図画像に基づいて前記対象物の裏面の３次元モデルが作成される、ことを特徴とする請求項２又は請求項３記載の３次元モデル作成方法。

Images