JP4214019B2

JP4214019B2 - 画像生成装置及びプログラム

Info

Publication number: JP4214019B2
Application number: JP2003278738A
Authority: JP
Inventors: 悠一吉田; 順一澤瀬; 健人宮奥; 豪東野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-07-24
Filing date: 2003-07-24
Publication date: 2009-01-28
Anticipated expiration: 2023-07-24
Also published as: JP2005044200A

Description

本発明は、対象を指定した画像取得に係り、特に対象から直接的に撮影、取得しない画像の提供に関する。

近年、デジタルカメラやデジタルビデオが普及し、個人でも思い出やシーンをデジタルデータとして保存することが一般的になってきた。そういった映像、画像をデジタルデータとして保存する技術は、高精細なカメラやスキャナなどを用いた美術品や追跡などのデータベース構築などに応用されている。美術品や遺跡の画像、実測、あるいは残された書物等から推定されたサイズ、質量などをデジタルデータとして保存することは、一般にデジタルアーカイブと呼ばれている。このデジタルアーカイブは、歴史的な遺跡や美術品の仮想閲覧システムなどに応用されている。

例えば、ルーブル美術館では、ヴァーチャルツアーと称する仮想閲覧システムがオンラインWeb上で公開されている。このシステムは、美術館内をデジタルカメラで撮影し、QuickTime VRという技術でつなぎ合わせ、コンピュータ画面上で美術館内を歩き回ることができるというものである（非特許文献１）。

また、デジタルアーカイブを利用し、３次元情報を元にモデリングソフトなどによって、仮想的な遺跡などを作り、映画のようにアニメーションフイルムとして再現するものもある。大阪大学と凸版印刷株式会社の構築したバーチャル適塾、京都の町並みを仮想現実で再現したデジタルシティなどがある（非特許文献２）。
Chen S.E. "QuickTime VR An Image Based Approach to Virtual Environment Navigation", Prceedings, SIGGRAPH 1995, pp.29-38 Toru Ishida、 "Digital City Kyoto: Social Information Infrastructure for Everyday Life", Communication of the ACM (CACM), Vol.45, No.7, pp.76-81, 2002

美術館で鑑賞者は、気に入った作品などがあれば、自分の撮影したい角度、位置から対象を撮影し、記念にそれを残しておきたいという衝動にしばしば駆られる。しかし、実際の多くの美術館では、実際に鑑賞することは許されても、非常に大きな歴史的価値を持つものは、個人的な撮影が許可されない。これは、美術品の劣化や著作権に問題があるためであり、鑑賞者は、販売されているポストカードや写真集を購入するしかない。鑑賞者は、気に入ったものがあったとしても、気に入ったアングルからの映像・画像などを手に入れることは難しいという問題があるが、ＶＲ（Virtual Reality）技術を用いて、上記のルーブル美術館のような仮想的な美術館を構築し、視覚的な状況を再現することによって鑑賞者が所望するアングルからの画像を提供することはできる。

しかし、こういったＶＲシステムでは、リアルタイムに計測され、変化する光量などのパラメータを利用せずに、固定されたデータベースから画像を生成するため、常に同じ画像しか見ることができない。このため鑑賞者が、美術館等の場所において、記念に残したい撮影対象を、その場にいた感動をもって、その状況を含めた画像を取得することは困難である。

そこで本発明は、美術館などの私的な撮影が許可されない場所において、デジタルカメラやカメラ等を用いて直接撮影するのではなく、画像を取得したい対象を指定し、該指定時刻における光量などのパラメータをセンシングして利用し所望の対象の画像を生成する技術に係わる。

すなわち、撮影したい対象を指定した該指定時刻にセンシングしたパラメータを用いて、上記のＶＲデータベース、デジタルアーカイブなどを利用して生成された対象の画像を加工し、該指定時刻における状況を再現した対象の画像を提供することができる画像生成装置及びプログラムを提供することをその目的とする。

上記の目的を達成する手段として、本発明において開示される発明のうち代表的なものは、以下のとおりである。

［１］請求項１に記載の構成は、３次元形状の撮影対象を撮影した画像データ、撮影位置、撮影向き、および付加情報から構成され、前記付加情報は撮影対象が画像データ中に存在する要素領域、開示条件、焦点距離から構成される、画像情報データベースと、端末から撮影位置、撮影向き、焦点距離を受信する受信手段と、撮影対象に関する複数の参照画像を前記画像情報データベースから取得する参照画像取得手段と、前記複数の参照画像を用い、参照画像に対応した撮影位置、撮影向き、焦点距離によって撮影対象の３次元形状を得る３次元形状生成手段と、前記受信手段により受信した撮影位置、撮影向き、焦点距離を用い、前記３次元形状に対して透視変換を行って撮影対象の補間画像を撮影対象画像として生成する撮影対象画像生成手段と、撮影対象が前記撮影対象画像中に存在する要素領域を求め、前記複数の参照画像から開示条件を選び、前記撮影対象画像の付加情報を生成する付加情報生成手段と、前記撮影対象画像を送信する送信手段と、を有することを特徴とする画像生成装置である。

［２］請求項２に記載の構成は、２次元の撮影対象を撮影した画像データ、撮影位置、撮影向き、および付加情報から構成され、前記付加情報は撮影対象が画像データ中に存在する要素領域、開示条件、焦点距離から構成される、画像情報データベースと、端末から撮影位置、撮影向き、焦点距離を受信する受信手段と、撮影対象の正面から撮影された画像データを参照画像として前記画像情報データベースから取得する参照画像取得手段と、撮影対象を一枚の板とみなして、前記参照画像を用い、参照画像に対応した撮影位置、撮影向き、焦点距離によって撮影対象の３次元形状を得る３次元形状生成手段と、前記受信手段により受信した撮影位置、撮影向き、焦点距離を用い、前記３次元形状に対して透視変換を行って撮影対象の撮影対象画像を生成する撮影対象画像生成手段と、撮影対象が前記撮影対象画像中に存在する要素領域を求め、前記参照画像から開示条件を選び、前記撮影対象画像の付加情報を生成する付加情報生成手段と、前記撮影対象画像を送信する送信手段と、を有することを特徴とする画像生成装置である。

［３］請求項３に記載の構成は、前記受信手段は、光量をも受信し、前記撮影対象画像生成手段にて生成された撮影対象画像に対して、受信した光量に依存した画像処理を施す光量調整手段をさらに有する、ことを特徴とする請求項１または請求項２に記載の画像生成装置である。

［４］請求項４に記載の構成は、前記受信手段は、時刻をも受信し、前記撮影対象画像生成手段にて生成された撮影対象画像に対して、受信した時刻の光量に依存した画像処理を施す光量調整手段をさらに有する、ことを特徴とする請求項１または請求項２に記載の画像生成装置である。

［５］請求項５に記載の構成は、前記受信手段は、端末ＩＤをも受信し、前記受信した端末ＩＤを持つ端末から個人情報を読み出し、当該個人情報と撮影対象画像の付加情報にある開示条件とを比較し、不適切であれば撮影対象画像を出力しない第１の付加情報処理手段をさらに有する、ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像生成装置である。

［６］請求項６に記載の構成は、撮影対象画像の付加情報にある要素領域が撮影を許可されない要素領域であれば、閲覧制限を施す第２の付加情報処理手段をさらに有する、ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像生成装置である。

［７］請求項７に記載の構成は、請求項１ないし請求項６のいずれか１項に記載の画像生成装置を構成する各手段としてコンピュータを機能させるプログラムである。

（１）本発明によれば、対象を指定した場所および時刻で得た光量等のパラメータを用いて、画像データベース上の画像に処理を施すことによって、画像データベースにはないその場で撮影した画像に相当する画像を生成することができる。これにより、例えば、美術館などの私的な撮影が許されない場所において、撮影したいもの及び時刻を指定し、その画像を取得することができる。

（２）撮影したいものを指定したが、所望の画像が画像データベース上にない場合、所望の画像の近辺の複数の画像を用いて、補間生成することによって所望の画像を得ることができるが、従来の方法は、画像データベースに含まれた著作権などの付加情報を同時処理していないものであった。本発明によれば、こういった補間生成を行う場合であっても、補間生成するための複数の元画像の付加情報を元画像と同時に幾何変換することによって、補間生成された画像にも付加情報を加えることができ、それを利用して画像に処理を施すことができる。

以下、本発明について、図面を参照して、発明の最良の実施形態（実施例）とともに詳細に説明する。

［システムの構成概要］
以下の本発明の実施形態（実施例）は、複数のユーザが同時にそれぞれ小型端末を使用できる画像生成システムを仮定した場合について説明する。図１に実施形態の画像生成システムの概要構成図を示す。この図１の構成例において、画像生成システムは、画像生成装置１０、複数の小型端末３０と画像出力装置５０から構成されている。小型端末３０は、画像生成装置１０および画像出力装置５０とIEEE802.11に準拠する無線ＬＡＮ（Local Area Network）等の無線データ通信回線７０を用いて、撮影対象１００に関する撮影対象情報や撮影対象画像としての出力画像および写真１１０を送受信する。画像出力装置５０と画像生成装置１０は有線ＬＡＮデータ通信回線８０および前記無線ＬＡＮデータ通信回線７０のいずれかまたは両方を用いてデータの送受信を行う。

［構成ブロック図］
図２に実施形態の画像生成システムにおける、前記画像生成装置１０と小型端末３０と画像出力装置５０からなる構成ブロック図を示す。

［画像生成装置］
画像生成装置１０は、小型端末３０および画像出力装置５０と通信を行うための通信手段１４、画像データを保持する画像情報データベース１１、得られた撮影対象情報を小型端末３０の識別番号（以下ＩＤ（IDentificatin））毎のプロファイルで管理するプロファイルデータベース１２、前記画像情報データベース１１と当該のプロファイルデータベース１２に保持される撮影対象情報から撮影対象画像を生成する画像生成手段１３を備えて構成されている。

［画像情報データベース］
画像生成装置１０に備えられた画像情報データベース１１は、事前に撮影対象をあらゆる方向から撮影した一連の画像データとその撮影の場所および向き、および付加情報から構成される。図３に、画像情報データベース１１に保存されるデータの要素の構成図を示す。画像情報データベース１１は、画像データの検索キーとして処理される検索キーテーブル１１Ａと、画像データおよび付加情報を保持する画像データテーブル１１Ｂとから構成される。

検索キーテーブル１１Ａのひとつのデータは、対象画像ＩＤ１１Ａ−４と、この画像ＩＤ１１Ａ−４が示す画像データがどこからどの向きで撮影したかを示す撮影の位置１１Ａ−２、および向き１１Ａ−３から構成される。画像データテーブル１１Ｂのひとつのデータは、画像ＩＤ１１Ｂ−２、画像本体である画像データ１１Ｂ−３および付加情報１１Ｂ−４から構成される。撮影の位置１１Ａ−２および向き１１Ａ−３は、対象画像ＩＤ１１Ａ−４とともに検索キー１１Ａ−１として撮影対象画像生成のための画像データの検索に用いられ、画像データ１１Ｂ−３および付加情報１１Ｂ−４は、画像ＩＤ１１Ｂ−２とともに画像生成情報１１Ｂ−１として、撮影対象画像生成に用いられる。

［画像情報データベース〜付加情報］
図４に画像情報データベース１１に保存される付加情報のデータ構造の簡易例を示す。付加情報１１Ｂ−４は、画像データに含まれる絵画や彫像といった撮影対象要素に関する情報から構成される。具体的には、画像データに含まれる絵画や彫像といった撮影対象要素のＩＤ、撮影対象要素が画像中のどこに存在するかを示す要素領域データ、当該の要素に関する開示条件等から構成される。ひとつの画像データの中に複数の撮影対象要素が含まれている場合は、その含まれている要素の数だけ撮影対象要素のＩＤ、要素領域データ、開示条件から付加情報は構成される。開示条件は、閲覧年齢制限（対象年齢）、閲覧のための課金条件（課金制限）から構成される。要素領域データは、撮影対象要素が画像上で占める領域を２次元の（Ｘ，Ｙ）の座標点の列挙によって構成される。

［プロファイルデータベース］
小型端末３０から送信された撮影対象情報は、プロファイルデータベース１２に保存される。図５にプロファイルデータベース１２と、それが保持するひとつの小型端末３０に対するデータの構成図を示す。当該のプロファイルデータベース１２は、小型端末３０のＩＤ毎にプロファイル１２Ａを作成し、撮影対象情報１２Ｂを当該のプロファイル１２Ａ毎に管理し、保存する。

［小型端末］
小型端末３０は、端末識別ＩＤ、どの対象を指定しているかを検出するためのセンシング手段３２として、位置センサ３２Ａおよび姿勢センサ３２Ｂ、指定した時点における状況として時刻、光量を検出するためのセンシング手段３２として、光量センサ３２Ｃ、時計３２Ｄ、ユーザの入力インタフェース３３として、撮影タイミングおよび撮影条件を指定する入力手段である撮影タイミング入力インタフェース３３Ｂおよび撮影条件入力インタフェース３３Ａ、撮影を終了し撮影対象画像を出力するための画像出力決定インタフェース３３Ｃ、センシング情報と入力された撮影条件情報と端末識別ＩＤを合わせた撮影対象情報を前記画像生成装置１０へ送信、画像出力装置５０に画像出力命令および端末識別ＩＤを送信、当該の画像生成装置１０が生成した撮影対象画像を受信するための通信手段３１、当該の撮影対象画像を表示するための表示手段３４、端末を使用するユーザの年齢、課金状況を保持する個人情報保持手段３５を備えて構成されている。

位置センサ３２Ａには、小型端末３０の該時点での位置を検出するため、ＧＰＳ（Global Positioning System）、赤外線センサ等を使用する。姿勢センサ３２Ｂには、小型端末３０の撮影の向きとして、同様に小型端末３０の３次元の姿勢を検出するために、加速度センサ、磁気センサ、ジャイロセンサなど、基準方向からの相対的な向きが判別できるセンサを用いる。また光量センサ３２Ｃには、小型端末３０の該時点での周囲の自然光や照明を検出するため、ＣＣＤ（Charge Coupled Device）センサ等を用いる。

［画像出力装置］
画像出力装置５０は、小型端末３０からの画像出力命令を受信、画像生成装置１０への小型端末３０の端末識別ＩＤを含む画像生成命令を送信、および画像生成装置１０から撮影対象画像を受信するための通信手段５１、画像生成装置１０から受信する複数の撮影対象画像を保持する一時記憶手段５３、当該の一時記憶手段５３に保存された撮影対象画像から所望の画像を選択し、写真やアルバムといった画像の出力形式を選択するための編集インタフェース５５、一時記憶手段５３に撮影対象画像を保存し、編集インタフェース５５から得られた命令をもとに撮影対象画像を加工し、出力する編集処理手段５２、上記の画像出力装置５０でユーザが行う一連の処理の内容を可視化し補助する表示手段５４、実際に撮影対象画像をプリントアウトする印刷手段５６を備えて構成される。

［実施形態の動作］
［端末の初期化］
小型端末３０におけるセンシング手段３２である位置センサ３２Ａと姿勢センサ３２Ｂのオフセットやバイアスの影響を最小限にし、基準の向きを設定する必要がある。具体的には東のような方向を決め、すべての小型端末３０の基準となる向きと、基準となる位置を位置センサ３２Ａと姿勢センサ３２Ｂについて使用前に設定する。また、ユーザの年齢、課金情報を使用前に個人情報保持手段３５に入力する。

［撮影対象の指定］
ユーザは撮影対象と撮影条件情報を、撮影タイミング入力インタフェース３３Ｂおよび撮影条件入力インタフェース３３Ａで決定する。撮影条件情報は、焦点距離、感度などを撮影条件入力インタフェース３３Ａで入力することができる。撮影タイミング入力インタフェース３３Ｂより撮影命令が出されると、位置センサ３２Ａ、姿勢センサ３２Ｂ、光量センサ３２Ｃおよび時計３２Ｄからのセンシング情報と、撮影条件入力インタフェース３３Ａからの撮影条件情報とが通信手段３１へ送信される。そして当該のセンシング情報と撮影条件情報と端末識別ＩＤを合わせて撮影対象情報とし、通信手段３１から無線ＬＡＮデータ通信回線７１を通して、画像生成装置１０へ送信される。送信された画像対象情報を元に撮影対象画像が生成される。この撮影対象画像の生成については後述する。当該の撮影対象画像は、画像生成装置１０から同様に無線ＬＡＮデータ通信回線７１を通して通信手段３１へ送信され、表示手段３４に表示される。ユーザは、これによって撮影対象画像を当該の小型端末３０の表示手段３４で、実際に撮影したかのように確認することができる。

［撮影対象情報の保存］
小型端末３０から画像生成装置１０に送信された撮影対象情報は、画像生成装置１０に備えられたプロファイルデータベース１２に保存される。当該の撮影対象情報１２Ｂは、自身が含む当該の端末識別ＩＤ毎に作成されたプロファイル１２Ａに、当該のＩＤに応じて分類、保存される。

［画像出力］
ユーザが所望の対象を指定し、画像出力を終えるとき、画像出力決定インタフェース３３Ｃによって、画像出力命令を出し、撮影対象画像を生成し、印刷物などに出力する。この一連の撮影対象画像の生成過程のフローチャートを図６に示す。

画像出力命令は、通信手段３１から無線ＬＡＮデータ通信回線７２を通して、画像出力装置５０に送信される。画像出力装置５０は、小型端末３０の端末識別ＩＤと画像出力命令を通信手段５１で受信し、端末識別ＩＤとともに画像生成装置１０に画像生成命令を有線ＬＡＮデータ通信回線８１を通して送信する。これにより、画像生成装置１０は画像生成処理２００を開始する。

［画像出力〜画像生成］
画像生成処理２００において、画像生成手段１３は、まず指定された端末識別ＩＤを持つプロファイル１２Ａに含まれる撮影対象情報１２Ｂをプロファイルデータベース１２から読み出す。次に画像生成手段１３は、画像情報データベース１１の中から撮影対象情報と適合する検索キーつまり小型端末３０で指定したときと同じ撮影位置と撮影の向きを持つような適切な画像データを画像情報データベース１１から取得し、撮影対象画像を生成する（２０１）。図７に画像生成の例を示す。

［画像出力〜画像生成・３次元モデルによる補間画像生成］
画像生成装置１０における画像情報データベース１１は、あらゆる方向から撮影対象を撮影した画像データを保存しているとしていたが、すべての角度からの撮影対象の画像を網羅して撮影できるわけではない。撮影対象情報における撮影の位置と向きに適した画像が画像情報データベース１１から得られない場合には、画像生成手段１３において、所望の画像補間によって撮影対象画像を生成するように構成することも可能である。このとき画像情報データベース１１の構築時に、付加情報に従来の検索キーに用いられていた撮影時の位置と向きに加えて、撮影時の焦点距離を保持する必要がある。これを保持した画像情報データベース１１における画像生成情報のデータ構造を図８に示す。また、前記小型端末３０で撮影対象を指定するときにユーザが撮影条件として入力した焦点距離も必要とする。

３次元モデルによる補間画像生成２０２の概要を説明する。まず所望の撮影の位置と向きに近い点から撮影された画像データを参照画像として画像情報データベース１１から取得する。この参照画像は、ある方向から見た撮影対象のシルエットを写しているということができる。参照画像に含まれる撮影対象をマーチングキューブ法あるいは付加情報に含まれる要素領域データによってその輪郭を抽出する。参照画像の視点つまり撮影位置から輪郭に向かって直線を引くと、円錐のような空間を得ることができる。この円錐のような空間を複数の参照画像について作成する。これらの円錐のような空間を重ね合わせていくことによって、目的の撮影対象の形状を得ることができる。

次に、具体的な処理の一例の外観を説明する。図９にその簡易説明図を示す。複数の参照画像１２２を画像情報データベース１１から取得する。形状を得るための画像１２１が撮影する範囲および大きさを所望の撮影の位置、向きと焦点距離から決定する。参照画像の撮影の視点１２４から撮影対象１２０が占めるそれぞれの画素に向かって直線Ａ１２５を引く。形状を得るための画像１２１にこの直線を投影する。投影した結果の直線Ｂ１２６が占めるそれぞれの画素に対して、形状を得るための画像の撮影の視点１２３から直線Ｃ１２７を引き、上記の直線との交点を算出する。そしてこの交点の座標値を保存する。この一連の作業をすべての用意した参照画像１２２に対して行う。これによって、目的の撮影対象の形状を得る。次に得た形状に対して、参照画像に映し出された撮影対象をテクスチャとして投影する。これによって撮影対象の３次元形状１２８を得ることができる。最後に、画像取得時の撮影の位置および向きにおける焦点距離を用いて、投視射影行列を作成し、この撮影対象の形状に対して、透視変換を行い、所望の補間画像１２９を撮影対象画像として生成する。

文献「W.Matusi, C.Buehler, R.Raska, S.J.Gortler, L.McMilla, “Image-Based Visual Hulls", Proceedings SIGGRAPH2000, pp.369-374」
文献「井口征士、佐藤宏介：“三次元画像計測”、昭晃堂（１９９０）」。

［画像出力〜画像生成・幾何的変換による補間画像生成］
上記の３次元モデルによる補間画像生成と同様に撮影対象情報における撮影の位置と向きに適した画像が画像情報データベース１１から得られない場合で、さらに撮影対象が絵画のような平面のもので有れば、画像生成手段１３において、幾何的変換による画像補間で撮影対象画像を生成するように構成することも可能である。前記３次元モデルによる補間画像生成と同様に画像情報データベース１１に焦点距離のパラメータが必要となり、また小型端末３０の撮影対象情報の焦点距離も必要となる。

図１０に幾何的変換による補間画像生成２０３の簡易例を示す。撮影対象である絵画の正面からの参照画像を３次元上の板として考え、所望の撮影の位置と向き、撮影条件情報の焦点距離を用いて、投視射影行列計算によって所望の絵画の画像を得ることができる。

具体的な処理の一例を説明する。絵画は２次元であるため、撮影対象である絵画１３０または絵画を含む壁を一枚の板とみなして参照画像１３１とし、これを取り出す処理１３２を行う。画像生成手段１３は、参照画像１３１における撮影の位置および向きに対する相対的な画像取得時の撮影の位置と向きを、それぞれ視点の平行移動量と視線方向の回転角度量として算出する。次に、該画像生成手段１３は、当該の平行移動量と回転角度量を用いて、板と見なした参照画像１３１に３次元上における回転、平行移動処理１３３を施し、該画像取得時の撮影の位置および向きからの撮影対象となる絵画の３次元形状を得る。最後に前記３次元モデルによる補間画像生成と同様に３次元形状を該画像取得時の撮影の位置および向きにおける焦点距離を用いて、投視射影行列を作成し、２次元画像へ透視変換１３４を行い、所望の補間画像１３５を撮影対象画像として、生成する。

［画像出力〜画像生成・付加情報の補間生成］
幾何的変換および３次元モデルを用いた補間画像を生成する場合、補間生成された画像は、付加情報を持たない。このため生成の後に補間生成された画像の付加情報の補間生成２０４を行う。上述の２つの画像補間生成では、撮影対象の３次元形状を作成し、透視変換によって画像を生成する。このため、撮影対象が補間画像のどの画素を占めるかは容易に決定される。

３次元形状を作成する過程では、補間生成する画像の各画素の色をテクスチャの投影によって決定する。補間生成元の参照画像をテクスチャとしてこの処理を行う。このとき３次元形状の各点が、参照画像に含まれるどの撮影要素上の画素によって色付けされるかを調査し、その要素を区別するラベルを付けることによって、撮影対象が補間画像に複数個存在しても、それら撮影要素が補間生成された画像のどの画素を占めるかを知ることができる。

３次元モデルによる補間画像生成における画素のラベル付けの簡易例を図１１に示す。参照画像中の撮影対象１，４の画素からテクスチャ投影によって補間画像の３次元形状のある点の色を決定するとき、当該の点の色の決定と同時に撮影対象１，４に含まれることを示す撮影対象要素の数字がラベル１４３，１４４として割り当てられる。

当該の方法を用いて、補間画像のどこに撮影対象の領域１４１，１４２が存在するかを示す要素領域データを構築することができる。この補間生成された要素領域データと、補間生成するために用いた参照画像の付加情報１４０を組み合わせることで、補間画像の付加情報１４６を生成することができる。具体的には、要素領域データ毎の著作権、年齢制限などの情報はどの方向から見ても変化しないので、参照画像の中から適当な付加情報を選び、それを用いることで、補間生成された撮影対象画像１４５の付加情報１４６を補間生成する。

［画像出力〜画像処理］
さらに画像生成手段１３は、撮影対象情報の光量を利用して、撮影対象画像に画像処理２０５を施す。自然光つまり太陽光や照明によって、撮影対象に当たる光量は変化する。夕方は、赤の色合いが強くなり、白昼は、全体的に色合いは明るくなるといった風に画像への写りは変化する。また、照明が白熱灯である場合、全体的に色合いが明るくなり、赤色灯であれば、色合いは赤の色合いが強くなるといった風に、光量によって画像への写りは変化する。画像処理によって、こういった色合いの変化を、撮影対象画像に施す。生成された撮影対象画像の各画素における色要素、赤、緑、青、輝度（以下Ｒ，Ｇ，Ｂ，Ｙ）の比を変更することによって、赤の色合いを強くするといった処理が可能である。例えば、昼間で少し暗く、赤色灯による照明がある場合には、Ｒ８０％、Ｇ６５％、Ｂ６５％、Ｙ７０％のように色要素の比率を変化させる。撮影対象画像に画像処理を施すために、撮影対象情報の中のセンシング情報に含まれる光量の色要素Ｒ，Ｇ，Ｂ，Ｙの比率を撮影対象の自然光の明るさや照明の比率として利用する。前記画像生成手段１３は、撮影対象情報から、光量による色要素の比率を読み出し、撮影対象画像の各画素の色要素Ｒ，Ｇ，Ｂ，Ｙにそれぞれ乗算し、所望の光量による影響を受けた撮影対象画像を生成する。

また、美術館等の内部における自然光、照明などの光量を定時刻、各場所毎に検出し、データを更新していく時刻と場所毎の光量を保持した光量データベースをシステムに加えて構成することもできる。

図１２にその光量データベースの簡易例を示す。各地点に配置された光量センサ２２は、定時刻毎に光量データベース２０に、センシングした光量の送信２３を行う。光量データベース２０は、光量データテーブル２１に時刻と場所毎の光量を保存し、更新していく。この光量データベース２０を加えた構成において、前記画像生成手段１３は、撮影対象情報の撮影時刻を用いて、光量データベース２０のデータテーブル２１から、該時点における光量を読み出し、それを色要素Ｒ，Ｇ，Ｂ，Ｙの比率として利用することができる。当該の光量データベース２０は、逐次時刻と場所毎の光量をセンシングし、光量データテーブル２１を更新し続けるため、撮影した瞬間の光量を取り出すことができる。

先行技術文献「特開平７−２１０１２３号公報、映像表示装置」では、あらかじめ季節や時刻における光量の静的なデータベースを持ち、それを画像処理に用いている。しかし、これは実際の光量を測定した動的なデータを用いるという点で本発明と画像処理の方法が異なる。

［画像出力〜付加情報処理］
画像処理が行われた後、撮影対象画像に付加情報を用いた処理を施す。付加情報処理２０６は、画像情報データベース１１から取得される付加情報または補間生成された付加情報を用いて行う。付加情報処理を施した画像の簡易例を図１３に示す。

前記画像生成手段１３は、撮影対象情報に含まれる端末識別ＩＤを持つ小型端末３０から個人情報保持手段３５に保持されているユーザの年齢を通信手段１４を通じて読み出し、撮影対象画像の付加情報に含まれる開示条件の閲覧年齢制限と比較し、適切であれば、撮影対象画像をそのままに出力し、不適切であれば出力しないといった具合に付加情報処理を施す。

同様に撮影対象情報に含まれる端末識別ＩＤを持つ小型端末３０から個人情報保持手段３５に保持されている課金状況を通信手段１４を通じて読み出し、課金状況と開示条件に含まれる課金制限額を比較し、ユーザに画像を取得する権利があるかを検証し、権利が有れば、撮影対象画像を出力する。

付加情報には要素領域データが含まれており、それを用いて、ひとつの画像中に複数の撮影対象要素が含まれている場合に、撮影を許可されない要素が占める領域にのみ、図１３の各図（ａ），（ｂ），（ｃ）に示すように閲覧制限を施すことができる。

これら一連の画像生成処理は、プロファイルデータベース１２に保存されているすべての撮影対象情報１２Ｂに対して行われる。生成された撮影対象画像は、通信手段１４によって有線ＬＡＮデータ通信回線８１を通して、画像出力装置５０に逐次、送信される。

［画像出力］
画像生成装置１０から、有線ＬＡＮデータ通信回線８１を通して、画像出力装置５０に送信される撮影対象画像は、編集処理手段５２によって一時記憶手段５３に保存される。すべての撮影対象画像が生成、送信されると、一時記憶手段５３に保存された撮影対象画像は、表示手段５４に表示される。

ユーザは、編集インタフェース５５と表示手段５４によって出力したい撮影対象画像の選択や、一連の画像を写真形式やアルバム形式で出力するといった編集作業を行うことができる。最終的に上記の編集作業が編集インタフェース５５によるユーザの終了命令によって終了すると、一時記憶手段５３から編集処理手段５２が撮影対象画像を読み出し、印刷手段５６から所望の形式で撮影対象画像を出力する。

［変形例１・プロファイルデータベースの備え方］
前述の実施形態では、複数の小型端末３０の撮影対象情報を保存、管理するためにプロファイルデータベース１２を画像生成装置１０に備えていたが、これは小型端末３０あるいは画像出力装置５０に備えるか、プロファイルデータベースを制御するプロファイルデータベース装置として構成することも可能である。

［変形例２・画像出力方法］
前述の実施形態では、画像出力装置５０は、撮影対象画像を出力するときに印刷手段５６を備え、ユーザに当該の撮影対象画像を提供しているが、画像出力装置５０にインターネットに接続する手段を備えて構成することによって、電子メールで任意のアドレスに送信することも可能である。また、当該の画像出力装置５０にメモリーカードリードライタといった補助記憶手段を備えて構成することで、画像データとして任意の記録媒体に記録し、ユーザに撮影対象画像を提供することも可能である。さらに、画像を出力する前にブルーバックで撮影したユーザの写真などを画像出力装置５０に入力し、所望の画像と合成することでユーザが画像情報データベースにある写真に映っているように見える記念写真のような出力も可能である。

［変形例３・付加情報の他の使い方］
前述の実施形態では、付加情報を著作権管理、撮影対象の開示制限などに用いていた。そこで撮影した撮影対象画像を変形例２の出力手段によって画像データのまま出力するとき、付加情報が撮影対象の説明を含むことによって画像上への撮影対象の歴史的背景や関連情報といったテキスト情報を追加するとが可能である。さらに要素領域データを用いて、画像をイメージマップヘ拡張することが可能である。

変形例３における付加情報のデータ構成と利用例を、図１４に示す。付加情報は、画像データ上にある画像中の撮影対象要素が画像中に占める領域を示す要素領域データ毎に割り当てるテキスト情報、画像全体へのテキスト情報、そして出力時に使用するＨＴＭＬ（Hyper Text Markup Language）データ形式のためのテンプレートデータを加えて構成される。

付加情報処理において、画像生成手段１３は、一つの画像データ１６１に付随する付加情報１６０を画像情報データベース１１から読み出し、その中に含まれる撮影対象要素毎の要素領域データやテキスト情報を読み出す。次に該画像生成手段１３は、付加情報１６０の要素領域データと撮影対象画像１６１と組み合わせてイメージマップ１６４を作成する。ＨＴＭＬテンプレートを利用し、当該のイメージマップ１６４やテキスト情報１６３などを整形し、上記変形例２における記憶媒体、電子メール等によってＨＴＭＬドキュメント１６２のデータとして出力する。

ユーザは、電子メールまたは記録媒体で持ち帰ったデータをＰＣ（Personal Computer）などで鑑賞すると、撮影対象画像だけでなく、様々な関連情報１６５なども一度に手に入れることができ、美術館の案内、学習装置、インタラクティブな画像生成などへの応用が可能である。

［プログラムによる実施形態］
なお、図２などを用いて説明した本システムの各装置における各部の一部もしくは全部の機能を装置毎にコンピュータのプログラムで構成し、そのプログラムを各装置のコンピュータを用いて実行することで本発明を実現できること、あるいは、図６などを用いて説明した本システムの各装置での処理の手順を装置毎にコンピュータのプログラムで構成し、そのプログラムを各装置のコンピュータに実行させることで本発明を実現できることは言うまでもない。

本システムの各装置においてコンピュータでその機能を実現するためのプログラム、あるいは、本システムの各装置のコンピュータに各装置における処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムを本システムの各装置のコンピュータにインストールすることで、本発明が実施可能となる。

本発明による画像生成システムの構成例を示す模式図である。本発明による画像生成システムの概略構成を示すブロック構成図である。本実施形態における画像情報データベースのデータ要素の一例を示す図である。本実施形態における画像情報データベースの付加情報のデータ要素の一例を示す図である。本実施形態におけるプロファイルデータベースのデータ要素の一例を示す図である。本実施形態における画像生成における処理の流れを示すフローチャート図である。本実施形態における撮影形態と、それによって生成される画像の例を示す図である。本実施形態における３次元モデルを利用した画像補間生成処理において、必要な付加情報のデータ構造の簡易例を示す図である。本実施形態における３次元モデルを利用した画像補間生成処理の原理の簡易例を示す図である。本実施形態における幾何的変換による画像補間生成処理の原理の簡易例を示す図である。本実施形態における３次元モデルを利用した場合の補間画像の付加情報の補間生成の簡易例を示す図である。本実施形態における光量データベースと光量センサの構造の簡易例を示す図である。（ａ），（ｂ），（ｃ）は、本突施形態における付加情報処理での閲覧制限処理の簡易例を示す図である。変形例３におけるテキスト、イメージマップ等のための付加情報データ構造と生成されるＨＴＭＬドキュメントの簡易例を示す図である。

符号の説明

１０…画像生成装置
１１…画像情報データベース
１２…プロファイルデータベース
１３…画像生成手段
１４…有線および無線・通信手段
３０…小型端末
３１…無線・通信手段
３２…センシング手段
３２Ａ…位置センサ
３２Ｂ…姿勢センサ
３２Ｃ…光量センサ
３２Ｄ…時計
３３…入力インタフェース
３３Ａ…撮影条件入力インタフェース
３３Ｂ…撮影タイミング入力インタフェース
３３Ｃ…画像出力決定インタフェース
３４…表示手段
３５…個人情報保持手段
５０…画像出力装置
５１…有線および無線・通信手段
５２…編集処理手段
５３…一時記憶手段
５４…表示手段
５５…編集インタフェース
５６…印刷手段
７０，７１，７２…無線ＬＡＮデータ通信回線
８０，８１…優先ＬＡＮデータ通信回線
１００…撮影対象
１１０…出力画像および写真

Claims

３次元形状の撮影対象を撮影した画像データ、撮影位置、撮影向き、および付加情報から構成され、前記付加情報は撮影対象が画像データ中に存在する要素領域、開示条件、焦点距離から構成される、画像情報データベースと、
端末から撮影位置、撮影向き、焦点距離を受信する受信手段と、
撮影対象に関する複数の参照画像を前記画像情報データベースから取得する参照画像取得手段と、
前記複数の参照画像を用い、参照画像に対応した撮影位置、撮影向き、焦点距離によって撮影対象の３次元形状を得る３次元形状生成手段と、
前記受信手段により受信した撮影位置、撮影向き、焦点距離を用い、前記３次元形状に対して透視変換を行って撮影対象の補間画像を撮影対象画像として生成する撮影対象画像生成手段と、
撮影対象が前記撮影対象画像中に存在する要素領域を求め、前記複数の参照画像から開示条件を選び、前記撮影対象画像の付加情報を生成する付加情報生成手段と、
前記撮影対象画像を送信する送信手段と、
を有することを特徴とする画像生成装置。
２次元の撮影対象を撮影した画像データ、撮影位置、撮影向き、および付加情報から構成され、前記付加情報は撮影対象が画像データ中に存在する要素領域、開示条件、焦点距離から構成される、画像情報データベースと、
端末から撮影位置、撮影向き、焦点距離を受信する受信手段と、
撮影対象の正面から撮影された画像データを参照画像として前記画像情報データベースから取得する参照画像取得手段と、
撮影対象を一枚の板とみなして、前記参照画像を用い、参照画像に対応した撮影位置、撮影向き、焦点距離によって撮影対象の３次元形状を得る３次元形状生成手段と、
前記受信手段により受信した撮影位置、撮影向き、焦点距離を用い、前記３次元形状に対して透視変換を行って撮影対象の撮影対象画像を生成する撮影対象画像生成手段と、
撮影対象が前記撮影対象画像中に存在する要素領域を求め、前記参照画像から開示条件を選び、前記撮影対象画像の付加情報を生成する付加情報生成手段と、
前記撮影対象画像を送信する送信手段と、
を有することを特徴とする画像生成装置。
前記受信手段は、光量をも受信し、
前記撮影対象画像生成手段にて生成された撮影対象画像に対して、受信した光量に依存した画像処理を施す光量調整手段をさらに有する、
ことを特徴とする請求項１または請求項２に記載の画像生成装置。
前記受信手段は、時刻をも受信し、
前記撮影対象画像生成手段にて生成された撮影対象画像に対して、受信した時刻の光量に依存した画像処理を施す光量調整手段をさらに有する、
ことを特徴とする請求項１または請求項２に記載の画像生成装置。
前記受信手段は、端末ＩＤをも受信し、
前記受信した端末ＩＤを持つ端末から個人情報を読み出し、当該個人情報と撮影対象画像の付加情報にある開示条件とを比較し、不適切であれば撮影対象画像を出力しない第１の付加情報処理手段をさらに有する、
ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像生成装置。
撮影対象画像の付加情報にある要素領域が撮影を許可されない要素領域であれば、閲覧制限を施す第２の付加情報処理手段をさらに有する、
ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像生成装置。
請求項１ないし請求項６のいずれか１項に記載の画像生成装置を構成する各手段としてコンピュータを機能させるプログラム。