JP6344619B2 - 奥行き情報編集装置、奥行き情報編集方法、奥行き情報編集プログラム、及び奥行き情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、例えば作画者の全方位を覆う背景に見立てた画像、即ち所謂全方位画像に付随する奥行き情報を編集、生成等する奥行き情報編集装置、奥行き情報編集方法、奥行き情報編集プログラム、及び奥行き情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

従来、画像の各画素の位置に対する奥行きを表す情報として、深度マップ（Depth map）が用いられている。ここで、「深度マップ」とは、一般には、３次元空間についてカメラ（視点）からの距離情報をグレースケール等で表したものである。

換言すれば、深度マップとは、視点から対象点までの深さ（すなわち、視点から視錐台へ向かう垂線を軸とした１次元上の長さ）を表す情報の集合であるといえる。

なお、コンピュータグラフィックの分野では、深度マップはＺバッファとも称され、３次元オブジェクトの前後関係を判定する用途に用いられている。Ｚバッファとは、画面全体の深度をまとめて保存しておくメモリ領域ともいえる。

近年では、深度マップは立体感の表現や被写界深度の表現等にも活用されている。

ところで、コンピュータグラフィックの分野においては、通常は３次元情報が先に生成されるので、当該３次元情報に基づくことで、２次元画像及び深度マップを生成することができる。

その一方、絵画（drawing）の分野においては、通常は作画を２次元状の画像に対して行うものであり、３次元情報は先に生成されないため、深度マップは別途用意する必要がある。

国際公開第ＷＯ／２０１２／１４７３０３号公報

しかしながら、絵画の分野においては、奥行き情報を容易且つ正確に作成する方法は十分に確立されておらず、その作成には過大な時間を要する。

たとえば、地面や建造物等の奥行きに関する連続的な変化を表現する場合、奥行き情報に基づきグラデーションを用いた表現を行うことになるが、これを手描きによって正確に表現することは困難である。

さらに、深度マップのような一方向に限定した情報は全方位画像に付随する奥行き情報としては適しておらず、たとえば、深度マップにおいては、基準とする軸（視軸等）と直角の方向では深さが常に０となってしまう。

これらのことから、本出願人による先願である特許文献１に記載の全方位画像編集装置において、ドローイング用画像から全方位画像へ投影（描画）する方法を、奥行き情報の編集の手段としてそのまま用いることは困難である。

本発明は、上述した技術的な課題に鑑みてなされたもので、全方位画像に付随する奥行き情報の編集および生成を実現することを目的とする。

本発明の第１の態様に係る奥行き情報編集装置は、ドローイング深度値を入力する手段と、座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込む手段と、視線情報を基に前記ドローイング画像の前記深度マップを距離マップに変換する手段と、を備えたことを特徴とする。

本発明の第２の態様に係る奥行き情報編集装置は、ドローイング深度値を入力する手段と、座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込む手段と、前記ドローイング画像を全方位画像へ投影する際に、全方位画像の画素を更新するタイミングで深度値を距離値に変換する手段と、を備えたことを特徴とする。

本発明の第３の態様に係る奥行き情報編集装置は、視線情報を基にスクリーン画像の距離マップを深度マップに変換する手段と、座標を基に前記スクリーン画像の深度マップからドローイング深度値を抽出する手段と、を備えたことを特徴とする。

本発明の第４の態様に係る奥行き情報編集装置は、全方位画像をスクリーン画像に投影する際、前記スクリーン画像の画像を更新するタイミングで距離値を深度値に変換する手段と、座標を基に前記スクリーン画像の前記深度値を含む深度マップからドローイング深度値を抽出する手段と、を備えたことを特徴とする。

本発明の第５の態様に係る奥行き情報編集装置は、操作入力を行う入力手段と、奥行き情報編集プログラムに基づく所定の動作を行う中央制御手段と、画像の表示を行う表示手段と、を備え、前記中央制御手段は、全方位画像の距離マップを基にした深度マップをスクリーン画像へ描画し、前記入力手段から座標、ボタン及び数値の入力を受け、視線変更入力がなされた場合には、入力情報を基に視線方向、視野角およびシフト量を更新し、深度値抽出入力がなされた場合には、入力情報による座標を基に、スクリーン画像の画素を抽出し、ドローイング深度値として設定し、深度値変更入力がなされた場合には、入力情報による設定値をドローイング深度値として設定し、ドローイング入力がなされた場合には、入力情報による座標、ドローイング深度値およびドローイングパラメータを用いてドローイング画像の画素を更新し、ドローイング画像の深度マップをプレビューとしてスクリーン画像に重畳し、前記表示手段に表示することを特徴とする。

本発明のその他の態様では、上記第１乃至第５と同趣旨の奥行き情報編集プログラム、奥行き情報編集方法、奥行き情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体として課題を解決する。

本発明によれば、全方位画像に付随する奥行き情報の編集および生成を容易にする奥行き情報編集装置、奥行き情報編集方法、奥行き情報編集プログラム、及び奥行情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

本発明の一実施形態に係る奥行き情報編集装置の構成図である。 本発明の一実施形態に係る奥行き情報編集装置のメインメモリのメモリマップである。 本発明の一実施形態に係る奥行き情報編集プログラムのデータ入出力関係を示す概念図である。 本発明の一実施形態に係る奥行き情報編集プログラムの動作を示すフローチャートである。 図４のステップＳ１３の処理を詳細に示すフローチャートである。 全方位画像の画素更新処理を示すフローチャートである。 図４のステップＳ１の処理を詳細に示すフローチャートである。 スクリーン画像の画素更新処理を示すフローチャートである。 （ａ）乃至（ｃ）は、深度マップと距離マップとの関係を示す概念図である。 深度マップと距離マップの相互変換について説明する為の概念図である。 （ａ）及び（ｂ）は、本発明の一実施形態に係る奥行き情報編集方法にしたがった作業手順の一例を説明するための図である。

以下、本発明の奥行き情報編集装置、奥行き情報編集方法、奥行き情報編集プログラム及び奥行き情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体に係る好適な実施形態について図面を参照しながら説明する。なお、本発明の奥行き情報編集プログラム等は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において、適宜変更可能である。

本発明の奥行き情報編集装置等は、少なくとも以下を特徴の一部とするものである。

即ち、第１に、本発明の実施形態に係る奥行き情報編集装置は、ドローイング深度値を入力する手段と、座標を基にドローイング深度値をドローイング画像の深度マップに描き込む手段と、ドローイング画像を全方位画像へ投影する前に視線情報を基にドローイング画像の深度マップを距離マップに変換する手段と、を備える。ここで、視線情報とは、例えば視野角およびシフト量の情報を含む。但し、これには限定されない。

第２に、本発明の実施形態に係る奥行き情報編集装置は、全方位画像をスクリーン画像へ投影した後に視線情報を基にスクリーン画像の距離マップを深度マップに変換する手段と、座標を基にスクリーン画像の深度マップからドローイング深度値を抽出する手段と、を備える。ここで、視線情報とは、例えば視野角およびシフト量の情報を含む。但し、これには限定されない。

本発明の第１の効果として、全方位画像において、３次元平面や３次元曲面を表す奥行き情報を容易かつ正確に編集することが可能となる。たとえば、視線方向を真下に向けてドローイングした場合、地面を表す３次元平面としての奥行き情報を作成することができる。そこから視線方向を水平にした場合、奥行き情報は地面の連続した奥行き感の表現として正確なグラデーションが生成される。

また、本発明の第２の効果として、編集済みの奥行き情報に関係する新たな奥行き情報を容易かつ正確に編集することが可能となる。たとえば、視線方向を水平に向けて、地面の任意の位置から抽出した場合、その深度値を用い、そこから上方に伸びるようなドローイングをすることで、高さのある物体（たとえば、建造物）を表す奥行き情報を作成することができる。

以下、本発明の一実施形態について詳述する。

図１には本発明の一実施形態に係る奥行き情報編集装置の構成を示し説明する。

この図１に示されるように、奥行き情報編集装置１は、パーソナルコンピュータ１０と表示装置２０、ポインティング装置３０等からなる。

尚、奥行き情報編集装置１は、後述する機能を実現する奥行き情報編集プログラムが実装されたコンピュータプログラムプロダクトの一態様に相当する。

パーソナルコンピュータ１０は、マルチタスク対応プロセッサ等からなる中央制御部１１と、一時記憶装置としてのＲＡＭ（Random Access Memory）等からなるメインメモリ１２、グラフィックカード等の画像制御部１３、入出力制御部１４、内蔵不揮発性記憶媒体１５、メディア読み書きインターフェイス１６を含む。

画像制御部１３は、ビデオメモリ１３ａも備えている。ビデオメモリ１３ａとは、パーソナルコンピュータ１０本体のメインメモリ１２と同じく、一時的にデータを保存する場所であり、グラフィックカードについているメモリはＶＲＡＭ（Video RAM）とも称される。画面に３Ｄグラフィック画像を表示する場合、その際に必要となるデータ量は大きくなる。画像制御部１３で処理を終えたデータはビデオメモリ１３ａに保存されて随時使われていく。ビデオメモリ１３ａの容量が多いほど、細かい３Ｄグラフィック画像でも、スムーズに不良もなく表示することができるようになる。尚、昨今ではＶＲＡＭの高速化が進み、ＧＤＤＲ(Graphics DDR)と称される高速処理専用のメモリ規格も登場し、３次元グラフィックス描画における莫大なデータの高速転送が実現されている。

表示装置２０は、液晶ディスプレイ等に代表される、画像を表示することができる装置である。ポインティング装置３０は、マウスやタッチパネル、ペンタブレットに代表される、座標入力及び／又はボタン入力が可能な装置である。

プログラムデータ５０や方位画素対応付けデータ４２、全方位画像入力データ４０はメディア読み書きインターフェイス１６を介して入力され、全方位画像出力データ４１はメディア読み書きインターフェィス１６を介して出力される。

プログラムデータ５０とは、本発明の奥行き情報編集装置を動作可能とするソフトウェアである。後述する奥行き情報編集プログラムのデータ等がこれに該当する。プログラムデータ５０は、コンピュータ読み取り可能な記録媒体に記録されていて、当該記録媒体より読み出されるようにしてもよい。

方位画像対応付けデータ４２とは、方位と画素の位置を相互に対応付けるテーブル又は関数である。ポリゴンモデルを用いる場合は、ポリゴンモデルデータがこれに相当し、３次元形状のオブジェクトとなる。方位画像対応付けデータ４２は、プログラムデータ５０に付随してもよいし、外部で定義されたデータを読み込んでもよい。

全方位画像入力データ４０、全方位画像出力データ４１は、ソフトウェアが扱う画像群である。例えばポリゴンモデルを用いる場合はテクスチャ画像群がこれに相当する。入力されたテクスチャ画像群等はメインメモリ１２に一時記憶される。

全方位画像入力データ４０及びプログラムデータ５０は、コンピュータ１０により読み取り可能な不図示の外部の記録媒体から読み込んでもよく、通信ネットワークを介して外部コンピュータから受信し、内蔵不揮発性記憶媒体１５に取り込んでもよい。さらに、出力データは、不図示の外部の記録媒体へ書き込んでもよく、通信ネットワークを介して外部コンピュータに送信してもよい。

ここで、図２には、ポリゴンモデルを利用して奥行き情報の編集を行う場合に使用するメインメモリ１２のメモリマップの一例を示し説明する。

全方位画像関連情報とは、奥行き情報編集装置における作画者および鑑賞者の全方位を覆う背景（即ち全方位画像）を表すための情報である。図２は特にポリゴンモデルを利用する場合の例である。ポリゴン頂点群は、３次元空間座標（ｘ：水平，ｙ：垂直，ｚ：奥行き）と２次元テクスチャ座標（ｕ：水平，ｖ：垂直）とを持つ。ポリゴン面群は、ポリゴン面が三角形を表わすため、ポリゴン頂点への参照を３つとテクスチャ画像への参照をレイヤー枚数分だけ持つ。ポリゴンモデルは、３次元形状を表わすため、ポリゴン頂点とポリゴン面とをそれぞれ配列として持つことになる。１つのレイヤーが持つテクスチャ画像群の構造がどのレイヤーについても同一である場合、テクスチャ画像への参照はレイヤー内の相対的な参照を１つとしてもよい。

ポリゴンモデルを利用することはあくまでも一例であり、全方位画像の表示や編集における手段を技術的に制限するものではない。全方位に画素が対応付けられていれば、ポリゴンモデルやテクスチャの概念を用いることも必須ではない。例えば、球面ミラーを用いた全方位カメラ等から得られるような全方位画像に対しての編集も可能となる。

テクスチャ画像、スクリーン画像、ドローイング画像の各画像は、不透明度付きの色（ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列として持つ（以下、色情報マップと称する）。「アルファ」とは、不透明度を示している。例としてパーソナルコンピュータは、１つのピクセルの色を２４ビット（１色につき８ビット、赤・緑・青の３色で８×３＝２４ビット）という単位で記録している。赤・緑・青のような値は、それぞれ「濃度値」とも称され、８ビット型では２５６段階の記録ができる。なお、グレースケール画像のような場合、濃度値は１つ持てばよい。

アルファ付きＰＮＧ（３２ビットＰＮＧ；32bit Portable Network Graphics）形式では色情報の他に、各ピクセルの不透明度も８ビット型の２５６段階で記録できる。アルファ値がゼロで完全な透明、２５５で完全な不透明であることを意味する。なお、画像処理で色を精度良く扱う用途の例として、濃度値が１６ビット型の６５５３６段階に拡張された形式や浮動小数点型で表された形式等が用いられる場合もある。

さらに、本発明の実施形態において、テクスチャ画像、スクリーン画像、ドローイング画像の各画像は、不透明度付きの奥行き（ａ：アルファ，ｇ：濃度値）を２次元的な配列として持つ。そして、本発明の実施形態に係る奥行き情報編集装置等では、奥行き情報について「深度マップ」と「距離マップ」との２種類を扱う。

ここで、「深度マップ」とは、視点から対象点までの深さ（即ち、視点から視錐台へ向かう垂線を軸とした１次元上の長さ）を表す値（以下、深度値という）の集合である。「距離マップ」とは、視点と対象点との直線距離（即ち、３次元上の長さ）を表す値（以下、距離値という）の集合である。深度マップ及び距離マップは、色情報マップと同様、座標により対応画素を指定できるものとする。

なお、深度値及び距離値は、長さに比例する濃度値としてマップに持たせる代わりに運用の形態によっては長さの逆数を濃度値としてマップに持たせてもよい。たとえば、無限遠に相当する長さを扱いたい一方で、遠くなるにつれて精度が低くなってもよい場合などは、長さの逆数を用いる方が適している。

スクリーン画像とは、全方位画像を座標変換により２次元座標平面上に投影し、表示装置２０により作業者に提示する画像である。

ドローイングとは、主にポインティング装置３０を用いて２次元（平面）の画像に対して図形や線等の描き込みを行う作業である。ドローイング用画像（ドローイング画像）とは、作画者が実際にドローイングを行う対象とする２次元（平面）の画像である。

ドローイング用画像は、スクリーン画像とは別の記憶域にあり、スクリーン画像と同じ座標系であり、ドローイング開始前は完全に透明な状態とする。ドローイングを施した箇所は、不透明度を含む濃度値を更新する。これは、即ち作業者がスクリーン画像に重なっている透明な層にドローイングを行うことに等しい。

ドローイングパラメータとは、ドローイングの手法および属性を決定するパラメータである。ドローイングの手法は、フリーハンド、直線、矩形、円、画像の貼り付け、等が挙げられる。ドローイングの属性は、線の場合は幅や濃度値、図形の場合は塗りつぶしの模様、等が考えられる。ドローイングのパラメータの種類が多いほど表現方法が多彩となりうる。尚、本願でいう「ドローイング（drawing）」には、一般的な「ペインティング（painting）」も概念上含まれる。

本実施形態において、テクスチャ画像（すなわち、全方位画像）が持つ奥行き情報は、距離マップとして入出力する。スクリーン画像が持つ奥行き情報は、距離マップとして全方位画像から入力（投影）し、後述する変換を伴い、深度マップとして表示装置２０へ出力（表示）する。ドローイング画像が持つ奥行き情報は、深度マップとしてポインティング装置３０等の入力装置から入力（描き込み）し、後述する変換を伴い、距離マップとして全方位画像へ出力（投影）する。ただし、スクリーン画像と共に表示装置２０へ出力（表示）する際は、深度マップとしてスクリーン画像に合成する。

なお、ドローイング画像はドローイングの内容を全方位画像に反映させるまでの一時的な画像でもあり、必要に応じて用いればよい。例えば、作画においてドローイング終了前に再び視線変更モードに戻る（視線情報を修正する）ことを必要とせず、直ちにドローイング内容の変換および全方位画像への反映をする事を作画ルールとする場合、ドローイング画像を用いない事も可能である。

図３には、本発明の一実施形態に係る奥行き情報編集プログラムのデータ入出力関係を概念的に示し説明する。

同図において、入力装置とは、作業者からの操作を受け付けるポインティング装置３０等である。視線情報とは、視線方向（ヨー角、ピッチ角、ロール角）のほか、視野角、水平シフト量、垂直シフト量といった、作業者が全方位画像を観測および編集するための情報を意味している。入力用投影および出力用投影とは、全方位画像に関する入出力を意味している。

深度／距離変換とは、ドローイング画像を全方位画像へ投影する前に視線情報を基にドローイング画像の深度マップを距離マップに変換することを意味している。距離／深度変換とは、全方位画像をスクリーン画像へ投影した後にスクリーン画像の距離マップを深度マップに変換することを意味している。

深度マップは、特定の方向に限定されるため全方位画像の奥行き情報としては適さないが、ドローイングが直感的で容易になる特長を持つ。たとえば、３次元平面を表したい場合は、その領域を一定の深度値で塗りつぶせばよい。一方、距離マップは、直感的なドローイングには適していないが、特定の方向に限定されない特長を持つ。すなわち、全方位画像の奥行き情報として用いることができる。そして、深度マップと距離マップは相互に変換可能である。変換については後述する。

距離マップは、色情報マップと同様、濃度値を含んだ情報であるので、全方位画像への投影および全方位画像からの投影が可能である。また、投影や合成が行われる際に不透明度の影響を受けてもよい。すなわち、ドローイング時に不透明度を制御することで、不要な領域の描き込みの防止や、奥行きの曲面的な表現等が可能となる。

以下、図４のフローチャートを参照して、本発明の一実施形態に係る奥行き情報編集プログラムに基づく動作を説明する。この一連の動作の少なくとも一部は、本発明の一実施形態に係る奥行き情報編集方法にも相当する。

この処理は、従来の全方位画像編集プログラムの処理と概ね共通しているが、従来の色情報に相当するものは奥行き情報であり、従来の色情報マップに相当するものは深度マップ及び距離マップである。また、投影に係る処理（即ち、ドローイング画像の「深度マップ」を基にした「距離マップ」を全方位画像へ描画する処理、及び全方位画像の「距離マップ」を基にした「深度マップ」をスクリーン画像へ描画する処理）については、図５，６で後述する変換が用いられる。また、図示していないが、深度マップだけでなく色情報マップについても従来の方法により同一操作で編集できるようにしてもよい。

奥行き情報編集装置において、この奥行情報編集プログラムが記録媒体等から読み出され、メインメモリ１２に展開され、中央制御部１１により実行されると、中央制御部１１は、先ず全方位画像の「距離マップ」を基にした「深度マップ」をスクリーン画像へ描画し（ステップＳ１）、ポインティング装置３０等の入力装置から座標、ボタン及び数値の入力を受ける（ステップＳ２）。

続いて、中央制御部１１は、ポインティング装置３０等の入力装置を介して視線変更入力がなされたか否かを判断し（ステップＳ３）、視線変更入力がなされた場合には（ステップＳ３をＹＥＳに分岐）、入力情報を基に視線方向、視野角およびシフト量を更新し（ステップＳ４）、ステップＳ１に戻る。

視線変更入力がなされていない場合には（ステップＳ３をＮＯに分岐）、中央制御部１１は深度値抽出入力がなされたか否かを判断し（ステップＳ５）、深度値抽出入力がなされた場合には（ステップＳ５をＹＥＳに分岐）、入力情報による座標を基に、スクリーン画像（深度マップ）の画素（深度値）を抽出し、「ドローイング深度値」として設定し（ステップＳ６）、次のステップＳ７に進む。一方、深度値抽出入力がなされていない場合には（ステップＳ５をＮＯに分岐）、そのまま次のステップＳ７に進む。

続いて、中央制御部１１は、ポインティング装置３０等の入力装置を介して深度値変更入力がなされたか否かを判断し（ステップＳ７）、深度値変更入力がなされた場合には（ステップＳ７をＹＥＳに分岐）、入力情報による設定値を「ドローイング深度値」として設定し（ステップＳ８）、次のステップＳ９に進む。一方、深度値変更入力がなされていない場合には（ステップＳ７をＮＯに分岐）、そのまま次のステップＳ９に進む。

次いで、中央制御部１１は、ドローイング入力がなされたか否かを判断し（ステップＳ９）、ドローイング入力がなされた場合には（ステップＳ９をＹＥＳに分岐）、入力情報による座標、「ドローイング深度値」、およびドローイングパラメータを用いてドローイング画像の画素を更新し（ステップＳ１０）、ドローイング画像の「深度マップ」をプレビューとしてスクリーン画像に重畳し表示装置２０に表示し（ステップＳ１１）、次のステップＳ１２に進む。一方、ドローイング入力がなされていない場合には、そのまま次のステップＳ１２に進む。

続いて、中央制御部１１は、ドローイングを終了するか否かを判断し（ステップＳ１２）、ドローイングを終了する場合には（ステップＳ１２をＹＥＳに分岐）、ドローイング画像の「深度マップ」を基にした「距離マップ」を全方位画像へ描画し（ステップＳ１３）、ステップＳ１に戻る。一方、ドローイングを終了しない場合には、ステップＳ２に戻り、上記動作を繰り返すことになる。

ドローイング終了とみなす条件としては、ポインティング装置３０がマウスであると仮定し、ドラッグ中にマウスのボタンが離されたタイミングとしてもよいし、これに限定することなく、例えばドローイング終了処理を実行するボタン等を用意し、それが押下されたタイミングでドローイング終了としてもよい。

尚、図示していないが、プログラムを終了する一般的な方法（例えば、ポインティング装置３０がマウスであると仮定し、プログラム終了ボタンをクリック）により、このプログラムを終了可能とし、図４の一連の処理を終了するようにしてもよい。

次に、図５のフローチャートを参照して、図４のステップＳ１３で実行される処理について更に詳細に説明する。

ドローイング画像は作画者による直感的な編集が可能なように奥行き情報を深度マップにより扱っているが、全方位画像は視線に依存させないように奥行き情報を距離マップにより扱うことに鑑みて、ステップＳ１３では、深度マップを距離マップに変換する。

変換はスクリーン座標系にて行うことが容易であるため、変換のタイミングはドローイング画像を全方位画像に投影する前としている。

即ち、ドローイング画像の「深度マップ」を基にした「距離マップ」を全方位画像へ描画する処理では、詳細には、視野角およびシフト量を用いてドローイング画像の「深度マップ」を「距離マップ」に変換し（ステップＳ２１）、視線方向、視野角およびシフト量を用いてドローイング画像の「距離マップ」を全方位画像へ描画し（ステップＳ２２）、ドローイング画像をクリアし（ステップＳ２３）、図４の処理にリターンする。

ただし、視線情報を基にドローイング画像の深度マップを全方位画像の距離マップに変換する過程は、図５で実行される処理に限定されない。たとえば、ドローイング画像を全方位画像に投影する際、全方位画像の画素を更新するタイミングで「深度値」を「距離値」に変換してもよい。また、その際、変換のタイミングは全方位画像の画素をドローイング画像の画素から算出（すなわち、ドローイング画像を全方位画像に投影する処理の一部に相当）した後でもよい。これは、ドローイング画像を全方位画像に投影する前とした前述の変換タイミングとは計算方法が異なるが、補間（内挿）処理の精度等を向上させることができる。

その場合、全方位画像の画素更新処理については、図６に示されるように、全方位画像の画素更新処理に入ると、更新する全方位画像の画素に対応する３次元ベクトルを算出し（ステップＳ３１）、３次元ベクトルの方位と視線情報とに対応するドローイング画像の画素、およびその近傍の画素からそれぞれ不透明度と深度値とを抽出し（ステップＳ３２）、各画素の不透明度および深度値から、１つの不透明度および深度値を補間し（ステップＳ３３）、視野角およびシフト量を用い、補間された深度値から距離値を算出し（ステップＳ３４）、算出された不透明度と距離値を用い、全方位画像の画素を更新し（ステップＳ３５）、図４の処理にリターンする。

次に、図７のフローチャートを参照して、図４のステップＳ１で実行される処理について更に詳細に説明する。

全方位画像は視線に依存させないように奥行き情報を距離マップにより扱っているが、スクリーン画像は作画者による直感的な編集が可能なように奥行き情報を深度マップにより扱うことに鑑みて、ステップＳ１では、距離マップを深度マップに変換する。

変換はスクリーン座標系にて行うことが容易であるため、変換のタイミングは全方位画像をスクリーン画像に投影した後としている。

即ち、全方位画像の「距離マップ」を基にした「深度マップ」をスクリーン画像へ描画する処理では、詳細には、視線方向、視野角およびシフト量を用い、全方位画像の「距離マップ」をスクリーン画像へ描画し（ステップＳ４０）、視野角およびシフト量を用いてスクリーン画像の「距離マップ」を「深度マップ」に変換し（ステップＳ４１）、図４の処理にリターンする。

ただし、視線情報を基に全方位画像の距離マップをスクリーン画像の深度マップに変換する過程は、図７で実行される処理に限定されない。たとえば、全方位画像をスクリーン画像に投影する際、スクリーン画像の画素を更新するタイミングで「距離値」を「深度値」に変換してもよい。また、その際、変換のタイミングはスクリーン画像の画素を全方位画像の画素から算出（すなわち、全方位画像をスクリーン画像に投影する処理の一部に相当）する前でもよい。これは、全方位画像をスクリーン画像に投影した後とした前述の変換タイミングとは計算方法が異なるが、補間（内挿）処理の精度等を向上させることができる。

その場合、スクリーン画像の画素更新処理については、図８に示されるように、スクリーン画像の画素更新処理に入ると、更新するスクリーン画像の画素と視線情報とに対応する３次元ベクトルを算出し（ステップＳ５１）、３次元ベクトルの方位に対応する全方位画像の画素、およびその近傍の画素からそれぞれ不透明度と距離値とを抽出し（ステップＳ５２）、視野角およびシフト量を用い、各画素について距離値から深度値を算出し（ステップＳ５３）、各画素の不透明度および深度値から、１つの不透明度および深度値を補間し（ステップＳ５４）、補間された不透明度と深度値とを用いスクリーン画像の画素を更新し（ステップＳ５５）、図4の処理にリターンする。

図９（ａ）乃至（ｃ）は、深度マップと距離マップの関係を表している。

すなわち、図９（ａ）乃至（ｃ）は、共に３次元空間における視点および画像を真横から見た様子である。概念をわかりやすく図示するために、各マップは１次元配列で表しているが、２次元配列における実施も可能である。

図９（ａ）は、横軸を深度値、縦軸を画像の垂直方向とし、深度マップにおける各画素の深度値を太線で表している。ここでは各画素の深度値を一定としている。

図９（ｂ）は、横軸を深度値、縦軸を画像の垂直方向とし、図９（ａ）のグラフにおける深度値について表しているが、太線の長さについては、視線方向における光軸が画像中央で直交する例における各画素の距離値を表している。

図９（ｃ）は、横軸を距離値、縦軸を画像の垂直方向とし、図９（ａ）のグラフにおける深度マップを距離マップに変換した場合を表している。

画素の位置が画像中央のときに深度値と距離値が一致し、画素の位置が画像中央から遠くなると深度値に対する距離値の比率が大きくなる。

ここで、図１０（ａ），（ｂ）を参照して、深度マップと距離マップの相互変換について詳細に説明する。図１０（ａ）は３次元空間における視点および画像を真横から見た様子、図１０（ｂ）は３次元空間における視点および画像を正面から見た様子を示している。

より具体的には、視野角fovのとき、幅width、高さheightである画像の位置(i,j)に関して、所定の深度値depthValに対応する距離値distanceVal(i,j)は、以下のような計算で求めることができる。
depthBase=(height/2)/tan(fov/2)
distanceBase(i,j)=sqrt((i-width/2)^2+(j-height/2)^2+depthBase^2)
distanceCor(i,j)=distanceBase(i,j)/depthBase
distanceVal(i,j)=depthVal*distanceCor(i,j)

これにより、ドローイング画像に対して行われる変換、すなわち、深度マップdepthMap(i,j)から距離マップdistanceMap(i,j)への変換は、各画素に対して、以下のように求める。
distanceMap(i,j)=depthMap(i,j)*distanceCor(i,j)

これとは反対に、スクリーン画像に対して行われる変換、すなわち、距離マップdistanceMap(i,j)から深度マップdepthMap(i,j)への変換は、各画素に対して以下のように求める。
depthMap(i,j)=distanceMap(i,j)/distanceCor(i,j)

ただし、距離マップの濃度値を長さの逆数とする運用の場合、それぞれの変換は以下のように乗算と除算を入れ替えて求めてもよい。
distanceMap(i,j)=depthMap(i,j)/distanceCor(i,j)
depthMap(i,j)=distanceMap(i,j)*distanceCor(i,j)

なお、前述のdistanceBase(i,j)の計算は光軸が画像中央で直交する場合の例を示している。光軸が画像中央でない場合、すなわち、水平シフト量shiftXおよび垂直シフト量shiftYを扱う場合、以下のように求めればよい。
distanceBase(i,j)=sqrt((i-width/2-shiftX)^2+(j-height/2-shiftY)^2+depthBase^2)

次に、図１１（ａ），（ｂ）には、地面及び建造物における奥行き情報を本発明の奥行き情報編集プログラムに従って作画する手順例を示し説明する。図１１（ａ）は作画の様子を示しており、図１１（ｂ）は確認の様子を示している。

図１１（ａ）に示されるように、作画の様子では、ドローイング前とドローイング後において、深度マップをグレースケールで表している。ここでは深度マップの濃度値は長さの逆数とし、濃度値が小さくなる（すなわち、深度値が大きく、遠くなる）につれて白色に近づくように表す。

ただし、深度マップはグレースケールによる表現に限らず、等値線や色相等による表現でもよい。たとえば、深度マップを色相で表し、且つ色情報マップを明度で表すことにより、深度マップと色情報マップを合成して表示してもよい。この場合、作業者は色情報マップで注目したい位置、及びそれに対応する深度マップでの位置を容易に特定できる。

図１１（ａ）の例では、作画者は、地面の表現として真下を向いて円を描き、建造物の表現として正面を向いて矩形を１つ、正面左を向いて矩形を１つ描いたものとする。図形はいずれも一定の深度値で塗りつぶしている。１つ目の作画手順におけるドローイング深度値は、任意の値を適用（たとえば、地面に対する視点の高さを１．００と仮定して適用）している。２つ目、及び３つ目の作画手順におけるドローイング深度値は、スクリーン画像の任意の位置からそれぞれ抽出した深度値を適用している。

図１１（ｂ）に示されるように、確認の様子では、地面や建造物に関する奥行き情報が３次元平面として連続的に変化し、それらが正確なグラデーションで生成（表示）されることを表している。

以上詳述したように、本発明の一実施形態によれば、全方位画像において、３次元平面や３次元曲面を表す奥行き情報を容易かつ正確に編集することが可能となる。更に、本発明の一実施形態によれば、編集済みの奥行き情報に関係する新たな奥行き情報を容易かつ正確に編集することが可能となる。

１ 奥行き情報編集装置
１０ パーソナルコンピュータ
１１ 中央制御部
１２ メインメモリ
１３ 画像制御部
１４ 入出力制御部
１５ 内蔵不揮発性記憶媒体
１６ メディア読み書きインターフェイス
２０ 表示装置
３０ ポインティング装置
４０ 全方位画像入力データ
４１ 全方位画像出力データ
４２ 方位画素対応付けデータ
５０ プログラムデータ

Claims (22)

1. ドローイング深度値を入力する手段と、
   座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込む手段と、
   視線情報を基に前記ドローイング画像の前記深度マップを距離マップに変換する手段と、を備えた
   奥行き情報編集装置。
2. 前記視線情報を基に前記ドローイング画像の前記深度マップを距離マップに変換するのは、前記ドローイング画像を全方位画像へ投影する前である
   請求項１に記載の奥行き情報編集装置。
3. ドローイング深度値を入力する手段と、
   座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込む手段と、
   前記ドローイング画像を全方位画像へ投影する際に、全方位画像の画素を更新するタイミングで深度値を距離値に変換する手段と、を備えた
   奥行き情報編集装置。
4. 前記深度値を距離値に変換するタイミングは、前記全方位画像の画素を前記ドローイング画像の画素から算出した後であること
   を特徴とする請求項３に記載の奥行き情報編集装置。
5. 視線情報を基にスクリーン画像の距離マップを深度マップに変換する手段と、
   座標を基に前記スクリーン画像の前記深度マップからドローイング深度値を抽出する手段と、を備えた
   奥行き情報編集装置。
6. 前記視線情報を基にスクリーン画像の距離マップを深度マップに変換するのは、全方位画像をスクリーン画像へ投影した後である
   請求項５に記載の奥行き情報編集装置。
7. 全方位画像をスクリーン画像に投影する際、前記スクリーン画像の画像を更新するタイミングで距離値を深度値に変換する手段と、
   座標を基に前記スクリーン画像の前記深度値を含む深度マップからドローイング深度値を抽出する手段と、を備えた
   奥行き情報編集装置。
8. 前記距離値を深度値に変換するタイミングは、前記スクリーン画像の画素を前記全方位画像の画素から算出する前であること
   を特徴とする請求項７に記載の奥行き情報編集装置。
9. 操作入力を行う入力手段と、
   奥行き情報編集プログラムに基づく所定の動作を行う中央制御手段と、
   画像の表示を行う表示手段と、を備え、
   前記中央制御手段は、
   全方位画像の距離マップを基にした深度マップをスクリーン画像へ描画し、
   前記入力手段から座標、ボタン及び数値の少なくともいずれかの入力を受け、
   視線変更入力がなされた場合には、入力情報を基に視線情報を更新し、深度値抽出入力がなされた場合には、入力情報による座標を基に、スクリーン画像の画素を抽出し、ドローイング深度値として設定し、深度値変更入力がなされた場合には、入力情報による設定値を前記ドローイング深度値として設定し、
   ドローイング入力がなされた場合には、入力情報による座標、前記ドローイング深度値およびドローイングパラメータを用いてドローイング画像の画素を更新し、ドローイング画像の深度マップをプレビューとしてスクリーン画像に重畳して、前記表示手段に表示する
   奥行き情報編集装置。
   
10. 前記中央制御手段は、ドローイングを終了する場合には、前記ドローイング画像の深度マップを基にした距離マップを全方位画像へ描画する
    請求項９に記載の奥行き情報編集装置。
11. 視線情報は、視線方向、視野角およびシフト量の少なくともいずれかの情報を含む
    請求項１乃至１０のいずれかに記載の奥行き情報編集装置。
12. コンピュータを、
    ドローイング深度値を入力する手段と、
    座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込む手段と、
    前記ドローイング画像を全方位画像へ投影する前に、視線情報を基に前記ドローイング画像の前記深度マップを距離マップに変換する手段と、して機能させるための
    奥行き情報編集プログラム。
13. コンピュータを、
    全方位画像をスクリーン画像へ投影した後に視線情報を基にスクリーン画像の距離マップを深度マップに変換する手段と、
    座標を基に前記スクリーン画像の前記深度マップからドローイング深度値を抽出する手段と、して機能させるための
    奥行き情報編集プログラム。
14. 視線情報は、視線方向、視野角およびシフト量の少なくともいずれかの情報を含む
    請求項１２又は１３に記載の奥行き情報編集プログラム。
15. コンピュータを、
    全方位画像の距離マップを基にした深度マップをスクリーン画像へ描画し、
    入力装置から座標、ボタン及び数値の少なくともいずれかの入力を受け、
    視線変更入力がなされた場合には、入力情報を基に視線方向、視野角およびシフト量を更新し、深度値抽出入力がなされた場合には、入力情報による座標を基に、スクリーン画像の画素を抽出し、ドローイング深度値として設定し、深度値変更入力がなされた場合には、入力情報による設定値を前記ドローイング深度値として設定し、
    ドローイング入力がなされた場合には、入力情報による座標、前記ドローイング深度値およびドローイングパラメータを用いてドローイング画像の画素を更新し、ドローイング画像の深度マップをプレビューとしてスクリーン画像に重畳して、表示装置に表示する、中央制御手段として機能させるための
    奥行き情報編集プログラム。
    
16. 前記中央制御手段は、ドローイングを終了する場合には、前記ドローイング画像の深度マップを基にした距離マップを全方位画像へ描画する
    請求項１５に記載の奥行き情報編集プログラム。
17. ドローイング深度値を入力するステップと、
    座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込むステップと、
    前記ドローイング画像を全方位画像へ投影する前に、視線情報を基に前記ドローイング画像の前記深度マップを距離マップに変換するステップと、を有する
    奥行き情報編集方法。
18. 全方位画像をスクリーン画像へ投影した後に視線情報を基にスクリーン画像の距離マップを深度マップに変換するステップと、
    座標を基に前記スクリーン画像の前記深度マップからドローイング深度値を抽出するステップと、を有する
    奥行き情報編集方法。
19. コンピュータを、
    ドローイング深度値を入力する手段、
    座標を基に前記ドローイング深度値をドローイング画像の深度マップに描き込む手段、
    前記ドローイング画像を全方位画像へ投影する前に、視線情報を基に前記ドローイング画像の前記深度マップを距離マップに変換する手段、として機能させるための奥行き情報編集プログラムを記録した
    コンピュータ読み取り可能な記録媒体。
20. コンピュータを、
    全方位画像をスクリーン画像へ投影した後に視線情報を基にスクリーン画像の距離マップを深度マップに変換する手段、
    座標を基に前記スクリーン画像の前記深度マップからドローイング深度値を抽出する手段、として機能させるための奥行き情報編集プログラムを記録した
    コンピュータ読み取り可能な記録媒体。
21. コンピュータを、
    全方位画像の距離マップを基にした深度マップをスクリーン画像へ描画し、
    入力装置から座標、ボタン及び数値の少なくともいずれかの入力を受け、
    視線変更入力がなされた場合には、入力情報を基に視線方向、視野角およびシフト量を更新し、深度値抽出入力がなされた場合には、入力情報による座標を基に、スクリーン画像の画素を抽出し、ドローイング深度値として設定し、深度値変更入力がなされた場合には、入力情報による設定値を前記ドローイング深度値として設定し、
    ドローイング入力がなされた場合には、入力情報による座標、前記ドローイング深度値およびドローイングパラメータを用いてドローイング画像の画素を更新し、ドローイング画像の深度マップをプレビューとしてスクリーン画像に重畳して、表示装置に表示する、中央制御手段として機能させるための奥行き情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体。
22. 前記中央制御手段は、ドローイングを終了する場合には、前記ドローイング画像の深度マップを基にした距離マップを全方位画像へ描画する
    請求項２１に記載の奥行き情報編集プログラムを記録したコンピュータ読み取り可能な記録媒体。