JPH11155151A - ３次元撮像表示システム - Google Patents

Abstract

(57)【要約】 【課題】 少ない計算量で良好な画質の再生像を表示す
ることができる３次元撮像表示システムを提供する。 【解決手段】 ３次元撮像装置は、２つのステレオカメ
ラ４０Ｒおよび４０Ｌを備えて構成され、ステレオカメ
ラ４０Ｒ，４０Ｌは、３次元物体５０から発した光を入
力し結像するレンズ４１Ｒ，４１Ｌと、その結像された
像を撮像する撮像素子４２Ｒ，４２Ｌとを備えている。
撮像された像は画像処理装置７０を経て３次元表示装置
に送信され、３次元表示装置において再生像が表示され
る。３次元撮像装置におけるレンズ４１Ｒおよび４１Ｌ
ならびに３次元物体５０上の特定点５１の間の関係は、
３次元表示装置における右瞳面および左瞳面ならびに視
線交点の間の関係と等価である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元物体像の立
体表示およびその撮像に関するものである。

【０００２】

【従来の技術】３次元物体像の立体表示を行うものとし
て、両眼視差を利用した偏光眼鏡を使用する方式やレン
チキュレータレンズ方式等が知られている。しかし、こ
れらの方式は、人間の目が物体の立体構造を認識する要
因の１つである両眼視差のみを利用するものである。こ
れに対して、両眼視差の他に輻輳や水晶体の調整等の要
因をも考慮した３次元物体像の立体表示技術として、波
面再生法であるホログラフィが知られている。

【０００３】従来より、ホログラフィでは、レーザ光が
照射された３次元物体から発生した物体波と参照波とを
写真乾板や感光フィルム等の上で干渉させることで、３
次元物体像を干渉縞として記録していた。しかし、この
ように写真乾板や感光フィルムを記録媒体として用いる
場合には、干渉縞の書き替えが不可能であり、また、現
像処理が必要となることから、動画としての３次元物体
像を実時間で記録・表示できないという問題点があっ
た。そこで、近年、写真乾板や感光フィルムに替えて空
間光変調素子を用い、この空間光変調素子上て動画のホ
ログラムを書き替えて連続表示しようとする試みがなさ
れている。

【０００４】また、ホログラムを記録する際に一般には
３次元物体にレーザ光を照射するため、振動や空気の揺
らぎ等の影響を受け、人物像を撮像し記録する際には危
険を伴う等の事情により、記録・表示され得る３次元物
体像は限られている。これに対し、白色光でホログラム
を撮像し記録するものとしてステレオホログラムが知ら
れているが、これも写真乾板や感光フィルムを使用する
ものであり、動画としての３次元物体像を実時間で記録
・再生することはできない。

【０００５】そこで、人体に対して危険のない白色光を
用いて撮像し記録して３次元物体像を動画表示すべく、
複数の２次元画像に基づいて３次元物体の距離情報を計
算してホログラム（これを計算機ホログラムと言う）を
求め、この計算機ホログラムを空間光変調素子に書き込
み、３次元物体像を再生し立体表示するものが知られて
いる。これは、何れも従来より一般的に行われているス
テレオ視に依る３次元情報収集と計算機ホログラムとを
組み合わせたものであり、例えば、特開平６−３５３９
１号公報、特開平６−３５３９２号公報および特開平６
−６７５９１号公報に開示されている。

【０００６】また、撮像手段を設けることなくＣＡＤ
（Computer Aided Design ）等を用いて作成した３次元
情報を用いて３次元物体像を立体表示する技術が特開平
６−１０２８１１号公報に開示されている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来技術は何れも以下のような問題点がある。すなわち、
特開平６−３５３９１号公報および特開平６−３５３９
２号公報それぞれに記載されたものは、１次元ホログラ
ムであるので、奥行きの大きな物体については画質が悪
い。特開平６−６７５９１号公報に記載されたもので
は、所定の点を通過し且つホログラム平面に平行な２次
元平面上に３次元物体の３次元情報を投影しているの
で、再生される３次元物体像は、紙のような平面状の物
体が奥行き方向に並ぶように表示され、忠実度の点で劣
り違和感がある。特開平６−１０２８１１号公報に記載
されたものでは、所定の点を通過し且つホログラム平面
に対して任意の配置関係にある２次元平面上に３次元物
体の３次元情報を投影しているので、再生される３次元
物体像（特に曲面物体）は、紙のような平面状の物体が
奥行き方向に並ぶように表示され、忠実度の点で劣り違
和感がある。特開平６−３５３９１号公報、特開平６−
３５３９２号公報および特開平６−６７５９１号公報そ
れぞれに記載されたものは、再生像の拡大・縮小に際し
て、記録した３次元物体像に関するデータを数値的に拡
大・縮小して表示を行うことから、再生像を拡大するに
従って再生像がぼけるという問題点がある。

【０００８】また、上記従来技術の何れも、表示の際の
観察視点位置を任意とするためにホログラム平面上に視
点を配置し、その視点から見えるべき再生像を計算によ
り生成することから、計算量が非常に膨大なものとなっ
ている。仮にこの光学系で観察視点を固定することで計
算量を削減しようすると、ホログラム面上に観察視点を
固定するか、あるいは、ホログラムより離れた位置に観
察視点を固定することになる。しかし、前者の場合に
は、ホログラムの再生原理より再生像が観察できず、後
者の場合には、その手法が未だ開示されていない。

【０００９】特開平６−３５３９１号公報、特開平６−
３５３９２号公報および特開平６−６７５９１号公報そ
れぞれに記載されたものでは、３次元物体について３次
元情報を得るため複数の視差画像より対応点探索を実施
しているが、対応点の数の削減について何等工夫がなさ
れておらず、したがって、全ての画素に対し相関計算を
実施して距離データを得る必要がある。また、これらに
記載されたものでは、複数の互いに異なる視点それぞれ
についての画像に基づいて任意の観察視点から見たとき
の再生像を生成する必要がある。すなわち、ホログラム
における各サンプル点（セグメントホログラム）それぞ
れを視点とした２次元画像を生成する必要がある。した
がって、各サンプル点を視点とした補間処理や、物体の
配置により陰面消去処理を行う必要があり、多視点画像
の生成に膨大な計算量が必要となる。

【００１０】また、特開平６−１０２８１１号公報に記
載されたものも、３次元物体の３次元情報に基づいて任
意の観察視点からの画像を生成する必要がある。すなわ
ち、ホログラムにおける各サンプル点（セグメントホロ
グラム）それぞれを視点とした２次元画像を生成する必
要がある。したがって、各サンプル点を視点とした陰面
消去処理を行う必要があり、多視点画像の生成に膨大な
計算量が必要となる。

【００１１】また、このように上記従来技術の何れも膨
大な計算量が必要であるにも拘わらず、実時間で計算が
可能である旨の記載があるが、実時間動作の具体的構
成、手順および実験結果等については何等記載されてい
ない。

【００１２】本発明は、上記問題点を解消する為になさ
れたものであり、少ない計算量で良好な画質の再生像を
表示することができ、３次元物体像を動画表示する場合
であっても実時間で計算し表示することができる３次元
撮像表示システムを提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明に係る３次元撮像
表示システムは、(1) それぞれのレンズが互いに所定距
離の間隔で配置された２つの撮像手段を有し、２つの撮
像手段それぞれにより３次元物体を撮像する３次元撮像
装置と、(2) ２つの撮像手段それぞれにより撮像された
３次元物体の像に基づいて３次元物体の３次元情報およ
び視差画像を計算し出力する画像処理装置と、(3) 所定
距離の間隔で配された２つの観察視点を有し、画像処理
装置から出力された３次元情報および視差画像に基づい
てホログラムを形成し、２つの撮像手段の視線交点と等
価な視線交点の位置を基準として３次元物体の再生像を
表示する３次元表示装置と、を備えることを特徴とす
る。

【００１４】この３次元撮像表示システムによれば、画
像処理装置により、３次元撮像装置の２つの撮像手段そ
れぞれにより撮像された３次元物体の像に基づいて、そ
の３次元物体の３次元情報および視差画像が計算され出
力される。そして、３次元表示装置により、この３次元
情報および視差画像に基づいてホログラムが形成され、
２つの観察視点より観察すれば３次元物体の再生像が表
示される。ここで、３次元撮像装置の２つの撮像手段そ
れぞれのレンズおよび視線交点の関係は、３次元表示装
置の２つの観察視点および視線交点の関係と等価である
ので、画像処理装置において、少ない計算量で３次元物
体の３次元情報が計算される。

【００１５】また、本発明に係る３次元撮像表示システ
ムでは、２つの撮像手段それぞれの撮像素子の縦横それ
ぞれの画素数は、３次元表示装置による再生像の表示に
おける縦横それぞれの有効表示画素数に対して一致また
は２以上の整数倍であることを特徴とする。

【００１６】また、本発明に係る３次元撮像表示システ
ムでは、２つの撮像手段それぞれのレンズのバックフォ
ーカス距離および撮像素子の縦横それぞれの画素数に対
応した撮像画角の最小単位は、３次元表示装置による再
生像の表示における表示画角の最小単位に等しいことを
特徴とする。

【００１７】また、本発明に係る３次元撮像表示システ
ムでは、２つの撮像手段それぞれは、３次元物体を拡大
または縮小して撮像するズーム手段を有するとともに、
３次元表示装置は、ズーム手段による拡大または縮小に
応じて再生像を表示することを特徴とする。また、この
場合には、画像処理装置は、２つの撮像手段それぞれに
より撮像された３次元物体の像の横倍率を検出する横倍
率検出手段と、３次元物体の３次元情報のうち奥行き方
向の座標値を横倍率に基づいて補正する補正手段とを備
えるのが好適である。

【００１８】また、本発明に係る３次元撮像表示システ
ムでは、画像処理装置は、２つの撮像手段それぞれによ
り撮像された３次元物体の像の特徴点を抽出する特徴点
抽出手段と、特徴点に関して対応点を検索する対応点検
索手段と、対応点の３次元座標値および対応点のリスト
に基づいて多角形平面体データを作成し３次元情報とし
て出力する多角形平面体データ生成手段とを備えること
を特徴とする。

【００１９】また、本発明に係る３次元撮像表示システ
ムでは、３次元表示装置は、２つの観察視点それぞれの
瞳面上の各点と再生像の最小３次元表示単位とを結ぶ直
線または該直線の延長がホログラムの形成面において交
わる範囲においてのみホログラムを形成することを特徴
とする。

【００２０】上記何れの場合にも、画像処理装置におい
て更に少ない計算量で３次元物体の３次元情報が計算さ
れ、また、良好な画質の再生像が表示される。

【００２１】

【発明の実施の形態】以下、添付図面を参照して本発明
の実施の形態を詳細に説明する。尚、図面の説明におい
て同一の要素には同一の符号を付し、重複する説明を省
略する。

【００２２】先ず、本発明に係る３次元撮像表示システ
ムの概略について説明する。この３次元撮像表示システ
ムは、３次元撮像装置、画像処理装置および３次元表示
装置とを備えて構成される。３次元撮像装置は、互いに
異なる方向から３次元物体を撮像する２つのステレオカ
メラを備えており、これら２つのステレオカメラのレン
ズは、３次元表示装置における表示時の右視点および左
視点にそれぞれ一致させて配置される。また、３次元撮
像装置における２つのステレオカメラの視線交点は、３
次元表示装置における２つの観察視点（右視点と左視
点）の視線交点と等価な位置にある。画像処理装置は、
これら２つのステレオカメラそれぞれにより撮像された
画像から得られる視差画像における特徴点の３次元座標
値を求め、その３次元座標値で表される点を頂点とする
多角形平面体（ポリゴン）を求め、３次元表示装置に送
信する。

【００２３】また、３次元表示装置は、この表示に際し
て、実際に撮像された画像をビットマップデータとし、
多角形平面体の表面に輝度値や色情報を付加する。この
ビットマップデータで表され輝度値や色情報が付加され
た画像は、従来例では必要であった複雑な画像変換処理
を行うことなく、３次元撮像装置による撮像時の画角変
化に伴う撮像画像の拡大・縮小の場合であっても、光軸
に対して垂直な方向の座標変換処理のみにより３次元表
示が可能である。また、撮像時における２つのステレオ
カメラの配置が表示時における両観察視点と一致してい
るので、他の視差画像の生成や陰面消去処理が不要であ
り、良好な画質が得られるとともに計算量が大幅に削減
される。

【００２４】次に、本発明に係る３次元撮像表示システ
ムおける観察視点位置を考慮したホログラムの計算方法
について説明する。従来では、視点の位置をできるだけ
広くとるために、再生物体からの波面をホログラム面上
で計算していたことから、陰面消去処理およびホログラ
ム計算に際して膨大な計算量を必要としていた。これに
対して、本発明では、これらの処理・計算における計算
量を大幅に削減することができる。

【００２５】陰面消去処理の際の計算量については以下
のとおりである。３次元座標値を有する多数の輝点の集
合として３次元物体をみなしたとき、ホログラム各要素
点から３次元物体を観察する場合、輝点の重なり具合は
ホログラム各要素点に依り全て異なる。

【００２６】したがって、従来技術では、ホログラム各
要素点を仮想の視点とみなして透視変換処理を行い、視
点に最も近い輝点または最も遠い輝点のみを抽出する陰
面消去処理を行い、その後、抽出された輝点からの波面
を計算し累積加算して、ホログラム各要素点の計算デー
タとする。また、陰面消去処理は、ホログラム要素１点
に留まらず、ホログラム上の全ての要素点それぞれにつ
いて計算しなければならないことから、ホログラム要素
１点に要する計算量に要素点の個数を乗じただけの計算
量が必要となる。例えば、ホログラムの大きさを10cm×
10cmとする。このとき、ホログラム各要素点は最大でも
瞳径に２個程度含まれることから、ホログラム各要素点
の大きさは2.5mm×2.5mm程度となり、要素点の個数は
1,600(=40×40) となる。また、ステレオ視に依る画像
から得られる物体の構成点の個数は、最大で262,144(=5
12×512)となる。透視変換処理では、各要素点から物体
構成点までの垂直距離で除算することから、少なくとも
物体構成点数だけの除算処理と前後距離判定演算とが必
要となる。そして、この陰面消去処理をホログラムの要
素点の全てについて行うと、419,430,400(=1,600×262,
144)回の演算処理が必要となる。この演算処理の全てに
ついてパイプライン手法を用いてハード化し、データの
読み込み動作が演算処理を律速するものとして、アクセ
ス速度10nsecの高速メモリを用いても４秒以上を要する
ことになる。

【００２７】これに対して、本発明において観察視点を
限定すれば、３次元物体の画像は元々陰面消去処理され
てステレオカメラにより撮像されるので、透視変換処理
および陰面消去処理は一切不要である。したがって、陰
面消去処理時間を比較すれば、従来技術では４秒である
のに対して、本発明では全く時間を要しない。

【００２８】また、ホログラム計算の際の計算量につい
ては以下のとおりである。ここでは、ホログラム面の計
算範囲の観点より物体波面の計算量に関し従来技術と本
発明とで比較する。

【００２９】従来技術のホログラム計算方法では、再生
物体とホログラムと視域との関係のみに基づいてホログ
ラムを計算しており、視点については考慮されていなか
った。したがって、暗黙のうちに視域として両目が含ま
れる範囲が仮定され、ホログラム面内での計算範囲は制
限されることなく、ホログラム面上の必要以上の範囲に
亘ってホログラム計算がなされていた。すなわち、両目
の間隔内まで視域としていたので、透視変換処理および
陰面消去処理における計算量だけでなく、ホログラム計
算における計算量も膨大なものであった。

【００３０】これに対して、本発明では、再生物体とホ
ログラムと２つの瞳面との３つの要素に基づいてホログ
ラム計算の範囲を限定することで、計算量を削減し実時
間性を高めている。図１は、虚像再生型の場合のホログ
ラム計算範囲の説明図であり、図２は、実像再生型の場
合のホログラム計算範囲の説明図である。これら何れの
場合も、ホログラム面６により再生表示された再生像の
うちの特定点３を左瞳面１および右瞳面２で観察するこ
とを考えると、特定点３を再生するための波面が発生す
るホログラム面６上の領域は、特定点３と左瞳面１上の
各点とを結ぶ直線または該直線の延長がホログラム面６
と交わる範囲４、および、特定点３と右瞳面２上の各点
とを結ぶ直線または該直線の延長がホログラム面６と交
わる範囲５である。したがって、再生像のうちの特定点
３については、ホログラム計算の範囲を範囲４および範
囲５とすれば充分であり、範囲４および範囲５を越える
範囲について計算しても、左瞳面１および右瞳面２の何
れにも入射しない再生波面が生じ無駄になる。なお、図
２の構成にレンズ等の光学系を挿入しても、上述した効
果は変わらない。

【００３１】なお、再生像の最小分解能は、波面再生に
用いられる空間光変調素子の分解能とは必ずしも一致し
ない。発明者に依る実験により得られた知見によれば、
空間光変調素子を駆動する駆動回路の入力段のサンプル
ホールド特性が特に再生像の分解能に影響を与え、空間
光変調素子の３画素に対して再生像の表示の１画素が最
大である。また、サンプリング定理によれば理論的に
は、空間光変調素子の２画素に対して再生像の表示の１
画素が最大となる。以下で使用する素子数は、空間光変
調素子における素子数ではなく、表示できる有効な画素
数を意味する。

【００３２】次に、本発明に係る３次元撮像表示システ
ムにおける画像の撮像からホログラム計算に到るまでの
手順について説明する。

【００３３】３次元撮像装置における撮像時の２つのス
テレオカメラそれぞれの位置およびこれらの視線交点の
位置の間の関係を、３次元表示装置における再生像表示
時の両観察視点それぞれの位置およびこれらの視線交点
の位置の間の関係と同一にする。また、このとき、３次
元撮像装置の２つのステレオカメラそれぞれの２次元構
成（縦横それぞれの画素数）を、３次元表示装置に依る
表示時の観察視点から投影した再生空間の投影画面の２
次元構成（縦横それぞれの有効表示画素数）と一致させ
るか或いは２以上の整数倍とする。このようにすること
により、撮像された画像から再生像を求めるに際して、
画素の間引きの程度の処理に軽減され、画像の補間生成
処理が不要となる。

【００３４】表示時の再生像を撮像時の３次元物体と同
一の大きさとする場合には、撮像時および表示時それぞ
れの有効画角を互いに同一のものとし、また、撮像時お
よび表示時それぞれの有効最小画角をも互いに同一のも
のとする。

【００３５】この場合、３次元撮像装置の２つのステレ
オカメラそれぞれの撮像素子（例えばＣＣＤ）の前面に
配されるレンズの焦点距離をｆs とし、そのレンズとス
テレオカメラの撮像面との間のバックフォーカス距離を
ｂとし、撮像素子の外寸をＬs とし、その撮像素子の画
素数をＮ×Ｎとし、撮像素子の画素間隔をＰs とする
と、撮像画角θs は、

【数１】 または、

【数２】 なる式で表される。

【００３６】また、この場合、３次元表示装置により表
示する際に使用されるレンズの焦点距離をｆd とし、空
間光変調素子の外寸をＬd とし、空間光変調素子の有効
表示画素数をＮ×Ｎとし、空間光変調素子における有効
表示画素の間隔をＰd とすると、表示画角θd は、

【数３】 または、

【数４】 なる式で表される。

【００３７】撮像画角θs と表示画角θd とを互いに同
一のものとするのであるから、

【数５】 なる関係式が得られる。また、表示時の観察視点と視線
交点位置との距離をａとすると、ガウスの結像公式よ
り、

【数６】 なる関係式を満たす焦点距離ｆs のレンズを用いれば、
画像変換処理を行うことなく、厳密に等倍の３次元物体
の再生像の表示が可能である。

【００３８】一方、ズームレンズ等を用いて拡大・縮小
して３次元物体を撮像する場合には、撮像された画像の
拡大・縮小に追随して再生像をも拡大・縮小することが
望ましい。また、このとき、画質の劣化がないことも望
まれる。この為には、３次元撮像装置の２つのステレオ
カメラそれぞれの撮像素子の２次元構成（縦横それぞれ
の画素数）を、３次元表示装置の空間光変調素子の２次
元構成（縦横それぞれの有効表示画素数）と一致させ、
また、撮像すべき画像の画角のみを変化させることが必
要である。この場合、このままでは、横倍率については
変化するものの、３次元計測の結果の座標自体は光学拡
大と無関係であることから光軸方向には拡大されず、奥
行き方向に関して変化が小さい３次元表示となる。そこ
で、画像処理装置において、横倍率の変化を検出し、こ
れに基づいて３次元座標のうちの奥行き方向についても
拡大・縮小する。

【００３９】続いて、このようにして得られた画像につ
いて、画像処理装置は、視差画像のエッジ検出、データ
の間引き等の処理を行い、３次元物体像の特徴点を抽出
し、複数の画像間での特徴点の対応関係を検索する。さ
らに、ステレオ視や三角測量の原理により特徴点の３次
元座標値を求め、特徴点を結び、多角形平面体（ポリゴ
ン）を生成する。同時に、ステレオ画像を上記の多角形
平面体に分割し、ビットマップデータを生成する。

【００４０】以上のようにして画像処理装置により生成
された多角形平面体の各頂点の３次元座標値およびビッ
トマップデータは、３次元表示装置に伝送される。３次
元表示装置では、多角形平面体の内部データを補間によ
り求め、ホログラムを計算する。このとき、輝度値とし
てビットマップデータを利用する。そして、計算された
ホログラムは空間光変調素子に送られ、この空間光変調
素子に可干渉光が照射されて３次元物体の再生像が表示
される。

【００４１】次に、本発明に係る３次元撮像表示システ
ムにおける３次元表示装置の１実施形態について説明す
る。図３は、この３次元表示装置の構成図である。

【００４２】この３次元表示装置に含まれる光学系およ
び座標系について先ず説明する。この光学系は、右瞳面
３１Ｒの右視点３２Ｒおよび左瞳面３１Ｌの左視点３２
Ｌそれぞれに対応して設けられている。

【００４３】光学系のうち右視点３２Ｒに対応する部分
は、可干渉光であるレーザ光を出力する光源１６Ｒと、
そのレーザ光の光束径を拡げて平行光束とするコリメー
タ１７Ｒと、その平行光束とされたレーザ光を反射させ
る反射鏡１８Ｒと、反射鏡１８Ｒにより反射されたレー
ザ光を直線偏光にする偏光板１９Ｒと、その直線偏光と
されたレーザ光を参照波として入力し３次元物体の実像
を再生する空間光変調素子１５Ｒと、空間光変調素子１
５Ｒから出力された光のうちの所定方位の直線偏光成分
を透過させる偏光板２０Ｒと、偏光板２０Ｒから出力さ
れた光を入力し３次元物体の虚像を結像するレンズ２１
Ｒと、その光を順次反射させ右視点３２Ｒに到達させる
反射鏡２２Ｒおよび反射鏡２３Ｒとを備えて構成されて
いる。

【００４４】光学系のうち左視点３２Ｌに対応する部分
も、同様に、光源１６Ｌ、コリメータ１７Ｌ、反射鏡１
８Ｌ、偏光板１９Ｌ、空間光変調素子１５Ｌ、偏光板２
０Ｌ、レンズ２１Ｌ、反射鏡２２Ｌおよび反射鏡２３Ｌ
を備えて構成されている。

【００４５】また、右視点３２Ｒを座標原点とし視線方
向を Zre軸とする視点座標系(Xre,Yre,Zre) 、および、
左視点３２Ｌを座標原点とし視線方向を Zle軸とする視
点座標系(Xle,Yle,Zle) を考える。また、空間光変調素
子１５Ｒの中心点を座標原点とし法線方向を Zrs軸とす
るホログラム座標系(Xrs,Yrs,Zrs) 、および、空間光変
調素子１５Ｌの中心点を座標原点とし法線方向を Zls軸
とするホログラム座標系(Xls,Yls,Zls) を考える。ま
た、右視点３２Ｒと左視点３２Ｌとの間の距離をＷと
し、右視点３２Ｒと左視点３２Ｌとを結ぶ線分から距離
Ｌだけ離れた視線交点３３の位置を中心に３次元物体の
再生像を表示するものとする。

【００４６】受信部１０は、再生すべき３次元物体像で
ある多角形平面体（ポリゴン）の各特徴点が視点座標系
(Xre,Yre,Zre) および視点座標系(Xle,Yle,Zle) それぞ
れで記述された多角形平面体データおよびその内部のビ
ットマップデータを、３次元撮像表示装置により受信し
記憶している。以降の構成は、右視点３２Ｒおよび左視
点３２Ｌそれぞれについて互いに独立であるので、以下
では先ず、右視点３２Ｒに対応した構成について説明す
る。

【００４７】ポリゴン内部座標変換部１１Ｒは、視点座
標系(Xre,Yre,Zre) で記述された多角形平面体データお
よび内部のビットマップデータを受信部１０より入力
し、これらのデータに基づいて多角形平面体の内部の全
ての点の Xre,Yre,Zre座標値それぞれを順次に発生して
出力する。この座標値の発生に際しては、多角形平面体
の各頂点の座標値のリストを左右の稜線リストに分割
し、その左右の稜線内で水平走査しながら内部座標を補
間計算して求める。

【００４８】虚像実像変換部１２Ｒは、ポリゴン内部座
標変換部１１Ｒから出力された多角形平面体の内部の全
ての点を視点座標系で表した Xre,Yre,Zre座標値および
ビットマップデータを入力し、

【数７】 なる変換を行い、各点についてホログラム座標系で表し
た Xrs,Yrs,Zrs座標値を求める。ここで、ｆd は、レン
ズ２１Ｒの焦点距離である。なお、近軸領域では、ガウ
スの結像公式より、

【数８】 なる変換式により近似して変換してもよい。

【００４９】ホログラム計算部１３Ｒは、虚像実像変換
部１２Ｒから出力された多角形平面体の内部の全ての点
をホログラム座標系で表した Xrs,Yrs,Zrs座標値および
ビットマップデータを入力し、これらのデータに基づい
て、フレネル変換法や球面波法により波面伝搬の計算を
行い、空間光変調素子１５Ｒの位置における波面すなわ
ちホログラムデータを求める。この際に、ビットマップ
データは、輝度値や色情報に利用される。なお、ホログ
ラムデータを計算する範囲は、図１および図２で説明し
た一定範囲のみとする。

【００５０】駆動部１４Ｒは、ホログラム計算部１３Ｒ
により計算されたホログラムデータを入力し、振幅およ
び位相の双方または何れか一方について空間的な変調が
可能な空間光変調素子１５Ｒを駆動しホログラムデータ
を表示する。そして、空間光変調素子１５Ｒは、光源１
６Ｒから出力されたレーザ光がコリメータ１７Ｒ、反射
鏡１８Ｒおよび偏光板１９Ｒを介して照射されると、空
間光変調素子１５Ｒとレンズ２１Ｒとの間に３次元物体
の実像を再生し、更に、レンズ２１Ｒは、視線交点３３
の位置に３次元物体の虚像を結像する。

【００５１】次に、左視点３２Ｌに対応した構成につい
て先ず説明する。ポリゴン内部座標変換部１１Ｌは、視
点座標系(Xle,Yle,Zle) で記述された多角形平面体デー
タおよび内部のビットマップデータを受信部１０より入
力し、これらのデータに基づいて多角形平面体の内部の
全ての点の Xle,Yle,Zle座標値それぞれを順次に発生し
て出力する。このポリゴン内部座標変換部１１Ｌにおけ
る Xle,Yle,Zle座標値の発生に際しては、ポリゴン内部
座標変換部１１Ｒにおける処理と同様にして行う。

【００５２】虚像実像変換部１２Ｌは、ポリゴン内部座
標変換部１１Ｌから出力された多角形平面体の内部の全
ての点を視点座標系で表した Xle,Yle,Zle座標値および
ビットマップデータを入力し、

【数９】 なる変換を行い、各点についてホログラム座標系で表し
た Xls,Yls,Zls座標値を求める。ここで、ｆd は、レン
ズ２１Ｌの焦点距離である。なお、近軸領域では、ガウ
スの結像公式より、

【数１０】 なる変換式により近似して変換してもよい。

【００５３】ホログラム計算部１３Ｌは、虚像実像変換
部１２Ｌから出力された多角形平面体の内部の全ての点
をホログラム座標系で表した Xls,Yls,Zls座標値および
ビットマップデータを入力し、これらのデータに基づい
て、フレネル変換法や球面波法により波面伝搬の計算を
行い、空間光変調素子１５Ｌの位置における波面すなわ
ちホログラムデータを求める。この際に、ビットマップ
データは、輝度値や色情報に利用される。なお、ホログ
ラムデータを計算する範囲は、図１および図２で説明し
た一定範囲のみとする。

【００５４】駆動部１４Ｌは、ホログラム計算部１３Ｌ
により計算されたホログラムデータを入力し、振幅およ
び位相の双方または何れか一方について空間的な変調が
可能な空間光変調素子１５Ｌを駆動しホログラムデータ
を表示する。そして、空間光変調素子１５Ｌは、光源１
６Ｌから出力されたレーザ光がコリメータ１７Ｌ、反射
鏡１８Ｌおよび偏光板１９Ｌを介して照射されると、空
間光変調素子１５Ｌとレンズ２１Ｌとの間に３次元物体
の実像を再生し、更に、レンズ２１Ｌは、視線交点３３
の位置に３次元物体の虚像を結像する。

【００５５】したがって、レンズ２１Ｒおよびレンズ２
１Ｌそれぞれにより結像された虚像を、右瞳面３１Ｒお
よび左瞳面３１Ｌそれぞれに置かれた両目で見れば、視
線交点３３の位置に３次元物体の再生像を立体視するこ
とができる。

【００５６】次に、本発明に係る３次元撮像表示システ
ムにおける３次元撮像装置の１実施形態について説明す
る。図４は、この３次元撮像装置の構成図である。この
図には、３次元撮像装置の他に、画像処理装置７０なら
びに２つのステレオカメラ４０Ｒおよび４０Ｌそれぞれ
により撮像された画像の例も示されている。

【００５７】この３次元撮像装置は、２つのステレオカ
メラ４０Ｒおよび４０Ｌを備えて構成されている。ステ
レオカメラ４０Ｒは、３次元物体５０から発した光を入
力し結像するレンズ４１Ｒと、その結像された像を撮像
する撮像素子（例えばＣＣＤ）４２Ｒとを備えている。
同様に、ステレオカメラ４０Ｌは、レンズ４１Ｌと撮像
素子４２Ｌとを備えている。

【００５８】レンズ４１Ｒおよびレンズ４１Ｌそれぞれ
の中心点は、３次元表示装置（図３）における右視点３
２Ｒと左視点３２Ｌとの間の距離と等しい距離Ｗだけ互
いに隔てて配される。また、３次元物体５０上の特定点
５１は、レンズ４１Ｒおよびレンズ４１Ｌそれぞれの光
軸が互いに交差する位置にある。レンズ４１Ｒおよびレ
ンズ４１Ｌそれぞれの中心点を互いに結ぶ線分と３次元
物体５０上の特定点５１との間の距離Ｌは、３次元表示
装置（図３）における右視点３２Ｒおよび左視点３２Ｌ
を互いに結ぶ線分と視線交点３３との間の距離に等し
い。すなわち、この３次元撮像装置におけるレンズ４１
Ｒおよび４１Ｌならびに特定点５１の間の関係は、３次
元表示装置（図３）における右瞳面３１Ｒおよび左瞳面
３１Ｌならびに視線交点３３の間の関係と等価である。

【００５９】すなわち、ステレオカメラ４０Ｒは、３次
元表示装置（図３）において右視点３２Ｒにより観察さ
れる再生像を生成するために用いられる右目用画像６０
Ｒを撮像するものである。一方、ステレオカメラ４０Ｌ
は、左視点３２Ｌにより観察される再生像を生成するた
めに用いられる左目用画像６０Ｌを撮像するものであ
る。

【００６０】画像処理装置７０は、ステレオカメラ４０
Ｒ内の撮像素子４２Ｒおよびステレオカメラ４０Ｌ内の
撮像素子４２Ｌそれぞれと接続されており、ステレオカ
メラ４０Ｒにより撮像された右目用画像６０Ｒおよびス
テレオカメラ４０Ｌにより撮像された左目用画像６０Ｌ
を入力する。また、画像処理装置７０は、ステレオカメ
ラ４０Ｒ内のレンズ４１Ｒおよびステレオカメラ４０Ｌ
内のレンズ４１Ｌそれぞれと接続されており、レンズ４
１Ｒおよびレンズ４１Ｌそれぞれを光軸方向に駆動制御
し焦点調整を行う。

【００６１】また、画像処理装置７０は、入力した右目
用画像６０Ｒおよび左目用画像６０Ｌに基づいて、３次
元物体５０上の各点について３次元座標値を計算する。
この３次元座標値の計算に際しては、右目用画像６０Ｒ
および左目用画像６０Ｌそれぞれにおいて、３次元物体
５０上の特定点５１に対応する位置を原点とし、水平、
垂直および奥行きそれぞれの方向を座標軸として求め
る。ここで、水平および垂直それぞれの方向の座標値に
ついては、物理的に意味のある単位で表したものではな
く、画像中の画素位置に応じたものとすることにより、
３次元表示装置（図３）の虚像実像変換部１２Ｒおよび
１２Ｌそれぞれにおける変換処理において奥行き方向の
座標値についてのみ計算するだけでよい。

【００６２】さらに、画像処理装置７０は、ステレオカ
メラ４０Ｒ内のレンズ４１Ｒおよびステレオカメラ４０
Ｌ内のレンズ４１Ｌそれぞれの光軸方向の移動に伴う画
像の拡大・縮小を補正する。相関計算等により得られた
３次元座標値は３次元物体５０の３次元座標値に一致し
ているので、レンズ４１Ｒおよび４１Ｌそれぞれの移動
に伴って画像が拡大・縮小された際に、画面上の寸法と
実際の奥行き方向の座標軸とは対応したものとはなら
ず、したがって、得られた座標値をそのまま使用すれ
ば、何ら拡大・縮小されないままの３次元表示が得られ
る。そこで、撮像時のレンズ４１Ｒおよび４１Ｌそれぞ
れの焦点距離ｆ1 、レンズ前主面から３次元物体５０上
の特定点５１までの距離ａ、および、３次元表示装置
（図３）のレンズ２１Ｒおよび２１Ｌそれぞれの焦点距
離ｆd から、補正係数Ｋを

【数１１】 なる式により決定し、この補正係数Ｋを奥行き方向の座
標値に乗ずることで縦倍率と横倍率とが互いに一致し、
自然な奥行きを有する３次元表示が可能となり、また、
得られた画像をそのままビットマップデータとして使用
することが可能となる。なお、数値の１例として、Ｐd
＝４１．４μｍ、Ｐs＝１１μｍ、ｆd＝３０ｃｍとすれ
ば、ｂ＝約８ｃｍ、ｆ＝約６．６ｃｍ、ａ＝０．４ｍで
ある。

【００６３】画像処理装置７０は、以上のようにして補
正して求めた３次元座標値を多角形平面体として頂点リ
ストに変換し、これをビットマップデータと共に３次元
表示装置（図３）の受信部１０へ送信する。

【００６４】次に、３次元撮像部の画像処理装置７０に
おける画像処理の内容について更に詳細に説明する。図
５は、画像処理装置７０における画像処理の内容を説明
するフローチャート図である。

【００６５】画像処理装置７０は、先ずステップＳ１
で、ステレオカメラ４０Ｒおよび４０Ｌそれぞれにより
撮像された右目用画像６０Ｒおよび左目用画像６０Ｌを
取得し、ステップＳ２で、例えばラプラシアンフィルタ
を用いて右目用画像６０Ｒのエッジ抽出を行う。ステッ
プＳ３で、エッジ抽出された右目用画像６０Ｒを例えば
２０×２０画素の小領域に分割し、各小領域それぞれに
おける最大値を選ぶことにより、右目用画像６０Ｒの特
徴点を抽出する。このように小領域に分割して処理する
ことにより、計算量を削減でき実時間で計算することが
できる。

【００６６】ステップＳ４では、ステップＳ３で抽出さ
れた特徴点それぞれについて距離情報を計算する。この
距離情報の計算に際しては、ステップＳ１で取得された
右目用画像６０Ｒおよび左目用画像６０Ｌに基づいて、
ステップＳ３で抽出された特徴点を元に相互相関演算を
行い、特徴点について対応関係を求める。すなわち、右
目用画像６０Ｒにおいて各特徴点（座標値xr,yr ）を中
心とする１０×１０画素の小領域ｒs(xr,yr)を抜き出
し、また、左目用画像６０Ｌにおいて視線面（レンズ４
１Ｒおよび４１Ｌそれぞれの後焦点ならびに当該特徴点
を含む平面）と画像面（撮像素子４２Ｌの撮像面）との
交線上に１０×１０画素の小領域ｌs(xl,yl)を考え、そ
して、小領域ｒs(xr,yr)と小領域ｌs(xl,yl)との相互相
関の値ｚを

【数１２】 なる式で表す。ここで、積分範囲は各小領域内である。
この相互相関の値ｚを上記交線上の各小領域それぞれに
ついて計算し、相互相関の値ｚが最大値となった位置を
当該特徴点の対応点とする。

【００６７】ステップＳ５では、ステップＳ３で抽出さ
れた特徴点およびステップＳ４で求められた対応点の間
の位置関係から、ステレオ視の原理に基づいて特徴点ま
での距離を計算する。この計算方法を図６を用いて説明
する。この図に示すように、レンズ４１Ｒおよび４１Ｌ
それぞれの中心点を互いに結ぶ線分の中点を原点とし、
当該線分の方向をｘ軸とし、レンズ４１Ｒおよび４１Ｌ
それぞれの光軸を含む面に直交する方向をｙ軸とし、ｘ
軸およびｙ軸の双方に直交し３次元物体５０に向かう方
向をｚ軸とする。また、レンズ４１Ｒの中心点は、ｘ＝
ｋの位置にあり、レンズ４１Ｌの中心点は、ｘ＝−ｋの
位置にあるものとする。また、レンズ４１Ｒおよび４１
Ｌそれぞれの中心点から３次元物体５０上の特定点（視
線交点）５１までの距離をａとする。

【００６８】当該線分から３次元物体５０上の或る特徴
点５２までの距離は、レンズ４１Ｒの中心点と撮像素子
４２Ｒの撮像面上で特徴点５２を撮像した位置４４Ｒと
を結ぶ直線と、レンズ４１Ｌの中心点と撮像素子４２Ｌ
の撮像面上で特徴点５２を撮像した位置４４Ｌとを結ぶ
直線との交点のｚ座標値として求めることができる。レ
ンズ４１Ｒ（またはレンズ４１Ｌ）の中心点および特定
点５１を結ぶ直線と、レンズ４１Ｒおよび４１Ｌそれぞ
れの中心点を結ぶ線分の中点および特定点５１を結ぶ直
線とがなす角度θは、

【数１３】 または

【数１４】 で表される。

【００６９】右目用画像６０Ｒに関しては、レンズ４１
Ｒの中心点（ｋ，０）と撮像素子４２Ｒの撮像面上の位
置ｘr とを結ぶ直線の傾きθr は、

【数１５】 で表され、また、この直線は、レンズ４１Ｒの中心点
（ｋ，０）を通過することから、

【数１６】 で表される。

【００７０】同様に、左目用画像６０Ｌに関しては、レ
ンズ４１Ｌの中心点（−ｋ，０）と撮像素子４２Ｌの撮
像面上の位置ｘl とを結ぶ直線の傾きθl は、

【数１７】 で表され、また、この直線は、レンズ４１Ｌの中心点
（−ｋ，０）を通過することから、

【数１８】 で表される。

【００７１】したがって、３次元物体５０上の特徴点５
２までの距離は、(16)式および(18)式それぞれで表され
る２直線の交点のｚ座標値として、

【数１９】 で得られる。

【００７２】続いてステップＳ６では、ステップＳ５で
求められた各特徴点の座標値に基づいてポリゴンに分割
して多角形平面体データを作成する。この多角形平面体
データの求め方を図７を用いて説明する。なお、ここで
は多角形として三角形とした。まず、図７（ａ）に示す
ように、多数の特徴点のうちから画面左上にある３つの
特徴点を互いに結ぶ三角形を作る。次に、図７（ｂ）に
示すように、既に求められた三角形の何れかの辺と未だ
三角形を構成していない１つの特徴点とから次の三角形
を作る。このとき、既に求められた三角形の辺のうち、
２つの三角形に共有されているものは除かれ、また、未
だ三角形を構成していない特徴点が或る一定の範囲内に
存在しないものも除かれる。このようにして三角形を順
次構成していき、そして、図７（ｃ）に示すように、既
に求められた三角形の辺のうち新たな三角形を構成すべ
きものが存在しなくなると、多角形平面体データの作成
は終了する。

【００７３】続くステップＳ７では、画像処理装置７０
は、ステップＳ６で得られた多角形平面体データ等を３
次元表示装置（図３）の受信部１０へ送信する。ここ
で、受信部１０へ送信すべき情報は、多角形平面体デー
タとして多角形の種類（図７で説明した例では三角形）
および各多角形を構成する特徴点の３次元座標値ならび
にビットマップデータである。そして、３次元表示装置
は、これらのデータに基づいてホログラムを計算し、３
次元撮像装置の２台のステレオカメラ４０Ｒおよび４０
Ｌの視線交点と等価な視線交点３３の位置に、３次元物
体５０の再生像を表示する。

【００７４】

【発明の効果】以上、詳細に説明したとおり、本発明に
よれば、画像処理装置により、３次元撮像装置の２つの
撮像手段それぞれにより撮像された３次元物体の像に基
づいて、その３次元物体の３次元情報および視差画像が
計算され出力され、３次元表示装置により、この３次元
情報および視差画像に基づいてホログラムが形成され、
２つの観察視点より観察すれば３次元物体の再生像が表
示される。ここで、３次元撮像装置の２つの撮像手段そ
れぞれのレンズおよび視線交点の関係は、３次元表示装
置の２つの観察視点および視線交点の関係と等価である
ので、従来技術では不可欠であった膨大な計算量を必要
とする透視変換処理および陰面消去処理が本発明では不
要となり、画像処理装置において少ない計算量で３次元
物体の３次元情報が計算される。

【００７５】また、２つの撮像手段それぞれの撮像素子
の縦横それぞれの画素数が、３次元表示装置による再生
像の表示における縦横それぞれの有効表示画素数に対し
て一致または２以上の整数倍である場合には、画像の補
間生成処理が不要となる。

【００７６】また、２つの撮像手段それぞれのレンズの
バックフォーカス距離および撮像素子の縦横それぞれの
画素数に対応した撮像画角の最小単位が、３次元表示装
置による再生像の表示における表示画角の最小単位に等
しい場合にも、画像の補間生成処理が不要となる。

【００７７】また、２つの撮像手段それぞれが３次元物
体を拡大または縮小して撮像するズーム手段を有すると
ともに、３次元表示装置がズーム手段による拡大または
縮小に応じて再生像を表示する場合には、違和感のない
忠実な再生像が表示される。また、この場合には、画像
処理装置が、２つの撮像手段それぞれにより撮像された
３次元物体の像の横倍率を検出する横倍率検出手段と、
３次元物体の３次元情報のうち奥行き方向の座標値を横
倍率に基づいて補正する補正手段とを備えるのが好適で
あり、この場合にも、画像の補間生成処理が不要とな
る。

【００７８】また、画像処理装置が、２つの撮像手段そ
れぞれにより撮像された３次元物体の像の特徴点を抽出
する特徴点抽出手段と、特徴点に関して対応点を検索す
る対応点検索手段と、対応点の３次元座標値および対応
点のリストに基づいて多角形平面体データを作成し３次
元情報として出力する多角形平面体データ生成手段とを
備える場合には、３次元情報の計算量が削減されるとと
もに、３次元表示装置への３次元情報の送信に要する時
間が短縮される。

【００７９】また、３次元表示装置が、２つの観察視点
それぞれの瞳面上の各点と再生像の最小３次元表示単位
とを結ぶ直線または該直線の延長がホログラムの形成面
において交わる範囲においてのみホログラムを形成する
場合には、ホログラム計算の計算量が削減される。

【００８０】以上のように本発明によれば、画像処理装
置において非常に少ない計算量で３次元物体の３次元情
報が計算されるので、３次元物体像を動画表示する場合
であっても実時間で計算し表示することができる。ま
た、少ない計算量であるにも拘わらず、良好な画質の再
生像を表示することができる。

【図面の簡単な説明】

【図１】虚像再生型の場合のホログラム計算範囲の説明
図である。

【図２】実像再生型の場合のホログラム計算範囲の説明
図である。

【図３】本実施形態に係る３次元撮像表示システムにお
ける３次元表示装置の構成図である。

【図４】本実施形態に係る３次元撮像表示システムにお
ける３次元撮像装置の構成図である。

【図５】本実施形態に係る３次元撮像表示システムにお
ける画像処理装置７０における画像処理の内容を説明す
るフローチャート図である。

【図６】ステレオ視の原理に基づく特徴点までの距離の
計算方法の説明図である。

【図７】多角形平面体データの求め方の説明図である。

【符号の説明】

１０…受信部、１１Ｒ，１１Ｌ…ポリゴン内部座標補間
部、１２Ｒ，１２Ｌ…虚像実像変換部、１３Ｒ，１３Ｌ
…ホログラム計算部、１４Ｒ，１４Ｌ…駆動部、１５
Ｒ，１５Ｌ…空間光変調素子、１６Ｒ，１６Ｌ…光源、
１７Ｒ，１７Ｌ…コリメータ、１８Ｒ，１８Ｌ…反射
鏡、１９Ｒ，１９Ｌ，２０Ｒ，２０Ｌ…偏光板、２１
Ｒ，２１Ｌ…レンズ、２２Ｒ，２２Ｌ，２３Ｒ，２３Ｌ
…反射鏡、４０Ｒ，４０Ｌ…ステレオカメラ、４１Ｒ，
４１Ｌ…レンズ、４２Ｒ，４２Ｌ…撮像素子、７０…画
像処理装置。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 それぞれのレンズが互いに所定距離の間
   隔で配置された２つの撮像手段を有し、前記２つの撮像
   手段それぞれにより３次元物体を撮像する３次元撮像装
   置と、 前記２つの撮像手段それぞれにより撮像された前記３次
   元物体の像に基づいて前記３次元物体の３次元情報およ
   び視差画像を計算し出力する画像処理装置と、 前記所定距離の間隔で配された２つの観察視点を有し、
   前記画像処理装置から出力された前記３次元情報および
   前記視差画像に基づいてホログラムを形成し、前記２つ
   の撮像手段の視線交点と等価な視線交点の位置を基準と
   して前記３次元物体の再生像を表示する３次元表示装置
   と、 を備えることを特徴とする３次元撮像表示システム。
2. 【請求項２】 前記２つの撮像手段それぞれの撮像素子
   の縦横それぞれの画素数は、前記３次元表示装置による
   前記再生像の表示における縦横それぞれの有効表示画素
   数に対して一致または２以上の整数倍である、ことを特
   徴とする請求項１記載の３次元撮像表示システム。
3. 【請求項３】 前記２つの撮像手段それぞれのレンズの
   バックフォーカス距離および前記撮像素子の縦横それぞ
   れの画素数に対応した撮像画角の最小単位は、前記３次
   元表示装置による前記再生像の表示における表示画角の
   最小単位に等しい、ことを特徴とする請求項１記載の３
   次元撮像表示システム。
4. 【請求項４】 前記２つの撮像手段それぞれは、前記３
   次元物体を拡大または縮小して撮像するズーム手段を有
   するとともに、前記３次元表示装置は、前記ズーム手段
   による拡大または縮小に応じて前記再生像を表示する、
   ことを特徴とする請求項１記載の３次元撮像表示システ
   ム。
5. 【請求項５】 前記画像処理装置は、前記２つの撮像手
   段それぞれにより撮像された前記３次元物体の像の横倍
   率を検出する横倍率検出手段と、前記３次元物体の前記
   ３次元情報のうち奥行き方向の座標値を前記横倍率に基
   づいて補正する補正手段と、を備えることを特徴とする
   請求項４記載の３次元撮像表示システム。
6. 【請求項６】 前記画像処理装置は、前記２つの撮像手
   段それぞれにより撮像された前記３次元物体の像の特徴
   点を抽出する特徴点抽出手段と、前記特徴点に関して対
   応点を検索する対応点検索手段と、前記対応点の３次元
   座標値および前記対応点のリストに基づいて多角形平面
   体データを作成し前記３次元情報として出力する多角形
   平面体データ生成手段と、を備えることを特徴とする請
   求項１記載の３次元撮像表示システム。
7. 【請求項７】 前記３次元表示装置は、前記２つの観察
   視点それぞれの瞳面上の各点と前記再生像の最小３次元
   表示単位とを結ぶ直線または該直線の延長が前記ホログ
   ラムの形成面において交わる範囲においてのみホログラ
   ムを形成する、ことを特徴とする請求項１記載の３次元
   撮像表示システム。