JPH11331875A

JPH11331875A - ３次元情報伝送方法

Info

Publication number: JPH11331875A
Application number: JP10136383A
Authority: JP
Inventors: Kazuo Nobori; 一生登; Masamichi Nakagawa; 雅通中川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-05-19
Filing date: 1998-05-19
Publication date: 1999-11-30

Abstract

(57)【要約】【課題】３次元情報をより少ないデータ量で伝送記録
する方式を提供する。【解決手段】プロジェクタ１０１で投影したパターン
をカメラ１００で撮像した画像データを用いて、対応点
情報生成手段１０３では、カメラとプロジェクタの２つ
の視点間の対応点情報１１１を生成し、これとあらかじ
め計測された視点位置やカメラパラメータの情報で構成
される撮像情報１１２を伝送記録し、３次元情報を得る
際には、受信手段１０６から出力される対応点情報と撮
像情報を用いて３次元情報を算出する。このように、対
応点情報と撮像情報の組は、３次元情報よりもデータ量
が少ないため、伝送記録に有効である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元の画像と画
像に対応した３次元情報を、符号化して伝送・記録する
３次元情報伝送方法に関するものである。

【０００２】

【従来の技術】近年、物体表面の３次元座標値を計測す
る３次元計測技術が進歩し、高速な３次元計測装置が開
発されてきている。一方、産業用のＣＡＤや、ゲーム
機、パーソナルコンピュータなどで使われる、コンピュ
ータグラフィックスの技術の進歩も著しく、画像と対応
した３次元情報を用いて３次元的な画像を高速に合成す
る装置が開発されている。これらの技術を組み合わせる
と、物体の画像と３次元情報をリアルタイムに計測して
遠隔地間で伝送し、これを３次元的な画像として再合成
表示することが可能になりつつある。

【０００３】上記した３次元計測技術の一例としては、
例えば、「位置計測装置」（特開昭６０−１５２９０３
号公報）や「実時間レンジファインダ」（特願平８−２
０８１４６号）などがある。これらの従来の３次元計測
技術では計測を目的としているため、結果は対象物体の
２次元画像と、画像の各画素に対応した３次元座標値と
して出力される。

【０００４】

【発明が解決しようとする課題】しかし、上記従来の３
次元計測技術で得られる複数の３次元座標値からなる３
次元情報は、デジタル映像音響機器や情報機器で扱われ
る音声や画像などの一般的なデータと比べてもデータ量
が多く、この３次元情報を伝送・記憶するには、多大な
通信路容量や記憶容量が必要であるという問題点を有し
ていた。

【０００５】そこで本発明は、より少ないデータ量で３
次元情報を伝送・記録する方式を提供するものであり、
特に、異なる２つの視点からの画像間の対応関係から３
次元情報を算出する過程で、少ないデータ量で３次元情
報を構築できる表現形が存在することに着目し得られた
ものである。

【０００６】従って本発明は上記問題点に鑑み、その目
的は、物体の３次元情報を計測し、情報の欠落を最小限
に押さえながら、より少ないデータ量で３次元情報を伝
送・記録する方式を提供することにある。

【０００７】

【課題を解決するための手段】上記問題点を解決するた
めに本発明の３次元情報伝送方法は、計測結果の３次元
情報を伝送・記録する代わりに、２つの視点からの画像
間の対応点情報と、各画像の視点位置とカメラパラメー
タで構成される撮像情報とを、伝送または記録し、伝送
または記録された対応点情報と撮像情報から３次元情報
を算出することを特徴とするものである。

【０００８】本発明は上記した方法によって、３次元情
報を算出可能でデータ量の少ない、対応点情報と撮像情
報の組として伝送・記録することにより、より少ないデ
ータ量で３次元情報を伝送・記録することができる。

【０００９】

【発明の実施の形態】以下本発明の一実施の形態の３次
元情報伝送方法について、図面を参照しながら説明す
る。

【００１０】（実施の形態１）図１は本発明の第１の実
施の形態における３次元情報伝送方法の基本構成図であ
る。

【００１１】図１において、１００はカメラ、１０１は
プロジェクタであり、プロジェクタ１０１から対象物に
ある特定のパターン光を投影し、これをカメラ１００で
撮像して画像を出力する。１０２は画像量子化手段であ
り、カメラ１００で観測した画像を入力とし、量子化し
た画像データ１１０を出力する。１０３は対応点情報生
成手段であり、画像データ１１０に含まれるパターン光
の情報から、カメラ１００の視点とプロジェクタ１０１
の視点との対応点情報１１１を生成して出力する。１０
４は撮像情報記憶手段であり、あらかじめ計測しておい
た視点位置とカメラパラメータを記憶しておき、撮像情
報１１２として出力する。１０５は送信手段であり、画
像データ、対応点情報、撮像情報を伝送出力、または記
録装置に記録する。１０６は受信手段であり、伝送また
は記録された画像データ、対応点情報、撮像情報を受信
して、画像情報１１３、対応点情報と撮像情報１１４を
出力する。１０７は３次元情報算出手段であり、対応点
情報と撮像情報１１４を入力として、これらを用いて３
次元情報１１５を算出して出力する。１０８は画像合成
手段であり、画像データ１１３と３次元情報１１５を用
いて、３次元コンピュータグラフィックスの技術を用い
て画像を合成し出力する。

【００１２】以上のように構成された３次元情報伝送方
法について、まず最初に３次元計測の基本原理を説明
し、次に本発明の具体的な処理方式について説明する。

【００１３】図２はカメラなどの撮像系の基本原理図を
示すものである。３次元の視点座標空間（X,Y,Z)上の点
ｐ(x,y,z)と投影座標空間(U,V)に投影した点ｐ’(u,v)
との対応関係は、同次座標表現するための媒介変数hと
透視投影変換の行列Ｔを用いて（数１）の関係式で表す
ことができる。

【００１４】

【数１】

【００１５】さらに、３次元空間中の回転と平行移動と
拡大縮小を意味する変換行列Ｒを用いて、点Ｐの座標系
を物体座標系（Ｘ,Ｙ,Ｚ）で置き換えた（数２）で示す
ことができる。

【００１６】

【数２】

【００１７】式中の投影変換行列Ｕと３次元変換行列Ｒ
は、この撮像系における焦点距離や視点位置に相当し、
これらをあわせて撮像情報とする。この撮像情報は、あ
らかじめ算出しておくことができる。

【００１８】ここで、３次元座標値が未知である３次元
空間上の点ｐ（x,y,z)を、異なる２つの視点で観測した
場合、２つの視点の透視投影変換行列Ｕc、Ｕp、３次元
の変換行列Ｒc、Ｒpが既知であり、かつ、２つの投影面
上で対応点ｐc’、ｐp’の座標(uc,vc)、(up,vp)のうち
の３つが計測できれば、２つの（数２）を連立させて点
ｐの３次元座標値（x,y,z)を算出することができる。こ
の算出のための関数ｆの入出力の関係を（数３）のよう
に表す。

【００１９】

【数３】

【００２０】上述した３次元計測の基本的な考え方や、
撮像情報の算出方法は、広く知られた技術である。２つ
の視点間での対応点の関係のとりかたについても、本発
明の実施の形態で用いたパターン光投影方法、ステレオ
マッチング、光変調方法などの様々な手法が提案されて
いるが、いずれの方法においても基本的な導出方法は同
じである。

【００２１】図３はパターン光投影光による３次元計測
の基本原理である。パターン光投影方法では、プロジェ
クタによってあるパターン光を投影しておき、これをカ
メラにより観測する。ここで、投影パターンとしてプロ
ジェクタの投影座標Vpと対応するパターンを投影してお
き、これをカメラによって観測すると、カメラ上の座標
(uc,vc)でのパターンを検出することによって、（uc,v
c,vp)の組を得ることができる。この(uc,vc,vp)の組を
対応点情報と呼ぶ。ここで、あらかじめカメラとプロジ
ェクタの撮像情報ＵcＲc、ＵpＲpが求められていれば、
３次元空間中の座標値(x,y,z)を（数３）により求める
ことができる。

【００２２】この処理をカメラ座標（uc,vc)上のすべて
の画素に対して行うことによって、カメラで得られる画
像の各画素(uc,vc)に対応した３次元座標値(x,y,z)の集
合を得ることができる。

【００２３】ここで、この画像から得られた対応点情報
（uc,vc,vp）と、それらから算出された３次元座標値
（x,y,z)は、両方とも３変数で表現されているため、デ
ータ数としては両者は等しい。しかし、uc,vcはそれぞ
れ画像空間上の座標値で量子化され、vpについても同様
の量子化が行われることと、（数３）による導出は非線
型の変換となるため、得られたすべての３次元座標(x,
y,z)の各座標値は、対応点情報（uc,vc,vp)の各座標値
よりも状態数が増加する。従って、対応点情報と撮像情
報の組の方よりも３次元座標値の方が一般的にデータ量
が多くなると言える。

【００２４】さらに、対応点情報(uc,vc,vp)を、(uc,v
c)を基準にしてvpを要素とする幅wu、高さwvの２次元配
列vp(uc,vc) (uc=0,...,wu-1),(vc=0,...,wv-1)と考え
ると、２次元の画像を記録する場合に一般的に行われて
いるのと同様に、画素座標(uc,vc)を明示的に記録する
代わりに、幅wu、高さwvの２次元配列の要素としてvp(u
c,vc)を表現することができる。この方法によって、３
次元座標値のデータ数のほぼ１／３のデータ数で、同じ
情報を表現することができるため、対応情報と撮像情報
ＵcＲc、ＵpＲpとあわせたとしても、対応点情報と撮像
情報の組の方が、３次元座標よりデータ量が少ないと言
える。

【００２５】以上示してきた計測原理と対応して、本発
明の第１の実施の形態について、図１を用いてその具体
的な処理方式について説明する。

【００２６】プロジェクタ１０１では、図４の４つのパ
ターン光を順次投影する。これをカメラ１００により観
測したものを、画像量子化手段１０２で量子化し、４つ
のパターン光を投影した４つの画像データと、パターン
投影の無い１つの画像データを得る。画像量子化手段１
０２では、これら５つの画像データを対応点情報算出手
段１０３へ出力すると同時に、パターン投影の無い１つ
の画像データ１１０を符号化手段１０５へ出力する。対
応点情報生成手段１０３では、パターン投影の無い画像
データと、４つのパターン画像との差分をそれぞれと
り、その値があらかじめ与えられたしきい値を超えるか
否かによって、４つの２値画像データを生成する。

【００２７】ところで図４の４つの投影パターンの白黒
部分を０と１の１ビットでコード化し、４つの画像をビ
ット深さ方向に合成して４ビットのコード化をすると、
図５のようなプロジェクタの垂直軸Vpに対応したコード
を構成することができる。

【００２８】したがって、４つ２値画像データで形成さ
れる各画素４ビットのコードはVpに対応し、カメラ座標
上の各画素(uci,vci)に対応したvpiの集合、すなわち前
述した対応点情報となる。対応点情報生成手段１０３は
この対応点情報を出力する。撮像情報記録手段１０４
は、あらかじめ計測された、撮像情報１１２ＵcＲc、Ｕ
pＲpを記録しておき、これを出力する。送信手段１０５
では、画像データ１１０と対応点情報１１１と撮像情報
１１２を、通信路への送信、または外部記憶装置へ記録
する。

【００２９】受信手段１０６では、通信路へ送信、また
は外部記憶装置へ記録された画像データ、対応点情報、
撮像情報をそれぞれ受信して出力する。３次元情報算出
手段では、受信手段１０６で得られた対応情報と撮像情
報１１４を用い、前述した(数３）によって３次元座標
値である３次元情報１１５を算出して出力する。画像合
成手段１０８では、画像データ１１３と３次元情報１１
５を入力とし、テクスチャマッピングによって画像を合
成して出力する。テクスチャマッピングによる画像合成
方法は、３次元コンピュータグラフィックスの技術とし
て広く一般的に知られている技術であるため、詳細な説
明はここでは省略する。

【００３０】以上のように本実施の形態によれば、３次
元計測によって得られる３次元座標の情報をそのまま伝
送・記録する代わりに、処理の過程で得られる対応点情
報と撮像情報の組を伝送・記録する。前述したように、
対応情報と撮像情報の組はほとんどの場合３次元情報よ
りデータ量が少なく、かつ３次元情報の算出が可能であ
るため、結果として、より少ない情報量で３次元情報を
伝送・記録する方式を提供できる。

【００３１】なお、第１の実施の形態において、パター
ン光投影方式により対応点情報を生成するものとした
が、２つの視点間の対応点を用いて３次元情報を計測す
る他の方式においても、ほとんどの場合処理の過程で２
つの視点間の対応情報を算出するため、本実施の形態と
同様に、対応情報と撮像情報をもちいた３次元情報の伝
送・記録が可能である。

【００３２】送信手段１０５および受信手段１０６で
は、画像データ、対応点情報、撮像情報をそのまま伝送
するものとしたが、これらの情報を算術符号化などを用
いて符号化してから伝送・記録してもよい。

【００３３】（実施の形態２）図６は本発明の第２の実
施の形態における３次元情報伝送方法の基本構成図であ
る。

【００３４】図６において、本発明の第１の実施の形態
と異なる点は、対応点情報構造化手段６２０と構造情報
生成手段６２１を有する点と、対応点情報の代わりに構
造化対応点情報を伝送・記録することである。

【００３５】構造情報生成手段６２１では、対応点情報
６１１と撮像情報６１２から（数３）によって３次元情
報を算出し、３次元情報と対応点情報を基に３次元メッ
シュを構成する。さらに平面近似によって頂点数の削減
を行い、その結果の頂点のリストを構造情報として出力
する。

【００３６】第１の実施の形態の説明で示したように、
対応点情報６１１と撮像情報６１２で得られる３次元情
報の各要素(x,y,z)は、カメラの２次元画素座標(uc,vc)
と対応している。そこで、２次元座標空間(uc,vc)で隣
接する上下左右の４近傍の点について、対応する３次元
座標空間中の点間を連結し、四角形を構成要素とする３
次元メッシュ（初期メッシュ）を構成する。

【００３７】次に、３次元メッシュに対して平面近似を
行うことにより、より少ない四角形によって３次元メッ
シュを構成するように変形していく。この平面近似の方
法の例としては、メッシュ中の隣接した四角形４つを１
つの四角形へ置換えるという方法で、４つの四角形と新
たな１つの四角形の面間平均距離がしきい値以下の場合
に、新しい四角形でメッシュで置換える、という手順を
繰り返す。

【００３８】これによって頂点数の少ないメッシュを生
成する。例えば、図７(ａ)のような物体を計測した場
合、初期メッシュは(ｂ)のようになり、これを面近似を
行うことにより、図７(ｃ)のようなメッシュを得ること
ができる。ここで、３次元メッシュ構造の頂点間の接続
関係を頂点のインデックスリストとして表したものを構
造情報として出力する。構造情報の例としては、生成さ
れたメッシュ上の座標(uci,vci)に対応する頂点が、他
の２頂点(ucn,vcn),（ucm,vcm)であった場合、３つの頂
点座標リスト{(uci,vci),(ucn,vcn),（ucm,vcm)}で１つ
の頂点構造を記述し、さらにこの集まりで、メッシュ全
体の構造を記述する。

【００３９】対応点情報構造化手段６２０では、この構
造情報と対応点情報を構造化した構造化対応点情報６１
６を出力する。構造情報には、頂点間の連結関係が含ま
れているため、この各頂点に対応した対応点情報を付加
する。例えば、前述した構造情報の頂点座標(uci,vci)
に対応するvpiを加えて、｛(uci,vci,vpi),(ucn,vcn),
（ucm,vcm)}とすることによって、構造化対応点情報を
生成する。

【００４０】送信手段６０５では、第１の実施の形態１
と同様に、画像データ６１０と構造化対応点情報６１６
と撮像情報６１２を、通信路への送信、または外部記憶
装置へ記録する。受信手段６０６では、通信路へ送信、
または外部記憶装置へ記録された画像データ、構造化対
応点情報、撮像情報をそれぞれ受信して出力する。

【００４１】３次元情報算出手段では、受信手段６０６
から出力された、構造化された各頂点の対応点情報(vc,
vc,vp)と撮像情報を用いて、前述した(数３）によって
３次元情報(x,y,z)を算出し、各頂点のvpと置換えるこ
とによって、構造化３次元情報６１５を算出して出力す
る。画像合成手段６０８では、画像データ６１３と構造
化３次元情報６１５を入力とし、テクスチャマッピング
によって画像を合成して出力する。テクスチャマッピン
グによる画像合成方法は、３次元コンピュータグラフィ
ックスの技術として広く一般的に知られている技術であ
るため、詳細な説明はここでは省略する。

【００４２】以上のように本実施の形態によれば、対応
点情報と撮像情報の組を伝送・記録する代わりに、一旦
３次元空間上のメッシュを構成して平面近似を行ない、
対応点情報中の頂点数を減らした構造化対応情報と撮像
情報の組として伝送・記憶するため、第１の実施の形態
より、より少ないデータ量で伝送・記録することが可能
である。

【００４３】なお、第２の実施の形態において、３次元
メッシュは四角形を構成要素とするメッシュであり、面
近似の基準として面間平均距離を用いるとしたが、これ
らのモデル表現やデータ削減方式は、３次元コンピュー
タグラフィックスの技術として広く知られている技術で
あり、頂点数を削減でき、頂点間の接続情報を構造情報
として得ることができれば、どのような方法を用いても
よい。

【００４４】

【発明の効果】以上のように本発明は、３次元計測で得
られる３次元情報を伝送・記録する方式として、算出さ
れた３次元情報を伝送・記録する代わりに、計測処理の
過程で算出される対応点情報と撮像情報を伝送・記録す
ることによって、より少ないデータ量で３次元の情報を
伝送・記録することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における３次元情報
伝送方法の概略構成図

【図２】同実施の形態における計測原理説明のための撮
像系の基本原理図

【図３】同実施の形態における計測原理説明のためのパ
ターン光投影法の基本原理図

【図４】同実施の形態における投影パターン光の例を示
す図

【図５】同実施の形態におけるパターン光から算出され
るコードの例を示す図

【図６】本発明の第２の実施の形態における３次元情報
伝送方法の概略構成図

【図７】（ａ）〜（ｃ）同実施の形態における３次元メ
ッシュの例を示す図

【符号の説明】

１００カメラ１０１プロジェクタ１０２画像量子化手段１０３対応点情報生成手段１０４撮像情報記憶手段１０５符号化手段１０６復号化手段１０７３次元情報算出手段１０８画像合成手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 13/04 Ｇ０６Ｆ 15/62 ４１５ 15/00 15/66 ３３０Ｐ

Claims

【特許請求の範囲】

【請求項１】異なる２つの視点からの画像間の対応点情
報と、各画像の視点位置とカメラパラメータで構成され
る撮像情報とを伝送または記録し、伝送または記録され
た対応点情報と撮像情報から３次元情報を算出する事を
特徴とする３次元情報伝送方法。
【請求項２】対応点情報は、２つの視点間の画素座標間
の対応関係を、いずれか一方の視点からの画素座標値を
要素とし、もう一方の視点の２次元画素座標値を添え字
とする配列で表すことを特徴とする請求項１記載の３次
元情報伝送方法。
【請求項３】対応点情報と撮像情報から算出した３次元
情報をもちいて面モデルによる構造情報を生成し、構造
情報を用いて対応点情報を構造化して伝送または記録す
ることを特徴とする請求項１記載の３次元情報伝送方
法。