JPH1185984A - 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 - Google Patents
三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体Info
- Publication number
- JPH1185984A JPH1185984A JP9236838A JP23683897A JPH1185984A JP H1185984 A JPH1185984 A JP H1185984A JP 9236838 A JP9236838 A JP 9236838A JP 23683897 A JP23683897 A JP 23683897A JP H1185984 A JPH1185984 A JP H1185984A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- dimensional
- viewpoint position
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 複数の視点位置に設置した複数のカメラを用
いて、被写体である三次元物体の撮像を行う三次元画像
入力装置において、任意の視点からみた動物体の画像を
再構成する。 【解決手段】 複数の視点位置に設置した複数のカメラ
を用いて、被写体である三次元物体の撮像を行う三次元
画像入力装置において、前記複数のカメラは光路変更手
段を具備し、各々の視点位置での視差像を撮像するもの
である。前記光路変更手段は２枚の透明基板間に当該透
明基板と屈折率が同じ液体を挟み、アクチュエータを用
いて前記２枚の透明基板のなす角度を変化させるバリア
ブルアングルプリズムである。
いて、被写体である三次元物体の撮像を行う三次元画像
入力装置において、任意の視点からみた動物体の画像を
再構成する。 【解決手段】 複数の視点位置に設置した複数のカメラ
を用いて、被写体である三次元物体の撮像を行う三次元
画像入力装置において、前記複数のカメラは光路変更手
段を具備し、各々の視点位置での視差像を撮像するもの
である。前記光路変更手段は２枚の透明基板間に当該透
明基板と屈折率が同じ液体を挟み、アクチュエータを用
いて前記２枚の透明基板のなす角度を変化させるバリア
ブルアングルプリズムである。
Description
【０００１】
【発明の属する技術分野】本発明は、光路を変更する機
能を持つカメラを複数台用いて複数の視差像を撮像し、
その複数の視差像を基に、撮像した位置とは異なる視点
の画像を再構成するための三次元画像入力装置及び三次
元画像処理方法ならびに三次元画像処理プログラムを記
録した記録媒体に関するものである。
能を持つカメラを複数台用いて複数の視差像を撮像し、
その複数の視差像を基に、撮像した位置とは異なる視点
の画像を再構成するための三次元画像入力装置及び三次
元画像処理方法ならびに三次元画像処理プログラムを記
録した記録媒体に関するものである。
【０００２】
【従来の技術】従来、実写イメージを基に、撮像した位
置とは異なる視点の画像を再構成する方法として、例え
ば、文献：IEEE Trans.Image Processing,vol.6 pp.584
-598（Apr 1997）に記載されているような「View Gener
ation for Three-DimentionalScenes from Video Seque
nce」方法がある。これは、ビデオカメラで撮影した一
連の映像シークエンスを基に、三次元空間における物体
の位置および輝度の情報を取得し、これを再構成しよう
とする画像の視点に合わせて三次元空間に幾何変換し、
さらに二次元平面に射影する方法である。
置とは異なる視点の画像を再構成する方法として、例え
ば、文献：IEEE Trans.Image Processing,vol.6 pp.584
-598（Apr 1997）に記載されているような「View Gener
ation for Three-DimentionalScenes from Video Seque
nce」方法がある。これは、ビデオカメラで撮影した一
連の映像シークエンスを基に、三次元空間における物体
の位置および輝度の情報を取得し、これを再構成しよう
とする画像の視点に合わせて三次元空間に幾何変換し、
さらに二次元平面に射影する方法である。
【０００３】図９は本方法の撮影方法を幾何学的に示し
たものである。図９において、９１は被写体、９２はビ
デオカメラ、９３はビデオカメラで撮影するときの水平
な軌道である。本方法では、ビデオカメラを手に持ち、
軌道９３に沿ってビデオカメラを移動しながら撮像した
映像シークエンスを用いて、三次元空間における物体の
位置および輝度の情報を取得する。
たものである。図９において、９１は被写体、９２はビ
デオカメラ、９３はビデオカメラで撮影するときの水平
な軌道である。本方法では、ビデオカメラを手に持ち、
軌道９３に沿ってビデオカメラを移動しながら撮像した
映像シークエンスを用いて、三次元空間における物体の
位置および輝度の情報を取得する。
【０００４】図１０は図９の方法により撮影した映像シ
ークエンスに含まれる個々の映像フレームの位置関係を
示した図である。図１０において、１０１〜１０５はビ
デオカメラで撮影した映像フレームである。この図１０
に示すように、個々のフレームが視差像となるので、こ
れらの画像間で対応点を抽出することにより、被写体の
三次元空間における位置及び輝度の情報が求められる。
ークエンスに含まれる個々の映像フレームの位置関係を
示した図である。図１０において、１０１〜１０５はビ
デオカメラで撮影した映像フレームである。この図１０
に示すように、個々のフレームが視差像となるので、こ
れらの画像間で対応点を抽出することにより、被写体の
三次元空間における位置及び輝度の情報が求められる。
【０００５】本方法ではビデオカメラを移動させて撮影
した映像シークエンスから視差像を取得するため、静止
物体については適用できるが、動物体については適用で
きないという問題があった。
した映像シークエンスから視差像を取得するため、静止
物体については適用できるが、動物体については適用で
きないという問題があった。
【０００６】このほかの従来技術として、例えば、文
献：電気情報通信学会論文誌：D-II Vol.J73-D-II Ｎo.
4 pp.582-589（1990年4月）に記載されているような
「回転法による顔画像の合成」方法がある。これは、あ
る間隔をもって水平に配置した２台のカメラにより撮像
された２枚の画像を、被写体の切断面の形状に適用した
簡単な二次元モデル、例えば、円や楕円形のモデルにマ
ッピングして、モデルの重心点を含む垂直軸を中心にそ
れぞれ目的の角度まで回転移動処理し、回転後の画素を
再び二次元平面に射影するという回転法を用いて、２台
のカメラの中間に視点を置いた画像を作成する方法であ
る。図１１を用いて円モデルを用いた回転法について説
明する。
献：電気情報通信学会論文誌：D-II Vol.J73-D-II Ｎo.
4 pp.582-589（1990年4月）に記載されているような
「回転法による顔画像の合成」方法がある。これは、あ
る間隔をもって水平に配置した２台のカメラにより撮像
された２枚の画像を、被写体の切断面の形状に適用した
簡単な二次元モデル、例えば、円や楕円形のモデルにマ
ッピングして、モデルの重心点を含む垂直軸を中心にそ
れぞれ目的の角度まで回転移動処理し、回転後の画素を
再び二次元平面に射影するという回転法を用いて、２台
のカメラの中間に視点を置いた画像を作成する方法であ
る。図１１を用いて円モデルを用いた回転法について説
明する。
【０００７】図１１（ａ）は人物を撮像した場合の被写
体とカメラの関係を幾何学的に示したものであり、１１
１は被写体、１１２、１１３はカメラ、θはカメラ１１
２、１１３の輻そう角である。図１１（ａ）〜（ｃ）に
おいて、点Ｐ、Ｑは回転前の座標点、点Ｐ’、Ｑ’は回
転後の座標点である。また、α1、α2はそれぞれカメラ
１１２、１１３で撮像された画像を目的の視点まで回転
させる角度であり、α1＋α2＝θの関係がある。
体とカメラの関係を幾何学的に示したものであり、１１
１は被写体、１１２、１１３はカメラ、θはカメラ１１
２、１１３の輻そう角である。図１１（ａ）〜（ｃ）に
おいて、点Ｐ、Ｑは回転前の座標点、点Ｐ’、Ｑ’は回
転後の座標点である。また、α1、α2はそれぞれカメラ
１１２、１１３で撮像された画像を目的の視点まで回転
させる角度であり、α1＋α2＝θの関係がある。
【０００８】図１１（ｂ）（ｃ）は、被写体をｙ＝ｊに
おけるｘ−ｚ平面で切断した図であり、ｒ1、ｒ2は回転
半径である。図１１（ｂ）において、回転前の座標点Ｐ
（ｘ1，ｊ，ｚ1）、回転後の座標点Ｐ’（ｘ1’，ｊ，
ｚ1’）、回転半径ｒ1、回転角α1の関係を以下に示
す。
おけるｘ−ｚ平面で切断した図であり、ｒ1、ｒ2は回転
半径である。図１１（ｂ）において、回転前の座標点Ｐ
（ｘ1，ｊ，ｚ1）、回転後の座標点Ｐ’（ｘ1’，ｊ，
ｚ1’）、回転半径ｒ1、回転角α1の関係を以下に示
す。
【０００９】
【数１】
【００１０】カメラ１１２により撮像した画像を−α1
°回転させた画像と、カメラ１１３により撮像した画像
をα2°回転させた画像を回転角度に応じた割合で合成
し、所望の画像を得る。
°回転させた画像と、カメラ１１３により撮像した画像
をα2°回転させた画像を回転角度に応じた割合で合成
し、所望の画像を得る。
【００１１】本方法では、撮像した画像を被写体の切断
面に適応したモデルにマッピングすることにより画像を
合成するため、人物像などモデル化しやすい特定の物体
については自然な画像を得ることができるが、使用する
モデルが不適切な場合には不自然な画像になるという問
題があった。また、任意の物体や動きの激しい被写体に
ついては、モデル化が困難であるため、適用することが
困難であるという問題があった。
面に適応したモデルにマッピングすることにより画像を
合成するため、人物像などモデル化しやすい特定の物体
については自然な画像を得ることができるが、使用する
モデルが不適切な場合には不自然な画像になるという問
題があった。また、任意の物体や動きの激しい被写体に
ついては、モデル化が困難であるため、適用することが
困難であるという問題があった。
【００１２】このほかの従来技術として、例えば、文
献：IDW’95 PP.45-48に記載されている「A Video-Rate
Stereo Machine for 3D Scene Reconstruction 」のよ
うな装置がある。これは、実写イメージを基に任意の視
点からの動物体画像を再構成するための装置で、カメラ
間の相対位置が固定された複数のカメラの視差像を基
に、リアルタイムで奥行き情報を得ることができる。図
１２に本装置で使用されるカメラ配置の例を示す。図１
２において、１２１〜１２４は本装置のカメラ、１２５
は被写体である。本装置のカメラ１２１〜１２４は、カ
メラ間の相対位置が既知であることが前提である。本装
置で撮像した視差像とカメラ間隔の情報を基に奥行き情
報を取得し、この奥行き情報を基に、任意の視点からの
画像を再構成することができる。本装置はカメラの台数
が多く必要なため、コストがかかり、装置が大きくなる
という問題があった。また、カメラ間の位置、色合い等
の調整はカメラ台数が多くなるほど難しくなるという問
題があった。また、互いのカメラが数ｃｍ程度しか離れ
ていないため、広い範囲を撮像することができず、視点
を動かした再構成画像において、もともとデータが欠落
しているために埋めることができないオクルージョン領
域（ステレオ画像において隠れのために片方の画像にし
か写らない領域）が広くなるという問題があった。
献：IDW’95 PP.45-48に記載されている「A Video-Rate
Stereo Machine for 3D Scene Reconstruction 」のよ
うな装置がある。これは、実写イメージを基に任意の視
点からの動物体画像を再構成するための装置で、カメラ
間の相対位置が固定された複数のカメラの視差像を基
に、リアルタイムで奥行き情報を得ることができる。図
１２に本装置で使用されるカメラ配置の例を示す。図１
２において、１２１〜１２４は本装置のカメラ、１２５
は被写体である。本装置のカメラ１２１〜１２４は、カ
メラ間の相対位置が既知であることが前提である。本装
置で撮像した視差像とカメラ間隔の情報を基に奥行き情
報を取得し、この奥行き情報を基に、任意の視点からの
画像を再構成することができる。本装置はカメラの台数
が多く必要なため、コストがかかり、装置が大きくなる
という問題があった。また、カメラ間の位置、色合い等
の調整はカメラ台数が多くなるほど難しくなるという問
題があった。また、互いのカメラが数ｃｍ程度しか離れ
ていないため、広い範囲を撮像することができず、視点
を動かした再構成画像において、もともとデータが欠落
しているために埋めることができないオクルージョン領
域（ステレオ画像において隠れのために片方の画像にし
か写らない領域）が広くなるという問題があった。
【００１３】
【発明が解決しようとする課題】本発明の目的は、前述
した従来技術の問題点を解決し、任意の視点からみた動
物体の画像を再構成することが可能な技術を提供するこ
とにある。
した従来技術の問題点を解決し、任意の視点からみた動
物体の画像を再構成することが可能な技術を提供するこ
とにある。
【００１４】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【００１５】
【課題を解決するための手段】本発明の前記目的を達成
するための代表的なものの概要を簡単に説明すれば以下
のとおりである。
するための代表的なものの概要を簡単に説明すれば以下
のとおりである。
【００１６】（１）複数の視点位置に設置した複数のカ
メラを用いて、被写体である三次元物体の撮像を行う三
次元画像入力装置において、前記複数のカメラは光路変
更手段を具備し、各々の視点位置での視差像を撮像する
ものである。
メラを用いて、被写体である三次元物体の撮像を行う三
次元画像入力装置において、前記複数のカメラは光路変
更手段を具備し、各々の視点位置での視差像を撮像する
ものである。
【００１７】（２）前記（１）の三次元画像入力装置に
おいて、前記光路変更手段が、２枚の透明基板間に当該
透明基板と屈折率が同じ液体を挟み、アクチュエータを
用いて前記２枚の透明基板のなす角度を変化させるバリ
アブルアングルプリズムである。
おいて、前記光路変更手段が、２枚の透明基板間に当該
透明基板と屈折率が同じ液体を挟み、アクチュエータを
用いて前記２枚の透明基板のなす角度を変化させるバリ
アブルアングルプリズムである。
【００１８】（３）前記（１）または（２）の三次元画
像入力装置において、前記各々の視点位置における視差
像を記憶する画像メモリと、前記画像メモリに記憶され
た視差像を基に、三角測量法を用いて各々の視点位置か
ら被写体までの距離情報を検出する距離情報検出手段
と、前記各々の視点位置における距離情報と、各々の視
点位置における視差像の中から任意に選択された１枚の
画像の輝度情報とを記憶する距離画像メモリと、前記距
離画像メモリに記憶された、各々の視点位置における距
離情報と輝度情報を、全視点位置に共通の三次元座標軸
上に座標変換する三次元形状認識手段と、前記三次元座
標軸上に座標変換された各々の視点位置における輝度情
報を、任意視点から見た二次元平面に射影する任意視点
画像生成手段とを具備したものである。
像入力装置において、前記各々の視点位置における視差
像を記憶する画像メモリと、前記画像メモリに記憶され
た視差像を基に、三角測量法を用いて各々の視点位置か
ら被写体までの距離情報を検出する距離情報検出手段
と、前記各々の視点位置における距離情報と、各々の視
点位置における視差像の中から任意に選択された１枚の
画像の輝度情報とを記憶する距離画像メモリと、前記距
離画像メモリに記憶された、各々の視点位置における距
離情報と輝度情報を、全視点位置に共通の三次元座標軸
上に座標変換する三次元形状認識手段と、前記三次元座
標軸上に座標変換された各々の視点位置における輝度情
報を、任意視点から見た二次元平面に射影する任意視点
画像生成手段とを具備したものである。
【００１９】（４）複数の視点位置に設置した光路変更
手段を具備する複数のカメラを用いて、被写体である三
次元物体の各々の視点位置での視差像を撮像するステッ
プと、前記各々の視点位置における視差像を記憶するス
テップと、記憶した視差像を基に、三角測量法を用いて
各々の視点位置から被写体までの距離情報を検出するス
テップと、前記各々の視点位置における距離情報と、各
々の視点位置における視差像の中から任意に選択された
１枚の画像の輝度情報とを記憶するステップと、記憶し
た各々の視点位置における距離情報と輝度情報を、全視
点位置に共通の三次元座標軸上に座標変換するステップ
と、前記三次元座標軸上に座標変換された各々の視点位
置における輝度情報を、任意視点から見た二次元平面に
射影するステップとを含む三次元画像処理方法である。
手段を具備する複数のカメラを用いて、被写体である三
次元物体の各々の視点位置での視差像を撮像するステッ
プと、前記各々の視点位置における視差像を記憶するス
テップと、記憶した視差像を基に、三角測量法を用いて
各々の視点位置から被写体までの距離情報を検出するス
テップと、前記各々の視点位置における距離情報と、各
々の視点位置における視差像の中から任意に選択された
１枚の画像の輝度情報とを記憶するステップと、記憶し
た各々の視点位置における距離情報と輝度情報を、全視
点位置に共通の三次元座標軸上に座標変換するステップ
と、前記三次元座標軸上に座標変換された各々の視点位
置における輝度情報を、任意視点から見た二次元平面に
射影するステップとを含む三次元画像処理方法である。
【００２０】（５）複数の視点位置に設置した光路変更
手段を具備する複数のカメラを用いて、被写体である三
次元物体の各々の視点位置での視差像を撮像した前記各
々の視点位置における視差像を記憶するステップと、記
憶した視差像を基に、三角測量法を用いて各々の視点位
置から被写体までの距離情報を検出するステップと、前
記各々の視点位置における距離情報と、各々の視点位置
における視差像の中から任意の１枚の画像の輝度情報と
を記憶するステップと、記憶した各々の視点位置におけ
る距離情報と輝度情報を、全視点位置に共通の三次元座
標軸上に座標変換するステップと、前記三次元座標軸上
に座標変換された各々の視点位置における輝度情報を、
任意視点から見た二次元平面に射影するステップをコン
ピュータに実行させる三次元画像処理プログラムが記録
されている記録媒体である。
手段を具備する複数のカメラを用いて、被写体である三
次元物体の各々の視点位置での視差像を撮像した前記各
々の視点位置における視差像を記憶するステップと、記
憶した視差像を基に、三角測量法を用いて各々の視点位
置から被写体までの距離情報を検出するステップと、前
記各々の視点位置における距離情報と、各々の視点位置
における視差像の中から任意の１枚の画像の輝度情報と
を記憶するステップと、記憶した各々の視点位置におけ
る距離情報と輝度情報を、全視点位置に共通の三次元座
標軸上に座標変換するステップと、前記三次元座標軸上
に座標変換された各々の視点位置における輝度情報を、
任意視点から見た二次元平面に射影するステップをコン
ピュータに実行させる三次元画像処理プログラムが記録
されている記録媒体である。
【００２１】すなわち、本発明においては、光路を変更
できる素子をカメラの感光板とレンズの間もしくはレン
ズと被写体の間に配置することを特徴とする。
できる素子をカメラの感光板とレンズの間もしくはレン
ズと被写体の間に配置することを特徴とする。
【００２２】そして、光路変更素子によりカメラの光軸
を変更させて、１台のカメラから複数の視差像を撮像す
る。このようにして得られた１台のカメラからの複数の
視差像を基に被写体の距離情報を取得し、同様にして、
異なる位置に置いた別の１台のカメラからも被写体の距
離情報を取得する。これら複数の異なる位置から取得し
た被写体の距離情報を基に、任意の視点から見た画像を
再構成することを特徴とする。
を変更させて、１台のカメラから複数の視差像を撮像す
る。このようにして得られた１台のカメラからの複数の
視差像を基に被写体の距離情報を取得し、同様にして、
異なる位置に置いた別の１台のカメラからも被写体の距
離情報を取得する。これら複数の異なる位置から取得し
た被写体の距離情報を基に、任意の視点から見た画像を
再構成することを特徴とする。
【００２３】従来技術のように、ビデオカメラを移動し
ながら視差像を撮像する方法や、複数のカメラを用いて
カメラ毎に１枚の視差像を撮像する方法や、任意の視点
から見た画像を回転法を用いてマッピングする方法とは
原理的に異なるものである。
ながら視差像を撮像する方法や、複数のカメラを用いて
カメラ毎に１枚の視差像を撮像する方法や、任意の視点
から見た画像を回転法を用いてマッピングする方法とは
原理的に異なるものである。
【００２４】
【発明の実施の形態】以下、図面を参照して本発明の三
次元画像入力装置及び三次元画像処理方法ならびに三次
元画像処理プログラムを記録した記録媒体の実施形態を
詳細に説明する。
次元画像入力装置及び三次元画像処理方法ならびに三次
元画像処理プログラムを記録した記録媒体の実施形態を
詳細に説明する。
【００２５】本発明では、撮像する視点位置を増やすほ
どオクルージョン領域が少なくなることは明白である
が、以下、カメラ装置２台を用いて２ヶ所の視点位置か
ら撮像する場合について説明する。
どオクルージョン領域が少なくなることは明白である
が、以下、カメラ装置２台を用いて２ヶ所の視点位置か
ら撮像する場合について説明する。
【００２６】（実施形態１）図１は本発明の実施形態１
の画像入力装置におけるカメラ装置の配置図であり、
１，２はカメラ装置、３，４は光路を変更できる素子、
５は被写体である。図１では、光路変更素子３，４を各
々のカメラのレンズと被写体の間に配置したが、カメラ
の撮像素子（例えばＣＣＤ）の感光面とレンズの間に配
置しても良い。
の画像入力装置におけるカメラ装置の配置図であり、
１，２はカメラ装置、３，４は光路を変更できる素子、
５は被写体である。図１では、光路変更素子３，４を各
々のカメラのレンズと被写体の間に配置したが、カメラ
の撮像素子（例えばＣＣＤ）の感光面とレンズの間に配
置しても良い。
【００２７】本実施形態１の画像入力装置においては、
図１に示すように、カメラ装置１，２はある間隔Ｂをも
って光軸が互いに平行になるように配置される。光路変
更素子３，４にはそれぞれ光軸を制御する装置が備えら
れ、その光軸制御装置によってカメラ装置１，２の光軸
は回転または平行移動される。従って、それぞれのカメ
ラ装置について、例えば、図２（ａ）（ｂ）（ｃ）に示
すような複数の視差像が撮像される。
図１に示すように、カメラ装置１，２はある間隔Ｂをも
って光軸が互いに平行になるように配置される。光路変
更素子３，４にはそれぞれ光軸を制御する装置が備えら
れ、その光軸制御装置によってカメラ装置１，２の光軸
は回転または平行移動される。従って、それぞれのカメ
ラ装置について、例えば、図２（ａ）（ｂ）（ｃ）に示
すような複数の視差像が撮像される。
【００２８】図３は本実施形態１における映像信号処理
装置のブロック図である。本装置は、光路変更素子を備
えたカメラ装置３１、光軸制御装置３２、画像メモリ３
３、距離情報検出装置３４、距離画像メモリ３５、三次
元形状認識装置３６及び任意視点画像生成装置３７を備
えている。なお、３３〜３７はコンピュータで制御する
ことも可能であり、さらにはコンピュータ自身に置き換
えることも可能である。これらの場合は、三次元画像処
理プログラムを記録した記録媒体（例えば、ＦＤ、Ｈ
Ｄ、ＣＤ-ＲＯＭ等の記憶媒体）からコンピュータのメ
インメモリにプログラムを記憶させて動作させる。
装置のブロック図である。本装置は、光路変更素子を備
えたカメラ装置３１、光軸制御装置３２、画像メモリ３
３、距離情報検出装置３４、距離画像メモリ３５、三次
元形状認識装置３６及び任意視点画像生成装置３７を備
えている。なお、３３〜３７はコンピュータで制御する
ことも可能であり、さらにはコンピュータ自身に置き換
えることも可能である。これらの場合は、三次元画像処
理プログラムを記録した記録媒体（例えば、ＦＤ、Ｈ
Ｄ、ＣＤ-ＲＯＭ等の記憶媒体）からコンピュータのメ
インメモリにプログラムを記憶させて動作させる。
【００２９】光路変更素子を備えたカメラ装置３１の光
軸を光軸制御装置３２でシフトまたは回転させることに
より、１台のカメラで撮像された複数の視差像は、それ
ぞれ画像メモリ３３に一時的に蓄えられる。
軸を光軸制御装置３２でシフトまたは回転させることに
より、１台のカメラで撮像された複数の視差像は、それ
ぞれ画像メモリ３３に一時的に蓄えられる。
【００３０】距離情報検出装置３４では、それぞれの画
像メモリ３３に蓄えられた複数の視差像間の対応点を抽
出し、例えば、三角測量法を用いてカメラ装置から対応
点までの距離を計算する。これを図４を用いて説明す
る。図４（ａ）において、６１は注視点、６２，６３は
カメラ装置、６４，６５はレンズ、６６，６７はカメラ
の撮像素子の感光面である。図４（ｂ），（ｃ）はそれ
ぞれカメラ装置６２，６３による入力画像、ｄは入力画
像（ｂ），（ｃ）間の注視点Ｐの視差である。
像メモリ３３に蓄えられた複数の視差像間の対応点を抽
出し、例えば、三角測量法を用いてカメラ装置から対応
点までの距離を計算する。これを図４を用いて説明す
る。図４（ａ）において、６１は注視点、６２，６３は
カメラ装置、６４，６５はレンズ、６６，６７はカメラ
の撮像素子の感光面である。図４（ｂ），（ｃ）はそれ
ぞれカメラ装置６２，６３による入力画像、ｄは入力画
像（ｂ），（ｃ）間の注視点Ｐの視差である。
【００３１】カメラ間隔Ｂとカメラ装置６２，６３の焦
点距離ｆと２枚の入力画像間の注視点Ｐの視差ｄが既知
であるとき、カメラ装置６２，６３から注視点Ｐまでの
距離Ｚは、数２の式によって求められる。
点距離ｆと２枚の入力画像間の注視点Ｐの視差ｄが既知
であるとき、カメラ装置６２，６３から注視点Ｐまでの
距離Ｚは、数２の式によって求められる。
【００３２】
【数２】Ｚ＝Ｂｆ／ｄ 距離画像メモリ３５には、輝度情報と、カメラ装置６
２，６３から被写体までの距離情報が蓄えられる。この
輝度情報は、それぞれの画像メモリ３３に蓄えられてい
る。１台のカメラ装置で撮像された複数の視差像の中か
ら任意に選ばれた１枚の画像のものである。また、距離
情報は距離情報検出装置３４により検出されたものであ
る。三次元形状認識装置３６では、それぞれの距離画像
メモリ３５に蓄えられた、輝度情報及び距離情報を持つ
画像中の点（ｕ，ｖ）における輝度情報が、三次元座標
中の点（Ｘ，Ｙ，Ｚ）に数３の式によりマッピングされ
る。
２，６３から被写体までの距離情報が蓄えられる。この
輝度情報は、それぞれの画像メモリ３３に蓄えられてい
る。１台のカメラ装置で撮像された複数の視差像の中か
ら任意に選ばれた１枚の画像のものである。また、距離
情報は距離情報検出装置３４により検出されたものであ
る。三次元形状認識装置３６では、それぞれの距離画像
メモリ３５に蓄えられた、輝度情報及び距離情報を持つ
画像中の点（ｕ，ｖ）における輝度情報が、三次元座標
中の点（Ｘ，Ｙ，Ｚ）に数３の式によりマッピングされ
る。
【００３３】
【数３】（Ｘ，Ｙ，Ｚ）＝（（ｕ−ｘc）ｚ／ｆ，（ｖ
−ｙc）ｚ／ｆ，ζｚ） 前記数３の式中の（ｘc，ｙc）は画像の中心座標、ζは
スケーリングファクターである。
−ｙc）ｚ／ｆ，ζｚ） 前記数３の式中の（ｘc，ｙc）は画像の中心座標、ζは
スケーリングファクターである。
【００３４】任意視点画像生成装置３７では、三次元形
状認識装置３６に書き込まれた被写体の輝度情報が、任
意の視点から見た二次元平面に再射影される。撮像した
座標系（Ｘ1，Ｙ1，Ｚ1）と再構成しようとする視点の
座標系（Ｘ2，Ｙ2，Ｚ2）が、回転行列Ｒ＝［ｒij］∈
Ｒ3×3と並進行列Ｔ＝（Δｘ，Δｙ，Δｚ）を用いた数
４の式の関係にあるとき、
状認識装置３６に書き込まれた被写体の輝度情報が、任
意の視点から見た二次元平面に再射影される。撮像した
座標系（Ｘ1，Ｙ1，Ｚ1）と再構成しようとする視点の
座標系（Ｘ2，Ｙ2，Ｚ2）が、回転行列Ｒ＝［ｒij］∈
Ｒ3×3と並進行列Ｔ＝（Δｘ，Δｙ，Δｚ）を用いた数
４の式の関係にあるとき、
【００３５】
【数４】（Ｘ2，Ｙ2，Ｚ2）＝Ｒ（Ｘ1，Ｙ1，Ｚ1）＋Ｔ 再構成画像中の点（ｕ2，ｖ2）における輝度情報は数５
の式で与えられる。
の式で与えられる。
【００３６】
【数５】ｕ2＝ｆＸ2／Ｚ2 ｖ2＝ｆＹ2／Ｚ2 もう１台のカメラから得られた輝度情報及び距離情報を
持つ画像についても、同様の処理が行われ、任意視点画
像生成装置３７において、１台目のカメラからの輝度情
報及び距離情報を基にした再構成画像に、もう１台のカ
メラからの輝度情報及び距離情報を基にした再構成画像
が重ねられる。ここで、再構成画像中のある点におい
て、１台目のカメラからの輝度情報及び距離情報を基に
算出した輝度情報と、もう１台のカメラからの輝度情報
及び距離情報を基に算出した輝度情報とが重なった場合
には、距離情報の近い方の輝度情報が優先される。以上
の手順により、任意の視点から見た画像が再構成され
る。
持つ画像についても、同様の処理が行われ、任意視点画
像生成装置３７において、１台目のカメラからの輝度情
報及び距離情報を基にした再構成画像に、もう１台のカ
メラからの輝度情報及び距離情報を基にした再構成画像
が重ねられる。ここで、再構成画像中のある点におい
て、１台目のカメラからの輝度情報及び距離情報を基に
算出した輝度情報と、もう１台のカメラからの輝度情報
及び距離情報を基に算出した輝度情報とが重なった場合
には、距離情報の近い方の輝度情報が優先される。以上
の手順により、任意の視点から見た画像が再構成され
る。
【００３７】カメラ装置に備えられ、カメラの光軸を変
更するための光路変更素子としては、例えば、図５に示
すようなもの（バリアブルアングルプリズム）がよく用
いられる。図５は光路変更素子の断面構造例を示す図で
あり、７１，７２はガラス等の透明基板、７３は透明基
板７１と７２の傾斜角度を可変させるためのアクチュエ
ータ、７４は屈折率が透明基板と等しい液体、７５は２
枚の透明基板７１，７２を支持し、かつ、両基板の角度
を可変できるような支持体である。
更するための光路変更素子としては、例えば、図５に示
すようなもの（バリアブルアングルプリズム）がよく用
いられる。図５は光路変更素子の断面構造例を示す図で
あり、７１，７２はガラス等の透明基板、７３は透明基
板７１と７２の傾斜角度を可変させるためのアクチュエ
ータ、７４は屈折率が透明基板と等しい液体、７５は２
枚の透明基板７１，７２を支持し、かつ、両基板の角度
を可変できるような支持体である。
【００３８】図６は光路変更素子によりカメラ光軸がど
のように屈折するかを説明するための図である。図６
（ａ）に示すように、２枚の基板が平行なときは、入射
した光は透明基板７１，７２と液体７４の屈折率が同じ
なので、そのまま直進する。図６（ｂ）に示すように、
透明基板７１が光軸に対してθの角度で傾斜した場合に
は、入射光線に対して出射光線は角度θ0だけ傾斜す
る。θ0は空気中の屈折率を１、透明基板７１，７２と
液体７４の屈折率をｎとすると、スネルの法則により、
数６の式となる。
のように屈折するかを説明するための図である。図６
（ａ）に示すように、２枚の基板が平行なときは、入射
した光は透明基板７１，７２と液体７４の屈折率が同じ
なので、そのまま直進する。図６（ｂ）に示すように、
透明基板７１が光軸に対してθの角度で傾斜した場合に
は、入射光線に対して出射光線は角度θ0だけ傾斜す
る。θ0は空気中の屈折率を１、透明基板７１，７２と
液体７４の屈折率をｎとすると、スネルの法則により、
数６の式となる。
【００３９】
【数６】θ0＝ａｒｃｓｉｎ（ｎｓｉｎθ）−θ ｓｉｎθ≒θが成り立つ範囲では、数７の式である。
【００４０】
【数７】θ0＝（ｎ−１）θ したがって、透明基板７１を水平方向に角度θ傾斜させ
ればカメラの光軸は水平方向に角度θ0で屈折すること
になる。θは、アクチュエータとして電磁石や圧電素子
等を用いれば、容易に、リアルタイムで、かつ、連続的
に変化させることができる。
ればカメラの光軸は水平方向に角度θ0で屈折すること
になる。θは、アクチュエータとして電磁石や圧電素子
等を用いれば、容易に、リアルタイムで、かつ、連続的
に変化させることができる。
【００４１】図６（ｃ）に示すように、光路変更素子を
２個並べ、７１同士が常に平行になるように傾けるとカ
メラの光軸を平行にシフトさせることができる。平行に
並べた４枚の透明基板のうち、透明基板７１を角度θ0
だけ傾けると、光軸はａ×ｔａｎθ0平行にシフトす
る。
２個並べ、７１同士が常に平行になるように傾けるとカ
メラの光軸を平行にシフトさせることができる。平行に
並べた４枚の透明基板のうち、透明基板７１を角度θ0
だけ傾けると、光軸はａ×ｔａｎθ0平行にシフトす
る。
【００４２】光路変更素子は、レンズと被写体の間、も
しくは、撮影素子（ＣＣＤ）の感光面とレンズの間のど
ちらに配置しても良い。
しくは、撮影素子（ＣＣＤ）の感光面とレンズの間のど
ちらに配置しても良い。
【００４３】本発明では、２箇所の視点の輝度情報と奥
行き情報を用いると、２箇所の視点位置を結ぶ直線とカ
メラの光軸を含む平面内で再構成画像の視点を選ぶこと
ができる。同一直線上にない３箇所の視点の輝度情報と
奥行き情報を用いると、三次元空間内で再構成画像の視
点を選ぶことができる。さらに、撮像の視点位置を増や
すと、よりオクルージョン領域の少ない再構成画像が得
られる。
行き情報を用いると、２箇所の視点位置を結ぶ直線とカ
メラの光軸を含む平面内で再構成画像の視点を選ぶこと
ができる。同一直線上にない３箇所の視点の輝度情報と
奥行き情報を用いると、三次元空間内で再構成画像の視
点を選ぶことができる。さらに、撮像の視点位置を増や
すと、よりオクルージョン領域の少ない再構成画像が得
られる。
【００４４】（実施形態２）図７は本発明の実施形態２
のカメラ装置の配置を示す図であり、４１〜４３はカメ
ラ装置、４４〜４６は光路変更素子、４７は被写体であ
る。
のカメラ装置の配置を示す図であり、４１〜４３はカメ
ラ装置、４４〜４６は光路変更素子、４７は被写体であ
る。
【００４５】本実施形態２においては、カメラ装置４１
〜４３で、それぞれ光路変更素子により光路を変更して
撮像された複数の視差像は、前記実施形態１と同様に処
理され、任意の視点から見た画像が再構成される。同一
直線上にない３箇所の視点かの輝度情報と奥行き情報を
用いることにより、前記実施形態１では二次元平面上に
限られていた再構成画像の視点が、本実施形態２では三
次元的に動かせるようになる。
〜４３で、それぞれ光路変更素子により光路を変更して
撮像された複数の視差像は、前記実施形態１と同様に処
理され、任意の視点から見た画像が再構成される。同一
直線上にない３箇所の視点かの輝度情報と奥行き情報を
用いることにより、前記実施形態１では二次元平面上に
限られていた再構成画像の視点が、本実施形態２では三
次元的に動かせるようになる。
【００４６】本実施形態２では３箇所の視点位置から撮
像する場合について述べたが、再構成画像のオクルージ
ョン領域を少なくするために、さらに撮像の視点位置を
増やしても良い。
像する場合について述べたが、再構成画像のオクルージ
ョン領域を少なくするために、さらに撮像の視点位置を
増やしても良い。
【００４７】（実施形態３）図８は本発明の実施形態３
のカメラ装置の配置を示す図であり、４８〜５３はカメ
ラ装置、５４〜５９は光路変更素子、６０は被写体であ
る。
のカメラ装置の配置を示す図であり、４８〜５３はカメ
ラ装置、５４〜５９は光路変更素子、６０は被写体であ
る。
【００４８】本実施形態３においては、カメラ装置４８
の光軸を光路変更素子５４により変更させて撮像した複
数の画像と、カメラ装置４９の光軸を光路変更素子５５
により変更させて撮像した複数の画像間の視差像を取る
ことにより、距離情報を得る。ある間隔をもって配置し
た２台のカメラ間の視差像を補助的に用いることによ
り、カメラ１台で距離情報を取得した実施形態１及び実
施形態２の場合よりも精度の高い距離情報を取得するこ
とができる。同様にして、カメラ装置５０と５１および
５２と５３の組からそれぞれ距離情報をもつ画像を取得
する。これら３枚の距離情報及び輝度情報を持つ画像を
用いて、実施形態１と同様にして任意の視点からみた画
像を再構成する。
の光軸を光路変更素子５４により変更させて撮像した複
数の画像と、カメラ装置４９の光軸を光路変更素子５５
により変更させて撮像した複数の画像間の視差像を取る
ことにより、距離情報を得る。ある間隔をもって配置し
た２台のカメラ間の視差像を補助的に用いることによ
り、カメラ１台で距離情報を取得した実施形態１及び実
施形態２の場合よりも精度の高い距離情報を取得するこ
とができる。同様にして、カメラ装置５０と５１および
５２と５３の組からそれぞれ距離情報をもつ画像を取得
する。これら３枚の距離情報及び輝度情報を持つ画像を
用いて、実施形態１と同様にして任意の視点からみた画
像を再構成する。
【００４９】本実施形態３では６台のカメラ装置を用い
て３枚の距離情報と輝度情報を持つ画像を基に任意の視
点からみた画像を再構成する場合について述べたが、カ
メラ装置の台数を変えて、２枚もしくは４枚以上の距離
情報と輝度情報を持つ画像を基に任意の視点から見た画
像を再構成しても良い。
て３枚の距離情報と輝度情報を持つ画像を基に任意の視
点からみた画像を再構成する場合について述べたが、カ
メラ装置の台数を変えて、２枚もしくは４枚以上の距離
情報と輝度情報を持つ画像を基に任意の視点から見た画
像を再構成しても良い。
【００５０】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。
【００５１】
【発明の効果】以上、説明したように、本発明によれ
ば、カメラを動かしたり、多数のカメラを用意すること
なく、被写体の視差像を精度よく取得し、距離情報を抽
出することができる。カメラを動かすことなく視差像が
取得できることから、動物体に体して任意の視点から見
た画像を再構成することができる。
ば、カメラを動かしたり、多数のカメラを用意すること
なく、被写体の視差像を精度よく取得し、距離情報を抽
出することができる。カメラを動かすことなく視差像が
取得できることから、動物体に体して任意の視点から見
た画像を再構成することができる。
【００５２】また、カメラの光軸を変える光路変更素子
は、カメラと比較して大幅に軽量であるので、視差像を
得るためには小型で低動力のアクチュエータで駆動すれ
ば良い。したがって、カメラシステムの軽量化、小型化
を図れるという利点がある。
は、カメラと比較して大幅に軽量であるので、視差像を
得るためには小型で低動力のアクチュエータで駆動すれ
ば良い。したがって、カメラシステムの軽量化、小型化
を図れるという利点がある。
【００５３】また、本発明を適用すれば、常に通信相手
と視線が一致するようなＴＶ会議システムが実現でき
る。さらに、被写体の距離情報を用いて背景をＣＧによ
り合成すれば、会議室により一体感のあるＴＶ会議を実
現することができる。
と視線が一致するようなＴＶ会議システムが実現でき
る。さらに、被写体の距離情報を用いて背景をＣＧによ
り合成すれば、会議室により一体感のあるＴＶ会議を実
現することができる。
【図１】本発明の実施形態１の画像入力装置におけるカ
メラ装置の配置を示す図である。
メラ装置の配置を示す図である。
【図２】本実施形態１において、１台のカメラ装置によ
り撮像される複数の視差像の例を示す図である。
り撮像される複数の視差像の例を示す図である。
【図３】本実施形態１における映像信号処理装置のブロ
ック図である。
ック図である。
【図４】距離情報を検出する手段の一例を示す図であ
る。
る。
【図５】光路変更素子の断面構造例を示す図である。
【図６】光路変更素子によりカメラ光軸がどのように屈
折するかを説明するための図である。
折するかを説明するための図である。
【図７】本発明の実施形態２の画像入力装置におけるカ
メラ装置の配置を示す図である。
メラ装置の配置を示す図である。
【図８】本発明の実施形態３の画像入力装置におけるカ
メラ装置の配置を示す図である。
メラ装置の配置を示す図である。
【図９】本方法の撮影方法を幾何学的に示したものであ
る。従来の技術を説明するための図である。
る。従来の技術を説明するための図である。
【図１０】図９の方法により撮影した映像シークエンス
に含まれる個々の映像フレームの位置関係を示した図で
ある。
に含まれる個々の映像フレームの位置関係を示した図で
ある。
【図１１】従来の技術を説明するための図である。
【図１２】本装置で使用されるカメラ配置の例を示す図
である。
である。
１，２，３１，４１〜４３，４８〜５３，６２，６３…
カメラ装置、３，４…光路を変更できる素子、５，４
７，６０，９１，１１１，１２５…被写体、３２…光軸
制御装置、３３…画像メモリ、３４…距離情報検出装
置、３５…距離画像メモリ、３６…三次元形状認識装
置、３７…任意視点画像生成装置、４４〜４６，５４〜
５９…光路変更素子、６１…注視点、６２，６３…カメ
ラ装置、６４，６５…レンズ、６６，６７…カメラの撮
像素子の感光面、７１，７２…ガラス等の透明基板、７
３…アクチュエータ、７４…屈折率が透明基板と等しい
液体、７５…支持体、９２…ビデオカメラ、９３…ビデ
オカメラで撮影するときの水平な軌道、１０１〜１０５
…映像フレーム、１１２，１１３，１２１〜１２４…カ
メラ。
カメラ装置、３，４…光路を変更できる素子、５，４
７，６０，９１，１１１，１２５…被写体、３２…光軸
制御装置、３３…画像メモリ、３４…距離情報検出装
置、３５…距離画像メモリ、３６…三次元形状認識装
置、３７…任意視点画像生成装置、４４〜４６，５４〜
５９…光路変更素子、６１…注視点、６２，６３…カメ
ラ装置、６４，６５…レンズ、６６，６７…カメラの撮
像素子の感光面、７１，７２…ガラス等の透明基板、７
３…アクチュエータ、７４…屈折率が透明基板と等しい
液体、７５…支持体、９２…ビデオカメラ、９３…ビデ
オカメラで撮影するときの水平な軌道、１０１〜１０５
…映像フレーム、１１２，１１３，１２１〜１２４…カ
メラ。
フロントページの続き (72)発明者 上平 員丈 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内
Claims (5)
- 【請求項１】 複数の視点位置に設置した複数のカメラ
を用いて、被写体である三次元物体の撮像を行う三次元
画像入力装置において、前記複数のカメラは光路変更手
段を具備し、各々の視点位置での視差像を撮像すること
を特徴とする三次元画像入力装置。 - 【請求項２】 請求項１に記載の三次元画像入力装置に
おいて、前記光路変更手段が、２枚の透明基板間に当該
透明基板と屈折率が同じ液体を挟み、アクチュエータを
用いて前記２枚の透明基板のなす角度を変化させるバリ
アブルアングルプリズムであることを特徴とする三次元
画像入力装置。 - 【請求項３】 請求項１または２に記載の三次元画像入
力装置において、前記各々の視点位置における視差像を
記憶する画像メモリと、前記画像メモリに記憶された視
差像を基に、三角測量法を用いて各々の視点位置から被
写体までの距離情報を検出する距離情報検出手段と、前
記各々の視点位置における距離情報と、各々の視点位置
における視差像の中から任意に選択された１枚の画像の
輝度情報とを記憶する距離画像メモリと、前記距離画像
メモリに記憶された、各々の視点位置における距離情報
と輝度情報を、全視点位置に共通の三次元座標軸上に座
標変換する三次元形状認識手段と、前記三次元座標軸上
に座標変換された各々の視点位置における輝度情報を、
任意の視点から見た二次元平面に射影する任意視点画像
生成手段とを具備したことを特徴とする三次元画像入力
装置。 - 【請求項４】 複数の視点位置に設置した光路変更手段
を具備する複数のカメラを用いて、被写体である三次元
物体の各々の視点位置での視差像を撮像するステップ
と、前記各々の視点位置における視差像を記憶するステ
ップと、記憶した視差像を基に、三角測量法を用いて各
々の視点位置から被写体までの距離情報を検出するステ
ップと、前記各々の視点位置における距離情報と、各々
の視点位置における視差像の中から任意に選択された１
枚の画像の輝度情報とを記憶するステップと、記憶した
各々の視点位置における距離情報と輝度情報を、全視点
位置に共通の三次元座標軸上に座標変換するステップ
と、前記三次元座標軸上に座標変換された各々の視点位
置における輝度情報を、任意の視点から見た二次元平面
に射影するステップとを含むことを特徴とする三次元画
像処理方法。 - 【請求項５】 複数の視点位置に設置した光路変更手段
を具備する複数のカメラを用いて、被写体である三次元
物体の各々の視点位置での視差像を撮像した前記各々の
視点位置における視差像を記憶するステップと、記憶し
た視差像を基に、三角測量法を用いて各々の視点位置か
ら被写体までの距離情報を検出するステップと、前記各
々の視点位置における距離情報と、各々の視点位置にお
ける視差像の中から任意の１枚の画像の輝度情報とを記
憶するステップと、記憶した各々の視点位置における距
離情報と輝度情報を、全視点位置に共通の三次元座標軸
上に座標変換するステップと、前記三次元座標軸上に座
標変換された各々の視点位置における輝度情報を、任意
視点から見た二次元平面に射影するステップをコンピュ
ータに実行させる三次元画像処理プログラムが記録され
ていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9236838A JPH1185984A (ja) | 1997-09-02 | 1997-09-02 | 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9236838A JPH1185984A (ja) | 1997-09-02 | 1997-09-02 | 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1185984A true JPH1185984A (ja) | 1999-03-30 |
Family
ID=17006546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9236838A Pending JPH1185984A (ja) | 1997-09-02 | 1997-09-02 | 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1185984A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7123748B2 (en) | 2001-10-01 | 2006-10-17 | Nissan Motor Co., Ltd. | Image synthesizing device and method |
| JP2010039501A (ja) * | 2008-07-31 | 2010-02-18 | Kddi Corp | ３次元移動の自由視点映像生成方法および記録媒体 |
| US8717414B2 (en) | 2008-02-13 | 2014-05-06 | Samsung Electronics Co., Ltd. | Method and apparatus for matching color image and depth image |
| CN113100754A (zh) * | 2020-01-21 | 2021-07-13 | 天目爱视（北京）科技有限公司 | 一种3d信息采集测量设备 |
-
1997
- 1997-09-02 JP JP9236838A patent/JPH1185984A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7123748B2 (en) | 2001-10-01 | 2006-10-17 | Nissan Motor Co., Ltd. | Image synthesizing device and method |
| US8717414B2 (en) | 2008-02-13 | 2014-05-06 | Samsung Electronics Co., Ltd. | Method and apparatus for matching color image and depth image |
| JP2010039501A (ja) * | 2008-07-31 | 2010-02-18 | Kddi Corp | ３次元移動の自由視点映像生成方法および記録媒体 |
| CN113100754A (zh) * | 2020-01-21 | 2021-07-13 | 天目爱视（北京）科技有限公司 | 一种3d信息采集测量设备 |
| CN113100754B (zh) * | 2020-01-21 | 2023-02-03 | 天目爱视（北京）科技有限公司 | 一种3d信息采集测量设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11869205B1 (en) | Techniques for determining a three-dimensional representation of a surface of an object from a set of images | |
| US11170561B1 (en) | Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats | |
| US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
| JP6974873B2 (ja) | シーンから深度情報を取得するための装置および方法 | |
| EP2328125B1 (en) | Image splicing method and device | |
| US7429997B2 (en) | System and method for spherical stereoscopic photographing | |
| CN105210368B (zh) | 背景差分提取装置以及背景差分提取方法 | |
| CN111857329A (zh) | 注视点计算方法、装置及设备 | |
| US20030076413A1 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
| CN107439002B (zh) | 深度成像 | |
| WO2002065786A1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
| KR102200866B1 (ko) | 2차원 이미지를 이용한 3차원 모델링 방법 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| EP1702475A2 (en) | Multi-dimensional imaging apparatus, systems, and methods | |
| JP4406824B2 (ja) | 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム | |
| WO2020151268A1 (zh) | 一种3d小行星动态图的生成方法及便携式终端 | |
| JP2004193962A (ja) | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム | |
| CN111193918B (zh) | 影像处理系统及影像处理方法 | |
| CN206378680U (zh) | 基于结构光多模块360度空间扫描和定位的3d相机 | |
| US20210201567A1 (en) | Apparatus and method for generating point cloud | |
| JPH1185984A (ja) | 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 | |
| Tan et al. | Multiview panoramic cameras using a mirror pyramid | |
| Popovic et al. | State-of-the-art multi-camera systems | |
| CN115997379A (zh) | 用于立体渲染的图像fov的复原 | |
| JPH08116556A (ja) | 画像処理方法および装置 |