JPH10304244A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法Info
- Publication number
- JPH10304244A JPH10304244A JP9113783A JP11378397A JPH10304244A JP H10304244 A JPH10304244 A JP H10304244A JP 9113783 A JP9113783 A JP 9113783A JP 11378397 A JP11378397 A JP 11378397A JP H10304244 A JPH10304244 A JP H10304244A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera parameter
- images
- camera
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】対象物の画像からカメラの撮影方向および対象
物との距離を示すカメラパラメータを算出し、合成処理
を行う。 【解決手段】画像入力装置100は、対象物を撮影し
て、複数の時系列的な入力画像を生成する。カメラパラ
メータ計算装置102は、入力画像のエッジ部分を強調
し、特徴点を抽出し、複数の画像間で特徴点を追跡し
て、画像入力装置100の撮影方向および対象物との位
置関係を示すカメラパラメータを算出する。3Dモデリ
ングデータ蓄積装置104は、合成対象物の3次元的な
形状を示す3Dモデリングデータを記録し、再生する。
画像生成装置106は、カメラパラメータ計算装置10
2が算出した入力画像のカメラパラメータに基づいて、
任意の位置に置いて、入力画像と同じ撮影方向から撮影
した合成対象物を示す変換画像を生成する。
物との距離を示すカメラパラメータを算出し、合成処理
を行う。 【解決手段】画像入力装置100は、対象物を撮影し
て、複数の時系列的な入力画像を生成する。カメラパラ
メータ計算装置102は、入力画像のエッジ部分を強調
し、特徴点を抽出し、複数の画像間で特徴点を追跡し
て、画像入力装置100の撮影方向および対象物との位
置関係を示すカメラパラメータを算出する。3Dモデリ
ングデータ蓄積装置104は、合成対象物の3次元的な
形状を示す3Dモデリングデータを記録し、再生する。
画像生成装置106は、カメラパラメータ計算装置10
2が算出した入力画像のカメラパラメータに基づいて、
任意の位置に置いて、入力画像と同じ撮影方向から撮影
した合成対象物を示す変換画像を生成する。
Description
【0001】
【発明の属する技術分野】本発明は、立体的な画像同士
を合成処理する画像処理装置およびその方法、および、
対象物を連続して撮影して得られた画像から画像に含ま
れる対象物の位置を測定処理する画像処理装置およびそ
の方法に関する。
を合成処理する画像処理装置およびその方法、および、
対象物を連続して撮影して得られた画像から画像に含ま
れる対象物の位置を測定処理する画像処理装置およびそ
の方法に関する。
【0002】
【従来の技術】例えば、ニュースおよび天気予報等の番
組を制作する際に、青一色の背景の前に立った人物等の
対象物の画像(前景画像)を撮影し、背景の部分の画像
(背景画像)を実写画像あるいはCG(computer graphi
cs) 画像に置き換えるバーチャルスタジオと呼ばれる方
法が用いられる。このバーチャルスタジオによれば、例
えば、前景画像として撮影した人物が、あたかも背景画
像が示す場所にいるかのような画像を生成することがで
きる。
組を制作する際に、青一色の背景の前に立った人物等の
対象物の画像(前景画像)を撮影し、背景の部分の画像
(背景画像)を実写画像あるいはCG(computer graphi
cs) 画像に置き換えるバーチャルスタジオと呼ばれる方
法が用いられる。このバーチャルスタジオによれば、例
えば、前景画像として撮影した人物が、あたかも背景画
像が示す場所にいるかのような画像を生成することがで
きる。
【0003】ここで、バーチャルスタジオにより画像を
合成する場合には、前景画像を撮影するビデオカメラの
撮影方向(姿勢)および位置の変更に応じて、背景画像
の角度等を変更しなければ、合成後の画像が不自然にな
ってしまう。この背景画像の変更のためには、従来、前
景画像を撮影するビデオカメラの位置および姿勢を示す
カメラパラメータに基づいて、背景画像を変換する方法
が採られてきた。
合成する場合には、前景画像を撮影するビデオカメラの
撮影方向(姿勢)および位置の変更に応じて、背景画像
の角度等を変更しなければ、合成後の画像が不自然にな
ってしまう。この背景画像の変更のためには、従来、前
景画像を撮影するビデオカメラの位置および姿勢を示す
カメラパラメータに基づいて、背景画像を変換する方法
が採られてきた。
【0004】背景画像の変更に用いるカメラパラメータ
を得るためには、例えば、前景画像を撮影するビデオカ
メラにエンコーダを設け、ビデオカメラの回転角度等を
測定する方法、あるいは、前景画像として撮影する対象
物を、青色の色の濃さが異なる印(マーカー)を複数配
した背景の前に置いて撮影し、マーカーの大きさおよび
形に基づいてカメラパラメータを計算する方法が採られ
てきた。
を得るためには、例えば、前景画像を撮影するビデオカ
メラにエンコーダを設け、ビデオカメラの回転角度等を
測定する方法、あるいは、前景画像として撮影する対象
物を、青色の色の濃さが異なる印(マーカー)を複数配
した背景の前に置いて撮影し、マーカーの大きさおよび
形に基づいてカメラパラメータを計算する方法が採られ
てきた。
【0005】なお、上述した他に、文献「因子分解法に
よる物体形状とカメラ運動の復元(金出,ポールマン,
森田 著、電子情報通信学会論文誌D-II Vol.J76-D-II
No.8pp.1497-1505 1993年 8月)」にカメラパラメータ
を算出する方法が開示されている。
よる物体形状とカメラ運動の復元(金出,ポールマン,
森田 著、電子情報通信学会論文誌D-II Vol.J76-D-II
No.8pp.1497-1505 1993年 8月)」にカメラパラメータ
を算出する方法が開示されている。
【0006】
【発明が解決しようとする課題】しかしながら、エンコ
ーダを用いてカメラパラメータを得る方法は、例えば、
移動する車に積んだビデオカメラで前景画像を撮影する
場合、あるいは、エンコーダを取り付けられない手持ち
ビデオカメラで前景画像を撮影する場合に適していな
い。
ーダを用いてカメラパラメータを得る方法は、例えば、
移動する車に積んだビデオカメラで前景画像を撮影する
場合、あるいは、エンコーダを取り付けられない手持ち
ビデオカメラで前景画像を撮影する場合に適していな
い。
【0007】また、マーカーを配した背景画像を用いて
カメラパラメータを得る方法は、例えば、野外の対象物
を前景画像として撮影する場合、あるいは、背景が隠れ
てしまうほど大きい対象物を前景画像として撮影する場
合に適していない。
カメラパラメータを得る方法は、例えば、野外の対象物
を前景画像として撮影する場合、あるいは、背景が隠れ
てしまうほど大きい対象物を前景画像として撮影する場
合に適していない。
【0008】また、マーカーを配した背景画像を用いて
カメラパラメータを得る方法を用いる場合には、背景の
マーカーにビデオカメラのピントを合わせるために、カ
メラレンズの焦点深度を常に深くしておく必要があるの
で、前景画像の遠近感が出にくくなる。
カメラパラメータを得る方法を用いる場合には、背景の
マーカーにビデオカメラのピントを合わせるために、カ
メラレンズの焦点深度を常に深くしておく必要があるの
で、前景画像の遠近感が出にくくなる。
【0009】本発明は、上述した従来技術の問題点に鑑
みてなされたものであり、ビデオカメラにエンコーダ等
の測定装置を備えたり、あるいは、背景にマーカーを配
したりしなくても、対象物の画像からビデオカメラの撮
影位置および撮影方向等を示すカメラパラメータを算出
することができる画像処理装置およびその方法を提供す
ることを目的とする。
みてなされたものであり、ビデオカメラにエンコーダ等
の測定装置を備えたり、あるいは、背景にマーカーを配
したりしなくても、対象物の画像からビデオカメラの撮
影位置および撮影方向等を示すカメラパラメータを算出
することができる画像処理装置およびその方法を提供す
ることを目的とする。
【0010】また、本発明は、対象物の画像からカメラ
の撮影方向および対象物との距離を示すカメラパラメー
タを算出することができ、算出したカメラパラメータに
応じて合成の対象となる他の画像を変更して、対象物の
画像と他の画像とを自然に見えるように合成することが
できる画像処理装置およびその方法を提供することを目
的とする。
の撮影方向および対象物との距離を示すカメラパラメー
タを算出することができ、算出したカメラパラメータに
応じて合成の対象となる他の画像を変更して、対象物の
画像と他の画像とを自然に見えるように合成することが
できる画像処理装置およびその方法を提供することを目
的とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る第1の画像処理装置は、対象物を撮影
して得られる時系列に連続した複数の第1の画像に基づ
いて、前記対象物に対する撮影位置と撮影方向とを示す
カメラパラメータを算出するカメラパラメータ算出手段
と、前記第1の画像に対して合成する合成対象物の第2
の画像を生成する第2の画像生成手段と、算出した前記
カメラパラメータに基づいて、前記第1の画像と前記第
2の画像とを、撮影位置および撮影方向を合わせて合成
し、合成画像を生成する合成画像生成手段とを有する。
に、本発明に係る第1の画像処理装置は、対象物を撮影
して得られる時系列に連続した複数の第1の画像に基づ
いて、前記対象物に対する撮影位置と撮影方向とを示す
カメラパラメータを算出するカメラパラメータ算出手段
と、前記第1の画像に対して合成する合成対象物の第2
の画像を生成する第2の画像生成手段と、算出した前記
カメラパラメータに基づいて、前記第1の画像と前記第
2の画像とを、撮影位置および撮影方向を合わせて合成
し、合成画像を生成する合成画像生成手段とを有する。
【0012】好適には、前記第2の画像生成手段は、立
体的な前記合成対象物の第2の画像を生成する立体画像
生成手段と、カメラパラメータに基づいて前記第2の画
像を変換し、所定の位置に置いた前記合成対象物を、前
記撮影位置および前記撮影方向から撮影して得られる第
3の画像を生成する第3の画像生成手段とを有し、前記
画像合成手段は、カメラパラメータに基づいて、前記第
1の画像と前記第3の画像とを合成し、前記複数の第1
の画像それぞれの前記所定の位置に前記合成対象物を置
いた場合の前記合成画像を生成する。
体的な前記合成対象物の第2の画像を生成する立体画像
生成手段と、カメラパラメータに基づいて前記第2の画
像を変換し、所定の位置に置いた前記合成対象物を、前
記撮影位置および前記撮影方向から撮影して得られる第
3の画像を生成する第3の画像生成手段とを有し、前記
画像合成手段は、カメラパラメータに基づいて、前記第
1の画像と前記第3の画像とを合成し、前記複数の第1
の画像それぞれの前記所定の位置に前記合成対象物を置
いた場合の前記合成画像を生成する。
【0013】好適には、前記カメラパラメータ算出手段
は、前記複数の第1の画像それぞれの特徴点を検出する
特徴点検出手段と、前記複数の第1の画像それぞれにお
ける特徴点の座標を要素とする座標行列を生成する座標
行列生成手段と、生成した前記座標行列に対して所定の
演算処理を行って、前記カメラパラメータを生成するカ
メラパラメータ生成手段とを有する。
は、前記複数の第1の画像それぞれの特徴点を検出する
特徴点検出手段と、前記複数の第1の画像それぞれにお
ける特徴点の座標を要素とする座標行列を生成する座標
行列生成手段と、生成した前記座標行列に対して所定の
演算処理を行って、前記カメラパラメータを生成するカ
メラパラメータ生成手段とを有する。
【0014】好適には、前記カメラパラメータ生成手段
は、前記座標行列の要素それぞれから、対応する行成分
または列成分の平均値を減算し、特異値分解を行って前
記カメラパラメータを生成する。
は、前記座標行列の要素それぞれから、対応する行成分
または列成分の平均値を減算し、特異値分解を行って前
記カメラパラメータを生成する。
【0015】カメラパラメータ算出手段において、特徴
点検出手段は、例えば、ビデオカメラにより対象物を一
定の時間間隔で連続して撮影して得られる画像(第1の
画像)のm個の特徴点を検出する。
点検出手段は、例えば、ビデオカメラにより対象物を一
定の時間間隔で連続して撮影して得られる画像(第1の
画像)のm個の特徴点を検出する。
【0016】座標行列生成手段は、例えば、複数の画像
(第1の画像)それぞれのm個の特徴点の座標を行成分
(または列成分)とする座標行列を生成する。
(第1の画像)それぞれのm個の特徴点の座標を行成分
(または列成分)とする座標行列を生成する。
【0017】カメラパラメータ生成手段は、例えば、座
標行列生成手段が生成した座標行列の要素それぞれか
ら、行成分(または列成分)それぞれの平均値を減算し
て、画像(第1の画像)に含まれる物体の重心を座標系
の原点とする変換を行い、さらに、変換後の座標行列に
対して特異値分解を行い、対象物を撮影するビデオカメ
ラの位置および撮影方向(姿勢)を示すカメラパラメー
タを生成する。
標行列生成手段が生成した座標行列の要素それぞれか
ら、行成分(または列成分)それぞれの平均値を減算し
て、画像(第1の画像)に含まれる物体の重心を座標系
の原点とする変換を行い、さらに、変換後の座標行列に
対して特異値分解を行い、対象物を撮影するビデオカメ
ラの位置および撮影方向(姿勢)を示すカメラパラメー
タを生成する。
【0018】第2の画像生成手段は、例えば、対象物の
画像(第1の画像)と合成する合成対象物の画像(第2
の画像)を、合成対象物の形状を示すデータの形式で生
成する。
画像(第1の画像)と合成する合成対象物の画像(第2
の画像)を、合成対象物の形状を示すデータの形式で生
成する。
【0019】合成画像生成手段は、例えば、合成対象物
の画像を示すデータに基づいて、合成対象物をビデオカ
メラに対して任意の位置に置き、カメラパラメータが示
す撮影方向から撮影した場合に得られる画像(第3の画
像)を生成し、対象物の画像(第1の画像)と撮影位置
および撮影方向を合わせて合成し、あたかも、対象物と
合成対象物とを一緒に撮影したかのように見える合成画
像を生成する。
の画像を示すデータに基づいて、合成対象物をビデオカ
メラに対して任意の位置に置き、カメラパラメータが示
す撮影方向から撮影した場合に得られる画像(第3の画
像)を生成し、対象物の画像(第1の画像)と撮影位置
および撮影方向を合わせて合成し、あたかも、対象物と
合成対象物とを一緒に撮影したかのように見える合成画
像を生成する。
【0020】また、本発明に係る第1の画像処理方法
は、対象物を撮影して得られる時系列に連続した複数の
第1の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出し、前記第1
の画像に対して合成する合成対象物の第2の画像を生成
し、算出した前記カメラパラメータに基づいて、前記第
1の画像と前記第2の画像とを、撮影位置および撮影方
向を合わせて合成し、合成画像を生成する。
は、対象物を撮影して得られる時系列に連続した複数の
第1の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出し、前記第1
の画像に対して合成する合成対象物の第2の画像を生成
し、算出した前記カメラパラメータに基づいて、前記第
1の画像と前記第2の画像とを、撮影位置および撮影方
向を合わせて合成し、合成画像を生成する。
【0021】また、本発明に係る第2の画像処理装置
は、対象物を撮影して得られる時系列に連続した複数の
第1の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出画像処理装置
であって、前記複数の第1の画像それぞれの特徴点を検
出する特徴点検出手段と、前記複数の第1の画像それぞ
れにおける特徴点の座標を要素とする座標行列を生成す
る座標行列生成手段と、生成した前記座標行列に対して
所定の演算処理を行って、前記カメラパラメータを生成
するカメラパラメータ生成手段とを有する。
は、対象物を撮影して得られる時系列に連続した複数の
第1の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出画像処理装置
であって、前記複数の第1の画像それぞれの特徴点を検
出する特徴点検出手段と、前記複数の第1の画像それぞ
れにおける特徴点の座標を要素とする座標行列を生成す
る座標行列生成手段と、生成した前記座標行列に対して
所定の演算処理を行って、前記カメラパラメータを生成
するカメラパラメータ生成手段とを有する。
【0022】好適には、前記カメラパラメータ生成手段
は、前記座標行列の要素それぞれから、対応する行成分
または列成分の平均値を減算し、特異値分解を行って前
記カメラパラメータを生成する。
は、前記座標行列の要素それぞれから、対応する行成分
または列成分の平均値を減算し、特異値分解を行って前
記カメラパラメータを生成する。
【0023】また、本発明に係る第2の画像処理方法
は、対象物を撮影して得られる時系列に連続した複数の
第1の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出する画像処理
方法であって、前記複数の第1の画像それぞれの特徴点
を検出し、前記複数の第1の画像それぞれにおける特徴
点の座標を要素とする座標行列を生成し、生成した前記
座標行列に対して所定の演算処理を行って、前記カメラ
パラメータを生成する。
は、対象物を撮影して得られる時系列に連続した複数の
第1の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出する画像処理
方法であって、前記複数の第1の画像それぞれの特徴点
を検出し、前記複数の第1の画像それぞれにおける特徴
点の座標を要素とする座標行列を生成し、生成した前記
座標行列に対して所定の演算処理を行って、前記カメラ
パラメータを生成する。
【0024】好適には、前記座標行列の要素それぞれか
ら、対応する行成分または列成分の平均値を減算し、特
異値分解を行って前記カメラパラメータを生成する。
ら、対応する行成分または列成分の平均値を減算し、特
異値分解を行って前記カメラパラメータを生成する。
【0025】
【発明の実施の形態】第1実施形態 以下、本発明の第1の実施形態を説明する。
【0026】画像処理装置1の構成 以下、本発明に係る画像処理装置1の構成を説明する。
【0027】図1は、本発明の第1の実施形態として示
す画像処理装置1の構成を示す図である。
す画像処理装置1の構成を示す図である。
【0028】図1に示すように、画像処理装置1は、画
像入力装置100、カメラパラメータ計算装置102、
3Dモデリングデータ蓄積装置104、画像生成装置1
06および画像出力装置108から構成される。
像入力装置100、カメラパラメータ計算装置102、
3Dモデリングデータ蓄積装置104、画像生成装置1
06および画像出力装置108から構成される。
【0029】画像処理装置1は、これらの構成部分によ
り、例えば、動きがある対象物を一定の時間間隔で撮影
して複数の画像を時系列的に生成し、生成した複数の画
像データを処理して、対象物の撮影時の撮影位置および
撮影方向を示すカメラパラメータを算出し、対象物の画
像に合成する画像を、あたかも算出したカメラパラメー
タが示す撮影方向等から撮影したかのように見えるよう
に変換する。
り、例えば、動きがある対象物を一定の時間間隔で撮影
して複数の画像を時系列的に生成し、生成した複数の画
像データを処理して、対象物の撮影時の撮影位置および
撮影方向を示すカメラパラメータを算出し、対象物の画
像に合成する画像を、あたかも算出したカメラパラメー
タが示す撮影方向等から撮影したかのように見えるよう
に変換する。
【0030】画像処理装置1の各構成部分 以下、画像処理装置1の各構成部分を説明する。
【0031】画像入力装置100 画像入力装置100は、例えばビデオカメラであって、
対象物を一定の時間間隔で撮影して、複数の画像(例え
ば人物および風景等の画像)を時系列的に生成し、カメ
ラパラメータ計算装置102に対して出力する。
対象物を一定の時間間隔で撮影して、複数の画像(例え
ば人物および風景等の画像)を時系列的に生成し、カメ
ラパラメータ計算装置102に対して出力する。
【0032】カメラパラメータ計算装置102 カメラパラメータ計算装置102は、DSP、メモリ回
路およびこれらの周辺回路等から構成される。
路およびこれらの周辺回路等から構成される。
【0033】カメラパラメータ計算装置102は、画像
入力装置100から入力された複数の画像それぞれの特
徴点を複数、検出し、複数の画像間で同一の特徴点それ
ぞれを追跡し、追跡した特徴点の座標の集合を処理し
て、追跡した特徴点の3次元的な位置および画像入力装
置100の撮影方向等を示すカメラパラメータを算出す
る。なお、カメラパラメータ計算装置102が算出する
特徴点の3次元的な位置は、対象物に対する画像入力装
置100の相対的な撮影位置に対応し、画像入力装置1
00の撮影方向は、画像入力装置100(ビデオカメ
ラ)の回転角度(ロール,ヨー,ピッチ)に対応する。
入力装置100から入力された複数の画像それぞれの特
徴点を複数、検出し、複数の画像間で同一の特徴点それ
ぞれを追跡し、追跡した特徴点の座標の集合を処理し
て、追跡した特徴点の3次元的な位置および画像入力装
置100の撮影方向等を示すカメラパラメータを算出す
る。なお、カメラパラメータ計算装置102が算出する
特徴点の3次元的な位置は、対象物に対する画像入力装
置100の相対的な撮影位置に対応し、画像入力装置1
00の撮影方向は、画像入力装置100(ビデオカメ
ラ)の回転角度(ロール,ヨー,ピッチ)に対応する。
【0034】カメラパラメータの算出方法 以下、さらにカメラパラメータ計算装置102によるカ
メラパラメータの算出方法を説明する。
メラパラメータの算出方法を説明する。
【0035】図2は、図1に示したカメラパラメータ計
算装置102の処理を示すフローチャート図である。
算装置102の処理を示すフローチャート図である。
【0036】特徴点抽出 図2に示すように、まず、ステップ100(S100)
において、カメラパラメータ計算装置102は、画像入
力装置100から入力された複数の入力画像Fp に対し
て、特徴量計算処理、例えば、エッジ強調等の処理を行
う。
において、カメラパラメータ計算装置102は、画像入
力装置100から入力された複数の入力画像Fp に対し
て、特徴量計算処理、例えば、エッジ強調等の処理を行
う。
【0037】ステップ102(S102)において、カ
メラパラメータ計算装置102は、S100の処理にお
いてエッジ強調等をした第j番目の画像に対して、例え
ば、色・濃淡等の変化量を計算するSobelオペレー
タを用いた処理を行い、処理結果の内、値が大きい方か
らn個を残し、これらn個の処理結果を与える入力画像
Fp 内の位置(座標)を特徴点Pp,q (1≦q≦n)と
する。
メラパラメータ計算装置102は、S100の処理にお
いてエッジ強調等をした第j番目の画像に対して、例え
ば、色・濃淡等の変化量を計算するSobelオペレー
タを用いた処理を行い、処理結果の内、値が大きい方か
らn個を残し、これらn個の処理結果を与える入力画像
Fp 内の位置(座標)を特徴点Pp,q (1≦q≦n)と
する。
【0038】ステップ104(S104)において、カ
メラパラメータ計算装置102は、S100およびS1
02の処理により得られたn個の特徴点Pp,q の座標を
示す特徴点データを記憶する。
メラパラメータ計算装置102は、S100およびS1
02の処理により得られたn個の特徴点Pp,q の座標を
示す特徴点データを記憶する。
【0039】ステップ106(S106;図2)におい
て、カメラパラメータ計算装置102は、第j番目の入
力画像Fp の特徴点Pp,q と対応する第j+1番目の入
力画像Fp+1 の特徴点Pp+1,q を探し、追跡して特徴点
の座標を行列化する。
て、カメラパラメータ計算装置102は、第j番目の入
力画像Fp の特徴点Pp,q と対応する第j+1番目の入
力画像Fp+1 の特徴点Pp+1,q を探し、追跡して特徴点
の座標を行列化する。
【0040】以下、図3(A),(B)および図4
(A)〜(C)をさらに参照して、S106の処理を詳
細に説明する。
(A)〜(C)をさらに参照して、S106の処理を詳
細に説明する。
【0041】特徴点追跡 図3(A),(B)は、図1に示したカメラパラメータ
計算装置102による特徴点の追跡処理を示す第1の図
である。
計算装置102による特徴点の追跡処理を示す第1の図
である。
【0042】図4(A)〜(C)は、図1に示したカメ
ラパラメータ計算装置102による特徴点の追跡処理を
示す第2の図である。
ラパラメータ計算装置102による特徴点の追跡処理を
示す第2の図である。
【0043】例えば、入力画像Fp の特徴点Pp,q が、
図3(A)に示す位置にある場合には、カメラパラメー
タ計算装置102は、例えば、図3(B)に示すよう
に、入力画像Fp の特徴点Pp,q の近傍の5画素×5画
素構成の画素ブロック(領域f)と、入力画像Fp+1 に
おいて、式1に示す画素値の2乗総和が最小となる5画
素×5画素構成の画素ブロック(領域g)を探し、探し
出した画素ブロック(領域g)の中心画素を、入力画像
Fp の特徴点Pp,q と対応する入力画像Fp+1 の特徴点
Pp+1,q (対応点)として抽出する。
図3(A)に示す位置にある場合には、カメラパラメー
タ計算装置102は、例えば、図3(B)に示すよう
に、入力画像Fp の特徴点Pp,q の近傍の5画素×5画
素構成の画素ブロック(領域f)と、入力画像Fp+1 に
おいて、式1に示す画素値の2乗総和が最小となる5画
素×5画素構成の画素ブロック(領域g)を探し、探し
出した画素ブロック(領域g)の中心画素を、入力画像
Fp の特徴点Pp,q と対応する入力画像Fp+1 の特徴点
Pp+1,q (対応点)として抽出する。
【0044】
【数1】
【0045】このような画像間の対応点の抽出を画像ご
とに行うことにより、カメラパラメータ計算装置102
は、例えば図4(A)〜(C)に示すように、入力画像
Fp,Fp+1 ,Fp+2 ,…において徐々に左方向に移動
する特徴点P1,1 ,P1,2 ,P1,3 ,…,P2,1 ,…,
P3,3 ,…を対応付け、追跡を行うことができる。
とに行うことにより、カメラパラメータ計算装置102
は、例えば図4(A)〜(C)に示すように、入力画像
Fp,Fp+1 ,Fp+2 ,…において徐々に左方向に移動
する特徴点P1,1 ,P1,2 ,P1,3 ,…,P2,1 ,…,
P3,3 ,…を対応付け、追跡を行うことができる。
【0046】行列化 さらに、カメラパラメータ計算装置102は、上述した
対応付けにより追跡された特徴点P1,1 ,P1,2 ,P
1,3 ,…,P2,1 ,…,P3,3 ,…〔図4(A)〜
(C)〕それぞれの座標ip1,1 ,ip1,2 ,i
p1,3 ,…,ip2,1 ,…,ip3,3 ,…,jp1,1 ,
jp1,2 ,jp1,3 ,…,jp2,1 ,…,jp3,3 ,…
を、式2に示すように行列化し、行列Wを作成する。
対応付けにより追跡された特徴点P1,1 ,P1,2 ,P
1,3 ,…,P2,1 ,…,P3,3 ,…〔図4(A)〜
(C)〕それぞれの座標ip1,1 ,ip1,2 ,i
p1,3 ,…,ip2,1 ,…,ip3,3 ,…,jp1,1 ,
jp1,2 ,jp1,3 ,…,jp2,1 ,…,jp3,3 ,…
を、式2に示すように行列化し、行列Wを作成する。
【0047】
【数2】
【0048】なお、式2に示したように、例えば、特徴
点の追跡の対象とした画像の枚数がm枚、画像それぞれ
における特徴点の数がn枚の場合には、行列Wは2m
行,n列構成となり、行列Wの第1〜第m行は各特徴点
のi座標〔図4(A)〕を要素とし、第(m+1)〜第
2m行は各特徴点のj座標を要素とする。
点の追跡の対象とした画像の枚数がm枚、画像それぞれ
における特徴点の数がn枚の場合には、行列Wは2m
行,n列構成となり、行列Wの第1〜第m行は各特徴点
のi座標〔図4(A)〕を要素とし、第(m+1)〜第
2m行は各特徴点のj座標を要素とする。
【0049】ステップ108(S108)において、カ
メラパラメータ計算装置102は、S106の処理にお
いて作成した行列Wの行列計算(特異値分解;singular
value decomposition)を行う。
メラパラメータ計算装置102は、S106の処理にお
いて作成した行列Wの行列計算(特異値分解;singular
value decomposition)を行う。
【0050】以下、カメラパラメータ計算装置102に
よる行列計算を説明する。
よる行列計算を説明する。
【0051】まず、カメラパラメータ計算装置102
は、式3に示すように、行列Wの成分から、式4aまた
は4bに示す対応する行の平均値を減算し、座標系の原
点を特徴点の重心におくための変換処理を行い、行列
W’を生成する。
は、式3に示すように、行列Wの成分から、式4aまた
は4bに示す対応する行の平均値を減算し、座標系の原
点を特徴点の重心におくための変換処理を行い、行列
W’を生成する。
【0052】
【数3】
【0053】
【数4】
【0054】さらに、カメラパラメータ計算装置102
は、式3に示した行列W’を、式5に示すように、特異
値分解を用いて分解する。
は、式3に示した行列W’を、式5に示すように、特異
値分解を用いて分解する。
【0055】
【数5】
【0056】なお、行列Σ’は直交行列であり、行列
W’はrank≦3(実際には特徴点の座標の誤差によ
りrank>3となる場合がある)なので、行列U’は
2m行,3列構成となり、行列Σ’は3行,3列構成の
直交行列となり、V'Tは3行,n列構成となる。
W’はrank≦3(実際には特徴点の座標の誤差によ
りrank>3となる場合がある)なので、行列U’は
2m行,3列構成となり、行列Σ’は3行,3列構成の
直交行列となり、V'Tは3行,n列構成となる。
【0057】ここで、行列M^,S^を式6に示すよう
に定義すると、式5は式7のように表される。
に定義すると、式5は式7のように表される。
【0058】
【数6】
【0059】
【数7】
【0060】ただし、式6において、行列M^は画像入
力装置100の撮影方向(カメラモーション)を示し、
行列S^は対象物の形状(画像入力装置100のビデオ
カメラからの距離)を示す。
力装置100の撮影方向(カメラモーション)を示し、
行列S^は対象物の形状(画像入力装置100のビデオ
カメラからの距離)を示す。
【0061】しかしながら、特異値分解は一意でないの
で、このままでは行列M^,S^それぞれを単独に一意
に求めることはできない。
で、このままでは行列M^,S^それぞれを単独に一意
に求めることはできない。
【0062】そこで、可逆な3行,3列構成の行列Aを
用いて、式8に示すように行列M’,S’を定義する
と、式9に示すように、M’S’=W’とすることがで
き、行列M’,S’それぞれを単独に求めることができ
る。
用いて、式8に示すように行列M’,S’を定義する
と、式9に示すように、M’S’=W’とすることがで
き、行列M’,S’それぞれを単独に求めることができ
る。
【0063】
【数8】
【0064】
【数9】
【0065】ここで、画像入力装置100の撮影方向
(カメラモーション)を示す行列M^が式10に示す通
りである場合には、各入力画像Fp ,Fp+1 ,…の撮影
方向を示し、式11のように表すことのできる単位ベク
トルmTa,nTaを求めることができる。
(カメラモーション)を示す行列M^が式10に示す通
りである場合には、各入力画像Fp ,Fp+1 ,…の撮影
方向を示し、式11のように表すことのできる単位ベク
トルmTa,nTaを求めることができる。
【0066】
【数10】
【0067】
【数11】
【0068】ステップ110(S110)において、カ
メラパラメータ計算装置102は、S108の処理にお
いて求めた条件に基づいて、行列A(式9)を算出し、
さらに、撮影方向(カメラモーション)を示す行列Mを
算出する。
メラパラメータ計算装置102は、S108の処理にお
いて求めた条件に基づいて、行列A(式9)を算出し、
さらに、撮影方向(カメラモーション)を示す行列Mを
算出する。
【0069】ステップ112(S112)において、カ
メラパラメータ計算装置102は、S110の処理によ
り求められた行列Mから、画像入力装置100と対象物
(特徴点)との間の距離を示す行列Sを算出する。
メラパラメータ計算装置102は、S110の処理によ
り求められた行列Mから、画像入力装置100と対象物
(特徴点)との間の距離を示す行列Sを算出する。
【0070】ステップ114(S114)において、カ
メラパラメータ計算装置102は、S112の処理にお
いて求められた行列Sに基づいて、画像入力装置100
と対象物(特徴点)との間の距離を算出し、距離データ
を生成する。
メラパラメータ計算装置102は、S112の処理にお
いて求められた行列Sに基づいて、画像入力装置100
と対象物(特徴点)との間の距離を算出し、距離データ
を生成する。
【0071】なお、S108〜S114の処理は、相互
に関連しており、カメラパラメータ計算装置102は、
これらの処理を並列的に実行する。
に関連しており、カメラパラメータ計算装置102は、
これらの処理を並列的に実行する。
【0072】ステップ116(S116)において、カ
メラパラメータ計算装置102は、S110およびS1
12の処理において求められた撮影方向および距離デー
タを合わせて、入力画像Fp ,Fp+1 ,…のカメラパラ
メータを生成する。
メラパラメータ計算装置102は、S110およびS1
12の処理において求められた撮影方向および距離デー
タを合わせて、入力画像Fp ,Fp+1 ,…のカメラパラ
メータを生成する。
【0073】3Dモデリングデータ蓄積装置104 3Dモデリングデータ蓄積装置104(図1)は、例え
ば、ハードディスク装置およびフロッピーディスク装置
を有し、3次元的な実写した画像およびCG画像等を示
すデータ(3Dモデリングデータ)をこれらの装置に記
憶し、画像生成装置106に対して出力する。
ば、ハードディスク装置およびフロッピーディスク装置
を有し、3次元的な実写した画像およびCG画像等を示
すデータ(3Dモデリングデータ)をこれらの装置に記
憶し、画像生成装置106に対して出力する。
【0074】画像生成装置106 図5は、図1に示した画像生成装置106の処理を示す
図である。
図である。
【0075】画像生成装置106(図1)は、図5に示
すように、3Dモデリングデータ蓄積装置104から入
力された3Dモデリングデータを、カメラパラメータ計
算装置102から入力された入力画像Fp ,Fp+1 ,…
のカメラパラメータに従って向きを変えたスクリーンに
投影した画像、つまり、合成対象物を視点を変えて見た
3Dモデリングデータを示す変換画像Gp ,Gp+1 ,…
を生成し、画像出力装置108に対して出力する。
すように、3Dモデリングデータ蓄積装置104から入
力された3Dモデリングデータを、カメラパラメータ計
算装置102から入力された入力画像Fp ,Fp+1 ,…
のカメラパラメータに従って向きを変えたスクリーンに
投影した画像、つまり、合成対象物を視点を変えて見た
3Dモデリングデータを示す変換画像Gp ,Gp+1 ,…
を生成し、画像出力装置108に対して出力する。
【0076】換言すると、画像生成装置106は、3D
モデリングデータ蓄積装置104から入力された3Dモ
デリングデータを、画像入力装置100(ビデオカメ
ラ)から任意の距離に置き、入力画像Fp ,Fp+1 のカ
メラパラメータが示す撮影方向で撮影した場合の合成対
象物の形状を示す物体(合成対象物)を示す3Dモデリ
ングデータに変換し、変換画像Gp ,Gp+1 ,…として
画像出力装置108に対して出力する。
モデリングデータ蓄積装置104から入力された3Dモ
デリングデータを、画像入力装置100(ビデオカメ
ラ)から任意の距離に置き、入力画像Fp ,Fp+1 のカ
メラパラメータが示す撮影方向で撮影した場合の合成対
象物の形状を示す物体(合成対象物)を示す3Dモデリ
ングデータに変換し、変換画像Gp ,Gp+1 ,…として
画像出力装置108に対して出力する。
【0077】画像出力装置108 画像出力装置108(図1)は、例えば、画像モニタ装
置、ハードディスク装置およびフロッピーディスク装置
(図示せず)を有し、3Dモデリングデータ蓄積装置1
04から入力された入力画像Fp ,Fp+1 ,…それぞれ
に対応する変換画像Gp ,Gp+1 ,…をモニタ装置に表
示し、ハードディスクおよびフロッピーディスクに記録
する。
置、ハードディスク装置およびフロッピーディスク装置
(図示せず)を有し、3Dモデリングデータ蓄積装置1
04から入力された入力画像Fp ,Fp+1 ,…それぞれ
に対応する変換画像Gp ,Gp+1 ,…をモニタ装置に表
示し、ハードディスクおよびフロッピーディスクに記録
する。
【0078】画像処理装置1の動作 以下、さらに図6および図7を参照して画像処理装置1
の動作を説明する。
の動作を説明する。
【0079】図6は、図1に示した画像入力装置100
が撮影方向を変更して対象物を撮影して生成した入力画
像Fp ,Fp+1 を例示する図である。
が撮影方向を変更して対象物を撮影して生成した入力画
像Fp ,Fp+1 を例示する図である。
【0080】図7は、図1に示した画像生成装置106
が生成した合成対象物の変換画像Gp ,Gp+1 を例示す
る図である。
が生成した合成対象物の変換画像Gp ,Gp+1 を例示す
る図である。
【0081】画像入力装置100(図1)は、例えば、
図6(a),(b)に示すように、対象物(自動車およ
び道路)を一定の時間間隔で撮影して、複数の時系列的
な入力画像Fp ,Fp+1 ,…を生成する。
図6(a),(b)に示すように、対象物(自動車およ
び道路)を一定の時間間隔で撮影して、複数の時系列的
な入力画像Fp ,Fp+1 ,…を生成する。
【0082】カメラパラメータ計算装置102は、画像
入力装置100から入力された入力画像Fp ,Fp+1 ,
…の自動車のボディーの角、窓の縁等のエッジ部分を強
調し、特徴点P1,1 ,P1,2 ,P1,3 ,…,P2,1 ,
…,P3,3 ,…を検出する。
入力装置100から入力された入力画像Fp ,Fp+1 ,
…の自動車のボディーの角、窓の縁等のエッジ部分を強
調し、特徴点P1,1 ,P1,2 ,P1,3 ,…,P2,1 ,
…,P3,3 ,…を検出する。
【0083】さらに、カメラパラメータ計算装置102
は、複数の画像間で同一の特徴点同士(例えば、自動車
のボディーの角の特徴点同士あるいは窓の縁の特徴点同
士)それぞれを対応付け、対応付けた特徴点の座標ip
1,1 ,ip1,2 ,ip1,3 ,…,ip2,1 ,…,ip
3,3 ,…,jp1,1 ,jp1,2 ,jp1,3 ,…,jp
2,1 ,…,jp3,3 ,…を要素とする行列W(式2)を
生成し、生成した行列Wに対して式2〜式11および図
2〜図4を参照して上述した処理を行い、画像入力装置
100の撮影方向等を示すカメラパラメータを算出す
る。
は、複数の画像間で同一の特徴点同士(例えば、自動車
のボディーの角の特徴点同士あるいは窓の縁の特徴点同
士)それぞれを対応付け、対応付けた特徴点の座標ip
1,1 ,ip1,2 ,ip1,3 ,…,ip2,1 ,…,ip
3,3 ,…,jp1,1 ,jp1,2 ,jp1,3 ,…,jp
2,1 ,…,jp3,3 ,…を要素とする行列W(式2)を
生成し、生成した行列Wに対して式2〜式11および図
2〜図4を参照して上述した処理を行い、画像入力装置
100の撮影方向等を示すカメラパラメータを算出す
る。
【0084】3Dモデリングデータ蓄積装置104(図
1)は、例えば、図7(a),(b)に示す合成対象物
(例えば牛)の3次元的な形状を示す3Dモデリングデ
ータを、例えば、ハードディスク装置あるいはMOディ
スク装置等から再生し、3Dモデリングデータを生成す
る。
1)は、例えば、図7(a),(b)に示す合成対象物
(例えば牛)の3次元的な形状を示す3Dモデリングデ
ータを、例えば、ハードディスク装置あるいはMOディ
スク装置等から再生し、3Dモデリングデータを生成す
る。
【0085】画像生成装置106(図1)は、図5を参
照して上述したように、カメラパラメータ計算装置10
2が算出した入力画像Fp ,Fp+1 ,…のカメラパラメ
ータそれぞれに基づいて、合成対象物を任意の位置に置
いて、入力画像Fp ,Fp+1,…の撮影方向(カメラモ
ーション)から撮影した合成対象物を示す変換画像
Gp ,Gp+1 ,…〔図7(a),(b)〕を生成する。
照して上述したように、カメラパラメータ計算装置10
2が算出した入力画像Fp ,Fp+1 ,…のカメラパラメ
ータそれぞれに基づいて、合成対象物を任意の位置に置
いて、入力画像Fp ,Fp+1,…の撮影方向(カメラモ
ーション)から撮影した合成対象物を示す変換画像
Gp ,Gp+1 ,…〔図7(a),(b)〕を生成する。
【0086】画像出力装置108(図1)は、例えば、
画像生成装置106から入力された変換画像Gp ,G
p+1 ,…をモニタ装置(図示せず)に表示し、さらに、
ハードディスク装置に記録する。
画像生成装置106から入力された変換画像Gp ,G
p+1 ,…をモニタ装置(図示せず)に表示し、さらに、
ハードディスク装置に記録する。
【0087】以上説明したように、第1の実施形態とし
て示した画像処理装置1によれば、ビデオカメラ等によ
り撮影して得られた画像データのみを用いて、撮影時の
カメラパラメータを算出することができるので、カメラ
パラメータを測定・記録する手段を有さないビデオカメ
ラで撮影した画像からカメラパラメータを抽出すること
ができ、このカメラパラメータが示す撮影方向から撮影
した場合の合成対象物の画像を得ることができる。
て示した画像処理装置1によれば、ビデオカメラ等によ
り撮影して得られた画像データのみを用いて、撮影時の
カメラパラメータを算出することができるので、カメラ
パラメータを測定・記録する手段を有さないビデオカメ
ラで撮影した画像からカメラパラメータを抽出すること
ができ、このカメラパラメータが示す撮影方向から撮影
した場合の合成対象物の画像を得ることができる。
【0088】また、背景に特殊なマーカー等を配する必
要がないので、画像処理装置1は、対象物の撮影場所を
選ばない。
要がないので、画像処理装置1は、対象物の撮影場所を
選ばない。
【0089】なお、画像入力装置100は、新たに対象
物の画像を生成するビデオカメラに限らず、VTR装置
等の予め撮影された対象物の画像を単に再生する装置で
あってもよい。
物の画像を生成するビデオカメラに限らず、VTR装置
等の予め撮影された対象物の画像を単に再生する装置で
あってもよい。
【0090】なお、式2に示した行列Wは例示であっ
て、例えば、行列Wの行と列を入れ換えたり、要素をi
p1,n ,ip1,n-1 ,…といったように逆順で配列して
もよく、配列に応じて行列計算の内容を変更することに
より、カメラパラメータ計算装置102は、全く同様に
カメラパラメータを算出することができる。
て、例えば、行列Wの行と列を入れ換えたり、要素をi
p1,n ,ip1,n-1 ,…といったように逆順で配列して
もよく、配列に応じて行列計算の内容を変更することに
より、カメラパラメータ計算装置102は、全く同様に
カメラパラメータを算出することができる。
【0091】第2実施形態 以下、本発明の第2の実施形態を説明する。
【0092】図8は、本発明の第2の実施形態として示
す画像処理装置2の構成を示す図である。なお、図8に
おいては、画像処理装置2の構成部分の内、画像処理装
置1(図1)の構成部分と同じものには、同一の符号を
付してある。
す画像処理装置2の構成を示す図である。なお、図8に
おいては、画像処理装置2の構成部分の内、画像処理装
置1(図1)の構成部分と同じものには、同一の符号を
付してある。
【0093】画像処理装置2の構成 図8に示すように、画像処理装置2は、画像入力装置1
00、カメラパラメータ計算装置102、3Dモデリン
グデータ蓄積装置104、画像生成装置106、画像出
力装置108および画像合成装置20から構成される。
00、カメラパラメータ計算装置102、3Dモデリン
グデータ蓄積装置104、画像生成装置106、画像出
力装置108および画像合成装置20から構成される。
【0094】つまり、画像処理装置2(図8)は、画像
処理装置1(図1)の画像生成装置106と画像出力装
置108との間に画像合成装置20を挿入し、画像合成
装置20に対して入力画像Fp を供給するように構成さ
れている。
処理装置1(図1)の画像生成装置106と画像出力装
置108との間に画像合成装置20を挿入し、画像合成
装置20に対して入力画像Fp を供給するように構成さ
れている。
【0095】画像処理装置2は、これらの構成部分によ
り、第1の実施形態として示した画像処理装置1おいて
と同様な処理により得られる変換画像Gp と、入力画像
Fpとを合成する。
り、第1の実施形態として示した画像処理装置1おいて
と同様な処理により得られる変換画像Gp と、入力画像
Fpとを合成する。
【0096】画像合成装置20 画像処理装置2の構成部分の内、画像処理装置1と異な
る構成部分の画像合成装置20は、カメラパラメータ計
算装置102が算出したカメラパラメータに基づいて、
画像入力装置100から入力される入力画像Fp ,F
p+1 ,…〔例えば図6(a),(b)〕の画素、およ
び、変換画像Gp ,Gp+1 ,…〔例えば図7(a),
(b)〕の画素の内、いずれか画像入力装置100に対
して近い位置にある画像の画素を選択して、入力画像F
p ,Fp+1 ,…と変換画像Gp ,Gp+1,…とを合成処
理し、合成画像Hp を生成して画像出力装置108に対
して出力する。
る構成部分の画像合成装置20は、カメラパラメータ計
算装置102が算出したカメラパラメータに基づいて、
画像入力装置100から入力される入力画像Fp ,F
p+1 ,…〔例えば図6(a),(b)〕の画素、およ
び、変換画像Gp ,Gp+1 ,…〔例えば図7(a),
(b)〕の画素の内、いずれか画像入力装置100に対
して近い位置にある画像の画素を選択して、入力画像F
p ,Fp+1 ,…と変換画像Gp ,Gp+1,…とを合成処
理し、合成画像Hp を生成して画像出力装置108に対
して出力する。
【0097】つまり、画像合成装置20は、入力画像F
p が示す対象物と変換画像Gp が示す合成対象物との位
置を合わせて、入力画像Fp と変換画像Gp とを合成処
理し、あたかも合成対象物が対象物とを一緒に撮影して
いるかのように見える合成画像Hp を生成する。
p が示す対象物と変換画像Gp が示す合成対象物との位
置を合わせて、入力画像Fp と変換画像Gp とを合成処
理し、あたかも合成対象物が対象物とを一緒に撮影して
いるかのように見える合成画像Hp を生成する。
【0098】画像処理装置2の動作 以下、画像処理装置2の動作を説明する。
【0099】画像処理装置2において、画像入力装置1
00(図8)は、画像処理装置1においてと同様に、対
象物〔例えば自動車および道路、図6(a),(b)〕
を一定の時間間隔で撮影して、複数の時系列的な入力画
像Fp ,Fp+1 ,…を生成し、カメラパラメータ計算装
置102および画像合成装置20に供給する。
00(図8)は、画像処理装置1においてと同様に、対
象物〔例えば自動車および道路、図6(a),(b)〕
を一定の時間間隔で撮影して、複数の時系列的な入力画
像Fp ,Fp+1 ,…を生成し、カメラパラメータ計算装
置102および画像合成装置20に供給する。
【0100】カメラパラメータ計算装置102は、画像
処理装置1においてと同様に、画像入力装置100から
入力された入力画像Fp ,Fp+1 ,…特徴点P1,1 ,P
1,2,P1,3 ,…,P2,1 ,…,P3,3 ,…を検出し、
複数の画像間で同一の特徴点同士それぞれを対応付け、
対応付けた特徴点の座標ip1,1 ,ip1,2 ,i
p1,3 ,…,ip2,1 ,…,ip3,3 ,…,jp1,1 ,
jp1,2 ,jp1,3 ,…,jp2,1 ,…,jp3,3 ,…
を要素とする行列W(式2)を生成し、生成した行列W
に対して式2〜式11および図2〜図4を参照して上述
した処理を行い、画像入力装置100の撮影方向(カメ
ラモーション)および撮影位置(画像入力装置100と
対象物との位置関係)を示すカメラパラメータを算出
し、画像生成装置106および画像合成装置20に対し
て出力する。
処理装置1においてと同様に、画像入力装置100から
入力された入力画像Fp ,Fp+1 ,…特徴点P1,1 ,P
1,2,P1,3 ,…,P2,1 ,…,P3,3 ,…を検出し、
複数の画像間で同一の特徴点同士それぞれを対応付け、
対応付けた特徴点の座標ip1,1 ,ip1,2 ,i
p1,3 ,…,ip2,1 ,…,ip3,3 ,…,jp1,1 ,
jp1,2 ,jp1,3 ,…,jp2,1 ,…,jp3,3 ,…
を要素とする行列W(式2)を生成し、生成した行列W
に対して式2〜式11および図2〜図4を参照して上述
した処理を行い、画像入力装置100の撮影方向(カメ
ラモーション)および撮影位置(画像入力装置100と
対象物との位置関係)を示すカメラパラメータを算出
し、画像生成装置106および画像合成装置20に対し
て出力する。
【0101】3Dモデリングデータ蓄積装置104は、
例えば、図7(a),(b)に示す合成対象物の3次元
的な形状を示す3Dモデリングデータを、画像生成装置
106に供給する。
例えば、図7(a),(b)に示す合成対象物の3次元
的な形状を示す3Dモデリングデータを、画像生成装置
106に供給する。
【0102】画像生成装置106は、図5を参照して上
述したように、カメラパラメータ計算装置102が算出
した入力画像Fp ,Fp+1 ,…のカメラパラメータそれ
ぞれに基づいて、合成対象物を任意の位置に置いて、入
力画像Fp ,Fp+1 ,…の撮影方向(カメラモーショ
ン)から撮影した合成対象物を示す変換画像Gp ,G
p+1 ,…〔図7(a),(b)〕を生成し、画像合成装
置20に供給する。
述したように、カメラパラメータ計算装置102が算出
した入力画像Fp ,Fp+1 ,…のカメラパラメータそれ
ぞれに基づいて、合成対象物を任意の位置に置いて、入
力画像Fp ,Fp+1 ,…の撮影方向(カメラモーショ
ン)から撮影した合成対象物を示す変換画像Gp ,G
p+1 ,…〔図7(a),(b)〕を生成し、画像合成装
置20に供給する。
【0103】画像合成装置20は、カメラパラメータ計
算装置102から入力されるカメラパラメータに基づい
て、入力画像Fp が示す対象物と変換画像Gp が示す合
成対象物との位置を合わせて、入力画像Fp と変換画像
Gp とを合成処理し、あたかも合成対象物が対象物とを
一緒に撮影しているかのように見える合成画像Hp を生
成し、画像出力装置108に供給する。
算装置102から入力されるカメラパラメータに基づい
て、入力画像Fp が示す対象物と変換画像Gp が示す合
成対象物との位置を合わせて、入力画像Fp と変換画像
Gp とを合成処理し、あたかも合成対象物が対象物とを
一緒に撮影しているかのように見える合成画像Hp を生
成し、画像出力装置108に供給する。
【0104】画像出力装置108は、画像生成装置10
6から入力された合成画像Hp を、モニタ装置(図示せ
ず)に表示し、さらに、ハードディスク装置に記録す
る。
6から入力された合成画像Hp を、モニタ装置(図示せ
ず)に表示し、さらに、ハードディスク装置に記録す
る。
【0105】本発明の第2の実施形態として説明した画
像処理装置2によれば、エンコーダ等を用いて、撮影時
にカメラパラメータを測定し、記録しておく必要がない
ので、移動体(自動車および航空機等)から撮影した入
力画像Fp ,Fp+1 ,…を用いた画像の合成処理が可能
となり、また、カメラパラメータなしに記録された古い
画像を用いた合成処理が可能となる。
像処理装置2によれば、エンコーダ等を用いて、撮影時
にカメラパラメータを測定し、記録しておく必要がない
ので、移動体(自動車および航空機等)から撮影した入
力画像Fp ,Fp+1 ,…を用いた画像の合成処理が可能
となり、また、カメラパラメータなしに記録された古い
画像を用いた合成処理が可能となる。
【0106】また、画像処理装置2によれば、カメラパ
ラメータの算出のために背景にマーカーを配する必要が
ないので、入力画像Fp ,Fp+1 ,…の撮影場所が制限
されない。
ラメータの算出のために背景にマーカーを配する必要が
ないので、入力画像Fp ,Fp+1 ,…の撮影場所が制限
されない。
【0107】また、画像処理装置2は、例えば、バーチ
ャルスタジオ用の画像生成に好適である。
ャルスタジオ用の画像生成に好適である。
【0108】
【発明の効果】以上説明したように、本発明に係る画像
処理装置およびその方法によれば、ビデオカメラにエン
コーダ等の測定装置を備えたり、あるいは、背景にマー
カーを配したりしなくても、対象物の画像からビデオカ
メラの撮影位置および撮影方向等を示すカメラパラメー
タを算出することができる。
処理装置およびその方法によれば、ビデオカメラにエン
コーダ等の測定装置を備えたり、あるいは、背景にマー
カーを配したりしなくても、対象物の画像からビデオカ
メラの撮影位置および撮影方向等を示すカメラパラメー
タを算出することができる。
【0109】また、本発明に係る画像処理装置およびそ
の方法によれば、対象物の画像からカメラの撮影方向お
よび対象物との距離を示すカメラパラメータを算出する
ことができ、算出したカメラパラメータに応じて合成の
対象となる他の画像を変更して、対象物の画像と他の画
像とを自然に見えるように合成することができる。
の方法によれば、対象物の画像からカメラの撮影方向お
よび対象物との距離を示すカメラパラメータを算出する
ことができ、算出したカメラパラメータに応じて合成の
対象となる他の画像を変更して、対象物の画像と他の画
像とを自然に見えるように合成することができる。
【図1】本発明の第1の実施形態として示す画像処理装
置の構成を示す図である。
置の構成を示す図である。
【図2】図1に示したカメラパラメータ計算装置の処理
を示すフローチャート図である。
を示すフローチャート図である。
【図3】(A),(B)は、図1に示したカメラパラメ
ータ計算装置による特徴点の追跡処理を示す第1の図で
ある。
ータ計算装置による特徴点の追跡処理を示す第1の図で
ある。
【図4】(A)〜(C)は、図1に示したカメラパラメ
ータ計算装置による特徴点の追跡処理を示す第2の図で
ある。
ータ計算装置による特徴点の追跡処理を示す第2の図で
ある。
【図5】図1に示した画像生成装置の処理を示す図であ
る。
る。
【図6】図1に示した画像入力装置が撮影方向を変更し
て対象物を撮影して生成した入力画像Fp ,Fp+1 を例
示する図である。
て対象物を撮影して生成した入力画像Fp ,Fp+1 を例
示する図である。
【図7】図1に示した画像生成装置が生成した合成対象
物の変換画像Gp ,Gp+1 を例示する図である。
物の変換画像Gp ,Gp+1 を例示する図である。
【図8】本発明の第2の実施形態として示す画像処理装
置の構成を示す図である。
置の構成を示す図である。
1,2…画像処理装置、100…画像入力装置、102
…カメラパラメータ計算装置、104…3Dモデリング
データ蓄積装置、106…画像生成装置、108…画像
出力装置、20…画像合成装置。
…カメラパラメータ計算装置、104…3Dモデリング
データ蓄積装置、106…画像生成装置、108…画像
出力装置、20…画像合成装置。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 13/02 G06F 15/70 410
Claims (12)
- 【請求項1】対象物を撮影して得られる時系列に連続し
た複数の第1の画像に基づいて、前記対象物に対する撮
影位置と撮影方向とを示すカメラパラメータを算出する
カメラパラメータ算出手段と、 前記第1の画像に対して合成する合成対象物の第2の画
像を生成する第2の画像生成手段と、 算出した前記カメラパラメータに基づいて、前記第1の
画像と前記第2の画像とを、撮影位置および撮影方向を
合わせて合成し、合成画像を生成する合成画像生成手段
とを有する画像処理装置。 - 【請求項2】前記第2の画像生成手段は、 立体的な前記合成対象物の第2の画像を生成する立体画
像生成手段と、 カメラパラメータに基づいて前記第2の画像を変換し、
所定の位置に置いた前記合成対象物を、前記撮影位置お
よび前記撮影方向から撮影して得られる第3の画像を生
成する第3の画像生成手段とを有し、 前記画像合成手段は、 カメラパラメータに基づいて、前記第1の画像と前記第
3の画像とを合成し、前記複数の第1の画像それぞれの
前記所定の位置に前記合成対象物を置いた場合の前記合
成画像を生成する請求項1に記載の画像処理装置。 - 【請求項3】前記カメラパラメータ算出手段は、 前記複数の第1の画像それぞれの特徴点を検出する特徴
点検出手段と、 前記複数の第1の画像それぞれにおける特徴点の座標を
要素とする座標行列を生成する座標行列生成手段と、 生成した前記座標行列に対して所定の演算処理を行っ
て、前記カメラパラメータを生成するカメラパラメータ
生成手段とを有する請求項2に記載の画像処理装置。 - 【請求項4】前記カメラパラメータ生成手段は、 前記座標行列の要素それぞれから、対応する行成分また
は列成分の平均値を減算し、特異値分解を行って前記カ
メラパラメータを生成する請求項3に記載の画像処理装
置。 - 【請求項5】対象物を撮影して得られる時系列に連続し
た複数の第1の画像に基づいて、前記対象物に対する撮
影位置と撮影方向とを示すカメラパラメータを算出画像
処理装置であって、 前記複数の第1の画像それぞれの特徴点を検出する特徴
点検出手段と、 前記複数の第1の画像それぞれにおける特徴点の座標を
要素とする座標行列を生成する座標行列生成手段と、 生成した前記座標行列に対して所定の演算処理を行っ
て、前記カメラパラメータを生成するカメラパラメータ
生成手段とを有する画像処理装置。 - 【請求項6】前記カメラパラメータ生成手段は、 前記座標行列の要素それぞれから、対応する行成分また
は列成分の平均値を減算し、特異値分解を行って前記カ
メラパラメータを生成する請求項5に記載の画像処理装
置。 - 【請求項7】対象物を撮影して得られる時系列に連続し
た複数の第1の画像に基づいて、前記対象物に対する撮
影位置と撮影方向とを示すカメラパラメータを算出し、 前記第1の画像に対して合成する合成対象物の第2の画
像を生成し、 算出した前記カメラパラメータに基づいて、前記第1の
画像と前記第2の画像とを、撮影位置および撮影方向を
合わせて合成し、合成画像を生成する画像処理方法。 - 【請求項8】立体的な前記合成対象物の第2の画像を生
成し、 カメラパラメータに基づいて前記第2の画像を変換し、
所定の位置に置いた前記合成対象物を、前記撮影位置お
よび前記撮影方向から撮影して得られる第3の画像を生
成し、 カメラパラメータに基づいて、前記第1の画像と前記第
3の画像とを合成し、前記複数の第1の画像それぞれの
前記所定の位置に前記合成対象物を置いた場合の前記合
成画像を生成する請求項7に記載の画像処理方法。 - 【請求項9】前記複数の第1の画像それぞれの特徴点を
検出し、 前記複数の第1の画像それぞれにおける特徴点の座標を
要素とする座標行列を生成し、 生成した前記座標行列に対して所定の演算処理を行っ
て、前記カメラパラメータを生成する請求項7に記載の
画像処理方法。 - 【請求項10】前記座標行列の要素それぞれから、対応
する行成分または列成分の平均値を減算し、特異値分解
を行って前記カメラパラメータを生成する請求項9に記
載の画像処理方法。 - 【請求項11】対象物を撮影して得られる時系列に連続
した複数の第1の画像に基づいて、前記対象物に対する
撮影位置と撮影方向とを示すカメラパラメータを算出す
る画像処理方法であって、 前記複数の第1の画像それぞれの特徴点を検出し、 前記複数の第1の画像それぞれにおける特徴点の座標を
要素とする座標行列を生成し、 生成した前記座標行列に対して所定の演算処理を行っ
て、前記カメラパラメータを生成する画像処理方法。 - 【請求項12】前記座標行列の要素それぞれから、対応
する行成分または列成分の平均値を減算し、特異値分解
を行って前記カメラパラメータを生成する請求項11に
記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9113783A JPH10304244A (ja) | 1997-05-01 | 1997-05-01 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9113783A JPH10304244A (ja) | 1997-05-01 | 1997-05-01 | 画像処理装置およびその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10304244A true JPH10304244A (ja) | 1998-11-13 |
Family
ID=14620999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9113783A Pending JPH10304244A (ja) | 1997-05-01 | 1997-05-01 | 画像処理装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10304244A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115953A (ja) * | 1997-06-26 | 1999-01-22 | Nippon Telegr & Teleph Corp <Ntt> | カメラ操作推定方法およびカメラ操作推定プログラムを記録した記録媒体 |
JPH11259626A (ja) * | 1998-03-12 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 |
WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
JP2002324239A (ja) * | 2001-04-25 | 2002-11-08 | Olympus Optical Co Ltd | 情報呈示システム |
KR100678120B1 (ko) * | 2004-11-01 | 2007-02-02 | 삼성전자주식회사 | 이동통신 단말기에서 3d 애니메이션 파일을 제공하기 위한 장치 및 방법 |
JP2007327938A (ja) * | 2006-05-10 | 2007-12-20 | Topcon Corp | 画像処理装置及びその処理方法 |
JP2008015576A (ja) * | 2006-07-03 | 2008-01-24 | Mitsubishi Precision Co Ltd | 3次元コンピュータグラフィックス合成方法及び装置 |
JP2013504938A (ja) * | 2009-09-11 | 2013-02-07 | ディズニー エンタープライズ,インコーポレイテッド | 3dビデオへの仮想インサート |
KR101421442B1 (ko) * | 2013-05-07 | 2014-08-13 | 주식회사 레드로버 | 입체카메라 촬영위치 추적방법 및 그 시스템 |
WO2016053067A1 (en) * | 2014-10-03 | 2016-04-07 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
US9600714B2 (en) | 2011-11-25 | 2017-03-21 | Samsung Electronics Co., Ltd. | Apparatus and method for calculating three dimensional (3D) positions of feature points |
WO2017203774A1 (ja) | 2016-05-26 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法及び記憶媒体 |
JP2021012631A (ja) * | 2019-07-09 | 2021-02-04 | キヤノン株式会社 | 映像処理システム、情報処理装置、情報処理方法及びプログラム |
-
1997
- 1997-05-01 JP JP9113783A patent/JPH10304244A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115953A (ja) * | 1997-06-26 | 1999-01-22 | Nippon Telegr & Teleph Corp <Ntt> | カメラ操作推定方法およびカメラ操作推定プログラムを記録した記録媒体 |
JPH11259626A (ja) * | 1998-03-12 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 順序統計量を用いたカメラパラメータ推定方法およびそのプログラム記録媒体 |
WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
JP2002324239A (ja) * | 2001-04-25 | 2002-11-08 | Olympus Optical Co Ltd | 情報呈示システム |
KR100678120B1 (ko) * | 2004-11-01 | 2007-02-02 | 삼성전자주식회사 | 이동통신 단말기에서 3d 애니메이션 파일을 제공하기 위한 장치 및 방법 |
JP2007327938A (ja) * | 2006-05-10 | 2007-12-20 | Topcon Corp | 画像処理装置及びその処理方法 |
JP2008015576A (ja) * | 2006-07-03 | 2008-01-24 | Mitsubishi Precision Co Ltd | 3次元コンピュータグラフィックス合成方法及び装置 |
JP2013504938A (ja) * | 2009-09-11 | 2013-02-07 | ディズニー エンタープライズ,インコーポレイテッド | 3dビデオへの仮想インサート |
US9600714B2 (en) | 2011-11-25 | 2017-03-21 | Samsung Electronics Co., Ltd. | Apparatus and method for calculating three dimensional (3D) positions of feature points |
KR101421442B1 (ko) * | 2013-05-07 | 2014-08-13 | 주식회사 레드로버 | 입체카메라 촬영위치 추적방법 및 그 시스템 |
WO2016053067A1 (en) * | 2014-10-03 | 2016-04-07 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
US9846963B2 (en) | 2014-10-03 | 2017-12-19 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
WO2017203774A1 (ja) | 2016-05-26 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法及び記憶媒体 |
JP2021012631A (ja) * | 2019-07-09 | 2021-02-04 | キヤノン株式会社 | 映像処理システム、情報処理装置、情報処理方法及びプログラム |
US11716448B2 (en) | 2019-07-09 | 2023-08-01 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108711185B (zh) | 联合刚性运动和非刚性形变的三维重建方法及装置 | |
Kumar et al. | Registration of video to geo-referenced imagery | |
US5963664A (en) | Method and system for image combination using a parallax-based technique | |
JP3435084B2 (ja) | オプティカルフロー推定方法および画像合成方法 | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
US20120257016A1 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
JP3080141B2 (ja) | 三次元画像の評価方法 | |
US20090073259A1 (en) | Imaging system and method | |
CN108958469B (zh) | 一种基于增强现实的在虚拟世界增加超链接的方法 | |
JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
JPH10304244A (ja) | 画像処理装置およびその方法 | |
EP0903695B1 (en) | Image processing apparatus | |
KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
CN113469886B (zh) | 一种基于三维重构的图像拼接方法 | |
KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
Guo et al. | View-consistent meshflow for stereoscopic video stabilization | |
JPH10240908A (ja) | 映像合成方法 | |
CN111161143A (zh) | 一种光学定位技术辅助的手术视野全景拼接方法 | |
JP2004310777A (ja) | 複数個の入力イメージからバーチャルイメージを合成する複合カメラ及び方法 | |
KR100496186B1 (ko) | 비디오 영상으로부터 투영행렬을 결정하는 방법 | |
WO2022091811A1 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JPH11259682A (ja) | 画像処理装置および方法、並びに提供媒体 | |
Jarusirisawad et al. | 3DTV view generation using uncalibrated pure rotating and zooming cameras |