JPH10304244A - 画像処理装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】対象物の画像からカメラの撮影方向および対象
物との距離を示すカメラパラメータを算出し、合成処理
を行う。 【解決手段】画像入力装置１００は、対象物を撮影し
て、複数の時系列的な入力画像を生成する。カメラパラ
メータ計算装置１０２は、入力画像のエッジ部分を強調
し、特徴点を抽出し、複数の画像間で特徴点を追跡し
て、画像入力装置１００の撮影方向および対象物との位
置関係を示すカメラパラメータを算出する。３Ｄモデリ
ングデータ蓄積装置１０４は、合成対象物の３次元的な
形状を示す３Ｄモデリングデータを記録し、再生する。
画像生成装置１０６は、カメラパラメータ計算装置１０
２が算出した入力画像のカメラパラメータに基づいて、
任意の位置に置いて、入力画像と同じ撮影方向から撮影
した合成対象物を示す変換画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体的な画像同士
を合成処理する画像処理装置およびその方法、および、
対象物を連続して撮影して得られた画像から画像に含ま
れる対象物の位置を測定処理する画像処理装置およびそ
の方法に関する。

【０００２】

【従来の技術】例えば、ニュースおよび天気予報等の番
組を制作する際に、青一色の背景の前に立った人物等の
対象物の画像（前景画像）を撮影し、背景の部分の画像
（背景画像）を実写画像あるいはＣＧ(computer graphi
cs) 画像に置き換えるバーチャルスタジオと呼ばれる方
法が用いられる。このバーチャルスタジオによれば、例
えば、前景画像として撮影した人物が、あたかも背景画
像が示す場所にいるかのような画像を生成することがで
きる。

【０００３】ここで、バーチャルスタジオにより画像を
合成する場合には、前景画像を撮影するビデオカメラの
撮影方向（姿勢）および位置の変更に応じて、背景画像
の角度等を変更しなければ、合成後の画像が不自然にな
ってしまう。この背景画像の変更のためには、従来、前
景画像を撮影するビデオカメラの位置および姿勢を示す
カメラパラメータに基づいて、背景画像を変換する方法
が採られてきた。

【０００４】背景画像の変更に用いるカメラパラメータ
を得るためには、例えば、前景画像を撮影するビデオカ
メラにエンコーダを設け、ビデオカメラの回転角度等を
測定する方法、あるいは、前景画像として撮影する対象
物を、青色の色の濃さが異なる印（マーカー）を複数配
した背景の前に置いて撮影し、マーカーの大きさおよび
形に基づいてカメラパラメータを計算する方法が採られ
てきた。

【０００５】なお、上述した他に、文献「因子分解法に
よる物体形状とカメラ運動の復元（金出，ポールマン，
森田 著、電子情報通信学会論文誌D-II Vol.J76-D-II
No.8pp.1497-1505 1993年 8月）」にカメラパラメータ
を算出する方法が開示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、エンコ
ーダを用いてカメラパラメータを得る方法は、例えば、
移動する車に積んだビデオカメラで前景画像を撮影する
場合、あるいは、エンコーダを取り付けられない手持ち
ビデオカメラで前景画像を撮影する場合に適していな
い。

【０００７】また、マーカーを配した背景画像を用いて
カメラパラメータを得る方法は、例えば、野外の対象物
を前景画像として撮影する場合、あるいは、背景が隠れ
てしまうほど大きい対象物を前景画像として撮影する場
合に適していない。

【０００８】また、マーカーを配した背景画像を用いて
カメラパラメータを得る方法を用いる場合には、背景の
マーカーにビデオカメラのピントを合わせるために、カ
メラレンズの焦点深度を常に深くしておく必要があるの
で、前景画像の遠近感が出にくくなる。

【０００９】本発明は、上述した従来技術の問題点に鑑
みてなされたものであり、ビデオカメラにエンコーダ等
の測定装置を備えたり、あるいは、背景にマーカーを配
したりしなくても、対象物の画像からビデオカメラの撮
影位置および撮影方向等を示すカメラパラメータを算出
することができる画像処理装置およびその方法を提供す
ることを目的とする。

【００１０】また、本発明は、対象物の画像からカメラ
の撮影方向および対象物との距離を示すカメラパラメー
タを算出することができ、算出したカメラパラメータに
応じて合成の対象となる他の画像を変更して、対象物の
画像と他の画像とを自然に見えるように合成することが
できる画像処理装置およびその方法を提供することを目
的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る第１の画像処理装置は、対象物を撮影
して得られる時系列に連続した複数の第１の画像に基づ
いて、前記対象物に対する撮影位置と撮影方向とを示す
カメラパラメータを算出するカメラパラメータ算出手段
と、前記第１の画像に対して合成する合成対象物の第２
の画像を生成する第２の画像生成手段と、算出した前記
カメラパラメータに基づいて、前記第１の画像と前記第
２の画像とを、撮影位置および撮影方向を合わせて合成
し、合成画像を生成する合成画像生成手段とを有する。

【００１２】好適には、前記第２の画像生成手段は、立
体的な前記合成対象物の第２の画像を生成する立体画像
生成手段と、カメラパラメータに基づいて前記第２の画
像を変換し、所定の位置に置いた前記合成対象物を、前
記撮影位置および前記撮影方向から撮影して得られる第
３の画像を生成する第３の画像生成手段とを有し、前記
画像合成手段は、カメラパラメータに基づいて、前記第
１の画像と前記第３の画像とを合成し、前記複数の第１
の画像それぞれの前記所定の位置に前記合成対象物を置
いた場合の前記合成画像を生成する。

【００１３】好適には、前記カメラパラメータ算出手段
は、前記複数の第１の画像それぞれの特徴点を検出する
特徴点検出手段と、前記複数の第１の画像それぞれにお
ける特徴点の座標を要素とする座標行列を生成する座標
行列生成手段と、生成した前記座標行列に対して所定の
演算処理を行って、前記カメラパラメータを生成するカ
メラパラメータ生成手段とを有する。

【００１４】好適には、前記カメラパラメータ生成手段
は、前記座標行列の要素それぞれから、対応する行成分
または列成分の平均値を減算し、特異値分解を行って前
記カメラパラメータを生成する。

【００１５】カメラパラメータ算出手段において、特徴
点検出手段は、例えば、ビデオカメラにより対象物を一
定の時間間隔で連続して撮影して得られる画像（第１の
画像）のｍ個の特徴点を検出する。

【００１６】座標行列生成手段は、例えば、複数の画像
（第１の画像）それぞれのｍ個の特徴点の座標を行成分
（または列成分）とする座標行列を生成する。

【００１７】カメラパラメータ生成手段は、例えば、座
標行列生成手段が生成した座標行列の要素それぞれか
ら、行成分（または列成分）それぞれの平均値を減算し
て、画像（第１の画像）に含まれる物体の重心を座標系
の原点とする変換を行い、さらに、変換後の座標行列に
対して特異値分解を行い、対象物を撮影するビデオカメ
ラの位置および撮影方向（姿勢）を示すカメラパラメー
タを生成する。

【００１８】第２の画像生成手段は、例えば、対象物の
画像（第１の画像）と合成する合成対象物の画像（第２
の画像）を、合成対象物の形状を示すデータの形式で生
成する。

【００１９】合成画像生成手段は、例えば、合成対象物
の画像を示すデータに基づいて、合成対象物をビデオカ
メラに対して任意の位置に置き、カメラパラメータが示
す撮影方向から撮影した場合に得られる画像（第３の画
像）を生成し、対象物の画像（第１の画像）と撮影位置
および撮影方向を合わせて合成し、あたかも、対象物と
合成対象物とを一緒に撮影したかのように見える合成画
像を生成する。

【００２０】また、本発明に係る第１の画像処理方法
は、対象物を撮影して得られる時系列に連続した複数の
第１の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出し、前記第１
の画像に対して合成する合成対象物の第２の画像を生成
し、算出した前記カメラパラメータに基づいて、前記第
１の画像と前記第２の画像とを、撮影位置および撮影方
向を合わせて合成し、合成画像を生成する。

【００２１】また、本発明に係る第２の画像処理装置
は、対象物を撮影して得られる時系列に連続した複数の
第１の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出画像処理装置
であって、前記複数の第１の画像それぞれの特徴点を検
出する特徴点検出手段と、前記複数の第１の画像それぞ
れにおける特徴点の座標を要素とする座標行列を生成す
る座標行列生成手段と、生成した前記座標行列に対して
所定の演算処理を行って、前記カメラパラメータを生成
するカメラパラメータ生成手段とを有する。

【００２２】好適には、前記カメラパラメータ生成手段
は、前記座標行列の要素それぞれから、対応する行成分
または列成分の平均値を減算し、特異値分解を行って前
記カメラパラメータを生成する。

【００２３】また、本発明に係る第２の画像処理方法
は、対象物を撮影して得られる時系列に連続した複数の
第１の画像に基づいて、前記対象物に対する撮影位置と
撮影方向とを示すカメラパラメータを算出する画像処理
方法であって、前記複数の第１の画像それぞれの特徴点
を検出し、前記複数の第１の画像それぞれにおける特徴
点の座標を要素とする座標行列を生成し、生成した前記
座標行列に対して所定の演算処理を行って、前記カメラ
パラメータを生成する。

【００２４】好適には、前記座標行列の要素それぞれか
ら、対応する行成分または列成分の平均値を減算し、特
異値分解を行って前記カメラパラメータを生成する。

【００２５】

【発明の実施の形態】第１実施形態 以下、本発明の第１の実施形態を説明する。

【００２６】画像処理装置１の構成 以下、本発明に係る画像処理装置１の構成を説明する。

【００２７】図１は、本発明の第１の実施形態として示
す画像処理装置１の構成を示す図である。

【００２８】図１に示すように、画像処理装置１は、画
像入力装置１００、カメラパラメータ計算装置１０２、
３Ｄモデリングデータ蓄積装置１０４、画像生成装置１
０６および画像出力装置１０８から構成される。

【００２９】画像処理装置１は、これらの構成部分によ
り、例えば、動きがある対象物を一定の時間間隔で撮影
して複数の画像を時系列的に生成し、生成した複数の画
像データを処理して、対象物の撮影時の撮影位置および
撮影方向を示すカメラパラメータを算出し、対象物の画
像に合成する画像を、あたかも算出したカメラパラメー
タが示す撮影方向等から撮影したかのように見えるよう
に変換する。

【００３０】画像処理装置１の各構成部分 以下、画像処理装置１の各構成部分を説明する。

【００３１】画像入力装置１００ 画像入力装置１００は、例えばビデオカメラであって、
対象物を一定の時間間隔で撮影して、複数の画像（例え
ば人物および風景等の画像）を時系列的に生成し、カメ
ラパラメータ計算装置１０２に対して出力する。

【００３２】カメラパラメータ計算装置１０２ カメラパラメータ計算装置１０２は、ＤＳＰ、メモリ回
路およびこれらの周辺回路等から構成される。

【００３３】カメラパラメータ計算装置１０２は、画像
入力装置１００から入力された複数の画像それぞれの特
徴点を複数、検出し、複数の画像間で同一の特徴点それ
ぞれを追跡し、追跡した特徴点の座標の集合を処理し
て、追跡した特徴点の３次元的な位置および画像入力装
置１００の撮影方向等を示すカメラパラメータを算出す
る。なお、カメラパラメータ計算装置１０２が算出する
特徴点の３次元的な位置は、対象物に対する画像入力装
置１００の相対的な撮影位置に対応し、画像入力装置１
００の撮影方向は、画像入力装置１００（ビデオカメ
ラ）の回転角度（ロール，ヨー，ピッチ）に対応する。

【００３４】カメラパラメータの算出方法 以下、さらにカメラパラメータ計算装置１０２によるカ
メラパラメータの算出方法を説明する。

【００３５】図２は、図１に示したカメラパラメータ計
算装置１０２の処理を示すフローチャート図である。

【００３６】特徴点抽出 図２に示すように、まず、ステップ１００（Ｓ１００）
において、カメラパラメータ計算装置１０２は、画像入
力装置１００から入力された複数の入力画像Ｆ_p に対し
て、特徴量計算処理、例えば、エッジ強調等の処理を行
う。

【００３７】ステップ１０２（Ｓ１０２）において、カ
メラパラメータ計算装置１０２は、Ｓ１００の処理にお
いてエッジ強調等をした第ｊ番目の画像に対して、例え
ば、色・濃淡等の変化量を計算するＳｏｂｅｌオペレー
タを用いた処理を行い、処理結果の内、値が大きい方か
らｎ個を残し、これらｎ個の処理結果を与える入力画像
Ｆ_p 内の位置（座標）を特徴点Ｐ_p,q （１≦ｑ≦ｎ）と
する。

【００３８】ステップ１０４（Ｓ１０４）において、カ
メラパラメータ計算装置１０２は、Ｓ１００およびＳ１
０２の処理により得られたｎ個の特徴点Ｐ_p,q の座標を
示す特徴点データを記憶する。

【００３９】ステップ１０６（Ｓ１０６；図２）におい
て、カメラパラメータ計算装置１０２は、第ｊ番目の入
力画像Ｆ_p の特徴点Ｐ_p,q と対応する第ｊ＋１番目の入
力画像Ｆ_p+1 の特徴点Ｐ_p+1,q を探し、追跡して特徴点
の座標を行列化する。

【００４０】以下、図３（Ａ），（Ｂ）および図４
（Ａ）〜（Ｃ）をさらに参照して、Ｓ１０６の処理を詳
細に説明する。

【００４１】特徴点追跡 図３（Ａ），（Ｂ）は、図１に示したカメラパラメータ
計算装置１０２による特徴点の追跡処理を示す第１の図
である。

【００４２】図４（Ａ）〜（Ｃ）は、図１に示したカメ
ラパラメータ計算装置１０２による特徴点の追跡処理を
示す第２の図である。

【００４３】例えば、入力画像Ｆ_p の特徴点Ｐ_p,q が、
図３（Ａ）に示す位置にある場合には、カメラパラメー
タ計算装置１０２は、例えば、図３（Ｂ）に示すよう
に、入力画像Ｆ_p の特徴点Ｐ_p,q の近傍の５画素×５画
素構成の画素ブロック（領域ｆ）と、入力画像Ｆ_p+1 に
おいて、式１に示す画素値の２乗総和が最小となる５画
素×５画素構成の画素ブロック（領域ｇ）を探し、探し
出した画素ブロック（領域ｇ）の中心画素を、入力画像
Ｆ_p の特徴点Ｐ_p,q と対応する入力画像Ｆ_p+1 の特徴点
Ｐ_p+1,q （対応点）として抽出する。

【００４４】

【数１】

【００４５】このような画像間の対応点の抽出を画像ご
とに行うことにより、カメラパラメータ計算装置１０２
は、例えば図４（Ａ）〜（Ｃ）に示すように、入力画像
Ｆ_p，Ｆ_p+1 ，Ｆ_p+2 ，…において徐々に左方向に移動
する特徴点Ｐ_1,1 ，Ｐ_1,2 ，Ｐ_1,3 ，…，Ｐ_2,1 ，…，
Ｐ_3,3 ，…を対応付け、追跡を行うことができる。

【００４６】行列化 さらに、カメラパラメータ計算装置１０２は、上述した
対応付けにより追跡された特徴点Ｐ_1,1 ，Ｐ_1,2 ，Ｐ
_1,3 ，…，Ｐ_2,1 ，…，Ｐ_3,3 ，…〔図４（Ａ）〜
（Ｃ）〕それぞれの座標ｉｐ_1,1 ，ｉｐ_1,2 ，ｉ
ｐ_1,3 ，…，ｉｐ_2,1 ，…，ｉｐ_3,3 ，…，ｊｐ_1,1 ，
ｊｐ_1,2 ，ｊｐ_1,3 ，…，ｊｐ_2,1 ，…，ｊｐ_3,3 ，…
を、式２に示すように行列化し、行列Ｗを作成する。

【００４７】

【数２】

【００４８】なお、式２に示したように、例えば、特徴
点の追跡の対象とした画像の枚数がｍ枚、画像それぞれ
における特徴点の数がｎ枚の場合には、行列Ｗは２ｍ
行，ｎ列構成となり、行列Ｗの第１〜第ｍ行は各特徴点
のｉ座標〔図４（Ａ）〕を要素とし、第（ｍ＋１）〜第
２ｍ行は各特徴点のｊ座標を要素とする。

【００４９】ステップ１０８（Ｓ１０８）において、カ
メラパラメータ計算装置１０２は、Ｓ１０６の処理にお
いて作成した行列Ｗの行列計算（特異値分解；singular
value decomposition）を行う。

【００５０】以下、カメラパラメータ計算装置１０２に
よる行列計算を説明する。

【００５１】まず、カメラパラメータ計算装置１０２
は、式３に示すように、行列Ｗの成分から、式４ａまた
は４ｂに示す対応する行の平均値を減算し、座標系の原
点を特徴点の重心におくための変換処理を行い、行列
Ｗ’を生成する。

【００５２】

【数３】

【００５３】

【数４】

【００５４】さらに、カメラパラメータ計算装置１０２
は、式３に示した行列Ｗ’を、式５に示すように、特異
値分解を用いて分解する。

【００５５】

【数５】

【００５６】なお、行列Σ’は直交行列であり、行列
Ｗ’はｒａｎｋ≦３（実際には特徴点の座標の誤差によ
りｒａｎｋ＞３となる場合がある）なので、行列Ｕ’は
２ｍ行，３列構成となり、行列Σ’は３行，３列構成の
直交行列となり、Ｖ^'Tは３行，ｎ列構成となる。

【００５７】ここで、行列Ｍ＾，Ｓ＾を式６に示すよう
に定義すると、式５は式７のように表される。

【００５８】

【数６】

【００５９】

【数７】

【００６０】ただし、式６において、行列Ｍ＾は画像入
力装置１００の撮影方向（カメラモーション）を示し、
行列Ｓ＾は対象物の形状（画像入力装置１００のビデオ
カメラからの距離）を示す。

【００６１】しかしながら、特異値分解は一意でないの
で、このままでは行列Ｍ＾，Ｓ＾それぞれを単独に一意
に求めることはできない。

【００６２】そこで、可逆な３行，３列構成の行列Ａを
用いて、式８に示すように行列Ｍ’，Ｓ’を定義する
と、式９に示すように、Ｍ’Ｓ’＝Ｗ’とすることがで
き、行列Ｍ’，Ｓ’それぞれを単独に求めることができ
る。

【００６３】

【数８】

【００６４】

【数９】

【００６５】ここで、画像入力装置１００の撮影方向
（カメラモーション）を示す行列Ｍ＾が式１０に示す通
りである場合には、各入力画像Ｆ_p ，Ｆ_p+1 ，…の撮影
方向を示し、式１１のように表すことのできる単位ベク
トルｍ^Ta，ｎ^Taを求めることができる。

【００６６】

【数１０】

【００６７】

【数１１】

【００６８】ステップ１１０（Ｓ１１０）において、カ
メラパラメータ計算装置１０２は、Ｓ１０８の処理にお
いて求めた条件に基づいて、行列Ａ（式９）を算出し、
さらに、撮影方向（カメラモーション）を示す行列Ｍを
算出する。

【００６９】ステップ１１２（Ｓ１１２）において、カ
メラパラメータ計算装置１０２は、Ｓ１１０の処理によ
り求められた行列Ｍから、画像入力装置１００と対象物
（特徴点）との間の距離を示す行列Ｓを算出する。

【００７０】ステップ１１４（Ｓ１１４）において、カ
メラパラメータ計算装置１０２は、Ｓ１１２の処理にお
いて求められた行列Ｓに基づいて、画像入力装置１００
と対象物（特徴点）との間の距離を算出し、距離データ
を生成する。

【００７１】なお、Ｓ１０８〜Ｓ１１４の処理は、相互
に関連しており、カメラパラメータ計算装置１０２は、
これらの処理を並列的に実行する。

【００７２】ステップ１１６（Ｓ１１６）において、カ
メラパラメータ計算装置１０２は、Ｓ１１０およびＳ１
１２の処理において求められた撮影方向および距離デー
タを合わせて、入力画像Ｆ_p ，Ｆ_p+1 ，…のカメラパラ
メータを生成する。

【００７３】３Ｄモデリングデータ蓄積装置１０４ ３Ｄモデリングデータ蓄積装置１０４（図１）は、例え
ば、ハードディスク装置およびフロッピーディスク装置
を有し、３次元的な実写した画像およびＣＧ画像等を示
すデータ（３Ｄモデリングデータ）をこれらの装置に記
憶し、画像生成装置１０６に対して出力する。

【００７４】画像生成装置１０６ 図５は、図１に示した画像生成装置１０６の処理を示す
図である。

【００７５】画像生成装置１０６（図１）は、図５に示
すように、３Ｄモデリングデータ蓄積装置１０４から入
力された３Ｄモデリングデータを、カメラパラメータ計
算装置１０２から入力された入力画像Ｆ_p ，Ｆ_p+1 ，…
のカメラパラメータに従って向きを変えたスクリーンに
投影した画像、つまり、合成対象物を視点を変えて見た
３Ｄモデリングデータを示す変換画像Ｇ_p ，Ｇ_p+1 ，…
を生成し、画像出力装置１０８に対して出力する。

【００７６】換言すると、画像生成装置１０６は、３Ｄ
モデリングデータ蓄積装置１０４から入力された３Ｄモ
デリングデータを、画像入力装置１００（ビデオカメ
ラ）から任意の距離に置き、入力画像Ｆ_p ，Ｆ_p+1 のカ
メラパラメータが示す撮影方向で撮影した場合の合成対
象物の形状を示す物体（合成対象物）を示す３Ｄモデリ
ングデータに変換し、変換画像Ｇ_p ，Ｇ_p+1 ，…として
画像出力装置１０８に対して出力する。

【００７７】画像出力装置１０８ 画像出力装置１０８（図１）は、例えば、画像モニタ装
置、ハードディスク装置およびフロッピーディスク装置
（図示せず）を有し、３Ｄモデリングデータ蓄積装置１
０４から入力された入力画像Ｆ_p ，Ｆ_p+1 ，…それぞれ
に対応する変換画像Ｇ_p ，Ｇ_p+1 ，…をモニタ装置に表
示し、ハードディスクおよびフロッピーディスクに記録
する。

【００７８】画像処理装置１の動作 以下、さらに図６および図７を参照して画像処理装置１
の動作を説明する。

【００７９】図６は、図１に示した画像入力装置１００
が撮影方向を変更して対象物を撮影して生成した入力画
像Ｆ_p ，Ｆ_p+1 を例示する図である。

【００８０】図７は、図１に示した画像生成装置１０６
が生成した合成対象物の変換画像Ｇ_p ，Ｇ_p+1 を例示す
る図である。

【００８１】画像入力装置１００（図１）は、例えば、
図６（ａ），（ｂ）に示すように、対象物（自動車およ
び道路）を一定の時間間隔で撮影して、複数の時系列的
な入力画像Ｆ_p ，Ｆ_p+1 ，…を生成する。

【００８２】カメラパラメータ計算装置１０２は、画像
入力装置１００から入力された入力画像Ｆ_p ，Ｆ_p+1 ，
…の自動車のボディーの角、窓の縁等のエッジ部分を強
調し、特徴点Ｐ_1,1 ，Ｐ_1,2 ，Ｐ_1,3 ，…，Ｐ_2,1 ，
…，Ｐ_3,3 ，…を検出する。

【００８３】さらに、カメラパラメータ計算装置１０２
は、複数の画像間で同一の特徴点同士（例えば、自動車
のボディーの角の特徴点同士あるいは窓の縁の特徴点同
士）それぞれを対応付け、対応付けた特徴点の座標ｉｐ
_1,1 ，ｉｐ_1,2 ，ｉｐ_1,3 ，…，ｉｐ_2,1 ，…，ｉｐ
_3,3 ，…，ｊｐ_1,1 ，ｊｐ_1,2 ，ｊｐ_1,3 ，…，ｊｐ
_2,1 ，…，ｊｐ_3,3 ，…を要素とする行列Ｗ（式２）を
生成し、生成した行列Ｗに対して式２〜式１１および図
２〜図４を参照して上述した処理を行い、画像入力装置
１００の撮影方向等を示すカメラパラメータを算出す
る。

【００８４】３Ｄモデリングデータ蓄積装置１０４（図
１）は、例えば、図７（ａ），（ｂ）に示す合成対象物
（例えば牛）の３次元的な形状を示す３Ｄモデリングデ
ータを、例えば、ハードディスク装置あるいはＭＯディ
スク装置等から再生し、３Ｄモデリングデータを生成す
る。

【００８５】画像生成装置１０６（図１）は、図５を参
照して上述したように、カメラパラメータ計算装置１０
２が算出した入力画像Ｆ_p ，Ｆ_p+1 ，…のカメラパラメ
ータそれぞれに基づいて、合成対象物を任意の位置に置
いて、入力画像Ｆ_p ，Ｆ_p+1，…の撮影方向（カメラモ
ーション）から撮影した合成対象物を示す変換画像
Ｇ_p ，Ｇ_p+1 ，…〔図７（ａ），（ｂ）〕を生成する。

【００８６】画像出力装置１０８（図１）は、例えば、
画像生成装置１０６から入力された変換画像Ｇ_p ，Ｇ
_p+1 ，…をモニタ装置（図示せず）に表示し、さらに、
ハードディスク装置に記録する。

【００８７】以上説明したように、第１の実施形態とし
て示した画像処理装置１によれば、ビデオカメラ等によ
り撮影して得られた画像データのみを用いて、撮影時の
カメラパラメータを算出することができるので、カメラ
パラメータを測定・記録する手段を有さないビデオカメ
ラで撮影した画像からカメラパラメータを抽出すること
ができ、このカメラパラメータが示す撮影方向から撮影
した場合の合成対象物の画像を得ることができる。

【００８８】また、背景に特殊なマーカー等を配する必
要がないので、画像処理装置１は、対象物の撮影場所を
選ばない。

【００８９】なお、画像入力装置１００は、新たに対象
物の画像を生成するビデオカメラに限らず、ＶＴＲ装置
等の予め撮影された対象物の画像を単に再生する装置で
あってもよい。

【００９０】なお、式２に示した行列Ｗは例示であっ
て、例えば、行列Ｗの行と列を入れ換えたり、要素をｉ
ｐ_1,n ，ｉｐ_1,n-1 ，…といったように逆順で配列して
もよく、配列に応じて行列計算の内容を変更することに
より、カメラパラメータ計算装置１０２は、全く同様に
カメラパラメータを算出することができる。

【００９１】第２実施形態 以下、本発明の第２の実施形態を説明する。

【００９２】図８は、本発明の第２の実施形態として示
す画像処理装置２の構成を示す図である。なお、図８に
おいては、画像処理装置２の構成部分の内、画像処理装
置１（図１）の構成部分と同じものには、同一の符号を
付してある。

【００９３】画像処理装置２の構成 図８に示すように、画像処理装置２は、画像入力装置１
００、カメラパラメータ計算装置１０２、３Ｄモデリン
グデータ蓄積装置１０４、画像生成装置１０６、画像出
力装置１０８および画像合成装置２０から構成される。

【００９４】つまり、画像処理装置２（図８）は、画像
処理装置１（図１）の画像生成装置１０６と画像出力装
置１０８との間に画像合成装置２０を挿入し、画像合成
装置２０に対して入力画像Ｆ_p を供給するように構成さ
れている。

【００９５】画像処理装置２は、これらの構成部分によ
り、第１の実施形態として示した画像処理装置１おいて
と同様な処理により得られる変換画像Ｇ_p と、入力画像
Ｆ_pとを合成する。

【００９６】画像合成装置２０ 画像処理装置２の構成部分の内、画像処理装置１と異な
る構成部分の画像合成装置２０は、カメラパラメータ計
算装置１０２が算出したカメラパラメータに基づいて、
画像入力装置１００から入力される入力画像Ｆ_p ，Ｆ
_p+1 ，…〔例えば図６（ａ），（ｂ）〕の画素、およ
び、変換画像Ｇ_p ，Ｇ_p+1 ，…〔例えば図７（ａ），
（ｂ）〕の画素の内、いずれか画像入力装置１００に対
して近い位置にある画像の画素を選択して、入力画像Ｆ
_p ，Ｆ_p+1 ，…と変換画像Ｇ_p ，Ｇ_p+1，…とを合成処
理し、合成画像Ｈ_p を生成して画像出力装置１０８に対
して出力する。

【００９７】つまり、画像合成装置２０は、入力画像Ｆ
_p が示す対象物と変換画像Ｇ_p が示す合成対象物との位
置を合わせて、入力画像Ｆ_p と変換画像Ｇ_p とを合成処
理し、あたかも合成対象物が対象物とを一緒に撮影して
いるかのように見える合成画像Ｈ_p を生成する。

【００９８】画像処理装置２の動作 以下、画像処理装置２の動作を説明する。

【００９９】画像処理装置２において、画像入力装置１
００（図８）は、画像処理装置１においてと同様に、対
象物〔例えば自動車および道路、図６（ａ），（ｂ）〕
を一定の時間間隔で撮影して、複数の時系列的な入力画
像Ｆ_p ，Ｆ_p+1 ，…を生成し、カメラパラメータ計算装
置１０２および画像合成装置２０に供給する。

【０１００】カメラパラメータ計算装置１０２は、画像
処理装置１においてと同様に、画像入力装置１００から
入力された入力画像Ｆ_p ，Ｆ_p+1 ，…特徴点Ｐ_1,1 ，Ｐ
_1,2，Ｐ_1,3 ，…，Ｐ_2,1 ，…，Ｐ_3,3 ，…を検出し、
複数の画像間で同一の特徴点同士それぞれを対応付け、
対応付けた特徴点の座標ｉｐ_1,1 ，ｉｐ_1,2 ，ｉ
ｐ_1,3 ，…，ｉｐ_2,1 ，…，ｉｐ_3,3 ，…，ｊｐ_1,1 ，
ｊｐ_1,2 ，ｊｐ_1,3 ，…，ｊｐ_2,1 ，…，ｊｐ_3,3 ，…
を要素とする行列Ｗ（式２）を生成し、生成した行列Ｗ
に対して式２〜式１１および図２〜図４を参照して上述
した処理を行い、画像入力装置１００の撮影方向（カメ
ラモーション）および撮影位置（画像入力装置１００と
対象物との位置関係）を示すカメラパラメータを算出
し、画像生成装置１０６および画像合成装置２０に対し
て出力する。

【０１０１】３Ｄモデリングデータ蓄積装置１０４は、
例えば、図７（ａ），（ｂ）に示す合成対象物の３次元
的な形状を示す３Ｄモデリングデータを、画像生成装置
１０６に供給する。

【０１０２】画像生成装置１０６は、図５を参照して上
述したように、カメラパラメータ計算装置１０２が算出
した入力画像Ｆ_p ，Ｆ_p+1 ，…のカメラパラメータそれ
ぞれに基づいて、合成対象物を任意の位置に置いて、入
力画像Ｆ_p ，Ｆ_p+1 ，…の撮影方向（カメラモーショ
ン）から撮影した合成対象物を示す変換画像Ｇ_p ，Ｇ
_p+1 ，…〔図７（ａ），（ｂ）〕を生成し、画像合成装
置２０に供給する。

【０１０３】画像合成装置２０は、カメラパラメータ計
算装置１０２から入力されるカメラパラメータに基づい
て、入力画像Ｆ_p が示す対象物と変換画像Ｇ_p が示す合
成対象物との位置を合わせて、入力画像Ｆ_p と変換画像
Ｇ_p とを合成処理し、あたかも合成対象物が対象物とを
一緒に撮影しているかのように見える合成画像Ｈ_p を生
成し、画像出力装置１０８に供給する。

【０１０４】画像出力装置１０８は、画像生成装置１０
６から入力された合成画像Ｈ_p を、モニタ装置（図示せ
ず）に表示し、さらに、ハードディスク装置に記録す
る。

【０１０５】本発明の第２の実施形態として説明した画
像処理装置２によれば、エンコーダ等を用いて、撮影時
にカメラパラメータを測定し、記録しておく必要がない
ので、移動体（自動車および航空機等）から撮影した入
力画像Ｆ_p ，Ｆ_p+1 ，…を用いた画像の合成処理が可能
となり、また、カメラパラメータなしに記録された古い
画像を用いた合成処理が可能となる。

【０１０６】また、画像処理装置２によれば、カメラパ
ラメータの算出のために背景にマーカーを配する必要が
ないので、入力画像Ｆ_p ，Ｆ_p+1 ，…の撮影場所が制限
されない。

【０１０７】また、画像処理装置２は、例えば、バーチ
ャルスタジオ用の画像生成に好適である。

【０１０８】

【発明の効果】以上説明したように、本発明に係る画像
処理装置およびその方法によれば、ビデオカメラにエン
コーダ等の測定装置を備えたり、あるいは、背景にマー
カーを配したりしなくても、対象物の画像からビデオカ
メラの撮影位置および撮影方向等を示すカメラパラメー
タを算出することができる。

【０１０９】また、本発明に係る画像処理装置およびそ
の方法によれば、対象物の画像からカメラの撮影方向お
よび対象物との距離を示すカメラパラメータを算出する
ことができ、算出したカメラパラメータに応じて合成の
対象となる他の画像を変更して、対象物の画像と他の画
像とを自然に見えるように合成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態として示す画像処理装
置の構成を示す図である。

【図２】図１に示したカメラパラメータ計算装置の処理
を示すフローチャート図である。

【図３】（Ａ），（Ｂ）は、図１に示したカメラパラメ
ータ計算装置による特徴点の追跡処理を示す第１の図で
ある。

【図４】（Ａ）〜（Ｃ）は、図１に示したカメラパラメ
ータ計算装置による特徴点の追跡処理を示す第２の図で
ある。

【図５】図１に示した画像生成装置の処理を示す図であ
る。

【図６】図１に示した画像入力装置が撮影方向を変更し
て対象物を撮影して生成した入力画像Ｆ_p ，Ｆ_p+1 を例
示する図である。

【図７】図１に示した画像生成装置が生成した合成対象
物の変換画像Ｇ_p ，Ｇ_p+1 を例示する図である。

【図８】本発明の第２の実施形態として示す画像処理装
置の構成を示す図である。

【符号の説明】

１，２…画像処理装置、１００…画像入力装置、１０２
…カメラパラメータ計算装置、１０４…３Ｄモデリング
データ蓄積装置、１０６…画像生成装置、１０８…画像
出力装置、２０…画像合成装置。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 13/02 Ｇ０６Ｆ 15/70 ４１０

Claims (12)

【特許請求の範囲】
1. 【請求項１】対象物を撮影して得られる時系列に連続し
   た複数の第１の画像に基づいて、前記対象物に対する撮
   影位置と撮影方向とを示すカメラパラメータを算出する
   カメラパラメータ算出手段と、 前記第１の画像に対して合成する合成対象物の第２の画
   像を生成する第２の画像生成手段と、 算出した前記カメラパラメータに基づいて、前記第１の
   画像と前記第２の画像とを、撮影位置および撮影方向を
   合わせて合成し、合成画像を生成する合成画像生成手段
   とを有する画像処理装置。
2. 【請求項２】前記第２の画像生成手段は、 立体的な前記合成対象物の第２の画像を生成する立体画
   像生成手段と、 カメラパラメータに基づいて前記第２の画像を変換し、
   所定の位置に置いた前記合成対象物を、前記撮影位置お
   よび前記撮影方向から撮影して得られる第３の画像を生
   成する第３の画像生成手段とを有し、 前記画像合成手段は、 カメラパラメータに基づいて、前記第１の画像と前記第
   ３の画像とを合成し、前記複数の第１の画像それぞれの
   前記所定の位置に前記合成対象物を置いた場合の前記合
   成画像を生成する請求項１に記載の画像処理装置。
3. 【請求項３】前記カメラパラメータ算出手段は、 前記複数の第１の画像それぞれの特徴点を検出する特徴
   点検出手段と、 前記複数の第１の画像それぞれにおける特徴点の座標を
   要素とする座標行列を生成する座標行列生成手段と、 生成した前記座標行列に対して所定の演算処理を行っ
   て、前記カメラパラメータを生成するカメラパラメータ
   生成手段とを有する請求項２に記載の画像処理装置。
4. 【請求項４】前記カメラパラメータ生成手段は、 前記座標行列の要素それぞれから、対応する行成分また
   は列成分の平均値を減算し、特異値分解を行って前記カ
   メラパラメータを生成する請求項３に記載の画像処理装
   置。
5. 【請求項５】対象物を撮影して得られる時系列に連続し
   た複数の第１の画像に基づいて、前記対象物に対する撮
   影位置と撮影方向とを示すカメラパラメータを算出画像
   処理装置であって、 前記複数の第１の画像それぞれの特徴点を検出する特徴
   点検出手段と、 前記複数の第１の画像それぞれにおける特徴点の座標を
   要素とする座標行列を生成する座標行列生成手段と、 生成した前記座標行列に対して所定の演算処理を行っ
   て、前記カメラパラメータを生成するカメラパラメータ
   生成手段とを有する画像処理装置。
6. 【請求項６】前記カメラパラメータ生成手段は、 前記座標行列の要素それぞれから、対応する行成分また
   は列成分の平均値を減算し、特異値分解を行って前記カ
   メラパラメータを生成する請求項５に記載の画像処理装
   置。
7. 【請求項７】対象物を撮影して得られる時系列に連続し
   た複数の第１の画像に基づいて、前記対象物に対する撮
   影位置と撮影方向とを示すカメラパラメータを算出し、 前記第１の画像に対して合成する合成対象物の第２の画
   像を生成し、 算出した前記カメラパラメータに基づいて、前記第１の
   画像と前記第２の画像とを、撮影位置および撮影方向を
   合わせて合成し、合成画像を生成する画像処理方法。
8. 【請求項８】立体的な前記合成対象物の第２の画像を生
   成し、 カメラパラメータに基づいて前記第２の画像を変換し、
   所定の位置に置いた前記合成対象物を、前記撮影位置お
   よび前記撮影方向から撮影して得られる第３の画像を生
   成し、 カメラパラメータに基づいて、前記第１の画像と前記第
   ３の画像とを合成し、前記複数の第１の画像それぞれの
   前記所定の位置に前記合成対象物を置いた場合の前記合
   成画像を生成する請求項７に記載の画像処理方法。
9. 【請求項９】前記複数の第１の画像それぞれの特徴点を
   検出し、 前記複数の第１の画像それぞれにおける特徴点の座標を
   要素とする座標行列を生成し、 生成した前記座標行列に対して所定の演算処理を行っ
   て、前記カメラパラメータを生成する請求項７に記載の
   画像処理方法。
10. 【請求項１０】前記座標行列の要素それぞれから、対応
    する行成分または列成分の平均値を減算し、特異値分解
    を行って前記カメラパラメータを生成する請求項９に記
    載の画像処理方法。
11. 【請求項１１】対象物を撮影して得られる時系列に連続
    した複数の第１の画像に基づいて、前記対象物に対する
    撮影位置と撮影方向とを示すカメラパラメータを算出す
    る画像処理方法であって、 前記複数の第１の画像それぞれの特徴点を検出し、 前記複数の第１の画像それぞれにおける特徴点の座標を
    要素とする座標行列を生成し、 生成した前記座標行列に対して所定の演算処理を行っ
    て、前記カメラパラメータを生成する画像処理方法。
12. 【請求項１２】前記座標行列の要素それぞれから、対応
    する行成分または列成分の平均値を減算し、特異値分解
    を行って前記カメラパラメータを生成する請求項１１に
    記載の画像処理方法。