JP4439668B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP4439668B2 JP4439668B2 JP2000096196A JP2000096196A JP4439668B2 JP 4439668 B2 JP4439668 B2 JP 4439668B2 JP 2000096196 A JP2000096196 A JP 2000096196A JP 2000096196 A JP2000096196 A JP 2000096196A JP 4439668 B2 JP4439668 B2 JP 4439668B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- camera
- image
- orientation
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像合成装置に関し、特に、予め用意された３次元形状データから得られる画像を、カメラ撮影により得られる実写画像と合成する画像合成装置に関するものである。
【０００２】
【従来の技術】
映画や放送の分野において、新しい映像表現の手段として、被写体のカメラ撮影により得られた被写体画像と、３次元形状データを用いたコンピュータグラフィックス処理（以下、ＣＧと略す）により生成したＣＧ画像とを合成して、３次元画像を表示する手法が利用されている。
【０００３】
このような画像合成方法では、カメラの位置などを示す情報に基づいて、ＣＧ画像を生成することにより、カメラを移動しても、合成画像（３次元画像空間）上にて被写体画像と３次元形状のＣＧ画像との位置関係が保たれることとなり、被写体画像とＣＧ画像とが同一の世界（３次元空間）にあるかのような印象を与える合成画像を得ることができる。
【０００４】
従って、このような画像合成方法では、合成画像における、被写体の周辺に位置する現実の物体の画像の代わりに、３次元形状データから得られる物体の画像を用いることができる。具体的には、実際の舞台装置により表される被写体の背景を、３次元形状データから得られる背景画像に置き換えたり、３次元形状データから得られる人型などのキャラクタの画像を操作して実写人物との掛け合いを行ったりするという新しい画像の表現形態が実現可能になる。
【０００５】
以下、図面を参照しながら、従来の画像合成装置の一例について説明する。
図６は従来の画像合成装置を説明するためのブロック図である。
従来の画像合成装置６００は、被写体の撮影により撮影画像に対応する実写画像データを出力するカメラ６０１と、基準位置に対する上記カメラ６０１の位置，基準方向に対するカメラ６０１の向き（以下、カメラ視線の方向ともいう。），該カメラ６０１の基準視野の広さに対する視野の広さを計測して、対応する実測値を示す位置情報，向き情報，ズーム情報を含むカメラ情報を出力するカメラ情報計測部６０２とを有している。ここで、カメラ視線の方向は、カメラと被写体とを結ぶ直線と平行な方向であり、また、上記各実測値を示す位置情報，向き情報，ズーム情報は、カメラによる撮影状態を示す情報である。
【０００６】
また、上記画像合成装置６００は、カメラ６０１からの実写画像データに基づいて、被写体の撮影により得られた撮影画像における被写体部分を抽出して得られる被写体画像に対応する画像データ（被写体データ）を生成する被写体抽出部６０３と、少なくとも３次元形状を示す３次元ＣＧ形状データを格納しているＣＧデータ記憶部６０４とを有している。ここで、被写体画像は、上記撮影画像における被写体部分以外の領域を透明としたものである。
【０００７】
さらに、上記画像合成装置６００は、カメラ情報計測部６０２から出力されたカメラ情報と、ＣＧデータ記憶部６０４から読み出されたＣＧ形状データに基づいてＣＧ画像データを生成するＣＧ画像生成部６０５と、該ＣＧ画像生成部６０５により生成されたＣＧ画像データと被写体抽出部６０３から出力された被写体データを合成して、上記被写体画像を３次元形状と合成して得られる合成画像に対応する画像データを出力する画像合成部６０６とを有している。
【０００８】
以上のように構成された画像合成装置の動作について以下に説明する。
上記ＣＧデータ記憶部６０４には、所定の３次元形状を表す３次元ＣＧ形状データが格納されており、上記画像合成装置６００では、この３次元ＣＧ形状データに基づいてＣＧ画像データが生成され、ＣＧ画像データと被写体データとが合成されて合成画像データが出力される。
【０００９】
すなわち、カメラ６０１では被写体の撮影が行われて実写画像データが生成され、カメラ情報計測部６０２ではカメラ６０１の位置，向き，及び視野の広さなどが計測されて、これらに対応する実測値情報を含むカメラ情報が出力される。
【００１０】
すると、被写体抽出部６０３では、カメラ６０１からの実写画像データに基づいて、被写体画像に対応する被写体データが生成され、この被写体データが画像合成部６０６に出力される。
【００１１】
一方、上記ＣＧ画像生成部６０５では、カメラ情報計測部６０２から出力されるカメラ情報に基づいて、ＣＧデータ記憶部６０４から読み出した３次元ＣＧ形状データからＣＧ画像データが生成される。具体的には、このＣＧ画像データは、カメラ情報に含まれる位置情報、向き情報、及びズーム情報の各々により定まる撮影状態，つまりカメラの視点，視線及び視野に基づいて、上記ＣＧ形状データにより表される形状を所定の平面に投影することにより得られるＣＧ画像に対応するものである。
【００１２】
そして、画像合成部６０６では、ＣＧ画像生成部６０５から出力されるＣＧ画像データと被写体抽出部６０３から出力される被写体データとが合成されて、ＣＧ画像と被写体画像の合成画像に対応する画像データが生成される。
【００１３】
【発明が解決しようとする課題】
ところが、上記従来の画像合成装置では、カメラ情報に含まれる位置情報、向き情報、及びズーム情報は、実際のカメラの位置，向き，及び視野に基づくものであるため、得られる合成画像は、撮影スタジオの広さなどカメラの移動範囲の制約を受けることとなり、カメラの移動範囲外の位置から被写体を撮影した場合の合成画像を得ることはできないという問題があった。
【００１４】
本発明は、上記のような問題点を解決するためになされたもので、被写体の画像と３次元形状のＣＧ画像との３次元画像空間上における位置関係を、実際のカメラのカメラ情報とは異なるカメラ情報に基づいて決定することができ、実際のカメラの移動範囲外の位置から被写体を撮影した場合の、該被写体画像とＣＧ画像の合成画像を得ることができる画像合成装置を得ることを目的とする。
【００１５】
【課題を解決するための手段】
この発明（請求項１）に係る画像合成装置は、被写体の撮影により撮影画像に対応する実写画像データを出力するカメラを有し、該実写画像データを所要の立体形状を表す３次元の立体形状データと合成する画像合成装置であって、上記カメラの位置，向き，及び視野の広さのうちの少なくとも１つを計測して、対応する実測値情報を上記カメラによる撮影状態を示す情報として含む第１のカメラ情報を出力するカメラ情報計測部と、仮想カメラによる撮影状態を設定する情報として、該仮想カメラの位置，向き，及び視野の広さのうちの少なくとも１つに対応する、上記実測値情報とは独立した仮想設定値情報を含む第２のカメラ情報を生成する仮想カメラ情報設定部と、上記実写画像データに基づいて、上記撮影画像における被写体部分を抽出して得られる被写体画像に対応する被写体データを生成する被写体抽出部と、上記第１及び第２のカメラ情報に基づいて、上記被写体データと上記３次元の立体形状データの合成処理を行って、上記撮影画像の被写体部分を、上記立体形状の画像と合成してなる合成画像に対応する画像データを生成する画像合成処理部とを備えたものである。
【００１６】
この発明（請求項２）は、請求項１記載の画像合成装置において、上記画像合成処理部を、情報の入力操作により、上記カメラ前方側の、該カメラから所定距離だけ離れた位置に、該カメラの正面方向に垂直な仮想平面を設定し、該カメラと仮想平面との間の距離を示す情報を、上記合成画像における被写体の奥行き位置を示す奥行き情報として出力する奥行き指示部と、上記第１のカメラ情報及び奥行き情報に基づいて、上記カメラの視野に相当する立体と上記仮想平面との交わり部分に相当する長方形の平面領域に、上記被写体画像を投影して得られる板状画像に対応する３次元の板形状データを生成する板データ生成部と、上記第２のカメラ情報に基づいて、上記板形状データ及び立体形状データに対するデータ処理を施して、上記カメラによる撮影画像の被写体部分を、上記立体形状の、上記第２のカメラ情報により設定される撮影状態に応じた画像と合成してなる合成画像に対応する画像データを生成する画像生成部とを備えた構成としたものである。
【００１７】
この発明（請求項３）は、請求項１に記載の画像合成装置において、上記画像合成処理部を、情報の入力操作により、上記カメラ前方側の、該カメラから所定距離だけ離れた位置に、該カメラの正面方向に垂直な仮想平面を設定し、該カメラと仮想平面との間の距離を示す情報を、上記合成画像における被写体の奥行き位置を示す奥行き情報として出力する奥行き指示部と、上記第１のカメラ情報及び奥行き情報に基づいて、上記カメラの視野に相当する立体と上記仮想平面との交わり部分に相当する長方形の平面領域に、上記被写体画像を投影して得られる板状画像に対応する３次元の板形状データを生成する板データ生成部と、上記第１及び第２のカメラ情報を受け、対応する実測値情報と仮想設定値情報の一方を選択して選択値情報を出力する情報選択処理、及び対応する実測値情報と仮想計測値情報を加工して、対応する加工値情報を生成する加工処理の少なくとも一方の処理を行って、上記選択値情報あるいは加工値情報を含む第３のカメラ情報を出力するカメラ情報加工選択部と、上記第３のカメラ情報に基づいて、上記板形状データ及び立体形状データに対するデータ処理を施して、上記カメラによる撮影画像の被写体部分を、上記立体形状の、上記第３のカメラ情報により設定される撮影状態に応じた画像と合成してなる合成画像に対応する画像データを生成する画像生成部とを有する構成としたものである。
【００１８】
この発明（請求項４）は、請求項３記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を、第３のカメラ情報を構成するズーム情報として出力するズーム情報選択部と、上記第２のカメラ情報に含まれる、仮想カメラの向きを示す向き情報と、上記向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を第３のカメラ情報を構成する向き情報として出力する向き情報選択部とを備え、上記第３のカメラ情報として、上記向き情報選択部にて選択された向き情報、上記ズーム情報選択部にて選択されたズーム情報、及び上記第２のカメラ情報に含まれる位置情報を出力する構成としたものである。
【００１９】
この発明（請求項５）は、請求項３記載の画像合成装置において、上記カメラ情報加工選択部を、上記第３のカメラ情報として、上記第１のカメラ情報に含まれるカメラの視野の広さを示すズーム情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報及び上記仮想カメラの向きを示す向き情報を出力する構成としたものである。
【００２０】
この発明（請求項６）は、請求項３記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部を備え、上記第３のカメラ情報として、上記変更向き情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報及び上記仮想カメラの視野の広さを示すズーム情報を出力する構成としたものである。
【００２１】
この発明（請求項７）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部を備え、上記第３のカメラ情報として、上記変更向き情報とともに、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２２】
この発明（請求項８）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、前記上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を出力するズーム情報選択部を備え、上記第３のカメラ情報として、該ズーム情報選択部にて選択されたズーム情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報及び上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２３】
この発明（請求項９）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を出力するズーム情報選択部とを備え、上記第３のカメラ情報として、上記変更向き情報，上記ズーム情報選択部にて選択されたズーム情報，及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２４】
この発明（請求項１０）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報と、上記カメラ向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を出力する向き情報選択部とを備え、上記第３のカメラ情報として、上記向き情報選択部にて選択された向き情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報及び上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２５】
この発明（請求項１１）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報と、上記カメラ向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を出力する向き情報選択部とを備え、上記第３のカメラ情報として、上記変更向き情報とともに、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２６】
【発明の実施の形態】
（実施の形態１）
図１は、本発明の実施の形態１による画像合成装置の構成を示すブロック図である。
この実施の形態１の画像合成装置１００は、被写体の画像と３次元形状のＣＧ画像との３次元画像空間上での位置関係を、実際のカメラとは異なる仮想カメラのカメラ情報により決定して、実際のカメラの移動範囲外の位置から被写体を見たときの、被写体画像とＣＧ画像の合成画像を得るができるものである。
【００２７】
つまり、この実施の形態１の画像合成装置１００は、被写体の撮影により撮影画像に対応する画像データ（実写画像データ）を出力するカメラ１０１と、上記カメラ１０１の位置，視線の向き，及び視野の広さ（視野範囲）を計測して、それぞれの実測値を示す実測値情報（位置情報，向き情報，ズーム情報）を含むカメラ情報（第１のカメラ情報）Ｓ１を実カメラ情報として出力するカメラ情報計測部１０２と、上記実写画像データに基づいて、撮影画像から被写体部分のみを抽出した被写体画像に対応する画像データ（被写体データ）を生成する被写体抽出部１０３と、３次元画像空間にて立体形状を表す３次元ＣＧ形状データを格納しているＣＧデータ記憶部１０４とを有している。なお、上記カメラ１０１，カメラ情報計測部１０２，被写体抽出部１０３，及びＣＧデータ記憶部１０４は、従来の従来の画像合成装置における対応する部分６０１，６０２，６０３，６０４と全く同一の構成となっている。
【００２８】
そして、この実施の形態１の画像合成装置１００は、上記カメラ４０１の前方側にカメラ視線と垂直な仮想平面を設定し、カメラからこの仮想平面までの距離を示す情報を、合成画像における被写体の奥行きを指示する奥行き指示情報として出力する奥行き指示部１０５と、上記実カメラ情報と奥行き指示情報に基づいて被写体データを処理して、上記被写体画像を、３次元画像空間における長方形画面に投影して得られる板状画像に対応する３次元形状データを板形状ＣＧデータとして生成する板データ生成部１０７とを有している。
【００２９】
ここで、上記長方形画面は、上記カメラの前方に上記仮想平面を配置したとき、上記カメラの視野を形成する立体と上記仮想平面との交わり部分である平面領域（２次元画像空間）である。また、上記投影画像は、上記被写体画像を、上記長方形画面を示す３次元画像上に、該長方形画面とサイズが一致するよう重ね合わせて得られる画像であり、この投影画像では、上記長方形画面を示す画像表面の模様となっている。
【００３０】
さらに、この実施の形態１の画像合成装置１００は、カメラ位置，カメラの向き，及びカメラの視野の広さが実際のカメラとは異なる仮想カメラのカメラ情報（第２のカメラ情報）Ｓ２を仮想カメラ情報として出力する仮想カメラ情報指示部１０６と、該仮想カメラ情報Ｓ２に基づいて、板データ生成部１０７により生成された板形状ＣＧデータ、及びＣＧデータ記憶部１０４に格納されている３次元形状ＣＧデータに対して画像処理を施し、この画像処理が施された板形状ＣＧデータ及び３次元形状ＣＧデータを合成して得られる合成画像データを出力するＣＧ画像生成部１０８とを有している。この合成画像データは、仮想カメラ情報により指定される撮影状態で、所定の位置関係を有する被写体及びその周辺の立体を撮影して得られる画像を表示するための画像データである。
【００３１】
ここで、上記仮想カメラ情報指示部１０６は、仮想カメラ情報をユーザーの操作に応じて出力する構成としているが、仮想カメラ情報指示部１０６の構成はこれに限るものではなく、例えば、仮想カメラ情報指示部１０６は、予め設定された制御情報に応じて時間の経過とともに変化する仮想カメラ情報を出力するものであってもよい。
【００３２】
次に、以上のように構成される画像合成装置１００の動作について説明する。
まず、従来の画像合成装置６００と同様、カメラ１０１では、被写体の撮影により実写画像データが出力され、カメラ情報計測部１０２では、実際のカメラ１０１の位置，視線の向き，及び視野の広さなどが計測され、これらに対応する位置情報，向き情報，及びズーム情報を含むカメラ情報（第１のカメラ情報）Ｓ１が実カメラ情報として板データ生成部１０７に出力される。また、被写体抽出部１０３では、カメラ１０１からの実写画像データに基づいて、撮影画像から被写体部分を抽出して得られる被写体画像に対応する画像データ（被写体データ）が生成され、この被写体データが板データ生成部１０７に出力される。
【００３３】
すると、板データ生成部１０７では、被写体抽出部１０３からの被写体データ，カメラ情報計測部１０２での計測により得られた実カメラ情報Ｓ１及び奥行き指示部１０５から出力される奥行き情報に基づいて、３次元画像空間における板状領域の画像を示す板形状ＣＧデータが生成される。
【００３４】
ここで、板状領域の画像は、カメラ１０１の視野を形成する立体と、カメラ視線に垂直な仮想平面との交わり部分である長方形画面に、被写体画像を投影して表面模様として貼り付けて得られるものである。
【００３５】
その後、ＣＧ画像生成部１０８では、板データ生成部１０７により生成された板形状ＣＧデータ、及びＣＧデータ記憶部１０４に格納されている記録ＣＧデータに対して画像処理が施され、この画像処理が施された板形状ＣＧデータ及び記録形状ＣＧデータが合成されて合成画像データが出力される。
【００３６】
図２は、板形状ＣＧデータの生成処理について説明するための図である。
図２(a)は、実際のスタジオ環境でのカメラ１０１と被写体Ｈである人物との位置関係を示す図である。図２(a)に示すようにカメラ１０１と被写体Ｈとの距離はｄであり、カメラを頂点とする、破線部で示された無限に伸びる四角錐が、カメラの視野Ｒｓを形成する立体である。なお、図２(a)中、Ｆｇはカメラ１０１により被写体を撮影して得られる撮影画像、Ｒｐは、被写体Ｈの中心を含む、カメラ視線Ｃａの方向と垂直な平面である。
【００３７】
図２(b)は板データ生成部での板形状ＣＧデータの生成処理を概念的に説明するための図である。
この板データ生成部１０７では、カメラ情報計測部１０２からの実カメラ情報Ｓ１に基づいてカメラ１０１の視野Ｒｓと同一サイズの仮想視野Ｉｓが求められ、奥行き指示部１０５からの奥行き情報に基づいて、仮想視野Ｉｓを形成する立体（四角錐）と、その頂点Ｃ１ｂから距離ｄだけ離れて位置するカメラ視線の方向Ｃ１ａと垂直な仮想平面との交わり部である長方形画面Ｓｒの画像を示す画像データが生成される。そして、この長方形画面Ｓｒの画像データと被写体データに基づいて、長方形画面の画像上に被写体画像を投影して得られる、被写体画像を表面模様とする板状画像に対応する板形状データが生成される。
【００３８】
上記被写体画像Ｈｇの投影の際には、上記長方形画面Ｓｒの左上頂点が、上記被写体画像Ｈｇの左上隅の画素に対応づけられる。同様に上記長方形画面Ｓｒの右上、右下、左下の頂点が、上記被写体画像Ｈｇの右上隅、右下隅、左下隅の画素に対応付けられる。これにより、撮影画像Ｆｇにおける被写体Ｈ以外の部分を透明にした被写体画像Ｈｇを表面模様とする、３次元画像空間における板状画像を表す板形状ＣＧデータが得られる。
【００３９】
なお、図２(b)中、Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃは実カメラ情報Ｓ１による視線方向，位置，視野の広さ、Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃは仮想カメラ情報Ｓ２による視線方向，位置，視野の広さである。また、Ｓcg１，Ｓcg２はそれぞれ３次元形状の画像である。
【００４０】
図３は仮想カメラ情報指示部１０６からのカメラ情報に基づいて生成したＣＧ合成画像の一例を示す模式図である。
【００４１】
このＣＧ合成画像Ｉｃでは、被写体の奥行きの深さは、実際のカメラ１０１と被写体との距離ｄに相当するものとなっており、また、被写体画像Ｈｇ及びその背景画像，つまりこの被写体周辺の３次元形状を有する物体の画像Ｓcg１，Ｓcg２などを含む画像は、被写体を仮想カメラの視点に配置し、仮想カメラの視線及び視野の広さでもって撮影した場合に得られる撮影画像と同様なものとなっている。
【００４２】
このように本実施の形態１の画像合成装置では、カメラにより被写体を撮影して得られる実写画像データを、撮影画像の被写体以外の部分が透明となるよう処理して、被写体画像に対応する被写体データを生成する被写体抽出部１０３と、カメラ視野における所定の奥行き位置に設定された、カメラ視線と垂直な仮想平面に被写体画像を投影して得られる投影画像を表す３次元の板形状データを生成する板データ生成部１０７と、３次元形状を表す３次元ＣＧデータを記録したＣＧデータ記録部１０４とを備え、３次元の板形状データ及び３次元ＣＧデータに対して、カメラの仮想位置，仮想視点，仮想視野範囲を示す仮想カメラ情報Ｓ２に基づいて画像処理を施して、３次元形状及び投影画像を合成して得られる合成画像のデータを作成するようにしたので、撮影画像における被写体部分と３次元形状の合成画像として、実際のカメラと被写体との位置関係とは異なる位置関係を満たす合成画像を得ることができる。この結果、例えば、実際のカメラの移動範囲外の位置から被写体を撮影した場合の、該被写体とＣＧ画像の合成画像を得ることができる。
【００４３】
なお、本実施の形態１の画像合成装置では、板データ生成部１０７にて、上記３次元画像空間における長方形画面に被写体画像を貼り付けた板形状ＣＧデータを作成するようにしているが、板データ生成部１０７では、３次元画像空間における長方形画面の画像を表す画像データのみを生成し、画像生成部１０８にて、被写体抽出部１０３により抽出された被写体画像を上記長方形画面の画像に貼り付ける処理を行って板形状ＣＧデータを出力するようにしてもよい。
【００４４】
（実施の形態２）
図４は、本発明の実施の形態２による画像合成装置を説明するためのブロック図である。
この実施の形態２の画像合成装置４００は、上記実施の形態１の画像合成装置１００の構成に加えて、カメラ情報としての位置情報，視野情報，視線情報を、実際のカメラに対応するものと仮想カメラとに対応するものの間で選択して加工するカメラ情報加工選択部４０９を備えたものである。
【００４５】
すなわち、この実施の形態２の画像合成装置４００は、被写体の撮影により実写画像データを出力するカメラ４０１と、上記カメラ４０１の位置，視線の向き，及び視野の広さ（視野範囲）を計測して、位置情報，向き情報，ズーム情報を含むカメラ情報（第１のカメラ情報）を実カメラ情報として出力するカメラ情報計測部４０２と、上記実写画像データに基づいて、撮影画像から被写体部分のみを抽出した被写体画像に対応する画像データ（被写体データ）を生成する被写体抽出部４０３と、３次元画像空間にて立体形状を表す３次元ＣＧ形状データを格納しているＣＧデータ記憶部４０４とを有している。
【００４６】
また、この実施の形態２の画像合成装置４００は、上記カメラ４０１の前方側にカメラ視線と垂直な仮想平面を設定し、カメラからこの仮想平面までの距離を示す情報を、合成画像における被写体の奥行きを指示する奥行き指示情報として出力する奥行き指示部４０５と、上記実カメラ情報Ｓ１と奥行き指示情報に基づいて被写体データを処理して、上記被写体画像を長方形画面に投影して得られる、３次元画像空間における板状画像に対応する３次元形状データを板形状ＣＧデータとして生成する板データ生成部４０７とを有している。
【００４７】
ここで、上記長方形画面は、上記カメラの前方に上記仮想平面を配置したとき、上記カメラの視野を形成する立体と上記仮想平面との交わり部である平面領域（２次元画像空間）である。また、上記投影画像は、上記被写体画像を、上記長方形画面を示す３次元画像上に、該長方形画面とサイズが一致するよう重ね合わせて得られる画像であり、この投影画像では、上記長方形画面を示す画像表面の模様となっている。
【００４８】
さらに、この実施の形態２の画像合成装置４００は、カメラ位置，カメラの向き，及びカメラの視野の広さが実際のカメラとは異なる仮想カメラのカメラ情報（第２のカメラ情報）Ｓ２を仮想カメラ情報出力する仮想カメラ情報指示部４０６を有している。
【００４９】
なお、上記カメラ４０１，カメラ情報計測部４０２，被写体抽出部４０３，ＣＧデータ記憶部４０４，奥行き指示部４０５，仮想カメラ情報指示部４０６，板データ生成部４０７は、実施の形態１の画像合成装置１００における対応する部分１０１，１０２，１０３，１０４，１０５，１０６，及び１０７と全く同一の構成となっている。
【００５０】
そして、この実施の形態２の画像合成装置４００は、実カメラ情報Ｓ１と仮想カメラ情報Ｓ２との間で、位置情報，視野情報，及び視線情報の選択、及びこれらの情報うち所要のものの加工を行って、処理済カメラ情報として第３のカメラ情報Ｓ３を出力するカメラ情報加工選択部４０９を有している。
【００５１】
さらに、この実施の形態２の画像合成装置４００は、上記カメラ情報加工選択部４０９から出力されたカメラ情報Ｓ３に基づいて、板データ生成部４０７から出力された板形状ＣＧデータ、及びＣＧデータ記憶部４０４に格納されている立体形状ＣＧデータに対して画像処理を施し、この画像処理が施された板形状ＣＧデータ及び立体形状ＣＧデータを合成して得られる合成画像データを出力するＣＧ画像生成部４０８とを有している。
【００５２】
ここで、上記仮想カメラ情報指示部４０６は、仮想カメラ情報をユーザーの操作に応じて出力する構成としているが、仮想カメラ情報指示部４０６の構成はこれに限るものではなく、例えば、仮想カメラ情報指示部４０６は、予め設定された制御情報に応じて時間の経過とともに変化する仮想カメラ情報を出力するものであってもよい。
【００５３】
図５は、カメラ情報加工選択部４０９の具体的な構成を示す図である。
このカメラ情報加工選択部４０９は、上記実カメラ情報Ｓ１に含まれる向き情報Ｓ１ａに、仮想カメラ情報Ｓ２に含まれる向き情報Ｓ２ａを加えて得れらる変更済向き情報Ｓ１２ａを出力するカメラ向き変更部４１０と、上記実カメラ情報Ｓ１に含まれるズーム情報Ｓ１ｃと仮想カメラ情報Ｓ２に含まれるズーム情報Ｓ２ｃの一方を選択して、選択ズーム情報Ｓ３ｃとして出力するズーム情報選択部４１１と、実カメラ情報Ｓ１における向き情報Ｓ１ａと変更向き情報Ｓ１２ａの一方を選択して、選択向き情報Ｓ３ａとして出力するカメラ向き情報選択部４１２とを有している。なお、Ｓ３はこのカメラ情報加工選択部４０９から出力されるカメラ情報で、仮想カメラ情報Ｓ２における位置情報Ｓ２ｂと同一の位置情報Ｓ３ｂ、選択向き情報Ｓ３ａ、及び選択ズーム情報Ｓ３ｃとから構成されている。
【００５４】
次に以上のように構成される画像合成装置４００の動作について説明する。
この実施の形態２の画像合成装置４００の動作は、カメラ情報加工選択部４０９の動作以外は実施の形態１の画像合成装置１００のものと全く同一である。
まず、カメラ４０１では撮影により実写画像データが生成され、被写体抽出部４０３では、実写画像データに基づいて被写体画像を表す被写体データが生成される。このとき、カメラ情報計測部４０２では、カメラ４０１の位置，視線の方向，視野範囲が測定され、実カメラ情報Ｓ１が板データ生成部４０７及びカメラ情報加工選択部４０９に出力される。また、奥行き指示部４０５からは、合成画像における被写体の奥行き位置を指示する奥行き情報が出力され、仮想カメラ情報指示部４０６からは仮想カメラ情報Ｓ２が出力される。
【００５５】
すると、板データ生成部４０７では、実施の形態１の画像合成装置１００における板データ生成部１０７と同様に、実カメラ情報Ｓ１及び奥行き情報に基づいて、被写体画像を３次元画像空間における長方形画面上に投影して得られる投影画像を表す板形状データが生成され、この板形状データがＣＧ画像生成部４０８に出力される。
【００５６】
そして、上記カメラ情報加工選択部４０９では、実カメラ情報Ｓ１及び仮想カメラ情報Ｓ２に基づいて、カメラ視線情報Ｓ１ａ，Ｓ２ａ及びカメラ視野情報Ｓ１ｃ，Ｓ２ｃに対する処理が行われ、処理済カメラ情報Ｓ３がＣＧ画像生成部４０８に出力される。
【００５７】
つまり、カメラ情報加工選択部４０９では、カメラ情報変更部４１０にて、実カメラ情報Ｓ１における向き情報Ｓ１ａに仮想カメラ情報Ｓ２における向き情報Ｓ２ａを加える処理が行われ、その加算結果が変更済向き情報Ｓ１２ａとして出力される。そして、カメラ向き情報選択部４１２では、仮想カメラ情報Ｓ２における向き情報Ｓ２ａと変更済向き情報Ｓ１２ａの一方が選択され、選択された情報がカメラ情報Ｓ３を構成する向き情報Ｓ３ａとして出力される。また、ズーム情報選択部４１１では、仮想カメラ情報Ｓ２におけるズーム情報Ｓ２ｃと実カメラ情報Ｓ１におけるズーム情報Ｓ１ｃの一方が選択され、選択されたズーム情報がカメラ情報Ｓ３を構成するズーム情報Ｓ３ｃとして出力される。また、仮想カメラ情報Ｓ２の位置情報Ｓ２ｂはそのまま第３のカメラ情報Ｓ３を構成する位置情報Ｓ３ｂとして出力される。
【００５８】
そしてさらに、上記ＣＧ画像生成部４０８では、上記カメラ情報加工選択部４０９から出力された第３のカメラ情報Ｓ３に基づいて、板データ生成部４０７から出力された板形状ＣＧデータ、及びＣＧデータ記憶部４０４から読み出された３次元形状ＣＧデータに対して画像処理が施され、この画像処理が施された板形状ＣＧデータ及び立体形状ＣＧデータを合成して得られる合成画像データが出力される。
【００５９】
このように本実施の形態２の画像合成装置４００では、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２とカメラ情報計測部４０２から出力された実カメラ情報Ｓ１に対して情報選択及び加工処理を施してカメラ情報Ｓ３を出力するカメラ情報加工選択部４０９を備え、上記カメラ情報Ｓ３に基づいて、３次元の板形状データ及び３次元ＣＧデータに対して、仮想カメラ情報Ｓ２に基づいた画像処理を施して、撮影画像における被写体画像と３次元形状を合成して得られる合成画像のデータを作成するようにしたので、撮影画像における被写体画像と３次元形状の合成画像として、カメラの仮想位置，仮想視点，仮想視野が調整された、実際のカメラと被写体との位置関係とは異なる種々の位置関係を満たす合成画像を簡単に得ることができる。
【００６０】
例えば、仮想カメラのカメラ情報Ｓ２に実際のカメラの向きの変化を反映させたり、仮想カメラのカメラ情報Ｓ２におけるズーム情報Ｓ２ａを実カメラ情報Ｓ１のズーム情報Ｓ１ａにより調整することができる。
【００６１】
なお、上記実施の形態２の画像合成装置４００では、カメラ情報選択加工部４０９として、カメラ情報変更部４１０、ズーム情報選択部４１１、及びカメラ向き情報選択部４１２により構成されているものを示したが、上記カメラ情報選択加工部４０９はこれに限るものではなく、カメラ情報加工選択部４０９は、上記カメラ情報変更部４１０、ズーム情報選択部４１１、及びカメラ向き情報選択部４１２のうちの少なくとも１つを有するものであればよい。
【００６２】
つまり、カメラ情報加工選択部４０９は、カメラ向き情報変更部４１０のみから構成してもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として、少なくともカメラ向き情報変更部４１０から出力された向き情報Ｓ１２ａとともに、仮想カメラ情報Ｓ２の位置情報Ｓ２ｂ及びズーム情報Ｓ２ｃを出力する。また、処理済カメラ情報Ｓ３におけるズーム情報Ｓ３ｃとしてカメラ情報計測部４０２から出力される実カメラ情報Ｓ１のズーム情報Ｓ１ｃを出力することも可能である。
【００６３】
また、カメラ情報加工選択部４０９は、ズーム情報選択部４１１のみを有する構成としてもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として、少なくともズーム情報選択部４１１から出力されたズーム情報Ｓ３ｃと、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２の向き情報Ｓ２ａ及び位置情報Ｓ２ｂを出力する。
【００６４】
また、カメラ情報加工選択部４０９は、カメラ向き情報変更部４１０とズーム情報選択部４１１のみを有する構成としてもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として少なくともカメラ向き情報変更部４１０から出力された変更向き情報Ｓ１２ａ及びズーム情報選択部４１１から出力されたズーム情報Ｓ３ｃとともに、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２における位置情報Ｓ２ｂを出力する。
【００６５】
また、カメラ情報加工選択部４０９は、カメラ向き情報変更部４１０とカメラ向き情報選択部４１２のみを有する構成としてもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として、少なくともカメラ向き情報選択部４１２から出力される選択向き情報Ｓ３ａとともに、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２におけるズーム情報Ｓ２ｃ及び位置情報Ｓ２ｂを出力する。なお、ここでカメラ情報Ｓ３のズーム情報Ｓ３ｃとしてカメラ情報計測部４０２から出力される実カメラ情報Ｓ１におけるズーム情報Ｓ１ｃを出力するようにすることもできる。
【００６６】
【発明の効果】
以上のように本発明に係る画像合成装置によれば、実際のカメラの撮影状態を示す第１のカメラ情報を出力するカメラ情報計測部と、仮想カメラによる撮影状態を示す、上記第１のカメラ情報とは独立した第２のカメラ情報を生成する仮想カメラ情報設定部とを備え、上記第１及び第２のカメラ情報に基づいて、被写体の撮影により得られた撮影画像の被写体部分に対応する被写体データを、立体形状を示す３次元形状データと合成して、上記被写体部分を立体形状の合成画像に対応する画像データを生成するので、被写体の画像と３次元形状のＣＧ画像との３次元画像空間上における位置関係を、実際のカメラの撮影状態とは異なる撮影状態に基づいて決定することができ、実際のカメラの移動範囲外の位置から被写体を撮影した場合の、該被写体画像とＣＧ画像の合成画像を得ることができる。
【００６７】
本発明に係る画像合成装置によれば、実際のカメラの撮影状態を示す第１のカメラ情報を出力するカメラ情報計測部と、仮想カメラによる撮影状態を示す、上記第１のカメラ情報とは独立した第２のカメラ情報を生成する仮想カメラ情報設定部とを備え、上記第１及び第２のカメラ情報に基づいて、これらのカメラ情報とは異なる第３のカメラ情報を生成し、上記第３のカメラ情報に基づいて、被写体の撮影により得られた撮影画像の被写体部分に対応する被写体データを、立体形状を示す３次元形状データと合成して、上記被写体部分を立体形状の合成画像に対応する画像データを生成するので、撮影画像における被写体画像と３次元形状の合成画像として、第１及び第２のカメラ情報を適宜調整して、実際のカメラと被写体との位置関係とは異なる種々の位置関係を満たす合成画像に対応する画像データを簡単に生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像合成装置を説明するためのブロック図である。
【図２】上記実施の形態１の画像合成装置を構成する板データ生成部の処理を説明するための模式図であり、図(a)は、カメラによる被写体の撮影状態を示し、図(b)は、３次元画像空間における平板状領域に被写体画像を貼り付ける処理を示している。
【図３】上記実施の形態１の画像合成装置により生成された、仮想カメラのカメラ情報に基づく合成画像を示す模式図である。
【図４】本発明の実施の形態２による画像合成装置を説明するためのブロック図である。
【図５】上記実施の形態２の画像合成装置を構成するカメラ情報加工選択部の具体的な構成を示すブロック図である。
【図６】従来の画像合成装置を説明するためのブロック図である。
【符号の説明】
１００、４００ 画像合成装置
１０１、４０１、６０１ カメラ
１０２、４０２、６０２ カメラ情報計測部
１０３、４０３、６０３ 被写体抽出部
１０４、４０４、６０４ ＣＧデータ記憶部
１０５、４０５ 奥行き指示部
１０６、４０６ 仮想カメラ情報指示部
１０７、４０７ 板データ生成部
１０８、４０８、６０５ ＣＧ画像生成部
４０９ カメラ情報加工選択部
４１０ カメラ向き情報変更部
４１１ ズーム情報選択部
４１２ カメラ向き情報選択部
６０６ 画像合成部
Ｓ１ カメラ情報計測部から出力されたカメラ情報（第１のカメラ情報）
Ｓ２ 仮想カメラ情報指示部から出力されたカメラ情報（第２のカメラ情報）
Ｓ３ カメラ情報加工選択部から出力されたカメラ情報（第３のカメラ情報）
【発明の属する技術分野】
本発明は画像合成装置に関し、特に、予め用意された３次元形状データから得られる画像を、カメラ撮影により得られる実写画像と合成する画像合成装置に関するものである。
【０００２】
【従来の技術】
映画や放送の分野において、新しい映像表現の手段として、被写体のカメラ撮影により得られた被写体画像と、３次元形状データを用いたコンピュータグラフィックス処理（以下、ＣＧと略す）により生成したＣＧ画像とを合成して、３次元画像を表示する手法が利用されている。
【０００３】
このような画像合成方法では、カメラの位置などを示す情報に基づいて、ＣＧ画像を生成することにより、カメラを移動しても、合成画像（３次元画像空間）上にて被写体画像と３次元形状のＣＧ画像との位置関係が保たれることとなり、被写体画像とＣＧ画像とが同一の世界（３次元空間）にあるかのような印象を与える合成画像を得ることができる。
【０００４】
従って、このような画像合成方法では、合成画像における、被写体の周辺に位置する現実の物体の画像の代わりに、３次元形状データから得られる物体の画像を用いることができる。具体的には、実際の舞台装置により表される被写体の背景を、３次元形状データから得られる背景画像に置き換えたり、３次元形状データから得られる人型などのキャラクタの画像を操作して実写人物との掛け合いを行ったりするという新しい画像の表現形態が実現可能になる。
【０００５】
以下、図面を参照しながら、従来の画像合成装置の一例について説明する。
図６は従来の画像合成装置を説明するためのブロック図である。
従来の画像合成装置６００は、被写体の撮影により撮影画像に対応する実写画像データを出力するカメラ６０１と、基準位置に対する上記カメラ６０１の位置，基準方向に対するカメラ６０１の向き（以下、カメラ視線の方向ともいう。），該カメラ６０１の基準視野の広さに対する視野の広さを計測して、対応する実測値を示す位置情報，向き情報，ズーム情報を含むカメラ情報を出力するカメラ情報計測部６０２とを有している。ここで、カメラ視線の方向は、カメラと被写体とを結ぶ直線と平行な方向であり、また、上記各実測値を示す位置情報，向き情報，ズーム情報は、カメラによる撮影状態を示す情報である。
【０００６】
また、上記画像合成装置６００は、カメラ６０１からの実写画像データに基づいて、被写体の撮影により得られた撮影画像における被写体部分を抽出して得られる被写体画像に対応する画像データ（被写体データ）を生成する被写体抽出部６０３と、少なくとも３次元形状を示す３次元ＣＧ形状データを格納しているＣＧデータ記憶部６０４とを有している。ここで、被写体画像は、上記撮影画像における被写体部分以外の領域を透明としたものである。
【０００７】
さらに、上記画像合成装置６００は、カメラ情報計測部６０２から出力されたカメラ情報と、ＣＧデータ記憶部６０４から読み出されたＣＧ形状データに基づいてＣＧ画像データを生成するＣＧ画像生成部６０５と、該ＣＧ画像生成部６０５により生成されたＣＧ画像データと被写体抽出部６０３から出力された被写体データを合成して、上記被写体画像を３次元形状と合成して得られる合成画像に対応する画像データを出力する画像合成部６０６とを有している。
【０００８】
以上のように構成された画像合成装置の動作について以下に説明する。
上記ＣＧデータ記憶部６０４には、所定の３次元形状を表す３次元ＣＧ形状データが格納されており、上記画像合成装置６００では、この３次元ＣＧ形状データに基づいてＣＧ画像データが生成され、ＣＧ画像データと被写体データとが合成されて合成画像データが出力される。
【０００９】
すなわち、カメラ６０１では被写体の撮影が行われて実写画像データが生成され、カメラ情報計測部６０２ではカメラ６０１の位置，向き，及び視野の広さなどが計測されて、これらに対応する実測値情報を含むカメラ情報が出力される。
【００１０】
すると、被写体抽出部６０３では、カメラ６０１からの実写画像データに基づいて、被写体画像に対応する被写体データが生成され、この被写体データが画像合成部６０６に出力される。
【００１１】
一方、上記ＣＧ画像生成部６０５では、カメラ情報計測部６０２から出力されるカメラ情報に基づいて、ＣＧデータ記憶部６０４から読み出した３次元ＣＧ形状データからＣＧ画像データが生成される。具体的には、このＣＧ画像データは、カメラ情報に含まれる位置情報、向き情報、及びズーム情報の各々により定まる撮影状態，つまりカメラの視点，視線及び視野に基づいて、上記ＣＧ形状データにより表される形状を所定の平面に投影することにより得られるＣＧ画像に対応するものである。
【００１２】
そして、画像合成部６０６では、ＣＧ画像生成部６０５から出力されるＣＧ画像データと被写体抽出部６０３から出力される被写体データとが合成されて、ＣＧ画像と被写体画像の合成画像に対応する画像データが生成される。
【００１３】
【発明が解決しようとする課題】
ところが、上記従来の画像合成装置では、カメラ情報に含まれる位置情報、向き情報、及びズーム情報は、実際のカメラの位置，向き，及び視野に基づくものであるため、得られる合成画像は、撮影スタジオの広さなどカメラの移動範囲の制約を受けることとなり、カメラの移動範囲外の位置から被写体を撮影した場合の合成画像を得ることはできないという問題があった。
【００１４】
本発明は、上記のような問題点を解決するためになされたもので、被写体の画像と３次元形状のＣＧ画像との３次元画像空間上における位置関係を、実際のカメラのカメラ情報とは異なるカメラ情報に基づいて決定することができ、実際のカメラの移動範囲外の位置から被写体を撮影した場合の、該被写体画像とＣＧ画像の合成画像を得ることができる画像合成装置を得ることを目的とする。
【００１５】
【課題を解決するための手段】
この発明（請求項１）に係る画像合成装置は、被写体の撮影により撮影画像に対応する実写画像データを出力するカメラを有し、該実写画像データを所要の立体形状を表す３次元の立体形状データと合成する画像合成装置であって、上記カメラの位置，向き，及び視野の広さのうちの少なくとも１つを計測して、対応する実測値情報を上記カメラによる撮影状態を示す情報として含む第１のカメラ情報を出力するカメラ情報計測部と、仮想カメラによる撮影状態を設定する情報として、該仮想カメラの位置，向き，及び視野の広さのうちの少なくとも１つに対応する、上記実測値情報とは独立した仮想設定値情報を含む第２のカメラ情報を生成する仮想カメラ情報設定部と、上記実写画像データに基づいて、上記撮影画像における被写体部分を抽出して得られる被写体画像に対応する被写体データを生成する被写体抽出部と、上記第１及び第２のカメラ情報に基づいて、上記被写体データと上記３次元の立体形状データの合成処理を行って、上記撮影画像の被写体部分を、上記立体形状の画像と合成してなる合成画像に対応する画像データを生成する画像合成処理部とを備えたものである。
【００１６】
この発明（請求項２）は、請求項１記載の画像合成装置において、上記画像合成処理部を、情報の入力操作により、上記カメラ前方側の、該カメラから所定距離だけ離れた位置に、該カメラの正面方向に垂直な仮想平面を設定し、該カメラと仮想平面との間の距離を示す情報を、上記合成画像における被写体の奥行き位置を示す奥行き情報として出力する奥行き指示部と、上記第１のカメラ情報及び奥行き情報に基づいて、上記カメラの視野に相当する立体と上記仮想平面との交わり部分に相当する長方形の平面領域に、上記被写体画像を投影して得られる板状画像に対応する３次元の板形状データを生成する板データ生成部と、上記第２のカメラ情報に基づいて、上記板形状データ及び立体形状データに対するデータ処理を施して、上記カメラによる撮影画像の被写体部分を、上記立体形状の、上記第２のカメラ情報により設定される撮影状態に応じた画像と合成してなる合成画像に対応する画像データを生成する画像生成部とを備えた構成としたものである。
【００１７】
この発明（請求項３）は、請求項１に記載の画像合成装置において、上記画像合成処理部を、情報の入力操作により、上記カメラ前方側の、該カメラから所定距離だけ離れた位置に、該カメラの正面方向に垂直な仮想平面を設定し、該カメラと仮想平面との間の距離を示す情報を、上記合成画像における被写体の奥行き位置を示す奥行き情報として出力する奥行き指示部と、上記第１のカメラ情報及び奥行き情報に基づいて、上記カメラの視野に相当する立体と上記仮想平面との交わり部分に相当する長方形の平面領域に、上記被写体画像を投影して得られる板状画像に対応する３次元の板形状データを生成する板データ生成部と、上記第１及び第２のカメラ情報を受け、対応する実測値情報と仮想設定値情報の一方を選択して選択値情報を出力する情報選択処理、及び対応する実測値情報と仮想計測値情報を加工して、対応する加工値情報を生成する加工処理の少なくとも一方の処理を行って、上記選択値情報あるいは加工値情報を含む第３のカメラ情報を出力するカメラ情報加工選択部と、上記第３のカメラ情報に基づいて、上記板形状データ及び立体形状データに対するデータ処理を施して、上記カメラによる撮影画像の被写体部分を、上記立体形状の、上記第３のカメラ情報により設定される撮影状態に応じた画像と合成してなる合成画像に対応する画像データを生成する画像生成部とを有する構成としたものである。
【００１８】
この発明（請求項４）は、請求項３記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を、第３のカメラ情報を構成するズーム情報として出力するズーム情報選択部と、上記第２のカメラ情報に含まれる、仮想カメラの向きを示す向き情報と、上記向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を第３のカメラ情報を構成する向き情報として出力する向き情報選択部とを備え、上記第３のカメラ情報として、上記向き情報選択部にて選択された向き情報、上記ズーム情報選択部にて選択されたズーム情報、及び上記第２のカメラ情報に含まれる位置情報を出力する構成としたものである。
【００１９】
この発明（請求項５）は、請求項３記載の画像合成装置において、上記カメラ情報加工選択部を、上記第３のカメラ情報として、上記第１のカメラ情報に含まれるカメラの視野の広さを示すズーム情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報及び上記仮想カメラの向きを示す向き情報を出力する構成としたものである。
【００２０】
この発明（請求項６）は、請求項３記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部を備え、上記第３のカメラ情報として、上記変更向き情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報及び上記仮想カメラの視野の広さを示すズーム情報を出力する構成としたものである。
【００２１】
この発明（請求項７）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部を備え、上記第３のカメラ情報として、上記変更向き情報とともに、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２２】
この発明（請求項８）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、前記上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を出力するズーム情報選択部を備え、上記第３のカメラ情報として、該ズーム情報選択部にて選択されたズーム情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報及び上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２３】
この発明（請求項９）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を出力するズーム情報選択部とを備え、上記第３のカメラ情報として、上記変更向き情報，上記ズーム情報選択部にて選択されたズーム情報，及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２４】
この発明（請求項１０）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報と、上記カメラ向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を出力する向き情報選択部とを備え、上記第３のカメラ情報として、上記向き情報選択部にて選択された向き情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報及び上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２５】
この発明（請求項１１）は、請求項３に記載の画像合成装置において、上記カメラ情報加工選択部を、上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報と、上記カメラ向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を出力する向き情報選択部とを備え、上記第３のカメラ情報として、上記変更向き情報とともに、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力する構成としたものである。
【００２６】
【発明の実施の形態】
（実施の形態１）
図１は、本発明の実施の形態１による画像合成装置の構成を示すブロック図である。
この実施の形態１の画像合成装置１００は、被写体の画像と３次元形状のＣＧ画像との３次元画像空間上での位置関係を、実際のカメラとは異なる仮想カメラのカメラ情報により決定して、実際のカメラの移動範囲外の位置から被写体を見たときの、被写体画像とＣＧ画像の合成画像を得るができるものである。
【００２７】
つまり、この実施の形態１の画像合成装置１００は、被写体の撮影により撮影画像に対応する画像データ（実写画像データ）を出力するカメラ１０１と、上記カメラ１０１の位置，視線の向き，及び視野の広さ（視野範囲）を計測して、それぞれの実測値を示す実測値情報（位置情報，向き情報，ズーム情報）を含むカメラ情報（第１のカメラ情報）Ｓ１を実カメラ情報として出力するカメラ情報計測部１０２と、上記実写画像データに基づいて、撮影画像から被写体部分のみを抽出した被写体画像に対応する画像データ（被写体データ）を生成する被写体抽出部１０３と、３次元画像空間にて立体形状を表す３次元ＣＧ形状データを格納しているＣＧデータ記憶部１０４とを有している。なお、上記カメラ１０１，カメラ情報計測部１０２，被写体抽出部１０３，及びＣＧデータ記憶部１０４は、従来の従来の画像合成装置における対応する部分６０１，６０２，６０３，６０４と全く同一の構成となっている。
【００２８】
そして、この実施の形態１の画像合成装置１００は、上記カメラ４０１の前方側にカメラ視線と垂直な仮想平面を設定し、カメラからこの仮想平面までの距離を示す情報を、合成画像における被写体の奥行きを指示する奥行き指示情報として出力する奥行き指示部１０５と、上記実カメラ情報と奥行き指示情報に基づいて被写体データを処理して、上記被写体画像を、３次元画像空間における長方形画面に投影して得られる板状画像に対応する３次元形状データを板形状ＣＧデータとして生成する板データ生成部１０７とを有している。
【００２９】
ここで、上記長方形画面は、上記カメラの前方に上記仮想平面を配置したとき、上記カメラの視野を形成する立体と上記仮想平面との交わり部分である平面領域（２次元画像空間）である。また、上記投影画像は、上記被写体画像を、上記長方形画面を示す３次元画像上に、該長方形画面とサイズが一致するよう重ね合わせて得られる画像であり、この投影画像では、上記長方形画面を示す画像表面の模様となっている。
【００３０】
さらに、この実施の形態１の画像合成装置１００は、カメラ位置，カメラの向き，及びカメラの視野の広さが実際のカメラとは異なる仮想カメラのカメラ情報（第２のカメラ情報）Ｓ２を仮想カメラ情報として出力する仮想カメラ情報指示部１０６と、該仮想カメラ情報Ｓ２に基づいて、板データ生成部１０７により生成された板形状ＣＧデータ、及びＣＧデータ記憶部１０４に格納されている３次元形状ＣＧデータに対して画像処理を施し、この画像処理が施された板形状ＣＧデータ及び３次元形状ＣＧデータを合成して得られる合成画像データを出力するＣＧ画像生成部１０８とを有している。この合成画像データは、仮想カメラ情報により指定される撮影状態で、所定の位置関係を有する被写体及びその周辺の立体を撮影して得られる画像を表示するための画像データである。
【００３１】
ここで、上記仮想カメラ情報指示部１０６は、仮想カメラ情報をユーザーの操作に応じて出力する構成としているが、仮想カメラ情報指示部１０６の構成はこれに限るものではなく、例えば、仮想カメラ情報指示部１０６は、予め設定された制御情報に応じて時間の経過とともに変化する仮想カメラ情報を出力するものであってもよい。
【００３２】
次に、以上のように構成される画像合成装置１００の動作について説明する。
まず、従来の画像合成装置６００と同様、カメラ１０１では、被写体の撮影により実写画像データが出力され、カメラ情報計測部１０２では、実際のカメラ１０１の位置，視線の向き，及び視野の広さなどが計測され、これらに対応する位置情報，向き情報，及びズーム情報を含むカメラ情報（第１のカメラ情報）Ｓ１が実カメラ情報として板データ生成部１０７に出力される。また、被写体抽出部１０３では、カメラ１０１からの実写画像データに基づいて、撮影画像から被写体部分を抽出して得られる被写体画像に対応する画像データ（被写体データ）が生成され、この被写体データが板データ生成部１０７に出力される。
【００３３】
すると、板データ生成部１０７では、被写体抽出部１０３からの被写体データ，カメラ情報計測部１０２での計測により得られた実カメラ情報Ｓ１及び奥行き指示部１０５から出力される奥行き情報に基づいて、３次元画像空間における板状領域の画像を示す板形状ＣＧデータが生成される。
【００３４】
ここで、板状領域の画像は、カメラ１０１の視野を形成する立体と、カメラ視線に垂直な仮想平面との交わり部分である長方形画面に、被写体画像を投影して表面模様として貼り付けて得られるものである。
【００３５】
その後、ＣＧ画像生成部１０８では、板データ生成部１０７により生成された板形状ＣＧデータ、及びＣＧデータ記憶部１０４に格納されている記録ＣＧデータに対して画像処理が施され、この画像処理が施された板形状ＣＧデータ及び記録形状ＣＧデータが合成されて合成画像データが出力される。
【００３６】
図２は、板形状ＣＧデータの生成処理について説明するための図である。
図２(a)は、実際のスタジオ環境でのカメラ１０１と被写体Ｈである人物との位置関係を示す図である。図２(a)に示すようにカメラ１０１と被写体Ｈとの距離はｄであり、カメラを頂点とする、破線部で示された無限に伸びる四角錐が、カメラの視野Ｒｓを形成する立体である。なお、図２(a)中、Ｆｇはカメラ１０１により被写体を撮影して得られる撮影画像、Ｒｐは、被写体Ｈの中心を含む、カメラ視線Ｃａの方向と垂直な平面である。
【００３７】
図２(b)は板データ生成部での板形状ＣＧデータの生成処理を概念的に説明するための図である。
この板データ生成部１０７では、カメラ情報計測部１０２からの実カメラ情報Ｓ１に基づいてカメラ１０１の視野Ｒｓと同一サイズの仮想視野Ｉｓが求められ、奥行き指示部１０５からの奥行き情報に基づいて、仮想視野Ｉｓを形成する立体（四角錐）と、その頂点Ｃ１ｂから距離ｄだけ離れて位置するカメラ視線の方向Ｃ１ａと垂直な仮想平面との交わり部である長方形画面Ｓｒの画像を示す画像データが生成される。そして、この長方形画面Ｓｒの画像データと被写体データに基づいて、長方形画面の画像上に被写体画像を投影して得られる、被写体画像を表面模様とする板状画像に対応する板形状データが生成される。
【００３８】
上記被写体画像Ｈｇの投影の際には、上記長方形画面Ｓｒの左上頂点が、上記被写体画像Ｈｇの左上隅の画素に対応づけられる。同様に上記長方形画面Ｓｒの右上、右下、左下の頂点が、上記被写体画像Ｈｇの右上隅、右下隅、左下隅の画素に対応付けられる。これにより、撮影画像Ｆｇにおける被写体Ｈ以外の部分を透明にした被写体画像Ｈｇを表面模様とする、３次元画像空間における板状画像を表す板形状ＣＧデータが得られる。
【００３９】
なお、図２(b)中、Ｃ１ａ，Ｃ１ｂ，Ｃ１ｃは実カメラ情報Ｓ１による視線方向，位置，視野の広さ、Ｃ２ａ，Ｃ２ｂ，Ｃ２ｃは仮想カメラ情報Ｓ２による視線方向，位置，視野の広さである。また、Ｓcg１，Ｓcg２はそれぞれ３次元形状の画像である。
【００４０】
図３は仮想カメラ情報指示部１０６からのカメラ情報に基づいて生成したＣＧ合成画像の一例を示す模式図である。
【００４１】
このＣＧ合成画像Ｉｃでは、被写体の奥行きの深さは、実際のカメラ１０１と被写体との距離ｄに相当するものとなっており、また、被写体画像Ｈｇ及びその背景画像，つまりこの被写体周辺の３次元形状を有する物体の画像Ｓcg１，Ｓcg２などを含む画像は、被写体を仮想カメラの視点に配置し、仮想カメラの視線及び視野の広さでもって撮影した場合に得られる撮影画像と同様なものとなっている。
【００４２】
このように本実施の形態１の画像合成装置では、カメラにより被写体を撮影して得られる実写画像データを、撮影画像の被写体以外の部分が透明となるよう処理して、被写体画像に対応する被写体データを生成する被写体抽出部１０３と、カメラ視野における所定の奥行き位置に設定された、カメラ視線と垂直な仮想平面に被写体画像を投影して得られる投影画像を表す３次元の板形状データを生成する板データ生成部１０７と、３次元形状を表す３次元ＣＧデータを記録したＣＧデータ記録部１０４とを備え、３次元の板形状データ及び３次元ＣＧデータに対して、カメラの仮想位置，仮想視点，仮想視野範囲を示す仮想カメラ情報Ｓ２に基づいて画像処理を施して、３次元形状及び投影画像を合成して得られる合成画像のデータを作成するようにしたので、撮影画像における被写体部分と３次元形状の合成画像として、実際のカメラと被写体との位置関係とは異なる位置関係を満たす合成画像を得ることができる。この結果、例えば、実際のカメラの移動範囲外の位置から被写体を撮影した場合の、該被写体とＣＧ画像の合成画像を得ることができる。
【００４３】
なお、本実施の形態１の画像合成装置では、板データ生成部１０７にて、上記３次元画像空間における長方形画面に被写体画像を貼り付けた板形状ＣＧデータを作成するようにしているが、板データ生成部１０７では、３次元画像空間における長方形画面の画像を表す画像データのみを生成し、画像生成部１０８にて、被写体抽出部１０３により抽出された被写体画像を上記長方形画面の画像に貼り付ける処理を行って板形状ＣＧデータを出力するようにしてもよい。
【００４４】
（実施の形態２）
図４は、本発明の実施の形態２による画像合成装置を説明するためのブロック図である。
この実施の形態２の画像合成装置４００は、上記実施の形態１の画像合成装置１００の構成に加えて、カメラ情報としての位置情報，視野情報，視線情報を、実際のカメラに対応するものと仮想カメラとに対応するものの間で選択して加工するカメラ情報加工選択部４０９を備えたものである。
【００４５】
すなわち、この実施の形態２の画像合成装置４００は、被写体の撮影により実写画像データを出力するカメラ４０１と、上記カメラ４０１の位置，視線の向き，及び視野の広さ（視野範囲）を計測して、位置情報，向き情報，ズーム情報を含むカメラ情報（第１のカメラ情報）を実カメラ情報として出力するカメラ情報計測部４０２と、上記実写画像データに基づいて、撮影画像から被写体部分のみを抽出した被写体画像に対応する画像データ（被写体データ）を生成する被写体抽出部４０３と、３次元画像空間にて立体形状を表す３次元ＣＧ形状データを格納しているＣＧデータ記憶部４０４とを有している。
【００４６】
また、この実施の形態２の画像合成装置４００は、上記カメラ４０１の前方側にカメラ視線と垂直な仮想平面を設定し、カメラからこの仮想平面までの距離を示す情報を、合成画像における被写体の奥行きを指示する奥行き指示情報として出力する奥行き指示部４０５と、上記実カメラ情報Ｓ１と奥行き指示情報に基づいて被写体データを処理して、上記被写体画像を長方形画面に投影して得られる、３次元画像空間における板状画像に対応する３次元形状データを板形状ＣＧデータとして生成する板データ生成部４０７とを有している。
【００４７】
ここで、上記長方形画面は、上記カメラの前方に上記仮想平面を配置したとき、上記カメラの視野を形成する立体と上記仮想平面との交わり部である平面領域（２次元画像空間）である。また、上記投影画像は、上記被写体画像を、上記長方形画面を示す３次元画像上に、該長方形画面とサイズが一致するよう重ね合わせて得られる画像であり、この投影画像では、上記長方形画面を示す画像表面の模様となっている。
【００４８】
さらに、この実施の形態２の画像合成装置４００は、カメラ位置，カメラの向き，及びカメラの視野の広さが実際のカメラとは異なる仮想カメラのカメラ情報（第２のカメラ情報）Ｓ２を仮想カメラ情報出力する仮想カメラ情報指示部４０６を有している。
【００４９】
なお、上記カメラ４０１，カメラ情報計測部４０２，被写体抽出部４０３，ＣＧデータ記憶部４０４，奥行き指示部４０５，仮想カメラ情報指示部４０６，板データ生成部４０７は、実施の形態１の画像合成装置１００における対応する部分１０１，１０２，１０３，１０４，１０５，１０６，及び１０７と全く同一の構成となっている。
【００５０】
そして、この実施の形態２の画像合成装置４００は、実カメラ情報Ｓ１と仮想カメラ情報Ｓ２との間で、位置情報，視野情報，及び視線情報の選択、及びこれらの情報うち所要のものの加工を行って、処理済カメラ情報として第３のカメラ情報Ｓ３を出力するカメラ情報加工選択部４０９を有している。
【００５１】
さらに、この実施の形態２の画像合成装置４００は、上記カメラ情報加工選択部４０９から出力されたカメラ情報Ｓ３に基づいて、板データ生成部４０７から出力された板形状ＣＧデータ、及びＣＧデータ記憶部４０４に格納されている立体形状ＣＧデータに対して画像処理を施し、この画像処理が施された板形状ＣＧデータ及び立体形状ＣＧデータを合成して得られる合成画像データを出力するＣＧ画像生成部４０８とを有している。
【００５２】
ここで、上記仮想カメラ情報指示部４０６は、仮想カメラ情報をユーザーの操作に応じて出力する構成としているが、仮想カメラ情報指示部４０６の構成はこれに限るものではなく、例えば、仮想カメラ情報指示部４０６は、予め設定された制御情報に応じて時間の経過とともに変化する仮想カメラ情報を出力するものであってもよい。
【００５３】
図５は、カメラ情報加工選択部４０９の具体的な構成を示す図である。
このカメラ情報加工選択部４０９は、上記実カメラ情報Ｓ１に含まれる向き情報Ｓ１ａに、仮想カメラ情報Ｓ２に含まれる向き情報Ｓ２ａを加えて得れらる変更済向き情報Ｓ１２ａを出力するカメラ向き変更部４１０と、上記実カメラ情報Ｓ１に含まれるズーム情報Ｓ１ｃと仮想カメラ情報Ｓ２に含まれるズーム情報Ｓ２ｃの一方を選択して、選択ズーム情報Ｓ３ｃとして出力するズーム情報選択部４１１と、実カメラ情報Ｓ１における向き情報Ｓ１ａと変更向き情報Ｓ１２ａの一方を選択して、選択向き情報Ｓ３ａとして出力するカメラ向き情報選択部４１２とを有している。なお、Ｓ３はこのカメラ情報加工選択部４０９から出力されるカメラ情報で、仮想カメラ情報Ｓ２における位置情報Ｓ２ｂと同一の位置情報Ｓ３ｂ、選択向き情報Ｓ３ａ、及び選択ズーム情報Ｓ３ｃとから構成されている。
【００５４】
次に以上のように構成される画像合成装置４００の動作について説明する。
この実施の形態２の画像合成装置４００の動作は、カメラ情報加工選択部４０９の動作以外は実施の形態１の画像合成装置１００のものと全く同一である。
まず、カメラ４０１では撮影により実写画像データが生成され、被写体抽出部４０３では、実写画像データに基づいて被写体画像を表す被写体データが生成される。このとき、カメラ情報計測部４０２では、カメラ４０１の位置，視線の方向，視野範囲が測定され、実カメラ情報Ｓ１が板データ生成部４０７及びカメラ情報加工選択部４０９に出力される。また、奥行き指示部４０５からは、合成画像における被写体の奥行き位置を指示する奥行き情報が出力され、仮想カメラ情報指示部４０６からは仮想カメラ情報Ｓ２が出力される。
【００５５】
すると、板データ生成部４０７では、実施の形態１の画像合成装置１００における板データ生成部１０７と同様に、実カメラ情報Ｓ１及び奥行き情報に基づいて、被写体画像を３次元画像空間における長方形画面上に投影して得られる投影画像を表す板形状データが生成され、この板形状データがＣＧ画像生成部４０８に出力される。
【００５６】
そして、上記カメラ情報加工選択部４０９では、実カメラ情報Ｓ１及び仮想カメラ情報Ｓ２に基づいて、カメラ視線情報Ｓ１ａ，Ｓ２ａ及びカメラ視野情報Ｓ１ｃ，Ｓ２ｃに対する処理が行われ、処理済カメラ情報Ｓ３がＣＧ画像生成部４０８に出力される。
【００５７】
つまり、カメラ情報加工選択部４０９では、カメラ情報変更部４１０にて、実カメラ情報Ｓ１における向き情報Ｓ１ａに仮想カメラ情報Ｓ２における向き情報Ｓ２ａを加える処理が行われ、その加算結果が変更済向き情報Ｓ１２ａとして出力される。そして、カメラ向き情報選択部４１２では、仮想カメラ情報Ｓ２における向き情報Ｓ２ａと変更済向き情報Ｓ１２ａの一方が選択され、選択された情報がカメラ情報Ｓ３を構成する向き情報Ｓ３ａとして出力される。また、ズーム情報選択部４１１では、仮想カメラ情報Ｓ２におけるズーム情報Ｓ２ｃと実カメラ情報Ｓ１におけるズーム情報Ｓ１ｃの一方が選択され、選択されたズーム情報がカメラ情報Ｓ３を構成するズーム情報Ｓ３ｃとして出力される。また、仮想カメラ情報Ｓ２の位置情報Ｓ２ｂはそのまま第３のカメラ情報Ｓ３を構成する位置情報Ｓ３ｂとして出力される。
【００５８】
そしてさらに、上記ＣＧ画像生成部４０８では、上記カメラ情報加工選択部４０９から出力された第３のカメラ情報Ｓ３に基づいて、板データ生成部４０７から出力された板形状ＣＧデータ、及びＣＧデータ記憶部４０４から読み出された３次元形状ＣＧデータに対して画像処理が施され、この画像処理が施された板形状ＣＧデータ及び立体形状ＣＧデータを合成して得られる合成画像データが出力される。
【００５９】
このように本実施の形態２の画像合成装置４００では、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２とカメラ情報計測部４０２から出力された実カメラ情報Ｓ１に対して情報選択及び加工処理を施してカメラ情報Ｓ３を出力するカメラ情報加工選択部４０９を備え、上記カメラ情報Ｓ３に基づいて、３次元の板形状データ及び３次元ＣＧデータに対して、仮想カメラ情報Ｓ２に基づいた画像処理を施して、撮影画像における被写体画像と３次元形状を合成して得られる合成画像のデータを作成するようにしたので、撮影画像における被写体画像と３次元形状の合成画像として、カメラの仮想位置，仮想視点，仮想視野が調整された、実際のカメラと被写体との位置関係とは異なる種々の位置関係を満たす合成画像を簡単に得ることができる。
【００６０】
例えば、仮想カメラのカメラ情報Ｓ２に実際のカメラの向きの変化を反映させたり、仮想カメラのカメラ情報Ｓ２におけるズーム情報Ｓ２ａを実カメラ情報Ｓ１のズーム情報Ｓ１ａにより調整することができる。
【００６１】
なお、上記実施の形態２の画像合成装置４００では、カメラ情報選択加工部４０９として、カメラ情報変更部４１０、ズーム情報選択部４１１、及びカメラ向き情報選択部４１２により構成されているものを示したが、上記カメラ情報選択加工部４０９はこれに限るものではなく、カメラ情報加工選択部４０９は、上記カメラ情報変更部４１０、ズーム情報選択部４１１、及びカメラ向き情報選択部４１２のうちの少なくとも１つを有するものであればよい。
【００６２】
つまり、カメラ情報加工選択部４０９は、カメラ向き情報変更部４１０のみから構成してもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として、少なくともカメラ向き情報変更部４１０から出力された向き情報Ｓ１２ａとともに、仮想カメラ情報Ｓ２の位置情報Ｓ２ｂ及びズーム情報Ｓ２ｃを出力する。また、処理済カメラ情報Ｓ３におけるズーム情報Ｓ３ｃとしてカメラ情報計測部４０２から出力される実カメラ情報Ｓ１のズーム情報Ｓ１ｃを出力することも可能である。
【００６３】
また、カメラ情報加工選択部４０９は、ズーム情報選択部４１１のみを有する構成としてもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として、少なくともズーム情報選択部４１１から出力されたズーム情報Ｓ３ｃと、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２の向き情報Ｓ２ａ及び位置情報Ｓ２ｂを出力する。
【００６４】
また、カメラ情報加工選択部４０９は、カメラ向き情報変更部４１０とズーム情報選択部４１１のみを有する構成としてもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として少なくともカメラ向き情報変更部４１０から出力された変更向き情報Ｓ１２ａ及びズーム情報選択部４１１から出力されたズーム情報Ｓ３ｃとともに、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２における位置情報Ｓ２ｂを出力する。
【００６５】
また、カメラ情報加工選択部４０９は、カメラ向き情報変更部４１０とカメラ向き情報選択部４１２のみを有する構成としてもよい。この場合、カメラ情報加工選択部４０９はカメラ情報Ｓ３として、少なくともカメラ向き情報選択部４１２から出力される選択向き情報Ｓ３ａとともに、仮想カメラ情報指示部４０６から出力された仮想カメラ情報Ｓ２におけるズーム情報Ｓ２ｃ及び位置情報Ｓ２ｂを出力する。なお、ここでカメラ情報Ｓ３のズーム情報Ｓ３ｃとしてカメラ情報計測部４０２から出力される実カメラ情報Ｓ１におけるズーム情報Ｓ１ｃを出力するようにすることもできる。
【００６６】
【発明の効果】
以上のように本発明に係る画像合成装置によれば、実際のカメラの撮影状態を示す第１のカメラ情報を出力するカメラ情報計測部と、仮想カメラによる撮影状態を示す、上記第１のカメラ情報とは独立した第２のカメラ情報を生成する仮想カメラ情報設定部とを備え、上記第１及び第２のカメラ情報に基づいて、被写体の撮影により得られた撮影画像の被写体部分に対応する被写体データを、立体形状を示す３次元形状データと合成して、上記被写体部分を立体形状の合成画像に対応する画像データを生成するので、被写体の画像と３次元形状のＣＧ画像との３次元画像空間上における位置関係を、実際のカメラの撮影状態とは異なる撮影状態に基づいて決定することができ、実際のカメラの移動範囲外の位置から被写体を撮影した場合の、該被写体画像とＣＧ画像の合成画像を得ることができる。
【００６７】
本発明に係る画像合成装置によれば、実際のカメラの撮影状態を示す第１のカメラ情報を出力するカメラ情報計測部と、仮想カメラによる撮影状態を示す、上記第１のカメラ情報とは独立した第２のカメラ情報を生成する仮想カメラ情報設定部とを備え、上記第１及び第２のカメラ情報に基づいて、これらのカメラ情報とは異なる第３のカメラ情報を生成し、上記第３のカメラ情報に基づいて、被写体の撮影により得られた撮影画像の被写体部分に対応する被写体データを、立体形状を示す３次元形状データと合成して、上記被写体部分を立体形状の合成画像に対応する画像データを生成するので、撮影画像における被写体画像と３次元形状の合成画像として、第１及び第２のカメラ情報を適宜調整して、実際のカメラと被写体との位置関係とは異なる種々の位置関係を満たす合成画像に対応する画像データを簡単に生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像合成装置を説明するためのブロック図である。
【図２】上記実施の形態１の画像合成装置を構成する板データ生成部の処理を説明するための模式図であり、図(a)は、カメラによる被写体の撮影状態を示し、図(b)は、３次元画像空間における平板状領域に被写体画像を貼り付ける処理を示している。
【図３】上記実施の形態１の画像合成装置により生成された、仮想カメラのカメラ情報に基づく合成画像を示す模式図である。
【図４】本発明の実施の形態２による画像合成装置を説明するためのブロック図である。
【図５】上記実施の形態２の画像合成装置を構成するカメラ情報加工選択部の具体的な構成を示すブロック図である。
【図６】従来の画像合成装置を説明するためのブロック図である。
【符号の説明】
１００、４００ 画像合成装置
１０１、４０１、６０１ カメラ
１０２、４０２、６０２ カメラ情報計測部
１０３、４０３、６０３ 被写体抽出部
１０４、４０４、６０４ ＣＧデータ記憶部
１０５、４０５ 奥行き指示部
１０６、４０６ 仮想カメラ情報指示部
１０７、４０７ 板データ生成部
１０８、４０８、６０５ ＣＧ画像生成部
４０９ カメラ情報加工選択部
４１０ カメラ向き情報変更部
４１１ ズーム情報選択部
４１２ カメラ向き情報選択部
６０６ 画像合成部
Ｓ１ カメラ情報計測部から出力されたカメラ情報（第１のカメラ情報）
Ｓ２ 仮想カメラ情報指示部から出力されたカメラ情報（第２のカメラ情報）
Ｓ３ カメラ情報加工選択部から出力されたカメラ情報（第３のカメラ情報）
Claims (11)
- 被写体の撮影により撮影画像に対応する実写画像データを出力するカメラを有し、該実写画像データを所要の立体形状を表す３次元の立体形状データと合成する画像合成装置であって、
上記カメラの位置，向き，及び視野の広さのうちの少なくとも１つを計測して、対応する実測値情報を上記カメラによる撮影状態を示す情報として含む第１のカメラ情報を出力するカメラ情報計測部と、
仮想カメラによる撮影状態を設定する情報として、該仮想カメラの位置，向き，及び視野の広さのうちの少なくとも１つに対応する、上記実測値情報とは独立した仮想設定値情報を含む第２のカメラ情報を生成する仮想カメラ情報設定部と、
上記実写画像データに基づいて、上記撮影画像における被写体部分を抽出して得られる被写体画像に対応する被写体データを生成する被写体抽出部と、
上記第１及び第２のカメラ情報に基づいて、上記被写体データと上記３次元の立体形状データの合成処理を行って、上記撮影画像の被写体部分を、上記立体形状の画像と合成してなる合成画像に対応する画像データを生成する画像合成処理部とを備えたことを特徴とする画像合成装置。 - 請求項１記載の画像合成装置において、
上記画像合成処理部は、
情報の入力操作により、上記カメラ前方側の、該カメラから所定距離だけ離れた位置に、該カメラの正面方向に垂直な仮想平面を設定し、該カメラと仮想平面との間の距離を示す情報を、上記合成画像における被写体の奥行き位置を示す奥行き情報として出力する奥行き指示部と、
上記第１のカメラ情報及び奥行き情報に基づいて、上記カメラの視野に相当する立体と上記仮想平面との交わり部分に相当する長方形の平面領域に、上記被写体画像を投影して得られる板状画像に対応する３次元の板形状データを生成する板データ生成部と、
上記第２のカメラ情報に基づいて、上記板形状データ及び立体形状データに対するデータ処理を施して、上記カメラによる撮影画像の被写体部分を、上記立体形状の、上記第２のカメラ情報により設定される撮影状態に応じた画像と合成してなる合成画像に対応する画像データを生成する画像生成部とを備えたことを特徴とする画像合成装置。 - 請求項１に記載の画像合成装置において、
上記画像合成処理部は、
情報の入力操作により、上記カメラ前方側の、該カメラから所定距離だけ離れた位置に、該カメラの正面方向に垂直な仮想平面を設定し、該カメラと仮想平面との間の距離を示す情報を、上記合成画像における被写体の奥行き位置を示す奥行き情報として出力する奥行き指示部と、
上記第１のカメラ情報及び奥行き情報に基づいて、上記カメラの視野に相当する立体と上記仮想平面との交わり部分に相当する長方形の平面領域に、上記被写体画像を投影して得られる板状画像に対応する３次元の板形状データを生成する板データ生成部と、
上記第１及び第２のカメラ情報を受け、対応する実測値情報と仮想設定値情報の一方を選択して選択値情報を出力する情報選択処理、及び対応する実測値情報と仮想計測値情報を加工して、対応する加工値情報を生成する加工処理の少なくとも一方の処理を行って、上記選択値情報あるいは加工値情報を含む第３のカメラ情報を出力するカメラ情報加工選択部と、
上記第３のカメラ情報に基づいて、上記板形状データ及び立体形状データに対するデータ処理を施して、上記カメラによる撮影画像の被写体部分を、上記立体形状の、上記第３のカメラ情報により設定される撮影状態に応じた画像と合成してなる合成画像に対応する画像データを生成する画像生成部とを有することを特徴とする画像合成装置。 - 請求項３記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、
上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を、第３のカメラ情報を構成するズーム情報として出力するズーム情報選択部と、
上記第２のカメラ情報に含まれる仮想カメラの向きを示す向き情報と、上記向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を第３のカメラ情報を構成する向き情報として出力する向き情報選択部とを備え、
上記第３のカメラ情報として、上記向き情報選択部にて選択された向き情報、上記ズーム情報選択部にて選択されたズーム情報、及び上記第２のカメラ情報に含まれる位置情報を出力することを特徴とする画像合成装置。 - 請求項３記載の画像合成装置において、
上記カメラ情報加工選択部は、上記第３のカメラ情報として、上記第１のカメラ情報に含まれるカメラの視野の広さを示すズーム情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報及び上記仮想カメラの向きを示す向き情報を出力することを特徴とする画像合成装置。 - 請求項３記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部を備え、
上記第３のカメラ情報として、上記変更向き情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報及び上記仮想カメラの視野の広さを示すズーム情報を出力することを特徴とする画像合成装置。 - 請求項３記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部を備え、
上記第３のカメラ情報として、上記変更向き情報とともに、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力することを特徴とする画像合成装置。 - 請求項３記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、前記上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を出力するズーム情報選択部を備え、
上記第３のカメラ情報として、該ズーム情報選択部にて選択されたズーム情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報及び上記仮想カメラの位置を示す位置情報を出力することを特徴とする画像合成装置。 - 請求項３に記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、
上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報と、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報の一方を選択して、選択されたズーム情報を出力するズーム情報選択部とを備え、
上記第３のカメラ情報として、上記変更向き情報，上記ズーム情報選択部にて選択されたズーム情報，及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力することを特徴とする画像合成装置。 - 請求項３に記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、
上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報と、上記カメラ向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を出力する向き情報選択部とを備え、
上記第３のカメラ情報として、上記向き情報選択部にて選択された向き情報とともに、上記第２のカメラ情報に含まれる上記仮想カメラの視野の広さを示すズーム情報及び上記仮想カメラの位置を示す位置情報を出力することを特徴とする画像合成装置。 - 請求項３に記載の画像合成装置において、
上記カメラ情報加工選択部は、
上記第１のカメラ情報に含まれる上記カメラの向きを示す向き情報に、上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報を加え、その結果得られる変更向き情報を出力する向き情報変更部と、
上記第２のカメラ情報に含まれる上記仮想カメラの向きを示す向き情報と、上記カメラ向き情報変更部から出力された変更向き情報の一方を選択して、選択された向き情報を出力する向き情報選択部とを備え、
上記第３のカメラ情報として、上記変更向き情報とともに、上記第１のカメラ情報に含まれる上記カメラの視野の広さを示すズーム情報及び上記第２のカメラ情報に含まれる上記仮想カメラの位置を示す位置情報を出力することを特徴とする画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000096196A JP4439668B2 (ja) | 2000-03-31 | 2000-03-31 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000096196A JP4439668B2 (ja) | 2000-03-31 | 2000-03-31 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001285715A JP2001285715A (ja) | 2001-10-12 |
| JP4439668B2 true JP4439668B2 (ja) | 2010-03-24 |
Family
ID=18610993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000096196A Expired - Fee Related JP4439668B2 (ja) | 2000-03-31 | 2000-03-31 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4439668B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004213355A (ja) | 2002-12-27 | 2004-07-29 | Canon Inc | 情報処理方法 |
| US9299184B2 (en) * | 2009-04-07 | 2016-03-29 | Sony Computer Entertainment America Llc | Simulating performance of virtual camera |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3395564B2 (ja) * | 1997-03-05 | 2003-04-14 | 三菱電機株式会社 | 画像合成装置 |
| JPH10336703A (ja) * | 1997-05-27 | 1998-12-18 | Canon Inc | 画像合成装置、方法および記憶媒体 |
| EP2267656A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
-
2000
- 2000-03-31 JP JP2000096196A patent/JP4439668B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001285715A (ja) | 2001-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4065488B2 (ja) | ３次元画像生成装置、３次元画像生成方法及び記憶媒体 | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| KR101458645B1 (ko) | 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라 | |
| US20080246757A1 (en) | 3D Image Generation and Display System | |
| US20150002636A1 (en) | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras | |
| JP6126821B2 (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
| JP2006113807A (ja) | 多視点画像の画像処理装置および画像処理プログラム | |
| US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| JP2011035509A (ja) | 複眼撮影装置及びその制御方法 | |
| JP2014095808A (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
| US8072487B2 (en) | Picture processing apparatus, picture recording apparatus, method and program thereof | |
| JP3947132B2 (ja) | 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体 | |
| JP5847610B2 (ja) | Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 | |
| JPH07240945A (ja) | 仮想空間生成提示装置 | |
| JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
| JP4439668B2 (ja) | 画像合成装置 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JP3564701B2 (ja) | 画像印刷装置および方法 | |
| JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
| CN113228617B (zh) | 影像显示系统、影像显示装置以及影像显示方法 | |
| JP2012227700A (ja) | 情報処理装置およびプログラム | |
| JP2012048529A (ja) | 地物の外観表示用画像の生成方法及びその装置 | |
| JPH1188910A (ja) | ３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体 | |
| US6633291B1 (en) | Method and apparatus for displaying an image | |
| JP2006126965A (ja) | 合成映像生成システム，方法，プログラム，及び、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4439668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |