JP6708213B2 - 画像処理装置と画像処理方法とプログラムおよび画像処理システム - Google Patents

Description

この技術は、画像処理装置と画像処理方法とプログラムおよび画像処理システムに関し、仮想画像と実画像の合成画像において実画像を良好な解像度に保つことができるようにする。

従来、現実世界とコンピュータによって作られる仮想空間とを融合させる複合現実（ＭＲ：Mixed Reality）技術が知られている。この技術は、観察者に対して現実世界の物体を仮想空間に実在するように提示することが可能となるため、例えば画像制作分野に応用することでバーチャルスタジオを実現できる。バーチャルスタジオでは、撮像部で生成した実画像を前景画像、コンピュータ等で生成した仮想画像をスタジオ背景として、所望の視点からの画像に座標変換された前景画像とスタジオ背景を合成する。このような合成処理を行うことで、前景の被写体があたかも仮想のスタジオにいるような合成画像を生成できる。

実画像である前景画像と仮想画像であるスタジオ背景の合成では、前景画像とスタジオ背景との間で違和感がないように位置や大きさの調整が行われる。また、前景画像の大きさは、光学ズームやデジタルズーム（電子ズーム）を用いることで調整できる。例えば特許文献１では、デジタルズームで被写体を拡大した後に光学ズームをゆっくり行うことで素早く静かにズームすることができる技術が開示されている。

特開２０１０−２２６７５３号公報

ところで、デジタルズームで被写体を拡大した後に光学ズームを行うと、光学ズームが開始される前に解像度が低下する。したがって、実画像である前景画像を拡大する場合、合成画像では前景画像のみが解像度の劣化した画像となってしまう場合がある。

そこで、この技術では、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができる画像処理装置と画像処理方法とプログラムおよび画像処理システムを提供することを目的とする。

この技術の第１の側面は、
仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行うスケール変換調整部と、
前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる撮像制御部をさらに備え、
前記撮像制御部は、前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を行い、
前記スケール変換調整部は、前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する画像処理装置にある。

この技術において、スケール変換調整部は、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う。また、座標変換におけるスケール変換は、前記光学ズームによるスケール変換と前記光学ズームによらないスケール変換を用いて行い、光学ズームによるスケール変換がより多くなるように、また合成によって生成される合成画像において実画像における所望の被写体の画欠けを生じないように、光学ズームによるスケール変換を調整する。また、スケール変換調整部は、撮像部から光学ズームによるスケール変換状態を識別可能とする情報信号を取得して、情報信号に基づいて判別した光学ズームによるスケール変換状態が、座標変換におけるスケール変換と差分を生じる場合、光学ズームによらないスケール変換で差分を補う。撮像制御部は、光学ズームによるスケール変換に応じた制御信号を撮像部に出力することで、調整後である光学ズームのスケール変換が行われた実画像を撮像部で生成させる。また、スケール変換調整部は、光学ズームにおける光学中心が実画像における所望の被写体の位置となる撮像方向の判別を行い、撮像制御部は、撮像部の撮像方向をスケール変換調整部で判別された方向とする制御を行う。さらに、スケール変換調整部は、撮像方向の制御によって実画像における所望の被写体に生ずる影響を打ち消すように、実画像を仮想空間に描画するための座標変換を調整する。

また、画像処理装置には、仮想空間における視点の位置と方向およびズーム率に応じた座標変換行列を生成する座標変換行列生成部と、前記撮像部で生成された撮像画から所望の被写体の画像を実画像として抽出する画像抽出部と、座標変換後の前記仮想画像と前記画像抽出部で抽出した実画像を合成する画像合成部がさらに設けられて、スケール変換調整部は、ズーム率に応じた座標変換行列に光学ズームによるスケール変換を含む座標変換行列を、座標変換行列生成部で生成された座標変換行列に基づき生成して、画像合成部は、仮想画像に対して座標変換行列生成部で生成された座標変換行列を用いて座標変換を行い、画像抽出部で抽出した実画像に対してスケール変換調整部で生成された座標変換行列を用いて座標変換を行う。

この技術の第２の側面は、
仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いてスケール変換調整部で行うことと、
前記光学ズームによるスケール変換に応じた制御信号を撮像制御部から前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させることと、
前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を前記撮像制御部で行うことと、
前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を前記スケール変換調整部で調整することを含む画像処理方法にある。

この技術の第３の側面は、
仮想画像と実画像の合成をコンピュータで実行させるプログラムであって、
前記仮想画像と合成する前記実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う手順と、
前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる手順と、
前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行う手順と、
前記撮像部の撮像方向を前記判別した撮像方向とする制御を行う手順と、
前記撮像方向を前記判別した撮像方向とする制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する手順とを
前記コンピュータで実行させるプログラム。

この技術の第４の側面は、
実画像を生成する撮像部と、
前記実画像を仮想画像と合成する仮想空間における視点の位置と方向およびズーム率の操作を行う操作部と、
前記仮想画像と前記撮像部で生成された実画像を、前記操作部での操作に応じて仮想空間に描画して、前記仮想空間に描画された前記仮想画像と前記実画像を合成する画像処理部を備え、
前記画像処理部は、
前記操作部の操作に応じた座標変換行列を生成する座標変換行列生成部と、
前記実画像に対する前記ズーム率に応じた座標変換行列に前記撮像部の光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成するスケール変換調整部と、
前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行い、座標変換後の前記仮想画像と前記実画像を合成する画像合成部と、
前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた前記実画像を前記撮像部で生成させる撮像制御部を有する画像処理システムにある。

この技術によれば、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換が、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行われる。このため、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理システムの構成を例示した図である。 合成画像の生成を説明するための図である。 画像処理部の構成を例示した図である。 画枠切れを説明するための図である。 画像処理部の動作を示すフローチャートである。 光学ズームと合成画像の関係を例示した図である。 所望のズーム変化を行う場合の動作を例示した図である。 ズーミングの光学中心と画枠切れの関係を説明するための図である。 パンニングやチルティングを含めた画像処理部の動作を示すフローチャートである。 パンニングが行われたときの動作を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの構成と動作
２．画像処理部について
２−１．画像処理部の構成
２−２．画像処理部の動作
２−３．画像処理部の他の動作

＜１．画像処理システムの構成と動作＞
図１は、画像処理システムの構成を例示している。画像処理システム１０は、撮像部２０、操作部３０、画像処理部４０、画像表示部５０を有している。

撮像部２０は、所望の被写体ＯＢｆの撮像画を生成して画像処理部４０へ出力する。撮像部２０はズームレンズを用いて構成されており、画像処理部４０からの制御信号に基づき光学ズーム動作によって画角の調整が可能とされている。また、撮像部２０は光学ズームによるスケール変換状態等を示す情報信号を画像処理部４０に通知する。さらに、撮像部２０は、パン・チルト機能を有するように構成して、画像処理部４０からの制御信号に基づきパンニングやチルティングを行うようにしてもよい。なお、被写体ＯＢｆは、撮像部２０で生成された撮像画から被写体ＯＢｆの画像のみを画像処理部４０で抽出できるように、例えばグリーンバック９１を背景として撮像する。

操作部３０は、ユーザー操作に応じた操作信号を画像処理部４０へ出力する。例えば操作部３０は、ズーミングの操作に応じた操作信号を生成して画像処理部４０へ出力する。また、撮像部２０がパン・チルト機構を有している場合、操作部３０は、パンニングやチルティングの操作に応じた操作信号を生成して画像処理部４０へ出力する。

画像処理部４０は、撮像部２０で生成された撮像画から被写体ＯＢｆの画像を前景画像として抽出して、実画像である前景画像を仮想画像である背景画像に貼り付けて合成画像を生成する。また、画像処理部４０は、操作部３０からの操作信号に基づき、ズーミングやパンニング，チルティング等の動作が行われた合成画像を生成する。画像処理部４０は、生成した合成画像の画像信号を画像表示部５０へ出力する。

画像表示部５０は、画像処理部４０から供給された画像信号に基づき画像表示を行い、仮想画像の背景内に前景の被写体があたかも実在するような画像を表示する。

このように構成された画像処理システムでは、仮想画像である背景のスケールと実画像である前景のスケールが同じ変化となるように画像を合成する。図２は、合成画像の生成を説明するための図である。例えば背景平面と前景平面を仮想空間に設けて、背景平面に仮想画像である背景を貼り付け、前景平面に実画像である所望の被写体の画像を貼り付ける。さらに、前景平面の画像と背景平面の画像を重ねて、前景平面の前方に設定した仮想撮像部から被写体と背景を撮像した場合に相当する合成画像を生成する。操作部３０では、仮想撮像部の位置や向きおよびズーム率の設定操作に応じた操作信号を生成して、画像処理部４０は、ユーザーが設定した視点の位置や向きおよびズーム率すなわち仮想撮像部の位置や向きおよびズーム率等に応じた合成画像を生成する。なお、図２では、仮想空間をワールド座標系（Ｘ，Ｙ，Ｚ）、仮想撮像部を基準とした座標系をロケーション座標系（Ｓ，Ｔ，Ｕ）とする。

このように画像処理システムは、撮像部２０の光学ズームを利用して、合成画像における実画像すなわち前景平面に貼り付ける撮像画の被写体像が良好な解像度に保たれるようにする。なお、合成画像は、動画または静止画のいずれであってもよい。

＜２．画像処理部について＞
［２−１．画像処理部の構成］
次に画像処理部の構成について説明する。図３は画像処理部の構成を例示している。画像処理部４０は、座標変換行列生成部４１、スケール変換調整部４２、撮像制御部４３、前景画像抽出部４４、背景画像保持部４５、画像合成部４６を有している。

座標変換行列生成部４１は、操作部３０からの操作信号に基づき、ユーザーによって設定された仮想撮像部の位置や向きおよびズーム率に応じて、背景用座標変換行列を生成する。座標変換行列生成部４１は、生成した座標変換行列をスケール変換調整部４２へ出力する。式（１）は背景用座標変換行列を示している。式（１）は仮想画像である背景画像内の点（スクリーン座標における位置（ｘ，ｙ））と仮想空間で対応する点（ワールド座標における位置（Ｘ，Ｙ，Ｚ））との関係を示している。式（２）乃至式（５）は式（１）の「Ｓ」「Ｐ」「Ｖ」「Ｍ」の変換行列を例示している。「Ｓ」は、式（２）に示すように、スケーリング変換の変換行列である。式（２）において、「ｓ」はスケール成分を示している。「Ｐ」は、式（３）に示すように、投影変換の変換行列である。投影変換の変換行列で投影を行う領域を視野空間とした場合、式（３）において、「ｈ」は視野空間のｙ軸方向の幅、「ｗ」は視野空間のｘ軸方向の幅、「Ｎｅａｒ」は視野空間の手前側ｚ座標、「Ｆａｒ」は視野空間の奥側ｚ座標を示している。また、「ｆ」は視野空間の視野角をｆｏｖｙとしたとき「ｆ＝ｃｏｔ（ｆｏｖｙ／２）」である。「Ｖ」は、式（４）に示すように、ビューイング変換の変換行列である。式（４）において、「ｒ０〜ｒ８」は回転成分を示しており「ｔｘ，ｔｙ，ｔｚ」は平行移動成分を示している。「Ｍ」は、式（５）に示すように、モデリング変換の変換行列である。なお、「Ｓ」「Ｐ」「Ｖ」「Ｍ」の変換行列は、式（２）乃至式（５）に示す変換行列に限られない。

スケール変換調整部４２は、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う。すなわち、スケール変換調整部４２は、仮想画像である背景画像のスケールと実画像である前景画像のスケールが同じ変化となるように、座標変換行列生成部４１で生成された背景用座標変換行列に基づき前景用座標変換行列を生成する。スケール変換調整部４２は、前景用座標変換行列のスケール成分（前景画像のズーム率）を、光学スケール成分および／または非光学スケール成分で構成する。光学スケール成分は、撮像部のズームレンズを用いた光学ズームによるスケール変換であり、非光学スケール成分は、光学ズームによらないスケール変換すなわち電子ズームによるスケール変換である。光学ズームは、ズームレンズを利用したスケール変換であることから、例えば所望の被写体にズームインしたときに電子ズームのような解像度の劣化を招くことがない。

スケール変換調整部４２は、前景画像を良好な解像度に保つことができる最適な光学スケール成分を判別する。最適な光学スケール成分の判別において、スケール変換調整部４２は、光学ズームによるスケール変換がより多くなるように光学スケール成分を調整する。例えば仮想撮像部でズームイン動作を行ったときに、前景画像が良好な解像度を保つことができるよう光学ズームで前景画像の拡大を行うようにする。また、スケール変換調整部４２は、光学ズームで前景画像を拡大しても後述する画枠切れを生じないように光学スケール成分を調整して、最適な光学スケール成分を判別する。さらに、スケール変換調整部４２は、最適な光学スケール成分が前景スケール成分と差分を生じる場合、差分を光学ズームによらない非光学スケール成分とする。スケール変換調整部４２は、判別した最適な光学スケール成分を撮像制御部４３へ通知する。また、スケール変換調整部４２は、撮像制御部４３を介して撮像部２０から取得した情報信号に基づき判別した光学ズームのスケール変換状態が、調整後である最適な光学ズームのスケール変換と差分を生じる場合、光学ズームによらないスケール変換で差分を補う。

スケール変換調整部４２は、最適な光学スケール成分を用いて生成した前景用座標変換行列を、座標変換行列生成部４１で生成された背景用座標変換行列と共に画像合成部４６へ出力する。

ここで、最適な光学スケール成分に基づく変換行列を「Ｓoptimize」、非光学スケール成分に基づく変換行列を「Ｓ1」とすると、背景画像のスケーリング変換の変換行列「Ｓ」は変換行列「Ｓ1」と変換行列「Ｓoptimize」の積となる。したがって、スケール変換調整部４２は、式（６）に示すように、背景用座標変換行列に基づいて前景用座標変換行列を生成する。なお、仮想空間で光学スケールを変更すると、光学スケールの変更が他の座標変換に影響を与えてしまう。したがって、スケール変換調整部４２は、背景用変換行列の「Ｐ」「Ｖ」「Ｍ」に対して、前景用座標変換行列では光学スケール成分に応じた「Ｐ’」「Ｖ’」「Ｍ’」を用いるようにする。

また、スケール変換調整部４２は、式（６）を利用して画枠切れの判定を行う。スケール変換調整部４２は、例えば光学スケール成分として仮値を設定して式（６）に基づき前景用座標変換行列を生成する。

さらに、スケール変換調整部４２は、生成した前景用座標変換行列を用いて、所望の被写体の輪郭位置を算出して、算出した輪郭位置と前景平面との関係から画枠切れの判別を行う。スケール変換調整部４２は、算出した輪郭位置に基づき所望の被写体を含むように例えば矩形状被写体領域を設定する。図４は画枠切れを説明するための図であり、矩形状被写体領域のアスペクト比が前景平面のアスペクト比と一致している場合を例示している。また、矩形状被写体領域と前景平面は中央位置が一致している。ここで、光学ズームのズーム率が小さい場合、前景平面と合成画像との重複領域は実写された所望の被写体を含む矩形状被写体領域に含まれる。したがって、重複領域では実画像における所望の被写体の画欠けを生じることがない。しかし、光学ズームのズーム率が大きくなって画角が狭くなると、重複領域では矩形状被写体領域に含まれない斜線で示す領域が生ずる。この斜線で示す領域は、画角が狭くなったことにより画像が不足して所望の被写体の画欠けを生じる領域である。すなわち、所望の被写体を示す領域が重複領域よりも小さくなることで画枠切れを生じる。したがって、スケール変換調整部４２は、矩形状被写体領域に重複領域が全て含まれれば画枠切れがなく、矩形状被写体領域に含まれない重複領域が生じる場合は画枠切れを生じると判別する。

スケール変換調整部４２は、矩形状被写体領域のアスペクト比が前景平面のアスペクト比と異なる場合、所望の被写体が例えば起立した人物であって矩形状被写体領域が前景平面と合成画像との重複領域よりも縦長である場合は縦方向を比較対象範囲とする。また、スケール変換調整部４２は、所望の被写体が例えば横臥した人物であって矩形状被写体領域が重複領域よりも横長である場合は横方向を比較対象範囲とする。スケール変換調整部４２は、比較対象範囲内に重複領域が全て含まれれば画枠切れがなく、比較対象範囲内に含まれない重複領域が生じる場合は画枠切れを生じると判別する。

なお、スケール変換調整部４２は、撮像部２０で生成された撮像画から抽出した所望の被写体の画像を用いることで、撮像制御部４３から取得した情報信号に基づくスケール変換状態での矩形状被写体領域の位置を判別できる。したがって、スケール変換調整部４２は、取得した情報信号に基づくスケール変換状態での光学スケール成分と設定した仮値との光学スケール成分差に応じて、取得した情報信号に基づくスケール変換状態での矩形状被写体領域をスケール変換する。このようにすれば、スケール変換調整部４２は、仮値に対応した矩形状被写体領域の位置を算出できる。

撮像制御部４３は、スケール変換調整部４２から通知された光学スケール成分に基づき制御信号を生成して撮像部２０に出力して光学ズーム動作を行わせる。また、撮像制御部４３は、撮像部２０から光学ズームのスケール変換状態等を示す情報信号を取得してスケール変換調整部４２へ出力する。

前景画像抽出部４４は、撮像部２０で生成された撮像画から被写体ＯＢｆの画像を前景画像として抽出して画像合成部４６へ出力する。

背景画像保持部４５には、背景用の仮想画像が記憶されている。背景画像保持部４５は、保持している背景画像を画像合成部４６へ出力する。

画像合成部４６は、スケール変換調整部４２で生成された前景用座標変換行列を用いて、前景画像抽出部４４で抽出された前景画像の座標変換を行い、実画像である前景画像を仮想空間内の前景平面に貼り付ける。また、画像合成部４６は、座標変換行列生成部４１で生成された背景用座標変換行列を用いて、背景画像保持部４５に保持されている背景画像の座標変換を行い、仮想画像である背景画像を仮想空間内の背景平面に貼り付ける。さらに、画像合成部４６は背景平面に貼り付けられた合成用背景画像に前景平面に貼り付けられた合成用前景画像を重ね合わせて、図２における仮想撮像部から前景平面と背景平面を撮像した画像に相当する合成画像を生成する。画像合成部４６は、生成した合成画像を画像表示部５０へ出力する。

ここで、仮想空間における前景を平面とした場合、撮像された画像である前景と前景平面は平面と平面の関係となり、式（６）（７）に示す変換式で前景を平面とした場合に前景用座標変換行列は式（８）として表現できる。すなわち、仮想空間における前景を平面とすれば、仮想空間上のスケール変化を光学ズームのスケール変化へと移行することが可能となる。

したがって、仮想空間における前景は平面であるとして、画像処理部４０は、上述のように、スケール変換における光学スケール成分を調整して、合成画像における実画像を良好な解像度に保てるようにする。

［２−２．画像処理部の動作］
次に、画像処理部の動作について説明する。図５は、画像処理部の動作を示すフローチャートである。

ステップＳＴ１で画像処理部は、背景用座標変換行列を生成する。画像処理部は、操作部からの操作信号に基づき設定した仮想撮像部の位置や向きおよびズーム率に応じて、背景用座標変換行列を生成してステップＳＴ２に進む。

ステップＳＴ２で画像処理部は、光学スケール成分を仮値に設定する。画像処理部は、撮像部のズームレンズを駆動してズーミングを行うための光学スケール成分として、光学スケール成分の調整範囲の例えば最大値を仮値として設定してステップＳＴ３に進む。なお、光学スケール成分は、スケール成分が大きくなるに伴いズーム率が大きくなるとする。

ステップＳＴ３で画像処理部は、前景用仮座標変換行列を生成する。画像処理部は、ステップＳＴ１で生成した背景用座標変換行列とステップＳＴ２または後述するステップＳＴ５で設定した光学スケール成分を用いて、前景用仮座標変換行列を生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理部は前景画像の画枠切れが生じないか判別する。画像処理部は画枠切れを生じる場合にステップＳＴ５に進み、画枠切れを生じない場合にステップＳＴ６に進む。

ステップＳＴ５で画像処理部は光学スケール成分を再設定する。画像処理部は画枠切れが生じていることから、画枠切れを生じない方向に光学ズームを変更するため光学スケール成分を再設定してステップＳＴ３に戻る。ここで、スケール成分が大きくなるに伴いズーム率が大きくなる場合は、光学スケール成分を小さくする。

ステップＳＴ４で画枠切れが生じないと判別されてステップＳＴ６に進むと、画像処理部は、光学ズームの目標値を設定する。画像処理部は、設定されている光学スケール成分に応じて光学ズームの目標値を設定してステップＳＴ７に進む。

ステップＳＴ７で画像処理部は光学ズーム制御を行う。画像処理部は、ステップＳＴ６で設定した目標値となるように、撮像部のズームレンズを制御してステップＳＴ８に進む。

ステップＳＴ８で画像処理部は、前景用座標変換行列を更新する。画像処理部は、背景用座標変換行列と撮像部からの情報信号に基づくスケール変換状態に応じて前景用座標変換行列を更新してステップＳＴ９に進む。なお、最初の前景用座標変換行列は背景用座標変換行列と等しい座標変換行列である。

ステップＳＴ９で画像処理部は座標変換処理を行う。画像処理部はステップＳＴ１で設定された背景用座標変換行列を用いて背景画像の座標変換を行い、合成用背景画像を生成する。また、画像処理部は撮像部で生成された画像を取得して前景画像の抽出を行う。さらに、画像処理部は、ステップＳＴ８で更新された前景用座標変換行列を用いて、抽出後の前景画像の座標変換を行い、合成用前景画像を生成してステップＳＴ１０に進む。

ステップＳＴ１０で画像処理部は合成処理を行う。画像処理部は、ステップＳＴ９で生成された合成用背景画像に合成用前景画像を重ねて合成画像を生成してステップＳＴ１１に進む。

ステップＳＴ１１で画像処理部は、光学ズームが目標値であるか判別する。画像処理部は、例えばズーム動作中であって光学ズームが目標値となっていない場合にステップＳＴ８に戻る。また、画像処理部は、光学ズームが目標値となっている場合に動作を終了する。

画像処理部は、このような動作制御を行うことで、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができる。

図６は、光学ズームと合成画像の関係を例示している。図６の（ａ）は前景画像、図６の（ｂ）は背景画像を例示している。ここで、光学スケール成分が大きい（光学ズーム率が大きい）と、合成画像では図６の（ｃ）に示すように、画枠切れを生じて所望の被写体ＯＢｆの画像（実画像）が欠けてしまう場合がある。このため、画像処理部は、光学スケール成分を画枠切れの生じない最大値として、図６の（ｄ）に示すように、画枠切れを生ずることなく所望の被写体ＯＢｆの画像が良好な解像度に保たれた合成画像を生成する。なお、図６の（ｅ）は、光学スケール成分が小さく、非光学ズームである電子ズームで実画像における所望の被写体を拡大した場合を例示している。非光学ズームで所望の被写体ＯＢｆを拡大した場合、非光学スケール成分が大きくなるに伴い所望の被写体ＯＢｆの画像は解像度が低下してしまう。したがって、コンピュータグラフィックによって、良好な解像度の拡大背景画像を生成しても、拡大背景画像と合成される前景画像は解像度が低下していることから、良好な解像度の合成画像を生成することができない。

また、画像処理部は、光学ズームが目標値に達するまでの遷移を考慮して、遷移中の光学スケール成分から所望のズーム変化を満たす非光学スケール成分を算出して、光学スケール成分の光学ズームと、算出した非光学スケール成分の電子ズームを行う。画像処理部は、このように光学スケール成分と非光学スケール成分を設定して所望のズーム変化を実現できるようにしてもよい。

図７は、所望のズーム変化を行う場合の動作を例示している。画像処理部は、図７の（ａ）に示すように光学スケール成分によって、ズーム率が所望のズーム変化よりも大きくなる場合、非光学スケール成分によってズーム率を下げて所望のズーム変化とする。

また、画像処理部は、光学ズームを優先させて所望のズーム変化を行うようにしてもよい。さらに、画像処理部は、解像度劣化の許容範囲内で非光学ズームを行い、許容範囲よりも解像度を劣化するおそれがある場合に光学ズームを用いることで、許容範囲よりも解像度が劣化することなく所望のズーム変化を行うようにしてもよい。

図７の（ｂ）は、光学ズームを優先させて所望のズーム変化を行う場合を例示している。画像処理部は、所望のズーム変化となるように光学スケール成分を調整して、光学スケール成分に応じて制御信号を生成して撮像部２０の光学ズーム動作を制御する。また、画像処理部４０は、撮像部２０からの情報信号に基づき光学ズームのスケール変換状態（ズーム率）を判別して、光学ズームのズーム率が所望のズーム率よりも低い場合は、ズーム率の不足分を非光学ズームで補うようにする。また、光学ズームのズーム率が画枠切れを生じない最大のズーム率Ｚａとなった場合、光学ズームのズーム率と所望のズーム率との差分を非光学ズームで補うようにする。このようにすれば、合成画像における実画像を良好な解像度に保ってズーミングを行うことができる。

図７の（ｃ）は、解像度劣化の許容範囲内で非光学ズームを行う場合を例示している。画像処理部は、所望のズーム変化が解像度劣化の許容範囲内ＺＷｂである場合に非光学スケール成分でズーミングを行う。また、画像処理部４０は、所望のズーム変化が解像度劣化の許容範囲内ＺＷｂを超える場合、解像度がさらに劣化することのないように光学スケール成分を調整して、光学スケール成分に応じて制御信号を生成して撮像部２０の光学ズームを制御する。また、画像処理部４０は、撮像部２０からの情報信号に基づき光学ズームのスケール変換状態（ズーム率）を判別して、光学ズーム率と所望のズーム率との差分を非光学ズームで補うようにする。また、光学ズーム率が画枠切れを生じない最大のズーム率Ｚａとなった場合、光学ズーム率と所望のズーム率との差分を非光学ズームで補うようにする。このようにすれば、合成画像における実画像の解像度が許容範囲よりも劣化してしまうことを防止できる。また、光学ズームは解像度が許容範囲よりも劣化するおそれがある場合となったときに行われるので、光学ズームの駆動が少なくなり、撮像部２０の消費電力を削減することが可能となる。

［２−３．画像処理部の他の動作］
次に、画像処理部の他の動作として、ズーミングだけでなくパンニングやチルティングの動作を行う場合について説明する。ズーミングにおける光学中心が所望の被写体の位置から離れていると、光学ズームにおいて画枠切れを生じやすい。

図８はズーミングの光学中心と画枠切れの関係を説明するための図である。図８の（ａ）は、ズーミングの光学中心が星印で示す所望の被写体ＯＢｆの中心から離れている場合、図８の（ｂ）は、ズーミングにおける光学中心が星印で示す所望の被写体ＯＢｆの位置である場合を例示している。

図８の（ａ）に示すように、ズーミングの光学中心が所望の被写体ＯＢｆの中心から離れていると、ズーミングによって斜線の領域に含まれる被写体部分は画像が欠けてしまう。しかし、図８の（ｂ）に示すように、ズーミングの光学中心が所望の被写体ＯＢｆの中心位置であると、図８の（ａ）と等しいズーム率でズーミングを行っても、被写体ＯＢｆは斜線の領域に含まれることがなく被写体ＯＢｆの画像が欠けてしまうことがない。すなわち、ズーミングにおける光学中心を所望の被写体の位置とすることで、画枠切れを生じることのないズーム率を大きくできる。すなわち、スケール成分の配分を光学スケール成分に多く配分することが可能となり、解像度の劣化をより生じ難くして、良好な解像度に保たれた所望のズーム率の合成画像を生成できるようになる。

そこで、画像処理部の他の動作において、スケール変換調整部は、最適な光学スケール成分の判別と、光学ズームにおける光学中心を所望の被写体の位置とする撮像方向（パン成分およびチルト成分）の判別を行う。また、撮像制御部は判別された光学スケール成分とパン成分およびチルト成分に応じた制御信号を生成して撮像部へ出力することで、ズーミングや光学ズームにおける光学中心を所望の被写体の位置とするパンニングおよびチルティングを撮像部で行わせる。また、撮像部でパンニングやチルティングの動作が行われて撮像方向が変化すると、撮像画における所望の被写体の画像では、撮像方向の変化による影響が生じる。したがって、スケール変換調整部は、撮像部でパンニングやチルティングの動作が行われても、パンニングやチルティングの動作前の状態でズーミングが行われた前景画像が得られるように、前景画像を仮想空間に描画するための座標変換を調整する。

パンニングやチルティングの動作による変化は平面変化と考えることができる。したがって、ズーミングの光学中心を所望の被写体の位置とするパンニングやチルティングの動作に応じた射影変換行列を「Ｈoptimize」とした場合、式（９）に基づきズーミングの光学中心を所望の被写体の位置とするパンニングやチルティングの座標（ｘ、ｙ）を、パンニングやチルティングの影響を打ち消した座標（ｘ’，ｙ’）に変換できる。したがって、式（１０）に基づき、ズーミング後の前景画像に対して射影変換行列Ｈoptimizeを用いて座標変換を行うことで、パンニングやチルティングの動作が行われたことによる影響を仮想空間側で打ち消した合成用前景画像の生成が可能となる。

図９は、ズーミングだけでなくパンニングやチルティングを含めた画像処理部の動作を示すフローチャートである。

ステップＳＴ２１で画像処理部は、背景用座標変換行列を生成する。画像処理部は、操作部からの操作信号に基づき設定した仮想撮像部の位置や向きおよびズーム率に応じて、背景用座標変換行列を生成してステップＳＴ２２に進む。

ステップＳＴ２２で画像処理部は、ＰＴＺ仮値設定を行う。画像処理部は、撮像部のズームレンズを用いてズーミングを行う光学スケール成分として、光学スケール成分の調整範囲の例えば最大値を仮値として設定する。なお、光学スケール成分は、スケール成分が大きくなるに伴いズーム率が大きくなるとする。また、画像処理部は、撮像方向を調整するパン成分およびチルト成分について、仮値を初期値に設定してステップＳＴ２３に進む。

ステップＳＴ２３で画像処理部は、前景用仮座標変換行列を生成する。画像処理部は、ステップＳＴ２１で生成した背景用座標変換行列とステップＳＴ２２または後述するステップＳＴ２５で設定した光学スケール成分，パン成分，チルト成分を用いて、前景用仮座標変換行列を生成してステップＳＴ２４に進む。

ステップＳＴ２４で画像処理部は前景画像の画枠切れが生じないか判別する。画像処理部は画枠切れを生じる場合にステップＳＴ２５に進み、画枠切れを生じない場合にステップＳＴ２６に進む。

ステップＳＴ２５で画像処理部はＰＴＺ仮値を再設定する。画像処理部は画枠切れが生じていることから、画枠切れを生じない方向に光学スケール成分とパン成分とチルト成分の仮値を再設定する。例えば前景画像の右側で画枠切れが生じる場合には、撮像方向を右方向に移動するようにパン成分の再設定を行い、画像の上側で画枠切れが生じる場合には、撮像方向を上方向に移動するようにチルト成分の再設定を行う。また、前景画像の左右や上下で画枠切れが生じる場合はズーム率を下げるように光学スケール成分の再設定を行う。画像処理部は画枠切れの発生状況に応じて光学スケール成分とパン成分およびチルト成分の再設定を行ってステップＳＴ２３に戻る。

ステップＳＴ２４で画枠切れが生じないと判別されてステップＳＴ２６に進むと、画像処理部は、ＰＴＺ目標値を設定する。画像処理部は、画枠切れが生じないと判別されたときの光学スケール成分に応じて光学ズームの目標値を設定する。また、画像処理部は、画枠切れが生じないと判別されたときのパン成分およびチルト成分に応じてパンニングとチルティングの目標値を設定してステップＳＴ２７に進む。

ステップＳＴ２７で画像処理部は光学ズームと撮像方向の制御を行う。画像処理部は、ステップＳＴ２６で設定した目標値となるように、撮像部のズームレンズやパン・チルト機構を制御してステップＳＴ２８に進む。

ステップＳＴ２８で画像処理部は、前景用座標変換行列を更新する。画像処理部は、背景用座標変換行列と撮像部からの情報信号に基づくスケール変換状態の光学スケール成分や情報信号に基づくパン成分，チルト成分に応じて前景用座標変換行列を更新してステップＳＴ２９に進む。なお、最初の前景用座標変換行列は背景用座標変換行列と等しい座標変換行列である。

ステップＳＴ２９で画像処理部は座標変換処理を行う。画像処理部はステップＳＴ２１で設定された背景用座標変換行列を用いて背景画像の座標変換を行い、合成用背景画像を生成する。また、画像処理部は撮像部で生成された画像を取得して前景画像の抽出を行う。さらに、画像処理部は、ステップＳＴ２９で更新された前景用座標変換行列を用いて、抽出後の前景画像の座標変換を行い、合成用前景画像を生成してステップＳＴ３０に進む。

ステップＳＴ３０で画像処理部は合成処理を行う。画像処理部は、ステップＳＴ２９で生成された合成用背景画像に合成用前景画像を重ねて合成画像を生成してステップＳＴ３１に進む。

ステップＳＴ３１で画像処理部は、目標値であるか判別する。画像処理部は、光学ズームとパンニングおよびチルティングが目標値であるか判別する。画像処理部は、光学ズームやパンニングおよびチルティングが動作中であって目標値となっていない場合はステップＳＴ２８に戻る。また、画像処理部は、光学ズームとパンニングおよびチルティングが目標値となっている場合に動作を終了する。

このような処理を行えば、画枠切れを生じないように光学ズームだけでなくパンニングおよびチルティングが行われて、良好な解像度が保持されて所望の被写体が画枠切れを生じることのないように撮像方向が調整された合成画像を生成できるようになる。また、前景画像では、光学スケール成分への配分が多くなるようにパンニングやチルティングが行われても、このパンニングやチルティングの影響を打ち消すことができる。

図１０はパンニングが行われた場合の動作を例示している。図１０の（ａ）はパンニング前の撮像画を例示している。画像処理部は撮像部の制御等を行い、図１０の（ｂ）に示すように、所望の被写体ＯＢｆが中心位置となるようにパンニングが行われて被写体ＯＢｆにズームインした実画像であって、パンニングの影響を射影変換によって打ち消した前景画像を生成する。さらに画像処理部は、生成した前景画像を仮想画像である背景画像と合成する。したがって、合成画像は、図１０の（ｃ）に示すように、背景内に所望の被写体ＯＢｆが中央に位置して、背景内にあたかも実在するような良好な解像度の画像となる。

また、ズーミングだけでなくパンニングやチルティングを含めた画像処理部の動作は図９に示す動作に限らない。例えば、画像処理部は、前景抽出部で抽出した前景被写体の撮像画における位置から、所望の被写体を中央位置とするパン成分とチルト成分を検出する。その後、画像処理部は、検出したパン成分とチルト成分に基づき所望の被写体を中央位置とした状態で画枠切れを生じない光学スケール成分を検出して、検出した各成分に基づいて目標値を設定してもよい。

なお、図５，図９のフローチャートでは、光学スケール成分の最大値を仮値として、画枠切れが生じなくなるまで仮値を順次減少させて、最適な光学スケール成分を判別する場合を例示しているが、仮値は光学スケール成分の最小値としてもよい。この場合、画像処理部は、画枠切れが生じるまで仮値を順次増加させて、画枠切れが生じる直前の光学スケール成分を最適な光学スケール成分とする。また、上述の実施の形態は所望の被写体にズームインした場合の動作を例示しているが、ズームアウト動作の場合も光学スケール成分を優先するように、スケール成分を調整してもよい。

このように本技術によれば、１台の撮像部で所望の被写体の全体画像からズームインした画像まで、前景画像を画枠切れが生じることのないように良好な解像度で合成することが可能となる。このため、良好な解像度の画像を得るために、所望の被写体の全体を撮像する撮像部とズームインした画像を取得する撮像部を設けて切り替え用いる必要がなく、画像処理システムの安価に構築できる。また、画像処理システムで生成される合成画像の高品質化が期待できる。

また、所望の被写体や背景等にマーカーを設定して撮像部との位置関係を常に把握して仮想背景画像と前景画像を合成すれば、前景画像を取得する撮像部は仮想空間と連動されて、解像度の低下のない合成画像を生成することが可能である。しかし、このような方法では、精密な位置調整が必要となるため位置を知るための高価な装置等が必要となる。しかし、この技術では、マーカーの設定や精密な位置調整が必要とないことから、容易に良好な解像度の合成画像を生成できる。

さらに、ユーザーは操作部で仮想撮像部を動かせば、実画像を生成する撮像部の光学ズームが自動的に制御されるので、光学ズームの操作を意識的に行う必要がなく、容易に良好な解像度の合成画像を生成することが可能となる。

また、撮像部の光学ズームで応答の遅延が生じても非光学スケール成分すなわち電子ズームによって遅延の影響を吸収できるので、所望のズーム動作を実現できる。したがって、ハードウェア的な制約にかかわらず、任意の速度や時間でズーム動作が行われた場合の合成画像を生成できる。

また、光学ズームにおける光学中心を実画像における所望の被写体の位置に移動することが可能であるので、撮像対象や仮想撮像部が光学中心に対して離れた位置に移動する場合でも良好な解像度の合成画像を生成することが可能となる。さらに、仮想撮像部を操作して画像合成を生成できるためカメラマンを設けることなく合成画像を生成できる
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行うスケール変換調整部を備える画像処理装置。
（２） 前記スケール変換調整部は、前記光学ズームによるスケール変換と前記光学ズームによらないスケール変換を用いて前記座標変換におけるスケール変換を行い、前記光学ズームによるスケール変換がより多くなるように調整する（１）に記載の画像処理装置。
（３） 前記スケール変換調整部は、前記合成によって生成される合成画像において前記実画像における所望の被写体の画欠けを生じないように、前記光学ズームによるスケール変換を調整する（２）に記載の画像処理装置。
（４） 前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる撮像制御部をさらに備える（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記スケール変換調整部は、前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、
前記撮像制御部は、前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を行う（４）に記載の画像処理装置。
（６） 前記スケール変換調整部は、前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する（５）に記載の画像処理装置。
（７） 前記スケール変換調整部は、前記撮像部から前記光学ズームのスケール変換状態を識別可能とする情報信号を取得して、前記情報信号に基づいて判別した前記光学ズームのスケール変換状態が、前記座標変換におけるスケール変換と差分を生じる場合、前記光学ズームによらないスケール変換で前記差分を補う（１）乃至（６）の何れかに記載の画像処理装置。
（８） 前記仮想空間における視点の位置と方向およびズーム率に応じた座標変換行列を生成する座標変換行列生成部と、
前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
座標変換後の前記仮想画像と前記画像抽出部で抽出した実画像を合成する画像合成部をさらに備え、
前記スケール変換調整部は、前記ズーム率に応じた座標変換行列に前記光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成して、
前記画像合成部は、前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行う（１）乃至（７）の何れかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法とプログラムおよび画像処理システムでは、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換が、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行われる。このため、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができるようになる。したがって、バーチャルスタジオ等の画像制作分野に適している。

１０・・・画像処理システム
２０・・・撮像部
３０・・・操作部
４０・・・画像処理部
４１・・・座標変換行列生成部
４２・・・スケール変換調整部
４３・・・撮像制御部
４４・・・前景画像抽出部
４５・・・背景画像保持部
４６・・・画像合成部
５０・・・画像表示部
９１・・・グリーンバック

Claims (8)

1. 仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行うスケール変換調整部と、
   前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる撮像制御部をさらに備え、
   前記撮像制御部は、前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を行い、
   前記スケール変換調整部は、前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する
   画像処理装置。
2. 前記スケール変換調整部は、前記光学ズームによるスケール変換と前記光学ズームによらないスケール変換を用いて前記座標変換におけるスケール変換を行い、前記光学ズームによるスケール変換がより多くなるように調整する
   請求項１に記載の画像処理装置。
3. 前記スケール変換調整部は、前記合成によって生成される合成画像において前記実画像における所望の被写体の画欠けを生じないように、前記光学ズームによるスケール変換を調整する
   請求項２に記載の画像処理装置。
4. 前記スケール変換調整部は、前記撮像部から前記光学ズームのスケール変換状態を識別可能とする情報信号を取得して、前記情報信号に基づいて判別した前記光学ズームのスケール変換状態が、前記座標変換におけるスケール変換と差分を生じる場合、前記光学ズームによらないスケール変換で前記差分を補う
   請求項１に記載の画像処理装置。
5. 前記仮想空間における視点の位置と方向およびズーム率に応じた座標変換行列を生成する座標変換行列生成部と、
   前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
   座標変換後の前記仮想画像と前記画像抽出部で抽出した実画像を合成する画像合成部をさらに備え、
   前記スケール変換調整部は、前記ズーム率に応じた座標変換行列に前記光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成して、
   前記画像合成部は、前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行う
   請求項１に記載の画像処理装置。
6. 仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いてスケール変換調整部で行うことと、
   前記光学ズームによるスケール変換に応じた制御信号を撮像制御部から前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させることと、
   前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を前記撮像制御部で行うことと、
   前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を前記スケール変換調整部で調整すること
   を含む画像処理方法。
7. 仮想画像と実画像の合成をコンピュータで実行させるプログラムであって、
   前記仮想画像と合成する前記実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う手順と、
   前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる手順と、
   前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行う手順と、
   前記撮像部の撮像方向を前記判別した撮像方向とする制御を行う手順と、
   前記撮像方向を前記判別した撮像方向とする制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する手順とを
   前記コンピュータで実行させるプログラム。
8. 実画像を生成する撮像部と、
   前記実画像を仮想画像と合成する仮想空間における視点の位置と方向およびズーム率の操作を行う操作部と、
   前記仮想画像と前記撮像部で生成された実画像を、前記操作部での操作に応じて仮想空間に描画して、前記仮想空間に描画された前記仮想画像と前記実画像を合成する画像処理部を備え、
   前記画像処理部は、
   前記操作部の操作に応じた座標変換行列を生成する座標変換行列生成部と、
   前記実画像に対する前記ズーム率に応じた座標変換行列に前記撮像部の光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成するスケール変換調整部と、
   前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
   前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行い、座標変換後の前記仮想画像と前記実画像を合成する画像合成部と、
   前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた前記実画像を前記撮像部で生成させる撮像制御部を有する
   画像処理システム。

Images