JP6708213B2 - 画像処理装置と画像処理方法とプログラムおよび画像処理システム - Google Patents

画像処理装置と画像処理方法とプログラムおよび画像処理システム Download PDF

Info

Publication number
JP6708213B2
JP6708213B2 JP2017534134A JP2017534134A JP6708213B2 JP 6708213 B2 JP6708213 B2 JP 6708213B2 JP 2017534134 A JP2017534134 A JP 2017534134A JP 2017534134 A JP2017534134 A JP 2017534134A JP 6708213 B2 JP6708213 B2 JP 6708213B2
Authority
JP
Japan
Prior art keywords
image
unit
conversion
scale
scale conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017534134A
Other languages
English (en)
Other versions
JPWO2017026193A1 (ja
Inventor
翔 小倉
翔 小倉
秀敏 永野
秀敏 永野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017026193A1 publication Critical patent/JPWO2017026193A1/ja
Application granted granted Critical
Publication of JP6708213B2 publication Critical patent/JP6708213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Description

この技術は、画像処理装置と画像処理方法とプログラムおよび画像処理システムに関し、仮想画像と実画像の合成画像において実画像を良好な解像度に保つことができるようにする。
従来、現実世界とコンピュータによって作られる仮想空間とを融合させる複合現実(MR:Mixed Reality)技術が知られている。この技術は、観察者に対して現実世界の物体を仮想空間に実在するように提示することが可能となるため、例えば画像制作分野に応用することでバーチャルスタジオを実現できる。バーチャルスタジオでは、撮像部で生成した実画像を前景画像、コンピュータ等で生成した仮想画像をスタジオ背景として、所望の視点からの画像に座標変換された前景画像とスタジオ背景を合成する。このような合成処理を行うことで、前景の被写体があたかも仮想のスタジオにいるような合成画像を生成できる。
実画像である前景画像と仮想画像であるスタジオ背景の合成では、前景画像とスタジオ背景との間で違和感がないように位置や大きさの調整が行われる。また、前景画像の大きさは、光学ズームやデジタルズーム(電子ズーム)を用いることで調整できる。例えば特許文献1では、デジタルズームで被写体を拡大した後に光学ズームをゆっくり行うことで素早く静かにズームすることができる技術が開示されている。
特開2010−226753号公報
ところで、デジタルズームで被写体を拡大した後に光学ズームを行うと、光学ズームが開始される前に解像度が低下する。したがって、実画像である前景画像を拡大する場合、合成画像では前景画像のみが解像度の劣化した画像となってしまう場合がある。
そこで、この技術では、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができる画像処理装置と画像処理方法とプログラムおよび画像処理システムを提供することを目的とする。
この技術の第1の側面は、
仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行うスケール変換調整部と、
前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる撮像制御部をさらに備え、
前記撮像制御部は、前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を行い、
前記スケール変換調整部は、前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する画像処理装置にある。
この技術において、スケール変換調整部は、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う。また、座標変換におけるスケール変換は、前記光学ズームによるスケール変換と前記光学ズームによらないスケール変換を用いて行い、光学ズームによるスケール変換がより多くなるように、また合成によって生成される合成画像において実画像における所望の被写体の画欠けを生じないように、光学ズームによるスケール変換を調整する。また、スケール変換調整部は、撮像部から光学ズームによるスケール変換状態を識別可能とする情報信号を取得して、情報信号に基づいて判別した光学ズームによるスケール変換状態が、座標変換におけるスケール変換と差分を生じる場合、光学ズームによらないスケール変換で差分を補う。撮像制御部は、光学ズームによるスケール変換に応じた制御信号を撮像部に出力することで、調整後である光学ズームのスケール変換が行われた実画像を撮像部で生成させる。また、スケール変換調整部は、光学ズームにおける光学中心が実画像における所望の被写体の位置となる撮像方向の判別を行い、撮像制御部は、撮像部の撮像方向をスケール変換調整部で判別された方向とする制御を行う。さらに、スケール変換調整部は、撮像方向の制御によって実画像における所望の被写体に生ずる影響を打ち消すように、実画像を仮想空間に描画するための座標変換を調整する。
また、画像処理装置には、仮想空間における視点の位置と方向およびズーム率に応じた座標変換行列を生成する座標変換行列生成部と、前記撮像部で生成された撮像画から所望の被写体の画像を実画像として抽出する画像抽出部と、座標変換後の前記仮想画像と前記画像抽出部で抽出した実画像を合成する画像合成部がさらに設けられて、スケール変換調整部は、ズーム率に応じた座標変換行列に光学ズームによるスケール変換を含む座標変換行列を、座標変換行列生成部で生成された座標変換行列に基づき生成して、画像合成部は、仮想画像に対して座標変換行列生成部で生成された座標変換行列を用いて座標変換を行い、画像抽出部で抽出した実画像に対してスケール変換調整部で生成された座標変換行列を用いて座標変換を行う。
この技術の第2の側面は、
仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いてスケール変換調整部で行うことと、
前記光学ズームによるスケール変換に応じた制御信号を撮像制御部から前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させることと、
前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を前記撮像制御部で行うことと、
前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を前記スケール変換調整部で調整することを含む画像処理方法にある。
この技術の第3の側面は、
仮想画像と実画像の合成をコンピュータで実行させるプログラムであって、
前記仮想画像と合成する前記実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う手順と、
前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる手順と、
前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行う手順と、
前記撮像部の撮像方向を前記判別した撮像方向とする制御を行う手順と、
前記撮像方向を前記判別した撮像方向とする制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する手順とを
前記コンピュータで実行させるプログラム。
この技術の第4の側面は、
実画像を生成する撮像部と、
前記実画像を仮想画像と合成する仮想空間における視点の位置と方向およびズーム率の操作を行う操作部と、
前記仮想画像と前記撮像部で生成された実画像を、前記操作部での操作に応じて仮想空間に描画して、前記仮想空間に描画された前記仮想画像と前記実画像を合成する画像処理部を備え、
前記画像処理部は、
前記操作部の操作に応じた座標変換行列を生成する座標変換行列生成部と、
前記実画像に対する前記ズーム率に応じた座標変換行列に前記撮像部の光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成するスケール変換調整部と、
前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行い、座標変換後の前記仮想画像と前記実画像を合成する画像合成部と、
前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた前記実画像を前記撮像部で生成させる撮像制御部を有する画像処理システムにある。
この技術によれば、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換が、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行われる。このため、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理システムの構成を例示した図である。 合成画像の生成を説明するための図である。 画像処理部の構成を例示した図である。 画枠切れを説明するための図である。 画像処理部の動作を示すフローチャートである。 光学ズームと合成画像の関係を例示した図である。 所望のズーム変化を行う場合の動作を例示した図である。 ズーミングの光学中心と画枠切れの関係を説明するための図である。 パンニングやチルティングを含めた画像処理部の動作を示すフローチャートである。 パンニングが行われたときの動作を例示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.画像処理システムの構成と動作
2.画像処理部について
2−1.画像処理部の構成
2−2.画像処理部の動作
2−3.画像処理部の他の動作
<1.画像処理システムの構成と動作>
図1は、画像処理システムの構成を例示している。画像処理システム10は、撮像部20、操作部30、画像処理部40、画像表示部50を有している。
撮像部20は、所望の被写体OBfの撮像画を生成して画像処理部40へ出力する。撮像部20はズームレンズを用いて構成されており、画像処理部40からの制御信号に基づき光学ズーム動作によって画角の調整が可能とされている。また、撮像部20は光学ズームによるスケール変換状態等を示す情報信号を画像処理部40に通知する。さらに、撮像部20は、パン・チルト機能を有するように構成して、画像処理部40からの制御信号に基づきパンニングやチルティングを行うようにしてもよい。なお、被写体OBfは、撮像部20で生成された撮像画から被写体OBfの画像のみを画像処理部40で抽出できるように、例えばグリーンバック91を背景として撮像する。
操作部30は、ユーザー操作に応じた操作信号を画像処理部40へ出力する。例えば操作部30は、ズーミングの操作に応じた操作信号を生成して画像処理部40へ出力する。また、撮像部20がパン・チルト機構を有している場合、操作部30は、パンニングやチルティングの操作に応じた操作信号を生成して画像処理部40へ出力する。
画像処理部40は、撮像部20で生成された撮像画から被写体OBfの画像を前景画像として抽出して、実画像である前景画像を仮想画像である背景画像に貼り付けて合成画像を生成する。また、画像処理部40は、操作部30からの操作信号に基づき、ズーミングやパンニング,チルティング等の動作が行われた合成画像を生成する。画像処理部40は、生成した合成画像の画像信号を画像表示部50へ出力する。
画像表示部50は、画像処理部40から供給された画像信号に基づき画像表示を行い、仮想画像の背景内に前景の被写体があたかも実在するような画像を表示する。
このように構成された画像処理システムでは、仮想画像である背景のスケールと実画像である前景のスケールが同じ変化となるように画像を合成する。図2は、合成画像の生成を説明するための図である。例えば背景平面と前景平面を仮想空間に設けて、背景平面に仮想画像である背景を貼り付け、前景平面に実画像である所望の被写体の画像を貼り付ける。さらに、前景平面の画像と背景平面の画像を重ねて、前景平面の前方に設定した仮想撮像部から被写体と背景を撮像した場合に相当する合成画像を生成する。操作部30では、仮想撮像部の位置や向きおよびズーム率の設定操作に応じた操作信号を生成して、画像処理部40は、ユーザーが設定した視点の位置や向きおよびズーム率すなわち仮想撮像部の位置や向きおよびズーム率等に応じた合成画像を生成する。なお、図2では、仮想空間をワールド座標系(X,Y,Z)、仮想撮像部を基準とした座標系をロケーション座標系(S,T,U)とする。
このように画像処理システムは、撮像部20の光学ズームを利用して、合成画像における実画像すなわち前景平面に貼り付ける撮像画の被写体像が良好な解像度に保たれるようにする。なお、合成画像は、動画または静止画のいずれであってもよい。

<2.画像処理部について>
[2−1.画像処理部の構成]
次に画像処理部の構成について説明する。図3は画像処理部の構成を例示している。画像処理部40は、座標変換行列生成部41、スケール変換調整部42、撮像制御部43、前景画像抽出部44、背景画像保持部45、画像合成部46を有している。
座標変換行列生成部41は、操作部30からの操作信号に基づき、ユーザーによって設定された仮想撮像部の位置や向きおよびズーム率に応じて、背景用座標変換行列を生成する。座標変換行列生成部41は、生成した座標変換行列をスケール変換調整部42へ出力する。式(1)は背景用座標変換行列を示している。式(1)は仮想画像である背景画像内の点(スクリーン座標における位置(x,y))と仮想空間で対応する点(ワールド座標における位置(X,Y,Z))との関係を示している。式(2)乃至式(5)は式(1)の「S」「P」「V」「M」の変換行列を例示している。「S」は、式(2)に示すように、スケーリング変換の変換行列である。式(2)において、「s」はスケール成分を示している。「P」は、式(3)に示すように、投影変換の変換行列である。投影変換の変換行列で投影を行う領域を視野空間とした場合、式(3)において、「h」は視野空間のy軸方向の幅、「w」は視野空間のx軸方向の幅、「Near」は視野空間の手前側z座標、「Far」は視野空間の奥側z座標を示している。また、「f」は視野空間の視野角をfovyとしたとき「f=cot(fovy/2)」である。「V」は、式(4)に示すように、ビューイング変換の変換行列である。式(4)において、「r0〜r8」は回転成分を示しており「tx,ty,tz」は平行移動成分を示している。「M」は、式(5)に示すように、モデリング変換の変換行列である。なお、「S」「P」「V」「M」の変換行列は、式(2)乃至式(5)に示す変換行列に限られない。
Figure 0006708213
スケール変換調整部42は、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う。すなわち、スケール変換調整部42は、仮想画像である背景画像のスケールと実画像である前景画像のスケールが同じ変化となるように、座標変換行列生成部41で生成された背景用座標変換行列に基づき前景用座標変換行列を生成する。スケール変換調整部42は、前景用座標変換行列のスケール成分(前景画像のズーム率)を、光学スケール成分および/または非光学スケール成分で構成する。光学スケール成分は、撮像部のズームレンズを用いた光学ズームによるスケール変換であり、非光学スケール成分は、光学ズームによらないスケール変換すなわち電子ズームによるスケール変換である。光学ズームは、ズームレンズを利用したスケール変換であることから、例えば所望の被写体にズームインしたときに電子ズームのような解像度の劣化を招くことがない。
スケール変換調整部42は、前景画像を良好な解像度に保つことができる最適な光学スケール成分を判別する。最適な光学スケール成分の判別において、スケール変換調整部42は、光学ズームによるスケール変換がより多くなるように光学スケール成分を調整する。例えば仮想撮像部でズームイン動作を行ったときに、前景画像が良好な解像度を保つことができるよう光学ズームで前景画像の拡大を行うようにする。また、スケール変換調整部42は、光学ズームで前景画像を拡大しても後述する画枠切れを生じないように光学スケール成分を調整して、最適な光学スケール成分を判別する。さらに、スケール変換調整部42は、最適な光学スケール成分が前景スケール成分と差分を生じる場合、差分を光学ズームによらない非光学スケール成分とする。スケール変換調整部42は、判別した最適な光学スケール成分を撮像制御部43へ通知する。また、スケール変換調整部42は、撮像制御部43を介して撮像部20から取得した情報信号に基づき判別した光学ズームのスケール変換状態が、調整後である最適な光学ズームのスケール変換と差分を生じる場合、光学ズームによらないスケール変換で差分を補う。
スケール変換調整部42は、最適な光学スケール成分を用いて生成した前景用座標変換行列を、座標変換行列生成部41で生成された背景用座標変換行列と共に画像合成部46へ出力する。
ここで、最適な光学スケール成分に基づく変換行列を「Soptimize」、非光学スケール成分に基づく変換行列を「S1」とすると、背景画像のスケーリング変換の変換行列「S」は変換行列「S1」と変換行列「Soptimize」の積となる。したがって、スケール変換調整部42は、式(6)に示すように、背景用座標変換行列に基づいて前景用座標変換行列を生成する。なお、仮想空間で光学スケールを変更すると、光学スケールの変更が他の座標変換に影響を与えてしまう。したがって、スケール変換調整部42は、背景用変換行列の「P」「V」「M」に対して、前景用座標変換行列では光学スケール成分に応じた「P’」「V’」「M’」を用いるようにする。
Figure 0006708213
また、スケール変換調整部42は、式(6)を利用して画枠切れの判定を行う。スケール変換調整部42は、例えば光学スケール成分として仮値を設定して式(6)に基づき前景用座標変換行列を生成する。
さらに、スケール変換調整部42は、生成した前景用座標変換行列を用いて、所望の被写体の輪郭位置を算出して、算出した輪郭位置と前景平面との関係から画枠切れの判別を行う。スケール変換調整部42は、算出した輪郭位置に基づき所望の被写体を含むように例えば矩形状被写体領域を設定する。図4は画枠切れを説明するための図であり、矩形状被写体領域のアスペクト比が前景平面のアスペクト比と一致している場合を例示している。また、矩形状被写体領域と前景平面は中央位置が一致している。ここで、光学ズームのズーム率が小さい場合、前景平面と合成画像との重複領域は実写された所望の被写体を含む矩形状被写体領域に含まれる。したがって、重複領域では実画像における所望の被写体の画欠けを生じることがない。しかし、光学ズームのズーム率が大きくなって画角が狭くなると、重複領域では矩形状被写体領域に含まれない斜線で示す領域が生ずる。この斜線で示す領域は、画角が狭くなったことにより画像が不足して所望の被写体の画欠けを生じる領域である。すなわち、所望の被写体を示す領域が重複領域よりも小さくなることで画枠切れを生じる。したがって、スケール変換調整部42は、矩形状被写体領域に重複領域が全て含まれれば画枠切れがなく、矩形状被写体領域に含まれない重複領域が生じる場合は画枠切れを生じると判別する。
スケール変換調整部42は、矩形状被写体領域のアスペクト比が前景平面のアスペクト比と異なる場合、所望の被写体が例えば起立した人物であって矩形状被写体領域が前景平面と合成画像との重複領域よりも縦長である場合は縦方向を比較対象範囲とする。また、スケール変換調整部42は、所望の被写体が例えば横臥した人物であって矩形状被写体領域が重複領域よりも横長である場合は横方向を比較対象範囲とする。スケール変換調整部42は、比較対象範囲内に重複領域が全て含まれれば画枠切れがなく、比較対象範囲内に含まれない重複領域が生じる場合は画枠切れを生じると判別する。
なお、スケール変換調整部42は、撮像部20で生成された撮像画から抽出した所望の被写体の画像を用いることで、撮像制御部43から取得した情報信号に基づくスケール変換状態での矩形状被写体領域の位置を判別できる。したがって、スケール変換調整部42は、取得した情報信号に基づくスケール変換状態での光学スケール成分と設定した仮値との光学スケール成分差に応じて、取得した情報信号に基づくスケール変換状態での矩形状被写体領域をスケール変換する。このようにすれば、スケール変換調整部42は、仮値に対応した矩形状被写体領域の位置を算出できる。
撮像制御部43は、スケール変換調整部42から通知された光学スケール成分に基づき制御信号を生成して撮像部20に出力して光学ズーム動作を行わせる。また、撮像制御部43は、撮像部20から光学ズームのスケール変換状態等を示す情報信号を取得してスケール変換調整部42へ出力する。
前景画像抽出部44は、撮像部20で生成された撮像画から被写体OBfの画像を前景画像として抽出して画像合成部46へ出力する。
背景画像保持部45には、背景用の仮想画像が記憶されている。背景画像保持部45は、保持している背景画像を画像合成部46へ出力する。
画像合成部46は、スケール変換調整部42で生成された前景用座標変換行列を用いて、前景画像抽出部44で抽出された前景画像の座標変換を行い、実画像である前景画像を仮想空間内の前景平面に貼り付ける。また、画像合成部46は、座標変換行列生成部41で生成された背景用座標変換行列を用いて、背景画像保持部45に保持されている背景画像の座標変換を行い、仮想画像である背景画像を仮想空間内の背景平面に貼り付ける。さらに、画像合成部46は背景平面に貼り付けられた合成用背景画像に前景平面に貼り付けられた合成用前景画像を重ね合わせて、図2における仮想撮像部から前景平面と背景平面を撮像した画像に相当する合成画像を生成する。画像合成部46は、生成した合成画像を画像表示部50へ出力する。
ここで、仮想空間における前景を平面とした場合、撮像された画像である前景と前景平面は平面と平面の関係となり、式(6)(7)に示す変換式で前景を平面とした場合に前景用座標変換行列は式(8)として表現できる。すなわち、仮想空間における前景を平面とすれば、仮想空間上のスケール変化を光学ズームのスケール変化へと移行することが可能となる。
Figure 0006708213
したがって、仮想空間における前景は平面であるとして、画像処理部40は、上述のように、スケール変換における光学スケール成分を調整して、合成画像における実画像を良好な解像度に保てるようにする。
[2−2.画像処理部の動作]
次に、画像処理部の動作について説明する。図5は、画像処理部の動作を示すフローチャートである。
ステップST1で画像処理部は、背景用座標変換行列を生成する。画像処理部は、操作部からの操作信号に基づき設定した仮想撮像部の位置や向きおよびズーム率に応じて、背景用座標変換行列を生成してステップST2に進む。
ステップST2で画像処理部は、光学スケール成分を仮値に設定する。画像処理部は、撮像部のズームレンズを駆動してズーミングを行うための光学スケール成分として、光学スケール成分の調整範囲の例えば最大値を仮値として設定してステップST3に進む。なお、光学スケール成分は、スケール成分が大きくなるに伴いズーム率が大きくなるとする。
ステップST3で画像処理部は、前景用仮座標変換行列を生成する。画像処理部は、ステップST1で生成した背景用座標変換行列とステップST2または後述するステップST5で設定した光学スケール成分を用いて、前景用仮座標変換行列を生成してステップST4に進む。
ステップST4で画像処理部は前景画像の画枠切れが生じないか判別する。画像処理部は画枠切れを生じる場合にステップST5に進み、画枠切れを生じない場合にステップST6に進む。
ステップST5で画像処理部は光学スケール成分を再設定する。画像処理部は画枠切れが生じていることから、画枠切れを生じない方向に光学ズームを変更するため光学スケール成分を再設定してステップST3に戻る。ここで、スケール成分が大きくなるに伴いズーム率が大きくなる場合は、光学スケール成分を小さくする。
ステップST4で画枠切れが生じないと判別されてステップST6に進むと、画像処理部は、光学ズームの目標値を設定する。画像処理部は、設定されている光学スケール成分に応じて光学ズームの目標値を設定してステップST7に進む。
ステップST7で画像処理部は光学ズーム制御を行う。画像処理部は、ステップST6で設定した目標値となるように、撮像部のズームレンズを制御してステップST8に進む。
ステップST8で画像処理部は、前景用座標変換行列を更新する。画像処理部は、背景用座標変換行列と撮像部からの情報信号に基づくスケール変換状態に応じて前景用座標変換行列を更新してステップST9に進む。なお、最初の前景用座標変換行列は背景用座標変換行列と等しい座標変換行列である。
ステップST9で画像処理部は座標変換処理を行う。画像処理部はステップST1で設定された背景用座標変換行列を用いて背景画像の座標変換を行い、合成用背景画像を生成する。また、画像処理部は撮像部で生成された画像を取得して前景画像の抽出を行う。さらに、画像処理部は、ステップST8で更新された前景用座標変換行列を用いて、抽出後の前景画像の座標変換を行い、合成用前景画像を生成してステップST10に進む。
ステップST10で画像処理部は合成処理を行う。画像処理部は、ステップST9で生成された合成用背景画像に合成用前景画像を重ねて合成画像を生成してステップST11に進む。
ステップST11で画像処理部は、光学ズームが目標値であるか判別する。画像処理部は、例えばズーム動作中であって光学ズームが目標値となっていない場合にステップST8に戻る。また、画像処理部は、光学ズームが目標値となっている場合に動作を終了する。
画像処理部は、このような動作制御を行うことで、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができる。
図6は、光学ズームと合成画像の関係を例示している。図6の(a)は前景画像、図6の(b)は背景画像を例示している。ここで、光学スケール成分が大きい(光学ズーム率が大きい)と、合成画像では図6の(c)に示すように、画枠切れを生じて所望の被写体OBfの画像(実画像)が欠けてしまう場合がある。このため、画像処理部は、光学スケール成分を画枠切れの生じない最大値として、図6の(d)に示すように、画枠切れを生ずることなく所望の被写体OBfの画像が良好な解像度に保たれた合成画像を生成する。なお、図6の(e)は、光学スケール成分が小さく、非光学ズームである電子ズームで実画像における所望の被写体を拡大した場合を例示している。非光学ズームで所望の被写体OBfを拡大した場合、非光学スケール成分が大きくなるに伴い所望の被写体OBfの画像は解像度が低下してしまう。したがって、コンピュータグラフィックによって、良好な解像度の拡大背景画像を生成しても、拡大背景画像と合成される前景画像は解像度が低下していることから、良好な解像度の合成画像を生成することができない。
また、画像処理部は、光学ズームが目標値に達するまでの遷移を考慮して、遷移中の光学スケール成分から所望のズーム変化を満たす非光学スケール成分を算出して、光学スケール成分の光学ズームと、算出した非光学スケール成分の電子ズームを行う。画像処理部は、このように光学スケール成分と非光学スケール成分を設定して所望のズーム変化を実現できるようにしてもよい。
図7は、所望のズーム変化を行う場合の動作を例示している。画像処理部は、図7の(a)に示すように光学スケール成分によって、ズーム率が所望のズーム変化よりも大きくなる場合、非光学スケール成分によってズーム率を下げて所望のズーム変化とする。
また、画像処理部は、光学ズームを優先させて所望のズーム変化を行うようにしてもよい。さらに、画像処理部は、解像度劣化の許容範囲内で非光学ズームを行い、許容範囲よりも解像度を劣化するおそれがある場合に光学ズームを用いることで、許容範囲よりも解像度が劣化することなく所望のズーム変化を行うようにしてもよい。
図7の(b)は、光学ズームを優先させて所望のズーム変化を行う場合を例示している。画像処理部は、所望のズーム変化となるように光学スケール成分を調整して、光学スケール成分に応じて制御信号を生成して撮像部20の光学ズーム動作を制御する。また、画像処理部40は、撮像部20からの情報信号に基づき光学ズームのスケール変換状態(ズーム率)を判別して、光学ズームのズーム率が所望のズーム率よりも低い場合は、ズーム率の不足分を非光学ズームで補うようにする。また、光学ズームのズーム率が画枠切れを生じない最大のズーム率Zaとなった場合、光学ズームのズーム率と所望のズーム率との差分を非光学ズームで補うようにする。このようにすれば、合成画像における実画像を良好な解像度に保ってズーミングを行うことができる。
図7の(c)は、解像度劣化の許容範囲内で非光学ズームを行う場合を例示している。画像処理部は、所望のズーム変化が解像度劣化の許容範囲内ZWbである場合に非光学スケール成分でズーミングを行う。また、画像処理部40は、所望のズーム変化が解像度劣化の許容範囲内ZWbを超える場合、解像度がさらに劣化することのないように光学スケール成分を調整して、光学スケール成分に応じて制御信号を生成して撮像部20の光学ズームを制御する。また、画像処理部40は、撮像部20からの情報信号に基づき光学ズームのスケール変換状態(ズーム率)を判別して、光学ズーム率と所望のズーム率との差分を非光学ズームで補うようにする。また、光学ズーム率が画枠切れを生じない最大のズーム率Zaとなった場合、光学ズーム率と所望のズーム率との差分を非光学ズームで補うようにする。このようにすれば、合成画像における実画像の解像度が許容範囲よりも劣化してしまうことを防止できる。また、光学ズームは解像度が許容範囲よりも劣化するおそれがある場合となったときに行われるので、光学ズームの駆動が少なくなり、撮像部20の消費電力を削減することが可能となる。
[2−3.画像処理部の他の動作]
次に、画像処理部の他の動作として、ズーミングだけでなくパンニングやチルティングの動作を行う場合について説明する。ズーミングにおける光学中心が所望の被写体の位置から離れていると、光学ズームにおいて画枠切れを生じやすい。
図8はズーミングの光学中心と画枠切れの関係を説明するための図である。図8の(a)は、ズーミングの光学中心が星印で示す所望の被写体OBfの中心から離れている場合、図8の(b)は、ズーミングにおける光学中心が星印で示す所望の被写体OBfの位置である場合を例示している。
図8の(a)に示すように、ズーミングの光学中心が所望の被写体OBfの中心から離れていると、ズーミングによって斜線の領域に含まれる被写体部分は画像が欠けてしまう。しかし、図8の(b)に示すように、ズーミングの光学中心が所望の被写体OBfの中心位置であると、図8の(a)と等しいズーム率でズーミングを行っても、被写体OBfは斜線の領域に含まれることがなく被写体OBfの画像が欠けてしまうことがない。すなわち、ズーミングにおける光学中心を所望の被写体の位置とすることで、画枠切れを生じることのないズーム率を大きくできる。すなわち、スケール成分の配分を光学スケール成分に多く配分することが可能となり、解像度の劣化をより生じ難くして、良好な解像度に保たれた所望のズーム率の合成画像を生成できるようになる。
そこで、画像処理部の他の動作において、スケール変換調整部は、最適な光学スケール成分の判別と、光学ズームにおける光学中心を所望の被写体の位置とする撮像方向(パン成分およびチルト成分)の判別を行う。また、撮像制御部は判別された光学スケール成分とパン成分およびチルト成分に応じた制御信号を生成して撮像部へ出力することで、ズーミングや光学ズームにおける光学中心を所望の被写体の位置とするパンニングおよびチルティングを撮像部で行わせる。また、撮像部でパンニングやチルティングの動作が行われて撮像方向が変化すると、撮像画における所望の被写体の画像では、撮像方向の変化による影響が生じる。したがって、スケール変換調整部は、撮像部でパンニングやチルティングの動作が行われても、パンニングやチルティングの動作前の状態でズーミングが行われた前景画像が得られるように、前景画像を仮想空間に描画するための座標変換を調整する。
パンニングやチルティングの動作による変化は平面変化と考えることができる。したがって、ズーミングの光学中心を所望の被写体の位置とするパンニングやチルティングの動作に応じた射影変換行列を「Hoptimize」とした場合、式(9)に基づきズーミングの光学中心を所望の被写体の位置とするパンニングやチルティングの座標(x、y)を、パンニングやチルティングの影響を打ち消した座標(x’,y’)に変換できる。したがって、式(10)に基づき、ズーミング後の前景画像に対して射影変換行列Hoptimizeを用いて座標変換を行うことで、パンニングやチルティングの動作が行われたことによる影響を仮想空間側で打ち消した合成用前景画像の生成が可能となる。
Figure 0006708213
図9は、ズーミングだけでなくパンニングやチルティングを含めた画像処理部の動作を示すフローチャートである。
ステップST21で画像処理部は、背景用座標変換行列を生成する。画像処理部は、操作部からの操作信号に基づき設定した仮想撮像部の位置や向きおよびズーム率に応じて、背景用座標変換行列を生成してステップST22に進む。
ステップST22で画像処理部は、PTZ仮値設定を行う。画像処理部は、撮像部のズームレンズを用いてズーミングを行う光学スケール成分として、光学スケール成分の調整範囲の例えば最大値を仮値として設定する。なお、光学スケール成分は、スケール成分が大きくなるに伴いズーム率が大きくなるとする。また、画像処理部は、撮像方向を調整するパン成分およびチルト成分について、仮値を初期値に設定してステップST23に進む。
ステップST23で画像処理部は、前景用仮座標変換行列を生成する。画像処理部は、ステップST21で生成した背景用座標変換行列とステップST22または後述するステップST25で設定した光学スケール成分,パン成分,チルト成分を用いて、前景用仮座標変換行列を生成してステップST24に進む。
ステップST24で画像処理部は前景画像の画枠切れが生じないか判別する。画像処理部は画枠切れを生じる場合にステップST25に進み、画枠切れを生じない場合にステップST26に進む。
ステップST25で画像処理部はPTZ仮値を再設定する。画像処理部は画枠切れが生じていることから、画枠切れを生じない方向に光学スケール成分とパン成分とチルト成分の仮値を再設定する。例えば前景画像の右側で画枠切れが生じる場合には、撮像方向を右方向に移動するようにパン成分の再設定を行い、画像の上側で画枠切れが生じる場合には、撮像方向を上方向に移動するようにチルト成分の再設定を行う。また、前景画像の左右や上下で画枠切れが生じる場合はズーム率を下げるように光学スケール成分の再設定を行う。画像処理部は画枠切れの発生状況に応じて光学スケール成分とパン成分およびチルト成分の再設定を行ってステップST23に戻る。
ステップST24で画枠切れが生じないと判別されてステップST26に進むと、画像処理部は、PTZ目標値を設定する。画像処理部は、画枠切れが生じないと判別されたときの光学スケール成分に応じて光学ズームの目標値を設定する。また、画像処理部は、画枠切れが生じないと判別されたときのパン成分およびチルト成分に応じてパンニングとチルティングの目標値を設定してステップST27に進む。
ステップST27で画像処理部は光学ズームと撮像方向の制御を行う。画像処理部は、ステップST26で設定した目標値となるように、撮像部のズームレンズやパン・チルト機構を制御してステップST28に進む。
ステップST28で画像処理部は、前景用座標変換行列を更新する。画像処理部は、背景用座標変換行列と撮像部からの情報信号に基づくスケール変換状態の光学スケール成分や情報信号に基づくパン成分,チルト成分に応じて前景用座標変換行列を更新してステップST29に進む。なお、最初の前景用座標変換行列は背景用座標変換行列と等しい座標変換行列である。
ステップST29で画像処理部は座標変換処理を行う。画像処理部はステップST21で設定された背景用座標変換行列を用いて背景画像の座標変換を行い、合成用背景画像を生成する。また、画像処理部は撮像部で生成された画像を取得して前景画像の抽出を行う。さらに、画像処理部は、ステップST29で更新された前景用座標変換行列を用いて、抽出後の前景画像の座標変換を行い、合成用前景画像を生成してステップST30に進む。
ステップST30で画像処理部は合成処理を行う。画像処理部は、ステップST29で生成された合成用背景画像に合成用前景画像を重ねて合成画像を生成してステップST31に進む。
ステップST31で画像処理部は、目標値であるか判別する。画像処理部は、光学ズームとパンニングおよびチルティングが目標値であるか判別する。画像処理部は、光学ズームやパンニングおよびチルティングが動作中であって目標値となっていない場合はステップST28に戻る。また、画像処理部は、光学ズームとパンニングおよびチルティングが目標値となっている場合に動作を終了する。
このような処理を行えば、画枠切れを生じないように光学ズームだけでなくパンニングおよびチルティングが行われて、良好な解像度が保持されて所望の被写体が画枠切れを生じることのないように撮像方向が調整された合成画像を生成できるようになる。また、前景画像では、光学スケール成分への配分が多くなるようにパンニングやチルティングが行われても、このパンニングやチルティングの影響を打ち消すことができる。
図10はパンニングが行われた場合の動作を例示している。図10の(a)はパンニング前の撮像画を例示している。画像処理部は撮像部の制御等を行い、図10の(b)に示すように、所望の被写体OBfが中心位置となるようにパンニングが行われて被写体OBfにズームインした実画像であって、パンニングの影響を射影変換によって打ち消した前景画像を生成する。さらに画像処理部は、生成した前景画像を仮想画像である背景画像と合成する。したがって、合成画像は、図10の(c)に示すように、背景内に所望の被写体OBfが中央に位置して、背景内にあたかも実在するような良好な解像度の画像となる。
また、ズーミングだけでなくパンニングやチルティングを含めた画像処理部の動作は図9に示す動作に限らない。例えば、画像処理部は、前景抽出部で抽出した前景被写体の撮像画における位置から、所望の被写体を中央位置とするパン成分とチルト成分を検出する。その後、画像処理部は、検出したパン成分とチルト成分に基づき所望の被写体を中央位置とした状態で画枠切れを生じない光学スケール成分を検出して、検出した各成分に基づいて目標値を設定してもよい。
なお、図5,図9のフローチャートでは、光学スケール成分の最大値を仮値として、画枠切れが生じなくなるまで仮値を順次減少させて、最適な光学スケール成分を判別する場合を例示しているが、仮値は光学スケール成分の最小値としてもよい。この場合、画像処理部は、画枠切れが生じるまで仮値を順次増加させて、画枠切れが生じる直前の光学スケール成分を最適な光学スケール成分とする。また、上述の実施の形態は所望の被写体にズームインした場合の動作を例示しているが、ズームアウト動作の場合も光学スケール成分を優先するように、スケール成分を調整してもよい。
このように本技術によれば、1台の撮像部で所望の被写体の全体画像からズームインした画像まで、前景画像を画枠切れが生じることのないように良好な解像度で合成することが可能となる。このため、良好な解像度の画像を得るために、所望の被写体の全体を撮像する撮像部とズームインした画像を取得する撮像部を設けて切り替え用いる必要がなく、画像処理システムの安価に構築できる。また、画像処理システムで生成される合成画像の高品質化が期待できる。
また、所望の被写体や背景等にマーカーを設定して撮像部との位置関係を常に把握して仮想背景画像と前景画像を合成すれば、前景画像を取得する撮像部は仮想空間と連動されて、解像度の低下のない合成画像を生成することが可能である。しかし、このような方法では、精密な位置調整が必要となるため位置を知るための高価な装置等が必要となる。しかし、この技術では、マーカーの設定や精密な位置調整が必要とないことから、容易に良好な解像度の合成画像を生成できる。
さらに、ユーザーは操作部で仮想撮像部を動かせば、実画像を生成する撮像部の光学ズームが自動的に制御されるので、光学ズームの操作を意識的に行う必要がなく、容易に良好な解像度の合成画像を生成することが可能となる。
また、撮像部の光学ズームで応答の遅延が生じても非光学スケール成分すなわち電子ズームによって遅延の影響を吸収できるので、所望のズーム動作を実現できる。したがって、ハードウェア的な制約にかかわらず、任意の速度や時間でズーム動作が行われた場合の合成画像を生成できる。
また、光学ズームにおける光学中心を実画像における所望の被写体の位置に移動することが可能であるので、撮像対象や仮想撮像部が光学中心に対して離れた位置に移動する場合でも良好な解像度の合成画像を生成することが可能となる。さらに、仮想撮像部を操作して画像合成を生成できるためカメラマンを設けることなく合成画像を生成できる
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
(1) 仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行うスケール変換調整部を備える画像処理装置。
(2) 前記スケール変換調整部は、前記光学ズームによるスケール変換と前記光学ズームによらないスケール変換を用いて前記座標変換におけるスケール変換を行い、前記光学ズームによるスケール変換がより多くなるように調整する(1)に記載の画像処理装置。
(3) 前記スケール変換調整部は、前記合成によって生成される合成画像において前記実画像における所望の被写体の画欠けを生じないように、前記光学ズームによるスケール変換を調整する(2)に記載の画像処理装置。
(4) 前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる撮像制御部をさらに備える(1)乃至(3)の何れかに記載の画像処理装置。
(5) 前記スケール変換調整部は、前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、
前記撮像制御部は、前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を行う(4)に記載の画像処理装置。
(6) 前記スケール変換調整部は、前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する(5)に記載の画像処理装置。
(7) 前記スケール変換調整部は、前記撮像部から前記光学ズームのスケール変換状態を識別可能とする情報信号を取得して、前記情報信号に基づいて判別した前記光学ズームのスケール変換状態が、前記座標変換におけるスケール変換と差分を生じる場合、前記光学ズームによらないスケール変換で前記差分を補う(1)乃至(6)の何れかに記載の画像処理装置。
(8) 前記仮想空間における視点の位置と方向およびズーム率に応じた座標変換行列を生成する座標変換行列生成部と、
前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
座標変換後の前記仮想画像と前記画像抽出部で抽出した実画像を合成する画像合成部をさらに備え、
前記スケール変換調整部は、前記ズーム率に応じた座標変換行列に前記光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成して、
前記画像合成部は、前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行う(1)乃至(7)の何れかに記載の画像処理装置。
この技術の画像処理装置と画像処理方法とプログラムおよび画像処理システムでは、仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換が、実画像を生成する撮像部の光学ズームによるスケール変換を用いて行われる。このため、実画像と仮想画像の合成画像における実画像を良好な解像度に保つことができるようになる。したがって、バーチャルスタジオ等の画像制作分野に適している。
10・・・画像処理システム
20・・・撮像部
30・・・操作部
40・・・画像処理部
41・・・座標変換行列生成部
42・・・スケール変換調整部
43・・・撮像制御部
44・・・前景画像抽出部
45・・・背景画像保持部
46・・・画像合成部
50・・・画像表示部
91・・・グリーンバック

Claims (8)

  1. 仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行うスケール変換調整部と、
    前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる撮像制御部をさらに備え、
    前記撮像制御部は、前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を行い、
    前記スケール変換調整部は、前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する
    画像処理装置。
  2. 前記スケール変換調整部は、前記光学ズームによるスケール変換と前記光学ズームによらないスケール変換を用いて前記座標変換におけるスケール変換を行い、前記光学ズームによるスケール変換がより多くなるように調整する
    請求項1に記載の画像処理装置。
  3. 前記スケール変換調整部は、前記合成によって生成される合成画像において前記実画像における所望の被写体の画欠けを生じないように、前記光学ズームによるスケール変換を調整する
    請求項2に記載の画像処理装置。
  4. 前記スケール変換調整部は、前記撮像部から前記光学ズームのスケール変換状態を識別可能とする情報信号を取得して、前記情報信号に基づいて判別した前記光学ズームのスケール変換状態が、前記座標変換におけるスケール変換と差分を生じる場合、前記光学ズームによらないスケール変換で前記差分を補う
    請求項1に記載の画像処理装置。
  5. 前記仮想空間における視点の位置と方向およびズーム率に応じた座標変換行列を生成する座標変換行列生成部と、
    前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
    座標変換後の前記仮想画像と前記画像抽出部で抽出した実画像を合成する画像合成部をさらに備え、
    前記スケール変換調整部は、前記ズーム率に応じた座標変換行列に前記光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成して、
    前記画像合成部は、前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行う
    請求項1に記載の画像処理装置。
  6. 仮想画像と合成する実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いてスケール変換調整部で行うことと、
    前記光学ズームによるスケール変換に応じた制御信号を撮像制御部から前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させることと、
    前記撮像部の撮像方向を前記スケール変換調整部で判別された方向とする制御を前記撮像制御部で行うことと、
    前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行い、前記撮像制御部における前記撮像方向の制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を前記スケール変換調整部で調整すること
    を含む画像処理方法。
  7. 仮想画像と実画像の合成をコンピュータで実行させるプログラムであって、
    前記仮想画像と合成する前記実画像を仮想空間に描画するための座標変換におけるスケール変換を、前記実画像を生成する撮像部の光学ズームによるスケール変換を用いて行う手順と、
    前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた実画像を前記撮像部で生成させる手順と、
    前記光学ズームにおける光学中心が前記実画像における所望の被写体の位置となる撮像方向の判別を行う手順と、
    前記撮像部の撮像方向を前記判別した撮像方向とする制御を行う手順と、
    前記撮像方向を前記判別した撮像方向とする制御によって前記実画像における所望の被写体に生ずる影響を打ち消すように、前記実画像を仮想空間に描画するための座標変換を調整する手順とを
    前記コンピュータで実行させるプログラム。
  8. 実画像を生成する撮像部と、
    前記実画像を仮想画像と合成する仮想空間における視点の位置と方向およびズーム率の操作を行う操作部と、
    前記仮想画像と前記撮像部で生成された実画像を、前記操作部での操作に応じて仮想空間に描画して、前記仮想空間に描画された前記仮想画像と前記実画像を合成する画像処理部を備え、
    前記画像処理部は、
    前記操作部の操作に応じた座標変換行列を生成する座標変換行列生成部と、
    前記実画像に対する前記ズーム率に応じた座標変換行列に前記撮像部の光学ズームによるスケール変換を含む座標変換行列を、前記座標変換行列生成部で生成された前記座標変換行列に基づき生成するスケール変換調整部と、
    前記撮像部で生成された撮像画から所望の被写体の画像を前記実画像として抽出する画像抽出部と、
    前記仮想画像に対して前記座標変換行列生成部で生成された前記座標変換行列を用いて座標変換を行い、前記画像抽出部で抽出した前記実画像に対して前記スケール変換調整部で生成された座標変換行列を用いて座標変換を行い、座標変換後の前記仮想画像と前記実画像を合成する画像合成部と、
    前記光学ズームによるスケール変換に応じた制御信号を前記撮像部に出力して、前記光学ズームによるスケール変換が行われた前記実画像を前記撮像部で生成させる撮像制御部を有する
    画像処理システム。
JP2017534134A 2015-08-12 2016-06-30 画像処理装置と画像処理方法とプログラムおよび画像処理システム Active JP6708213B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015159519 2015-08-12
JP2015159519 2015-08-12
PCT/JP2016/069457 WO2017026193A1 (ja) 2015-08-12 2016-06-30 画像処理装置と画像処理方法とプログラムおよび画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2017026193A1 JPWO2017026193A1 (ja) 2018-05-31
JP6708213B2 true JP6708213B2 (ja) 2020-06-10

Family

ID=57983037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017534134A Active JP6708213B2 (ja) 2015-08-12 2016-06-30 画像処理装置と画像処理方法とプログラムおよび画像処理システム

Country Status (3)

Country Link
US (1) US10867365B2 (ja)
JP (1) JP6708213B2 (ja)
WO (1) WO2017026193A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783853B2 (en) * 2016-11-02 2020-09-22 Rakuten, Inc. Image provision device, method and program that adjusts eye settings based on user orientation
US10475248B1 (en) * 2018-06-08 2019-11-12 Microsoft Technology Licensing, Llc Real-time compositing in mixed reality
US10373023B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
CN111210472B (zh) * 2019-12-31 2021-07-09 山东信通电子股份有限公司 一种视频画面的3d定位方法、装置、设备以及介质
US11593947B2 (en) * 2020-03-10 2023-02-28 Cisco Technology, Inc. Automatic adjusting background
CN111798374B (zh) * 2020-06-24 2024-08-06 浙江大华技术股份有限公司 一种图像拼接方法、装置、设备及介质
WO2024106035A1 (ja) * 2022-11-16 2024-05-23 富士フイルム株式会社 撮像装置、撮像システム、及び撮像方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3610604B2 (ja) 1994-10-14 2005-01-19 ソニー株式会社 ビデオカメラの被写体追尾装置及び追尾方法
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
JP2002314868A (ja) * 2001-04-13 2002-10-25 Olympus Optical Co Ltd 撮像装置
US20030076413A1 (en) * 2001-10-23 2003-04-24 Takeo Kanade System and method for obtaining video of multiple moving fixation points within a dynamic scene
JP4378118B2 (ja) * 2003-06-27 2009-12-02 学校法人早稲田大学 立体映像呈示装置
US20050062845A1 (en) * 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
JP2009100373A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
US8485038B2 (en) * 2007-12-18 2013-07-16 General Electric Company System and method for augmented reality inspection and data visualization
JP4852555B2 (ja) * 2008-01-11 2012-01-11 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理方法、ならびに、プログラム
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
KR101276199B1 (ko) * 2009-08-10 2013-06-18 한국전자통신연구원 시청자 참여의 iptv 원격 방송 시스템 및 그 서비스 제공 방법
US8803951B2 (en) * 2010-01-04 2014-08-12 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
US8368762B1 (en) * 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
JP4938101B2 (ja) 2010-05-21 2012-05-23 オリンパスイメージング株式会社 撮像装置および撮影方法
JP2012039591A (ja) * 2010-07-15 2012-02-23 Olympus Corp 撮像装置
US8982246B2 (en) * 2010-10-22 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and camera body having optical zoom function and digital zoom function
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
US8937617B1 (en) * 2011-04-20 2015-01-20 Google Inc. Matching views between a three-dimensional geographical image and a two-dimensional geographical image
GB2502063A (en) * 2012-05-14 2013-11-20 Sony Corp Video cueing system and method for sporting event
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
JP6375607B2 (ja) * 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム

Also Published As

Publication number Publication date
WO2017026193A1 (ja) 2017-02-16
US20190005613A1 (en) 2019-01-03
US10867365B2 (en) 2020-12-15
JPWO2017026193A1 (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6708213B2 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
JP4072330B2 (ja) 表示装置および情報処理方法
JP6769440B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP4285422B2 (ja) 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体
JP6610535B2 (ja) 画像処理装置および画像処理方法
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
JP2004246667A (ja) 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
JP6700935B2 (ja) 撮像装置、その制御方法、および制御プログラム
US10979684B2 (en) Image processing apparatus, information processing method, and program for associating an element in a background shape model with an image capturing apparatus
CN117083871A (zh) 控制相机的方法
JP2020092315A (ja) 表示制御装置、撮像装置、表示装置の制御方法、プログラム、および記憶媒体
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP7245773B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP7008431B2 (ja) 撮像装置、制御方法、プログラム及び撮像システム
JP2015220662A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2013085041A (ja) 情報処理装置、その処理方法及びプログラム
JP2019045679A (ja) 画像処理装置、該画像処理装置の制御方法、画像表示装置、及びプログラム
JP5085762B2 (ja) 画像処理装置および画像処理方法
US20230291865A1 (en) Image processing apparatus, image processing method, and storage medium
US20230328394A1 (en) Information processing apparatus displaying captured image captured by imaging apparatus on display unit, information processing method, and storage medium
JP4687748B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP5411806B2 (ja) 画像合成装置およびそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200504

R151 Written notification of patent or utility model registration

Ref document number: 6708213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151