JP5806215B2 - 複数のカメラの相対制御のための方法及び装置 - Google Patents

複数のカメラの相対制御のための方法及び装置 Download PDF

Info

Publication number
JP5806215B2
JP5806215B2 JP2012525813A JP2012525813A JP5806215B2 JP 5806215 B2 JP5806215 B2 JP 5806215B2 JP 2012525813 A JP2012525813 A JP 2012525813A JP 2012525813 A JP2012525813 A JP 2012525813A JP 5806215 B2 JP5806215 B2 JP 5806215B2
Authority
JP
Japan
Prior art keywords
image
halo
camera
main image
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012525813A
Other languages
English (en)
Other versions
JP2013503504A (ja
Inventor
アンダーソン,ジェレミー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trace Optics Pty Ltd
Original Assignee
Trace Optics Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2009904169A external-priority patent/AU2009904169A0/en
Application filed by Trace Optics Pty Ltd filed Critical Trace Optics Pty Ltd
Publication of JP2013503504A publication Critical patent/JP2013503504A/ja
Application granted granted Critical
Publication of JP5806215B2 publication Critical patent/JP5806215B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、概して、カメラ制御システムの分野に関し、一態様では、少なくとも2つのカメラが、主画像が含まれ、その範囲内で移動可能な面にわたって移動する被写体の異なる画像、すなわち、ハロー画像を撮影するための制御であって、ハロー画像の位置は被写体の動きに依存している制御に関する。
テレビ放映されるスポーツイベントは、無料放送と有料テレビ放送の両方で非常に人気があり、もっぱらスポーツに特化している多くのチャンネルがある。より高度なカメラ技術の出現により、品質は向上しており、新たなカメラ画像がもたらされている。クリケットのスタンプ内やレースカー内部に設置されたカメラは、現在では一般的である。
サッカーやバスケットボールなどの多くのスポーツでは、生の動きを撮影するために訓練を受けた熟練したカメラのオペレータによって制御される可動カメラを搭載した伝統的な三脚を使用して撮影される複雑なシークェンス・ショットを必要とする。本発明は、オートフォーカス、オートズーム、オートパン及びオートチルトを可能にするサーボ及びエンコーダを使用して、カメラを自動的に制御することができる代替手段を提供する。このシステムによって、カメラは試合の画像を撮影しやすくするために制御手段から制御信号を受信することができる。各カメラの後ろに熟練したカメラのオペレータを配置するための費用は、手動制御システムの限界の1つである。更に、オペレータの健康及び安全問題のために、競技場の周囲におけるカメラの配置は制限されている。手動制御システムの更なる限界は、ボクシングやアイスホッケーの場合のようにクローズアップが必要とされる場合に、カメラのオペレータはスポーツ又は舞台作品の動きを覆い隠してしまう可能性があることである。
現在、多数の自動カメラ制御システムが利用可能である。これらのシステムのほとんどは、2つのカテゴリ、すなわちタグ付き被写体を利用した制御システムと、マスター/スレーブカメラ制御システムの中に当てはまる。しかしながら、タグを使用したシステムは、過度に単純である可能性があり、現代のテレビ放送に要求されるフレーミング及び組成変数を提供しない。一方、マスター/スレーブシステムの問題の1つは、スレーブカメラで撮影した画像は、マスターカメラで撮影したものと同じであり、唯一の違いは、画像が撮影される角度が各カメラで異なっていることである。
本明細書を通して、先行技術のいかなる議論も、本発明のコンテキストを提供する目的のためだけに含まれており、そのような先行技術が本出願の優先日前に存在していたので、それが公知であった又は、当該分野に共通の一般的な知識の一部を形成していたことを認めるものと見なさないようにすべきであることを理解する必要がある。
必ずしも最も広範な態様ではなく、又、唯一の態様でもない本発明の一態様によれば、移動被写体の動画像を得る方法であって、
第1動画カメラを用いて、前記被写体の動的な主画像を撮影する工程と、
第2動画カメラを用いて、前記主画像の周りに実質的に延在する動的なハロー画像を撮影する工程を含み、前記第1及び第2動画カメラは、主画像に対してハロー画像の位置が変更できるように制御される方法が提案される。
第1及び第2動画カメラは、主画像がハロー画像の一部を保持し、主画像に対してハロー画像の位置を変更できるように制御される。
被写体はスポーツ大会で使用されているボールであって、主画像及びハロー画像が少なくともボールの動画像を含むことができる。主画像及びハロー画像は、スポーツ大会、ゴール、ウィケット、又は関連するラインマーキングに関与する1人又は複数の個人の動画像を更に含むことができる。
動的な主画像の品質及びフレーミングは、前記第1カメラのレンズの視野(ズーム)及び被写体距離(フォーカス)と、サーボパンチルトヘッド上でのカメラのアライメントによって画定される。動的なハロー画像の品質及びフレーミングは、第2カメラのレンズの視野及び被写体距離と、サーボパンチルトヘッド上でのカメラのアライメントによって画定される。主画像及びハロー画像の形状は、円、楕円、正方形、及び長方形が可能であるが、これらに限定されない。
一実施形態において、それぞれの視野及び被写体距離によって画定される主画像及びハロー画像は、変更可能である。視聴者にとって最も望ましいカメラ映像の構成は、プレーに従事している1人又は複数の選手の動作に応じて変化すると思われるので、これは重要である。このように、ある特定のスポーツ選手などの被写体のクローズアップ映像は、1台のカメラで撮影することができると同時に、ボールに対して争うかもしれない対抗する選手又はボールをパスされるかもしれないチームメイトを含む可能性のある選手の周りのより広い範囲を、二次的なカメラで自動的に撮影することができる。
別の一実施形態では、追跡されている被写体は、サッカーやバスケットボールなどのスポーツを競技するために使用されているボールであり、これによって動画の主画像及びハロー画像は動き、ボールとプレーに従事する1人又は複数の個人又は観客の関心のある他の画像を含む。プレーという用語は、1人又は複数の個人選手が積極的に従事している試合の進行を言う。
選手がフィールドを駆け下りるとき、ハロー画像は主画像の周りの一方の前方に位置するかもしれず、ハロー画像は選手の前方に延在し、第1選手と至近距離にいる防衛の選手を含み、短時間内に彼らはプレーに従事するかもしれない。
本方法は、少なくとも1つのハロー画像内に含まれる少なくとも1つの主画像を使用することができる。通常、オペレータは、1人又は複数のハロー画像を使用することができる。別の一実施形態では、主画像及びハロー画像は、RFタグ又は本明細書内でトラックノードと呼ばれる可動点を含む所定の被写体上に固定することができ、試合のボール、選手、又は車両に追従することができる。本明細書を通してトラックノードという用語は、選択された領域の面を調べ、マッピングすることによって生成された数学的モデルの中でx、y、z座標を有する点群を指すことを読者は理解する必要がある。トラックノードは、数学的モデル内では、マッピングされた面全体にわたって選択された被写体の実際の動きを複製することができ、あるいはまた、タッチ画面全体にわたってポインタの動きを複製することができる。
主画像及びハロー画像のサイズは、個別に調整することができる。画像のサイズは、主画像の百分率として、又は調整可能な固定サイズとして、又は主画像の可変の対数百分率として設定することもできる。ハローのサイズも、バイアスゾーン内のトラックノードの位置を介して決定することができる。バイアスゾーンは、タグ付き被写体又はトラックノードの周りの主画像及びハロー画像の位置を制御する所定のパラメータを有することができる。所定のパラメータは、好ましくはソフトウェア内に格納される。
主画像及びハロー画像は、任意のスポーツ又は活動の正確なフレーミングのしばしば複雑な要件を容易にするために、好ましくはソフトウェアによって制御される。以下の基本的な概要は、これらの相互作用の複雑さの一部を読者に警告している。画像は、追跡される被写体を囲み、特定の境界内に追跡される被写体を保持するオフセットされた限界線を有する。これらの境界は、追跡される被写体がはみ出るのを防ぐ柵として考えることができる。画像はまた、限界線内に位置フィールドを有する。位置フィールドは、通常、競技場全体をカバーするバイアスゾーン内で追跡される被写体位置と、オペレータが調整した機能である進行方向に従って、追跡される被写体の周囲に画像を配置する。画像が移動可能な空間は、通常は競技場又はパフォーマンス空間の境界のすぐ外側に位置するバンプバーによっても制限される。画像を撮影する機能を完全に理解するために、読者は他のソフトウェア機能の相互機能も理解しなければならないことを、ここで読者は理解する必要がある。これらの機能の更なる詳細な説明は、後続のセクションに含まれる。
画像は、特定の距離で、又は画像の直径又は最長辺の百分率でオフセットすることができる画像の外部エッジに平行な線である限界線を有することができる。画像は、追跡される被写体を撮影するように又は画像の限界線内でノードを追跡するように設計されている。限界線は、テレビのフレームの縁の前で、フレーム内の被写体又は選手に対して、それらの周囲にいくらかの空間を効果的に与える。限界線は、トラックノードが限界線とハードな衝突からソフトな衝突までの範囲を有することができる可変緩衝効果も有する。この緩衝効果は、方向がぎくしゃくと変化することなく、よりスムーズな視覚的な動画を可能にする。特定の場合、限界線は画像の外側にある可能性があり、これによって依然として画像の外側にあるにもかかわらずトラックノードを撮影することができる。限界線を画像の外側エッジからオフセットすることができ、このオフセットの方法は、特定の距離、特定の百分率の直径又は対角線、及び百分率と特定の最小距離・最大距離の両方の組み合わせを含む。
更に別の一実施形態では、主画像とハロー画像との間の関係は、制御手段に対して相対的であり、制御手段によって制御される。一実施形態では、主画像のサイズは、ハロー画像に比例する場合がある。この比例関係は、正比例又は反比例であるかもしれず、又は線形又は指数的であるかもしれない。
更に別の一実施形態において、各画像は、一般的に、画像の中心を通って二等分するx、y、z軸で構成される位置フィールドを有する。位置フィールドは、1つ又は2つの軸を有する直交するパターン、湾曲したグリッドパターン、放物線状パターン、又は同心円パターンを含むが、これらに限定されない可変のパターンを有する。追跡される被写体であるトラックノードは、テレビのフレーム内で追跡される被写体の正しい動画フレーミングを可能にするように、位置フィールド、進行方向、及びバイアスゾーンと相互作用する。一実施形態では、位置フィールドは、トラックノードの位置を、そのx軸に沿ってトラックノードの進行方向に比例して調整する。位置フィールドは、トラックノードの位置を、そのy軸に沿って、バイアスゾーン内のトラックノードの位置に比例して調整する。トラックノード、位置フィールド、進行方向、及びバイアスゾーン間の相互作用の方法に関する更なる情報は、後続のセクションに含まれる。
画像の動き、サイズ、位置、及び相互の関係は、追跡される被写体の速度、進行方向、動作、バイアスゾーンを備えた位置、及び第1又は第2のカメラの物理的な位置に対する相対的な方向によって変化するかもしれない。
この関係も追跡される被写体の性質に応じて変わる可能性がある。選手が追跡される例では、その動きと振る舞いは、競技面に隣接する狭い平坦な帯域に制限されるだろう。これとは対照的に、蹴られるサッカーの動きや振る舞いは、かなり異なり、競技面から上方に延在するより広い帯域内となるだろう。したがって、この関係は、ボールの軌道又は予想される軌道によって変わるかもしれない。このような状況では、動的な主画像は、ボールの軌道に追従することができると同時に、動的な第2ハロー画像は、ボールの軌道から計算された予想される着地領域の映像を撮影することができる。
通常、主画像はハロー画像内に配置されているが、ハロー画像は主画像から分離することができることを理解すべきである。例えば、選手がゴールでシュートを試みている際、トラックノード又はボールが特定の領域と接触するとき、第2カメラがゴールを向くように、ハロー画像は主画像から分離することができる。ターゲットの被写体がゴールスクウェアなどの所定の空間内に位置する場合は、ハロー画像の主画像からの分離を、コンピュータソフトウェアによって自動的に実行できる。あるいはまた、この分離は、ユーザーインターフェイスを介して実行することができ、一実施形態では、スイッチを使用することができる。群衆の映像、コーチボックス、又は他の所定の領域が要求される場合に、画像又はハローの分離が発生する場合もある。第2カメラのこのような分離及び再配置は、個別の制御スイッチによって実行されてもよい。
更に別の一実施形態では、複数のハロー画像が主画像を取り囲むことができ、各ハロー画像はそれ自身の特定のサイズを有することができる。画像の撮影は、バイアスゾーン、バンプバー、進行方向、フレーミングの限界線、スプリットボタン、及び比例したヘッドルームフレーミングを備えるソフトウェアによって制御される。個々のハロー画像はソフトウェアと相互作用することができるかもしれないが、主画像は相互作用しないかもしれない。オペレータは、各画像のソフトウェアとの相互作用を個別に有効又は無効にすることができる。
本発明の第2の態様によれば、移動被写体の動的な主画像を撮影するための第1カメラと、主画像の周りに延在する動的なハロー画像を撮影するための第2カメラと、前記動的な主画像の周りの前記動的なハロー画像の位置を制御するための制御手段を備える動画撮影装置が提案される。
上記装置によれば、第1カメラ及びすべての二次的なカメラは、フォーカス及びズームを制御するサーボ援用パンチルトヘッド及びサーボ援用レンズによって制御される。一実施形態では、制御手段は、第1及びすべての二次的なカメラのそれぞれのパン、チルト、ズーム、及びフォーカスを更に制御する。
主画像とすべてのハロー画像との間の関係は、ユーザーインターフェイス及び特定のソフトウェアを含むことができる制御手段を使用することによって変更することができる。このユーザーインターフェイスは、ライブ映像及び競技領域の同期3Dモデルを示すタッチ画面を備えることができる。
制御手段は、仮想3Dコンピュータによって生成された環境を、同じ環境のカメラの実世界の視野と同期させる必要があるかもしれない。この同期によって、オペレータは、サッカー場のラインマーキングなどの重ね合された3Dモデルを映像上に見ることができる。これによって、オペレータは3Dモデルのコンピュータの世界での作業が可能となり、同時に映像を介して何が起きているかを依然として見ることができる。この同期は通常、サーボエンコードされたレンズのズーム及びフォーカスの較正及びグラフ化、環境を調査すること又はテニスコートなど既知の標準的な環境をもつことのいずれかによって生成された環境の3Dモデル、関連するx、y、z座標をもつ既知の3D位置を有するカメラとカメラヘッドの水平面のピッチ及びヨーも既知であること、及びサーボエンコードされたパンチルトヘッド上に搭載された各カメラが必要となる。
この同期によって、パン、チルト、ズーム、及びフォーカス設定のエンコーダの読みを介して、コンピュータはカメラの視野を決定することができる。その結果、オペレータは、実世界の映像上に重ねられた正確な仮想3Dモデルを見る。したがって、カメラの視野が移動すると、同期3Dモデルも正確にリアルタイムに移動する。この同期によって現在、一人の人間のオペレータは、指定された領域の周りで複数のカメラをリアルタイムに正確に命令し制御することができ、カメラの映像及び重なり合った3Dの幾何学的・空間的ソフトウェア機能が動作しているのを見ることができる。これは、動的ターゲットへのフレーミング及びフォーカシングのはるかに優れた精度を可能にすることができる。
一実施形態において、制御手段は、放送又は録画可能な映像をオペレータが選択できるブロードキャストスイッチングデバイスを更に備える。カメラ、表示手段、及び制御手段などの装置の構成要素は、モデム通信路や、ローカルエリアネットワーク(LAN)、インターネット、RF又は固定ケーブルなどのコンピュータネットワークなどの通信手段を介して接続可能であるが、これらに限定されない。これは、ユーザーが1つの場所から複数のカメラ操作を制御できることを意味する。
別の一実施形態では、プロセッサとメモリは、本明細書に記載されるすべての機能を実行するために、互いに及びコンピュータの他の要素部品と協調する。別の一実施形態では、プロセッサは、本明細書中に記載されるすべての機能を実行するために、適切なソフトウェアを実行する。
更に別の一実施形態では、制御手段はRAM及びROMメモリ、1人又は複数の中央演算処理装置、入力/出力(I/O)インターフェイス、及び少なくとも1つのデータ記憶装置を備えるコンピュータである。コンピュータは、記憶装置のコンピュータ可読媒体内に格納されている、カメラを制御し、機能を実行するためのアプリケーションソフトウェアを備える。装置は、対応するハードウェアとともに1以上の専用機能を実行するように設計されている組み込みソフトウェア又はファームウェアを備えることができる。一実施形態では、プロセッサとメモリは、本明細書に記載されるすべての機能を実行するために、互いに及びコンピュータの他の構成要素と協調する。
本発明の第3の態様では、前述の装置の動作を制御するための、そして前述及び後述の方法を適用するためのソフトウェアプログラムが提案される。
一実施形態において、制御手段は、仮想モデルと同じ視点を有する同期したカメラ上でリアルタイムに重なり合う競技面の仮想モデル又はマップを搭載したコンピュータモニターを備える。仮想モデルは、競技面、ゴール、及び関連するラインマーキングの境界のようなものを備えることができる。オペレータが、カメラの映像上で動作する様々な幾何学的及び空間的ソフトウェア機能を命令し、制御し、見ることができるのはコンピュータモデル内である。
本発明の第4の態様によれば、移動被写体の動的な主画像を撮影するための第1カメラと、主画像の周りに実質的に延在する動的なハロー画像を撮影するための少なくとも1つの第2カメラと、前記動的な画像の位置を制御するための制御手段を備える動画撮影装置が提案される。
一実施形態では、トラックノードは、前記主画像及びハロー画像の位置合わせを容易にするためにソフトウェア内に格納される場合がある。トラックノードは、乗物、選手、又は試合のボールを追跡するために割り当てられ、これによってそれらに位置の基準を与えることができる数学的な点である。トラックノードのリアルタイムの位置は、タッチ画面上でマウス又はスタイリストのいずれかを使用して、GPSデバイス、RFタグデバイス、光学認識装置、及び手動追跡によって支配されるが、これらに限定されない。画像は指定されたトラックノードに対して個別に割り当てることができる。トラックノードは、様々な方法で画像と空間的に相互作用することができる。トラックノードは、任意の方向、速度、加速度で切断面を超えて移動することができるが、競技面から離れたトラックノードの高さを設定することによって、切断面上に固定することができる。トラックノードは、マウスのホイール、制御インターフェイス内のホイール、及びボタンの押下、及びタッチ画面でスタイリストを上又は下のいずれかに移動するためのタッチ画面スタイリストの使用を含むが、これらに限定されない様々な方法で切断面からオフセットすることもできる。
コンピュータは、トラックノードの位置を使用して、レンズの焦点設定に対する被写体距離を計算し、これによってトラックノードの周囲の領域が常にフォーカスされることを可能にする。被写体距離は、レンズから被写体又は追跡されるターゲットまでの距離である。追跡を必要とするターゲットが複数あるときは、複数のトラックノードを利用できる。ソフトウェアデバイスと相互作用する間、所定のカメラを特定のトラックノードに独占的に割り当てることができる。
本発明の第5の態様によれば、本明細書内で切断面と呼ばれるソフトウェア機能が提案される。切断面によって、画像は、切断面の表面としてz軸の位置をもつことができる。
切断面は、可変の高さで競技面からオフセットされた、ソフトウェア内に含まれる数学的な面である。この面は、指定された表面に平行にすることができ、又は競技場や競技面の上方にある湾曲した面又は可変の面とすることができる。切断面はまた、複雑で起伏のあるモーターレーストラックに平行に1メートルオフセットされている面など任意の外形に形作ることもできる。通常、切断面は、主競技領域を超えて、周囲の競技領域、グランドスタンド、及び車両走行領域などの二次領域内まで十分に延在するだろう。切断面の主な機能は、トラックノードが、そしてこれによって撮影された画像が、切断面の表面を横切って移動する又はそれからオフセットすることを可能にすることである。自動車を追跡するとき、競走路からの車両の高さは常に既知であり(車が飛ばない場合)、したがって、Z方向又は高さにおけるGPSトラッキング誤差を除去することができるので、切断面はより優れた精度を可能にする。
一実施形態では、ソフトウェア内に含まれるバイアスゾーンは、画像がトラックノードの周りに配置される方法を決定するバイアスゾーン内のトラックノードの位置と相互作用する。バイアスゾーンは、1つ又は2つの軸と直交するパターン、又は同心円や楕円形のパターンが含まれるが、これらに限定されない可変パターンを有する。
トラックノードはバイアスゾーンのx軸の両側を移動することができ、更にトラックノードはx軸から離れているので、トラックノードは画像の限界線内に依然として留まっている間、画像のx軸から更に離れている。例えば、サッカー場全体をカバーする直交バイアスゾーンや、各ゴールに中心を持ち、各半径が30mの2つの同心円バイアスゾーンといった複数のバイアスゾーンを使用することもできる。トラックノードの周りのハロー画像上で得られた効果は、2つのバイアスゾーンの効果の平均に基づいており、これはもちろんバイアスゾーンを備えたトラックノードの位置に依存している。
更に別の一実施形態では、進行方向の機能は、ソフトウェア内に格納することができ、一実施形態では、中立の中間位置と可変の前後較正のような調整可能なスライド装置を介して手動で制御することもできる。進行方向は、画像内でトラックノードの前方又は後方に先導空間を生成する。スライドがその中立位置から遠く離れれば離れるほど、ハロー画像の中心はトラックノードからより遠くにオフセットされる。例えば、スライドが前方に90%の場合、画像の中心部から90%後方に位置するトラックノードをもたらし、トラックノードの前方のハロー画像内に非常に大きな先導空間を生成する。先導空間の大きさ、又はトラックノードの位置と画像の位置フィールドのy軸からのオフセットとの間の距離は、進行方向の大きさに比例する。画像のどちら側に先導空間が発生するかは、オペレータによって支配され、一般的にボールがどちらの道に進むかに依存する。
更に別の一形態では、バンプバーの機能は、ソフトウェア内に格納することができる。バンプバーは、画像をそれらの中にぶつけることができるが、一般的には、画像にそれらの幾何学的配置を通過させないソフトウェア空間命令機能である。バンプバーは、競技場の周囲を構成するのに必要とされる整列可能なフェンスのようなものである。バンプバーは、接触が発生する前に、ハロー画像のバンプバー内への緩衝を可能にする可変減速設定を有する。
画像は、3つのオプション機能を有しており、第1には、バンプバーを認識してそれらの中への緩衝を可能にする機能、第2には、バンプバー及びそれらに関連する機能を無視する機能、及び第3には、主画像及びハロー画像の両画像がバンプバーを越えるとき、ハロー画像が主画像を取り囲み続ける点で主ハローがバンプバーを交差するまで、ハロー画像がバンプバーを使用するハイブリッドオプション機能である。
バンプバーは、特定の画像が競技場の領域を逸脱することを止め、これによってカメラの視野を競技面上及び選手上に維持する。
更に別の一形態では、ピクチャフレーム機能をソフトウェア内に格納することができる。ピクチャフレームは、撮影した画像の周囲にカメラの「16×9の投影面」をグラフィカルに示すソフトウェア命令機能である。ピクチャフレームの両側は、カメラの視覚アライメントに対して画像の外部エッジに常に接触している。このため、画像が拡大する場合、ピクチャフレームは拡大する。
ピクチャフレームの土台と頭部の高さ及びピクチャフレームの中心は、種々の方法で設定することができる。第1には、ピクチャフレームの底部アライメント又は土台は、トラックノードの位置で切断面又はトラック面のいずれかからの垂直オフセット距離とするとができ、第2には、ピクチャフレームが撮影画像全体を保持しながら、ピクチャフレームの特定の水平軸又は帯域が、その上のトラックノードを常に保持するようにピクチャフレームを設定可能であり、第3には、カメラに最も近い撮影画像の側面は、ピクチャフレームの土台上にある。
ピクチャフレームの頭部高さの高さにおける追加オーバーライド機能は、ピクチャフレームの上部アライメントが競技面の上方である特定の高さに到達した場合に、ピクチャフレームの高さがそれ以上落ち込まないように、及び、ピクチャフレームが縮小画像サイズのためサイズを削減する必要がある場合に、ピクチャフレームがサイズを縮小可能にすることによって、ピクチャフレームの底部アライメント又は土台が上昇するように、画像のサイズ及び切断面の高さと相互作用する比例的なヘッドルーム機能である。この比例的なフレーミング機能は、オペレータが同様な方法で選手の足にズームインすることができるように、逆の方法でも使用することができる。ピクチャフレームと視覚限界面は、ピクチャフレームが視覚限界面を通過することを止める幾何学的な関係を有する。
更なる一実施形態では、視覚限界面機能をソフトウェア内に格納することができる。視覚限界面は、水平方向、垂直方向又は角度アライメントの任意に配置することができる任意のサイズ及び形状のものである。視覚限界面は、カメラの視界が特定のアライメント又は面の向こうを見ることを制限できる空間的なソフトウェア機能である。視覚限界面は、カメラのズーム、パン、チルトに影響を与える。サッカーのように、一般的なスポーツに対して適応する場合、視覚限界面は、競技場の屋根のラインのすぐ下に位置し、広い視野のカメラとそれに関連する幅広い画像が、フィールドの反対側の選手を追跡しているとき、ピクチャフレームの頭部は視覚限界面に接触し、競技場の屋根の下でカメラのフィールドを見るのを止め、アクションのある競技面上へカメラの視野を更に押し出す。
視覚限界面は、各カメラに対して個別に設定することができ、競技場の屋根、ステージの境界、又は見晴らしの悪い構造の端部のすぐ下に位置する場合は特に便利である。オペレータは、視覚限界面及びバンプバーをリアルタイムの映像上に重なり合う3Dモデル内の適切な位置に設定し、すべてのカメラの視界が機能的・審美的な構成であるかについて調べることができる。
更に別の一形態では、分割ボタン機能をソフトウェア内に格納することができ、オペレータはボタンを押すことができ、これによって、切断面から特定の画像を解放することができるので、移動経路を介してバスケットボールなどのターゲットに追従することができる。分割ボタンの命令が起動された場合、システムは、トラックノードの位置を認識し、その点から、バスケットボール又はネットボールリングの中心であることができる指定されたターゲットポイントまでベースラインを描画する。バスケットボールでは、オペレータは、分割ボタンを押し、その後タッチ画面上のスタイリストを使って空中を飛ぶボールを追跡することができる。ボールがリングへ向かっていると仮定すると、3Dモデルは、ベースラインの移動方向と、ボールの飛行によって生成される垂直方向のオフセットを認識する。これによって、カメラはボールの飛行経路を追従することができる。
更なる別の一実施形態では、画像タリー機能をソフトウェア内に格納することができる。画像タリーは、生放送時に任意の時点でどのカメラが使用されているかをオペレータに示す。画像タリーは、生放送カメラのハロー又はピクチャフレームをハイライトする場合もある。
更に別の一実施形態では、展望線(ビスタライン)機能をソフトウェア内に格納することができ、カメラの位置から開始し、そのカメラの画像の両側の接点にまで延びる仮想3Dコンピュータモデル内に一連の線を生成することができる。線は、画像の接線、又は切断面、又は画像を超えて指定された距離のいずれかで終了することができる。同様に、中心展望線は、カメラの位置から始まり、トラックノードへと延び、トラックノード、又は切断面、又は指定された距離で終了することができる。
更に別の一実施形態では、命令機能の階層をソフトウェア内に格納することができる。前述の機能の多くは、互いに相互関係を有し、いくつかの状況においては互いにオーバーライドすることを望むかもしれない。こうして、命令の階層がシステム要求内で構築され、命令が他の命令を支配することを可能にする。
更に別の一実施形態では、相対的なズームポイントの機能をソフトウェア内に格納することができる。このソフトウェア機能によって、オペレータが手動制御で又はプリセットされた方法のいずれかによってズームインまたはズームアウトするとき、切断面上の一点、すなわち、サッカーのゴールを選択でき、その点がカメラの視野内の同じ位置に留まることを可能にする。このソフトウェア命令は、システムがレンズの視野を認識することを通してカメラの画像平面を利用することもできる。
別の一実施形態では、パンポイント機能をソフトウェア内に格納することができ、オペレータは起点と終点の2つの点を選択することができ、これによって指定されたカメラはこれらの点の間を指定された経路に沿ってパンするだろう。この指定された経路又はスプラインは、3D空間内で任意のアライメントを形成するために、オペレータによって調整されることができる。起点及び終点における、及びスプラインに沿った任意の数の点におけるズーム設定又はキーフレーミングは、カメラの視野の中心がスプラインに沿ってパンするとき、レンズのズームがそれらの間に均等に外挿するように指定することができる。パンポイント間の時間、ズーム設定、及び速度は、指定することができる。
本明細書内に組み込まれ、本明細書の一部を構成する添付の図面は、説明及び特許請求の範囲と共に、本発明の実施形態を示し、本発明の利点及び原理を説明するのに役立つ。図面は以下のようになっている。
夫々の視野及び被写体距離によって画定された主画像及び周囲のハロー画像の概略図である。 本発明のカメラ制御装置の第1実施形態の概略図である。 競技アリーナの外周の周りのバンプバーを示す図1の主画像領域及び周囲のハロー画像領域の様々な構成の概略図である。 主画像及びハロー画像がバイアスゾーン内を移動するときの、主画像及びハロー画像とその相互作用パターンの概略図であり、相互作用パターンは、第1にバイアスゾーン内のトラックノードの位置と、第2にバンプバーの位置に基づいていることを示している。 円形バイアスゾーン内部を移動するときの、固定サイズの主画像及びハロー画像とそれらの相互作用パターンの概略図である。 円形バイアスゾーン内部を移動するときの、固定サイズの主画像及び可変サイズのハロー画像とそれらの相互作用パターンの概略図である。 ハローとその構成要素の概略図である。 ハローの実施形態のいくつかの概略図である。 バイアスゾーンとその構成要素の概略図である。 バイアスゾーンの実施形態のいくつかの概略図である。 競技面上方の垂直方向の障壁の第1実施形態を示す図1の主画像の概略図である。 競技面上方の垂直方向の境界の第2実施形態を示す概略図である。 更なる一実施形態を示す概略図である。 第1及び第2のカメラで撮影した画像の位置を示す競技面を横切る選手の動きを上から見た図である。
以下の説明で、多数の具体的な詳細が記載される。しかしながら、開示から、修正及び/又は置換が本発明の範囲及び趣旨から逸脱することなくなされ得ることは、当業者には明らかであろう。いくつかの状況において、具体的な詳細は、本発明を不明瞭にしないように省略されている場合がある。同様の参照文字は、図面を通して対応する部分を示している。
より詳細な説明については、図面を参照して、本発明の原理が使用可能な構成を実施例により実証する動画撮影装置10が示される。図1に示されるように、動画撮影装置は、被写体16の動的な主画像14を撮影するための第1カメラ12を備え、主画像14は、第1カメラ12のレンズ22の視野18及び被写体距離20によって画定される。装置10は、主画像14を備え、主画像14の周囲に広がる動的なハロー画像26を撮影するための第2カメラ24を更に備え、ハロー画像は、第2カメラ24のレンズ32の視野28及び被写体距離30によって画定される。少なくともハロー画像26の寸法と内部の主画像14の位置は、被写体16の移動方向及び振る舞いに応じて変更可能である。
図2に示されるように、装置10は、サッカーの試合などのスポーツ大会の映像を撮影するために使用することができる。第1及び第2カメラ12、24は、この例では、境界線36と、様々なフィールドマーキング38と、対向するゴール40、42を有するサッカー場34である競技面の周囲に配置される。第3カメラ44は、競技場34の画像46を撮影するように設定される。信号は、通信手段48を介してカメラ12、24、44から受信し、カメラ12、24、44へ送信される。通信手段48は、カメラに配線によって接続されるか、又は送受信装置によって接続される。
通信手段48は、画像46を表示するためのタッチ画面52と、第1及び第2カメラ12、24によって撮影される画像を制御するためのスタイラス54を備える制御手段50と、テレビ画像放送を制御するための放送塔58と通信する放送切替装置56に接続される。放送切替装置56は、放送用の所望の画像を選択するためのスイッチ60、62を備える。
図2に更に示されるように、被写体16は、進行方向を示す矢印68の方向にフィールド34でボール66を蹴っているサッカー選手64である。進行方向は、ジョイスティック74を介して装置50に伝達される。使用されるとき、フィールドの画像46は、タッチ画面52上に表示される。オペレータはスタイラス54を用いて、サッカー選手64とサッカーボール66との間の競技の中心にトラックノード11を配置する。画像のサイズは、ジョイスティックのノブ75の回転を介して制御することができる。表示手段52を横切るスタイラス54の動作は、面34にわたって、被写体16を追跡するために、カメラ12、24及びそれらのレンズ22、32の必要とされるパン、チルト、フォーカス、及びズーム操作を表すデジタル信号を生成する。
オペレータは、必要なショットや、ボールが選手の間でパスされているかどうかに応じて、ボールをコントロールしている個々の選手又はボール自体のいずれかに追従することを選択できる。画面52にわたるスタイラス54の動きは、カメラ12、24の対応する動きをもたらす。しかしながら、タッチ画面52にわたる被写体16の動きを追跡するためには、スタイラス54の代わりにユーザーの指又はトラッキングサブシステムを使用することができることを理解すべきである。スタイラス54は、主ハローのトラックノード11が画面52に表示された画像46上のスタイラス54の位置に対応するように第1カメラを制御するために使用される。本実施形態では、スタイラス54の位置が主画像14の周囲のハロー26の位置を制御する。
図2に示されるような別の一実施形態では、第1及び第2カメラ12、24で撮影した画像14、26は、画面70、72上に表示される。画面70、72は、オペレータが放送に最適な画像を選択できるように使用される。しかしながら、読者は、表示手段52がカメラによって撮影された画像を備えることができ、又は本装置が様々な接続されたカメラで撮影した画像を表示する独立した分割画面を備えることができることを理解する必要がある。
装置10では、進行方向を制御するためにジョイスティック74を利用しているが、別の一実施形態では、このジョイスティック74は、トラックノード11の周囲の画像の位置を制御するために使用可能である。ジョイスティックのノブ75は、主画像及び/又はハロー画像のサイズを制御するために使用される場合もある。
コンピュータは、画面52、スタイラス54、及びジョイスティック74からデータを受信するコンピュータを制御するためのアプリケーションソフトウェアを備える。ソフトウェアは、画面52、スタイラス54、及びジョイスティック74から受信した信号に応じて、カメラ12、24のパン、チルト、フォーカス、及びズームを制御するサーボ援用カメラヘッド及びエンコードされたレンズを制御するために、適切な信号を生成するように構成される。アプリケーションソフトウェアは、コンピュータ内に格納可能である。
レンズ22、32は、製造データを使用すること、又は既知の環境でカメラ及びレンズを設定し、可変の距離及び可変の視野でフォーカス及びズームの設定を記録することのいずれかによって較正される。エンコーダは、これらのフォーカス及びズームの設定を認識し、このデータを格納するか、その代わりにレンズの類似の設定を使用することができるが、それほど正確ではないだろう。システムアルゴリズムは、自動化されたレンズ制御を可能にするために、このデータを利用している。したがって、各レンズの焦点は、カメラの位置とトラックノード11との間の距離を知ることによって合わせられる。レンズのズームは、ハロー14のサイズと、カメラ12とハロー14との間の距離を知り、その後、適切な視野(ズーム)を促進するために較正されたレンズアルゴリズムを適用することによって達成される。カメラのサーボ駆動パンチルトヘッドもエンコードされ、それによってシステムがカメラのアライメント方向を認識し、命令し、制御できる。
カメラ制御システムは、様々なスポーツ活動の画像を録画するために使用することができる。図3aに示されるように、装置10は、コートのマーキング78、境界線80、対向するリング82、84を有するバスケットボールコート76で行われるバスケットボールの試合の映像を撮影するために使用することができる。一実施形態では、制御手段50は、競技面の表面の仮想マップを備える。この仮想マップは、コートのマーキング、境界線、バスケットボールリングの位置のそれぞれを備える。また、垂直方向のマップは、第1及び第2カメラの動きを制限する仮想バリア又はバンプバー86を備え、これによって、撮影される画像14、26を制御する。これは、競技場の外側の周囲の走行トラックや、群衆や空席といったはずれの画像などの不要な映像の撮影を防止することを読者は理解すべきである。
図3aに示されるように、カメラ12、24が競技面の上方に位置している場合、カメラ12、24のそれぞれの視野の端、したがって、撮影された画像14、26は、バンプバー86を越えるのを制限している。イベント88で示されるような状況では、追跡される被写体16が境界線80からある距離にある場合、オペレータは、ハロー画像26内で主画像14の位置を制御することができる。しかしながら、イベント90a、90b、及び90cで示されるように、被写体が境界線80に接近して入ってくる場合、2つの画像14、26間の関係は、バンプバー86との相互作用により自動的に変更される。ハロー画像26と主画像のサイズ又は向きが、両方とも変更される場合がある。このように、バンプバー86は、コートの境界に隣接する緩衝柵のように機能し、これによって不要な映像が撮影されるのを防止する。
図3bは、バイアスゾーン6内のトラックノード11の位置と50%左に設定されている進行方向68によって決まる主画像14とハロー画像26との間の可変の関係を示している。進行方向68が50%左のとき、ハロー画像26がバンプバー100に衝突するまで、トラックノード11はバイアスゾーン11を通してハロー画像26の位置フィールドのy軸内の中央値となり、その時点でハロー画像26は停止し、主画像14をハロー画像26内で左にスライドさせることを可能にすることを図は示している。図3bはまた、トラックノードがバイアスゾーンの80%のx軸31の配置であるとき、二次的画像の位置フィールドは、その80%のx軸17aの配置にトラックノードを有することを示す。同様に、トラックノードがバイアスゾーンの−40%のx軸の配置にあるとき、二次的な位置フィールドは、その−40%のx軸の配置にトラックノードを有する。更に再び、トラックノードがバイアスゾーンの−80%のx軸の配置にあるとき、二次的な位置フィールドは、その−80%のx軸の配置にトラックノードを有する。
画像のX及びY軸の中心が0%であり、画像の限界線19は、±100%である。バイアスゾーンの特性も変更可能であり、これはバイアスゾーンと位置フィールド内のトラックノードの位置との間に線形と対数の両方の関係を含む。複数の重複バイアスゾーンは共に使用することができ、これはトラックノードの周囲の画像位置にバイアスゾーンの平均化効果をもたらす。これにより、ハローカメラがサッカーゴールなどの地理的な場所に向かって特定のバイアスを有することが可能となる。
図3c及び図3dのような同心円バイアスゾーンは、前述のものとは異なって作用する。同心円バイアスゾーンは、トラックノードの周囲でハロー画像の位置を制御する。これは、トラックノード11とバイアスゾーン6の中心との間にアライメントライン19aを生成することによって可能となり、アライメントラインは主画像を二分するようにトラックノード端部で延長されるか、あるいはまたアライメントラインは追加百分率又はオフセット距離によって延長される。オペレータのプリセットオプションは、以下を備える。図3cのように二次的画像のサイズを固定する、図3dのようにバイアスゾーンの中心と主画像をその限界線内に常に維持しながら、二次的画像のサイズを拡大・縮小可能にする、図3cのように一般的なバイアスゾーン手法に従って、主画像を二次的画像内に配置可能にする、及び図3dのように主画像を二次的画像の限界線に対して常に接するように配置する。
図3c及び図3dに示されるような方法は、ゴールが使用され、一般に試合のボールがどこにあり、ゴールがどこにあるかにテレビの視聴者の注目の焦点がある多数のスポーツへの適応において有用である。これには、サッカー、ネットボール、アイスホッケー、バスケットボールに当てはまるだろう。同様にクリケットでは、クリケット場の周りで打たれたときのボールのように、クリケットピッチ全体は、カメラのハロー内に常にあるバイアスゾーンの中心の一部とすることができる。
進行方向及びバイアスゾーン内のトラックノードの位置に依存するトラックノードのオフセットをそれ自身内に有するハロー画像としての機能性を主画像は有するが、トラックノードの進行方向又はバイアスゾーン内のノードの位置に関係なく、トラックノードは主画像内の中央にあることを図3bは示している。
主画像及びハロー画像は、プリセットの最大及び最小サイズを有することができる。画像の軸の中心が0%であり、限界線が全ての軸で±100%である。線形及び対数の両関係は、進行方向と位置フィールド内のトラックノードの位置との間で使用することができる。
別の一実施形態では、バイアスゾーン、画像、及び画像の位置フィールドは、すべて3Dの特性を有するが、前述と同様の手法で機能する3Dの空間的構造体であることが可能である。採用される3D構造体は、球、円柱、円錐、又は直角プリズムを含むことができる。この例では、GPSタグがトラックノードのリアルタイムの3D位置を確立するために一般的に使用される。
図4a及び図4bに示されるように、制御手段50に格納されているコート76の仮想マップは三次元である。本実施形態では、仮想マップは、画像14、26が動く平面を制御するために使用される切断面92を有する。切断面92の高さは変更可能である。切断面上のスタイリスト54の位置は、通常、トラックノードの位置を生成する。図4aは、領域94又は多くのカメラがフォーカス可能な画像を示す。バスケットボールにおいて、ボールは通常、胸の高さでパスされるので、切断面は図4aのように胸の高さに位置する。サッカーにおける動作は、一般的に地面の高さで起こるので、切断面92はそれに応じて下げられるだろう。
図4a及び図4bに更に示されるように、仮想マップは、ある特定の平面の上方で視野18(図1)の垂直方向の動きを阻害する障壁96を有する。障壁92は、図4aに示されるように競技面76に平行であることができる、又は図4bに示されるようにコートの中間点から対向するゴール82、84まで上方へ傾斜していることを含む任意の形態又は形状を取ることができる。競技面の上方の障壁92は、仮想の屋根のように機能し、映像に空席の観客スタンドなどの不要な細部が撮影されることを防止する。
ターゲットに正しく焦点が合っている場合、レンズの焦点とターゲット間の距離は、被写体距離20として知られる。被写体距離の終点は、被写体16又はハロー画像14、26の中心につなぐことができる。
図5に示されるように、ハロー画像26の面は、主画像14の面からオフセットすることができる。この動作は、ハロー画像26にのみ影響を及ぼすバイアスゾーンの相互作用から発生する可能性がある。画像26の位置は、バスケットボールのリング82と競技者64の両方がショット内にあることを可能にし、焦点を可能な限り正しく合わせることができる。
別の一実施形態では、主画像とハロー画像は切り離すことができ、これによって一方のハロー画像がボールなどの被写体を追跡し、同時に他方のハロー画像がボールの軌道を介して計算されるボールの着地ゾーン上に所定の方法で向けられる。この機能は、オペレータによって作動されるか、又は自動的に実行可能である。
異なる視点から主画像14及びハロー画像26を撮影するために、複数のカメラを使用することができる。図2に示されるように、それぞれの主画像14を撮影するためにカメラ12、12a、12bを使用し、それぞれのハロー画像26を撮影するためにカメラ24及び24aを使用する。なお、各カメラはそれ自身のハロー画像及びバイアスゾーンを有することができ、そのためハローサイズの数は、どの時点においてもカメラの数によってのみ制限されている。したがって、これは放送に適した画像を選択する上でより大きな柔軟性をオペレータに提供する。
図6に示されるように、装置10は、サッカー場34で競技されているサッカーの試合の映像を提供するために使用することができる。本実施例では、主画像14及びハロー画像26との間の関係を説明するために使用されるプレー94、96を含む。第1プレー94は、ボールをセンタースポットに配置して、センターサークルからのキックオフで開始する。イベント98で示されるように、主画像14は、ハロー画像26の中心点に位置している。これは、近傍内のすべての選手がハロー画像26に含まれることを意味する。プレーが進行し、選手64がフィールドを駆け下りるとき、イベント100で示されるように、主画像14はハロー画像26の後縁に向かって配置される。これは、イベント102で示されるように、選手が方向を変化させる場合でさえ、ハロー画像は選手64の前方に延在していることを意味する。イベント104で示されるように、ボールが境界線36上を通過する場合、ハロー画像26は、バンプバー86を超えて延在することを抑制される。
第2プレー96では、イベント106で示されるようにコーナーが取られ、ハロー画像26が競技場のより大部分を撮影するために拡大される。図示しないが、ハロー画像26はゴール84の前の選手を撮影するのに十分に大きくできることを、読者は理解する必要がある。その後、イベント108によって示されるように、ボールは中央に蹴られ、ゴール84へと向かう。ボールが方向を変えたときは、カメラ24によって撮影されるハロー画像26も、ゴールとゴールキーパーを含むように向きを変える。
ここで当業者は、図示された本発明の多くの利点を理解するであろう。一実施形態において、本発明は、スポーツ又は舞台イベントの映像を撮影するために複数のカメラを制御する装置及び方法を提供する。ターゲットの被写体に適合する主画像を撮影する少なくとも1つの第1カメラと、より広い視野を有する第2カメラによって撮影されるハロー画像の使用により、単独のオペレータが単純かつ効果的にテレビ放送の構成を制御できるようになる。中央制御装置の使用により、スポーツアリーナの生映像を表示しているタッチ画面の表面上で単にスタイラスを通過させることによって、オペレータが多くのカメラを制御することが可能になる。
本発明の様々な構成が、特に本発明の例示的実施形態と共に図示され説明されてきたが、これらの特定の構成は単なる例示であり、本発明はこれらに限定されないことを理解しなければならない。したがって、本発明は、本発明の趣旨及び範囲内で様々な変更例を含むことができる。本明細書において、「含む」、「備える」又は「有する」という単語は、「含むがこれに限定されない」ことを意味することを更に理解すべきである。

Claims (23)

  1. 測量された環境内に位置する移動被写体の動画像を得る方法であって、
    前記測量された環境に関してコンピュータにより生成される仮想的なマップを生成する工程であって、前記仮想的なマップは、少なくとも一つのバイアス・ゾーンを含んでいる、工程と、
    第1動画カメラを用いて、前記被写体の動的な主画像を撮影する工程と、
    第2動画カメラを用いて、前記主画像の周りに延在する動的なハロー画像を撮影する工程を含み、
    前記第1及び第2動画カメラは、主画像に対してハロー画像の位置、サイズまたは相互関係を変更することができるような態様で制御され、
    前記主画像の領域内部における前記ハロー画像の位置、サイズまたは相互関係は、前記少なくとも一つのバイアス・ゾーンによって制御され、前記移動被写体の周囲において前記主画像と前記ハロー画像とがどのように配置されサイズ変更されるかは、前記測量された環境内における前記移動被写体の位置によって規定される、
    ことを特徴とする方法。
  2. 前記第1及び第2動画カメラは、前記主画像が前記ハロー画像の一部を保持し、前記主画像に対して前記ハロー画像の位置を変更できるように制御されることを特徴とする、請求項1に記載の方法。
  3. 前記第1及び第2動画カメラは、前記主画像及び前記ハロー画像を撮影するように構成され、他方の動画カメラに対して変更可能な又は他方の動画カメラとは独立したそれぞれの視野及び被写体距離を有する請求項1又は2に記載の方法。
  4. 前記被写体は、スポーツ選手、ボール、又は舞台役者などの動的なターゲットであり、前記測量された環境は、スポーツ競技場またはステージであり、前記主画像及びハロー画像は、少なくとも前記動的なターゲットの動画像を含む請求項1〜3のいずれか一項に記載の方法。
  5. 前記主画像及びハロー画像は、スポーツ大会、ゴール、ウィケット、関連するラインマーキング、又はステージセットに関与する1人又は複数の個人の動画像を更に含む請求項4に記載の方法。
  6. 前記被写体は、追跡装置を用いて追跡されることができ、前記第1又は第2カメラのうちの少なくとも1つは、前記被写体を追従するように割り当てられる請求項1〜5のいずれか一項に記載の方法。
  7. 前記追跡装置は、主画像及びハロー画像を撮影するように前記第1及び第2カメラの動作を制御するための制御手段と通信するRF又はGPSタグを備える請求項6に記載の方法。
  8. 前記第2動画カメラの動作が、前記第1動画カメラの動作によって決められるように、前記動的なハロー画像は、動的な主画像に結合されることができ、一般的には周囲に配置されることができる請求項1〜7のいずれか一項に記載の方法。
  9. 前記動的なハロー画像は、前記動的な主画像を撮影する前記第1動画カメラがボールの軌道に追従し、前記動的なハロー画像を撮影する前記第2動画カメラが前記ボールの軌道から計算された予想される着地領域の映像を撮影するように、前記動的な主画像から分離することができる請求項1〜7のいずれか一項に記載の方法。
  10. 複数のハロー画像が前記主画像を取り囲んでいることを特徴とする請求項1〜9の中のいずれか一項に記載の方法。
  11. ステージ又はスポーツ競技場の地面からの前記主画像及びハロー画像の高さが変更できる請求項1〜10の中のいずれか一項に記載された方法。
  12. カメラの視野中心は、前記主画像及びハロー画像の中心に対してオフセットされた角度又は距離を有することができる請求項1〜11の中のいずれか一項に記載された方法。
  13. 前記コンピュータによって生成される仮想的なマップの上のトラックノードには、追跡される被写体に割り当てることができ、スポーツ競技場またはステージの前記地面からの前記トラックノードの高さは変更されることが可能である、請求項11記載の方法。
  14. オペレータの手動によって又はトラッキングシステムによって、前記コンピュータによって生成される仮想的なマップの上における前記トラックノードのx座標及びy座標の位置を、所定のz座標値を持つ切断面上の位置として決定することができる、請求項13記載の方法。
  15. バイアス・ゾーン内の前記トラックノードの位置は、前記トラックノードとその周囲の主画像及びハロー画像との間の空間関係に影響を与えることができる請求項13または請求項14に記載された方法。
  16. 前記主画像及び前記ハロー画像の動作は、水平及び垂直両平面内において指定されたアライメントの後ろへ移動することを抑制することができる請求項1〜15の中のいずれか一項に記載された方法。
  17. 前記主画像及び前記ハロー画像を前記撮影する動作は、指定されたソフトウェア及びハードウェアを使用して実施している請求項1記載の方法。
  18. 測量された環境内に位置する移動被写体の動的な主画像を撮影するための第1カメラと、前記主画像の周りに延在する動的なハロー画像を撮影するための少なくとも1つの第2カメラと、前記動的な主画像の周りの前記動的なハロー画像の位置を制御するための制御手段を備え、
    前記制御手段は、前記測量された環境に関してコンピュータにより生成される仮想的なマップを含んでおり、前記仮想的なマップは、少なくとも一つのバイアス・ゾーンを含んでおり、前記主画像の領域内部における前記ハロー画像の位置、サイズまたは相互関係は、前記少なくとも一つのバイアス・ゾーンによって制御され、前記移動被写体の周囲において前記主画像と前記ハロー画像とがどのように配置されサイズ変更されるかは、前記測量された環境内における前記移動被写体の位置によって規定される、
    ことを特徴とする動画撮影装置。
  19. 前記第1カメラ及び前記少なくとも1つの第2カメラは、前記第1カメラ及び前記少なくとも1つの第2カメラのフォーカス・ズーム及び方向を制御するように構成されるサーボ援用パンチルトヘッド及びサーボ援用レンズによって制御され、
    前記第1カメラ及び前記少なくとも1つの第2カメラの前記フォーカス・ズーム及び方向のうち少なくとも1つは、ユーザーインターフェイスを備える前記制御手段を使用することによって変更でき、これによって前記主画像に対する前記ハロー画像の位置を変更できる、
    ことを特徴とする請求項18に記載の動画撮影装置。
  20. ユーザーインターフェイスは、少なくとも前記移動被写体の動画像及び前記動画像と同期するための画定領域に関してコンピュータが生成する仮想的なマップを重畳的な態様で表示するタッチ画面を備え、前記画定領域は、スポーツアリーナ、競技場、競技コート、舞台、部屋、ピッチ及び楕円形競走路を含む群から選択される請求項18又は19に記載の動画撮影装置。
  21. 前記主画像は、前記ハロー画像から分離可能であり、
    前記主画像からの前記ハロー画像の分離は、ターゲットの被写体がゴールスクウェアを含む所定の空間内に位置している場合、ソフトウェアによって自動モードで行われる、又はユーザーが前記ユーザーインターフェイスによって前記主画像を前記ハロー画像から分離することができる、
    ことを特徴とする請求項19又は20に記載の動画撮影装置。
  22. 前記バイアス・ゾーンによる前記制御は、バイアス・ゾーン内における前記移動被写体の位置関係と前記バイアス・ゾーンとの間の相互作用を実現する動作に基づき、前記相互作用を実現する動作は:
    前記移動被写体の移動速度と振る舞いに依存して、前記移動被写体の位置から見て前記ハロー画像の中心位置が、どの方向にどれくらいの距離だけオフセットされるべきかを指定するために、バイアス・ゾーン内の進行方向を決定する動作と、
    前記バイアス・ゾーン内における前記移動被写体の位置と進行方向に依存して、前記ハロー画像について位置フィールド内における前記移動被写体の位置を調整する動作と、を具備する、請求項1記載の方法。
  23. 前記バイアス・ゾーンによる前記制御を実施するために、前記制御手段は、バイアス・ゾーン内における前記移動被写体の位置関係と前記バイアス・ゾーンとの間の相互作用を実現する手段をさらに具備し、前記相互作用を実現する手段は:
    前記移動被写体の移動速度と振る舞いに依存して、前記移動被写体の位置から見て前記ハロー画像の中心位置が、どの方向にどれくらいの距離だけオフセットされるべきかを指定するために、バイアス・ゾーン内の進行方向を決定する手段と、
    前記バイアス・ゾーン内における前記移動被写体の位置と進行方向に依存して、前記ハロー画像について位置フィールド内における前記移動被写体の位置を調整する手段と、
    を具備する、請求項18記載の動画撮影装置。
JP2012525813A 2009-08-31 2010-07-13 複数のカメラの相対制御のための方法及び装置 Active JP5806215B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2009904169A AU2009904169A0 (en) 2009-08-31 A method and apparatus for relative control of multiple cameras
AU2009904169 2009-08-31
PCT/AU2010/000886 WO2011022755A1 (en) 2009-08-31 2010-07-13 A method and apparatus for relative control of multiple cameras

Publications (2)

Publication Number Publication Date
JP2013503504A JP2013503504A (ja) 2013-01-31
JP5806215B2 true JP5806215B2 (ja) 2015-11-10

Family

ID=43627063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012525813A Active JP5806215B2 (ja) 2009-08-31 2010-07-13 複数のカメラの相対制御のための方法及び装置

Country Status (6)

Country Link
US (1) US20120154593A1 (ja)
EP (1) EP2474162B8 (ja)
JP (1) JP5806215B2 (ja)
CN (1) CN102598658B (ja)
AU (1) AU2010286316B2 (ja)
WO (1) WO2011022755A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526156B2 (en) * 2010-05-18 2016-12-20 Disney Enterprises, Inc. System and method for theatrical followspot control interface
US20120087588A1 (en) * 2010-10-08 2012-04-12 Gerald Carter System and method for customized viewing of visual media
EP2892228A1 (en) 2011-08-05 2015-07-08 Fox Sports Productions, Inc. Selective capture and presentation of native image portions
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US10469790B2 (en) * 2011-08-31 2019-11-05 Cablecam, Llc Control system and method for an aerially moved payload system
GB2497119B (en) 2011-12-01 2013-12-25 Sony Corp Image processing system and method
BR112015004087A2 (pt) * 2012-08-31 2017-07-04 Fox Sports Productions Inc método para rastrear e marcar objetos de interesse em uma transmissão; interface de usuário para visão seletiva captura ou reprodução de várias câmeras em um evento; e sistema de visão seletiva, captura ou reprodução de várias câmeras em um evento
KR101970197B1 (ko) * 2012-10-29 2019-04-18 에스케이 텔레콤주식회사 복수의 카메라 제어 방법과 그를 위한 카메라 제어 장치
JP6551392B2 (ja) * 2013-04-05 2019-07-31 アンドラ モーション テクノロジーズ インク. 画像キャプチャに関する装置を制御するシステムおよび方法
US9754373B2 (en) * 2013-11-25 2017-09-05 Gregory J. Seita Methods and apparatus for automated bocce measurement and scoring
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP6452386B2 (ja) * 2014-10-29 2019-01-16 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
KR102101438B1 (ko) 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
CN105072384A (zh) * 2015-07-23 2015-11-18 柳州正高科技有限公司 一种足球运动图像的获取方法
US10003786B2 (en) * 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
CN105488457B (zh) * 2015-11-23 2019-04-16 北京电影学院 摄影机运动控制系统在电影拍摄中的虚拟仿真方法及系统
US10143907B2 (en) * 2015-12-09 2018-12-04 Gregoire Gentil Planar solutions to object-tracking problems
US10471304B2 (en) 2016-03-08 2019-11-12 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform
JP6922369B2 (ja) * 2017-04-14 2021-08-18 富士通株式会社 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置
US10198843B1 (en) * 2017-07-21 2019-02-05 Accenture Global Solutions Limited Conversion of 2D diagrams to 3D rich immersive content
WO2019025833A1 (en) * 2017-08-02 2019-02-07 Playgineering Systems, Sia AUTOMATED TURNING SYSTEM AND METHOD
JP7246005B2 (ja) * 2017-10-05 2023-03-27 パナソニックIpマネジメント株式会社 移動体追跡装置及び移動体追跡方法
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
US10735826B2 (en) * 2017-12-20 2020-08-04 Intel Corporation Free dimension format and codec
US10832055B2 (en) * 2018-01-31 2020-11-10 Sportsmedia Technology Corporation Systems and methods for providing video presentation and video analytics for live sporting events
JP7366594B2 (ja) * 2018-07-31 2023-10-23 キヤノン株式会社 情報処理装置とその制御方法
CN110213611A (zh) * 2019-06-25 2019-09-06 宫珉 一种基于人工智能视觉识别技术的球类赛场摄像实现方法
KR102112517B1 (ko) * 2020-03-06 2020-06-05 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
US11653111B2 (en) 2021-03-31 2023-05-16 Apple Inc. Exposure truncation for image sensors
CN113329169B (zh) * 2021-04-12 2022-11-22 浙江大华技术股份有限公司 成像方法、成像控制装置及计算机可读存储介质
US11750922B2 (en) 2021-09-13 2023-09-05 Apple Inc. Camera switchover control techniques for multiple-camera systems
US12015845B2 (en) 2021-09-13 2024-06-18 Apple Inc. Object depth estimation and camera focusing techniques for multiple-camera systems
WO2024069788A1 (ja) * 2022-09-28 2024-04-04 株式会社RedDotDroneJapan 移動体システム、空中撮影システム、空中撮影方法および空中撮影プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
US5363297A (en) * 1992-06-05 1994-11-08 Larson Noble G Automated camera-based tracking system for sports contests
JP3365182B2 (ja) * 1995-12-27 2003-01-08 三菱電機株式会社 映像監視装置
JP2791310B2 (ja) * 1996-08-27 1998-08-27 幹次 村上 多角度撮影用の撮像装置
US5953056A (en) * 1996-12-20 1999-09-14 Whack & Track, Inc. System and method for enhancing display of a sporting event
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US7218320B2 (en) * 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US7358972B2 (en) 2003-05-01 2008-04-15 Sony Corporation System and method for capturing facial and body motion
JP4314929B2 (ja) * 2003-08-22 2009-08-19 パナソニック株式会社 動体検出装置
US8723956B2 (en) * 2004-08-30 2014-05-13 Trace Optic Technologies Pty Ltd Method and apparatus of camera control
JP2006261999A (ja) * 2005-03-16 2006-09-28 Olympus Corp カメラ、カメラシステムおよび複数カメラの協調撮影方法
WO2007133982A2 (en) * 2006-05-08 2007-11-22 John-Paul Cana Multi-axis control of a device based on the wireless tracking location of a target device
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
NZ598897A (en) * 2006-12-04 2013-09-27 Lynx System Developers Inc Autonomous systems and methods for still and moving picture production
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information

Also Published As

Publication number Publication date
CN102598658B (zh) 2016-03-16
WO2011022755A1 (en) 2011-03-03
EP2474162A1 (en) 2012-07-11
EP2474162B1 (en) 2019-07-03
AU2010286316A1 (en) 2012-04-19
US20120154593A1 (en) 2012-06-21
EP2474162B8 (en) 2019-08-14
CN102598658A (zh) 2012-07-18
EP2474162A4 (en) 2015-04-08
AU2010286316B2 (en) 2016-05-19
JP2013503504A (ja) 2013-01-31

Similar Documents

Publication Publication Date Title
JP5806215B2 (ja) 複数のカメラの相対制御のための方法及び装置
US9813610B2 (en) Method and apparatus for relative control of multiple cameras using at least one bias zone
JP6719466B2 (ja) 放送においてサーモグラフィー特性を表示するためのシステム及び方法
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
JP6580045B2 (ja) 映像制作物を作るための方法及びシステム
US20080068463A1 (en) system and method for graphically enhancing the visibility of an object/person in broadcasting
CA2798298A1 (en) Systems and methods for video processing
JPH06105231A (ja) 画像合成装置
JP2024097877A (ja) システム
US20240104793A1 (en) Adding augmented reality to a sub-view of a high resolution central video feed
WO2018004354A1 (en) Camera system for filming sports venues
US20230199295A1 (en) Predictive camera control for tracking an object in motion
US20180160025A1 (en) Automatic camera control system for tennis and sports with multiple areas of interest
JP7558652B2 (ja) 配置決定装置、配置決定方法、及びプログラム
EP3725071B1 (en) Cameras and arrangments for sports stadium
EP4453595A1 (en) Predictive camera control for tracking an object in motion
CA2559783A1 (en) A system and method for graphically enhancing the visibility of an object/person in broadcasting
JP2023169697A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150903

R150 Certificate of patent or registration of utility model

Ref document number: 5806215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250