JP5472506B2

JP5472506B2 - 複数の移動対象物の追跡撮影システム及び撮影制御方法

Info

Publication number: JP5472506B2
Application number: JP2013056200A
Authority: JP
Inventors: 亨村瀬
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2013-03-19
Filing date: 2013-03-19
Publication date: 2014-04-16
Anticipated expiration: 2029-02-04
Also published as: JP2013118712A

Description

本発明は、スポーツの観戦等の同時に移動する複数の移動対象物の追跡撮影に適した複数の移動対象物の追跡撮影システム及び撮影制御方法に関する。

スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を高精度に行うことができるようにした動画像データに基づく移動対象物の追跡方法及び装置であって、サッカーゲームなどのようなボールを用いるスポーツ競技を撮影したスポーツ動画像から、選手（人物）だけでなく該スポーツ競技で使用されているボールを高精度に抽出し追跡することが可能な動画像データに基づく移動対象物の追跡方法として、以下のものが知られている。（特許文献１参照）

「動画像データに基づき画像中における所定の特徴を持つ物体を追跡物体としてその動きを追跡する方法であって、過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める第１ステップと、今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する第２ステップと、前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる第３ステップとを具える。」（請求項１）

特開２００４−４６６４７号公報

しかし、上記特許文献１に記載のものは、スポーツで使用されるボール若しくは特定のプレーヤの動きに追随するだけであって、ボールを保持するプレイヤー以外のプレイヤーに追随することはできず、当該スポーツ観戦の興味が多くは果たすことができなかった。

上記の特許文献等で使用される撮像手段として、通常のデジタルカメラ（撮影部）で使用する撮像素子（例えば、電荷結合素子ＣＣＤ（charge-coupled-device））の画素の配列は撮影される１画面の全ての位置で均等である。

これに対して、人間の眼の画像処理は以下の特徴を有している。
人間の眼は、中心と周辺の２つの視野をもっている。
中心視野は、視線を中心とした約２０度のエリアをいう。
周辺視野は、中心視野から外れた上下１３０度、左右１８０度のエリアである。
この周辺視野では、見えてはいるが物の形はぼんやりして、色も正確には認識できない。しかし、移動する対象や点滅する光のように時間的に変化する物に対しては中心視野より優れた力を発揮することができる。

本発明の目的は、人間の眼の周辺視野における移動対象物の認識が優れているという特徴を撮影装置に適用した中心視野と周辺視野の画像を同時に撮影可能な撮影装置（デジタルカメラ）を用いて、中心視野と周辺視野の画像を同時に撮影した画像を有効に利用できるスポーツ観戦等の同時に移動する複数の移動対象物の追跡撮影に適した複数の移動対象物の追跡撮影方法を提供することにある。

目的を達成するために、複数の移動対象物の追跡撮影システムは、
撮影エリアを中心視野部と周辺視野部とに分離して、中心視野部の撮像素子の画素密度を高く周辺視野部の撮像素子の画素密度を低くした撮影手段と、撮影された２つの部分の撮影画像データを個別に処理するデータ処理部と、当該撮影手段の撮影方向及び焦点を制御する制御手段と、を備えた複数の移動対象物の追跡撮影システムであって、
前記撮影手段は通常時は、前記中心視野部の撮影画像データに含まれる予め設定された第１の移動対象物を追跡して撮影するように、前記制御手段で前記撮影手段の撮影方向及び焦点を制御し、
前記周辺視野部画像データに含まれる予め設定された第２の移動対象物の検出時には、当該第２の移動対象物を追跡して撮影するように、前記制御手段で前記撮影手段の撮影方向及び焦点を制御することを特徴とする。

また、前記第１の移動対象物は、撮影されるスポーツに使用されるボール等の移動物体であり、
前記第２の移動対象物は、前記ボール等の移動物体を保持する第１のプレイヤー以外の予め設定された第２のプレイヤーであって、前記データ処理部の処理は、周辺視野部画像データの差分によって前記第２のプレイヤーの移動を検出することを特徴とする。
また、前記第２のプレイヤーの移動の検出は、周辺視野部における所定距離以上及び／又は所定速度以上での移動で検出することを特徴とする。
また、前記第２のプレイヤーの移動の検出は、周辺視野部における所定方向への移動を検出するものであることを特徴とする。

目的を達成するために、複数の移動対象物の追跡撮影方法は、
撮影エリアを中心視野部と周辺視野部とに分離して、中心視野部の撮像素子の画素密度を高く、周辺視野部の撮像素子の画素密度を低く設定した撮影手段と、撮影された２つの部分の撮影画像データを個別に処理するデータ処理部と、当該撮影手段の撮影方向及び焦点を制御する制御手段とを備えた複数の移動対象物の追跡撮影システムの撮影制御方法であって、
前記中心視野部の撮影画像データに含まれる予め設定された第１の移動対象物を追跡して撮影するように、前記制御手段で前記撮影手段の撮影方向及び焦点を制御する第１のステップと、
前記周辺視野部画像データに含まれる予め設定された条件を満たす第２の移動対象物の検出時に、当該第２の移動対象物を追跡して撮影するように、前記制御手段で前記撮影手段の撮影方向及び焦点を制御する第２のステップと、を含むことを特徴とする。

本発明の複数の移動対象物の追跡撮影システム及び追跡撮影方法によれば、人間の眼の周辺視野における移動対象物の認識が優れているという特徴を撮影装置に適用した中心視野と周辺視野の画像を同時に撮影可能な撮影装置を用いて、中心視野と周辺視野の画像を同時に撮影した画像を有効に利用して、スポーツ観戦等の同時に移動する複数の移動対象物の追跡撮影に適した複数の移動対象物の追跡撮影システム及び追跡撮影制御方法を実現できる。

中心視野部撮影用の高解像度の望遠カメラと周辺視野部撮影用の低解像度の広角カメラとの視野の関係を示す図である。図１の撮影装置で撮影した画像データが入力される電荷結合素子ＣＣＤ（charge-coupled-device）の模式図である。本発明の撮影装置の第１のハードウエア構成例を示す図である。本発明の撮影装置の第２のハードウエア構成例を示す図である。本発明の撮影装置で撮影した画像を表示装置に表示した状態のイメージ図である。本発明の動作を説明するフローチャートである。

先ず、本発明で使用する撮影装置について説明する。
本発明で使用する撮影装置の第１の実施形態では、中心視野部撮影用の高解像度の望遠カメラと周辺視野部撮影用の低解像度の広角カメラを使用する。

図１を用いて、中心視野部撮影用の高解像度の望遠カメラと周辺視野部撮影用の低解像度の広角カメラとの視野の関係を説明する。
図１において、１は撮影装置であって、該撮影装置内には中心視野部撮影用の高解像度の望遠カメラ1aと周辺視野部撮影用の低解像度の広角カメラ1bが含まれている。
また、Ａは前記中心視野部撮影用の高解像度の望遠カメラで撮影されるエリアであって、Ｂは周辺視野部撮影用の低解像度の広角カメラで撮影されるエリアを示している。

図１における中心視野部Ａの広がりは、撮影方向（視線）の中心とした約２０度のエリアで、周辺視野部Ｂは中心視野から外れた上下１３０度、左右１８０度のエリアであることが望ましい。

なお、図１では中心視野部撮影用カメラは１台であるが、当該中心視野部撮影用の高解像度の望遠カメラを２台所定の距離をおいて配置して被撮影対象に両者の焦点を合わせて、人間の２つの眼での如く被撮影対象の色、形状位置（距離）関係及び動きを検出するようにしても良い。

図２は、図１の撮影装置で撮影した画像データが入力される電荷結合素子ＣＣＤ（charge-coupled-device）の模式図であって、A-1には中心視野部撮影用の高解像度の望遠カメラ1aの撮影画像が入力され、B-1には周辺視野部撮影用の低解像度の広角カメラ1bの撮影画像が入力される。
図２におけるA-1の画素密度は高く高解像度の撮影に適し、B-1の画素密度は低く低解像度の撮影に適している。
また、上記の説明では、図２をＣＣＤとして説明しているが、図２をＣＣＤで撮影した画像データを表示する液晶等で構成される表示画面として理解しても良い。
また、図２では、A-1及びB-1を表示装置の画面を想定してそれぞれ矩形で示しているが、必ずしもＣＣＤの形状は矩形である必要はなく、同心円等の任意の形状が選択できることはいうまでもない。

図２の如く、周辺視野部の画像データのためのＣＣＤの画素密度は低いので、中心視野部に比べてはるかに広い範囲の周辺視野部であっても、画素密度が小さので、周辺視野全体のデータ数は低く抑えられデータ演算の負担が低く周辺視野部に進入する動的対象物が含まれデータ処理、特に、連続して撮影される複数の周辺視野部の画像データの差分の演算を短時間に実行できる。

周辺視野部に進入する動的対象物の有無の判断の例としては、連続して撮影される複数の周辺視野部の画像データの差分によって移動対象物を抽出（認識）する。
更に、抽出した移動対象物の周辺視野内における、所定時間内における移動距離若しくは移動速度の演算を短時間に実行することが望ましい。

画像データの差分によって移動対象物を抽出する例としては、特開平9-252467号公報に記載の如き、以下のものが知られている。
カメラで撮像されたディジタル符号化されたデータに基づき、移動する物体を検出するために、監視用テレビカメラからの画像信号を、符号化部でディジタル画像圧縮符号化データに変換する。符号化部では、前画面または後画面との画像の差分の画素情報と、その２画面での動きの大きさと方向を複数ブロック単位で示す動きベクトルの情報が符号化する。この符号化されたデータの復号に際して動きのある物体についての動きベクトルが移動体検出・判定部で抽出する。この判定部においては動きベクトルを抽出し、動き指標に基づき物体ブロックを抽出し、その統計量を求め、基準値と比較して目標移動体を判別する。

本願発明における連続して撮影される複数の周辺視野部の画像データの差分によって移動対象物の抽出（認識）には、上記の認識方法に特定されるものではなく、本願出願時に公知の認識方法が適用できることはいうまでもない。

本発明の撮影装置のハードウエア構成について図３及び図４を用いて説明する。
図３は、本発明の撮影装置の第１のハードウエア構成例を示す図である。
撮影装置1は、中心及び周辺視野部を撮影する光学系及びＣＣＤをそれぞれ個別に備えたもので、それぞれ、中心視野部用光学系1-1，中心視野部用ＣＣＤ1-1a，周辺視野部用光学系1-2，周辺視野部用CCD1-2aである。
1-3は処理装置（CPU）であって、個別の光学系で撮影された個別のCCDの画像データを個別に処理するとともに、処理したデータを、インタフェース1-4を介して当該撮影装置が搭載された車両の制御装置（CPU）との間で信号の授受を実行する。
また、中心視野部用ＣＣＤ1-1aの画素密度は高く高解像度の撮影に適し、周辺視野部用ＣＣＤ1-2aの画素密度は低く低解像度の撮影に適している。

図４は、本発明の撮影装置の第２のハードウエア構成例を示す図である。
撮影装置1は、中心及び周辺視野部を撮影する共通の光学系及びＣＣＤを備えたもので、共通光学系1-5，共通ＣＣＤ1-5aである。
また、1-3は光学系で撮影されたCCDの画像データを処理する処理装置（CPU）であり、1-4は撮影装置の撮影方向及び焦点等の駆動を制御する撮影装置駆動部である。

次に、本発明のスポーツ観戦用撮影装置をボールの動きのみでなく、フィールドにおけるボールを保持していないプレーヤーの動きをも注視する必要があるアメリカンフットボールの観戦に使用した場合の動作を図５のイメージ図及び図６のフローチャートを用いて説明する。

図５は、本発明の撮影装置で撮影した画像を表示装置に表示した状態のイメージ図である。
図５のイメージ図は、撮影するスポーツとしてアメリカンフットボールとし、攻撃方のプレイヤーP1,P2,P3,P4と防御方のプレイヤーQ1,Q2,Q3,Q4がグランド内に存在して、プレイヤーP1が二重丸で示すボールを保持し、プレイヤーP2が、パスを受けるために矢印方向に走る状態である。
また、A-1は、中心視野部を撮影する光学系で撮影されるエリアであり、B-1は周辺視野部を撮影する光学系で撮影されるエリアである。

以下の動作を図６のフローチャートで説明する。
・中心視野部A-1の部分の撮影画像及び周辺視野部B-1の撮影画像のCCD画像データは個別に画素データ処理部で処理される。（ステップS1）
通常は、ボール若しくはボールを保持するプレーヤーは中心視野部内に撮影され、撮影画像の解析処理によってボールの動きに追随して、撮影装置の撮影方向及び焦点が制御される。
なお、表示装置の画面には、図２の中心視野部分の画像が表示されるのが普通である。
・周辺視野部データ解析は、撮影された画面毎の差分を抽出して、周辺視野部に変化（移動対象物）が存在するか否かの判断がされる。（ステップS2）
・ステップS2の判断で、Yesの場合には、検出された移動対象物が所定速度以上で移動しているか、所定距離以上移動したか否かの判断をする。（ステップS3）
ここで、検出された移動対象物が所定速度以上で移動しているか、所定距離以上移動したか否かの判断をするのは、グランド内の各プレイヤーは常に移動しているので、通所の範囲内のプレイヤーの移動の影響を除くためである。
・ステップS3での判断が、Yesの場合には、移動対象物が、パスを受けるために走り出したと判断して、このプレイヤーP2の動きに追随して撮影装置の撮影方向，焦点等の制御を撮影装置駆動部によって実行する。（ステップS4）
具体的には、このプレイヤーP2を中心視野に捉える様に撮影装置の撮影方向，焦点等の制御を実行するのも１例である。
このような制御を実行することによって、プレイヤーP2にパスされたボールがキャッチされる瞬間を撮影することが可能になる。
・ステップS2及びステップS3での判断が、Noの場合には、ステップS1に戻って処理を繰り返す。

上記説明は、撮影するスポーツとしてアメリカンフットボールとして説明をしたが、必ずしもアメリカンフットボールの撮影にのみ意味があるのではなく、本発明の技術は複数の個別移動対象物の動きを何らかの意味をもたせて撮影すると有効である。

１：撮影装置
1a：中心視野用カメラ
1b：周辺視野用カメラ
A：中心視野エリア
B：周辺視野エリア

Claims

望遠カメラ及び広角カメラを含む撮影手段と、
前記望遠カメラ及び前記広角カメラによる撮像画像データを処理するデータ処理部と、
前記撮影手段の撮像方向及び焦点を制御する制御手段と、
を備えた複数の移動対象物の追跡撮影システムであって、
前記制御手段は、前記望遠カメラの撮影画像データに含まれる第１の移動対象物を追跡して撮影するように、前記撮影手段の撮影方向及び焦点を制御している場合に、前記広角カメラの撮像画像データにおける変化を検出し、
前記変化に従い第２の移動対象物を検出した時には、当該第２の移動対象物を追跡して撮影するように、前記撮影手段の撮影方向及び焦点を制御することを特徴とする複数の移動対象物の追跡撮影システム。
前記第１の移動対象物は、撮影されるスポーツに使用されるボール等の移動物体であり、
前記第２の移動対象物は、前記ボール等の移動物体を保持する第１のプレイヤー以外の予め設定された第２のプレイヤーであって、
前記データ処理部の処理は、前記広角カメラの撮影画像データの差分によって前記第２のプレイヤーの移動を検出することを特徴とする請求項１に記載の複数の移動対象物の追跡撮影システム。
前記第２のプレイヤーの移動の検出は、前記広角カメラの撮影画像データにおける所定距離以上及び／又は所定速度以上での移動で検出することを特徴とする請求項２に記載の複数の移動対象物の追跡撮影システム。
前記第２のプレイヤーの移動の検出は、前記広角カメラの撮影画像データにおける所定方向への移動を検出するものであることを特徴とする請求項３に記載の複数の移動対象物の追跡撮影システム。
望遠カメラ及び広角カメラを含む撮影手段と、前記望遠カメラ及び前記広角カメラによる撮像画像データを処理するデータ処理部と、前記撮影手段の撮像方向及び焦点を制御する制御手段とを備えた複数の移動対象物の追跡撮影方法であって、
前記制御手段が、前記望遠カメラの撮影画像データに含まれる第１の移動対象物を追跡して撮影するように、前記撮影手段の撮影方向及び焦点を制御している場合に、前記広角カメラの撮像画像データにおける変化を検出する第１のステップと、
前記変化に従い第２の移動対象物を検出した時には、当該第２の移動対象物を追跡して撮影するように、前記撮影手段の撮影方向及び焦点を制御する第２のステップと、
を含むことを特徴とする複数の移動対象物の追跡撮影方法。