JP4254637B2

JP4254637B2 - 撮影システム

Info

Publication number: JP4254637B2
Application number: JP2004201273A
Authority: JP
Inventors: 史子紅山; 俊夫守屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-07-08
Filing date: 2004-07-08
Publication date: 2009-04-15
Anticipated expiration: 2024-07-08
Also published as: JP2006025163A

Description

本発明は、撮影装置を利用して様々な方向から被写体を撮影する撮影システムまたは、その撮影方法に関するものである。その中でも特に、多数のPC及び多数の撮影装置を用いて同期撮影を実施し、様々な方向から画像の確認を行うことが可能なフォーム確認装置に関する。

映画SFXシーンにおいて、ある被写体のある瞬間を、大量のカメラによる同時撮影によって様々な視点位置からとらえる撮影方法が、撮影手法の一つとして確立されつつある。この手法は、静止画カメラ（スチルカメラ）を用いて実現させているものであり、このため、撮影できる対象が、ある一瞬のみに限られてしまうという制約があり、動画としての取り扱いは不可能であった。

動画カメラ（ビデオカメラ）を用いた上記の撮影においては、高い同期精度が必要となるが、連続画像において全てのタイミングの画像を完全に同期させて撮影を行うのは、困難である。多数の動画カメラを用いて被写体を取り囲む撮影に関しては、すでになされているが、同期保障には着目されておらず、大体同じタイミング、程度にとどまっており、完全な同期を実現しているものはなく、また、カメラの台数も複数台であることがほとんどである。また、大量の動画カメラを用いた撮影においては、1台のカメラに付き1台のPCが必要であり、カメラ台数がふえると、装置規模に大きく影響することになる。

撮影した画像を用いたアプリケーションの一例として、ゴルフのスイングや野球のバッティングなど、フォームの重要なスポーツにおける自己フォーム検証が挙げられる。既存のフォーム確認装置においては、ビデオ等の撮影装置で1方向から撮影する方法が一般的によく用いられている。複数の方向から撮影を行うこともあるが、各撮影装置の撮影タイミングを厳密に合わせることはなく、撮影装置の台数もせいぜい3，4台である。

特開２００２−２６３２３０号公報の“打撃練習場用の打撃フォーム画像形成装置及び該打撃フォーム画像提供システム”では、ゴルフ練習場に複数のビデオカメラを設置して撮影を行い、撮影した画像を統括に送信し、自宅からこの統括にアクセスすることにより、自己の打撃フォームを得るシステムについて述べている。

特開２００２−２６３２３０号公報

しかしながら、既存のフォーム確認装置においては、ゴルフフォームの撮影を例とすると、１方向からの撮影では、ヘッド部分が被験者に隠れてしまい、重要な部分のデータを逃したり一連のヘッドの動きを全て取得出来なかったりする場合がある。また、3，4台の複数の撮影装置を用いた撮影においても、撮影タイミングの同期を考慮しているものはほとんどないため、フォームの検証においては、多方向から撮影された画像を１つずつただ流して見るだけであり、インパクト等、特定の瞬間の画像をそれぞれの角度から撮影した撮影画像から抜き出して検証することは、困難である。

また、複数撮影装置で被写体を取り囲むように撮影を行った時、スムーズな視点位置移動のためには各撮影装置の高さや画像中心が一致するように撮影装置位置を設定する必要があるが、物理的に設定するのは手間がかかり面倒であった。

また、特許文献１では、撮影装置台数は4台ほどであり、撮影画像の同期については全く考慮していない。一方向ずつのフォームを確認する場合には問題ないが、同じタイミングのフォームを多視点で確認する場合には、不適切である。上述したように、従来のゴルフ等のフォーム確認装置の中でも、多視点からの映像の確認が可能で、且つ、全ての撮影装置が同期して撮影可能なフォーム確認装置はなかった。このため、複数のカメラにて撮影した動画を順次切り替えて表示することによりスムーズな視点移動を行う映像表示は困難であった。

また、ＰＣ1台に対して、カメラ1台を接続するのが一般的であるため、大量のカメラを使用した撮影を行なう場合、装置規模が莫大となってしまい実用的ではなくなってしまう。

本発明は、上記問題点を考慮して発案されたものであり、その目的は、同期した多視点からの映像を撮影するシステムを提供することにある。

そこで、本発明の一実施態様では、上記問題点の少なくとも一つを解決するために、被写体を取り囲むように設置した複数の撮影装置と、数台の撮影装置と中継装置を介して接続した1台の統括計算機と複数の画像取得計算機と、計算機に接続され複数の撮影装置の撮影タイミング信号を発信する同期信号発生装置と、撮影画像を表示するディスプレイによって構成される撮影システムにおいて、前記統括計算機にて撮影開始信号を発信する撮影開始信号発信手段と、前記統括計算機にて発信された撮影開始信号を画像取得計算機で受信する撮影開始信号受信手段と、前記撮影開始信号を受信すると同時に、同期信号発生装置の発信する撮影タイミング信号に応じて、各計算機に接続されている複数の撮影装置の画像を記憶装置に蓄積する、撮影画像取得手段と、前記各画像取得計算機に蓄積された全ての撮影画像を統括計算機の記憶装置に集結する、撮影画像転送手段とを備え、前記統括計算機は、各画像取得計算機から転送された全ての撮影画像を受け取る、撮影画像受け取り手段と、前記1台の計算機の記憶装置に集結された撮影画像を、任意の視点による任意のタイミングの画像のディスプレイへの表示を、画像を切り替えることにより行う画像表示手段を有する構成とする。

上記撮影システムを用いることにより、小規模、且つ完全同期を実現可能とする。

以下に、本発明における実施の形態について、図面を参照しながら詳述する。

図1は、本実施例の撮影システムの構成を示した図である。撮影装置20台、PC4台の構成を例に説明する。

本撮影システムは、被写体(1)を取り囲むように、20台の撮影装置(10)を設置する。1台のPC(30,31)で認識可能な台数の撮影装置(10)を、HUB（中継装置）(20)に一旦集線し、PC(計算機)(30,31)に接続する。PCは、撮影タイミング等を発信する統括PC(30)を1台と、発信された撮影タイミングを受信しそのタイミングにて画像の取得を行う画像取得PC(31)を複数台、使用する。PC(30,31)の台数は、1台のPCあたりに接続する撮影装置(10)の個数に依存する。装置全体の規模を小さくするためには、画像を取得するPCの数が最小となるように、1台のPCで認識可能な最大の台数の撮影装置(10)を、HUB(20)を介して接続する。しかし、PC1台あたりに接続される撮影装置(10)の数が増えるほど、記憶装置の容量により、撮影可能な秒数が短縮される。このため、装置規模、撮影秒数を考慮したうえで、PCの台数を決定するのがよい。また、本構成においては、統括PC(30)は、画像取得PC(31)への動作指示のみに徹しているが、装置規模を縮小するために、統括PC(30)にもHUB(20)を介して撮影装置(10)を接続しても構わない。すべての撮影装置(10)のシャッタータイミングを一致させるため、各HUB(20)に、同期信号発生装置(40)を接続する。更に、複数の同期信号発生装置(40)間の信号発生タイミングを一致させるため、同期信号発生装置(40)同士の接続を行う。各PC(30,31)間の連携を取るために、全てのPC(30,31)は、ネットワークHUB(50)に接続する。例えば、統括PC(30)から発信した信号を画像取得PC(31)で受信したり、画像取得PC(31)内のデータを統括PC(30)に転送したりする場合に、必要となる。また、全ての撮影装置(10)の同期タイミングを合わせるための補助として、全ての撮影装置において撮影可能な位置に発光装置を設置する。撮影開始後すぐに短時間の発光を行い、撮影後、撮影画像内の発光瞬間を基に同期タイミングを合わせるために使用する。

図2は、本実施例の統括PC(30)の装置構成を示した図である。

本装置は、統括PC（30）に含まれる、プログラムに基づいた計算や制御を行うＣＰＵ（70）、データやプログラムを記憶するメモリ等の主記憶装置(100)、およびハードディスク等の大容量記憶装置(200)、を含む。

また、PC間の信号の発信受信やデータの受け渡しを行うための集線装置ネットワークHUB(50)、撮影データを表示するディスプレイ(70)からなる。

大容量記憶装置(200)には、全ての撮影装置(10)で撮影した画像を同時に表示するために、画像取得PC(31)より転送された画像取得PC(31)に接続されている撮影装置(10)にて撮影された画像を格納する複数画像取得PC撮影画像格納部(220)、画像表示の際にあると便利な、読込画像枚数や表示画像の格納場所を示すリンク先、等、表示画像情報を格納する表示画像情報格納部(230)が含まれる。

主記憶装置(100)には、画像取得PC(31)における撮影画像保存可能な容量を調査するための使用可能メモリ調査信号を発信する使用可能メモリ信号発信部(110)、各画像取得PC(31)より受信した使用可能メモリ量、各PCに接続されている撮影装置(10)の個数、より、各PCにおける最大撮影秒数を算出し、撮影可能秒数を決定する撮影可能秒数決定部(130)、前記決定撮影秒数分の画像を取得する画像取得プログラムを実行するための撮影開始信号を画像取得PC(31)に発信する撮影開始信号発信部(140)、撮影終了後、全ての撮影装置(10)の撮影画像を表示するために、画像取得PC(31)にて撮影した映像を受信し複数画像取得PC撮影画像格納部(220)に格納する撮影画像受け取り部(165)、複数画像取得PC撮影画像の同期タイミングを合わせる同期合わせ部(170)、同期合わせ後の画像取得PCの撮影画像(220)を表示する画像表示部(180)よりなる。本構成においては、撮影画像を統括PCに集結したが、撮影画像を集結し画像表示を行うPCは統括PCでなくてもよく、例えば容量の大きい補助記憶装置を有するPCを使用しても構わない。全ての撮影装置(10)の撮影画像表示においては、例えば、全ての撮影装置の画像を並列して表示したり、１つの画面において任意の角度で任意のタイミングの画像を表示する、また別に撮影した背景画像に合成する、等さまざまな表示方法が考えられる。

図3は、本実施例の画像取得PC(31)の装置構成を示した図である。

本装置は、統括PC（31）に含まれる、プログラムに基づいた計算や制御を行うＣＰＵ（70）、データやプログラムを記憶するメモリ等の主記憶装置(100)、およびハードディスク等の大容量記憶装置(200)、を含む。

また、PC間の信号の発信受信やデータの受け渡しを行うための集線装置ネットワークHUB(50)、撮影装置(10)のシャッタータイミングの同期を取るための同期信号発生装置(40)、複数の撮影装置(10)に接続されているHUB(20)からなる。

大容量記憶装置(200)には、各画像取得PC(31)に接続されている撮影装置(10)にて撮影された撮影画像を格納する撮影画像格納部(画像取得)(215)が含まれる。

主記憶装置(100)には、画像取得PC(31)における撮影画像保存可能な容量を調査するために統括PC(30)から発信された使用可能メモリ調査信号を受信する使用可能メモリ信号受信部(115)、画像取得PC(31)における使用可能メモリを調査する使用可能メモリ調査部(120)、統括PC(30)から発信された撮影開始信号を受信する撮影開始信号受信部(145)、撮影画像を取得し撮影画像格納部(画像取得)(215)に格納する撮影画像取得部(150)、撮影終了後、撮影画像(画像取得)(215)を統括PCに転送する撮影画像転送部(160)よりなる。

図4は、本実施形態におけるシステム構成を示した図である。

統括PC(30)の撮影開始信号発信部(110)より発信された信号は、ネットワークHUB(50)を介して複数の画像取得PC(31)に送信する。統括PC(30)より撮影開始信号を受信した画像取得PC(31)は、撮影開始信号発信部(115)にて、各画像取得PC(31)からHUB(20)を介して接続されている撮影装置(10)の撮影を開始する。このとき、複数の同期信号発生装置(40) は、HUB(20)により順次接続され、全ての同期信号発生装置(40) 間の同期は完全に取れているため、同期信号発生装置(40)のから発信される信号と同時に、HUB(20)に接続された全ての撮影装置(10)のシャッターを切ることにより、全ての撮影装置(10)の撮影タイミングを完全に一致させた撮影を行うものとする。各画像取得PC(31)では、撮影画像取得部(120)にて、HUB(20)を介して各画像取得PC(31)に接続されている全ての撮影装置(10)にて撮影された撮影画像(215)を取り込み、保管する。撮影終了後、画像取得PC(31) の撮影画像転送部(130) において、撮影画像 (215)を、ネットワークHUB(50)を介して統括PC(30)に転送する。統括PC(30) では、撮影画像受け取り部(135) において、画像取得PC(31) から転送されてきた撮影画像(画像取得) (215) を受け取る。そして、読込画像枚数や各撮影画像の格納場所を示すリンク先などを画像表示情報(230) として登録し、画像表示情報(230) を基に、撮影画像(統括)(210)、撮影画像(215) を、画像表示部(140)にてディスプレイ(60) に表示する。表示方法として、全てのカメラの画像を並べて表示してもよいし、2つの画像を比較するように並べてもよい。

図5は本実施形態においてその処理の流れを示すフローチャートである。

まず、ステップ1000にて、どのくらいの撮影画像を取り込むことが可能かを知るために、撮影画像取り込み予定の統括PC(30)、画像取得PC(31)全ての使用可能メモリを調査する。ステップ1000にて算出された統括PC(30)と各画像取得PC(31)の使用可能メモリ、及び、各PCにおけるカメラ接続台数より、ステップ1100にて、統括PC(30)と全ての画像取得PC(31)の撮影可能秒数を算出する。

ステップ1200では、全てのPCにおける撮影可能秒数を比較し、最小である撮影可能秒数を本実施形態における最大の撮影可能秒数とし、撮影可能フレーム数を算出する。

ステップ1300にて、撮影データを取り込む全ての画像取得PC(31) に対して、撮影開始信号を発信すると共に、撮影可能フレーム数を発信する。

ステップ1300の撮影開始信号受信後ただちに、ステップ1400にて、統括PC(30)、全ての画像取得PC(31)において、撮影を開始する。ステップ1500にて、撮影画像を順次取得し、一時保存を行う。

ステップ1600では、撮影画像フレーム数が撮影可能画像フレーム数を超過したかどうか判断し、超過していない場合は、ステップ1500にて引き続き撮影画像の取得及び一時保存を行い、超過した場合は、ただちに撮影を終了する。

ステップ1700では、全ての撮影装置にて撮影している被写体の動作の可否により、その撮影データを保存するかどうか判断する。保存しないと判断した場合、ステップ1710にて統括PC(30)及び全ての画像取得PC(31)に一時保管されている画像の消去を行い、ステップ1720にて再度撮影を行うかどうか判断する。再度撮影を行う場合、ステップ1300の撮影開始信号発信に戻る。

ステップ1700にて、撮影データを保存すると判断した場合、ステップ1800で撮影画像を大容量記憶装置に移動するかどうかの判断を行い、移動する場合はステップ1900にて撮影画像を大容量記憶装置への移動を行い、移動しない場合はステップ1810にて主記憶装置に保存する。

図6は本実施形態において同期合わせ処理の流れを示すフローチャートである。

複数の撮影装置で撮影した画像の同期合わせを行う。発光装置を設置し、発光の瞬間を撮影し、全てのカメラにおいて発光タイミングが合うように、同期あわせを行う。

まず、ステップ2000にて、カメラ番号に1を入力する。

ステップ2100では、該当するカメラにおいて、発光瞬間画像を抽出する。光の色、光の写る位置等が既知であれば、自動抽出は容易である。

ステップ2200において、カメラ番号が1かどうか判定し、1である場合は、ステップ2300に進む。

ステップ2300では、表示開始フレームを選択する。すなわち、撮影時の被写体が動作を始めるタイミングのフレームを抽出する。

ステップ2400では、発光瞬間フレームと表示開始フレームとの間のフレーム数を算出し、ステップ2500にて、フレーム差分としてmを入力する。

ステップ2600では、発光瞬間フレーム＋mを表示開始フレームとし、表示開始フレームを1として、フレーム番号の更新を行う。

ステップ2200において、カメラ番号が1でない場合は、直接2600に進み、既算出のフレーム差分mを用いて、フレーム番号の更新を行う。

ステップ2700でカメラ番号を1繰上げ、ステップ2800にてカメラ番号が最終カメラ番号N未満である場合、ステップ2100に戻り、発光瞬間画像を抽出する。

カメラ番号が最終カメラ番号Nより大きくなった場合は、処理を終了する。

図7は、本実施形態における撮影装置姿勢調整方法を記したものである。
被写体を撮影装置(10) で取り囲んで撮影した場合、撮影画像の表示において、隣接する撮影装置の画像を順次切り替えながら表示することが考えられる。このとき、各撮影装置(10)にて撮影される被写体の画面上の位置が、各撮影装置(10)においてばらばらであると、連続した表示に違和感が生じる。違和感をなくすため、あらかじめ撮影装置(10)の姿勢の調整を行う必要がある。

被写体の本番撮影の前に撮影装置(10) の姿勢調整を行うが、被写体の代わりに地面に垂直となるポール(80)を中心に設置し、高さがわかるよう印(81) を表示する。ポール(80)の位置は、各撮影装置(10)の撮影画像の水平方向の中心に来るようにし、また、印(81)の位置も撮影画像の垂直方向の中心に来るようにすると、調整がより容易である。

撮影装置(10)の位置姿勢調整において、機器構成は本実施形態における撮影時とほぼ同じであるが、撮影装置(10)の位置姿勢調整においては、同期撮影を行う必要がないため、同期信号発生装置はなくてもよい。

ディスプレイに表示される撮影画像(60)を確認しながら、各撮影装置を物理的に移動させることによって大まかな位置姿勢の調整を行う。ディスプレイ表示時に、撮影画像(60)に格子を重ねると調整が容易になる。
図8は、各撮影装置の位置姿勢調整を画像処理にて行った図である。

ポール(80) と印(81) が撮影画像(60) 内の理想的な位置にある場合、ポール(80)は撮影画像(60)内の平行方向の中心線と重なり、印(81) は垂直方向の中心線と重なる。ずれが生じる場合は、撮影装置(10)を仮想的に回転させた処理を加えることにより、可能な限り理想的な位置に来るように微調整を行う。被写体と撮影装置(10)の位置関係が既知であるとき、本方法は有効である。撮影装置(10)回転させた時の撮影画像(60)の歪みは、撮影装置右回転画像(61)、撮影装置左回転画像(62)、撮影装置下回転画像(63)、撮影装置上回転画像(64)に示す通りとなる。

図9は、撮影画像の同期確認を示した図である。

大量撮影装置(10)を用いた同期撮影において、きちんと同期が取れているかどうか、各撮影装置における映像の確認が必要となる。完全に同期が取れていない場合、コンテンツによっては不自然になってしまうからである。全ての撮影装置(10)において順次比較するのは、使用する撮影装置(10)の数が大量あること、撮影画像が各画像取得PC(31)に分散していることにより、手間がかかり困難であるため、効率の良い確認方法が必要となる。その方法の一例として、まず、各PC(31)において、接続されている撮影装置(10)にて撮影された画像に関して、各撮影画像を同時に、又は順次表示することによって、同期の確認を行う。そして次に、各PCにおける任意の撮影装置(10)の撮影画像を、一つのPCに集結し、これらの撮影画像に関して、各撮影画像を同時に、又は順次表示することによって、同期の確認を行う。これにより、全ての撮影装置(10)の同期確認が完了する。

図10は、第2の実施形態における機器構成図である。

統括PC(30)は、撮影を指示したりデータの確認や表示を行ったり等の全体の統括に加え、撮影装置(10)を接続し、撮影も同時に行う。

この場合、統括PC(30)が全体の統括を行うのみの場合と比較して、PCの台数が少なくなり装置規模が小さくなる、というメリットがあるため、低予算、省スペースで実施する場合に有効である。負荷が統括PCに集中する、役割分担が不明瞭というデメリットもある。

上述した実施例により、多視点によるフォームの確認が可能な、フォーム確認方法及び装置を提供することができる。

本発明の活用例として、スポーツフォームの確認だけでなく、スポーツ競技の鑑賞、映画などの映像制作のための、撮影装置など、各種映像産業への活用が考えられる。

第1実施形態の撮影システムの構成図である。第1実施形態における統括PC(30)の装置構成を示した図である。第1実施形態における画像取得PC(31)の装置構成を示した図である。第1実施形態におけるシステム構成を示した図である。第1実施形態においてその処理の流れを示すフローチャートである。第1実施形態において同期合わせ処理の流れを示すフローチャートである。第1実施形態における撮影装置姿勢調整方法を示した図である。各撮影装置の位置姿勢調整を画像処理にて行った図である。各撮影画像の同期確認を示した図である。第２実施形態のフォーム確認装置の装置構成図である。

符号の説明

１・・・被写体、２・・・発光装置、１０・・・撮影装置、２０・・・HUB、３０・・・統括PC、３１・・・画像取得PC、４０・・・同期発生装置、５０・・・ネットワークHUB、６０・・・ディスプレイ、７０・・・CPU、７１・・・バス

Claims

一つの被写体を取り囲むように設置した複数の撮影装置と、数台の撮影装置を接続した中継装置と、数台の撮影装置を接続した中継装置と接続し撮影データの取り込みが可能な、大容量記憶装置を備えた1台の統括計算機と複数の画像取得計算機と、計算機に接続され複数の撮影装置の撮影タイミング信号を発信する同期信号発生装置と、計算機間通信を行うため各計算機と接続されたネットワーク中継装置と、撮影画像を表示するディスプレイによって構成される撮影システムにおいて、
前記統括計算機にて撮影開始信号を発信する撮影開始信号発信手段と、
前記統括計算機から発信された撮影開始信号を画像取得計算機で受信する撮影開始信号受信手段と、
前記撮影開始信号を受信すると同時に、同期信号発生装置の発信する撮影タイミング信号に応じて、各計算機に接続されている複数の撮影装置の画像を大容量記憶装置に蓄積する、撮影画像取得手段と、
前記各画像取得計算機に蓄積された全ての撮影画像を統括計算機の大容量記憶装置に収集する、撮影画像収集手段と、
前記統括計算機において、各画像取得計算機から転送された全ての撮影画像を受け取る、撮影画像受け取り手段と、
前記1台の計算機の大容量記憶装置に収集された撮影画像を、任意の視点による任意のタイミングの画像のディスプレイへの表示を、画像を切り替えることにより行う画像表示手段を備えること撮影システム。
請求項１に記載の撮影システムにおいて、全ての撮影装置において撮影可能な位置に発光装置を設置し、撮影開始後に短時間の発光を行い、撮影画像内の発光瞬間を基に同期タイミングを合わせる手段を備えることを特徴とする撮影システム。
請求項１に記載の撮影システムにおいて、撮影装置の高さや撮影画像中心を全ての撮影装置で一致させるために、撮影装置の擬似回転を行う画像処理による撮影画像キャリブレーション手段を備えることを特徴とする撮影システム。
請求項１に記載の撮影システムにおいて、画像を確認するために全ての撮影画像を1台の計算機に集結するのに画像転送時間が大幅に生じる場合、各撮影装置にて撮影された画像の同期確認を簡易に行うための簡易同期確認手段を備え、
簡易同期撮影手段では、各計算機に接続された複数撮影装置にて撮影した画像を、計算機毎にディスプレイに並べて表示し1フレームずつ画像を更新することにより同期確認を行った後、各計算機に接続された任意の1台の撮影装置にて撮影した画像を1台の計算機に集結し、集結された撮影画像をディスプレイに並べて表示し1フレームずつ画像を更新して同期確認をすることにより、全ての撮影装置にて撮影された画像の同期を確認する手段を有することを特徴とする、撮影システム。