JP6585547B2 - 撮像システム、撮像方法 - Google Patents

Description

この発明は、複数のカメラを用いて撮影した映像を用いて様々な視点からの映像を生成する撮像技術に関する。

特許文献１には、複数のカメラを使用して撮像し、それらの映像を用いて様々な視点からの映像を生成する技術が開示されている。特許文献１に記載の撮像技術では、複数のカメラが被写体をそれぞれ異なる位置から撮像し、設定された視点位置から見た被写体の画像を生成する。このとき、被写体とカメラとの位置関係が近いカメラを選択し、選択されたカメラによって撮像された画像に基づいて、出力する画像を生成する。これにより、特許文献１の撮像技術によれば、所望の視点位置から見た被写体の画像を、視聴者へ高臨場感を与えられる品質で生成することができる。

特開２０１４−１３８３０６号公報

しかしながら、複数のカメラにより撮影した映像を用いて様々な視点からの映像を生成するにあたっては、カメラの位置や方向をあらかじめ知る必要がある。カメラの位置や方向を知る方法としては、例えば、チェッカーボードのような基準物体を撮影する画像処理による方法が考えられるが、すべてのカメラから基準物体を撮影することは困難である。また、カメラによっては基準物体が大きく歪んで撮影されるため、位置の対応が取りにくい場合もある。また、処理が重い、等の問題もある。さらに、映像情報だけでは、どの視点からの、どの方向の映像を生成すべきか決定することが困難という問題もある。

この発明は、上述のような点に鑑みて、撮影環境に基準物体等を設置することなく、カメラの位置関係を校正することができる撮像技術を提供することである。

上記の課題を解決するために、この発明の撮像システムは、映像を取得して映像信号を生成する複数の撮像部と、各撮像部の近傍において音を取得して音響信号を生成する複数の収音部と、各撮像部の近傍において所定の基準音を出力する複数の発音部と、各発音部から独立に出力した基準音を各収音部が取得した複数の音響信号の相関演算により各撮像部の位置関係を示す情報を求める音響演算部と、上記各撮像部の位置関係を示す情報を用いて各撮像部が取得した複数の映像信号から所定の視点からの映像を表す出力映像信号を生成する映像処理部と、を含む。

この発明によれば、撮影環境に基準物体等を設置することなく、カメラの位置関係を校正することができる。これにより、多数のカメラにより撮影した映像から、例えば注目すべき被写体を回り込んで撮影するなど、視聴者にとって魅力的な映像を簡易に生成することができるようになる。

図１は、撮像システムの機能構成を例示する図である。 図２は、撮像方法の処理手続きを例示する図である。 図３は、音響演算部の機能構成を例示する図である。 図４は、音響演算に用いる基準音のスペクトルを例示する図である。 図５は、画像の切り出しを説明するための図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

実施形態の撮像システムは、図１に示すように、ｎ（≧２）個の撮像部Ｖ−１，…，Ｖ−ｎ、ｎ個の収音部Ｍ−１，…，Ｍ−ｎ、ｎ個の発音部Ｓ−１，…，Ｓ−ｎ、および撮像装置１０を含む。撮像装置１０は、音源部１、音響演算部２、および映像処理部３を備える。この撮像システムが後述する各ステップの処理を行うことにより実施形態の撮像方法が実現される。

撮像装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。撮像装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。撮像装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、撮像装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

撮像部Ｖ−ｉ（ｉ＝１，…，ｎ）は、映像を取得して映像信号を生成する。撮像部Ｖ−ｉで撮影された映像信号は、映像処理部３へ入力される。撮像部Ｖ−ｉは、例えば、被写体とする物体や人物の映像を撮影するビデオカメラである。

収音部Ｍ−ｉは、撮像部Ｖ−ｉの近傍において音を取得して音響信号を生成する。収音部Ｍ−ｉで収音された音響信号は、音響演算部２へ入力される。収音部Ｍ−ｉは、例えば、周囲の音を収音するマイクロホンである。

発音部Ｓ−ｉは、撮像部Ｖ−ｉの近傍において所定の基準音を出力する。発音部Ｓ−ｉから出力する基準音は音源部１より入力される。発音部Ｓ−ｉは、例えば、入力される音響信号を音に変換して出力するスピーカーである。発音部Ｓ−ｉから出力する基準音の詳細については後述する。

収音部Ｍ−ｉおよび発音部Ｓ−ｉは、撮像部Ｖ−ｉと一体として構成してもよい。例えば、ビデオカメラである撮像部Ｖ−ｉに、マイクロホンおよびスピーカーを搭載し、マイクロホンを収音部Ｍ−ｉとして利用し、スピーカーを発音部Ｓ−ｉとして利用することも可能である。また、ビデオカメラである撮像部Ｖ−ｉに、マイクロホンおよびスピーカーを各種のインターフェイスを通じて外部接続し、マイクロホンを収音部Ｍ−ｉとして利用し、スピーカーを発音部Ｓ−ｉとして利用することも可能である。

より具体的には、撮像システムは、以下のように構成することができる。撮像装置１０はパーソナルコンピュータとし、音源部１、音響演算部２、および映像処理部３はパーソナルコンピュータにインストールされたソフトウェアとして構成する。このパーソナルコンピュータには、多チャンネルのビデオキャプチャボードを搭載する。ビデオカメラ（撮像部Ｖ）にマイクロホン（収音部Ｍ）を接続し、ビデオカメラおよびマイクロホンからの信号は、１本のＳＤＩ（Serial Digital Interface）ケーブルを介してビデオキャプチャボードに入力する。入力された信号は、映像信号、音響信号共にＧＰＵ（Graphics Processing Unit）メモリ上にフレーム毎に展開され、所定の時間（例えば、１秒間）保持されるようなリングバッファに保存する。また、ビデオカメラに接続するマイクロホンは左右２チャネルのステレオとする。

以下、図２を参照して、実施形態の撮像方法の処理手続きを説明する。

ステップＳ１において、音源部１は、各発音部Ｓ−ｉから独立に基準音を出力する。ここで言う「独立」とは、各発音部Ｓ−ｉを一意に特定できるように、相異なるタイミングもしくは相異なる周波数で基準音を出力することを意味している。すなわち、各発音部Ｓ−ｉが同一の基準音を順次出力し、基準音が出力されたタイミングにより発音部Ｓ−ｉを特定できるようにしてもよいし、発音部Ｓ−ｉ毎に周波数のオフセットを付けた異なる基準音を同時に出力し、基準音の周波数により発音部Ｓ−ｉを特定できるようにしてもよい。後者であれば以降の処理を並行して行うことができるため、全体の処理時間を短縮できることは言うまでもない。以下では、発音部Ｓ−１から基準音を出力する例を説明するが、同様にして、発音部Ｓ−２からＳ−ｎまでの処理を行う。

基準音は、例えば、等間隔の周波数差を持つ複数の鋭いピークを持つコム状（Comb、櫛形）のスペクトル（以下、「コムスペクトル」と呼ぶ。）を有する音である。コムスペクトルの音響を持つ波を使用すると、高周波側で高い分解能を、低周波側で広い距離範囲をカバーすることができる。また、定常音であるため、測定時間を延ばすことにより、ノイズ音の影響を排除して精度を向上することができる。基準音はコムスペクトルを有する音に限定されず、例えば、インパルスのような時間幅の短いパルス音を使用してもよい。

ステップＳ２において、収音部Ｍ−２，…，Ｍ−ｎは、発音部Ｓ−１から出力された基準音を収音して音響信号を生成し、その音響信号を音響演算部２へ入力する。すなわち、撮像部Ｖ−１の位置から出力された基準音を各撮像部Ｖ−２，…，Ｖ−ｎの位置においてそれぞれ収音したｎ−１個の音響信号が音響演算部２へ入力される。

ステップＳ３において、音響演算部２は、入力されたｎ−１個の音響信号の相関演算により各撮像部Ｖ−ｉの位置関係を示す情報を求める。位置関係を示す情報は、例えば、各撮像部Ｖ−ｉの位置を示す座標および各撮像部Ｖ−ｉの撮像方向を示す角度である。各撮像部Ｖ−ｉの位置関係を示す情報は、音響演算部３へ入力される。以下、図３、４を参照して、音響演算部２の処理をより詳細に説明する。

音響演算部２は、図３に示すように、音響バッファメモリ２１、位相検波部２２、および遅延時間計算部２３を備える。収音部Ｍ−２，…，Ｍ−ｎが生成したｎ−１個の音響信号は、音響バッファメモリ２１へ蓄積される。位相検波部２２は、音響バッファメモリ２１に蓄積された音響信号に対して位相検波を行い、各音響信号の位相情報を生成する。遅延時間計算部２３は、位相検波部２２が生成した位相情報に基づいて、各収音部Ｍ−ｉの遅延時間を算出する。図４に示すように、発音部Ｓ−１から出力される基準音は、発音部Ｓ−１と収音部Ｍ−２，…，Ｍ−ｎそれぞれとの距離に応じて、収音部Ｍ−２，…，Ｍ−ｎへの到来時間に遅延が生じる。そのため、この遅延時間を算出することで、各撮像部Ｖ−２，…，Ｖ−ｎ間での撮像部Ｖ−１との距離の差を算出することができ、各撮像部Ｖ−ｉの相対的な位置関係を求めることが可能となる。

一つの発音部と一つの集音部の組み合わせAに関する遅延時間の算出は、以下のように行う。コムスペクトルの低周波側のピークから順に周波数をf_AK（K=1,…,m）とする。m（≧2）は線スペクトルの数であり、例えばm=5とする。線スペクトルの間隔は等間隔であるため、f_AK-f_A(K-1)（K=2,…,m）は一定値である。各周波数f_AK（K=1,…,m）に対応する位相値をφ_Akとして、基準音の位相が揃う時刻を基準とした遅延量τ_Aは、下記のΔが最少となるτ_Aとして求めることができる。

上記の計算は演算量が大きいので、０≦τ_A＜1/f_A1であることが既知の場合は以下のような漸化式で求めることにより高速化してもよい。

このようにして求めたτ_Amが遅延量τ_Aとなる。

ここで、位相値の単位は度とし０≦φ_AK＜360の範囲で与えられるものとし、fracは実数の小数部を与える関数とする。

撮像部Ｖ−ｉの数ｎが４以上である場合、音響信号の相関をとることで、撮像部Ｖ−ｉ毎に４個以上の遅延量τ_Aを得ることができる。これにより、各撮像部Ｖ−ｉの三次元位置（x, y, z）と各撮像部Ｖ−ｉ固有の音響遅延を求めることができる。各撮像部Ｖ−ｉの間で音響遅延のばらつきがないと想定される場合には、３個以上の遅延量から三次元の位置情報を求めることができる。

収音部Ｍ−ｉをステレオマイクロホンとすることで、遅延量から撮像部Ｖ−ｉの撮像方向を求めることができる。なお、撮像方向には、水平面内の回転、仰角、ビデオカメラの光軸を中心とした回転があるが、ここでは、水準器によりビデオカメラの水平を確保することで、水平面内の回転のみを求めるものとする。収音部Ｍ−ｉがステレオマイクロホンである場合、収音部Ｍ−ｉが取得した音響信号は左右２チャネルの音響信号となる。この左右のチャネルの相関をとり遅延時間の差を算出すれば、その遅延がビデオカメラの光軸の方向と音源の方向の角度差となる。なお、音源が１個だけの場合、その音源が２個のマイクロホンを結ぶ直線上にあると、１８０度回転の任意性がある。そのため、２個以上の音源について遅延を考慮する必要がある。音源数を増やすことで方向の推定精度は向上するが、上述の方法で撮像方向を求めた後で、近接するビデオカメラ間で撮影画像の特徴点を比較することで、さらに精度良く撮像方向を求めることができる。

ステップＳ４において、映像処理部３は、入力された各撮像部Ｖ−ｉの位置関係を示す情報を用いて各撮像部Ｖ−ｉが取得した複数の映像信号から所定の視点からの映像を表す出力映像信号を生成する。複数の映像信号から任意の視点位置からの映像を生成する方法は、例えば、特許文献１等に記載されている。このとき、被写体が音を発する音源である場合、被写体の位置を推定し、被写体に注目した映像を表す出力映像信号を生成することができる。

被写体が音を発する音源である場合、各収音部Ｍ−１，…，Ｍ−ｎが、音源が発した音を収音して音響信号を生成し、音響演算部２が、複数の音響信号の相関演算により音源の位置を求めることができる。相関演算は、単純に相互相関をとってもよいし、位相限定相関のような方法で振幅情報の差異を除いてもよい。また、相関演算前にフィルター処理を行うことで対象の音を抽出する処理を行ってもよい。

例えば、複数人の歌手が歌うシーンを、実施形態の撮像システムにより撮影する場面を考える。各収音部Ｍ−ｉが取得した音響信号に対し、歌手の声が通るようなフィルターを施した後、相互相関演算により各音響の総体的な遅延時間を求める。各撮像部Ｖ−ｉの位置関係は既知であるため、歌手の位置を測定することができる。しかし、この方法は、男女のデュエットでは有効であるが、女性のみのグループの場合は音源の分離が困難である。その場合、歌手個人が持つマイクロホンで取得した音声信号との相関演算により遅延時間を評価することで、より精度良く歌手の位置を推定することができる。この方法では各歌手がマイクロホンを持つことが必須となるため、機械学習を行ったニューラルネットワークによる前処理で分離することによっても同等の特性を得ることができる。このようにして得られた歌手の位置座標について、座標の分散が最大になる方向から歌手全員が入るような画角で出力映像信号を生成することで、歌手間のかぶりが少ない映像を自動生成することができる。

被写体の位置が推定できた場合、映像処理部３は、被写体の位置情報を用いて、出力する映像の視点を決定することができる。また、図５に示すように、映像内における被写体の位置が等しくなるように、各撮像部Ｖ−ｉが取得した映像信号の位置を合わせて切り出すことができる。図５の例では、被写体の正面から撮影する撮像部Ｖ−２の映像は被写体が中央付近に映っているが、被写体に向かって左側から撮影する撮像部Ｖ−１の映像は被写体が右寄りに映っており、被写体に向かって右側から撮影する撮像部Ｖ−３の映像は被写体が左寄りに映っている。このとき、被写体と撮像部Ｖ−１、Ｖ−３それぞれとの位置関係（位置および方向）は既知であるため、各映像信号から被写体が中央になるように映像を切り出すことが可能となる。

例えば、バスケットボールの試合において選手がドリブルを行いシュートするシーンを、実施形態の撮像システムにより撮影する場面を考える。ボールが床面に当たる音の位置を検出して、音源の位置が各撮像部Ｖ−ｉが取得した映像の中で同じ位置になるように切り出す。このとき、映像の時間を止め、これらの画像を連続的に切り替えることで、被写体を回り込むような映像表現が可能となる。なお、図５ではバスケットボールのみを切り出しているが、画角を調整して周囲の人間が入るようにしてもよいし、基準位置は画面中心以外でもよい。

映像の時間を止めず、撮像部Ｖ−ｉをユーザーに選択させることで、回り込み方を自由に制御しながら動画を視聴することができる。音の発生が離散的である場合、無音区間については補間によりボールの場所を計算することができる。しかし、シュートの瞬間は外挿となるため、位置合わせの精度が下がる場合がある。この場合、音のあるタイミングをキーフレームとして画像間の音源に相当する位置を合わせて切り出し、無音区間は各映像の中で音源に相当する部分の特徴量を抽出し、その特徴量が画像の中で同一の位置になるようにすることで、より滑らかな追尾を実現することができる。

上述の手法では、音源を検出した位置の近傍の映像の重要度が高いと考えられるので、音源の近傍以外の領域の映像にガウシアンフィルターをかけて解像度を低下させると、視聴者には映像の劣化をあまり感じさせずに、通信時の映像伝送のデータ量を削減することができる。

上記のように構成することにより、この発明の撮像技術によれば、撮影環境に基準物体等を設置することなく、カメラの位置関係を校正することができる。これにより、多数のカメラにより撮影した映像から、例えば注目すべき被写体を回り込んで撮影するなど、視聴者にとって魅力的な映像を簡易に生成することができるようになる。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Ｖ−１，…，Ｖ−ｎ 撮像部
Ｍ−１，…，Ｍ−ｎ 収音部
Ｓ−１，…，Ｓ−ｎ 発音部
１ 音源部
２ 音響演算部
３ 映像処理部
２１ 音響バッファメモリ
２２ 位相検波部
２３ 遅延時間計算部

Claims (7)

1. 映像を取得して映像信号を生成する複数の撮像部と、
   各撮像部の近傍において音を取得して音響信号を生成する複数の収音部と、
   各撮像部の近傍においてパワースペクトルの周波数が複数の線スペクトルである基準音を出力する複数の発音部と、
   各発音部から独立に出力した基準音を各収音部が取得した複数の音響信号の相関演算により各撮像部の位置関係を示す情報を求める音響演算部と、
   上記各撮像部の位置関係を示す情報を用いて各撮像部が取得した複数の映像信号から所定の視点からの映像を表す出力映像信号を生成する映像処理部と、
   を含む撮像システム。
2. 映像を取得して映像信号を生成する複数の撮像部と、
   各撮像部の近傍において音を取得して音響信号を生成する複数の収音部と、
   各撮像部の近傍において所定の基準音を出力する複数の発音部と、
   各発音部から独立に出力した基準音を各収音部が取得した複数の音響信号の相関演算により各撮像部の位置関係を示す情報を求める音響演算部と、
   上記各撮像部の位置関係を示す情報を用いて各撮像部が取得した複数の映像信号から所定の視点からの映像を表す出力映像信号を生成する映像処理部と、
   を含み、
   上記音響演算部は、被写体である音源が発した音を各収音部が取得した複数の音響信号の相関演算により音源の位置情報を求めるものであり、
   上記映像処理部は、上記音源の位置情報を用いて、上記出力映像信号の視点位置を決定するものである、
   撮像システム。
3. 請求項１または２に記載の撮像システムであって、
   上記発音部は、他の発音部と重複しない周波数の上記基準音を出力するものである、
   撮像システム。
4. 請求項２に記載の撮像システムであって、
   上記映像処理部は、複数の音源から選択した主たる音源の位置が等しくなるように、各撮像部が取得した映像信号の位置を合わせて切り出すものである、
   撮像システム。
5. 請求項２または４に記載の撮像システムであって、
   上記映像処理部は、上記音源が発した音を各収音部が取得した複数の音響信号から各撮像部が取得した映像信号内の各領域の重要度を求め、重要度が低い領域の解像度を低下させた上記出力映像信号を生成するものである、
   撮像システム。
6. 映像を取得して映像信号を生成する複数の撮像部と、各撮像部の近傍において音を取得して音響信号を生成する複数の収音部と、各撮像部の近傍において所定の基準音を出力する複数の発音部と、を備える撮像システムが行う撮像方法であって、
   上記基準音は、パワースペクトルの周波数が複数の線スペクトルであり、
   各発音部から独立に出力した基準音を各収音部が取得した複数の音響信号の相関演算により各撮像部の位置関係を示す情報を求める音響演算ステップと、
   上記各撮像部の位置関係を示す情報を用いて各撮像部が取得した複数の映像信号から所定の視点からの映像を表す出力映像信号を生成する映像処理ステップと、
   を含む撮像方法。
7. 映像を取得して映像信号を生成する複数の撮像部と、各撮像部の近傍において音を取得して音響信号を生成する複数の収音部と、各撮像部の近傍において所定の基準音を出力する複数の発音部と、を備える撮像システムが行う撮像方法であって、
   各発音部から独立に出力した基準音を各収音部が取得した複数の音響信号の相関演算により各撮像部の位置関係を示す情報を求める音響演算ステップと、
   上記各撮像部の位置関係を示す情報を用いて各撮像部が取得した複数の映像信号から所定の視点からの映像を表す出力映像信号を生成する映像処理ステップと、
   を含み、
   上記音響演算ステップは、被写体である音源が発した音を各収音部が取得した複数の音響信号の相関演算により音源の位置情報を求め、
   上記映像処理ステップは、上記音源の位置情報を用いて、上記出力映像信号の視点位置を決定する、
   撮像方法。

Images