JP3785078B2 - 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ライブ中継時のカメラ切り替えや、複数のカメラで撮影し収録した映像データを編集する際、更には、複数カメラによる監視画面を表示する際に用いられる画面切替出力制御装置及びその方法と、その画面切替出力制御方法の実現に用いられる画面切替出力制御プログラム及びそのプログラムの記録媒体とに関する。
【０００２】
【従来の技術】
従来、複数のカメラで撮影した映像の画面切替方法としては、複数の映像を各々別の画面に表示し、その画面を人間が見て判断して画面を切り替える方法が多くとられていた。
【０００３】
また、監視カメラの場合は、各カメラからの映像を一定時間ごとに切り替えて画面に表示する方法が多くとられていた。
【０００４】
一方、テレビ会議等では、多地点から送られてくる話者の音声を分析し話者を判別して、話者を撮影しているカメラの映像に切り替える装置が用いられている。この場合には、話者を判別するのに、音声レベルの大小で判別したり、音韻や有音の検出により判別したりしていた。
【０００５】
【発明が解決しようとする課題】
しかし、音楽などの演奏の場合、同時に複数の演奏者が演奏している場合が多く、楽器により音量レベルも異なるため、どの演奏者が主体となっているかを絶対的音量レベルで判定するのは難しい。また、言葉ではなくて音律を奏でている場合が多いため、音韻や有音の検出により判定することはできない。
【０００６】
一方、監視カメラの場合は、雑音が多く、場所によって音量レベルが異なるため、絶対的音量レベルで判定するのは難しい。
【０００７】
本発明はかかる事情に鑑みてなされたものであって、音量バランスが異なる場合でも主体となる音源を判定し、それに対応した映像に画面を切り替えることを可能とする新たな画面切替出力制御技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
（１）この目的を達成するために、本発明の画面切替出力制御装置は、複数のカメラで撮影した映像の内の一つの映像を出力するという構成を採るときにあって、▲１▼各カメラの被写体に対応した音を入力する入力手段と、▲２▼入力手段が入力することになる各音の標準音量レベルを予め記憶しておく記憶手段と、▲３▼入力手段の入力した各音とそれに対応付けられる標準音量レベルとを比較して、入力手段の入力した各音の相対音量レベルを算出する算出手段と、▲４▼算出手段の算出した各相対音量レベルに従って主体となる音を検出する検出手段と、▲５▼検出手段の検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する出力手段とを備えるように構成する。
【０００９】
このように構成される本発明の画面切替出力制御装置では、各カメラの被写体に対応した音を入力すると、記憶手段の記憶する標準音量レベルを参照することで、入力した各音に対応付けられる標準音量レベルを取得して、入力した各音とその取得した標準音量レベルとの差分値を算出することなどにより各音の相対音量レベルを算出する。
【００１０】
続いて、例えば、その算出した各相対音量レベルの内の最も大きいものを特定することなどにより、主体となる音を検出して、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する。
【００１１】
このようにして、本発明では、複数のカメラで撮影しているときに、相対的な音量レベルを使って主体となる音源を検出するようにして、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えるように処理することから、絶対的な音量レベルが異なる場合にも、主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えることができるようになる。
【００１２】
（イ）この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ出力する（主体となる音を強調させた形で出力することもある）ように処理することがある。
【００１３】
これにより、複数のカメラを使ってコンサートをテレビ中継する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した楽器の演奏者の映像を表示しつつ、コンサートをテレビ中継できるようになる。
【００１４】
そして、この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ出力するように処理することがある。
【００１５】
これにより、複数のカメラを使ってある会場を監視する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した場所の映像を表示しつつ、その場所の音を出力できるようになる。
【００１６】
（ロ）更に、この構成を採るときにあって、各カメラの映像を一定期間保存する映像蓄積手段を備える構成を採って、出力手段は、その映像蓄積手段の蓄積する映像を使って、主体となる音に対応した被写体を撮影しているカメラの映像を過去に遡って切り替えて出力するように処理することがある。
【００１７】
これにより、主体となる音の被写体として検出された映像を、その検出の前から遡って見ることができるようになるので、映像を編集するときなどに、その編集を効率的に実行できるようになる。
【００１８】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に直接対応しない映像全体の持つ音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ過去に遡って切り替えて出力する（主体となる音を強調させた形で出力することもある）ことができるようになる。
【００１９】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に対応した音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ過去に遡って切り替えて出力することができるようになる。
【００２０】
（２）また、この目的を達成するために、本発明の画面切替出力制御装置は、複数のカメラで撮影した映像の内の一つの映像を出力するという構成を採るときにあって、▲１▼各カメラの被写体に対応した音を入力する入力手段と、▲２▼入力手段が入力することになる各音の標準音量レベルを予め記憶しておく記憶手段と、▲３▼入力手段の入力した各音とそれに対応付けられる標準音量レベルとを比較して、入力手段の入力した各音の相対音量レベルを算出する算出手段と、▲４▼算出手段の算出した各相対音量レベルの履歴を保存する保存手段と、▲５▼保存手段の保存する各相対音量レベルの履歴に従って主体となる音を検出する検出手段と、▲６▼検出手段の検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する出力手段とを備えるように構成する。
【００２１】
このように構成される本発明の画面切替出力制御装置では、各カメラの被写体に対応した音を入力すると、記憶手段の記憶する標準音量レベルを参照することで、入力した各音に対応付けられる標準音量レベルを取得して、入力した各音とその取得した標準音量レベルとの差分値を算出することなどにより各音の相対音量レベルを算出する。
【００２２】
続いて、その算出した各音の相対音量レベルの時系列データを使って、例えば、時間の経過しているもの程小さな重み付けをして、その総和を求めることなどにより、時間経過を考慮した形で各音の相対音量レベルを算出する。
【００２３】
続いて、例えば、その算出した各相対音量レベルの内の最も大きいものを特定することなどにより、主体となる音を検出して、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する。
【００２４】
このようにして、本発明では、複数のカメラで撮影しているときに、時間経過を考慮した形での相対的な音量レベルを使って主体となる音源を検出するようにして、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えるように処理することから、絶対的な音量レベルが異なる場合に、一時的な音量レベルの変化に依らずに、主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えることができるようになる。
【００２５】
（イ）この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ出力する（主体となる音を強調させた形で出力することもある）ように処理することがある。
【００２６】
これにより、複数のカメラを使ってコンサートをテレビ中継する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した楽器の演奏者の映像を表示しつつ、コンサートをテレビ中継できるようになる。
【００２７】
そして、この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ出力するように処理することがある。
【００２８】
これにより、複数のカメラを使ってある会場を監視する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した場所の映像を表示しつつ、その場所の音を出力できるようになる。
【００２９】
（ロ）更に、この構成を採るときにあって、各カメラの映像を一定期間保存する映像蓄積手段を備える構成を採って、出力手段は、その映像蓄積手段の蓄積する映像を使って、主体となる音に対応した被写体を撮影しているカメラの映像を過去に遡って切り替えて出力するように処理することがある。
【００３０】
これにより、主体となる音の被写体として検出された映像を、その検出の前から遡って見ることができるようになるので、映像を編集するときなどに、その編集を効率的に実行できるようになる。
【００３１】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に直接対応しない映像全体の持つ音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ過去に遡って切り替えて出力する（主体となる音を強調させた形で出力することもある）ことができるようになる。
【００３２】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に対応した音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ過去に遡って切り替えて出力することができるようになる。
【００３３】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００３４】
先ず最初に、本発明の第一の実施形態例について図面を用いて具体的に説明する。
【００３５】
以下に説明することから分かるように、本発明の第一の実施形態例では、時間を考慮しない相対音量レベルを使って、画面切り替えの制御を実行するという構成を採っている。
【００３６】
図１に、本発明の第一の実施形態例にかかる画面切替出力制御装置１の構成の一例を図示する。
【００３７】
図１において、１１ａ，ｂ，ｃは音入力部、１２は標準音量記憶部、１３ａ，ｂ，ｃは音量レベル算出部、１４は主音源検出部、１５は画面切替出力制御部、１６は画面表示部である。
【００３８】
音入力部１１ａ，ｂ，ｃは、カメラａ，ｂ，ｃの被写体に対応した音源（マイクａ，ｂ，ｃ）からの音を入力する。標準音量記憶部１２は、カメラａ，ｂ，ｃの被写体に対応した音源からの各標準音量を予め記憶している。
【００３９】
音量レベル算出部１３ａ，ｂ，ｃは、音入力部１１ａ，ｂ，ｃから各々入力された音と標準音量記憶部１２に予め記憶された標準音量とから、入力された各音の相対音量レベルを算出する。主音源検出部１４は、音量レベル算出部１３ａ，ｂ，ｃで各々算出された相対音量レベルから、どの音源が主音源となるかを検出する。
【００４０】
画面切替出力制御部１５は、主音源検出部１４で検出された主音源に基づいて画面の切り替え制御を行う。画面表示部１６は、画面切替出力制御部１５で制御された映像の画面を表示する。
【００４１】
図２（イ)(ロ)(ハ）は、画面切替出力制御部１５に入力される各音源に対応した被写体を撮影しているカメラａ，ｂ，ｃからの映像の一例である。
【００４２】
以下に、本実施形態例に具体的な数値を設定して、その動作について説明する。この動作例では、次のような設定の下で行われるものとする。
【００４３】
音入力部１１ａ，ｂ，ｃには、３つのカメラａ，ｂ，ｃの被写体に対応した音源からの音が１秒のサンプリング周期で入力されるものとする。
【００４４】
現在、音入力部１１ａには６５ｄＢの大きさの音が入力され、音入力部１１ｂには５９ｄＢの大きさの音が入力され、音入力部１１ｃには６５ｄＢの大きさの音が入力されたとする。
【００４５】
標準音量記憶部１２には、過去に入力された音から算出した標準音量が予め記憶されているものとする。
【００４６】
ここでは、音源ａ（カメラａの被写体に対応した音源）の標準音量として５８ｄＢが記憶され、音源ｂ（カメラｂの被写体に対応した音源）の標準音量として５４ｄＢが記憶され、音源ｃ（カメラｃの被写体に対応した音源）の標準音量として６２ｄＢが記憶されているものとする。
【００４７】
音量レベル算出部１３ａ，ｂ，ｃでは、音入力部１１ａ，ｂ，ｃで入力された音の音量と、標準音量記憶部１２に記憶されている各音源に対応する標準音量との差分を、各入力された音の相対音量レベルとして算出するものとする。
【００４８】
主音源検出部１４では、音量レベル算出部１３ａ，ｂ，ｃで算出された相対音量レベルの内、最も値の大きい音の音源を主音源として検出するものとする。
【００４９】
画面切替出力制御部１５には、音入力部１１ａ，ｂ，ｃに入力された音と同期して、図２に示したカメラａ，ｂ，ｃからの映像が各々入力されているものとし、主音源検出部１４で検出された主音源に対応した映像を表示するように制御するものとする。
【００５０】
更に、第一の実施形態例に従う場合には、画面切替出力制御部１５には、映像全体の持つ音を検出する総合マイク２からの音が入力されていて、映像と同期させる形で、映像全体の持つ音を出力するように制御するものとする。
【００５１】
本実施形態例の動作例は、以下の通りである。
【００５２】
音入力部１１ａ，ｂ，ｃで、カメラａ，ｂ，ｃの被写体に対応した音が入力され、各々音量レベル算出部１３ａ，ｂ，ｃへ送られる。
【００５３】
音量レベル算出部１３ａでは、入力された音の音量は６５ｄＢと認識され、標準音量記憶部１２に記憶されている標準音量ａの５８ｄＢと比較し、相対音量レベルは“７”と算出される。
【００５４】
音量レベル算出部１３ｂでは、入力された音の音量は５９ｄＢと認識され、標準音量記憶部１２に記憶されている標準音量ｂの５４ｄＢと比較し、相対音量レベルは“５”と算出される。
【００５５】
音量レベル算出部１３ｃでは、入力された音の音量は６５ｄＢと認識され、標準音量記憶部１２に記憶されている標準音量ｃの６２ｄＢと比較し、相対音量レベルは“３”と算出される。
【００５６】
音量レベル算出部１３ａ，ｂ，ｃで算出された相対音量レベルは、主音源検出部１４へ送られる。
【００５７】
主音源検出部１４では、全ての音入力部１１ａ，ｂ，ｃから入力された音の相対音量レベルとして、各々“７”，“５”，“３”を受け取り、その中で最も値の大きいａを主音源と検出して、画面切替出力制御部１５へ送る。
【００５８】
画面切替出力制御部１５では、主音源がａであることを受け取ると、表示する映像として図２（イ）のような映像を画面に表示するよう制御して、画面表示部１６へ送る。画面表示部１６では、画面切替出力制御部１５からの映像を表示する。
【００５９】
このとき、画面切替出力制御部１５では、総合マイク２から入力される映像全体の持つ音を、映像と同期させる形で出力する。
【００６０】
以上に説明した本実施形態例の処理については、本発明の画面切替出力制御装置１に展開されるコンピュータプログラムで実現することが可能であり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００６１】
図３に、このコンピュータプログラムの実行する処理フローを図示する。このコンピュータプログラムは、この処理フローに従って、上述した処理を実行するのである。
【００６２】
図１に示す構成では、総合マイク２から入力される映像全体の持つ音を出力するようにしたが、図４に示すように、マイクａ，ｂ，ｃから入力される音をミキシングする音混合部２０を備えることで、映像全体の持つ音を合成するようにしてもよい。
【００６３】
この音混合部２０を備えると、主音源検出部１４からの指示に従って、主音源の音を強調するといった機能を実現できるようになる。
【００６４】
また、図１に示す構成では、映像全体の持つ音を画面切替出力制御部１５に入力するようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、映像全体の持つ音を出力するようにしたが、図５に示すように、マイクａ，ｂ，ｃから入力される音を画面切替出力制御部１５に入力するようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、その映像に対応した音（主音源の音）を出力するように処理することもある。
【００６５】
カメラａ，ｂ，ｃを使ってある会場を監視するといったようなときには、この音の出力方法を用いることで有効な監視を行えるようになる。
【００６６】
上述の実施形態例の動作例の説明において、音入力部１１ａ，ｂ，ｃには、３つのカメラａ，ｂ，ｃの被写体に対応した音源からの音が１秒のサンプリング周期で入力されるものとしたが、サンプリング周期は任意で一定でなくてもよい。このサンプリング周期を長くすることにより、画面が煩雑に切り替わることも防ぐことができる。
【００６７】
また、音入力部１１の数は任意であり、カメラの数に応じた数でもよいし、１台のカメラに対して複数の音入力部を設けてもよい。
【００６８】
現在、音入力部１１ａには６５ｄＢの大きさの音が入力され、音入力部１１ｂには５９ｄＢの大きさの音が入力され、音入力部１１ｃには６５ｄＢの大きさの音が入力されだとしたが、音の大きさは任意である。
【００６９】
標準音量記憶部１２には、過去に入力された音から算出した標準音量が予め記憶されているものとしたが、標準音量は、過去に入力された音から算出しなくてもよく、常に最新に入力された音を反映して算出し直してもよい。また、別の音源を記憶させてもよいし、標準音を新たに生成してもよい。
【００７０】
ここでは、音源ａの標準音量として５８ｄＢが記憶され、音源ｂの標準音量として５４ｄＢが記憶され、音源ｃの標準音量として６２ｄＢが記憶されているものとしたが、標準音量の値は任意であり、また標準音量の指標もｄＢではなく他の指標を用いてもよい。
【００７１】
音量レベル算出部１３ａ，ｂ，ｃでは、音入力部１１ａ，ｂ，ｃで入力された音の音量と、標準音量記憶部１２に記憶されている各音源に対応する標準音量との差分を、各入力された音の相対音量レベルとして算出するものとしたが、その算出方法は任意であり差分でなくてもよい。
【００７２】
主音源検出部１４では、音量レベル算出部１３ａ，ｂ，ｃで算出された相対音量レベルの内、最も値の大きい音の音源を主音源として検出するものとしたが、主音源の検出方法は相対音量レベルの最大値でなくてもよく、予め重み付けをつけておいて算出してもよい。また、主音源が一意に決まらなくてもよい。
【００７３】
画面切替出力制御部１５には、音入力部１１ａ，ｂ，ｃに入力された音と同期して、図２に示したカメラａ，ｂ，ｃからの映像が各々入力されているものとしたが、入力される映像は任意である。また、主音源検出部１４で検出された主音源に対応した映像を表示するように制御するものとしたが、主音源検出部１４で主音源が検出できなかった場合や、主音源が複数検出された場合の制御を予め設定しておいてもよい。また、各映像を撮影するカメラ操作を遠隔で行えるようにしておき、主音源となった被写体の映像をズームするといったカメラ操作に指示を行えるようにしてもよい。
【００７４】
次に、本発明の第二の実施形態例について図面を用いて具体的に説明する。
【００７５】
図６に、本発明の第二の実施形態例にかかる画面切替出力制御装置１の構成の一例を図示する。
【００７６】
以下に説明することから分かるように、本発明の第二の実施形態例では、時間を考慮した相対音量レベルを使って、画面切り替えの制御を実行するという構成を採っている。
【００７７】
図６において、図１で説明したものと同じものについては同一の記号で示してある。３４は音量履歴蓄積部、３５は主音源検出部、３６は映像蓄積部、３７は画面切替出力制御部、３８は画面表示部である。
【００７８】
音量履歴蓄積部３４は、音量レベル算出部１３で算出された各音源の相対音量レベルの値の履歴を蓄積する。主音源検出部３５は、音量履歴蓄積部３４に蓄積された各音源の相対音量レベルの値の履歴から、どの音源が主音源となるかを検出する。
【００７９】
映像蓄積部３６は、過去の一定時間に送られてきた各カメラからの映像と、総合マイク２から入力されたそのときの映像全体の持つ音とを、その対応をとりつつ一時的に蓄積する。画面切替出力制御部３７は、主音源検出部３５で検出された主音源に基づいて、映像蓄積部３６に蓄積されている映像と音とを同期づけて出力する制御を行う。画面表示部３８では、画面切替出力制御部３７で制御された映像の画面を表示する。
【００８０】
図７に、音量履歴蓄積部３４に蓄積されている音源ａ，ｂ，ｃの過去５件の相対音量レベルの値の一例を示す。
【００８１】
以下に、本実施形態例に具体的な数値を設定して、その動作について説明する。この動作例では、次のような設定の下で行われるものとする。
【００８２】
音入力部１１から音量レベル算出部１３までは、第一の実施形態例と同様の動作をするものとする。
【００８３】
音量履歴蓄積部３４には、音量レベル算出部１３ａ，ｂ，ｃで算出された各相対音量レベルの過去最新５件のデータが蓄積されるものとする。ここでは、音源ａ，ｂ，ｃの過去５件の相対音量レベルの値として、既に図７に示すような値が蓄積されているものとする。
【００８４】
主音源検出部３５では、音量履歴蓄積部３４に蓄積されている各相対音量レベルの過去５件の値に対して、古いものから順に“０.6”から“１.0”まで“０.1”刻みの重み付けを付し、その総和が最も大きい音の音源を主音源として検出するものとする。
【００８５】
映像蓄積部３６には、カメラａ，ｂ，ｃの映像と、総合マイク２から入力された映像全体の持つ音とが入力され、過去５秒間の映像と音とが各々対応づけて蓄積されているものとする。
【００８６】
画面切替出力制御部３７では、主音源検出部３５で検出された主音源に対応した映像と音とを同期づけて５秒前の部分で切り替えて出力するように制御するものとする。
【００８７】
画面表示部３８では、画面切替出力制御部３７から送られてきた映像と音とを、音入力部１１で入力した音よりも５秒遅れて出力するものとする。
【００８８】
本実施形態例の動作例は、以下の通りである。
【００８９】
音入力部１１から音量レベル算出部１３までは、第一の実施形態例の動作例と同様の動作を行い、従って、音量レベル算出部１３ａ，ｂ，ｃでは、各々相対音量レベルとして“７”，“５”，“３”が算出される。
【００９０】
音量レベル算出部１３ａ，ｂ，ｃで算出された相対音量レベルは、音量履歴蓄積部３４に送られる。音量履歴蓄積部３４では、音量レベル算出部１３ａ，ｂ，ｃで算出された相対音量レベルを受け取り、既に蓄積されていた図７に示す相対音量レベルのうち、一番古い“１”，“０”，“６”を消去して、新たに“７”，“５”，“３”を加える。
【００９１】
主音源検出部３５では、音量履歴蓄積部３４に蓄積されている各音源の過去５件の相対音量レベルの値を受け取り、古いものから順に“０.6”から“１.0”まで“０.1”刻みの重み付けを付した総和として、音源ａは“２6.９”、音源ｂは“１0.６”、音源ｃは“６.6”を算出し、その中で最も値の大きいａを主音源と検出して、画面切替出力制御部３７へ送る。
【００９２】
画面切替出力制御部３７では、主音源がａであることを受け取ると、映像蓄積部３６からカメラａで撮影した５秒前からの映像と、そのときにおける総合マイク２から入力された映像全体の持つ音とを同期をとりつつ出力するよう制御して、画面表示部３８へ送る。これを受けて、画面表示部３８では、画面切替出力制御部３７からの映像と音とを出力する。
【００９３】
以上に説明した本実施形態例の処理については、本発明の画面切替出力制御装置１に展開されるコンピュータプログラムで実現することが可能であり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００９４】
図８に、このコンピュータプログラムの実行する処理フローを図示する。このコンピュータプログラムは、この処理フローに従って、上述した処理を実行するのである。
【００９５】
図６に示す構成では、総合マイク２から入力される映像全体の持つ音を映像蓄積部３６に蓄積して、それを画面切替出力制御部３７に与えるようにしたが、図９に示すように、マイクａ，ｂ，ｃから入力される音を映像蓄積部３６に蓄積するとともに、映像蓄積部３６に蓄積されたマイクａ，ｂ，ｃから入力された音をミキシングする音混合部４０を備えることで、映像全体の持つ音を映像蓄積部３６を画面切替出力制御部３７に与えるようにしてもよい。
【００９６】
この音混合部４０を備えると、主音源検出部３５からの指示に従って、主音源の音を強調するといった機能を実現できるようになる。
【００９７】
また、図６に示す構成では、映像全体の持つ音を映像蓄積部３６に蓄積して、それを画面切替出力制御部３７に与えるようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、映像全体の持つ音を出力するようにしたが、図１０に示すように、マイクａ，ｂ，ｃから入力される音を映像蓄積部３６に蓄積して、それを画面切替出力制御部３７に与えるようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、その映像に対応した音（主音源の音）を出力するように処理することもある。
【００９８】
カメラａ，ｂ，ｃを使ってある会場を監視するといったようなときには、この音の出力方法を用いることで有効な監視を行えるようになる。
【００９９】
上述の第二の実施形態例の動作例の説明において、音量履歴蓄積部３４には、音量レベル算出部１３ａ，ｂ，ｃで算出された各相対音量レベルの過去最新５件のデータが蓄積されているものとしたが、蓄積されているデータの件数は任意であり、蓄積されているデータの値も任意である。
【０１００】
主音源検出部３５では、音量履歴蓄積部３４に蓄積されている各相対音量レベルの過去５件の値に対して、古いものから順に“０.6”から“１.0”まで“０.1”刻みの重み付けを付し、その総和が最も大きい音の音源を主音源として検出するものとしたが、主音源の検出方法は任意であり、必ずしも音量履歴蓄積部３４に蓄積されているデータ全てを用いなくてもよいし、各時点で各音源の相対音量レベルの比較をした結果の履歴から判定してもよい。また、主音源が一意に決まらなくてもよい。
【０１０１】
映像蓄積部３６には、カメラａ，ｂ，ｃの映像と、総合マイク２から入力された映像全体の持つ音とが入力され、過去５秒間の映像と音とが各々対応づけて蓄積されているものとしたが、蓄積されている映像と音の長さは任意である。
【０１０２】
画面切替出力制御部３７では、主音源検出部３５で検出された主音源に対応した映像と音とを同期づけて５秒前の部分で切り替えて出力するように制御するものとしたが、映像と音とを切り替えるタイミングは任意であり、音入力のサンプリング周期や主音源の検出方法に依存するようにしてもよい。
【０１０３】
また、主音源検出部３５で主音源が検出できなかった場合や、主音源が複数検出された場合の制御を予め設定しておいてもよい。
【０１０４】
画面表示部３８では、画面切替出力制御部３７から送られてきた映像と音とを、音入力部１１で入力した音よりも５秒遅れて出力するものとしたが、この出力方法は画面切替出力制御部３７での処理に依存する。
【０１０５】
上述したように、第一の実施形態例では、第二の実施形態例で備える映像蓄積部３６を備えないという構成を採ったが、この映像蓄積部３６を備える構成を採って、過去に遡った形で映像及び音を出力するようにしてもよい。
【０１０６】
このときには、図３の処理フローに代えて、図１１の処理フローを実行することになる。
【０１０７】
また、第二の実施形態例では映像蓄積部３６を備えるという構成を採ったが、この映像蓄積部３６を備えない構成を採って、過去に遡らない形で映像及び音を出力するようにしてもよい。
【０１０８】
このときには、図８の処理フローに代えて、図１２の処理フローを実行することになる。
【０１０９】
【発明の効果】
以上説明したように、本発明によれば、絶対的な音量レベルが異なる場合でも、相対的な音量レベルを用いることにより主体となる音源を検出することができ、監視カメラなどの複数のライブカメラの映像の内の主要な一映像を画面に表示することが可能となる。
【０１１０】
これにより、複数の場所を複数のカメラからの映像を順次切り替えて一画面に表示し監視している際でも、異常が発生した画面を自動的に検出して表示することが可能となる。
【０１１１】
また、各カメラの映像を複数の画面に同時に表示して監視している場合でも、異常が発生した画面をメイン画面に切り替えるなど、異常の検知を迅速化することが可能になる。
【０１１２】
さらに、一時的な音量レベルの変化ではなく、時系列的な音量レベルの変化を用いて主体となる音源を検出することにより、瞬間的な雑音等に惑わされることなく音楽の演奏時に主旋律やソロの演奏者を判定することが可能となる。
【０１１３】
また、映像の編集時などの表示にリアルタイム性を要しない場合は、主体となる音源となった時点まで遡って映像を切り替えて表示することができ、映像編集時の人的負荷を削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態例である。
【図２】カメラにより撮影される被写体の一例である。
【図３】第一の実施形態例を実現するコンピュータプログラムの実行する処理フローの一例である。
【図４】第一の実施形態例の別の構成例である。
【図５】第一の実施形態例の別の構成例である。
【図６】本発明の第二の実施形態例である。
【図７】音量履歴蓄積部に蓄積されている相対音量レベルの一例である。
【図８】第二の実施形態例を実現するコンピュータプログラムの実行する処理フローの一例である。
【図９】第二の実施形態例の別の構成例である。
【図１０】第二の実施形態例の別の構成例である。
【図１１】第一の実施形態例を実現するコンピュータプログラムの実行する処理フローの他の一例である。
【図１２】第二の実施形態例を実現するコンピュータプログラムの実行する処理フローの他の一例である。
【符号の説明】
１ 画面切替出力制御装置
２ 総合マイク
１１ 音入力部
１２ 標準音量記憶部
１３ 音量レベル算出部
１４ 主音源検出部
１５ 画面切替出力制御部
１６ 画面表示部
２０ 音混合部
３４ 音量履歴蓄積部
３５ 主音源検出部
３６ 映像蓄積部
３７ 画面切替出力制御部
３８ 画面表示部
４０ 音混合部

Claims (11)

1. 複数のカメラで撮影した映像の内の一つの映像を出力する画面切替出力制御装置において、
   各カメラの被写体に対応した音を入力する手段と、
   上記入力することになる各音の標準音量レベルを予め記憶しておく手段と、
   上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する手段と、
   上記算出した各相対音量レベルに従って主体となる音を検出する手段と、
   上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する手段とを備えることを、
   特徴とする画面切替出力制御装置。
2. 複数のカメラで撮影した映像の内の一つの映像を表示する画面切替出力制御装置において、
   各カメラの被写体に対応した音を入力する手段と、
   上記入力することになる各音の標準音量レベルを予め記憶しておく手段と、
   上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する手段と、
   上記算出した各相対音量レベルの履歴を保存する手段と、
   上記保存する各相対音量レベルの履歴に従って主体となる音を検出する手段と、
   上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する手段とを備えることを、
   特徴とする画面切替出力制御装置。
3. 請求項１又は２記載の画面切替出力制御装置において、
   上記出力する手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ出力することを、
   特徴とする画面切替出力制御装置。
4. 請求項１又は２記載の画面切替出力制御装置において、
   上記出力する手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ出力することを、
   特徴とする画面切替出力制御装置。
5. 請求項１又は２記載の画面切替出力制御装置において、
   各カメラの映像を一定期間保存する手段を備え、
   上記出力する手段は、上記一定期間保存する映像を使って、主体となる音に対応した被写体を撮影しているカメラの映像を過去に遡って切り替えて出力することを、
   特徴とする画面切替出力制御装置。
6. 請求項１又は２記載の画面切替出力制御装置において、
   各カメラの映像とそれらの映像に直接対応しない映像全体の持つ音とを一定期間保存する手段を備え、
   上記出力する手段は、上記一定期間保存する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像と、そのカメラの映像に直接対応しない映像全体の持つ音とを同期させつつ過去に遡って切り替えて出力することを、
   特徴とする画面切替出力制御装置。
7. 請求項１又は２記載の画面切替出力制御装置において、
   各カメラの映像とそれらの映像に対応した音とを一定期間保存する手段を備え、
   上記出力する手段は、上記一定期間保存する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像と、そのカメラの映像に対応した音とを同期させつつ過去に遡って切り替えて出力することを、
   特徴とする画面切替出力制御装置。
8. 複数のカメラで撮影した映像の内の一つの映像を出力する画面切替出力制御方法において、
   各カメラの被写体に対応した音を入力する過程と、
   上記入力することになる各音の標準音量レベルを予め記憶しておく手段を参照することで、上記入力した各音に対応付けられる標準音量レベルを取得する過程と、
   上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する過程と、
   上記算出した各相対音量レベルに従って主体となる音を検出する過程と、
   上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する過程とを備えることを、
   特徴とする画面切替出力制御方法。
9. 複数のカメラで撮影した映像の内の一つの映像を表示する画面切替出力制御方法において、
   各カメラの被写体に対応した音を入力する過程と、
   上記入力することになる各音の標準音量レベルを予め記憶しておく手段を参照することで、上記入力した各音に対応付けられる標準音量レベルを取得する過程と、
   上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する過程と、
   上記算出した各相対音量レベルを、その履歴を保存する手段に登録する過程と、
   上記保存する各相対音量レベルの履歴に従って主体となる音を検出する過程と、
   上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する過程とを備えることを、
   特徴とする画面切替出力制御方法。
10. 請求項８又は９記載の画面切替出力制御方法の実現に用いられる処理をコンピュータに実行させるための画面切替出力制御プログラム。
11. 請求項８又は９記載の画面切替出力制御方法の実現に用いられる処理をコンピュータに実行させるためのプログラムを記録した画面切替出力制御プログラムの記録媒体。

Images