JP3785078B2 - 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体 - Google Patents

画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体 Download PDF

Info

Publication number
JP3785078B2
JP3785078B2 JP2001318834A JP2001318834A JP3785078B2 JP 3785078 B2 JP3785078 B2 JP 3785078B2 JP 2001318834 A JP2001318834 A JP 2001318834A JP 2001318834 A JP2001318834 A JP 2001318834A JP 3785078 B2 JP3785078 B2 JP 3785078B2
Authority
JP
Japan
Prior art keywords
sound
video
output control
volume level
screen switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001318834A
Other languages
English (en)
Other versions
JP2003125391A (ja
Inventor
陽子 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001318834A priority Critical patent/JP3785078B2/ja
Publication of JP2003125391A publication Critical patent/JP2003125391A/ja
Application granted granted Critical
Publication of JP3785078B2 publication Critical patent/JP3785078B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ライブ中継時のカメラ切り替えや、複数のカメラで撮影し収録した映像データを編集する際、更には、複数カメラによる監視画面を表示する際に用いられる画面切替出力制御装置及びその方法と、その画面切替出力制御方法の実現に用いられる画面切替出力制御プログラム及びそのプログラムの記録媒体とに関する。
【0002】
【従来の技術】
従来、複数のカメラで撮影した映像の画面切替方法としては、複数の映像を各々別の画面に表示し、その画面を人間が見て判断して画面を切り替える方法が多くとられていた。
【0003】
また、監視カメラの場合は、各カメラからの映像を一定時間ごとに切り替えて画面に表示する方法が多くとられていた。
【0004】
一方、テレビ会議等では、多地点から送られてくる話者の音声を分析し話者を判別して、話者を撮影しているカメラの映像に切り替える装置が用いられている。この場合には、話者を判別するのに、音声レベルの大小で判別したり、音韻や有音の検出により判別したりしていた。
【0005】
【発明が解決しようとする課題】
しかし、音楽などの演奏の場合、同時に複数の演奏者が演奏している場合が多く、楽器により音量レベルも異なるため、どの演奏者が主体となっているかを絶対的音量レベルで判定するのは難しい。また、言葉ではなくて音律を奏でている場合が多いため、音韻や有音の検出により判定することはできない。
【0006】
一方、監視カメラの場合は、雑音が多く、場所によって音量レベルが異なるため、絶対的音量レベルで判定するのは難しい。
【0007】
本発明はかかる事情に鑑みてなされたものであって、音量バランスが異なる場合でも主体となる音源を判定し、それに対応した映像に画面を切り替えることを可能とする新たな画面切替出力制御技術の提供を目的とする。
【0008】
【課題を解決するための手段】
(1)この目的を達成するために、本発明の画面切替出力制御装置は、複数のカメラで撮影した映像の内の一つの映像を出力するという構成を採るときにあって、▲1▼各カメラの被写体に対応した音を入力する入力手段と、▲2▼入力手段が入力することになる各音の標準音量レベルを予め記憶しておく記憶手段と、▲3▼入力手段の入力した各音とそれに対応付けられる標準音量レベルとを比較して、入力手段の入力した各音の相対音量レベルを算出する算出手段と、▲4▼算出手段の算出した各相対音量レベルに従って主体となる音を検出する検出手段と、▲5▼検出手段の検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する出力手段とを備えるように構成する。
【0009】
このように構成される本発明の画面切替出力制御装置では、各カメラの被写体に対応した音を入力すると、記憶手段の記憶する標準音量レベルを参照することで、入力した各音に対応付けられる標準音量レベルを取得して、入力した各音とその取得した標準音量レベルとの差分値を算出することなどにより各音の相対音量レベルを算出する。
【0010】
続いて、例えば、その算出した各相対音量レベルの内の最も大きいものを特定することなどにより、主体となる音を検出して、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する。
【0011】
このようにして、本発明では、複数のカメラで撮影しているときに、相対的な音量レベルを使って主体となる音源を検出するようにして、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えるように処理することから、絶対的な音量レベルが異なる場合にも、主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えることができるようになる。
【0012】
(イ)この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ出力する(主体となる音を強調させた形で出力することもある)ように処理することがある。
【0013】
これにより、複数のカメラを使ってコンサートをテレビ中継する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した楽器の演奏者の映像を表示しつつ、コンサートをテレビ中継できるようになる。
【0014】
そして、この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ出力するように処理することがある。
【0015】
これにより、複数のカメラを使ってある会場を監視する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した場所の映像を表示しつつ、その場所の音を出力できるようになる。
【0016】
(ロ)更に、この構成を採るときにあって、各カメラの映像を一定期間保存する映像蓄積手段を備える構成を採って、出力手段は、その映像蓄積手段の蓄積する映像を使って、主体となる音に対応した被写体を撮影しているカメラの映像を過去に遡って切り替えて出力するように処理することがある。
【0017】
これにより、主体となる音の被写体として検出された映像を、その検出の前から遡って見ることができるようになるので、映像を編集するときなどに、その編集を効率的に実行できるようになる。
【0018】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に直接対応しない映像全体の持つ音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ過去に遡って切り替えて出力する(主体となる音を強調させた形で出力することもある)ことができるようになる。
【0019】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に対応した音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ過去に遡って切り替えて出力することができるようになる。
【0020】
(2)また、この目的を達成するために、本発明の画面切替出力制御装置は、複数のカメラで撮影した映像の内の一つの映像を出力するという構成を採るときにあって、▲1▼各カメラの被写体に対応した音を入力する入力手段と、▲2▼入力手段が入力することになる各音の標準音量レベルを予め記憶しておく記憶手段と、▲3▼入力手段の入力した各音とそれに対応付けられる標準音量レベルとを比較して、入力手段の入力した各音の相対音量レベルを算出する算出手段と、▲4▼算出手段の算出した各相対音量レベルの履歴を保存する保存手段と、▲5▼保存手段の保存する各相対音量レベルの履歴に従って主体となる音を検出する検出手段と、▲6▼検出手段の検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する出力手段とを備えるように構成する。
【0021】
このように構成される本発明の画面切替出力制御装置では、各カメラの被写体に対応した音を入力すると、記憶手段の記憶する標準音量レベルを参照することで、入力した各音に対応付けられる標準音量レベルを取得して、入力した各音とその取得した標準音量レベルとの差分値を算出することなどにより各音の相対音量レベルを算出する。
【0022】
続いて、その算出した各音の相対音量レベルの時系列データを使って、例えば、時間の経過しているもの程小さな重み付けをして、その総和を求めることなどにより、時間経過を考慮した形で各音の相対音量レベルを算出する。
【0023】
続いて、例えば、その算出した各相対音量レベルの内の最も大きいものを特定することなどにより、主体となる音を検出して、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する。
【0024】
このようにして、本発明では、複数のカメラで撮影しているときに、時間経過を考慮した形での相対的な音量レベルを使って主体となる音源を検出するようにして、その検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えるように処理することから、絶対的な音量レベルが異なる場合に、一時的な音量レベルの変化に依らずに、主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えることができるようになる。
【0025】
(イ)この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ出力する(主体となる音を強調させた形で出力することもある)ように処理することがある。
【0026】
これにより、複数のカメラを使ってコンサートをテレビ中継する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した楽器の演奏者の映像を表示しつつ、コンサートをテレビ中継できるようになる。
【0027】
そして、この構成を採るときにあって、出力手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ出力するように処理することがある。
【0028】
これにより、複数のカメラを使ってある会場を監視する場合の例で説明するならば、最も大きな相対的な音量レベルを出力した場所の映像を表示しつつ、その場所の音を出力できるようになる。
【0029】
(ロ)更に、この構成を採るときにあって、各カメラの映像を一定期間保存する映像蓄積手段を備える構成を採って、出力手段は、その映像蓄積手段の蓄積する映像を使って、主体となる音に対応した被写体を撮影しているカメラの映像を過去に遡って切り替えて出力するように処理することがある。
【0030】
これにより、主体となる音の被写体として検出された映像を、その検出の前から遡って見ることができるようになるので、映像を編集するときなどに、その編集を効率的に実行できるようになる。
【0031】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に直接対応しない映像全体の持つ音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ過去に遡って切り替えて出力する(主体となる音を強調させた形で出力することもある)ことができるようになる。
【0032】
そして、このとき、映像蓄積手段が、各カメラの映像に加えて、それらの映像に対応した音を一定期間保存するという構成を採る場合には、出力手段は、映像蓄積手段の蓄積する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ過去に遡って切り替えて出力することができるようになる。
【0033】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【0034】
先ず最初に、本発明の第一の実施形態例について図面を用いて具体的に説明する。
【0035】
以下に説明することから分かるように、本発明の第一の実施形態例では、時間を考慮しない相対音量レベルを使って、画面切り替えの制御を実行するという構成を採っている。
【0036】
図1に、本発明の第一の実施形態例にかかる画面切替出力制御装置1の構成の一例を図示する。
【0037】
図1において、11a,b,cは音入力部、12は標準音量記憶部、13a,b,cは音量レベル算出部、14は主音源検出部、15は画面切替出力制御部、16は画面表示部である。
【0038】
音入力部11a,b,cは、カメラa,b,cの被写体に対応した音源(マイクa,b,c)からの音を入力する。標準音量記憶部12は、カメラa,b,cの被写体に対応した音源からの各標準音量を予め記憶している。
【0039】
音量レベル算出部13a,b,cは、音入力部11a,b,cから各々入力された音と標準音量記憶部12に予め記憶された標準音量とから、入力された各音の相対音量レベルを算出する。主音源検出部14は、音量レベル算出部13a,b,cで各々算出された相対音量レベルから、どの音源が主音源となるかを検出する。
【0040】
画面切替出力制御部15は、主音源検出部14で検出された主音源に基づいて画面の切り替え制御を行う。画面表示部16は、画面切替出力制御部15で制御された映像の画面を表示する。
【0041】
図2(イ)(ロ)(ハ)は、画面切替出力制御部15に入力される各音源に対応した被写体を撮影しているカメラa,b,cからの映像の一例である。
【0042】
以下に、本実施形態例に具体的な数値を設定して、その動作について説明する。この動作例では、次のような設定の下で行われるものとする。
【0043】
音入力部11a,b,cには、3つのカメラa,b,cの被写体に対応した音源からの音が1秒のサンプリング周期で入力されるものとする。
【0044】
現在、音入力部11aには65dBの大きさの音が入力され、音入力部11bには59dBの大きさの音が入力され、音入力部11cには65dBの大きさの音が入力されたとする。
【0045】
標準音量記憶部12には、過去に入力された音から算出した標準音量が予め記憶されているものとする。
【0046】
ここでは、音源a(カメラaの被写体に対応した音源)の標準音量として58dBが記憶され、音源b(カメラbの被写体に対応した音源)の標準音量として54dBが記憶され、音源c(カメラcの被写体に対応した音源)の標準音量として62dBが記憶されているものとする。
【0047】
音量レベル算出部13a,b,cでは、音入力部11a,b,cで入力された音の音量と、標準音量記憶部12に記憶されている各音源に対応する標準音量との差分を、各入力された音の相対音量レベルとして算出するものとする。
【0048】
主音源検出部14では、音量レベル算出部13a,b,cで算出された相対音量レベルの内、最も値の大きい音の音源を主音源として検出するものとする。
【0049】
画面切替出力制御部15には、音入力部11a,b,cに入力された音と同期して、図2に示したカメラa,b,cからの映像が各々入力されているものとし、主音源検出部14で検出された主音源に対応した映像を表示するように制御するものとする。
【0050】
更に、第一の実施形態例に従う場合には、画面切替出力制御部15には、映像全体の持つ音を検出する総合マイク2からの音が入力されていて、映像と同期させる形で、映像全体の持つ音を出力するように制御するものとする。
【0051】
本実施形態例の動作例は、以下の通りである。
【0052】
音入力部11a,b,cで、カメラa,b,cの被写体に対応した音が入力され、各々音量レベル算出部13a,b,cへ送られる。
【0053】
音量レベル算出部13aでは、入力された音の音量は65dBと認識され、標準音量記憶部12に記憶されている標準音量aの58dBと比較し、相対音量レベルは“7”と算出される。
【0054】
音量レベル算出部13bでは、入力された音の音量は59dBと認識され、標準音量記憶部12に記憶されている標準音量bの54dBと比較し、相対音量レベルは“5”と算出される。
【0055】
音量レベル算出部13cでは、入力された音の音量は65dBと認識され、標準音量記憶部12に記憶されている標準音量cの62dBと比較し、相対音量レベルは“3”と算出される。
【0056】
音量レベル算出部13a,b,cで算出された相対音量レベルは、主音源検出部14へ送られる。
【0057】
主音源検出部14では、全ての音入力部11a,b,cから入力された音の相対音量レベルとして、各々“7”,“5”,“3”を受け取り、その中で最も値の大きいaを主音源と検出して、画面切替出力制御部15へ送る。
【0058】
画面切替出力制御部15では、主音源がaであることを受け取ると、表示する映像として図2(イ)のような映像を画面に表示するよう制御して、画面表示部16へ送る。画面表示部16では、画面切替出力制御部15からの映像を表示する。
【0059】
このとき、画面切替出力制御部15では、総合マイク2から入力される映像全体の持つ音を、映像と同期させる形で出力する。
【0060】
以上に説明した本実施形態例の処理については、本発明の画面切替出力制御装置1に展開されるコンピュータプログラムで実現することが可能であり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【0061】
図3に、このコンピュータプログラムの実行する処理フローを図示する。このコンピュータプログラムは、この処理フローに従って、上述した処理を実行するのである。
【0062】
図1に示す構成では、総合マイク2から入力される映像全体の持つ音を出力するようにしたが、図4に示すように、マイクa,b,cから入力される音をミキシングする音混合部20を備えることで、映像全体の持つ音を合成するようにしてもよい。
【0063】
この音混合部20を備えると、主音源検出部14からの指示に従って、主音源の音を強調するといった機能を実現できるようになる。
【0064】
また、図1に示す構成では、映像全体の持つ音を画面切替出力制御部15に入力するようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、映像全体の持つ音を出力するようにしたが、図5に示すように、マイクa,b,cから入力される音を画面切替出力制御部15に入力するようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、その映像に対応した音(主音源の音)を出力するように処理することもある。
【0065】
カメラa,b,cを使ってある会場を監視するといったようなときには、この音の出力方法を用いることで有効な監視を行えるようになる。
【0066】
上述の実施形態例の動作例の説明において、音入力部11a,b,cには、3つのカメラa,b,cの被写体に対応した音源からの音が1秒のサンプリング周期で入力されるものとしたが、サンプリング周期は任意で一定でなくてもよい。このサンプリング周期を長くすることにより、画面が煩雑に切り替わることも防ぐことができる。
【0067】
また、音入力部11の数は任意であり、カメラの数に応じた数でもよいし、1台のカメラに対して複数の音入力部を設けてもよい。
【0068】
現在、音入力部11aには65dBの大きさの音が入力され、音入力部11bには59dBの大きさの音が入力され、音入力部11cには65dBの大きさの音が入力されだとしたが、音の大きさは任意である。
【0069】
標準音量記憶部12には、過去に入力された音から算出した標準音量が予め記憶されているものとしたが、標準音量は、過去に入力された音から算出しなくてもよく、常に最新に入力された音を反映して算出し直してもよい。また、別の音源を記憶させてもよいし、標準音を新たに生成してもよい。
【0070】
ここでは、音源aの標準音量として58dBが記憶され、音源bの標準音量として54dBが記憶され、音源cの標準音量として62dBが記憶されているものとしたが、標準音量の値は任意であり、また標準音量の指標もdBではなく他の指標を用いてもよい。
【0071】
音量レベル算出部13a,b,cでは、音入力部11a,b,cで入力された音の音量と、標準音量記憶部12に記憶されている各音源に対応する標準音量との差分を、各入力された音の相対音量レベルとして算出するものとしたが、その算出方法は任意であり差分でなくてもよい。
【0072】
主音源検出部14では、音量レベル算出部13a,b,cで算出された相対音量レベルの内、最も値の大きい音の音源を主音源として検出するものとしたが、主音源の検出方法は相対音量レベルの最大値でなくてもよく、予め重み付けをつけておいて算出してもよい。また、主音源が一意に決まらなくてもよい。
【0073】
画面切替出力制御部15には、音入力部11a,b,cに入力された音と同期して、図2に示したカメラa,b,cからの映像が各々入力されているものとしたが、入力される映像は任意である。また、主音源検出部14で検出された主音源に対応した映像を表示するように制御するものとしたが、主音源検出部14で主音源が検出できなかった場合や、主音源が複数検出された場合の制御を予め設定しておいてもよい。また、各映像を撮影するカメラ操作を遠隔で行えるようにしておき、主音源となった被写体の映像をズームするといったカメラ操作に指示を行えるようにしてもよい。
【0074】
次に、本発明の第二の実施形態例について図面を用いて具体的に説明する。
【0075】
図6に、本発明の第二の実施形態例にかかる画面切替出力制御装置1の構成の一例を図示する。
【0076】
以下に説明することから分かるように、本発明の第二の実施形態例では、時間を考慮した相対音量レベルを使って、画面切り替えの制御を実行するという構成を採っている。
【0077】
図6において、図1で説明したものと同じものについては同一の記号で示してある。34は音量履歴蓄積部、35は主音源検出部、36は映像蓄積部、37は画面切替出力制御部、38は画面表示部である。
【0078】
音量履歴蓄積部34は、音量レベル算出部13で算出された各音源の相対音量レベルの値の履歴を蓄積する。主音源検出部35は、音量履歴蓄積部34に蓄積された各音源の相対音量レベルの値の履歴から、どの音源が主音源となるかを検出する。
【0079】
映像蓄積部36は、過去の一定時間に送られてきた各カメラからの映像と、総合マイク2から入力されたそのときの映像全体の持つ音とを、その対応をとりつつ一時的に蓄積する。画面切替出力制御部37は、主音源検出部35で検出された主音源に基づいて、映像蓄積部36に蓄積されている映像と音とを同期づけて出力する制御を行う。画面表示部38では、画面切替出力制御部37で制御された映像の画面を表示する。
【0080】
図7に、音量履歴蓄積部34に蓄積されている音源a,b,cの過去5件の相対音量レベルの値の一例を示す。
【0081】
以下に、本実施形態例に具体的な数値を設定して、その動作について説明する。この動作例では、次のような設定の下で行われるものとする。
【0082】
音入力部11から音量レベル算出部13までは、第一の実施形態例と同様の動作をするものとする。
【0083】
音量履歴蓄積部34には、音量レベル算出部13a,b,cで算出された各相対音量レベルの過去最新5件のデータが蓄積されるものとする。ここでは、音源a,b,cの過去5件の相対音量レベルの値として、既に図7に示すような値が蓄積されているものとする。
【0084】
主音源検出部35では、音量履歴蓄積部34に蓄積されている各相対音量レベルの過去5件の値に対して、古いものから順に“0.6”から“1.0”まで“0.1”刻みの重み付けを付し、その総和が最も大きい音の音源を主音源として検出するものとする。
【0085】
映像蓄積部36には、カメラa,b,cの映像と、総合マイク2から入力された映像全体の持つ音とが入力され、過去5秒間の映像と音とが各々対応づけて蓄積されているものとする。
【0086】
画面切替出力制御部37では、主音源検出部35で検出された主音源に対応した映像と音とを同期づけて5秒前の部分で切り替えて出力するように制御するものとする。
【0087】
画面表示部38では、画面切替出力制御部37から送られてきた映像と音とを、音入力部11で入力した音よりも5秒遅れて出力するものとする。
【0088】
本実施形態例の動作例は、以下の通りである。
【0089】
音入力部11から音量レベル算出部13までは、第一の実施形態例の動作例と同様の動作を行い、従って、音量レベル算出部13a,b,cでは、各々相対音量レベルとして“7”,“5”,“3”が算出される。
【0090】
音量レベル算出部13a,b,cで算出された相対音量レベルは、音量履歴蓄積部34に送られる。音量履歴蓄積部34では、音量レベル算出部13a,b,cで算出された相対音量レベルを受け取り、既に蓄積されていた図7に示す相対音量レベルのうち、一番古い“1”,“0”,“6”を消去して、新たに“7”,“5”,“3”を加える。
【0091】
主音源検出部35では、音量履歴蓄積部34に蓄積されている各音源の過去5件の相対音量レベルの値を受け取り、古いものから順に“0.6”から“1.0”まで“0.1”刻みの重み付けを付した総和として、音源aは“26.9”、音源bは“10.6”、音源cは“6.6”を算出し、その中で最も値の大きいaを主音源と検出して、画面切替出力制御部37へ送る。
【0092】
画面切替出力制御部37では、主音源がaであることを受け取ると、映像蓄積部36からカメラaで撮影した5秒前からの映像と、そのときにおける総合マイク2から入力された映像全体の持つ音とを同期をとりつつ出力するよう制御して、画面表示部38へ送る。これを受けて、画面表示部38では、画面切替出力制御部37からの映像と音とを出力する。
【0093】
以上に説明した本実施形態例の処理については、本発明の画面切替出力制御装置1に展開されるコンピュータプログラムで実現することが可能であり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【0094】
図8に、このコンピュータプログラムの実行する処理フローを図示する。このコンピュータプログラムは、この処理フローに従って、上述した処理を実行するのである。
【0095】
図6に示す構成では、総合マイク2から入力される映像全体の持つ音を映像蓄積部36に蓄積して、それを画面切替出力制御部37に与えるようにしたが、図9に示すように、マイクa,b,cから入力される音を映像蓄積部36に蓄積するとともに、映像蓄積部36に蓄積されたマイクa,b,cから入力された音をミキシングする音混合部40を備えることで、映像全体の持つ音を映像蓄積部36を画面切替出力制御部37に与えるようにしてもよい。
【0096】
この音混合部40を備えると、主音源検出部35からの指示に従って、主音源の音を強調するといった機能を実現できるようになる。
【0097】
また、図6に示す構成では、映像全体の持つ音を映像蓄積部36に蓄積して、それを画面切替出力制御部37に与えるようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、映像全体の持つ音を出力するようにしたが、図10に示すように、マイクa,b,cから入力される音を映像蓄積部36に蓄積して、それを画面切替出力制御部37に与えるようにすることで、主音源の映像を出力するときに、その映像と同期をとりつつ、その映像に対応した音(主音源の音)を出力するように処理することもある。
【0098】
カメラa,b,cを使ってある会場を監視するといったようなときには、この音の出力方法を用いることで有効な監視を行えるようになる。
【0099】
上述の第二の実施形態例の動作例の説明において、音量履歴蓄積部34には、音量レベル算出部13a,b,cで算出された各相対音量レベルの過去最新5件のデータが蓄積されているものとしたが、蓄積されているデータの件数は任意であり、蓄積されているデータの値も任意である。
【0100】
主音源検出部35では、音量履歴蓄積部34に蓄積されている各相対音量レベルの過去5件の値に対して、古いものから順に“0.6”から“1.0”まで“0.1”刻みの重み付けを付し、その総和が最も大きい音の音源を主音源として検出するものとしたが、主音源の検出方法は任意であり、必ずしも音量履歴蓄積部34に蓄積されているデータ全てを用いなくてもよいし、各時点で各音源の相対音量レベルの比較をした結果の履歴から判定してもよい。また、主音源が一意に決まらなくてもよい。
【0101】
映像蓄積部36には、カメラa,b,cの映像と、総合マイク2から入力された映像全体の持つ音とが入力され、過去5秒間の映像と音とが各々対応づけて蓄積されているものとしたが、蓄積されている映像と音の長さは任意である。
【0102】
画面切替出力制御部37では、主音源検出部35で検出された主音源に対応した映像と音とを同期づけて5秒前の部分で切り替えて出力するように制御するものとしたが、映像と音とを切り替えるタイミングは任意であり、音入力のサンプリング周期や主音源の検出方法に依存するようにしてもよい。
【0103】
また、主音源検出部35で主音源が検出できなかった場合や、主音源が複数検出された場合の制御を予め設定しておいてもよい。
【0104】
画面表示部38では、画面切替出力制御部37から送られてきた映像と音とを、音入力部11で入力した音よりも5秒遅れて出力するものとしたが、この出力方法は画面切替出力制御部37での処理に依存する。
【0105】
上述したように、第一の実施形態例では、第二の実施形態例で備える映像蓄積部36を備えないという構成を採ったが、この映像蓄積部36を備える構成を採って、過去に遡った形で映像及び音を出力するようにしてもよい。
【0106】
このときには、図3の処理フローに代えて、図11の処理フローを実行することになる。
【0107】
また、第二の実施形態例では映像蓄積部36を備えるという構成を採ったが、この映像蓄積部36を備えない構成を採って、過去に遡らない形で映像及び音を出力するようにしてもよい。
【0108】
このときには、図8の処理フローに代えて、図12の処理フローを実行することになる。
【0109】
【発明の効果】
以上説明したように、本発明によれば、絶対的な音量レベルが異なる場合でも、相対的な音量レベルを用いることにより主体となる音源を検出することができ、監視カメラなどの複数のライブカメラの映像の内の主要な一映像を画面に表示することが可能となる。
【0110】
これにより、複数の場所を複数のカメラからの映像を順次切り替えて一画面に表示し監視している際でも、異常が発生した画面を自動的に検出して表示することが可能となる。
【0111】
また、各カメラの映像を複数の画面に同時に表示して監視している場合でも、異常が発生した画面をメイン画面に切り替えるなど、異常の検知を迅速化することが可能になる。
【0112】
さらに、一時的な音量レベルの変化ではなく、時系列的な音量レベルの変化を用いて主体となる音源を検出することにより、瞬間的な雑音等に惑わされることなく音楽の演奏時に主旋律やソロの演奏者を判定することが可能となる。
【0113】
また、映像の編集時などの表示にリアルタイム性を要しない場合は、主体となる音源となった時点まで遡って映像を切り替えて表示することができ、映像編集時の人的負荷を削減することが可能となる。
【図面の簡単な説明】
【図1】本発明の第一の実施形態例である。
【図2】カメラにより撮影される被写体の一例である。
【図3】第一の実施形態例を実現するコンピュータプログラムの実行する処理フローの一例である。
【図4】第一の実施形態例の別の構成例である。
【図5】第一の実施形態例の別の構成例である。
【図6】本発明の第二の実施形態例である。
【図7】音量履歴蓄積部に蓄積されている相対音量レベルの一例である。
【図8】第二の実施形態例を実現するコンピュータプログラムの実行する処理フローの一例である。
【図9】第二の実施形態例の別の構成例である。
【図10】第二の実施形態例の別の構成例である。
【図11】第一の実施形態例を実現するコンピュータプログラムの実行する処理フローの他の一例である。
【図12】第二の実施形態例を実現するコンピュータプログラムの実行する処理フローの他の一例である。
【符号の説明】
1 画面切替出力制御装置
2 総合マイク
11 音入力部
12 標準音量記憶部
13 音量レベル算出部
14 主音源検出部
15 画面切替出力制御部
16 画面表示部
20 音混合部
34 音量履歴蓄積部
35 主音源検出部
36 映像蓄積部
37 画面切替出力制御部
38 画面表示部
40 音混合部

Claims (11)

  1. 複数のカメラで撮影した映像の内の一つの映像を出力する画面切替出力制御装置において、
    各カメラの被写体に対応した音を入力する手段と、
    上記入力することになる各音の標準音量レベルを予め記憶しておく手段と、
    上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する手段と、
    上記算出した各相対音量レベルに従って主体となる音を検出する手段と、
    上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する手段とを備えることを、
    特徴とする画面切替出力制御装置。
  2. 複数のカメラで撮影した映像の内の一つの映像を表示する画面切替出力制御装置において、
    各カメラの被写体に対応した音を入力する手段と、
    上記入力することになる各音の標準音量レベルを予め記憶しておく手段と、
    上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する手段と、
    上記算出した各相対音量レベルの履歴を保存する手段と、
    上記保存する各相対音量レベルの履歴に従って主体となる音を検出する手段と、
    上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する手段とを備えることを、
    特徴とする画面切替出力制御装置。
  3. 請求項1又は2記載の画面切替出力制御装置において、
    上記出力する手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に直接対応しない映像全体の持つ音を同期させつつ出力することを、
    特徴とする画面切替出力制御装置。
  4. 請求項1又は2記載の画面切替出力制御装置において、
    上記出力する手段は、主体となる音に対応した被写体を撮影しているカメラの映像に加えて、そのカメラの映像に対応した音を同期させつつ出力することを、
    特徴とする画面切替出力制御装置。
  5. 請求項1又は2記載の画面切替出力制御装置において、
    各カメラの映像を一定期間保存する手段を備え、
    上記出力する手段は、上記一定期間保存する映像を使って、主体となる音に対応した被写体を撮影しているカメラの映像を過去に遡って切り替えて出力することを、
    特徴とする画面切替出力制御装置。
  6. 請求項1又は2記載の画面切替出力制御装置において、
    各カメラの映像とそれらの映像に直接対応しない映像全体の持つ音とを一定期間保存する手段を備え、
    上記出力する手段は、上記一定期間保存する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像と、そのカメラの映像に直接対応しない映像全体の持つ音とを同期させつつ過去に遡って切り替えて出力することを、
    特徴とする画面切替出力制御装置。
  7. 請求項1又は2記載の画面切替出力制御装置において、
    各カメラの映像とそれらの映像に対応した音とを一定期間保存する手段を備え、
    上記出力する手段は、上記一定期間保存する映像及び音を使って、主体となる音に対応した被写体を撮影しているカメラの映像と、そのカメラの映像に対応した音とを同期させつつ過去に遡って切り替えて出力することを、
    特徴とする画面切替出力制御装置。
  8. 複数のカメラで撮影した映像の内の一つの映像を出力する画面切替出力制御方法において、
    各カメラの被写体に対応した音を入力する過程と、
    上記入力することになる各音の標準音量レベルを予め記憶しておく手段を参照することで、上記入力した各音に対応付けられる標準音量レベルを取得する過程と、
    上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する過程と、
    上記算出した各相対音量レベルに従って主体となる音を検出する過程と、
    上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する過程とを備えることを、
    特徴とする画面切替出力制御方法。
  9. 複数のカメラで撮影した映像の内の一つの映像を表示する画面切替出力制御方法において、
    各カメラの被写体に対応した音を入力する過程と、
    上記入力することになる各音の標準音量レベルを予め記憶しておく手段を参照することで、上記入力した各音に対応付けられる標準音量レベルを取得する過程と、
    上記入力した各音とそれに対応付けられる上記標準音量レベルとを比較して、上記入力した各音の相対音量レベルを算出する過程と、
    上記算出した各相対音量レベルを、その履歴を保存する手段に登録する過程と、
    上記保存する各相対音量レベルの履歴に従って主体となる音を検出する過程と、
    上記検出した主体となる音に対応した被写体を撮影しているカメラの映像に画面を切り替えて出力する過程とを備えることを、
    特徴とする画面切替出力制御方法。
  10. 請求項8又は9記載の画面切替出力制御方法の実現に用いられる処理をコンピュータに実行させるための画面切替出力制御プログラム。
  11. 請求項8又は9記載の画面切替出力制御方法の実現に用いられる処理をコンピュータに実行させるためのプログラムを記録した画面切替出力制御プログラムの記録媒体。
JP2001318834A 2001-10-17 2001-10-17 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体 Expired - Fee Related JP3785078B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001318834A JP3785078B2 (ja) 2001-10-17 2001-10-17 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001318834A JP3785078B2 (ja) 2001-10-17 2001-10-17 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体

Publications (2)

Publication Number Publication Date
JP2003125391A JP2003125391A (ja) 2003-04-25
JP3785078B2 true JP3785078B2 (ja) 2006-06-14

Family

ID=19136467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001318834A Expired - Fee Related JP3785078B2 (ja) 2001-10-17 2001-10-17 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体

Country Status (1)

Country Link
JP (1) JP3785078B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006121123A1 (ja) * 2005-05-12 2008-12-18 学校法人慶應義塾 画像切替システム
CN101867768B (zh) * 2010-05-31 2012-02-08 杭州华三通信技术有限公司 一种视频会议会场画面控制方法及其装置
WO2017026559A1 (ko) * 2015-08-13 2017-02-16 주식회사 넥스트이온 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템
JP2018170678A (ja) * 2017-03-30 2018-11-01 株式会社ライブ・アース ライブ映像処理システム、ライブ映像処理方法及びプログラム
US11115590B1 (en) * 2020-03-04 2021-09-07 Gopro, Inc. Intelligent sensor switch during recording

Also Published As

Publication number Publication date
JP2003125391A (ja) 2003-04-25

Similar Documents

Publication Publication Date Title
US7555766B2 (en) Audience response determination
JP2019525571A5 (ja)
CN112165590A (zh) 视频的录制实现方法、装置及电子设备
JP6882057B2 (ja) 信号処理装置、信号処理方法、およびプログラム
US11094305B2 (en) Information processing device, tempo detection device and video processing system
US20220132224A1 (en) Live streaming system and live streaming method
JP2012100216A (ja) カメラおよび動画撮影プログラム
JP4543694B2 (ja) コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
JP3785078B2 (ja) 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体
JP2005094713A (ja) データ表示システム、データ表示方法、プログラムおよび記録媒体
KR20180080642A (ko) 음원과 동기화되는 동영상을 편집하는 방법
JP7105380B2 (ja) 情報処理システム及び方法
JP2018170678A (ja) ライブ映像処理システム、ライブ映像処理方法及びプログラム
JP2005295431A (ja) 番組生成システム、コマンド生成装置、及び番組生成プログラム
JP2022108638A (ja) 信号処理装置及び信号処理システム
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
Valente et al. Subjective expectation adjustments of early-to-late reverberant energy ratio and reverberation time to match visual environmental cues of a musical performance
JP6651413B2 (ja) カラオケシステム
JP2010130403A (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP2004112638A (ja) 会議記録方法および装置並びにプログラム
JP2002112113A (ja) 映像編集装置および記憶媒体
WO2017026387A1 (ja) 映像処理装置、映像処理方法および記録媒体
JP7188831B2 (ja) ライブ配信システムおよびライブ配信方法
CN108093296A (zh) 一种影片自适应播放的方法及系统
WO2024053094A1 (ja) メディア情報強調再生装置、メディア情報強調再生方法、およびメディア情報強調再生プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060316

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090324

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees