JP6917847B2 - カメラにより制御可能な音声調整卓 - Google Patents

Description

本発明は、カメラによって撮影した画像に基づいて，音声出力を制御することが可能な音声調整卓に関する。

テレビ放送局の音声調整システムにおいて、放送もしくは収録する番組の進行により使用するマイク音声が頻繁に切り替わる。マイク音声とは、アナウンサーや出演者などが発する音声をマイクに入力した音声である。例えば、スタジオ内でシーン１からシーン２に切り替わるときに出演者が変わるタイミングで出演者が使用しているマイク音声を切り替える。また、スタジオから中継画像へ切り替わる時にアナウンサーが切り替わるタイミングで使用するマイク音声を切り替えることがある。

通常の運用においては、番組中に使用するマイク音声の全てを音声調整卓に入力しておき、番組進行に合わせてフェーダーと呼ばれる操作部を手動操作することで使用するマイク音声を切り替えている。このような音声調整卓は、例えば下記のような特許文献に記載されている。

特開２０１５−２１３２４６号公報 特開２０１５−９５１２７号公報 特開２０１４−９３６６５号公報

しかし、従来技術のように音声調整卓のフェーダーを手動で操作すると、上げ忘れや下げ忘れなどの誤操作によりマイク音声の切り替えが行われず音声が出力されないとか、不要な音声が出力されてしまうなどの問題が発生する。また、使用するフェーダー全てをＯＮ状態まで上げたままにした場合、不要な音声が出力されてしまったり、すべてのマイクが拾っているノイズが加算され放送音声のＳ／Ｎ比の低下を引き起こしてしまう。

本発明の目的は、カメラによってマイク音声の切り替え対象となる人の顔を認識し、その顔画像が登録された音声調整卓のフェーダーを制御して音量自動調整することにより、マイク音声の切り替えを確実に行うことを可能とした音声調整卓を提供することにある。

本発明のカメラによる制御可能な音声調整卓は、次のような構成を有することを特徴とする。
（１）カメラの映像を取り込んで、前記映像中に含まれる顔画像を認識する顔画像認識部。
（２）人名とその顔画像を登録したデータベース。
（３）人名が割り当てられている音声調整用のフェーダー。
（４）前記顔画像認識部から入力された顔画像と前記データベースに登録された情報に基づいて、カメラに写っている顔画像の人名を特定する人名特定部。
（５）前記人名特定部によって特定された人名が割り当てられているフェーダーをオンにするフェーダー制御部。

本発明は、次のような態様も包含する。
（６）前記顔画像認識部は、複数のカメラの映像を取り込んで、各カメラの映像中に含まれる顔画像を前記複数のカメラごとに認識し、前記人名特定部が複数のカメラに同一人の顔画像が写っていることを特定した場合に、前記フェーダー制御部は、前記複数のカメラの中のいずれか1つに写っている顔画像の人名が割り当てられているフェーダーの音量をオンとする。
（７）観客用のマイクの音量を増減する観客用のフェーダーを備え、前記顔画像認識部は人の顔の複数種類のパーツを判定するパーツ判定部を更に備え、前記フェーダー制御部は前記パーツ判定部が認識できたパーツ数が閾値を越えた場合に観客用のフェーダーをオンとするように制御する。
（８）前記フェーダー制御部は、オンエアーまたは録画中のカメラを示すタリー信号の入力を判定する回路を備え、前記タリー信号によってアクティブと判定されたカメラからの情報に基づいて、アクティブなカメラに写っている人の人名に対応するマイクのフェーダーをオンとするように制御する。

本発明によれば、カメラで撮影した画像から顔認識し、自動でフェーダーのオン・オフ制御を行うことが可能になり、手動による誤操作の防止やマイク集音ノイズの低減を図ることができる。

本発明の第１実施形態を示す機能ブロック図。 本発明の第２実施形態を示す機能ブロック図。 本発明の他の実施形態におけるカメラの切り替えの状態を示す図。

以下、本発明の実施形態を、図面に従って具体的に説明する。本実施形態においては、カメラや音声調整卓が本来備えている機能に関する構成については省略し、オン・オフの切り替えの対象となるマイクとその音量を調整するフェーダーに関する機能および構成について説明する。なお、本実施形態においてカメラ及びマイクを３台として説明するが、これらの台数は単なる例示であり、限定されるものではない。

［１．第１実施形態］
（１）構成
本実施形態の音声調整卓は、図１に示すように、公知の音声調整卓が備えている複数のマイクＭ１〜Ｍ３に対する音声制御部１０と、カメラＣ１〜Ｃ３に写っている人の名前を特定する顔情報分析部２０とから構成される。音声制御部１０と顔情報分析部２０にはそれぞれ通信部１１，２１が設けられ、この通信部１１，２１を介して顔情報分析部２０において特定された人名やカメラ映像中のパーツの数などのデータが交信される。

音声制御部１０は、音声調整卓に接続された複数のマイクＭ１〜Ｍ３からの音声信号を独立して受信する入力部１２１〜１２３と、入力部１２１〜１２３に入力された複数の音声信号をそれぞれ独立してオン・オフおよびその音量を調整する複数のフェーダー１３１〜１３３を備えている。これら複数のフェーダー１３１〜１３３は、従来の音声調整卓と同様に手動あるいは予め設定されているコンピュータプログラムにより、別々にあるいは同期してその音量が制御される。各フェーダー１３１〜１３３には、そのフェーダーが制御するマイクＭ１〜Ｍ３を装着する人の名前が割り当てられている。

音声制御部１０には、前記のような従来技術によるフェーダーの制御とは別に、顔情報分析部２０からの情報に従いフェーダー１３１〜１３３のオン・オフ制御を行うフェーダー制御部１４が設けられている。フェーダー制御部１４は、ハードウェアとしてはＣＰＵおよびＦＰＧＡ（プログラマブル・ロジック・デバイス）によって構成される。フェーダー制御部１４は、顔情報分析部２０からカメラＣ１〜Ｃ３に写っている人の名前が入力された場合に、その人名に割り当てられているマイクＭ１〜Ｍ３のフェーダー１３１〜１３３をオンとすると共に、顔情報分析部２０から人名の入力がない場合にはその人名に割り当てられているマイクＭ１〜Ｍ３のフェーダー１３１〜１３３をオフとする。

フェーダー制御部１４には、音声調整卓に接続されている複数のカメラＣ１〜Ｃ３のいずれか１つから同じ人名が入力された場合に、その人名に割り当てられているマイクＭ１〜Ｍ３のフェーダー１３１〜１３３をオンとするオア回路が設けられている。すなわち、フェーダー制御部１４は、いずれか１つのカメラＣ１〜Ｃ３から特定の人名が入力される限り、その人名に対応するマイクＭ１〜Ｍ３のフェーダー１３１〜１３３のオン状態を維持する。

顔情報分析部２０には、顔画像認識部２２と、データベース２３と、人名特定部２４が設けられている。これらの各部は、ハードウェアとしてはＣＰＵおよびメモリなどの記録手段によって構成される。顔画像認識部２２は、音声調整卓に接続された１つあるいは複数のカメラＣ１〜Ｃ３の映像を取り込んで、映像中に含まれる顔画像を認識する。すなわち、顔画像認識部２２は、各カメラＣ１〜Ｃ３に写し出されている映像を取り込んで顔画像が存在するか否かを判定し、顔画像が存在した場合には、その顔画像とカメラＣ１〜Ｃ３のＩＤと対応付けた状態で人名特定部２４へ出力する。データベース２３は、人名とその顔画像を対応付けて予め記録手段に登録したものである。人名特定部２４は、顔画像認識部２２から入力された顔画像とデータベース２３に登録された顔画像を比較することで、カメラＣ１〜Ｃ３に写っている顔画像の人名を特定する。

人名特定部２４は、通信部１１，２１を介して音声制御部１０のフェーダー制御部１４に接続され、カメラＣ１〜Ｃ３のＩＤとそのカメラＣ１〜Ｃ３に写し出されている顔画像の人名とがフェーダー制御部１４に出力される。

（２）作用
本実施形態においては、顔情報分析部２０に接続されているいずれかのカメラＣ１〜Ｃ３にマイクＭ１〜Ｍ３を装着している人の映像が写し出されると、その映像は顔画像認識部２２に入力される。顔画像認識部２２ではカメラＣ１〜Ｃ３からの映像中に顔画像が含まれるか否かを判別し、顔画像が含まれている場合にはその顔画像に相当する画像データを人名特定部２４に出力する。人名特定部２４では、入力された顔画像と予めデータベース２３に登録されている顔画像と比較し、同一の顔画像が存在した場合にはカメラＣ１〜Ｃ３に写し出された人の名前を特定する。

人名特定部２４はカメラＣ１〜Ｃ３に写し出された人の名前を特定した後、カメラＣ１〜Ｃ３のＩＤとそこに写し出された人の名前を対応付けてフェーダー制御部１４に出力する。複数のカメラＣ１〜Ｃ３に同じ人あるいは異なる人が写っている場合も、人名特定部２４は各カメラＣ１〜Ｃ３のＩＤとそこに写し出された人の名前を対応付けてフェーダー制御部１４に出力する。

カメラＣ１〜Ｃ３のＩＤと対応する人名とを受信したフェーダー制御部１４は、その人名に対応するフェーダー１３１〜１３３の音量をオンとする。複数のカメラＣ１〜Ｃ３から異なる人名がフェーダー制御部１４に入力された場合は、対応するすべてのフェーダー１３１〜１３３のすべてについてその音量をオンとする。

複数のカメラＣ１〜Ｃ３から同一の人名が入力された場合は、フェーダー制御部１４はそこに設けられたオア回路に従い、いずれかのカメラＣ１〜Ｃ３に同一の人が写っている限り、その人名に対応するマイクＭ１〜Ｍ３のフェーダー１３１〜１３３のオン状態を維持する。

一方、マイクＭ１〜Ｍ３を装着しているにもかかわらず、いずれのカメラＣ１〜Ｃ３にも写っていない人は、顔画像認識部２２および人名特定部２４において人名が特定されることがない。そのため、人名特定部２４からフェーダー制御部１４に対して、カメラＣ１〜Ｃ３のＩＤと対応する人名が出力されることがない。その結果、フェーダー制御部１４は人名に対応するフェーダー１３１〜１３３をオンにできないため、そのフェーダー１３１〜１３３はオフとなり、そのマイクＭ１〜Ｍ３から入力された音声信号は音声調整卓から出力されることがない。

このことは、マイクＭ１〜Ｍ３を装着した人がカメラＣ１〜Ｃ３に写っており、フェーダー１３１〜１３３がオンになっている場合において、カメラＣ１〜Ｃ３あるいは写っている人が移動してカメラＣ１〜Ｃ３の映像中に顔画像認識ができなくなった時も同様である。カメラＣ１〜Ｃ３の映像中から顔画像が認識できなくなり、人名の特定が不可能になると、フェーダー制御部１４は人名に対応するフェーダーをオフとするので、映像に写っていない人に装着されたマイクＭ１〜Ｍ３の音量がオフになる。

（３）効果
本実施形態によれば、次のような効果が発揮される。
（ａ）カメラＣ１〜Ｃ３に写っている人が装着しているマイクＭ１〜Ｍ３のフェーダー１３１〜１３３のみをオンにすることが可能となるので、カメラＣ１〜Ｃ３に映っていない人のマイクＭ１〜Ｍ３から入力されるノイズを音声調整卓から出力することがなくなる。

（ｂ）マイクＭ１〜Ｍ３を装着した人がカメラに写っているか否かを顔画像の認識によって自動的に行い、しかもその顔画像に基づいて人名を判定するので、人名に対応付けたフェーダー１３１〜１３３もオン・オフを自動的に行うことができる。その結果、フェーダー１３１〜１３３のオン・オフを手動で行っていた場合のような操作ミスがなくなり、音声調整卓の操作者の負担も大幅に軽減する。

（ｃ）フェーダー制御部１４に設けられたオア回路により、異なるカメラＣ１〜Ｃ３が同じ人の顔画像を認識した場合であっても、いずれかのカメラＣ１〜Ｃ３に人名を特定できる人が写っている限りは、その人名に対応するマイクＭ１〜Ｍ３のフェーダー１３１〜１３３をオンに維持することができる。

（ｄ）複数台カメラがある場合、その内の1台がタリー信号によってアクティブになり、そのカメラで写された映像のみが放映あるいは録画される場合があるが、本実施形態においては、タリー信号に関わらず、いずれかのカメラに写っている人の人名が特定された場合には、その人名に対応するマイクのフェーダーはオン制御される利点がある。

［２．第２実施形態］
図２は本発明の第２実施形態を示す。第２実施形態は予め装着している人の名前が分っているマイクではなく、観客のように人名が不明な人が使用するマイクをカメラの映像によってオン・オフ制御する。そのため、第２実施形態の音声調整卓は、人の名前が分っているマイクＭ１，Ｍ２に加えて観客用のマイクＭ４と、その音量を増減する観客用のフェーダー１３４を備える。また、観客用のマイクＭ４が向けられている人を撮影するカメラＣ４の映像が顔画像認識部２２に入力される。顔画像認識部２２には、第１実施形態の顔画像認識処理を行う部分に加えて、人の顔の複数種類のパーツを判定するパーツ判定部２５を備える。

パーツ判定部２５は、人名特定部２４がデータベース２３にアクセスをし、データベース２３にカメラＣ４からの顔画像に対応する人名が登録されていなかった場合は、人名特定部２４では顔画像認識部２２からの顔画像はあるが、データベース２３上に登録がないため不一致となり、人名を特定することができず、結果としてフェーダー制御部１４はいずれのフェーダーに対してもオン・オフ制御を行うことができない。この場合の不一致に対して、第２実施形態では観客用のフェーダー１３４がオンになるよう処理が行えるようにする。

すなわち、顔画像が入力された人名特定部２４がその顔画像に基づいて人名の特定を行うことができなかった場合には、人名特定部２４はパーツ判定部２５からの情報に基づいて、観客用のフェーダー１３４のオン・オフ制御を行う。観客用のフェーダー１３４のオン・オフ制御部の判断基準は、認識できた顔のパーツ（目、眉、鼻、口、耳、頭など）の数を用いる。

フェーダー制御部１４は、パーツ判定部２５が認識できたパーツ数が予め定めた閾値（例えば３）を越えた場合に観客用のフェーダー１３４をオンとする。例えば、フェーダー制御部１４における観客用のフェーダー１３４の制御判断基準は、下記の左側の表の〇に示すとおり、認識できたパーツ数が閾値３を越えている場合にはフェーダーをオンとし、右側の表の〇に示すとおり、認識できたパーツ数が閾値３以下である場合には、フェーダーをオフとする。

本実施形態によれば、観客用マイクＭ４のように特定の人名と対応づけられていないマイクであっても、カメラＣ４が観客用マイクＭ４を向けられた人の顔画像を認識した場合には、観客用マイクＭ４を制御するフェーダー１３４をオン・オフすることが可能となる。しかも、カメラの映像の中に顔画像が存在することを認識した場合であっても、顔を構成する複数のパーツが明確に判定できる場合のみ観客用フェーダー１３４をオンにするので、観客がカメラ中に明確に映し出されている場合のみ観客用マイクＭ４をオンにすることができる。

［３．他の実施形態］
本発明は、前記の実施形態に限定されるものではなく、例えば、次のような他の実施形態も包含する。
（１）前記各実施形態においては１つのカメラの映像に１つの顔画像が写っている場合について説明したが、１つのカメラに複数の顔画像が写っており、複数の人名が特定された場合には、複数のフェーダーを１つのカメラからの情報によって同時に制御することも可能である。

（２）複数人で１つのマイクを共用する場合のように、１つのマイクのフェーダーに対して複数の人名を対応付けておき、人名特定部２４によってカメラの映像中に複数の人名中のいずれか１つが特定された場合には、その人名に対応付けられたマイクをオンとすることもできる。

（３）通常、スタジオカメラシステムには、タリーランプが搭載されており、オンエアー時や記録時にタリーランプを点灯させ、被写体（演者）側がアクティブなカメラの運用状態を確認できる構成となっている。このようなシステムにおいては、フェーダー制御部１４に各カメラのタリーランプの点灯および未点灯を検出するなどの、オンエアーまたは録画中のカメラを示すタリー信号の入力を判定する回路を設け、タリーランプの点灯したアクティブなカメラからの情報に基づいて各フェーダーを制御することができる。

すなわち、図３（ａ）に示すように、タリーランプが点灯したカメラをアクティブとし、未点灯のカメラをスタンバイとすることで、アクティブのカメラからの映像によって特定された人名に対応するマイクのフェーダーのみをオン状態とし、スタンバイのカメラによって特定された人名については、たとえマイクを装着した人がカメラに写っていてもその人名に対応するマイクのフェーダーをオフ状態とする。その後、図３（ｂ）に示すように、オンエアー状態となるカメラが切り替わったことを、タリー信号の入力に基づいてフェーダー制御部１４が検出すると、新たにアクティブとなったカメラからの情報に基づいて、そのカメラによって特定された人名に対応するマイクのフェーダーをオン状態とし、他のスタンバイのカメラによって特定された人名に対応するマイクについてはそのフェーダーをオフ状態とする。

Ｃ１〜Ｃ４…カメラ
Ｍ１〜Ｍ４…マイク
１０…音声制御部 １１…通信部
１２１〜１２４…入力部
１３１〜１３４…フェーダー
１４…フェーダー制御部
２０…顔情報分析部
２１…通信部
２２…顔画像認識部
２３…データベース
２４…人名特定部
２５…パーツ判定部

Claims (4)

1. カメラの映像を取り込んで、前記映像中に含まれる顔画像を認識する顔画像認識部と、
   人名とその顔画像を登録したデータベースと、
   人名が割り当てられている音声調整用のフェーダーと、
   前記顔画像認識部から入力された顔画像と前記データベースに登録された情報に基づいて、カメラに写っている顔画像の人名を特定する人名特定部と、
   前記人名特定部によって特定された人名が割り当てられているフェーダーをオンにするフェーダー制御部と、
   を備えたカメラにより制御可能な音声調整卓。
2. 前記顔画像認識部は、複数のカメラの映像を取り込んで、各カメラの映像中に含まれる顔画像を前記複数のカメラごとに認識し、
   前記人名特定部が複数のカメラに同一人の顔画像が写っていることを特定した場合に、前記フェーダー制御部は、前記複数のカメラの中のいずれか1つに写っている顔画像の人名が割り当てられているフェーダーをオンとする請求項１に記載のカメラにより制御可能な音声調整卓。
3. 観客用のマイクの音量を増減する観客用のフェーダーを備え、
   前記顔画像認識部は人の顔の複数種類のパーツを判定するパーツ判定部を更に備え、
   前記フェーダー制御部は前記パーツ判定部が認識できたパーツ数が閾値を越えた場合に観客用のフェーダーをオンとするように制御する請求項１または請求項２に記載のカメラによる制御可能な音声調整卓。
4. 前記フェーダー制御部は、オンエアーまたは録画中のカメラを示すタリー信号の入力を判定する回路を備え、前記タリー信号によってアクティブと判定されたカメラからの情報に基づいて、アクティブなカメラに写っている人の人名に対応するマイクのフェーダーをオンとするように制御する請求項１から請求項３のいずれか１記載のカメラにより制御可能な音声調整卓。

Images