JP4182569B2

JP4182569B2 - COMMUNICATION SYSTEM AND METHOD, CONTROLLED PHOTOGRAPHING DEVICE, AND TERMINAL DEVICE

Info

Publication number: JP4182569B2
Application number: JP28399298A
Authority: JP
Inventors: 洋一木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-10-06
Filing date: 1998-10-06
Publication date: 2008-11-19
Anticipated expiration: 2018-10-06
Also published as: JP2000115753A

Description

【０００１】
【発明の属する技術分野】
この発明は、遠隔のビデオカメラにより撮影された映像とマイクロフォンにより集音された音声とを通信を介して他地点に転送する通信システムおよび方法、被制御撮影装置並びに端末装置に関する。
【０００２】
【従来の技術】
従来、遠隔操作が可能なカメラ装置が知られている。このカメラ装置は、チルト／パン機能およびズーム機能を有し、チルト角（垂直方向）／パン角（水平方向）およびズームが遠隔からの制御信号に応じて自在に制御され、任意の方向にカメラが向けられると共に、所定の拡大率にて得られた所望の映像を遠隔地に転送することが可能とされている。また、コミュニケーションを目的とし、遠隔地に音声や映像を伝送することが可能な各種装置およびシステムが提案されている。さらに、近年、通信方式のディジタル化に伴い、電話装置においても各種サービスを受けることができ、然も、画像等が送れる高機能な電話装置が実用化されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の遠隔操作可能なカメラ装置においては、制御信号により所定の方向にカメラを向けるのに時間遅れが発生すると共に、カメラ制御の高速化を図っても構造的な限界があり、また、機構部を作動させるための電力が必要とされるばかりか、保守等の人手と手間が必要とされる問題点があった。さらに、従来のカメラ装置においては、制御系統が１系統とされているため、一度に１箇所からの映像しか入手することができず、複数箇所の映像を同時に入手するためには、複数セットのカメラ装置を設置すると共に、制御に関しても複数系統を用意する必要があり、制御系が複雑となるばかりか、大規模なシステムとなってしまう問題点があった。また、複数系統の音声を一度に再生することに関しては従来の装置においても可能とされているが、円滑に意思の疎通を図るためには、複数の入力音声に対して選択あるいは音量制御して再生することが望ましく、選択あるいは音量制御することが可能とされた通信システムが要望されている。
【０００４】
従って、この発明の目的は、機構部等の制御を伴うことなく、電子的に同時に多方向の映像と音声を複数の遠隔地からの要求に応じて転送することが可能とされ、音声に関しても円滑にコミュニケーションを図ることが可能とされた通信システムおよび方法、被制御撮影装置並びに端末装置を提供することにある。
【０００５】
【課題を解決するための手段】
以上の問題を解決するために、第１の発明は、撮像手段を有する被制御撮影装置と、被制御撮影装置と伝送路を介して接続される端末装置とからなる通信システムにおいて、端末装置は、撮像手段に対して遠隔から画像内の所定領域の位置を指定する位置指定手段と、撮像手段に対して遠隔から画像内の所定領域の画角を指定する画角指定手段とを備え、被制御撮影装置は、広角レンズを有する撮像手段と、撮像手段により撮像される範囲の略々全てを集音範囲とするように、複数の指向性を有する複数の音声入力手段と、撮像手段により撮像される画像を所定時間間隔で更新されながら一時的に記憶する記憶手段と、位置指定手段および画角指定手段の少なくとも一方により指定される画像内の所定領域に従って複数の音声入力手段を切り換えるか、または、複数の音声入力手段の各々の音量レベルを調整する音声制御手段と、位置指定手段によって画像内の所定領域の位置が指定された場合には、既に設定されている画像内の所定領域の画角と新たに設定された所定領域の位置とに基づいて、切り出された所定領域の画像の歪みを補正した画像情報を出力し、画角指定手段によって画像内の所定領域の画角が指定された場合には、既に設定されている画像内の所定領域の位置と新たに設定された所定領域の画角とに基づいて、切り出された所定領域の画像の歪みを補正した画像情報を出力する歪み補正手段と、歪み補正手段より出力された画像情報、および音声制御手段により制御された音声情報を遠隔の端末装置に対して転送する転送手段とを備えることを特徴とする通信システムである。
【０００６】
なお、上述の端末装置には、音声入力手段および音声出力手段が備えられており、また、被制御撮影装置にも、撮像手段により撮像される範囲の略々全てを拡声範囲とするように、複数の指向性を有する複数の音声出力手段が備えられている。端末装置の音声出力手段は、被制御撮影装置の音声入力手段から入力された音声に対応する音声情報を出力し、被制御撮影装置の音声出力手段は、端末装置の音声入力手段からされた音声に対応する音声情報を出力するように構成されている。上述の音声制御手段は、端末装置により指定される画像内の所定領域に応じて複数の音声出力手段を切り換えるようになされている。
【０００７】
第２の発明は、広角レンズを有する撮像手段と、撮像手段により撮像される範囲の略々全てを集音範囲とするように、複数の指向性を有する複数の音声入力手段と、撮像手段により撮像される画像を所定時間間隔で更新されながら一時的に記憶する記憶手段と、遠隔の端末装置により指定される画像内の所定領域に応じて複数の音声入力手段を切り換えるか、または、複数の音声入力手段の各々の音量レベルを調整する音声制御手段と、端末装置から画像内の所定領域の位置が指定された場合には、既に設定されている画像内の所定領域の画角と新たに設定された所定領域の位置とに基づいて、切り出された所定領域の画像の歪みを補正した画像情報を出力し、端末装置から画像内の所定領域の画角が指定された場合には、既に設定されている画像内の所定領域の位置と新たに設定された所定領域の画角とに基づいて、切り出された所定領域の画像の歪みを補正した画像情報を出力する歪み補正手段と、歪み補正手段より出力された画像情報、および音声制御手段により制御された音声情報を端末装置へ転送する転送手段とを備えることを特徴とする被制御撮影装置である。
【０００８】
第３の発明は、広角レンズを有する撮像手段により撮像することによって画像情報を収集するステップと、複数の指向性を有する複数の音声入力手段によって、撮像手段により撮像される範囲の略々全てを集音範囲として、音声情報を収集するステップと、撮像手段により撮像される画像を所定時間間隔で更新されながら一時的に記憶するステップと、遠隔の端末装置により指定される画像内の所定領域に従って複数の音声入力手段を切り換えるか、または、複数の音声入力手段の各々の音量レベルを調整する音声制御のステップと、端末装置によって画像内の所定領域の位置が指定された場合には、既に設定されている画像内の所定領域の画角と新たに設定された所定領域の位置とに基づいて、切り出された所定領域の画像の歪みを補正した画像情報を出力し、端末装置によって画像内の所定領域の画角が指定された場合には、既に設定されている画像内の所定領域の位置と新たに設定された所定領域の画角とに基づいて、切り出された所定領域の画像の歪みを補正した画像情報を出力する歪みを補正するステップと、歪みを補正するステップにおいて補正された画像情報、および音声制御のステップにおいて制御された音声情報を遠隔の端末装置に対して転送するステップとからなることを特徴とする通信方法である。
【０００９】
この発明では、広角レンズを有する撮像手段と、広角レンズの視野角全体を集音範囲とする各々異なる指向性を有する音声入力手段と、複数の音声入力手段を切り換えるか、または、複数の音声入力手段の各々の音量レベルを調整する音声制御手段と、画像の歪みを補正した画像情報を出力する歪み補正手段と、転送手段とを有する被制御撮影装置が設けられる。端末装置に設けられる要求手段において、画像領域を指定する操作ボタンと、画面の拡大／縮小率を指定する操作ボタンとの操作状態に応じて形成された操作情報と、その要求手段の周辺の音声情報とが制御手段に供給される。このように指定された所定領域の画像情報が記憶手段から読み出され、この画像情報に対して光学歪みを補正する処理がなされると共に、拡大もしくは縮小処理がなされて所定領域の画像情報とされる。得られた画像情報と、その領域の音声情報とが選択されて端末装置側に送信される。このことで、撮像手段が一つしか設置されていないにもかかわらず、複数の端末装置に対して並列処理がなされていずれの端末装置においても撮像手段の設置地点のそれぞれ別個の所定領域の画像情報と音声情報とが入手できる。また、端末装置側に表示させたい所望の領域のみを、その位置および画角に基づいて歪み補正するため、実時間で所望の領域に対応する画像情報を被制御撮影装置から端末装置に転送することが可能となる。
【００１０】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の構成を示す。また、図２は、この発明の一実施形態における遠隔操作端末の外観を示す。なお、図１および図２において対応する箇所に関しては、同一の参照符号が付されている。
【００１１】
図１に示すようにこの発明による通信システムの被制御撮影部が撮影部１、バッファメモリ２、光学歪み補正部３、制御ユニット４、伝送路５および遠隔操作端末群６により構成される。撮影部１は、広角レンズ１１を前面に有したカメラ１２と、マイクロフォン群１３と、アンプ群１４，１７と、Ａ／Ｄ変換器群１５と、Ｄ／Ａ変換器群１６と、スピーカ群１８と、図示せずも各部を収納する筐体等とにより構成されている。
【００１２】
例えば、撮影部１の筐体には、アンプ群１４，１７と、Ａ／Ｄ変換器群１５と、Ｄ／Ａ変換器群１６等とが収納される。また、筐体の上部には、広角レンズ１１を前面に有したカメラ１２が取り付けられ、さらに、筐体の外周面には、マイクロフォン群１３と、スピーカ群１８とが広角レンズ１１の視野角に応じて放射状に取り付けられて一体化されている。つまり、各々異なる指向性を有するマイクロフォン群１３でカメラ１２の広角レンズ１１の視野角全体から集音できるように構成されると共に、各々異なる指向性を有するスピーカ群１８でカメラ１２の広角レンズ１１の視野角全体に音声を発するように構成されている。
【００１３】
広角レンズ１１を前面に有したカメラ１２は、設置位置での略々１８０°にわたる映像を常に撮影し、ディジタル画像信号を形成する。カメラ１２において形成されたディジタル画像信号がバッファメモリ２に供給され、例えば、所定時間間隔で更新されながら一時的に蓄積される。
【００１４】
バッファメモリ２には、後述するように制御ユニット４において形成された制御情報が供給される。バッファメモリ２は、この制御情報に応じて所定領域の画像を切り出す。バッファメモリ２において切り出された所定領域の画像情報が光学歪み補正部３に供給される。
【００１５】
光学歪み補正部３にも、後述するように制御ユニット４において形成された制御情報が供給される。光学歪み補正部３は、この制御情報に応じて所定領域の画像に対して光学歪みの補正処理と拡大／縮小処理を行う。つまり、制御ユニット４からの制御情報により指示される画像の切り出し位置と切り出し寸法から歪みの補正方法が決定され、この補正方法に則って補正処理と拡大／縮小処理がなされる。従って、画像の拡大／縮小処理によってあたかもズームイン／アウトがなされたような画像が形成されると共に、補正する画像のオフセット値を変えることによってあたかもパン／チルトされたような画像が形成され、擬似的に所望の画像が再現される。光学歪み補正回路３において形成された所望の画像情報が制御ユニット４に供給される。
【００１６】
また、カメラ１２の広角レンズ１１の視野角全体を集音範囲とする各々異なる指向性を有するマイクロフォン群１３は、例えば、ｍ個のマイクロフォン１３１，１３２，・・・１３ｍにより構成されている。マイクロフォン１３１，１３２，・・・１３ｍで集音されたｍチャンネルの入力音声信号は、マイクロフォン１３１，１３２，・・・１３ｍに対応して設けられたアンプ１４１，１４２，・・・１４ｍを介されることで増幅され、この増幅出力がＡ／Ｄ変換器１５１，１５２，・・・１５ｍのそれぞれに供給される。
【００１７】
Ａ／Ｄ変換器１５１，１５２，・・・１５ｍのそれぞれにおいて、ディジタル・アナログ変換がなされることでディジタルの音声信号が形成され、ｍチャンネルのディジタル音声信号が制御ユニット４に供給される。
【００１８】
さらに、カメラ１２の広角レンズ１１の視野角全体に音声を発する各々異なる指向性を有するスピーカ群１８は、例えば、ｍ個のスピーカ１８１，１８２，・・・１８ｍにより構成されており、このスピーカ群１８に対応してアンプ１７１，１７２，・・・１７ｍおよびＤ／Ａ変換器１６１，１６２，・・・１６ｍが設けられている。後述するようにこれらｍチャンネルの音声再生系の中で所定のチャンネルにのみ制御ユニット４からのディジタル音声信号が供給され、所定範囲に再生音声が出力される。
【００１９】
一方、遠隔操作端末群６は、同一構成の例えばｎ個の遠隔操作端末６１，６２，・・・６ｎにより構成されている。遠隔操作端末６１，６２，・・・６ｎのそれぞれには、図２に示すように正面の上側略々中央には、例えば液晶表示板等からなる表示部７１が設けられおり、正面の下側には、画像領域を指定する４個の操作ボタン７６，７７，７８，７９と、画面の拡大／縮小率を指定する操作ボタン７４，７５とが配設されている。具体的には、操作ボタン７６が画像領域を上方向に移動させるＵボタンであり、操作ボタン７７が画像領域を下方向に移動させるＤボタンであり、操作ボタン７８が画像領域を左方向に移動させるＬボタンであり、操作ボタン７９が画像領域を右方向に移動させるＲボタンである。また、操作ボタン７４がズームアウトして画像を縮小するＴボタンであり、操作ボタン７５がズームインして画像を拡大するＷボタンである。こられの操作ボタン７４，７５，７６，７７，７８，７９が利用者により任意に操作されることにより撮影部１の設置地点における所望の画像が指定される。
【００２０】
また、遠隔操作端末６１，６２，・・・６ｎの上側縁部には、図２に示すようにマイクロフォン７２およびスピーカ７３が配設されている。図示せずも遠隔操作端末６１，６２，・・・６ｎのそれぞれは、その内部に音声処理部、映像処理部および伝送処理部等を有している。なお、音声処理部は、アンプ、Ａ／Ｄ変換器およびＤ／Ａ変換器等により構成されており、音声信号の入出力処理を行う。また、映像処理部は、Ｄ／Ａ変換器および信号処理回路等により構成されており、制御ユニット４からの映像情報から表示信号を形成して表示部７１に供給し、所定の領域の画像を画面上に表示する。さらに、伝送処理部は、ネットワークインターフェース回路、伝送符号／復号器等により構成されており、マイクロフォン７２を介して得られる音声信号と、画像領域を指定する４個の操作ボタン７６，７７，７８，７９と、画面の拡大／縮小率を指定する操作ボタン７４，７５との操作状態を検出して形成された操作情報とを伝送媒体等に応じた伝送形態となるように変換し、得られた情報を伝送路上に送出すると共に、その逆に供給される制御ユニット４からの所定の伝送形態の情報から元の情報を復元し、各部に供給する。
【００２１】
上述した遠隔操作端末６１，６２，・・・６ｎのそれぞれが例えばネットワーク／電話回線等の伝送路５１，５２，・・・５ｎと接続され、ｎ地点の遠隔地と被制御撮影装置の制御ユニット４との間において互いに情報の交換が可能な状態とされる。具体的には、遠隔操作端末６１，６２，・・・６ｎのそれぞれにおいて、画像領域を指定する４個の操作ボタン７６，７７，７８，７９と、画面の拡大／縮小率を指定する操作ボタン７４，７５との操作状態に応じて形成された操作情報と、その遠隔操作端末６１，６２，・・・６ｎの周辺の音声情報とが制御ユニット４に供給される。一方、制御ユニット４からは、利用者によって指定された撮影部１の設置箇所における所定領域の画像情報と、その領域の音声情報とが遠隔操作端末６１，６２，・・・６ｎのそれぞれに供給される。つまり、撮影部１が一つしか設置されていないにも係わらず、ｎ個の遠隔操作端末６１，６２，・・・６ｎに対して並列処理がなされ、いずれの端末においても撮影部１の設置地点のそれぞれ別個の所定領域の画像情報と音声情報とが入手される。
【００２２】
上述したように情報交換処理を行う制御ユニット４は、例えば、映像処理部４１、音声処理部４２および伝送処理部４３等により構成されている。映像処理部４１は、遠隔操作端末群６からの各々の要求に対応して制御情報を形成し、この制御情報をバッファメモリ２および光学歪み補正部３のそれぞれに供給することで、所望の画像情報を複数入手し、この画像情報を伝送処理部４３に供給する。つまり、映像処理部４１において遠隔操作端末群６からの操作情報に応じ、画像の切り出し位置と切り出し寸法を指示する制御情報が形成される。この映像処理部４１において形成された制御情報がバッファメモリ２および光学歪み補正部３のそれぞれに供給されることで、光学歪み補正回路３において擬似的に所望の画像が再現され、この所望の画像情報が制御ユニット４に供給される。
【００２３】
また、音声処理部４２は、遠隔操作群６からの操作情報に応じて遠隔操作端末群６からのそれぞれの音声情報を再生するスピーカをスピーカ群１８の中から決定し、その選択されたスピーカに対して音声情報を出力すると共に、ｍチャンネルのディジタル音声信号の中から遠隔操作群６からの操作情報に応じた所定の音声信号を選択して、この選択したディジタル音声信号を伝送処理部４３に供給する。従って、音声処理部４２において撮影部１の設置箇所の音声情報と、遠隔操作端末群６の複数の設置箇所からの音声情報の交換がなされる。なお、音声処理部４２から出力されたディジタル音声信号は、Ｄ／Ａ変換器群１６、アンプ群１７およびスピーカ群１８の経路を介されることで音声として再生される。
【００２４】
伝送処理部４３は、ネットワークインターフェース回路、伝送符号／復号器等により構成されており、音声処理部４２からの音声情報と、映像処理部４１からの画像情報とを伝送媒体等に応じた伝送形態となるように変換し、得られた情報を要求先である遠隔操作端末群６のいずれかに転送するように伝送路上に送出する。また、その逆に供給される遠隔操作端末群６からの所定の伝送形態とされた情報から元の操作情報と音声情報とを復元し、操作情報を映像処理部４１および音声処理４２に供給すると共に、音声情報を音声処理部４２に供給する。
【００２５】
上述したようになされる遠隔操作に応じた処理について更に詳細に説明する。図３にこの発明の一実施形態における遠隔操作に応じた処理手順を概略化して示す。一例として遠隔操作端末６１を用いてカメラ１２を右にパンする場合を例に挙げ、その処理について説明する。なお、画像の切り出し位置および切り出し寸法に応じた光学歪みの値は、初期値が設定されているものとする。
【００２６】
遠隔操作端末６１は、単位時間毎に操作情報を制御ユニット４に送出する。先ず、Ｒボタン７９が押された場合（ステップＳ１）には、例えば、遠隔操作端末６１において「１０００００」といった６ビットの操作情報が形成され、この操作情報が制御ユニット４に供給される。
【００２７】
制御ユニット４の映像処理部４１において、端末側からの操作情報から操作者の押したボタンの検出がなされ、それに応じた処理がなされる。この場合においては、Ｒボタン７９が押されているため、先ず、ステップＳ１１において現在のカメラ１２の水平位置が読み出される。
【００２８】
そして、ステップＳ２１において、画像の切り出し位置を更新する必要があるかどうかが判定される。画像の切り出し位置を更新する必要がある場合には、ステップＳ３１に移行し、既に切り出し位置が限度一杯の右の端にあり画像の切り出し位置を更新する必要がない場合には、ステップＳ３４に移行する。
【００２９】
ステップＳ２１において、画像の切り出し位置を更新する必要があると判定された場合には、ステップＳ３１において、画像の切り出し位置が右に移動され、更新処理がなされる。画像の切り出し位置の更新が完了すると、ステップＳ３３において、光学歪みの補正方法が決定される。つまり、カメラのレンズ固有の光学歪みは、画角中の位置によって一義的に決定されるため、この場合においては、前回操作により設定されている切り出し寸法と新たな画像の切り出し位置に基づいて所望の切り出し画像を形成するための歪み補正係数が決定される。ステップＳ３３の処理が完了すると、ステップＳ３４に移行する。
【００３０】
一方、ステップＳ３５において、カメラ１２において形成されたディジタル画像信号がバッファメモリ２に供給され、例えば、所定時間間隔で更新されながら一時的に蓄積されている。従って、ステップＳ３５における初期段階の画像の更新処理が完了する度にステップＳ３４に移行し、所望の画像を形成するための歪み補正係数に基づいた補正処理が光学歪み補正部３においてなされる。補正後の画像情報が新たな切り出し画像情報として取り出され、この画像情報が制御部４の伝送処理部４３を介して端末側に転送される。なお、操作がなされなかった場合（ステップＳ７）には、そのままステップＳ３４に移行し、前回と同様に所望の画像を形成するための歪み補正係数に基づいた補正処理が光学歪み補正部３においてなされ、以下、同様とされる。
【００３１】
画像情報を受け取った遠隔操作端末６１において、表示部７１の表示画面の更新がなされる（ステップＳ３６）。このように遠隔操作端末６１を操作することで利用者は、撮影部１の設置箇所の所望の領域の画像をその表示画面に表示することができ、この状態で以て一連の処理が完了する。
【００３２】
なお、Ｌボタン７８が押された場合（ステップＳ２）に関しても上述したＲボタン７８が押された場合と同様の処理がなされ、左方向の画像情報が新たな切り出し画像情報として取り出される。
【００３３】
また、Ｕボタン７６およびＤボタン７７押された場合（ステップＳ３およびステップＳ４）には、先ず、ステップＳ１２において現在のカメラ１２の垂直位置が読み出される。そして、ステップＳ２２において、画像の切り出し位置を更新する必要があるかどうかが判定される。画像の切り出し位置を更新する必要がある場合には、ステップＳ３１に移行し、画像の切り出し位置を更新する必要がない場合には、ステップＳ３４に移行し、上述したＲボタン７８が押された場合と同様の処理がなされる。
【００３４】
さらに、Ｔボタン７４およびＷボタン７５押された場合（ステップＳ５およびステップＳ６）には、先ず、ステップＳ１３において現在のカメラ１２の画角が読み出される。そして、ステップＳ２３において、画像の切り出し寸法を更新する必要があるかどうかが判定される。画像の切り出し寸法を更新する必要がある場合には、ステップＳ３２に移行し、画像の切り出し寸法を更新する必要がない場合には、ステップＳ３４に移行して上述したＲボタン７８が押された場合と同様の処理がなされる。
【００３５】
ステップＳ２３において、画像の切り出し寸法を更新する必要があると判定された場合には、ステップＳ３２において、画像の切り出し寸法が拡大もしくは縮小され、更新処理がなされる。画像の切り出し寸法の更新が完了すると、ステップＳ３３において、光学歪みの補正方法が決定される。つまり、カメラのレンズ固有の光学歪みは、画角中の位置によって一義的に決定されるため、この場合においては、前回操作により設定されている切り出し位置と新たな画像の切り出し寸法に基づいて所望の切り出し画像を形成するための歪み補正係数が決定される。ステップＳ３３の処理が完了すると、ステップＳ３４に移行し、上述したＲボタン７８が押された場合と同様の処理がなされる。
【００３６】
上述した一実施形態における制御ユニット４の動作について更に詳細に説明する。図４Ａにこの発明の一実施形態における撮影部１の一例としての構成とその設置状況を示す。なお、図４Ａに示す例の場合には、５個のマイクロフォン１３１〜１３５とスピーカ１８１〜１８５とがそれぞれに組み合わされて撮影部１の筐体に等間隔に配設されている。
【００３７】
図４Ａにおいて８１で示されるのが撮影部１が設置された被制御撮影装置側の利用者である。例えば、利用者８１が地点ａ近傍に位置し、その領域の画像が遠隔操作端末群６で指定された場合には、図中矢印９１で示すように広角レンズ１１を介して得られる領域の画像が補正処理され、遠隔操作端末群６の要求先に転送される。この時、マイクロフォン１３２およびスピーカ１８２が制御ユニット４により選択される。従って、マイクロフォン１３２を介して取り込まれた音声情報も画像情報と合わせて遠隔操作端末群６の要求先に転送されると共に、遠隔操作端末群６からの音声情報がスピーカ１８２から再生される。このことにより撮影部１の設置地点と、遠隔操作端末群６の前の複数の利用者との間において円滑にコミニュケーションが図られる。
【００３８】
なお、地点ｂ近傍の領域の画像が遠隔操作端末群６で指定された場合には、図中矢印９２で示すように広角レンズ１１を介して得られる領域の画像が補正処理され、遠隔操作端末群６の要求先に転送される。この時においては、マイクロフォン１３４およびスピーカ１８４が制御ユニット４により選択される。
【００３９】
また、図４Ｂにこの発明の一実施形態における撮影部１の他の例としての構成とその設置状況を示す。なお、図４Ｂに示す例の場合には、スピーカ１８１〜１８５のみが撮影部１の筐体に等間隔に配設されている。
【００４０】
図４Ｂにおいて８１で示されるのが撮影部１の設置側の利用者であり、また、図４において８２で示されるのが別体に設けられた操作ユニットである。操作ユニット８２には、マイクロフォンが配設されると共に、スピーカの選択用のスイッチが配設されている。例えば、利用者８１が地点ａ近傍に位置し、その領域の画像が遠隔操作端末群６で指定された場合には、図中矢印９１で示すように広角レンズ１１を介して得られる領域の画像が補正処理され、遠隔操作端末群６の要求先に転送される。この時、上述した例の場合においては、自動的に制御ユニット４によりマイクロフォン１３１〜１３５およびスピーカ１８１〜１８５のいずれかが選択される。この例の場合においては、利用者８１が手動にてマイクロフォンおよびスピーカの選択を行う。従って、操作ユニット８２の指定したマイクロフォンを介して取り込まれた音声情報が画像情報と合わせて遠隔操作端末群６に転送されると共に、遠隔操作端末群６からの音声情報が利用者８１により選択された所定のスピーカから再生される。このことにより撮影部１の設置地点の利用者８１と、遠隔操作端末群６の前の複数の利用者の中の特定の利用者との間において円滑にコミニュケーションが図られる。
【００４１】
以下、この発明の一実施形態の実際の利用方法について簡単に説明する。上述したように遠隔操作端末群６の前の複数の利用者は、お互いを意識することなく撮影部１の設置箇所のカメラ１２による所望の領域の画像をみることができ、また、撮影部１の設置箇所の利用者とお互いのマイクロフォンとスピーカを介して会話することが可能とされているため、例えば、この発明の一実施形態を通信販売に応用すれば遠隔地の利用者は、カメラを操作して商品を自由に見ることができると共に、必要に応じて店員などに話かけて商品の案内を容易に受けることができ、効率化および簡素化が図られる。
【００４２】
また、音声切り換えスイッチを設ける図４Ｂに示す場合においては、撮影部１の設置地点の利用者は、必要に応じて音声の接続に制限を加えることかでき、遠隔操作端末群６側の複数の利用者の中で特定の利用者以外が会話に参加できないようにできる。従って、この発明の一実施形態を通信販売に応用すれば、撮影部１の設置箇所の利用者は、必要に応じてカメラ１２の前で商品を手に取りながら効率良く、詳しく説明することが可能となる。
【００４３】
なお、上述した一実施形態の説明においては、音声情報に関して異なる地点の情報を交換することが可能とされているが、遠隔操作端末群６側においても、撮影部１、バッファメモリ２、光学歪み補正部３および制御ユニット４を設けて双方向に映像情報に関しても交換するようにして双方向通信システムを構成するようにしても良い。
【００４４】
また、上述した一実施形態の説明においては、マイクロフォン群１３およびスピーカ群１８の中で所定のものを選択して用いる場合について説明したが、ゲインコントロール手段と加算手段等を用いて指定される所定領域に応じて音声の強調もしくは抑制処理を行うようにしても良い。
【００４５】
さらに、上述した図４Ａの例の説明においては、マイクロフォン群１３およびスピーカ群１８を撮影部１の筐体に取り付ける場合について説明したが、図４Ｂに示すようにマイクロフォンを他の場所に設置しても良く、また、スピーカに関しても分散配置しても良い。
【００４６】
【発明の効果】
この発明に依れば、機構部等の制御を伴うことなく、電子的に同時に多方向の映像と音声を複数の遠隔地からの要求に応じて転送することが可能とされ、音声に関しても円滑にコミュニケーションを図ることが可能とされる。
【図面の簡単な説明】
【図１】この発明の一実施形態の全体の構成を示すブロック図である。
【図２】この発明の一実施形態における遠隔操作端末装置の外観と情報交換の様子を示す略線図である。
【図３】この発明の一実施形態の動作説明に用いる略線図である。
【図４】この発明の一実施形態における音声処理の一例および他の例の説明に用いる略線図である。
【符号の説明】
１・・・撮影部、２・・・バッファメモリ、３・・・光学歪み補正部、４・・・制御ユニット、１１・・・広角レンズ、１２・・・カメラ、５１，５２，５ｎ・・・伝送路、６１，６２，６ｎ・・・遠隔操作端末、１３１，１３２，１３ｎ・・・マイクロフォン、１８１，１８２，１８ｎ・・・スピーカ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication system and method, a controlled photographing apparatus, and a terminal apparatus that transfer video captured by a remote video camera and sound collected by a microphone to another point via communication.
[0002]
[Prior art]
Conventionally, camera devices that can be remotely operated are known. This camera device has a tilt / pan function and a zoom function, and the tilt angle (vertical direction) / pan angle (horizontal direction) and zoom are freely controlled according to a remote control signal, and the camera device can be operated in any direction. In addition, a desired image obtained at a predetermined magnification can be transferred to a remote place. For communication purposes, various devices and systems capable of transmitting voice and video to remote locations have been proposed. Further, in recent years, along with the digitization of communication systems, various services can be received in the telephone device, and yet a high-functional telephone device that can send images and the like has been put into practical use.
[0003]
[Problems to be solved by the invention]
However, in a conventional camera device that can be remotely operated, a time delay occurs when the camera is directed in a predetermined direction by a control signal, and there is a structural limit even if the camera control speed is increased. There is a problem that not only electric power for operating the mechanism is required, but also manpower and labor for maintenance and the like are required. Furthermore, in the conventional camera device, since the control system is one system, it is possible to obtain only images from one place at a time. Along with the installation of the camera device, it is necessary to prepare a plurality of systems for control, which not only complicates the control system but also causes a large-scale system. In addition, although it is possible in the conventional apparatus to reproduce a plurality of voices at once, in order to communicate smoothly, a plurality of input voices can be selected or volume controlled. There is a need for a communication system that is desirable to reproduce and that allows selection or volume control.
[0004]
Accordingly, an object of the present invention is to enable electronic and simultaneous transmission of multi-directional video and audio in response to requests from a plurality of remote locations without involving control of a mechanism unit or the like. It is an object of the present invention to provide a communication system and method, a controlled photographing device, and a terminal device that can smoothly communicate.
[0005]
[Means for Solving the Problems]
  To solve the above problems,FirstThe invention of 1In a communication system comprising a controlled imaging device having an imaging means and a terminal device connected to the controlled imaging device via a transmission line, the terminal device remotely locates a predetermined region in the image with respect to the imaging means A position designation means for designating the image, and an angle of view designation means for remotely designating an angle of view of a predetermined area in the image with respect to the imaging means.An imaging unit having a wide-angle lens, a plurality of voice input units having a plurality of directivities, and an image captured by the imaging unit so that substantially all of the range captured by the imaging unit is a sound collection range.While being updated at predetermined time intervals temporarilyStorage means for storing;Designated by at least one of position designation means and angle of view designation meansBe doneIn the imageA plurality of voice input means according to a predetermined area, or a voice control means for adjusting the volume level of each of the plurality of voice input means;When the position of the predetermined area in the image is specified by the position specifying means, the image is cut out based on the angle of view of the predetermined area in the image that has already been set and the position of the predetermined area that has been newly set When the image information in which the distortion of the image in the predetermined area is corrected is output and the angle of view of the predetermined area in the image is specified by the angle of view specifying means, the position of the predetermined area in the image that has already been set and a new And a distortion correction unit that outputs image information obtained by correcting distortion of the image of the cut out predetermined region based on the angle of view of the predetermined region set toA communication system comprising: transfer means for transferring image information and sound information controlled by the sound control means to a remote terminal device.
[0006]
  Note that the terminal device described above is provided with a voice input unit and a voice output unit, and the controlled imaging device also has a loudspeaker range so that substantially all of the range imaged by the imaging unit is used. A plurality of sound output means having a plurality of directivities are provided. The voice output unit of the terminal device outputs voice information corresponding to the voice input from the voice input unit of the controlled photographing device, and the voice output unit of the controlled photographing device outputs the voice information from the voice input unit of the terminal device. Is configured to output audio information corresponding to. The voice control means described above is configured to switch a plurality of voice output means in accordance with a predetermined area in the image designated by the terminal device.
[0007]
  According to a second aspect of the present invention, there is provided an imaging unit having a wide-angle lens, a plurality of voice input units having a plurality of directivities, and an imaging unit so that substantially all of the range imaged by the imaging unit is a sound collection range. A storage unit that temporarily stores an image to be captured while being updated at predetermined time intervals, and a plurality of audio input units are switched according to a predetermined area in an image designated by a remote terminal device, or When the position of the predetermined area in the image is designated from the terminal device and the sound control means for adjusting the volume level of each of the sound input means, the angle of view of the predetermined area in the image that has already been set is newly Based on the set position of the predetermined area, image information obtained by correcting distortion of the image of the cut out predetermined area is output, and when the angle of view of the predetermined area in the image is designated from the terminal device, Set Based on the position of the predetermined area in the image and the newly set angle of view of the predetermined area, distortion correction means for outputting image information obtained by correcting the distortion of the image of the cut out predetermined area, and output from the distortion correction means And a transfer means for transferring the audio information controlled by the audio control means to the terminal device.
[0008]
  ThirdThe invention collects substantially all of the range imaged by the imaging means by the step of collecting image information by imaging with an imaging means having a wide-angle lens and a plurality of sound input means having a plurality of directivities. As a range, a step of collecting audio information and an image captured by the imaging meansWhile being updated at predetermined time intervals temporarilyMemorizing step;Specified by remote terminal deviceBe doneIn the imageA step of voice control for switching a plurality of voice input means according to a predetermined region or adjusting a volume level of each of the plurality of voice input means;When the position of the predetermined area in the image is specified by the terminal device, the predetermined area cut out based on the angle of view of the predetermined area in the image that has already been set and the position of the predetermined area that has been newly set When image information in which the distortion of the image in the area is corrected is output and the angle of view of the predetermined area in the image is specified by the terminal device, the position of the predetermined area in the image that has already been set is newly set. Based on the angle of view of the predetermined area, the distortion is corrected in the step of correcting the distortion for outputting the image information obtained by correcting the distortion of the image of the cut out predetermined area, and the step of correcting the distortion.Image information and voice controlStepsInLeaveRemote terminal device for controlled voice informationInTo transfer toAndA communication method characterized by comprisingIs.
[0009]
  In this invention, imaging means having a wide-angle lens, audio input means having different directivities with the entire viewing angle of the wide-angle lens as the sound collection range,A plurality of sound input means, or a sound control means for adjusting the volume level of each of the plurality of sound input means, a distortion correction means for outputting image information obtained by correcting image distortion,A controlled imaging device having a transfer means is provided. In the request means provided in the terminal device, operation information formed according to the operation state of the operation button for designating the image area and the operation button for designating the enlargement / reduction ratio of the screen, and the sound around the request means Information is supplied to the control means. The image information of the predetermined area designated in this way is read from the storage means, the optical distortion is corrected for this image information, and the enlargement or reduction process is performed to obtain the image information of the predetermined area. The The obtained image information and the sound information of the area are selected and transmitted to the terminal device side. In this way, even though only one image pickup means is installed, parallel processing is performed on a plurality of terminal devices, and images of separate predetermined areas at the installation points of the image pickup means in any of the terminal devices. Information and voice information are available.In addition, in order to correct distortion of only a desired region to be displayed on the terminal device side based on the position and the angle of view, image information corresponding to the desired region is transferred from the controlled photographing device to the terminal device in real time. It becomes possible.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the configuration of an embodiment of the present invention. FIG. 2 shows the appearance of the remote control terminal according to the embodiment of the present invention. In FIG. 1 and FIG. 2, the same reference numerals are assigned to corresponding portions.
[0011]
As shown in FIG. 1, the controlled photographing unit of the communication system according to the present invention comprises a photographing unit 1, a buffer memory 2, an optical distortion correcting unit 3, a control unit 4, a transmission path 5, and a remote control terminal group 6. The photographing unit 1 includes a camera 12 having a wide-angle lens 11 on the front surface, a microphone group 13, amplifier groups 14 and 17, an A / D converter group 15, a D / A converter group 16, and a speaker group 18. And a housing or the like for storing each part (not shown).
[0012]
For example, amplifier groups 14 and 17, an A / D converter group 15, a D / A converter group 16, and the like are housed in the casing of the photographing unit 1. A camera 12 having a wide-angle lens 11 on the front surface is attached to the upper part of the housing, and a microphone group 13 and a speaker group 18 are provided on the outer peripheral surface of the housing at a viewing angle of the wide-angle lens 11. Accordingly, they are attached radially and integrated. That is, the microphone groups 13 having different directivities are configured to collect sound from the entire viewing angle of the wide-angle lens 11 of the camera 12, and the wide-angle lenses 11 of the camera 12 are configured by the speaker groups 18 having different directivities. It is configured to emit sound over the entire viewing angle.
[0013]
The camera 12 having the wide-angle lens 11 on the front surface always captures an image of approximately 180 ° at the installation position and forms a digital image signal. The digital image signal formed in the camera 12 is supplied to the buffer memory 2 and temporarily stored, for example, while being updated at predetermined time intervals.
[0014]
As will be described later, control information formed in the control unit 4 is supplied to the buffer memory 2. The buffer memory 2 cuts out an image of a predetermined area according to this control information. Image information of a predetermined area cut out in the buffer memory 2 is supplied to the optical distortion correction unit 3.
[0015]
The control information formed in the control unit 4 is also supplied to the optical distortion correction unit 3 as will be described later. The optical distortion correction unit 3 performs an optical distortion correction process and an enlargement / reduction process on an image in a predetermined area according to the control information. That is, a distortion correction method is determined from the cutout position and cutout size of the image specified by the control information from the control unit 4, and correction processing and enlargement / reduction processing are performed in accordance with this correction method. Therefore, an image as if zoomed in / out was formed by the enlargement / reduction processing of the image, and an image as if panned / tilted was formed by changing the offset value of the image to be corrected. A desired image is reproduced. Desired image information formed in the optical distortion correction circuit 3 is supplied to the control unit 4.
[0016]
In addition, the microphone group 13 having different directivities with the entire viewing angle of the wide-angle lens 11 of the camera 12 as a sound collection range is composed of, for example, m microphones 131, 132,. The m-channel input audio signals collected by the microphones 131, 132,... 13m are passed through the amplifiers 141, 142,... 14m provided corresponding to the microphones 131, 132,. The amplified output is supplied to each of the A / D converters 151, 152,... 15m.
[0017]
In each of the A / D converters 151, 152,... 15m, digital / analog conversion is performed to form a digital audio signal, and an m-channel digital audio signal is supplied to the control unit 4.
[0018]
Furthermore, the speaker group 18 having different directivities that emit sound over the entire viewing angle of the wide-angle lens 11 of the camera 12 is composed of, for example, m speakers 181, 182,. .., 17m and D / A converters 161, 162,... 16m are provided. As will be described later, the digital audio signal from the control unit 4 is supplied only to a predetermined channel in the m channel audio reproduction system, and the reproduced audio is output within a predetermined range.
[0019]
On the other hand, the remote operation terminal group 6 is composed of, for example, n remote operation terminals 61, 62,. Each of the remote control terminals 61, 62,..., 6n is provided with a display unit 71 made of, for example, a liquid crystal display plate at a substantially upper center of the front as shown in FIG. Are provided with four operation buttons 76, 77, 78, 79 for designating an image area, and operation buttons 74, 75 for designating an enlargement / reduction ratio of the screen. Specifically, the operation button 76 is a U button that moves the image area upward, the operation button 77 is a D button that moves the image area downward, and the operation button 78 moves the image area leftward. The operation button 79 is an R button for moving the image area in the right direction. The operation button 74 is a T button for zooming out and reducing the image, and the operation button 75 is a W button for zooming in and enlarging the image. These operation buttons 74, 75, 76, 77, 78, 79 are arbitrarily operated by the user, whereby a desired image at the installation point of the photographing unit 1 is designated.
[0020]
Further, as shown in FIG. 2, a microphone 72 and a speaker 73 are disposed on the upper edge of the remote operation terminals 61, 62,. Although not shown, each of the remote operation terminals 61, 62,... 6n has an audio processing unit, a video processing unit, a transmission processing unit, and the like therein. The audio processing unit is composed of an amplifier, an A / D converter, a D / A converter, and the like, and performs audio signal input / output processing. The video processing unit includes a D / A converter, a signal processing circuit, and the like. The video processing unit forms a display signal from the video information from the control unit 4 and supplies the display signal to the display unit 71. Display on the screen. Further, the transmission processing unit is composed of a network interface circuit, a transmission code / decoder, and the like, and an audio signal obtained via the microphone 72 and four operation buttons 76, 77, 78, for designating an image area. 79 and the operation information formed by detecting the operation state of the operation buttons 74 and 75 for designating the enlargement / reduction ratio of the screen is converted into a transmission form corresponding to the transmission medium, etc. The information is sent out on the transmission line, and conversely, the original information is restored from the information of the predetermined transmission form from the control unit 4 supplied to the transmission path, and supplied to each unit.
[0021]
Each of the above-described remote operation terminals 61, 62,... 6n is connected to transmission lines 51, 52,. 4 can exchange information with each other. Specifically, in each of the remote operation terminals 61, 62,... 6n, four operation buttons 76, 77, 78, 79 for designating an image area, and operation buttons for designating an enlargement / reduction ratio of the screen. Operation information formed in accordance with the operation states 74 and 75 and audio information around the remote operation terminals 61, 62,... 6n are supplied to the control unit 4. On the other hand, the control unit 4 supplies image information of a predetermined area at the installation location of the photographing unit 1 designated by the user and audio information of the area to each of the remote operation terminals 61, 62,. Is done. That is, although only one photographing unit 1 is installed, n remote operation terminals 61, 62,..., 6n are processed in parallel, and the photographing unit 1 is installed in any terminal. Image information and audio information of predetermined predetermined areas of the points are obtained.
[0022]
As described above, the control unit 4 that performs information exchange processing includes, for example, a video processing unit 41, an audio processing unit 42, a transmission processing unit 43, and the like. The video processing unit 41 forms control information in response to each request from the remote operation terminal group 6 and supplies the control information to each of the buffer memory 2 and the optical distortion correction unit 3 to thereby obtain a desired image. A plurality of pieces of information are obtained, and this image information is supplied to the transmission processing unit 43. That is, in the video processing unit 41, control information for instructing the cutout position and cutout size of the image is formed according to the operation information from the remote operation terminal group 6. The control information formed in the video processing unit 41 is supplied to each of the buffer memory 2 and the optical distortion correction unit 3, so that a desired image is reproduced in a pseudo manner in the optical distortion correction circuit 3, and the desired image is reproduced. Information is supplied to the control unit 4.
[0023]
In addition, the voice processing unit 42 determines a speaker for reproducing each voice information from the remote operation terminal group 6 from the speaker group 18 according to the operation information from the remote operation group 6, and sets the selected speaker as the selected speaker. In addition to outputting audio information, a predetermined audio signal corresponding to the operation information from the remote operation group 6 is selected from the m-channel digital audio signals, and the selected digital audio signal is transmitted to the transmission processing unit 43. Supply. Accordingly, the voice processing unit 42 exchanges voice information of the installation location of the photographing unit 1 and voice information from a plurality of installation locations of the remote operation terminal group 6. The digital audio signal output from the audio processing unit 42 is reproduced as audio through the route of the D / A converter group 16, the amplifier group 17, and the speaker group 18.
[0024]
The transmission processing unit 43 includes a network interface circuit, a transmission code / decoder, and the like, and transmits audio information from the audio processing unit 42 and image information from the video processing unit 41 according to a transmission medium or the like. And the obtained information is sent out on the transmission line so as to be transferred to any one of the remote operation terminal groups 6 that are the request destinations. On the contrary, the original operation information and audio information are restored from the information in a predetermined transmission form supplied from the remote operation terminal group 6, and the operation information is supplied to the video processing unit 41 and the audio processing 42. At the same time, the audio information is supplied to the audio processing unit 42.
[0025]
The process according to the remote operation performed as described above will be described in more detail. FIG. 3 schematically shows a processing procedure according to a remote operation in one embodiment of the present invention. As an example, a case where the camera 12 is panned to the right using the remote operation terminal 61 will be described as an example. It is assumed that an initial value is set as the value of the optical distortion corresponding to the cutout position and cutout dimension of the image.
[0026]
The remote operation terminal 61 sends operation information to the control unit 4 every unit time. First, when the R button 79 is pressed (step S <b> 1), for example, 6-bit operation information such as “100000” is formed in the remote operation terminal 61, and this operation information is supplied to the control unit 4.
[0027]
In the video processing unit 41 of the control unit 4, the button pressed by the operator is detected from the operation information from the terminal side, and processing corresponding to that is performed. In this case, since the R button 79 is pressed, first, in step S11, the current horizontal position of the camera 12 is read.
[0028]
In step S21, it is determined whether or not it is necessary to update the cutout position of the image. If it is necessary to update the cutout position of the image, the process proceeds to step S31. If the cutout position is already at the right end of the limit and it is not necessary to update the cutout position of the image, the process proceeds to step S34. To do.
[0029]
If it is determined in step S21 that the image cutout position needs to be updated, the image cutout position is moved to the right in step S31, and an update process is performed. When the update of the image cut-out position is completed, an optical distortion correction method is determined in step S33. In other words, the optical distortion specific to the lens of the camera is uniquely determined by the position in the angle of view. In this case, the desired optical distortion is determined based on the cut-out dimension set by the previous operation and the cut-out position of the new image. The distortion correction coefficient for forming the cutout image is determined. When the process of step S33 is completed, the process proceeds to step S34.
[0030]
On the other hand, in step S35, the digital image signal formed in the camera 12 is supplied to the buffer memory 2 and temporarily accumulated, for example, while being updated at predetermined time intervals. Therefore, every time the initial image update process in step S35 is completed, the process proceeds to step S34, and the optical distortion correction unit 3 performs a correction process based on a distortion correction coefficient for forming a desired image. The corrected image information is extracted as new cut-out image information, and this image information is transferred to the terminal side via the transmission processing unit 43 of the control unit 4. If no operation has been performed (step S7), the process directly proceeds to step S34, and correction processing based on a distortion correction coefficient for forming a desired image is performed in the optical distortion correction unit 3 as in the previous time. The same applies hereinafter.
[0031]
In the remote operation terminal 61 that has received the image information, the display screen of the display unit 71 is updated (step S36). By operating the remote control terminal 61 in this way, the user can display an image of a desired area at the location where the photographing unit 1 is installed on the display screen. In this state, a series of processing is completed. .
[0032]
Note that, when the L button 78 is pressed (step S2), the same processing as when the R button 78 is pressed is performed, and image information in the left direction is extracted as new cut-out image information.
[0033]
If the U button 76 and D button 77 are pressed (step S3 and step S4), first, the current vertical position of the camera 12 is read in step S12. In step S22, it is determined whether or not the image cutout position needs to be updated. When it is necessary to update the cutout position of the image, the process proceeds to step S31. When it is not necessary to update the cutout position of the image, the process proceeds to step S34, and the above-described R button 78 is pressed. The same processing is performed.
[0034]
Further, when the T button 74 and the W button 75 are pressed (step S5 and step S6), first, in step S13, the current angle of view of the camera 12 is read. In step S23, it is determined whether it is necessary to update the cutout dimension of the image. When it is necessary to update the cutout dimension of the image, the process proceeds to step S32, and when it is not necessary to update the cutout dimension of the image, the process proceeds to step S34 and the above-described R button 78 is pressed. The same processing is performed.
[0035]
If it is determined in step S23 that the image cutout size needs to be updated, the image cutout size is enlarged or reduced in step S32, and an update process is performed. When the update of the image cut-out dimension is completed, an optical distortion correction method is determined in step S33. In other words, the optical distortion inherent in the camera lens is uniquely determined by the position in the angle of view. In this case, the desired optical distortion is determined based on the cutout position set by the previous operation and the cutout dimension of the new image. The distortion correction coefficient for forming the cutout image is determined. When the process of step S33 is completed, the process proceeds to step S34, and the same process as when the R button 78 described above is pressed is performed.
[0036]
The operation of the control unit 4 in the above-described embodiment will be described in further detail. FIG. 4A shows a configuration as an example of the photographing unit 1 and an installation state thereof in one embodiment of the present invention. In the case of the example shown in FIG. 4A, five microphones 131 to 135 and speakers 181 to 185 are combined with each other and arranged in the casing of the photographing unit 1 at equal intervals.
[0037]
In FIG. 4A, reference numeral 81 denotes a user on the controlled imaging apparatus side where the imaging unit 1 is installed. For example, when the user 81 is located in the vicinity of the point a and the image of the area is designated by the remote operation terminal group 6, the image of the area obtained through the wide-angle lens 11 as indicated by the arrow 91 in the figure. Is corrected and transferred to the request destination of the remote operation terminal group 6. At this time, the microphone 132 and the speaker 182 are selected by the control unit 4. Therefore, the audio information captured via the microphone 132 is also transferred to the request destination of the remote operation terminal group 6 together with the image information, and the audio information from the remote operation terminal group 6 is reproduced from the speaker 182. As a result, communication between the installation point of the photographing unit 1 and a plurality of users in front of the remote operation terminal group 6 can be smoothly performed.
[0038]
When the image of the area near the point b is designated by the remote operation terminal group 6, the image of the area obtained through the wide-angle lens 11 is corrected as shown by the arrow 92 in the figure, and the remote operation terminal Transferred to group 6 requestee. At this time, the microphone 134 and the speaker 184 are selected by the control unit 4.
[0039]
FIG. 4B shows another example of the configuration of the photographing unit 1 and its installation state in one embodiment of the present invention. In the case of the example shown in FIG. 4B, only the speakers 181 to 185 are arranged in the casing of the photographing unit 1 at equal intervals.
[0040]
In FIG. 4B, a user 81 is shown on the installation side of the photographing unit 1, and a user operation unit 82 is shown in FIG. The operation unit 82 is provided with a microphone and a switch for selecting a speaker. For example, when the user 81 is located in the vicinity of the point a and the image of the area is designated by the remote operation terminal group 6, the image of the area obtained through the wide-angle lens 11 as indicated by the arrow 91 in the figure. Is corrected and transferred to the request destination of the remote operation terminal group 6. At this time, in the case of the above-described example, any one of the microphones 131 to 135 and the speakers 181 to 185 is automatically selected by the control unit 4. In the case of this example, the user 81 manually selects a microphone and a speaker. Accordingly, the audio information captured through the microphone designated by the operation unit 82 is transferred to the remote operation terminal group 6 together with the image information, and the audio information from the remote operation terminal group 6 is selected by the user 81. It is reproduced from a predetermined speaker. As a result, communication between the user 81 at the installation location of the photographing unit 1 and a specific user among a plurality of users in front of the remote operation terminal group 6 can be smoothly performed.
[0041]
Hereinafter, an actual utilization method of an embodiment of the present invention will be briefly described. As described above, a plurality of users in front of the remote operation terminal group 6 can view an image of a desired area by the camera 12 at the place where the photographing unit 1 is installed without being conscious of each other. For example, if one embodiment of the present invention is applied to mail order sales, a user at a remote location can use a camera. The product can be viewed freely by operating it, and if necessary, it is possible to easily receive guidance on the product by talking to a store clerk or the like, thereby improving efficiency and simplification.
[0042]
In the case shown in FIG. 4B in which a voice changeover switch is provided, the user at the installation location of the photographing unit 1 can limit the voice connection as necessary, and a plurality of remote operation terminal group 6 side multiple users can be connected. It is possible to prevent a user other than a specific user from participating in the conversation. Therefore, if one embodiment of the present invention is applied to mail order sales, the user at the location where the photographing unit 1 is installed can efficiently explain in detail while picking up a product in front of the camera 12 as necessary. It becomes possible.
[0043]
In the description of the embodiment described above, it is possible to exchange information on different points with respect to audio information. However, on the remote operation terminal group 6 side, the photographing unit 1, the buffer memory 2, the optical distortion, and the like. The bidirectional communication system may be configured such that the correction unit 3 and the control unit 4 are provided to exchange video information bidirectionally.
[0044]
In the description of the above-described embodiment, the case where a predetermined one of the microphone group 13 and the speaker group 18 is selected and used has been described. However, a predetermined designation using gain control means, addition means, and the like. Audio enhancement or suppression processing may be performed according to the region.
[0045]
Furthermore, in the description of the example of FIG. 4A described above, the case where the microphone group 13 and the speaker group 18 are attached to the housing of the photographing unit 1 has been described. However, as shown in FIG. 4B, the microphone is installed in another place. Also, the speakers may be arranged in a distributed manner.
[0046]
【The invention's effect】
According to the present invention, it is possible to electronically transfer multi-directional video and audio in response to requests from a plurality of remote locations without involving control of a mechanism unit or the like. It is possible to communicate with each other.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of an embodiment of the present invention.
FIG. 2 is a schematic diagram showing an external appearance and information exchange state of the remote control terminal device according to the embodiment of the present invention.
FIG. 3 is a schematic diagram used for explaining the operation of the embodiment of the present invention.
FIG. 4 is a schematic diagram used for explaining an example of audio processing and another example in the embodiment of the present invention;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image pick-up part, 2 ... Buffer memory, 3 ... Optical distortion correction part, 4 ... Control unit, 11 ... Wide angle lens, 12 ... Camera, 51, 52, 5n ...・ Transmission path, 61, 62, 6n ... Remote operation terminal, 131, 132, 13n ... Microphone, 181, 182, 18n ... Speaker

Claims

In a communication system comprising a controlled imaging device having an imaging means and a terminal device connected to the controlled imaging device via a transmission path,
The terminal device is
Position designation means for remotely designating the position of the predetermined area in the image with respect to the imaging means;
An angle-of-view designation means for remotely designating the angle of view of the predetermined area in the image with respect to the imaging means
With
The controlled imaging device is
An imaging means having a wide-angle lens;
A plurality of sound input means having a plurality of directivities so that substantially all of the range imaged by the imaging means is a sound collection range;
Storage means for temporarily storing images captured by the imaging means while being updated at predetermined time intervals ;
A sound for switching the plurality of sound input means according to a predetermined area in the image designated by at least one of the position designating means and the angle of view designating means , or adjusting the volume level of each of the plurality of sound input means Control means;
When the position of the predetermined area in the image is specified by the position specifying means, based on the angle of view of the predetermined area in the image that has already been set and the position of the newly set predetermined area When the image information obtained by correcting the distortion of the image of the cut out predetermined area is output and the angle of view of the predetermined area in the image is specified by the angle of view specifying means, Distortion correction means for outputting image information obtained by correcting distortion of the image of the predetermined area that is cut out based on the position of the predetermined area and the angle of view of the newly set predetermined area;
A communication system comprising: transfer means for transferring image information output from the distortion correction means and voice information controlled by the voice control means to a remote terminal device.

The terminal device includes voice input means and voice output means,
The controlled photographing apparatus includes a plurality of sound output means having a plurality of directivities so that substantially all of the range imaged by the imaging means is a loudness range.
The voice output means of the terminal device outputs voice information corresponding to the voice input from the voice input means of the controlled imaging device;
The sound output means of the controlled photographing apparatus outputs sound information corresponding to the sound input from the sound input means of the terminal device.
The communication system according to claim 1.

The voice control means switches a plurality of voice output means of the controlled photographing apparatus according to a predetermined area in the image designated by the terminal device.
The communication system according to claim 2.

An imaging means having a wide-angle lens;
A plurality of sound input means having a plurality of directivities so that substantially all of the range imaged by the imaging means is a sound collection range;
Storage means for temporarily storing images captured by the imaging means while being updated at predetermined time intervals ;
Or switching the plurality of audio input means in response to a predetermined region within the image specified by the remote terminal device, or a sound control means for adjusting the volume level of each of said plurality of audio input means,
When the position of the predetermined area in the image is designated by the terminal device, based on the angle of view of the predetermined area in the image that has already been set and the position of the predetermined area that has been newly set, When image information obtained by correcting distortion of the image of the cut out predetermined area is output and the angle of view of the predetermined area in the image is designated by the terminal device, the predetermined area in the image that has already been set A distortion correction unit that outputs image information obtained by correcting distortion of the image of the cut out predetermined area based on the position of the image and the angle of view of the newly set predetermined area;
The controlled imaging apparatus characterized by <br/> to Ru and a transfer means for transferring the image information output from the distortion correcting unit, and the voice information controlled by the voice control means to said terminal apparatus.

Collecting image information by imaging with imaging means having a wide angle lens;
A step of collecting sound information using a plurality of sound input means having a plurality of directivities as a sound collection range for substantially all of the range imaged by the image pickup means;
Temporarily storing images captured by the imaging means while being updated at predetermined time intervals ;
A step of voice control for switching the plurality of voice input means in accordance with a predetermined area in the image specified by a remote terminal device or adjusting a volume level of each of the plurality of voice input means;
When the position of the predetermined area in the image is designated by the terminal device, based on the angle of view of the predetermined area in the image that has already been set and the position of the predetermined area that has been newly set, When image information obtained by correcting distortion of the image of the cut out predetermined area is output and the angle of view of the predetermined area in the image is designated by the terminal device, the predetermined area in the image that has already been set Correcting distortion for outputting image information obtained by correcting distortion of the image of the cut out predetermined area based on the position of the image and the angle of view of the newly set predetermined area;
And forwarding for corrected the image information in the step of correcting the distortion, and the audio information Oite control to step of the voice control in a remote terminal unit
Communication wherein the or Ranaru.