JPH08317363A

JPH08317363A - 画像伝送装置

Info

Publication number: JPH08317363A
Application number: JP7115445A
Authority: JP
Inventors: Kazuyoshi Izumi; 和芳泉
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-05-15
Filing date: 1995-05-15
Publication date: 1996-11-29

Abstract

(57)【要約】【目的】ＴＶ会議等のシステムにおいて、伝送される
画像を撮るカメラ位置の調整のために、操作者を要しな
いように自動化し、さらに、画像とともに伝送される話
者の言語情報の認識を音声信号によらないで行うこと。【構成】カメラ部１からの画像は、ビデオ信号処理部
７，ディジタル信号処理部８，通信制御部９を経てディ
ジタル化された画像データとして外部回線に伝送され、
外部回線からの画像データは、上記と逆にビデオ信号に
変換され、画像表示される。一方、カメラ部１からの画
像は、ディジタル信号処理部８で画像認識されるが、認
識内容は、複数話者から現に言葉を発している特定話者
を識別することと、発している言葉の認識で、前者によ
ってカメラを特定話者に向け、後者によって文字データ
への変換を行う。文字データは、画像データとともに外
部回線に伝送され、テロップとして表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議，テレビ電
話等のシステムにも用い得る装置で、カメラによる話者
の画像データ，言葉といった情報のどちらもを画像情報
として通信するための画像伝送装置に関する。

【０００２】

【従来の技術】図３は、従来の画像伝送装置の機能ブロ
ック図である。カメラ部１では被写体からの反射光がズ
ームレンズ５を通り、固体撮像素子（ＣＣＤ）２に結像
される。ＣＣＤ２では、入射光が光電変換により電気信
号に変換され、映像の水平方向のシリアルデータとして
ビデオ信号処理部７へ入力される。ここでの入射光は、
輝度信号と色差信号に演算処理された後、アナログ−デ
ィジタル変換器（Ａ／Ｄ）を通して数ビットのディジタ
ル信号に変換され、ディジタル信号処理部８へ転送され
る。ディジタル信号処理部８へ入力されたディジタル信
号は、符号化処理が行われ、圧縮されたデータとしてフ
ィールドメモリへ書き込まれる。マイク１０からの音声
信号も、ここでディジタル信号に変換された後に符号化
され、メモリへ書き込まれる。フィールドメモリへ書き
込まれた映像データは、表示を行うため、ビデオ信号処
理部７へ転送されると同時に、ユーザの意志に従って通
信制御部９へ転送され、アナログ一般回線またはＩＳＤ
Ｎ回線を通して通信相手へ伝送される。ビデオ信号処理
部７へ転送された映像データは、ディジタル−アナログ
変換器（Ｄ／Ａ）によりアナログ信号に変換された後、
エンコード処理が行われ、コンポジット信号として外部
モニタへ出力される。一方、通信制御部９へ転送された
映像／音声データは、アナログ一般回線またはＩＳＤＮ
回線のネットワーク制御及びプロトコル制御を通信制御
部９で行い伝送が開始される。

【０００３】以上は、通信の送り手側の信号の流れで、
受け手側の場合はこの逆のプロセスをたどる。アナログ
一般回線またはＩＳＤＮ回線から送られてきた映像／音
声データは、通信制御部９を通してディジタル信号処理
部８へ入力される。この受信データは符号化された圧縮
データである。ディジタル信号処理部８では、圧縮デー
タをフィールドメモリへの書き込みが行われると同時
に、復号化してビデオ信号処理部７へ転送し、ディジタ
ル−アナログ変換器（Ｄ／Ａ）でアナログ信号に変換さ
れた後、エンコード処理でコンポジット信号に変換され
て外部モニタへ出力される。ここで使用したカメラ部１
は、画像伝送装置に付属または市販品のカメラ装置を接
続して撮影を行うものであった。従って、カメラを複数
話者の中の特定話者へ方向を変える場合、付属のカメラ
では遠隔電動操作が可能なものもあるが、市販品のカメ
ラでは遠隔操作用の制御線が無いために、手動で特定話
者の方向へカメラを向けるしかできなかった。何れにし
ろ、従来技術では、会議の話し手を撮影するには、手動
もしくは電動によりカメラを向け、話者がどの位置にい
るかを操作者がモニタを見て確認しながら、特定話者が
モニタの中央にくるまでカメラのレンズ部を上下左右に
動かしていた。

【０００４】また、複数話者から特定話者を選択する手
段として、例えば特開昭６２−１４７８６９号公報記載
の自動追尾撮像装置があるが、この公報では、フレーム
の映像中の複数話者から動きのある人物を抽出し、その
人物像を電気的に拡大する手法を採用しているために、
拡大部分の解像度が著しく劣化するという問題点があ
る。さらに、特開昭６２−２００８８６号公報記載の電
子会議システムでは、複数話者から特定話者を抽出する
手段として話者からの音声が２台のマイクに到達するま
での時間を解析し、その差分を基に話者を特定している
が、この場合、複数の中の１人が話者の時は良いが、複
数人が同時に話す場合とか小声の場合に、周囲のノイズ
に人の音声が埋もれて音声を解析できないという問題点
がある。さらに、特開平３−８８５９２号公報記載のテ
レビ電話装置があるが、この公報では、単語あるいは文
字として認識される対象を音声信号のみによっているの
で、話者の発する音それ自体、あるいは周囲における音
の環境が悪いと、認識率が劣るという欠点がある。

【０００５】

【発明が解決しようとする課題】上述のように、従来の
技術では、会議中の話し手を撮影するために、モニタを
見ながら手動もしくは電動でカメラ位置を調整する必要
があり、調整が完了するまで会議の議題または話題に集
中することができなかったので、本発明は、このような
操作者によるカメラ位置の調整を要しないように自動化
することを目的とする。さらに、従来の技術では、画像
とともに伝送される話者の言語情報の認識を音声信号の
みによっているために、認識率が劣る場合や話者が限定
されることがあるので、音声信号によらないで言語の認
識を行い、これを音声信号と同時に伝送することを目的
とする。また、上記した目的に従う装置の性能を上げる
ためのカメラ部の構成の改良を発明の目的とする。

【０００６】

【課題を解決するための手段】本発明は、上記課題を解
決するために、電話回線を使用して通信する通信装置
と、通信データを圧縮／伸長するディジタル信号処理部
と、送信した画像または受信した画像を表示信号に処理
するビデオ信号処理部と、送信する画像の入力部として
使用するカメラ部と、そのカメラ部からの画像データを
処理し識別結果を得る装置を備えた画像伝送装置におい
て、（１）前記カメラ部を上下左右に動かせる回転部分
を備え、カメラからの画像データを認識処理することで
複数の話者の中から特定の話者を識別し、カメラを自動
的に該特定の話者の方向へ移動すること、或いは、
（２）前記カメラ部を上下左右に動かせる回転部分と、
音声データの入力部を備え、カメラからの画像データを
認識処理することで複数の話者の中から特定の話者を識
別し、カメラを自動的に該特定の話者の方向へ移動する
と同時に、該特定の話者が話している言葉を識別し文字
データに変換し、該文字データを通信相手に対して音声
データと多重して送信し、相手側モニタには前記画像デ
ータと重ね合わせたテロップで表示すること、或いは、
（３）前記カメラ部に話者を特定するための超広角レン
ズと話者を拡大撮影するためのズームレンズのそれぞれ
を別個に有することによりなる２台のカメラを備えたこ
とを特徴としたものである。

【０００７】

【作用】請求項１の発明においては、複数の話者をとら
えたカメラ部からの画像データを認識処理し、言葉を発
している特定の話者を識別し、該特定の話者の方向へカ
メラ部を移動させ、その話者を画像の中央でとらえると
ともに、カメラ部からの画像データは圧縮され、ディジ
タルデータとして通信され、送あるいは受信されたこの
ディジタルデータは、伸長されてビデオ信号に処理さ
れ、表示し得ることになる。したがって、ＴＶ会議シス
テム等の画像伝送装置で複数話者の中から現在話をして
いる特定話者を自動的に選択できるので、複数話者が同
席している通常の会議と同様な効率の良い会議進行が可
能になる。

【０００８】また、請求項２の発明においては、請求項
１の発明の上記した作用に加え、カメラ部からの前記特
定の話者の画像データにもとづいて該特定の話者が話し
ている言葉を識別し文字データに変換し、該文字データ
を音声データと多重して伝送し、画像表示ではカメラ部
の画像データと重ね合わせたテロップで行うようにな
る。したがって、画像と音声のみでは不自由を感じる人
に対して文字情報を画像／音声と同時に伝達できるよう
になり、会議に参加できるメンバーの幅を広げられると
同時に、伝達情報が増えることで、より正確且つ高度な
会議が運営可能となる。

【０００９】さらに、請求項３の発明においては、請求
項１および２の発明における言葉を発している話者の特
定のために行う認識処理に適した画像を超広角レンズに
より得ることになり、また、該特定の話者へのカメラの
移動の後では、ズームレンズによる特定の話者の拡大画
像を用いることができ、より装置の性能を良くすること
ができ、当該会議の効率を向上することが可能となる。

【００１０】

【実施例】図１および図２は、本発明の実施例の構成を
機能ブロック図で示すが、これらの図にもとづいて、実
施例を動作とともに説明する。まず、カメラ部１から取
り込まれた画像は、ＣＣＤのような固体撮像素子２
（３）を経由してビデオ信号処理部７で輝度信号と色差
信号に変換された後、アナログ−ディジタル（Ａ／Ｄ）
変換が行われ、ディジタル信号処理部８へ入力される。
図１のディジタル信号処理部８では、主に画像の特徴抽
出，動きベクトルの検出による画像特徴抽出部の認識処
理，カメラ部駆動制御信号の生成，画像メモリ（フィー
ルドメモリ）制御及び画像の圧縮／伸長が行われてい
る。図２のディジタル信号処理部８では、主に画像の特
徴抽出，動きベクトルの検出による画像特徴抽出部の認
識処理，マイク１０からの音声認識処理，画像メモリ
（フィールドメモリ）制御及び画像の圧縮／伸長が行わ
れている。カメラ部１からのディジタル化された画像デ
ータは、ここで圧縮されたデータとして通信制御部９へ
転送され、公衆電話回線を通して伝送される。

【００１１】超広角レンズ４から入力される映像信号に
は、会議または打ち合わせを行う複数の話者が撮影され
ており、複数の話者の口元を抽出し、現在動いているか
否かの判別をする。そして、複数話者の中から最も動き
の激しい動きのある話者を特定する。特定された話者
は、超広角レンズ４からの映像信号の中央に位置するよ
うに、カメラ部１の電磁石６を駆動し、カメラの向きを
変化させる。つまり、複数の話者から１人を特定し、常
時その特定者の方向にカメラが向くような自動追尾を行
うことになる。話者の口元が動いているかは、動きベク
トル検出法の手法を用いる。動きベクトル検出法には大
別して次の３手法がある。代表点マッチング法時間的に連続した２枚の画像のうち、片方の画像より代
表点を抜き出し、もう片方の画像と位置をずらしながら
絶対値差をとり、すべての代表点に関して加算累積す
る。その累積値が最小となる偏位量を２枚の画像が最も
相関が高いものとして、その偏位量を動きベクトルとし
て求める。勾配法時間的に連続した２枚の画像より輝度値の時間的勾配と
空間的勾配の比により動きベクトルを求める。この勾配
法には、計算を簡略化し反復計算により検出精度を向上
させる反復勾配法がある。位相相関法時間的に連続した２枚の画像のフーリエ変換係数の位相
部が速度を反映していることを利用して動きベクトルを
求める。計算量は膨大である。が、ここでは、代表点マッチング法を用いた回路構成と
した。

【００１２】図５は、動きベクトル検出のブロック図、
図６は、動きベクトル検出器の詳細ブロック図である。
ＣＣＤ２（３）からの信号をＣＣＤ信号処理部７₁にお
いて処理して得られた輝度信号は、Ａ／Ｄ変換器７₂を
通してディジタル信号に変換された後、奇数フィールド
及び偶数フィールドのライン間の位置ずれを補正するラ
イン補間器７₃₁を通り、２次元ローパスフィルタ７₃₂を
通過した信号は、サンプリングされ代表点として代表点
メモリ７₃₃に記録される。次のフィールドでは、前フィ
ールドの代表点として代表点ラインメモリ７₃₄に呼び出
され、ローパスフィルタ７₃₂から出力される現フィール
ドの各画素の輝度値との間で絶対値差分７₃₅がとられ、
次段の加算器７₃₆に入力される。この加算器７₃₆のもう
一方の入力端子には、累積加算メモリ７₃₇の出力が接続
されており、加算結果は累積加算メモリ７₃₇に記録され
て行く。これら一連の演算がＴＶ走査の全走査にわたっ
て実行されると、累積加算メモリ７₃₇には２次元アドレ
スに対応した累積関数が得られる。その後、累積加算メ
モリ７₃₇の内容の内最小値をとるセルに対するアドレス
が動きベクトルとして出力７₃₈される。検出された動き
ベクトルは、中央演算装置８₈（ＣＰＵ）で約１秒毎に
最も動きのある話者を特定する。話者が特定されれば、
カメラに取り付けられている電磁石６を駆動し、その話
者がカメラからの映像の中央にくるようにする。

【００１３】特定話者が話している言葉は、ズームレン
ズ５を有するカメラにおけるＣＣＤ３からの映像信号か
ら口元部分を抽出し、予め記録した口元のパターンとパ
ターンマッチング処理をすることでその言葉の認識を行
う。また、この実施例では、マイク１０からの音声信号
から音声認識をディジタル信号処理回路部８で行い、発
音されている言葉を特定する手段も備えている。このよ
うに、画像認識と音声認識を併用してもよく、この場
合、認識精度をより大幅に向上することが可能である。
いずれにおいても、認識された言葉は文字情報に変換さ
れ、変換された文字情報は、通信制御部９でマイク１０
からの音声データと多重化処理されて通信相手に伝送さ
れる。伝送された文字情報は、モニタにスーパーインポ
ーズされ、テロップとして表示される。

【００１４】図４は、画像の入力部に２台のカメラを使
用する本発明の実施例のカメラ部の正面図Ａ、側面図Ｂ
を示す。ここに、２台のカメラの中ズームレンズ５をも
つものは、特定話者を撮影し、現在話している言葉を認
識するためのもので、もう１台は、超広角レンズ４をも
つもので、会議または打ち合わせに参加している復数話
者の中から、特定話者を選択するためのものであり、と
もにＣＣＤのような固体撮像素子を使用しているが、網
膜チップ等の素子を使用しても良い。図４において、超
広角レンズ４とズームレンズ５を収納したカメラユニッ
ト部１１は、土台１２（キビネット等）に複数本のバネ
１３で固定されている。カメラユニット部１１の左右上
部には、それぞれ電磁石６₃，６₁，６₂が近接して配置
されている。また、カメラユニット部１１の後部には、
永久磁石１４が取り付けられており、電磁石６₃，６₁，
６₂の近傍に配置されている。初期状態では、それぞれ
の電磁石のコイル部には電流は流れておらず、カメラユ
ニット部１１の方向を変化させる時に各個別に電流が流
れるように制御される。例えば、カメラユニット部１１
を左に変化させる時には、電磁石６₁に電流を流す。す
ると、カメラユニット部１１の後部にある永久磁石１４
が引き付けられ、レンズ部は左方向に動く。動く割合
は、超広角レンズ４からの映像信号から特定された話者
が中央にくるように制御される。

【００１５】図７は、本発明の実施例の詳細回路ブロッ
ク図を示す。カメラ部１のＣＣＤ２（３）からの出力信
号は、ＣＣＤ信号処理部７₁で輝度信号と色差信号に変
換される。それぞれの信号は、Ａ／Ｄ７₂でアナログ信
号からディジタル信号へ変換され、画像メモリ８₅へ記
録される。この時、ＣＣＤ信号処理部７₁からの輝度信
号は、一部動きベクトル検出器７₃へ転送され、動きベ
クトルとしてマイクロプロセッサ８₈へ入力される。デ
ィジタル信号処理部８では、画像データのメモリ８₅へ
の書き込み又は読み込みを行うメモリ制御部８₁と、画
像データのエンコード／デコードを行う画像コーデック
部８₃と、効率の良いデータ転送を行うためのバッファ
メモリ８₂，８₄と、カメラが話者を追随するための制御
部としてのカメラ制御部８₆と、人物の口元を抽出して
言葉を認識するための画像認識部８₇及びマイクロプロ
セッサ８₈から構成されている。カメラ部１のＣＣＤ２
（３）からの信号は、画像メモリ８₅へ一度記録され
る。回線へのデータ転送時は、このメモリ８₅からデー
タを読み出し、バッファメモリ８₂を通して画像コーデ
ック部８₃へ転送され、そこでデコード処理が行われ、
再びバッファメモリ８₄を介して通信制御部９へ転送さ
れる。通信回線からの受信データは、全くこの逆の流れ
でデコード処理が行われ、画像メモリ８₅へ書き込まれ
る。マイクロプロセッサ８₈は、この一連の流れを制御
すると共に、記録されたデータから人物の口元部分を抽
出し、その後、パターンマッチングの手法を用いて話者
の話している言葉を認識するための動作の制御、あるい
は、ビデオ信号処理部７からの動きベクトルから複数話
者の中の特定話者を選択し、カメラをその話者へ移動す
るためのカメラ駆動制御部８₆の動作の制御を行う。デ
ィジタル信号処理部８からのデコードされたデータは、
通信制御部９において、マイクロプロセッサ９₅の制御
のもとに、デュアルポートメモリ９₁およびデータセレ
クタ９₂を介して、パラレルデータからシリアルデータ
へ変換器９₃により変換された後、一般公衆回線へ回線
制御用コントローラ９₄を介して送信される。

【００１６】

【発明の効果】

〔請求項１に対応する効果〕ＴＶ会議等のシステムにお
いて、本発明の画像伝送装置によって、複数話者の中か
ら現在話をしている特定話者を自動的に選択し、該話者
を画像の中央にとらえた画像情報を通信できるので、複
数話者が同席している通常の会議と同様な効率の良い会
議進行が可能になる。〔請求項２に対応する効果〕請求項１の発明の上記した
効果に加えて、話者の言葉を文字データとして音声デー
タと多重化して伝送するので、画像と音声のみでは不自
由を感じる人に対して文字情報を画像／音声と同時に伝
達できるようになり、会議に参加できるメンバーの幅を
広げられると同時に、伝達情報が増えることで、より正
確且つ高度な会議が運営可能となる。〔請求項３に対応する効果〕超広角レンズを複数の話者
からの特定の話者の認識に用いる画像を撮るため、ま
た、ズームレンズを特定の話者の拡大画像を撮るためと
適切に使い分けることができ、より装置の性能が良くな
ることにより、当該会議の効率を向上することが可能と
なる。

【図面の簡単な説明】

【図１】本発明の実施例の構成を機能ブロックで示す図
である。

【図２】本発明の他の実施例の構成を機能ブロックで示
す図である。

【図３】従来の当該画像伝送装置の構成を機能ブロック
で示す図である。

【図４】本発明の実施例のカメラ部を示し、（Ａ）は正
面図、（Ｂ）は側面図である。

【図５】本発明の実施例で用いる動きベクトルに検出の
構成を機能ブロックで示す図である。

【図６】本発明の実施例で用いる動きベクトル検出器の
構成をブロックで示す図である。

【図７】本発明の実施例の詳細回路をブロックで示す図
である。

【符号の説明】

１…カメラ部、２…固体撮像素子（ＣＣＤ）、３…固体
撮像素子（ＣＣＤ）、４…超広角レンズ、５…ズームレ
ンズ、６…カメラ部駆動用電磁石、６₁…カメラ左方向
駆動電磁石、６₂…カメラ右方向駆動電磁石、６₃…カメ
ラ上下方向駆動電磁石、７…ビデオ信号処理部、７₁…
ＣＣＤ信号処理部、７₂…アナログ／ディジタル変換
器、７₃…動きベクトル検出器、７₄…映像信号エンコー
ダ、７₅…ディジタル／アナログ変換器、７₂₄…代表点
ラインメモリ、７₃₁…ライン補間器、７₃₃…代表点メモ
リ、７₃₅…絶対値差分回路、７₃₆…加算器、７₃₇…累積
加算器メモリ、７₃₈…動きベクトル出力器、８…ディジ
タル信号処理部、８₁…メモリ制御部、８₂…バッファメ
モリ、８₃…画像コーデック用ＩＣ、８₄…バッファメモ
リ、８₅…画像メモリ、８₆…カメラ駆動制御部、８₇…
画像認識部、８₈…マイクロプロセッサ（ＣＰＵ）、９
…通信制御部、９₁…デュアルポートメモリ、９₂…デー
タセレクタ、９₃…シリアル／パラレル変換器、９₄…回
線制御用コントローラ、９₅…マイクロプロセッサ（Ｃ
ＰＵ）、１０…マイク、１１…カメラ、１３…カメラユ
ニット固定バネ、１２…カメラユニット土台、１４…永
久磁石、１５…ＮＴＳＣ映像出力端子、１７…内蔵／外
部マイク。

Claims

【特許請求の範囲】

【請求項１】電話回線を使用して通信する通信装置
と、通信データを圧縮／伸長するディジタル信号処理部
と、送信した画像または受信した画像を表示信号に処理
するビデオ信号処理部と、送信する画像の入力部として
使用するカメラ部と、そのカメラ部からの画像データを
処理し識別結果を得る装置と、前記カメラ部を上下左右
に動かせる回転部分を備えた画像伝送装置において、カ
メラからの画像データを認識処理することで複数の話者
の中から特定の話者を識別し、カメラを自動的に該特定
の話者の方向へ移動することを特徴とする画像伝送装
置。
【請求項２】電話回線を使用して通信する通信装置
と、通信データを圧縮／伸長するディジタル信号処理部
と、送信した画像または受信した画像を表示信号に処理
するビデオ信号処理部と、送信する画像の入力部として
使用するカメラ部と、該カメラ部からの画像データを処
理し識別結果を得る装置と、前記カメラ部を上下左右に
動かせる回転部分と、音声データの入力部を備えた画像
伝送装置において、カメラからの画像データを認識処理
することで複数の話者の中から特定の話者を識別し、カ
メラを自動的に該特定の話者の方向へ移動すると同時
に、該特定の話者が話している言葉を識別し文字データ
に変換し、該文字データを通信相手に対して音声データ
と多重して送信し、相手側モニタには前記画像データと
重ね合わせたテロップで表示することを特徴とする画像
伝送装置。
【請求項３】電話回線を使用して通信する通信装置
と、通信データを圧縮／伸長するディジタル信号処理部
と、送信した画像または受信した画像を表示信号に処理
するビデオ信号処理部と、送信する画像の入力部として
使用するカメラ部と、そのカメラ部からの画像データを
処理し識別結果を得る装置を備えた画像伝送装置におい
て、前記カメラ部に話者を特定するための超広角レンズ
と話者を拡大撮影するためのズームレンズのそれぞれを
別個に有することによりなる２台のカメラを備えたこと
を特徴とする画像伝送装置。