JP3745000B2 - 画像通信装置及びその制御方法 - Google Patents
画像通信装置及びその制御方法 Download PDFInfo
- Publication number
- JP3745000B2 JP3745000B2 JP01221196A JP1221196A JP3745000B2 JP 3745000 B2 JP3745000 B2 JP 3745000B2 JP 01221196 A JP01221196 A JP 01221196A JP 1221196 A JP1221196 A JP 1221196A JP 3745000 B2 JP3745000 B2 JP 3745000B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- control
- image
- control information
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＳＤＮ（サービス総合デジタル網）等の例えばデジタル回線に接続され、遠隔地間で画像の送受信を行うための画像通信装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
近年、画像圧縮符号化技術の発達とＩＳＤＮ（サービス総合デジタル網）に代表される高速・高品位なデジタル回線の普及とに伴い、テレビ会議システム等のＡＶ（オーディオ・ビジュアル）サービス用の勧告が規定され、この勧告に従った様々な画像通信システムが開発されてきている。
【０００３】
代表的な画像通信システムであるテレビ会議システムの運用形態としては、テレビ会議専用のテレビ会議室を設け、遠隔地のテレビ会議室にいる参加者とテレビ会議システムを介して会議を行うのが一般的である。この会議は、通常、テレビ会議室ごとに複数の参加者が集まり、多人数対多人数で行うことが多い。
【０００４】
このように１つのテレビ会議端末の前に複数の参加者がいる場合、相手局側のテレビ会議端末に送信する自局側の参加者の映像を撮影する方法がいくつか考えられている。従来のテレビ会議端末の例としては、参加者撮影用の画像撮影部（例えばビデオカメラ）のズームを広角側にあわせて参加者全員が映るようにする方法や、首振り機構付きの画像撮影部を使用して特定の参加者の方向に前記画像撮影部の撮影方向を向ける方法などがある。
【０００５】
ここで、後者の画像撮影部の首振り方法の一例として、テレビ会議の各参加者ごとにマイクを設置して全参加者の音量レベルを調べ、一番音声レベルの大きい参加者の方向に前記画像撮影部の撮影方向を自動的に向ける方法などが提案されている。しかし、多くのテレビ会議システムでは、特定の参加者（以下、操作者という）がテレビ会議システムの操作部を操作することにより、前記画像撮影部の首振り制御を行うという方法が採られている。
【０００６】
このようなテレビ会議システムに使用される画像撮影部の中には、前記操作部から与えられる制御情報（コマンド）に応じて、上下左右の首振り制御の他に、ズーミングや焦点合わせ等の制御を行うことができるようになされたものがある。また、撮影対象までの距離を自動的に測定し、該撮影対象に対して焦点を合わせる自動焦点機能付きの画像撮影部もある。さらに、複数の測距点を設けることにより、撮影画面上の任意または特定の被写体に対して焦点を合わせることができるようになされた画像撮影部もある。
【０００７】
また、同じコマンド体系をもつ画像撮影部およびテレビ会議システム同士の通信では、自局側のテレビ会議システムの画像撮影部の制御だけでなく、相手局側の画像撮影部の制御をも行うことができるようになされたテレビ会議システムも存在する。このようなテレビ会議システムでは、相手局側のテレビ会議端末に対して前記相手局側の画像撮影部に対する制御情報を送信することにより、前記相手局側の画像撮影部を制御する。
【０００８】
【発明が解決しようとする課題】
前述の操作者が操作部を操作して画像撮影部の制御を行う形態のテレビ会議システムでは、例えば画像撮影部の首振り制御キー（左キー、右キー、上キー、下キー）を押すことにより画像撮影部の向きを制御している。しかしながら、この方法では、自局側のテレビ会議端末の画像撮影部の撮影方向を変える場合、システムによって画像撮影部の首振り方向と首振り制御キーとの対応関係が異なるために、操作が複雑になってしまうという問題があった。
【０００９】
例えば、図１０に示すように、自局側の画像表示部に自局側の画像を表示するウィンドウ１００（以下、自画像表示ウィンドウという）と、相手局側の画像を表示するウィンドウ１０１（以下、相手画像表示ウィンドウという）とが表示されている場合を考える。この場合に、前記相手画像表示ウィンドウ１０１の左寄りに表示されている被写体１０３を前記相手画像表示ウィンドウ１０１の中央にもってくるためには、相手局側の画像撮影部１０５（以下、相手画像撮影部という）の撮影方向を矢印１０７に示す方向に変更する必要がある。この場合、操作者による首振り制御キーの操作は「左キー」を押すことが一般的である。
【００１０】
一方、前記自画像表示ウィンドウ１００の左寄りに表示されている被写体１０２を前記自画像表示ウィンドウ１００の中央にもってくるためには、自局側の画像撮影部１０４（以下、自画像撮影部という）の撮影方向を矢印１０６に示す方向に変更する必要がある。
【００１１】
この場合、操作者による首振り制御キーの操作としては、
ａ）「左キー」を押す。自画像撮影部１０４から見た首振り方向と一致。
ｂ）「右キー」を押す。被写体１０２から見た首振り方向と一致。
の２種類の操作が考えられる。システムの設定によってどちらの操作を使用するかを選択することができるようになされたテレビ会議システムもある。
【００１２】
このように、従来のテレビ会議システムでは、自画像撮影部１０４の首振り方向と首振り制御キーとの対応関係が異なるために、操作が複雑になってしまうという問題があった。
【００１３】
また、自局側から相手画像撮影部１０５の制御を行う場合は、自局側のテレビ会議端末の操作部のキー入力に応じて、例えば「左キー」が押されるごとに「相手画像撮影部１０５の撮影方向を左方向に変更」という内容のコマンドが相手局側のテレビ会議端末に通信回線を介して送信され、そのコマンドにより予め決められた分だけ前記相手画像撮影部１０５の撮影方向が変更される。そして、その結果として撮影方向の変更途中や変更後における相手画像が通信回線を介して自局側の画像表示部に通知され、これが前記相手画像表示ウィンドウ１０１に表示される。
【００１４】
したがって、自局側のテレビ会議端末において前記相手画像撮影部１０５を制御する制御キーを押してから、その結果を反映した新しい相手画像が自局側の相手画像表示ウィンドウ１０１に表示されるまでの間に、制御コマンドおよび画像データの転送や、画像の符号化復号化を行うための遅延時間が生じる。このため、自局側のテレビ会議端末において制御キーを必要以上に押してしまうことが多くなり、前記相手画像撮影部１０５を望んだ方向に向けるのが困難であった。
【００１５】
このような問題は、自局側から前記相手画像撮影部１０５のズーミング制御を行う場合にも同様に生じる。すなわち、自局側でズーミング制御用のキーを押してからその結果を反映した相手画像が前記相手画像表示ウィンドウ１０１に表示されるまでに遅延時間があるため、望みのサイズにズーミングすることが困難であるという問題があった。
【００１６】
また、１つのテレビ会議室に複数の会議参加者がいる場合において、画像撮影部との距離が各参加者ごとに異なっているときは、従来のテレビ会議システムでは手動で焦点を調節する必要があったため、焦点を合わせるための複雑な操作が必要になってしまうという問題があった。また、自動焦点機能付きの画像撮影部もあるが、撮影画面の中央に位置する参加者に対して自動的に焦点を合わせるようになされていたため、中央に位置する参加者以外の参加者には焦点が合わず、顔の識別が困難になってしまうという問題があった。
【００１７】
かかる遅延時間の問題は、前述した種々の制御に限らず、例えば、操作者がポインティングデバイスによって自在に描画を行うような場合においても同様に発生する問題である。
【００１８】
本発明は、通信路を介して制御指令（コマンド）を伝送する際に生じる応答の遅れに伴って発生する問題を解決することができる画像通信装置及びその制御方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
本発明に係る画像通信装置は、通信回線を介して送信され通信相手を制御するための制御情報を生成する制御情報生成手段と、前記通信回線の所定の遅延時間後に送信される制御情報によって前記通信相手が不正確に動作することを防止する防止手段と、前記通信相手に送信された制御情報に応じて前記通信相手から制御完了通知を受け取る受信手段と、を有し、上記防止手段は、前記受信手段が前記制御完了通知を受け取るまで、前記制御情報生成手段が別の制御情報を生成するのを防止することを特徴とする。
【００２３】
本発明に係る画像通信装置の制御方法は、通信回線を介して送信され通信相手を制御するための制御情報を生成する制御情報生成手段において、前記通信回線の所定の遅延時間後に送信される制御情報によって前記通信相手が不正確に動作することを防止する制御を実行し、当該制御に当たり、前記通信相手に送信された制御情報に応じて前記通信相手から制御完了通知を受け取るまで、別の制御情報を生成するのを防止することを特徴とする。
【００３４】
【発明の実施の形態】
図１は、本発明の要素的特徴を示すブロック図である。
図１において、自局側の画像を撮影する自画像撮影部６７と画像表示部６８とそれ以外の構成要素５１〜６６を具備する画像通信装置とにより自局側の画像通信システムが構成されている。前記画像通信装置には、前記構成要素５１〜６６の他に、後述の図２において説明する種々の構成要素が含まれているが、ここでは図示を省略している。
【００３５】
また、相手局側の画像通信システムにおいては、相手局側の画像を撮影する相手画像撮影部６９のみを図示し、その他の構成については図示を省略したが、相手局側の画像通信システムも自局側と同様に構成されており、自局側と相手局側とで画像データや種々の制御情報を相互に送受信することにより、例えばテレビ会議を行うことができるようになされている。
【００３６】
図１において、５１は位置指定部であり、画像表示部６８に表示されている画像上の任意の点を指定するものである。また、５２は領域指定部であり、画像表示部６８に表示されている画像上の任意の領域を指定するものである。これらの位置指定部５１および領域指定部５２は、自画像撮影部６７や相手画像撮影部６９の撮影状態（撮影方向、撮影領域、焦点位置など）を変更しようとするときに用いられる。
【００３７】
５３は制御判定部であり、前記位置指定部５１または領域指定部５２により点または領域のいずれの指定が行われたかを判定する。また、制御選択部５４により特定の種類の制御を行うことが選択されているときは、その選択内容の判別も行う。なお、前記制御選択部５４は、撮影方向制御部５６、撮影領域制御部５９または焦点位置制御部６４の中から任意の制御を選択するものである。
【００３８】
５５は画像撮影部識別部であり、前記位置指定部５１や領域指定部５２により画像上において点または領域が指定された場合に、その画像を表示している画像表示部に対応する画像撮影部の識別を行う。
【００３９】
例えば、画像表示部６８に自局側の画像を表示する自画像表示ウィンドウ６８ａと相手局側の画像を表示する相手画像表示ウィンドウ６８ｂとが表示されている場合に、自画像表示ウィンドウ６８ａの画像を撮影している自画像撮影部６７と相手画像表示ウィンドウ６８ｂの画像を撮影している相手画像撮影部６９との識別を行う。すなわち、自画像表示ウィンドウ６８ａと相手画像表示ウィンドウ６８ｂとの何れの画像上で点または領域が指定されたかを識別する。また、自局側または相手局側に複数の画像表示部がある場合には、それらの画像表示部のうちの何れの画像上で点または領域が指定されたかを識別する。
【００４０】
そして、前記制御判定部５３の判定結果および画像撮影部識別部５５による識別結果に応じて、撮影方向制御部５６、撮影領域制御部５９、焦点位置制御部６４のいずれかの制御が行われ、対応する画像撮影部を制御するための制御情報が計算されるようになっている。
【００４１】
撮影方向制御部５６では、制御判定部５３の判定結果および画像撮影部識別部５５の識別結果に応じて、自画像撮影部６７または相手画像撮影部６９の撮影方向を上下左右に変更するための制御情報を計算する。すなわち、例えば自画像撮影部６７に対する制御情報を計算する場合は、まず撮影状態検査部５７により前記自画像撮影部６７の現在の撮影状態を検査する。
【００４２】
そして、撮影方向制御情報計算部５８により、前記撮影状態検査部５７の検査の結果得られる自画像撮影部６７の現在の撮影状態を表す情報に基づいて、前記位置指定部５１により指定された点が自画像表示ウィンドウ６８ａの中心にくるように自画像撮影部６７の撮影方向を変更するための制御情報を計算する。なお、この制御情報の計算方法の詳細については後述する。
【００４３】
なお、相手画像撮影部６９に対する制御情報を計算する場合は、撮影状態検査部５７において前記相手画像撮影部６９の現在の撮影状態を検査する点で、前記自画像撮影部６７に対する制御情報を計算する場合と相違するが、その他の処理については同様である。
【００４４】
また、撮影領域制御部５９では、制御判定部５３の判定結果および画像撮影部識別部５５の識別結果に応じて、自画像撮影部６７または相手画像撮影部６９の撮影領域を制御するための制御情報（ズーミングを行うための制御情報）を計算する。すなわち、例えば自画像撮影部６７に対する制御情報を計算する場合は、まず矩形領域生成部６０により前記領域指定部５２で指定された領域を包含する矩形領域を生成する。
【００４５】
そして、この生成した矩形領域の中心点を前記位置指定部５１により指定された点と同様とみなし、撮影状態検査部６１および撮影方向制御情報計算部６２により、前記撮影状態検査部５７および撮影方向制御情報計算部５８による処理と同様にして、矩形領域の中心点が自画像表示ウィンドウ６８ａの中心にくるように自画像撮影部６７の撮影方向を変更するための制御情報を計算する。また、焦点距離計算部６３により、前記矩形領域の大きさが自画像表示ウィンドウ６８ａの大きさと同じになるように焦点距離を変更するための制御情報を計算する。
【００４６】
また、焦点位置制御部６４では、制御判定部５３の判定結果および画像撮影部識別部５５の識別結果に応じて、自画像撮影部６７または相手画像撮影部６９の焦点位置を制御するための制御情報を計算する。すなわち、例えば自画像撮影部６７に対する制御情報を計算する場合は、焦点位置制御情報計算部６５により、前記位置指定部５１で指定された点に自画像撮影部６７の焦点を合わせるための制御情報を計算する。
【００４７】
以上のようにして撮影方向制御部５６、撮影領域制御部５９、焦点位置制御部６４により計算された制御情報は、それぞれ制御情報通知部６６に与えられる。制御情報通知部６６は、前記画像撮影部識別部５５による識別結果に応じて、与えられた制御情報を自画像撮影部６７または相手画像撮影部６９に通知する。なお、相手画像撮影部６９への通知は、相手局側の画像通信システムに通信回線（公衆回線、無線回線等）を介して制御情報を送信することによって行う。
【００４８】
自画像撮影部６７および相手画像撮影部６９では、通知された制御情報に従って撮影状態（撮影方向、撮影領域、焦点位置など）の変更処理を実行する。前記画像撮影部６７、６９には図示しない制御部が含まれ、前記制御情報はこの制御部に通知されるようになっており、撮影状態の変更処理は、この制御情報の通知を受けた制御部によって行われるようになされている。
【００４９】
自画像撮影部６７により撮影された画像は、自画像表示ウィンドウ６８ａに表示されるとともに、通信回線を介して相手局側の画像表示部（図示せず）に伝えられて表示される。また、相手画像撮影部６９により撮影された画像は、相手局側の画像表示部（図示せず）に表示されるとともに、通信回線を介して相手局側から自局側に伝えられ、相手画像表示ウィンドウ６８ｂに表示される。
【００５０】
以上のように、自画像表示ウィンドウ６８ａまたは相手画像表示ウィンドウ６８ｂに表示されている画像上で任意の点や領域を指定するだけで、その画像を撮影している自画像撮影部６７または相手画像撮影部６９の撮影状態（撮影方向、撮影領域、焦点位置）の制御を確実に行うことができ、前記各制御を行うための操作が容易になる。
【００５１】
また、自局側において相手画像撮影部６９の撮影状態を制御する場合でも、ある制御を行うために点や領域を指定してからその結果を反映した新しい相手画像が相手画像表示ウィンドウ６８ｂに表示されるまでにかかる遅延時間による問題は生じない。すなわち、自局側の相手画像表示ウィンドウ６８ｂ上において、操作者が最終的に撮影方向、撮影領域、焦点位置等の変更を行おうとする位置や領域を指定すれば、その指定した位置や領域の情報に基づいて相手画像撮影部６９の撮影状態が指定した通りに自動的に変更されるので、撮影方向、撮影領域、焦点位置の変更等の各制御を操作者の意図通りに行うことが容易になる。
【００５２】
図２は、本発明の一実施形態であるテレビ会議システムの構成を示すブロック図である。
図２において、１は音声入出力手段の１つであるハンドセット、２は音声入力手段の１つであるマイク、３は音声出力手段の１つであるスピーカ、４は音声インタフェース部であり、システム制御部１４からの指示により、前記ハンドセット１、マイク２、スピーカ３の切り換え処理や、前記ハンドセット１のオン／オフフック状態の検出処理等を行う。
【００５３】
５は音声符号化復号化部であり、システム制御部１４からの指示により、64kbps PCM A-law、 64kbps PCM μ-law、64kbps／56kbps／48kbps SB-ADPCM 、32kbps ADPCM、16kbps（例えばAPC-AB）、8kbps 等の音声信号符号化復号化アルゴリズムに従って、送信音声信号の符号化処理および受信音声信号の復号化処理を行う。
【００５４】
６は画像撮影部の１つであるカメラであり、このカメラ６に所定の制御情報を通知することにより、撮影方向、ズーミング、焦点合わせ等の制御が可能なようになされている。７は画像撮影部の他の１つである書画カメラであり、会議に用いるドキュメント等の資料を撮影するためのものである。
【００５５】
８は画像表示部の１つであるディスプレイであり、前記カメラ６および書画カメラ７からの画像または相手局側のテレビ会議システムから通信回線を介して送られてくる受信画像等を、それぞれ自画像表示ウィンドウまたは相手画像表示ウィンドウに表示するためのものである。
【００５６】
９はビデオインタフェース部であり、システム制御部１４からの指示により、例えば表示画面の切り換え処理、画像信号の合成処理、画像撮影部の撮影方向を制御する撮影方向制御処理等の種々の処理を行う。１０はビデオ符号化復号化部であり、ITU-T 勧告H.261 に従って送信画像信号の符号化処理および受信画像信号の復号化処理を行う。
【００５７】
１１はデータ通信を行うためのデータ端末、１２はデータインタフェース部であり、前記データ端末１１およびシステム制御部１４からの送信データを多重分離化部１５へ通知するとともに、相手局側からの受信データをデータ端末１１またはシステム制御部１４に通知する。１３は操作部であり、本システムの種々の制御を行うための制御情報の入力に使用するものである。操作部１３は、例えばキーボード、座標入力装置（マウス、タブレット等）などを有している。
【００５８】
上述のシステム制御部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭおよび記憶装置等を備え、本システム全体の監視および制御を行う。また、多重分離化部１５は、ITU-T 勧告H.221 に従って、音声符号化復号化部５からの音声信号、ビデオ符号化復号化部１０からのビデオ信号、データインタフェース部１２からのデータ信号をＢＡＳ（ビットレート割当信号）に変換し、送信フレーム単位に多重化する多重化処理を行う。また、受信フレームを構成単位の各メディアに分離し、この分離したデータをそれぞれ音声符号化復号化部５、ビデオ符号化復号化部１０およびデータインタフェース部１２に通知する分離処理も行う。
【００５９】
１６は回線インタフェース部であり、ＩＳＤＮ（サービス総合デジタル網）等の通信回線に接続され、ＩＳＤＮユーザ・網インタフェースに従ってシステム制御部１４からの指示により回線の制御を行う。
前記構成のテレビ会議システムが、同様に構成された遠隔地のテレビ会議システムとＩＳＤＮ通信回線を介して接続され、画像や音声や制御情報等を相互に送受信することによりテレビ会議を行うことができるようになされている。
【００６０】
なお、上述した各構成のうち、ビデオインタフェース部９とシステム制御部１４とにより、図１に示した制御判定部５３、画像撮影部識別部５５、撮影方向制御部５６、撮影領域制御部５９、焦点位置制御部６４および制御情報通知部６６が構成されている。
【００６１】
図３は、本実施形態に係るテレビ会議システムにおいて、カメラ６の撮影方向を制御する動作を説明するための図である。
図３において、３００は画像表示部の１つである画像表示ウィンドウ、３０１はカメラ６の撮影対象である被写体、３０２は前記画像表示ウィンドウ３００上の任意の点を指定するためのポインティングカーソルである。
【００６２】
図３（ａ）に示すように前記画像表示ウィンドウ３００の中心からずれた位置にある被写体３０１が、図３（ｂ）に示すように画像表示ウィンドウ３００の中心にくるようにカメラ６の撮影方向を変更する場合、本実施形態によるテレビ会議システムでは、図３（ａ）に示すように、画像表示ウィンドウ３００の中心にもってこようとする被写体３０１の顔の位置を、ポインティングカーソル３０２およびそのカーソル３０２に対する指示（例えば、ポインティングカーソル３０２をマウスで構成した場合、かかるマウスのクリック動作）によって指定することにより、カメラ６の撮影方向を自動的に変更する。
【００６３】
図４は、本実施形態によるテレビ会議システムにおいて、カメラ６の撮影方向の制御情報を計算する方法の一例を説明するための図である。
図４において、４００は画像表示ウィンドウ、４０１はカメラ６の撮影対象である被写体、４０２は前記ポインティングカーソル３０２により指定された画像表示ウィンドウ４００上の指定点、４０３はカメラ６のレンズ、４０４はカメラ６により撮影した画像の結像イメージである。
【００６４】
本実施形態では、前記画像表示ウィンドウ４００上の指定点４０２と前記カメラ６の状態とをもとにして、前記指定点４０２で示される被写体４０１が画像表示ウィンドウ４００の中心にくるようにするためのカメラ６の撮影方向制御情報を計算するようにしている。この計算方法の一例を以下に示す。
【００６５】
まず、カメラ６の左右方向に対する撮影方向制御情報は、図４に示すカメラ６の撮影方向の左右方向に対する首振り角度θx を求めればよい。
ここで、レンズ４０３から結像イメージ４０４までの焦点距離をｆ、画像表示ウィンドウ４００の横幅をＭ、画像表示ウィンドウ４００の中心から指定点４０２までの横方向の距離をＸ、結像イメージ４０４の横幅をｍ、結像イメージ４０４の中心から指定点４０２に相当する点までの横方向の距離をｘとすると、前記カメラ６の撮影方向の左右方向に対する首振り角度θx は、次の（式１）により求められる。
ｔａｎθx ＝ＭＸ／ｍｆ
θx ＝ｔａｎ-1（ＭＸ／ｍｆ） …（式１）
【００６６】
同様に、カメラ６の上下方向に対する撮影方向制御情報は、図４に示すカメラ６の撮影方向の上下方向に対する首振り角度θy を求めればよい。
画像表示ウィンドウ４００の縦幅をＮ、画像表示ウィンドウ４００の中心から指定点４０２までの縦方向の距離をＹ、結像イメージ４０４の縦幅をｎ、結像イメージ４０４の中心から指定点４０２に相当する点までの縦方向の距離をｙとすると、前記カメラ６の撮影方向の上下方向に対する首振り角度θy は、次の（式２）により求められる。
ｔａｎθy ＝ＮＹ／ｎｆ
θy ＝ｔａｎ-1（ＮＹ／ｎｆ） …（式２）
【００６７】
図５は、本実施形態のテレビ会議システムにおいて、自画像表示ウィンドウまたは相手画像表示ウィンドウに対して位置指定があった場合に、自画像撮影部または相手画像撮影部の撮影方向を制御するための処理の流れを示すフローチャートである。以下に、図１のブロック図を参照しながらこのフローチャートについて説明する。
【００６８】
図５において、まずステップＳ５００で、位置指定部５１により自画像表示ウィンドウ６８ａまたは相手画像表示ウィンドウ６８ｂのいずれかに対して撮影方向の指定があったかどうかを制御判定部５３で検査する。そして、指定があった場合はステップＳ５０１に進み、指定がなかった場合はステップＳ５００の処理を繰り返す。
【００６９】
ステップＳ５０１では、画像撮影部識別部５５により、前記指定があったウィンドウに表示されている画像を撮影している画像撮影部が自局側のものであるか相手局側のものであるかを識別する。そして、指定されたウィンドウに表示されている画像が自画像である場合はステップＳ５０２に進み、相手画像である場合はステップＳ５０５に進む。
【００７０】
ステップＳ５０２では、撮影状態検出部５７により、前記自画像撮影部６７の現在の状態（図４に示したレンズ４０３から結像イメージ４０４までの焦点距離ｆや画像表示ウィンドウ４００の中心から指定点４０２までの横幅Ｘ、縦幅Ｙなど）を調べる。
【００７１】
次に、ステップＳ５０３で、撮影方向制御情報計算部５８により、前記ステップＳ５００で指定された自画像表示ウィンドウ６８ａ上における点の位置と前記ステップＳ５０２で調べた自画像撮影部６７の状態とに基づいて、図４で説明した方法に従って前記自画像撮影部６７の撮影方向を変更するための制御情報を計算する。
【００７２】
そして、ステップＳ５０４で、制御情報通知部６６により、前記ステップＳ５０３で計算した自画像撮影部６７の撮影方向制御情報を前記自画像撮影部６７に通知する。自画像撮影部６７は、この撮影方向制御情報に従って、被写体が自画像表示ウィンドウ６８ａの中心にくるように上下左右に撮影方向を変更する。
【００７３】
一方、ステップＳ５０１からステップＳ５０５に進んだときは、撮影状態検査部５７により、相手画像撮影部６９の現在の状態を調べる。相手画像撮影部６９の現在の状態は、通信回線を介して相手局側のテレビ会議端末に相手画像撮影部６９の状態を問い合わせることにより知ることができる。
【００７４】
次に、ステップＳ５０６では、撮影方向制御情報計算部５８により、前記ステップＳ５００で指定された相手画像表示ウィンドウ６８ｂ上における点の位置と前記ステップＳ５０５で調べた相手画像撮影部６９の状態とに基づいて、図４で説明した方法に従って相手画像撮影部６９の撮影方向を変更するための制御情報を計算する。
【００７５】
そして、ステップＳ５０７で、制御情報通知部６６により、前記ステップＳ５０６で計算した相手画像撮影部６９の撮影方向制御情報を、相手局側のテレビ会議端末に対して通信回線を介して送信する。相手画像撮影部６９は、自局側のテレビ会議端末から受信した撮影方向制御情報に従って上下左右に撮影方向を変更する。この撮影方向の変更途中や変更後に撮影された相手画像は、通信回線を介して自局側の画像表示部６８に通知され、相手画像表示ウィンドウ６８ｂに表示される。
【００７６】
図６は、本実施形態のテレビ会議システムにおいて、カメラ６の撮影領域を制御する動作を説明するための図である。
図６において、６００はカメラ６の撮影対象である被写体、６０１は前記画像表示ウィンドウ３００上において前記ポインティングカーソル３０２により指定された領域、６０２はカメラ６の撮影領域の縦横比に合わせた前記指定領域６０１を包含する矩形領域、６０３は前記矩形領域６０２の中心点である。
【００７７】
本実施形態のテレビ会議システムでは、図６（ａ）に示すようにポインティングカーソル３０２により領域６０１が指定されたときは、その領域６０１を包含する矩形領域６０２を生成する。そして、図３および図４で説明した撮影方向制御手順に従って、矩形領域６０２の中心点６０３の方向にカメラ６の撮影方向を変更する。さらに、図４で説明した計算方法と同様に前記結像イメージ４０４を前記矩形領域６０２に合わせるための焦点距離ｆを計算することにより、図６（ｂ）に示すように指定領域６０１に合わせたズーミング処理を自動的に行う。
【００７８】
図７は、本実施形態のテレビ会議システムにおいて、カメラ６の焦点位置を制御する動作を説明するための図である。
図７において、７００はカメラ６に近い位置にいる被写体、７０１はカメラ６から遠い位置にいる被写体である。
【００７９】
本実施形態のテレビ会議システムでは、従来のテレビ会議システムと同様に、初期状態では図７（ａ）に示すように撮影領域の中心にいる被写体７００に対して焦点を合わせているものとする。
【００８０】
本テレビ会議システムでは、図７（ａ）に示すように、ポインティングカーソル３０２を用いてカメラ６の撮影領域の中心からずれた位置にいる被写体７０１を指定することにより、指定された点に対して測距を行い、その測距結果を基にして図７（ｂ）に示すように被写体７０１に対して自動的に焦点を合わせる。なお、かかる指定された点に対する測距としては、既にビデオカメラにおいて用いられている公知の方法を採用すればよい。
【００８１】
図８は、本実施形態のテレビ会議システムにおいて、画像表示部上で任意の位置や領域を指定することによりカメラ６に対して複数の制御指示があった場合に、これらの複数の制御の中から特定の制御を選択するためのカメラ６に対する制御選択動作を説明するための図である。
【００８２】
図８は、図１の画像表示部６８上に表示される画像の一例を示す図であり、図８において、８００はカメラ６の制御選択ウィンドウ、８０１はカメラ６の撮影方向制御選択ボタン、８０２はカメラ６の撮影領域制御選択ボタン、８０３はカメラ６の焦点位置制御選択ボタンである。
【００８３】
図８において、まず、ポインティングカーソル３０２により制御選択ウィンドウ８００上の３つの制御選択ボタン８０１〜８０３の何れかのボタンを押下し、続いて画像表示ウィンドウ３００上の任意の位置または領域を指定することにより、押下したボタンに対応する制御を起動する。
【００８４】
すなわち、撮影方向制御選択ボタン８０１が押下された場合は、前記図３にて説明した撮影方向の制御を起動する。また、撮影領域制御選択ボタン８０２が押下された場合は、前記図６にて説明した撮影領域の制御を起動する。また、焦点位置制御選択ボタン８０３が押下された場合は、前記図７にて説明した焦点位置の制御を起動する。
【００８５】
前記実施形態では、ディスプレイ８などの画像表示部に対して位置や領域が指定された場合に、その指定された位置や領域に合わせてカメラ６などの画像撮影部の撮影方向や撮影領域を変更するための制御情報を計算していた。これに対し、前記画像表示部を予め小さなブロックに分割し、その分割したブロックごとに画像撮影部の制御情報をテーブル情報として格納しておくことにより、制御情報の計算処理を制御情報テーブルの参照処理に置き換えるようにしてもよい。
【００８６】
また、前記実施形態では、画像表示部上で指定した任意の点に対して焦点を合わせるようにしたが、図９に示すように、選択可能な複数の測距点９００を画像表示部に予め表示しておき、これら複数の測距点９００の何れかを指定することにより、指定された測距点９００に対して焦点位置制御を行うようにすることもできる。
【００８７】
図１１は、本発明の第２の実施形態の構成を示すブロック図である。
図１１において、自局側の画像を撮影する自画像撮影部１１７と画像表示部１１８とそれ以外の構成要素１１９〜１２５を具備する画像通信装置とにより自局側の画像通信システムが構成されている。なお、前記画像通信装置には、前記構成要素１１９〜１２５の他に、図２において説明した種々の構成要素が含まれているが、こでは図示を省略している。
【００８８】
また、相手局側の画像通信システムにおいては、通信回線を介して自局側の画像通信システムとデータの送受信を行うための通信制御部１２６、相手局側の画像を撮影する相手画像撮影部１２７、および相手局側の画像撮影部１２７の制御が完了したことを通知する制御完了通知部１２８のみを図示し、その他の構成については図示を省略したが、相手局側の画像信号システムも自局側と同様に構成されており、自局側と相手局側とで画像データや種々の制御情報を相互に送受信することにより、例えばテレビ会議を行うことができるようになされている。
【００８９】
図１１において、自画像撮影部１１７および相手画像撮影部１２７では、通知された制御情報に従って撮影状態（撮影方向、撮影領域、焦点位置など）の変更処理を実行する。前記画像撮影部１１７、１２７にはそれぞれ図示しない制御部が含まれ、前記制御情報はこの制御部に通知されるようになっており、撮影状態の変更処理は、この制御情報の通知を受けた制御部によって行われるようになされている。また、前記受信した制御情報による撮影状態の制御が完了した場合、前記受信した制御情報の送信元に応じて、制御完了情報を撮影制御禁止部１２２または制御完了通知部１２４に通知する。
【００９０】
自画像撮影部１１７により撮影された画像は、制御時間予測部１２３を介して画像表示部１１８の自画像表示ウィンドウ１１８ａに表示されるとともに、通信制御部１２５を介して相手局側に送信され、相手局側の画像表示部（図示せず）に表示される。また、相手画像撮影部１２７により撮影された画像は、相手局側の画像表示部（図示せず）に表示されるとともに、通信制御部１２６を介して相手局側から自局側に伝えられ、相手画像表示ウィンドウ１１８ｂに表示される。
【００９１】
前記制御時間予測部１２３では、前記自画像撮影部１１７または通信制御部１２５から通知される自画像または相手画像のフレーム間隔を測定・記録することにより、相手から画像が転送される平均的な時間間隔を計算するとともに、制御情報通知部１２０により通知された制御情報に応じた画像撮影部の撮影状態の制御が完了するまでの時間を計算する。これにより、撮影状態制御情報を送信してから、その制御情報による画像撮影部の撮影状態制御が完了し、制御完了後の新たな画像が画像表示部１１８に表示されるまでの時間を予測する。
【００９２】
１１９は、前記画像表示部１１８にグラフィックスで表現された撮影制御部であり、前記自画像撮影部１１７または前記相手画像撮影部１２７を制御するためのボタン等が配置されている。操作者は、マウス（図示せず）等の入力装置を使って撮影制御部１１９のボタンを操作することにより、前記自画像撮影部１１７または相手画像撮影部１２７を制御することができる。
【００９３】
撮影制御部１１９により入力された制御情報は、撮影制御禁止部１２２に通知され、この通知を受けた撮影制御禁止部１２２は、その制御情報による制御対象の画像撮影部に応じて、制御情報を自画像撮影部１１７または制御情報通知部１２０に通知する。制御情報通知部１２０に通知された制御情報は、更に通信制御部１２５を介して相手局側の相手画像撮影部１２７に通知され、相手画像撮影部１２７の撮影状態の制御が行われる。
【００９４】
また、撮影制御禁止部１２２は、前記制御情報の通知と同時に、前記撮影制御部１１９を操作禁止状態にするためのコマンドを撮影制御部１１９に通知し、このコマンドを受信した撮影制御部１１９は、ボタンの表示を操作禁止状態を示す表示に変更する。
【００９５】
撮影制御禁止部１２２が前記撮影制御部１１９の操作禁止状態を解除するきっかけとしては、実施方法により以下の２つの方法がある。
１つは、前記自画像撮影部１１７または相手画像撮影部１２７が制御完了通知部１２８を介して通知してくる撮影状態制御の完了通知を受信したときに操作禁止状態を解除する方法である。もう１つは、送信した制御情報により自画像撮影部１１７または相手画像撮影部１２７の撮影状態制御が完了し、制御完了後のフレームが前記画像表示部１１８に表示されるまでの予測時間を前記制御時間予測部１２３に問い合わせ、時間計時部１２１により制御予測時間を計時後に操作禁止状態を解除する方法である。
【００９６】
前記操作禁止状態の解除は、撮影制御禁止部１２２から撮影制御部１１９に通知され、通知を受けた撮影制御部１１９は、ボタンの表示を操作可能状態を示す表示に変更する。
【００９７】
なお、本実施形態においては、図２に示した構成と同様の構成において、ビデオインタフェース部９とシステム制御部１４とにより、図１１に示した撮影制御部１１９、制御情報通知部１２０、時間計時部１２１、撮影制御禁止部１２２、制御時間予測部１２３および制御完了通知部１２４の動作が実現される。
【００９８】
図１２は、本実施形態に係るテレビ会議システムにおいて、制御時間予測部１２３および時間計時部１２１を用いて撮影制御禁止部１２２の制御を行う場合の処理の流れを説明するためのシーケンス図である。以下に、図１１のブロック図を参照ながらこのシーケンス図について説明する。
【００９９】
図１２において、Ｓ３００で撮影制御部１１９に対して操作者が相手画像撮影部１２７の撮影状態制御情報を入力すると、Ｓ３０１において前記入力された情報が撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信される。
【０１００】
このとき自局側では、Ｓ３０２において撮影制御禁止部１２２が撮影制御部１１９を操作禁止状態にする。また、撮影制御禁止部１２２が制御時間予測部１２３から、相手画像撮影部１２７の撮影状態制御が完了して制御完了後の画像が通知されるまでの予測制御時間（指示された制御を実現するために必要であると予測された時間Ｔ１）をＳ３０３で取得する。
【０１０１】
ここで、撮影制御部１１９の状態の表示がグラフィカル表現で実施されている場合は、グラフィカル表現を操作禁止状態を表わすような表示に変更する。例えば、図１１においては、画像撮影部１１７、１２７の制御を行うためのアイコンが表示されているが、かかる表示に代えて操作禁止状態を示すような表示に変更する。
【０１０２】
そして、Ｓ３０４以降で、時間計時部１２１により前記Ｓ３０３で取得した予測制御時間が経過したかどうかを監視し、前記予測制御時間が経過するまで撮影制御部１１９を操作禁止状態に保つ。
【０１０３】
一方、相手局側においては、前記Ｓ３０１で通知された撮影状態制御情報を受信すると、前記受信した制御情報に基づきＳ３０６で相手画像撮影部１２７の撮影状態制御（例えば、カメラの首振り制御等）を開始する。このとき、撮影状態を変更している（例えば、カメラの首振りをしている）間の画像も、Ｓ３０７、Ｓ３０９といったように自局側に送信され、Ｓ３０８、Ｓ３１０で自局側の画像表示部１１８に表示されている。
【０１０４】
この図１２の例では、相手局側の画像撮影部１２７の撮影状態制御はＳ３１１で完了している。したがって、Ｓ３１２で送信されＳ３１３で自局側の画像表示部１１８に表示された画像が制御完了後の最初の画像となっている。ここで、Ｓ３０１で撮影状態の制御情報が相手局側に通知されてから、相手画像撮影部１２７の撮影状態制御が完了して、制御完了後の最初の画像が自局側に送信されるまでの時間をＴ２とする。
【０１０５】
その後、自局側において、Ｓ３１４で前記時間計時部１２１により予測制御時間Ｔ１の計時が完了すると、撮影制御禁止部１２２は、Ｓ３１５で撮影制御部１１９の操作禁止状態を解除する。ここで、撮影制御部１１９がグラフィカル表現で実施されている場合は、そのグラフィカル表現を操作可能状態を表すような表示（例えば、図１１に示されるような表示）に変更する。
【０１０６】
以下、Ｓ３００、Ｓ３０１と同様に、Ｓ３１６で操作者からの撮影状態制御情報の入力を受け付け、Ｓ３１７でその制御情報を相手局側に送信するという処理が繰り返される。
なお、この例で示した予測制御時間Ｔ１は、時間Ｔ２よりも大きい値が算出されるものとする。
【０１０７】
図１３は、本実施形態に係るテレビ会議システムにおいて、制御完了通知部１２８を用いて撮影制御禁止部１２２の制御を行う場合の処理の流れを説明するためのシーケンス図である。以下に、図１１のブロック図を参照しながらこのシーケンス図について説明する。
【０１０８】
図１３において、Ｓ４００で撮影制御部１１９に対して操作者が相手画像撮影部１２７の撮影状態制御情報を入力すると、Ｓ４０１において前記入力された制御情報が撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信される。
【０１０９】
このとき自局側では、Ｓ４０２において撮影制御禁止部１２２が撮影制御部１１９を操作禁止状態にする。ここで、撮影制御部１１９がグラフィカル表現で実施されている場合は、そのグラフィカル表現を操作禁止状態を表すような表示に変更する。
【０１１０】
一方、相手局側においては、前記Ｓ４０１で通知された撮影状態制御情報を受信すると、前記受信した制御情報に基づき、Ｓ４０３で相手画像撮影部１２７の撮影状態制御（例えば、カメラの首振り制御等）を開始する。このとき、撮影状態を変更している（例えば、カメラの首振りをしている）間の画像も、Ｓ４０４、Ｓ４０６といったように自局側に送信され、Ｓ４０５、Ｓ４０７で自局側の画像表示部１１８に表示されている。
【０１１１】
この図１３の例では、相手局側の画像撮影部１２７の制御はＳ４０８で完了している。したがって、Ｓ４０９で送信された画像が制御完了後の最初の画像となっている。この制御完了後の最初の画像は、Ｓ４１０において自局側の画像表示部１１８に表示される。
【０１１２】
更に相手局側では、前記Ｓ４０９で撮影状態制御完了後の最初の画像の送信が終わると、Ｓ４１１において、撮影状態制御が完了したことを制御完了通知部１２８および通信制御部１２６を介して自局側に通知する。自局側では、Ｓ４１１の制御完了通知を受けると、撮影制御禁止部１２２が前記Ｓ４０２で設定した撮影制御部１１９の操作禁止状態をＳ４１２で解除する。ここで、撮影制御部１１９がグラフィカル表現で実施されている場合は、そのグラフィカル表現を操作可能状態を表わすような表示に変更する。
【０１１３】
以下、Ｓ４００、Ｓ４０１と同様に、Ｓ４１３で操作者からの撮影状態制御情報の入力を受け付け、Ｓ４１４でその制御情報を相手局側に送信するという処理が繰り返される。
【０１１４】
図１４は、本実施形態に係るテレビ会議システムにおいて、制御時間予測部１２３および時間計時部１２１を用いて撮影制御禁止部１２２の制御を行う場合に、撮影制御部１１９による制御情報の入力があったときの処理の流れを示すフローチャートである。以下に、図１１のブロック図を参照しながらこのフローチャートについて説明する。
【０１１５】
図１４において、まずステップＳ５００で、撮影制御部１１９を用いて操作者が入力した相手画像撮影部１２７の制御情報を、撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信し、ステップＳ５０１に進む。ステップＳ５０１では、前記ステップＳ５００で制御情報を通知された撮影制御禁止部１２２が、前記撮影制御部１１９を操作禁止状態に設定し、ステップＳ５０２に進む。
【０１１６】
ステップＳ５０２では、前記撮影制御禁止部１２２が、前記相手局側に送信した制御情報による相手画像撮影部１２７の撮影状態制御が完了し、制御完了後の画像が送信されてくるまでの予測制御時間を制御時間予測部１２３から取得し、ステップＳ５０３に進む。ステップＳ５０３では、時間計時部１２１を用いて前記ステップＳ５０２で取得した予測制御時間の経過の計時を開始し、ステップＳ５０４に進む。
【０１１７】
ステップＳ５０４では、前記ステップＳ５０３で開始した時間計時の結果を調べ、前記ステップＳ５０２で取得した予測制御時間が経過した場合はステップＳ５０５に進み（ステップＳ５０４：Ｙｅｓ）、経過していなかった場合はステップＳ５０４の処理を繰り返す（ステップＳ５０４：Ｎｏ）。ステップＳ５０５では、前記ステップＳ５０１で設定した撮影制御部１１９の操作禁止状態を解除し、本処理を終了する。
【０１１８】
図１５は、本実施形態に係るテレビ会議システムにおいて、制御完了通知部１２８を用いて撮影制御禁止部１２２の制御を行う場合に、撮影制御部１１９による制御情報の入力があったときの処理の流れを示すフローチャートである。以下に、図１１のブロック図を参照しながらこのフローチャートについて説明する。
【０１１９】
図１５において、まずステップＳ６００で、撮影制御部１１９を用いて操作者が入力した相手画像撮影部１２７の制御情報を、撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信し、ステップＳ６０１に進む。ステップＳ６０１では、前記ステップＳ６００で制御情報を通知された撮影制御禁止部１２２が、前記撮影制御部１１９を操作禁止状態に設定し、ステップＳ６０２に進む。
【０１２０】
ステップＳ６０２では、前記ステップＳ６００で通知した制御情報に応じた相手画像撮影部１２７の撮影状態制御が完了し、撮影状態完了後の画像を送信したことが相手局側から通知されたかどうか調べ、制御完了通知が行われた場合はステップＳ６０３に進み（ステップＳ６０２：Ｙｅｓ）、通知されていなかった場合はステップＳ６０２の処理を繰り返す（ステップＳ６０２：Ｎｏ）。ステップＳ６０３では、前記ステップＳ６０１で設定した撮影制御部１１９の操作禁止状態を解除し、本処理を終了する。
【０１２１】
図１６は、本実施形態に係るテレビ会議システムにおいて、制御完了通知部１２８を用いて撮影制御禁止部１２２の制御を行う場合に、自画像撮影部１１７の撮影状態制御情報を受信したときの処理の流れを示すフローチャートである。以下に、図１１のブロック図を参照しながらこのフローチャートについて説明する。
【０１２２】
図１６において、まずステップＳ７００で、相手局側から受信した制御情報に応じて自画像撮影部１１７の撮影状態制御を開始し、ステップＳ７０１に進む。ステップＳ７０１では、前記ステップＳ７００で開始した自画像撮影部１１７の制御（例えば、カメラの首振り制御）が完了したかどうか調べ、制御が完了した場合はステップＳ７０２に進み（ステップＳ７０１：Ｙｅｓ）、完了していない場合はステップＳ７０１の処理を繰り返す（ステップＳ７０１：Ｎｏ）。
【０１２３】
ステップＳ７０２では、前記ステップＳ７０１において検出した自画像撮影部１１７の制御完了後、前記自画像撮影部１１７が通信制御部１２５を介して新たな画像を相手局側に送信したかどうか調べ、制御完了後の画像を送信していた場合はステップＳ７０３に進み（ステップＳ７０２：Ｙｅｓ）、送信していない場合はステップＳ７０２の処理を繰り返す（ステップＳ７０２：Ｎｏ）。なお、図１１に示した構成図の例では、制御完了後の画像送信が完了すると、前記自画像撮影部１１７から制御完了通知部１２４に対して画像送信完了が通知されるものとする。
【０１２４】
ステップＳ７０３では、本処理が起動されるきっかけとなった受信制御情報による自画像撮影部１１７の制御が完了し、制御完了後の画像を送信したことを、前記制御完了通知部１２４が通信制御部１２５を介して相手局側に通知し、本処理を終了する。
【０１２５】
【発明の効果】
以上説明したように、本発明によれば、制御情報の送信の遅延に伴う通信相手における操作のしすぎを防止することができ、利便性を向上することができる。
【図面の簡単な説明】
【図１】本発明の要素的特徴を示すブロック図である。
【図２】本発明の一実施形態によるテレビ会議システムの構成を示すブロック図である。
【図３】本実施形態のテレビ会議システムにおける撮影方向の制御動作を説明するための図である。
【図４】本実施形態のテレビ会議システムにおいて撮影方向制御情報を計算する方法の一例を説明するための図である。
【図５】本実施形態のテレビ会議システムにおいて自画像表示ウィンドウまたは相手画像表示ウィンドウに対する位置指定があった場合に、自画像撮影部または相手画像撮影部の撮影方向を制御するための処理の流れを示すフローチャートである。
【図６】本実施形態のテレビ会議システムにおける撮影領域の制御動作を説明するための図である。
【図７】本実施形態のテレビ会議システムにおける焦点位置の制御動作を説明するための図である。
【図８】本実施形態のテレビ会議システムにおける画像撮影部に対する制御選択動作を説明するための図である。
【図９】本実施形態のテレビ会議システムにおいて、焦点位置の制御のために選択できる焦点位置を予め表示した場合の画像表示部の表示例を示す図である。
【図１０】従来のテレビ会議システムにおける画像撮影部の撮影方向の制御動作を説明するための図である。
【図１１】本発明の他の要素的特徴（第２の実施形態）を示すブロック図である。
【図１２】本実施形態によるテレビ会議システムにおいて、制御時間予測部および時間計時部を用いて撮影制御禁止部の制御を行う場合の処理の流れを説明するためのシーケンス図である。
【図１３】本実施形態によるテレビ会議システムにおいて、制御完了通知部を用いて撮影制御禁止部の制御を行う場合の処理の流れを説明するためのシーケンス図である。
【図１４】本実施形態によるテレビ会議システムにおいて、制御時間予測手段および時間計時部を用いて撮影制御禁止部の制御を行う場合に、撮影制御部による制御情報の入力があったときの処理の流れを示すフローチャートである。
【図１５】本実施形態によるテレビ会議システムにおいて、制御完了通知部を用いて撮影制御禁止部の制御を行う場合に、撮影制御部による制御情報の入力があったときの処理の流れを示すフローチャートである。
【図１６】本実施形態によるテレビ会議システムにおいて、制御完了通知部を用いて撮影制御禁止部の制御を行う場合に、画像撮影部の撮影状態制御情報を受信したときの処理の流れを示すフローチャートである。
【符号の説明】
１ ハンドセット
２ マイク
３ スピーカ
４ 音声インタフェース部
５ 音声符号化復号化部
６ カメラ
７ 書画カメラ
８ ディスプレイ
９ ビデオインタフェース部
１０ ビデオ符号化復号化部
１１ データ端末
１２ データインタフェース部
１３ 操作部
１４ システム制御部
１５ 多重分離化部
１６ 回線インタフェース部
５１ 位置指定部
５２ 領域指定部
５３ 制御判定部
５４ 制御選択部
５５ 画像撮影部識別部
５６ 撮影方向制御部
５７ 撮影状態検査部
５８ 撮影方向制御情報計算部
５９ 撮影領域制御部
６０ 矩形領域生成部
６１ 撮影状態検査部
６２ 撮影方向制御情報計算部
６３ 焦点距離計算部
６４ 焦点位置制御部
６５ 焦点位置制御情報計算部
６６ 制御情報通知部
６７ 自画像撮影部
６８ 画像表示部
６８ａ 自画像表示ウィンドウ
６８ｂ 相手画像表示ウィンドウ
６９ 相手画像撮影部
１１７ 自画像撮影部
１１８ 画像表示部
１１８ａ 自画像表示ウィンドウ
１１８ｂ 相手画像表示ウィンドウ
１１９ 撮影制御部
１２０ 制御情報通知部
１２１ 時間計時部
１２２ 撮影制御禁止部
１２３ 制御時間予測部
１２４ 制御完了通知部（自局側）
１２５ 通信制御部（自局側）
１２６ 通信制御部（相手局側）
１２７ 相手画像撮影部
１２８ 制御完了通知部（相手局側）
【発明の属する技術分野】
本発明は、ＩＳＤＮ（サービス総合デジタル網）等の例えばデジタル回線に接続され、遠隔地間で画像の送受信を行うための画像通信装置及びその制御方法に関するものである。
【０００２】
【従来の技術】
近年、画像圧縮符号化技術の発達とＩＳＤＮ（サービス総合デジタル網）に代表される高速・高品位なデジタル回線の普及とに伴い、テレビ会議システム等のＡＶ（オーディオ・ビジュアル）サービス用の勧告が規定され、この勧告に従った様々な画像通信システムが開発されてきている。
【０００３】
代表的な画像通信システムであるテレビ会議システムの運用形態としては、テレビ会議専用のテレビ会議室を設け、遠隔地のテレビ会議室にいる参加者とテレビ会議システムを介して会議を行うのが一般的である。この会議は、通常、テレビ会議室ごとに複数の参加者が集まり、多人数対多人数で行うことが多い。
【０００４】
このように１つのテレビ会議端末の前に複数の参加者がいる場合、相手局側のテレビ会議端末に送信する自局側の参加者の映像を撮影する方法がいくつか考えられている。従来のテレビ会議端末の例としては、参加者撮影用の画像撮影部（例えばビデオカメラ）のズームを広角側にあわせて参加者全員が映るようにする方法や、首振り機構付きの画像撮影部を使用して特定の参加者の方向に前記画像撮影部の撮影方向を向ける方法などがある。
【０００５】
ここで、後者の画像撮影部の首振り方法の一例として、テレビ会議の各参加者ごとにマイクを設置して全参加者の音量レベルを調べ、一番音声レベルの大きい参加者の方向に前記画像撮影部の撮影方向を自動的に向ける方法などが提案されている。しかし、多くのテレビ会議システムでは、特定の参加者（以下、操作者という）がテレビ会議システムの操作部を操作することにより、前記画像撮影部の首振り制御を行うという方法が採られている。
【０００６】
このようなテレビ会議システムに使用される画像撮影部の中には、前記操作部から与えられる制御情報（コマンド）に応じて、上下左右の首振り制御の他に、ズーミングや焦点合わせ等の制御を行うことができるようになされたものがある。また、撮影対象までの距離を自動的に測定し、該撮影対象に対して焦点を合わせる自動焦点機能付きの画像撮影部もある。さらに、複数の測距点を設けることにより、撮影画面上の任意または特定の被写体に対して焦点を合わせることができるようになされた画像撮影部もある。
【０００７】
また、同じコマンド体系をもつ画像撮影部およびテレビ会議システム同士の通信では、自局側のテレビ会議システムの画像撮影部の制御だけでなく、相手局側の画像撮影部の制御をも行うことができるようになされたテレビ会議システムも存在する。このようなテレビ会議システムでは、相手局側のテレビ会議端末に対して前記相手局側の画像撮影部に対する制御情報を送信することにより、前記相手局側の画像撮影部を制御する。
【０００８】
【発明が解決しようとする課題】
前述の操作者が操作部を操作して画像撮影部の制御を行う形態のテレビ会議システムでは、例えば画像撮影部の首振り制御キー（左キー、右キー、上キー、下キー）を押すことにより画像撮影部の向きを制御している。しかしながら、この方法では、自局側のテレビ会議端末の画像撮影部の撮影方向を変える場合、システムによって画像撮影部の首振り方向と首振り制御キーとの対応関係が異なるために、操作が複雑になってしまうという問題があった。
【０００９】
例えば、図１０に示すように、自局側の画像表示部に自局側の画像を表示するウィンドウ１００（以下、自画像表示ウィンドウという）と、相手局側の画像を表示するウィンドウ１０１（以下、相手画像表示ウィンドウという）とが表示されている場合を考える。この場合に、前記相手画像表示ウィンドウ１０１の左寄りに表示されている被写体１０３を前記相手画像表示ウィンドウ１０１の中央にもってくるためには、相手局側の画像撮影部１０５（以下、相手画像撮影部という）の撮影方向を矢印１０７に示す方向に変更する必要がある。この場合、操作者による首振り制御キーの操作は「左キー」を押すことが一般的である。
【００１０】
一方、前記自画像表示ウィンドウ１００の左寄りに表示されている被写体１０２を前記自画像表示ウィンドウ１００の中央にもってくるためには、自局側の画像撮影部１０４（以下、自画像撮影部という）の撮影方向を矢印１０６に示す方向に変更する必要がある。
【００１１】
この場合、操作者による首振り制御キーの操作としては、
ａ）「左キー」を押す。自画像撮影部１０４から見た首振り方向と一致。
ｂ）「右キー」を押す。被写体１０２から見た首振り方向と一致。
の２種類の操作が考えられる。システムの設定によってどちらの操作を使用するかを選択することができるようになされたテレビ会議システムもある。
【００１２】
このように、従来のテレビ会議システムでは、自画像撮影部１０４の首振り方向と首振り制御キーとの対応関係が異なるために、操作が複雑になってしまうという問題があった。
【００１３】
また、自局側から相手画像撮影部１０５の制御を行う場合は、自局側のテレビ会議端末の操作部のキー入力に応じて、例えば「左キー」が押されるごとに「相手画像撮影部１０５の撮影方向を左方向に変更」という内容のコマンドが相手局側のテレビ会議端末に通信回線を介して送信され、そのコマンドにより予め決められた分だけ前記相手画像撮影部１０５の撮影方向が変更される。そして、その結果として撮影方向の変更途中や変更後における相手画像が通信回線を介して自局側の画像表示部に通知され、これが前記相手画像表示ウィンドウ１０１に表示される。
【００１４】
したがって、自局側のテレビ会議端末において前記相手画像撮影部１０５を制御する制御キーを押してから、その結果を反映した新しい相手画像が自局側の相手画像表示ウィンドウ１０１に表示されるまでの間に、制御コマンドおよび画像データの転送や、画像の符号化復号化を行うための遅延時間が生じる。このため、自局側のテレビ会議端末において制御キーを必要以上に押してしまうことが多くなり、前記相手画像撮影部１０５を望んだ方向に向けるのが困難であった。
【００１５】
このような問題は、自局側から前記相手画像撮影部１０５のズーミング制御を行う場合にも同様に生じる。すなわち、自局側でズーミング制御用のキーを押してからその結果を反映した相手画像が前記相手画像表示ウィンドウ１０１に表示されるまでに遅延時間があるため、望みのサイズにズーミングすることが困難であるという問題があった。
【００１６】
また、１つのテレビ会議室に複数の会議参加者がいる場合において、画像撮影部との距離が各参加者ごとに異なっているときは、従来のテレビ会議システムでは手動で焦点を調節する必要があったため、焦点を合わせるための複雑な操作が必要になってしまうという問題があった。また、自動焦点機能付きの画像撮影部もあるが、撮影画面の中央に位置する参加者に対して自動的に焦点を合わせるようになされていたため、中央に位置する参加者以外の参加者には焦点が合わず、顔の識別が困難になってしまうという問題があった。
【００１７】
かかる遅延時間の問題は、前述した種々の制御に限らず、例えば、操作者がポインティングデバイスによって自在に描画を行うような場合においても同様に発生する問題である。
【００１８】
本発明は、通信路を介して制御指令（コマンド）を伝送する際に生じる応答の遅れに伴って発生する問題を解決することができる画像通信装置及びその制御方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
本発明に係る画像通信装置は、通信回線を介して送信され通信相手を制御するための制御情報を生成する制御情報生成手段と、前記通信回線の所定の遅延時間後に送信される制御情報によって前記通信相手が不正確に動作することを防止する防止手段と、前記通信相手に送信された制御情報に応じて前記通信相手から制御完了通知を受け取る受信手段と、を有し、上記防止手段は、前記受信手段が前記制御完了通知を受け取るまで、前記制御情報生成手段が別の制御情報を生成するのを防止することを特徴とする。
【００２３】
本発明に係る画像通信装置の制御方法は、通信回線を介して送信され通信相手を制御するための制御情報を生成する制御情報生成手段において、前記通信回線の所定の遅延時間後に送信される制御情報によって前記通信相手が不正確に動作することを防止する制御を実行し、当該制御に当たり、前記通信相手に送信された制御情報に応じて前記通信相手から制御完了通知を受け取るまで、別の制御情報を生成するのを防止することを特徴とする。
【００３４】
【発明の実施の形態】
図１は、本発明の要素的特徴を示すブロック図である。
図１において、自局側の画像を撮影する自画像撮影部６７と画像表示部６８とそれ以外の構成要素５１〜６６を具備する画像通信装置とにより自局側の画像通信システムが構成されている。前記画像通信装置には、前記構成要素５１〜６６の他に、後述の図２において説明する種々の構成要素が含まれているが、ここでは図示を省略している。
【００３５】
また、相手局側の画像通信システムにおいては、相手局側の画像を撮影する相手画像撮影部６９のみを図示し、その他の構成については図示を省略したが、相手局側の画像通信システムも自局側と同様に構成されており、自局側と相手局側とで画像データや種々の制御情報を相互に送受信することにより、例えばテレビ会議を行うことができるようになされている。
【００３６】
図１において、５１は位置指定部であり、画像表示部６８に表示されている画像上の任意の点を指定するものである。また、５２は領域指定部であり、画像表示部６８に表示されている画像上の任意の領域を指定するものである。これらの位置指定部５１および領域指定部５２は、自画像撮影部６７や相手画像撮影部６９の撮影状態（撮影方向、撮影領域、焦点位置など）を変更しようとするときに用いられる。
【００３７】
５３は制御判定部であり、前記位置指定部５１または領域指定部５２により点または領域のいずれの指定が行われたかを判定する。また、制御選択部５４により特定の種類の制御を行うことが選択されているときは、その選択内容の判別も行う。なお、前記制御選択部５４は、撮影方向制御部５６、撮影領域制御部５９または焦点位置制御部６４の中から任意の制御を選択するものである。
【００３８】
５５は画像撮影部識別部であり、前記位置指定部５１や領域指定部５２により画像上において点または領域が指定された場合に、その画像を表示している画像表示部に対応する画像撮影部の識別を行う。
【００３９】
例えば、画像表示部６８に自局側の画像を表示する自画像表示ウィンドウ６８ａと相手局側の画像を表示する相手画像表示ウィンドウ６８ｂとが表示されている場合に、自画像表示ウィンドウ６８ａの画像を撮影している自画像撮影部６７と相手画像表示ウィンドウ６８ｂの画像を撮影している相手画像撮影部６９との識別を行う。すなわち、自画像表示ウィンドウ６８ａと相手画像表示ウィンドウ６８ｂとの何れの画像上で点または領域が指定されたかを識別する。また、自局側または相手局側に複数の画像表示部がある場合には、それらの画像表示部のうちの何れの画像上で点または領域が指定されたかを識別する。
【００４０】
そして、前記制御判定部５３の判定結果および画像撮影部識別部５５による識別結果に応じて、撮影方向制御部５６、撮影領域制御部５９、焦点位置制御部６４のいずれかの制御が行われ、対応する画像撮影部を制御するための制御情報が計算されるようになっている。
【００４１】
撮影方向制御部５６では、制御判定部５３の判定結果および画像撮影部識別部５５の識別結果に応じて、自画像撮影部６７または相手画像撮影部６９の撮影方向を上下左右に変更するための制御情報を計算する。すなわち、例えば自画像撮影部６７に対する制御情報を計算する場合は、まず撮影状態検査部５７により前記自画像撮影部６７の現在の撮影状態を検査する。
【００４２】
そして、撮影方向制御情報計算部５８により、前記撮影状態検査部５７の検査の結果得られる自画像撮影部６７の現在の撮影状態を表す情報に基づいて、前記位置指定部５１により指定された点が自画像表示ウィンドウ６８ａの中心にくるように自画像撮影部６７の撮影方向を変更するための制御情報を計算する。なお、この制御情報の計算方法の詳細については後述する。
【００４３】
なお、相手画像撮影部６９に対する制御情報を計算する場合は、撮影状態検査部５７において前記相手画像撮影部６９の現在の撮影状態を検査する点で、前記自画像撮影部６７に対する制御情報を計算する場合と相違するが、その他の処理については同様である。
【００４４】
また、撮影領域制御部５９では、制御判定部５３の判定結果および画像撮影部識別部５５の識別結果に応じて、自画像撮影部６７または相手画像撮影部６９の撮影領域を制御するための制御情報（ズーミングを行うための制御情報）を計算する。すなわち、例えば自画像撮影部６７に対する制御情報を計算する場合は、まず矩形領域生成部６０により前記領域指定部５２で指定された領域を包含する矩形領域を生成する。
【００４５】
そして、この生成した矩形領域の中心点を前記位置指定部５１により指定された点と同様とみなし、撮影状態検査部６１および撮影方向制御情報計算部６２により、前記撮影状態検査部５７および撮影方向制御情報計算部５８による処理と同様にして、矩形領域の中心点が自画像表示ウィンドウ６８ａの中心にくるように自画像撮影部６７の撮影方向を変更するための制御情報を計算する。また、焦点距離計算部６３により、前記矩形領域の大きさが自画像表示ウィンドウ６８ａの大きさと同じになるように焦点距離を変更するための制御情報を計算する。
【００４６】
また、焦点位置制御部６４では、制御判定部５３の判定結果および画像撮影部識別部５５の識別結果に応じて、自画像撮影部６７または相手画像撮影部６９の焦点位置を制御するための制御情報を計算する。すなわち、例えば自画像撮影部６７に対する制御情報を計算する場合は、焦点位置制御情報計算部６５により、前記位置指定部５１で指定された点に自画像撮影部６７の焦点を合わせるための制御情報を計算する。
【００４７】
以上のようにして撮影方向制御部５６、撮影領域制御部５９、焦点位置制御部６４により計算された制御情報は、それぞれ制御情報通知部６６に与えられる。制御情報通知部６６は、前記画像撮影部識別部５５による識別結果に応じて、与えられた制御情報を自画像撮影部６７または相手画像撮影部６９に通知する。なお、相手画像撮影部６９への通知は、相手局側の画像通信システムに通信回線（公衆回線、無線回線等）を介して制御情報を送信することによって行う。
【００４８】
自画像撮影部６７および相手画像撮影部６９では、通知された制御情報に従って撮影状態（撮影方向、撮影領域、焦点位置など）の変更処理を実行する。前記画像撮影部６７、６９には図示しない制御部が含まれ、前記制御情報はこの制御部に通知されるようになっており、撮影状態の変更処理は、この制御情報の通知を受けた制御部によって行われるようになされている。
【００４９】
自画像撮影部６７により撮影された画像は、自画像表示ウィンドウ６８ａに表示されるとともに、通信回線を介して相手局側の画像表示部（図示せず）に伝えられて表示される。また、相手画像撮影部６９により撮影された画像は、相手局側の画像表示部（図示せず）に表示されるとともに、通信回線を介して相手局側から自局側に伝えられ、相手画像表示ウィンドウ６８ｂに表示される。
【００５０】
以上のように、自画像表示ウィンドウ６８ａまたは相手画像表示ウィンドウ６８ｂに表示されている画像上で任意の点や領域を指定するだけで、その画像を撮影している自画像撮影部６７または相手画像撮影部６９の撮影状態（撮影方向、撮影領域、焦点位置）の制御を確実に行うことができ、前記各制御を行うための操作が容易になる。
【００５１】
また、自局側において相手画像撮影部６９の撮影状態を制御する場合でも、ある制御を行うために点や領域を指定してからその結果を反映した新しい相手画像が相手画像表示ウィンドウ６８ｂに表示されるまでにかかる遅延時間による問題は生じない。すなわち、自局側の相手画像表示ウィンドウ６８ｂ上において、操作者が最終的に撮影方向、撮影領域、焦点位置等の変更を行おうとする位置や領域を指定すれば、その指定した位置や領域の情報に基づいて相手画像撮影部６９の撮影状態が指定した通りに自動的に変更されるので、撮影方向、撮影領域、焦点位置の変更等の各制御を操作者の意図通りに行うことが容易になる。
【００５２】
図２は、本発明の一実施形態であるテレビ会議システムの構成を示すブロック図である。
図２において、１は音声入出力手段の１つであるハンドセット、２は音声入力手段の１つであるマイク、３は音声出力手段の１つであるスピーカ、４は音声インタフェース部であり、システム制御部１４からの指示により、前記ハンドセット１、マイク２、スピーカ３の切り換え処理や、前記ハンドセット１のオン／オフフック状態の検出処理等を行う。
【００５３】
５は音声符号化復号化部であり、システム制御部１４からの指示により、64kbps PCM A-law、 64kbps PCM μ-law、64kbps／56kbps／48kbps SB-ADPCM 、32kbps ADPCM、16kbps（例えばAPC-AB）、8kbps 等の音声信号符号化復号化アルゴリズムに従って、送信音声信号の符号化処理および受信音声信号の復号化処理を行う。
【００５４】
６は画像撮影部の１つであるカメラであり、このカメラ６に所定の制御情報を通知することにより、撮影方向、ズーミング、焦点合わせ等の制御が可能なようになされている。７は画像撮影部の他の１つである書画カメラであり、会議に用いるドキュメント等の資料を撮影するためのものである。
【００５５】
８は画像表示部の１つであるディスプレイであり、前記カメラ６および書画カメラ７からの画像または相手局側のテレビ会議システムから通信回線を介して送られてくる受信画像等を、それぞれ自画像表示ウィンドウまたは相手画像表示ウィンドウに表示するためのものである。
【００５６】
９はビデオインタフェース部であり、システム制御部１４からの指示により、例えば表示画面の切り換え処理、画像信号の合成処理、画像撮影部の撮影方向を制御する撮影方向制御処理等の種々の処理を行う。１０はビデオ符号化復号化部であり、ITU-T 勧告H.261 に従って送信画像信号の符号化処理および受信画像信号の復号化処理を行う。
【００５７】
１１はデータ通信を行うためのデータ端末、１２はデータインタフェース部であり、前記データ端末１１およびシステム制御部１４からの送信データを多重分離化部１５へ通知するとともに、相手局側からの受信データをデータ端末１１またはシステム制御部１４に通知する。１３は操作部であり、本システムの種々の制御を行うための制御情報の入力に使用するものである。操作部１３は、例えばキーボード、座標入力装置（マウス、タブレット等）などを有している。
【００５８】
上述のシステム制御部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭおよび記憶装置等を備え、本システム全体の監視および制御を行う。また、多重分離化部１５は、ITU-T 勧告H.221 に従って、音声符号化復号化部５からの音声信号、ビデオ符号化復号化部１０からのビデオ信号、データインタフェース部１２からのデータ信号をＢＡＳ（ビットレート割当信号）に変換し、送信フレーム単位に多重化する多重化処理を行う。また、受信フレームを構成単位の各メディアに分離し、この分離したデータをそれぞれ音声符号化復号化部５、ビデオ符号化復号化部１０およびデータインタフェース部１２に通知する分離処理も行う。
【００５９】
１６は回線インタフェース部であり、ＩＳＤＮ（サービス総合デジタル網）等の通信回線に接続され、ＩＳＤＮユーザ・網インタフェースに従ってシステム制御部１４からの指示により回線の制御を行う。
前記構成のテレビ会議システムが、同様に構成された遠隔地のテレビ会議システムとＩＳＤＮ通信回線を介して接続され、画像や音声や制御情報等を相互に送受信することによりテレビ会議を行うことができるようになされている。
【００６０】
なお、上述した各構成のうち、ビデオインタフェース部９とシステム制御部１４とにより、図１に示した制御判定部５３、画像撮影部識別部５５、撮影方向制御部５６、撮影領域制御部５９、焦点位置制御部６４および制御情報通知部６６が構成されている。
【００６１】
図３は、本実施形態に係るテレビ会議システムにおいて、カメラ６の撮影方向を制御する動作を説明するための図である。
図３において、３００は画像表示部の１つである画像表示ウィンドウ、３０１はカメラ６の撮影対象である被写体、３０２は前記画像表示ウィンドウ３００上の任意の点を指定するためのポインティングカーソルである。
【００６２】
図３（ａ）に示すように前記画像表示ウィンドウ３００の中心からずれた位置にある被写体３０１が、図３（ｂ）に示すように画像表示ウィンドウ３００の中心にくるようにカメラ６の撮影方向を変更する場合、本実施形態によるテレビ会議システムでは、図３（ａ）に示すように、画像表示ウィンドウ３００の中心にもってこようとする被写体３０１の顔の位置を、ポインティングカーソル３０２およびそのカーソル３０２に対する指示（例えば、ポインティングカーソル３０２をマウスで構成した場合、かかるマウスのクリック動作）によって指定することにより、カメラ６の撮影方向を自動的に変更する。
【００６３】
図４は、本実施形態によるテレビ会議システムにおいて、カメラ６の撮影方向の制御情報を計算する方法の一例を説明するための図である。
図４において、４００は画像表示ウィンドウ、４０１はカメラ６の撮影対象である被写体、４０２は前記ポインティングカーソル３０２により指定された画像表示ウィンドウ４００上の指定点、４０３はカメラ６のレンズ、４０４はカメラ６により撮影した画像の結像イメージである。
【００６４】
本実施形態では、前記画像表示ウィンドウ４００上の指定点４０２と前記カメラ６の状態とをもとにして、前記指定点４０２で示される被写体４０１が画像表示ウィンドウ４００の中心にくるようにするためのカメラ６の撮影方向制御情報を計算するようにしている。この計算方法の一例を以下に示す。
【００６５】
まず、カメラ６の左右方向に対する撮影方向制御情報は、図４に示すカメラ６の撮影方向の左右方向に対する首振り角度θx を求めればよい。
ここで、レンズ４０３から結像イメージ４０４までの焦点距離をｆ、画像表示ウィンドウ４００の横幅をＭ、画像表示ウィンドウ４００の中心から指定点４０２までの横方向の距離をＸ、結像イメージ４０４の横幅をｍ、結像イメージ４０４の中心から指定点４０２に相当する点までの横方向の距離をｘとすると、前記カメラ６の撮影方向の左右方向に対する首振り角度θx は、次の（式１）により求められる。
ｔａｎθx ＝ＭＸ／ｍｆ
θx ＝ｔａｎ-1（ＭＸ／ｍｆ） …（式１）
【００６６】
同様に、カメラ６の上下方向に対する撮影方向制御情報は、図４に示すカメラ６の撮影方向の上下方向に対する首振り角度θy を求めればよい。
画像表示ウィンドウ４００の縦幅をＮ、画像表示ウィンドウ４００の中心から指定点４０２までの縦方向の距離をＹ、結像イメージ４０４の縦幅をｎ、結像イメージ４０４の中心から指定点４０２に相当する点までの縦方向の距離をｙとすると、前記カメラ６の撮影方向の上下方向に対する首振り角度θy は、次の（式２）により求められる。
ｔａｎθy ＝ＮＹ／ｎｆ
θy ＝ｔａｎ-1（ＮＹ／ｎｆ） …（式２）
【００６７】
図５は、本実施形態のテレビ会議システムにおいて、自画像表示ウィンドウまたは相手画像表示ウィンドウに対して位置指定があった場合に、自画像撮影部または相手画像撮影部の撮影方向を制御するための処理の流れを示すフローチャートである。以下に、図１のブロック図を参照しながらこのフローチャートについて説明する。
【００６８】
図５において、まずステップＳ５００で、位置指定部５１により自画像表示ウィンドウ６８ａまたは相手画像表示ウィンドウ６８ｂのいずれかに対して撮影方向の指定があったかどうかを制御判定部５３で検査する。そして、指定があった場合はステップＳ５０１に進み、指定がなかった場合はステップＳ５００の処理を繰り返す。
【００６９】
ステップＳ５０１では、画像撮影部識別部５５により、前記指定があったウィンドウに表示されている画像を撮影している画像撮影部が自局側のものであるか相手局側のものであるかを識別する。そして、指定されたウィンドウに表示されている画像が自画像である場合はステップＳ５０２に進み、相手画像である場合はステップＳ５０５に進む。
【００７０】
ステップＳ５０２では、撮影状態検出部５７により、前記自画像撮影部６７の現在の状態（図４に示したレンズ４０３から結像イメージ４０４までの焦点距離ｆや画像表示ウィンドウ４００の中心から指定点４０２までの横幅Ｘ、縦幅Ｙなど）を調べる。
【００７１】
次に、ステップＳ５０３で、撮影方向制御情報計算部５８により、前記ステップＳ５００で指定された自画像表示ウィンドウ６８ａ上における点の位置と前記ステップＳ５０２で調べた自画像撮影部６７の状態とに基づいて、図４で説明した方法に従って前記自画像撮影部６７の撮影方向を変更するための制御情報を計算する。
【００７２】
そして、ステップＳ５０４で、制御情報通知部６６により、前記ステップＳ５０３で計算した自画像撮影部６７の撮影方向制御情報を前記自画像撮影部６７に通知する。自画像撮影部６７は、この撮影方向制御情報に従って、被写体が自画像表示ウィンドウ６８ａの中心にくるように上下左右に撮影方向を変更する。
【００７３】
一方、ステップＳ５０１からステップＳ５０５に進んだときは、撮影状態検査部５７により、相手画像撮影部６９の現在の状態を調べる。相手画像撮影部６９の現在の状態は、通信回線を介して相手局側のテレビ会議端末に相手画像撮影部６９の状態を問い合わせることにより知ることができる。
【００７４】
次に、ステップＳ５０６では、撮影方向制御情報計算部５８により、前記ステップＳ５００で指定された相手画像表示ウィンドウ６８ｂ上における点の位置と前記ステップＳ５０５で調べた相手画像撮影部６９の状態とに基づいて、図４で説明した方法に従って相手画像撮影部６９の撮影方向を変更するための制御情報を計算する。
【００７５】
そして、ステップＳ５０７で、制御情報通知部６６により、前記ステップＳ５０６で計算した相手画像撮影部６９の撮影方向制御情報を、相手局側のテレビ会議端末に対して通信回線を介して送信する。相手画像撮影部６９は、自局側のテレビ会議端末から受信した撮影方向制御情報に従って上下左右に撮影方向を変更する。この撮影方向の変更途中や変更後に撮影された相手画像は、通信回線を介して自局側の画像表示部６８に通知され、相手画像表示ウィンドウ６８ｂに表示される。
【００７６】
図６は、本実施形態のテレビ会議システムにおいて、カメラ６の撮影領域を制御する動作を説明するための図である。
図６において、６００はカメラ６の撮影対象である被写体、６０１は前記画像表示ウィンドウ３００上において前記ポインティングカーソル３０２により指定された領域、６０２はカメラ６の撮影領域の縦横比に合わせた前記指定領域６０１を包含する矩形領域、６０３は前記矩形領域６０２の中心点である。
【００７７】
本実施形態のテレビ会議システムでは、図６（ａ）に示すようにポインティングカーソル３０２により領域６０１が指定されたときは、その領域６０１を包含する矩形領域６０２を生成する。そして、図３および図４で説明した撮影方向制御手順に従って、矩形領域６０２の中心点６０３の方向にカメラ６の撮影方向を変更する。さらに、図４で説明した計算方法と同様に前記結像イメージ４０４を前記矩形領域６０２に合わせるための焦点距離ｆを計算することにより、図６（ｂ）に示すように指定領域６０１に合わせたズーミング処理を自動的に行う。
【００７８】
図７は、本実施形態のテレビ会議システムにおいて、カメラ６の焦点位置を制御する動作を説明するための図である。
図７において、７００はカメラ６に近い位置にいる被写体、７０１はカメラ６から遠い位置にいる被写体である。
【００７９】
本実施形態のテレビ会議システムでは、従来のテレビ会議システムと同様に、初期状態では図７（ａ）に示すように撮影領域の中心にいる被写体７００に対して焦点を合わせているものとする。
【００８０】
本テレビ会議システムでは、図７（ａ）に示すように、ポインティングカーソル３０２を用いてカメラ６の撮影領域の中心からずれた位置にいる被写体７０１を指定することにより、指定された点に対して測距を行い、その測距結果を基にして図７（ｂ）に示すように被写体７０１に対して自動的に焦点を合わせる。なお、かかる指定された点に対する測距としては、既にビデオカメラにおいて用いられている公知の方法を採用すればよい。
【００８１】
図８は、本実施形態のテレビ会議システムにおいて、画像表示部上で任意の位置や領域を指定することによりカメラ６に対して複数の制御指示があった場合に、これらの複数の制御の中から特定の制御を選択するためのカメラ６に対する制御選択動作を説明するための図である。
【００８２】
図８は、図１の画像表示部６８上に表示される画像の一例を示す図であり、図８において、８００はカメラ６の制御選択ウィンドウ、８０１はカメラ６の撮影方向制御選択ボタン、８０２はカメラ６の撮影領域制御選択ボタン、８０３はカメラ６の焦点位置制御選択ボタンである。
【００８３】
図８において、まず、ポインティングカーソル３０２により制御選択ウィンドウ８００上の３つの制御選択ボタン８０１〜８０３の何れかのボタンを押下し、続いて画像表示ウィンドウ３００上の任意の位置または領域を指定することにより、押下したボタンに対応する制御を起動する。
【００８４】
すなわち、撮影方向制御選択ボタン８０１が押下された場合は、前記図３にて説明した撮影方向の制御を起動する。また、撮影領域制御選択ボタン８０２が押下された場合は、前記図６にて説明した撮影領域の制御を起動する。また、焦点位置制御選択ボタン８０３が押下された場合は、前記図７にて説明した焦点位置の制御を起動する。
【００８５】
前記実施形態では、ディスプレイ８などの画像表示部に対して位置や領域が指定された場合に、その指定された位置や領域に合わせてカメラ６などの画像撮影部の撮影方向や撮影領域を変更するための制御情報を計算していた。これに対し、前記画像表示部を予め小さなブロックに分割し、その分割したブロックごとに画像撮影部の制御情報をテーブル情報として格納しておくことにより、制御情報の計算処理を制御情報テーブルの参照処理に置き換えるようにしてもよい。
【００８６】
また、前記実施形態では、画像表示部上で指定した任意の点に対して焦点を合わせるようにしたが、図９に示すように、選択可能な複数の測距点９００を画像表示部に予め表示しておき、これら複数の測距点９００の何れかを指定することにより、指定された測距点９００に対して焦点位置制御を行うようにすることもできる。
【００８７】
図１１は、本発明の第２の実施形態の構成を示すブロック図である。
図１１において、自局側の画像を撮影する自画像撮影部１１７と画像表示部１１８とそれ以外の構成要素１１９〜１２５を具備する画像通信装置とにより自局側の画像通信システムが構成されている。なお、前記画像通信装置には、前記構成要素１１９〜１２５の他に、図２において説明した種々の構成要素が含まれているが、こでは図示を省略している。
【００８８】
また、相手局側の画像通信システムにおいては、通信回線を介して自局側の画像通信システムとデータの送受信を行うための通信制御部１２６、相手局側の画像を撮影する相手画像撮影部１２７、および相手局側の画像撮影部１２７の制御が完了したことを通知する制御完了通知部１２８のみを図示し、その他の構成については図示を省略したが、相手局側の画像信号システムも自局側と同様に構成されており、自局側と相手局側とで画像データや種々の制御情報を相互に送受信することにより、例えばテレビ会議を行うことができるようになされている。
【００８９】
図１１において、自画像撮影部１１７および相手画像撮影部１２７では、通知された制御情報に従って撮影状態（撮影方向、撮影領域、焦点位置など）の変更処理を実行する。前記画像撮影部１１７、１２７にはそれぞれ図示しない制御部が含まれ、前記制御情報はこの制御部に通知されるようになっており、撮影状態の変更処理は、この制御情報の通知を受けた制御部によって行われるようになされている。また、前記受信した制御情報による撮影状態の制御が完了した場合、前記受信した制御情報の送信元に応じて、制御完了情報を撮影制御禁止部１２２または制御完了通知部１２４に通知する。
【００９０】
自画像撮影部１１７により撮影された画像は、制御時間予測部１２３を介して画像表示部１１８の自画像表示ウィンドウ１１８ａに表示されるとともに、通信制御部１２５を介して相手局側に送信され、相手局側の画像表示部（図示せず）に表示される。また、相手画像撮影部１２７により撮影された画像は、相手局側の画像表示部（図示せず）に表示されるとともに、通信制御部１２６を介して相手局側から自局側に伝えられ、相手画像表示ウィンドウ１１８ｂに表示される。
【００９１】
前記制御時間予測部１２３では、前記自画像撮影部１１７または通信制御部１２５から通知される自画像または相手画像のフレーム間隔を測定・記録することにより、相手から画像が転送される平均的な時間間隔を計算するとともに、制御情報通知部１２０により通知された制御情報に応じた画像撮影部の撮影状態の制御が完了するまでの時間を計算する。これにより、撮影状態制御情報を送信してから、その制御情報による画像撮影部の撮影状態制御が完了し、制御完了後の新たな画像が画像表示部１１８に表示されるまでの時間を予測する。
【００９２】
１１９は、前記画像表示部１１８にグラフィックスで表現された撮影制御部であり、前記自画像撮影部１１７または前記相手画像撮影部１２７を制御するためのボタン等が配置されている。操作者は、マウス（図示せず）等の入力装置を使って撮影制御部１１９のボタンを操作することにより、前記自画像撮影部１１７または相手画像撮影部１２７を制御することができる。
【００９３】
撮影制御部１１９により入力された制御情報は、撮影制御禁止部１２２に通知され、この通知を受けた撮影制御禁止部１２２は、その制御情報による制御対象の画像撮影部に応じて、制御情報を自画像撮影部１１７または制御情報通知部１２０に通知する。制御情報通知部１２０に通知された制御情報は、更に通信制御部１２５を介して相手局側の相手画像撮影部１２７に通知され、相手画像撮影部１２７の撮影状態の制御が行われる。
【００９４】
また、撮影制御禁止部１２２は、前記制御情報の通知と同時に、前記撮影制御部１１９を操作禁止状態にするためのコマンドを撮影制御部１１９に通知し、このコマンドを受信した撮影制御部１１９は、ボタンの表示を操作禁止状態を示す表示に変更する。
【００９５】
撮影制御禁止部１２２が前記撮影制御部１１９の操作禁止状態を解除するきっかけとしては、実施方法により以下の２つの方法がある。
１つは、前記自画像撮影部１１７または相手画像撮影部１２７が制御完了通知部１２８を介して通知してくる撮影状態制御の完了通知を受信したときに操作禁止状態を解除する方法である。もう１つは、送信した制御情報により自画像撮影部１１７または相手画像撮影部１２７の撮影状態制御が完了し、制御完了後のフレームが前記画像表示部１１８に表示されるまでの予測時間を前記制御時間予測部１２３に問い合わせ、時間計時部１２１により制御予測時間を計時後に操作禁止状態を解除する方法である。
【００９６】
前記操作禁止状態の解除は、撮影制御禁止部１２２から撮影制御部１１９に通知され、通知を受けた撮影制御部１１９は、ボタンの表示を操作可能状態を示す表示に変更する。
【００９７】
なお、本実施形態においては、図２に示した構成と同様の構成において、ビデオインタフェース部９とシステム制御部１４とにより、図１１に示した撮影制御部１１９、制御情報通知部１２０、時間計時部１２１、撮影制御禁止部１２２、制御時間予測部１２３および制御完了通知部１２４の動作が実現される。
【００９８】
図１２は、本実施形態に係るテレビ会議システムにおいて、制御時間予測部１２３および時間計時部１２１を用いて撮影制御禁止部１２２の制御を行う場合の処理の流れを説明するためのシーケンス図である。以下に、図１１のブロック図を参照ながらこのシーケンス図について説明する。
【００９９】
図１２において、Ｓ３００で撮影制御部１１９に対して操作者が相手画像撮影部１２７の撮影状態制御情報を入力すると、Ｓ３０１において前記入力された情報が撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信される。
【０１００】
このとき自局側では、Ｓ３０２において撮影制御禁止部１２２が撮影制御部１１９を操作禁止状態にする。また、撮影制御禁止部１２２が制御時間予測部１２３から、相手画像撮影部１２７の撮影状態制御が完了して制御完了後の画像が通知されるまでの予測制御時間（指示された制御を実現するために必要であると予測された時間Ｔ１）をＳ３０３で取得する。
【０１０１】
ここで、撮影制御部１１９の状態の表示がグラフィカル表現で実施されている場合は、グラフィカル表現を操作禁止状態を表わすような表示に変更する。例えば、図１１においては、画像撮影部１１７、１２７の制御を行うためのアイコンが表示されているが、かかる表示に代えて操作禁止状態を示すような表示に変更する。
【０１０２】
そして、Ｓ３０４以降で、時間計時部１２１により前記Ｓ３０３で取得した予測制御時間が経過したかどうかを監視し、前記予測制御時間が経過するまで撮影制御部１１９を操作禁止状態に保つ。
【０１０３】
一方、相手局側においては、前記Ｓ３０１で通知された撮影状態制御情報を受信すると、前記受信した制御情報に基づきＳ３０６で相手画像撮影部１２７の撮影状態制御（例えば、カメラの首振り制御等）を開始する。このとき、撮影状態を変更している（例えば、カメラの首振りをしている）間の画像も、Ｓ３０７、Ｓ３０９といったように自局側に送信され、Ｓ３０８、Ｓ３１０で自局側の画像表示部１１８に表示されている。
【０１０４】
この図１２の例では、相手局側の画像撮影部１２７の撮影状態制御はＳ３１１で完了している。したがって、Ｓ３１２で送信されＳ３１３で自局側の画像表示部１１８に表示された画像が制御完了後の最初の画像となっている。ここで、Ｓ３０１で撮影状態の制御情報が相手局側に通知されてから、相手画像撮影部１２７の撮影状態制御が完了して、制御完了後の最初の画像が自局側に送信されるまでの時間をＴ２とする。
【０１０５】
その後、自局側において、Ｓ３１４で前記時間計時部１２１により予測制御時間Ｔ１の計時が完了すると、撮影制御禁止部１２２は、Ｓ３１５で撮影制御部１１９の操作禁止状態を解除する。ここで、撮影制御部１１９がグラフィカル表現で実施されている場合は、そのグラフィカル表現を操作可能状態を表すような表示（例えば、図１１に示されるような表示）に変更する。
【０１０６】
以下、Ｓ３００、Ｓ３０１と同様に、Ｓ３１６で操作者からの撮影状態制御情報の入力を受け付け、Ｓ３１７でその制御情報を相手局側に送信するという処理が繰り返される。
なお、この例で示した予測制御時間Ｔ１は、時間Ｔ２よりも大きい値が算出されるものとする。
【０１０７】
図１３は、本実施形態に係るテレビ会議システムにおいて、制御完了通知部１２８を用いて撮影制御禁止部１２２の制御を行う場合の処理の流れを説明するためのシーケンス図である。以下に、図１１のブロック図を参照しながらこのシーケンス図について説明する。
【０１０８】
図１３において、Ｓ４００で撮影制御部１１９に対して操作者が相手画像撮影部１２７の撮影状態制御情報を入力すると、Ｓ４０１において前記入力された制御情報が撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信される。
【０１０９】
このとき自局側では、Ｓ４０２において撮影制御禁止部１２２が撮影制御部１１９を操作禁止状態にする。ここで、撮影制御部１１９がグラフィカル表現で実施されている場合は、そのグラフィカル表現を操作禁止状態を表すような表示に変更する。
【０１１０】
一方、相手局側においては、前記Ｓ４０１で通知された撮影状態制御情報を受信すると、前記受信した制御情報に基づき、Ｓ４０３で相手画像撮影部１２７の撮影状態制御（例えば、カメラの首振り制御等）を開始する。このとき、撮影状態を変更している（例えば、カメラの首振りをしている）間の画像も、Ｓ４０４、Ｓ４０６といったように自局側に送信され、Ｓ４０５、Ｓ４０７で自局側の画像表示部１１８に表示されている。
【０１１１】
この図１３の例では、相手局側の画像撮影部１２７の制御はＳ４０８で完了している。したがって、Ｓ４０９で送信された画像が制御完了後の最初の画像となっている。この制御完了後の最初の画像は、Ｓ４１０において自局側の画像表示部１１８に表示される。
【０１１２】
更に相手局側では、前記Ｓ４０９で撮影状態制御完了後の最初の画像の送信が終わると、Ｓ４１１において、撮影状態制御が完了したことを制御完了通知部１２８および通信制御部１２６を介して自局側に通知する。自局側では、Ｓ４１１の制御完了通知を受けると、撮影制御禁止部１２２が前記Ｓ４０２で設定した撮影制御部１１９の操作禁止状態をＳ４１２で解除する。ここで、撮影制御部１１９がグラフィカル表現で実施されている場合は、そのグラフィカル表現を操作可能状態を表わすような表示に変更する。
【０１１３】
以下、Ｓ４００、Ｓ４０１と同様に、Ｓ４１３で操作者からの撮影状態制御情報の入力を受け付け、Ｓ４１４でその制御情報を相手局側に送信するという処理が繰り返される。
【０１１４】
図１４は、本実施形態に係るテレビ会議システムにおいて、制御時間予測部１２３および時間計時部１２１を用いて撮影制御禁止部１２２の制御を行う場合に、撮影制御部１１９による制御情報の入力があったときの処理の流れを示すフローチャートである。以下に、図１１のブロック図を参照しながらこのフローチャートについて説明する。
【０１１５】
図１４において、まずステップＳ５００で、撮影制御部１１９を用いて操作者が入力した相手画像撮影部１２７の制御情報を、撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信し、ステップＳ５０１に進む。ステップＳ５０１では、前記ステップＳ５００で制御情報を通知された撮影制御禁止部１２２が、前記撮影制御部１１９を操作禁止状態に設定し、ステップＳ５０２に進む。
【０１１６】
ステップＳ５０２では、前記撮影制御禁止部１２２が、前記相手局側に送信した制御情報による相手画像撮影部１２７の撮影状態制御が完了し、制御完了後の画像が送信されてくるまでの予測制御時間を制御時間予測部１２３から取得し、ステップＳ５０３に進む。ステップＳ５０３では、時間計時部１２１を用いて前記ステップＳ５０２で取得した予測制御時間の経過の計時を開始し、ステップＳ５０４に進む。
【０１１７】
ステップＳ５０４では、前記ステップＳ５０３で開始した時間計時の結果を調べ、前記ステップＳ５０２で取得した予測制御時間が経過した場合はステップＳ５０５に進み（ステップＳ５０４：Ｙｅｓ）、経過していなかった場合はステップＳ５０４の処理を繰り返す（ステップＳ５０４：Ｎｏ）。ステップＳ５０５では、前記ステップＳ５０１で設定した撮影制御部１１９の操作禁止状態を解除し、本処理を終了する。
【０１１８】
図１５は、本実施形態に係るテレビ会議システムにおいて、制御完了通知部１２８を用いて撮影制御禁止部１２２の制御を行う場合に、撮影制御部１１９による制御情報の入力があったときの処理の流れを示すフローチャートである。以下に、図１１のブロック図を参照しながらこのフローチャートについて説明する。
【０１１９】
図１５において、まずステップＳ６００で、撮影制御部１１９を用いて操作者が入力した相手画像撮影部１２７の制御情報を、撮影制御禁止部１２２、制御情報通知部１２０、通信制御部１２５を介して相手局側に送信し、ステップＳ６０１に進む。ステップＳ６０１では、前記ステップＳ６００で制御情報を通知された撮影制御禁止部１２２が、前記撮影制御部１１９を操作禁止状態に設定し、ステップＳ６０２に進む。
【０１２０】
ステップＳ６０２では、前記ステップＳ６００で通知した制御情報に応じた相手画像撮影部１２７の撮影状態制御が完了し、撮影状態完了後の画像を送信したことが相手局側から通知されたかどうか調べ、制御完了通知が行われた場合はステップＳ６０３に進み（ステップＳ６０２：Ｙｅｓ）、通知されていなかった場合はステップＳ６０２の処理を繰り返す（ステップＳ６０２：Ｎｏ）。ステップＳ６０３では、前記ステップＳ６０１で設定した撮影制御部１１９の操作禁止状態を解除し、本処理を終了する。
【０１２１】
図１６は、本実施形態に係るテレビ会議システムにおいて、制御完了通知部１２８を用いて撮影制御禁止部１２２の制御を行う場合に、自画像撮影部１１７の撮影状態制御情報を受信したときの処理の流れを示すフローチャートである。以下に、図１１のブロック図を参照しながらこのフローチャートについて説明する。
【０１２２】
図１６において、まずステップＳ７００で、相手局側から受信した制御情報に応じて自画像撮影部１１７の撮影状態制御を開始し、ステップＳ７０１に進む。ステップＳ７０１では、前記ステップＳ７００で開始した自画像撮影部１１７の制御（例えば、カメラの首振り制御）が完了したかどうか調べ、制御が完了した場合はステップＳ７０２に進み（ステップＳ７０１：Ｙｅｓ）、完了していない場合はステップＳ７０１の処理を繰り返す（ステップＳ７０１：Ｎｏ）。
【０１２３】
ステップＳ７０２では、前記ステップＳ７０１において検出した自画像撮影部１１７の制御完了後、前記自画像撮影部１１７が通信制御部１２５を介して新たな画像を相手局側に送信したかどうか調べ、制御完了後の画像を送信していた場合はステップＳ７０３に進み（ステップＳ７０２：Ｙｅｓ）、送信していない場合はステップＳ７０２の処理を繰り返す（ステップＳ７０２：Ｎｏ）。なお、図１１に示した構成図の例では、制御完了後の画像送信が完了すると、前記自画像撮影部１１７から制御完了通知部１２４に対して画像送信完了が通知されるものとする。
【０１２４】
ステップＳ７０３では、本処理が起動されるきっかけとなった受信制御情報による自画像撮影部１１７の制御が完了し、制御完了後の画像を送信したことを、前記制御完了通知部１２４が通信制御部１２５を介して相手局側に通知し、本処理を終了する。
【０１２５】
【発明の効果】
以上説明したように、本発明によれば、制御情報の送信の遅延に伴う通信相手における操作のしすぎを防止することができ、利便性を向上することができる。
【図面の簡単な説明】
【図１】本発明の要素的特徴を示すブロック図である。
【図２】本発明の一実施形態によるテレビ会議システムの構成を示すブロック図である。
【図３】本実施形態のテレビ会議システムにおける撮影方向の制御動作を説明するための図である。
【図４】本実施形態のテレビ会議システムにおいて撮影方向制御情報を計算する方法の一例を説明するための図である。
【図５】本実施形態のテレビ会議システムにおいて自画像表示ウィンドウまたは相手画像表示ウィンドウに対する位置指定があった場合に、自画像撮影部または相手画像撮影部の撮影方向を制御するための処理の流れを示すフローチャートである。
【図６】本実施形態のテレビ会議システムにおける撮影領域の制御動作を説明するための図である。
【図７】本実施形態のテレビ会議システムにおける焦点位置の制御動作を説明するための図である。
【図８】本実施形態のテレビ会議システムにおける画像撮影部に対する制御選択動作を説明するための図である。
【図９】本実施形態のテレビ会議システムにおいて、焦点位置の制御のために選択できる焦点位置を予め表示した場合の画像表示部の表示例を示す図である。
【図１０】従来のテレビ会議システムにおける画像撮影部の撮影方向の制御動作を説明するための図である。
【図１１】本発明の他の要素的特徴（第２の実施形態）を示すブロック図である。
【図１２】本実施形態によるテレビ会議システムにおいて、制御時間予測部および時間計時部を用いて撮影制御禁止部の制御を行う場合の処理の流れを説明するためのシーケンス図である。
【図１３】本実施形態によるテレビ会議システムにおいて、制御完了通知部を用いて撮影制御禁止部の制御を行う場合の処理の流れを説明するためのシーケンス図である。
【図１４】本実施形態によるテレビ会議システムにおいて、制御時間予測手段および時間計時部を用いて撮影制御禁止部の制御を行う場合に、撮影制御部による制御情報の入力があったときの処理の流れを示すフローチャートである。
【図１５】本実施形態によるテレビ会議システムにおいて、制御完了通知部を用いて撮影制御禁止部の制御を行う場合に、撮影制御部による制御情報の入力があったときの処理の流れを示すフローチャートである。
【図１６】本実施形態によるテレビ会議システムにおいて、制御完了通知部を用いて撮影制御禁止部の制御を行う場合に、画像撮影部の撮影状態制御情報を受信したときの処理の流れを示すフローチャートである。
【符号の説明】
１ ハンドセット
２ マイク
３ スピーカ
４ 音声インタフェース部
５ 音声符号化復号化部
６ カメラ
７ 書画カメラ
８ ディスプレイ
９ ビデオインタフェース部
１０ ビデオ符号化復号化部
１１ データ端末
１２ データインタフェース部
１３ 操作部
１４ システム制御部
１５ 多重分離化部
１６ 回線インタフェース部
５１ 位置指定部
５２ 領域指定部
５３ 制御判定部
５４ 制御選択部
５５ 画像撮影部識別部
５６ 撮影方向制御部
５７ 撮影状態検査部
５８ 撮影方向制御情報計算部
５９ 撮影領域制御部
６０ 矩形領域生成部
６１ 撮影状態検査部
６２ 撮影方向制御情報計算部
６３ 焦点距離計算部
６４ 焦点位置制御部
６５ 焦点位置制御情報計算部
６６ 制御情報通知部
６７ 自画像撮影部
６８ 画像表示部
６８ａ 自画像表示ウィンドウ
６８ｂ 相手画像表示ウィンドウ
６９ 相手画像撮影部
１１７ 自画像撮影部
１１８ 画像表示部
１１８ａ 自画像表示ウィンドウ
１１８ｂ 相手画像表示ウィンドウ
１１９ 撮影制御部
１２０ 制御情報通知部
１２１ 時間計時部
１２２ 撮影制御禁止部
１２３ 制御時間予測部
１２４ 制御完了通知部（自局側）
１２５ 通信制御部（自局側）
１２６ 通信制御部（相手局側）
１２７ 相手画像撮影部
１２８ 制御完了通知部（相手局側）
Claims (5)
- 通信回線を介して送信され通信相手を制御するための制御情報を生成する制御情報生成手段と、
前記通信回線の所定の遅延時間後に送信される制御情報によって前記通信相手が不正確に動作することを防止する防止手段と、
前記通信相手に送信された制御情報に応じて前記通信相手から制御完了通知を受け取る受信手段と、
を有し、
上記防止手段は、前記受信手段が前記制御完了通知を受け取るまで、前記制御情報生成手段が別の制御情報を生成するのを防止することを特徴とする画像通信装置。 - 前記通信回線は公衆回線であることを特徴とする請求項１に記載の画像通信装置。
- 前記通信回線は無線回線であることを特徴とする請求項１に記載の画像通信装置。
- 前記制御情報は、前記通信相手の撮影部を遠隔制御するための制御情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像通信装置。
- 通信回線を介して送信され通信相手を制御するための制御情報を生成する制御情報生成手段において、前記通信回線の所定の遅延時間後に送信される制御情報によって前記通信相手が不正確に動作することを防止する制御を実行し、当該制御に当たり、前記通信相手に送信された制御情報に応じて前記通信相手から制御完了通知を受け取るまで、別の制御情報を生成するのを防止することを特徴とする画像通信装置の制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01221196A JP3745000B2 (ja) | 1995-02-03 | 1996-01-26 | 画像通信装置及びその制御方法 |
| US08/595,654 US6320614B1 (en) | 1995-02-03 | 1996-02-02 | Image communication apparatus for controlling a mechanical motion of a communication partner |
| US09/955,206 US6980238B2 (en) | 1995-02-03 | 2001-09-19 | Image communication system and method utilizing self-portrait and partner display windows |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1692395 | 1995-02-03 | ||
| JP7-16923 | 1995-02-03 | ||
| JP01221196A JP3745000B2 (ja) | 1995-02-03 | 1996-01-26 | 画像通信装置及びその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08275135A JPH08275135A (ja) | 1996-10-18 |
| JP3745000B2 true JP3745000B2 (ja) | 2006-02-15 |
Family
ID=26347780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01221196A Expired - Fee Related JP3745000B2 (ja) | 1995-02-03 | 1996-01-26 | 画像通信装置及びその制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6320614B1 (ja) |
| JP (1) | JP3745000B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4131340B2 (ja) * | 1997-07-11 | 2008-08-13 | ソニー株式会社 | 制御装置、制御方法、および受信装置 |
| JP4124892B2 (ja) * | 1998-07-24 | 2008-07-23 | キヤノン株式会社 | 通信装置及び通信方法及び記憶媒体 |
| JP2000242408A (ja) * | 1998-12-04 | 2000-09-08 | Canon Inc | 座標補正装置、座標補正用パラメータ算出装置、座標補正方法、座標補正用パラメータ算出方法、及び座標補正制御プログラムを格納した記憶媒体、及び座標補正用パラメータ算出プログラムを格納した記憶媒体 |
| US6992702B1 (en) * | 1999-09-07 | 2006-01-31 | Fuji Xerox Co., Ltd | System for controlling video and motion picture cameras |
| JP3480446B2 (ja) * | 2001-01-11 | 2003-12-22 | ミノルタ株式会社 | デジタルカメラ |
| US7995090B2 (en) | 2003-07-28 | 2011-08-09 | Fuji Xerox Co., Ltd. | Video enabled tele-presence control host |
| KR100617702B1 (ko) * | 2004-01-13 | 2006-08-28 | 삼성전자주식회사 | 이미지 편집이 가능한 휴대용 단말기 및 이를 이용한이미지 편집 방법 |
| US9215363B2 (en) * | 2004-09-29 | 2015-12-15 | Hewlett-Packard Development Company, L.P. | Implementing autofocus in an image capture device while compensating for movement |
| JP4362728B2 (ja) * | 2005-09-20 | 2009-11-11 | ソニー株式会社 | 制御装置、監視カメラシステム、およびその制御プログラム |
| US20100118175A1 (en) * | 2008-11-10 | 2010-05-13 | Victor Charles Bruce | Imaging Apparatus For Image Integration |
| NO332170B1 (no) * | 2009-10-14 | 2012-07-16 | Cisco Systems Int Sarl | Anordning og fremgangsmate for kamerakontroll |
| US9363441B2 (en) | 2011-12-06 | 2016-06-07 | Musco Corporation | Apparatus, system and method for tracking subject with still or video camera |
| US9083844B2 (en) | 2012-06-01 | 2015-07-14 | Nintendo Co., Ltd. | Computer-readable medium, information processing apparatus, information processing system and information processing method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5177739A (en) * | 1990-04-20 | 1993-01-05 | Racal Data Communications, Inc. | Multiport - multipoint digital data service |
| US5838368A (en) * | 1992-06-22 | 1998-11-17 | Canon Kabushiki Kaisha | Remote camera control system with compensation for signal transmission delay |
| US5748234A (en) * | 1994-09-13 | 1998-05-05 | Intel Corporation | Video processing system and method |
| EP0713331B1 (en) * | 1994-11-17 | 2001-03-14 | Canon Kabushiki Kaisha | Camera control device and method |
| JP3335017B2 (ja) * | 1994-11-29 | 2002-10-15 | キヤノン株式会社 | カメラ装置の制御装置 |
-
1996
- 1996-01-26 JP JP01221196A patent/JP3745000B2/ja not_active Expired - Fee Related
- 1996-02-02 US US08/595,654 patent/US6320614B1/en not_active Expired - Fee Related
-
2001
- 2001-09-19 US US09/955,206 patent/US6980238B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020054216A1 (en) | 2002-05-09 |
| US6320614B1 (en) | 2001-11-20 |
| JPH08275135A (ja) | 1996-10-18 |
| US6980238B2 (en) | 2005-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3745000B2 (ja) | 画像通信装置及びその制御方法 | |
| KR100411372B1 (ko) | 비디오정보조정장치,비디오정보송신장치및비디오정보수신장치 | |
| JP6171263B2 (ja) | 遠隔会議システム及び遠隔会議端末 | |
| JP2006135837A (ja) | テレビ電話 | |
| JP2007158860A (ja) | 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 | |
| JP2006352661A (ja) | テレビ電話端末、撮影方法および撮影プログラム | |
| JP2005176143A (ja) | 監視装置 | |
| JPH08163522A (ja) | テレビ会議システムおよび端末装置 | |
| US5577107A (en) | Communication terminal apparatus for displaying whether any of a plurality of other communication terminal apparatuses is receiving an image | |
| US20110080489A1 (en) | Portrait photo assistant | |
| JP2009200697A (ja) | 画像送信装置、画角制御方法、画像受信装置、画像表示システム、画像表示方法 | |
| EP3043547B1 (en) | Imaging apparatus, video data transmitting apparatus, video data transmitting and receiving system, image processing method, and program | |
| JP4244416B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| KR20100135103A (ko) | 이종 카메라를 이용한 보안 시스템 및 방법 | |
| KR100264035B1 (ko) | 화상회의 시스템의 카메라 방향 조정 장치와 제어 방법 | |
| JPH07298235A (ja) | テレビ会議装置及びそのポインティングカーソル表示制御方法 | |
| JP2005123750A (ja) | 映像・地図連動システム及びその連動方法 | |
| JPH09168139A (ja) | 音量制御装置 | |
| JP4438396B2 (ja) | 監視装置 | |
| WO2023080099A1 (ja) | 会議システムの処理方法および会議システムの制御装置 | |
| KR20000037652A (ko) | 영상회의 시스템에서의 음원 추적에 의한 카메라 제어 방법 | |
| JP4507665B2 (ja) | 電話機位置情報の登録方法 | |
| JPH069391B2 (ja) | テレビ会議システム | |
| JP2002262138A (ja) | 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器 | |
| JPH0795549A (ja) | 画像入力装置のための制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |