JPH1132315A

JPH1132315A - 映像・音声通信方法及びシステム及び映像・音声通信プログラムを格納した記憶媒体

Info

Publication number: JPH1132315A
Application number: JP18417897A
Authority: JP
Inventors: Yuichi Fujino; 雄一藤野; Hidetoshi Yagi; 秀俊八木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-07-09
Filing date: 1997-07-09
Publication date: 1999-02-02

Abstract

(57)【要約】【課題】人間が日常的に話をしている自然な対人コミ
ュニケーションをネットワーク上で実現し、より自然な
状態で会話できる環境を提供することにある。即ち、話
をしたい特定の相手に対して、発呼動作がなく、すぐス
ムーズな会話が開始できる映像・音声通信方法及びシス
テム及び映像・音声通信プログラムを格納した記憶媒体
を提供することを目的とする。【解決手段】本発明は、常に相手の状態を知るために
定期的に画像の更新を行いながら、静止画像を送受信
し、コネクションレス通信を使用して音声を送受信し、
コネクションレス通信の開始を契機として、静止画像通
信から動画像通信に切り替え、音声が中断した時点で、
動画像通信を終了し、静止画像通信に切り替える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像・音声通信方
法及びシステム及び映像・音声通信プログラムを格納し
た記憶媒体に係り、特に、映像・音声を入出力できるＰ
ＣとＬＡＮ、及びインターネットプロバイダ、ＯＣＮな
どを介して、ＴＣＰ／ＩＰネットワーク、即ち、インタ
ーネット上での映像・音声の通信を実現するための映像
・音声通信方法及びシステム及び映像・音声通信プログ
ラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】図８は、従来の電話、テレビ電話を用い
た通信システムの構成を示す。同図に示すシステムは、
公衆回線１０１、電話機１０２、テレビ電話機１０３か
ら構成される。従来電話を用いた通信は、発信する側が
発呼動作、即ち、電話機１０２の受話器を持ち上げ、相
手のダイアル番号を回す（または、押下する）。公衆回
線１０１上にある交換局は、回された（または、押下さ
れた）ダイアル番号に基づいて交換作業を行い、相手の
電話機１０２を呼び出す。呼ばれた相手の電話”１０２
は、リンギング動作を行い、着呼があることを表示す
る。そこで、相手は、電話機１０２の受話器を持ち上
げ、呼ばれた相手と話を開始することが可能になる。こ
のようにして、従来の通信では、多数の処理結果として
通信を開始することができる。

【０００３】また、従来のテレビ電話機１０３において
も、通信の基本手順は、従来の電話による手順を踏襲し
ているため、大きく異なることはない。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
従来の電話または、テレビ電話における通信手順は、多
くの処理を伴うものであり、人間が日常的に話しをして
いる自然な対人コミュニケーションとは異なるという問
題点がある。具体的には、話したい相手に対して電話機
を用いた発呼動作を行い、着呼した側では、だれから呼
ばれているかわからない電話に対して受話器を取り上
げ、話を開始することになる。また、着呼した側の相手
が不在の時もあり、発呼側では、在宅なのかどうかもわ
からず、とりあえず発呼動作を行うことになる。さら
に、親しい関係における対人コミュニケーションでは、
相手がそこにいるだけである種の安心感を与えることが
できるが、従来の電話または、テレビ電話では不可能で
ある。なお、テレビ電話においては、この種の安心感を
得るための方法としては、回線を繋いだままの状態にし
ておき、常に相手の映像を受信している、即ち、監視カ
メラのような使用方法が考えられるが、回線を独占的に
かつ、継続的に占有するため、回線使用コストがかかる
という問題がある。

【０００５】本発明は、上記の点に鑑みなされたもの
で、人間が日常的に話をしている自然な対人コミュニケ
ーションをネットワーク上で実現し、より自然な状態で
会話できる環境を提供することにある。即ち、話をした
い特定の相手に対して、発呼動作がなく、すぐスムーズ
な会話が開始できること、また、話をする前に相手の状
態がある程度確認でき、相手がいる状態を確認して話を
開始できる環境を提供し、かつ回線コストがある程度安
価な方法を提供することが可能な映像・音声通信方法及
びシステム及び映像・音声通信プログラムを格納した記
憶媒体を提供することを目的とする。

【０００６】更なる本発明の目的は、相手の状態を常に
把握でき、距離の離れた相手を身近に感じることがで
き、安心感を得ることができる環境を提供することが可
能な映像・音声通信方法及びシステム及び映像・音声通
信プログラムを格納した記憶媒体を提供することであ
る。

【０００７】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明は、映像・音声を入出
力可能な装置を用いて、インターネット上での映像・音
声の通信を行うための映像・音声通信方法において、常
に相手の状態を知るために定期的に画像の更新を行いな
がら、静止画像を送受信し（ステップ１）、コネクショ
ンレス通信を使用して音声を送受信し（ステップ２）、
コネクションレス通信の開始を契機として、静止画像通
信から動画像通信に切り替え（ステップ３）、音声が中
断した時点で（ステップ４）、動画像通信を終了し（ス
テップ５）、静止画像通信に切り替える（ステップ
６）。

【０００８】また、本発明は、入力された音声信号の有
音・無音の判定において、有音を判定された場合に、前
記静止画像通信から前記動画像通信に切り替える。ま
た、本発明は、前記静止画像通信を行っている状態にお
いて、送出した音声信号を送出した時間Ｔ１を計測し、
時間Ｔ１が所定の判定時間ａとの間で、Ｔ１＜ａである
とき、送信先から音声信号を受信した場合に、静止画像
通信から動画像通信に切り替える請求項１及び２記載の
映像・音声通信方法。

【０００９】また、本発明は、静止画像通信を行ってい
る状態において、受信した音声信号の到着時間を計測
し、到着時間からの経過時間Ｔ２を計測し、経過時間Ｔ
２が所定の判定時間ｂとの間で、Ｔ２＜ｂであるとき、
入力された音声信号が有音と判定され、送信先に音声信
号を送出した場合には、静止画像通信から動画像通信に
切り替える。

【００１０】また、本発明は、動画像通信を行っている
状態において、送出した音声信号の最後の送出時間を計
測し、送出時間からの経過時間Ｔ３を計測し、経過時間
Ｔ３と所定の判定時間ｃとの間で、Ｔ３＜ｃであると
き、入力された音声信号が有音と判定され、送信先に音
声信号を送出した場合、または、引続き特定のアドレス
先から音声信号を受信した場合には、動画像通信を継続
し、経過時間Ｔ３と所定の判定時間ｃとの間で、Ｔ３＞
ｃであるとき、新たな音声信号が入力されず、無音状態
が継続した場合、または、送信先からの新たな音声信号
を受信しない場合には、動画像通信から静止画像通信に
切り替える。

【００１１】また、本発明は、動画像通信を行っている
状態において、受信した音声信号の最後の信号の受信時
間を計測し、受信時間からの経過時間Ｔ４を計測し、経
過時間Ｔ４と、所定の判定時間ｄとの間で、Ｔ４＜ｄで
あるとき、新たな音声信号を受信できない、または、新
たな音声信号が入力されず、無音状態が継続した場合に
は、動画像通信から静止画像通信に切り替える。

【００１２】また、本発明は、静止画像を送受信する際
に、所定の周期で静止画像を送信する。また、本発明
は、コネクションレス通信において、インターネットプ
ロトコルを用いる。図２は、本発明の原理構成図であ
る。

【００１３】本発明は、音声入出力手段、画像入出力手
段、音声符号化・復号化手段３００、画像符号化・復号
化手段１００及びインターネットインターフェース手段
２００とを有する映像・音声通信システムであって、画
像符号化・復号化手段１００は、画像入出力手段から入
力された画像信号を、定期的に静止画像としてキャプチ
ャし、符号化する静止画像符号化手段１１０と、所定の
契機で動画像を符号化する動画像符号化手段１２０とを
含み、インターネットインタフェース手段２００は、静
止画像符号化手段１１０においてキャプチャされた静止
画像の信号をパケット化して特定のアドレス先に静止画
像パケット信号を送出する静止画像送出手段２１０と、
動画像符号化手段１２０において符号化された動画像の
信号をパケット化して特定のアドレス先に動画像パケッ
ト信号を送出する動画像送出手段２２０とを含み、音声
符号化・復号化手段３００は、音声入出力手段により入
力された音声信号の有音／無音を判定する有音／無音判
定手段３１０を含み、インターネットインタフェース手
段２００は、有音／無音判定手段３１０において、有音
と判定された場合には、音声信号を符号化、パケット化
して特定のアドレス先に音声パケット信号を送出する音
声送出手段２４０と、有音／無音判定手段３１０におい
て、有音と判定された場合には、静止画像の送出を停止
し、動画像符号化手段１２０により符号化された動画像
パケット信号を送出し、無音と判定された場合には、動
画像の送出を停止し、静止画像符号化手段１１０により
符号化された静止画像パケット信号を定期的に送出する
画像送出切替手段２３０を含み、画像符号化・復号化手
段１００は、受信した静止画像パケット信号を復号し、
定期的に更新しながら表示する静止画像復号／再生手段
１３０と、受信した動画像パケット信号を復号し、表示
する動画像復号／再生手段１４０を含み、音声符号化・
復号化手段３００は、受信した音声パケットを復号し、
出力する音声復号／出力手段３２０を含む。

【００１４】また、上記のインターネットインタフェー
ス手段２００は、静止画像パケット信号を送受信してい
る状態で、入力された音声信号が有音／無音判定手段３
１０において有音と判定され、音声符号化・復号化手段
３００で該音声信号が符号化され、音声送出手段により
パケット化して、特定のアドレス先に音声パケット信号
を送出した場合に、送出した該音声パケット信号を送出
した時間を計測し、該送出した時間からの経過時間Ｔ１
を計測する経過時間Ｔ１計測手段と、経過時間Ｔ１計測
手段で計測された経過時間Ｔ１と、予め設定された判定
時間ａとの間で、Ｔ１＜ａなる関係がある間に、特定の
アドレス先から音声パケット信号を受信した場合には、
定期的にキャプチャして送出していた静止画像送信を停
止し、連続的な動画像を符号化し、パケット化して、特
定のアドレス先に該動画像パケット信号を送出する第１
の静止画／動画切替手段と、経過時間Ｔ１計測手段で計
測された経過時間Ｔ１と、予め設定された判定時間ａと
の間で、Ｔ１＜ａなる関係がある間に、特定のアドレス
先から音声パケット信号を受信しなかった場合には、引
き続き、定期的にキャプチャして静止画像送信を継続す
る第１の静止画像送出手段を含み、画像符号化・復号化
手段１００は、受信した動画像パケット信号を復号し、
動画像として表示する動画再生手段を含む。

【００１５】また、上記のインターネットインタフェー
ス手段２００は、静止画像パケット信号を送受信してい
る状態で、受信した音声パケット信号の到着時間を計測
し、該到着時間からの経過時間Ｔ２を計測する経過時間
Ｔ２計測手段と、経過時間Ｔ２計測手段で計測された経
過時間Ｔ２と予め設定された判定時間ｂとの間で、Ｔ２
＜ｂなる関係がある間に、入力された音声信号が有音／
無音判定手段３１０において有音と判定され、音声送出
手段２４０で、特定のアドレス先に音声パケット信号を
送出した場合には、定期的にキャプチャして送出してい
た静止画像送信を停止し、連続的な動画像を符号化し、
パケット化して、特定のアドレス先に該動画像パケット
信号を送出する第２の静止画／動画切替手段と、計測さ
れた経過時間Ｔ２と、予め設定された判定時間ｂとの間
でＴ２＜ｂなる関係がある間に、新たな音声信号が入力
されず、無音状態が続いた場合には、引き続き、定期的
にキャプチャして静止画像送信を継続する第２の静止画
像送出手段を含む。

【００１６】また、上記のインターネットインタフェー
ス手段２００は、動画像パケット信号を送受信している
状態で、入力された音声信号が有音／無音判定手段３１
０において有音と判定され、音声符号化・復号化手段３
００で該音声信号が符号化され、音声送出手段によりパ
ケット化して、特定のアドレス先に音声パケット信号を
送出した場合に、送出した該音声パケット信号の最後の
パケットを送出した時間を計測し、該送出した時間から
の経過時間Ｔ３を計測する経過時間Ｔ３計測手段と、経
過時間Ｔ３計測手段で計測された経過時間Ｔ３と、予め
設定された判定時間ｃとの間で、Ｔ３＜ｃなる関係があ
る間に、新たに入力された音声信号が有音／無音判定手
段３１０において有音と判定され、音声送出手段で、特
定のアドレス先に音声パケット信号を送出した場合、ま
たは、引き続き特定のアドレス先から音声パケット信号
を受信した場合には、引き続き動画像送信を継続する第
１の動画像送信継続手段と、計測された経過時間Ｔ３
と、予め設定された判定時間ｃとの間でＴ３＜ｃなる関
係がある間に、新たな音声信号が入力されず、無音状態
が続いた場合または、特定のアドレス先から新たな音声
パケット信号を受信しない場合には、連続的な動画像を
符号化し、パケット化して送出していた動画像通信を停
止し、定期的に静止画像をキャプチャし、符号化し、パ
ケット化して、特定のアドレス先に静止画像パケット信
号を送出する第１の動画像／静止画像切替手段を有す
る。

【００１７】また、上記のインターネットインタフェー
ス手段２００は、動画像パケット信号を送受信している
状態で、相手から受信した音声パケット信号の最後のパ
ケットの受信した時間を計測し、該受信した時間からの
経過時間Ｔ４を計測する経過時間Ｔ４計測手段と、経過
時間Ｔ４計測手段で計測された経過時間Ｔ４と、予め設
定された判定時間ｄとの間で、Ｔ４＜ｄなる関係がある
間に、引き続き特定のアドレス先から音声パケット信号
を受信した場合、または、新たに入力された音声信号が
有音／無音判定手段３１０において有音と判定され、音
声送出手段で、特定のアドレス先に音声パケット信号を
送出した場合には、引き続き動画像送信を継続する第２
の動画像送信継続手段と、計測された経過時間Ｔ４と、
予め設定された判定時間ｄとの間でＴ４＜ｄなる関係が
ある間に、特定のアドレス先から新たな音声パケット信
号を受信しない場合、または、新たな音声信号が入力さ
れず、無音状態が続いた場合には、連続的な動画像を符
号化し、パケット化して送出していた動画像通信を停止
し、定期的に静止画像をキャプチャし、符号化し、パケ
ット化して、特定のアドレス先に静止画像パケット信号
を送出する第２の動画像／静止画像切替手段とを有す
る。

【００１８】本発明は、音声入出力制御プロセス、画像
入出力制御プロセス、音声符号化・復号化プロセス、画
像符号化・復号化プロセス及びインターネットインター
フェースプロセスとを有する映像・音声通信プログラム
を格納した記憶媒体であって、画像符号化・復号化プロ
セスは、画像入出力制御プロセスの制御により入力され
た画像信号を、定期的に静止画像としてキャプチャし、
符号化する静止画像生成プロセスを含み、インターネッ
トインタフェースプロセスは、静止画像生成プロセスに
おいてキャプチャされた静止画像の信号をパケット化し
て特定のアドレス先に静止画像パケット信号を送出する
静止画像送出プロセスを含み、音声符号化・復号化プロ
セスは、音声入出力制御プロセスの制御により入力され
た音声信号の有音／無音を判定する有音／無音判定プロ
セスを含み、インターネットインタフェースプロセス
は、有音／無音判定プロセスにおいて、有音と判定され
た場合には、音声信号を符号化、パケット化して特定の
アドレス先に音声パケット信号を送出する音声送出プロ
セスと、画像符号化・復号化プロセスは、受信した静止
画像パケット信号を復号し、定期的に更新しながら表示
させる静止画像再生プロセスを含み、音声符号化・復号
化プロセスは、受信した音声パケットを復号し、出力を
制御する音声出力制御プロセスを含む。

【００１９】また、上記のインターネットインタフェー
スプロセスは、静止画像パケット信号を送受信している
状態で、入力された音声信号が有音／無音判定プロセス
において有音と判定され、音声符号化・復号化プロセス
で該音声信号が符号化され、音声送出プロセスによりパ
ケット化して、特定のアドレス先に音声パケット信号を
送出した場合に、送出した該音声パケット信号を送出し
た時間を計測し、該送出した時間からの経過時間Ｔ１を
計測する経過時間Ｔ１計測プロセスと、経過時間Ｔ１計
測プロセスで計測された経過時間Ｔ１と、予め設定され
た判定時間ａとの間で、Ｔ１＜ａなる関係がある間に、
特定のアドレス先から音声パケット信号を受信した場合
には、定期的にキャプチャして送出していた静止画像送
信を停止し、連続的な動画像を符号化し、パケット化し
て、特定のアドレス先に該動画像パケット信号を送出す
る第１の静止画像／動画像切替プロセスと、経過時間Ｔ
１計測プロセスで計測された経過時間Ｔ１と、予め設定
された判定時間ａとの間で、Ｔ１＜ａなる関係がある間
に、特定のアドレス先から音声パケット信号を受信しな
かった場合には、引き続き、定期的にキャプチャして静
止画像送信を継続する第１の静止画像継続プロセスを含
み、画像符号化・復号化プロセスは、受信した動画像パ
ケット信号を復号し、動画像として表示する動画再生プ
ロセスを含む。

【００２０】また、上記のインターネットインタフェー
スプロセスは、静止画像パケット信号を送受信している
状態で、受信した音声パケット信号の到着時間を計測
し、該到着時間からの経過時間Ｔ２を計測する経過時間
Ｔ２計測プロセスと、経過時間Ｔ２計測プロセスで計測
された経過時間Ｔ２と、予め設定された判定時間ｂとの
間で、Ｔ２＜ｂなる関係がある間に、入力された音声信
号が有音／無音判定プロセスにおいて有音と判定され、
音声送出プロセスで、特定のアドレス先に音声パケット
信号を送出した場合には、定期的にキャプチャして送出
していた静止画像送信を停止し、連続的な動画像を符号
化し、パケット化して、特定のアドレス先に該動画像パ
ケット信号を送出する第２の静止画像／動画像切替プロ
セスと、計測された経過時間Ｔ２と、予め設定された判
定時間ｂとの間でＴ２＜ｂなる関係がある間に、新たな
音声信号が入力されず、無音状態が続いた場合には、引
き続き、定期的にキャプチャして静止画像送信を継続す
る第２の静止画像継続プロセスを含む。

【００２１】また、上記のインターネットインタフェー
スプロセスは、動画像パケット信号を送受信している状
態で、入力された音声信号が有音／無音判定プロセスに
おいて有音と判定され、音声符号化・復号化プロセスで
該音声信号が符号化され、音声送出プロセスによりパケ
ット化して、特定のアドレス先に音声パケット信号を送
出した場合に、送出した該音声パケット信号の最後のパ
ケットを送出した時間を計測し、該送出した時間からの
経過時間Ｔ３を計測する経過時間Ｔ３計測プロセスと、
経過時間Ｔ３計測プロセスで計測された経過時間Ｔ３
と、予め設定された判定時間ｃとの間で、Ｔ３＜ｃなる
関係がある間に、新たに入力された音声信号が有音／無
音判定プロセスにおいて有音と判定され、音声送出プロ
セスで、特定のアドレス先に音声パケット信号を送出し
た場合、または、引き続き特定のアドレス先から音声パ
ケット信号を受信した場合には、引き続き動画像送信を
継続する第１の動画像送信継続プロセスと、計測された
経過時間Ｔ３と、予め設定された判定時間ｃとの間でＴ
３＜ｃなる関係がある間に、新たな音声信号が入力され
ず、無音状態が続いた場合、または、特定のアドレス先
から新たな音声パケット信号を受信しない場合には、連
続的な動画像を符号化し、パケット化して送出していた
動画像通信を停止し、定期的に静止画像をキャプチャ
し、符号化し、パケット化して、特定のアドレス先に静
止画像パケット信号を送出する第１の動画像／静止画像
切替プロセスとを有する。

【００２２】また、上記のインターネットインタフェー
スプロセスは、動画像パケット信号を送受信している状
態で、相手から受信した音声パケット信号の最後のパケ
ットの受信した時間を計測し、該受信した時間からの経
過時間Ｔ４を計測する経過時間Ｔ４計測プロセスと、経
過時間Ｔ４計測プロセスで計測された経過時間Ｔ４と、
予め設定された判定時間ｄとの間で、Ｔ４＜ｄなる関係
がある間に、引き続き特定のアドレス先から音声パケッ
ト信号を受信した場合、または、新たに入力された音声
信号が有音／無音判定プロセスにおいて有音と判定さ
れ、音声送出プロセスで、特定のアドレス先に音声パケ
ット信号を送出した場合には、引き続き動画像送信を継
続する第２の動画像送信継続プロセスと、計測された経
過時間Ｔ４と、予め設定された判定時間ｄとの間でＴ４
＜ｄなる関係がある間に、特定のアドレス先からの新た
な音声パケット信号を受信しない場合、または、新たな
音声信号が入力されず、無音状態が続いた場合には、連
続的な動画像を符号化し、パケット化して送出していた
動画像通信を停止し、定期的に静止画像をキャプチャ
し、符号化し、パケット化して、特定のアドレス先に静
止画像パケット信号を送出する第２の動画像／静止画像
切替プロセスとを有する。

【００２３】上記のように、本発明は、画像を定期的に
伝送するための画像入出力装置、音声を伝送する音声入
力装置、音声の有音／無音を認識する手段と、ディジタ
ル化された音声、映像パケットデータをＴＣＰ／ＩＰネ
ットワークを介してコネクションレス通信にて送受信す
るための制御装置で構成されているため、予め話をした
い相手のアドレス（電話番号に相当する）が入力された
送出側の装置のマイクに向かって声をかけると、その音
声情報がパケット化されて伝送路を介して相手の受信側
装置に伝送され、音声として出力することが可能とな
る。

【００２４】また、相手の話をする前に定期的に送出さ
れる相手の画像により、相手が受信側装置の近くにいる
かどうかを、予め確認することができる。また、インタ
ーネットを介して接続しているため、電話のようにコネ
クション型の通信、即ち発呼動作を行い、相手が着信を
確認してから接続が完了し、会話が始まるという通信形
態ではなく、コネクションレス型の通信、即ち、発行動
作を行うことなく、相手に直接ディジタルパケットデー
タを送出する通信形態であるため、上述したようなテレ
ビ電話を接続したままのような接続形態とはならないた
め、回線コストが比較的安価になる。

【００２５】なお、本発明において使用されるネットワ
ークは、コネクションレス型の通信が可能なＴＣＰ／Ｉ
Ｐネットワーク、即ち、インターネット等を使用するこ
とを前提としている。

【００２６】

【発明の実施の形態】図３は、本発明の映像・音声通信
制御システムの構成例である。同図に示すシステムは、
ＬＡＮ１、インターネット２、映像・音声通信制御装置
３、モニタ４、カメラ５、マイク６、スピーカ７、自宅
８、病院９からなる。このうち、映像・音声通信制御装
置３は、図４に示す構成を有する。

【００２７】図４は、本発明の映像・音声通信制御装置
の構成を示す。本発明の映像・音声通信制御装置は、映
像入出力処理部１１、映像符号化・復号化処理部１２、
音声入出力処理部１３、音声符号化・複合化処理部１
４、ＰＡＤ部１５、ＬＡＮインタフェース部１６、内部
バス１７、ＣＰＵ１８、メモリ１９から構成される。

【００２８】映像入出力処理部１１は、当該処理部１１
に接続されているカメラ５から映像が入力されると共
に、映像符号化・復号化処理部１２から渡された復号化
された映像信号をモニタ４に再生する。映像符号化・復
号化処理部１２は、映像入出力処理部１１から渡された
入力映像を符号化して、ＰＡＤ部１５に転送すると共
に、ＰＡＤ部１５から渡された映像を復号化して映像入
出力処理部１１に転送する。

【００２９】音声入出力処理部１３は、マイク６から入
力された音声を音声符号化・復号化処理部１４に転送す
ると共に、音声符号化・復号化処理部１４から渡された
復号化された音声をスピーカ７に転送する。音声符号化
・復号化処理部１４は、音声入出力処理部１３から渡さ
れた音声を復号化してＰＡＤ部１５に転送すると共に、
ＰＡＤ部１５から渡された音声を復号化して音声入出力
処理部１３に転送する。

【００３０】ＰＡＤ部１５は、パケット化された静止画
像データや動画像データの制御および音声の制御を行
う。ＬＡＮインタフェース部１６は、他の装置とＬＡＮ
１を介して通信する。ここで、利用者Ａの装置Ａと利用
者Ｂの装置Ｂとの間で通信を行う場合に、双方の装置
Ａ，Ｂともに現在は、静止画像がモニタ４に表示されて
いる状態であるとする。

【００３１】ここで、利用者Ａが利用者Ｂに対して発話
すると、マイク６を介して音声入出力処理部１３に音声
が入力されると、当該音声が音声符号化・復号化処理部
１４において符号化されて、音声パケットとして、装置
Ｂに送信される。ここで、装置ＢのＰＡＤ部は、音声が
入力されたこと（有音）であることを認識すると、音声
符号化・復号化処理部１４に対して音声の復号化を指示
すると共に、映像符号化・復号化処理部１２で現在行わ
れている静止画通信を動画像通信に切り換える。同様
に、装置Ａでも発話実行後、それまでの静止画像通信か
ら動画像通信に切り換え、それぞれの装置Ａ，Ｂのモニ
タ４上には、動画像が再生される。

【００３２】また、利用者Ａと利用者Ｂの間における会
話が途絶えた場合（所定の時間を経過しても発話がない
場合）には、それまでの動画像通信を終了し、静止画通
信に切り換える。

【００３３】

【実施例】以下、図面と共に本発明の実施例を説明す
る。以下の実施例では、前述の図３及び図４の構成に基
づいて説明する。図３に示す例は、病院９に子供が入院
しており、自宅８に家族が住んでいる例を示している。
病院９には、病院内ネットワークとしてＬＡＮ１があ
り、インターネットプロバイダなどを介して外部のイン
ターネット２と接続されている。一方、自宅８では、同
様にインターネットプロバイダを介して回線がインター
ネット２に接続されている。

【００３４】ここで、自宅８においてのインターネット
への接続形態であるが、通常ダイアルアップという方法
を用いてインターネットプロバイダに電話をかけ、当該
インターネットプロバイダを介してインターネットへの
接続を行う方法が一般的である。しかしながら、この方
法は、接続を行いたい時に、電話をかける操作が必要と
なるため、上述した従来の方法によるテレビ電話の接続
したままの方法と変わらなくなり、コネクションレス通
信とは言いがたい。そこで、最近、回線提供業者により
サービスが開始された、繋ぎっぱなしによるコネクショ
ンレス型通信を提供するサービスがあり、本サービスを
用いることにより、常にインターネットに接続している
状態となり、かつ、回線コストも通常の回線接続やダイ
アルアップのように回線を繋ぎっぱなしにする方法より
も安価に使用することができる。

【００３５】例えば、ＯＣＮと呼ばれるサービスがこれ
に相当する。よって、以下では、ＯＣＮサービスを利用
して自宅８からインターネット２に接続している形態と
する。病院９におけるインターネットへの接続について
は後述する。本実施例では、病院９に子供が入院してお
り、その子供の状態を自宅８にいながらにして、常に把
握すること、また、子供にとって自分の自宅の様子が見
たいときにすぐ見られ、母親や兄弟などと話したいとき
に声をかけるだけで話ができる環境を構築することを目
的としている。

【００３６】病院９では、病室のベッドサイドに映像・
音声通信制御装置３が設置され、当該装置３にモニタ
４、カメラ５、マイク６、スピーカ７が接続される。映
像・音声通信制御装置３は、通常は、映像・音声の入出
力機能の付属しているマルチメディア対応の汎用のパー
ソナルコンピュータでよい。映像・音声通信制御装置３
は、病院内の情報ネットワークであるＬＡＮ１に接続さ
れ、各種情報を得ることができる。ＬＡＮ１のネットワ
ークは、インターネットプロバイダなどを介して外部の
インターネットを接続され、各種情報の交換が可能とな
っている。

【００３７】なお、本実施例における病院９のＬＡＮ１
はインターネットプロバイダなどにより、常時インター
ネットに接続されているものとする。ベッドサイドと同
様に、自宅８においても、映像・音声通信制御装置３、
モニタ４、カメラ５、マイク６、スピーカ７が設置さ
れ、上述したＯＣＮを介して、常時インターネットに接
続されている。

【００３８】次に、映像・音声を使用した通信方式につ
いて図４に基づいて説明する。最初に、音声の伝送につ
いて説明する。マイク６により入力されたアナログ音声
信号は、音声入出力処理部１３に入力され、Ａ／Ｄ変換
処理、有音／無音判定処理を施された後、音声符号化・
復号化処理部１４に入力され、例えば、μ−ＬＯＷ等の
符号化処理が行われる。

【００３９】図５は、本発明の一実施例の音声入出力処
理部における入力音声の処理の流れを示すフローチャー
トである。ステップ１０１）マイク６から入力されたアナログ音
声信号をＡ／Ｄ変換する。ステップ１０２）Ａ／Ｄ変換されたディジタル音声信
号の、有音／無音の判定を行う。具体的には、ディタル
音声信号は、内部バス１７にてメモリ１９に取り込まれ
る。ＣＰＵ１８は、メモリ１９の取り込まれた音声信号
の音声パワー等を常に監視し、ある程度（所定の閾値）
以上のパワーを検知したら有音と判定し、ステップ１０
３に移行する。また、ある程度のパワー（所定の閾値）
を検知できない場合には、無音と判定し、ステップ１０
１に移行し、アナログ音声信号の入力を待つ。なお、有
音／無音判定処理は、音声信号レベルがゼロボルトをク
ロスする回数を計測することによって、より正確に判定
することもできる。

【００４０】ステップ１０３）有音と判定されてから
タイマを起動するするが、そのタイマが既に起動されて
いるか否かを判定する。まだ、起動されていない状態で
あれば、ステップ１０４に移行する。もし、タイマが起
動状態である場合にはステップ１０５に移行する。ステップ１０４）まだ、タイマが起動されていない状
態の場合には、タイマの起動を行い、ステップ１０５に
移行する。

【００４１】ステップ１０５）ディジタル音声信号を
圧縮するために符号化処理を行う。通常、簡易なμ−Ｌ
ＯＷなどの符号化処理が行われるが、他の符号化処理を
もちいても、問題はない。ステップ１０６）符号化された音声信号をバッファＡ
に蓄積する。ステップ１０７）タイマの経過時間を測定する。即
ち、予め設定されたバッファリング時間Ｔａより小さけ
れば、ステップ１０１に戻り、次の音声信号の処理を行
う。バッファリング時間Ｔａ以上を経過していれば、ス
テップ１０８に移行する。

【００４２】ステップ１０８）タイマをリセットし、
ステップ１０９に移行する。ステップ１０９）バッファＡの内容をＰＡＤ部１５に
転送し、ステップ１０１に移行し、次の音声処理を行
う。以上が、音声入出力処理部１３と音声符号化・復号化処
理部１４の音声入力系の処理である。なお、音声出力系
の処理については後述する。

【００４３】次に、ステップ１０９からバッファＡの内
容が転送されたＰＡＤ部１５とＬＡＮインタフェース部
１６の処理について説明する。バッファＡの内容が転送
されたＰＡＤ部１５では、当該ディジタル音声データを
送出パケットに組み立てる処理を行う。パケット化に際
しては、音声の遅延等を考慮して、なるべく大きなデー
タサイズとならないように短パケットにて送出する。

【００４４】図６は、本発明の一実施例の音声データの
フォーマットの例を示す。同図に示す音声データのフォ
ーマットは、パケットとして組み立てる際の、音声デー
タのフォーマットの例を示しており、制御データ２１、
シーケンス番号２２、音声データサイズ２３、及び音声
データ２４から構成される。送出パケットは、制御デー
タ２１に着信させる相手先アドレスであるＩＰアドレス
や、発信元アドレスである自ＩＰアドレスなどが設定さ
れる。

【００４５】シーケンス番号２２は、送出パケットの送
出順序を表す番号である。音声データサイズ２３は、続
く音声データ２４のデータサイズを示している。この送
出音声パケットは、ＬＡＮインタフェース部１６、ＬＡ
Ｎ１を介してＴＣＰ／ＩＰネットワーク上に送出され
る。次に、受信した音声パケットデータの処理について
図４を用いて説明する。

【００４６】ＬＡＮ１を介して届けられた音声パケット
データは、ＬＡＮインタフェース部１６により自端末に
取り込まれ、ＰＡＤ部１５に入力される。ＰＡＤ部１５
では、パケット化された音声データのパケットを解き、
音声データとして音声符号化・復号化処理部１４に入力
する。音声符号化・復号化処理部１４では、ＰＡＤ部１
５から入力された順番で符号化された音声データを元の
音声データに復号する。復号された音声データは、音声
入出力処理部１３を介してアナログ音声としてスピーカ
７より出力される。

【００４７】以上の処理により、発話した音声が、通常
の電話のように、発呼動作を伴わずに相手に着信する。
なお、本実施例では、コネクションレス通信にて接続す
る相手先を限定している。即ち、いつも相手の様子を知
りたい、または、知らせたい時に用いる通信形態である
ため、その接続相手先は、固定の相手となる。当然相手
先アドレスを変更することにより、コネクションレス通
信にて接続する相手先を変更することは可能である。

【００４８】次に、本発明の画像通信部分について説明
する。本発明における画像通信は、通常は、リアルタイ
ム通信ではなく、定期的な静止画像の伝送により、状態
把握を可能にしている。音声通信が開始されて返事が返
ってきた時点で画像の実時間通信が開始される。両者の
会話が終了したら、自動的に通常の静止画像通信に切り
替わる。

【００４９】以下に、図３を用いて、病院９と患者の親
の自宅８を結んだ例を説明する。病院９では病室のベッ
ドサイドに映像・音声通信制御装置３が設置され、当該
装置３にモニタ４、カメラ５、マイク６、スピーカ７が
接続される。自宅８でも同様に当該装置３が接続されて
いる。病院９のモニタ４には、自宅８の居間の画像が、
例えば、１０秒毎に静止画像で表示、更新が繰り返され
る。

【００５０】病院９にいる子供の患者は、母親と話がし
たくなり、表示された画像を見ている。モニタ４の画像
中には、居間にいる母親が映っている。患者は、マイク
６に向かい『おかあさん』と声をかける。自宅８では、
モニタ４に同様に病院８の子供のベット上の様子が、例
えば１０秒ごとに更新されながら、静止画像で表示され
ている。その時、上述した音声通信方法により伝送され
た子供の『おかあさん』と呼ぶ声が出力され、母親は、
自分が病院にいる子供から呼ばれたことを認識する。そ
こで、『＊＊ちゃん』と返事を返す。病院９では、同様
にして返事をされた母親の音声が出力される。この時点
から、静止画通信であった画像を、実時間動画像通信に
切り替える。これにより、お互いの顔をみながらの会話
が可能になる。

【００５１】以下に、画像通信部分の通信方式について
図４を用いて説明する。カメラ５により撮像されたアナ
ログ映像信号は、映像入出力処理部１１に入力され、Ａ
／Ｄ変換され、１枚の静止画像信号としてキャプチャさ
れる。キャプチャのタイミングは、予め設定されたタイ
マにより決定され、例えば、１０秒毎にキャプチャされ
る。キャプチャされた１枚の静止画像は映像符号化・復
号化処理部１２に入力され、静止画像の符号化処理、例
えば、ＪＰＥＧ方式により符号化される。符号化された
静止画像は、ＰＡＤ部１５に入力され、ディジタル制止
画像信号を送出パケットに組み立てる処理を行う。パケ
ット化の方法については、上述した音声パケットの組み
立て方と同様である。本パケットは、ＬＡＮインタフェ
ース部１６、ＬＡＮ１を介してＴＣＰ／ＩＰネットワー
ク上に送出される。本処理は、静止画像のキャプチャの
タイミング周期に従って繰り返される。即ち、例えば、
１０秒毎に送出処理が繰り返される。

【００５２】次に、受信した静止画像パケットデータの
処理について説明する。ＬＡＮ１を介して届けられた
静止画像パケットデータは、ＬＡＮインタフェース部１
６により、自端末に取り込まれ、ＰＡＤ部１５に入力さ
れる。ＰＡＤ部１５では、パケット化された静止画像デ
ータのパケットを解き、静止画像データとして映像符号
化・復号化処理部１２に入力する。映像符号化・復号化
処理部１２では、ＰＡＤ部１５から入力された静止画像
データのシーケンス番号に基づき、入力された順番で元
の静止画像データに復号する。復号された静止画像デー
タは、映像入出力処理部１１を介してモニタ４に表示さ
れる。本処理は、静止画像のキャプチャのタイミング周
期に従って繰り返される。即ち、例えば、１０秒毎に受
信処理が繰り返えされ、表示される静止画像が更新され
る。

【００５３】次に、音声通信により会話が開始された時
点での通信方式について図４を用いて説明する。カメラ
５により撮像されたアナログ映像信号は映像入出力処理
部１１に入力され、Ａ／Ｄ変換され、そのまま連続動画
像として映像符号化・復号化処理部１２に入力され、動
画像の符号化処理、例えば、Ｈ．２６１方式により符号
化される。符号化された動画像はＰＡＤ部１５に入力さ
れ、ディジタル動画像信号を送出パケットに組み立てる
処理を行う。パケット化の方法については、上述した音
声パケットの組み立て方と同様である。本パケットはＬ
ＡＮインタフェース部１６、ＬＡＮ１を介してＴＣＰ／
ＩＰネットワーク上に送出される。

【００５４】次に、受信した動画像パケットデータの処
理について説明する。ＬＡＮ１を介して届けられた動画
像パケットデータは、ＬＡＮインタフェース部１６によ
り自端末に取り込まれ、ＰＡＤ部１５に入力される。Ｐ
ＡＤ部１５では、パケット化された動画像データのパケ
ットを解き、動画像データとして映像符号化・復号化処
理部１２に入力する。映像符号化・復号化処理部１２で
は、ＰＡＤ部１５から入力された動画像データのシーケ
ンス番号に基づいて、入力された順番で元の動画像デー
タに復号する。復号された動画像データは、映像入出力
処理部１１を介してモニタ４に表示される。

【００５５】以上で、音声通信、静止画像通信、動画像
通信の各方式について説明した。次に、静止画像通信か
ら動画像通信へ遷移する過程について状態遷移図を用い
て説明する。図７は、本発明の一実施例の静止画像通信
と動画像通信との状態遷移を説明するための図である。
以下の説明中において、（）内の数字と、図７に示す〇
内に数値が対応するものとする。

【００５６】『状態１』は、“双方向静止画像通信状
態”、『状態２』は、“双方向動画像通信状態”、『状
態３』、『状態４』は、それぞれ“判断中状態”であ
る。『状態１』は、自分からの発話がなく、相手を呼び
出していない状態を示す。即ち、マイクで音を検出でき
ず、無音状態が続いている、かつ、相手からの着信もな
いことを示す。このときは、自分の画像を静止画像で例
えば、１０秒毎に送出し、相手の画像も１０秒ごとに更
新されている“双方向静止画像通信状態”である。この
状態で、自分から発話し、相手を呼ぶ動作が行われる
（自分からの発話あり；最初の発信(1) ）と、『状態
３』に遷移し、“判断中状態”となる。ここで、自分の
送出した音声パケット信号を送出した時間を計測し、送
出した時間からの経過時間Ｔ１を計測する。送出した先
の相手がその声に応答して、予め設定された時間ａ以内
（Ｔ１＜ａ）の間に返事を返した場合に、（相手からの
発話あり；返事がくる(2) ）には、『状態２』、即ち、
“双方向動画像通信状態”に遷移する。また、相手が予
め設定された時間Ｔ１以内（Ｔ１＜ａ）に返事を返さな
ければ（相手からの発話なし；返事がない(3) ）、『状
態１』に戻り、双方向静止が通信のままの状態となる。

【００５７】次に、同じ『状態１』の“双方向静止画像
通信状態”が続いている状態で、相手から呼ばれた場合
（相手からの発話あり、最初の着信(4) ）には『状態
３』の“判断中状態”に遷移する。ここで、受信した音
声パケット信号の到着時間を計測し、到着時間からの経
過時間Ｔ２を計測する。『状態３』で、到着した音声パ
ケット信号の音声、即ち、相手からの呼掛けに対して、
予め設定された時間ｂ以内（Ｔ２＜ｂ）にその返事を音
声で返した場合（自分からの発話あり；返事をする(5)
）には、『状態２』に遷移し、“双方向動画像通信状
態”となる。また、相手から呼ばれたことに対して予め
設定された時間ｂ以内（Ｔ２＜ｂ）に返事を行わない場
合（自分からの発話なし；返事をしない(6) ）には、
“双方向静止画像状態”のままとなる。

【００５８】『状態２』では、“双方向動画像通信状
態”となっている。この状態で、自分から発話し、相手
と話を続ける（自分からの発話あり(7) ）場合、『状態
４』に遷移し、“判断中状態”となる。ここで、自分の
送出した音声パケット信号のうち、最後のパケットを送
出した時間を計測し、送出した時間からの経過時間Ｔ３
を計測する。『状態４』で、予め設定された時間ｃ以内
（Ｔ３＜ｃ）に、再度自分から発話し、会話を続ける
（自分からの発話あり(8) ）場合、または、相手から音
声パケット信号を受信した（相手からの発話あり(9) ）
場合には、『状態２』に戻り、引続き双方向動画像通信
状態のままとなる。また、予め設定された時間ｃ以内
（Ｔ３＜ｃ）に、自分からの音声を入力しなかった（自
分からの発話なし(10)）場合、即ち、話を続ける意思が
なくなった場合には、『状態４』の静止画像通信状態に
遷移する。

【００５９】また、『状態２』で、相手からの音声パケ
ットを受信している（相手からの発話あり(11)）の場
合、同様に『状態４』に遷移し、“判断中状態”とな
る。ここで、相手から受信した音声パケット信号の最後
のパケットを受信した時間を計測し、その受信した時間
からの経過時間Ｔ４を計測する。『状態４』で、予め設
定された時間ｄ以内（Ｔ４＜ｄ）に、相手からの音声パ
ケット信号を引き続き受信した（相手からの発話あり
(9) ）場合、または、新たに入力された音声信号が有音
と判定されて相手に音声パケット信号を送信した（自分
からの発話あり(8) ）場合には、『状態２』に戻り、引
続き“双方向動画像通信状態”のままとなる。また、予
め、設定された時間ｄ以内（Ｔ４＜ｄ）に、相手からの
音声パケット信号を受信しなくなった（相手からの発話
なし(12)）場合、会話が中断したと判断し、『状態４』
の“静止画像通信状態”に遷移する。

【００６０】上述したように、自分の側での発話状態
（送信音声）、相手の発話状態（受信音声）に応じて静
止画像通信モードと動画像通信モードを切り替える。こ
の方法は、相手の側も同じ状態遷移を実行する。このよ
うにして、通常は静止画像通信であるが、コネクション
レスの音声通信が開始された場合には、双方向の動画像
通信が開始され、相手の顔を見ながら会話することがで
きる。また、お互いの発話が注視された場合には、自動
的に双方向動画像通信が双方向静止画像通信に切り替わ
る。

【００６１】また、本発明は、映像・音声通信制御装置
３の映像入出力処理部１１、映像符号化・復号化処理部
１２、音声入出力処理部１３、及び音声符号化・復号化
処理部１４をプログラム（ソフトウェア）で構築し、フ
ロッピーディスクやＣＤ−ＲＯＭ等の可搬記憶媒体に格
納し、必要とする装置（コンピュータ）にインストール
することにより汎用的に利用することが可能となる。ま
た、コンピュータのディスク装置に格納して、上記のよ
うなシステムを適用可能なコンピュータにおいて使用す
ることも可能である。

【００６２】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。

【００６３】

【発明の効果】上述のように、本発明によれば、画像を
定期的に伝送するための画像入出力装置と、音声を伝送
する音声入出力装置と、音声の有音／無音を認識する手
段と、ディジタル化された音声、映像パケットデータを
ＴＣＰ／ＩＰネットワークを介してコネクションレス通
信にて送受信するための制御装置で構成される。この装
置は、汎用の映像、音声などの入出力機能を具備した、
いわゆるマルチメディア対応のパーソナルコンピュータ
（ＰＣ）とＴＣＰ／ＩＰネットワークにより実現でき
る。このような構成であるため、当該ＰＣに接続された
カメラから、自分の画像を静止画で定期的に特定の相手
に送出し、自分の状態を知らせることができる。

【００６４】また、相手の画像も静止画像で定期的に送
出されてくるため、相手が今、そこの場所にいるのかい
ないのかが確認できる。そのような状態で、その相手と
話たいときには、声を出して相手に呼びかけるだけで通
信が可能となる。いわゆる従来の電話における発呼動作
が不要になる。これは、コネクションレス通信の特徴で
ある。

【００６５】また、音声通信が開始された場合、今ま
で、定期的に更新される静止画像による通信が行われた
状態が、音声通信の開始を契機として、双方向の動画像
通信に切り替わり、相手の顔を見ながら会話を行うこと
ができる。さらに、従来の電話では、会話を終わろうと
するときには、受話器を下ろす操作が必要になるが、本
発明では、お互いが会話を中断すると、自動的に話が終
了したとして、動画像通信から通常の定期的に更新され
る静止画像通信に切り替わる。

【００６６】このようにして、コネクションレス通信に
より、従来の電話によるコミュニケーションを越えたコ
ミュニケーションが可能となる。例えば、子供が病院に
入院しており、その母親は、毎日でも会いに行き、話を
したいにもかかわらず、それが困難な場合や、子供が、
自宅の様子を知りたがっている場合等に適用すると、そ
の効果は明快である。母親は、子供の毎日のベッド上で
の生活を確認でき、必要に応じてその子供に呼びかける
ことにより簡単に会話を開始することができる。その会
話も、双方向の動画像通信により実施されるため、電話
によるコミュニケーションよりも子供の状態をより正確
に把握できる効果がある。また、子供にとっても、いつ
でも母親に接することができ、かつ、自分の自宅の様子
も観察することができるため、病院での孤独感を和らげ
る効果がある。

【００６７】また、従来の電話では、家に電話をかけて
も母親が留守の場合もあり、そのようなときには、子供
にとって疎外感を与えてしまうこともあり得るが、本発
明では、予め自宅の様子がわかっているため、母親が留
守かどうかも事前に把握でき、母親が家にいるときに話
しかけることができる。さらに、自分の自宅の様子を把
握でき、母親とすぐにでも話ができる環境を持っている
だけでも、子供にとっての安心感を与えることができ、
精神的に充実させる効果がある。最終的には、子供と母
親のコミュニケーションがスムーズになり、子供が精神
的に充実することにより治療効果が高まるという、入院
により病気を直す目的に対する最大の効果がある。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明の映像・音声通信システムの構成例であ
る。

【図４】本発明の映像・音声制御装置の構成例である。

【図５】本発明の一実施例の音声入出力処理部における
入力音声の処理の流れを示すフローチャートである。

【図６】本発明の一実施例の音声データのフォーマット
の例である。

【図７】本発明の一実施例の静止画像通信と動画像通信
との状態遷移を説明するための図である。

【図８】従来の電話、テレビ電話を用いた通信システム
の構成図である。

【符号の説明】

１ＬＡＮ２インターネット３映像・音声通信制御装置４モニタ５カメラ６マイク７スピーカ８自宅９病院１１映像入出力処理部１２映像符号化・復号化処理部１３音声入出力処理部１４音声符号化・復号化処理部１５ＰＡＤ部１６ＬＡＮインタフェース部１７内部バス１８ＣＰＵ１９メモリ２１制御データ２２シーケンス番号２３音声データサイズ２４音声データ１００画像符号化・復号化手段１１０静止画像符号化手段１２０動画像符号化手段１３０静止画像復号／再生手段１４０動画復号／再生手段２００インターネットインタフェース手段２１０静止画像送出手段２２０動画像送出手段２３０画像送出切替手段２４０音声送出手段３００音声符号化・復号化手段３１０有音／無音判定手段３２０音声復号／出力手段

Claims

【特許請求の範囲】

【請求項１】映像・音声を入出力可能な装置を用い
て、インターネット上での映像・音声の通信を行うため
の映像・音声通信方法において、常に相手の状態を知るために定期的に画像の更新を行い
ながら、静止画像を送受信し、コネクションレス通信を使用して音声を送受信し、前記コネクションレス通信の開始を契機として、静止画
像通信から動画像通信に切り替え、前記音声が中断した時点で、前記動画像通信を終了し、
前記静止画像通信に切り替えることを特徴とする映像・
音声通信方法。
【請求項２】入力された音声信号の有音・無音の判定
において、有音を判定された場合に、前記静止画像通信
から前記動画像通信に切り替える請求項１記載の映像・
音声通信方法。
【請求項３】前記静止画像通信を行っている状態にお
いて、送出した音声信号を送出した時間Ｔ１を計測し、前記時間Ｔ１が所定の判定時間ａとの間で、Ｔ１＜ａで
あるとき、送信先から音声信号を受信した場合に、前記
静止画像通信から前記動画像通信に切り替える請求項１
及び２記載の映像・音声通信方法。
【請求項４】前記静止画像通信を行っている状態にお
いて、受信した音声信号の到着時間を計測し、前記到着時間からの経過時間Ｔ２を計測し、前記経過時間Ｔ２が所定の判定時間ｂとの間で、Ｔ２＜
ｂであるとき、入力された音声信号が有音と判定され、
送信先に音声信号を送出した場合には、前記静止画像通
信から前記動画像通信に切り替える請求項１及び２記載
の映像・音声通信方法。
【請求項５】前記動画像通信を行っている状態におい
て、送出した音声信号の最後の送出時間を計測し、前記送出時間からの経過時間Ｔ３を計測し、前記経過時間Ｔ３と所定の判定時間ｃとの間で、Ｔ３＜
ｃであるとき、入力された音声信号が有音と判定され、
送信先に音声信号を送出した場合、または、引続き特定
のアドレス先から音声信号を受信した場合には、前記動
画像通信を継続し、前記経過時間Ｔ３と所定の判定時間ｃとの間で、Ｔ３＞
ｃであるとき、新たな音声信号が入力されず、無音状態
が継続した場合、または、送信先からの新たな音声信号
を受信しない場合には、前記動画像通信から前記静止画
像通信に切り替える請求項１及び２記載の映像・音声通
信方法。
【請求項６】前記動画像通信を行っている状態におい
て、受信した音声信号の最後の信号の受信時間を計測し、前記受信時間からの経過時間Ｔ４を計測し、前記経過時間Ｔ４と、所定の判定時間ｄとの間で、Ｔ４
＜ｄであるとき、新たな音声信号を受信できない、また
は、新たな音声信号が入力されず、無音状態が継続した
場合には、前記動画像通信から前記静止画像通信に切り
替える請求項１及び２記載の映像・音声通信方法。
【請求項７】前記静止画像を送受信する際に、所定の
周期で静止画像を送信する請求項１記載の映像・音声通
信方法。
【請求項８】前記コネクションレス通信において、イ
ンターネットプロトコルを用いる請求項１記載の映像・
音声通信方法。
【請求項９】音声入出力手段、画像入出力手段、音声
符号化・復号化手段、画像符号化・復号化手段及びイン
ターネットインターフェース手段とを有する映像・音声
通信システムであって、前記画像符号化・復号化手段は、前記画像入出力手段から入力された画像信号を、定期的
に静止画像としてキャプチャし、符号化する静止画像符
号化手段と、所定の契機で動画像を符号化する動画像符号化手段とを
含み、前記インターネットインタフェース手段は、前記静止画像符号化手段においてキャプチャされた前記
静止画像の信号をパケット化して特定のアドレス先に静
止画像パケット信号を送出する静止画像送出手段と、前記動画像符号化手段において符号化された前記動画像
の信号をパケット化して特定のアドレス先に動画像パケ
ット信号を送出する動画像送出手段とを含み、前記音声符号化・復号化手段は、前記音声入出力手段により入力された音声信号の有音／
無音を判定する有音／無音判定手段を含み、前記インターネットインタフェース手段は、前記有音／無音判定手段において、有音と判定された場
合には、前記音声信号を符号化、パケット化して特定の
アドレス先に音声パケット信号を送出する音声送出手段
と、前記有音／無音判定手段において、有音と判定された場
合には、前記静止画像の送出を停止し、前記動画像符号
化手段により符号化された動画像パケット信号を送出
し、無音と判定された場合には、前記動画像の送出を停
止し、前記静止画像符号化手段により符号化された静止
画像パケット信号を定期的に送出する画像送出切替手段
を含み、前記画像符号化・復号化手段は、受信した前記静止画像パケット信号を復号し、定期的に
更新しながら表示する静止画像復号／再生手段と、受信した前記動画像パケット信号を復号し、表示する動
画像復号／再生手段を含み、前記音声符号化・復号化手段は、受信した前記音声パケットを復号し、出力する音声復号
／出力手段を含むことを特徴とする映像・音声通信シス
テム。
【請求項１０】前記インターネットインタフェース手
段は、静止画像パケット信号を送受信している状態で、入力さ
れた音声信号が前記有音／無音判定手段において有音と
判定され、前記音声符号化・復号化手段で該音声信号が
符号化され、前記音声送出手段によりパケット化して、
前記特定のアドレス先に音声パケット信号を送出した場
合に、送出した該音声パケット信号を送出した時間を計
測し、該送出した時間からの経過時間Ｔ１を計測する経
過時間Ｔ１計測手段と、前記経過時間Ｔ１計測手段で計測された経過時間Ｔ１
と、予め設定された判定時間ａとの間で、Ｔ１＜ａなる
関係がある間に、前記特定のアドレス先から音声パケッ
ト信号を受信した場合には、定期的にキャプチャして送
出していた静止画像送信を停止し、連続的な動画像を符
号化し、パケット化して、前記特定のアドレス先に該動
画像パケット信号を送出する第１の静止画／動画切替手
段と、前記経過時間Ｔ１計測手段で計測された経過時間Ｔ１
と、予め設定された判定時間ａとの間で、Ｔ１＜ａなる
関係がある間に、前記特定のアドレス先から音声パケッ
ト信号を受信しなかった場合には、引き続き、定期的に
キャプチャして前記静止画像送信を継続する第１の静止
画像送出手段を含み、前記画像符号化・復号化手段は、受信した前記動画像パケット信号を復号し、動画像とし
て表示する動画再生手段を含む請求項９記載の映像・音
声通信システム。
【請求項１１】前記インターネットインタフェース手
段は、静止画像パケット信号を送受信している状態で、受信し
た前記音声パケット信号の到着時間を計測し、該到着時
間からの経過時間Ｔ２を計測する経過時間Ｔ２計測手段
と、前記経過時間Ｔ２計測手段で計測された経過時間Ｔ２と
予め設定された判定時間ｂとの間で、Ｔ２＜ｂなる関係
がある間に、入力された音声信号が前記有音／無音判定
手段において有音と判定され、前記音声送出手段で、前
記特定のアドレス先に音声パケット信号を送出した場合
には、定期的にキャプチャして送出していた静止画像送
信を停止し、連続的な動画像を符号化し、パケット化し
て、前記特定のアドレス先に該動画像パケット信号を送
出する第２の静止画／動画切替手段と、前記計測された前記経過時間Ｔ２と、予め設定された判
定時間ｂとの間でＴ２＜ｂなる関係がある間に、新たな
音声信号が入力されず、無音状態が続いた場合には、引
き続き、定期的にキャプチャして静止画像送信を継続す
る第２の静止画像送出手段を含請求項９記載の映像・音
声通信システム。
【請求項１２】前記インターネットインタフェース手
段は、動画像パケット信号を送受信している状態で、入力され
た音声信号が前記有音／無音判定手段において有音と判
定され、前記音声符号化・復号化手段で該音声信号が符
号化され、前記音声送出手段によりパケット化して、前
記特定のアドレス先に音声パケット信号を送出した場合
に、送出した該音声パケット信号の最後のパケットを送
出した時間を計測し、該送出した時間からの経過時間Ｔ
３を計測する経過時間Ｔ３計測手段と、前記経過時間Ｔ３計測手段で計測された経過時間Ｔ３
と、予め設定された判定時間ｃとの間で、Ｔ３＜ｃなる
関係がある間に、新たに入力された音声信号が前記有音
／無音判定手段において有音と判定され、前記音声送出
手段で、前記特定のアドレス先に音声パケット信号を送
出した場合、または、引き続き前記特定のアドレス先か
ら音声パケット信号を受信した場合には、引き続き動画
像送信を継続する第１の動画像送信継続手段と、前記計測された前記経過時間Ｔ３と、予め設定された判
定時間ｃとの間でＴ３＜ｃなる関係がある間に、新たな
音声信号が入力されず、無音状態が続いた場合または、
前記特定のアドレス先から新たな音声パケット信号を受
信しない場合には、連続的な動画像を符号化し、パケッ
ト化して送出していた動画像通信を停止し、定期的に静
止画像をキャプチャし、符号化し、パケット化して、前
記特定のアドレス先に静止画像パケット信号を送出する
第１の動画像／静止画像切替手段とを有する請求項１０
及び１１記載の映像・音声通信システム。
【請求項１３】前記インターネットインタフェース手
段は、１動画像パケット信号を送受信している状態で、相手か
ら受信した音声パケット信号の最後のパケットの受信し
た時間を計測し、該受信した時間からの経過時間Ｔ４を
計測する経過時間Ｔ４計測手段と、前記経過時間Ｔ４計測手段で計測された経過時間Ｔ４
と、予め設定された判定時間ｄとの間で、Ｔ４＜ｄなる
関係がある間に、引き続き前記特定のアドレス先から音
声パケット信号を受信した場合、または、新たに入力さ
れた音声信号が前記有音／無音判定手段において有音と
判定され、前記音声送出手段で、前記特定のアドレス先
に音声パケット信号を送出した場合には、引き続き動画
像送信を継続する第２の動画像送信継続手段と、前記計測された前記経過時間Ｔ４と、予め設定された判
定時間ｄとの間でＴ４＜ｄなる関係がある間に、前記特
定のアドレス先から新たな音声パケット信号を受信しな
い場合、または、新たな音声信号が入力されず、無音状
態が続いた場合には、連続的な動画像を符号化し、パケ
ット化して送出していた動画像通信を停止し、定期的に
静止画像をキャプチャし、符号化し、パケット化して、
前記特定のアドレス先に静止画像パケット信号を送出す
る第２の動画像／静止画像切替手段とを有する請求項１
０及び１１記載の映像・音声通信システム。
【請求項１４】音声入出力制御プロセス、画像入出力
制御プロセス、音声符号化・復号化プロセス、画像符号
化・復号化プロセス及びインターネットインターフェー
スプロセスとを有する映像・音声通信プログラムを格納
した記憶媒体であって、前記画像符号化・復号化プロセスは、前記画像入出力制御プロセスの制御により入力された画
像信号を、定期的に静止画像としてキャプチャし、符号
化する静止画像生成プロセスを含み、前記インターネットインタフェースプロセスは、前記静止画像生成プロセスにおいてキャプチャされた前
記静止画像の信号をパケット化して特定のアドレス先に
静止画像パケット信号を送出する静止画像送出プロセス
を含み、前記音声符号化・復号化プロセスは、前記音声入出力制御プロセスの制御により入力された音
声信号の有音／無音を判定する有音／無音判定プロセス
を含み、前記インターネットインタフェースプロセスは、前記有音／無音判定プロセスにおいて、有音と判定され
た場合には、前記音声信号を符号化、パケット化して特
定のアドレス先に音声パケット信号を送出する音声送出
プロセスと、前記画像符号化・復号化プロセスは、受信した前記静止画像パケット信号を復号し、定期的に
更新しながら表示させる静止画像再生プロセスを含み、前記音声符号化・復号化プロセスは、受信した前記音声パケットを復号し、出力を制御する音
声出力制御プロセスを含むことを特徴とする映像・音声
通信プログラムを格納した記憶媒体。
【請求項１５】前記インターネットインタフェースプ
ロセスは、静止画像パケット信号を送受信している状態で、入力さ
れた音声信号が前記有音／無音判定プロセスにおいて有
音と判定され、前記音声符号化・復号化プロセスで該音
声信号が符号化され、前記音声送出プロセスによりパケ
ット化して、前記特定のアドレス先に音声パケット信号
を送出した場合に、送出した該音声パケット信号を送出
した時間を計測し、該送出した時間からの経過時間Ｔ１
を計測する経過時間Ｔ１計測プロセスと、前記経過時間Ｔ１計測プロセスで計測された経過時間Ｔ
１と、予め設定された判定時間ａとの間で、Ｔ１＜ａな
る関係がある間に、前記特定のアドレス先から音声パケ
ット信号を受信した場合には、定期的にキャプチャして
送出していた静止画像送信を停止し、連続的な動画像を
符号化し、パケット化して、前記特定のアドレス先に該
動画像パケット信号を送出する第１の静止画／動画切替
プロセスと、前記経過時間Ｔ１計測プロセスで計測された経過時間Ｔ
１と、予め設定された判定時間ａとの間で、Ｔ１＜ａな
る関係がある間に、前記特定のアドレス先から音声パケ
ット信号を受信しなかった場合には、引き続き、定期的
にキャプチャして前記静止画像送信を継続する第１の静
止画像継続プロセスを含み、前記画像符号化・復号化プロセスは、受信した前記動画像パケット信号を復号し、動画像とし
て表示する動画再生プロセスを含む請求項１４記載の映
像・音声通信プログラムを格納した記憶媒体。
【請求項１６】前記インターネットインタフェースプ
ロセスは、静止画像パケット信号を送受信している状態で、受信し
た前記音声パケット信号の到着時間を計測し、該到着時
間からの経過時間Ｔ２を計測する経過時間Ｔ２計測プロ
セスと、前記経過時間Ｔ２計測プロセスで計測された経過時間Ｔ
２と、予め設定された判定時間ｂとの間で、Ｔ２＜ｂな
る関係がある間に、入力された音声信号が有音／無音判
定プロセスにおいて有音と判定され、前記音声送出プロ
セスで、前記特定のアドレス先に音声パケット信号を送
出した場合には、定期的にキャプチャして送出していた
静止画像送信を停止し、連続的な動画像を符号化し、パ
ケット化して、前記特定のアドレス先に該動画像パケッ
ト信号を送出する第２の静止画／動画切替プロセスと、前記計測された前記経過時間Ｔ２と、予め設定された判
定時間ｂとの間でＴ２＜ｂなる関係がある間に、新たな
音声信号が入力されず、無音状態が続いた場合には、引
き続き、定期的にキャプチャして静止画像送信を継続す
る第２の静止画像継続プロセスを含む請求項１４記載の
映像・音声通信プログラムを格納した記憶媒体。
【請求項１７】前記インターネットインタフェースプ
ロセスは、動画像パケット信号を送受信している状態で、入力され
た音声信号が前記有音／無音判定プロセスにおいて有音
と判定され、前記音声符号化・復号化プロセスで該音声
信号が符号化され、前記音声送出プロセスによりパケッ
ト化して、前記特定のアドレス先に音声パケット信号を
送出した場合に、送出した該音声パケット信号の最後の
パケットを送出した時間を計測し、該送出した時間から
の経過時間Ｔ３を計測する経過時間Ｔ３計測プロセス
と、前記経過時間Ｔ３計測プロセスで計測された経過時間Ｔ
３と、予め設定された判定時間ｃとの間で、Ｔ３＜ｃな
る関係がある間に、新たに入力された音声信号が前記有
音／無音判定プロセスにおいて有音と判定され、前記音
声送出プロセスで、前記特定のアドレス先に音声パケッ
ト信号を送出した場合、または、引き続き前記特定のア
ドレス先から音声パケット信号を受信した場合には、引
き続き動画像送信を継続する第１の動画像送信継続プロ
セスと、前記計測された前記経過時間Ｔ３と、予め設定された判
定時間ｃとの間でＴ３＜ｃなる関係がある間に、新たな
音声信号が入力されず、無音状態が続いた場合、また
は、前記特定アドレス先からの新たな音声パケット信号
を受信しない場合には、連続的な動画像を符号化し、パ
ケット化して送出していた動画像通信を停止し、定期的
に静止画像をキャプチャし、符号化し、パケット化し
て、前記特定のアドレス先に静止画像パケット信号を送
出する第１の動画像／静止画像切替プロセスとを有する
請求項１５及び１６記載の映像・音声通信プログラムを
格納した記憶媒体。
【請求項１８】前記インターネットインタフェースプ
ロセスは、動画像パケット信号を送受信している状態で、相手から
受信した音声パケット信号の最後のパケットの受信した
時間を計測し、該受信した時間からの経過時間Ｔ４を計
測する経過時間Ｔ４計測プロセスと、前記経過時間Ｔ４計測プロセスで計測された経過時間Ｔ
４と、予め設定された判定時間ｄとの間で、Ｔ４＜ｄな
る関係がある間に、引き続き前記特定のアドレス先から
音声パケット信号を受信した場合、または、新たに入力
された音声信号が前記有音／無音判定プロセスにおいて
有音と判定され、前記音声送出プロセスで、前記特定の
アドレス先に音声パケット信号を送出した場合には、引
き続き動画像送信を継続する第２の動画像送信継続プロ
セスと、前記計測された前記経過時間Ｔ４と、予め設定された判
定時間ｄとの間でＴ４＜ｄなる関係がある間に、前記特
定のアドレス先から新たな音声パケット信号を受信しな
い場合、または、新たな音声信号が入力されず、無音状
態が続いた場合には、連続的な動画像を符号化し、パケ
ット化して送出していた動画像通信を停止し、定期的に
静止画像をキャプチャし、符号化し、パケット化して、
前記特定のアドレス先に静止画像パケット信号を送出す
る第２の動画像／静止画像切替プロセスとを有する請求
項１５及び１６記載の映像・音声通信プログラムを格納
した記憶媒体。