JP3589702B2 - 通信端末装置 - Google Patents
通信端末装置 Download PDFInfo
- Publication number
- JP3589702B2 JP3589702B2 JP14785494A JP14785494A JP3589702B2 JP 3589702 B2 JP3589702 B2 JP 3589702B2 JP 14785494 A JP14785494 A JP 14785494A JP 14785494 A JP14785494 A JP 14785494A JP 3589702 B2 JP3589702 B2 JP 3589702B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- information
- image
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【産業上の利用分野】
本発明は、TV電話又はTV会議機能を有する通信端末装置に関する。
【0002】
【従来技術】
従来、知的画像符号化技術を応用したTV会議装置が提案されている。
【0003】
この装置は、送信側で話者の画像を解析して得られる該話者の動作や表情を表すパラメータを伝送し、受信側では予め伝送されていた話者のCGデータを該受信したパラメータに従って変形させて話者の画像を再現する。これにより、膨大な動画像信号を少ないパラメータに変換して記号レベルで伝送することにより狭帯域伝送路の使用ができた。
【0004】
しかしながら、知的符号化を行う従来のTV会議装置では、交信に先駆けて話者のCGデータを送信しておく必要があり、回線接続後ただちに交信可能とならないという問題点があった。
【0005】
【発明が解決しようとする課題】
従来の知的符号化を行うTV会議装置には、回線接続後ただちに交信可能とならないという問題点があった。
【0006】
本発明の目的は利用者に対する肉体的負担を与えることなく、利用者の安全対策をも考慮した画像表示装置を提供する。
【0007】
【課題を解決するための手段】
本発明の通信端末装置は、画像情報を入力するための入力手段と、この入力手段から入力した画像情報を記号化する記号化手段と、この記号化手段により記号化した画像情報のうち必要な記号化情報及び話者の識別コードを送信する送信手段と、相手話者からの記号化情報及び識別コードを受信する受信手段と、相手話者の画像的特徴と該相手話者の識別コードからなる相手話者情報を記憶する話者記憶手段と、標準話者情報を記憶する標準話者情報記憶手段と、前記受信手段により受信した識別コードが前記話者記憶手段に登録されているか否かを判断する判断手段と、前記判断手段が受信した識別コードを未登録と判断した場合に、該相手話者情報を新たに受信した後に通話者の選択によって、該相手話者情報及び受信した記号化情報を用いて画像信号を復号化するオンラインブートモード、もしくは、前記標準話者記憶手段に記憶された標準話者情報を用いて画像信号を復号化するブートレスモードに基づいて復号化する第1の復号化手段と、前記判断手段が受信した識別コードを登録済と判断した場合に、該識別コードに基づいて前記話者記憶手段から相手話者の画像的特徴を呼出し、この呼出した相手話者の画像的特徴と受信した記号化情報から画像信号を復号化するオフラインブートモードに基づいて復号化する第2の復号化手段と、前記第1の復号化手段もしくは前記第2の復号化手段により復号化した画像信号を出力する出力手段とよりなるものである。
【0008】
【作 用】
本発明の通信端末装置について説明する。
【0009】
記号化手段は、入力手段から入力した画像情報を記号化する。
【0010】
送信手段は、この記号化手段により記号化した情報のうち必要な記号情報および話者の識別コードを送信する。
【0011】
受信手段は、相手話者から記号化情報および識別コードを受信する。
【0012】
話者記憶手段は、相手話者の画像的特徴とこの相手話者の識別コードからなる相手話者情報を記憶している。
【0013】
標準話者情報記憶手段は、標準話者情報を記憶している。
【0014】
判断手段は、受信手段により受信した識別コードが前記話者記憶手段に記憶されているか否かを判断する。
【0015】
そして、この判断手段が受信した識別コードを未登録と判断した場合には、第1復号化手段が、相手話者情報を新たに受信した後に通話者の選択によって、この相手話者情報および受信した記号化情報を用いて画像信号を復号化するか、もしくは、標準話者記憶手段に記憶された標準話者情報および受信した記憶情報を用いて画像信号を復号化する。また、判断手段が、受信した識別コードを登録と判断した場合には、第2復号化手段が、この識別コードに基づいて話者記憶手段から相手話者の画像的特徴を呼び出し、この呼び出した相手話者の画像的特徴と受信した記号化情報から画像信号を復号化する。
【0016】
そして、出力手段は、第1復号化手段もしくは第2復号化手段により復号化した画像信号を出力する。
【0017】
これにより、本発明の通信端末装置であれば、相手話者が未知の場合には第1の復号化手段を通し、相手話者が既知の場合には第2復号化手段により、短時間で通信を解知することができる。また、相手話者が未知の場合には、標準話者特徴を用いることにより、通信開始時間の短縮と話者の匿名性の向上を図ることができる。
【0018】
【実施例】
(TV電話装置の第1の実施例)
図1は、本発明の通信端末装置に係るTV電話装置の第1の実施例のブロック図である。
【0019】
符号101は、自話者が発生した音声と自話者が写る画像等の自話者信号を入力する信号入力部である。信号入力部101は、例えばマイクロフォンとTVカメラ等で構成される。
【0020】
符号102は、信号入力部101により入力された自話者信号を、話者に依存しない自話者コード列と話者に依存する自話者特徴とに分離する。具体的には、音声信号を、文字や単語を表すコード列と話者の音質を表わす話者特徴とに分離し、また、画像信号を、動作や表情を表すコード列と話者の容貌を表わすCGデータとに分離する。
【0021】
符号103は、相手話者コード列と相手話者特徴とから相手話者信号を復元する信号化部である。信号化部103における処理は、記号化部102における処理の逆過程となる。
【0022】
符号104は、信号化部103により復元された相手話者信号を自話者に対して出力する信号出力部である。
【0023】
符号105は、自話者の操作を受け付ける操作入力部である。
【0024】
符号106は、操作入力部105による操作信号に従って、話者IDと話者特徴とからなる話者情報を管理するとともに、回線接続等の装置全体の機能を制御する話者情報管理部である。
【0025】
符号107は、話者情報をデータベース(以下、DBという)化して格納する話者DB部である。
【0026】
符号108は、相手局との通信回線を接続し、話者コード列や話者情報等を通信信号に変換して相手局とやりとりする通信部である。
【0027】
次に、上記TV電話装置の動作を説明する。
【0028】
このTV電話装置の特徴として3つのモードが存在する点が従来装置と異なる。これらのモードを、オンラインブートモード、オフラインブートモード、ブートレスモードとそれぞれ呼ぶ。以下、各々のモードを説明する。
【0029】
(1)オンラインブートモード
オンラインブートモードは、話者ID交換処理205により知らされた相手話者が自局の話者DBに未登録(未知話者)であり、かつ、該未知話者の話者情報の自局話者DBへの新規登録を自話者と相手話者の両者が同意した場合にのみ選択されるモードである。
【0030】
このとき、少なくとも一方の話者が話者情報の送信または受信を拒否した場合には、オンラインブートモードは選択されないことを特記しておく。
【0031】
オンラインブートモードでは回線接続後から通話処理208に移行するまでに登録すべき話者情報を伝送する必要があるため、通話可能となるまでに多少の時間を要する。そのため、従来装置はオンラインモードのみを採用しているため、この問題はそのまま従来装置が抱える問題点でもある。しかしながら、本装置は、次に述べるオフラインブートモードを備えることにより、この問題を回避し、従来装置に比較して極めて高い利便性を発揮している点が特徴である。
【0032】
(2)オフラインブートモード
オフラインブートモードは、話者ID交換処理205により知らされた相手話者が自局の話者DBに既に登録(既知話者)されている場合に選択されるモードであり、通話に先駆けての話者情報の伝送を必要としないために回線接続後直ちに通話可能となることが特徴である。
【0033】
即ち、本装置ではオンラインブートモードとオフラインブートモードとを有するために、一旦オンラインブートモードで話者情報を登録しさえすれば、次回から時間のかかるオンラインブートモードを用いる必要がなくなり、使用者を待たせることなく良好な通話開始が実現できるのである。
【0034】
(3)ブートレスモード
本装置では、上記2つのモード以外に相手話者が未知話者であり、かつ話者情報の交換を希望しない場合に対応したモードとしてブートレスモードも有している。
【0035】
ブートレスモードでは、話者情報を交換せず、双方の話者DBに予め格納される標準話者情報が使用される。該標準話者情報は固定の標準的な話者特徴を含んでおり、相手話者を忠実に再現しない反面、話者の匿名性を向上させるという効果を生む。
【0036】
この結果、例えば、親しくなる必要のない人物と暫定的な通話をする場合に、自分の顔や声を隠して対応できるという使用形態を可能とする利点がある。勿論、該モードは前記のオフラインブートモードと同様に回線接続後直ちに通話可能となるという特徴も備えている。
【0037】
図2は、TV電話装置の基本動作を示すフローチャートである。
【0038】
ステップ201,202は、ともに発信側と被発信側で各々通話に先駆けて自話者情報を生成して自局の話者DBに登録しておく新規自話者情報登録処理である。
【0039】
ステップ203は、発信側話者が通話を希望する相手話者のIDを指定することにより、相手話者との回線接続要求を発信する発呼処理である。
【0040】
ステップ204は、発信側の回線接続要求に基づいて相互に回線を接続する回線接続処理である。
【0041】
ステップ205は、自話者IDを相互に交換する話者ID交換処理である。この結果、通話相手が誰であるのかを相互に知ることができる。
【0042】
ステップ206において、通話相手が既知者であれば、オフラインブートモードに入って、ステップ211に進む。また、通話相手が未知者であれば、オンラインブートモードもしくはブートレスモードの選択のために、ステップ207に進む。
【0043】
ステップ207において、通話者がブートレスモードを選択したかどうかを判断する。ブートレスモードを選択すれば、ブートレスモードに入りステップ210に進む。一方、ブートレスモードを選択しなければオンラインブートモードに入りステップ208に進む。
【0044】
ステップ208は、前記新規自話者情報登録処理201,202により話者DBに登録されている自話者情報を必要に応じて相互に交換する話者情報交換処理である。この結果、通話相手の話者特徴を相互に入手することができる。
【0045】
ステップ209は、前記話者情報交換処理206で受け取った相手話者情報を自局の話者DBに登録する新規相手話者情報登録処理である。
【0046】
ステップ210においては、ブートレスモードに入っているため、標準話者情報を抽出する。この標準話者情報は、予め準備された一般的な画像情報や後述するマンガ的な画像的特徴を情報とするものであり、これにより、自分の顔や声を隠して対応できる。この場合に、相手に写る画像は、その標準話者の画像的特徴において口や顔の表情のみ、通話者の動きに対応するものであり、少なくとも、通話相手にとっては、顔の表情や口の動かし方だけは判別することができる。そのため、TV電話装置の利便を損うことがない。
【0047】
ステップ211は、話者相互に通話する通話処理である。
【0048】
ステップ212は、回線を切断して通話を終了する回線切断処理である。
【0049】
なお、上記の回線接続処理204から回線切断処理212までの処理は、発信側と被発信側で各々同時にかつ独立に行われる。
【0050】
(TV電話装置の第1の実施例の変更例1)
図3に第1の実施例の変更例を説明する。
【0051】
第1の実施例(図1)との相違は、話者DB部308が装置本体から着脱可能となり、かつ話者DB部308と話者情報管理部306とを繋ぐ接続部309を新たに設けた構成となっている点である。
【0052】
この結果、使用者毎に専用の話者DB部308を用意することが可能となり、例えば家族で一台の装置を使うような、使用者が頻繁に変わる状況においても、個人毎の話者DB部308を自在に入れ替えることで1台の装置が各話者に応じた最適な状態で使用されることが可能となる。しかも、着脱自在な話者DB部308は、例えば、メモリカードや磁気ディスク等で実現することにより小型化が可能なので、装置本体を小型化する上でも有利であり、携帯可能TV電話装置を提供する上で重要な役割を果たす。
【0053】
(TV電話装置の第1の実施例の変更例2)
図4に第1の実施例の変更例を説明する。話者DB部の容量が不足した場合には、大容量の話者DB部を持つ親装置に該容量不足を起こした話者DB部の内容を待避させたり、逆に該大容量話者DB部から保存されている話者情報を読み込んだりできれば一層便利である。
【0054】
図4にこのような装置の全体構成図を示す。
【0055】
本装置は、図3の装置に大容量話者DB部410を新たに備えることにより、通信部407や着脱自在の話者DB部408を介して他装置との間で話者情報を交換可能である。
【0056】
(TV電話装置の第1の実施例の変更例3)
図4において、登録される各話者についての通話頻度を対応する話者情報に付加して記録可能とし、話者DB部408から大容量話者DB部410への待避に際しては通話頻度の低いものから待避させることにより、重要な通話相手の話者情報が、常に使用可能な話者DB部408上に残るようにすることができる。
【0057】
このようにすると、使用状況に最も適った話者DBを自動的に構築することが可能となり、本装置の利便性はさらに向上する。
【0058】
(TV電話装置の第1の実施例の変更例4)
なお、以上で述べた話者特徴は必ずしも写実的な画像特徴や音声特徴である必要はなく、使用者の好みに合わせて漫画的な画像特徴や音声特徴を用いることも可能である。
【0059】
このためには、漫画的な話者特徴を話者DB部に登録可能であることが必要であるが、本装置では、これを外部装置(または親装置)から通信部や着脱自在の話者DB部等を経由して登録可能とすれば良い。
【0060】
(TV電話装置の第2の実施例)
TV電話装置の第2の実施例を説明する。
【0061】
図5は、実施例装置の基本構成図である。
【0062】
符号501,504,506は、図1で述べた信号入力部101、信号出力部104、通信部108に対応する構成要素である。
【0063】
符号502は、自話者信号を自話者コード列に変換する記号化部である。
【0064】
符号503は、相手話者コード列を、相手話者信号に変換する信号化部である。
【0065】
符号505は、記号化部502が出力する自話者コード列から自装置への指令となっている指令コード列を分離抽出し、該指令コード列に対応する操作信号を発生すると同時に、該指令コード列を除いた送信コード列を相手局へ送出されるべきコード列として、通信部506に出力する指令分離部である。
【0066】
図1の装置との相違は、話者DB部と話者情報管理部を持たないことである。信号化に際して用いられる話者特徴は信号化部503が標準的な特徴情報を内蔵することで提供する。
【0067】
この構成により、音声や動作による操作が通話中にも行えるようになり、かつ該操作を意味する音声や動作が不用意に相手に伝送されることのない音声命令可能な通信端末装置を実現することができる。
【0068】
具体例としては、通話相手が、電話番号や住所等の情報を言い始めた場合に、これらの情報を記憶させるために、通話者はTV電話装置に向かって、「メモ機能」と音声で指令すれば、この指令部分は、通話相手に送信されず、TV電話装置のみが受諾する。なお、この場合にメモ機能の録画装置を備えておく。
【0069】
無論、従来の電話装置にも音声によりダイヤル可能なものが提案されているが、この場合の音声指令の受け付けは通話前に限定され、通話中の指令音声の受け付けやその伝送の禁止に関しては一切配慮が成されていなかった。
【0070】
本実施例はこの点を解決して、本装置の利便性を向上せしむるものである。無論、本装置でも音声による回線接続操作を実現可能である。
【0071】
(TV電話装置の第2の実施例の変更例1)
図6は、前記通話中の音声による命令機能を図1で示した第1の実施例において実現した例である。
【0072】
自話者は、自話者コード列を用いて装置を操作可能であることから、図1の操作入力部105を指令分離部605に置き換えた構成となっている。
【0073】
(TV電話装置の第2の実施例の変更例2)
図7に第2の実施例の変更例を説明する。
【0074】
符号701,702,703,704,706は、図5における信号入力部501、記号化部502、指令分離部505、信号出力部504、通信部506に対応した構成要素であり、符号705は、図1における操作入力部105に対応した構成要素である。
【0075】
信号入力部701からの自話者信号は、記号化部702と指令分離部703の両方に入力される。
【0076】
指令分離部703は、記号化部702からの自話者コード列から指令コード列を分離抽出し、前記自話者信号から該指令コードの発せられた時間に対応した区間の信号を削除した送信信号を通信部706に出力する。
【0077】
同時に、指令分離部703は、前記指令コード列に対応した操作信号も出力する。
【0078】
通信部706は、前記送信信号を通信信号に変換して送出するとともに、相手局から受信した相手話者信号を信号出力部704に直接入力する。
【0079】
この構成は、図5の構成と異なり、情報伝送の主役が話者コード列ではなくて話者信号である点がポイントである。このような構成により、信号化部と話者DB部を含まない小規模な構成が可能となる。
【0080】
なお、本変更例では、図中の操作入力部705を排した構成も可能である。
【0081】
(TV電話装置の第2の実施例の変更例3)
上記の変更例2を図8に示すように、さらに変更して実施することも可能である。
【0082】
符号801,802,803,804,805,807は、図7における信号入力部701、記号化部702、指令分離部703、信号出力部704、操作入力部705、通信部706に対応した構成要素である。
【0083】
そして、新たに制御部806を設け、操作信号を受理して制御信号と区間信号とを生成させる。区間信号とは、自話者が自装置に指令を発している期間を示す信号であり、該話者が例えば指令を発しながら、押しボタンスイッチを押し下げる等の、現在指令中であることを示す特別な操作をすることによって制御部806から発生されるものであるとする。
【0084】
指令分離部803は、区間信号を検知している間の自話者信号を指令を含む信号として処理する。
【0085】
要するに、第2の実施例においては、通話中に話者信号を認識して指令を受理し、かつ、その指令に該当する情報を送信対象から除外可能であるならば、指令中であることの検知方法等の細部の差異は問題とはならない。
【0086】
(TV電話装置の第3の実施例)
図9に、TV電話装置の第3の実施例を示す。
【0087】
符号901,902,903,904,907は、図5に示した信号入力部501、記号化部502、信号化部503、信号出力部504、通信部506に対応した構成要素である。また、符号905は、図7の操作入力部705に対応した構成要素である。符号906は、入力コードを所定の出力コードに変換するコード変換部である。
【0088】
ここで、説明の都合上、コード変換部906により変換されるコード列を言語コードに限定し、該言語コード翻訳に際しての本実施例の利便性について述べる。
【0089】
相手局から送出された言語コードは通信部907で受信され、通信コード列としてコード変換部906に入力される。
【0090】
コード変換部906では該言語コードを所定の言語に翻訳して自局の話者に呈示する。しかし、従来の装置のように1文を受信し終わるまで翻訳作業を行わないのではなく、例えば、単語等のきりのよい単位での逐次翻訳を実行し、片言ではあるが即時に翻訳結果を伝達するようにできる点が特徴である。
【0091】
このようにすることによって、通話の同時性や即時性が維持され、該装置を通じてのコミュニケーションをより円滑なものとすることができる。
【0092】
なお、1文を受信後には該文の翻訳結果をも呈示可能としても良い。このために、該装置に言語コードを文字表示したり音声出力したりできる呈示機能を具備させ、例えば逐次翻訳結果は音声で出力し、1文一括翻訳結果は文字で同時に出力可能とすることもできる。
【0093】
また、使用者によっては、前記言語コードをマイクを介して音声で入力したり、キーボード等を介して文字で入力したりと、該入力方法を選択可能としても良い。
【0094】
あるいは、該言語コードを音声や文字で出力するのみでなく、手話の画像に変換して呈示しても良い。
【0095】
さらには、該言語コードを入力するに際しても手話動作を認識して入力可能とすることも可能である。
【0096】
要するに、本実施例においては、逐次翻訳結果と一括翻訳結果のうち、少なくとも前者を呈示可能であるならば、入力の方法や出力の方法等の細部の差異は問題とはならないのである。
【0097】
(TV電話装置の第3の実施例の変更例1)
図10は、コード変換部1007を着脱自在とするために、装置本体と該コード変換部1007とのインタフェースをとるコード伝達部1006を新たに加えた構成例である。
【0098】
このようにすると、コード変換部1007をオプションとすることが可能となり、前記翻訳機能を必要とする利用者のみが、該機能を追加することができるという点において利便性が向上する。
【0099】
(TV電話装置の第3の実施例の変更例2)
図11は、図9に示した実施例を図1に示した装置に適用した例である。このようにすることにより、翻訳機能付きの知的符号化通信装置を提供可能である。
【0100】
(TV電話装置の第4の実施例)
図12にTV電話装置の第4の実施例を示す。
【0101】
符号1201,1203,1204,1205,1206,1207,1208は、図9に示した実施例における信号入力部901、記号化部902、信号化部903、信号出力部904、操作入力部905、コード変換部906、通信部907に対応している。
【0102】
符号1202は、自話者信号から相手話者信号を差し引くキャンセル部であり、相手話者信号に遅延をかけた信号を一定倍して生成される信号を自話者信号から差し引く処理を行うことにより、信号入力部1201により入力された自話者音声に混入した相手話者音声をキャンセルする働きをするものである。
【0103】
(TV電話装置の第4の実施例の具体例)
図13は、第3の実施例を腕時計型の装置として実施した具体例である。
【0104】
この小型のTV電話装置では、マイク1301等の音声入力手段とスピーカー1302等の音声出力手段とが近接しており、この距離に比較して使用者と該装置との距離が大きくなるのが通常である。このとき、使用者に可聴な音量で相手音声を再生すると、該音声が前記音声入力手段に拾われてしまい、相手局では自分の発した音声に相手の発した音声がエコーのように重複する結果となり、甚だ使用感を損なうもととなる。ところが、本装置では、このエコーを除去するキャンセル部1202を有することにより、使用感を損なわない小型TV電話装置を提供可能となる。
【0105】
なお、本実施例は、通常は時計として機能するように、非通話時には画面全面が時計表示となる。無論、通話時には表示部1303に相手話者の画像が表示され、同時に時計画像が画面の一部に縮小表示される。
【0106】
ところで、上記実施例で示されるキャンセル部1202を有するTV電話装置は、図12と図13に例示された実現形態に限定されるものではない。要するに、信号入力部と信号出力部がともに接近しており、かつ、それに比して該信号入力部と信号出力部がともに使用者から遠いが故に入力音声と出力音声が混入してしまう状況が発生する通信装置であれば、いかようにも適用実施可能である。即ち、前記キャンセル部1202が入力信号と出力信号の加重差を計算することによって前記混信を防止できさえすれば実現に際しての細部の差異は問題とはならない。
【0107】
(TV電話装置の追加機能1)
以上で述べた第1から第4までの実施例及び各変更例において、伝送された相手話者コード列を伝送時刻、相手話者ID、再生時のメディアの種別(音声,画像,文字,それらの組み合わせ)等の補助的情報とともに記録し、かつ後刻、自話者に対して再生可能とする記号レベルの留守番機能部を付加することも可能である。
【0108】
このようにすると、信号レベルで記録を行っていた従来の留守番機能付き電話装置等よりも少ないデータ量でメッセージの記録が可能となり、より多くのメッセージを格納可能とすることができる。
【0109】
また、前記留守番機能部が自局から送信したいメッセージも記録可能とし、予め設定されたイベント(タイマー,遠隔操作,留守番機能起動時等)が発生した時点で、該メッセージを自局から自動発信するようにしても良い。記録される送信メッセージは、相手話者ID、起動イベント、再生時のメディアの種別(音声,画像,文字,それらの組み合わせ)等の補助的情報とともに記録される。この結果、相手毎,イベント毎にメッセージを変えて送信,応答可能であるという点において利便性が一層向上する。
【0110】
(TV電話装置の追加機能2)
また、以上で述べた第1から第4までの実施例及び各変更例において、信号入力部が使用者によるキー入力を受け付け可能とし、あるいは信号出力部が使用者に対して文字表示を出力可能とすることもできる。
【0111】
このようにすると、少なくとも音声を用いる通信において、例えば耳が聞こえない等の音声によるコミュニケーションが困難な人も本装置を使用でき、使用者の枠が拡大するという点において本装置の利便性が一層向上する。
【0112】
なお、本機能を実現する場合には、画像用と文字用の画面を別々に用いることも可能であるが、相手画像に相手音声を文字に変換してスーパーインポーズして同一の画面に表示出力するようにすれば、使用者は常に該単一の表示画面のみを注視すればよいという点において、本装置の利便性が一層向上する。
【0113】
なお、以上の実施例及び変更例のさらなる変更例として、音声もしくは画像の少なくとも1つを記号で送受し、残りを信号で送受するようにしても良い。
【0114】
例えば、音声を記号化して伝送し、画像は信号を圧縮符号化して送る構成とすることも可能である。無論、記号、信号とも可能な限り圧縮符号化し、さらにバケット化する等して単一の伝送路でやりとりされることは言うまでもない。
【0115】
(TV電話装置の追加機能3)
以上の実施例及び変更例において、例えば話者DB部のような記憶手段に登録される話者情報に基づいてダイヤルを実行するための画面の構成例を図22、図23、図24に示す。
【0116】
図22は、TV電話装置における通話相手選択画面の例である。
【0117】
符号2201は、該画面の表示領域であり、表示手段全面またはその一部に表示される。
【0118】
符号2202は、相手話者アイコンであり、このアイコンを指またはマウス等の所定の指示手段によってクリックする等の選択操作を行うことにより、通話相手を選択可能とするものである。アイコン2202の近傍にはこれが示す通話相手の例えば名前等の情報が表示される話者ID表示領域2203がある。
【0119】
符号2205のように新たに登録される相手話者を表示するための空領域も表示することが可能である。
【0120】
符号2206,2207は、該画面に全ての話者アイコンが表示しきれない場合に、該画面をめくる操作を実行可能とするためのページめくりボタンである。もし、ページめくりボタン2207が表示されているときには次のページが存在することを示し、ページめくりボタン2206が表示されているときには前のページが存在していることを示す。
【0121】
符号2204は、一覧画面に登録されていない相手との通話を希望する際に選択されるダイヤル画面呼び出しアイコンであり、前記ページめくり操作に関わらず常に画面の所定の位置に表示され続けるものとする。
【0122】
図23は、前記相手話者アイコンの例である。
【0123】
符号2301,2303,2305は各々アイコン領域である。この領域内に話者の例えば上半身の画像等が表示される。
【0124】
符号2302,2304,2306,2307は、各々話者ID表示領域であり、アイコン領域の内部または該領域の近傍に表示される。
【0125】
特に、符号2306,2307は、同一IDの人物であってもその所在地の違いによってかけ分けられるように、話者IDと例えば所在地の情報とを表示可能なように複数領域を使用して表示した例となっている。
【0126】
前記ダイヤル画面呼び出しアイコンを選択すると図24に示すようなダイヤル画面2401が表示される。該画面2401にはプッシュホン装置のダイヤルボタン同様のダイヤルボタン2402が表示され、ダイヤルした番号がダイヤル番号表示領域2403に表示される。なお、該ダイヤルボタンには番号を訂正するためのボタンやダイヤルを実行するボタンが含まれる。
【0127】
(TV電話装置の第5の実施例)
図14は、TV電話装置の第5の実施例を示した図である。
【0128】
本装置は2つの画面を備えており、画面1401に相手の動画像を、画面1402に相手から伝送されてきた資料を表示している。自局からの映像はカメラ1403で撮像され、符号化された後アンテナ1406から無線で相手局に転送される。音声についても同様にマイク1407から取り込まれ、アンテナ1406から相手局に転送される。相手話者の声はスピーカー1408を通して得られる。また一連の操作はキーボード1404で行われる。
【0129】
この際、動画像は情報量が多く、しかもリアルタイムで符号化,復号化処理を行う必要があることから、画像サイズ(つまり表示する場合の解像度)をあまり大きく設定できない。一方、参考資料等のように静止させて見る画像の場合にはリアルタイム性が要求されない代わりに、出来る限り高い解像度であることが要求される。
【0130】
従って動画像表示用の画面1401は、低解像度画面(例えば国際標準方式H.261のCIF,QCIFレベル)、静止画像表示用の画面1402は高解像度画面(例えば国際標準方式のJPEGレベル)を装備すれば良い。
【0131】
ただし、コスト的な問題、あるいは画面1401、1402のいずれにも動画を表示する必要がある場合にはどちらの画面も動画用の解像度画面とすることも可能である。
【0132】
なお、静止画像は相手から伝送されてきたものを表示する場合と、手持ちの資料を表示して参照する場合とがある。手持ち資料を表示、あるいはそれを相手に伝送する場合には例えばディスクやICカードを格納口1405より挿入し、情報を取り出して表示するようにすれば良い。また、TV受像機の解像度(例えばNTSCやHDTVレベル)を有している画面を用意しておけば、TV番組を視聴しつつ、同時に相手とコミュニケーションを取ることが出来る。なお、本実施例では画面を2つ具備した例を示したが、画面が3つもしくはそれ以上であってももちろん実現可能である。
【0133】
(TV電話装置の第6の実施例)
図15は、TV電話装置の第6の実施例を示した図である。
【0134】
図14に示した装置と同様に、画像はカメラ1503で撮像され、また音声はマイク1507から取り込まれて、それぞれアンテナ1506から相手局に転送される。また、相手側の画像は、画面1501に表示され、音声はスピーカー1508を通して得られる。これら一連の操作は、キーボード1504上で行われる。
【0135】
相手とのコミュニケーションの最中に情報をメモしたり、あるいはお互いに画面上で資料の修正を行う場合には、ボート画面1502が有効に機能する。
【0136】
該画面は、ライトペン1505を用いて情報を入力することが可能であり、またそれを随時相手側と送受信し合うことで、該ボード画面を用いながら資料を修正しつつのディスカッションが可能になる。
【0137】
この場合、ボード画面1502に入力された情報に対する文字認識機能を具備されることも可能であり、このようにすると本装置の利便性が一層向上する。
【0138】
さらに、図14の場合と同様に、手持ちの資料をディスクあるいはICカードから読み出すための格納口1509があり、ここを通じて情報の読み出しが可能になる。もちろん相手から送られてきた情報、あるいは修正した情報を再びディスクやICカードに格納することも可能である。
【0139】
なお、ボード画面1502は、画面1501と同様の動画像表示画面であって、さらにその上からライトペンで書き込み可能なものであっても良い。また、これらの画面はキーボード1504からの入力を表示できる構成にすることも可能である。
【0140】
(TV電話装置の第7の実施例)
図16は、TV電話装置の第7の実施例である。
【0141】
カメラ1604、アンテナ1605、マイク1606、スピーカー1607、キーボード1608、ライトペン1609、及び、ディスクやICカード等のための格納口1610は、図15と同様の働きをする。ここでは、さらに3種類の画面を装備している。
【0142】
この結果、使用者は動画用低解像度画面1601により、常に相手を見ながら通信ができ、静止画用高解像度画面1602により、その場で必要な資料をお互いに参照しながらディスカッションができる。
【0143】
また、ライトペン1609からの入力画面1603により、お互いが黒板を使っているようなイメージで情報の加筆,修正がこの画面上でおこなえる。
【0144】
なお、これらの画面は任意にキーボード1608からの入力を表示することも可能であり、その場合はワープロの代用としても使用できる。
【0145】
(TV電話装置の第8の実施例)
以下、TV電話装置の第8の実施例を図17を用いて説明する。
【0146】
図17は、本実施例に係わるブロック図である。
【0147】
入力端子1701より選択開始信号が入力されると、表示レート選択部1702で、ディスプレイに表示する動画像のレートを選択する。レート入力の方法は何でも良く、例えば音声に入力しても良いし、テンキーを用意しておきそれを用いて入力しても良い。あるいは表示可能レートをディスプレイ上に表示し、タッチパネル等を用いてその中から選択する方法を用いても良い。
【0148】
表示レートが決まると、選択レート画像表示部1703で、実際に表示レート下での動画像を表示する。表示する動画像は、予め選択可能レートでの動画像を作り、動画像メモリ1704に蓄積しておく。そして、動画像メモリ1704では入力された選択レートにおける動画像を選択レート画像表示部1703に送る。
【0149】
選択レート画像表示部1703では動画像の表示終了後、さらに別のレートでの動画像を表示するか、あるいは実際に用いる伝送,蓄積レートの決定をするかをユーザに問い、結果に応じて表示レート選択部1702あるいは伝送,蓄積レート決定部1705に信号を送る。
【0150】
伝送,蓄積レート決定部1705では、実際に伝送,蓄積に用いるレートをユーザに問う。レート入力の方法は何でも良く、例えば音声で入力しても良いし、テンキーを用意しておきそれを用いて入力しても良い。あるいは表示可能レートをディスプレイ上に表示し、タッチパネル等を用いてその中から選択する方法を用いても良い。最後に決定レートを出力端子1706に出力する。
【0151】
(TV電話装置の第9の実施例)
図18は、TV電話装置の第9の実施例に係わるブロック図である。
【0152】
図17と異なるのは、図17の動画像メモリ1704が図18では再構成画像生成部1807となっていることのみで、残りの部分は同じである。再構成画像生成部1807では画像入力端子1808より入力される画像を選択レートに基づき符号化と復号化を行い、再構成画像を生成した後、選択レート画像表示部1803に送る。
【0153】
画像入力端子1808から入力される画像としては、例えば、TV電話の場合には自局のカメラで撮像した画像が考えられる。
【0154】
(TV電話装置の第10の実施例)
図19は、TV電話装置の第10の実施例に係わるブロック図である。
【0155】
図17の場合には選択レートにおける動画像を表示したが、図19の場合には選択されたレートで使用した時の単位時間当りに必要な通信料金、蓄積系の場合には蓄積可能な時間等の詳細情報を選択レート詳細情報表示部1909で表示する。
【0156】
なお、画像や情報の表示方法としては、1画面上に1つのレートに関するもののみを表示しても良いし、複数のレートに関するものを同時に表示し、レート間の比較を容易にしても良い。
【0157】
(TV電話装置の第11の実施例)
図20にTV電話装置の第11の実施例のブロック図を示す。
【0158】
該ブロック図は、単体の装置として機能することも考えられるが、テレビ電話等のような双方向伝送装置の一部として機能することも考えられる。
【0159】
撮像手段2001は、伝送する画像よりも広い範囲をカバーしている。
【0160】
表示手段2002は、撮像手段2001によって撮像された画像を表示している。表示手段2002は、図21に示すように、表示領域2105に撮像された画像を表示している。表示領域2105の内側には伝送領域2106があり、伝送領域2106内の画像が伝送対象画像となる。伝送領域の縁は撮像者が分かるように線引きされている。
【0161】
画像切出し手段2003は、撮像手段2001によって撮像された画像のうち、伝送領域2106に対応する画像のみを切り出す。
【0162】
符号化手段2004は、画像切り出し手段2003によって切り出された画像を伝送するための符号化を行う。
【0163】
以上のように画像信号が処理されるため、該TV電話装置は伝送領域より広い領域を表示している。このため、撮像者は伝送領域の周囲の状況も確認できるため、カメラワークを容易に行うことができる。
【0164】
上記説明では、TV電話装置において説明したが、これに代えてビデオカメラで撮影した画像を無線で送る場合においても本実施例は効果的となる。
【0165】
なお、本発明に係るTV電話装置は以上で述べた実施例及び変形例に限定されるものではなく、その要旨を逸脱しない限りにおいて上記の実施例及び変形例を様々に組み合わせて実施することも含めて、様々に変形可能であることは言うまでもない。
【0166】
【発明の効果】
本発明の通信端末装置によれば、知的符号化を行う通信端末における通話開始前の話者特徴のロード時間を短縮することができ、かつ、標準話者特徴を用いることにより話者の匿名性をも向上できる。
【図面の簡単な説明】
【図1】TV電話装置の第1の実施例のブロック図である。
【図2】TV電話装置の基本動作を示すフローチャートである。
【図3】TV電話装置の第1の実施例の変更例1のブロック図である。
【図4】TV電話装置の第1の実施例の変更例2のブロック図である。
【図5】TV電話装置の第2の実施例のブロック図である。
【図6】TV電話装置の第2の実施例の変更例1のブロック図である。
【図7】TV電話装置の第2の実施例の変更例2のブロック図である。
【図8】TV電話装置の第2の実施例の変更例3のブロック図である。
【図9】TV電話装置の第3の実施例のブロック図である。
【図10】TV電話装置の第3の実施例の変更例1のブロック図である。
【図11】TV電話装置の第3の実施例の変更例2のブロック図である。
【図12】TV電話装置の第4の実施例のブロック図である。
【図13】TV電話装置の第4の実施例の具体例(腕時計形)の斜視図である。
【図14】TV電話装置の第5の実施例の斜視図である。
【図15】TV電話装置の第6の実施例の斜視図である。
【図16】TV電話装置の第7の実施例の斜視図である。
【図17】TV電話装置の第8の実施例のブロック図である。
【図18】TV電話装置の第9の実施例のブロック図である。
【図19】TV電話装置の第10の実施例のブロック図である。
【図20】TV電話装置の第11の実施例のブロック図である。
【図21】TV電話装置の第11の実施例における表示手段の表示状態を示す図面である。
【図22】TV電話装置の追加機能3における画面の構成例であって、TV電話装置における通話相手選択画面の図面である。
【図23】同じく相手話者アイコンの図面である。
【図24】同じくダイヤル画面呼出しアイコンの図面である。
【符号の説明】
101 信号入力部
102 記号化部
103 信号化部
104 信号出力部
105 操作入力部
106 話者情報管理部
107 話者DB部
108 通信部
Claims (1)
- 画像情報を入力するための入力手段と、
この入力手段から入力した画像情報を記号化する記号化手段と、
この記号化手段により記号化した画像情報のうち必要な記号化情報及び話者の識別コードを送信する送信手段と、
相手話者からの記号化情報及び識別コードを受信する受信手段と、
相手話者の画像的特徴と該相手話者の識別コードからなる相手話者情報を記憶する話者記憶手段と、
標準話者情報を記憶する標準話者情報記憶手段と、
前記受信手段により受信した識別コードが前記話者記憶手段に登録されているか否かを判断する判断手段と、
前記判断手段が受信した識別コードを未登録と判断した場合に、該相手話者情報を新たに受信した後に通話者の選択によって、該相手話者情報及び受信した記号化情報を用いて画像信号を復号化するオンラインブートモード、もしくは、前記標準話者記憶手段に記憶された標準話者情報を用いて画像信号を復号化するブートレスモードに基づいて復号化する第1の復号化手段と、
前記判断手段が受信した識別コードを登録済と判断した場合に、該識別コードに基づいて前記話者記憶手段から相手話者の画像的特徴を呼出し、この呼出した相手話者の画像的特徴と受信した記号化情報から画像信号を復号化するオフラインブートモードに基づいて復号化する第2の復号化手段と、
前記第1の復号化手段もしくは前記第2の復号化手段により復号化した画像信号を出力する出力手段とよりなる
ことを特徴とする通信端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14785494A JP3589702B2 (ja) | 1994-06-29 | 1994-06-29 | 通信端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14785494A JP3589702B2 (ja) | 1994-06-29 | 1994-06-29 | 通信端末装置 |
Related Child Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004160321A Division JP2004320796A (ja) | 2004-05-28 | 2004-05-28 | 通信端末装置 |
JP2004160279A Division JP2004350298A (ja) | 2004-05-28 | 2004-05-28 | 通信端末装置 |
JP2004160331A Division JP2004336805A (ja) | 2004-05-28 | 2004-05-28 | 通信端末装置 |
JP2004214952A Division JP2004350315A (ja) | 2004-07-22 | 2004-07-22 | 通信端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0818933A JPH0818933A (ja) | 1996-01-19 |
JP3589702B2 true JP3589702B2 (ja) | 2004-11-17 |
Family
ID=15439765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14785494A Expired - Fee Related JP3589702B2 (ja) | 1994-06-29 | 1994-06-29 | 通信端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3589702B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002185943A (ja) * | 2000-12-12 | 2002-06-28 | Nec Corp | 放送視聴方法、放送送信サーバ、携帯端末及び多地点通話・放送制御視聴装置 |
JP4289153B2 (ja) * | 2002-03-08 | 2009-07-01 | 三菱電機株式会社 | 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62274962A (ja) * | 1986-05-23 | 1987-11-28 | Nec Corp | 画像電話システム |
JPH0714208B2 (ja) * | 1989-07-04 | 1995-02-15 | 株式会社テレマティーク国際研究所 | 動画像伝送方式 |
JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
-
1994
- 1994-06-29 JP JP14785494A patent/JP3589702B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0818933A (ja) | 1996-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8169462B2 (en) | Mobile communication device capable of storing video chatting log and operating method thereof | |
JPH0983630A (ja) | 電話装置 | |
KR20070012059A (ko) | 휴대단말기의 화상통화모드에서 감정표시 방법 | |
JP2000196776A (ja) | テレビ電話機能付きディスプレイ装置、テレビ電話機能付きディスプレイ装置の制御方法及び記憶媒体 | |
KR100575924B1 (ko) | 카메라를 구비하는 장치의 영상 촬영 방법 | |
JPH07307813A (ja) | 放送メディア利用の利用者リクエスト受付方法及びそれに用いる通信端末 | |
EP1347646A2 (en) | Communication terminal for transmission of facial information | |
CN1893629B (zh) | 交互式通信设备和状态信令方法 | |
JP3589702B2 (ja) | 通信端末装置 | |
JP2002044285A (ja) | 移動体通信端末装置および携帯表示端末装置 | |
JP4296976B2 (ja) | 通信端末装置 | |
JP4858874B2 (ja) | 携帯端末装置および携帯端末処理プログラム | |
JP2004320796A (ja) | 通信端末装置 | |
JP2932027B2 (ja) | テレビ電話装置 | |
JP2004350315A (ja) | 通信端末装置 | |
JP2004350298A (ja) | 通信端末装置 | |
US8774867B2 (en) | Image display system, terminal device, image display method and program | |
JP2004336805A (ja) | 通信端末装置 | |
KR100584352B1 (ko) | 동영상 전화장치의 영상 송,수신 제어방법 | |
KR20000043101A (ko) | 문서 송/수신 및 표시 기능을 갖는 화상 전화 통신장치 | |
JP2777012B2 (ja) | 通信端末装置 | |
JP2910240B2 (ja) | ボタン電話装置 | |
JPH04302561A (ja) | マルチメディア通信システム | |
JPH06291880A (ja) | 携帯型テレビ電話 | |
JPH05328337A (ja) | 画像通信端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040818 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |