JP3642716B2 - テレビ電話装置及び通話方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、通信回線を通して音声データに加えて画像データの送受信を行なうテレビ電話システムの一方の端末装置となるテレビ電話装置に関し、特に、プライバシー保護を目的としてテレビ電話装置にて撮像した使用者の自画像等に対して画像処理を施してから送信する技術に関するものである。
【０００２】
【従来の技術】
近年、通信回線網の発達とデータ圧縮技術の進歩により、音声だけでなく画像までも同一の回線を通じて通信（送受信）することのできるテレビ電話システムが徐々に普及しつつある。従来の音声のみを送受信する電話システムとは異なり、テレビ電話システムでは、通信相手の顔をテレビ電話装置のモニター画面上で確認しながら会話することができるようになった。
【０００３】
以下、図を用いてテレビ電話システムおよび従来のテレビ電話装置について説明する。
【０００４】
図２２は、従来のテレビ電話装置を用いるテレビ電話システム全体を示したブロック図である。
【０００５】
図２２のテレビ電話システムでは、電話網等の通信回線網４０を挟んで両側にテレビ電話装置１及びテレビ電話装置２１が配置されている。すなわち、テレビ電話装置１とテレビ電話装置２１との間で通信回線網４０を介して音声及び画像の送受信が実施される。テレビ電話装置１の使用者が通話者２（Ａ氏）であり、テレビ電話装置２１の使用者が通話者２２（Ｂ氏）である。テレビ電話装置１のモニタ画面１２ａには、通話者２２（Ｂ氏）及びＢ氏の背景２３が映し出され、テレビ電話装置２１のモニタ画面１２ｂには、通話者２（Ａ氏）及びＡ氏の背景３が映し出されている。
【０００６】
テレビ電話装置１及びテレビ電話装置２１の内部には、通話者２、２２の指示内容をテレビ電話装置１及びテレビ電話装置２１に入力するための操作部１１と、相手通話者２、２２の顔（画像）及びその背景３、２３等を表示する表示部１２と、通話者２、２２の顔（自画像）及び背景３、２３等を撮像する撮像部１３と、通話者２、２２が音声を入出力するための送受話器１４と、操作部１１からの入力内容に従って、音声データの符号化／復号処理、画像データの符号化／復号処理、及び、テレビ電話装置１或いは２１全体の制御を実施するシステム制御部１５と、送受話器１４から入力する信号を符号化すると共に送受話器１４に送出する信号を復号する音声データ符号化／復号部１６と、撮像部１３から入力する信号を符号化すると共に表示部１２に送出する信号を復号する画像データ符号化／復号部１７と、音声データ符号化／復号部１６及び画像データ符号化／復号部１７から出力した信号を通信回線網４０で伝送するための信号に変換すると共に、通信回線網４０を伝送されてきた信号から画像データと音声データを抽出して各々のデータを音声データ符号化／復号部１６及び画像データ符号化／復号部１７に出力する伝送制御部１８と、伝送制御部１８の出力信号を通信回線網４０に出力するために信号レベル及び信号系式等の調整を行うと共に、通信回線網４０から受信した信号をテレビ電話装置１、２１内部にて処理できるように信号レベル及び信号系式等の調整を行う回線インターフェース部１９とを備えている。
【０００７】
次に、図２２中の送信画像の符号化に関して、さらに詳しく説明する。
図２３は、図２２のテレビ電話装置１中の送信画像を符号化する処理に関するブロックを抽出して示した図である。
【０００８】
操作部１１には、通話者２がテレビ電話装置１を回線に接続する処理及びテレビ電話装置１を回線から切離す処理を指示するための回線接続／切離しキー（オフフック／オンフックキー）１１ａが設けられている。
【０００９】
画像データ符号化部９０は、図２２の画像データ符号化／復号部１７中の画像データの送信に用いられる符号化部を示すブロックである。
その他のブロックについては、図２２に示したものと重複するため説明を省略する。
【００１０】
さらに、図２３中の画像データ符号化部９０に関して、さらに詳しく説明する。
図２４は、図２３中の画像データ符号化部９０の内部構成を示すブロック図である。
【００１１】
また、図２４の画像データ符号化部９０の内部構成は、例えば、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ ９２／ＮＯ２４５ Ｔｅｓｔ Ｍｏｄｅｌ ２に示された映像信号符号化方式を示している。
【００１２】
図２４の画像データ符号化部９０は、減算器５２と、ＤＣＴ（離散コサイン変換）回路５３と、量子化回路５４と、可変長符号化回路５５と、送信バッファ５６と、逆量子化回路６１と、ＩＤＣＴ（逆離散コサイン変換）回路６２と、加算器６３と、メモリ回路６４と、切り替え回路６５と、動き補償予測回路６６とから構成される。
【００１３】
撮像部１３から画像データ符号化部９０に入力した信号７１（デジタル映像信号）は、システム制御部１５からの指示により、ＤＣＴ減算器５２の第１の入力部（１）と、動き補償予測回路６６の第１の入力部（１）と、量子化回路５４の第２の入力部（２）に入力される。減算器５２の出力７２は、ＤＣＴ回路５３に入力され、ＤＣＴ回路５３の出力７３は量子化回路５４の第１の入力部（１）に入力される。量子化回路５４の出力７４は、可変長符号化回路５５に入力されると共に、逆量子化回路６１に入力される。可変長符号化回路５５の出力７５は、送信バッファ５６に入力される。送信バッファ５６の第１の出力部<１>からの出力は、伝送制御部１８へ出力され、送信バッファ５６の第２の出力部<２>からの出力７７は量子化回路５４の第３の入力（３）に入力される。
【００１４】
逆量子化回路６１の出力８１は、ＩＤＣＴ回路６２に入力され、ＩＤＣＴ回路６２の出力８２は、加算器６３の第１の入力部（１）に入力される。加算器６３の出力８３は、メモリ回路６４の第１の入力部（１）に入力され、メモリ回路６４の出力８４は、動き補償予測回路６６の第２の入力部（２）および切り替え回路６５の第１の入力部（１）に入力される。メモリ回路６４の第２の入力部（２）には、動き補償予測回路６６の第１の出力部<１>からの出力が入力される。
【００１５】
一方、切り替え回路６５の第２の入力部（２）には、ゼロ信号が与えられ、切り替え回路６５の第３の入力（３）には、動き補償予測回路６６の第２の出力部<２>からの出力８７が入力される。切り替え回路６５の出力８５は、減算器５２の第２の入力部（２）および加算器６３の第２の入力部（２）に入力される。
【００１６】
図２２〜図２４に示したテレビ電話システムおよびテレビ電話装置は、以下のように動作する。
【００１７】
例えば、テレビ電話装置１を用いて通話者２（Ａ氏）がテレビ電話装置２１のところにいる通話者２２（Ｂ氏）を呼び出す場合について説明する。
【００１８】
まず、図２３に示した操作部１１中の回線接続／切離しキー１１ａが通話者２により操作されると、システム制御部１５は、伝送制御部１８および回線インターフェース部１９等によりテレビ電話装置１と通信回線網４０とを接続する。
【００１９】
次に、通話者２が不図示のダイヤルキー等により通話者２２のダイヤル番号を指定することにより、テレビ電話装置１とテレビ電話装置２１との間の通信回線が接続される。
【００２０】
すると、テレビ電話装置１の表示部１２中のモニタ画面１２ａに相手の通話者２２の画像が通話者の背景２３と共に表示されると共に、テレビ電話装置２１の表示部１２中のモニタ画面１２ｂに通話者２の画像が通話者の背景３と共に表示される。このようにして、通話者２と通話者２２との相互の画像及び音声の送受信が可能になる。
【００２１】
また、例えば、テレビ電話装置２１のところにいる通話者２２（Ｂ氏）とテレビ電話装置１を用いて対話していた通話者２（Ａ氏）が通信を終了する場合について説明する。
【００２２】
図２３に示した操作部１１中の回線接続／切離しキー１１ａが、通話者２により操作されると、システム制御部１５は、伝送制御部１８および回線インターフェース部１９等によりテレビ電話装置１と通信回線網４０と間に締結されていた通信回線を遮断する。
【００２３】
すると、テレビ電話装置１の表示部１２のモニタ画面１２ａ中に通話者の背景２３と共に表示された相手の通話者２２の画像が消滅すると同時に、テレビ電話装置２１の表示部１２のモニタ画面１２ｂ中に通話者の背景３と共に表示された通話者２の画像が消滅する。このようにして、通話者２と通話者２２との通信が終了する。
【００２４】
また、上記した画像データ符号化部９０の動作については、上記したようにＩＳＯ−ＩＥＣ等の機関により標準化されているため簡単に述べるのみとする。撮像部１３から入力された入力信号７１、すなわち、テレビ電話装置１における撮像画像データに対する時間軸方向の冗長度を減少させるために、減算器５２において、動き補償予測回路６６を経由して出力した画像データとの画像間の差分を得る減算処理が実施される。減算器５２から出力する差分信号（出力７２）に対して、ＤＣＴ回路５３において空間軸方向にＤＣＴ（離散コサイン変換）が施される。離散コサイン変換されてＤＣＴ回路５３から出力された差分信号（係数：出力７３）は量子化回路５４において量子化され、量子化された信号（出力７４）は、可変長符号化回路５５において、可変長符号化された後に、送信バッファ５６を介して伝送制御部１８に出力される。
【００２５】
上記のように、撮像された画像データは、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化により情報圧縮されることにより情報量が少ない信号に符号化されて伝送される。また、受信側では、情報圧縮された信号を復号することにより元の情報量を得るようにしている。テレビ電話システムでは、このようにして従来は音声通信のみを伝送していた回線による画像通信を可能にしている。
【００２６】
【発明が解決しようとする課題】
以上のように、テレビ電話装置は、送信側で情報圧縮技術を用いて符号化した信号を送信し、受信側で受信信号を復号することにより、音声のみを電話回線を介して送受信していた電話装置に対して、画像も送受信できるようにした電話装置といえる。テレビ電話装置は、画像の送受信ができることから、遠距離にいる通話相手の顔を見ながら会話することができるという利点がある反面、テレビ電話装置であるが故に発生するプライバシー保護に関する問題がある。
【００２７】
例えば、送信側の使用者が呼び出しを行い、受信側の使用者が受話器を持上げた場合には、回線が接続されるとすぐに送信側と受信側の双方のテレビ電話装置のモニタ画面に相手の顔が映し出されることになる。しかし、通常、受信側では電話がかかってくることを予測して準備しているわけではないので、受信側の使用者の服装が乱れていたり、髪型が乱れていたり、或いは、受信側の使用者の周囲が整理されておらず雑然としている場合が発生する。受信側の使用者にとって、受信側の上記したような状況が送信側のモニタ画面に映し出されることは、プライバシーの保護という観点から好ましいことではない。
【００２８】
また、テレビ電話装置を利用して通話中に、例えば、通話を保留して別の人を呼び出したり、資料を探索する場合には、音声は保留されるが、保留した側の状況は相手のテレビ電話装置のモニタ画面に映し出されることになる。保留した側の使用者が同室や隣接室等にいる人を呼び出す動作や、資料を探索する動作は、相手のテレビ電話装置のモニタ画面を見る人にとって有意義な画面ではなく、保留した側の使用者にとっても他人に見せたくない背景や動作が写される画面である。従って、保留した側の使用者にとって、保留した側の上記したような状況が送信側のモニタ画面に映し出されることは、プライバシーの保護という観点から好ましいことではない。
【００２９】
上記の不都合を解消するために、例えば、回線接続直後や保留中には、画像データを送出しないようにすることが考えられるが、その場合には、テレビ電話装置のモニタ画面が非動作（電源オフ）時と同様の画面になることから、使用者に通信回線の接続が行われているか否かについて不安を与え、電話機の故障や回線トラブルの発生を疑わせることになる。
【００３０】
また、テレビ電話装置では、通話を終了して回線を切断する際に、一方の側の使用者が回線を切断する操作をすると、相手のモニタ画面に映し出された顔が突然に映し出されなくなる（消える）ことから、通信相手側のテレビ電話装置の使用者は軽いショックを受ける。さらに、通信相手のテレビ電話装置の使用者は、モニタ画面に顔が映し出されなくなったことが、一方の側の使用者の操作による正式な回線切断であるのか、電話機の故障や回線トラブルによるものなのかを区別できず、不安に感ずる場合がある。
【００３１】
また、音声のみの通信を行う通常の電話装置でも年配者等が気にするように、先に受話器を置くことにより相手に回線切断を認識させることが失礼であり、受話器を先に置く側が後味の悪さを感じる場合がある。テレビ電話装置では、相手の声だけでなく相手の顔も回線切断により突然に無くなってしまうことから、音声のみの電話よりもなお一層、先に受話器を置く（回線を先に切断する）作業が失礼にあたると解釈される場合がある。従って、テレビ電話装置の使用者の生活習慣や礼儀作法等の常識によっては、先に通信回線を切断する側の使用者が後味の悪さを非常に感じる場合がある。
【００３２】
本発明は上記した課題を解決するためになされたもので、一方のテレビ電話装置と相手のテレビ電話装置との回線が接続される際や、通話中にテレビ電話装置を保留する際であって、送信側の使用者のプライバシーを保護するために送信側の実画像（撮像画像）をそのまま送信しないようにする場合に、予め準備した画像あるいは実画像に対して画像処理を施した画像を送信することにより、相手のテレビ電話使用者に回線状態が接続中であることを認識させることができるテレビ電話装置を提供することを目的とする。
【００３３】
また、相手のテレビ電話装置との回線が切断される際には、モニタ画面に映し出された相手の顔が徐々に見えなくなるようにすることにより、テレビ電話使用者が安心して且つ後味の悪さを感じることなく通信を終了することができるテレビ電話装置を提供することを目的とする。
【００３４】
【課題を解決するための手段】
上述の目的を達成するため、本発明のテレビ電話装置は、
撮像を行う撮像部と、
予め準備される画像データを記憶する画像データ記憶部と、
前記撮像部から出力される第一の画像データと、前記画像データ記憶部から出力される第二の画像データとの合成処理を実施する画像データ処理部と、
前記画像データ処理部から出力される画像データを符号化する画像データ符号化部と
を備え、
前記合成処理は、前記第一の画像データと前記第二の画像データとの画面に占める割合を時間経過とともに変化させる処理であること
を特徴とする。
【００５３】
【発明の実施の形態】
以下、本発明を図示した実施形態に基づいて説明する。
実施の形態１．
図１は、本発明の実施の形態１のテレビ電話装置中の送信画像を符号化する処理に関するブロックを抽出して示した図である。
【００５４】
尚、図１において、図２３に示した従来のテレビ電話装置と同じ機能の部分については同じ符号を付し、重複する説明を省略する。また、本実施の形態１のテレビ電話装置１０１の全体的な構成としては、図２２に示した従来のテレビ電話装置１内部の各ブロック中の送信画像を符号化する処理に関するブロックを図１に示した各ブロックに置き替えたものである。
【００５５】
図１に示した実施の形態１が図２３に示した従来例と構成上異なる主な点は、図１のテレビ電話装置１０１中では、ＣＣＤカメラ等の撮像部１３と画像データ符号化部１９０との間に画像データの合成処理等を実施する画像データ処理部１７０が設けられ、画像データ処理部１７０において処理される画像データを記憶する画像データ記憶部１５０が設けられている点と、操作部１１１内に、テレビ電話装置１０１から実画像を送出させるか、或いは、画像データ処理部１７０により処理された画像を送出させるかを使用者に選択させるための実画像送出キー１１１ｂと、処理画像送出キー１１１ｃとが設けられている点である。
【００５６】
画像データ記憶部１５０は、画像データ処理部１７０にて実画像と合成されるために予め準備される画像を格納するメモリ素子等の画像データ記憶部である。本実施の形態１では、使用者の好みにより、例えば、撮像部１３により予め撮影しておいた使用者の自画像、草花等の自然物の画像、山や海等の風景の画像、任意のグラフィックパターン、任意の絵画・写真、全白画像、全グレー画像、全黒画像等を記憶させることができる。
【００５７】
画像データ処理部１７０は、画像データ記憶部１５０中に予め準備された画像データと、撮像部１３から入力する実画像データとを、システム制御部１１５の指示により様々に変化させながら合成処理した画像データを出力できるデータ処理部である。また、画像データ処理部１７０の出力は、撮像部１３により予め撮影しておいた使用者の自画像あるいはその自画像に画像処理を施した画像データを画像データ記憶部１５０に格納できるように、画像データ記憶部１５０にも入力されている。なお、画像データ処理部１７０の詳しい内部構成は、図３〜図５を用いて後述する。
【００５８】
操作部１１１内に設けられた画像送出キー１１１ｂは、例えば、処理画像を送出するように指定されている場合の着信時や保留継続時であって、使用者の服装や髪型等の身だしなみが整うと共に背景にも不都合が無くなった場合に、実画像を送出させる処理内容選択キーである。
【００５９】
処理画像送出キー１１１ｃは、画像送出キー１１１ｂと逆に、例えば、実画像を送出するように指定されている場合の着信時や保留開始時であって、使用者の服装や髪型等の身だしなみが整っておらず背景に不都合なものが映し出される場合に、処理画像を送出させる処理内容選択キーである。
【００６０】
システム制御部１１５には、操作部１１１からの入力内容と伝送制御部１８からの回線状態の入力に従って、テレビ電話装置１０１全体の制御と共に、画像データ記憶部１５０への記憶内容の書き込みと読み出しを制御し、画像データ処理部１７０における合成処理を制御し、画像データ符号化部１９０における画像データの符号化処理を制御する。なお、システム制御部１１５の詳しい内部構成は、図２を用いて後述する。
【００６１】
画像データ符号化部１９０は、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化等の処理を実施することにより、画像データを情報圧縮して情報量が少ない信号にする画像データ符号化部である。なお、画像データ符号化部１９０は、例えば、図２２の画像データ符号化／復号部１７中の画像データの送信に用いられる符号化部を示すブロックである。なお、画像データ符号化部１９０の詳しい内部構成は、図５を用いて後述する。
【００６２】
図２は、図１のシステム制御部の内部構成を示すブロック図である。
図２のシステム制御部１１５は、画像データ処理部１７０における画像合成処理を制御する画像合成制御回路１２０と、任意のグラフィック画像や風景画像等を格納する内蔵記憶回路１３０と、操作部１１１の回線接続／切離しキー１１ａの入力タイミングや伝送制御部１８からの回線接続／切離しタイミングからの時間経過或いは保留開始／保留終了操作からの時間経過を計測するタイマ回路１４０とを備えている。
【００６３】
画像合成制御回路１２０は、例えばモニタ全画面に表示されるグラフィック画像中に実画像を合成する割合を決定する合成割合データ１２１、例えばモニタ全画面のグラフィック画像中に実画像を合成する位置を決定する合成位置データ１２２、例えばモニタ全画面のグラフィック画像中に実画像を合成する領域を決定する合成領域データ１２３等の合成条件を格納している。
【００６４】
内蔵記憶回路１３０は、例えば幾何学模様のグラフィック画像である第１の画像データ１３１、例えば斜線状のグラフィック画像である第２の画像データ１３２、例えば千鳥格子のグラフィック画像である第３の画像データ１３３等を格納している。
【００６５】
図３は、図１の画像データ処理部の内部構成例を示すブロック図である。
図３の画像データ処理部１７０ａは、システム制御部１１５からの指示により例えばグラフィック画像と実画像との合成内容を設定する合成内容設定回路１７１と、合成内容設定回路１７１からの指示により撮像部１３からの実画像データと画像データ記憶部１５０からの例えばグラフィック画像データとを合成して出力する画像データ合成回路１７２と、撮像部１３からの実画像データと画像データ記憶部１５０からの例えばグラフィック画像データと画像データ合成回路１７２からの合成処理後の画像データとから、システム制御部１１５あるいは合成内容設定回路１７１からの指示により１つの画像データを選択して画像データ符号化部１９０へ出力する画像データ選択回路１７３とを有している。
【００６６】
また、画像データ処理部１７０ａの合成内容設定回路１７１中には、画像データ合成回路１７２中で例えばグラフィック画像データ中に合成する実画像データの位置と領域を設定する合成位置領域設定回路１８１が内蔵される。
【００６７】
図４は、図３中に示した画像データ合成回路１７２の内部構成を示すブロック図である。
図４の画像データ合成回路１７２は、合成内容設定回路１７１からの指示により撮像部１３からの入力信号に対する全画面中の位置と領域と割合の変更処理を実施して出力するフェーダ１８５と、合成内容設定回路１７１からの指示により画像データ記憶部１５０からの入力信号に対する全画面中の位置と領域と割合の変更処理を実施して出力するフェーダ１８６と、フェーダ１８５の出力とフェーダ１８６の出力とを加算して出力する加算器１８７とを有している。また、合成内容設定回路１７１からの指示により、フェーダ１８５の出力とフェーダ１８６の出力とを画素毎に合成するように各フェーダ１８５とフェーダ１８６とは制御される。
【００６８】
図５は、図１に示した画像データ符号化部１９０の内部構成を示すブロック図である。
図５の画像データ符号化部１９０は、図２４に示した画像データ符号化部９０と同様に、ＤＣＴ（離散コサイン変換）回路５３と、量子化回路５４と、可変長符号化回路５５と、送信バッファ５６とを有している。
【００６９】
画像データ処理部１７０から入力した信号は、システム制御部１１５からの指示により、ＤＣＴ回路５３に入力され、ＤＣＴ回路５３の出力は、量子化回路５４に入力される。同様にして、量子化回路５４の出力は、可変長符号化回路５５に入力され、可変長符号化回路５５の出力７５は、送信バッファ５６に入力され、送信バッファ５６の出力は、伝送制御部１８へ出力される。
【００７０】
上記のように、画像データ処理部１７０により合成された画像データは、画像データ符号化部１９０において、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化により情報圧縮されることにより情報量が少ない信号に符号化されて伝送される。なお、図５には示していないが、例えば、図５の回路に図２４に示したように減算器５２や動き補償予測回路６６からなる回路を追加して差分信号をＤＣＴ回路５３に入力させるようにすることにより、さらに情報圧縮した符号化が可能である。
【００７１】
次に、本実施の形態１のテレビ電話装置１０１の動作について、上記図１〜５を参照しつつ、図６〜１０を用いて説明する。
【００７２】
図６と図７は、実画像（撮像画像）とグラフィック画像とを合成する場合の本実施の形態１の回線接続時における動作の１例を示すものであり、図６は、実画像（撮像画像）とグラフィック画像との合成割合が時間毎に変化する様子を示す図であり、図７の（ａ）〜（ｆ）は、時間毎に合成割合が変化するモニタ画面（表示部）の実例を示す図である。
【００７３】
図６の横軸は回線接続時間（ｔ）であり、縦軸は、撮像画像の領域が合成画像の全画像領域中に占める割合（％）である。
図６において、発信側のテレビ電話装置１０１の使用者が、操作部１１１の回線接続／切離しキー１１ａを操作して通信相手との回線接続を試みた（オフフックした）時（ｔ＝Ｔｆ）には、図７（ａ）に示したように、テレビ電話装置１０１の表示部のモニタ画面は非表示状態となり、画面上に何も表示されなくなる。
【００７４】
図６において、テレビ電話装置１０１のシステム制御部１１５が伝送制御部１８から回線が接続された通知を受けた時（ｔ＝Ｔ０）には、図７（ｂ）に示したように、グラフィック画像の面積が１００％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００７５】
図６において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間の１／４にあたるＴ１になると、図７（ｃ）に示したように、グラフィック画像の面積が９３．７５％に対し、撮像画像の面積が６．２５％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。撮像画像の面積が６．２５％の画像は、モニタ画面の縦辺に対する比率が２５％で横辺に対する比率が２５％の画像が全画面の面積中に占める割合である。
【００７６】
図６において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間の１／２にあたるＴ２になると、図７（ｄ）に示したように、グラフィック画像の面積が７５％に対し、撮像画像の面積が２５％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。撮像画像の面積が２５％の画像は、モニタ画面の縦辺に対する比率が５０％で横辺に対する比率が５０％の画像が全画面の面積中に占める割合である。
【００７７】
図６において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間の３／４にあたるＴ３になると、図７（ｅ）に示したように、グラフィック画像の面積が４３．７５％に対し、撮像画像の面積が５６．２５％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。撮像画像の面積が５６．２５％の画像は、モニタ画面の縦辺に対する比率が７５％で横辺に対する比率が７５％の画像が全画面の面積中に占める割合である。
【００７８】
図６において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間にあたるＴ４になると、図７（ｆ）に示したように、グラフィック画像の面積が０％に対し、撮像画像の面積が１００％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００７９】
次に、上記図６および図７に示した例のテレビ電話装置１０１の使用者が回線を切断しようとする（オンフックする）場合の動作について説明する。
【００８０】
図８と図９は、実画像（撮像画像）とグラフィック画像とを合成する場合の本実施の形態１の回線切断時における動作の１例を示すものであり、図８は、実画像（撮像画像）とグラフィック画像との合成割合が時間毎に変化する様子を示す図であり、図９の（ａ）〜（ｆ）は、時間毎に合成割合が変化するモニタ画面（表示部）の実例を示す図である。
図８の横軸は回線接続時間（ｔ）であり、縦軸は、撮像画像の領域が合成画像の全画像領域中に占める割合（％）である。
【００８１】
図８において、発信側のテレビ電話装置１０１の使用者が、操作部１１１の回線接続／切離しキー１１ａを操作して通信相手との回線切断を試みた（オンフックした）時（ｔ＝Ｔ５）には、図９（ａ）に示したように、テレビ電話装置１０１の表示部のモニタ画面は、グラフィック画像の面積が０％に対し、撮像画像の面積が１００％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００８２】
図８において、回線接続時間の経過により回線接続時間ｔが、実画像からグラフィック画像への全切り替え時間の１／４にあたるＴ６になると、図９（ｂ）に示したように、グラフィック画像の面積が４３．７５％に対し、撮像画像の面積が５６．２５％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００８３】
図８において、回線接続時間の経過により回線接続時間ｔが、実画像からグラフィック画像への全切り替え時間の１／２にあたるＴ７になると、図９（ｃ）に示したように、グラフィック画像の面積が７５％に対し、撮像画像の面積が２５％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００８４】
図８において、回線接続時間の経過により回線接続時間ｔが、実画像からグラフィック画像への全切り替え時間の３／４にあたるＴ８になると、図９（ｄ）に示したように、グラフィック画像の面積が９３．７５％に対し、撮像画像の面積が６．２５％である画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００８５】
図８において、テレビ電話装置１０１のシステム制御部１１５が伝送制御部１８から回線が切断された通知を受けた時（ｔ＝Ｔ９）には、図９（ｅ）に示したように、グラフィック画像の面積が１００％の画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【００８６】
図８において、回線接続時間の経過により回線接続時間ｔが、オンフック状態（回線非接続状態）を継続中であるＴｎになると、図９（ｆ）に示したように、非表示状態となり、画面上に何も表示されなくなる。
【００８７】
ここで、合成処理において、表示部のモニタ画面にグラフィック画像を表示させた場合に、撮像画像の位置を決めて合成する方法について説明する。
【００８８】
図１０は、表示部のモニタ画面における合成領域の位置を示す図である。
図１０中の寸法Ｍは、例えば、図２２に示した表示部１２のモニタ画面１２ａの横寸法であり、寸法Ｎはモニタ画面１２ａの縦寸法である。モニタ画面１２ａの左上隅を座標（０，０）とし、モニタ画面１２ａの右下隅を座標（Ｍ，Ｎ）とする。すなわち、モニタ画面１２ａは、左上隅を座標（０，０）を基準点とする。
【００８９】
次に、モニタ画面１２ａ中に撮像画像を表示する合成領域の横寸法をｍとし、合成領域の縦寸法をｎとする。この合成領域の左上隅を座標（ａ，ｂ）とし、合成領域の右下隅を座標（ａ＋ｍ，ｂ＋ｎ）とする。すなわち、合成領域は、左上隅を座標（ａ，ｂ）を基準点とする。
【００９０】
また、図１０中のハッチング部分が、本実施の形態１のテレビ電話装置のモニタ画面１２ａ中にグラフィック画像を表示させた部分であり、相手通話者の顔を表示した部分がモニタ画面１２ａ中に撮像画像を表示させた部分である。
【００９１】
ここで、モニタ画面全体の領域を上記座標位置を用いて（０、０）−（Ｍ、Ｎ）と表現するものとすると、合成領域、すなわち、撮像画像の領域は（ａ、b）−（ｍ＋ａ、ｎ＋b）と表現することができる。
【００９２】
これから、図１０のグラフィック画像と撮像画像が合成された合成画像は、モニタ画面の全体領域（０、０）−（Ｍ、Ｎ）の全域に表示されたグラフィック画像中から、合成領域（ａ、b）−（ｍ＋ａ、ｎ＋b）中のグラフィック画像を消去し、替わりにその合成領域（ａ、b）−（ｍ＋ａ、ｎ＋b）に撮像画像を表示させたものといえる。
【００９３】
図１１は、回線接続時あるいは回線切断時における、本実施の形態１の画像データ処理部１７０ａの合成内容設定回路１７１の設定処理を示すフローチャートである。
【００９４】
テレビ電話装置１０１の伝送制御部１８からシステム制御部１１５が回線の接続或いは切断の通知を受信すると、システム制御部１１５は、操作部１１１の実画像送出キー１１１ｂや処理画像送出キー１１１ｃにより設定された内容に従って、合成画像を相手に送出するか否かを判断する（ステップＳ１）。
【００９５】
合成画像を送出する場合（ステップＳ１：Ｙｅｓ）には、システム制御部１１５は、操作部１１１の設定内容に従って、合成内容設定回路１７１内の合成位置領域設定回路１８１に対して指示を出力し、合成位置領域設定回路１８１は、例えば、グラフィック画像中に撮像画像の領域と位置を設定すると共に、回線接続時間の経過によってその領域をどのように変化させるかを設定する（ステップＳ２）。
【００９６】
一方、合成画像を送出しない場合（ステップＳ１：Ｎｏ）には、システム制御部１１５は、操作部１１１の設定内容に従って、グラフィック画像を送出するか否かを判断する（ステップＳ３）。グラフィック画像を送出する場合（ステップＳ３：Ｙｅｓ）には、システム制御部１１５は、画像データ処理部１７０ａ内の画像データ選択回路１７３に対してグラフィック画像データを選択するように指示を出力し、画像データ選択回路１７３では、画像データ記憶部１５０から読み出されたグラフィック画像のデータを選択して出力する（ステップＳ４）。
【００９７】
グラフィック画像を送出しない場合（ステップＳ３：Ｎｏ）には、システム制御部１１５は、画像データ処理部１７０ａ内の画像データ選択回路１７３に対して撮像画像データを選択するように指示を出力し、画像データ選択回路１７３では、撮像部１３から受信した撮像画像のデータを選択して出力する（ステップＳ５）。ステップＳ２、ステップＳ４あるいはステップＳ５の設定が終了した場合は、本設定処理を終了させる。
【００９８】
なお、座標位置により合成領域の位置と面積の設定を行なって画像を合成する方法は上記に限るものではなく、例えば、基準点をモニタ画面の中央に設定して、角度と絶対値により合成領域の位置と面積を設定しても良い。また、合成画像についても、グラフィック画像中に撮像画像の合成領域を設定するものに限らず、例えば、逆に撮像画像中にグラフィック画像の合成領域を設定しても良い。さらに、本実施の形態１では、グラフィック画像中に撮像画像の合成領域を設けているが、予め撮影しておいた使用者の画像と現在撮影している画像とを合成するようにしても良い。また、グラフィック画像に替えて任意の絵画や写真あるいはイラスト等を用いるようにしても良い。
【００９９】
上記のように本実施の形態１では、通信回線の接続時には、回線接続時間に応じて、表示部のモニタ画面の全領域中における合成領域の表示割合（表示面積）を徐々に増加させる（漸増させる）ことにより、例えば、電話装置がかかってきた際に受話器をとることにより、相手に伝えたくないこちら側の状況が撮像画像として相手側に伝送されてしまうことがなくなる。具体的には、相手に隠しておきたいこちら側の服装の乱れや髪型の乱れあるいは整理されていない室内の様子を回線が接続された直後には見せないでおき、時間が経過するに従って徐々にこちら側の様子を表示する画像領域を拡大させて見せるようにできる。すなわち、相手に隠しておきたいこちらの状況が相手に筒抜けになってしまうことがないので、プライバシーを保護することができる。
【０１００】
一方、回線が接続された直後には、通信相手のモニタ全画面に表示されるように撮像画像は送らないもののグラフィック画像等を送出しており、画像を全く送らないわけではないので、通信相手に対して、回線は正常に接続されており、また、正常に画像が送られてきていることを認識させることができる。すなわち、通信相手に回線トラブルやテレビ電話装置の故障の不安を感じさせないようにすることができる。
【０１０１】
なお、本実施の形態１では、通信回線の接続時に、システム制御部１１５の設定により、こちら側の身支度や室内の整理ができるまでは、モニタ全画面をグラフィック画像のままにしておき、支度ができてから操作部１１１の実画像送出キー１１１ｂを使用者が操作した後に実画像（撮像画像）を送出するようにできる。すなわち、画像送出側の使用者が積極的に相手に自画像を見せたくなってから、自画像を送出させるようにできる。
【０１０２】
また、グラフィック画像としては、上記したように、無機質な幾何学模様のグラフィック画像の他に、使用者自身が以前撮像した自画像（ポートレート）や任意の風景画あるいは写真やイラスト等を用いることができるので、画像表示を待たせている相手に与える不快感を軽減させることができる。
【０１０３】
また、実画像を送出しながら相手と通信している最中に保留する場合には、操作部１１１の処理画像送出キー１１１ｃを操作することにより、例えば、保留中の人や資料を探す場合のバタバタした様子を相手に見せることが無くなる。そして、資料や人が見つかって通信を再開する際には、操作部１１１の処理画像送出キー１１１ｂを操作することにより、再び、実画像を送出しながら相手と通信することができる。
【０１０４】
また、本実施の形態１では、通信（実画像を送出しながらの相手との通信）を終了する際に、使用者が回線を切断するために、操作部１１１の回線接続／切離しキーを操作してからの時間に応じて、表示部のモニタ画面の全領域中における合成領域（実画像）の表示割合（表示面積）を徐々に減少させる（漸減させる）ことにより、回線切断時にモニタ画面の通信相手の顔が突然見えなくなることから。通信相手側のテレビ電話装置の使用者が受けるショックを軽減させることができる。また、実画像の表示割合を徐々に減少させてから回線を切断するため、通信相手に、電話機の故障や回線トラブル等でなく正式な回線切断であることを認識させることができ、通信相手に不要な不安を与えることが無くなる。さらに、その際の回線切断の操作を実施した側の使用者がテレビ電話装置の前から退席する動作等は相手に送信したくない画像であるので、その際の送出画像については表示面積を少なくしたり、不明瞭に表示させることにより、通信相手に見せないようにすることができる。
【０１０５】
また、本実施の形態１では、上記したように、表示部のモニタ画面の全領域中における合成領域の表示割合を徐々に減少させることから、先に通信回線を切断する側の使用者が感じる後味の悪さを軽減させることができる。
【０１０６】
実施の形態２．
図１２は、本実施の形態２のテレビ電話装置中の画像データ処理部の構成を示すブロック図である。なお、本実施の形態２のテレビ電話装置の画像データ処理部以外の構成は、実施の形態１と同様である。従って、以下の実施の形態２の説明は、図１２と共に、図１、図２、図４、図５及び図２２を参照しつつ行う。
【０１０７】
図１２の画像データ処理部１７０ｂは、図３の画像データ処理部１７０ａと合成内容設定回路１７１の内部が異なるのみで、他の構成は画像データ処理部１７０ａと同様である。具体的には、画像データ処理部１７０ｂは、画像データ処理部１７０ａの合成内容設定回路１７１内の合成位置領域設定回路１８１を、合成割合設定回路１８２に置き替えたものであると言える。
【０１０８】
実施の形態１の合成位置領域設定回路１８１では、例えば、表示部１２のモニタ画面１２ａにグラフィック画像を表示させ、そのグラフィック画像中に合成領域を設定し、その合成領域中に撮像画像（実画像）を表示させるようにしていたが、合成割合設定回路１８２では、グラフィック画像の信号と撮像画像の信号とをモニタ画面の画素（ドット）単位毎に合成することにより、モニタ画面１２ａに表示される画像中のグラフィック画像と撮像画像との合成割合を設定する。
【０１０９】
また、本実施の形態２では、合成割合設定回路１８２による合成割合を時間の経過により変更する。例えば、各ドットの表示信号についてグラフィック画像の表示信号が１００％のモニタ画面から、回線接続時間の経過に従って、次は、グラフィック画像が９９％に対して撮像画像が１％の割合の表示信号の合成画面とし、その次に、グラフィック画像が９８％に対して撮像画像が２％の割合の表示信号の合成画面とする。上記の手順を撮像画像の表示信号が１００％のモニタ画面になるまで実施する。
【０１１０】
例えば、撮像画像のドットが合成画像のドット中に占める割合を「Ｒ」（０≦Ｒ≦１）とすると、グラフィック画像のドットの割合は「１−Ｒ」と表わすことができる。モニタ全画面中の任意の位置におけるドットの信号レベルをＣとし、その位置のドットに対応する撮像画像のドット、及び、グラフィック画像のドットの信号レベルを、Ａ、及び、Ｂとすると、モニタ画面の任意位置のドットの信号レベルＣは、Ｃ＝Ａ×Ｒ＋Ｂ×（１−Ｒ）の式により表わされる。
【０１１１】
本実施の形態２の合成割合設定回路１８２により合成割合を変化させる場合のテレビ電話装置の動作について、図１３〜図１６を用いて説明する。
なお、本実施の形態２のテレビ電話装置の全体的な動作フローチャートとしては、図１１に示した実施の形態１のステップＳ２の処理について、ドットの割合を設定する処理に変更するのみであるので、記載を省略し、以下に実施の形態１と異なる動作を実例を用いて説明する。
【０１１２】
図１３と図１４は、実画像（撮像画像）とグラフィック画像とを合成する場合の本実施の形態２の回線接続時における動作の１例を示すものであり、図１３は、実画像（撮像画像）とグラフィック画像とのドット毎の合成割合が時間毎に変化する様子を示す図であり、図１４の（ａ）〜（ｆ）は、時間毎に合成割合が変化するモニタ画面（表示部）の実例を示す図である。
図１３の横軸は回線接続時間（ｔ）であり、縦軸は、撮像画像のドットが合成画像のドット中に占める割合（％）である。
【０１１３】
図１３において、発信側のテレビ電話装置１０１の使用者が、操作部１１１の回線接続／切離しキー１１ａを操作して通信相手との回線接続を試みた（オフフックした）時（ｔ＝Ｔｆ）には、図１４（ａ）に示したように、テレビ電話装置１０１の表示部のモニタ画面は非表示状態となり、画面上に何も表示されなくなる。
【０１１４】
図１３において、テレビ電話装置１０１のシステム制御部１１５が伝送制御部１８から回線が接続された通知を受けた時（ｔ＝Ｔ１０）には、図１４（ｂ）に示したように、グラフィック画像の面積が１００％の画像、すなわち、撮像画像のドットが全く合成されないで、グラフィック画像がそのままテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１１５】
図１３において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間の１／４にあたるＴ１１になると、図１４（ｃ）に示したように、グラフィック画像のドットが７５％に対し、撮像画像のドットが２５％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１１６】
図１３において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間の１／２にあたるＴ１２になると、図１４（ｄ）に示したように、グラフィック画像のドットが５０％に対し、撮像画像のドットが５０％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１１７】
図１３において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間の３／４にあたるＴ１３になると、図１４（ｅ）に示したように、グラフィック画像のドットが２５％に対し、撮像画像のドットが７５％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１１８】
図１３において、回線接続時間の経過により回線接続時間ｔが、グラフィック画像から実画像への全切り替え時間にあたるＴ１４になると、図１４（ｆ）に示したように、グラフィック画像のドットが０％に対し、撮像画像のドットが１００％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１１９】
次に、上記図１３および図１４に示した例のテレビ電話装置１０１の使用者が回線を切断しようとする（オンフックする）場合の動作について説明する。
図１５と図１６は、実画像（撮像画像）とグラフィック画像とをドット毎に合成する場合の本実施の形態２の回線切断時における動作の１例を示すものであり、図１５は、実画像（撮像画像）とグラフィック画像とのドット毎の合成割合が時間毎に変化する様子を示す図であり、図１６の（ａ）〜（ｆ）は、時間毎にドット毎の合成割合が変化するモニタ画面（表示部）の実例を示す図である。
図１５の横軸は回線接続時間（ｔ）であり、縦軸は、撮像画像のドットが合成画像のドット中に占める割合（％）である。
【０１２０】
図１５において、発信側のテレビ電話装置１０１の使用者が、操作部１１１の回線接続／切離しキー１１ａを操作して通信相手との回線切断を試みた（オンフックした）時（ｔ＝Ｔ１５）には、図１６（ａ）に示したように、テレビ電話装置１０１の表示部のモニタ画面は、グラフィック画像のドットが０％に対し、撮像画像のドットが１００％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１２１】
図１５において、回線接続時間の経過により回線接続時間ｔが、実画像からグラフィック画像への全切り替え時間の１／４にあたるＴ１６になると、図１６（ｂ）に示したように、グラフィック画像のドットが２５％に対し、撮像画像のドットが７５％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１２２】
図１５において、回線接続時間の経過により回線接続時間ｔが、実画像からグラフィック画像への全切り替え時間の１／２にあたるＴ１７になると、図１６（ｃ）に示したように、グラフィック画像のドットが５０％に対し、撮像画像のドットが５０％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１２３】
図１５において、回線接続時間の経過により回線接続時間ｔが、実画像からグラフィック画像への全切り替え時間の３／４にあたるＴ１８になると、図１６（ｄ）に示したように、グラフィック画像のドットが７５％に対し、撮像画像のドットが２５％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１２４】
図１５において、テレビ電話装置１０１のシステム制御部１１５が伝送制御部１８から回線が切断された通知を受けた時（ｔ＝Ｔ１９）には、図１６（ｅ）に示したように、撮像画像のドットが０％に対して、グラフィック画像のドットが１００％でドット毎に合成された画像がテレビ電話装置１０１の表示部のモニタ画面に表示される。
【０１２５】
図１５において、回線接続時間の経過により回線接続時間ｔが、オンフック状態（回線非接続状態）を継続中であるＴｎになると、図１６（ｆ）に示したように、非表示状態となり、画面上に何も表示されなくなる。
【０１２６】
上記のように本実施の形態２では、通信回線の接続時には、回線接続時間に応じて、表示部のモニタ画面全領域にわたって、グラフィック画像のドットに対する撮像画像のドットの表示割合を徐々に増加させる（漸増させる）ことにより、グラフィック画像と重なる撮像画像が徐々に鮮明に映し出されるようにするため、実施の形態１と同様に、例えば、電話装置がかかってきた際に受話器をとることにより、相手に伝えたくないこちら側の状況が撮像画像として相手側に伝送されてしまうことがなくなる。従って、実施の形態１と同様に、相手に隠しておきたいこちらの状況が相手に筒抜けになってしまうことがないので、プライバシーを保護することができ、通信相手に回線トラブルやテレビ電話装置の故障の不安を感じさせないようにすることができる。
【０１２７】
なお、本実施の形態２では、例えば、グラフィック画像として全黒画像を用いることにより、回線接続時に撮像画像をフェードインさせたり、回線切断時にフェードアウトさせることができ、グラフィック画像１００％のモニタ画面と電源が切れて非表示状態になったモニタ画面との差を減少させ、通信相手が回線切断時に感じるショックを低減させることができる。
【０１２８】
また、実画像を送出しながら相手と通信している最中に保留する場合には、操作部１１１の処理画像送出キー１１１ｃを操作することにより、例えば、保留中の人や資料を探す場合のバタバタした様子を不鮮明にして相手にそのまま見せなくできる。そして、資料や人が見つかって通信を再開する際には、操作部１１１の処理画像送出キー１１１ｂを操作することにより、再び、鮮明な実画像を送出しながら相手と通信することができる。
【０１２９】
また、本実施の形態２では、通信（実画像を送出しながらの相手との通信）を終了する際に、操作部１１１の回線接続／切離しキーを操作してからの時間に応じて、表示部のモニタ画面全領域にわたって、グラフィック画像のドットに対する実画像のドットの表示割合を徐々に減少させる（漸減させる）ことにより、グラフィック画像と重なる撮像画像が徐々に薄く不鮮明になって消えていくようにしている。そのため、実施の形態１と同様に、回線切断時にモニタ画面の通信相手の顔が突然見えなくなることから通信相手側のテレビ電話装置の使用者が受けるショックを軽減させることができ、実画像のドットの表示割合を徐々に減少させてから回線を切断するため、通信相手に、電話機の故障や回線トラブル等でなく正式な回線切断であることを認識させることができ、通信相手に不要な不安を与えることが無くなる。
【０１３０】
また、本実施の形態２では、上記したように、表示部のモニタ画面の全領域中における実画像のドットの表示割合を徐々に減少させることから、先に通信回線を切断する側の使用者が感じる後味の悪さを軽減させることができる。
本実施の形態２の他の効果は、実施の形態１に記載した効果と同様であるので記載を省略する。
【０１３１】
なお、合成割合設定回路１８２によりグラフィック画像のドットと撮像画像のドットの合成割合の設定を行う方法は、上記した直線的に合成割合を変化させる方法に限られるものではなく、例えば、２次関数等の曲線に従って合成割合を変化させたり、複数のグラフィック画面と撮像画像のドットを合成するようにしても良い。
【０１３２】
実施の形態３．
図１７は、本実施の形態３のテレビ電話装置中の画像データ処理部の構成を示すブロック図である。なお、本実施の形態３のテレビ電話装置の画像データ処理部以外の構成は、実施の形態１及び実施の形態２と同様である。従って、以下の実施の形態３の説明は、図１７と共に、図１〜図５、図１２及び図２２を参照しつつ行う。
【０１３３】
図１７の画像データ処理部１７０ｃは、図３の画像データ処理部１７０ａあるいは図１２の画像データ処理部１７０ｂと合成内容設定回路１７１の内部が異なるのみで、他の構成は画像データ処理部１７０ａあるいは１７０ｂと同様である。具体的には、画像データ処理部１７０ｃは、画像データ処理部１７０ａの合成内容設定回路１７１内の合成位置領域設定回路１８１と、画像データ処理部１７０ｂの合成内容設定回路１７１内の合成割合設定回路１８２との双方を、合成内容設定回路１７１内に設置したものであると言える。
【０１３４】
合成位置領域設定回路１８１による動作は、上記実施の形態１に説明したとおりであり、合成割合設定回路１８２による動作は、上記実施の形態２に説明したとおりである。
【０１３５】
本実施の形態３では、例えば、実施の形態１で説明した撮像画像（実画像）の領域に表示される画像に対して、さらに、実施の形態２で説明したドット毎の合成割合の変化を組み合わせることができる。具体的には、例えば、表示部１２のモニタ画面１２ａにグラフィック画像を表示させ、そのグラフィック画像中に合成領域を設定し、その合成領域中に撮像画像（実画像）を表示させ、その合成領域の撮像画像に対して、さらに、合成割合設定回路１８２で設定された合成割合で、グラフィック画像の画素（ドット）単位毎に合成した合成画像を作成する。
【０１３６】
図１８は、回線接続時あるいは回線切断時における、本実施の形態３の画像データ処理部１７０ｃの合成内容設定回路１７１の設定処理を示すフローチャートである。
【０１３７】
テレビ電話装置１０１の伝送制御部１８からシステム制御部１１５が回線の接続或いは切断の通知を受信すると、システム制御部１１５は、操作部１１１の実画像送出キー１１１ｂや処理画像送出キー１１１ｃにより設定された内容に従って、合成画像を相手に送出するか否かを判断する（ステップＳ１１）。
【０１３８】
合成画像を送出する場合（ステップＳ１１：Ｙｅｓ）には、システム制御部１１５は、実施の形態１に示したように、操作部１１１の設定内容に従って、グラフィック画像の領域中に撮像画像の領域を設けるか、或いは、逆に撮像画像の領域中にグラフィック画像の領域を設けるかのように合成処理に位置・領域を使用するか否かを判断する（ステップＳ１２）。合成処理に位置・領域を使用する場合（ステップＳ１２：Ｙｅｓ）には、システム制御部１１５は、合成内容設定回路１７１内の合成位置領域設定回路１８１に対して指示を出力し、合成位置領域設定回路１８１は、例えば、グラフィック画像中に撮像画像の領域と位置を設定すると共に、回線接続時間の経過によってその領域をどのように変化させるかを設定する（ステップＳ１３）。
【０１３９】
合成処理に位置・領域を使用しない場合（ステップＳ１２：Ｎｏ）には、システム制御部１１５は、実施の形態２に示したように、操作部１１１の設定内容に従って、モニタ画面のドット毎にグラフィック画像のドットと撮像画像のドットとの割合を決めて合成するドット割合を使用するか否かを判断する（ステップＳ１４）。合成処理にドット割合を使用する場合（ステップＳ１４：Ｙｅｓ）には、システム制御部１１５は、合成内容設定回路１７１内の合成割合設定回路１８２に対して指示を出力し、合成割合設定回路１８２は、例えば、モニタ画面のうち、合成画像領域に対して、グラフィック画像のドットと撮像画像のドットの合成割合を設定すると共に、回線接続時間の経過によってその割合をどのように変化させるかを設定する（ステップＳ１５）。
【０１４０】
一方、合成画像を送出しない場合（ステップＳ１１：Ｎｏ）には、システム制御部１１５は、操作部１１１の設定内容に従って、グラフィック画像を送出するか否かを判断する（ステップＳ１６）。グラフィック画像を送出する場合（ステップＳ１６：Ｙｅｓ）には、システム制御部１１５は、画像データ処理部１７０ｃ内の画像データ選択回路１７３に対してグラフィック画像データを選択するように指示を出力し、画像データ選択回路１７３では、画像データ記憶部１５０から読み出されたグラフィック画像のデータを選択して出力する（ステップＳ１７）。
【０１４１】
グラフィック画像を送出しない場合（ステップＳ１６：Ｎｏ）には、システム制御部１１５は、画像データ処理部１７０ｃ内の画像データ選択回路１７３に対して撮像画像データを選択するように指示を出力し、画像データ選択回路１７３では、撮像部１３から受信した撮像画像のデータを選択して出力する（ステップＳ１８）。
【０１４２】
合成処理にドット割合を使用しない場合（ステップＳ１４：Ｎｏ）には、システム制御部１１５は、本設定処理を終了させる。また、ステップＳ１７あるいはステップＳ１８の設定が終了した場合も本設定処理を終了させる。
【０１４３】
上記のように本実施の形態３では、通信回線の接続時、通信中に保留する場合において、実施の形態１および実施の形態２に記載した双方の処理を組み合わせて実施できることから、上記の実施の形態１および２よりもさらに効果的に、プライバシーを保護することができ、通信相手に回線トラブルやテレビ電話装置の故障の不安を感じさせないようにすることができる。
【０１４４】
また、本実施の形態３では、通信終了時にも、上記の実施の形態１および２よりも効果的に、通信相手側のテレビ電話装置の使用者が受けるショックを軽減させることができ、通信相手に不要な不安を与えることが無くなり、先に通信回線を切断する側の使用者が感じる後味の悪さを軽減させることができる。
本実施の形態３の他の効果は、実施の形態１および２に記載した効果と同様であるので記載を省略する。
【０１４５】
実施の形態４．
図１９は、本実施の形態４のテレビ電話装置１０２中の送信画像の符号化に関するブロックの構成を示すブロック図である。なお、本実施の形態４のテレビ電話装置の図１９に示したブロック以外の構成は、上記した実施の形態１〜３と同様である。従って、以下の実施の形態４の説明は、図１９と共に、図２、図４及び図２２を参照しつつ行う。
【０１４６】
図１９の送信画像の符号化に関するブロックが、図１に示した実施の形態１における送信画像の符号化に関するブロックと異なる主な点は、図１の画像データ記憶部１５０および画像データ処理部１７０が図１９では削除されており、システム制御部２００と画像データ符号化部２２０との間に、量子化係数制御部２１０が設けられている点である。また、撮像部１３および操作部１１１については、実施の形態１と同様であるので重複する説明を省略する。
【０１４７】
本実施の形態４のシステム制御部２００は、上記した実施の形態１〜３と異なり、画像データ符号化部２２０における量子化係数を変更させるための信号を、量子化係数制御部２１０に対して出力する。また、量子化係数制御部２１０は、画像データ符号化部２２０における符号化の一部である量子化を制御するために量子化係数の制御信号を出力する。
【０１４８】
図２０は、本実施の形態４のテレビ電話装置１０２中の画像データ符号化部２２０の内部構成を示すブロック図である。
図２０の画像データ符号化部２２０が、図５に示した実施の形態１の画像データ符号化部１９０と異なる点は、画像データ符号化部２２０のＤＣＴ回路５３には撮像部１３から直接に撮像画像データが入力する点と、図２０の量子化回路２３０には、量子化係数制御部２１０から量子化を制御する信号が入力する点である。なお、本実施の形態４のテレビ電話装置１０２における、図１９及び図２０に示したブロック以外の構成は上記した実施の形態１と同様であるので、重複する説明を省略する。
【０１４９】
ここで、量子化係数制御部２１０を設けて量子化回路２３０における量子化係数を制御する理由について説明する。
【０１５０】
量子化回路２３０における量子化係数を変更すると、相手に送信する画像に対してモザイク処理を施すことができる。具体的には、例えば、量子化回路２３０において、入力画像のＤＣＴ変換出力を量子化するための量子化係数を大きく設定すると、出力画像にはモザイク処理が施される。
【０１５１】
量子化係数と出力画像に対するモザイク処理のブロック（桝目あるいは目）の大きさの程度（モザイク効果）は、例えば、量子化係数が大きいほど、復号画像の目の大きさが大きくなって粗くなるためモザイク効果が大きく、量子化係数が小さいほど、復号画像が現画像に近くモザイク効果が小さい。すなわち、量子化係数と出力画像に対するモザイク効果は比例するので、例えば、量子化係数の設定を回線接続時には大きくしておき、回線接続後の時間経過に従って、徐々に小さくなるように制御することにより、実施の形態２に示した画像の明瞭さを低減させる画像処理と同様な効果を有するモザイク処理を、回線接続時のテレビ電話装置から送出する画像に与えることができる。
【０１５２】
また、回線切断時の送出画像に対しては、量子化係数を徐々に大きくしていくことにより、実施の形態２に示した画像処理と同様な効果を有するモザイク処理を画面に与えることができる。
【０１５３】
以下、本実施の形態４の動作について、図１９、図２０および図２２を参照して説明する。
【０１５４】
図２１は、回線接続時あるいは回線切断時における、本実施の形態４の量子化係数制御部２１０の設定処理を示すフローチャートである。
テレビ電話装置１０１の伝送制御部１８からシステム制御部１１５が回線の接続或いは切断の通知を受信すると、システム制御部１１５は、操作部１１１の実画像送出キー１１１ｂや処理画像送出キー１１１ｃにより設定された内容に従って、モザイク画像を相手に送出するか否かを判断する（ステップＳ２１）。
【０１５５】
モザイク画像を送出する場合（ステップＳ２１：Ｙｅｓ）には、システム制御部１１５は、操作部１１１の設定内容に従って、量子化係数制御部２１０に対して指示を出力し、量子化係数制御部２１０は、例えば、撮像画像をモザイク処理する場合の程度を変更させる量子化係数を設定すると共に、回線接続時間の経過によってその量子化係数をどのように変化させるかを設定する（ステップＳ２２）。
一方、モザイク画像を送出しない場合（ステップＳ２１：Ｎｏ）には、本設定処理を終了させる。
【０１５６】
上記のように本実施の形態４は、通信回線の接続時には、回線接続時間に応じて、量子化回路２３０の量子化係数を徐々に減少させる（漸減させる）ことにより、モザイク処理の目の大きさが徐々に細かくなって鮮明に映し出されるなるため、実施の形態２の効果と同様な効果を有し、例えば、電話装置がかかってきた際に受話器をとることにより、相手に伝えたくないこちら側の状況が撮像画像として相手側に伝送されてしまうことがなくなり、相手に隠しておきたいこちらの状況が相手に筒抜けになってしまうことがないので、プライバシーを保護することができ、通信相手に回線トラブルやテレビ電話装置の故障の不安を感じさせないようにすることができる。
【０１５７】
また、本実施の形態４は、実画像を送出しながら相手と通信している最中に保留する場合には、操作部１１１の処理画像送出キー１１１ｃを操作することにより、実施の形態２と同様に、例えば、保留中の人や資料を探す場合のバタバタした様子を不鮮明にして相手にそのまま見せなくできる。そして、資料や人が見つかって通信を再開する際には、操作部１１１の処理画像送出キー１１１ｂを操作することにより、再び、鮮明な実画像を送出しながら相手と通信することができる。すなわち、画像送出側の使用者が積極的に相手に自画像を見せたくなってから、明瞭な自画像を送出させるようにできる。
【０１５８】
また、本実施の形態４は、通信（実画像を送出しながらの相手との通信）を終了する際に、操作部１１１の回線接続／切離しキーを操作してからの時間に応じて、表示部のモニタ画面の撮像画像のモザイク処理の目の大きさを徐々に増大させる（漸増させる）ことにより、実画像が徐々に不鮮明になっていくように処理するため、回線切断時にモニタ画面の通信相手の顔が突然見えなくなることから通信相手側のテレビ電話装置の使用者が受けるショックを軽減させることができ、通信相手に、電話機の故障や回線トラブル等でなく正式な回線切断であることを認識させることができ、通信相手に不要な不安を与えることが無くなる。さらに、その際の回線切断の操作を実施した側の使用者がテレビ電話装置の前から退席する動作等は相手に送信したくない画像であるので、その際の送出画像については表示面積を少なくしたり、不明瞭に表示させることにより、通信相手に見せないようにすることができる。
【０１５９】
また、本実施の形態４では、上記したように、表示部のモニタ画面の実画像のモザイク処理の目の大きさを徐々に増大させることから、先に通信回線を切断する側の使用者が感じる後味の悪さを軽減させることができる。
【０１６０】
なお、撮像画像に対して量子化係数を設定することによりモザイク処理の目の大きさの設定を行う方法は、直線的に処理の程度を変化させる方法に限られるものではなく、例えば、２次関数等の曲線に従って処理割合を変化させるようにしても良い。
【０１６１】
また、実施の形態４のテレビ電話装置は、上記のように量子化係数制御部２１０を追加するのみであるので、小規模な回路を追加するだけで、テレビ電話装置にプライバシー保護機能を追加することができる。また、利用者の好みにより、量子化係数を変化させ、容易にモザイク効果の目の大きさを変化させることができる。
【０１６２】
また、本実施の形態４は、上記した実施の形態１〜３と組み合わせるように構成しても良い。その場合には、回線接続／切断時や保留時に、より使用者の嗜好に合わせた画面を使用者が選択できるようになる。
【０１６３】
なお、上記の各実施の形態１〜実施の形態３において、操作部１１１に設けられるキーは実画像送出キー１１１ｂおよび処理画像送出キー１１１ｃに限らず、例えば、いたずら電話装置撃退キーを設け、そのキーが押されたときには、画像データ記憶部１５０に格納された抗議のメッセージ画像を相手側に送るように構成してもよい。
【０１６４】
また、上記の各実施の形態１〜実施の形態４において、通信回線網４０は有線回線に限るものではなく、無線回線も含むことは言うまでもないことである。
【０１６５】
さらに、実施の形態３の合成内容設定回路１７１における設定処理に関して、実施の形態３では、まず位置領域を設定してから合成処理に関する画素毎の合成を実施したが、この設定処理は、逆に、まず画像全領域に関して画素毎の合成を実施してから位置領域を設定して、合成画像と撮像画像、或いは、合成画像とグラフィック画像を位置領域合成するようにしても良い。
【０１６６】
【発明の効果】
本発明によれば、撮像を行う撮像部と、予め準備される画像データを記憶する画像データ記憶部と、撮像部から出力される第一の画像データと、画像データ記憶部から出力される第二の画像データとの合成処理を実施する画像データ処理部と、画像データ処理部から出力される画像データを符号化する画像データ符号化部とを備え、合成処理は、第一の画像データと第二の画像データとの画面に占める割合を時間経過とともに変化させる処理であることとしたので、通信相手に対して回線異常等の不安を感じさせずに、画像送信側のプライバシーを保護できる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１のテレビ電話装置中の送信画像を符号化する処理に関するブロックを抽出して示した図である。
【図２】 図１のシステム制御部の内部構成を示すブロック図である。
【図３】 図１の画像データ処理部の内部構成例を示すブロック図である。
【図４】 図３中に示した画像データ合成回路の内部構成を示すブロック図である。
【図５】 図１に示した画像データ符号化部の内部構成を示すブロック図である。
【図６】 実画像（撮像画像）とグラフィック画像とを合成する場合の回線接続時における、実画像（撮像画像）とグラフィック画像との合成割合が時間毎に変化する様子を示す図である。
【図７】 （ａ）〜（ｆ）は実画像（撮像画像）とグラフィック画像とを合成する場合の回線接続時における、時間毎に合成割合が変化するモニタ画面（表示部）の実例を示す図である。
【図８】 実画像（撮像画像）とグラフィック画像とを合成する場合の回線切断時における、実画像（撮像画像）とグラフィック画像との合成割合が時間毎に変化する様子を示す図である。
【図９】 （ａ）〜（ｆ）は、実画像（撮像画像）とグラフィック画像とを合成する場合の回線切断時における、時間毎に合成割合が変化するモニタ画面（表示部）の実例を示す図である。
【図１０】 表示部のモニタ画面における合成領域の位置を示す図である。
【図１１】 回線接続時あるいは回線切断時における、本実施の形態１の画像データ処理部の合成内容設定回路の設定処理を示すフローチャートである。
【図１２】 実施の形態２のテレビ電話装置中の画像データ処理部の構成を示すブロック図である。
【図１３】 実画像（撮像画像）とグラフィック画像とを合成する場合の回線接続時における、実画像（撮像画像）とグラフィック画像とのドット毎の合成割合が時間毎に変化する様子を示す図である。
【図１４】 （ａ）〜（ｆ）は、実画像（撮像画像）とグラフィック画像とを合成する場合の回線接続時における、時間毎に合成割合が変化するモニタ画面（表示部）の実例を示す図である。
【図１５】 実画像（撮像画像）とグラフィック画像とをドット毎に合成する場合の回線切断時における、実画像（撮像画像）とグラフィック画像とのドット毎の合成割合が時間毎に変化する様子を示す図である。
【図１６】 （ａ）〜（ｆ）は、実画像（撮像画像）とグラフィック画像とをドット毎に合成する場合の回線切断時における、時間毎にドット毎の合成割合が変化するモニタ画面（表示部）の実例を示す図である。
【図１７】 実施の形態３のテレビ電話装置中の画像データ処理部の構成を示すブロック図である。
【図１８】 回線接続時あるいは回線切断時における、実施の形態３の画像データ処理部の合成内容設定回路の設定処理を示すフローチャートである。
【図１９】 本実施の形態４のテレビ電話装置中の送信画像の符号化に関するブロックの構成を示すブロック図である。
【図２０】 実施の形態４のテレビ電話装置中の画像データ符号化部の内部構成を示すブロック図である。
【図２１】 回線接続時あるいは回線切断時における、実施の形態４の量子化係数制御部の設定処理を示すフローチャートである。
【図２２】 従来のテレビ電話装置を用いるテレビ電話システム全体を示したブロック図である。
【図２３】 図２２のテレビ電話装置中の送信画像を符号化する処理に関するブロックを抽出して示した図である。
【図２４】 図２３中の画像データ符号化部の内部構成を示すブロック図である。
【符号の説明】
１１ａ 回線接続／切離しキー、 １３ 撮像部、 １８ 伝送制御部、 １０１ テレビ電話装置、 １１１ 操作部、 １１１ｂ 実画像送出キー、 １１１ｃ 処理画像送出キー、 １１５ システム制御部、 １５０ 画像データ記憶部、 １７０ 画像データ処理部、 １９０ 画像データ符号化部。

Claims (8)

1. 撮像を行う撮像部と、
   予め準備される画像データを記憶する画像データ記憶部と、
   前記撮像部から出力される第一の画像データと、前記画像データ記憶部から出力される第二の画像データとの合成処理を実施する画像データ処理部と、
   前記画像データ処理部から出力される画像データを符号化する画像データ符号化部と
   を備え、
   前記合成処理は、前記第一の画像データと前記第二の画像データとの画面に占める割合を時間経過とともに変化させる処理であること
   を特徴とするテレビ電話装置。
2. 請求項１に記載のテレビ電話装置であって、
   前記テレビ電話装置を通信回線に接続した際の時間経過とともに、又は前記テレビ電話装置の使用者からの指示があった際の時間経過とともに、第一の画像データの画面に占める割合を漸増させること
   を特徴とするテレビ電話装置。
3. 請求項１に記載のテレビ電話装置であって、
   前記テレビ電話装置の通信回線への接続を切断する際の時間経過とともに、又は前記テレビ電話装置の使用者からの指示があった際の時間経過とともに、第一の画像データの画面に占める割合を漸減させること
   を特徴とするテレビ電話装置。
4. 撮像を行う撮像部と、
   前記撮像部から出力される画像データを符号化する画像データ符号化部と
   を備えるテレビ電話装置であって、
   前記テレビ電話装置を通信回線に接続した際の時間経過とともに、又は前記テレビ電話装置の使用者からの指示があった際の時間経過とともに、画像が明瞭になるように前記符号化において、直交変換出力を量子化する量子化係数を小さくすること
   を特徴とするテレビ電話装置。
5. 撮像を行う撮像部と、
   前記撮像部から出力される画像データを符号化する画像データ符号化部と
   を備えるテレビ電話装置であって、
   前記テレビ電話装置の通信回線への接続を切断する際の時間経過とともに、又は前記テレビ電話装置の使用者からの指示があった際の時間経過とともに、画像が不明瞭になるように前記符号化において、直交変換出力を量子化する量子化係数を大きくすること
   を特徴とするテレビ電話装置。
6. 画像データを含む信号を通信回線を通して送受信するテレビ電話システムの一方の端末として使用されるテレビ電話装置を用いる通話方法であって、
   撮像を行う撮像ステップと、
   予め準備される画像データを記憶する画像データ記憶ステップと、
   前記撮像ステップから出力される第一の画像データと、前記画像データ記憶ステップから出力される第二の画像データとの合成処理を実施する画像データ処理ステップと、
   前記画像データ処理ステップから出力される画像データを符号化する画像データ符号化ステップと
   を備え、
   前記合成処理は、前記第一の画像データと前記第二の画像データとの画面に占める割合を時間経過とともに変化させる処理であること
   を特徴とする通話方法。
7. 画像データを含む信号を通信回線を通して送受信するテレビ電話システムの一方の端末として使用されるテレビ電話装置を用いる通話方法であって、
   撮像を行う撮像ステップと、
   前記撮像ステップから出力される画像データを符号化する画像データ符号化ステップと
   を備え、
   前記テレビ電話装置を通信回線に接続する際の時間経過とともに、又は前記テレビ電話装置の使用者からの指示があった際の時間経過とともに、画像が明瞭になるように前記符号化において、直交変換出力を量子化する量子化係数を小さくすること
   を特徴とする通話方法。
8. 画像データを含む信号を通信回線を通して送受信するテレビ電話システムの一方の端末として使用されるテレビ電話装置を用いる通話方法であって、
   撮像を行う撮像ステップと、
   前記撮像ステップから出力される画像データを符号化する画像データ符号化ステップと
   を備え、
   前記テレビ電話装置の通信回線への接続を切断する際の時間経過とともに、又は前記テレビ電話装置の使用者からの指示があった際の時間経過とともに、画像が不明瞭になるように前記符号化において、直交変換出力を量子化する量子化係数を大きくすること
   を特徴とする通話方法。

Images