JPWO2015044994A1 - テレビ通話装置 - Google Patents

Abstract

複数の人が利用する場合においても使い勝手の良いテレビ通話環境が得られるテレビ通話装置及びテレビ通話処理方法を提供する。ネットワークを介して他のテレビ通話装置と通話を行うテレビ通話装置において、通話者の画像を撮影し、撮影した画像により通話者を認識し、認識結果に応じて送信する画像における背景画像を変える。これにより、例えばさほど懇意でないユーザ同士が通話する場合に、背景画像として部屋の状態が知られる画像が供給されるような状況が解消される。

Description

本発明は、ネットワーク接続によりテレビ通話を行うテレビ通話装置及びテレビ通話処理方法に関する。

近年、全世界におけるネットワーク環境の整備拡大に伴って、従来の電話回線に加えて、インターネット回線を用いたＩＰ(Internet Protocol)電話が普及している。このＩＰ電話では、ユーザは、インターネット回線に接続されたＰＣ（Personal Computer）、或いはＬＡＮ（Local Area Network）機能を内蔵した携帯電話機などを用いて、音声や画像信号をインターネットプロトコルで通信して会話を行う。

このようなＩＰ電話のなかで、特にスカイプ（Skype）と呼ばれるサービスが世界中に広く普及しており、数億人の登録ユーザが存在している。スカイプを利用したＩＰ電話は当初は音声通話のみであったが、ネットワークの高速化や端末装置の高機能化に伴い、現在ではハイビジョン映像にも対応したテレビ通話が可能となっており、多くの人々に利用されている。

このようなテレビ通話ではカメラで撮影された画像がそのまま通話している相手に送信されるため、ユーザのプライバシーの点で問題となる場合がある。このため、下記の特許文献１では撮影した画像からユーザの輪郭抽出を行って、切り出したユーザの画像と背景画像を合成する技術が提案されている。特許文献２では、背景画像を着信電話番号に応じて自動的に選択する方法が提案されている。

特開平４−５７５８２号公報 特開２００５−２１０１９１号公報

上記のＩＰ電話によるテレビ通話機能が家族で複数の人が利用するテレビ受信装置やスマートフォン、或いはタブレット型の携帯端末装置等にも搭載されるようになってきている。このため、前記特許文献１或いは２の方法ではこれらの装置の使用環境、使用状況に対してユーザにとって使い勝手が十分ではなかった。例えば、これらの装置ではテレビ通話機能のサービスを提供するサーバに接続する際に家族で同じアカウントを利用するため、ユーザを識別するためのアカウントだけでは、送信或いは受信した相手が家族の中の誰なのかを判別することができず、通話の相手に合わせた背景を選択することができないという課題がある。

本発明は前記課題を考慮し、家族のように複数の人が利用する場合においても、使い勝手の良いテレビ通話環境が得られるテレビ通話装置及びテレビ通話処理方法を提供することを目的とする。

前記課題を解決するための手段として、例えば特許請求の範囲に記載の構成を採用すればよい。

一例を挙げるならば、本発明は撮像した画像をはじめとする画像の画像情報を他のテレビ通話装置とネットワークを介して通信するテレビ通話装置であって、前記画像を撮像する撮像部と、該撮像部が撮像した画像をはじめとする画像の画像情報を生成する画像処理部と、該画像処理部が生成した画像情報をはじめとする情報を前記他のテレビ通話装置と通信する通信部と、該通信部が前記他のテレビ通話装置から受信した情報から生成した画像情報をはじめとする前記画像処理部が生成した画像情報を表示する表示部と、前記テレビ通話装置のメンバーを識別するためのアカウント情報、該アカウント情報に関連付けて登録された複数のメンバーのメンバー情報、前記テレビ通話装置を使用する通話者と前記他のテレビ通話装置を使用する通話者とを認識するための通話者認識情報、及び前記テレビ通話装置のメンバーと前記他のテレビ通話装置のメンバーとの組合せに応じた個別設定情報を記憶する個別情報記憶部と、該個別情報記憶部が記憶する通話者認識情報に基づき前記テレビ通話装置を使用する通話者と前記他のテレビ通話装置を使用する通話者とを認識する通話者認識部と、該通話者認識部における認識結果と前記個別情報記憶部が記憶する個別設定情報に基づき、前記通信部が前記他のテレビ通話装置に送信する画像情報、又は前記表示部が表示する画像情報の画像表示を設定するよう前記テレビ通話装置の構成要素の動作を制御する制御部とを有することを特徴としている。

また本発明は、撮像した画像をはじめとする画像の画像情報を他のテレビ通話装置とネットワークを介して通信するテレビ通話装置におけるテレビ通話処理方法であって、前記他のテレビ通話装置が送信した画像情報を受信する受信ステップと、該受信ステップが前記画像情報を受信した際に前記他のテレビ通話装置を使用する通話者を認識する認識ステップと、該認識ステップの認識結果に基づいて前記テレビ通信装置を使用する通話者の画像に背景画像を合成した合成画像を生成する画像処理ステップと、該合成画像を前記他のテレビ通話装置に送信する送信ステップを有することを特徴としている。

また本発明は、撮像した画像をはじめとする画像の画像情報を他のテレビ通話装置とネットワークを介して通信するテレビ通話装置と複数の該テレビ通話装置を統括するテレビ通話サーバとを有するテレビ通話システムにおけるテレビ通話処理方法であって、前記テレビ通話装置を使用する通話者を認識して該通話者に係る通話者情報を生成する認識ステップと、該認識ステップで生成された通話者情報に基づき前記テレビ通話装置が通信する他のテレビ通話装置を選択する選択ステップと、該選択ステップで選択された前記他のテレビ通話装置を使用する通話者に係る通話者情報を取得する取得ステップと、該取得ステップで取得された通話者情報に係る通話者が使用する前記他のテレビ通信装置に前記テレビ通話装置を使用する通話者に係る通話者情報を送信する送信ステップとを有し、前記選択ステップは、前記テレビ通信サーバにログイン中の他のテレビ通話装置を、通信するテレビ通話装置として選択することを特徴としている。

本発明によれば、複数の人が利用する場合においても使い勝手の良いテレビ通話環境が得られるテレビ通話装置及びテレビ通話処理方法を提供することができるという効果がある。

テレビ通話システムの一実施例を示すブロック構成図である。 テレビ通話サーバ３の構成例を示すブロック図である。 テレビ受信装置の構成例を示すブロック図である。 端末装置の構成例を示すブロック図である。 テレビ通話処理の一例を示すシーケンス図である。 ユーザ設定処理の一例を示すシーケンス図である。 メンバー設定処理の一例を示すシーケンス図である。 メンバー新規登録処理の一例を示すシーケンス図である。 メンバー新規登録処理時のテレビ受信装置の表示の一例を示す図である。 ユーザアカウントに関連付けて登録される情報の例を示す図である。 通話先選択処理の一例を示すシーケンス図である。 通話先登録追加処理の一例を示すシーケンス図である。 通話先選択処理におけるテレビ受信装置の表示の一例を示す図である。 通話先カウントに関連付けて登録される情報の例を示す図である。 通話元に対応した通話先に対する背景の設定データの一例を示す図である。 背景設定データの例を示す図である。 通話処理の一例を示すシーケンス図である。 通話処理のシーケンス図の第２の例を示す図である。 通話処理のシーケンス図の第３の例を示す図である。 通話処理のシーケンス図の第４の例を示す図である。 通話処理のシーケンス図の第５の例を示す図である。 テレビ通話処理のシーケンス図の第２の例を示す図である。 通話先選択処理におけるテレビ受信装置の表示の一例を示す図である。

以下、本発明の実施形態の例を、図面を用いて説明する。

図１は、本発明の実施形態に係るテレビ通話システムの一実施例を示すブロック構成図である。本実施例は、テレビ通話装置としてテレビ受信装置１、端末装置２を用いたテレビ通話システムであり、テレビ通話サーバ３、ルータ４、外部ネットワーク５、基地局６、ルータ７を有する。

ルータ４及び７は、IEEE802.11a/b/nなどのＷｉ−ｆｉ規格による無線ＬＡＮ機能或いは有線ＬＡＮ機能を備え、通信回線を経由して外部ネットワーク５に接続される。

テレビ受信装置１は、ルータ４と無線ＬＡＮまたは有線ＬＡＮで接続されており、ルータ４から外部ネットワーク５を介してテレビ通話サーバ３と接続され、ＩＰ電話によるテレビ通話を行う。

端末装置２は、ルータ７と無線ＬＡＮまたは有線ＬＡＮで接続されており、ルータ７から外部ネットワーク５を介してテレビ通話サーバ３と接続され、ＩＰ電話によるテレビ通話を行う。さらに、端末装置２は、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）やＧＳＭ（Global System for Mobile communications：登録商標）などの遠距離無線通信により基地局６から外部ネットワーク５を介してテレビ通話サーバ３と接続され、ＩＰ電話によるテレビ通話を行うことができる。
［テレビ通話サーバのハードウェア構成］
図２は、本発明の実施形態に係るテレビ通話サーバ３の構成例を示すブロック図である。

図２においてテレビ通話サーバ３は、制御部３０１、メモリ３０２、ストレージ部３０３、通信部３０４を備え、それぞれはバス３００で相互に接続されている。制御部３０１はＣＰＵ（Central Processing Unit）等で構成され、メモリ３０２に記憶したプログラムを実行することによって、各構成部を制御し、各種の処理を行っている。ストレージ部３０３は、ユーザのアカウントを認証するための情報等のユーザ情報を記憶している。通信部３０４は外部ネットワーク５と接続するためのインターフェースであり、ユーザのテレビ通話サーバ３へのログイン状態等の情報を外部ネットワーク５から基地局６或いはルータ４、７を介してネットワーク接続に対応したテレビ受信装置１、端末装置２等に送出する。
［テレビ受信装置のハードウェア構成］
図３は、本発明の実施形態に係るテレビ受信装置１の構成例を示すブロック図である。

図３において制御部１０１は、ＣＰＵ等で構成され、メモリ１０３に記憶されたオペレーティングシステムや各種のアプリケーションプログラムなどに従ってテレビ受信装置１の全体を制御する。システムバス１００は制御部１０１とテレビ受信装置１内の各部との間でデータ送受信を行うためのデータ通信路である。また、通話者認識部１０２は撮像部１１５から画像処理部１１４を介して取り込んだ通話元のユーザの映像、及び通信部１１７、ルータ４、外部ネットワーク５を介して得られる通話先の相手の映像から通話者を認識する。

ストレージ部１０４は、テレビ受信装置１のユーザに関する情報等を記憶する個別情報記憶領域１０４ａ、デジタル放送番組の録画及びデジタル放送番組録画に関連する情報（予約情報等）を記憶する番組記録領域１０４ｂ、音楽/ビデオ/写真のデータなどのユーザデータを保存するユーザデータ記憶領域１０４ｃ、及びその他情報記憶領域１０４ｄを有する。個別情報記憶領域１０４ａにはテレビ通話サービスを行うサーバに接続するユーザのアカウントの情報や通話者認識部１０２で使用する通話元のユーザの顔、及び通話先の相手の顔を認識するための情報、或いはテレビ通話時の背景画像のデータ等が記憶されている。

また、テレビ受信装置１は、通信部１１７、ルータ４、外部ネットワーク５を介して、新規アプリケーションをダウンロードすることにより機能拡張が可能である。この際、ダウンロードした前記新規アプリケーションはその他情報記憶領域１０４ｄに記憶される。その他情報記憶領域１０４ｄに記憶された前記新規アプリケーションがメモリ１０３上に展開されて実行されることにより、テレビ受信装置１は多種の新規機能を実現できる。

外部インターフェース１０５は、テレビ受信装置１の機能を拡張するためのインターフェース群であり、本実施例では、映像入力インターフェース１０５ａ、音声入力インターフェース１０５ｂ、ＵＳＢ（Universal Serial Bus）インターフェース１０５ｃを有する。映像入力インターフェース１０５ａ及び音声入力インターフェース１０５ｂは、外部映像／音声出力機器からの映像信号／音声信号の入力を行う。ＵＳＢインターフェース１０５ｃはキーボード等のＵＳＢ機器若しくはメモリカード類の接続等を行う。テレビ受信装置１が外部に接続されたＨＤＤ（Hard Disc Drive）装置等にデジタル放送番組の録画を行う場合、ＵＳＢインターフェース１０５ｃにＨＤＤ装置等を接続すれば良い。また、映像入力インターフェース１０５ａ、音声入力インターフェース１０５ｂはＨＤＭＩ（High-Definition Multimedia Interface：登録商標）を用いて、映像と音声を一緒に入力するようにしてもよい。

操作部１０６は、テレビ受信装置１に対する操作指示の入力を行う指示入力部であり、本実施例では、ボタンスイッチを並べた操作キー１０６ａ及びリモコン１２０からの赤外線信号を受信するリモコン受信部１０６ｂを有する。ＵＳＢインターフェース１０５ｃに接続されたキーボード等を用いてテレビ受信装置１の操作を行っても良い。また、通信部１１７を介して接続された携帯端末装置やその他のＰＣ等を用いてテレビ受信装置１の操作を行っても良い。

チューナ１０８は、アンテナ１０７が受信した放送波からテレビ受信装置１のユーザが選局したチャンネルの信号を抽出し、ＴＳ（Transport Stream）信号を復調する。分離部１０９は、前記ＴＳ信号をそれぞれパケット化された映像データと音声データと付随情報データとに分離し、デコーダ部１１０に出力する。ここで、映像データは映像デコーダ１１０ａに、音声データは音声デコーダ１１０ｂに、付随情報データは情報デコーダ１１０ｃに出力される。映像デコーダ１１０ａは、分離部１０９から出力された映像データをデコードし、映像信号として画像処理部１１４に出力する。音声デコーダ１１０ｂは、分離部１０９から出力された音声データをデコードし、音声信号として音声処理部１１１に出力する。情報デコーダ１１０ｃは、分離部１０９から出力された付随情報データを処理し、特に各番組の番組名、ジャンル、放映開始／終了日時、等の番組情報を含むＳＩ（Service Information）情報等を取得する。

表示部１１６は、例えば液晶パネルのような表示デバイスであり、画像処理部１１４で処理された映像信号を表示する。また、画像処理部１１４は、入力された映像信号に対して、必要に応じてフォーマット変換、メニューやその他のＯＳＤ（On Screen Display）信号の重畳処理、或いはテレビ通話において撮像部から入力された通話者の画像と個別情報記憶領域１０４ａに記憶された背景画像の合成処理等を行う。スピーカ１１３は音声処理部１１１で処理した音声信号を出力する。

撮像部１１５はカメラなどであり、テレビ通話時の通話者の映像を取り込んで画像処理部に出力する。画像処理部１１４は、前記映像に基づいて画像情報を生成する。マイク１１２は外部の音声を取り込んで音声処理部１１１に出力するものであり、テレビ通話等に用いられる。

通信部１１７は有線ＬＡＮまたは無線ＬＡＮによりルータ４と接続され、インターネット等の外部ネットワーク５と情報の送受信、或いは音声や画像信号をインターネットプロトコルで通信してテレビ通話等を行う。

なお、以上の説明では撮像部１１５及びマイク１１２をテレビ受信装置１に内蔵している構成としたが、ＵＳＢインターフェース１０５ｃを介して外部に設けられたカメラ或いはマイクを用いるようにしてもよい。
［端末装置のハードウェア構成］
図４は、本発明の実施形態に係る端末装置２の構成例を示すブロック図である。

ここでは、端末装置２がスマートフォンの場合を例にして説明する。端末装置２は、制御部２０１、通話者認識部２０２、メモリ２０３、ストレージ２０４、ＧＰＳ（Global Positioning System）受信部２０５、地磁気センサ２０６、加速度センサ２０７、ジャイロセンサ２０８、入出力インターフェース２０９、マイク２１０、音声処理部２１１、スピーカ２１２、外部音声出力部２１３、操作入力部２１４、表示部２１５、画像処理部２１６、撮像部２１７、基地局通信部２１８、無線通信部２１９を備え、それぞれはバス２００に相互に接続されている。

制御部２０１はＣＰＵ等で構成されは、メモリ２０３に記憶したオペレーティングシステムや各種のアプリケーションプログラムなどを実行することによって、各構成部を制御し、各種の処理を行う。また、通話者認識部２０２は撮像部２１７から画像処理部２１６を介して取り込んだ通話元のユーザの映像、及び基地局通信部２１８、基地局６或いは無線通信部２１９、ルータ７を介して外部ネットワーク５に接続して得られるテレビ通話を行う通話先の相手の映像から通話者を認識する。

ストレージ部２０４はユーザに関する情報等を記憶する個別情報記憶領域２０４ａ、音楽、ビデオ、写真のデータなどのユーザデータを保存するユーザデータ記憶領域２０４ｂ、及びその他情報記憶領域２０４ｃを有する。個別情報記憶領域２０４ａにはテレビ通話サービスを行うサーバに接続するユーザのアカウントの情報や通話者認識部２０２で使用する通話元のユーザの顔、及び通話先の相手の顔を認識するための情報、或いはテレビ通話時の背景画像のデータ等が記憶されている。

ＧＰＳ受信部２０５は、上空にあるＧＰＳ衛星からの信号を受信するものである。これにより、端末装置２の現在位置を検出する。地磁気センサ２０６は端末装置２の向いている方向を検出するセンサである。加速度センサ２０７は端末装置２の加速度を検出するセンサであり、ジャイロセンサ２０８は、端末装置２の角速度を検出するセンサである。これらにより、端末装置２の傾き、動きが詳細に検出される。

入出力インターフェース２０９は、例えばＵＳＢなどであり、図示しない外部機器とデータの送受信を行うインターフェースである。

マイク２１０は、外部の音声を入力し、スピーカ２１２は、外部に対して音声を出力する。外部音声出力部２１３は図示しないイヤフォンを接続して音声を出力する。入出力される音声は、音声処理部２１１にて音声処理される。

操作入力部２１４は、例えば静電容量式などのタッチパッド方式の入力手段であり、指やタッチペンなどによる接触操作（以降、タッチという）を操作入力としてユーザの操作を検出する。表示部２１５は液晶パネルなどに映像や画像を表示し、その表示面に操作入力部２１４を有する。

撮像部２１７はカメラなどである。表示部２１５に表示される映像や、撮像部２１７から入力された映像は画像処理部２１６にて処理され、入力された映像信号に対して必要に応じてフォーマット変換、或いはテレビ通話において撮像部２１７から入力された通話者の画像と個別情報記憶領域２０４ａに記憶された背景画像の合成処理等を行う。

基地局通信部２１８は、Ｗ−ＣＤＭＡやＧＳＭなどの基地局６と遠距離の無線通信を行う通信インターフェースである。無線通信部２１９は、無線ＬＡＮによりルータ４と無線通信を行う通信インターフェースである。これにより端末装置２は、基地局６或いはルータ７を介して外部ネットワーク５に接続され、情報の送受信、或いは音声や画像信号をインターネットプロトコルで通信してテレビ通話等を行うことができる。

基地局通信部２１８或いは無線通信部２１９は基地局６或いはルータ７を介して外部ネットワーク５に接続される。これにより、メモリ２０３或いはストレージ２０４に記憶されるプログラム或いはデータは、図示しない外部サーバなどからダウンロードされ、随時更新・追加される。また、入出力インターフェース２０９がパソコン等の外部機器と接続されることにより、データやプログラム等を更新、追加することも可能である。

以下、テレビ通話処理の動作例について説明する。
［テレビ通話処理の実施形態例］
図５は、本発明の実施形態に係るテレビ通話処理の一例を示すシーケンス図であり、テレビ通話装置ａのユーザａとテレビ通話装置ｂ（他のテレビ通話装置）のユーザｂにおいてテレビ通話を行う場合の処理の一例を示すシーケンス図である。ここで、テレビ通話装置はテレビ受信装置１或いは端末装置２等のテレビ通話可能な装置である。

テレビ通話装置ａのユーザａ及びテレビ通話装置ｂのユーザｂが、それぞれメニュー画面からテレビ通話アプリケーションを選択し、起動要求を行う（Ｓ５０１ａ、Ｓ５０１ｂ）。これにより、テレビ通話装置ａ及びテレビ通話装置ｂはテレビ通話アプリケーションを起動し（Ｓ５０２ａ、Ｓ５０２ｂ）、テレビ通話サーバ３にアクセスを行い、ログイン画面情報を要求して取得する（Ｓ５０３ａ、Ｓ５０３ｂ）。

次にテレビ通話装置ａ及びテレビ通話装置ｂは、それぞれログイン画面表示し（Ｓ５０４ａ、Ｓ５０４ｂ）、ユーザａ及びユーザｂがユーザカウントおよびパスワードを入力すると（Ｓ５０５ａ、Ｓ５０５ｂ）、入力されたユーザカウントおよびパスワードのログイン情報をテレビ通話装置からテレビ通話サーバ３に送信する。

テレビ通話サーバ３は、ストレージ部３０３に蓄積されたユーザ情報を参照し、正規の登録ユーザであればユーザアカウントを認証する（Ｓ５０６ａ、Ｓ５０６ｂ）。次にテレビ通話装置ａ及びテレビ通話装置ｂは、それぞれ撮像部１１５又は２１７から入力されるユーザの画像に基づいて顔認識処理を行う（Ｓ５０７ａ、Ｓ５０７ｂ）。

顔認識処理により認識した顔が、予め登録されたアカウントのメンバーの顔と一致する場合には、ログインしたユーザとして、登録されたメンバー名を設定する。ここで、メンバーとは、テレビ通話装置ａに登録されている該テレビ通話装置ａを利用して通話が可能な（或いは、そのような通話の許可又は権限が与えられている）１または複数のユーザを意味するものとする。上記顔認識処理により複数のメンバーが認識された場合には、複数のメンバー名をユーザとして設定してもよく、或いは、認識したメンバーのリストを表示してユーザの一人がリストから選択したメンバー名をログインしたユーザとして設定するようにしてもよく、或いは、メンバーを指定せずにアカウント名をログインしたユーザとして設定するようにしてもよい。また、双子のように二人の判別が困難な場合には、候補のリストを表示してユーザがリストから選択したメンバー名をログインしたユーザとして設定するようにしてもよい。

予め登録されたアカウントのメンバーの顔に一致しない場合には、ログインしたユーザとして新たなアカウント名を設定する（Ｓ５０８ａ、Ｓ５０８ｂ）。新たなアカウント名は、ログインしたユーザ自身が設定しても良く、テレビ通話装置が設定しても良い。また、後述する図６のメンバー設定処理Ｓ６１２を行い、設定されたメンバーをユーザとして設定するようにしてもよい。

テレビ通話装置を所有する世帯の家族の一人により、各家族について例えば撮像部１１５又は２１７で撮像した顔の画像とメンバー名とが、テレビ通話装置の個別情報記憶部１０４ａ又は２０４ａに登録されている。ユーザがログインした際にＳ５０７ａ、Ｓ５０７ｂにおける顔認識処理において、該ユーザの顔を撮像部１１５又は２１７が撮像して得た画像が、個別情報記憶部１０４ａ又は２０４ａに登録されていた顔の画像のいずれかと一致するか否かを判定する。以下で詳しく述べるように、前記判定結果に応じて、撮像部１１５又は２１７で撮像した現在の画像につき、例えば背景画像を通話先に送るか否かを決める。これにより、家族以外のユーザも含めた複数の人がテレビ通話装置を利用する場合においても、使い勝手の良いテレビ通話環境が得られる。

次にテレビ通話装置ａ及びテレビ通話装置ｂは、ユーザが「ログアウト」を選択するまでそれぞれ繰り返し処理Ｓ５１０ａ及びＳ５１０ｂを行う。繰り返し処理Ｓ５１０ａ及びＳ５１０ｂでは、まずテレビ通話装置ａ及びテレビ通話装置ｂが実行する処理の選択画面を表示する（Ｓ５１１ａ、Ｓ５１１ｂ）。ユーザから選択結果が入力されると（Ｓ５１２ａ、Ｓ５１２ｂ）、テレビ通話装置ａ及びテレビ通話装置ｂは、それぞれ選択結果に応じた分岐処理Ｓ５２０ａ及びＳ５２０ｂを実行する。ユーザが「ユーザ設定」を選択した場合にはユーザ設定処理Ｓ５２１ａ、Ｓ５２１ｂを実行し、「通話先選択」を選択した場合には通話先選択処理Ｓ５２２ａ、Ｓ５２２ｂを実行し、「通話」を選択した場合には通話処理Ｓ５２３ａ、Ｓ５２３ｂを実行する。「ログアウト」を選択した場合にはログアウト処理Ｓ５２４ａ，Ｓ５２４ｂを実行し、繰り返し処理Ｓ５１０ａ、Ｓ５１０ｂを抜けて、テレビ通話アプリケーションを終了する（Ｓ５３０ａ、Ｓ５３０ｂ）。

次に、図５のユーザ設定処理Ｓ５２１ａ、Ｓ５２１ｂを図６乃至図８のシーケンス図に基づき、通話先選択処理Ｓ５２２ａ、Ｓ５２２ｂを図１１と図１２のシーケンス図に基づき、通話処理Ｓ５２３ａ、Ｓ５２３ｂを図１７乃至図２１のシーケンス図に基づき、順次詳しく説明する。まず、ユーザ設定処理Ｓ５２１ａ、Ｓ５２１ｂについて述べる。

図６は、本発明の実施形態に係るユーザ設定処理Ｓ５２１の一例を示すシーケンス図である。

ユーザ設定処理ではユーザが「設定終了」を選択するまで繰り返し処理Ｓ６００を行う。繰り返し処理Ｓ６００では、まずテレビ通話装置はユーザ設定する項目を選択する画面を表示する（Ｓ６０１）。ユーザにより設定項目選択結果が入力されると（Ｓ６０２）、テレビ通話装置は選択結果に応じた分岐処理Ｓ６１０を実行する。ユーザが「アカウント設定」を選択した場合にはテレビ通話サーバ３にログインするためのアカウント情報の設定処理Ｓ６１１を実行し、「メンバー設定」を選択した場合には同じアカウントでテレビ通話を行うメンバーを設定する処理Ｓ６１２を実行する。「設定終了」を選択した場合には終了処理Ｓ６１３を実行し、繰り返し処理Ｓ６００を抜けて、ユーザ設定処理を終了する。

図７は、本発明の実施形態に係るメンバー設定処理Ｓ６１２の一例を示すシーケンス図である。

メンバー設定処理ではユーザが「設定終了」を選択するまで繰り返し処理Ｓ７００を行う。繰り返し処理Ｓ７００では、まずテレビ通話装置においてユーザ設定する項目を選択する画面を表示する（Ｓ７０１）。ユーザから設定項目選択結果が入力されると（Ｓ７０２）、テレビ通話装置は選択結果に応じた分岐処理Ｓ７１０を実行する。ユーザが「新規登録」を選択した場合には同じアカウントでテレビ通話を行うメンバーを新規登録する処理Ｓ７１１を実行し、「登録変更」を選択した場合には既に登録されているメンバーの登録内容を変更する処理Ｓ７１２を実行する。「設定終了」を選択した場合には終了処理Ｓ７１３を実行し、繰り返し処理Ｓ７００を抜けて、メンバー設定処理を終了する。

図８は、本発明の実施形態に係るメンバーの新規登録処理Ｓ７１１の一例を示すシーケンス図である。

新規登録処理ではユーザが選択入力処理Ｓ８０５或いはＳ８４２で「登録終了」を選択するまで繰り返し処理Ｓ８００を行う。繰り返し処理Ｓ８００では、まず新規に登録するメンバーの名前を入力するよう要求する画面を表示する（Ｓ８０１）。ユーザが名前を入力すると（Ｓ８０２）、入力された名前をログインしたアカウントのメンバーとして登録する（Ｓ８０３）。次に登録されたメンバーの顔認識を行うための顔画像を登録するための顔画像ソースを選択する画面を表示する（Ｓ８０４）。ユーザから選択結果が入力されると（Ｓ８０５）、テレビ通話装置は選択結果に応じた分岐処理Ｓ８１０を実行する。ユーザが「カメラ」を選択した場合には、例えばテレビ受信装置１は撮像部１１５から入力された画像を表示部１１５に表示し、端末装置２は撮像部２１７から入力された画像を表示部２１５に表示する（Ｓ８１１）。「ファイル」を選択した場合には、例えばテレビ受信装置１はストレージ部１０４のユーザデータ記憶領域１０４ｃに記憶されている写真或いはビデオの画像ファイル、端末装置２はストレージ部２０４のユーザデータ記憶領域２０４ｂに記憶されている写真或いはビデオの画像ファイルを選択する処理Ｓ８１２を行い、選択された画像をテレビ受信装置１の表示部１１５或いは端末装置の表示部２１５に表示する（Ｓ８１３）。また、「登録終了」を選択した場合には顔画像の登録を行わず、終了処理Ｓ８１４を行い、繰り返し処理Ｓ８００を抜けて、新規登録処理を終了する。

選択処理Ｓ８１０で「カメラ」或いは「ファイル」を選択した場合には、次に表示部に表示された画像について顔認識処理（Ｓ８２０）を行い、認識結果に応じた条件処理Ｓ８３０を行う。条件処理Ｓ８３０では認識した顔が一人以上の場合には、表示部は登録するメンバーの顔を選択する画面を表示し（Ｓ８３１）、ユーザが登録する顔を選択する（Ｓ８３２）。次に、ユーザからの登録決定入力Ｓ８４０により、認識した顔が一人の場合は認識した顔をメンバー名に対応して登録し、認識した顔が一人以上の場合には選択した顔をメンバー名に対応して登録する（Ｓ８４１）。メンバーをさらに登録するか、登録処理を終了するかを選択する画面を表示部が表示する（Ｓ８４２）。ユーザが選択結果を入力すると（Ｓ８４３）、テレビ通話装置は選択結果に応じた条件処理Ｓ８５０を実行する。条件処理Ｓ８５０では「登録終了」が選択された場合、終了処理Ｓ８５１を行い、繰り返し処理Ｓ８００を抜けて、新規登録処理を終了する。「追加登録」が選択された場合には、繰り返し処理Ｓ８００により新規メンバーの登録を続ける。

図９は、メンバーの新規登録処理時のテレビ受信装置１の表示の一例を示す。

図９の例は選択処理Ｓ８１０において「ファイル」を選択し、ユーザデータ記憶領域１０４ｃに記憶された写真について顔認識を行う場合の例である。ログインしたアカウント名が９０ａに、登録するメンバー名が９０ｂに表示されている。また、選択した写真のファイル名が９０ｅに表示されている。認識した顔を示す複数の枠９０ｃ、９０ｄが表示され、登録する顔として選択したほうの枠９０ｄが太枠で表示されている。ここで、例えばユーザがリモコン１２０の所定のボタンを押すことで登録決定入力が行われ、メンバー名に対応した顔認識情報が個別情報記憶領域１０４ａに登録される。なお、ビデオ（動画）の画像ファイルに基づいて顔認識を行う場合には、顔認識の精度の点から登録するメンバーの顔が映っている時点で静止状態として行うことが望ましい。

図１０は、ユーザアカウントに関連付けて個別情報記憶領域１０４ａに登録される情報の例を示す。ユーザアカウント名１０ａに対応したメンバー名１０ｂ、登録された顔画像データ１０ｃ、及び各メンバーの顔を認識するための顔認識データ１０ｄが登録されている。顔認識データ１０ｄとしては例えば目と鼻の位置関係等の顔の特徴を数値化したデータが用いられる。

次に、先の図５における通話先選択処理Ｓ５２２について説明する。

図１１は、本発明の実施形態に係る通話先選択処理Ｓ５２２の一例を示すシーケンス図である。

通話先選択処理Ｓ５２２では、まずテレビ通話装置から外部ネットワーク５を介してテレビ通話サーバ３にアクセスを行い、通話先として登録されているアカウントがテレビ通話サーバ３にログインしているか否かの情報、ログインしているアカウントのテレビ通話装置のＩＰアドレス情報、通話中か否かの情報等を要求し、取得する（Ｓ１１０１）。次にユーザが選択入力処理Ｓ１１１２で「終了」を選択するまで繰り返し処理Ｓ１１１０を行う。繰り返し処理Ｓ１１１０では、まず通話元・通話先を選択する画面を表示する（Ｓ１１１１）。次にユーザからの選択処理Ｓ１１１２に応じて分岐処理Ｓ１１２０を行う。選択処理Ｓ１１１２において「決定」が選択された場合には通話元・通話先の設定処理Ｓ１１２１を行い、「通話先登録追加」が選択された場合には新規の通話先のアカウントの登録を行う処理Ｓ１１２２を行い、「通話先登録変更」が選択された場合には既に登録されているアカウントの情報を変更する処理Ｓ１１２３を行う。

図１２は、本発明の実施形態に係る通話先登録追加処理Ｓ１１２２の一例を示すシーケンス図である。

通話先登録追加処理ではユーザが「設定終了」を選択するまで繰り返し処理Ｓ１２００を行う。繰り返し処理Ｓ１２００では、まずテレビ通話装置はユーザが設定する項目を選択する画面を表示する（Ｓ１２０１）。ここで、テレビ通話装置はテレビ受信装置１或いは端末装置２等のテレビ通話可能な装置である。ユーザから設定項目選択結果が入力されると（Ｓ１２０２）、テレビ通話装置は選択結果に応じた分岐処理Ｓ１２１０を実行する。ユーザが「アカウント設定」を選択した場合には通話先のアカウントの名称等の情報を設定する処理Ｓ１２１１を実行し、「メンバー設定」を選択した場合には通話先のアカウントで通話を行うメンバーを設定する処理Ｓ１２１２を実行する。「設定終了」を選択した場合には終了処理Ｓ１２１３を実行し、繰り返し処理Ｓ１２００を抜けて、ユーザ設定処理を終了する。

図１３は、通話先選択処理Ｓ５２２におけるテレビ受信装置１の表示の一例を示す。

図１３において通話元のアカウント及びアカウントに登録されたメンバーの名前と顔が１３００ａに表示され、通話元として選択されたメンバーの表示枠が太枠で表示されている。例えば顔認識処理Ｓ５０７で顔認識され、ログインユーザ設定処理Ｓ５０８で設定されたメンバーが通話元として選択される。この場合の選択は初期選択としてログインユーザ設定処理Ｓ５０８に基づいて行われるが、選択を変更することも可能であり、顔認識の誤りによりログインユーザ設定処理Ｓ５０８でのユーザ設定が間違っていた場合にも、選択変更することで正しい通話元のメンバーを設定することができる。また、特定のメンバーを指定せず、ユーザアカウントのみを設定することも可能である。

また、通話先のアカウント及びアカウントに登録されたメンバーの名前、顔、選択した通話先に対する背景の設定、及び通話先のアカウントがテレビ通話サーバ３にログインしているかを示す状態（Ｏｎ Ｌｉｎｅ/Ｏｆｆ Ｌｉｎｅ）等が１３００ｂに表示されており、通話先として選択されたメンバーの表示枠が太枠で表示されている。また、Ｓ１１２０の分岐処理に対応して、「決定」の選択肢に対応したボタン１３００ｃ、「通話先登録追加」の選択肢に対応したボタン１３００ｄ、「通話先登録変更」の選択肢に対応したボタン１３００ｅ、「設定終了」の選択肢に対応したボタン１３００ｇが表示されており、テレビ受信装置１のリモコン１２０によりボタンを選択することで、各ボタンに対応した処理が実行される。

図１４は、通話先カウントに関連付けて個別情報記憶領域１０４ａ或いは２０４ａに登録される情報の例を示す。通話先カウント名１４ａに対応したメンバー名１４ｂ、登録された顔画像データ１４ｃ、及び各メンバーの顔を認識するための顔認識データ１４ｄが登録されている。顔認識データとしては例えば目と鼻の位置関係等の顔の特徴を数値化したデータが用いられる。通話先アカウントのメンバーの顔認識は通話先メンバー設定処理Ｓ１２１２において行われ、ユーザアカウントのメンバーの新規登録処理Ｓ７１１と同様の処理により行うことができる。例えば顔画像ソースとしてユーザデータ記憶領域１０４ｃ或いは２０４ｂに記憶されている通話先アカウントのメンバーが映っている写真或いはビデオの画像ファイルにより顔認識を行い、登録する。或いはテレビ通話中の相手の顔を顔画像ソースとして顔認識を行い、登録するようにしてもよい。

図１５は、通話元と通話先に対応して個別に設定する背景設定データの一例を示す。通話元のユーザアカウントの各メンバー１５ａに対して、通話先アカウントの各メンバーに対する背景設定データ１５ｂが記憶される。例えば通話元のユーザアカウントのメンバーを未指定、通話先アカウントを“Ｏｏｏｏ Ｙｙｙｙ”とした場合の背景設定はＡ２であり（これは図１３の設定画面でメンバーを指定しないでアカウントのみ設定した場合のように、通話元、通話先ともにユーザアカウントのみが指定され、特定のメンバーを指定せずに通話する場合に相当。未登録のユーザに限らず、登録済のメンバーであっても通話元としてメンバーを指定しない場合がある。）、ユーザアカウントのメンバーが“Ｃｃｃｃ”に対して通話先アカウントを“Ｏｏｏｏ Ｙｙｙｙ”のメンバー“Ｑｑｑｑ”とした場合の背景設定はＢ２となる（これは通話元、通話先ともにユーザアカウントのメンバーまで指定して通話する場合に相当）。

図１６は、背景設定データの例を示す。例えば背景番号Ａ１では背景画像はなく、通話元のテレビ通話装置の撮像部で取り込んだ画像が、人物及び背景とも、そのまま通話先のテレビ通話装置の画面に表示される設定となる。背景番号Ａ２では通話元のテレビ通話装置の撮像部で取り込んだ背景画像は送られず、通話先のテレビ通話装置の画面に通話元の背景画像が表示されない設定となる。また、背景番号Ｂ１やＢ２では選択された背景画像に通話元のテレビ通話装置の撮像部で取り込んだ人物画像を合成し、通話先のテレビ通話装置の画面に表示される設定となる。

以上で示したように、通話先メンバー設定処理Ｓ１２１２において通話先のメンバーを設定することにより、通話元のメンバーと通話先のメンバーに応じて、（登録されているかどうかではなく、指定されているかどうか）、通話先に送られる画像における背景画像が選択される。これにより、例えばさほど懇意でないユーザ同士が通話する場合に、背景画像として部屋の状態が知られる画像が供給されるような、好ましくない状況が解消され、使い勝手の良いテレビ通話環境が得られる。（例えば、子供同士の通話であればお互いに気に入ったキャラクターの背景にするなど、親と子、子と子のように登録されているメンバーでも背景を変えたい場合がある）。

次に、先の図５における通話処理Ｓ５２３について説明する。

図１７は、本発明の実施形態に係る通話処理Ｓ５２３の一例を示すシーケンス図である。本例は通話元のユーザａのテレビ通話装置ａと通話先のユーザｂのテレビ通話装置ｂによりテレビ通話を行う場合の例である。

まず、テレビ通話装置ａは通話先として指定したアカウントのメンバー名に基づいて、図１５に示すような通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ１７０１）。次に通話元のテレビ通話装置ａから、通話先情報要求/取得処理Ｓ１１０１で取得した通話先情報に基づいて通話先選択処理Ｓ５２２で選択した、通話先のアカウントへの呼出要求を送信する（Ｓ１７０２）。通話先のテレビ通話装置ｂは通話呼出を受信すると表示部に着信を知らせる画面を表示する（Ｓ１７０３）。通話先のユーザｂが着信に応答すると（Ｓ１７０４）、通話先のテレビ通話装置ｂから通話元のテレビ通話装置ａに着信応答を送信する。これにより、テレビ通話装置ａとテレビ通話装置ｂとの間にテレビ通話のための通信路が確立される。

テレビ通話装置ａは背景設定データに従って通話元のテレビ通話装置ａの撮像部で取り込んだ画像を背景画像に合成した画像、及び音声の送信を開始する（Ｓ１７０５）。テレビ通話装置ｂは受信した画像を表示し音声を出力し（Ｓ１７０６）、テレビ通話装置ｂの個別情報記憶領域に図１４に示すように記憶されている通話元のユーザａのアカウントのメンバーの顔認識データと、受信した画像とを用いて、通話元のユーザａの認識を行う（Ｓ１７０７）。テレビ通話装置ｂの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ１７０８）。以降ユーザａ或いはユーザｂから「通話終了」の選択入力されるまで、繰り返し処理Ｓ１７２０を実行する。

繰り返し処理Ｓ１７２０では、テレビ通話装置ａ及びテレビ通話装置ｂにおいて、テレビ通話装置の撮像部で取り込んだ画像と設定した背景画像を合成した画像及び音声の送受信を行い（Ｓ１７２１）、受信した画像を表示し音声を出力する（Ｓ１７２２ａ、Ｓ１７２２ｂ）。ユーザａ或いはユーザｂからの選択入力（Ｓ１７２３ａ、Ｓ１７２３ｂ）に基づいて条件処理を行い、「通話終了」が選択された場合には通話終了処理（Ｓ１７２４ａ、Ｓ１７２４ｂ）を行い、繰り返し処理を抜けて、通話処理を終了する。

本実施例では受話側のテレビ通話装置ｂは、ログイン時にユーザｂの顔認識を行い、テレビ通話装置ａから送られた画像を用いて送話側のユーザａの顔を認識することにより、送話側と受話側のアカウントのメンバーを特定することができ、メンバーに応じた背景を設定することが可能となる。また、送話側のユーザａがメンバーとして登録されていない場合には、通話元の撮像部で撮影した画像、或いは、そのうち背景画像をテレビ通話装置ａに送信しないように設定することができる。

図１８は、本発明の実施形態に係る通話処理Ｓ５２３のシーケンス図の第２の例を示す。図１８において、図１７のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。

図１８において、テレビ通話装置ｂは個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定し（Ｓ１７０８）、通話先のテレビ通話装置ｂの撮像部で取り込んだ画像と設定した背景画像を合成した画像及び音声の送信を開始する（Ｓ１７０９）。テレビ通話装置ａは受信した画像の表示と音声を出力し（Ｓ１７１０）、テレビ通話装置ａの個別情報記憶領域に記憶されている通話先のアカウントのメンバーの顔認識データと、受信した画像とを用いて、通話先のユーザｂの認識を行う（Ｓ１７１１）。テレビ通話装置ａの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ１７１２）。以降ユーザａ或いはユーザｂから「通話終了」の選択入力されるまで、繰り返し処理Ｓ１７２０を実行する。

以上の第２のシーケンス図の例に示す処理では、着信応答した通話先のユーザｂが通話元のユーザａが通話先として選択したアカウントのメンバーではなかった場合にも、テレビ通話装置ａは、テレビ通話装置ｂから送られた画像により顔認識を行い、認識した結果に応じて背景画像を設定することで、送話側と受話側のアカウントのメンバーに応じた背景を設定することが可能となる。

図１９は、本発明の実施形態に係る通話処理Ｓ５２３のシーケンス図の第３の例を示す。図１９において、図１７のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。本例ではテレビ通話サーバ３に、異なるメンバーが同じアカウントで、テレビ受信装置１と端末装置２でログインした場合のように、同じアカウントでログインしたテレビ通話装置が複数ある場合に対応する。

まず、テレビ通話装置ａは通話先として指定したアカウントのメンバー名に基づいて、図１５に示すような通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ１９０１）。次に通話元のテレビ通話装置ａから通話先情報要求/取得処理Ｓ１１０１で取得した通話先情報に基づいて、通話先として指定したアカウントでログインしているテレビ通話装置ｂ及びテレビ通話装置ｃに、通話元のアカウントのユーザａのメンバー名、及び通話先として指定したアカウントのメンバー名等の通話者情報と通話呼出を送信する（Ｓ１９０２）。通話先のテレビ通話装置ｂ及びテレビ通話装置ｃは通話呼出を受信すると、表示部に通話元のユーザａのアカウントのメンバー名、及び通話先として指定したアカウントのメンバー名等の情報と、着信を知らせる画面を表示する（Ｓ１９０３ｂ、Ｓ１９０３ｃ）。

ここでは、ユーザｃが通話先として指されたアカウントのメンバー名に一致しているものとする。ユーザｃが着信に応答すると（Ｓ１９０４）、テレビ通話装置ｃは、ログイン時に認識したユーザｃのメンバー名等の通話者情報と着信応答を送信する。テレビ通話装置ａはテレビ通話装置ｃからの着信応答を受信することで、テレビ通話装置ａとテレビ通話装置ｃとの間にテレビ通話のための通信路が確立される。

また、テレビ通話装置ｃは受信した通話元のユーザａのアカウントのメンバー名に基づいて、テレビ通話装置ｃの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ１９０５）。テレビ通話装置ａは受信した通話者情報のメンバー名に基づいて、テレビ通話装置ａの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ１９０６）。以降ユーザａ或いはユーザｃから通話終了の選択入力がされるまで、繰り返し処理Ｓ１７２０を実行する。

以上の第３のシーケンス図の例に示す処理では、通話先として指定したアカウントのメンバー名等の情報がテレビ通話装置に表示されるため、同じアカウントで複数のテレビ通話装置がログインされた場合でも、指定されたアカウントのメンバーが自分宛ての呼出であることを確認して応答することが可能となる。また、通話相手のアカウントのメンバー名の情報等が送られてくるため、通話相手から送られてくる画像を用いた顔認識によりメンバーを特定する必要がなく、図１４に示す通話相手のカウントに関連付けて各メンバーの顔画像データ１４ｃ、及び各メンバーの顔を認識するための顔認識データ１４ｄを登録する必要がない。

また、通話呼出及び着信応答の時点で通話相手のメンバーが特定でき、通話元と通話先の通話相手に対応した背景設定データに従って背景画像を設定することができる。また、間違えてユーザｂが着信応答した場合にも、背景設定処理Ｓ１９０６により受信した通話者情報のメンバー名に基づいて、通話元と通話先に対応した背景設定データに従って背景画像を設定することができる。これにより、通話先として指定したアカウントのメンバー以外の人、或いはメンバーとして登録されていない人が着信応答した場合には、通話元の撮像部で撮影した画像を送信しないように設定することができる。

図２０は、本発明の実施形態に係る通話処理Ｓ５２３のシーケンス図の第４の例を示す。図２０において、図１７のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。本例では同じアカウントでテレビ通話サーバ３にログインしたテレビ通話装置が複数ある場合に対応する。

まず、テレビ通話装置ａは通話先として指定したアカウントのメンバー名に基づいて、図１５に示すような通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ２００１）。次に通話元のテレビ通話装置ａから通話先情報要求/取得処理Ｓ１１０１で取得した通話先情報に基づいて、通話先として指定したアカウントでログインしているテレビ通話装置ｂ及びテレビ通話装置ｃに通話者情報と通話呼出要求を送信する（Ｓ２００２）。通話先のテレビ通話装置ｂ及びテレビ通話装置ｃは、受信した情報から得られる通話先として指定されたアカウントのメンバー名と、テレビ通話装置ｂ及びテレビ通話装置ｃにおいてログインユーザ設定処理で設定したユーザ名を、それぞれ比較する通話者判定処理を行う（Ｓ２００３ｂ、Ｓ２００３ｃ）。

通話先として指定されたアカウントのメンバー名とログインユーザ設定処理で設定したユーザ名が一致する場合には、表示部は通話元のユーザａのアカウントのメンバー名及び通話先のアカウントのメンバー名等の情報と、着信を知らせる画面を表示する（Ｓ２００４）。ここでは、ユーザｃが通話先として指されたアカウントのメンバー名に一致しているものとする。通話先のユーザｃが着信に応答すると（Ｓ２００５）、テレビ通話装置ｃが着信応答を送信する。テレビ通話装置ａがテレビ通話装置ｃからの着信応答を受信することで、テレビ通話装置ａとテレビ通話装置ｃとの間にテレビ通話のための通信路が確立される。

また、テレビ通話装置ｃは受信した通話元のユーザａのアカウントのメンバー名に基づいて、テレビ通話装置ｃの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ２００６）。以降ユーザａ或いはユーザｃから通話終了の選択入力されるまで、繰り返し処理Ｓ１７２０を実行する。

以上の第４のシーケンス図の例に示す処理では、通話先として指定されたアカウントのメンバー名と、テレビ通話装置においてログインユーザ設定処理で設定したユーザ名が一致するテレビ通話装置のみに着信通知が表示されるため、同じアカウントで複数のテレビ通話装置がログインされた場合でも、指定されたアカウントのメンバーが応答することが可能となる。また、通話相手のアカウントのメンバー名の情報等が送られてくるため、通話相手から送られてくる画像により顔認識によりメンバーを特定する必要がなく、図１４に示す通話相手のカウントに関連付けて各メンバーの顔画像データ１４ｃ、及び各メンバーの顔を認識するための顔認識データ１４ｄを登録する必要がない。また、通話呼出及び着信応答の時点で通話相手のメンバーが特定でき、通話元と通話先における通話相手に対応した背景設定データに従って背景画像を設定することができる。

図２１は、本発明の実施形態に係る通話処理Ｓ５２３のシーケンス図の第５の例を示す。図２１において、図１７のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。

まず、テレビ通話装置ａは通話先として指定したアカウントのメンバー名に基づいて、テレビ通話装置ａの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ２３０１）。次に通話先情報要求/取得処理Ｓ１１０１で取得したログイン中のアカウント、テレビ通話装置のＩＰアドレス情報、及びメンバー名等の通話先情報に基づいて呼出先のテレビ通話装置を決定し（Ｓ２３０２）、通話先として指定したアカウントのメンバーでログインしているテレビ通話装置ｃに通話呼出を送信する（Ｓ２３０３）。

テレビ通話装置ｃは通話者情報と通話呼出を受信すると、表示部に通話元のユーザａのアカウントのメンバー名、及び通話先のアカウントのメンバー名等の情報と着信を知らせる画面を表示する（Ｓ２３０４）。通話先のユーザｃが着信に応答すると（Ｓ２３０５）、テレビ通話装置ｃからテレビ通話装置ａに着信応答を送信する。テレビ通話装置ａはテレビ通話装置ｃからの着信応答を受信し、テレビ通話装置ａとテレビ通話装置ｃとの間にテレビ通話のための通信路が確立される。

また、受信した通話元のユーザａのアカウントのメンバー名に基づいて、テレビ通話装置ｃの個別情報記憶領域に記憶されている通話元と通話先に対応した背景設定データに従って背景画像を設定する（Ｓ２３０６）。以降ユーザａ或いはユーザｃから通話終了の選択入力されるまで、繰り返し処理Ｓ１７２０を実行する。

以上の第５のシーケンス図の例に示す処理では通話先情報要求/取得処理Ｓ１１０１で取得したログイン中のアカウント、テレビ通話装置のＩＰアドレス、及びメンバー名等の通話先情報を取得することで、通話先として指定したアカウントのメンバーがログインしているテレビ通話装置のみに着信通知が表示されるため、同じアカウントで複数のテレビ通話装置がログインされた場合でも、指定されたアカウントのメンバーが応答することが可能となる。また、通話相手のアカウントのメンバー名の情報等が送られてくるため、通話相手から送られてくる画像により顔認識によりメンバーを特定する必要がなく、図１４に示す通話相手のカウントに関連付けて各メンバーの顔画像データ１４ｃ、及び各メンバーの顔を認識するための顔認識データ１４ｄを登録する必要がない。また、通話呼出及び着信応答の時点で通話相手のメンバーが特定でき、通話元と通話先の通話相手に対応した背景設定データに従って背景画像を設定することができる。

図２２は、本発明の実施形態に係るテレビ通話処理のシーケンス図の第２の例を示す図である。図２２において、図５のシーケンス図と同じ処理には同じ符号を付し、説明を省略する。図２２はユーザａのテレビ通話装置ａとテレビ通話サーバ３の処理部分についてのみ記載したものであり、他のユーザのテレビ通話装置においても同様の処理が行われる。

テレビ通話装置ａのユーザａよりメニュー画面からテレビ通話アプリケーションを選択し、起動要求を行う（Ｓ５０１ａ）。これにより、テレビ通話アプリケーションを起動し（Ｓ５０２ａ）、テレビ通話サーバ３にアクセスを行い、ログイン画面情報を要求／取得する（Ｓ５０３ａ）。

次にテレビ通話装置ａはログイン画面表示し（Ｓ５０４ａ）、ユーザａがユーザカウントおよびパスワードを入力すると（Ｓ５０５ａ）、入力されたユーザカウントおよびパスワードのログイン情報をテレビ通話装置ａからテレビ通話サーバ３に送信する。

テレビ通話サーバ３は、ストレージ３０３に蓄積されたユーザ情報を参照し、正規の登録ユーザであればユーザアカウントを認証する（Ｓ５０６ａ）。

次にテレビ通話装置ａは、撮像部から入力されるユーザの画像に基づいて顔認識処理を行う（Ｓ５０７ａ）。顔認識処理により認識した顔が、予め登録されたアカウントのメンバーの顔に一致する場合には、認識したメンバー名をログインしたユーザとして設定し、予め登録されたアカウントのメンバーの顔に一致しない場合には、ログインしたユーザをアカウント名に設定する（Ｓ５０８ａ）。

ここで、複数のメンバーが認識された場合には、複数のメンバー名をユーザとして設定する。次にユーザとして設定したメンバー名等のユーザ情報をテレビ通話サーバ３に送信する（Ｓ５４０ａ）。テレビ通話サーバ３はユーザ情報からログインしたアカウント名、テレビ通話装置のＩＰアドレス情報、及びメンバー名等の情報をメモリ３０２或いはストレージ部３０３に記憶する（Ｓ５４１ａ）。以降、ユーザが「ログアウト」を選択するまで繰り返し処理Ｓ５１０ａを行う。

図２３は、通話先選択処理Ｓ５２２におけるテレビ受信装置１の表示の他の一例を示す。

テレビ通話サーバ３は、ログインユーザ情報記憶処理Ｓ５４１において記憶したログインしているユーザのアカウント名、メンバー名等の情報を、図１１の通話先情報要求/取得処理Ｓ１１０１において取得することにより、通話先のアカウントのメンバー名毎にログイン状態を表示し、通話先を指定することができる。

以上の実施例において、通話先のアカウントのメンバーを特定する方法として顔認識により行う例を示したが、通話先のアカウントのメンバーの音声認識データを記憶しておき、音声認識により行うようにしてもよい。また、本実施例では通話元と通話先のメンバーにより背景画像を個別に設定するようにしたが、背景画像に限らず、例えば音声が聞き取りにくいメンバーが通話先の場合には音量を大きい設定にするなど、他の項目を個別に設定するようにしてもよい。

また、アカウントに関連付けて登録するメンバー名、通話元と通話先のメンバーに対応した背景画像の設定をテレビ通話装置の個別情報記憶領域に記憶するようにしたが、これに限らずテレビ通話サーバのストレージ部３０３のユーザ情報として記憶するようにしてもよい。これにより、個々のテレビ通話装置でアカウントに関連付けて登録するメンバー名、通話元と通話先のメンバーに対応した背景画像の設定を行う必要がなく、しかも複数のテレビ通話装置で通話元と通話先のメンバーに対応した設定を行うことができる。

また、本実施例では通話先情報要求/取得処理Ｓ１１０１においてテレビ通話サーバ３から通話先情報要求/取得を行うものとしたが、これに限らずスカイプで用いられている「スーパーノード」のようにログイン中のアカウント、テレビ通話装置のＩＰアドレス等の情報を有する装置に対して通話先情報要求/取得を行うようにしてもよい。

尚、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、各実施例のシーケンスは本発明の要旨を逸脱しない範囲で処理の追加・削除・置換・順番を変更することが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。

また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ１０３や２０３、或いはストレージ１０４や２０４に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

１：テレビ受信装置、２：端末装置、３：テレビ通話サーバ、４，７：ルータ、５：外部ネットワーク、１０１，２０１：制御部、１０２，２０２：通話者認識部、１０４，２０４：ストレージ、１０４ａ，２０４ａ：個別情報記憶部、１０４ｃ，２０４ｂ：ユーザデータ記憶部、１１４，２１６：画像処理部、１１６，２１５：表示部、１１５，２１７：撮像部。

Claims (10)

1. テレビ通話装置であって、
   画像を撮像する撮像部と、
   該撮像部が撮像した画像を含む画像情報を生成する画像処理部と、
   該画像処理部が生成した画像情報を他のテレビ通話装置に送信し、該他のテレビ通話装置から、該他のテレビ通話装置の撮像部で撮像された画像を含む画像情報を受信する通信部と、
   該通信部により受信された前記他のテレビ通話装置からの画像情報を表示する表示部と、
   前記テレビ通話装置及び／又は前記他のテレビ通話装置を用いて通話可能なメンバーを識別するためのアカウント情報、該アカウント情報に関連付けて登録された前記メンバーのメンバー情報、前記テレビ通話装置を使用する通話者と前記他のテレビ通話装置を使用する通話者とを認識するための通話者認識情報、及び前記テレビ通話装置のメンバーと前記他のテレビ通話装置のメンバーとの組合せに応じた個別設定情報を記憶する個別情報記憶部と、
   該個別情報記憶部が記憶する通話者認識情報に基づき前記テレビ通話装置を使用する通話者と前記他のテレビ通話装置を使用する通話者とを認識する通話者認識部と、
   該通話者認識部における認識結果と前記個別情報記憶部が記憶する個別設定情報に基づき、前記通信部が前記他のテレビ通話装置に送信する画像情報、又は前記表示部が表示する画像情報の表示を設定する制御部と、
   を有することを特徴とするテレビ通話装置。
2. 請求項１に記載のテレビ通話装置において、
   前記個別設定情報は前記画像情報の背景画像に係る情報であって、
   前記制御部は、前記通話者認識情報に基づき前記背景画像を設定するよう前記画像処理部を制御する
   ことを特徴とするテレビ通話装置。
3. 請求項１に記載のテレビ通話装置において、
   前記通話者認識情報は、前記撮像部で撮像された前記テレビ通話装置のメンバーの顔に係る第１の画像情報と前記通信部で受信された前記他のテレビ通話装置のメンバーの顔に係る第２の画像情報を有し、
   前記通話者認識部は、前記テレビ通話装置を使用する通話者を前記撮像部が通話時に撮像した画像から生成した画像情報と前記第１の画像情報とに基づいて認識し、前記他のテレビ通話装置を使用する通話者を前記通信部が通話時に受信した前記他のテレビ通話装置を使用する通話者に係る画像情報と前記第２の画像情報とに基づいて認識する
   ことを特徴とするテレビ通話装置。
4. 請求項１に記載のテレビ通話装置において、
   該テレビ通話装置を使用する通話者が発生する音声を取込むマイクロフォンを備え、
   前記通話者認識部は、前記マイクロフォンが取込んだ音声から生成した音声情報に基づいて前記テレビ通話装置を使用する通話者を認識し、前記通信部が受信した音声情報に基づいて前記他のテレビ通話装置を使用する通話者を認識する
   ことを特徴とするテレビ通話装置。
5. テレビ通話装置と他のテレビ通話装置との間で、撮像した画像を含む画像情報をネットワークを介して通信するための、前記テレビ通話装置におけるテレビ通話処理方法であって、
   前記他のテレビ通話装置が送信した画像情報を受信する受信ステップと、
   該受信ステップで前記画像情報を受信した際に前記他のテレビ通話装置を使用する通話者を認識する認識ステップと、
   該認識ステップの認識結果に基づいて前記テレビ通信装置を使用する通話者の画像に前記背景画像を合成した合成画像を生成する画像処理ステップと、
   該合成画像を前記他のテレビ通話装置に送信する送信ステップ
   を有することを特徴とするテレビ通話処理方法。
6. 請求項５に記載のテレビ通話装置におけるテレビ通話処理方法において、
   前記認識ステップは、前記受信ステップで受信した画像情報に基づいて前記他のテレビ通話装置を使用する通話者を認識する
   ことを特徴とするテレビ通話処理方法。
7. 請求項５に記載のテレビ通話装置におけるテレビ通話処理方法において、
   前記認識ステップは、前記受信ステップで受信した画像情報に伴う通話者情報に基づいて前記他のテレビ通話装置を使用する通話者を認識し、
   前記テレビ通話装置を使用する通話者を認識するための通話者情報を前記他のテレビ通話装置に送信する送信ステップ
   を有することを特徴とするテレビ通話処理方法。
8. 請求項７に記載のテレビ通話装置におけるテレビ通話処理方法において、
   前記受信ステップで受信した前記他のテレビ通話装置を使用する通話者を認識するための通話者情報と前記テレビ通話装置を使用する通話者を認識するための通話者情報とに基づき前記背景画像を設定し、
   前記画像処理ステップは、前記受信ステップで受信した通話者情報に基づき前記テレビ通話装置を使用する通話者の画像を選択して前記設定ステップが設定した背景画像と合成した合成画像を生成し、
   前記画像処理ステップで生成した合成画像を前記他のテレビ通話装置に送信する
   ことを特徴とするテレビ通話処理方法。
9. 請求項７に記載のテレビ通話装置におけるテレビ通話処理方法において、
   前記受信ステップで受信した前記他のテレビ通話装置を使用する通話者を認識するための通話者情報と前記テレビ通話装置を使用する通話者を認識するための通話者情報とを前記表示ステップで表示する
   ことを特徴とするテレビ通話処理方法。
10. テレビ通話装置と、他のテレビ通話装置と、前記テレビ通話装置と前記他のテレビ通話装置との間で、撮像した画像を含む画像情報をネットワークを介して通信するため用いられるテレビ通話サーバとを有するテレビ通話システムにおけるテレビ通話処理方法であって、
    前記テレビ通話装置を使用する通話者を認識して該通話者に係る通話者情報を生成する認識ステップと、
    該認識ステップで生成された通話者情報に基づき前記テレビ通話装置が通信する他のテレビ通話装置を選択する選択ステップと、
    該選択ステップで選択された前記他のテレビ通話装置を使用する通話者に係る通話者情報を取得する取得ステップと、
    該取得ステップで取得された通話者情報に対応する通話者が使用する前記他のテレビ通信装置に、前記テレビ通話装置を使用する通話者に係る通話者情報を送信する送信ステップと、
    を有し、
    前記選択ステップは、前記テレビ通信サーバにログイン中の他のテレビ通話装置を、通信するテレビ通話装置として選択する、
    ことを特徴とするテレビ通話処理方法。

Images