JP4499117B2

JP4499117B2 - 移動通信端末機、移動通信端末機の制御方法及び移動通信端末機を用いたテレビ電話方法

Info

Publication number: JP4499117B2
Application number: JP2007028613A
Authority: JP
Inventors: 泰星金
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2006-02-07
Filing date: 2007-02-07
Publication date: 2010-07-07
Anticipated expiration: 2027-02-07
Also published as: KR101240261B1; EP1841226A3; JP2007215189A; CN101018314A; EP1841226A2; CN101018314B; KR20070080401A; US20070200925A1; US8111280B2

Description

本発明は、移動通信端末機、移動通信端末機の制御方法及び移動通信端末機を用いたテレビ電話方法に関する

一般に、移動通信端末機（以下「端末機」ともいう）を利用したテレビ電話とは、通話者同士が相手の顔や姿を画面で見ながら通話（又は、通信）することをいう。ＷＣＤＭＡ（Wideband Code Division Multiple Access）技術では、このようなテレビ電話をサポートするために、例えば、３ＧＰＰＴＳ２６．１１１に定義されたビデオプロセッシングのための３Ｇ−３２４Ｍプロトコルを使用する。また、一般電話網において音声、映像、データなどを送／受信する場合はＨ．３２４標準が使用され、これは、移動通信環境に適合するように定義されている。

従来、Ｈ．３２４を利用してテレビ電話を行う場合、ユーザーが自身の姿をそのまま見せたくないような場合などには、代替（代用）画像を利用するようにしていた。

ここで、従来のテレビ電話における代替画像の利用例を説明する。
図１４は、テレビ電話をサポートする一般的なシステムのブロック図である。一般に、３Ｇ−３２４Ｍプロトコルを用いてテレビ電話が接続されると、持続的な映像情報及び音声情報の伝送が要求される。ここで、マイクにより取得される音声と、カメラにより取得される映像は、それぞれオーディオエンコーダ４１とビデオエンコーダ４２により符号化され、この符号化された情報（例えば、オーディオ情報及びビデオ情報）が３Ｇ−３２４Ｍプロトコルモジュール４３、４４で送／受信される。送信側端末機から伝送された情報は、受信側端末機に備えられたオーディオデコーダ４５とビデオデコーダ４６によりそれぞれ復号化され、オーディオデコーダ４５により復号化された音声はスピーカａから出力され、ビデオデコーダ４６により復号化された映像情報は表示部ｂに表示される。

図１５は、テレビ電話中に、送信側端末機及び受信側端末機に表示される画面の例を示す図である。送受信された映像は、図１５（ａ）、（ｂ）に示すように、それぞれの端末機の表示部に相手側の映像である受信画面と本人の映像である送信画面とが同時に表示される。

図１６は、テレビ電話において利用される代替画像の例を示す図である。従来のテレビ電話における代替画像の利用は、次のようにして行われていた。すなわち、装飾又は加工するための画像等（以下「装飾画像」という）を選択し、この装飾画像（眼鏡）を端末機のカメラなどを利用して取得した静止画像（顔）と組み合わせてオーバーレイ画像を形成し、このオーバーレイ画像を前記取得した静止映像とともに保存する。そして、この保存した静止画像又はオーバーレイ画像をテレビ電話用の画像として利用していた。なお、前記静止画像又はオーバーレイ画像は、端末機の待機状態（内部又は外部）の画面画像として設定することもでき、伝送及びダウンロードすることもできる。

しかしながら、このような従来のテレビ電話方法においては、テレビ電話時にユーザー自身の映像に代えて静止画像を送信することができるだけにとどまり、テレビ電話中のユーザーの映像（例えば、顔）に対してリアルタイムに装飾画像を追加等することはできなかった。

本発明者らは、このような課題に着目して本明細書に説明される特徴を提案するに至った。すなわち、静止画像又は動画像において、所定の顔の特徴を抽出し、抽出した特徴を利用して基準線を定め、この定めた基準線をもとに、前記静止画像又は動画像に装飾画像を一体化させて相手に伝送するものである。また、発信者が、着信者（相手側）の端末機における装飾を制御（すなわち、装飾映像の生成、変更など）するものである。
従って、本発明の目的は、テレビ電話中にユーザーの動きが発生してもリアルタイムに該ユーザーの顔の特徴を抽出し、この抽出した特徴を利用して該ユーザーの顔に装飾画像を追加して通話できるようにすること、テレビ電話中に相手側の端末機を制御して該相手側の端末機の画面に装飾された映像を表示できるようにすること、さらには、テレビ電話中の両端末機が、装飾画像の適用されたテレビ電話を行えるようにすることにある。

このため、本発明による移動通信端末機は、撮影部と、前記撮影部で撮影された顔の特徴を抽出し、抽出した特徴に基づいて該撮影された顔と装飾画像とを合成する合成部と、前記撮影された顔と前記装飾画像とが合成された合成映像を送信する送信部と、を含んで構成され、前記合成部は、前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、設定した前記第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線と、を一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする。

また、本発明による移動通信端末機を用いたテレビ電話方法は、撮影部で撮影された顔の特徴を抽出し、抽出した特徴に基づいて該撮影された顔と装飾画像とを合成する過程と、前記撮影された顔と前記装飾画像とが合成された合成映像を送信する過程と、を含んで構成され、前記合成する過程は、前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、設定した第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線と、を一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする。

また、本発明による移動通信端末機の制御方法は、テレビ電話用に撮影した顔、該撮影した顔を装飾するための装飾画像及び制御信号を相手側の移動通信端末機に伝送する過程と、前記相手側の移動通信端末機において、前記撮影した顔と前記装飾画像とを合成して表示させる過程と、を含んで構成され、前記表示させる過程は、前記相手側の移動通信端末機が、前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、設定した第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線と、を一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする。

ここで、前記相手側の移動通信端末機から前記合成した映像が伝送される過程をさらに含むようにしてもよい。また、前記撮影した映像は、動画像（例えば、ビデオ、アニメーションなど）又は静止画像を含む。

本発明によると、撮影部で撮影された顔の特徴を抽出し、抽出した特徴に基づいて該撮影された顔と装飾画像とを合成し、その合成映像を送信するので、例えばテレビ電話中に撮影対象であるユーザーが動いたとしても、その動きに対応して装飾画像との合成を行って、その結果得られる合成映像を相手側の移動通信端末機に送信することができる。

また、テレビ電話用に撮影した顔、該撮影した顔を装飾するための装飾画像及び制御信号を相手側の移動通信端末機に伝送し、該相手側の移動通信端末機において、前記撮影した顔と前記装飾画像とを合成して表示させるので、相手側の移動通信端末機がテレビ電話中に映像（顔）を装飾できる機能を有する場合には、（送信側）であらかじめ合成映像を生成することなく、相手側の移動通信端末機に合成映像を表示させることができる。

本発明は、移動通信端末機、移動通信端末機の制御方法及び移動通信端末機を用いたテレビ電話方法に関する。

本発明は、テレビ電話中に、相手側が見るリアルタイム映像（例えば、取得されたビデオ映像）に装飾画像を追加するか否かをユーザーが選択できるオプションを提供できる。これは、ユーザーがテレビ電話中にユーザー自身のリアルタイムの姿を見せたくないような場合等に、一定の静止画像（写真、グラフィック画像、壁紙など）を見せる従来のテレビ電話方法よりも改善されたものである。

装飾画像の追加は、例えば、テレビ電話中に発信側のユーザーが実際の自分の姿の全体もしくは一部を隠したり、テレビ電話をより楽しくしたりするために行われる。

この装飾画像をリアルタイムでユーザーのビデオ映像等に追加することは、テレビ電話中に、一定の静止画像を提供するよりも視覚的に好ましいであろう。テレビ電話中に取得したユーザーのリアルタイムの動きに対応させて装飾画像を追加するように画像処理がなされることにより、ユーザーがその装飾画像を実際に着用等しているような視覚的効果を与えることもできる。このようなテレビ電話は「装飾適用型テレビ電話」と言える。以下、かかる「装飾適用型テレビ電話」を実現するために実施形態を詳細に説明する。

本発明は、テレビ電話中に撮影されるユーザーの顔の特徴を抽出し、この抽出した特徴を利用して基準線を設定、追跡する。そして、装飾画像における基準線を前記追跡した基準線と一致させて合成することで、テレビ通話中のユーザーの顔に装飾画像を合成した合成映像（装飾映像という場合もある）を伝送することを可能とする。また、許容されれば、相手側の端末機を制御し、相手側の端末機に対して画像装飾（制御）を行うこともできる。

図１は、本発明の一実施形態に係る移動通信端末機を示すブロック図である。

本実施携帯に係る端末機は、音声入力を取得するマイク１０、取得された音声入力を符号化するオーディオエンコーダ１２、映像（例えば、該端末機のユーザーの映像）を取得（撮影）する取得部（撮影部）１４、撮影された映像から所定の特徴を抽出し、この抽出された特徴を利用して基準線を設定、追跡する追跡部１６及び追跡された基準線とメモリに保存された装飾画像における基準線（装飾画像側基準線）とを一致させるようにして撮影された映像に装飾画像を同調させる同調部１８を備え、撮影された映像と装飾画像とを合成する合成部１７、合成映像を符号化するビデオエンコーダ２２、オーディオエンコーダ１２から出力される音声とビデオエンコーダ２２から出力される映像とを同期化すると共に端末機の一連の動作を制御する制御部２４、符号化されて同期化された映像及び音声データをアンテナから送出するＲＦ送信部２６、通信ネットワークからテレビ電話時に生成される動画像データを受信するＲＦ受信部２８、ＲＦ受信部２８を介して受信された音声ファイルを制御部２４の制御下で復号化するオーディオデコーダ３４、復号化された音声を出力する出力部３６、ＲＦ受信部２８を介して受信された映像を制御部２４の制御下で復号化するビデオデコーダ３０、及び、復号化された映像を表示する表示部３２を含んで構成される。

図２は、本実施形態における顔の特徴の抽出例を示す図である。図２に示すように、テレビ電話中に撮影部としてのカメラから取得される映像から顔の形状を抽出し、抽出された顔の形状の領域内で色相、明暗などの情報を利用して目、鼻、口などの候補領域を決定し、この決定された候補領域における幾何学的情報を利用して目、鼻、口などの領域を判別する。そして、この判別された領域を利用して左右の目を結ぶ線（横線）と、その中心点と口の中央とを結ぶ線（縦線）又は鼻と口の中央を通る線（縦線）とで「Ｔ」字状又は「十」字状の基準線を設定する。

目、鼻、口などの候補領域内で基準線を決定するための領域判別が失敗した場合には、例えば、目、鼻、口の候補領域を広くして判別領域を拡大して処理を継続する。このような顔の特徴抽出及び基準線の設定はリアルタイムに行われるため、テレビ電話中にユーザーが動いても顔の特徴を適切に抽出でき、抽出された特徴を利用して（移動する）基準線を追跡することができる。

以下、図１及び図２を参照して、本実施形態に係る移動通信端末機を用いたテレビ電話方法を説明する。

ユーザーがテレビ電話機能を有する端末機を利用してテレビ電話を開始すると、端末機に備えられたマイク１０及びカメラ（撮影部）１４は、ユーザーの音声及び映像を取得する。マイク１０によって取得された音声は、オーディオエンコーダ１２により符号化されて制御部２４の制御下でＲＦ送信部２６を介して相手側の端末機に送信される。また、撮影部１４によって取得された映像は、追跡部１６に伝送される。追跡部１６は、撮影部１４から受信した映像からまず顔の形状を抽出し、抽出された顔の形状の領域内で色相、明暗などの情報を利用して目、鼻、口などの候補領域を決定する。

候補領域が決定されると、追跡部１６は、決定された候補領域の幾何学的情報を利用して目、鼻、口などの領域を判別し、幾何学的情報により両目を結ぶほぼ水平の直線とユーザー画像の鼻筋から口の中央までを結ぶほぼ垂直の直線を連結して「Ｔ」字状（又は「十」字状）の基準線とし、この基準線を追跡する。つまり、基準線は、抽出された顔における幾何学的構造としての目、鼻及び口の位置を示すことになる。そして、その追跡された基準線の角度、傾斜、移動、回転方向などの情報を算出して同調部１８に伝送する。同調部１８は、追跡部１６から受信したユーザーの顔の幾何学的構造に該当する基準線の情報を利用して、撮影部１４から取得した映像におけるユーザーの顔と、メモリ２０に保存されたユーザーの顔を装飾するための装飾画像（例えば、静止画像、動画像、写真、グラフィック、アニメーションなど）とを一致させる（同調させる）。

このように、「Ｔ」字状の基準線の設定及び基準線の角度、傾斜、移動、回転方向などの情報を算出は、テレビ通話中に取得されるユーザーの動きに応じてリアルタイムに行われる。

同調部１８は、ユーザーの顔に設定される基準線と、該基準線に対応させて装飾画像側に設定される基準線（装飾画像側基準線）とを一致させ、追跡部１６から伝送される映像とメモリに保存された装飾画像とを合成して１つの合成映像（装飾映像）を形成すると、この合成映像をビデオエンコーダ２２に伝送する。ビデオエンコーダ２２は、制御部２４の制御下で合成映像を符号化してＲＦ送信部２６に伝送し、ＲＦ送信部２６は、この符号化された合成映像をアンテナ（図示せず）で相手側の端末機に伝送する。

逆に、テレビ電話時に相手側から相手の顔を含む映像及び音声がＲＦ受信部２８を介して受信されると、この受信された音声及び映像は、制御部２４の制御下でそれぞれオーディオデコーダ３４及びビデオデコーダ３０に伝送される。オーディオデコーダ３４は、受信された音声を復号化してスピーカなどの出力部３６を介して出力し、ビデオデコーダ３０は、受信された映像を復号化した後、表示部３２に表示する。

図３は、本実施形態における顔の特徴の抽出及び基準線の追跡例を示す図である。ユーザーがテレビ電話中に動いても、図２に示す方法を用いることにより、動くユーザーの顔から特徴を抽出し、基準線を追跡することができる。

図４は、本実施形態における装飾画像の例を示す図である。通話中にユーザーの顔に装飾できる画像は、（小型）仮面、イヤリング、眼鏡などと多様であり、図２において追跡したユーザーの顔の「Ｔ」字状の基準線と、この基準線に対応して装飾画像に設定された基準線とを一致させることにより、テレビ電話時に撮影されたユーザーの顔に装飾画像を適合させる（重ね合わせる）ことができる。

図５は、本実施形態において装飾画像を撮影されたユーザーの顔に適合させるための同調方法を示す図である。テレビ電話中に図２に示す方法を用いてユーザーの顔における基準線を追跡し、この追跡した基準線の角度、傾斜、移動、回転方向などの情報を算出する。この算出した情報を利用して、装飾画像における基準線と、追跡したユーザーの顔における基準線とを比較し、装飾画像における基準線を追跡したユーザーの顔における基準線に一致させる。これにより、装飾画像をユーザーの顔の動きに同調させる。

図６は、本実施形態における装飾画像とユーザーの顔との合成例を示す図である。追跡したユーザーの顔における基準線の角度、傾斜、移動、回転方向などの情報を利用して、装飾画像における基準線をユーザーの顔における基準線と一致させた後に合成することにより、図６に示すように、ユーザーの顔の動きに合わせて装飾画像が適合される。このように、テレビ電話中にリアルタイムにユーザーの顔における基準線を追跡し、この追跡した基準線の角度、傾斜、移動、回転方向などの情報を算出し、この算出された情報を装飾画像に適用するため、ユーザーが動く方向に合わせて装飾画像も共に動く（同調させる）ことができる。

図７は、本実施形態における画像を装飾するためのデコレーションプロトコルを示すブロック図である。図７に示すように、映像及び音声などのデータを入出力するビデオＩ／Ｏユニット及びオーディオＩ／Ｏユニットから構成されたＩ／Ｏユニットセットと、入出力されるデータを処理するビデオプロセッシングユニット、オーディプロセッシングユニット及びデータプロセッシングユニットから構成されたプロセッシングユニットセットと、入出力されるデータの伝送プロトコルとデコレーションプロトコルのインタフェースを担当するアダプテーションユニットセットと、送受信端末機間のデコレーションプロトコルを管理するプロトコルコントローラと、を含んで構成される。

Ｉ／Ｏユニットセットにおいて、ビデオＩ／Ｏユニットは、カメラから取得した映像及び端末機に保存された画像を含む多様な形態のビデオ送信情報をビデオプロセッシングユニットの要求に応じた形態に変換して伝達する役割を果たし、また、ビデオプロセッシングユニットから伝達されるビデオ受信情報及び／又は加工情報を表示部へ出力したり保存したりする役割を果たす。また、オーディオＩ／Ｏユニットは、マイクから取得した音声及び端末機に保存されたファイルから得た情報を含む多様な形態のオーディオ送信情報をオーディオプロセッシングユニットの要求に応じた形態に変換して伝達する役割を果たし、また、オーディオプロセッシングユニットから伝達されるオーディオ受信情報及び／又は加工情報をスピーカ、レシーバ、イヤホンなどの出力部へ出力したり保存したりする役割を果たす。

また、プロセッシングユニットセットにおいて、ビデオプロセッシングユニットは、ビデオ情報を送信する場合にデコーダから入力されたデータを加工し、受信する場合にエンコーダに伝送するデータの加工を担当する。ビデオプロセッシングユニットは、代替映像伝送、送受信映像装飾、動画像保存、画面キャプチャー、顔認識、追跡などを担当するモジュールを含み、また、ユーザーのビデオプロセッシングモジュールを追加又は拡張できる。

また、オーディオプロセッシングユニットは、オーディオ情報を送信する場合にデコーダから入力されたデータを加工し、受信する場合にエンコーダに伝送するデータの加工を担当する。オーディオプロセッシングユニットは、代替音声伝送、送受信音声編集（例えば、変調、合成、認識）、通話音声保存などを担当するモジュールを含み、また、ユーザーのオーディオプロセッシングモジュールを追加又は拡張できる。また、データプロセッシングユニットは、テレビ電話中に伝達されるデータ情報を管理し、ビデオプロセッシングユニット及びオーディオプロセッシングユニットにおいて使用されるリソースを用意する役割を果たし、別途に、テレビ電話中に写真、動画像、音楽ファイルなどのデータ伝送のためのプロトコルとして使用でき、各種データをメモリに保存して読み出し／書き込みするインタフェースを提供する。

また、プロトコルコントローラは、テレビ電話時にユーザーの画像装飾などの操作に対して相手側端末機のプロトコルコントローラと情報を交換し、デコレーションレイヤの状態、並びにビデオ、オーディオ、及びデータプロセッシングユニットの動作を制御する。

図８は、本実施形態において合成映像（装飾映像）を伝送するためのＨ．３２４Ｍプロトコルの構造を示す図である。本実施形態に係るＨ.３２４Ｍプロトコルは、映像情報の送受信を担当し、これを処理するＨ．２６３又はＭＰＥＧ４などのビデオコーデックと、音声情報の送受信を担当し、これを処理するＡＭＲ（Adaptive Multi-Rate）又はＧ．７２３．１などのオーディオコーデックと、テレビ電話プロトコルの接続及びコントロールに関する機能をそれぞれ担当するコールコントロール（Call Control）と、テレビ電話中にデータを伝送できる機能を提供するデータプロトコルを含んで構成される。

さらに、Ｈ.３２４Ｍプロトコルは、前記ビデオコーデック、前記オーディオコーデックから出力されたデータを多重化するＨ．２２３マルチプレクサを含み、また、ＣＣＳＲＬ（Control Channel Segmentation and Reassembly）は、ＩＴＵ−Ｔ（International Telecommunications Union-Telecommunication Standardization Sector）勧告Ｈ．３２４／ＡｎｎｅｘＣで規定する制御フレーム（control frame）のＳＡＲ（Segmentation And Reassembly）実現方式であり、安定したＨ．２４５メッセージ交換の役割を提供する。また、ＣＣＳＲＬセグメントのカプセル化を担当するＮＳＲＰコマンドの最大サイズは２０４８オクテットである。

図９は、本実施形態において、テレビ電話時にマルチメディアデータを送受信するマルチメディアアプリケーションレイヤを示すブロック図である。テレビ電話中にリアルタイムにマイクから入力されたオーディオである声（live voice）、テレビ電話を行う前に予め端末機に保存された声（recorded voice）、端末機メーカが配布したか又はユーザーがインターネットで端末機にダウンロードした音楽（music）又はメロディ（melody）などのオーディオは、オーディオエンコーダを使用するユーザデータレイヤに入力される。

また、テレビ電話中に装飾されたリアルタイム映像（live video）、端末機メーカが配布したか又はユーザーが端末機のカムコーダ機能を使用して端末機に保存したビデオ（recorded video）、カメラで撮影した映像、アニメーション（animation）などのビデオは、ビデオエンコーダを使用するユーザデータレイヤに入力され、テキスト（text）と相手端末機のマナーモード調節、キーパッド調節などのように制限的に相手端末機を制御する制御信号（user’s control signal）とは、Ｈ．２４５プロトコルを用いるユーザデータレイヤに入力される。

オーディオエンコーダ及びビデオエンコーダにより符号化されたデータは、図９に示すように、Ｈ．２２３のＡＬ２（Adaptation Layer 2）又はＡＬ３を利用してＡＬ−ＰＤＵ（Protocol Data Unit）を生成し、Ｈ．２４５信号の場合は、Ｈ．２２３のＡＬ１を利用してＡＬ−ＰＤＵを生成する。それぞれのＡＬ−ＰＤＵは、Ｈ．２２３のマルチプレクサレイヤによりビットストリームを生成するために利用され、モデムを介して無線ネットワークにデータを伝送する。

このように構成されたモジュールにより、端末機はテレビ電話中にリアルタイムにオーディオ及び／又は合成映像（装飾映像）を送受信できる。

図１０は、本実施形態において、テレビ電話時にマルチメディアデータを送受信するためのＡＰＩ構造を示すブロック図である。マルチメディアサポート可能な映像チャットを実現するために３Ｇ−３２４ＭのソフトウェアをベースにしたＡＰＩ（Application Program Interface）の構造を示し、各テレビ電話時に入力されるデータに対するＡＰＩを定義し、また、関連するレイヤのＡＰＩを介してデータを送受信する。オーディオ／ビデオデータはオーディオ／ビデオコーデックＡＰＩを使用し、コントロールシグナル（Control Signal）はＨ．２４５ＡＰＩを使用し、コールセットアップ（Call setup）ＡＰＩはＨ．２４５とＨ．２２３のマルチプレクサＡＰＩ（Multiplexer API）を呼び出す。

図１１は、本実施形態におけるテレビ電話プロトコルにおいて、取得した映像（ユーザーの顔）に装飾画像を適用するための図である。顔への装飾画像の合成は、送信側端末機のカメラが取得した映像をテレビ電話プロトコルと連動したビデオエンコーダに伝達する直前に実行される。すなわち、この場合、受信機側端末機では、この装飾画像によって装飾されたリアルタイム映像を見るために一連の追加作業を必要としない。

図１２は、本実施形態に係る移動通信端末機を用いたテレビ電話方法を示すフローチャートである。ユーザーがテレビ電話モードを選択し、テレビ電話中に（撮影、送信する）自分の顔に小型仮面、イヤリング、眼鏡などの装飾画像を利用して自分の顔を装飾しようとする場合には、ユーザーは、まず、自分の顔を装飾しようとする画像（装飾画像）を選択する（Ｓ１００、Ｓ１０２、Ｓ１０４）。また、端末機は、テレビ電話モードの実行に伴い、映像撮影手段（カメラ）を利用してテレビ電話中のユーザーを撮影し、撮影した映像から該ユーザーの顔の形状を抽出し、この抽出された顔の形状の領域内で色相、明暗などの情報を利用して目、鼻、口などの幾何学的特徴（構造）を示す情報をリアルタイムに抽出する（Ｓ１０６）。

目、鼻、口などの特徴を示す情報が抽出されると、この抽出された情報を利用し、両目を結ぶ「―」状の直線と、該「―」状の直線のほぼ中央、すなわち、鼻筋から口の中央までを結ぶ「│」状の直線とを連結して設定される「Ｔ」字状の基準線を追跡し、該基準線の角度、傾斜、移動、回転方向などの情報を算出する（Ｓ１０８）。このような「Ｔ」字状の基準線の設定、追跡及び該基準線の角度、傾斜、移動、回転方向などの情報の算出は、テレビ通話中におけるユーザーの動きに応じてリアルタイムにかつ継続的に行われる。

追跡した基準線の情報が算出されると、該算出された情報を利用して前記過程（Ｓ１０４）でユーザーが選択した装飾画像を変換する（Ｓ１１０）。すなわち、該装飾画像における基準線の角度、傾斜、移動、回転方向などを前記追跡したユーザーの顔の基準線に一致させるようにする。そして、装飾画像における基準線と追跡した顔の基準線とが一致すると両者を合成して合成映像（装飾映像）とし、これを受信側の端末機に伝送する（Ｓ１１２、Ｓ１１４）。

そして、テレビ電話を行っている間、端末機は、ユーザーの顔が動く度に前記過程Ｓ１０６に戻ってユーザーの顔の特徴を示す情報をリアルタイムに抽出する（Ｓ１１６、Ｓ１０６）。

また、テレビ電話中に他の装飾画像として適用しようとする場合には、ユーザーは、装飾しようとする画像を選択する過程（Ｓ１０４）に戻って当該他の装飾画像を選択する（Ｓ１１８、Ｓ１０４）。

このように、テレビ電話中にユーザーの顔が動いたり、他の画像を装飾しようとしたりする場合には、前記過程Ｓ１０４〜Ｓ１１８を繰り返し行い、ユーザーがテレビ電話を終了すると、端末機はテレビ電話モードを終了する（Ｓ１２０）。これにより、テレビ電話を行っている間、受信側の端末機のユーザーは送信側のユーザーが選択した装飾画像によって装飾された合成映像を見ることになる。

ここで、本実施形態に係る移動通信端末機を用いたテレビ電話においては、送信側の端末機によって受信側の端末機の映像を制御することもできる。以下、説明する。図１３は、本実施形態に係る移動通信端末機間におけるテレビ電話において、送信側の端末機（以下「端末機Ａ」という）がテレビ電話の相手側の端末機、すなわち、受信側の端末機（以下「端末機Ｂ」という）の映像を制御する方法を示すフローチャートである。

端末機Ａのユーザーは、端末機Ｂに該当する装飾画像がない場合や端末機Ｂのユーザーが画像装飾モードを設定していない状態であっても、ユーザー端末機Ｂを制御して選択した装飾画像による映像装飾を操作できるが、これは次のような手順によって行われる。
すなわち、まず、端末機Ａは、端末機Ｂに装飾画像を操作できる権限（操作権限）を要求する（Ｓ２００）。

端末機Ｂが端末機Ａの操作権限を承認すると、端末機Ａは、端末機Ｂに端末機Ａのユーザーが選択した装飾画像が存在するか否かを確認するため、該装飾画像のＩＤを端末機Ｂに伝送する（Ｓ２０２、Ｓ２０４）。この装飾画像のＩＤを受信した端末機Ｂは、受信したＩＤを用いて該当する装飾画像が保存されているか否かを確認し、該当する装飾画像が存在しない場合は、端末機Ａに当該装飾画像の伝送を要求する（Ｓ２０６）。

端末機Ｂから画像伝送要求を受信した端末機Ａは、端末機Ｂに前記装飾画像を伝送し、また、端末機Ａは、端末機Ｂとの同期を取る（Ｓ２０８、Ｓ２１０、Ｓ２１２）。

端末機Ａ、Ｂ間の同期が取れると、端末機Ｂは、端末機Ａから受信した装飾画像のＩＤを確認してその結果を端末機Ａに伝送する（Ｓ２１４）。端末機Ｂから前記確認結果を受信すると、端末機Ａは、端末機Ｂに伝送した装飾画像を利用して端末機Ｂにおける装飾処理を開始する（Ｓ２１６）。ここで、一の装飾画像を利用して装飾を行っているときに、端末機Ａのユーザーが他の装飾画像を利用（選択）して装飾を行おうとする場合には、当該他の装飾画像のＩＤへの変更要求命令を端末機Ｂに伝送し、端末機Ｂは、端末機Ａから受信した他の装飾画像のＩＤを確認して該当する装飾画像がない場合は、当該他の装飾画像の伝送を要求する（Ｓ２１８、Ｓ２２０）。

端末機Ｂから他の装飾画像の伝送要求を受信した端末機Ａは、当該他の装飾画像を端末機Ｂに伝送し、また、端末機Ａは、端末機Ｂとの同期を取る（Ｓ２２２、Ｓ２２４、Ｓ２２６）。端末機Ａ、Ｂ間の同期が取れると、端末機Ｂは、端末機Ａが伝送した装飾画像に変更されたことを通知する画像ＩＤ変更確認メッセージを端末機Ａに送信し、端末機Ａは、画像ＩＤ変更確認メッセージを受信すると、端末機Ｂにおける装飾処理を継続し、テレビ電話が終了すると該装飾処理を終了する（Ｓ２２８、Ｓ２３０）。

ここで、前述したように、相手側の端末機（受信側の端末機）に装飾画像を伝送し、同期化を制御するには、図７に示すプロトコルを用いる。

なお、上記送信側の端末機及び受信側の端末機間における一連の動作は１つの実施形態であるが、それぞれの端末機は、上記と同様にして、送信側の端末機及び受信側の端末機で行われる一連の動作を実行することができる。また、本発明は、テレビ電話時に撮影される映像（動画）だけでなく、写真のような画像（静止画像）にも適用できる。

ここで説明された特徴は、様々なリアルタイム顔トラッキングソフトウェア（又はハードウェア）で実現可能である。

様々な要素（動き、回転、傾斜、画像スケーリングなど）に基づいて変換行列（conversion matrix）を算出し、装飾画像を調節することでユーザーの顔画像の動きに追従させ、同調させる（装飾画像をユーザーの顔画像の動きに対応させる）ことができる。

装飾画像とカメラ取得映像との合成には、カラーマスキング法を用いることができる。装飾画像が透明情報を有する場合やアプリケーションが透明度調節を要求する場合には、カラーマスキングと共にブレンディングを行うことにより透明効果を表現できる。

装飾画像として使用できるコンテンツは様々であり、具体的には、ｊｐｇ、ｇｉｆ、ｂｍｐ、ｔｉｆｆなどの静止画像、ａｎｉｇｉｆ、フラッシュなどのアニメーション画像、ｍｐ４などの動画像である。

３Ｇ−３２４Ｍテレビ電話プロトコルにおいて、コールコントロールを担当するＨ．２４５のＵｓｅｒＩｎｐｕｔＩｎｄｉｃａｔｉｏｎフィールドを利用すると端末機間におけるリアルタイムでの相互作用（interaction）が可能である。代表的な機能としては、ユーザーの端末キーパッド入力に対応するＤＴＭＦ（Dual Tone Multi Frequency）の（User Input Indication、alphanumericフィールド）と、画像チャットや簡単なユーザーユーザー定義シンボルの伝送をサポートする（User Input Indication、Non-standard Parameterフィールド）がある。

テレビ電話プロトコルの制御プロトコルを利用することで、相手側の端末機における装飾処理（映像デコレーション）を操作できる。３Ｇ−３２４Ｍでは、コールコントロールを担当するＨ．２４５のＵｓｅｒＩｎｐｕｔＩｎｄｉｃａｔｉｏｎフィールドのＮｏｎ−ｓｔａｎｄａｒｄＰａｒａｍｅｔｅｒを利用して、端末間で画像装飾操作のためのシンボル（image decoration adjustment symbols）を伝送する。別途に装飾画像を伝送する場合には、３Ｇ−３２４Ｍのデータプロトコル（data protocol）を利用する。

ここで、以上説明した実施形態から把握し得る本発明の技術思想について追記する。
本発明は、テレビ電話用に取得した顔画像から所定の顔の特徴を検出する段階と、検出した顔の特徴に基づいて、装飾画像を前記取得した顔画像の動きに同調させる段階と、前記取得した顔画像に前記同調させた装飾画像を追加して合成映像を形成する段階と、テレビ電話における映像として前記合成映像を相手側の移動通信端末機に伝送する段階と、を含んで構成されることを特徴とする移動通信端末機を用いたテレビ電話方法を提供する。

前記検出する段階は、例えば、前記取得した顔画像において前記所定の顔の特徴の位置を示す色相、明るさ、コントラストの少なくとも１つを比較して前記顔の特徴を検出することができる。また、前記同調させる段階は、前記検出した顔の特徴に関する動き、回転、傾斜、画像スケーリングのうちの少なくとも１つを考慮した画像処理によって行うことができる。

前記形成する段階は、前記装飾画像及び前記取得した顔画像のカラーマスキング、カラーブレンディング、画像透明度制御のうちの少なくとも１つを用いる画像処理によって行うことができる。また、前記伝送する段階は、無線通信プロトコルを用いて行うことができる。

前記各段階は、テレビ電話中に繰り返し行うことができる。また、前記各段階は、テレビ電話が開始されることによって、又は、通話制御プロトコル及びデータ制御プロトコルの少なくとも１つを用いたリモートアクセスによって、開始することができる。

ここに説明された特徴は、ソフトウェア、ハードウェア、又はその組み合わせで実現でき、ＷＣＤＭＡネットワーク、ＨＳＤＰＡ（高速ダウンリンクパケットアクセス）ネットワークなどの多様な技術に適用できる。

また、本発明は図に示す実施形態を参照して説明されたが、これは例示にすぎず、本発明の属する技術の分野の通常の知識を有する者であればここから多様な変形及び様々な実施形態が可能であるという点を理解するであろう。従って、本発明の技術的保護範囲は添付された特許請求の範囲の技術的思想により決定されるべきである。

本発明の一実施形態に係る移動通信端末機を示すブロック図である。本実施形態における顔の特徴の抽出例を示す図である。本実施形態における顔の特徴の抽出及び基準線の追跡例を示す図である。本実施形態における装飾画像の例を示す図である。本実施形態において装飾画像を撮影されたユーザーの顔に適合させるための同調方法を示す図である。本実施形態における装飾画像と顔との合成例を示す図である。本実施形態における画像を装飾するためのデコレーションプロトコルの例を示すブロック図である。本実施形態において合成映像（装飾映像）を伝送するためのＨ．３２４Ｍプロトコルの構造を示す図である。本実施形態において、マルチメディアデータをテレビ電話中に送受信するマルチメディアアプリケーションレイヤのブロック図である。本実施形態において、マルチメディアデータをテレビ電話中に送受信するＡＰＩ構造のブロック図である。本実施形態におけるテレビ電話プロトコルに装飾画像を追加する例を示す図である。本実施形態における移動通信端末機のテレビ電話方法を示すフローチャートである。本実施形態に係る移動通信端末機間におけるテレビ電話において、送信側の端末機が受信側の端末機の映像を制御する方法を示すフローチャートである。テレビ電話をサポートする一般的な通信システムのブロック図である。一般的な送信端末機及び受信端末機に表示される画面の例を示す図である。テレビ電話に使用される代替画像の例を示す図である。

符号の説明

１０：マイク
１２：オーディオエンコーダ
１４：撮影部
１６：追跡部
１７：合成部
１８：同期部
２０：メモリ
２２：ビデオエンコーダ
２４：制御部
２６：ＲＦ送信部
２８：ＲＦ受信部
３０：ビデオデコーダ
３２：表示部
３４：オーディオデコーダ
３６：出力部

Claims

撮影部と、
前記撮影部で撮影された顔の特徴を抽出し、抽出した特徴に基づいて該撮影された顔と装飾画像とを合成する合成部と、
前記撮影された顔と前記装飾画像とが合成された合成映像を送信する送信部と、
を含んで構成され、
前記合成部は、前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、
設定した前記第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線とを一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする移動通信端末機。
前記合成部は、
前記第１基準線を追跡する追跡部と、
追跡した第１基準線に基づいて、前記撮影された顔の動きに前記装飾画像を同調させる同調部と、
を含むことを特徴とする請求項１に記載の移動通信端末機。
前記装飾画像を保存するメモリを含むことを特徴とする請求項１に記載の移動通信端末機。
前記合成部は、前記撮影された顔の領域内における明暗、色相に基づき該撮影された顔における目及び口の領域を判別することを特徴とする請求項１に記載の移動通信端末機。
前記同調部は、前記追跡した第１基準線の角度、傾斜、移動、回転方向のうちの少なくとも１つの情報に基づき、該追跡した第１基準線に前記装飾画像における第２基準線を一致させることを特徴とする請求項２に記載の移動通信端末機。
撮影部で撮影された顔の特徴を抽出し、抽出した特徴に基づいて該撮影された顔と装飾画像とを合成する過程と、
前記撮影された顔と前記装飾画像とが合成された合成映像を送信する過程と、
を含んで構成され、
前記合成する過程は、
前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、
設定した第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線と、を一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする移動通信端末機を用いたテレビ電話方法。
前記合成する過程は、
前記第１基準線を追跡する過程と、
追跡した第１基準線に基づいて、前記撮影された顔の動きに前記装飾画像を同調させる過程と、
を含むことを特徴とする請求項６に記載の移動通信端末機を用いたテレビ電話方法。
前記合成する過程は、前記撮影された顔の領域内における明暗、色相に基づき該撮影された顔における目及び口の領域を判別することを特徴とする請求項６に記載の移動通信端末機を用いたテレビ電話方法。
前記合成する過程は、リアルタイムで前記第１基準線を設定することを特徴とする請求項６に記載の移動通信端末機を用いたテレビ電話方法。
前記同調させる過程は、前記追跡した第１基準線の角度、傾斜、移動、回転方向のうちの少なくとも１つの情報に基づき、該追跡した第１基準線に前記装飾画像における第２基準線を一致させることを特徴とする請求項７に記載の移動通信端末機を用いたテレビ電話方法。
テレビ電話用に撮影した顔、該撮影した顔を装飾するための装飾画像及び制御信号を相手側の移動通信端末機に伝送する過程と、
前記相手側の移動通信端末機において、前記撮影した顔と前記装飾画像とを合成して表示させる過程と、
を含んで構成され、
前記表示させる過程は、
前記相手側の移動通信端末機が、前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、
設定した第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線と、を一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする移動通信端末機の制御方法。
前記撮影した顔と前記装飾画像との合成は、
前記第１基準線を追跡する第１の過程と、
追跡した第１基準線に基づいて、前記撮影した顔の動きに前記装飾画像を同調させる第２の過程と、
を含むことを特徴とする請求項１１に記載の移動通信端末機の制御方法。
前記第１の過程及び前記第２の過程は、テレビ電話中に継続的に実行されることを特徴とする請求項１２に記載の移動通信端末機の制御方法。
前記撮影された顔における目及び口の領域は、前記撮影した顔の領域内における明暗、色相により判別されることを特徴とする請求項１１に記載の移動通信端末機の制御方法。
前記第１基準線は、リアルタイムで設定されることを特徴とする請求項１１に記載の移動通信端末機の制御方法。
前記第２の過程は、前記追跡した第１基準線の角度、傾斜、移動、回転方向のうちの少なくとも１つの情報に基づいて、該追跡した第１基準線に前記装飾画像における第２基準線を一致させることを特徴とする請求項１２に記載の移動通信端末機の制御方法。
テレビ電話の際に、相手側の移動通信端末機に操作権限を要求する過程と、
前記操作権限の要求が承認されると、前記相手側の移動通信端末機に撮影した顔、該撮影した顔を装飾するための装飾画像を伝送し、この伝送した装飾画像により装飾された顔を表示するように前記相手側の移動通信端末機を制御する過程と、
を含んで構成され、
前記制御する過程は、前記相手側の移動通信端末機において、前記撮影した顔と前記装飾画像とを合成する過程を含み、
前記合成する過程は、
前記撮影された顔における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、
設定した第１基準線と、前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線と、を一致させることにより、前記撮影された顔と前記装飾画像とを合成することを特徴とする移動通信端末機の制御方法。
前記制御する過程は、
前記相手側の移動通信端末機からの前記装飾画像の伝送要求の有無を確認する過程を含むことを特徴とする請求項１７に記載の移動通信端末機の制御方法。
前記制御する過程は、
前記相手側の移動通信端末機が前記装飾画像を受信すると、前記相手側の移動通信端末機との同期をとる過程を含むことを特徴とする請求項１７に記載の移動通信端末機の制御方法。
前記合成する過程は、
前記第１基準線を追跡する過程と、
追跡された第１基準線に基づいて、前記撮影した顔の動きに前記装飾画像を同調させる過程と、
を含むことを特徴とする請求項１７に記載の移動通信端末機の制御方法。
テレビ電話用に取得した顔画像から所定の顔の特徴を検出する段階と、
検出した顔の特徴に基づいて、装飾画像を前記取得した顔画像の動きに同調させる段階と、
前記取得した顔画像に前記同調させた装飾画像を追加して合成映像を形成する段階と、
テレビ電話における映像として前記合成映像を相手側の移動通信端末機に伝送する段階と、
を含んで構成され、
前記検出する段階は、前記取得した顔画像における目及び口の領域を判別し、判別された領域に基づき両目を結ぶ横線及び該横線の中点と口の中央とを結ぶ縦線からなるＴ字状の第１基準線を前記撮影された顔に設定し、
前記同調させる段階は、前記第１基準線を追跡し、追跡した第１基準線と前記装飾画像において前記第１基準線に対応する位置に設定されているＴ字状の第２基準線とを一致させることにより前記装飾画像を前記取得した顔画像の動きに同調させることを特徴とする移動通信端末機を用いたテレビ電話方法。
前記検出する段階は、前記取得した顔画像において色相、明るさ、コントラストの少なくとも１つを比較して前記取得した顔画像における目及び口の領域を判別することを特徴とする請求項２１に記載の移動通信端末機を用いたテレビ電話方法。
前記同調させる段階は、前記第１基準線に関する動き、回転、傾斜、画像スケーリングのうちの少なくとも１つを考慮した画像処理によって行うことを特徴とする請求項２１に記載の移動通信端末機を用いたテレビ電話方法。
前記形成する段階は、前記装飾画像及び前記取得した顔画像のカラーマスキング、カラーブレンディング、画像透明度制御のうちの少なくとも１つを用いる画像処理によって行うことを特徴とする請求項２１に記載の移動通信端末機を用いたテレビ電話方法。
前記伝送する段階は、無線通信プロトコルを用いて行うことを特徴とする請求項２１に記載の移動通信端末機を用いたテレビ電話方法。
前記各段階は、テレビ電話中に繰り返し行うことを特徴とする請求項２１に記載の移動通信端末機を用いたテレビ電話方法。
前記各段階は、テレビ電話が開始されることによって、又は、通話制御プロトコル及びデータ制御プロトコルの少なくとも１つを用いたリモートアクセスによって、開始することを特徴とする請求項２１に記載の移動通信端末機を用いたテレビ電話方法。