JP4832869B2 - 通信端末およびその表示方法 - Google Patents

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末およびその表示方法に関するものである。

多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、ＭＣＵ（Multi-point Control Unit）を介して複数の端末が接続する。ＭＣＵは、多数の端末から送られてきた画像データを１つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。

基本的に、各拠点の画像を１つの画像に分割合成する場合、
（１）１つの画像を等分割する場合（たとえば４分割、９分割）と、
（２）１つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある（たとえば６分割）。

（１）の場合、ＭＣＵで結んでいる拠点からの画像が同じ面積を使って合成される。
（２）の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。

いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を１つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献１，２等に開示されている。

図１（Ａ）〜（Ｅ）は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。
図１の例においては、画面１を先に決められた枠（四角形）のウィンドゥに分割する。
たとえば、画面１は１つの大きなウィンドゥ（四角形）２と複数の小さなウィンドゥ（四角形）３−１〜３−５から形成され、話し手を大きなウィンドゥ２に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。

一般的なＰＣのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。

ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。

しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書（ex. メール）、住所データ、画像（静止画像、動画像）、音声などを送って、（通話相手にて自動的に再生され、）同時に観たり、Webサイトを同時に観たりすることが可能となる。

このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手（サーバを含む）と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、（ＰＤＡなどで）ページめくり的に取り扱う方法がある。
特開平０６−１４１３１０号公報 特開平０６−１４１３１１号公報

ところで、たとえば携帯IP-TV電話では、画面のサイズが小さいため、複数人で、画像ありの通話を行った場合、一人ひとりの顔の大きさが小さくなる。
PCのウィンドゥのように、ユーザがウィンドゥを動かしたら、サイズを変えたりできるようにするには、画面サイズ、および操作キーに制限があり、困難である。
また、複数人が同程度で話した場合、スクリーンが対応できない。

さらに、音量に応じて、スクリーンサイズを設定した場合、無駄な空間を増加させたり、画面内に全スクリーンを表示しきれなくなったりする問題を有している。
具体的には、全スクリーンの音量が小さい場合、小さいスクリーンが画面上を浮遊することになる。一方、全スクリーンが音量最大の場合、表示スクリーンの合計面積が画面面積を超えるという問題を有する。
これに対して、局所的に合計面積を画面面積に規格化することによって、画面内に収まらせることは可能であるが、次時刻におけるスクリーン位置の再配置（移動）が不連続的になる。

本発明の目的は、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる通信端末およびその表示方法を提供することにある。

本発明の第１の観点は、受信した画像データおよび音声データを再生する通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する複数の表示エリアを形成可能で、少なくとも画像の表示エリア中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段とを有する。

好適には、前記制御手段は、前記表示エリア中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。

好適には、前記制御手段は、前記表示エリアを、表示倍率(R(i))を最も大きくする位置に移動する。

前記制御手段は、表示倍率(R(k))を最も大きくする位置に、新規表示エリアの中心を生成する。

好適には、前記制御手段は、基準形状の面積を等しくする。

好適には、前記制御手段は、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たな表示エリアとする。

好適には、前記表示すべき画像に関する情報は、送信側装置からの受信情報に含まれ、前記制御手段は、前記受信情報に基づいて表示倍率を算出し、表示エリアの移動、新規生成を制御する。

本発明の第２の観点は、受信した画像データ、音声データを再生する通信端末の表示方法であって、特定のエリアを抽出されて表示すべき複数の画像の表示エリア中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、表示画面上に複数の表示エリアを形成し、表示すべき画像を含む複数の表示エリアを表示する。

本発明によれば、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる。

以下、本発明の実施形態を図面に関連付けて説明する。

図２および図３は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図２はエンコード装置を示すブロック図であり、図３はデコード装置を示すブロック図である。

本携帯通信端末１０は、送信元となるエンコード装置２０と、受信側とあるデコード装置３０とを有し、多地点通信可能に構成される。

エンコード装置２０は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、ＩＰアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有する。

図２のエンコード装置２０は、マイクロフォン等からなる音声入力部２０１、デジタルカメラ等の画像入力部２０２、キー入力等が可能な操作部２０３、音声入力部２０１により入力される音声データを符号化する音声符号化処理部２０４、画像入力部２０２から入力され所定エリアに切り出された画像データを符号化する画像符号化処理部２０５、撮像画像に関連付けた天地情報に基づいて、撮像画像の天地を受信側の表示部の画面（端末画面）の天地と一致するように補正する天地補正部２０６、撮像画像から顔のエリアを検出、抽出する顔エリア検出部２０７、顔エリア検出部２０７にて検出された顔エリアに基づいて使用するスクリーン（表示すべき表示画像エリア）を判別しスクリーン情報を生成するスクリーン判別部２０８、スクリーン判別部２０８の判定に基づいて受信画像から該当するエリアを切り出す切り出し部２０９、音声入力部２０１による入力音量を計測し音量情報を生成する入力音量計測部２１０、操作部２０３の入力情報に基づいて端末を制御する端末制御部２１１、端末制御部２１１の指示に基づいて指示情報や天地情報、スクリーン情報、音量情報等を含む制御情報を生成する制御情報生成部２１２、画像・映像を記憶する記憶部２１３、符号化された音声データおよび画像データ、制御情報、端末制御部２１１の指示に基づいて記憶部２１３から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部２１４、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース（Ｉ／Ｆ）２１５を有する。

デコード装置３０は、通信相手（送信元）のエンコード装置２０から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置３０は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン（サイズが制御された表示エリア）を選択して表示し、音声を発する機能を有する。
デコード装置３０は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。
また、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有する。
具体的な処理については、後で図面に関連付けて詳述する。

図３のデコード装置３０は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、音量情報等を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）３０１、キー入力等が可能な操作部３０２、ネットワークインタフェース３０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部３０３、受信パケット解析部３０３により抽出された音声データを復号する音声復号処理部３０４、受信パケット解析部３０３により抽出された映像データを復号する映像復号処理部３０５、映像復号処理部３０５により復号された映像データ、送信元アドレス、制御情報、スクリーン情報、サイズ情報、天地情報に基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部３０６、音声復号処理部３０４により復号された音声の音量を修正する音量修正部３０７、音量修正部３０７で修正された音量で発音するスピーカ等の音声出力部３０８、表示画像制御部３０６によりサイズや表示形態が制御された画像を補正する画像補正部３０９、画像補正部３０９を介した画像を表示するＬＣＤ等の表示部（画像出力部）３１０、および操作部３０２からの入力情報に基づいて表示画像制御部３０６に制御情報(天地情報)を与える自端末制御部３１１を有する。

なお、エンコード装置２０とデコード装置３０は、操作部２０３と３０２、ネットワークインタフェース２１０と３０１、端末制御部２１１と自端末制御部３１１は共用することが可能である。

以下に、本実施形態の特徴部分である表示画像制御部３０６のより具体的な構成および機能、並びにスクリーンの具体的な構成や表示形態例について順を追って説明する。

図３の表示画像制御部３０６は、受信パケット解析部３０３により供給される制御情報に基づいてスクリーン情報、サイズ情報、天地情報、および指示情報を抽出する制御情報解析部３０６１、スクリーン情報に基づいて映像復号処理部３０５で復号された映像に対してマスキングを行うマスキング処理部３０６２、サイズ情報に基づいて表示すべきスクリーン(表示画像エリア)の表示倍率を算出する表示倍率算出部３０６３、表示倍率算出部３０６３で算出された表示倍率に従ってマスキング処理後の画像を縮小・拡大する縮小・拡大処理部３０６４、表示倍率算出部３０６３で算出された表示倍率および天地情報に従って表示位置を算出する表示位置算出部３０６５、および表示位置算出部３０６５にて得られた表示部３１０上の位置に縮小・拡大処理部３０６４にて得られた画像をマッピングするマッピング処理部３０６６を有する。

本実施形態の表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンは、１つの画面上に複数のスクリーンを表示するマルチスクリーンとして表示される。

本実施形態の表示倍率算出部３０６３において、スクリーンは、スクリーンの表示位置を示す中心位置座標(P(i))、スクリーンの形状を示す基準形状(Unit(i))、スクリーンに対応付けられた音声の大きい(V(i))、スクリーンを画面上に表示する際の表示倍率(R(i))とを有し、表示倍率(R(i))は、周囲のスクリーンの中心位置座標(P(j))と結ぶ線分(L(i,j))と、その線分上の基準形状の厚さ(Lm(i,j),Lm(j,i))、および、音声の大きさ(V(i),V(j))に基づいて算出しされた仮表示倍率(R(i,j))の内、最も小さい値をする。
表示倍率算出部３０６３において、スクリーン中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。
また、スクリーンは、表示倍率(R(i))を最も大きくする位置に移動する。
また、スクリーンは、表示倍率(R(k))の最も大きい位置に、新規スクリーンの中心を生成する。
また、基準形状は、面積を等しくする。
さらにまた、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たなスクリーンとする。

次に、本実施形態に係る表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンの表示倍率の算出、新規スクリーンの生成位置の算出、スクリーンの移動位置の算出等についてより具体的に説明する。

図４に示すように、各スクリーン４０は、基準形状（Unit）を有する。表示部３１０の画面上へのスクリーン４０は、基準形状（Unit）を表示倍率（R)に従って、拡大・縮小して表示する。

表示倍率（R)の算出：
表示倍率算出部３０６３は、スクリーンiとスクリーンjとの中心間の距離（L(i,j))、各スクリーンの中心から前記方向への基準形状（Unit）における厚さ（Lm(i,j)、Lm(j,i))を算出し、および、各スクリーンに表示する内容における受信した音声の大きさ（V(i),V(j))に基づいて、スクリーンiにおけるスクリーンjからの算出される表示倍率（R(i,j))を以下の通りに算出する。

周囲に存在するスクリーン間の表示倍率を算出し、次式のように、その表示倍率の内、最も小さい値を実際の表示倍率（R(i))とする。

新規のスクリーンの生成位置の算出：
表示倍率算出部３０６３は、画面上に仮の中心を配し、各中心において、表示倍率（Rmin)を算出する。各表示倍率（R)の内、最も大きい値を取る位置を新規のスクリーンの生成の中心位置とする。

この条件を満たす中心(P(k))を新規スクリーンの中心位置とする。

スクリーンの移動位置の算出：
各スクリーンは、現在(t)の位置から一定距離内(集合I)の各位置において、表示倍率（R)を算出し、表示倍率の内、最も大きな値を取る位置を次時刻（t+Δt)における中心位置とする。

この条件を満たす中心（P(t+Δt))に移動する。

スクリーン位置は、時間経過に伴い、画面上を移動していく。このため、新規のスクリーンの生成においては、画面上の空き位置全てに対して演算を行う必要はない。つまり、画面上の何点かに対して、新規生成位置の判定を行い、その結果により位置を配置したとしても、時間経過とともに、表示倍率がもっとも大きい位置に移動していく。これにより、生成における演算負荷を低減することが可能となる。

随時、スクリーンの位置関係は変動していくため、表示倍率（R(*))算出における基準形状の厚さ（Lm(*))は、その時の方向に対して算出する必要がある。
この厚さ算出に関しては、（複雑な形状に対して）中心から対象方向へデジタル直線を引くことにより、算出することが可能となる。ただし、これは演算負荷の増加となる。これに対しては、各基準形状に対して、各角度に対する厚さを前もって算出したテーブルを参照することにより、表示倍率演算時の演算負荷を低減することが可能となる。

画面の四方の壁処理：
各スクリーン４０は、四方の壁との間に以下の演算規則に従って、表示倍率（R)を算出する。
図５に示すように、スクリーンの中心から壁に垂直に落とした点を算出上の壁の中心とし、中心間の線分（L(i,k))、基準形状（Unit）における厚さ(Lm(i,k),Lm(k,i))と、およびスクリーンの受信した音声の大きさ（V(i),V(k))を算出する。この時、壁における、音声の大きさは(V(k)=0)、基準形状の厚さ(Lm(k,i)=0)として、前述の表示倍率(R)の算出と同様に算出を行う。
各々のスクリーン４０において、表示倍率（R(i))を算出する場合、周囲のスクリーンとの表示倍率(R(i,j)と同様に、壁との表示倍率(R(i,k))を算出し、この内、最も小さい値を実際に表示する際の表示倍率（R(i))とする

基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を図６（Ａ）〜（Ｃ）に示す。
図６（Ａ）〜（Ｃ）において、左から、音声の大きさの比(V(0)：V(1))が、１：１、２：１、３：１の場合である。このように、音量に大きさに応じて、適応的にスクリーンサイズを変動することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を図７（Ａ）〜（Ｃ）に示す。
図７（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を図８（Ａ）〜（Ｃ）に示す。
図８（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人が発言をしている例であり、このように、一人が発言している場合、その人のスクリーンのみが、その大きさに応じて適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を図９（Ａ）〜（Ｃ）に示す。
図９（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：２、比(V(0)：V(1)：V(2)：V(3))が２：１：２：２の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人以外が発言をしている例であり、このように、複数の人が発言している場合でも、状況に合わせて、適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を図１０（Ａ）〜（Ｄ）に示す。
図１０（Ａ）〜（Ｄ）において、左から、長方形と楕円形、円形と楕円形、円形と長方形、下方が円形と楕円形と長方形の場合を示している。
基準形状は、形状が異なっても、面積を同等に設定することにより、各スクリーンは、適応的にスクリーンサイズを調整し、音声の大きさが等しい場合、視覚的に各々のスクリーンサイズが等しく表示することが可能となる。

さらに、本実施形態においては、スクリーン外のデッドゾーンを低減することから、図１１（Ａ）〜（Ｃ）に示すように、各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする。これにより、スクリーン数の増減と、各スクリーンの音声の大きさの増減に適応しつつ、画面を最大限に分割利用することが可能となる。
図１１（Ａ）〜（Ｃ）の例は、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。

次に、上述したようサイズおよび表示形態が制御される表示部３１０におけるスクリーン表示制御について、図１２から図１６に関連付けて説明する。

本実施形態においては、前述したように、デッドゾーンをなくした円形（楕円形）ウィンドゥにて分割する。

図１２および図１３に示すように、スクリーン上に表示する画像は、送信側(エンコード装置側)、ないし受信側(デコード装置側)において、画像から顔の特徴点を抽出し、これに基づいて、顔エリア算出を行う。この顔エリアがスクリーンにて包含されるように画像を切り出し、スクリーンにマッピングする。
図１２および図１３に示すように、受信画像から、顔の特徴点１１１を検索し、輪郭抽出を行って顔を抽出する。そして、一度、顔エリアを抽出した場合、動きベクトルに応じて顔エリアの追従を行って、切り出しを行う。

本実施形態においては、図２および図３に関連つけた図１４に示すように、エンコード装置２０側（符号化側）にて、顔エリアを検出し、検出した顔エリアを包含するとともに、顔以外のエリアが最小になるように円形のスクリーンを選択する。円形のスクリーンを包含する四角形エリアを送信画像として切り出し、これを符号化し、スクリーン情報、マイクなどの入力音声の音量情報とともにパケットとして送出する。
エンコード装置２０において、図１５に示すように、撮像画像に対して、符号化部分は一部分である。網掛けの部分は、切り落とし部分であり、符号化の対象から削除している。結果的に伝送する画像データの容量は削減される。

また、図１６に示すように、撮像されている内容を解析し、撮像内容に応じて、スクリーン形状を変える場合において、適用可能である。
図１６の例においては、人が撮像されていると判断された場合、スクリーン形状を楕円形にし、それ以外の場合はスクリーン形状を長方形にした場合である。
図１６に例においては、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。

そして、図１４に示すように、デコード装置３０においては、受信データから映像復号処理部３０５にて復号された受信画像を、制御情報解析部３０６１で抽出されたスクリーン情報に基づいてマスキングする。
また、表示倍率算出部３０６３において、サイズ情報に基づき表示倍率を算出し、縮小・拡大処理部３０６４において算出した倍率に従ってマスキングされた画像が縮小、拡大する。一方、表示位置算出部３０６５において、算出された表示倍率に従って表示位置を算出し、算出した表示位置に縮小または拡大された画像を含むスクリーンを表示部３１０に表示する。

個々で、多地点通信を行う場合であって、端末機を図２および図３に示す構成とした場合における処理に負荷について考察する。
デコード装置３０側で台数Ｎに増大した場合の処理は、次のようになる。

Ｏnew＝Ｎ×（マスキング処理＋縮小・拡大処理＋マッピング処理＋表示倍率算出＋表示位置算出）

これに対して、デコード装置側において、本実施形態の送信側(エンコード装置側)の処理をデコード装置側において行うように構成した場合の処理は次のようになる。

Ｏold＝Ｎ×（天地補正処理＋顔エリア検出＋スクリーン判定＋切り出し処理＋サイズ算出＋縮小・拡大処理＋表示倍率算出＋表示位置算出＋マッピング処理）

処理の差を観ると、図２および図３に示す構成の方が、次に示す分、負荷が軽減されていることになる。

Ｏsub＝Ｏold−Ｏnew
＝Ｎ×（天地補正処理＋顔エリア検出＋スクリーン判定＋切り出し処理＋サイズ算出−マスキング処理）

この内、処理負荷のほとんどは、「顔エリア検出」となる。

送信側（エンコード装置側）では、次に示す分だけ負荷が増加している。

Ｅnew＝天地補正処理＋顔エリア検出＋スクリーン判定＋切り出し処理＋サイズ算出

しかし、この負荷は接続する台数には依存しない。

以上説明したように、本実施形態によれば、送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有し、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有することから、スクリーンのサイズが、音量の大きさ、およびスクリーン数に応じて、適応的にサイズを変動させることができる。
また、スクリーンの動きが連続的になり、異なる形状であっても、最適なサイズに配置することが可能となる利点がある。
その結果、複数端末の接続時であっても、通話中の相手を確認しやすく、また、画像(スクリーン)は重ならないように制御されることから、会話している全員の状態が一目で確認することができる。また、新たな参加人にも容易に対応することができる。

一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。 表示倍率の算出処理を説明するための図である。 画面四方の壁処理を説明するための図である。 基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を示す図である。 基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を示す図である。 基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を示す図である。 各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする例を示す図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理の説明図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理後の切り出し処理の説明図である。 本実施形態の動作を模式的に示す図である。 本実施形態の動作を説明するための図であって、送信側における撮像画像の送信エリア例を示す図である。 スクリーン表示制御について説明するための図であって、顔エリアの面積に応じた処理の説明図である。

符号の説明

１０・・・携帯通信端末、２０・・・エンコード装置、２０１・・・音声入力部、２０２・・・画像入力部、２０３・・・操作部、２０４・・・音声符号化処理部、２０５・・・画像符号化処理部、２０６・・・天地補正部、２０７・・・顔エリア検出部、２０８・・・スクリーン判定部、２０９・・・切り出し処理部、２１０・・・入力音量計測部、２１１・・・端末制御部、２１２・・・制御情報生成部、２１３・・・記憶部、２１４・・・送信パケット生成部、２１５・・・ネットワークインタフェース（Ｉ／Ｆ）、３０・・・デコード装置、３０１・・・ネットワークインタフェース（Ｉ／Ｆ）、３０２・・・操作部、３０３・・・受信パケット解析部、３０４・・・音声復号処理部、３０５・・・映像復号処理部、３０６・・・表示画像制御部、３０７・・・音量修正部、３０８・・音声出力部、３０９・・・画像補正部、３１０・・・表示部（画像出力部）、３１１・・・自端末制御部、３０６１・・・制御情報解析部、３０６２・・・マスキング処理部、３０６３・・・表示倍率算出部、３０６４・・・縮小・拡大処理部、３０６５・・・表示位置算出部、３０６６・・・マッピング処理部。

Claims (8)

1. 受信した画像データおよび音声データを再生する通信端末であって、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき複数の画像の各々を表示する複数の表示エリアを形成可能で、少なくとも画像の表示エリア中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、前記表示エリアの表示倍率を算出し、当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、前記表示手段の表示画面上に複数の表示エリアを形成する制御手段と
   を有する通信端末。
2. 前記制御手段は、前記表示エリア中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する
   請求項１記載の通信端末。
3. 前記制御手段は、前記表示エリアを、表示倍率(R(i))を最も大きくする位置に移動する
   請求項１または２に記載の通信端末。
4. 前記制御手段は、表示倍率(R(k))を最も大きくする位置に、新規表示エリアの中心を生成する
   請求項１から３のいずれか一に記載の通信端末。
5. 前記制御手段は、基準形状の面積を等しくする
   請求項１から４のいずれか一に記載の通信端末。
6. 前記制御手段は、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たな表示エリアとする
   請求項１から５のいずれか一に記載の通信端末。
7. 前記表示すべき画像に関する情報は、送信側装置からの受信情報に含まれ、
   前記制御手段は、前記受信情報に基づいて表示倍率を算出し、表示エリアの移動、新規生成を制御する
   請求項１から６のいずれか一に記載の通信端末。
8. 受信した画像データ、音声データを再生する通信端末の表示方法であって、
   特定のエリアを抽出されて表示すべき複数の画像の表示エリア中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、前記表示エリアの表示倍率を算出し、
   当該表示倍率に基づいて表示エリアの移動、新規生成を制御して、表示画面上に複数の表示エリアを形成し、
   表示すべき画像を含む複数の表示エリアを表示する
   通信端末の表示方法。

Images