JP4916749B2 - テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法 - Google Patents

Description

この発明は、テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法に関する。

近年、携帯通信端末装置を用いたテレビ電話システム（ａ ｖｉｄｅｏ ｔｅｌｅｐｈｏｎｅ ｓｙｓｔｅｍ）の普及が進んでいる。テレビ電話システムは、遠隔地の通話相手との間で、テレビ電話端末装置に搭載又は接続されたカメラにより撮像した撮像データを音声データと共に送受信するものである。また、テレビ会議システム（ａ ｖｉｄｅｏ ｃｏｎｆｅｒｅｎｃｅ ｓｙｓｔｅｍ）のように、複数人の音声データと撮像データを送受信するシステムもテレビ電話システムの一種である。

このテレビ電話システムには、電話網を利用した回線交換方式だけでなく、音声データ及び撮像データをインターネットを通じて送受信するパケット交換方式も開発されている。一般的に、パケット交換方式のテレビ電話システムは、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）テレビ電話と言われ回線交換方式に比べて通話料が安価なため、回線交換方式から移行する動きが顕著である。

このような、従来のテレビ電話システムによるテレビ電話通話を行った場合の、テレビ電話端末装置の表示画面における表示例について説明する。
従来のテレビ電話システムに用いられるテレビ電話端末装置は、表示画面の表面方向と該方向の反対方向にそれぞれカメラレンズを配置した、第１と第２の２個のカメラ（撮像手段）を有している。第１カメラは、表示画面方向を撮像する（所謂「自分撮り」）ことができ、第２カメラは、表示画面と反対の方向を撮像することができる。

図２０は、従来のテレビ電話端末装置を用いてテレビ電話通話を行った場合の表示画面における表示例を示し、（ａ）は通話者Ａが第１カメラで撮像した画像の説明図、（ｂ）は（ａ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図、（ｃ）は通話者Ａが第２カメラで撮像した画像の説明図、（ｄ）は（ｃ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図である。

図２０においては、通話者Ａと通話者Ｂが、何れも第１と第２の２個のカメラを有するテレビ電話端末装置を用いてテレビ電話通話を行っており、通話者Ａは、第１カメラで人物（通話者）を、第２カメラでテレビ電話端末装置の後背風景をそれぞれ撮像し、通話者Ｂは、常に第１カメラで人物を撮像している。そして、通話者Ａが第１カメラで撮像した画像を通話者Ｂに送信し通話者Ｂが受信した場合（（ａ），（ｂ）参照）と、通話者Ａが第２カメラで撮像した画像を通話者Ｂに送信し通話者Ｂが受信した場合（（ｃ），（ｄ）参照）を示している。

つまり、図２０に示すように、通話者Ａが第１カメラで撮像した画像を通話者Ｂに送信した場合、通話者Ａのテレビ電話端末装置では、通話者Ａのテレビ電話端末装置で撮像した人物画が表示手段下部に、通話者Ｂのテレビ電話端末装置から受信した画像が表示手段上部に、それぞれ表示され（（ａ）参照）、通話者Ｂのテレビ電話端末装置では、通話者Ａのテレビ電話端末装置から受信した人物画が表示手段上部に、通話者Ｂのテレビ電話端末装置で撮像した画像が表示手段下部に、それぞれ表示される（（ｂ）参照）。

また、通話者Ａが第２カメラで撮像した画像を通話者Ｂに送信した場合、通話者Ａのテレビ電話端末装置では、通話者Ａのテレビ電話端末装置で撮像した風景画が表示手段下部に、通話者Ｂのテレビ電話端末装置から受信した画像が表示手段上部に、それぞれ表示され（（ｃ）参照）、通話者Ｂのテレビ電話端末装置では、通話者Ａのテレビ電話端末装置から受信した風景画が表示手段上部に、通話者Ｂのテレビ電話端末装置で撮像した画像が表示手段下部に、それぞれ表示される（（ｄ）参照）。

このような、従来のテレビ電話システムとして、例えば、「デジタル電子カメラ」（特許文献１参照）が知られている。
特開平１１−１３６５５４号公報

しかしながら、従来のテレビ電話システムで通話をする場合、表示画面には、通常、相手テレビ電話端末装置から受信した画像及び自テレビ電話端末装置にて撮像した画像の２つの画像が表示されるが、表示する画像の種類に関わらず表示レイアウトは一定である。このため、風景等を撮像する場合は、被写体迄の距離が遠いので表示領域が小さいと被写体を認識し難く、通話相手は詳細な情報を認識することが困難になる。特に、携帯電話機のように表示画面が小さい場合には顕著である。
この発明の目的は、表示画面に表示する画像の種類に応じて表示画面の表示レイアウトを変更することができるテレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法を提供することである。

上記目的を達成するため、この発明に係るテレビ電話システムは、テレビ電話端末装置の間で撮影画像データ及び音声データを送受信するテレビ電話システムであって、送信側のテレビ電話端末装置は、被写体を撮影している撮影方向を示す情報を受信側のテレビ電話端末装置に送信し、前記受信側のテレビ電話端末装置は、前記送信側の撮影方向を示す情報を受信し、該受信した送信側の撮影方向を示す情報に基づいて表示レイアウトを変更することを特徴としている。

また、この発明に係るテレビ電話端末装置は、被写体を撮影する撮影手段と、該撮影手段が撮影している撮影方向を示す情報を取得する取得手段と、通信対象のテレビ電話端末装置が表示レイアウトを変更するために、該取得手段が取得した前記撮影方向を示す情報を、当該通信対象のテレビ電話端末装置へ送信する送信手段と、を有することを特徴としている。
また、この発明に係るテレビ電話端末装置は、送信画像と受信画像を表示する表示手段と、通信対象のテレビ電話端末装置の撮影手段が撮影している撮影方向を示す情報を受信する受信手段と、該受信手段により受信した通信対象側の撮影方向を示す情報に基づいて、前記表示手段における送信画像及び受信画像の少なくとも一方の表示レイアウトを変更する変更手段とを有することを特徴としている。

また、この発明に係るテレビ電話画像表示方法は、送信側のテレビ電話端末装置の撮影手段が撮影している送信側の撮影方向を示す情報を取得し、前記送信側の撮影方向を示す情報を受信側のテレビ電話端末装置へ送信する処理と、前記送信側の撮影方向を示す情報を受信した受信側のテレビ電話端末装置が、前記送信側の撮影方向を示す情報に基づき、前記撮影手段が撮影した撮影画像を表示する表示手段の表示レイアウトを切り替える処理と、を有することを特徴としている。

本発明によれば、テレビ電話において、表示画面に表示する画像の種類に応じて表示画面の表示レイアウトを変更することができる。

以下、この発明を実施するための最良の形態について図面を参照して説明する。
（第１実施の形態）
図１は、この発明の第１実施の形態に係るテレビ電話端末装置の構成を示すブロック図である。図１に示すように、テレビ電話端末装置１０は、音声データ、撮像（撮影）データ及び撮像属性情報を送受信する通信手段１１、ユーザからの入力を受け付ける操作手段１２、音声入力を受け付ける音声入力手段１３、相手テレビ電話端末装置（通信対象のテレビ電話端末装置）から受信した音声データを出力する音声出力手段１４、撮像データを取得する第一撮像手段１５と第二撮像手段１６、表示を行う表示手段１７、及び各手段の制御を行う制御手段１８を有している。尚、テレビ電話端末装置１０は、撮像データ及び音声データを共に送受信することができる機能を備えた携帯通信端末装置を例示している。

制御手段１８は、撮像制御手段１９、撮像属性情報生成手段２０、表示制御手段２１、送信データ生成手段２２、及び受信データ解析手段２３を有している。撮像制御手段１９は、第一撮像手段１５と第二撮像手段１６の切り替えを制御しており、送信データ生成手段２２へ撮像データａを、撮像属性情報生成手段２０へ撮像手段選択情報ｂを、表示制御手段２１へ送信撮像データｃを、それぞれ送信する。撮像属性情報生成手段２０は、撮像属性情報ｄを生成し、送信データ生成手段２２へ撮像属性情報ｄを送信する。撮像属性情報生成手段２０で生成される撮像属性情報ｄは、第一撮像手段１５又は第二撮像手段１６のどちらで撮像しているかを示す情報とする。

表示制御手段２１は、受信データ解析手段２３から、受信撮像属性情報ｅ及び受信撮像データｆを、撮像制御手段１９から送信撮像データｃを、それぞれ入力する。そして、通信手段１１を介して相手テレビ電話端末装置から受信した撮像属性情報ｅに基いて表示レイアウトを決定し、決定した表示レイアウトになるように表示手段１７を制御する。つまり、表示制御手段２１は、相手テレビ電話端末装置から受信した撮像属性情報ｅが第一撮像手段１５を示す場合には、受信した画像を通常サイズ（デフォルト）で表示するように、相手テレビ電話端末装置から受信した撮像属性情報ｅが第二撮像手段１６を示す場合には、受信した画像を通常サイズよりも大きいサイズで表示するように、表示手段１７を制御する。尚、第一撮像手段１５と第二撮像手段１６の違いについては、後述する。

送信データ生成手段２２は、撮像データａ及び送信撮像属性情報ｄの入力により、送信データを生成し、生成した送信データを通信手段１１へ送信する。受信データ解析手段２３は、通信手段１１を介して相手テレビ電話端末装置から受信したデータを解析し、受信撮像属性情報ｅ及び受信撮像データｆを表示制御手段２１へ送出する。

図２は、図１のテレビ電話端末装置（携帯通信端末装置）が折畳み型、スライド型、回転型のように開閉可能に構成されている場合の該装置が開いている時における外観を示し、（ａ）は表面側平面図、（ｂ）は裏面側平面図である。図２に示すように、テレビ電話端末装置１０は、第１筐体２４と第２筐体２５を互いに離反・接近するように開閉することができる、例えば、折り畳み式構造を有している。

第１筐体２４は、メイン表示画面（表示手段）１７を備え、メイン表示画面１７方向にカメラレンズを配置した第１カメラ（第一撮像手段）１５（（ａ）参照）と、メイン表示画面１７方向の反対方向にカメラレンズを配置した第２カメラ（第二撮像手段）１６（（ｂ）参照）の２個のカメラを有している。第１カメラ１５は、表示画面方向を撮像することができユーザを撮影する所謂「自分撮り」カメラである。また、第２カメラ１６は、第１カメラ１５の撮像方向とは逆向きの方向を撮像することができ風景等を撮影するカメラである。

図３は、図１のテレビ電話端末装置を用いた撮像状況を示す説明図である。図３に示すように、テレビ電話端末装置１０は、第１カメラ１５で人物（テレビ電話端末装置１０を使用している通話者）Ｈを、第２カメラ１６でテレビ電話端末装置１０の後背の風景Ｓを、それぞれ撮像している。
図４は、図１のテレビ電話端末装置を用いてテレビ電話通話を行った場合の表示画面における表示例を示し、（ａ）は通話者Ａが第１カメラで撮像した画像の説明図、（ｂ）は（ａ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図、（ｃ）は通話者Ａが第２カメラで撮像した画像の説明図、（ｄ）は（ｃ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図である。

図４においては、通話者Ａと通話者Ｂが、何れも第１カメラ１５と第２カメラ１６の２個のカメラを有するテレビ電話端末装置１０を用いてテレビ電話通話を行っており、通話者Ａのテレビ電話端末装置は、第１カメラ１５で人物（通話者）Ｈを、第２カメラ１６でテレビ電話端末装置１０の後背の風景Ｓを、適宜撮像し、通話者Ｂのテレビ電話端末装置は、常に第１カメラ１５で通話者Ｂ（人物）を撮像している。そして、図４は、通話者Ａのテレビ電話端末装置が第１カメラ１５で撮像した画像を通話者Ｂのテレビ電話端末装置に送信し通話者Ｂのテレビ電話端末装置が受信した場合（（ａ），（ｂ）参照）と、通話者Ａのテレビ電話端末装置が第２カメラ１６で撮像した画像を通話者Ｂのテレビ電話端末装置に送信し通話者Ｂのテレビ電話端末装置が受信した場合（（ｃ），（ｄ）参照）を示している。

つまり、図４に示すように、通話者Ａのテレビ電話端末装置が第１カメラ１５で撮像した画像を通話者Ｂのテレビ電話端末装置に送信した場合、通話者Ａのテレビ電話端末装置１０では、通話者Ａのテレビ電話端末装置１０で撮像した人物（通話者Ａ）画Ｐａが表示手段下部に、通話者Ｂのテレビ電話端末装置から受信した画像、即ち、人物（通話者Ｂ）画Ｐｂが表示手段上部に、それぞれ表示され（（ａ）参照）、通話者Ｂのテレビ電話端末装置１０では、通話者Ａのテレビ電話端末装置１０から受信した人物（通話者Ａ）画Ｐａが表示手段上部に、通話者Ｂのテレビ電話端末装置１０で撮像した画像、即ち、人物（通話者Ｂ）画Ｐｂが表示手段下部に、それぞれ表示される（（ｂ）参照）。

また、通話者Ａのテレビ電話端末装置が第２カメラ１６で撮像した画像を通話者Ｂのテレビ電話端末装置に送信した場合、通話者Ａのテレビ電話端末装置１０では、通話者Ａのテレビ電話端末装置１０で撮像した画像、即ち、風景画Ｐｓが表示手段下部に、通話者Ｂのテレビ電話端末装置１０から受信した画像、即ち、人物（通話者Ｂ）画Ｐｂが表示手段上部に、それぞれ表示され（（ｃ）参照）、通話者Ｂのテレビ電話端末装置１０では、通話者Ａのテレビ電話端末装置１０から受信した画像、即ち、風景画Ｐｓが拡大して表示手段上部に、通話者Ｂのテレビ電話端末装置１０で撮像した画像、即ち、人物（通話者Ｂ）画Ｐｂが縮小して表示手段下部に、それぞれ表示される（（ｄ）参照）。

従って、通話者Ａのテレビ電話端末装置１０が風景Ｓを撮像した場合、通話者Ａのテレビ電話端末装置１０における表示画像（表示手段下部）である風景画Ｐｓは、人物Ｈを撮像した場合と同じ大きさであるが、通話者Ｂのテレビ電話端末装置１０における表示画像（表示手段上部）である風景画Ｐｓは、通話者Ａのテレビ電話端末装置１０から受信した画像を拡大して表示するので、人物を撮像した場合より大きくなり、視認性が向上する。
このとき、通話者Ｂのテレビ電話端末装置１０における表示画像（表示手段下部）である人物（通話者Ｂ）画Ｐｂは縮小して表示される。

次に、撮像属性情報の生成及び送信に関する処理手順について説明する。撮像属性情報の生成及び送信は、常時行なうとテレビ電話端末装置１０の処理負荷及び通信負荷となるため、所定間隔毎に生成及び送信するか、或いは撮像手段（第１カメラ１５・第２カメラ１６）切替時にのみ生成及び送信することが考えられる。

先ず、撮像属性情報を所定間隔毎に生成及び送信する場合について説明する。
所定間隔毎に生成及び送信する場合の例として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のＩフレーム画像毎に生成及び送信する方法が考えられる。ＭＰＥＧ画像のデコードにはＩフレーム画像が必須となるため、Ｉフレーム画像以外のフレーム送信時に撮像属性情報を送信する必要はない。
図５は、撮像属性情報をＩフレーム画像送信時に送信する場合における撮像属性情報送信間隔を示す説明図である。図５に示すように、ここでは、１５フレームにつき１回の頻度で撮像属性情報を生成及び送信するため、常時行なう場合に比べ、テレビ電話端末装置の処理負荷及び通信負荷を軽減することが可能になる。

図６は、撮像属性情報をＩフレーム画像送信時に送信する場合における送信制御手順を示すフローチャートである。図６に示すように、先ず、操作手段１２から得られる操作信号に基づきテレビ電話通話を開始するか否かを判断し（ステップＳ１０１）、判断の結果、テレビ電話通話を開始する（ｙｅｓ）場合、撮像制御手段１９が、最初に第１カメラ１５を選択して撮像を行い（ステップＳ１０２）、その後、撮像属性情報生成手段２０が第１カメラ１５を選択していることを示す撮像属性情報を生成し（ステップＳ１０３）、通信手段１１によって撮像属性情報を送信する（ステップＳ１０４）。以降、ループを開始し（ステップＳ１０５）、テレビ電話通話を終話するまで処理を繰り返す。
一方、ステップＳ１０１での判断の結果、テレビ電話通話を開始しない（ｎｏ）場合、判断を繰り返す。

撮像属性情報を送信した後、撮像制御手段１９は、操作手段１２で撮像手段（第１カメラ１５・第２カメラ１６）の切替操作があったか否かを判断し（ステップＳ１０６）、切替操作があった（ｙｅｓ）場合、これまで第１カメラ１５・第２カメラ１６のどちらで撮像していたか、即ち、現在使用中の撮像手段は何かを判断する（ステップＳ１０７）。判断の結果、第１カメラ１５を使用していた（第一）場合、撮像制御手段１９は、使用対象を第１カメラ１５から第２カメラ１６に切り替え（ステップＳ１０８）、第２カメラ１６を使用していた（第二）場合、撮像制御手段１９は、使用対象を第２カメラ１６から第１カメラ１５に切り替える（ステップＳ１０９）。

撮像制御手段１９による撮像手段の切り替えの後、制御手段１８は、Ｉフレーム画像を送信するタイミングか否かを判断し（ステップＳ１１０）、Ｉフレーム画像を送信するタイミングである（ｙｅｓ）場合、現在使用中の撮像手段を判断する（ステップＳ１１１）。判断の結果、第１カメラ１５を使用していた（第一）場合、撮像属性情報生成手段２０が第１カメラ１５を選択していることを示す撮像属性情報を生成し（ステップＳ１１２）、第２カメラ１６を使用していた（第二）場合、撮像属性情報生成手段２０が第２カメラ１６を選択していることを示す撮像属性情報を生成する（ステップＳ１１３）。

その後、通信手段１１が、生成した撮像属性情報を送信する（ステップＳ１１４）。そして、テレビ電話通話の終話条件が満たされることにより、ループを終了して、処理を終了する。
一方、ステップＳ１１０において、Ｉフレーム画像を送信するタイミングでない（ｎｏ）場合、ループ処理に戻る。

続いて、撮像属性情報を撮像手段切替時に生成及び送信する場合について説明する。
撮像手段切替時にのみ撮像属性情報を生成及び送信するため、前述の撮像属性情報を所定間隔毎に生成及び送信する場合に比べ、撮像属性情報の変化を直ちに伝えることが可能であり、且つ、撮像属性情報の生成及び送信が必要最小限で済むため、テレビ電話端末装置の処理負荷及び通信負荷を、更に軽減することができる。

但し、本発明では、テレビ電話通話に無線通信を用いるため、通信環境の悪化等により情報が欠落することが想定され、その際に撮像属性情報が欠落すると、撮像手段の切り替えが行なわれたことを相手テレビ電話端末装置において認識できず、表示レイアウトが適切に変更できない虞がある。
従って、撮像属性情報の送信時には、相手テレビ電話端末装置において正しく受信したか否かをＡＣＫ（ＡＣＫｎｏｗｌｅｄｇｅｍｅｎｔ）を用いて確認することが必要となり、正しく受信できなかった場合には、撮像属性情報を再送信する等の処理を行なうことが望ましいが、以下の説明では省略する。

図７は、撮像属性情報を撮像手段切替時に送信する場合における送信制御手順を示すフローチャートである。図７に示すように、先ず、操作手段１２から得られる操作信号に基づきテレビ電話通話を開始するか否かを判断し（ステップＳ２０１）、判断の結果、テレビ電話通話を開始する（ｙｅｓ）場合、撮像制御手段１９が、最初に第１カメラ１５を選択して撮像を行い（ステップＳ２０２）、その後、撮像属性情報生成手段２０が第１カメラ１５を選択していることを示す撮像属性情報を生成し（ステップＳ２０３）、通信手段１１によって撮像属性情報を送信する（ステップＳ２０４）。以降、ループを開始し（ステップＳ２０５）、テレビ電話通話を終話するまで処理を繰り返す。
一方、ステップＳ２０１での判断の結果、テレビ電話通話を開始しない（ｎｏ）場合、判断を繰り返す。

撮像属性情報を送信した後、撮像制御手段１９は、操作手段１２で撮像手段の切替操作があったか否かを判断し（ステップＳ２０６）、切替操作があった（ｙｅｓ）場合、これまで第１カメラ１５・第２カメラ１６のどちらで撮像していたか、即ち、現在使用中の撮像手段は何かを判断する（ステップＳ２０７）。

判断の結果、第１カメラ１５を使用していた（第一）場合、撮像制御手段１９は、使用対象を第１カメラ１５から第２カメラ１６に切り替え（ステップＳ２０８）、撮像属性情報生成手段２０が、第２カメラ１６を選択し使用中であることを示す撮像属性情報を生成する（ステップＳ２０９）。一方、第２カメラ１６を使用していた（第二）場合、撮像制御手段１９は、使用対象を第２カメラ１６から第１カメラ１５に切り替え（ステップＳ２１０）、撮像属性情報生成手段２０が、第１カメラ１５を選択し使用中であることを示す撮像属性情報を生成する（ステップＳ２１１）。

その後、生成した撮像属性情報を通信手段１１に送り、通信手段１１は、撮像属性情報を送信する（ステップＳ２１２）。そして、テレビ電話通話の終話条件が満たされることにより、ループを終了し、処理を終了する。
一方、ステップＳ２０６において、操作手段１２で撮像手段の切替操作がなかった（ｎｏ）場合、ループ処理に戻る。

次に、撮像属性情報の受信により表示レイアウトを変更する処理手順について説明する。
図８は、表示レイアウトを変更する表示制御手順を示すフローチャートである。図８に示すように、先ず、操作手段１２から得られる操作信号に基づきテレビ電話通話を開始するか否かを判断し（ステップＳ３０１）、判断の結果、テレビ電話通話を開始する（ｙｅｓ）場合、表示制御手段２１は、最初に、表示画面１７における表示レイアウトを、通常表示モード、即ち、通話者Ａのテレビ電話端末装置が第１カメラ１５で撮像した状態で通話者Ｂのテレビ電話端末装置が受信した画像（図４（ｂ）参照）と同様の表示レイアウトに設定する（ステップＳ３０２）。

以降、ループを開始し（ステップＳ３０３）、テレビ電話通話を終話するまで処理を繰り返す。
一方、ステップＳ３０１での判断の結果、テレビ電話通話を開始しない（ｎｏ）場合、判断を繰り返す。
表示レイアウトを通常表示モードに設定した後、表示制御手段２１は、通信手段１１が受信した受信データを解析し（ステップＳ３０４）、撮像属性情報があるか否かを判断し（ステップＳ３０５）、撮像属性情報がある（ｙｅｓ）場合、通話相手から受信した撮像属性情報が第１カメラ１５・第２カメラ１６のどちらを示すか、即ち、通話相手が現在使用中の撮像手段は第１カメラ１５か第２カメラ１６かを判断する（ステップＳ３０６）。

判断の結果、撮像属性情報が第１カメラ１５を示す（第一）場合、表示制御手段２１は、表示レイアウトを通常表示モードに設定し（ステップＳ３０７）、撮像属性情報が第２カメラ１６を示す（第二）場合、表示制御手段２１は、表示レイアウトを、受信画像拡大表示モード、即ち、通話者Ａのテレビ電話端末装置が第２カメラ１６で撮像した状態で通話者Ｂのテレビ電話端末装置が受信した画像（図４（ｄ）参照）と同様の表示レイアウトに設定する（ステップＳ３０８）。

その後、表示制御手段２１に指示された表示レイアウトに従って、画像、その他の情報が表示画面１７に表示される（ステップＳ３０９）。そして、テレビ電話通話の終話条件が満たされることにより、ループを終了し、処理を終了する。
一方、ステップＳ３０５において、撮像属性情報がない（ｎｏ）場合、表示画面１７に画面表示が行われた（ステップＳ３０９）後、ループ処理に戻る。

上述したように、本実施の形態によれば、撮像属性情報を送受信することで表示レイアウトの切り替えを行なう。これにより、第２カメラ１６による撮像データを受信していると認識した場合には、第１カメラによる撮影に比べ被写体迄の距離が遠い風景画などの可能性が高いため、視認性が良くなるように受信画像を拡大表示する表示レイアウトに変更することができる。

図９は、図１のテレビ電話端末装置の表示画面における表示比率を示す説明図である。図１０は、図９の表示画面における表示比率による表示例を示し、（ａ）は送信画像及び受信画像が共に第一撮像部の場合の説明図、（ｂ）は送信画像が第二撮像部、受信画像が第一撮像部の場合の説明図、（ｃ）は送信画像が第一撮像部、受信画像が第二撮像部の場合の説明図、（ｄ）は送信画像及び受信画像が共に第二撮像部の場合の説明図である。

図９に示すように、テレビ電話端末装置１０の表示画面１７における表示面積を１０として、送信画像及び受信画像が共に第一撮像部（第１カメラ１５）の場合、受信画像と送信画像とガイド部の面積比率を３：２：５とし（図１０（ａ）参照）、同様に、送信画像が第二撮像部（第２カメラ１６）、受信画像が第一撮像部の場合、受信画像と送信画像とガイド部の面積比率を２：３：５とする（図１０（ｂ）参照）。
同様に、送信画像が第一撮像部、受信画像が第二撮像部の場合、受信画像と送信画像とガイド部の面積比率を４：１：５とし（図１０（ｃ）参照）、同様に、送信画像及び受信画像が共に第二撮像部の場合、受信画像と送信画像とガイド部の面積比率を３：２：５とする（図１０（ｄ）参照）。

なお、この表示比率は、テレビ電話端末装置の各ユーザが任意の比率に設定することができるようにしても良い。
図１１は、この発明の第１実施の形態に係るテレビ電話端末装置の他の構成を示すブロック図である。図１１に示すように、テレビ電話端末装置２６は、制御手段２７の撮像属性情報生成手段２０が、送信データ生成手段２２へ撮像属性情報ｄを出力するのに加え、表示制御手段２１へ、送信撮像属性情報ｇを出力する。

これにより、表示制御手段２１は、相手テレビ電話端末装置から受信した撮像属性情報ｅ、及び自テレビ電話端末装置が被写体を撮影している撮影方向を示す情報である送信撮像属性情報ｇに基いて、表示レイアウトを決定し、決定した表示レイアウトになるように表示手段１７を制御する。その他の構成及び作用は、テレビ電話端末装置１０と同様である。
このように、表示制御手段２１へも送信撮像属性情報ｇが入力することにより、受信側のテレビ電話端末装置の撮影状況を考慮した最適な表示レイアウトを行うことができる。

（第２実施の形態）
図１２は、この発明の第２実施の形態に係るテレビ電話端末装置の構成を示すブロック図である。図１２に示すように、テレビ電話端末装置３０は、音声データ、撮像データ及び撮像属性情報を送受信する通信手段１１、ユーザからの入力を受付ける操作手段１２、音声入力を受付ける音声入力手段１３、相手テレビ電話端末装置から受信した音声データを出力する音声出力手段１４、表示を行う表示手段１７、撮像データを取得する撮像手段３１、撮像方向を検出する撮像方向検出手段３２、及び各手段の制御を行う制御手段３３を有している。

即ち、テレビ電話端末装置３０は、撮像データを取得する第１カメラ１５と第２カメラ１６の２個のカメラに代えて、１個の撮像手段（カメラ）３１を有すると共に、カメラ３１の向きを検出する撮像方向検出手段３２を有しており、更に、制御手段１８に代えて制御手段３３を有している。その他の構成及び作用は、第１実施の形態に係るテレビ電話端末装置１０と同様である。

図１３は、図１２のテレビ電話端末装置（携帯通信端末装置）が折畳み型、スライド型、回転型のように開閉可能に構成されている場合の該装置が開いている時における外観を示し、（ａ）は表面側平面図、（ｂ）は裏面側平面図であり、図１４は、図１３のテレビ電話端末装置（携帯通信端末装置）が折畳み型、スライド型、回転型のように開閉可能に構成されている場合の該装置が開いている時における外観図に対応したカメラ装着側面を示し、（ａ）はカメラをメイン表示画面１７方向に向けた状態の側面図、（ｂ）はカメラをメイン表示画面１７方向の反対方向に向けた状態の側面図である。

図１３及び図１４に示すように、テレビ電話端末装置３０は、第１筐体３４と第２筐体２５（図２参照）を互いに離反・接近するように開閉することができる、例えば、折り畳み式構造を有している。表示画面（表示手段）１７を備えた第１筐体３４の側面には、カメラ３１が装着されている。即ち、第１筐体３４は、第１カメラ１５と第２カメラ１６に代えてカメラ３１が設けられている他は、第１筐体２４と同様の構成を有している。

このカメラ３１は、第１筐体３４の側面に突設された軸部を回動軸として回動自在に取り付けられており、筐体側方に位置するカメラレンズを、メイン表示画面１７側（図１３、図１４（ａ）参照）或いはメイン表示画面１７方向の反対側（図１４（ｂ）参照）に向けることができる。従って、カメラ３１は、メイン表示画面１７方向（図１４（ａ）白抜き矢印参照）、或いはメイン表示画面１７方向とは逆向きのメイン表示画面１７方向の反対方向（図１４（ｂ）白抜き矢印参照）の何れの方向も、自由に撮像することができる。なお、以後、メイン表示画面１７方向を第一撮像方向Ｄ１、メイン表示画面１７方向の反対方向を第二撮像方向Ｄ２と称する。
そして、カメラレンズの回動に伴うカメラ３１の撮像方向は、撮像方向検出手段３２によって検出され、検出データは、後述する撮像属性情報生成手段３５へ送られる。

制御手段３３は、撮像制御手段１９及び撮像属性情報生成手段２０の代わりに、撮像属性情報を生成する撮像属性情報生成手段３５を有している。その他の構成及び作用は、第１実施の形態に係る制御手段１８と同様である。
撮像属性情報生成手段３５は、送信撮像属性情報ｇを、送信データ生成手段２２へ送信する。また、表示制御手段２１には、カメラ３１から撮像データａが送信される。この撮像属性情報生成手段３５により生成される撮像属性情報は、カメラ３１が、第一撮像方向Ｄ１或いは第二撮像方向Ｄ２のどちらで撮像しているかを示す情報とする。

表示制御手段２１は、相手テレビ電話端末装置から受信した撮像属性情報ｅが第一撮像方向Ｄ１（図１４（ａ）参照）を示す場合は、受信した画像を通常サイズ（デフォルト）で表示するように、相手テレビ電話端末装置から受信した撮像属性情報ｅが第二撮像方向Ｄ２（図１４（ｂ）参照）を示す場合は、通常よりも大きい拡大サイズで表示するように、それぞれ表示手段１７を制御する。

図１５は、図１２のテレビ電話端末装置を用いた撮像状況を示す説明図である。図１５に示すように、テレビ電話端末装置３０は、カメラ１５を第一撮像方向Ｄ１に向けて人物（テレビ電話端末装置３０を使用している通話者）Ｈを、カメラ３１を第二撮像方向Ｄ２に向けてテレビ電話端末装置３０の後背の風景Ｓを、適宜撮像可能である。第一撮像方向Ｄ１で撮像することは、第１実施の形態における第一撮像手段１５で撮像することに相当し、第二撮像方向Ｄ２で撮像することは、第１実施の形態における第二撮像手段１６で撮像することに相当する。

通話者Ａと通話者Ｂがテレビ電話通話を行っている場合の第２実施の形態における表示例については、第１実施の形態における表示例（図４参照）と同様であるため、ここでの説明は省略する。
次に、撮像属性情報の生成及び送信に関する処理手順について説明する。撮像属性情報の生成及び送信は、第１実施の形態における場合と同様に、所定間隔毎に生成及び送信するか、或いは撮像方向切替時にのみ生成及び送信することが考えられる。

先ず、撮像属性情報を所定間隔毎に生成及び送信する場合について説明する。
所定間隔毎に生成及び送信する場合の例として、第１実施の形態における場合と同様に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のＩフレーム画像毎に生成及び送信する方法が考えられる。

図１６は、撮像属性情報をＩフレーム画像送信時に送信する場合における送信制御手順を示すフローチャートである。図１６に示すように、先ず、操作手段１２から得られる操作信号に基づきテレビ電話通話を開始するか否かを判断し（ステップＳ４０１）、判断の結果、テレビ電話通話を開始する（ｙｅｓ）場合、それ以降、ループを開始し（ステップＳ４０２）、テレビ電話通話を終話するまで処理を繰り返す。
一方、ステップＳ４０１での判断の結果、テレビ電話通話を開始しない（ｎｏ）場合、判断を繰り返す。

テレビ電話通話を開始した後、制御手段３３は、Ｉフレーム画像を送信するタイミングか否かを判断し（ステップＳ４０３）、Ｉフレーム画像を送信するタイミングである（ｙｅｓ）場合、撮像方向検出手段３２は、カメラ３１の撮像方向を検出し（ステップＳ４０４）、その後、撮像方向が第一撮像方向Ｄ１か否か、即ち、カメラ３１が第一撮像方向Ｄ１を撮影（撮像）中か否かを判断する（ステップＳ４０５）。
判断の結果、カメラ３１が第一撮像方向Ｄ１を撮影中（ｙｅｓ）である場合、撮像属性情報生成手段３５が第一撮像方向Ｄ１を撮像中であることを示す撮像属性情報を生成する（ステップＳ４０６）。一方、カメラ３１が第一撮像方向Ｄ１を撮影中でない（ｎｏ）場合、撮像属性情報生成手段３５が第二撮像方向Ｄ２を撮像中であることを示す撮像属性情報を生成する（ステップＳ４０７）。

その後、通信手段１１が、生成した撮像属性情報を送信する（ステップＳ４０８）。そして、テレビ電話通話の終話条件が満たされることにより、ループを終了して、処理を終了する。
一方、ステップＳ４０３において、Ｉフレーム画像を送信するタイミングでない（ｎｏ）場合、ループ処理に戻る。

続いて、撮像属性情報を撮像手段切替時に生成及び送信する場合について説明する。
図１７は、撮像属性情報を撮像手段切替時に送信する場合における送信制御手順を示すフローチャートである。図１７に示すように、先ず、操作手段１２から得られる操作信号に基づきテレビ電話通話を開始するか否かを判断し（ステップＳ５０１）、判断の結果、テレビ電話通話を開始する（ｙｅｓ）場合、撮像方向検出手段３２が、カメラ３１の撮像方向を検出する（ステップＳ５０２）。一方、ステップＳ５０１での判断の結果、テレビ電話通話を開始しない（ｎｏ）場合、判断を繰り返す。

カメラ３１の撮像方向を検出した後、撮像方向が第一撮像方向Ｄ１か否か、即ち、カメラ３１が第一撮像方向Ｄ１を撮影（撮像）中か否かを判断する（ステップＳ５０３）。判断の結果、第一撮像方向Ｄ１で撮影（撮像）中である（ｙｅｓ）場合、カレント撮像方向情報として「第一撮像方向」を保存し（ステップＳ５０４）、その後、撮像属性情報生成手段３５が第一撮像方向Ｄ１を撮像中であることを示す撮像属性情報を生成する（ステップＳ５０５）。

一方、ステップＳ５０３での判断の結果、第一撮像方向Ｄ１で撮影（撮像）中でない（ｎｏ）場合、カレント撮像方向情報として「第二撮像方向」を保存し（ステップＳ５０６）、その後、撮像属性情報生成手段３５が第二撮像方向Ｄ２を撮像中であることを示す撮像属性情報を生成する（ステップＳ５０７）。
撮像属性情報を生成した後、通信手段１１が撮像属性情報を送信し（ステップＳ５０８）、それ以降、ループを開始し（ステップＳ５０９）、テレビ電話通話を終話するまで処理を繰り返す。

次に、撮像方向検出手段３２は、カメラ３１の撮像方向を検出し（ステップＳ５１０）、その後、検出した撮像方向がカレント撮像方向情報と一致するか否かを判断する（ステップＳ５１１）。判断の結果、カレント撮像方向情報と一致しない（ｎｏ）場合、撮像方向が第一撮像方向Ｄ１か否か、即ち、カメラ３１が第一撮像方向Ｄ１を撮影中か否かを判断する（ステップＳ５１２）。判断の結果、第一撮像方向Ｄ１で撮影中である（ｙｅｓ）場合、カレント撮像方向情報として「第一撮像方向」を上書き保存し（ステップＳ５１３）、その後、撮像属性情報生成手段３５が第一撮像方向Ｄ１を撮像中であることを示す撮像属性情報を生成する（ステップＳ５１４）。

一方、ステップＳ５１２での判断の結果、第一撮像方向Ｄ１で撮影中でない（ｎｏ）場合、カレント撮像方向情報として「第二撮像方向」を上書き保存し（ステップＳ５１５）、その後、撮像属性情報生成手段３５が第二撮像方向Ｄ２を撮像中であることを示す撮像属性情報を生成する（ステップＳ５１６）。
その後、通信手段１１が、生成した撮像属性情報を送信する（ステップＳ５１７）。そして、テレビ電話通話の終話条件が満たされることにより、ループを終了して、処理を終了する。

一方、ステップＳ５１１において、カレント撮像方向情報と一致する（ｙｅｓ）場合、ループ処理に戻る。
次に、撮像属性情報の受信により表示レイアウトを変更する処理手順について説明する。

図１８は、表示レイアウトを変更する表示制御手順を示すフローチャートである。図１８に示すように、先ず、操作手段１２から得られる操作信号に基づきテレビ電話通話を開始するか否かを判断し（ステップＳ６０１）、判断の結果、テレビ電話通話を開始する（ｙｅｓ）場合、表示制御手段２１は、最初に、表示画面１７における表示レイアウトを、通常表示モード、即ち、通話者Ａのテレビ電話端末装置が第１カメラ１５で撮像した状態で通話者Ｂのテレビ電話端末装置が受信した画像（図４（ｂ）参照）と同様の表示レイアウトに設定する（ステップＳ６０２）。
以降、ループを開始し（ステップＳ６０３）、テレビ電話通話を終話するまで処理を繰り返す。
一方、ステップＳ６０１での判断の結果、テレビ電話通話を開始しない（ｎｏ）場合、判断を繰り返す。

次に、表示制御手段２１は、通信手段１１が受信した受信データを解析し（ステップＳ６０４）、撮像属性情報があるか否かを判断する（ステップＳ６０５）。判断の結果、撮像属性情報がある（ｙｅｓ）場合、通話相手から受信した撮像属性情報が第一撮像方向Ｄ１或いは第二撮像方向Ｄ２のどちらを示すか、即ち、通話相手が撮影中の撮像方向が第一撮像方向Ｄ１か、それとも第二撮像方向Ｄ２かを判断する（ステップＳ６０６）。

ステップＳ６０６での判断の結果、撮像属性情報が第１撮像方向Ｄ１を示す（第一）場合、表示制御手段２１は、表示レイアウトを通常表示モードに設定し（ステップＳ６０７）、撮像属性情報が第２撮像方向Ｄ２を示す（第二）場合、表示制御手段２１は、表示レイアウトを、受信画像拡大表示モード、即ち、通話者Ａのテレビ電話端末装置が第２カメラ１６で撮像した状態で通話者Ｂのテレビ電話端末装置が受信した画像（図４（ｄ）参照）と同様の表示レイアウトに設定する（ステップＳ６０８）。

その後、表示制御手段２１に指示された表示レイアウトに従って、画像、その他の情報が表示画面１７に表示される（ステップＳ６０９）。そして、テレビ電話通話の終話条件が満たされることにより、ループを終了し、処理を終了する。
一方、ステップＳ６０５において、撮像属性情報がない（ｎｏ）場合、表示画面１７に画面表示が行われた（ステップＳ６０９）後、ループ処理に戻る。

上述したように、本実施の形態によれば、撮像属性情報を送受信することで表示レイアウトの切り替えを行なう。これにより、第二撮像方向Ｄ２による撮像データを受信していると認識した場合には、第１撮像方向Ｄ１に比べ被写体迄の距離が遠い風景画などである可能性が高いため、視認性が良くなるように受信画像を拡大表示する表示レイアウトに変更することができる。

図１９は、この発明の第２実施の形態に係るテレビ電話端末装置の他の構成を示すブロック図である。図１９に示すように、テレビ電話端末装置４０は、カメラ３１から、送信データ生成手段２２へ撮像データａが出力されるのに加え、表示制御手段２１へも、撮像データａが出力される。更に、撮像属性情報生成手段３５により生成される撮像属性情報ｇが表示制御手段２１に入力される。その他の構成及び作用は、テレビ電話端末装置１０と同様である。
このように、表示制御手段２１へも撮像属性情報ｇが入力することにより、受信側のテレビ電話端末装置の撮影状況を考慮した最適な表示レイアウトを行うことができる。

このように、この発明によれば、送信側のテレビ電話端末装置により、被写体を撮影している撮影方向を示す情報が受信側のテレビ電話端末装置に送信され、受信側のテレビ電話端末装置により、撮影方向を示す情報が受信され、受信した撮影方向を示す情報に基づいて表示レイアウトが変更される。
これにより、テレビ電話において、表示画面に表示する画像の種類に応じて表示画面の表示レイアウトを変更することができる。

つまり、本発明によれば、通信対象テレビ電話端末装置から受信した撮像状況に関する情報に基いて、自テレビ電話端末装置にて撮像中の画像及び通信対象テレビ電話端末装置から受信した画像の表示を、通信対象テレビ電話端末装置の撮像状況に応じた、ユーザにとって見易い表示レイアウトに自動的に変更することができる。更に、受信した撮像データが、ユーザを撮影するよりも被写体迄の距離が遠い風景画などである可能性が高い場合には、視認性が良くなるように受信画像を拡大表示する表示レイアウトに変更することができる。

なお、本発明は、上述した実施の形態により説明したが、この実施の形態に限定されるものではない。従って、本発明の趣旨を逸脱することなく変更態様として実施するものも含むものである。

この発明の第１実施の形態に係るテレビ電話端末装置の構成を示すブロック図である。 図１のテレビ電話端末装置（携帯通信端末装置）が折畳み型、スライド型、回転型のように開閉可能に構成されている場合の該装置が開いている時における外観を示し、（ａ）は表面側平面図、（ｂ）は裏面側平面図である。 図１のテレビ電話端末装置を用いた撮像状況を示す説明図である。 図１のテレビ電話端末装置を用いてテレビ電話通話を行った場合の表示画面における表示例を示し、（ａ）は通話者Ａが第１カメラで撮像した画像の説明図、（ｂ）は（ａ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図、（ｃ）は通話者Ａが第２カメラで撮像した画像の説明図、（ｄ）は（ｃ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図である。 撮像属性情報をＩフレーム画像送信時に送信する場合における撮像属性情報送信間隔を示す説明図である。 撮像属性情報をＩフレーム画像送信時に送信する場合における送信制御手順を示すフローチャートである。 撮像属性情報を撮像手段切替時に送信する場合における送信制御手順を示すフローチャートである。 表示レイアウトを変更する表示制御手順を示すフローチャートである。 図１のテレビ電話端末装置の表示画面における表示比率を示す説明図である。 図９の表示画面における表示比率による表示例を示し、（ａ）は送信画像及び受信画像が共に第一撮像部の場合の説明図、（ｂ）は送信画像が第二撮像部、受信画像が第一撮像部の場合の説明図、（ｃ）は送信画像が第一撮像部、受信画像が第二撮像部の場合の説明図、（ｄ）は送信画像及び受信画像が共に第二撮像部の場合の説明図である。 この発明の第１実施の形態に係るテレビ電話端末装置の他の構成を示すブロック図である。 この発明の第２実施の形態に係るテレビ電話端末装置の構成を示すブロック図である。 図１２のテレビ電話端末装置（携帯通信端末装置）が折畳み型、スライド型、回転型のように開閉可能に構成されている場合の該装置が開いている時における外観を示し、（ａ）は表面側平面図、（ｂ）は裏面側平面図である。 図１３のテレビ電話端末装置（携帯通信端末装置）が折畳み型、スライド型、回転型のように開閉可能に構成されている場合の該装置が開いている時における外観図に対応したカメラ装着側面を示し、（ａ）はカメラをメイン表示画面１７方向に向けた状態の側面図、（ｂ）はカメラをメイン表示画面１７方向の反対方向に向けた状態の側面図である。 図１２のテレビ電話端末装置を用いた撮像状況を示す説明図である。 撮像属性情報をＩフレーム画像送信時に送信する場合における送信制御手順を示すフローチャートである。 撮像属性情報を撮像手段切替時に送信する場合における送信制御手順を示すフローチャートである。 表示レイアウトを変更する表示制御手順を示すフローチャートである。 この発明の第２実施の形態に係るテレビ電話端末装置の他の構成を示すブロック図である。 従来のテレビ電話端末装置を用いてテレビ電話通話を行った場合の表示画面における表示例を示し、（ａ）は通話者Ａが第１カメラで撮像した画像の説明図、（ｂ）は（ａ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図、（ｃ）は通話者Ａが第２カメラで撮像した画像の説明図、（ｄ）は（ｃ）の状態で通話者Ｂのテレビ電話端末装置が受信した画像の説明図である。

符号の説明

１０，２６，３０，４０ テレビ電話端末装置
１１ 通信手段
１２ 操作手段
１３ 音声入力手段
１４ 音声出力手段
１５ 第１カメラ
１６ 第２カメラ
１７ 表示手段
１８，２７，３３ 制御手段
１９ 撮像制御手段
２０，３５ 撮像属性情報生成手段
２１ 表示制御手段
２２ 送信データ生成手段
２３ 受信データ解析手段
２４，３４ 第１筐体
２５ 第２筐体
３１ カメラ
３２ 撮像方向検出手段
ａ 撮像データ
ｂ 撮像手段選択情報
ｃ 送信撮像データ
ｄ 撮像属性情報
ｅ 受信撮像属性情報
ｆ 受信撮像データ
ｇ 送信撮像属性情報
Ａ，Ｂ 通話者
Ｄ１ 第一撮像方向
Ｄ２ 第二撮像方向
Ｈ 人物
Ｐａ，Ｐｂ 人物画
Ｐｓ 風景画
Ｓ 風景

Claims (4)

1. テレビ電話端末装置の間で撮影画像データ及び音声データを送受信するテレビ電話システムであって、
   送信側のテレビ電話端末装置は、被写体を撮影している撮影方向を示す情報を受信側のテレビ電話端末装置に送信し、
   前記受信側のテレビ電話端末装置は、前記送信側の撮影方向を示す情報を受信し、該受信した送信側の撮影方向を示す情報に基づいて表示レイアウトを変更する
   ことを特徴とするテレビ電話システム。
2. 被写体を撮影する撮影手段と、
   該撮影手段が撮影している撮影方向を示す情報を取得する取得手段と、
   通信対象のテレビ電話端末装置が表示レイアウトを変更するために、該取得手段が取得した前記撮影方向を示す情報を、当該通信対象のテレビ電話端末装置へ送信する送信手段と、
   を有することを特徴とするテレビ電話端末装置。
3. 送信画像と受信画像を表示する表示手段と、
   通信対象のテレビ電話端末装置の撮影手段が撮影している撮影方向を示す情報を受信する受信手段と、
   該受信手段により受信した通信対象側の撮影方向を示す情報に基づいて、前記表示手段における送信画像及び受信画像の少なくとも一方の表示レイアウトを変更する変更手段と
   を有することを特徴とするテレビ電話端末装置。
4. 送信側のテレビ電話端末装置の撮影手段が撮影している送信側の撮影方向を示す情報を取得し、前記送信側の撮影方向を示す情報を受信側のテレビ電話端末装置へ送信する処理と、
   前記送信側の撮影方向を示す情報を受信した受信側のテレビ電話端末装置が、前記送信側の撮影方向を示す情報に基づき、前記撮影手段が撮影した撮影画像を表示する表示手段の表示レイアウトを切り替える処理と、
   を有することを特徴とするテレビ電話画像表示方法。

Images