JP7075995B2 - 携帯情報端末 - Google Patents

Description

本発明は、スマートフォン等の携帯情報端末の技術に関し、特に、テレビ電話（Video phone）機能に関する。

近年、スマートフォンやタブレット端末等の携帯情報端末では、１枚の概略平板形状の筐体への高密度実装等の小型化が進むと共に、多様な機能や高度な機能の搭載が進んでいる。それらの機能としては、テレビ受信機能、デジタルカメラ機能、テレビ電話機能等が挙げられる。特に、携帯情報端末におけるテレビ電話機能は、例えばSkype（登録商標）等のアプリケーションやサービスによって、簡便に利用できる状況になってきている。

また、携帯情報端末は、デジタルカメラ機能としては、筐体の主面のうち表示画面がある側の前面に設けられたカメラ（インカメラとも呼ばれる）や、前面の反対側の背面に設けられたカメラ（アウトカメラとも呼ばれる）を有する場合がある。

ユーザが携帯情報端末でテレビ電話（通話と記載する場合がある）を行う際には、ユーザ自身を撮影できる側である前面のインカメラを利用する。携帯情報端末は、テレビ電話相手の端末から受信した相手の画像を表示画面に表示すると共に、インカメラで撮影したユーザ自身の画像を、相手の端末へ送信する。そのため、通常、ユーザは、例えば一方の手に持った携帯情報端末の前面を、自身の顔および視線に対して正面で対面する位置に、例えば筐体が鉛直に立つ状態に近い位置に、保持しておく必要がある。この場合、ユーザは、両手が自由にはならない。

ユーザが携帯情報端末でテレビ電話を行う際に、両手が自由な状態（ハンズフリーと記載する場合がある）で行いたい場合がある。その場合、ユーザは、例えば机等の水平面上に携帯情報端末の筐体を置いた状態として、表示画面およびインカメラに対して垂直な方向で顔を対面させる位置関係とすれば、ハンズフリーでのテレビ電話が可能である。

上記携帯情報端末やテレビ電話機能に係わる先行技術例として、特開２００５－１７５７７７号公報（特許文献１）、特開２００７－１７５９６号公報（特許文献２）が挙げられる。特許文献１には、携帯型電話機として、机上の載置時のユーザの視認性を向上する旨や、本体の形状を変化させてハンズフリーテレビ電話に対応できる旨が記載されている。特許文献２には、携帯端末装置として、本体のカメラが撮影した画像に基づいて、使用者の顔の情報を取得し、顔の向きと本体の向きとの相対的な位置関係を把握し、表示画面に表示する情報の向きを決定する旨が記載されている。

特開２００５－１７５７７７号公報 特開２００７－１７５９６号公報

ユーザが携帯情報端末でテレビ電話を行う際に、両手が自由ではない通常の状態（非ハンズフリーと記載する場合がある）では、利便性に欠ける場合がある。例えば、ユーザは両手でＰＣを操作しながら通話することはできず、また、資料等の何らかの物体を通話相手に見せながら通話することもしにくい。

また、ユーザが携帯情報端末でテレビ電話を行う際に、両手が自由なハンズフリー状態を実現しようとする場合、例えば机等の水平面上に平らに置かれた筐体に対して顔を対面させる位置関係となるように無理な姿勢をとる必要があり、使い勝手が良くない。あるいは、机等の水平面上に、固定器具を用いて、筐体が斜めになるように配置すれば実現できるが、固定器具を必要とするため、利便性に欠ける。あるいは、折り畳み型や分離型等の、姿勢が変形可能である構造を持つ携帯情報端末を用いれば、同様の状態が実現できるが、１枚の概略平板形状の筐体を持つ携帯情報端末の場合には適用できない。

本発明の目的は、テレビ電話機能を持つ携帯情報端末の技術に関して、概略平板形状の筐体を持ち、変形可能な特殊な構造を持たない構成を前提として、ハンズフリー状態のテレビ電話を、より好適な使い勝手で実現できる技術を提供することである。

本発明のうち代表的な実施の形態は、携帯情報端末であって、以下に示す構成を有することを特徴とする。一実施の形態の携帯情報端末は、テレビ電話機能を持つ携帯情報端末であって、平板形状の筐体における表示画面を持つ前面の所定の位置に、広角レンズを含む第１カメラを備え、前記テレビ電話機能を用いて第１ユーザが相手の第２ユーザとの間でテレビ電話を行う際に、前記筐体が物体の第１面上に平らに配置され、前記第１カメラの第１画角の範囲内に前記第１ユーザの顔が含まれる状態である第１状態とし、前記第１状態で、前記第１カメラによって撮影された広角画像から、前記第１ユーザの顔を含む第１領域を検出し、前記第１領域に対応する第１画像をトリミングし、前記第１画像に基づいて、前記第２ユーザの携帯情報端末である相手端末に送信するための送信画像を作成し、前記送信画像を前記相手端末に送信する。

本発明のうち代表的な実施の形態によれば、ハンズフリー状態のテレビ電話を、より好適な使い勝手で実現できる。

本発明の実施の形態１の携帯情報端末を含む、通信システムおよびテレビ電話システムの構成を示す図である。 実施の形態１の携帯情報端末で、ハンズフリー状態のテレビ電話の際の、ユーザと端末との位置関係や端末の配置状態を示す図である。 実施の形態１の携帯情報端末の構成を示す図である。 実施の形態１の携帯情報端末で、ソフトウェア構成を示す図である。 実施の形態１の携帯情報端末で、カメラ部の構成を示す図である。 実施の形態１の携帯情報端末で、処理フローを示す図である。 実施の形態１の携帯情報端末で、表示画面の例を示す図である。 実施の形態１の携帯情報端末で、通常カメラによる顔を正面から撮影した画像の例を示す図である。 実施の形態１の携帯情報端末で、インカメラによる広角画像と顔検出の例を示す図である。 実施の形態１の携帯情報端末で、広角画像からのトリミングの例を示す図である。 実施の形態１の携帯情報端末で、トリミング画像（矩形の場合）の例を示す図である。 実施の形態１の携帯情報端末で、トリミング画像の例を示す図である。 実施の形態１の携帯情報端末で、広角レンズを用いたモデルおよび座標系の例を示す図である。 実施の形態１の携帯情報端末で、正像変換を示す図である。 実施の形態１の携帯情報端末で、台形補正を示す図である。 実施の形態１の携帯情報端末で、他の利用状態の第１例を示す図である。 実施の形態１の携帯情報端末で、他の利用状態の第２例を示す図である。 実施の形態１の携帯情報端末で、他の利用状態の第３例を示す図である。 実施の形態１に対する比較例の携帯情報端末、および実施の形態１の他のテレビ電話モードにおける、非ハンズフリー状態での位置関係等を示す図である。 本発明の実施の形態２の携帯情報端末におけるカメラ部の構成を示す図である。 実施の形態２の携帯情報端末で、ユーザと端末との位置関係等を示す図である。 実施の形態の変形例の携帯情報端末で、撮影処理と画像例を示す図である。 実施の形態の変形例の携帯情報端末で、特定の物体を含む画像の例を示す図である。 実施の形態の変形例の携帯情報端末で、複数のユーザの顔を含む画像の例を示す図である。 実施の形態の変形例の携帯情報端末で、相手画像補正機能の画像例を示す図である。 実施の形態に対する比較例の携帯情報端末で、ハンズフリー状態のテレビ電話を実現する場合の状態の例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。なお、説明上の方向として、Ｘ方向、Ｙ方向、Ｚ方向を用いる。Ｘ方向、Ｙ方向は、水平面を構成する直交する２つの方向であり、Ｚ方向は、鉛直方向である。Ｘ方向は特にユーザから見て左右方向であり、Ｙ方向は特にユーザから見て前後方向である。

［課題等］
課題等について補足説明する。図２６は、比較例として、従来のテレビ電話機能付きの携帯情報端末を用いて、ハンズフリー状態を実現しようとする場合の利用状態の例を示す。（Ａ）は第１例、（Ｂ）は第２例を示す。図２６の（Ａ）では、ユーザＡは、携帯情報端末２６０の筐体を、机等の水平面ｓ０上に、平らに置いた状態としている。筐体の前面には表示画面やインカメラ２６１が設けられている。インカメラ２６１のレンズは、点ｐ２の位置に配置されている。インカメラ２６１は、通常画角を持つ通常カメラである。ユーザＡの顔や目の代表点を点ｐ１で示す。点ｐ１からの視線は鉛直下方の向きである。ユーザＡは、自身の顔および目（点ｐ１）が、筐体の前面の表示画面やインカメラ２６１に対面する位置になるように、首を曲げた姿勢をとっている。このような状態で、ユーザＡは、両手を自由としてテレビ電話が可能である。しかし、姿勢に無理があるので身体には負担がかかり、使い勝手は良くない。

図２６の（Ｂ）では、ユーザＡは、携帯情報端末２６０の筐体を、机等の水平面ｓ０上において、固定器具２６２を用いて、前面が斜めの状態となるように固定して配置している。ユーザＡの顔や目（点ｐ１）からの視線の方向は、斜め下方となっている。インカメラ２６１（点ｐ２）からの光軸の方向は、斜め上方（例えば４５度程度の仰角）となっている。このような状態で、ユーザＡは、両手を自由としてテレビ電話が可能である。しかし、スタンド等の固定器具２６２を利用しないとこのような状態を実現できず、ユーザＡが固定器具２６２を所持しなければならない等、汎用性や利便性に欠ける。

また、固定器具２６２ではなく、姿勢を変形可能な構造を持つ携帯情報端末を用いれば、同様の状態が実現できる。例えば、特許文献１の技術では、折り畳み型の携帯情報端末の形状を変化させることで、カメラおよび表示画面をユーザの顔に対面するように配置することができる。しかしながら、１枚の概略平板形状の筐体を持つ携帯情報端末２６１の場合、変形のために可動する構造自体を有さないので、そのような技術は適用できない。

（実施の形態１）
図１～図１９を用いて、本発明の実施の形態１の携帯情報端末について説明する。実施の形態１の携帯情報端末では、後述の図２のように、ユーザがその携帯情報端末（単に端末と記載する場合がある）を用いてテレビ電話を行う際に、ユーザの手持ちによる筐体の保持を必要とせず、ハンズフリー状態となる。また、ユーザがハンズフリー状態でテレビ電話を行いたい場合に、携帯情報端末の筐体（前面）の向きがユーザの顔に対面する向きになるように配置する考慮や手間を不要とする。実施の形態１の携帯情報端末は、ハンズフリー状態での好適なテレビ電話を実現するために、以下のように、カメラ等の構成を有し、ユーザの顔と端末との位置関係、端末の配置状態を規定する。

実施の形態１の携帯情報端末では、筐体の前面に設けられたインカメラ（第１カメラ）として、広角の画角を持つ広角カメラを有する。このインカメラは、筐体の前面に垂直な光軸を有し、その前面と光軸とが成す断面で例えば１８０度程度（少なくとも３０度から１５０度までの角度範囲）の所定の広い画角（水平画角としては３６０度）を有する。

ユーザは、ハンズフリー状態でのテレビ電話の利用時に、机等の概略水平面上に、概略平板状の筐体を、前面のインカメラが上を向くようにして平らに置く。そして、端末のインカメラの位置からみて斜め上の仰角の方向にユーザの顔がある位置関係とする。ユーザの目からみると、斜め下に見下ろす方向の位置に筐体の表示画面およびインカメラがある位置関係となる。この状態（第１状態）で、インカメラからの顔の撮影の方向と、ユーザの目から表示画面を見る方向とは、概略的に同じまたは十分に近い。例えば、それらの方向は、水平面に対する仰角で４５度程度（例えば３０度から６０度までの角度範囲内の角度）となる。

このような位置関係、配置状態の場合、インカメラの画像（広角画像）内では、一部の領域（例えば０度から９０度までの角度範囲内にある領域）に、ユーザの顔が写っている。携帯情報端末は、その広角画像を用いて、ユーザの顔を含む領域を捉えることができる。携帯情報端末は、その広角画像から、ユーザの顔を含む領域を検出し、トリミング（切り出し）する。

ただし、広角レンズを通じた広角画像内では、ユーザの顔を含む広角画像全体で、広角レンズに特有の歪（ひずみ）が生じている。広角画像を相手の携帯情報端末に送信した場合、相手のユーザは、その広角画像からユーザの顔等を認識しにくいおそれがある。そのため、実施の形態１の携帯情報端末は、その広角画像の顔を含む領域に対し、歪補正処理を行うことで、歪が解消または低減された平面化画像を得る。これにより、視覚的により見やすく好適な送信画像が得られる。

携帯情報端末１は、歪補正後のユーザＡの顔を含む画像から、テレビ電話の相手の端末に送信するための送信画像を作成し、相手の端末に送信する。上記のように、実施の形態１の携帯情報端末では、ユーザがハンズフリー状態でテレビ電話が可能であり、使い勝手が良い。

［（１）通信システムおよびテレビ電話システム］
図１は、実施の形態１の携帯情報端末１を含む、通信システムおよびテレビ電話システムの全体の構成を示す。図１の通信システムおよびテレビ電話システムでは、モバイル通信網１０１およびインターネット１０２を介して、第１ユーザ（ユーザＡ）の携帯情報端末１と、第２ユーザ（ユーザＢ）の携帯情報端末２とが接続されている。第１ユーザの携帯情報端末１と第２ユーザの携帯情報端末２との間でテレビ電話の通信を行う。基地局１０３は、モバイル通信網１０１を構成する無線基地局である。携帯情報端末１，２は、基地局１０３を通じて、モバイル通信網１０１に接続される。アクセスポイント１０４は、無線ＬＡＮ等における無線通信用のアクセスポイント装置である。携帯情報端末１，２は、アクセスポイント１０４を通じて、無線ＬＡＮ等を含むインターネット１０２に接続される。

携帯情報端末１，２は、スマートフォン等の装置であり、いずれもテレビ電話機能を備える。第１ユーザの携帯情報端末１は、実施の形態１の携帯情報端末であり、テレビ電話に関する特有の機能を備える。ユーザＡは、テレビ電話を行う一方の通話者の第１ユーザであり、ユーザＢは、テレビ電話を行う他方の通話者、ユーザＡからみた相手の第２ユーザである。以下では、第１ユーザの携帯情報端末１を主として説明する。ユーザＢは、例えば従来型のテレビ電話機能付きの携帯情報端末２を使用する。第２ユーザの携帯情報端末２においても、第１ユーザの携帯情報端末１と同様に特有のテレビ電話機能を備えていてもよい。なお、テレビ電話の通信の際に、モバイル通信網１０１やインターネット１０２上で、テレビ電話機能に関するサービスを提供するサーバ等が介在してもよい。

［（２）テレビ電話の利用概要］
図２は、図１のユーザＡとユーザＢとの間のテレビ電話の際における、ユーザＡによる携帯情報端末１の利用の概要、状況、方法を示す模式図である。図２では、ユーザＡがハンズフリー状態のテレビ電話を行う際の、ユーザＡの顔と携帯情報端末１との位置関係や端末の配置状態を示す。テレビ電話の利用の概要として以下である。

（１） 図２のように、ユーザＡは、ハンズフリー状態のテレビ電話を行う際、携帯情報端末１の平板状の筐体を、机等の任意の物体の水平面ｓ０（Ｘ－Ｙ面、第１面）上に、前面ｓ１のインカメラＣ１を鉛直上方に向けて、平らに置く。筐体の背面ｓ２は水平面ｓ０に接していて隠れている。携帯情報端末１は、縦長の筐体の前面ｓ１において、主に、矩形の表示画面ＤＰが設けられ、その表示画面ＤＰの外周の額縁領域には、カメラや操作ボタン、マイク、スピーカ等が設けられている。この携帯情報端末１では、額縁領域の上辺部の位置ＰＣ１に、インカメラＣ１（特に広角レンズ部）が配置されている。ユーザＡは、配置の際、特に、前面ｓ１のインカメラＣ１（位置ＰＣ１）が、ユーザＡから見てＹ方向で遠い奥側の方向Ｙ１の位置になるように、筐体を置く。

ユーザＡは、自身の顔や目を、携帯情報端末１に対し、斜め上の位置に置く。言い換えると、ユーザＡの目（点Ｐ１）から見て、斜め下の位置に、携帯情報端末１の表示画面ＤＰ（点ＰＤ）が配置される。ユーザＡの頭、顔、または目等に対応付けられた代表的な点を点Ｐ１とする。表示画面ＤＰには、相手（ユーザＢ）の画像等が表示される（図７）。ユーザＡは、表示画面ＤＰ内の相手の顔画像等を見る。方向Ｊ１は、ユーザＡの目（点Ｐ１）から端末の表示画面ＤＰ（点ＰＤ）を見る目線方向を示す。角度θ１は、方向Ｊ１に対応する仰角（水平面ｓ０を基準として０度とする）を示す。角度θ１は、３０度から６０度までの範囲内の角度であり、例えば４５度程度である。

この状態で、当然、端末のインカメラＣ１からは、斜め上の仰角の方向に、ユーザＡの顔や目が撮影可能な状態となっている。インカメラＣ１の光軸は、前面ｓ１に対して垂直な方向（鉛直上方）であり、方向Ｊ２として示す。インカメラＣ１の画角ＡＶ１は、光軸を中心として広い角度範囲を有し、水平画角として３６０度、Ｙ－Ｚ断面での画角では１８０度程度、特に第１角度ＡＮＧ１から第２角度ＡＮＧ２までの角度範囲を有する。例えば、第１角度ＡＮＧ１は３０度以下であり、第２角度ＡＮＧ２は１５０度以上である。

この状態で、インカメラＣ１は、広角の画角ＡＶ１によって、ユーザＡの顔が撮影可能である。すなわち、この状態では、インカメラＣ１の画角ＡＶ１内に、特に第１角度ＡＮＧ１から９０度までの角度範囲内に、ユーザＡの顔を撮影する範囲に対応する画角ＡＶ２（顔撮影画角）が含まれている。対応して、インカメラＣ１の広角画像内の一部の領域には、ユーザＡの顔が写っている。インカメラＣ１（点ＰＣ１）からユーザＡの顔（点Ｐ１）を捉える方向を方向Ｊ３で示す。方向Ｊ３に対応する仰角を角度θ３で示す。角度θ３は、例えば４５度より少し小さい角度である。

ユーザＡの目線の方向Ｊ１と、インカメラＣ１からの顔撮影の方向Ｊ３とは、十分に近い状態となり、角度θ１と角度θ３との角度差ＡＤ１は十分に小さい。そのため、インカメラＣ１は、ユーザＡの目線を確認できる方向Ｊ３および画角ＡＶ２でユーザＡの顔を撮影可能である。これらの方向差や角度差がなるべく小さい方が、画像内の目線の状態がより自然となるので、より好適である。実施の形態１の携帯情報端末１では、インカメラＣ１の広角画像を用いるので、図２のような位置関係でも、画角ＡＶ２のようにユーザＡの顔を捉えることができる。

（２） 図２の状態で、ユーザＡは、携帯情報端末１の表示画面ＤＰに表示される相手の画像（図７）を見ながら、テレビ電話（通話）を行うことができる。携帯情報端末１は、相手の携帯情報端末２から受信した音声をスピーカから出力する。携帯情報端末１は、マイクで入力したユーザＡの音声を、相手の携帯情報端末２へ送信する。

携帯情報端末１は、インカメラＣ１による広角画像から、ユーザＡの顔を含む領域を検出し、トリミングする。携帯情報端末１は、そのトリミングした画像を用いて、相手の携帯情報端末２に送信するための送信画像を作成する。ただし、インカメラＣ１で撮影した広角画像では、ユーザＡの顔を含め、広角レンズに依存する歪を持つ。

そこで、携帯情報端末１は、トリミングした画像に対し、歪が解消または低減されるように、歪補正処理を行う。携帯情報端末１は、歪補正後の画像から、相手の携帯情報端末２に送信するための送信画像と、送信画像に対応するユーザＡ自身の顔等の状態の確認用のモニタ画像とを作成する。携帯情報端末１は、送信画像に対応するモニタ画像を、表示画面ＤＰ内に表示する（図７）。モニタ画像（および送信画像）内では、ユーザＡの目線の向きが概ね正面を向いている。ユーザＡは、携帯情報端末１の表示画面ＤＰ内で、相手（ユーザＢ）の画像と、ユーザＡ自身のモニタ画像とを見て確認することができる。ユーザＡは、必要に応じて、モニタ画像に対応する送信画像の送信を拒否することもできる。

携帯情報端末１は、マイクで入力したユーザＡの音声と、上記送信画像とを含む、テレビ電話用のデータを、相手の携帯情報端末２に送信する。相手の携帯情報端末２では、受信したデータに基づいて、ユーザＡに関する画像および音声を出力し、ユーザＢは、ユーザＡとのテレビ電話が可能である。

［（３）携帯情報端末］
図３は、実施の形態１の携帯情報端末１の構成を示す。携帯情報端末１は、コントローラ１０、カメラ部１１、ＲＯＭ１４、ＲＡＭ１５、外部メモリ１６、マイク１７、スピーカ１８、バス１９、表示部（タッチパネル）２１、ＬＡＮ通信部２２、モバイル網通信部２３、加速度センサ３１やジャイロセンサ３２等のセンサ類３０、等を備える。

コントローラ１０は、携帯情報端末１の全体を制御し、各部への指示等を行う。コントローラ１０は、テレビ電話アプリに基づいたテレビ電話機能１００を実現する。携帯情報端末１のコントローラ１０は、各部や各機能を用いて、テレビ電話機能１００を制御する。コントローラ１０は、マイクロプロセッサユニット（ＭＰＵ）等で構成され、ＲＯＭ１４のプログラムに従って、携帯情報端末１の全体を制御する。コントローラ１０等の各部は、バス１９（システムバスを含む）を介して、携帯情報端末１内の各部との間でデータ送受信を行う。

カメラ部１１は、インカメラＣ１、通常カメラ（アウトカメラ）Ｃ２、撮影処理部１２、メモリ１３を含む。前述の図２のように、筐体の前面ｓ１にインカメラＣ１、筐体の背面ｓ２に通常カメラＣ２が設けられている。インカメラＣ１は、広角レンズ、カメラセンサ（撮像素子）、駆動回路等の公知の要素から構成される。カメラセンサは、例えばＣＣＤやＣＭＯＳセンサ等で構成される。通常カメラＣ２は、通常レンズ、カメラセンサ、駆動回路等の公知の要素から構成される。通常カメラＣ２は、通常画角を有し、その通常画角は、インカメラＣ１の広角レンズの画角ＡＶ１よりも狭い画角である。通常カメラＣ２の光軸は、インカメラＣ１の光軸とは反対の向きである。実施の形態１でのテレビ電話機能では、通常カメラＣ２については使用しない。

撮影処理部１２は、コントローラ１０の制御に基づいて、カメラを用いた撮影処理や画像処理を行う部分である。実施の形態１では、撮影処理部１２は、コントローラ１０とは別の部位として、例えばＬＳＩ等の回路で実装されている。これに限らず、撮影処理部１２は、その一部または全部が、コントローラ１０のプログラム処理等によって一体的に実装されてもよい。顔検出機能２０１等の機能は、全部または一部が、ソフトウェアプログラム処理で実装されてもよいし、高速化等のためにハードウェア回路等で実装されてもよい。メモリ１３は、撮影処理に係わる画像データ等を格納するメモリである。

撮影処理部１２は、公知の機能や処理部としては、オートフォーカス機能、拡大縮小機能、コーデック部、画質改善処理部、角度・回転補正部、等を備える。オートフォーカス機能は、カメラの焦点を自動的に撮影対象物に合わせる機能である。拡大縮小機能は、画像の対象物を拡大や縮小する機能である。コーデック部は、撮影された画像や動画の圧縮や伸張を行う処理部である。画質改善処理部は、ノイズ除去等、撮影画像の画質の改善を行う処理部である。角度・回転補正部は、撮影画像から角度補正や回転補正を行う処理部である。

マイク１７は、ユーザＡの声を含む、端末の周囲の音声を集音して、音声データを得る。スピーカ１８は、通話相手（ユーザＢ）の携帯情報端末２からのテレビ電話の音声を含む音声を出力する。

表示部２１は、図２の表示画面ＤＰを備え、特に液晶タッチパネル等のタッチパネルであり、ユーザによるタッチ入力操作が可能である。表示画面ＤＰには、撮影画像や他の各種の情報が表示される。

ＬＡＮ通信部２２は、図１のアクセスポイント１０４との無線ＬＡＮ通信を含めた、インターネット１０２上の通信に対応した通信処理を行う。モバイル網通信部２３は、図１の基地局１０３との無線通信を含めた、モバイル網１０１上の通信に対応した通信処理を行う。

センサ類３０は、加速度センサ３１やジャイロセンサ３２、図示しないＧＰＳ受信器、近接センサ、照度センサ、温度センサ等の、公知のセンサデバイスを含む。コントローラ１０は、センサ類３０の検出情報を用いて、携帯情報端末１の向きや動き等を検出する。コントローラ１０は、センサ類３０を用いて、携帯情報端末１がユーザＡによって手持ちされているか否か、図２のように水平面ｓ０上に平らに置かれているか否か等の状態も把握可能である。

撮影処理部１２は、プログラムや回路等で実現される機能として、顔検出機能２０１、トリミング機能２０２、歪補正機能２０３を有する。撮影処理部１２の撮影処理や機能の概要は以下である。撮影処理部１２は、インカメラＣ１を用いて撮影するカメラモードにおいて、インカメラＣ１により撮影された画像である広角画像を入力する。なお、実施の形態１では、インカメラＣ１によって動画（時系列の複数の画像フレーム）を撮影可能であり、撮影処理部１１は、その動画を処理する。これに限らず、インカメラＣ１の画像としては、所定のタイミングでの静止画を扱ってもよい。

撮影処理部１２は、顔検出機能２０１によって、広角画像から、ユーザＡの顔を含む領域を検出する。撮影処理部１２は、トリミング機能２０２によって、広角画像から、ユーザＡの顔を含む領域をトリミングする。撮影処理部１２は、歪補正機能２０３によって、トリミング画像に対し、歪補正処理を行う。撮影処理部１２は、歪補正後の画像をメモリ１３に格納する。撮影処理部１２（またはコントローラ１０）は、補正後画像から、相手の携帯情報端末２へ送信するための送信画像と、自己確認用のモニタ画像とを作成する。

携帯情報端末１のコントローラ１０（テレビ電話機能１００）は、ユーザＡの送信画像を、マイク１７から入力したユーザＡの音声データと共にまとめたテレビ電話用のデータを作成する。コントローラ１０は、そのデータを、ＬＡＮ通信部２２またはモバイル網通信部２３等を用いて、相手の携帯情報端末２に送信する。相手の携帯情報端末２は、そのデータを受信し、その送信画像を表示画面に表示し、音声を出力する。

コントローラ１０（テレビ電話機能１００）は、ＬＡＮ通信部２２またはモバイル網通信部２３を通じて、相手の携帯情報端末２から、テレビ電話用のデータ（相手画像および音声を含む）を受信する。コントローラ１０は、受信したデータのうちの相手画像を、表示画面ＤＰ内に表示する共に、ユーザＡのモニタ画像を表示する。コントローラ１０は、相手の音声をスピーカ１８から出力する。

［（４）ソフトウェア構成］
図４は、携帯情報端末１のソフトウェア構成を示す。ＲＯＭ１４には、ＯＳやミドルウェア等の基本動作プログラム１４ａや、その他のアプリケーションプログラム等が格納されている。ＲＯＭ１４は、例えばＥＥＰＲＯＭやフラッシュＲＯＭ等の書き換え可能なＲＯＭが用いられる。通信等を通じて、ＲＯＭ１４のプログラムの更新が適宜に可能であり、バージョンアップや機能拡張等が可能である。ＲＯＭ１４等はコントローラ１０と一体としてもよい。

ＲＡＭ１５は、基本動作プログラム１４ａやテレビ電話アプリプログラム１６ｂ等の実行時のワークエリアとして使用される。ＲＡＭ１５には、各種のプログラムの実行時に必要に応じてデータや情報を一時的に保持する一時記憶領域１５ｃも有する。コントローラ１０（ＭＰＵ）は、ＲＯＭ１４の基本動作プログラム１４ａをＲＡＭ１５に展開して、そのプログラムに従った処理を実行する。これにより、ＲＡＭ１５には、基本動作実行部１５ａが構成される。同様に、テレビ電話アプリプログラム１６ｂの処理に伴い、ＲＡＭ１５にテレビ電話処理実行部１５ｂが構成される。一時記憶領域１５ｃには、テレビ電話機能１００に関する処理用のデータが記憶され、例えば携帯情報端末１の位置や姿勢の状態等の情報も記憶される。

外部メモリ１６には、撮影プログラム１６ａやテレビ電話アプリプログラム１６ｂ等のプログラムが格納されており、また、撮影処理部１２で撮影された画像や、各種の処理に係わるデータや情報を蓄積するためのデータ記憶領域１６ｃも有する。外部メモリ１６は、電源非供給状態でもデータを保持する不揮発性記憶装置で構成され、例えばフラッシュＲＯＭやＳＳＤ等が用いられる。データ記憶領域１６ｃには、例えば携帯情報端末１の機能や動作の設定値も保存される。各種のプログラムは、ＲＯＭ１４や他の不揮発性記憶装置等に格納されてもよい。携帯情報端末１は、外部のサーバ装置等から、プログラムや情報を取得してもよい。

撮影プログラム１６ａは、カメラ部１１の撮影処理部１２に対する撮影制御処理を実現する。この撮影制御処理は、テレビ電話に限らない一般的なカメラ撮影の制御処理と、テレビ電話用の撮影制御処理とを含む。撮影プログラム１６ａは、ＲＡＭ１５または撮影処理部１２内に展開され、実行部が構成される。

コントローラ１０（ＭＰＵ）は、撮影処理部１２に対し、カメラモード、カメラによる動画の撮影開始や撮影終了、撮影詳細設定（例えばフォーカス、露光）、等を指示する。カメラモードは、複数のうちいずれのカメラを用いて撮影するモードであるかを示す。

テレビ電話アプリプログラム１６ｂに基づいたテレビ電話処理実行部１５ｂは、テレビ電話機能１００に対応する処理を行う。コントローラ１０（ＭＰＵ）は、テレビ電話機能１００の実現の際に、撮影処理部１２の各機能に対する制御処理や、関連する各部に対する制御処理を行う。

［（５）カメラ部、撮影処理部］
図５は、カメラ部１１、撮影処理部１２、メモリ１３の詳しい構成を示す。撮影処理部１２の顔検出機能２０１は、個人認識機能２０１Ｂを含む。歪補正機能２０３は、処理として、正像変換処理２０３Ａ、台形補正処理２０３Ｂ、収差補正処理２０３Ｃ等を行う。メモリ１３には、登録画像Ｄ１０、補正後画像Ｄ１１、送信画像Ｄ１２、モニタ画像Ｄ１３等のデータが記憶される。メモリ１３は、撮影画像データを一時的に保持し、各機能の処理に係わるワークエリアとしても利用される。撮影処理部１２内にメモリ１３があってもよい。撮影処理部１２の処理概要は以下である。

（１） まず、インカメラＣ１を通じて撮影された広角画像（データＤ１）は、撮影処理部１２の顔検出機能２０１に入力される。顔検出機能２０１は、広角画像のデータＤ１から、画像処理に基づいて、ユーザＡの顔を含む領域を検出する処理を行う。顔検出機能２０１は、例えば、広角画像内から、特徴点群を抽出し、目、耳、鼻、口等を検出し、また、画素の色や輝度の差に基づいて、顔や頭の輪郭を検出する。これにより、後述の図９のように、顔領域Ｂ１等が検出可能である。顔検出機能２０１からは、広角画像および検出結果のデータＤ２が出力される。

また、個人認識機能２０１Ｂでは、顔画像から、特定のユーザＡ個人の顔であるかどうかを認識する。撮影処理部１２は、例えば特定のユーザＡ個人の顔を検出した場合にのみ、それ以降の処理を適用する。

（２） 次に、トリミング機能２０２は、広角画像のデータＤ２に基づいて、検出された顔を含む領域に対応するトリミング領域をトリミングしてトリミング画像を得る処理を行う。トリミング機能２０２からは、そのトリミング画像等のデータＤ３が出力される。トリミングの仕方として、例えば、検出された顔領域における中心点（点Ｐ１）を基準として、所定の形状およびサイズの領域がトリミングされる。なお、トリミング領域は、顔領域のみとしてもよいし、頭領域としてもよいし、頭とその周辺とを含む領域としてもよい。トリミング領域の種類やサイズは、ユーザ設定機能を用いて変更できる。

（３） 次に、歪補正機能２０３は、データＤ３に基づいて、トリミング画像における、広角レンズによる歪を、歪が無い正像を持つ平面になるように補正する処理を行う。歪補正機能２０３は、まず、トリミング画像に対し、正像変換処理２０３Ａ（図１４）を行う。これにより、歪が無い正像を持つ平面にされた画像（平面化画像）が得られ、その平面化画像を含むデータＤ４が出力される。

歪補正機能２０３は、次に、平面化画像のデータＤ４に対し、台形補正処理２０３Ｂ（図１５）を行う。これにより、台形状の画像内容を、直角四角形状の画像内容となるようにした画像が得られ、そのデータＤ５が出力される。台形変換によって、画像内容がより好適な見た目になるようにされる。

歪補正機能２０３は、次に、収差補正処理２０３Ｃでは、データＤ５に対し、広角の歪以外で、レンズ系の特性に起因する各種の収差を補正する公知の処理を行う。これにより、補正後画像Ｄ１１が得られる。例えば、レンズ系が固定である場合、予め製品出荷時に、レンズ系補正パラメータＤ１４が、例えばメモリ１３に格納されている。レンズ系補正パラメータＤ１４は、収差補正用の設定情報や初期値等であり、設定可変としてもよい。収差補正処理２０３Ｃは、そのレンズ系補正パラメータＤ１４を参照する。

なお、通常、正像変換処理２０３Ａ後の画像の状態で、ユーザＡの顔の状態が見た目で十分に違和感が無い状態（少なくともテレビ電話に使用できる状態）とされる。そのため、台形変換処理２０３Ｂや収差補正処理２０３Ｃについては省略する形態としてもよい。また、歪補正機能２０３で行われる処理は、必ずしもこの順番で行う必要は無く、任意の順で処理を行ってもよい。また、条件によっては特定の処理を行わないように制御をしてもよい。

（４） 歪補正機能２０３による補正後画像Ｄ１１が、メモリ１３に格納される。補正後画像Ｄ１１では、広角画像に起因する歪やレンズの収差が解消または低減されており、ユーザが違和感少なく顔等を認識できるレベルの画像となっている。撮影処理部１２またはコントローラ１０（テレビ電話機能１００）は、補正後画像Ｄ１１を用いて、相手（ユーザＢ）に送信するための送信画像Ｄ１２や、自己確認用のモニタ画像Ｄ１３を作成する。コントローラ１０は、送信画像Ｄ１２や、マイク１７で入力された音声を用いて、テレビ電話用のデータを作成する。

送信画像Ｄ１２は、例えば、相手の携帯情報端末２が要求している画像サイズ（表示画面サイズ等）に合わせるように、カットや拡大／縮小等が適宜に施された画像である。モニタ画像Ｄ１３は、表示画面ＤＰ内のモニタ画像表示用領域（図７の領域Ｒ２）のサイズ等に合わせるように、カットや拡大／縮小等が適宜に施された画像である。

（５） コントローラ１０は、モニタ画像Ｄ１３を、表示画面ＤＰ内の領域に表示する。コントローラ１０は、モニタ画像Ｄ１３に対するユーザＡによる確認の結果が肯定（送信許可）である場合には、送信画像Ｄ１２を含むデータを、通信部を介して、相手の携帯情報端末２に送信する。

（６） また、撮影処理部１２は、顔検出機能２０１によってユーザＡの顔を検出できなかった場合や、ユーザＡによるモニタ画像Ｄ１３の確認の上で送信拒否の指示を受けた場合等には、登録画像Ｄ１０を用いて送信画像Ｄ１２を作成する。登録画像Ｄ１０は、ユーザＡの顔画像を含む。

撮影処理部１２は、所定の時間間隔の撮影画像毎に、同様に上記処理を繰り返す。その際、ある時点の画像からユーザＡの顔を捉えきれない場合等には、過去最後に検出済みの画像、または登録画像Ｄ１０の顔画像を用いて、代替の送信画像Ｄ１２を作成してもよい。

［（６）処理フロー］
図６は、携帯情報端末１におけるテレビ電話機能１００の処理フローを示す。図６のフローは、ステップＳ１～Ｓ１３を有する。以下、ステップの順に説明する。

（Ｓ１） まず、Ｓ１で、ユーザＡがテレビ電話を行う際（自分から相手に発信する場合または相手から自分に着信した場合）、携帯情報端末１のコントローラ１０（テレビ電話機能１００）は、自機の制御状態を、テレビ電話モードに移行する。詳しくは、例えば、ユーザＡは、相手（ユーザＢ）とテレビ電話したい場合に、相手の電話番号へ発信する。これに伴い、テレビ電話アプリプログラム１６ｂ（テレビ電話処理実行部１５ｂ）が起動される。コントローラ１０は、テレビ電話モードで、インカメラＣ１の撮影、マイク１７の音声入力、スピーカ１８の音声出力、表示部２１の表示、各種通信等を、同時並行的に制御する。

また、携帯情報端末１は、ユーザＡによる、音声電話（非テレビ電話）またはテレビ電話の選択の操作に応じて、テレビ電話モードに移行する。例えば、携帯情報端末１は、表示画面ＤＰに音声電話かテレビ電話かの選択ボタンを表示し、選択操作に応じて、対応するモードへ移行させる。また、携帯情報端末１は、テレビ電話モードではインカメラＣ１を用いるので、カメラ部１１のカメラモードを、インカメラＣ１を用いるモードにする。

さらに、実施の形態１では、テレビ電話モードの詳細として、通常モード（非ハンズフリーモード）とハンズフリーモードとの２種類を設けている。通常モード（非ハンズフリーモード）は、図１９のような状態に対応する第１モードである。ハンズフリーモードは、図２のような状態に対応する第２モードである。携帯情報端末１は、ユーザＡによる所定の指示操作、あるいはセンサ類３０を用いた自動的な端末状態把握に応じて、それらのモードから選択する。例えば、携帯情報端末１は、表示画面ＤＰに、通常モードとハンズフリーモードとの選択ボタンを表示し、選択操作に応じて、対応するモードへ移行させてもよい。あるいは、携帯情報端末１は、加速度センサ３１等の検出情報から、ユーザＡが筐体を手持ちしているか、水平面ｓ０上に平らに置いているか等の状態を把握し、その状態に応じて自動的にモードを決定してもよい。

本例では、ユーザＡは、図２のようなハンズフリー状態（対応するハンズフリーモード）でのテレビ電話を行う。ユーザＡは、携帯情報端末１の筐体を図２のような状態にし、携帯情報端末１はハンズフリーモードを選択する。なお、他の実施の形態では、上記２種類のモードを区別しなくてもよい。

（Ｓ２） 携帯情報端末１は、端末状態把握と共に、テレビ電話モードではカメラ部１１を、インカメラＣ１を使用するモード（インカメラモード）にして、撮影を開始させる。撮影処理部１２は、インカメラＣ１からの動画を入力する。

（Ｓ３） 携帯情報端末１の撮影処理部１２は、インカメラＣ１の広角画像から、顔検出機能２０１によって、ユーザＡの顔を含む領域（例えば図９の領域Ｂ１）を検出する。

（Ｓ４） 撮影処理部１２は、Ｓ３で検出した領域に対し、トリミング機能２０２によって、顔を含む所定の領域をトリミング領域（例えば図１０のトリミング領域ＴＲＭ１）としてトリミングし、トリミング画像（例えば図１２の画像ＧＴ１）を得る。

（Ｓ５） 撮影処理部１２は、Ｓ４で得たトリミング画像に対し、歪補正機能２０３によって、歪補正処理（正像変換処理２０３Ａ）を施す。また、歪補正機能２０３では、前述の台形補正処理２０３Ｂや収差補正処理２０３Ｃを行う。これにより、補正後画像Ｄ１１（例えば図１２の画像ＧＰ１）が得られる。

（Ｓ６） 撮影処理部１２（またはコントローラ１０）は、Ｓ５による補正後画像Ｄ１１を用いて、送信画像Ｄ１２およびモニタ画像Ｄ１３（例えば図１２の画像ＧＰ１１，ＧＰ１２）を作成する。

（Ｓ７） コントローラ１０は、相手（ユーザＢ）の携帯情報端末２から受信した画像を表示画面ＤＰ内の領域（図７の領域Ｒ１）に表示する。また、コントローラ１０は、ユーザＡのモニタ画像Ｄ１３を、表示画面ＤＰ内の領域（図７の領域Ｒ２）に表示する。

（Ｓ８） コントローラ１０は、ユーザＡに対し、モニタ画像Ｄ１３の顔の状態で対応する送信画像Ｄ１２としてもよいかどうかを確認する（送信確認と記載する場合がある）。例えば、表示画面ＤＰ内に送信確認情報（例えば「画像を送信してもいいですか？」）や操作ボタン（例えば送信許可ボタン、送信拒否ボタン）が表示されてもよい。ユーザＡは、モニタ画像Ｄ１３等を見て、その画像内容で送信してもよいかを判断する。例えば、ユーザＡは、表示画面ＤＰ内の送信許可ボタンまたは送信拒否ボタンを押す。Ｓ８で送信許可の場合（Ｙ）にはＳ１０へ進み、送信拒否の場合（Ｎ）にはＳ９へ進む。ユーザＡは、モニタ画像Ｄ１３を見て、例えば目等の状態に違和感がある場合には、送信拒否を選択できる。

（Ｓ９） コントローラ１０は、登録画像Ｄ１０を用いて代替の送信画像Ｄ１２を作成する。また、その際、コントローラ１０は、ユーザＡに対し、表示画面ＤＰで、登録画像Ｄ１０を用いて代替の送信画像Ｄ１２としてもよいかどうかを確認してもよい。例えば、図７のモニタ画像表示用の領域Ｒ２に、登録画像Ｄ１０の顔画像が表示され、確認情報や操作ボタンが表示される。

（Ｓ１０） コントローラ１０は、送信画像Ｄ１２等を含むテレビ電話用の形式のデータを、通信部を介して、相手の携帯情報端末２に送信する。

（Ｓ１１） コントローラ１０は、ユーザＡとユーザＢとのテレビ電話の通話（音声の入力や出力、画像表示等を含む）を処理する。なお、通話者の音声データについては、通常の電話の場合と同様に、画像とは別に常時に送受信されるようにしてもよい。

（Ｓ１２） コントローラ１０は、テレビ電話が終了かどうかを確認する。例えば、ユーザＡは、テレビ電話を終了する場合、終了ボタンを押す。あるいは、携帯情報端末１は、相手の携帯情報端末２から、終了の旨の情報を受信する。テレビ電話の終了の場合（Ｙ）にはＳ１３へ進み、継続の場合（Ｎ）にはＳ２へ戻る。Ｓ２からは同様にループで時点毎の処理が繰り返される。なお、ループによって自動的にユーザＡの顔が追尾される。ループ中の各処理では、同じ処理をなるべく繰り返さないように、処理が効率化されている。例えば、Ｓ３の顔検出処理では、ある時点で一旦検出した顔領域について、その後の時点での動き検出等よって、自動的に顔が追尾される。

（Ｓ１３） コントローラ１０は、テレビ電話モードの終了処理を行い、テレビ電話アプリの起動（実行）を終了する。終了処理には、テレビ電話に係わる設定（例えばリトライ回数）のリセットや、画像データ消去等が含まれる。

上記処理フローの補足や変形例として以下である。上記処理フローでは、基本的に、インカメラＣ１の動画の各画像についてループで同様に処理が行われる。Ｓ８のモニタ画像Ｄ１３を用いた送信確認については、例えばテレビ電話の開始の際に、すなわち動画の最初の期間の画像を用いて、１回行われる。その送信確認で送信許可とされた場合、その後のテレビ電話中では、各時点で作成された送信画像Ｄ１２が自動的に送信される。これに限らず、送信確認は、テレビ電話中に定期的なタイミングで行われるものとしてもよいし、所定のユーザ操作に応じて行われるものとしてもよいし、全く行わないようにしてもよい。テレビ電話アプリのユーザ設定機能において、上記送信確認についての有無やタイミング等に関する設定が可能である。送信確認を行わない設定とした場合、Ｓ６のモニタ画像Ｄ１３の作成、Ｓ７のモニタ画像Ｄ１３の表示、Ｓ８の送信確認等が省略でき、携帯情報端末１は、自動的に送信許可として送信画像Ｄ１２を送信する。

また、テレビ電話の最初に送信確認で送信許可された場合に、その後、テレビ電話の終了まで、または次の送信確認まで、最初に作成した送信画像Ｄ１２と同じものを使用し続けるようにしてもよい。

Ｓ３の顔検出処理では、例えばある時点の広角画像から顔領域を検出できなかった場合に、予め設定されたリトライ回数に従って、別の時点の画像を用いて、顔検出処理をリトライしてもよい。また、顔領域が検出できない場合や追尾できない場合には、過去最後に検出済みの顔画像、または登録画像Ｄ１０を、代替として用いてもよい。また、携帯情報端末１は、ユーザＡに対し、表示画面ＤＰ内に、顔が検出できない旨等を表示し、代わりに登録画像Ｄ１０を用いて送信画像Ｄ１２とするか確認を行って対応してもよい。

また、Ｓ８の送信確認でユーザＡが送信拒否の指示操作をした場合、携帯情報端末１は、すぐにＳ９の登録画像の利用を行ってもよいが、これに限らず、例えば、Ｓ５またはＳ３等のステップに戻り、所定のリトライ回数までで、処理をリトライするようにしてもよい。リトライ回数等の設定は、テレビ電話アプリのデフォルト設定としてもよいし、ユーザ設定で変更可能としてもよい。ユーザのニーズおよび操作に応じて、テレビ電話アプリのユーザ設定機能を用いて、送信確認や、登録画像を用いた送信画像の作成等を含む、各種の機能について、利用有無や動作詳細を設定可能である。ユーザ設定に応じて、テレビ電話の最初から最後まで全て、リアルタイムのカメラ画像を用いることも、登録画像Ｄ１０のみを用いることも、可能である。

［（７）携帯情報端末－表示画面］
図７は、テレビ電話の際の、携帯情報端末１の前面ｓ１を平面視したＸ－Ｙ面での表示画面ＤＰ等の構成を示す。携帯情報端末１の平板状の筐体の主面（前面ｓ１、背面ｓ２）のうち、表示画面ＤＰを持つ前面ｓ１側に、広角レンズ部を含むインカメラＣ１を備えている。前面ｓ１の縦長の長方形領域において、主な表示画面ＤＰの領域の外側の額縁領域のうち上辺部の例えば中央位置（点ＰＣ１）に、インカメラＣ１が設けられている。

テレビ電話アプリの制御およびユーザＢの携帯情報端末２から受信した画像データに基づいて、携帯情報端末１の表示画面ＤＰ内の領域Ｒ１には、通話相手（ユーザＢ）の顔を含む画像（相手画像）ｇ１が表示される。

表示画面ＤＰ内の領域Ｒ１の画像ｇ１の表示と共に、一部の所定の領域Ｒ２には、インカメラＣ１の画像に基づいて作成された、ユーザＡの顔を含むモニタ画像ｇ２が表示される。このモニタ画像ｇ２は、テレビ電話の際にユーザＡが相手へ送信する自己の画像の状態を確認できるように設けられている。このモニタ画像ｇ２を表示する機能は、必須ではないが、表示する場合には、より使い勝手を高くできる。ユーザＡは、このモニタ画像ｇ２を見ることで、自分の顔等の状態を確認でき、必要に応じて、このモニタ画像ｇ２に対応する内容の送信画像Ｄ１２の送信を拒否することもできる。

図７の（Ａ）の表示例では、表示画面ＤＰ内で、殆ど全体に対応する主な領域Ｒ１に相手の画像ｇ１が表示され、領域Ｒ１のうち、インカメラＣ１に近い例えば右上角隅の位置に、重畳する領域Ｒ２を設け、その領域Ｒ２にモニタ画像ｇ２を表示している。

図７の（Ｂ）の別の表示例では、表示画面ＤＡ内で、相手の画像ｇ１を表示する主な領域Ｒ１は、インカメラＣ１に近い上側寄りの位置に配置されており、領域Ｒ１の下側に、分けられた領域Ｒ２を設け、その領域Ｒ２にモニタ画像ｇ２を表示している。これらに限らず、各種の表示の仕方が可能であり、ユーザ設定機能によって変更可能である。

また、図７の表示例では、領域Ｒ２のモニタ画像ｇ２は、領域Ｒ１の相手の画像ｇ１よりも小さいサイズとしている。これに限らず、領域Ｒ２のモニタ画像ｇ２のサイズについても設定変更可能である。また、表示画面ＤＰに対するタッチ操作に応じて、モニタ画像ｇ２のみを拡大表示すること等も可能である。

［（８）画像例、処理例］
図８～図１２は、携帯情報端末１のインカメラＣ１の広角画像に基づいた、顔検出、トリミング、および歪補正についての画像例や処理例を示す。

（１） まず、図８は、比較説明用に、通常カメラＣ２でユーザＡの顔を正面から撮影した場合の画像（通常画像）の例を示している。この通常画像は、正方形のサイズとした場合を示す。ユーザＡの顔または頭における中心点または代表点を点Ｐ１とする。両目の中間点等を点Ｐ１としてもよい。概略的に、顔領域Ａ１、頭領域Ａ２、領域Ａ３を示す。顔領域Ａ１は、顔（目、鼻、口、耳、肌等を含む）を含むようにとった領域である。頭領域Ａ２は、顔領域Ａ１よりも広く、頭（髪等を含む）を含むようにとった領域である。領域Ａ３は、顔領域Ａ１や頭領域Ａ２よりも広く、顔または頭の外側の周辺領域もある程度の大きさで含むようにとった領域である。領域Ａ３は、例えば点Ｐ１からの所定の距離までの領域としてもよいし、領域Ａ３内の顔領域Ａ１等の比率に応じてとった領域としてもよい。各領域の形状は、矩形に限らず、楕円等でもよい。なお、図２のようにカメラから斜め上を見上げる方向の位置関係で撮影された画像の場合、実際の画像内容は、図１５の（Ｂ）のように、やや台形状の画像内容になる。

（２） 図９は、インカメラＣ１で撮像した広角画像Ｇ１の概要と顔領域検出について模式的に示す。この広角画像Ｇ１は、円領域を有する。点ＰＧ１は、広角画像Ｇ１の中心点を示し、光軸の方向Ｊ２に対応する。広角画像Ｇ１内の位置座標を（ｘ，ｙ）で示す。破線枠で示す領域（顔領域）Ｂ１は、概略的に顔領域Ａ１に対応する矩形の領域を示す。同様に、領域（頭領域）Ｂ２は、頭領域Ａ２に対応する矩形の領域、領域Ｂ３は、領域Ａ３に対応する矩形の領域を示す。領域Ｂ４は、さらに、領域Ｂ３よりも大きく、処理用に十分に大きな矩形の領域をとる場合を示す。各領域は矩形で示しているが、これに限らず、広角画像の座標系に合わせた形状としてもよい。

図９の広角画像Ｇ１では、図２のような位置関係に基づいて、広角画像Ｇ１内の一部の領域、特に中央の点ＰＧ１から下側の位置（点Ｐ１）の付近の領域に、ユーザＡの顔等が写っている。このように、インカメラＣ１の広角レンズを通じて撮像した広角画像Ｇ１内の顔を含む全体には、広角レンズに依存する歪が生じている。広角画像Ｇ１内では、中央（点ＰＧ１）に比べて外周の位置ほど歪が大きくなる場合がある。

顔検出機能２０１では、広角画像Ｇ１内から、顔を含む領域を検出する。顔検出機能２０１では、例えば顔領域Ｂ１または頭領域Ｂ２を検出する。

（３） 図１０は、図９の広角画像Ｇ１について、後述の図１３、図１４の原画像の（ｘ，ｙ）平面での状態を重ねて示している。トリミング機能２０２では、広角画像Ｇ１から、顔領域Ｂ１や領域Ｂ３等に対応するトリミング領域を設定して、トリミング画像を得る。図１０の例では、広角画像Ｇ１から、領域Ｂ３に対応する、原画像の（ｘ，ｙ）平面の座標系に対応する盾形状の領域を、トリミング領域ＴＲＭ１（破線枠）として設定している。このトリミング領域ＴＲＭ１の盾形状は、例えばｙ方向で中央から外周になるにつれてｘ方向の幅が小さくなる形状である。

（４） また、図１１は、比較説明用に、図９の広角画像Ｇ１から、矩形（直角四角形）のトリミング領域としてトリミングする場合のトリミング画像の例を示す。領域１１１は、頭とその周辺とを含む矩形の領域を示す。領域１１２は、処理用に領域１１１よりも大きくとる場合の矩形の領域の例を示す。領域１１１において、概略的に、顔領域等の横幅Ｈ１と、全体の横幅Ｈ２とを示す。領域１１１のサイズの決定に関しては、顔領域等の横幅Ｈ１に対し、所定の比率（Ｈ１／Ｈ２）となるように、全体の幅Ｈ２が設定される。例えば、Ｈ１／Ｈ２＝１／２、あるいは２／３等とされる。この比率はユーザ設定可能である。あるいは、領域１１１，１１２のサイズに関しては、顔領域の中心の点Ｐ１から、横方向や縦方向に所定の距離Ｋ１，Ｋ２等をとることで決定してもよい。

（５） 図１２は、トリミング画像と歪補正の例について示す。図１２の（Ａ）は、図１０のトリミング領域ＴＲＭ１に対応するトリミング画像ＧＴ１を示す。また、トリミング領域ＴＲＭ２およびトリミング画像ＧＴ２は、処理用にトリミング領域ＴＲＭ１およびトリミング画像ＧＴ１よりも大きくとった場合の例を示す。原画像の（ｘ，ｙ）平面上において、ユーザＡの顔の周辺を含むサイズ（例えば上半身を含むサイズ）のトリミング領域ＴＲＭ１とされている。

図１２の（Ｂ）は、（Ａ）のトリミング画像ＧＴ１に対する歪補正の結果の画像である平面化画像ＧＰ１を示す。歪補正機能２０３では、トリミング画像ＧＴ１に対し、正像変換処理２０３Ａ（図１４）を行う。この結果、ほぼ歪が無い平面化画像ＧＰ１が得られる。平面化画像ＧＰ１は、矩形（直角四角形）の平面ＰＬ１を持つ。また、平面ＰＬ２は、トリミング画像ＧＴ２の場合に同様に得られる平面化画像の平面を示す。また、特に、画像ＧＰ１１や画像ＧＰ１２は、平面化画像ＧＰ１のうち一部の領域を抽出する場合の例を示す。画像ＧＰ１１は顔領域に対応し、画像ＧＰ１２は頭領域とその周辺とを含む領域に対応する。

撮影処理部１２は、平面化画像ＧＰ１を補正後画像Ｄ１１として取得する。さらに、撮影処理部１２は、この平面化画像ＧＰ１から、一部の画像ＧＰ１１等を抽出し、適宜に加工することで、モニタ画像Ｄ１３を作成してもよい。

撮影処理部１２は、歪補正機能２０３を用いて、広角画像Ｇ１（原画像）の状態から、歪の無い状態になるように正像変換処理２０３Ａを行う。ここで、原画像の円形の全領域に対して正像変換処理２０３Ａの計算を施す場合、計算量が大きくなることが懸念される。そのため、実施の形態１では、上記のように、処理例として、撮影処理部１２は、広角画像Ｇ１（原画像）のうちの一部の領域をトリミングした画像に対して限定的に正像変換処理２０３Ａ等の計算を施している。

［（９）歪補正］
図１３および図１４を用いて、インカメラＣ１で撮影された歪を持つ広角画像を、歪が無い平面化画像に補正する歪補正方法について説明する。

図１３は、インカメラＣ１の広角レンズを使用した場合の正像変換のモデルおよび座標系を示す。広角レンズに対応する半球面５００、カメラセンサの平面的な撮像面５０１、平面化画像５０２等を示す。撮像面５０１は、原画像の（ｘ，ｙ）平面としても示す。平面化画像５０２は、対象物体の撮影画像に対応し、（ｕ，ｖ）平面として示す。広角レンズは、画角等によっても半径等が異なるが、球面に近い形状を有し、半球面５００として示す。撮像面５０１は、半球面５００の撮影範囲のＺ方向の軸に垂直な位置に配置されている。半球面５００や撮像面５０１の原点Ｏ、半径Ｒ、３次元座標（Ｘ，Ｙ，Ｚ）を示す。球面座標系（半球面５００）の底面の平面が、カメラセンサ上の撮像面５０１に相当し、原画像の（ｘ，ｙ）平面として示す。

携帯情報端末１は、インカメラＣ１の広角レンズを通じて撮影された広角画像の画角ＡＶ１内における、撮影対象物であるユーザＡの顔が撮影されている位置や画角ＡＶ２について、図１３のモデルに基づいて、中心位置からの距離、角度、範囲等が判断できる。よって、撮影処理部１２は、図１３のモデルに基づいた歪補正処理（図１４の正像変換）を行うことにより、歪を持つ顔画像を、歪が解消または低減された平面化画像にすることができる。

前述の図２のように、インカメラＣ１の広角レンズによる画角ＡＶ１は、１８０度程度と大きい。広角レンズに対応する、球面に近い形状（半球面５００）で物体（例えば顔）を撮影、透過した光学像を、撮像面５０１で示す平面を持つカメラセンサで受像する。すると、そのカメラセンサ上の画像（広角画像）には、図１４の左側に示すように、歪を生じる。中央に比べて外周になるほど、カメラセンサ正面角度（Ｚ方向）と撮影画像方向（ｎ方向）との関係（角度βで示す）がきつくなる。

図１４の左側には、原画像の（ｘ，ｙ）平面における歪を概念的に示す。（ｘ，ｙ）平面では、座標系の単位領域が直角四角形ではない（例：歪量δｕ，δｖ）。図１４の右側には、平面化画像５０２として、（ｕ，ｖ）平面を示す。この（ｕ，ｖ）平面が、歪が無い画像として取り出したい画像である。（ｕ，ｖ）平面では、座標系の単位領域が直角四角形（例：Δｕ，Δｖ）となっている。

広角レンズの焦点距離やレンズ形状に関する諸元は予め分かっている。よって、上記球面の画像（原画像）から平面の画像（平面化画像と記載する）への座標変換が容易に可能である。この座標変換として、図１４のような正像変換を適用可能である。この正像変換は、歪を持つ画像を、人の目で見たままの歪を持たない画像に変換するものであり、例えば魚眼レンズ等の歪補正で使用されている。この正像変換を用いて、図１４の左側の原画像の（ｘ，ｙ）平面の各点位置の画素を、右側の平面化画像の（ｕ，ｖ）平面の各点位置の画素に変換する。変換の詳細については以下である。

図１３のように、対象物体の撮影の方向ｎに関して、方位角をα、天頂角をβ、取り出す平面（平面化画像５０２）の回転角をφとする。レンズの倍率をｍとする。すると、公知の正像変換の式から、下記の式１，式２である。また、その式中のＡ，Ｂ，Ｃ，Ｄは、式３～式６である。
式１： ｘ＝Ｒ（ｕＡ－ｖＢ＋ｍＲsinβsinα）／√（ｕ^２＋ｖ^２＋ｍ^２Ｒ^２）
式２： ｙ＝Ｒ（ｕＣ－ｖＤ＋ｍＲsinβcosα）／√（ｕ^２＋ｖ^２＋ｍ^２Ｒ^２）
式３： Ａ＝cosφcosα－sinφsinαcosβ
式４： Ｂ＝sinφcosα＋cosφsinαcosβ
式５： Ｃ＝cosφsinα＋sinφcosαcosβ
式６： Ｄ＝sinφsinα－cosφcosαcosβ

上記式に従った計算によって、原画像の各画素を、平面化画像の各画素に変換して、歪を解消することができる。原画像の（ｘ，ｙ）平面における各画素位置での歪量δｕ，δｖが、平面化画像の（ｕ，ｖ）平面における正方形の単位領域のように、歪の無い状態（Δｕ，Δｖ）にされる。

［（１０）台形補正］
図１５は、台形補正処理２０３Ｂについての画像例等を示す。図１５の（Ａ）のように、携帯情報端末１を水平面ｓ０上に平らに置いた状態の場合、ユーザＡの顔は、インカメラＣ１から見て斜め上の方向Ｊ３で撮影される。そのため、顔撮影の画像の画角ＡＶ２において、顔や頭におけるＺ方向下方側の部分（あご等）の方が、Ｚ方向上方側の部分よりも、距離が近い。距離ＤＳＴ１は、インカメラＣ１の位置ＰＣ１と、頭の上方側の部分との距離、距離ＤＳＴ２は、インカメラＣ１の位置ＰＣ１と、頭の下方側の部分との距離の例を示す。ＤＳＴ１＞ＤＳＴ２である。

このため、撮影画像（広角画像）内では、図１５の（Ｂ）のように、ユーザＡの顔領域等が、台形状の画像内容（台形画像と記載する）となる。台形画像１５１では、Ｚ方向での上辺が下辺よりも小さい。台形画像１５１は、正像変換後の、広角画像の歪が無い状態の形状を模式的に示している。台形画像１５１では、例えば頭頂側が相対的に小さく、あご側が相対的に大きく写っている。

この台形画像を用いて送信画像Ｄ１２を構成した場合、相手（ユーザＢ）からその送信画像Ｄ１２を見ると、やや違和感を感じる可能性がある。そこで、より好適な送信画像Ｄ１２を作成するために、台形補正処理２０３Ｂを用いる。携帯情報端末１は、インカメラＣ１の位置ＰＣ１からユーザＡの顔の代表的な位置の点Ｐ１を見る場合の仰角（角度θ１）の範囲等の状態を、インカメラＣ１の画像やセンサ類を用いて判断可能である。撮影処理部１２は、その判断した情報に基づいて、台形補正処理２０３Ｂを行う。

図１５の（Ｃ）は、（Ｂ）からの台形補正の結果得られた画像１５２を示す。この画像１５２は、直角四角形画像であり、上辺と下辺とが同じ長さである。この画像１５２を用いて送信画像Ｄ１２を作成することで、相手（ユーザＢ）からは、ユーザＡの顔を正面から見たような画像となる。

［（１１）モニタ機能、画像修正機能］
図７のように、実施の形態１の携帯情報端末１では、ユーザＡ自身の画像についてのモニタ機能も備えている。携帯情報端末１は、表示画面ＤＰ内に、送信画像Ｄ１２に対応させたユーザＡのモニタ画像Ｄ１３を表示して、ユーザＡにそのモニタ画像Ｄ１２の顔の状態で送信画像としてもよいかどうかを確認する。このモニタ機能では、ユーザＡは、モニタ画像Ｄ１３を見て、歪補正後の自己の顔画像について、違和感や気に入らないと感じる場合、そのモニタ画像Ｄ１３に対応する送信画像Ｄ１２を、送信拒否することができる。携帯情報端末１は、その送信拒否の指示の操作を受けた場合、そのモニタ画像Ｄ１３に対応する送信画像Ｄ１２を送信しない。

また、その場合、携帯情報端末１は、その送信画像Ｄ１２の代わりに、登録画像Ｄ１０に基づいた新たな送信画像Ｄ１２を作成し、元の送信画像Ｄ１２と交換して、送信するようにしてもよい。携帯情報端末１は、登録画像Ｄ１０の顔画像をそのまま用いてもよいし、加工して送信画像Ｄ１２を作成してもよい。登録画像Ｄ１０は、ユーザＡが自己の顔を任意のカメラで撮影した静止画または動画でもよいし、顔以外でも、他の任意の画像（アイコン画像、アニメーション画像等）でもよい。

また、他の機能として、携帯情報端末１は、画像修正機能を備えてもよい。携帯情報端末１は、一旦作成した補正後画像Ｄ１１（モニタ画像Ｄ１３、送信画像Ｄ１２）について、送信拒否の指示を受けた場合に、この機能を用いて、顔画像を修正する。携帯情報端末１は、この際、補正後画像Ｄ１１に対し、登録画像Ｄ１０の顔画像に基づいて、修正処理を施して、修正版の顔画像を作成する。例えば、携帯情報端末１は、顔画像内の両目の状態について、目線の向きが正面になるように加工して、修正版の顔画像を作成する。なお、修正版の顔画像についても表示画面ＤＰ内に表示してユーザＡに送信確認してもよい。

具体例としては、あるタイミングで撮影したユーザＡの顔画像において、目の部分がうまく撮影できていない場合、例えば目線の向きについて正面（方向Ｊ３）からのずれが大きい場合がある。その場合に、携帯情報端末１は、その顔画像の目の部分を、登録画像Ｄ１０の目の部分を用いて、合成や置換するように修正する。これにより、修正後の顔画像では目が正面を向いた状態にする。

また、携帯情報端末１は、モニタ画像Ｄ１３の確認の上でユーザＡが送信拒否の指示をした場合、その時点の処理結果（補正後画像Ｄ１１、送信画像Ｄ１２）を一旦リセットし、異なるタイミングの入力画像に基づいて、送信画像Ｄ１２の作成をリトライするようにしてもよい。その際のリトライ回数も設定可能である。携帯情報端末１は、所定の回数まででリトライした結果、最終的に十分な画像が得られなかった場合（ユーザＡの送信指示が出ない場合）、登録画像Ｄ１０の顔画像を送信画像Ｄ１２としてもよい。

また、携帯情報端末１は、表示画面ＤＰ内の領域に対するユーザＡのタッチ操作に応じて、送信画像Ｄ１２とする画像を、リアルタイムに作成した画像とするか、登録画像Ｄ１２の顔画像とするかを切り替えるようにしてもよい。

［（１２）登録機能および登録画像］
登録機能および登録画像Ｄ１０を用いることで、顔検出等の精度を高めることができ、また、各種の付属的な機能も利用可能である。登録画像Ｄ１のデータは、メモリ１３または外部メモリ１６等に格納されている。登録画像Ｄ１０としてユーザＡの顔画像を登録する方法としては以下である。例えば、ユーザＡは、テレビ電話アプリのユーザ設定機能のうちの登録機能を操作し、通常カメラＣ２（または後述の実施の形態２でのインカメラＣ３）を用いて、自己の顔を正面から撮像し、歪の無い顔画像を、登録画像Ｄ１０として登録する。なお、インカメラＣ１および歪補正機能２０３を用いて登録画像Ｄ１０を作成してもよいし、別のカメラや外部装置からのデータ読み込みによって登録を行ってもよい。

登録画像Ｄ１０は、ユーザＡの顔の正面から撮像した顔画像だけではなく、他の色々な方向から顔を撮像した複数の画像を含んでもよい。この場合、携帯情報端末１の顔検出機能２０１は、ユーザＡがテレビ電話の際に顔の向きを変えたり動いたりしている場合でも、その登録画像Ｄ１０を用いて、その時の顔の状態を検出することができる。携帯情報端末１の画像修正機能は、その顔の状態に合わせて、修正処理が可能である。

また、ユーザＡが表示画面ＤＰでモニタ画像Ｄ１３を確認して送信拒否し、代わりに登録画像Ｄ１０を用いる場合に、登録画像Ｄ１０の複数の顔画像のうちユーザＡが選択した顔画像を用いて送信画像Ｄ１２とすることもできる。

また、登録画像Ｄ１０は、あるユーザＡ一人の顔画像だけではなく、その携帯情報端末１を使用してテレビ電話を行う可能性がある他の複数のユーザについての複数の顔画像を含めてもよい。

［（１３）個人認識機能］
実施の形態１では、撮影処理部１２の顔検出機能２０１は、特に、特定のユーザ個人の顔を認識する機能（個人認識機能２０１Ｂ）も備えている。携帯情報端末１は、広角画像から、不特定の顔領域を検出するだけでなく、特定のユーザ個人の顔を認識してもよい。その場合、携帯情報端末１は、特定のユーザの顔のみを検出して、送信画像Ｄ１２を作成してもよい。

顔検出機能２０１は、例えば、広角画像から任意の顔領域を検出する。その後、個人認識機能２０１Ｂでは、その顔領域を、予め登録画像Ｄ１０に登録されているユーザＡの個人認識用の顔画像と比較照合する。個人認識機能２０１Ｂでは、その比較の結果、類似性に基づいて、広角画像内の顔領域が、特定のユーザＡの顔に該当するかどうかを判定する。個人認識機能２０１Ｂは、個人認識結果情報を出力する。

携帯情報端末１は、特定のユーザＡの顔である場合にのみ、ハンズフリー状態のテレビ電話機能の制御を適用し、例えば送信画像Ｄ１２を作成する。広角画像内に複数のユーザの顔が映っている場合に、特定のユーザＡの顔のみを対象として送信画像Ｄ１２を作成することができる。例えば、広角画像内でユーザＡの背景にいるだけの通行人の顔については対象として扱わずに済む。なお、変形例としては、個人認識機能２０１Ｂを備えなくてもよい。また、撮影処理部１２は、歪補正前の画像に対して特定の個人の顔の認識を行うようにしてもよいし、歪補正後の画像に対して特定の個人の顔の認識を行うようにしてもよい。

［（１４）顔追尾機能］
実施の形態１で、撮影処理部１２（特に顔検出機能２０１）は、インカメラＣ１の動画（所定のレートの複数の画像）に基づいて、ユーザの顔領域の動きを自動的に追尾する機能（顔追尾機能）も含んでいる。携帯情報端末１は、広角のインカメラＣ１を用いることで、ユーザ自身が多少移動したとしても、広角画像内であれば、顔検出によって追尾することができる。携帯情報端末１は、常にユーザの顔が画像中心となるように追尾した送信画像Ｄ１２とすることもできる。

テレビ電話中、ユーザＡが同じ位置に静止しているとは限らず、動いている場合がある。撮影処理部１２は、動画から、所定の時点毎の広角画像毎に、ユーザＡの顔領域を検出する。例えば、顔検出機能２０１によって一旦ある時点で顔領域を検出した後、その後の時点では、その検出済みの顔領域の付近で探索して、顔領域の動きを判断する。これにより、画像処理量を抑制しつつ、ユーザが動いている場合でも、時間軸上で継続的にユーザＡの顔領域を追尾できる。

また、図２の状態でのテレビ電話の際に、ユーザＡ（特に顔）は、最初の位置から移動する場合がある。例えば、ユーザＡが一時的に最初の位置から離れて、その後に最初の位置に戻る場合がある。その場合でも、撮影処理部１２は、顔追尾機能によって、移動する顔領域をできるかぎり追尾する。撮影処理部１２は、ユーザＡの顔が広角画像内に映っていない状態になった場合、すなわち追尾できない場合、その後の時間では、例えば以下のように対応する。撮影処理部１２は、過去最後に検出済みの画像、作成済みの送信画像Ｄ１２を用いて対応する。または、撮影処理部１２は、一時的に登録画像Ｄ１０の顔画像に切り替えて対応する。撮影処理部１２は、ユーザＡの顔が再び広角画像内に写った状態になった場合、その顔領域を検出して、その後同様に追尾する。また、撮影処理部１１は、ユーザＡの顔が任意の物体によって一時的に隠された場合でも、同様に、顔追尾機能によって対応することができる。

［（１５）他の利用状態、配置状態、およびガイド機能］
図１６～図１８は、実施の形態１の携帯情報端末１の他の利用状態や配置状態の例を示す。ユーザＡがハンズフリー状態のテレビ電話を行う際の、端末の配置状態については、図２の状態に限らず、以下のような状態も可能である。

図１６は、状態の第１例を示す。図１６では、水平面ｓ０に対してある程度の角度１６１で傾いた斜面ｓ５を持つ、台等の任意の物体１６０がある。ユーザＡは、携帯情報端末１の筐体を、その台等の物体１６０の斜面ｓ５に沿って平らに置く。物体１６０や角度１６１は、特に限定されず、筐体が静止する状態となればよい。この状態で、ユーザＡは、前方にある筐体の表示画面ＤＰを見る。インカメラＣ１は、角度１６１に応じた光軸の方向Ｊ２で配置されている。インカメラＣ１は、方向Ｊ３の画角ＡＶ２で、ユーザＡの顔（点Ｐ１）を撮影する。このように、筐体がある程度傾いて配置されていても、図２と同様にハンズフリー状態でのテレビ電話が実現できる。

図１７は、第２例として、筐体の前面ｓ１のインカメラＣ１の位置ＰＣ１が、ユーザＡから見てＹ方向で手前側の方向Ｙ２の位置になっている。この場合、インカメラＣ１の顔撮影の方向Ｊ３（角度θ３）が、図２の状態とは変わっている。例えば仰角がより大きくなっている。この場合、広角画像内では、ユーザＡの顔領域が反転して写っている。撮影処理部１２は、その広角画像からその反転の状態を認識できる。撮影処理部１２は、適宜に画像反転処理を行い、表示画面ＤＰ内には上下を適切な方向にしたモニタ画像Ｄ１３を表示する。

図１８は、第３例として、筐体の長手方向をＸ方向（ユーザＡからみて左右方向）に沿って配置した場合を示す。この場合、前面ｓ１のインカメラＣ１の位置ＰＣ１が、ユーザＡから見てＸ方向で左右の一方の側（例えば方向Ｘ１）の位置になる。撮影処理部１２は、適宜に画像回転処理を行い、表示画面ＤＰ内には適切な方向にしたモニタ画像Ｄ１３を表示する。

実施の形態１では、ユーザに対し特に図２の配置状態を推奨するが、上記各配置状態でも概略同様にテレビ電話機能を実現できる。また、実施の形態１では、水平面ｓ０上の携帯情報端末１の配置状態およびユーザＡとの位置関係が、図２、図１７、図１８等のいずれの状態であっても、インカメラＣ１によって概略同様に対応可能である。そのため、ユーザＡは、テレビ電話の際に、端末の状態や自身の位置を、ある程度自由に変えることもでき、利便性が高い。

また、携帯情報端末１は、筐体の配置状態について、ユーザに対し推奨やガイドを行う機能（ガイド機能）を備えていてもよい。携帯情報端末１は、カメラ画像やセンサ類３０を用いて、筐体の配置状態を把握する。携帯情報端末１は、例えば、図２の配置状態を推奨するように、ガイド情報（例：「カメラを奥側にして置くことをおすすめします。」）を、表示画面ＤＰに表示したり、音声出力したりしてもよい。

また、携帯情報端末１は、筐体の配置状態が適切ではない場合には、その旨のガイド情報を出力してもよい。例えば、携帯情報端末１は、ある配置状態で、インカメラＣ１の位置ＰＣ１からユーザＡの顔（点Ｐ１）を撮影する方向Ｊ３に関する角度θ３が、所定の角度範囲内ではない場合（仰角が小さすぎる場合または大きすぎる場合）には、配置位置が適切ではない旨のガイド情報を出力してもよい。

また、例えば、携帯情報端末１に対するユーザＡの位置関係において、特にインカメラＣ１から顔を認識できない位置関係となる場合も想定される。その場合、携帯情報端末１は、位置関係（端末位置およびユーザ位置）を適切にするために、ユーザＡに対し、ガイド情報を出力してもよい。例えば、携帯情報端末１の位置や配置状態を変更させる旨の情報、またはユーザＡの顔の位置を変更させる旨の情報を出力させてもよい。この際、携帯情報端末１は、ユーザＡとの位置関係を把握している場合には、どの方向や位置へ変更させるべきかの指示情報を出力してもよい。

［（１６）比較例－非ハンズフリー状態］
図１９は、比較例の携帯情報端末における通常のテレビ電話モード（通常モード）、および、実施の形態１における別のテレビ電話モードとして非ハンズフリー状態の非ハンズフリーモードの場合を示す。この状態、モードでは、ユーザＡは、携帯情報端末の筐体を手に持っており、両手が自由ではない。図１９の例では、筐体が鉛直上方に立つ状態とされている。筐体の前面のインカメラＣＸは、通常画角（いわゆる狭角）の通常レンズを持つ通常カメラである。この通常画角は、インカメラＣ１の画角ＡＶ１よりも狭い。インカメラＣＸの光軸の方向ＪＸ２を示し、本例ではＹ方向で手前側の方向Ｙ２を向いている。インカメラＣＸの画角ＡＶＸ１は、例えば４５度から１３５度までの角度範囲である。画角ＡＶＸ１のうち、顔撮影範囲に対応する画角ＡＶＸ２を示す。

また、ユーザＡの目線の方向ＪＸ１と、インカメラＣＸの顔撮影の方向ＪＸ３と、それらが成す角度差ＡＤ２とを示す。このような角度差が大きいほど、画像内でのユーザＡの目線の向きが下向きとなる。相手（ユーザＢ）から見ると、ユーザＡの目が正面を向いていない状態となる。

一方、実施の形態１での図２のハンズフリーモードの場合、角度差ＡＤ１は、比較例の角度差ＡＤ２よりも小さくすることができる。そのため、実施の形態１でのハンズフリーモードの場合、画像内でのユーザの目線の向きが、通常モードの場合よりも、より正面に近い向きになる。これにより、相手（ユーザＢ）から見ると、ユーザＡの目線がより正面を向いている状態となるので、より自然で違和感が少ないテレビ電話が可能である。

なお、従来の携帯情報端末のインカメラＣＸは、通常レンズを持ち、撮影可能範囲が限られている。そのため、このインカメラＣＸをテレビ電話機能に利用して、ユーザＡが手で筐体を持って非ハンズフリー状態でテレビ電話を行う場合には、以下のような考慮や手間が必要である。ユーザＡは、自身の顔を適切に撮影して相手に伝えるために、手で筐体の向きを調整しながら、顔と筐体との位置関係を保持し続ける必要がある。一方、実施の形態１の携帯情報端末１では、インカメラＣ１を用いてハンズフリー状態でテレビ電話を行うことができ、上記のような考慮や手間が不要である。

なお、実施の形態１で、通常モードを用いる場合では、インカメラＣ１の広角画像内の中央付近の位置にユーザＡの顔が写ることになる。この通常モードの場合、携帯情報端末１は、歪補正処理等を省略してもよく、ハンズフリーモードとは異なる動作として、異なる効果が得られる。

［（１７）効果等］
上記のように、実施の形態１のテレビ電話機能を持つ携帯情報端末１によれば、ハンズフリーのテレビ電話を、より好適な使い勝手で実現できる。ユーザは、両手が自由な状態でテレビ電話が可能であり、利便性も高い。なお、携帯情報端末１の前面ｓ１のインカメラＣ１は、テレビ電話専用に限らず、他の用途（自撮り等）にも使用可能な一般的なものである。実施の形態１では、そのインカメラＣ１をうまく利用してハンズフリーのテレビ電話を実現している。実施の形態１の携帯情報端末１は、ハンズフリーのテレビ電話の際に、筐体を変形させる必要が無く、また、別の固定器具等を用いる必要も無く、使い勝手が良く、汎用性が高い。

また、実施の形態１の携帯情報端末１は、カメラ（インカメラＣ１）の光軸が一般的な面垂直方向となっており、カメラの光軸の方向が斜め（例えば４５度）になっているような従来技術例や、カメラの光軸の方向を機械的に駆動して変更可能とする従来技術例等とは異なり、実装も容易である。

（実施の形態２）
図２０、図２１を用いて、本発明の実施の形態２の携帯情報端末について説明する。実施の形態２の基本的な構成は実施の形態１と同様であり、以下では実施の形態２における実施の形態１とは異なる構成部分について説明する。実施の形態２の携帯情報端末１は、筐体の前面ｓ１に複数のインカメラを備え、それらを使い分ける。

図２０は、実施の形態２の携帯情報端末１における、カメラ部１１の構成を示す。このカメラ部１１は、前述のインカメラＣ１、通常カメラＣ２（特に広角カメラとしてもよい）に加え、通常画角を持つインカメラＣ３を備えている。前述のインカメラＣ１が第１インカメラ、インカメラＣ３が第２インカメラに相当する。

撮影処理部１２は、通常カメラＣ２の通常画像を処理するアウトカメラ処理部１２Ｂと、インカメラＣ１の広角画像を処理する第１インカメラ処理部１２Ａと、インカメラＣ３の通常画像を処理する第２インカメラ処理部１２Ｃと、モード制御部１２Ｄとを含む。撮影処理部１２は、モード制御部１２Ｄで、これらの複数のカメラのうちいずれのカメラを使用するモードとするか等を切り替える。携帯情報端末１は、端末とユーザＡの顔との位置関係、端末の配置状態の把握に応じて、カメラモードを切り替える。

図２１は、実施の形態２の携帯情報端末１における利用状態の例、インカメラＣ３の画角等を示す。図２１の（Ａ）では、携帯情報端末１の筐体が、水平面ｓ０上に平らに配置されている。例えば、筐体の前面ｓ１において、インカメラＣ１の位置ＰＣ１の近くの位置ＰＣ３に、インカメラＣ３（特に通常レンズ部）が設けられている。インカメラＣ３の光軸の方向Ｊ４は、インカメラＣ１と同様に鉛直上方となっている。インカメラＣ３の画角ＡＶ４（第１角度ＡＮＧ３から第２角度ＡＮＧ４までの角度範囲）を示す。この画角ＡＶ４は、インカメラＣ１の画角ＡＶ１よりも狭く、例えば第１角度ＡＮＧ３が６０度程度、第２角度ＡＮＧ３が１３５度程度である。

状態２１１は、図２の状態と同様であり、インカメラＣ１の画角ＡＶ１内の画角ＡＶ２でユーザＡの顔が撮影できる場合を示す。状態２１２は、インカメラＣ３の画角ＡＶ４によってユーザＡの顔が撮影できる位置関係にある場合を示す。例えば、インカメラＣ３の光軸の方向Ｊ４の先にユーザＡの顔の代表的な点Ｐ４がある。

状態２１２のようにインカメラＣ３で顔を撮影できる位置関係の場合、携帯情報端末１は、複数のカメラのうち、インカメラＣ３を用いるカメラモードに切り替える。また、状態２１１のように、インカメラＣ１の画角ＡＶ１のうち画角ＡＶ４以外の画角によって顔を撮影できる位置関係の場合、携帯情報端末１は、インカメラＣ１を用いるカメラモードに切り替える。

図２１の（Ｂ）は、実施の形態２での非ハンズフリー状態の例を示し、図１９の非ハンズフリー状態に近い状態である。例えば、ユーザＡの顔の位置が、状態２１１から図２１の（Ｂ）の状態２１３に移行した場合、携帯情報端末１は、カメラモードを、インカメラＣ１からインカメラＣ３へ切り替えて、非ハンズフリーモード（通常モード）のテレビ電話を行うように制御する。同様に、ユーザＡの顔の位置が、状態２１３から状態２１１に移行した場合、携帯情報端末１は、カメラモードを、インカメラＣ３からインカメラＣ１へ切り替えて、ハンズフリーモードのテレビ電話を行うように制御する。モードの切り替えに応じて、インカメラＣ１による広角画像と、インカメラＣ３による通常画像とが、入力画像として切り替えられる。

携帯情報端末１は、上記２種類のカメラのモードの選択および切り替えを、状態把握に基づいて自動的に行うようにしてもよいし、ユーザによる指示操作や設定に基づいて行うようにしてもよい。インカメラＣ３の通常画像を用いるモードでは、歪補正処理等が不要であるため、処理を効率化できる。

携帯情報端末１は、インカメラＣ１やインカメラＣ３の動作時に、顔検出機能２０１を用いて、画像内のユーザＡの顔領域を検出し、その顔領域の位置や方向や画角に基づいて、いずれのカメラを使用するかを選択し、モードを切り替えるようにしてもよい。例えば、携帯情報端末１は、インカメラＣ１の画角ＡＶ１のうち、インカメラＣ３の画角ＡＶ４に対応する所定の画角内に顔が収まっているか否かによって、インカメラＣ３を使用するかインカメラＣ１を使用するかを選択してもよい。

上記のように、実施の形態２の携帯情報端末１によれば、実施の形態１と同様の効果に加え、通常画角のインカメラＣ３を併用することで、処理を効率化できる。なお、携帯情報端末１の筐体の前面ｓ１におけるインカメラＣ１やインカメラＣ３の位置については、前述の構成に限らず可能であり、例えば、前面ｓ１の表示画面ＤＰの矩形内に入り込んでいる部分の位置としてもよい。

（他の実施の形態）
実施の形態１，２に関する他の実施の形態（変形例）として以下も可能である。

［変形例（１）－撮影処理］
実施の形態１における撮影処理部１２では、図５等のように、広角画像から顔領域を検出してトリミングしてから、そのトリミング画像領域に対し歪補正処理を行っている。撮影処理の方式は、これに限らず可能である。

図２２は、変形例の携帯情報端末１での撮影処理の画像例を示す。携帯情報端末１の撮影処理部１２は、まず、広角画像Ｇ１の全体に対して歪補正処理を行い、その後、歪補正後画像から顔領域等を検出し、トリミングする。携帯情報端末１は、広角画像Ｇ１における、水平画角で３６０度の領域（範囲２２１）、または水平画角で１８０度の領域（ｘ軸の下側の半円の範囲２２２）に対し、歪補正処理を行って、対応する平面化画像ＧＰ３を得る。図２２の例では、平面化画像ＧＰ３である歪補正後画像として、水平画角で１８０度の範囲２２２とした場合のパノラマ画像を模式的に示す。携帯情報端末１は、平面化画像ＧＰ３から、ユーザＡの顔を含む領域（例えば領域２２４）を検出する。そして、携帯情報端末１は、領域２２４に対し、トリミング領域２２５をとってトリミングし、トリミング画像２２６を得て、トリミング画像２２６から送信画像Ｄ１２等を作成する。

この変形例では、前述の実施の形態１に対し、歪補正処理の対象となる画像領域の面積がより大きい。前述の実施の形態１の撮影処理では、歪補正処理の対象となる画像領域の面積がより小さいので、処理効率等の点で有利である。計算性能が高い端末の場合、変形例を採用してもよい。変形例では、顔検出の対象画像が平面化画像であるため、顔検出の画像処理の容易さの点では有利である。

また、他の変形例で、撮影処理部１２は、歪を持つ広角画像からの顔領域の検出の際、ユーザＡの登録画像Ｄ１０の顔画像を用いて比較照合する。その際の登録画像Ｄ１０の顔画像は、予めインカメラＣ１で撮影した、歪を持つ顔画像としてもよい。

また、他の変形例で、携帯情報端末１は、広角画像の画角のうち、顔検出等の処理の際に、一部の範囲、例えば図２２のｘ軸から下側の半円の範囲２２２（図２では０度から９０度までの仰角の範囲）の画像領域を参照し、処理対象画像領域をその範囲に絞るようにし、上半分の画像領域については無視するようにしてもよい。さらには、領域２２３の例のように、水平画角でより狭い範囲に絞ってもよい。また、例えば、携帯情報端末１は、図２のような状態を把握した場合に、上記のように処理対象画像範囲を絞るようにしてもよい。図２の第１状態では、広角画像のうち、ユーザＡの顔は下側の半円の範囲２２２内に写り、上側の半円の範囲内に写る可能性は殆ど無い。そのため、上記のような処理が有効である。

他の撮影処理の方式として、携帯情報端末１は、歪補正機能２０３によって、最初に広角画像に対し簡易的な第１の歪補正処理を施し、その後に顔検出やトリミングを行い、最後にトリミング画像に対しより精度の高い第２の歪補正処理を施すようにしてもよい。

変形例として、歪補正後の画像が、送信画像Ｄ１２として許容されるかどうかについて、ユーザＡの確認や操作によるものではなく、携帯情報端末１が自動的に判断してもよい。例えば、携帯情報端末１は、歪補正後画像の顔領域を、登録画像Ｄ１０の顔領域と比較して、顔の再現度合いを評価し、評価値を算出する。携帯情報端末１は、その評価値が、設定されている閾値以上である場合には、送信許可と判断する。

［変形例（２）－物体認識機能］
変形例の携帯情報端末１において、撮影処理部１２（特に顔検出機能２０１）は、物体認識機能を備えてもよい。この物体認識機能は、画像処理に基づいて、広角画像から、顔以外の所定の物体を認識してその物体領域を検出する機能である。ユーザＡは、図２のハンズフリー状態でのテレビ電話の際に、自由に手を動かすことができるので、手に持った物体をインカメラＣ１に写すことができる。これにより、送信画像Ｄ１２内には、ユーザＡの顔だけでなく、その周辺に、手に持った任意の物体を写すことができ、相手（ユーザＢ）に示すことができる。

所定の物体とは、予め情報処理上で定義された物体である。撮影処理部１２は、その物体に対応した検出アルゴリズムを持つ。所定の物体は、例えば、ユーザの資料や写真やノートやノートＰＣ画面、あるいはユーザの物品や動物等が挙げられる。所定の物体は、例えば矩形や円等の所定の形状や、所定の色等を持つ領域として定義される。撮影処理部１２（物体認識機能）では、検出された顔領域に基づいて、例えばその顔領域の周囲の所定の距離範囲内を探索して、所定の物体の領域を検出してもよい。

図２３の（Ａ）は、物体認識機能を用いる場合の画像例を示す。この画像は、歪が無い平面化画像の状態を示す。ユーザＡは、ハンズフリー状態のテレビ電話の際に、相手（ユーザＢ）に対し、物体２３０を見せながら通話を行っている。物体２３０は、例えばＡ４サイズの資料等であり、歪補正後の画像内において概略的に矩形状である。携帯情報端末１は、物体認識機能を用いて、画像から、顔領域２３１だけでなく、特定の物体２３０の領域２３２を検出する。携帯情報端末１は、その物体２３０の領域２３２についても歪補正処理等を施す。携帯情報端末１は、例えば、顔領域２３１の点Ｐ１からその周囲に所定の距離２３３までの範囲で、特定の物体を探索してもよい。携帯情報端末１は、例えば、顔領域２３１と物体２３０の領域２３２とを包含する矩形の領域２３４をとって、送信画像Ｄ１２を作成してもよい。また、顔領域２３１（点Ｐ１）を中心とした画像に限らず、領域２３５のように、顔と物体が包含される最小矩形の画像としてもよい。

あるいは、携帯情報端末１は、顔領域２３１と物体２３０の領域２３２とを分けて、それぞれの送信画像Ｄ１２を作成し、モニタ画像Ｄ１３（画像２３６，２３７）として表示して、送信確認してもよい。また、携帯情報端末１は、検出した物体２３０にフォーカスする画像（物体２３０を中心として拡大された画像）を、モニタ画像Ｄ１３として作成してもよい。また、前述の領域Ａ３や領域Ｂ３を用いて、顔の周辺を大きい距離で確保する領域をとれば、物体認識処理を省略しても、その領域内に自動的に物体を捉えることができる。

本物体認識機能では、広角画像を用いているので、顔と物体との距離がある程度離れていたとしても、それらの両方の画像を得ることができる。例えば、図２３の（Ｂ）には、広角画像に基づいた平面化されたパノラマ画像ＧＰ４を示す。このパノラマ画像ＧＰ４のうち、図２の方向Ｙ２、方向Ｊ３や、図１０のｙ軸の下側に対応する位置（水平画角で０度とする）には、ユーザＡの顔が写っている領域ｒ１がある。そして、その位置から、水平方向である程度離れた位置、例えば水平画角で９０度、ｘ軸の右側に対応する位置には、所定の物体が写っている領域ｒ２がある。１つの広角画像内で、これらの両方を捉えることができ、送信画像Ｄ１２とすることができる。

他の変形例として、撮影処理部１２（物体認識機能）は、広角画像から、ユーザＡの手を検出し、ユーザＡの顔と手とを含む領域をとり、送信画像Ｄ１２を作成してもよい。また、広角画像内に両手が写っている場合、ユーザが筐体を手持ちしていないと判断できる。そのため、携帯情報端末１は、広角画像からユーザＡの両手を検出した場合に、ハンズフリーモードに切り替えるようにしてもよい。

［変形例（３）－複数のユーザの顔画像］
変形例として、例えば机上に１つの携帯情報端末１が置かれた状態で、複数のユーザが、その同じ携帯情報端末１を用いて、一方の送信側の通話者として相手（ユーザＢ）とのテレビ電話を行う利用方法も可能である。その場合、変形例の携帯情報端末１は、広角画像内に収まっている複数のユーザの複数の顔について、同時並行的に、顔検出や歪補正等の処理を行う。また、その際、携帯情報端末１は、広角画像に写っている各ユーザの顔毎に、分離して、複数の送信画像Ｄ１２を作成してもよいし、複数の顔を含む１つの送信画像Ｄ１２を作成してもよい。

図２４の（Ａ）は、この変形例で、複数のユーザの顔を含む画像例を示す。テレビ電話を行う一方の通話者として、主なユーザＡに加え、別のユーザＣがいる場合を示す。携帯情報端末１は、インカメラＣ１の広角画像内から、ユーザＡの顔の領域ＲＵ１と、ユーザＣの顔の領域ＲＵ２とを検出する。携帯情報端末１は、例えば、それらの２つの顔領域を包含する領域２４１（例えば横長の矩形）をとり、送信画像Ｄ１２として作成する。あるいは、携帯情報端末１は、それらの２つの顔領域をそれぞれのトリミング画像２４２，２４３としてとり、それぞれの送信画像Ｄ１２として作成し、並列に表示してもよい。ユーザが３人以上の場合でも基本的に同様に実現可能であるが、多人数になりすぎないように、所定の人数（例えば４人）の顔までに制限する。携帯情報端末１は、表示画面ＤＰ内に、複数のユーザの各顔のモニタ画像Ｄ１３を表示してもよい。

また、携帯情報端末１は、広角画像の画像処理、特に口の状態の検出によって、広角画像内の複数の顔のうちどの顔のユーザが現在喋っているかを把握し、その現在喋っているユーザの顔についての送信画像Ｄ１２等を作成するようにしてもよい。さらに、携帯情報端末１は、画像処理とマイク１７の音声処理とを連動させることで、広角画像内の複数の顔のうちどの顔のユーザが現在喋っているかを把握してもよい。携帯情報端末１は、複数のユーザのモニタ画像Ｄ１３について、表示画面ＤＰ内に並列で表示してもよいし、時間軸で切り替えて表示してもよい。

また、上記複数のユーザの顔を扱う場合、携帯情報端末１に予め登録画像Ｄ１０として顔画像が登録されている複数のユーザのみを対象として上記処理を行うようにしてもよい。携帯情報端末１は、予め登録されていない人（通行人等）の顔については扱わない。また、携帯情報端末１は、一部のユーザの顔について処理が間に合わない場合等には、登録画像Ｄ１０を用いて代替としてもよいし、別のアイコンや風景等の画像を用いて代替としてもよい。

上記（Ａ）の画像例では、インカメラＣ１からみてある方向の画角内の領域（例えば（Ｂ）のｙ軸の下側の領域Ｌ１）に、複数の人（ユーザＡ、ユーザＣ）の顔が写っている。これに限らず、インカメラＣ１の広角の画角を用いることで、水平面ｓ０上の携帯情報端末１の位置に対し、その周りの水平画角が異なる各位置に各人がいる場合でも、対応可能である。例えば、図２４の（Ｂ）の広角画像Ｇ１における外周付近の領域のうち、ｙ軸の上下、ｘ軸の左右のいずれの領域Ｌ１～Ｌ４に顔があっても、対応可能である。すなわち、１つの広角画像内において、その複数の人の複数の顔を捉えることができ、送信画像Ｄ１２とすることができる。

［変形例（４）－相手画像補正機能］
図２５は、変形例の携帯情報端末１に備える相手画像補正機能について示す。変形例の携帯情報端末１は、図７のように表示画面ＤＰ内（領域Ｒ１）に相手の画像を表示する際に、この相手画像補正機能を用いて逆台形補正した画像を表示する。

図２５の（Ａ）は、相手（ユーザＢ）の携帯情報端末２から受信した、通常の相手画像の例を示す。携帯情報端末１の表示画面ＤＰ内の領域Ｒ１に、相手の直角四角形の画像ｇ１が表示されている。

図２５の（Ｂ）は、図２のような状態でユーザＡの目（点Ｐ１）から斜め下方にある（Ａ）の画像ｇ１を見た場合の見え方を模式的に示している。（Ｂ）の状態では、画像ｇ１は、上辺が下辺よりも小さい台形形状として見える。すなわち、ユーザＡから見て、ユーザＢの頭側の方が相対的にやや小さく見える。

携帯情報端末１は、インカメラＣ１の広角画像の解析やセンサ類３０の検出情報に基づいて、ユーザＡと端末との位置関係、端末の配置状態を把握する。例えば、携帯情報端末１は、画像内のユーザＡの目の位置や目線の向き、顔の大きさ等から、ユーザＡの顔の位置や、端末との距離等の状態を推測する。携帯情報端末１は、把握した状態に応じて、逆台形補正の際の比率（上辺と下辺との比率）等を設定する。携帯情報端末１は、相手の携帯情報端末２から受信した直角四角形の画像を、その比率等に合わせて逆台形補正処理して、逆台形形状の画像を得る。上記比率は予め設定された値としてもよい。

図２５の（Ｃ）は、（Ａ）の画像ｇ１を、逆台形補正した後の画像ｇ１ｂを示す。この画像ｇ１ｂは、逆台形形状であり、上辺が大きく下辺が小さい台形である。携帯情報端末１は、その逆台形形状の画像ｇ１ｂを、表示画面ＤＰ内の領域Ｒ１内に表示する。ユーザＡは、図２の状態で、目（点Ｐ１）から斜め下方の表示画面ＤＰ内の領域Ｒ１内の相手の画像ｇ１ｂを見る。すると、この状態では、ユーザＡから見て相手画像が（Ａ）のような直角四角形に近い形状で見えることになる。これにより、ユーザＡは、相手画像をより視認しやすく、より使い勝手が良い。

［変形例（５）－３次元画像処理機能］
変形例として、携帯情報端末１は、２次元画像に限らず、３次元画像を処理する機能（３次元画像処理機能）を用いてもよい。例えば、カメラ部１１（例えば通常カメラＣ２）に、公知の赤外線カメラ機能および３次元センサモジュールを備えてもよい。これを用いて、撮影処理部１２は、インカメラＣ１の広角画像を、３次元画像として処理する。例えば、携帯情報端末１は、この赤外線カメラ機能および３次元センサジュールにより、例えば数万個以上の赤外線ドットを、ユーザの顔に照射する。携帯情報端末１は、その赤外線ドットを、赤外線カメラで撮像して、その画像から、顔表面の微妙な凹凸を読み取って、顔３次元マップ（対応する３次元画像）を作成する。携帯情報端末１は、その３次元画像に対し、歪補正処理等を行ってもよい。また、携帯情報端末１は、その３次元画像を、登録画像Ｄ１０のうちの３次元顔画像情報との照合により、３次元的な顔補正処理を行ってもよい。その場合、より鮮明、微細な補正ができる。

また、携帯情報端末１は、このような３次元的な高度な補正を行う際、単に画像を照合するのではなく、深層学習等の機械学習を用いて解析を加えてもよい。例えば、携帯情報端末１は、深層学習機能を持つＡＩエンジン（畳み込みニューラルネットワークを用いた深層学習を行うソフトウェアおよびハードウェア）を内蔵してもよい。携帯情報端末１は、そのＡＩエンジンを用いてカメラ画像からユーザの顔について学習することで、顔検出や顔補正の性能を高める。これにより、例えば具体的には、人の髪型やメークアップによる変化、メガネやサングラスの有無、ヒゲの伸び具合等の差異や影響を考慮して、ユーザＡの顔の検出や認識や補正を行うことができる。

また、携帯情報端末１は、個人認識機能２０１Ｂでは、登録画像Ｄ１０の３次元顔画像と、インカメラＣ１で撮影し歪補正された３次元顔画像とを比較照合してもよい。これにより、ユーザＡ本人かどうかの個人認識を、より高精度に実現できる。

［変形例（６）－指向性マイク、指向性スピーカ］
変形例として、図３の携帯情報端末１のマイク１７は、指向性マイクとしてもよい。指向性マイクは、ノイズキャンセル機能等の音声処理機能を含む。コントローラ１０は、マイク１７を用いて、ユーザＡの顔がある方向からの音声を優先的に集音する。コントローラ１０は、入力音声に対し、ノイズキャンセル機能によってノイズをキャンセルし、鮮明なユーザＡの音声を得る。コントローラ１０は、その音声データを、送信画像Ｄ１２と共に、相手の携帯情報端末２に送信する。携帯情報端末１からみてユーザＡの顔がある方向については、携帯情報端末１の状態把握や画像内の顔検出を用いて把握可能である。

マイク１７に関しては、公知のＭＥＭＳマイクロフォン等を適用して、公知のビームフォーミング技術によって、指向性およびノイズキャンセル機能を実現してもよい。例えば、ノイズキャンセル機能を実現する場合、基本的には複数のマイクが必要である。しかし、携帯情報端末１が小型である場合、複数のマイクが搭載できない場合もある。その場合、携帯情報端末１では、ＭＥＭＳマイクロフォンを搭載することで、ビームフォーミング技術によって、複数の音源から特定の音源を分離し強調することができる。これにより、ユーザＡの音声のみを強調して得ることが可能である。

また、携帯情報端末１は、インカメラＣ１を用いることで、ユーザＡの位置および方向を、ある程度の精度で認識できる。そこで、携帯情報端末１は、インカメラＣ１を用いてユーザＡの位置および方向をおおよそ特定する。携帯情報端末１は、その特定した位置および方向について、上記マイク１７およびビームフォーミング技術を用いて、その方向からの音声を優先的に強調して取得してもよい。

また、変形例として、携帯情報端末１は、マイク１７の音声の解析に基づいて、ユーザＡの顔の位置や方向をおおよそ推測してもよい。携帯情報端末１は、その顔の位置や方向に合わせて、広角画像に対する顔検出等の処理を行ってもよい。

同様に、スピーカ１８として、指向性スピーカを用いてもよい。端末に対するユーザＡの顔の位置に合わせて、スピーカ１８の音声出力の指向性や音量等を制御してもよい。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１…携帯情報端末、２…携帯情報端末、ｓ０…水平面、ｓ１…前面、ｓ２…背面、ＤＰ…表示画面、Ｃ１…インカメラ、Ｊ１，Ｊ２，Ｊ３…方向、ＡＶ１，ＡＶ２…画角、θ１，θ２…角度、Ｐ１，ＰＣ１，ＰＤ…点、ＡＮＧ１，ＡＮＧ２…角度、ＡＤ１…角度差。

Claims (16)

1. テレビ電話機能を持つ携帯情報端末であって、
   平板形状の筐体における表示画面を持つ前面の所定の位置に、広角レンズを含む第１カメラを備え、
   前記テレビ電話機能を用いて第１ユーザが相手の第２ユーザとの間でテレビ電話を行う際に、前記筐体が物体の第１面上に平らに配置され、前記第１カメラの第１画角の範囲内に前記第１ユーザの顔が含まれる状態を第１状態とし、
   前記第１状態で、前記第１カメラによって撮影された広角画像から、前記第１ユーザの顔を含む第１領域を検出し、前記第１領域に対応する第１画像をトリミングし、前記第１画像に基づいて、前記第２ユーザの携帯情報端末である相手端末に送信するための送信画像を作成し、前記送信画像を前記相手端末に送信し、
   前記筐体の前記前面における第１位置に前記第１カメラを備え、第２位置に前記第１カメラよりも狭い画角を持つ第２カメラを備え、
   前記筐体の前記前面が前記第１ユーザの顔に対して対面の位置に配置された第２状態とされた場合、前記第２カメラを用いてテレビ電話を行うモードに切り替える、
   携帯情報端末。
2. 請求項１記載の携帯情報端末において、
   前記広角画像のうち少なくとも前記第１画像を、前記広角レンズによる歪が解消または低減されるように歪補正処理し、補正後画像に基づいて前記送信画像を作成する、
   携帯情報端末。
3. 請求項２記載の携帯情報端末において、
   前記第１状態で、前記広角画像から、前記第１ユーザの顔を含む前記第１領域を検出し、前記第１領域に対応する前記第１画像をトリミングし、前記第１画像に対し前記歪補正処理を行う、
   携帯情報端末。
4. 請求項２記載の携帯情報端末において、
   前記第１状態で、前記広角画像に対し前記歪補正処理を行い、歪補正後画像から、前記第１ユーザの顔を含む前記第１領域を検出し、前記第１領域に対応する前記第１画像をトリミングする、
   携帯情報端末。
5. 請求項１記載の携帯情報端末において、
   前記第１カメラの前記第１画角は、前記第１面を基準として、３０度以下の第１角度から１５０度以上の第２角度までの角度範囲を有し、
   前記第１状態では、前記第１画角のうち、前記第１角度から９０度までの角度範囲内に、前記第１ユーザの顔が含まれる第２画角を有する、
   携帯情報端末。
6. 請求項１記載の携帯情報端末において、
   前記送信画像に対応する画像内容を持つモニタ画像を作成し、
   前記モニタ画像を前記表示画面内の領域に表示し、
   前記第１ユーザによる前記モニタ画像の確認および所定の操作に基づいて、前記送信画像の送信を許可するか拒否するかを決定する、
   携帯情報端末。
7. 請求項６記載の携帯情報端末において、
   前記第１ユーザの顔を含む画像または前記第１ユーザを表す任意の画像を予め登録画像として登録し、
   前記送信画像の送信の拒否の場合に、前記登録画像を用いて前記送信画像の代替の画像を作成する、
   携帯情報端末。
8. 請求項１記載の携帯情報端末において、
   前記第１ユーザの顔を含む画像または前記第１ユーザを表す任意の画像を予め登録画像として登録し、
   前記広角画像から前記第１ユーザの顔を含む前記第１領域が検出できない場合、前記登録画像を用いて前記送信画像の代替の画像を作成する、
   携帯情報端末。
9. 請求項２記載の携帯情報端末において、
   前記歪補正処理の後の画像に対し、前記第１状態の位置関係に起因する台形状の画像内容を補正するための台形補正処理を行う、
   携帯情報端末。
10. 請求項１記載の携帯情報端末において、
    加速度センサおよびジャイロセンサを含むセンサを用いて前記筐体の状態を把握し、前記第１状態であることを把握した場合、または前記第１ユーザによる所定の操作を受けた場合、非ハンズフリーの第１モードから、ハンズフリーの第２モードに切り替えて、前記送信画像の作成を行う、
    携帯情報端末。
11. 請求項１記載の携帯情報端末において、
    前記広角画像内における前記第１ユーザの顔を含む前記第１領域の位置に応じて、非ハンズフリーの第１モードから、ハンズフリーの第２モードに切り替えて、前記送信画像の作成を行う、
    携帯情報端末。
12. 請求項１記載の携帯情報端末において、
    前記第１ユーザの顔を含む画像を予め登録画像として登録し、
    前記広角画像から検出した前記第１領域と前記登録画像との比較に基づいて、前記第１ユーザが特定の個人であることを認識した場合には、前記送信画像の作成を行い、前記第１ユーザが特定の個人であることを認識できない場合には、前記送信画像の作成を行わない、
    携帯情報端末。
13. 請求項１記載の携帯情報端末において、
    前記広角画像から、前記第１ユーザの顔の周囲の範囲内にある特定の物体を含む第２領域を検出し、前記第２領域に対応する第２画像をトリミングし、前記第２画像に基づいて、前記送信画像を作成する、
    携帯情報端末。
14. 請求項１記載の携帯情報端末において、
    前記広角画像から、前記第１ユーザとして複数の人の複数の顔を検出し、前記複数の顔を包含する前記送信画像を作成する、または、前記複数の顔の各々の顔毎の前記送信画像を作成する、
    携帯情報端末。
15. 請求項１記載の携帯情報端末において、
    前記相手端末から受信した相手画像を前記表示画面内の領域に表示する際に、前記相手画像を逆台形補正してから表示する、
    携帯情報端末。
16. 請求項１記載の携帯情報端末において、
    前記広角画像またはセンサに基づいて、前記筐体に対する前記第１ユーザの顔の方向を含む位置関係を推測し、前記推測した方向に応じて、マイクの音声入力の方向、またはスピーカの音声出力の方向を制御する、
    携帯情報端末。

Images