《第1の実施形態》
以下、第1の実施形態に係る電子機器システムについて、図1〜図13に基づいて、詳細に説明する。図1には、電子機器システム100の構成がブロック図にて示されている。図1に示すように、電子機器システム100は、複数の電話機器(図1では、2つの電話機器10,110を図示)を備える(利用する)。
(電話機器10)
電話機器10は、携帯電話やスマートフォンなどであり、通話機能のほか、電子メールの作成・送受信機能やインターネット接続機能、スケジュール管理機能などを有する。電話機器10は、図1に示すように、前面撮像部12、背面撮像部14、ディスプレイ16、スピーカ18、マイク20、タッチパネル22、記憶部23、通信部24、制御部30等を備える。なお、図2(a)には、電話機器10を前面側(ディスプレイ16が存在する側)から見た状態が示され、図2(b)には、電話機器10を背面側から見た状態が示されている。
前面撮像部12は、いわゆるインカメラであり、図2(a)に示すように、電話機器10の前面側に設けられている。前面撮像部12は、撮影レンズと、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子13(図3参照)と、を有しており、動画や静止画などの撮像を行う。なお、撮像素子13の各画素(画素群)において制御可能な撮像条件には、フレームレート、ゲイン、蓄積時間等の撮像条件が含まれる。
以下、撮像素子13について、図3〜図6に基づいて、詳細に説明する。
図3は、本実施形態に係る裏面照射型の撮像素子13の断面図である。撮像素子13は、入射光に対応した画素信号を出力する撮像チップ513と、画素信号を処理する信号処理チップ511と、画素信号を記憶するメモリチップ512とを備える。これら撮像チップ513、信号処理チップ511およびメモリチップ512は積層されており、Cu等の導電性を有するバンプ509により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ513において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図3の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ513の一例は、裏面照射型のMOSイメージセンサである。PD層は、配線層508の裏面側に配されている。PD層506は、二次元的に配された複数のPD(フォトダイオード)504、および、PD504に対応して設けられたトランジスタ505を有する。
PD層506における入射光の入射側にはパッシベーション膜503を介してカラーフィルタ502が設けられる。カラーフィルタ502は、互いに異なる波長領域を透過する複数の種類を有しており、PD504のそれぞれに対応して特定の配列を有している。カラーフィルタ502の配列については後述する。カラーフィルタ502、PD504およびトランジスタ505の組が一つの画素を形成する。
カラーフィルタ502における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ501が設けられる。マイクロレンズ501は、対応するPD504へ向けて入射光を集光する。
配線層508は、PD層506からの画素信号を信号処理チップ511に伝送する配線507を有する。配線507は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層508の表面には複数のバンプ509が配される。当該複数のバンプ509が信号処理チップ511の対向する面に設けられた複数のバンプ509と位置合わせされて、撮像チップ513と信号処理チップ511とが加圧等されることにより、位置合わせされたバンプ509同士が接合されて、電気的に接続される。
同様に、信号処理チップ511およびメモリチップ512の互いに対向する面には、複数のバンプ509が配される。これらのバンプ509が互いに位置合わせされて、信号処理チップ511とメモリチップ512とが加圧等されることにより、位置合わせされたバンプ509同士が接合されて、電気的に接続される。
なお、バンプ509間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ509は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ509の大きさは、PD504のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ509よりも大きなバンプを併せて設けても良い。
信号処理チップ511は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)510を有する。TSV510は、周辺領域に設けられることが好ましい。また、TSV510は、撮像チップ513の周辺領域、メモリチップ512にも設けられて良い。
図4は、撮像チップ513の画素配列と単位グループ131を説明する図である。特に、撮像チップ513を裏面側から観察した様子を示す。画素領域には2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する4画素×4画素の16画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。
画素領域の部分拡大図に示すように、単位グループ131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ502として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ502として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ502として赤色フィルタを有し、赤色波長帯の光を受光する。
図5は、画素150の等価回路図を示す。上記複数の画素150の各々は、上記PD504、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156および選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は図3のトランジスタ505に対応する。さらに、画素150には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、および、画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャンネル型FETを例として説明するが、トランジスタの種類はこれに限られない。
転送トランジスタ152のソース、ゲート、ドレインはそれぞれ、PD504の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続されている。負荷電流源309は、出力配線308に電流を供給する。すなわち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ513側に設けても良いし、信号処理チップ511側に設けても良い。
図6は、単位グループ131における上記画素150の接続関係を示す回路図である。なお、図面を見やすくする目的で各トランジスタの参照番号を省略したが、図6の各画素の各トランジスタは、図5の画素150における対応する位置に配された各トランジスタと同じ構成および機能を有する。
図6に示す単位グループ131内で、同じ色のカラーフィルタ502を有する画素150が画素群を形成する。カラーフィルタ502が図4に示すようにRGBの三種類であることに対応して、画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の8画素がG画素群を形成する。同様に、画素R1、R2、R3、R4の4画素がR画素群を形成し、画素B1、B2、B3、B4の4画素がB画素群を形成する。すなわち、カラーフィルタ502を透過する波長領域毎に画素群が形成される。
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。これにより、転送トランジスタのゲートが画素群に属する画素で一斉に、かつ、画素群間で独立して制御される。
図6に示す例において、G画素群に含まれる画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の転送トランジスタのゲートは共通のG転送配線310に接続されている。同様に、R画素群の画素R1、R2、R3、R4の転送トランジスタのゲートは共通のR転送配線312に接続され、B画素群の画素B1、B2、B3、B4の転送トランジスタのゲートは共通のB転送配線314に接続されている。
また、各画素群に含まれる複数の画素間で選択トランジスタのソースが共通に接続されている。G画素群の画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の選択トランジスタのソースは共通のG出力配線320に接続されている。同様に、R画素群の画素R1、R2、R3、R4の選択トランジスタのソースは共通のR出力配線322に接続され、B画素群の画素B1、B2、B3、B4の選択トランジスタのソースは共通のB出力配線324に接続されている。
G出力配線320には負荷電流源311が接続される。同様に、R出力配線322には負荷電流源313が接続されるとともに、B出力配線324には負荷電流源315が接続される。なお、リセット配線326および電源配線316は単位グループ131で共通である。また、選択配線318は、各画素に一対一に16本配され、対応する選択トランジスタのゲートに接続されている。
このように、一の単位グループ131に対して複数の出力配線が設けられることになる。しかし、撮像チップ513は裏面照射型なので、PD504に入射する光量を減らすことなく、撮像チップ513の配線507の層数を増やして、面方向の大きさを大きくすることなく配線を引き回すことができる。
本実施形態では、撮像素子13が上記構成を有することで、各画素群において、フレームレート、ゲイン、蓄積時間等の撮像条件を変更することができる。
図1に戻り、背面撮像部14は、いわゆるアウトカメラであり、図2(b)に示すように、電話機器10の背面側に設けられている。背面撮像部14は、前面撮像部12と同様、撮影レンズと、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子113(図10参照)と、を有する。
ディスプレイ16は、例えば液晶ディスプレイであり、例えば、ユーザが電話機器10を操作するための操作画面、ユーザに情報を提供するための情報提供画面、ユーザがテレビ電話機能を利用する際のテレビ電話画面等を表示する。
スピーカ18は、例えば、図2(a)のディスプレイ16の上側に配置され、制御部30の指示の下、音声を出力する。マイク20は、例えば、図2(a)のディスプレイ16の下側に配置され、周囲の音声を集音する。
タッチパネル22は、ディスプレイ16上に組みつけられており、ユーザから各種入力を受け付ける。
記憶部23は、例えば不揮発性のフラッシュメモリを有し、各種プログラムのほか、アドレス帳のテーブルや、ユーザのスケジュールデータなどの各種情報を記憶する。
通信部24は、電話回線等を介して、他の機器(例えば、電話機器110)と通信を行うものであり、例えば、他の電話機器110との通話、テレビ電話、インターネットへの接続、インターネットを介したその他の情報処理装置との通信を可能にする。
制御部30は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、電話機器10全体を制御する。本実施形態において、制御部30は、例えば、ユーザがテレビ電話を利用するときに、他の機器(例えば、電話機器110)から設定情報を受け付けると、該設定情報に基づいて前面撮像部12及び/又は背面撮像部14の撮像条件の設定を行う。また、制御部30は、例えば、ユーザから他の機器(例えば、電話機器110)の設定情報の入力を受け付けると、通信部24を介して該設定情報を他の機器に送信する。
(電話機器110)
電話機器110は、図1に示すように、上述した電話機器10と同様の構成を有する。なお、図1等では、電話機器110の構成各部の符号として、電話機器10の構成各部の符号の百の位に1を付加した符号を採用している。
(電話機器10、110の通話に関する処理について)
次に、電話機器10、110間における通話(テレビ電話、音声通話)時の処理について、図7〜図13に基づいて説明する。
図7は、電話機器10、110間における通話時の処理を示すフローチャートである。本説明においては、電話機器10から電話機器110に対して発信する場合について説明する。
図7の処理では、まず、ステップS10において、制御部30は、電話機器10のユーザ(ユーザAとする)が、電話機器10において通話相手の情報を入力するまで待機する。この場合、ユーザAは、タッチパネル22を用いて通話相手の電話番号を入力したり、アドレス帳のテーブルから通話相手を選択するなどして通話相手の情報を入力する。ユーザAから通話相手の情報が入力されると、ステップS12に移行する。
ステップS12に移行すると、制御部30は、通話方式がテレビ電話であるか否かを判断する。すなわち、ユーザAが通話相手の情報を入力した後にテレビ電話による通話を選択したか否かを判断する。このステップS12の判断が否定された場合、すなわち音声通話が選択された場合には、制御部30は、ステップS13に移行する。ステップS13に移行すると、制御部30は、通話要求を通話相手の電話機器に発信する。ここでは、制御部30は、ユーザBが利用する電話機器110に対して通話要求を発信したものとする。
一方、電話機器110では、制御部130は、ステップS110において通話要求を受信するまで待機している。したがって、電話機器10側においてステップS13が行われると、制御部130は、ステップS112に移行する。ステップS112に移行すると、制御部130は、受信画面を表示する。なお、受信画面には、図8(a)に示すように、通話要求を発信した電話機器の電話番号、ユーザ名、通話開始ボタンが含まれている。
次いで、ステップS114では、制御部130は、ユーザBによって通話開始ボタンが押されるまで待機する。ユーザBによって通話開始ボタンが押されると、ステップS116に移行し、制御部130は、通話方式がテレビ電話か否かを判断する。このステップS116における判断が否定された場合には、ステップS118に移行し、通話処理を実行する。なお、電話機器10側においても、電話機器110側においてステップS118が実行されるのと同一のタイミングで、ステップS14の通話処理が実行される。なお、ステップS118、S14の通話処理は、一般的な電話機器間の音声通話処理と同一であるので、その説明は省略する。
その後は、制御部30、130は、電話機器10、110においてユーザが通話を終了するまで(例えばディスプレイ16,116上の通話終了ボタンを押すまで)通話処理を実行する。そして、通話が終了された段階(S16、S120:肯定)で、制御部30、130は、通信を切断し(S18,S122)、図7の全処理を終了する。
これに対し、ステップS12の判断が肯定された場合、すなわち、ユーザAが通話方式としてテレビ電話を選択した場合には、制御部30は、ステップS20に移行する。ステップS20では、制御部30は、ディスプレイ16上に設定画面を表示する。設定画面は、具体的には、図8(b)に示すような、設定内容と通話開始ボタンとを含む画面であるものとする。図8(b)の設定画面では、例えば、相手による設定を許可(する/しない)において、通話相手からの撮像に関する設定情報を受信した場合に、その設定を許可するか否かを選択することができる。また、顔の解像度(高/中/低)においては、ユーザBの電話機器110において撮像される範囲に顔が含まれていた場合に、その顔が含まれる領域の解像度を指定することができる。また、顔以外の表示(する/しない)においては、撮像された顔以外の領域を表示するか否かを選択することができ、顔拡大(する/しない)においては、顔以外の表示をしない場合に、顔を拡大して表示するか否かを選択することができる。また、文字情報の表示(する/しない)においては、電話機器110のユーザBの音声認識を実行して、ユーザBが話した内容を文字情報として表示するか否かを選択することができる。更に、撮像部(前面/背面/両方)においては、電話機器110において、前面撮像部112と背面撮像部114のいずれの撮像画像を見たいか、あるいは両撮像部112、114の撮像画像を合成した画像を見たいか、を選択することができる。
図8(b)のような設定画面を表示した後は、制御部30は、ステップS22において、通話開始ボタンが押されるまで待機する。そして、ユーザAが設定画面において選択を行い、通話開始ボタンを押すと、制御部30は、ステップS24に移行する。
ステップS24では、制御部30は、通話相手の電話機器(ユーザBの電話機器110)に対して通話要求を発信する。その後は、制御部30は、ステップS26において、電話機器110からの応答があるまで待機する。
一方、電話機器110側においては、制御部130が通話要求を受信すると(ステップS110:肯定)、ステップS112、S114を前述と同様に実行し、ステップS116において、通話方式がテレビ電話か否かを判断する。このステップS116の判断が肯定されると、ステップS124に移行し、制御部130は、設定画面を表示する。この場合の設定画面は、図8(b)と同様の設定画面であるものとするが、通話開始ボタンに代えて、設定終了ボタンが設けられているものとする。
この設定画面において、ユーザBが設定内容を決定し、設定終了ボタンを押すと(ステップS126:肯定)、制御部130は、ステップS128において、電話機器10に対する応答処理を実行する。この応答処理を実行した後は、制御部130は、ステップS130のテレビ電話通話処理のサブルーチンを実行する。一方、電話機器10では、電話機器110側から応答があった場合(S26:肯定)、ステップS28のテレビ電話通話処理のサブルーチンを実行する。
以下、ステップS28、S130の詳細について、図9のフローチャートに沿って説明する。なお、ステップS28、S130の各処理は、同一の処理であるため、ここでは、電話機器110の制御部130による処理(ステップS130)を例にとり説明する。
図9の処理では、まず、ステップS150において、制御部130は、撮像に関する設定情報(ステップS124で説明した設定画面上で入力された情報)を通信部124を介して電話機器10の制御部30に送信する。
次いで、ステップS152では、制御部130は、撮像に関する設定情報を電話機器10側から受信するまで待機し、受信した段階で、ステップS154に移行する。ステップS154に移行すると、制御部130は、相手による設定を許可しているか否かを判断する。すなわち、図8(b)の設定画面において、相手(ユーザA)による設定を許可(する/しない)のうち、「する」にチェックが入れられたか否かを判断する。ここでの判断が否定された場合には、ステップS162に移行するが、肯定された場合には、ステップS156に移行する。
ステップS156に移行した場合、制御部130は、撮像条件を設定する。例えば、電話機器10において、図8(b)に示すような設定情報が入力された場合には、当該設定に従った撮像を行うように撮像条件を設定する。図8(b)の場合、撮像部として「前面撮像部112」を利用し、顔の解像度が「高」に設定されているので、図10に示すように、前面撮像部112の撮像素子113の各画素において、顔を撮像している領域(第1撮像領域)113aの解像度が他の領域(第2撮像領域)113bよりも高くなるように撮像条件を設定する。この場合、制御部130は、第1撮像領域113aの間引き率を第2撮像領域113bの間引き率よりも小さくする。また、第1撮像領域113aのフレームレートを第2撮像領域113bのフレームレートよりも小さくすることもできる。
次いで、ステップS158では、制御部130は、撮像及び顔認識を実行する。この場合、制御部130は、撮像結果から顔認識を行い、顔を含む範囲を特定する。
次いで、ステップS160では、制御部130は、顔認識結果に基づいて第1撮像領域113aをどの範囲に設定するかを特定し、特定した第1撮像領域113aの間引き率やフレームレートを設定する。なお、第1撮像領域113aの位置や大きさは、顔の動きに追従して変化する。
次いで、ステップS162では、制御部130は、設定情報に基づいて、撮像された画像から電話機器10に送信する画面を作成し、作成した画面と音声の送受信を開始する。すなわち、テレビ電話による通話を開始する。ここで、図8(b)に示すように、顔以外の表示を「しない」、顔拡大を「する」、文字情報の表示を「する」に設定していた場合には、制御部130は、画面として、図11(a)に符号Gで示す画面を作成して電話機器10(制御部30)に送信する。なお、文字情報「元気?」は、制御部130がユーザBの音声を認識した結果を表示したものである。なお、文字情報としては、通話時間や通話料金等の情報を表示することとしてもよい。
画面Gを受信した制御部30は、ディスプレイ16に図11(a)に示すようなテレビ電話画面を表示する。なお、図11(a)のテレビ電話画面には、画面Gの他、電話機器10の前面撮像部12において撮像され、制御部30により作成された画面H(S162)や、設定ボタン、通話終了ボタンが含まれている。ここで、図11(a)のように顔を拡大表示する場合であっても、顔の解像度が「高」に設定されていれば、ディスプレイ16上において、ユーザBの顔を鮮明に表示することができる。
なお、図8(b)の設定画面において、顔以外の表示を「しない」、顔拡大を「しない」、文字情報の表示を「する」に設定していた場合には、テレビ電話画面として、図11(b)に示す画面が表示される。ここで、図11(a)、図11(b)の画面がディスプレイ16上に表示される場合、制御部130は、電話機器110の前面撮像部112では、顔以外の領域(第2撮像領域113b)の撮像を行わないように設定してもよい。ただし、顔の動きに第1撮像領域113aを追従させるため、第1撮像領域113aの周囲の所定範囲については、撮像を行うようにしてもよい。この場合、当該所定範囲内においては、解像度を第1撮像領域113aよりも低く設定して撮像するようにしてもよい。このように、必要に応じて撮像する範囲を減らしたり、解像度を低くしたりすることで、制御部130の処理量を低減させることができるため、通信負荷、消費電力、電池消耗等の低減を図ることが可能となる。
また、図8(c)の設定画面において、顔以外の表示を「する」、顔拡大を「しない」、文字情報の表示を「する」に設定していた場合には、テレビ電話画面として、図12(a)に示す画面が表示される。さらに、図8(b)の設定画面において、顔以外の表示を「する」、顔拡大を「しない」、文字情報の表示を「しない」に設定していた場合には、テレビ電話画面として、図12(b)に示す画面がディスプレイ16に表示される。この場合においても、相手の顔をはっきり表示したいときに顔の範囲の解像度を上げることができるため、ユーザの視認性、使い勝手を向上することができる。また、顔以外の領域(第2撮像領域113b)の解像度を下げることで、制御部130の処理量を低減させることができる。なお、第1撮像領域113aと第2撮像領域113bにおけるフレームレートが異なる場合には、一方の撮像領域で撮像が行われたタイミングにおいて他方の撮像領域で撮像が行われていない場合がある。このような場合には、一方の撮像領域の撮像画像と他方の撮像領域の直近の撮像画像とを合成するようにすればよい。
また、図8(b)の設定画面において、顔以外の表示を「しない」、顔拡大を「する」、文字情報の表示を「しない」、撮像部の「両方」を使用する、に設定していた場合には、テレビ電話画面として、図13に示す画面が作成され、ディスプレイ16に表示される。この図13の画面では、背面撮像部114で撮像された画像I(ユーザBの周辺の風景の画像)と、前面撮像部112で撮像された画像J(ユーザBの画像)とが合成された状態で表示される。
図9に戻り、制御部130は、ステップS162の後、ステップS164において、設定ボタンが押されたか否かを判断する。ユーザBは、設定を変更したい場合には、設定ボタンを押す。このように設定ボタンが押されると、ステップS164の判断が肯定され、制御部130は、ステップS166において、設定画面を表示する。なお、この場合の設定画面は、図8(b)と同様であるが、通話開始ボタンに代えて設定変更ボタンが設けられているものとする。
この設定画面においてユーザBが設定を変更し設定変更ボタンを押すと(S168:肯定)、制御部130は、ステップS170において、変更された設定を通信部124を介して電話機器10に送信する。次いで、ステップS172では、制御部130は、通話終了ボタンが押されたか否かを判断し、このステップS172の判断が否定されると、ステップS164に戻る。
一方、ステップS164の判断が否定された場合、すなわち、設定ボタンが押されていない場合には、ステップS174に移行し、制御部130は、電話機器10側から設定情報(ユーザAが設定を変更したという情報)を受信したか否かを判断する。このステップS174の判断が否定された場合には、ステップS172に移行するが、肯定された場合には、ステップS176に移行する。
ステップS176に移行すると、制御部130は、設定において、相手による設定を許可しているか否かを判断する。このステップS176の判断が否定された場合には、ステップS172に移行するが、肯定された場合には、ステップS178に移行する。ステップS178に移行した場合、制御部130は、電話機器10においてユーザAによって変更された設定を反映させる(記憶部123に格納されている設定情報を更新する)。その後は、ステップS172に移行する。
その後、ステップS164〜S178の処理・判断を繰り返し、ステップS172の判断が肯定されると、制御部130は、ステップS180に移行する。ステップS180では、制御部130は、電話機器10との通信(通話)を切断し、図9及び図7の全処理を終了する。なお、前述したように、電話機器10においても図9の処理が同時並行的に実行される(S28)。
なお、制御部130(30)は、ステップS164〜S172の処理を行っている間に、ユーザからのテレビ電話画面への入力をタッチパネル122(22)を介して受け付けるようにしてもよい。すなわち、例えば、図12(b)の画面上でタッチパネル122がユーザBによる入力(ここでは、一例としてピンチアウト動作とする)を受け付けた場合には、ピンチアウトされた部分を拡大して表示するようにしてもよい。この場合、ピンチアウト動作が行われたという情報は、設定が変更された場合(S166〜S170)と同様、制御部30が相手側の電話機器110の制御部130に対して送信するようにすればよく、相手側の制御部130は、当該ピンチアウト動作の情報に基づいて、画面を作成するようにすればよい。また、例えば、ユーザが明るさを変えた箇所を指定した場合には、当該箇所が明るく表示されるようにしてもよい。この場合、制御部30は箇所の指定情報を相手側の制御部130に対して送信し、相手側の制御部130が、指定された箇所を撮像する画素(画素群)のゲインを他の素子よりも上げたり、指定された箇所を撮像する画素(画素群)の電荷蓄積時間を他の素子よりも長くしたりすればよい。また、ユーザが画面全体を明るくする旨の指示を入力した場合には、その旨を制御部30が制御部130に送信し、制御部130が、不図示の閃光装置(フラッシュ)を制御して発光させるようにしてもよい。
なお、本実施形態では、例えば、ユーザAが相手による設定を許可しない設定としている場合には、ユーザAがユーザBに送信する自身の画像の設定を図8(b)と同様の設定画面上にて行うこととしてもよい。これにより、ユーザAは、ユーザBの電話機器110に表示される画面を自分でカスタマイズすることができる。例えば、ユーザAが自己の周辺を見せたくない場合には、図11(b)のような画面表示になるように設定を行えばよい。
以上、詳細に説明したように、本第1の実施形態によると、電話機器110は、第1撮像領域113a及び第2撮像領域113bを有する撮像部112又は114と、相手方の電話機器10から設定情報を取得する通信部124と、通信部124が取得した設定情報に基づいて、第1撮像領域113aの撮像条件と第2撮像領域113bの撮像条件との少なくとも一方を設定する制御部130と、を備えているので、相手方の電話機器10を利用するユーザAが入力した設定情報に基づいて、電話機器110における撮像条件を変更することができる。これにより、電話機器110が撮像した画像に対して、該画像を表示する電話機器10のユーザAの好みを反映させることができるので、ユーザの使い勝手を向上することができる。
また、本第1の実施形態では、制御部130は、ユーザBが設定画面(図8(b))において設定した情報に基づいて、設定情報に基づく撮像条件の設定を制限する(S154:否定の場合)。これにより、相手方(ユーザA)がユーザBの利用する電話機器110の撮像条件を一方的に変更できないようにすることができる。
また、本第1の実施形態では、通信部124は、撮像部112又は114により撮像された画像を電話機器10に送信するので、ユーザAは自身の好みが反映された画像を見ることができる。
また、本第1の実施形態では、電話機器110が前面撮像部112と背面撮像部114とを備えており、制御部130は、通信部124を介して、両撮像部112,114で撮像された画像を合成して、電話機器10に送信することができる(図13参照)。これにより、ユーザAは、電話機器110の前面側と背面側の画像を同時に見ることができる。
また、本第1の実施形態では、制御部130は、電話機器10に送信し、電話機器10において表示された画像に対して入力された操作情報(ピンチアウト動作など)を受け付けるので、ユーザAにより画像に対して入力された操作情報を反映させた画像を電話機器10に送信することができる。
また、本第1の実施形態では、電子機器システム100は、同一の機能を有する電話機器10,110間でテレビ電話を行うシステムであるので、発信側のユーザ及び受信側のユーザのそれぞれが、相手方の撮像部の設定を行うことができる。ただし、これに限らず、いずれか一方の電話機器において相手方の撮像部の設定を行うことができなくてもよい。
なお、上記第1の実施形態では、テレビ電話の設定情報の入力を通話開始直前に行う場合について説明したが、これに限らず、設定情報の入力は、事前に行っておいてもよい。また、制御部30,130は、テレビ電話を終了したときの設定情報を記憶部23,123に記憶しておき、次回テレビ電話を行う際に記憶しておいた設定情報を読み出すこととしてもよい。
なお、上記第1の実施形態では、ユーザBの音声認識及び文字情報の表示を、ユーザBの利用する電話機器110の制御部130が行う場合について説明したが、これに限らず、相手方の電話機器10の制御部30がユーザBの音声認識及び文字情報の表示を行うこととしてもよい。
なお、上記第1の実施形態では、一方の電話機器がインターホンの室内設置機器で、他方の電話機器がインターホンの室外設置機器であってもよい。この場合、室内設置機器上でユーザが設定した設定情報を室外設置機器に送信し、該設定情報に基づいて、室外設置機器の制御部が撮像素子の第1撮像領域と第2撮像領域の少なくとも一方の撮像条件を変更するようにしてもよい。これにより、上記第1の実施形態と同様の効果を得ることができる。
なお、上記第1の実施形態では、2つの電話機器間におけるテレビ電話について説明したが、これに限らず、PC(Personal Computer)及びWEBカメラを用いたテレビ電話においても、適用することができる。
《第2の実施形態》
以下、第2の実施形態について、図14〜図19に基づいて、説明する。
図14には、本第2の実施形態における電子機器システムの使用態様の一例が示されている。図14に示すように、本第2の実施形態では、ユーザAが利用する電話機器10と、ユーザBが保持し、ユーザB〜ユーザEが利用する電話機器110との間でテレビ電話による通話を行うものとする。すなわち、本第2の実施形態では、1人対多数人(図14では1人対4人)によるテレビ電話が行われるものとする。
なお、本第2の実施形態では、基本的には、第1の実施形態の処理(図7、図9)と同様の処理が行われるが、各電話機器10,110における設定情報の内容が異なっている。
図15(a)には、ユーザAが利用する電話機器10に表示される設定画面(図7のステップS20)の一例が示されている。図15(a)の設定画面では、例えば、相手による設定を許可(する/しない)において、通話相手からの撮像に関する設定情報を受信した場合に、その設定を許可するか否かを選択することができる。また、顔の解像度(高/中/低/距離に応じて)においては、電話機器110において撮像される範囲に顔が含まれていた場合に、その顔が含まれる領域の解像度を選択することができる。また、撮像部(前面/背面/両方)においては、電話機器110において、前面撮像部112と背面撮像部114のいずれの撮像画像を見たいか、あるいは両撮像部112、114の撮像画像を合成した画像を見たいか、を選択することができる。また、相手が複数人の場合(優先者表示する/優先者表示しない)においては、相手の電話機器110が複数人を撮像している場合に、そのうちの優先者を明示的に表示するか否かを設定することができる。また、優先者は(前面側の人/しゃべっている人/選択した人)においては、優先者をどのように定めるかを選択することができる。なお、図15(a)には図示されていないが、設定画面において、その他の情報、例えば優先者の表示方法や、文字情報を表示するか否かなどを設定することができてもよい。
なお、電話機器10では、ユーザAが、図15(a)に示すような設定情報の入力を行ったものとする。
図15(b)には、ユーザB〜Eが利用する電話機器110に表示される設定画面(図7のステップS124)の一例が示されている。本実施形態では、電話機器110のユーザBが、図15(b)に示すような設定情報の入力を行ったものとする。
なお、本第2の実施形態では、電話機器10と電話機器110との間でテレビ電話が開始されると、電話機器10には、図17(a)に示すような画面が表示される。図17(a)の画面には、電話機器10を利用するユーザAの画像が表示されるとともに、電話機器110を利用するユーザB〜Eの顔画像が同一の大きさの枠内に表示されるようになっている。また、図17(a)の画面には、第1の実施形態(図11(a))と同様、設定ボタン及び通話終了ボタンが表示される。
ここで、図15(a)に示すように、設定画面において、顔の解像度として「距離に応じて」が選択された場合の、制御部130による撮像素子113の制御方法について説明する。例えば、図14において破線で示すように、電話機器110の背面撮像部114がユーザC〜Eを撮像している場合、背面撮像部114が有する撮像素子113には、ユーザの顔を含む矩形領域(第1撮像領域)113ac,113ad,113aeを設定することができる。この場合、領域の大きさが大きいほど、電話機器110からの距離が近く、小さいほど電話機器110からの距離が遠いと推定される。したがって、本実施形態では、制御部130は、領域の大きさが大きいほど(距離が近いほど)その領域の解像度を低くし、領域の大きさが小さいほど(距離が遠いほど)その領域の解像度を高く設定する。このようにすることで、図17(a)に示すように各領域(ユーザC〜Eの顔)を同一の大きさの表示枠内に表示するような場合でも、各ユーザC〜Eの顔の鮮明度合いを均一(ほぼ均一)にすることができる。なお、前面撮像部112においても、ユーザBの顔を含む第1撮像領域の解像度を、距離に応じて設定すれば、ユーザBの顔の鮮明度合いと、ユーザC〜Eの顔の鮮明度合いとを同一(ほぼ同一)にすることができる。なお、制御部130は、第1の実施形態と同様、顔以外の領域(第2撮像領域113b)の解像度を低く設定したり、撮像を行わないようにすることができる。これにより、消費電力を低減することができる。
本第2の実施形態では、テレビ電話が開始されると、電話機器110の制御部130は、図17(a)に示すような画面G’を作成し、電話機器10の制御部30に送信する(図9のステップS162)。これにより、電話機器10のディスプレイ16には図17(a)に示すような画面が表示されるので、ユーザAは、相手側のユーザB〜Eの顔を見ながら通話をすることができる。この場合、電話機器110からの距離に応じた解像度で各ユーザの顔が撮像されるため、ユーザAは、ユーザB〜Eの顔を均一の鮮明度で見ることができる。
ところで、図15(a)の設定画面において、ユーザAにより、相手が複数人の場合に「優先者表示する」が選択され、優先者は「前面側の人」が選択されたものとする。この場合、制御部130は、図17(b)に示すような画面G”を作成し、制御部30に送信するので、ディスプレイ116には、前面側の人(ユーザB)が他のユーザよりも大きく表示されるようになっている。この場合、制御部130は、顔を表示する表示枠の大きさと、顔と電話機器110との間の距離と、を考慮して、各第1撮像領域の解像度を設定することができる。例えば、制御部130は、顔を表示する表示枠内のデータ量が全て一致するように、各第1撮像領域の解像度を設定することができる。これにより、各表示枠内に表示される顔の鮮明度を均一にすることができる。
なお、ユーザの設定にもよるが、優先者表示においては、図18(a)に示すように、優先者の表示枠を他の表示枠よりも太線にて表示してもよい。また、図15(a)の設定画面において、ユーザAにより、優先者は「しゃべっている人」が選択された場合には、制御部130は、各ユーザの口の動きに基づいて、しゃべっている人を特定し、特定された人の表示枠を図18(b)に示すように太線で表示したり、図17(b)に示すように、大きく表示したりしてもよい。
また、例えば、図15(a)の設定画面において、ユーザAにより、優先者は「選択した人」が選択された場合には、制御部30は、図17(a)の画面において、ユーザAがタッチした表示枠の情報を取得し、制御部130に送信する。この場合、制御部130は、受信した情報に基づいて、タッチした表示枠を優先表示した画面を作成し、制御部30に送信すればよい。
また、制御部130は、例えば、図19に示すように、どのユーザが電話機器110の前面側に位置し、どのユーザが電話機器110の背面側に位置しているかを表示する文字を付記した画面を制御部30に送信するようにしてもよい。
なお、制御部130は、優先者については、他のユーザよりも高い解像度で(又は鮮明度が高くなるように)撮像するように撮像条件を設定してもよい。これにより、優先度の高いユーザの表情を他のユーザよりも鮮明に表示することができる。
以上、説明したように、本第2の実施形態によると、第1の実施形態と同様の効果が得られるほか、制御部130が、第1撮像領域113ac〜113aeの大きさに応じて各第1撮像領域の撮像条件を変更するので、電話機器10において適切な表示を行うことが可能である。また、制御部130は、第1撮像領域の画像を電話機器10において表示する表示枠の大きさに応じて、第1撮像領域の撮像条件を変更するので、表示枠の大きさを考慮した適切な撮像を行うことができる。
また、制御部130は、優先者をユーザの状態(例えば、しゃべっているなど)に基づいて決定することができる。これにより、所定の状態のユーザ(例えば、しゃべっているユーザ)を目立つように表示することができる。
なお、上記第2の実施形態では、優先者を1人定める場合について説明したが、これに限らず、優先者を複数人定めてもよい。また、各ユーザに優先順位を定め、優先順位に応じた表示を行うようにしてもよい。優先順位は、ユーザの位置や状態(しゃべっている、声が大きいなど)、ユーザの入力等に基づいて定めることができる。優先順位に応じた表示には、表示枠の大きさ、表示枠の表示位置、付記する文字(優先順位を示す数字)の少なくとも1つが含まれていてもよい。
また、上記第2の実施形態においても、第1の実施形態と同様、電話機器10のタッチパネル22における操作情報に基づいて、制御部130が作成する画面を変更することとしてもよい。また、電話機器10のタッチパネル22における操作情報に基づいて、制御部130が不図示のフラッシュの動作を制御してもよい。
なお、上記第2の実施形態では、ユーザの顔やユーザの情報を予め記憶部23,123に登録しておき、ユーザの顔認証結果に基づいて、ユーザの情報を画面上に表示するようにしてもよい。この場合、ユーザの情報(例えば役職等)に基づいて、優先順位を決定してもよい。
なお、上記第2の実施形態では、テレビ電話を1人対多数人で行う場合について説明したが、これに限らず、多数人対多数人でテレビ電話を行う場合にも適用することができる。
《第3の実施形態》
以下、第3の実施形態の電子機器システムについて、図20〜図26に基づいて説明する。
図20には、第3の実施形態に係る電子機器システムの使用態様の一例が示されている。本実施形態では、図20に示すように、電話機器10を保持するユーザAが電話機器10及びカメラ装置210を利用して、遠隔地で開催されている会議に参加するためのシステムである。
図21には、本実施形態の電子機器システム1000の構成がブロック図にて示されている。図21に示すように、電子機器システム1000は、電話機器10と、カメラ装置210と、を備える。電話機器10は、第1、第2の実施形態と同様の構成を有する。カメラ装置210は、撮像部212と、マイク213と、スピーカ214と、記憶部216と、通信部218と、制御部230とを有する。
撮像部212は、会議室の壁や天井等に固定され、会議室内を撮像する。撮像部212は、電話機器10の前面撮像部12及び背面撮像部14と同様の構成を有する。すなわち、撮像部212は、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子を有している。
マイク213は、会議室内の音声を集音する。スピーカ214は、電話機器10のマイク20が集音したユーザAの音声を出力する。記憶部216は、電話機器10から入力される設定情報等を格納する。通信部218は、電話機器10の通信部24と通信し、音声や画像のやり取りを行う。
制御部230は、CPU等を有し、カメラ装置210を統括的に制御する。
次に、本第3の実施形態における電子機器システム1000の処理について説明する。本実施形態の電子機器システム1000では、図22に示す設定処理と、図24に示す会議処理とが実行される。
(設定処理)
図22の設定処理は、会議室内を撮像した画像(図23(a)参照)において、どの範囲がホワイトボードであり、どの範囲にユーザが座るかを、電話機器10を用いてユーザAが事前に設定する処理である。
図22の処理では、まず、ステップS200において、制御部30が、設定開始要求があるまで待機する。この場合、ユーザAから設定開始要求が入力された段階で、ステップS202に移行する。
ステップS202に移行すると、制御部30は、カメラ装置210の撮像画像を受信してディスプレイ16上に表示する。例えば、ディスプレイ16上には、図23(a)に示すような会議室内を撮像した画像が表示される。
次いで、ステップS204では、制御部30は、ホワイトボード範囲指定要求をディスプレイ16上に表示する。この表示を見たユーザAは、ディスプレイ16に表示されている画像内で、ホワイトボードの範囲(図23(b)の範囲WB)を指定する。この場合、ユーザAは、タッチパネル22において、ホワイトボードの外縁部を指でなぞることで、範囲を指定することができる。
次いで、ステップS206では、制御部30は、ホワイトボードの範囲が指定されるまで待機し、ユーザAによって範囲が指定された段階で、ステップS208に移行する。
ステップS208では、制御部30は、ユーザ存在範囲の指定要求をディスプレイ16上に表示する。この表示を見たユーザAは、ディスプレイ16に表示されている画像内で、会議中にユーザが存在するであろう範囲(図23(b)の範囲U1〜U4)を指定する。この場合、ユーザAは、例えばタッチパネル22において指定したい矩形範囲の対角の位置に触れることで、範囲指定することができる。
次いで、ステップS210では、制御部30は、ユーザ存在範囲が指定されるまで待機し、ユーザAによって指定された段階で、ステップS212に移行する。
ステップS212に移行すると、制御部30は、通信部24を介して、ユーザAによって指定された範囲(WB、U1〜U4)をカメラ装置210(制御部230)に送信する。なお、制御部230は、指定された範囲(WB、U1〜U4)を受信すると、その座標情報を記憶部216に記憶する。
以上により、図22の設定処理が終了する。
(会議処理)
次に、会議処理について、図24のフローチャートに沿って説明する。図24の処理では、まず、ステップS300において、電話機器10の制御部30が、テレビ会議開始の要求がユーザAから入力されるまで待機し、ユーザAから入力された段階で、ステップS302に移行する。
ステップS302に移行すると、制御部30は、通信部24を介して、会議の開始要求をカメラ装置210の制御部230に送信する。その後は、制御部30は、ステップS304において通信開始処理を実行する。
一方、カメラ装置210の制御部230は、ステップS400において、会議の開始要求を受信するまで待機している。したがって、電話機器10側においてステップS302が実行されると、制御部230は、ステップS402に移行し、通信開始処理を実行する。
上記のようにして、電話機器10とカメラ装置210との間の通信が成立すると、制御部30、230は、音声の送受信を開始する(ステップS305、S403)。この場合、電話機器10の制御部30は、マイク213で集音された会議室側の音声をスピーカ18から出力し、カメラ装置210の制御部230は、マイク20で集音されたユーザAの音声をスピーカ214から出力する。また、カメラ装置210側では、ステップS404において、制御部230が、画像の撮像を開始する。ここで、画像の撮像においては、制御部230は、ユーザにより指定された範囲WB,U1〜U4を第1撮像領域とするとともに、範囲WB,U1〜U4とは無関係に動く物体(プレゼンターPと推定される)を含む範囲を第1撮像領域とし、その他の範囲を第2撮像領域として、第1撮像領域の解像度を第2撮像領域の解像度よりも高く設定する。これにより、ホワイトボード、ユーザB〜D、及びプレゼンターPを高解像度で撮像することができる。
その後、カメラ装置210では、ステップS405において、制御部230が、ホワイトボード範囲WBを歪曲補正する。具体的には、ホワイトボード範囲WBは、通常、台形形状で撮像されることが多いため、当該台形形状が矩形形状となるように画像を補正し、歪みを低減する。
次いで、ステップS406では、制御部230は、各範囲(補正後の範囲WB、及び範囲U1〜U4)の画像及びプレゼンターPの画像を合成して画面を作成し、通信部218を介して電話機器10の制御部30に送信する。制御部230は、その後は、ステップS408の判断が肯定されるまで、すなわち、通信が切断されるまで、ステップS405、S406の処理を所定時間間隔で(例えば、1フレームごとに)繰り返す。
一方、電話機器10の制御部30は、ステップS304の後、ステップS306において、カメラ装置210から画面を受信するまで待機している。したがって、制御部230においてステップS406が実行されたタイミングで、制御部30は、ステップS308に移行し、受信した画面を表示する。ここで表示される画面は、例えば、図25(a)に示すようなプレゼンターP、ユーザB〜E、補正後のホワイトボードの画像を含む画面であるものとする。なお、図25(a)のような表示を行う場合、第1撮像領域以外の領域(又は第1撮像領域及びその周辺以外の領域)を撮像しなくてもよい。これにより、処理負荷や消費電力を低減することができる。
ただし、図25(a)の画面に限られるものではなく、ユーザAによる設定に基づいて、例えば、図25(b)や図26に示すような画面を表示することもできる。図25(b)の画面は、プレゼンターPとホワイトボードの画像を拡大して示す画面である。このような画面を表示する場合、撮像部212が有する撮像素子のうち、プレゼンターPを撮像する範囲と、ホワイトボードを撮像する範囲の解像度を、他の範囲の解像度よりも高く設定することが好ましい。
一方、図26の画面は、図25(b)の画面のうち、ホワイトボードの画像において制御部230が文字認識した結果を、テキストデータとして表示した画面である。ホワイトボードに書かれている文字を認識してテキストデータとして表示することで、ホワイトボードに書かれている内容を読みやすく表示することができる。なお、図26では、設定処理において、図23(b)の範囲U1を指定されなかったため、ユーザBが表示されていない状態を示している。
次いで、ステップS310では、制御部30は、ユーザAから終了要求があったか否かを判断し、ここでの判断が否定されると、ステップS306に戻る。そして、制御部30は、ユーザAからの終了要求があるまで、ステップS306〜S310の処理・判断を繰り返す。
その後、ユーザAからの終了要求があると、ステップS310の判断が肯定されるため、制御部30は、通信を切断して、図24の全処理を終了する。
以上、詳細に説明したように、本第3の実施形態によると、ユーザAが設定したユーザB〜Dが存在するであろう範囲やホワイトボードが撮像される範囲(第1撮像領域)の解像度をその他(第2撮像領域)の解像度よりも高く設定するので、ユーザが見たい領域を鮮明に表示することができる。
また、会議室のように広い範囲を撮像する場合には、撮像部212が広角レンズを有する場合がある。特に光軸外の領域ではレンズの湾曲により画像が歪んでしまうが、本第3の実施形態のように画像を補正することで歪みを低減することができる。この場合、補正した範囲に文字が含まれる場合には、当該文字を読みやすく表示することができる。
なお、上記第3の実施形態では、範囲WB、U1〜U4について、個別に撮像条件を設定してもよい。また、設定処理において、セキュリティ上、撮像したくない範囲を設定できるようにしてもよい。なお、会議において、プレゼンターPが存在しないような場合には、しゃべっている人の顔を大きく表示するようにしてもよい。
なお、上記第3の実施形態では、会議室にモニタを設け、該モニタとカメラ装置210とを接続してもよい。この場合、制御部230は、制御部30から電話機器10の前面撮像部12及び/又は背面撮像部14で撮像された画像を受信し、モニタに表示するようにしてもよい。
なお、上記第3の実施形態では、カメラ装置210は、撮像部を備えるその他の装置(例えば、PCやスマートフォンなど)であってもよい。
なお、上記第3の実施形態においても、第1の実施形態と同様、プレゼンターの喋っている内容をテキスト表示するようにしてもよい。また、プレゼンターや会議参加者の画像から顔認識処理を行い、氏名や役職等を画像と併せて表示するようにしてもよい。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。