JP5301031B2 - 携帯通信端末装置 - Google Patents

Description

本発明は、通信機能と撮影機能を備える携帯通信端末装置に関する。

携帯電話機、ＰＨＳ（Personal Handy-phone System）等の携帯通信端末装置は、通信機能に加え、各種機能を備えている装置がある。例えば、特許文献１には、カメラ等の画像入力装置と、その出力ビデオ信号をデジタル化、圧縮して公衆回線への出力信号を生成しまた公衆回線から信号を受信してそれを復調、復号する伝送装置と、復号されたビデオ信号を表示する表示装置と、これら各装置を操作する操作部とを本体に一体化し、さらに取り外し可能なムーバを用いて公衆回線との接続を行うようにする携帯画像伝送装置が記載されている。

特開平０７−２２２２４９号公報

特許文献１に記載されているように、携帯通信端末装置に撮影機能を搭載することで、１つの機械で画像の送信と通話の両方を行うことが可能となる。ここで、携帯通信端末装置としては、迷子防止や防犯機能等を目的として、ＧＰＳ機能を備えている装置がある。しかしながら、ＧＰＳ機能は、一定程度までの領域は特定することができるが、特定できる範囲に限界がある。また、扱いが不慣れな操作者では、ＧＰＳ機能により特定の相手に自身の位置を通知することは困難である。なお、ＧＰＳ機能は、複数のＧＰＳ衛星からの電波を受信し、自端末の緯度、経度、高度を取得する機能である。

本発明は、上記に鑑みてなされたものであって、通話相手に対して、自身の位置または、周囲の状況をわかりやすく、かつ、簡単に知らせることができる携帯通信端末装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の携帯通信端末装置は、操作が入力される操作部と、被写体を撮像する撮像部と、他の通信端末装置と通信する通信部と、前記撮像部で撮像した撮像画像を送信する設定がされている前記他の通信端末装置との通信を開始する場合は、前記撮像部で撮像を開始し、前記撮像部で取得した画像情報を、前記通信を開始した前記他の通信端末装置へ送信する制御部と、を有し、前記制御部は、前記撮像部で取得した画像情報を送信する第１モードと、前記撮像部で取得した画像情報を加工して送信する第２モードと、を備えることを特徴とする。

ここで、携帯通信端末装置は、前記制御部は、前記第２モードでは、前記画像情報に対応する付加情報を付加することが好ましい。

また、携帯通信端末装置は、自端末の位置情報を取得する位置情報取得部をさらに備え、前記付加情報は、前記位置情報取得部により取得される位置情報であることが好ましい。

また、携帯通信端末装置は、前記画像情報に関連する方位情報を取得する方位情報取得部をさらに備え、前記付加情報は、前記画像情報に関連する方位情報であることが好ましい。

また、前記制御部は、前記第２モードでは、前記通信部を介して、前記付加情報を取得することが好ましい。

また、前記制御部は、前記第２モードでは、前記画像情報を加工する加工装置へ前記画像情報を送信し、前記加工装置を介して、前記他の通信端末装置に、加工した前記画像情報を送信することが好ましい。

また、前記制御部は、前記撮像部で撮像した撮像画像を送信する設定がされている他の通信端末装置からの通信開始要求を受信し、該他の通信端末装置と通信を開始する場合は、前記画像情報の送信を開始することが好ましい。

また、携帯通信端末装置、自端末の位置を検出する位置検出部をさらに備え、前記制御部は、前記位置検出部で検出した前記自端末の位置が、設定されている領域内である場合は、前記撮像部での撮像、及び、前記画像情報の送信の少なくとも一方を停止することが好ましい。

また、前記制御部は、基準時点からの経過時間を検出する計時部を有し、前記経過時間が予め設定された時間を越えたら、前記撮像部での撮像、及び、前記画像情報の送信の少なくとも一方を停止することが好ましい。

また、携帯通信端末装置は、受話部をさらに有し、前記撮像部は、前記受話部が配置されている面とは反対側の面に配置されていることが好ましい。

また、前記制御部は、通話中に前記他の通信端末装置から供給される音声信号に予め設定されている音声信号が含まれていることを検出したら、前記撮像部による撮像、及び画像の送出を停止させることが好ましい。

また、前記制御部は、前記撮像部で取得した画像情報を、前記画像から位置情報を検出する機能を備える通信端末に送信することが好ましい。

本発明に係る携帯通信端末装置は、通話相手に、画像により周囲の状況を把握させることができ、通話相手に、自身の位置または、周囲の状況をわかりやすく、かつ、簡単に知らせることができるという効果を奏する。

図１は、実施形態に係る携帯通信端末装置の一実施形態の概略構成を示す正面図である。 図２は、図１に示す携帯通信端末装置の側面図である。 図３は、図１及び図２に示す携帯通信端末装置の機能の概略構成を示すブロック図である。 図４は、携帯通信端末装置の動作を説明するためのフロー図である。 図５は、携帯通信端末装置の動作を説明するためのフロー図である。 図６は、他の実施形態の携帯通信端末装置の機能の概略構成を示すブロック図である。 図７は、携帯通信端末装置の動作を説明するためのフロー図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯通信端末装置の一例として、携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではない。本発明の携帯通信端末装置は、例えば、ＰＨＳ（Personal Handy-phone System）等に対しても適用できる。

図１は、実施形態に係る携帯通信端末装置の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯通信端末装置の側面図である。図１及び図２に示す携帯通信端末装置１は、無線通信機能と、出力手段と、音声取得手段と、可視光通信手段と、撮像手段とを有する携帯電話機である。携帯通信端末装置１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯通信端末装置１は、折り畳み式の筐体を有する。なお、携帯通信端末装置１の筐体は、このような構造に限定されるものではない。例えば、携帯通信端末装置１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。

第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心として、図２の矢印Ｒで示す方向に相対的に回動できる。第１筐体１ＣＡと第２筐体１ＣＢとは、ヒンジ機構８を中心として、図２中実線で示す位置から、図２中点線で示す位置、折り畳まれた状態となる位置まで移動することができる。

第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯通信端末装置１が受信を待機している状態のときに待ち受け画像を表示したり、携帯通信端末装置１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯通信端末装置１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。

第１筐体１ＣＡのヒンジ機構８とは反対側の端部で、かつ、ディスプレイ２が配置されている面とは反対側の面には、画像を撮影（取得）するカメラ４０が設けられている。なお、カメラ４０の撮影窓は、第１筐体１ＣＡの外部に露出しており、図２中点線及び矢印で示す撮影領域４１の画像を取得する。このように、カメラ４０は、第１筐体１ＣＡのレシーバ１６が設けられている面とは反対側の面に設けられている。

第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯通信端末装置１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯通信端末装置１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯通信端末装置１の背面１ＰＢである。

第２筐体１ＣＢの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯通信端末装置１と基地局との間で通話や電子メール等に係る電波（電磁波）の送受信に用いられる。また、第２筐体１ＣＢには、マイク１５が設けられる。マイク１５は、図２に示す、携帯通信端末装置１の操作面１ＰＣ側に配置される。

図３は、図１及び図２に示す携帯通信端末装置の機能の概略構成を示すブロック図である。図３に示すように、携帯通信端末装置１は、制御部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、カメラ４０と、を有する。

制御部２２は、携帯通信端末装置１の全体的な動作を統括的に制御する機能を有する。すなわち、制御部２２は、携帯通信端末装置１の各種の処理が、操作部１３の操作や携帯通信端末装置１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。

制御部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。制御部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯通信端末装置１の各種の処理を実行する。すなわち、制御部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。

本実施形態において、制御部２２は、送受信部２６を介した他の通信端末との通信を制御する通信制御部２２ａ、及び、カメラ４０による撮影動作を制御する撮影制御部２２ｂと、カメラ４０で取得した画像に情報を付加する拡張現実処理部２２ｃと、を有する。通信制御部２２ａ、撮影制御部２２ｂがそれぞれ有する機能は、制御部２２及び記憶部２４で構成されるハードウェア資源が、制御部２２の各制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体または同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。

通信制御部２２ａは、送受信部２６を介して行う他の通信端末との通話や、他の通信端末とのデータ通信を制御する。具体的には、通信制御部２２ａは、着信の検出、発信操作、データの送受信、終話、通信情報の選択等の処理を行う。撮影制御部２２ｂは、カメラ４０による撮影動作を制御する。具体的には、撮影制御部２２ｂは、カメラ４０の起動、停止、画像取得、撮影モードの選択、焦点位置合わせ等の処理を行う。拡張現実処理部２２ｃは、カメラ４０で取得した画像に基づいて、画像に対応する情報を選択し、選択した情報を付加情報として画像に付加する。なお、拡張現実処理部２２ｃは、ユーザによって拡張現実モードが選択されている場合に、付加情報を付加し、現実モードが選択されている場合は、付加情報は付加しない。また、モードの選択は、ユーザの種々の設定動作により設定することができる。

記憶部２４には、制御部２２での処理に利用されるソフトウェアやデータが記憶されており、通信制御部２２ａ、撮影制御部２２ｂで用いられるアプリケーションプログラムを作動させるタスクや、各種プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも各種データが記憶されている。ここで、記憶部２４には、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳４４と、通信制御部２２ａで用いる条件テーブル４６とが記憶されている。また、記憶部２４には、これら以外にも、例えば、通信、ダウンロードされた音声データ、あるいは、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。

アドレス帳４４は、名前や電話番号やメールアドレス等が登録されたアドレス情報（１件分の登録データ）が複数件記憶されている。また、アドレス帳４４に記憶されるアドレス情報には、種々の項目が入力可能であり、アドレス情報を分類するグループ情報も入力することができる。また、条件テーブル４６は、通信制御部２２ａによる通信動作、特に通話動作を制御するための条件が記憶されている。なお、条件テーブル４６には、通話相手によって、通話時に起動させる機能を選択するための条件が記憶されている。

送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として制御部２２へ入力される。

音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。

表示部３２は、上述したディスプレイ２を有しており、制御部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネル等で構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。

カメラ４０は、上述したように第１筐体１ＣＡのレシーバ１６が形成されている面とは反対側の面に設けられ、第１筐体１ＣＡの外側（ディスプレイ２が設けられている面とは反対側）に対面している（向かい合っている）領域のうち一定の撮影領域４１の画像（被写体の画像）を取得する撮像機構である。携帯通信端末装置１は、基本的に以上のような構成である。

次に、図４及び図５を用いて携帯通信端末装置の通話動作を説明する。ここで、図４及び図５は、それぞれ、携帯通信端末装置の動作を説明するためのフロー図である。ここで、携帯通信端末装置１は、通信を開始する際に、通話相手が予め設定されている相手である場合は、カメラ４０を起動させ、通話を開始すると共に、カメラ４０で撮影した画像（被写体の画像）を通話相手に送信する。

以下、まず、図４を用いて、携帯通信端末装置１から電話を掛ける、つまり発信する場合について説明する。なお、図４に示す例は、通話相手がアドレス帳（電話帳）４４に登録されている相手の場合は、画像データを送信する条件が条件テーブル４６に設定されている場合である。

携帯通信端末装置１の制御部２２は、操作者により所定の操作が入力されたら、通信制御部２２ａを起動させる。その後、制御部２２は、任意のアドレス情報が指定され、または、電話番号が入力された状態で、操作部１３の発信キーが押下されたら、ステップＳ２０として、発信、つまり発信処理を行う。これにより、制御部２２は、入力された相手先に電話をかける。その後、制御部２２は、発信先から通信可能な信号を検出したら、つまり、相手先が電話にでたら、ステップＳ２２として、通話を開始する。

制御部２２は、ステップＳ２２で通話を開始したら、ステップＳ２４として、音声データの送出を開始する。具体的には、制御部２２は、マイク１５に入力された音声を音声処理部３０で信号に変換し、その信号を送受信部２６から送出する処理を開始する。また、制御部２２は、送受信部２６を介して、他の通信機器から音声信号が送られてきたら、音声信号を音声処理部３０で変換して、レシーバ１６から出力する処理も開始する。つまり、制御部２２は、ステップＳ２４で通話を開始する。

制御部２２は、ステップＳ２４で、音声データの送出を開始したら、ステップＳ２６として、電話帳に登録されている相手かを判定する。つまり、制御部２２は、ステップＳ２０で発信した相手、つまり通話相手が、アドレス帳４４に登録されているかを判定する。なお、制御部２２は、条件テーブル４６から条件を読み出すことで、設定される。また、制御部２２は、発信時に入力された電話番号と、アドレス帳４４に登録されている電話番号とを比較することで、通話相手が、アドレス帳４４に登録されている相手か否かを判定することができる。なお、発信時に入力された電話番号は、通話相手を特定する電話番号部分のみで比較することが好ましい。つまり、電話番号を通知しないために付ける１８４等の番号は、比較の対象としないことで、通話相手とアドレス帳４４に登録されている相手とをより的確に比較することができる。

制御部２２は、ステップＳ２６で電話帳に登録されている相手ではない（Ｎｏ）と判定したら、つまり、通話相手がアドレス帳４４に登録されていない相手であると判定したら、処理を終了する。したがって、この場合、制御部２２は、音声通話のみで通信を行う。

これに対して、制御部２２は、ステップＳ２６で電話帳に登録されている相手である（Ｙｅｓ）と判定したら、つまり、通話相手がアドレス帳４４に登録されている相手であると判定したら、ステップＳ２８として、カメラ４０を起動させる。具体的には、制御部２２は、撮影制御部２２ｂにより、カメラ４０を起動させる。

制御部２２は、ステップＳ２８でカメラ４０を起動し、撮影領域４１の画像を取得したら、ステップＳ２９として、拡張現実モードを使用する設定となっているかを判定する。制御部２２は、ステップＳ２９で拡張現実モードを使用する設定になっていない（Ｎｏ）、つまり、現実モードを使用する設定になっていると判定したら、ステップＳ３０として、画像データを送出開始する。つまり、制御部２２は、カメラ４０で取得した撮影領域４１の画像を画像データとして、通話相手に送信する処理を開始する。制御部２２は、ステップＳ３０で、画像データの送出を開始したら、処理を終了する。したがって、この場合、制御部２２は、音声通話を行いつつ、画像データを通話相手に送信する通信を行う。

また、制御部２２は、ステップＳ２９で、拡張現実モードを使用する設定になっている（Ｙｅｓ）と判定したら、ステップＳ３２として、現実環境の付加情報を取得する。つまり、カメラ４０で取得した画像（現実の周囲の環境）に対応する情報を付加情報として取得する。具体的には、制御部２２は、取得した画像情報を、送受信部２６を介して、外部のサーバに送る。外部のサーバは、画像を解析し、画像に含まれる建物や道、また、撮影位置等を特定する。外部のサーバは、画像に含まれる建物や道、また、撮影位置を特定したら、建物、道に対応する情報、撮影位置に対応する情報を選択し、携帯通信端末装置１に送る。携帯通信端末装置１は、外部のサーバから送られた情報を取得することで、現実環境（撮影した画像）の付加情報を取得する。

次に、制御部２２は、ステップＳ３２で付加情報を取得したら、ステップＳ３４として、合成画像データの送出を開始する。具体的には、制御部２２は、ステップＳ３２で取得した付加情報を画像データに合成し、合成した画像の送出を開始する。これにより、制御部２２は、音声通話を行いつつ、付加情報を付加した画像データを通話相手に送信する通信を行う。

次に、図５を用いて、携帯通信端末装置１に電話がかかってくる、つまり着信がある場合について説明する。なお、図５に示す例は、通話相手がアドレス帳４４の家族のグループに登録されている相手の場合は、画像データを送信する条件が条件テーブル４６に設定されている場合である。

携帯通信端末装置１の制御部２２は、ステップＳ４０として、送受信部２６を介して電話がかかってきた、つまり着信があったことを検出したら、通信制御部２２ａを起動させる。なお、通信制御部２２ａは、常に起動していてもよい。その後、制御部２２は、送受信部２６を介して、通話相手（電話を掛けてきている通信端末）の情報を検出し、その検出に基づいて、通話相手の情報を表示部３２に表示させる。なお、この時、アドレス帳４４に記憶されているアドレス情報の相手からの電話であったら、その相手の情報、つまり登録名を相手先の情報として表示させる。その後、制御部２２は、操作部１３により通話キー等の通信開始を指示する信号を検出したら、ステップＳ４２として、通話を開始する。なお、制御部２２は、着信を検出してから設定時間を経過したら、通話を開始するようにしてもよい。

制御部２２は、ステップＳ４２で通話を開始したら、ステップＳ４４として、音声データの送出を開始する。つまり、制御部２２は、ステップＳ２４と同様にステップＳ４４で通話を開始する。

制御部２２は、ステップＳ４４で、音声データの送出を開始したら、ステップＳ４６として、相手が家族かを判定する。つまり、制御部２２は、ステップＳ４０で着信があった相手、つまり通話相手が、アドレス帳４４のうち家族のグループに含まれて登録されているかを判定する。なお、制御部２２は、条件テーブル４６から条件を読み出すことで、設定される。

制御部２２は、ステップＳ４６で相手が家族のグループに登録されていない（Ｎｏ）と判定したら、つまり、通話相手が家族のグループに登録されていないと判定したら、処理を終了する。したがって、この場合、制御部２２は、音声通話のみで通信を行う。

これに対して、制御部２２は、ステップＳ４６で相手が家族のグループに登録されている（Ｙｅｓ）と判定したら、つまり、通話相手がアドレス帳４４の家族のグループに登録されていると判定したら、ステップＳ４８として、カメラ４０を起動させる。

制御部２２は、ステップＳ４８でカメラ４０を起動し、撮影領域４１の画像を取得したら、ステップＳ４９として、拡張現実モードを使用する設定となっているかを判定する。制御部２２は、ステップＳ４９で拡張現実モードを使用する設定になっていない（Ｎｏ）、つまり、現実モードを使用する設定になっていると判定したら、ステップＳ５０として、画像データの送出を開始する。つまり、制御部２２は、カメラ４０で取得した撮影領域４１の画像を画像データとして、通話相手に送信する処理を開始する。制御部２２は、ステップＳ５０で、画像データの送出を開始したら、処理を終了する。したがって、この場合、制御部２２は、音声通話を行いつつ、画像データを通話相手に送信する通信を行う。

また、制御部２２は、ステップＳ４９で、拡張現実モードを使用する設定になっている（Ｙｅｓ）と判定したら、ステップＳ５２として、現実環境の付加情報を取得する。つまり、カメラ４０で取得した画像（現実の周囲の環境）に対応する情報を付加情報として取得する。なお、付加情報の取得方法は、上述のステップＳ３２と同様である。

次に、制御部２２は、ステップＳ５２で付加情報を取得したら、ステップＳ５４として、合成画像データの送出を開始する。具体的には、制御部２２は、ステップＳ５２で取得した付加情報を画像データに合成し、合成した画像の送出を開始する。これにより、制御部２２は、音声通話を行いつつ、付加情報を付加した画像データを通話相手に送信する通信を行う。

以上のように、携帯通信端末装置１は、設定された相手先と通話を開始する場合は、カメラも起動させ、画像を撮影領域の画像を撮影し、その画像の情報を通話相手に送信することで、相手先の通信機器の表示部に送信した画像を表示させることができる。これにより、通話相手に対して、自身の居場所や、自身の周囲の状況を伝達することができる。

このように、設定された相手との通話時には、自動的にカメラで撮影した画像を通信相手に送信することで、ユーザは、特別な操作を入力することなく、通話相手に自身の位置や周囲の状況を伝達することができる。つまり、携帯通信端末装置１に慣れていない、また使いこなせていないユーザであっても、電話を掛けるのみで、通話相手に周囲の状況を伝えることができる。これにより、子供が迷子になっている場合や、老人が徘徊している場合でも、電話を掛けることで、その人物の周りの状態をすぐに知ることができる。

また、携帯通信端末装置１は、上述したように、設定された相手先から電話がかけられて、つまり着信があって、通話を開始した場合も、カメラを自動的に起動させて、画像データを通話相手に送信することで、保護者や、探している人が電話を掛けて、通話が開始されるだけで、周囲の状況を知ることができる。また、会話では理解することができない情報も視覚で把握することができるため、より的確に周囲の状態を知ることができる。

また、携帯通信端末装置１は、設定された相手先から着信があった場合は、自動的に通話開始にすることが好ましい。これにより、携帯通信端末装置１の所有者が電話に出られない状態で、会話ができない状態であっても、周囲の画像を取得することができる。

また、実際の周りの景色の画像を送ることで、通話相手に自身の周囲の状況をより正確に伝えることができる。つまりＧＰＳ（Global Positioning System）機能のように地図上の位置で判断する場合よりも、自身の周囲の状況をより正確に伝えることができる。また、周囲の状況を画像で伝えることで、通話相手が知っている地域であれば、すぐに位置を特定することができ、通話相手が知らない地域であれば、地図ではわからない周囲の状況を把握することができる。

また、携帯通信端末装置１は、設定によって、または条件に応じて、拡大現実モードを選択し、付加情報を付加した画像（合成した画像）を送出することで、周囲の状況をより適切に通知することができる。つまり、カメラ４０で取得した画像に対応する情報（周囲の状況に対応する情報）を付加情報とし、付加情報と画像とを合成して、通信相手に送ることで、通信相手に周囲の状況をより的確に通知することができる。また、携帯通信端末装置１は、付加情報として、種々の情報を用いることができる。付加情報は、上述したように位置に関連する文字情報や、画像に対応する画像の情報を用いることができる。このように付加情報に画像を用いることで、例えば、画像が暗くてわかりにくい場合は、同じ位置を昼間に撮影した画像を付加情報として、合成してもよい。

なお、上記実施形態では、外部のサーバ（処理装置）が、画像解析をすることにより、周囲の状況（建物、道、位置）を特定したが、本発明はこれに限定されない。例えば、携帯通信端末装置１は、ＧＰＳ機能を搭載し、ＧＰＳ機能により検出した自端末の位置情報を画像情報と共に外部のサーバに送るようにしてもよい。これにより、外部のサーバは、送られた位置情報に基づいて、画像の位置を特定できるため、付加情報を算出するためのサーバの負荷を低減することができる。また、位置情報は、ＧＰＳ機能に限定されず、例えば通信している基地局の情報に基づいて算出してもよい。

また、携帯通信端末装置１は、外部のサーバから情報を取得する場合は、取得した情報から必要な情報を選択し、選択した情報を画像と合成するようにしてもよい。また、上記実施形態では、外部のサーバから、一度携帯通信端末装置１に情報を送り、その後、携帯通信端末装置１から、通話相手に付加情報を付加した画像を送出したが、これにも限定されない。携帯通信端末装置１は、外部のサーバから直接、通話相手の通信端末装置に付加情報を付加した画像を送出する設定としてもよい。

また、上記実施形態では、送受信部を介して通信する外部のサーバから付加情報を取得したが、選択する付加情報を携帯通信端末装置１に記憶させておき、携帯通信端末装置１の内部で処理を行うようにしてもよい。なお、外部のサーバにより付加情報を取得する場合は、より多くの付加情報から必要な情報を選択できるため、よりわかりやすい付加情報を選択しやすくなる。また、携帯通信端末装置１の内部処理で実行する場合は、通信量を少なくすることができる。

また、携帯通信端末装置１は、通信時に、画像をそのまま送信する現実モードとするか、画像に付加情報を付加する拡大現実モードとするかの選択は、種々の方法で設定することができる。例えば、その都度ユーザが設定するようにしても、予め設定したモードとしてもよい。また、画像の解析した結果に基づいて、設定してもよく、例えば、画像が暗い場合は、拡大現実モードとし、画像が明るい場合は現実モードとしてもよい。また通話相手が設定するようにしてもよい。

なお、携帯通信端末装置１は、カメラ４０の撮影窓を通話時に操作者によって塞がれない領域に配置する。つまり、携帯通信端末装置１は、カメラ４０を通話時に操作者以外の景色の画像、周囲の画像を撮影できる位置に配置している。携帯通信端末装置１は、これにより、通話時に、つまり通話しながら、カメラ４０により周囲の画像を撮影することができる。また、携帯通信端末装置１は、操作者の手や髪の毛によって撮影窓が塞がれている場合は、その旨、つまり、撮影窓が塞がれていることを音声、振動等により通知するようにしてもよい。

このように、携帯通信端末装置１は、通話を行っている状態で、通話を行っているユーザではなく、周囲の画像を撮影する構成とすることで、通話を行いつつ、周囲の風景を撮影することができる。つまり、テレビ電話のように、ユーザを撮影しつつ、通話を行う構成の携帯通信端末装置１では、会話をしながら自身を撮影する位置にカメラと、レシーバ（受話部）とマイクが配置されている。そのため、周りの景色を撮影する状態では、レシーバとマイクが音声を取得できないかつ聞こえない、または、音声を取得しにくいかつ聞こえにくい状態となる。そのため、会話しながら周囲の景色を撮影することが困難であるが、携帯通信端末装置１の構成とすることで、周囲の景色を撮影しつつ、会話（音声通信）を行うことができる。

また、携帯通信端末装置１は、撮影していることを気づかせることなく、画像を取得することも可能となる。つまり、不審人物に近づかれているときに、単に電話をしていると思わせつつ、不審人物の画像を取得し、通話相手に知らせることができる。

ここで、携帯通信端末装置１は、上記実施形態のように、カメラ４０を通話時にユーザの顔と向かい合う面、つまり、レシーバが配置されている面とは、反対側の面に設けることが好ましい。カメラ４０を上記位置に配置することにより、通話時に、高い確率で、適切に周りの景色を撮影することができる。

また、カメラ４０は、撮影領域を移動できるようにすることも好ましい。つまり、撮影窓や、撮像素子の向き、位置を変更できるようにしてもよい。このように、撮影領域を移動可能とすることで、より円滑に周りの景色を撮影することができる。また、撮影領域を移動可能とすることで、より広い範囲の景色を撮影することができる。

また、携帯通信端末装置１は、位置を検出する機能（ＧＰＳ機能、基地局からの情報により位置を特定する機能）を備え、予め設定された領域（エリア）内では、通話を開始しても、カメラでの画像の撮影及び／または撮影した画像の送信を停止することが好ましい。これにより、自宅や、所定の施設内等、安全な地域では、通話時の負荷を低減することができる。また、電車内等、撮影が他の利用者の迷惑となる場所で、起動されることを抑制することができる。また、携帯通信端末装置１は、周囲の状況を検出する機能を備え、位置情報（領域情報）に変えて、周囲の状況（騒音、光量等）が予め設定されている状態である場合も同様に、カメラでの画像の撮影及び／または撮影した画像の送信を停止することが好ましい。これにより、上記と同様の効果を得ることができる。

また、携帯通信端末装置１は、経過時間を検出する計時機能を備え、通信開始後一定時間を経過したら、画像の送信を停止する設定としてもよい。このように、画像の送信時間を一定とすることで、通信時に送受信するデータ量を少なくすることができる。また、通話相手は、最初の一定時間の画像で携帯通信端末装置１を特定できなかった場合は、再度かけなおすことで、再び周囲の画像を取得することができる。なお、経過時間の計測を開始する基準は、通信開始時以外でもよい。

次に、図６を用いて、携帯通信端末装置の他の実施形態を説明する。ここで、図６は、他の実施形態の携帯通信端末装置の機能の概略構成を示すブロック図である。なお、図６に示す携帯通信端末装置１０１は、図３に示す携帯通信端末装置１の各機能に加え、上述した各種機能が搭載されている。携帯通信端末装置１０１は、制御部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、カメラ４０と、地磁気センサ１５０と、温度センサ１６０と、時計部１７０と、ＧＰＳ部１８０と、を有する。なお、携帯通信端末装置１０１の制御部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、カメラ４０と、は、携帯通信端末装置１の各部と同様の構成であるので、説明を省略する。

地磁気センサ１５０は、互いに直交する３つの方向における地磁気の向きを検出する検出器である。ここで、地磁気を検出する検出器としては、ホール素子、ＭＲ素子、ＭＩ素子、フラックスゲート素子等を用いることができる。地磁気センサ１５０は、検出した３つの方向における地磁気の向きの検出結果を制御部２２に送る。制御部２２は、地磁気センサ１５０の検出結果により、携帯通信端末装置１０１の向き（方角）を検出することができる。また制御部２２は、地磁気センサ１５０の検出結果により、携帯通信端末装置１０１の姿勢を検出することでカメラ４０が撮影した画像の方向（方位情報）を取得することができる。このように、地磁気センサ１５０は、カメラ４０が撮影した画像（画像情報）に関連する方位情報を取得する方位情報取得部として用いることができる。なお、画像に関連する情報は、画像の向きに限定されない。

温度センサ１６０は、端末の周囲の温度を取得する検出器である。時計部１７０は、上述した時計機能を実現する装置である。時計部１７０は、送受信部２６等を介して現在の時間を取得する。温度センサ１６０と時計部１７０とは、取得した情報を制御部２２に送る。

ＧＰＳ部１８０は、上述した位置を検出する機能を実現する位置情報取得部である、ＧＰＳ部１８０は、複数のＧＰＳ衛星から出力された電波を受信するＧＰＳアンテナ１８０ａを有し、ＧＰＳアンテナ１８０ａで受信した複数のＧＰＳ衛星から出力された電波の情報に基づいて、自端末の位置情報を取得する。ＧＰＳ部１８０は、取得した位置情報を制御部２２に送る。

ここで、制御部２２は、上述したように携帯通信端末装置１の制御部２２と同様に、携帯通信端末装置１０１の全体的な動作を統括的に制御する機能を有する。すなわち、制御部２２は、携帯通信端末装置１０１の各種の処理が、操作部１３の操作や携帯通信端末装置１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２や、地磁気センサ１５０や、温度センサ１６０や、時計部１７０や、ＧＰＳ部１８０等の動作を制御する。

拡張現実処理部２２ｃは、カメラ４０で取得した画像に基づいて、画像に対応する付加情報を選択し、選択した付加情報を画像に付加する。拡張現実処理部２２ｃは、付加情報として、地磁気センサ１５０、温度センサ１６０、時計部１７０、ＧＰＳ部１８０のそれぞれで検出した情報を付加することができる。例えば、拡張現実処理部２２ｃは、カメラ４０で取得した画像に基づいて、画像に対応する付加情報として方位情報を選択した場合、地磁気センサ１５０を用いて、方位情報、例えば撮影画像の方位を検出し、検出した方位情報を画像に付加する。なお、拡張現実処理部２２ｃは、ユーザによって拡張現実モードが選択されている場合に、付加情報として方位情報を付加し、現実モードが選択されている場合は、付加情報として方位情報は付加しないようにしてもよい。また、モードの選択は、ユーザの種々の設定動作により設定することができる。

このように、携帯通信端末装置１０１は、地磁気センサ１５０により取得した方位情報を画像情報に対する付加情報とすることで、画像を撮影した方向や、画像に対応する方位の情報を知らせることができる。

なお、上記では付加情報として地磁気センサ１５０により取得した情報を用いる場合を説明したが、温度センサ１６０、時計部１７０、ＧＰＳ部１８０のそれぞれで取得した情報を用いる場合も同様である。携帯通信端末装置１０１は、温度センサ１６０により取得した温度情報を画像情報に対する付加情報とすることで、周囲の温度環境を知らせることができる。

携帯通信端末装置１０１は、時計部１７０が取得した時刻情報を画像情報に対する付加情報とすることで、画像情報が現在の画像でない場合であっても、通信相手は、送信側の現在の状況を推定することができる。この場合は、現在の画像でない旨のメッセージを付加するとよい。

携帯通信端末装置１０１は、ＧＰＳ部１８０が取得したＧＰＳ情報（位置情報、例えば緯度、経度、高度）を画像情報に対する付加情報とすることで、通話相手に対して、送信側自身の正確な位置を知らせることができる。また、上記実施形態では、各種機能として、地磁気センサ１５０、温度センサ１６０、時計部１７０、ＧＰＳ部１８０の４つを備えている携帯通信端末装置１０１を説明したが４つ全ての機能を備えている必要はない。携帯通信端末装置１０１は、付加情報として用いる情報に応じて、必要な機能を備えていればよい。

次に、図７を用いて、携帯通信端末装置１０１に電話がかかってくる、つまり着信がある場合について説明する。なお、図７に示す例は、通話相手がアドレス帳４４の家族のグループに登録されている相手の場合は、画像データを送信する条件が条件テーブル４６に設定されている場合である。また、図７は、付加情報として方位情報を用いる場合の例である。なお、携帯通信端末装置１０１は、電話をかける場合の処理も、上述した図４の処理に図７の処理の付加情報の処理を組み合わせることで、実現することができる。

携帯通信端末装置１０１の制御部２２は、ステップＳ６０として、送受信部２６を介して電話がかかってきた、つまり着信があったことを検出したら、通信制御部２２ａを起動させる。なお、通信制御部２２ａは、常に起動していてもよい。その後、制御部２２は、送受信部２６を介して、通話相手（電話を掛けてきている通信端末）の情報を検出し、その検出に基づいて、通話相手の情報を表示部３２に表示させる。なお、この時、アドレス帳４４に記憶されているアドレス情報の相手からの電話であったら、その相手の情報、つまり登録名を相手先の情報として表示させる。その後、制御部２２は、操作部１３により通話キー等の通信開始を指示する信号を検出したら、ステップＳ６２として、通話を開始する。なお、制御部２２は、着信を検出してから設定時間を経過したら、通話を開始するようにしてもよい。

制御部２２は、ステップＳ６２で通話を開始したら、ステップＳ６４として、音声データの送出を開始する。つまり、制御部２２は、ステップＳ４４と同様にステップＳ６４で通話を開始する。

制御部２２は、ステップＳ６４で、音声データの送出を開始したら、ステップＳ６６として、相手が家族かを判定する。つまり、制御部２２は、ステップＳ６０で着信があった相手、つまり通話相手が、アドレス帳４４のうち家族のグループに含まれて登録されているかを判定する。なお、制御部２２は、条件テーブル４６から条件を読み出すことで、設定される。

制御部２２は、ステップＳ６６で相手が家族のグループに登録されていない（Ｎｏ）と判定したら、つまり、通話相手が家族のグループに登録されていないと判定したら、処理を終了する。したがって、この場合、制御部２２は、音声通話のみで通信を行う。

これに対して、制御部２２は、ステップＳ６６で相手が家族のグループに登録されている（Ｙｅｓ）と判定したら、つまり、通話相手がアドレス帳４４の家族のグループに登録されていると判定したら、ステップＳ６８として、カメラ４０を起動させる。

制御部２２は、ステップＳ６８でカメラ４０を起動し、撮影領域４１の画像を取得したら、ステップＳ６９として、拡張現実モードを使用する設定となっているかを判定する。制御部２２は、ステップＳ６９で拡張現実モードを使用する設定になっていない（Ｎｏ）、つまり、現実モードを使用する設定になっていると判定したら、ステップＳ７０として、画像データの送出を開始する。つまり、制御部２２は、カメラ４０で取得した撮影領域４１の画像を画像データとして、通話相手に送信する処理を開始する。制御部２２は、ステップＳ７０で、画像データの送出を開始したら、処理を終了する。したがって、この場合、制御部２２は、音声通話を行いつつ、画像データを通話相手に送信する通信を行う。

また、制御部２２は、ステップＳ６９で、拡張現実モードを使用する設定になっている（Ｙｅｓ）と判定したら、ステップＳ７２として、現実環境の方位情報を取得する。つまり、カメラ４０で取得した画像（現実の周囲の環境）に対応する付加情報として方位情報を取得する。なお、方位情報は、上述したように地磁気センサ１５０で方位を検出することで取得することができる。

次に、制御部２２は、ステップＳ７２で方位情報を取得したら、ステップＳ７４として、合成画像データの送出を開始する。具体的には、制御部２２は、ステップＳ７２で取得した方位情報を付加情報として画像データに合成し、合成した画像の送出を開始する。これにより、制御部２２は、音声通話を行いつつ、方位情報を付加した画像データを通話相手に送信する通信を行う。

このように携帯通信端末装置１０１は、付加情報として、各種情報を付加することができる。

携帯通信端末装置１、１０１は、通話相手の通信端末から入力される音声情報、例えばプッシュ音に基づいて、撮影画像の送信の停止及び再開を制御するようにしてもよい。このように、通話相手の通信端末から制御できることで、携帯通信端末装置１、１０１のユーザが使いこなせていない場合も、通話相手は、的確に周囲の画像を取得することができる。

携帯通信端末装置１、１０１は、通話相手、つまり画像を送信する相手として設定する通信端末は、携帯通信端末装置に限定されず、固定の通信端末も対象とすることができる。また、携帯通信端末装置１は、アドレス帳の設定によらず、若しくはアドレス帳の固有の設定として、警備会社や、警察、消防署等に電話を掛ける際は、カメラで撮影した画像を送信するようにしてもよい。これにより、非常時に連絡が入る可能性が高い機関により多くの情報を提供することができ、救助等を円滑に行うことができる。

なお、携帯通信端末装置は、上述したようにＧＰＳ機能をさらに備えていてもよい。上述したカメラの機能に加え、ＧＰＳ機能を備えることで、通話相手は、ユーザの位置をより確実に、かつ、正確に知ることができる。

なお、通話時に通話相手に送る画像は、動画でも静止画でも良い。１枚の画像の画素数が同じ場合は、静止画とすることで、送信するデータ量を少なくすることができる。これにより通信に係る負荷を低減することができる。また、動画を送信することで、通話相手に周りの状態をよりわかりやすく伝達することができる。

以上のように、本発明に係る携帯通信端末装置は、撮影機能と通信機能を備えている携帯通信端末装置に用いることに適している。

１、１０１ 携帯通信端末装置
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 制御部
２２ａ 通信制御部
２２ｂ 撮影制御部
２２ｃ 拡張現実処理部
２４ 記憶部
３０ 音声処理部
３２ 表示部
４０ カメラ
１５０ 地磁気センサ
１６０ 温度センサ
１７０ 時計部
１８０ ＧＰＳ部

Claims (12)

1. 操作が入力される操作部と、
   被写体を撮像する撮像部と、
   他の通信端末装置と通信する通信部と、
   前記撮像部で撮像した撮像画像を送信する設定がされている前記他の通信端末装置との通信を開始する場合は、
   前記撮像部で撮像を開始し、前記撮像部で取得した画像情報を、前記通信を開始した前記他の通信端末装置へ送信する制御部と、を有し、
   前記制御部は、前記撮像部で取得した画像情報を送信する第１モードと、前記撮像部で取得した画像情報を加工して送信する第２モードと、を備えることを特徴とする携帯通信端末装置。
2. 前記制御部は、前記第２モードでは、前記画像情報に対応する付加情報を付加することを特徴とする請求項１に記載の携帯通信端末装置。
3. 自端末の位置情報を取得する位置情報取得部をさらに備え、前記付加情報は、前記位置情報取得部により取得される位置情報であることを特徴とする請求項２に記載の携帯通信端末装置。
4. 前記画像情報に関連する方位情報を取得する方位情報取得部をさらに備え、
   前記付加情報は、前記画像情報に関連する方位情報であることを特徴とする請求項２に記載の携帯通信端末装置。
5. 前記制御部は、前記第２モードでは、前記通信部を介して、前記付加情報を取得することを特徴とする請求項２に記載の携帯通信端末装置。
6. 前記制御部は、前記第２モードでは、前記画像情報を加工する加工装置へ前記画像情報を送信し、前記加工装置を介して、前記他の通信端末装置に、加工した前記画像情報を送信することを特徴とする請求項１に記載の携帯通信端末装置。
7. 前記制御部は、前記撮像部で撮像した撮像画像を送信する設定がされている他の通信端末装置からの通信開始要求を受信し、該他の通信端末装置と通信を開始する場合は、前記画像情報の送信を開始することを特徴とする請求項１に記載の携帯通信端末装置。
8. 自端末の位置を検出する位置検出部をさらに備え、
   前記制御部は、前記位置検出部で検出した前記自端末の位置が、設定されている領域内である場合は、前記撮像部での撮像、及び、前記画像情報の送信の少なくとも一方を停止することを特徴とする請求項１に記載の携帯通信端末装置。
9. 前記制御部は、基準時点からの経過時間を検出する計時部を有し、
   前記経過時間が予め設定された時間を越えたら、前記撮像部での撮像、及び、前記画像情報の送信の少なくとも一方を停止することを特徴とする請求項１に記載の携帯通信端末装置。
10. 受話部をさらに有し、
    前記撮像部は、前記受話部が配置されている面とは反対側の面に配置されていることを特徴とする請求項１に記載の携帯通信端末装置。
11. 前記制御部は、通話中に前記他の通信端末装置から供給される音声信号に予め設定されている音声信号が含まれていることを検出したら、前記撮像部による撮像、及び画像の送出を停止させることを特徴とする請求項１に記載の携帯通信端末装置。
12. 前記制御部は、前記撮像部で取得した画像情報を、前記画像から位置情報を検出する機能を備える通信端末に送信することを特徴とする請求項１に記載の携帯通信端末装置。

Images