JP5398970B2

JP5398970B2 - 移動通信装置、制御方法

Info

Publication number: JP5398970B2
Application number: JP2007255015A
Authority: JP
Inventors: 健太木下
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2014-01-29
Anticipated expiration: 2027-09-28
Also published as: JP2009088903A

Description

本発明は、被写体を撮影すると共に被写体に関連する情報を提示する移動通信装置に関する。

現在、ＧＰＳや地図情報を利用したナビゲーションシステムが普及している。携帯移動端末においてはＧＰＳ内蔵のものが普及しており、ＧＰＳを利用した関連サービスが利用されている。位置情報を利用して端末利用者に興味のある情報を通知するサービスや、地図情報からインターネットへアクセスし、詳細な情報を検索するサービス、地図のリンクをクリックすることでメールアプリケーションや電話アプリケーションが連動するなどのサービスもある。

しかし、現実の世界で地図情報のみを直接利用することは困難なため、他のアプリケーション操作と地図情報サービスを連動する提案がなされている。特許文献１では、電子カメラにより撮影した画像データを閲覧する際に、画面上に写っている被写体の関連情報を提示する方法が提案されており、特許文献２や特許文献３では、屋外で移動中の利用者が情報を得たいと思う対象物を撮影すればその対象に対する情報をインターネット経由で入手する等の方法が提案されている。
特開２００３−１７４５７８号公報特開２００２−１０８８７３号公報特開２００２−１８５９５３号公報

しかしながら、従来の携帯移動端末では、カメラにより撮影した画像データに、関連情報を合成することで利便性を高めているが、被写体が多く存在する場合には、関連情報を表示しきれないという問題が発生する。図１０は、従来の携帯移動端末のカメラ映像画面の例である。被写体が多く存在し、カメラ映像内に被写体の関連情報を表示しようとすると、関連情報が重なって表示されるため非常に見づらくなり、端末を操作できない状態となる。すなわち、従来の携帯移動端末では、ユーザが視認し易く、操作をし易い形のユーザインターフェースをユーザに提供できないという問題が存在する。

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、被写体に関連付けて地域情報を表示する際に、ユーザにとって視認し易く、操作をし易い形のユーザインターフェースを提供できる移動通信装置を提供することにある。

上記目的を達成するため、本発明は、撮像手段を有する移動通信装置において、前記撮像手段により得られる被写体を表示する表示手段と、前記移動通信装置の位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得した位置情報に基づいて、情報を取得する情報取得手段と、前記撮像手段の向いている方角を判別する方角判別手段と、前記判別した方角に基づいて、前記取得した情報を前記被写体と合成表示するとともに、各情報の表示ウィンドウの大きさを異ならせることを可能にする制御手段とを備える。

また、本発明は、装置が、撮像手段の向いている方角に基づいて、当該装置の位置情報に基づいて取得した情報を、前記撮像手段により得られる被写体と合成表示するとともに、各情報の表示ウィンドウの大きさを異ならせることを可能にする制御方法である。

本発明は、被写体に関連付けて地域情報を表示する際に、ユーザにとって視認し易く、操作をし易い形のユーザインターフェースを提供できる。

本発明の実施の形態について図面を参照して説明する。図１は、本発明の移動通信装置の一例を示すブロック図である。図１に示す移動通信装置１はカメラ機能を搭載しており、撮像部（撮像手段）２は、撮影範囲内にある被写体を撮影し、画像データを生成する。位置情報取得部（位置情報取得手段）４は、ＧＰＳ（グローバルポジショニングシステム）等により自装置の位置情報を取得し、データ通信部（詳細情報取得手段）３は、位置情報取得部４により取得した位置情報に基づいて、インターネットや無線等から該位置に基づく地図情報および該地図情報に関連付いた地域情報を取得する。記憶部５には、各種アプリケーションプログラムや後述するＵＩ（ユーザインターフェース）生成ルール等が保存されている。

センサ部６は、撮像部２の向いている方角を判別する３軸ジャイロセンサ等のセンサ（方角判別手段）と、撮像部２により得られる各被写体までの距離を測定する超音波センサ等の距離センサ（測距センサ）を備える。３軸ジャイロセンサは、Ｘ，Ｙ，Ｚ軸の３軸を有しており、装置の傾きや向きが検出できる。装置の向きを判定することで撮像部２がどちらの方向を向いているのかが判定できる。

制御部７は、記憶部５に保存されているアプリケーションプログラムやユーザ操作に従って装置を制御し、センサ部６で判別した方角および測定した各被写体までの距離と、データ通信部３で取得した地図情報および該地図情報に関連付いた地域情報とに基づいて、各被写体に関連付けて表示する地域情報を特定するとともに、表示部８の所定の位置を中心に段階的に複数のエリアを特定して、該エリアに応じて各被写体に関連付けられた地域情報を異なる形式で表示部８に表示するように制御する。表示部８は、撮像部２により得られる被写体の画像データや、後述する関連データＵＩ生成処理部７２の生成するＵＩを表示し、操作部９は、キーやタッチパネル等からなり、ユーザの操作入力を受け付ける。

制御部７には、アプリケーション制御部７１、関連データＵＩ生成処理部７２、画像再生部７３、関連データ合成処理部７４が含まれる。アプリケーション制御部７１は、センサ部６の算出した値によって各種アプリケーションプログラムに関する制御を行う。関連データＵＩ生成処理部７２は、ＵＩ生成ルールに従ってＵＩを生成し、画像再生部７３は、撮像部が生成した画像データを再生する。関連データ合成処理部７４は、画像再生部７３が再生した画像の適切な位置に関連データＵＩ生成処理部７２が生成したＵＩを合成する。

図２は、表示部に表示した表示画像のエリアを所定の中心位置からの距離によって段階的にレベル１からレベル３に分割した状態を示している。所定の中心位置は、デフォルトでは表示部８の表示画面の中央であり、操作部９にタッチパネルを用いた場合には、タッチパネルで選択した位置を中心とすることができるものとする。また、撮像部２がＡＦ（オートフォーカス）機能を備えている場合は、ＡＦにより焦点を合わせた位置を中心としても良い。
ＵＩを生成するためのＵＩ生成情報には、エリアのレベルによって、生成するＵＩが区別されて定義されており、中心に近いレベル１であれば、ＵＩのフォント、表示ウィンドウは大きく、ＵＩの関連情報量は多くなるルールに従う。以上のＵＩ生成ルールに従って関連データＵＩ生成処理部７２はＵＩを生成する。

図３は、ＵＩ生成情報に記述されているＵＩ生成ルールを説明する図である。例えば、Ａ店に関するＵＩ生成情報は、被写体までの距離情報と、図２に示すエリアのレベルとによって、使用するＵＩ部品やフォント、ＵＩ部品に貼り付けるコメント等が区別されて定義されている。被写体までの深さが浅い（距離が近い）ほど、また、表示画面の所定の中心位置に距離が近いエリアほど、地域情報を大きくかつ詳細に表示し、被写体までの深さが深い（距離が遠い）ほど、また、表示画面の所定の中心位置から距離が遠いエリアほど、地域情報を小さくかつ簡易に表示することがわかる。なお、ＵＩ部品自体は装置内で保持しているため、ＵＩ生成に関するリソース（画像データ等）をデータ通信部３で取得する必要はない。この仕組みによって事前に広範囲の情報を蓄えておき、動的にＵＩを生成していくことが可能となる。

図４，５，６，７，８は、制御部の動作を説明するフローチャートである。ここで、図４のメインフローチャートを基準として説明を行う。制御部７は、アプリケーションを起動すると、時間情報ｔをクリアし、カメラの状態ＣＳ（ｔ）をＮｏｒｍａｌに設定し、アプリケーション状態ＳｔａｔｅをＳｔａｒｔに設定する（ステップ１１０）。次に、カメラアプリケーションを起動し（ステップ１２０）。地域関連データ取得処理を行う（ステップ１３０）。

図５は、地域関連データ取得処理の流れを示すフローチャートである。地域関連データ取得処理（ステップ１３０）では、ＧＰＳ等により自装置の位置情報Ｐ（ｔ）を取得し（ステップ１３１）、自装置の位置情報Ｐ（ｔ）に変化があったか否かを判定する（ステップ１３２）。位置情報Ｐ（ｔ）に変化があれば（ＮＯの場合）、データ通信部３を介してインターネット等から地図情報Ｍ（ｔ）の取得し（ステップ１３３）、関連するユーザ設定（例えば、ユーザが興味のあるジャンル等）の読み出し（ステップ１３４）、ユーザ設定に従って地域関連データＡ（ｔ）を取得する（ステップ１３５）。このとき取得する地域関連データＡ（ｔ）にはＵＩ生成情報が含まれている。

次に、図４のメインフローチャートにおいて、自装置の位置情報Ｐ（ｔ）に変化があったか否かを判定する（ステップ１４０）。位置情報Ｐ（ｔ）に変化があれば（ＮＯの場合）、次に、カメラの状態ＣＳ（ｔ）に変化があったか否かを判定し（ステップ１５０）、カメラ状態ＣＳ（ｔ）に変化があれば（ＮＯの場合）、被写体判定処理を行う（ステップ１６０）。

図６は、被写体判定処理の流れを示すフローチャートである。被写体判定処理（ステップ１６０）では、地域関連データ取得処理において取得した自装置の位置情報Ｐ（ｔ）の読み出しを行い（ステップ１６１）、さらに地図情報Ｍ（ｔ）の読み出しを行う（ステップ１６２）。次に、センサ部６の姿勢を判定するセンサを用いて自装置の向きを検出し（ステップ１６３）、センサ部６の距離センサを用いて各被写体Ｈ（ｉ）までの距離を求め（ステップ１６４）、自装置の向きや被写体までの距離から被写体Ｈ（ｉ）と地図情報Ｍ（ｔ）との対応付けを行う（ステップ１６５）。また、被写体に対するエリアレベルや距離を付加情報として対応付けを行い（ステップ１６６）、被写体の画面合成位置を決定する（ステップ１６７）。

次に、図４のメインフローチャートにおいてＵＩ生成処理を行う（ステップ１７０）。図７は、ＵＩ生成処理の流れを示すフローチャートである。ＵＩ生成処理（ステップ１７０）では、地域関連データ取得処理において取得した地域関連データＡ（ｔ）の読み出しを行い（ステップ１７１）、地域関連データＡ（ｔ）の中からＵＩ生成個数分のＵＩ生成情報を読み出し（ステップ１７２）、さらに、被写体とエリアレベルおよび距離との対応付け情報を読み出し（ステップ１７３）、ＵＩの生成を行う（ステップ１７４）。このとき、ＵＩ生成ルールに従ってＵＩを生成する。ＵＩ生成後、被写体と画面合成位置情報を読み出し（ステップ１７５）、現在のアプリケーションが表示している画面上に合成処理を行う（ステップ１７６）。以上の処理をＵＩ生成個数分だけ繰り返し行う。

次に、図４のメインフローチャートにおいてＵＩ操作処理を行う（ステップ１８０）。図８は、ＵＩ操作処理の流れを示すフローチャートである。ＵＩ操作処理（ステップ１８０）では、操作部９によるユーザ入力の有無を判定し（ステップ１８１）、ユーザ入力があった場合は、終了キーが押されたか否かを判定する（ステップ１８２）。終了キーが押された場合には、アプリケーション状態Ｓｔａｔｅを終了にする（ステップ１８７）。終了キーが押されなかったた場合には、カメラのズーム等の操作が行われたか否かを判定し（ステップ１８３）、カメラのズーム等の操作が行われた場合にはカメラの状態ＣＳ（ｔ）をＺｏｏｍ１等にする（ステップ１８８）。カメラのズーム等の操作以外の操作が行われた場合には、ユーザ入力によりどのＵＩが操作されたかをＵＩ識別により判別し（ステップ１８４）、ＵＩの動作にともなった動作処理を行い（ステップ１８５）、ＵＩ動作処理に対応するアプリケーションを動作させる（ステップ１８６）。

次に、図４のメインフローチャートにおいて、アプリケーション状態Ｓｔａｔｅが終了か否かを判定し（ステップ１９０）、アプリケーション状態Ｓｔａｔｅが終了になるまで、以上の処理を繰り返し行う（ステップ２００）。

以下に実施例を挙げて説明する。図９は、地図画面と地図上の情報とをカメラ映像に貼り付けた状態を示す図である。例えば、地図情報上に薬屋や駅の入り口の地域情報がある場合に、カメラ映像の被写体中に該当するものがあれば、カメラ映像の被写体に地域情報を重ねて表示することができる。図１０は、既存のカメラ映像画面の例である。被写体が多く存在し、カメラ映像内に地域情報を表示しようとすると、地域情報が重なって非常に見づらく、装置を操作できる状態ではないことがわかる。図１１は、同じような状況で撮影したときの本発明のカメラ映像画面の例である。表示画面の中心に近い被写体に関連付けて表示する地域情報Ｋが大きく表示され、中心から外れている被写体に関連付けて表示する地域情報Ａ，Ｂ，Ｃ，Ｇ，Ｈ，Ｉが小さく表示されるため、ユーザは地域情報を視認しやすく、操作しやすい画面表示となることがわかる。

図１２および図１３は、カメラを地図上の左方向に向けている状態のときにカメラをズームさせたときの図である。初めは被写体が、画面中心に近いレベル１の範囲に含まれないため、図１２に示すように、小さな地域情報しか表示されないが、カメラをズームさせることにより被写体がレベル１の範囲に入ってくると、図１３に示すように、レベル１の範囲に入った被写体の地域情報Ｅ，Ｆ，Ｎ，Ｏはより大きく詳しく表示されることとなる。
図１４および図１５は、カメラを地図上の左方向に向けている状態から店Ａにカメラの向きを移動させたときの図である。表示画面の中心にある被写体の地域情報がＥからＡに動的に変化している。
図１６および図１７は、カメラが被写体Ａに近づいているときの図である。被写体までの距離が近づくほど（深さが浅くなるほど）詳しい情報が表示されるように変化していることがわかる。

図１８は、同一エリアに複数の地域情報を表示するときの図である。同一エリアに複数の地域情報を表示する場合、所定の時間間隔で所定の順番で表示する。図１８では、地域情報をＫ，Ｊ，Ｄの順番で表示している。複数の地域情報が重なっている場合、時間経過とともに重ね合わせる順番を入れ替ることで、ユーザに視認しやすく操作しやすい情報提示が可能となる。
図１９は、ユーザが「居酒屋」の地域情報を取得するためにユーザ設定でジャンルに制限をかけているときの状態を示す図である。図１９では、「居酒屋」の地域情報Ｊ，Ｄを所定の時間間隔で交互に表示している。表示画面の中心に複数の情報が重なっている場合には、ユーザが興味のある地域情報を優先して表示することでユーザにとって視認しやすい状態にすることができる。地域情報には、ジャンル情報が含まれており、制御部７は、所定のジャンルに該当する地域情報を有する被写体のみ、地域情報を表示することができる。地域情報とは、店舗の種別、ランドマーク、交通標識、交差点名、バス停名等の情報である。
図２０は、地域情報をリスト形式で並べ直して表示した図である。画面中心に近いレベル１の範囲に含まれ被写体の地域情報Ｄ，Ｊ，Ｋは大きく表示されるので、リスト形式にした場合もユーザは画面の中心にある被写体の地域情報をはっきりと視認することができる。

上述のように、本発明は、エリアレベルと被写体までの深さ（距離）により地域情報を生成することで、カメラ画像を通して地域情報を利用する際にユーザにとって視認しやすく使いやすい情報提示が可能となる。

本発明の移動通信装置の一例を示すブロック図である。表示画像のエリアを所定の中心位置からの距離によって段階的にレベル１からレベル３に分割した状態を示す図である。ＵＩ生成情報に記述されているＵＩ生成ルールを説明する図である。制御部の動作を説明するメインフローチャートである。地域関連データ取得処理の流れを示すフローチャートである。被写体判定処理の流れを示すフローチャートである。ＵＩ生成処理の流れを示すフローチャートである。ＵＩ操作処理の流れを示すフローチャートである。地図画面と地図上の情報とをカメラ映像に貼り付けた状態を示す図である。既存のカメラ映像画面の例を示す図である。本発明のカメラ映像画面の例を示す図である。カメラを地図上の左方向に向けているときの図である。カメラを地図上の左方向に向けている状態のときにカメラをズームさせたときの図である。カメラを地図上の左方向に向けているときの図である。カメラを地図上の左方向に向けている状態から店Ａにカメラの向きを移動させたときの図である。カメラが被写体Ａに近づいているときの図である。カメラが被写体Ａに近づいているときの図である。同一エリアに複数の地域情報を表示するときの図である。ユーザが「居酒屋」の地域情報を取得するためにユーザ設定でジャンルに制限をかけているときの状態を示す図である。地域情報をリスト形式で並べ直して表示した図である。

符号の説明

１移動通信装置
２撮像部
３データ通信部
４位置情報取得部
５記憶部
６センサ部
７制御部
８表示部
９操作部
７１アプリケーション制御部
７２関連データＵＩ生成処理部
７３画像生成部
７４関連データ合成処理部

Claims

撮像手段を有する移動通信装置において、
前記撮像手段により得られる被写体を表示する表示手段と、
前記移動通信装置の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得した位置情報に基づいて、情報を取得する情報取得手段と、
前記撮像手段の向いている方角を判別する方角判別手段と、
前記判別した方角に基づいて、前記取得した情報を前記被写体と合成表示するとともに、各情報の表示ウィンドウの大きさを異ならせることを可能にする制御手段と、
を備える移動通信装置。
装置が、撮像手段の向いている方角に基づいて、当該装置の位置情報に基づいて取得した情報を、前記撮像手段により得られる被写体と合成表示するとともに、各情報の表示ウィンドウの大きさを異ならせることを可能にする制御方法。