JP4167263B2 - 携帯端末装置 - Google Patents

Description

本発明は、携帯電話などの携帯端末装置に関し、特に方位を求める機能を備えた携帯端末装置に関する。

近年、方位の測定機能を有する携帯端末装置の開発が進められている。方位の測定には磁気センサが利用される。このような携帯端末装置は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）からの位置情報をもとに、測定した方位に応じて現在位置などを画面の地図上に表示する。

磁気センサは、自然磁界だけでなく、携帯端末装置内部や周辺の電気機器などにより発生される動的な磁界も検出する。したがって自然磁界の成分のみを抽出するためには、検出した磁気成分から動的な磁気成分を削除する必要がある。２軸磁気センサを利用する場合には、磁界強度を求めることができないため、動的な磁気成分を効率的に取り除くことは難しい。

磁界強度を求めるために、３軸の磁気センサの導入が検討されている。さらに方位を正しく求めるためには、携帯端末装置の傾きを考慮して、３軸の磁気センサにより検出される地磁気ベクトル成分を補正する必要がある。携帯端末装置の傾きは、傾斜角センサにより測定される。

このような事情のもと、方位測定機能を有する携帯端末装置には、傾斜角センサが設けられるのが好ましい。本発明者は、この傾斜角センサを有効に活用することに注目し、様々なアプリケーションを開発するに至った。そこで本発明は、方位測定機能を有する携帯端末装置の様々な可能性を提供し、有用性の高い携帯端末装置を実現することを目的とする。

本発明のある態様は、携帯端末装置である。この装置は、地磁気ベクトルの３軸成分を検出する磁気センサと、３軸方向の加速度成分を検出する傾斜角センサと、磁気センサにより検出された地磁気ベクトルの成分を、傾斜角センサの検出結果に基づいて座標変換して方位を求める処理部とを備え、処理部は、傾斜角センサの各軸のうち、重力軸に最も沿う軸の検出結果をもとに、所定の範囲にある周波数の加速度成分を検出し、ユーザの歩数をカウントする。この態様によると、精度の高い歩数計の機能をもたせることにより、有用性の高い携帯端末装置を実現できる。

処理部は、方位、および歩数に基づいて、ユーザの移動軌跡を求めてもよいし、検出した加速度成分のうち、所定の時間内に収束した成分を歩数のカウントから省いてもよい。歩行動作以外の振動や衝撃を歩数のカウントから省くことにより、さらに精度の高い歩数計の機能を持たせることができる。

本発明の別の態様も、携帯端末装置である。この装置は、地磁気ベクトルの３軸成分を検出する磁気センサと、３軸方向の加速度成分を検出する傾斜角センサと、３次元オブジェクトまたは３次元空間に対する所定の視点からの画像を表示する表示部と、磁気センサにより検出された地磁気ベクトルの成分を、傾斜角センサの検出結果に基づいて座標変換して方位を求める処理部とを備え、処理部は、磁気センサおよび傾斜角センサの検出結果に基づき、３次元オブジェクトまたは３次元空間に対する視点を移動させる。処理部は、磁気センサおよび傾斜角センサの検出結果に基づき、ヨー角、ピッチ角およびロール角を求めて、視点の３次元移動に対応させてもよい。この態様によると、３次元オブジェクトまたは３次元空間を全方位から観察することができる携帯端末装置を実現できる。

本発明のさらに別の態様も、携帯端末装置である。この装置は、地磁気ベクトルの３軸成分を検出する磁気センサと、３軸方向の加速度成分を検出する傾斜角センサと、地図を表示する表示部と、磁気センサにより検出された地磁気ベクトルの成分を、傾斜角センサの検出結果に基づいて座標変換して方位を求める処理部とを備え、処理部は、磁気センサおよび傾斜角センサの検出結果に基づき、地図の方位を実際の方位に合わせるよう地図を回転させる。この態様によると、地図と実際の方位とが関連づけられた表示が可能となる。

本発明のさらに別の態様も、携帯端末装置である。この装置は、地磁気ベクトルの３軸成分を検出する磁気センサと、３軸方向の加速度成分を検出する傾斜角センサと、動画像を取得する撮像部と、磁気センサにより検出された地磁気べクトルの成分を、傾斜角センサの検出結果に基づいて座標変換して方位を求める処理部とを備え、処理部は、磁気センサおよび傾斜角センサの検出結果に基づき、動画像中の手振れを補正する。処理部は、磁気センサおよび傾斜角センサの検出結果に基づき、手振れを検出すると、手振れ検出時のフレームと、その前のフレームとの特徴点を合わせて補正してもよい。この態様によると、手振れ補正機能付きのカメラを搭載した携帯端末装置を実現できる。

上記態様に、気圧を検出する気圧センサをさらに備えてもよく、処理部は、気圧センサの検出結果に基づいて天気を予測してもよい。天気予報を行うことができる携帯端末装置を実現できる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、傾斜角センサを有効に利用した携帯端末装置を提供することができる。

［図１］本発明の実施の形態にかかる携帯端末装置の構成を示す図である。
［図２］磁気センサおよび傾斜角センサの検出結果をもとに方位を算出するフローを示す図である。
［図３］表示部に３次元オブジェクトを表示させた例を示す図である。
［図４］表示部に地図を表示させた例を示す図である。
［図５］処理部により手振れを補正する様子を示す図である。（ａ）は手振れ検出時のフレームの１枚前のフレームを示し、（ｂ）は手振れ検出時のフレームを示し、（ｃ）はフレームを合成した様子を示す。

符号の説明

１・・・携帯端末装置、１０・・・処理部、２０・・・検出部、２２・・・磁気センサ、２４・・・傾斜角センサ、２６・・・気圧センサ、２８・・・温度センサ、３０・・・撮像部、３２・・・通信部、３４・・・ＧＰＳ情報取得部、３６・・・表示部。

図１は、本発明の実施の形態にかかる携帯端末装置１の構成を示す。この携帯端末装置１は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）およびＰＤＡ（ｐｅｒｓｏｎａｌ ｄａｔａ ａｓｓｉｓｔａｎｔ）などの携帯用の小型電子機器である。図１は方位測定、および後述するアプリケーションを実現するための構成を示すが、携帯端末装置１が用途に応じた他の構成を備えてもよいことは当業者に理解されるところである。

携帯端末装置１は、処理部１０、検出部２０、撮像部３０、通信部３２、ＧＰＳ情報取得部３４および表示部３６を備える。検出部２０は、磁気センサ２２、傾斜角センサ２４、気圧センサ２６および温度センサ２８を有し、位置や方位、姿勢、高度などを検出する機能を有する。撮像部３０は、ＣＣＤなどの光電変換素子を備え、画像を取得して処理部１０に渡す。通信部３２は、外部のサーバと無線回線により通信する機能を有する。この通信は有線回線で行われてもよい。ＧＰＳ情報取得部３４は、ＧＰＳ衛星から位置情報を受け取る。処理部１０は、この位置情報に基づき、現在位置すなわち現在の緯度および経度を計算する。なお、位置情報を磁気センサ２２からの方位情報によって補正可能とすることにより、正確な現在位置および方位を求めることができる。処理部１０は、位置情報および方位情報を互いに補完し合うように利用してもよい。また処理部１０は、ＧＰＳ衛星からの位置情報を利用せず、検出部２０からの検出結果のみに基づいて現在位置および方位を求めることもできる。表示部３６はディスプレイを有し、処理部１０において処理された情報をアプリケーションに応じて出力する。なお、図示しないスピーカを備え、ユーザに対して各種情報を音声出力してもよい。

磁気センサ２２は、地磁気ベクトルの３軸成分を検出し、フラックスゲート型センサや、ホール素子、磁気抵抗素子を用いたものなど、その種は問わない。互いに直行するようにＸ軸、Ｙ軸、およびＺ軸が配置される。Ｘ軸、Ｙ軸の地磁気ベクトルを基に磁北からの回転角である方位角、即ちヨー角を検出する。但し、地磁気ベクトルは、赤道近くではほぼ水平であるが、それ以外の場所では傾いている。また、携帯端末装置１の姿勢が、常に水平であるとは限らない。したがって、重力の方向に対する相対角度、即ちピッチ角およびロール角を用いて、当該地磁気ベクトルを補正しなければならない。このピッチ角およびロール角は、傾斜角センサ２４により検出される。処理部１０は、Ｚ軸の検出結果が常にＺ軸の水平時の検出結果に維持された状態と同等になるよう、上記ピッチ角およびロール角を用いて、Ｘ軸およびＹ軸の検出結果を補正する。このように、磁気センサ２２を３軸にし、Ｚ軸の検出結果を補正に利用することにより、姿勢が大きく変化した場合でも、方位角の精度を保つことができる。

傾斜角センサ２４は、３軸方向の加速度成分を検出する加速度センサであり、抵抗値変化方式、容量変化方式、圧電変化方式などがある。傾斜角センサ２４も、水平面で直行するようにＸ軸、Ｙ軸が配置され、重力の方向にＺ軸が配置される。携帯端末装置１の姿勢が傾くことで重力加速度が変化し、この重力加速度を検出することにより、ピッチ角およびロール角を検出する。携帯端末装置１が静止している状態では、２軸でも携帯端末装置１の姿勢を正確に検出することができる。携帯端末装置１を保有しているユーザが歩行していたり、自動車や自転車などの乗物に乗っていたりする場合、傾斜角センサ２４に運動加速度成分が加わるため、正確に姿勢を検出することができない。３軸にすることにより、重力加速度と運動加速度を分離することができ、正確な姿勢を検出することができる。各軸の出力値を積分して想定角度を求め、それと加速度成分を比較して所定の演算をすれば、正確なピッチ角およびロール角を算出することができる。

気圧センサ２６は外気の圧力を検出し、温度センサ２８は温度を検出する。検出した温度は、温度ドリフトによる磁気センサ２２、傾斜角センサ２４および気圧センサ２６の出力のズレを補正するために用いられる。

図２は、磁気センサ２２および傾斜角センサ２４の検出結果をもとに方位を算出するフローを示す。まず傾斜角センサ２４で検出された３軸方向の加速度成分をもとに、磁気センサ２２の傾斜角を算出する（Ｓ１０）。ここではピッチ角およびロール角を算出する。磁気センサ２２は地磁気ベクトルの３軸成分を検出する（Ｓ１２）。処理部１０は、地磁気べクトルの成分をピッチ角およびロール角によって座標変換し（Ｓ１４）、正確な方位を求める（Ｓ１６）。このとき温度センサ２８の検出結果を利用して、温度補正を行ってもよい。このように傾斜角センサ２４の検出結果は方位の算出に用いられるが、本発明は、この検出結果をさらに有効に利用して、以下に示すアプリケーションを実現する。

＜アプリケーション１＞
アプリケーション１では、携帯端末装置１に歩数計の機能をもたせる。傾斜角センサ２４は、携帯端末装置１の動きに合わせて３軸方向の加速度成分を検出する。したがって、携帯端末装置１を保持するユーザの歩行中、傾斜角センサ２４は、携帯端末装置１の傾斜角に対応する加速度成分だけでなく、ユーザの動きに応じて低周波の加速度成分も検出する。

処理部１０は、傾斜角センサ２４の検出結果を周波数解析し、所定の範囲にある周波数の加速度成分に基づいて、ユーザの歩数をカウントする。この所定の範囲は、ユーザの歩行速度を包含するように予め設定される。最適値は、シミュレーションや実測により求めればよい。歩行動作は、主に重力の方向に加速度成分を加えるものであるから、傾斜角センサ２４の内、重力軸に最も沿う軸の検出結果を使用する。また、他の２軸の検出結果を基に、重力軸に最も沿う軸の検出結果を補正してもよい。どの軸が重力軸に最も沿うかの判断は、静止状態では重力加速度成分が最も大きい軸を選定し、運動状態では、各軸が持つ抵抗値などの変化と、算出されるピッチ角およびロール角の値を基に算出することができる。

また、歩数をカウントする際、歩行動作による振動とその他の衝撃とを分けると、さらに精度を高めることができる。歩行動作による振動は、規則的な動作であるため、歩行している限り収束しない。これに対して、単なる衝撃は、所定の時間内に収束する。よって、この所定の時間を超える振動成分を歩行としてカウントし、所定の時間内に収束した衝撃は歩行としてカウントしない。ここで、所定の時間は、一般成人の歩行動作の振動や携帯端末装置１を落としたときの衝撃等をシミュレーションや実測により求め、最適値を求めることができる。処理部１０は、算出した歩数を表示部３６に表示させることができる。また、歩数に対応する消費カロリーを表示させてもよい。

処理部１０は、図示しないＲＯＭ上に格納されている地図データと、ＧＰＳ情報取得部３４から取得したＧＰＳ情報を基に、現在地の位置を地図上に表して、表示部３６に表示させることができる。そして、ユーザの移動軌跡を表示させることができる。処理部１０は、ＧＰＳ情報により移動軌跡を求めることができるが、電波が届かない状態ではＧＰＳ情報により移動軌跡を求めることができない。また、ＧＰＳ情報により移動軌跡を求める場合、始点と測定点の移動距離を算出することになるが、一定の距離をある時間内に移動しないと正確な方位を算出できない。さらに、ＧＰＳ情報を基にした方位は、測定点を過ぎた後に計算するため、現在値の方位と異なる可能性もある。

そこで、処理部１０は、磁気センサ２２により検出される方位、傾斜角センサ２４により検出される歩数および歩幅を基に、移動軌跡を求める。歩幅は、歩行中はほぼ一定であるから、歩数に掛け合わせることにより、歩行距離を算出することができる。歩幅は、設定値を用いてもよいし、ユーザが入力してもよい。また、最初に２地点間のＧＰＳ情報を取得し、計算して求めたものを登録してもよい。

処理部１０は、ＧＰＳ情報による計算値と、磁気センサ２２および傾斜角センサ２４による計算値とを適宜使い分けて使用する。例えば、ＧＰＳ衛星からの電波が届かない場所では、後者の計算値を使用するといった制御が可能である。また、平均値をとったり、急な変化が生じた場合に両計算値を比較して確認するなど、両計算値を補完しながら使用してもよい。

＜アプリケーション２＞
アプリケーション２では、表示部３６に表示された３次元オブジェクトまたは３次元空間の画像を、携帯端末装置１の向きや姿勢を変化させることにより、視点を切り替えた上記オブジェクト等の画像に切り替えることができる。ユーザが携帯端末装置１の向きや姿勢を変化させると、磁気センサ２２および傾斜角センサ２４は、その変化成分を検出する。処理部１０は、その検出結果を基に、ヨー角、ピッチ角およびロール角を算出する。

図３は、表示部に３次元オブジェクトを表示させた例を示す図である。ユーザは、画面内に表示された３次元オブジェクト４０を全方位から観察することができる。即ち、３次元オブジェクト４０に対する視点が上下方向、左右方向および奥行き方向に自由に移動できればよい。処理部１０は、この３つの方向への移動量を、磁気センサ２２および傾斜角センサ２４の検出結果を基に算出されるヨー角、ピッチ角およびロール角の変化に対応させる。この３つの対応関係と、それぞれの角度変化に対する視点の移動量は、設計者が自由に設定することができる。また、ユーザがこれらの設定を任意に変更できてもよい。例えば、奥行き方向の移動にヨー角の変化を対応させた場合、ユーザが携帯端末装置１の姿勢を保ちながら回転させると、拡大または縮小表示をさせることができる。また、視点を移動させて、３次元オブジェクト４０の裏側に回ることもできる。このように、ユーザが携帯端末装置１の向きや姿勢を変化させることにより、キー操作を行わなくても、自由に視点を変化させることができる。

＜アプリケーション３＞
アプリケーション３では、表示部３６に表示された地図上の方位と実際の方位とを関連づけて表示する。図４は、表示部３６に地図を表示させた例を示す図である。処理部１０は、図示しないＲＯＭなどに格納されている地図データを基づいて、表示部３６に地図を表示させる。それと共に、磁気センサ２２の検出結果を傾斜角センサ２４の検出結果により補正し、方位を算出する。表示した地図上の方位と実際の方位とが一致するよう、表示した地図を回転させる。したがって、ユーザが向きを変えることにより、表示部３６に表示された地図も回転する。

また、処理部１０は、表示部３６に表示した地図自体を回転させずに、常に北を画面上の上に表示するが、電子コンパス５２のような表示を合わせて行い実際の北をユーザに認識させてもよい。このように、地図と実際の方位とが関連づけて表示されることにより、ユーザは有益な情報を得ることができる

また、アプリケーション２と同様に、表示部３６に表示された地図画像の視点を、携帯端末装置１の向きや姿勢を変化させることにより、切り替えることができる。ユーザが携帯端末装置１の向きや姿勢を変化させると、磁気センサ２２および傾斜角センサ２４は、その変化成分を検出する。処理部１０は、その検出結果を基に、ヨー角、ピッチ角およびロール角を算出する。設計者は、ピッチ角、ロール角およびヨー角の変化と、図４に示す視点５０の上下方向、左右方向、高さ方向の移動量とを対応させる。例えば、ユーザがヨー角を変化させる動きを携帯端末装置１に与えた場合、地図平面からの高さが変化し、拡大または縮小表示させることができる。また、ユーザがピッチ角およびロール角を変化させる動きを携帯端末装置１に与えた場合、地図が上下または左右にスクロールする。なお、アプリケーション２と同様に、３つの対応関係と、それぞれの角度変化に対する視点の移動量は、設計者が自由に設定することができる。また、ユーザがこれらの設定を任意に変更できてもよい。

アプリケーション２、３において、ヨー角、ピッチ角およびロール角の角速度が所定の閾値以上のときに視点の移動を有効に行い、この閾値未満のときは視点の移動を行わないように処理してもよい。所定の閾値の最適値は、シミュレーションや実測により求めればよい。この場合、ユーザが所定速度未満で携帯端末装置１の向きや姿勢を変化させた場合、表示部３６に表示された画像は静止した状態を維持し、所定速度以上で変化させた場合、当該画像はスクロールなどをすることになる。

＜アプリケーション４＞
アプリケーション４では、撮像部３０で動画を撮像中に起こる手振れを補正する。ユーザが携帯端末装置１の撮像部３０で動画を撮像中に手振れを起こすと、磁気センサ２２および傾斜角センサ２４は、その手振れによる変化成分を検出する。処理部１０は、その変化成分により、携帯端末装置１の向きや姿勢の変化が手振れによるものか否かを判断する。例えば、所定の閾値を超える振動などは、手振れと見なさず、所定の閾値未満の微弱な振動を手振れと見なすといった処理が可能である。ここで、所定の閾値の最適値は、シミュレーションや実測により求めればよい。

図５は、処理部１０により手振れを補正する様子を示す図である。（ａ）は手振れ検出時のフレームの１枚前のフレームを示し、（ｂ）は手振れ検出時のフレームを示し、（ｃ）はフレームを合成した様子を示す。処理部１０は、手振れを感知すると、手振れ検出時のフレームの１枚前のフレームの特徴点を抽出する。特徴点の抽出は、各フレームの輝度成分を利用するとよい。図６（ａ）では人物の首の部分を特徴点６０として抽出している。そして、手振れ検出時のフレームの中からその特徴点６０を検索する。特徴点６０の検索は、１枚前のフレームの特徴点６０の画素位置から上下左右１０％程度の範囲で行うとよい。処理部１０は、手振れ検出時のフレームの特徴点６０を抽出すると、１枚前のフレームの特徴点６０と、手振れ検出時のフレームの特徴点６０とを重ね合わせて２枚のフレームを合成する。この様子を図６（ｃ）に示す。図６では手振れ検出時のフレームの特徴点６０が右にずれていたので、２枚のフレームを合成すると、手振れ検出時のフレームの左端に余剰部分ができる。処理部１０は、この合成範囲外の余剰部分を切り捨てて、手振れ検出時のフレームとする。

このように、カメラ付き携帯電話などの携帯端末装置１で撮像する場合に起きる手振れを複雑な機構を用いずに、アプリケーションによる画像処理で容易に補正することができる。その際、磁気センサ２２および傾斜角センサ２４の検出結果により、手振れ発生を認識したときのみ補正を行えばよいから、演算量の増加も最小限に抑えることができる。

＜アプリケーション５＞
アプリケーション５では、気圧センサ２６を用いて、気圧、高度、天気を測定表示する。高度が高くなるほど気圧は低くなるという関係を利用して、高度を算出する。気圧の測定値は気候により変化するため、地表面における気圧、即ち絶対気圧と、地表面より高い位置における上昇分、即ち相対気圧の関係を予めテーブルとして図示しないＲＯＭなどに記録しておくことが好ましい。なお、絶対気圧と相対気圧の関係は、演算式の形式で記録部に格納されていてもよい。処理部１０は、気圧センサ２６の出力値に基づいて絶対気圧および相対気圧を算出して高度を特定する。

処理部１０は、気圧センサ２６の測定データを所定の時間毎に取得し、気圧の変化を測定する。この気圧の変化から、気圧が上昇傾向ならば天気は快方に向かっており、逆に気圧が下降傾向であれば天気は下り坂というように、天気の傾向を予測することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

磁気センサ２２および傾斜角センサ２４の検出結果から得られるヨー角、ピッチ角およびロール角を用いて種々のアプリケーションを構築することができる。例えば、ヨー角を利用して、単純に方位を指し示す電子コンパスを表示部３６に表示させてもよい。その他、ヨー角、ピッチ角およびロール角の変化やそれらの角速度を、電源のオンオフや音量の上下など各種の操作命令に関連づけてもよい。

本発明は、各種のセンサを搭載した携帯端末装置に関する分野に適用することができる。

Claims (3)

1. 地磁気ベクトルの３軸成分を検出する磁気センサと、
   ３軸方向の加速度成分を検出する傾斜角センサと、
   前記磁気センサにより検出された地磁気ベクトルの成分を、前記傾斜角センサの検出結果に基づいて座標変換して方位を求める処理部とを備え、
   前記処理部は、前記傾斜角センサの各軸のうち、重力軸に最も沿う軸の検出結果をもとに、所定の範囲にある周波数の加速度成分を検出し、ユーザの歩数をカウントすることを特徴とする携帯端末装置。
2. 前記処理部は、前記方位、および前記歩数に基づいて、ユーザの移動軌跡を求めることを特徴とする請求項１に記載の携帯端末装置。
3. 前記処理部は、検出した加速度成分のうち、所定の時間内に収束した成分を前記歩数のカウントから省くことを特徴とする請求項１に記載の携帯端末装置。

Images