JP4729917B2

JP4729917B2 - 携帯情報処理装置

Info

Publication number: JP4729917B2
Application number: JP2004364693A
Authority: JP
Inventors: 隆宏川嶋
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2004-12-16
Filing date: 2004-12-16
Publication date: 2011-07-20
Anticipated expiration: 2024-12-16
Also published as: JP2006174159A

Description

本発明は、携帯電話機、ＰＤＡ、携帯ゲーム機等の携帯情報処理装置及び音像定位方法に関する。

従来、ヘッドフォンによる３Ｄポジショニング技術が知られている。この技術は、ヘッドフォンを着けたリスナーのリスニングポイント（図１１の点Ｐ参照）から仮想音源を３次元（Dimension）上に自由に定位させる技術である。定位位置を指定する方法としては、図１２のように、距離、水平角度、垂直角度をユーザがレバースイッチによって指定する方法や、Ｘ、Ｙ、Ｚ座標で指定する方法等がある。

また、特許文献１には、携帯音楽プレイヤからの音楽をヘッドフォンで聴いている時に携帯電話に着信があっても聞き分けられるように、音楽は頭外へ、電話からの音は頭内へ定位させる装置が開示されている。このように、ヘッドフォンによる音の定位技術は従来から知られている。しかし、ヘッドフォンによる音の定位位置をレバースイッチ等によって指定するのは煩わしく、ヘッドフォンの音をユーザが望む位置に簡単に定位させる技術は未だ開発されていない。

他方、近年、地図情報を有すると共に、その地図情報を用いたナビゲーション機能を有する携帯電話機が開発されている。このような携帯電話機においては、ユーザの進行方向の方位を検出する必要があり、このため、地磁気を検出する地磁気センサが設けられる。
しかし、携帯電話機の地磁気センサは、携帯電話機に搭載されるスピーカ、マイクロフォン、着磁した電子部品の金属パッケージ等から漏れる磁界と地球の磁界（地磁気）の合成磁界を検出しているため、地球の磁界以外の磁界を求め、それをオフセットとして、計測されたデータから差し引いて実際の方位を求めることを行う。このオフセットはいろいろの条件で変化し、このため、地磁気センサを具備する携帯電話機やその他の携帯情報端末においては、オフセットデータのキャリブレーションが必要となる。

キャリブレーションは、携帯電話機が動くことによって地磁気センサの出力データが種々の値をとるのでそれを取得し（全方位のデータを取得する必要はない）、そのデータによりオフセットを求めることによって行う。
従来、オフセットデータのキャリブレーションの方法として、例えば、携帯電話機が表示器によってユーザに操作を指示し、ユーザがその指示通り携帯電話機を動かすと、自動的にキャリブレーションが行われるという方法が知られている。しかしながら、このようなキャリブレーション方法は、携帯電話機の操作が複雑で、ユーザにとって面倒であるという欠点があった。

また、特許文献２には、磁気センサを９０度または１８０度ずつ回転させ、その時のセンサ出力値に基づいて磁気センサのキャリブレーションを行う装置が記載されている。しかしながら、この装置はユーザが意識することなく、いつの間にかキャリブレーションが行われるというものではない。
特開2004-201195号公報特開2004-012416号公報

本発明は上記事情を考慮してなされたもので、その目的は、ヘッドフォンの音をユーザが望む位置に極めて簡単に定位させることができる携帯情報処理装置を提供することにある。
また、この発明の他の目的は、ユーザが面倒な操作をすることなく、また、特に意識することもなく自動的にオフセットデータのキャリブレーションが行われる携帯情報処理装置を提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明は、ゲームアプリケーションを実行するゲーム実行手段と、音信号を生成する音信号生成手段と、前記音信号生成手段によって生成された音信号の音像を３次元空間上に定位させる音像定位手段と、前記音像定位手段によって定位処理が行われた音信号が出力されるヘッドフォンと、ユーザが操作する操作手段と、前記ゲームアプリケーションの指示にしたがって前記音像の３次元空間上の定位位置を移動させる制御手段と、前記操作手段により所定の操作がされた時、携帯情報処理装置の筐体が向いている方位を少なくとも磁界の強さを測定して検出する検出手段と、前記検出手段によって検出された方位と、前記音信号の音像の定位が所定の判断基準において一致しているか否かを判断する判断手段と、前記ゲームアプリケーションが進行している時に前記検出手段が出力する複数の方位に対応する複数の磁界データを記憶手段へ記憶させるデータ格納手段と、前記記憶手段に記憶されている複数の磁界データを基にしてオフセット値を演算して前記記憶手段に記憶させるオフセット値演算手段と、を具備し、前記ゲーム実行手段は、前記判断手段の判断結果に基づいて前記ゲームアプリケーションにおけるゲーム処理を行うことを特徴とする携帯情報処理装置である。

また、本発明は、上記の携帯情報処理装置において、前記検出手段は、直交する２または３方向の地磁気の強さを測定する磁気センサと、前記磁気センサの出力をディジタルデータに変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器の出力データに基づいて前記筐体の方向を演算する演算手段とを具備することを特徴とする。

本発明によれば、従来にない面白いゲームを提供することができる。また、本発明によれば、ユーザが面倒な操作をすることなく、また、特に意識することもなく自動的にオフセットデータのキャリブレーションを行うことができる。

以下、図面を参照し、この発明の実施の形態について説明する。図１はこの発明の一実施の形態による携帯電話機（携帯情報処理装置）の構成を示すブロック図である。この図において、符号１は各部を制御するＣＰＵ（中央処理装置）、２はＣＰＵ１の処理においてデータが一時記憶される不揮発性ＲＡＭ（ランダムアクセスメモリ）、３はＣＰＵ１のプログラムが記憶されたＲＯＭ（リードオンリメモリ）である。４は液晶表示器による表示部、５はテンキーおよびファンクションキーからなる操作キー部である。６は通信部であり、アンテナ７を介して受信した高周波信号を復調し、復調によって得られた音声データについては音声処理部８へ出力し、文字データ、記号データ等についてはバスラインＢを介してＣＰＵ１へ出力する。また、この通信部６は、ＣＰＵ１から供給される文字データ等および音声処理部８から出力される音声データによって高周波の搬送波を変調しアンテナ７から発信する。なお、ＲＡＭ２は音源２１で再生される楽曲や音のデータである楽音データや、地磁気センサ部１２のキャリブレーションに必要なオフセットデータ等が記憶されている。

音声処理部８は、マイクロフォン９から出力される音声信号をディジタル音声データに変換し、さらに圧縮して通信部６へ出力する。また、通信部６から出力される圧縮されたディジタル音声データを伸長し、アナログ信号に変換してイヤスピーカ１０へ出力する。１２は地磁気センサ部である。図２はこの地磁気センサ部１２の構成を示すブロック図である。この図において、１３〜１５はそれぞれＸ軸方向、Ｙ軸方向、Ｚ軸方向の各地磁気の強さを検出するＸ軸センサ、Ｙ軸センサ、Ｚ軸センサであり、例えばＧＭＲ素子（巨大磁気抵抗効果素子）から構成されている。

ここで、Ｘ軸は図３に示すように、折りたたみ式の携帯電話機を開いた状態における２筐体の結合軸の方向であり、また、Ｙ軸はアンテナ７の先端方向である。また、Ｚ軸はテンキーの垂直方向である。１６は切換手段であり、Ｘ〜Ｚ軸センサ１３〜１５の各出力を順次切り換えて増幅器１７へ供給する。増幅器１７は切換手段１６の出力を増幅し、Ａ／Ｄ変換器１８へ出力する。Ａ／Ｄ変換器１８は増幅器１７の出力をディジタルデータに変換し、インターフェイス１９へ出力する。インターフェイス１９は、Ａ／Ｄ変換器１８の出力を一時記憶し、記憶したデータをＣＰＵ１からの指示を受けてバスラインＢへ出力する。

上記の構成において、携帯電話機を任意に動かし、その時のＸ軸方向の磁界の強さＳｘ、Ｙ軸方向の磁界の強さＳｙ、Ｚ軸方向の磁界の強さＳｚを３次元直交座標系にプロットすると、球面（方位球）を描くことができる。このプロットされる位置から、携帯電話機の例えばアンテナ７の先端が向いている方向（Ｙ軸方向）を３次元的に検出することができる。

携帯電話機の方位（すなわち、Ｙ軸の方向）を求める場合、Ｘ〜Ｚ軸センサ１３〜１５の各出力を増幅し、Ａ／Ｄ変換したＸ軸データ、Ｙ軸データ、Ｚ軸データを、ＣＰＵ１がＲＯＭ３内のプログラムに基づいて演算して計算上の方位を求める。さらに、ＣＰＵ１が求めた方位についてＲＡＭ２内のオフセットデータによってオフセット補正を行って正しい方位を求める。
なお、平面上の方位を２軸の地磁気センサ、地表面に対する傾きを重力センサのような傾きセンサによって検出してもよい。

次に、図１の２１は音源であり、バスラインＢを介して供給される楽音データを受け、ＦＭ方式、ＷＴ（Wave table）方式等による楽音生成回路によって楽音データに応じた楽音信号を生成する。そして、生成した楽音信号を音像定位回路によって変換し、ヘッドフォン２２へ出力する。図５は音像定位回路の基本的構成を示すブロック図であり、楽音生成回路によって生成されたＬチャネルおよびＲチャネル楽音信号（ディジタル楽音信号）はＦＩＲフィルタ２４〜２７を通過し、そして、フィルタ２４、２５の出力、フィルタ２６、２７の出力がそれぞれ加算され、新たなＬチャネル信号、Ｒチャネル信号としてヘッドフォン２２へ出力される。この音像定位回路による音の定位位置は、バスラインＢを介して各フィルタ２４〜２７へそれぞれ供給されるフィルタ係数によって決まる。このフィルタ係数（ＨＲＴＦ；頭部伝達関数）は、仮想音源（音像定位によって形成された仮想の音源）の位置から聴取者の鼓膜までの音の伝達特性を表した伝達関数であり、人が音像を判断するための両耳に届く時間誤差や周波数特性などの情報を包括している係数である。

なお、図５は２チャンネルの場合であるが、１チャンネルでもよいし、３チャンネル以上でもよい。定位は各チャンネルにおいて単独に行うことができる。
また、上述した音源２１は、ＣＰＵ（ＤＳＰ）によるソフトウエア方式でもよく、また、ハードウエアによって構成してもよい。また、必ずしもヘッドフォンで音を出力する必要はなく、外部のスピーカへ楽音信号を出力して３Ｄポジショニングを実現してもよい。

次に、図６はＣＰＵ１において実行されるソフトウエアの一部の構成を示すブロック図である。図において、ＡＰＩ（Application Program Interface）３１はミドルウエア３２より下層のシステムを用いてゲーム等のアプリケーションを作成するための統一された命令や関数の集合である。ＡＰＩ３１の命令や関数を呼び出すことで音源を利用したゲームアプリケーションを実装することができる。ＡＰＩ３１には以下の機能を有する。
○仮想音源の３Ｄポジショニングの定位を指定する。
○仮想音源の３Ｄポジショニングの現在の定位を取得する。
○地磁気センサの方位情報や傾き情報を指定する。
○地磁気センサの方位情報や傾き情報を取得する。
○楽曲や音のデータのロードや再生コントロールを行う。

ミドルウエア３２は、ＡＰＩ３１で与えられる命令や関数を処理し、音源２１を駆動するためのソフトウエアである。ＡＰＩ３１の指示により、楽曲や音のデータを読み込み、楽曲や音のデータを再生することができる。また、３Ｄポジショニングの指示データを読み込み、仮想音源を定位させることができる。また、ＡＰＩ３１から地磁気センサ１２の方位情報や傾き情報が指定されると、情報を保持し、ＡＰＩ３１から地磁気センサ１２の方位情報や傾き情報の取得指示により、情報を返す。

楽曲コントローラ３３は、ユーザが指定した楽曲や音のデータをＡＰＩにロードし、ユーザの指示で再生を開始したり、停止したりすることができる。
ユーザインターフェイス３４は、ユーザがアプリケーションをコントロールするためのインターフェイスを意味し、携帯電話機上の表示部４から見える表示や操作キー部５のボタンを指す。ユーザは表示部４を見ながらボタンを操作することでゲームアプリケーションを実行することができる。

地磁気センサコントローラ３５は、地磁気センサ部１２からの情報を元にしてＡＰＩ３１に方位情報や傾き情報を指定する。ミドルウエア３２は、ＡＰＩ３１を通して楽曲コントローラ３３から楽曲や音の再生指示を受けると、定期的な間隔（例えば、０．１ｓｅｃ）で指定動作を実行し、停止指示を受けると指定動作も停止する。
キャリブレーション処理ブロック３６は、ソフトウエア処理モジュールであり、ゲームアプリケーション３７から得たキャリブレーションデータに基づいてキャリブレーションを実行する。

次に、上記実施形態による携帯電話機の動作を説明する。
この携帯電話機は通常の通話／通信機能の他に、
(1)鑑賞用楽音信号生成機能
(2)ゲーム機能
(3)方位測定のキャリブレーション機能
を有している。以下、これらの機能について順次説明する。

（１）鑑賞用楽音信号生成機能
図７は鑑賞用楽音信号生成の過程を示すフローチャートである。携帯電話機のユーザが音楽鑑賞を行う場合、まず、操作キー部５によって好みの楽曲または音を選択する（ステップＳａ１）。楽曲コントローラ３３は、この選択を受けて、楽曲または音のデータである楽音データのロードをＡＰＩ３１に指示し、ミドルウエア３２は楽音データを読み込む（ステップＳａ２）。次に、ユーザが操作キー部５から楽曲または音の開始指令を入力すると（ステップＳａ３）、ミドルウエア３２が楽曲または音の再生を開始し（ステップＳａ４）、以後、ロードされた楽音データが順次音源２１へ出力される。これにより、音源２１の楽音生成回路において楽音信号が生成され、次いで、生成された楽音信号に音像定位回路においてデフォルトのフィルタ係数による音像定位が行われ、ヘッドフォン２２へ出力される。

次に、ユーザが携帯電話機を所望の方向へ向けると（ステップＳａ５）、地磁気センサコントローラ３３が地磁気センサ部１２へデータ要求を出力し、これに応じて地磁気センサ部１２から出力されるＸ、Ｙ、Ｚ軸データを演算することによって方位情報および傾き情報を求める（ステップＳａ６）。次に、ミドルウエアが、求められ方位情報および傾き情報をＲＯＭ３内のテーブルを使用してフィルタ係数に変換し、該フィルタ係数を音源２１へ出力する。音源２１はそのフィルタ係数を音像定位回路内の各フィルタ２４〜２７に設定する。これにより、仮想音源が携帯電話機の向けられた方向に移動する（ステップＳａ７）。

以後、上記のステップＳａ６、Ｓａ７が繰り返される。これにより、ユーザが携帯電話機の向く方向を変える毎に、仮想音源が携帯電話機が向けられた方向に次々に移動することになる。そして、楽曲または音が終了すると（ステップＳａ８が「ＹＥＳ」）、楽音信号生成処理が終了する。なお、ステップＳａ５は、実際にはユーザが所望の方向へ携帯電話機を向けて操作キー部５の任意の操作をすることで、ステップＳａ６が実行されるか、またはステップＳａ５によらず常にステップＳａ６が実行される。

（２）ゲーム機能
図８はゲームの過程を示すフローチャートである。携帯電話機のユーザがゲームを行う場合、まず、操作キー部５によって好みのゲーム（例えば、シューティングゲーム）を選択すると（ステップＳｂ１）、選択されたゲームアプリケーションがロードされる（ステップＳｂ２）。次に、ユーザが操作キー部５からゲームスタート指令を入力すると（ステップＳｂ３）、ゲームアプリケーションがスタートし（ステップＳｂ４）、以後、ゲームが実行される（ステップＳｂ５）。このゲームにおいては、ゲームアプリケーションが音データと、様々なフィルタ係数とを逐次音源２１へ出力する。これにより、ユーザのヘッドフォン２２において、各種のゲーム音が発生し、また、その音像があちこちへ移動する。ユーザは、その音を聞き、音のする方へ携帯電話機を向けて操作キー部５のショットボタンをオンとする（ステップＳｂ６）。

ショットボタンがオンとされると、ゲームアプリケーションからの指示により、ミドルウエア３２が地磁気センサ部１２からＸ、Ｙ、Ｚ軸データを取得し（ステップＳｂ７）、取得した各データに基づいて方位／傾き情報を演算し、演算結果をゲームアプリケーションへ戻す。ゲームアプリケーションは、その方位情報を音像の３Ｄポジショニングの水平角度と、傾き情報を音像の３Ｄポジショニングの垂直角度と各々比較する（ステップＳｂ８）。この場合、ＲＯＭ３内に予め設定されているテーブルを使用する。そして、両方の比較結果が所定の許容差をもって共に一致とみなせる場合はクリアと見なし、それに応じた画像処理、得点のインクリメント等を行う（ステップＳｂ９）。一方でも一致と見なせない場合はステップＳｂ９をスキップする。なお、当たった音、はずれの音をそれぞれ出すようにしてもよい。

以後、ゲーム終了まで上述したステップＳｂ５〜Ｓｂ９の処理を繰り返す。そして、ゲームが終了した時（ステップＳｂ１０が「ＹＥＳ」）、ゲーム処理を終了する。
なお、音像定位はヘッドフォンのＬ、Ｒを基準とした相対方位であるが、地磁気センサによる方位や傾きは絶対方位である。したがって、ヘッドフォンの向きを絶対方位に合わせる必要がある。実際には、最初にユーザがヘッドフォンをして顔を前方に向け、携帯電話機を顔が向いている方向と同じ方向に向けてボタン押すなどの操作を行い、携帯電話機に基準となる方位を覚え込ませる。そして、ユーザは音像の定位の指示またはゲームの際に頭を基準方向にしておく必要がある。
また、携帯電話機が自機の位置を測定可能なＧＰＳ回路を内蔵する場合は、３Ｄポジショニングによるリスニングポイントからの仮想音源までの距離と、ＧＰＳにより測定される距離との一致を方位、傾きに加えてチェックするようにしてもよい。

（３）方位測定のキャリブレーション機能
前述したように、方位／傾きの測定においては、Ｘ、Ｙ、Ｚ軸データから算出された方位／傾き情報からＲＡＭ２内のオフセットを減算して正しい方位／傾きを求める。図９はゲームをしながらこのオフセットのキャリブレーションを行う過程を示すフローチャートである。ユーザがキャリブレーションを行う場合、まず、表示部４に表示されたメニューからキャリブレーション実行を選択するか、あるいは、キャリブレーション機能を内蔵するゲームを選択すると（ステップＳｃ１）、ゲームアプリケーションデータがロードされる（ステップＳｃ２）。次に、ユーザがゲームスタートを指示すると（ステップＳｃ３）、ゲームアプリケーションが実行され、ゲームがスタートする（ステップＳｃ４）。

以後、ゲームが行われ、同時に、キャリブレーション用のデータが収集される（ステップＳｃ５）。このゲームとキャリブレーション用データ収集の関係については後に説明する。そして、ゲームが終了すると（ステップＳｃ６の判断が「ＹＥＳ」）、ゲームの間に収集されたキャリブレーション用のデータに基づいてキャリブレーション処理が実行され、これにより、オフセットデータが求められる（ステップＳｃ７）。次いで、求められたオフセットデータによってキャリブレーションが実行され、ＲＡＭ２内のオフセットデータが書き換えられる（ステップＳｃ８）。

次に、ゲームとキャリブレーション用データ収集の関係について説明する。
例えば、前述したシューティングゲームにおいて、ゲームアプリケーションが音像をあちこちへ移動させると、ユーザは、その音を聞き、音のする方へ携帯電話機を向ける。この間、ＣＰＵ１は一定時間（例えば、０．１ｓｅｃ）が経過する毎に地磁気センサ部１２へデータ送信指示を出力する。地磁気センサ部１２のインターフェイス１９はこの指示を受け、Ｘ軸〜Ｚ軸センサ１３〜１５の各出力に対応するＸ軸データ、Ｙ軸データ、Ｚ軸データをＣＰＵ１へ出力する。ＣＰＵ１はこれらのデータをＲＡＭ２の予め定められたキャリブレーションデータ領域へ書き込む。これにより、ゲーム終了時において、キャリブレーションデータ領域に様々な方位のＸ、Ｙ、Ｚ軸データが収録される。

また、必要な部分のデータが得られない時は、データを補うように音像を定位させればよい。またその場合に、他の種のゲームが行われるようにしてもよい。例えば、表示部４に表示されたボールを障害物を越えてＧＯＡＬまで移動させるゲームをユーザに実行させる。このゲームの場合、ユーザは携帯電話機をいろいろ動かすことによってボールをＧＯＡＬまで順次移動させる。ユーザがこのゲームを行う場合、ユーザは特に意識することなく携帯電話機を左回りに回転させたり、右回りに回転させたりする。このゲームにおいて、ボールの順路を様々に作れば、携帯電話機を各方向に動かすこととなり、必然的に広範囲なキャリブレーション用のデータが得られる。なお、必要な部分のデータがそれでも得られない場合は、ゲームが少し進んだところで、計測されていないデータを補うように新たにボールの順路を設定すればよい。

次に、キャリブレーション用データの収集および収集したデータによるオフセット推定処理について図１０に示すフローチャートを参照して説明する。
キャリブレーション用データの収集が開始されると（ステップＳｄ１）、ＣＰＵ１は一定時間（０．１ｓｅｃ）が経過する毎に地磁気センサ部２０へ指示を行い（ステップＳｄ２）、地磁気センサ部２０からＸ軸データ、Ｙ軸データ、Ｚ軸データを取得し、ＲＡＭ２の一時記憶領域に書き込む（ステップＳｄ３）。次に、ＣＰＵ１は、一時記憶領域に書き込んだデータについてキャリブレーション用データとして適切か否かの判定を行う（ステップＳｄ４）。この判定は次の手順による。

いま、判定の対象となるデータを（Ｘ，Ｙ，Ｚ）とし、１回前にＲＡＭ２に格納されたデータを（Ｘｐ，Ｙｐ，Ｚｐ）とする。ＣＰＵ１はＲＯＭ３から実数ｄｉｆｆを読み出し、
ｄｉｆｆ＜ｓｑｒｔ（(Ｘ−Ｘｐ)^２＋（Ｙ−Ｙｐ）^２＋（Ｚ−Ｚｐ）^２）
の条件式が満たされた場合にのみ、データ（Ｘ，Ｙ，Ｚ）をＲＡＭ２のキャリブレーションデータ領域に格納する。なお、最初に収録されたデータは無条件でキャリブレーションデータ領域に格納される。

ここで、実数ｄｉｆｆは携帯電話機が製造される際に予め設定される実数であり、携帯
電話機の製造時に地磁気センサ部２０から得られる磁界の計測値（Ｘ０，Ｙ０，Ｚ０）に対して、オフセット値を（Ｘｆ０，Ｙｆ０，Ｚｆ０）とすると、
(Ｘ０−Ｘｆ０)^２＋（Ｙ０−Ｙｆ０）^２＋（Ｚ０−Ｚｆ０）^２＝Ｒ^２
が成り立つ実数Ｒに１／１０を掛けた程度の数値が好ましい。上式は地球の磁界の大きさに近い数値を半径Ｒとする球を表す式であり、以降、この球を方位球と呼ぶ。このような判定を行うことにより、ユーザが携帯電話機を動かす動作がごくわずかである場合に同一点近傍のデータが集中して取得されることを避けることができる。

ＣＰＵ１は地磁気センサ部２０から得られたデータをキャリブレーションデータ領域に格納するべきでないと判断した時（ステップＳａ４の判断が「ＮＯ」）、０．１秒間待機し（ステップＳｄ５）、この時間経過後に再びデータの取得を試みる。また、ＣＰＵ１は地磁気センサ部２０から得られたデータがオフセットの計算に使用可能であると判断した
時は、当該データをＲＡＭ２のキャリブレーションデータ領域に書き込む（ステップＳｄ６）。そして、ＣＰＵ１はキャリブレーションデータ領域に書き込んだデータが予め定められた個数に達したか否かを判断する（ステップＳｄ７）。ＣＰＵ１はステップＳｄ７の判断結果が「ＮＯ」の場合、０．１秒間待機し（ステップＳｄ５）、再びデータの取得を試みる。一方、ステップＳｄ７の判断結果が「ＹＥＳ」の場合は、キャリブレーションに必要なデータ取得が完了したものとして次の処理に移る。

次に、上述したキャリブレーションデータ領域に書き込まれたデータに基づくオフセット推定処理（ステップＳｄ８）について説明する。
ます、キャリブレーションデータ領域に格納したデータを（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）（ｉ＝１，・・・，Ｎ：Ｎは格納したデータの数を表す自然数）と表し、求める対象である新しいオフセットを（Ｘ０，Ｙ０，Ｚ０）とし、方位球の半径を実数Ｒと表す。この時、
(ｘ_ｉ−Ｘ０)^２＋（ｙ_ｉ−Ｙ０）^２＋（ｚ_ｉ−Ｚ０）^２＝Ｒ^２
の関係式が成り立つ。
次に、最小二乗誤差εを次式のように定義する。

ここで、ａ＝ｘ_ｉ ^２＋ｙ_ｉ ^２＋ｚ_ｉ ^２とし、ｂ＝−２ｘ_ｉとし、ｃ＝−２ｙ_ｉとし、ｄ＝−２ｚ_ｉとし、Ｄ＝（Ｘ０^２＋Ｙ０^２＋Ｚ０^２）−Ｒ^２とすると、εは以下の式にようになる。

最小二乗誤差εを最小とする条件は、以下の［数３］となる。

従って、［数４］のように表現する時、［数５］が成り立つ。

この連立方程式を解くことにより、最小二乗誤差εを最小とするＸ０，Ｙ０，Ｚ０，Ｄを求めることができる。また、Ｘ０，Ｙ０，Ｚ０，Ｄが求まることから、Ｄ＝（Ｘ０^２＋Ｙ０^２＋Ｚ０^２）−Ｒ^２であるので、Ｒも求めることができる。

次に、ＣＰＵ１は求めた新しいオフセットが有効であるか否かの確認を試みる（ステップＳａ９）。ＣＰＵ１はキャリブレーションデータ領域に格納した測定データのばらつき具合と、方位球の半径との比率を［数６］によって求める。

次にＣＰＵ１は、［数６］で求めた比率を表す実数σが所定の正の実数Ｆに対してσ＜Ｆを満たす時のみ、さらに有効性の確認を続行する。Ｆは０．１程度が好ましい。Ｆによって地磁気センサ部２０の精度が左右されるが、キャリブレーションデータ領域に格納した測定データのばらつき具合が地球の磁界の大きさの１／１０以下であれば、地磁気センサ部２０が１６方位を見分ける程度の性能となり、実用に耐えるものとなるためである。

更に、ＣＰＵ１は、［数７］〜［数９］のように各座標軸上での磁界の最大値と最小値との差分の方位球の半径に対する割合を求める。

ＣＰＵ１は、［数７］〜［数９］の割合がそれぞれ所定の正の実数Ｇより大きい場合に、新しいオフセット値を有効なものであるとみなす。Ｇは１程度が好ましい。次に、ＣＰＵ１は求めた新しいオフセットが有効である場合には（ステップＳｄ９が「Ｙｅｓ」）、ＲＡＭ２内のオフセットデータを更新し（ステップＳｄ１０）、キャリブレーション処理を終了する（ステップＳｄ１１）。

また、ＣＰＵ１は、求めた新しいオフセット値が無効である場合には（ステップＳｄ９が「ＮＯ」）、その旨を表示部４に表示し、再実行を行うか否かをユーザに問い合わせる。そして、ユーザが再実行を指示した場合は（ステップＳｄ１２が「ＹＥＳ」）、再びステップＳａ２の処理へ戻り、キャリブレーション用データの収集を行う。また、ユーザが再実行を行わないことを指示した場合は（ステップＳｄ１２が「ＮＯ」）、キャリブレーション処理を終了する（ステップＳｄ１１）。

なお、上記実施形態において、ゲームの制御をするセンサは、地磁気測定用の磁気センサでなく、別に設けた傾きを検知するセンサ（例えば、重力を検出するもの）を使用してもよい。

この発明は携帯電話機、携帯ゲーム機等に用いられる。

この発明の一実施形態による携帯電話機の構成を示すブロック図である。同実施形態における地磁気センサ１２の構成を示すブロック図である。同実施形態において定義されるＸ軸およびＹ軸を説明するための図である。図２におけるＸ、Ｙ、Ｚ軸センサ１３〜１５の出力を説明するための図である。同実施形態における音源２１内の音像定位回路の基本構成を示すブロック図である。同実施形態におけるソフトウエア構成を示すブロック図である。同実施形態の３Ｄポジショニング動作を説明するためのフローチャートである。同実施形態のゲーム動作を説明するためのフローチャートである。同実施形態のキャリブレーション動作を説明するためのフローチャートである。キャリブレーション用のデータ収集およびオフセット推定処理の過程を説明するためのフローチャートである。音像定位を説明するための図である。音像定位位置を指定する方法の一例を示す図である。

符号の説明

１…ＣＰＵ、２…ＲＡＭ、３…ＲＯＭ、４…表示部、５…操作キー部、１２…地磁気センサ部、１３…Ｘ軸センサ、１４…Ｙ軸センサ、１５…Ｚ軸センサ、１６…切換手段、１７…増幅器、１８…Ａ／Ｄ変換器、１９…インターフェイス、３１…ＡＰＩ、３２…ミドルウエア、３３…楽曲コントローラ、３５…地磁気センサコントローラ、３６…キャリブレーション処理、３７…ゲームアプリケーション。

Claims

ゲームアプリケーションを実行するゲーム実行手段と、
音信号を生成する音信号生成手段と、
前記音信号生成手段によって生成された音信号の音像を３次元空間上に定位させる音像定位手段と、
前記音像定位手段によって定位処理が行われた音信号が出力されるヘッドフォンと、
ユーザが操作する操作手段と、
前記ゲームアプリケーションの指示にしたがって前記音像の３次元空間上の定位位置を移動させる制御手段と、
前記操作手段により所定の操作がされた時、携帯情報処理装置の筐体が向いている方位を少なくとも磁界の強さを測定して検出する検出手段と、
前記検出手段によって検出された方位と、前記音信号の音像の定位が所定の判断基準において一致しているか否かを判断する判断手段と、
前記ゲームアプリケーションが進行している時に前記検出手段が出力する複数の方位に対応する複数の磁界データを記憶手段へ記憶させるデータ格納手段と、
前記記憶手段に記憶されている複数の磁界データを基にしてオフセット値を演算して前記記憶手段に記憶させるオフセット値演算手段と、
を具備し、
前記ゲーム実行手段は、前記判断手段の判断結果に基づいて前記ゲームアプリケーションにおけるゲーム処理を行う
ことを特徴とする携帯情報処理装置。
前記検出手段は、直交する２または３方向の地磁気の強さを測定する磁気センサと、前記磁気センサの出力をディジタルデータに変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器の出力データに基づいて前記筐体の方向を演算する演算手段とを具備することを特徴とする請求項１に記載の携帯情報処理装置。