JP5098004B2 - 携帯端末 - Google Patents

Description

本発明は、携帯端末の操作技術に関する。

携帯電話機、携帯ゲーム機などの携帯端末の動き（傾き、移動、ゆれなど）を検出することで、携帯端末に対する操作指示を行う技術が存在する。このような技術を実現するため、携帯端末には加速度センサやジャイロセンサが搭載されており、あらかじめ携帯端末の所定の動きに対して所定の制御命令が対応付けられている。ユーザが携帯端末に傾き、移動などの操作を加えることで、あるいはユーザの意図によらず携帯端末に傾き、移動などの操作が加えられることで、この動作をセンサが検出し、携帯端末の制御部に動き情報を送るようにしているのである。

下記非特許文献１は、動きを検出して動作する携帯端末に対する技術が紹介されている。たとえば、ハードディスクを搭載したコンピュータは、落下（加速度）を検出すると、ハードディスクのヘッドを退避させるようにしている。また、携帯電話機に「振る」などの操作を行うことで、携帯電話機に対して所定の操作指示を与える技術が紹介されている。

また、カメラを備えた携帯ゲーム機が存在する。このゲーム機では、カメラで撮影した映像をゲームに利用するようにしている。

「ケータイを皮切りにデジタル家電は振って操る」,日経エレクトロニクス,Leading Trends解説,日経ＢＰ社,２００５年４月１１日号,５１頁

上述したように、携帯端末に対する動きを検出する技術は、携帯端末の新しい入力インタフェースとして注目されている。この技術は、携帯端末に対する操作性を向上させるという点で非常に有用である。小型化が進む携帯端末では、操作ボタンを用いた操作は、ときに煩雑となるからである。また、ボタンや十字カーソル、ダイヤルなど、様々な操作子が存在するが、これらの操作子を利用した場合でも、操作性には限界がある。動き検出技術は、携帯端末の操作の自由度を拡張するとともに操作性を向上させることが可能であり、携帯端末に新たな付加価値を与えることができる。

一方で動き検出技術は、ユーザの意図しない操作を入力するという問題がある。たとえば、ユーザが電車の中で携帯ゲーム機を利用しているとする。この場合、電車が揺れることにより、携帯ゲーム機に動きが加えられると、この動きに対してもゲームに制御命令が加えられるからである。つまり、ユーザがゲームに指示を与えるつもりがないにも関わらず、ゲームに指示が与えられるのである。

そこで、本発明は前記問題点に鑑み、動き検出を利用した技術において、ユーザの意図する操作に対して携帯端末を制御する技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、操作者に所持されて操作される携帯端末であって、操作者を撮像する撮像装置と、前記撮像装置から入力した画像を解析することで、前記携帯端末の動きを検出する手段と、前記撮像装置から入力した画像を解析することで、操作者の画像の変化と背景画像の変化とを検出する手段と、検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものであるか否かを、検出された操作者の画像の変化と背景画像の変化とに基づいて判定する手段と、検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものと判定される場合には、検出された動きに基づいて前記携帯端末の制御を行う手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の携帯端末において、検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合には、前記携帯端末の動きは前記携帯端末の制御に影響を与えないことを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載の携帯端末において、前記携帯端末では、前記携帯端末の動きに応じて処理が決定されるプログラムが実行されており、前記意図的な操作は、前記操作者が前記プログラムに対する指示として行う操作であることを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の携帯端末において、検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合とは、前記操作者が前記携帯端末と一体となって変動している場合、を含むことを特徴とする。

請求項５記載の発明は、請求項１ないし請求項３にいずれかに記載の携帯端末において、検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合とは、周辺環境の変動の影響を受けて前記操作者が意図せずして前記携帯端末を動かせた場合、を含むことを特徴とする。

請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の携帯端末において、前記携帯端末は、ゲーム機、を含み、前記操作者は、前記携帯端末を３次元空間内で動作させることにより、ゲームプログラムを進行させることを特徴とする。

請求項７記載の発明は、操作者を撮像する撮像装置と、前記撮像装置から入力した画像を解析することで、操作者の画像の変化と背景画像の変化とを含む画像の変化を検出する手段と、検出された画像の変化が前記操作者による前記携帯端末に対する意図的な操作に基づくものであるか否かを、前記操作者の画像の変化と背景画像の変化とに基づいて判定する手段と、検出された画像の変化が前記操作者による前記携帯端末に対する意図的な操作に基づくものと判定される場合には、画像の変化から前記携帯端末の動きを検出し、検出された動きに基づいて前記携帯端末の制御を行う手段と、を備えることを特徴とする。

請求項８記載の発明は、請求項７に記載の携帯端末において、検出された画像の変化が前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合とは、周辺環境に変動によって前記操作者以外の背景画像が変化する場合、を含むことを特徴とする。

本発明の携帯端末は、検出された動きが操作者による意図的な操作に基づくものであると判定される場合には、検出された動きに基づいて携帯端末の制御を行う。したがって、操作者の意図に従って端末の制御を行うことが可能である。

また、検出された動きが操作者による携帯端末に対する意図的な操作に基づくものでない場合とは、操作者が携帯端末と一体となって変動している場合を含む。したがって、携帯端末に対してユーザの意図しない制御が行われることはない。

また、検出された動きが操作者による携帯端末に対する意図的な操作に基づくものでない場合とは、周辺環境の変動の影響を受けて操作者が意図せずして携帯端末を動かせた場合を含む。したがって、携帯端末に対してユーザの意図しない制御が行われることはない。

また、携帯端末はゲーム機を含み、操作者は、携帯端末を３次元空間内で動作させることによりゲームプログラムを進行させる。したがって、振動している電車車内などにおいても、装置本体の動きを検出する操作インタフェースを利用したゲームを楽しむことが可能である。

以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態に係る携帯ゲーム機１の外観図である。携帯ゲーム機１は、装置の前面に操作部１１、モニタ１２、カメラ１３を備えている。

操作部１１は、複数のボタンや十字カーソルなどから構成される。ユーザは、この操作部１１を操作することで、携帯ゲーム機１に対して各種の操作指示を行う。たとえば、ゲームの開始、終了指示、ゲームキャラクターの移動指示などを行う。モニタ１２には、液晶表示ディスプレイであり、ゲーム画面が表示される。カメラ１３は、ゲームを楽しんでいるユーザを撮像する装置である。カメラ１３としては、たとえば、ＣＣＤ撮像センサやＣＭＯＳセンサを用いることができる。このように携帯ゲーム機１は、小さなサイズの筐体に操作ボタンやモニタを配置した装置であり、ユーザは、電車の中や車の中でもゲームを楽しむことができる。

図２は、携帯ゲーム機１のブロック図である。携帯ゲーム機１の制御部１４は、携帯ゲーム機１の全体制御を行う処理部である。具体的には、制御部１４は、ＣＰＵ、ＲＡＭなどのハードウェアを備え、携帯ゲーム機１の内部メモリあるいは着脱可能なゲームカートリッジ２に格納されたプログラムを実行する。

ゲームカートリッジ２には、図に示すように、ゲームプログラム２１と動き検出プログラム２２が格納されている。ただし、ゲームプログラム２１が、動き検出プログラムを含んでいてもよい。また、ゲームプログラム２１や動き検出プログラム２２が、ゲーム機の内部メモリに格納される形態であってもよい。あるいは、ゲームプログラム２１は、ゲームカートリッジ２に格納されて提供され、動き検出プログラム２２は、携帯ゲーム機１の内部メモリに格納されて提供される形態であってもよい。

ユーザは、ゲームカートリッジ２を携帯ゲーム機１のカードスロットに装着し、操作部１１を操作することで、ゲームプログラム２１を実行することができる。ゲームプログラム２１は、操作部１１からの操作指示の他に、携帯ゲーム機１自体を傾けたり、移動させたり、振ったりする操作指示を入力し、それら操作指示に対する処理を実行するプログラムである。具体的には、ユーザが、携帯ゲーム機１を傾けたりする操作を行うと、動き検出プログラム２２が、このユーザ操作を検出し、動き情報をゲームプログラム２１に通知するのである。これにより、ユーザは、操作ボタンや十字カーソルを操作したり、ゲーム機自体を傾け操作したりしながらゲームを楽しむことができる。

たとえば、ゲームプログラム２１が、バイクレースのゲームプログラムであるとする。この場合、ゲームプログラム２１内では、ユーザが携帯ゲーム機１を左右に傾けるという操作と、車体を傾けるという処理とが対応付けられている。したがって、ユーザが携帯ゲーム機１を左右に傾ける操作を行うことで、ゲームの中では、バイクの車体が左右に傾いて走行するのである。

次に、図３を参照しながら、制御部１４によって実行される動き検出処理（動き検出プログラム２２による処理）の流れについて説明する。まず、ユーザがゲームカートリッジ２を携帯ゲーム機１に装着し、操作部１１を操作してゲームの開始指示を行う。これにより、制御部１４がゲームカートリッジ２に格納されたプログラムにアクセスし、ゲームプログラム２１および動き検出プログラム２２の実行が開始される。

ゲームが開始すると、制御部１４は、画像入力の待機状態となる（ステップＳ１）。ゲームプログラム２１が開始すると、制御部１４は、カメラ１３を起動し、カメラ１３が撮像した画像を入力するのである。画像を入力すると、制御部１４は、入力した画像の解析を行い（ステップＳ２）、携帯ゲーム機１に動きが与えられたかどうかの判定を行う（ステップＳ３）。

携帯ゲーム機１に与えられる動きとは、携帯ゲーム機１が傾けられたり、移動されたり、振ったりされることである。制御部１４が、携帯ゲーム機１に動きが与えられたことを判定するアルゴリズムは特に限定されるものでないが、カメラ１３が撮像した画像から、被写体の移動量や回転量を測定し、その移動量や回転量が所定の閾値を超えた場合に、動きありと判定すればよい。つまり、撮影画像に含まれる被写体の動きから携帯ゲーム機１の動きを判定するのである。一つの例としては、撮影画像からユーザ（ゲームの操作者）を抽出し、ユーザ画像の移動量、回転量を測定すればよい。あるいは、撮影画像から背景を抽出し、背景画像の移動量、回転量を測定すればよい。

制御部１４は、携帯ゲーム機１に動きが検出されないと判定した場合（ステップＳ３でＮＯ）には、再び、画像入力の待機状態となり、ステップＳ１〜ステップＳ３を繰り返し実行する。制御部１４は、携帯ゲーム機１に動きが検出されたと判定した場合（ステップＳ３でＹＥＳ）、その動きを解析する（ステップＳ４）。

ここで、制御部１４が検出する携帯ゲーム機１の動きは、たとえば、３次元空間内の軸と、その軸に対する回転角度として検出される。あるいは、３次元空間内の軸と、その軸に対する移動量として検出される。たとえば、３次元空間内にＸＹＺ軸が定義されており、「Ｘ軸を中心として、時計周りに２０度回転された。」であるとか、「Ｙ軸の正の方向に５ｃｍ移動した。」などの動きが検出される。

ステップＳ４における動き解析処理とは、携帯ゲーム機１の動きが、ユーザによって意図的に行われた操作であるか、意図せずして行われた操作であるかを解析する処理である。ユーザによって意図的に行われた操作とは、ユーザが、ゲームプログラム２１に対して操作指示を行うことを意図して、携帯ゲーム機１の本体を動かす操作である。これに対して、ユーザにより意図せずして携帯ゲーム機１の本体が動かされる場合とは、ユーザがゲームプログラム２１に対して操作指示を行うことを意図しないで、携帯ゲーム機１の本体を動かした場合である。

図４（ａ）は、電車の車内で携帯ゲーム機１を利用してゲームを楽しんでいるユーザ３の様子を示す図である。この状態は、ユーザ３は、たとえば、操作部１１を操作してゲームを楽しんでいる場合であり、ゲーム機本体を傾けるなどの操作は行っていない。つまり、操作ボタンや十字カーソルを操作してゲームを進行させている。

図４（ｂ）は、図４（ａ）の状態で、携帯ゲーム機１が備えるカメラ１３が撮影した画像である。つまり、ステップＳ１で制御部１４が入力した画像である。この画像に被写体であるユーザ３が含まれている。図４（ｂ）で示すように、この画像においては、被写体であるユーザ３は、略真っ直ぐな姿勢をとっている。

図５（ａ）は、ユーザ３が携帯ゲーム機１の本体を時計回り（ユーザから見て）に傾けて操作をしている状態である。つまり、ユーザ３は、ゲームプログラム２１に操作指示を行うために、ゲーム機本体を傾けているのである。なお、上述したように、ゲーム機本体の動きと、ゲームプログラム２１の動作とはあらかじめ対応付けられている。このとき、制御部１４が入力する画像は、図５（ｂ）のようになる。つまり、ユーザ３とともに背景画像（電車の窓が撮影されている）が時計周りに回転しているのである。

このように、入力した画像が図４（ｂ）から図５（ｂ）の状態に変化したような場合には、制御部１４（動き検出プログラム２２）は、ステップＳ４において、ユーザによって携帯ゲーム機１に対して意図的な操作が行われたと判定するのである。つまり、典型的には、被写体の画像（ここでは、ユーザ３と電車の窓の画像）が、一体的に回転、移動しており、且つ、その回転量や移動量が所定の閾値を超えて大きく変動している場合に、制御部１４は、ユーザの意図的な操作と判定するのである。言い換えると、撮影画像の画像全体が一体的に所定の閾値を超えて変動（回転、移動等）している場合に、ユーザの意図的な操作と判定するのである。判定の基準に用いる閾値は、実験などにより求めた最適な値を設定すればよい。所定の閾値以上回転した場合、所定の閾値以上移動した場合などにユーザの意図的な操作と判定するのである。

もちろん、ユーザと背景画像が一体的に動いている場合に限らず、ユーザの動きに注目するようにしてもよい。ユーザの検出（人物の抽出）は、特徴点抽出などを行うことで可能であり、検出されたユーザの画像が所定の閾値以上回転した場合や移動した場合に、携帯ゲーム機１にユーザの意図的な操作が行われたと判定してもよい。

これに対して、図６（ａ）は、ユーザが意図せずして携帯ゲーム機１を動かした場合の例である。図６（ａ）は、電車が振動することにより、ユーザ３と携帯ゲーム機１とが一体となって細かく揺れている状態を示している。つまり、ユーザ３は、操作ボタンや十字カーソルなど操作部１１を操作してゲームを楽しんでいる状態であり、ゲーム機本体を傾けるなどの操作を行っていない。しかし、電車の揺れとともに、携帯ゲーム機１が動かされているのである。この場合であっても、たとえば、図６（ｂ）に示すように、図４（ｂ）の状態から画像が変化する。

ここで、画像が変化した場合、つまり、被写体の画像が回転や移動などした場合に一律に動きを検出したとしてゲーム操作命令と判定するのであれば、図６の状態であっても画像が変化しているので、ゲーム機本体が操作されたとしてゲームの進行に影響を与えることになる。しかし、本実施の形態の携帯ゲーム機１は、このようなユーザの意図しない携帯ゲーム機１の動きはゲームの進行に影響を与えないようにするのである。

画像の変化、言い換えると携帯ゲーム機１本体の動きが、ユーザの意図的な操作でないと判定するアルゴリズムは、たとえば、図６で示したように、画像が細かく揺れる場合である。たとえば、所定の期間、画像が上下や左右に振動するなどの変化があった場合には、周辺環境の変動によるものと判定し、ゲーム操作によるものとは判断しないのである。

また、背景画像は細かく変動しているが、ユーザの画像が変動しない場合にも、ユーザの意図的な操作と判定しない。つまり、ユーザがゲーム機本体を所持したまま、ゲーム機本体と一体となって振動している場合である。この場合、ユーザとカメラ１３との位置関係はあまり変化しないので、ユーザの画像の変化は少ないが、背景画像は細かく揺れたり、振動したりする。このような場合には、ユーザの意図的な操作と判定しないのである。

ゲーム操作によらない画像の変化の別の例を図７に示す。図７（ａ）のように、ユーザ３は、図４（ａ）の状態と同様、真っ直ぐな姿勢で携帯ゲーム機１を保持している。そして、操作ボタンや十字カーソルなどを操作してゲームを楽しんでおり、ゲーム機本体を傾けるなどの操作は行っていない。しかし、電車に乗って移動しているため、窓の外の景色が変化する。このため、図７（ｂ）に示すように背景画像が変化している。このような場合にも、制御部１４は、ユーザによる意図的な操作と判断せず、ゲームの進行に影響を与えないようにするのである。たとえば、ユーザ(人物)の画像を検出し、画像全体に大きな変化があった場合でも、ユーザの画像の変化が小さい場合には、ゲームの操作命令が行われたとは判断しないのである。

図７で示したような例は、ステップＳ３で除くようにしてもよい。つまり、ユーザ画像が変動せず、背景画像のみが大きく変動している場合などは、ステップＳ３において、動きなしと判定するようにしてもよい。つまり、ユーザ画像は変化せず、背景画像が大きく変化している場合にも、ステップＳ３で動きありと判定し、ステップＳ５において、その動きはユーザの意図的な操作によるものではないと判定する方法でもよいし、ステップＳ３において、画像の変化が、ユーザの携帯ゲーム機１に対する意図的な操作によるものではないと判断して、動きなしと判定するようにしてもよい。

ステップＳ４で上記のような解析を行った後、被写体の動きがユーザの意図するものでないと判断される場合（ステップＳ５でＮＯ）、ステップＳ１に戻り、再び、画像の入力を行い、上記の処理を繰り返す。つまり、ユーザはゲーム機本体を動かしてゲームの操作指示を行っていないと判断し、画像の解析処理を繰り返すのである。

ステップＳ５で、携帯ゲーム機１の動きが、ユーザの意図的な操作によるものであると判断された場合には、制御部１４は、ゲームプログラム２１に対して携帯ゲーム機１の動きの情報を通知するのである（ステップＳ６）。たとえば、携帯ゲーム機１が、３次元空間内の軸に対してどれだけの角度で回転したのか、３次元空間内の軸に対してどれだけ移動したのか、という情報が通知される。これにより、ゲームプログラム２１は、この動き情報に応じた処理を実行するのである。

たとえば、バイクレースのゲームであれば、ゲーム機本体を傾けた方向に車体が傾くことで、より臨場感のあるゲーム進行を演出することができる。そして、電車が揺れてゲーム機本体が揺れた場合にも、その携帯ゲーム機１の動きはゲームの進行に影響を与えない。したがって、電車の中や車の中であっても、静止している場合と同様、ゲームを楽しむことができるのである。

このように、本発明によれば、装置本体に対する操作を新たな入力インタフェースとする携帯端末において、ユーザの意図的な操作だけを装置に通知することができる。そして、装置本体の動きを検出するために、加速度センサやジャイロセンサを搭載することなく、ソフトウェア処理によって処理を実現しているので、装置の小型化とコスト減を図ることが可能である。

以上、本発明の実施の形態を携帯ゲーム機を例に説明したが、本発明は、この他にも携帯情報端末（ＰＤＡ）や、携帯パソコン、携帯電話機などにも適用可能である。携帯電話機であれば、電話機本体を振る操作を入力インタフェースとする技術が提案されているが、本発明の技術を用いることで、電車の中や車の中でも、ユーザの意図する操作だけを解析して携帯電話機を操作することが可能である。

本実施の形態に係る携帯ゲーム機の外観図である。 本実施の形態に係る携帯ゲーム機のブロック図である。 動き検出プログラムのフローチャートである。 携帯ゲーム機を操作するユーザの状態と撮影画像の様子を示す図である。 携帯ゲーム機を操作するユーザの状態と撮影画像の様子を示す図である。 携帯ゲーム機を操作するユーザの状態と撮影画像の様子を示す図である。 携帯ゲーム機を操作するユーザの状態と撮影画像の様子を示す図である。

符号の説明

１ 携帯ゲーム機
２ ゲームカートリッジ
１１ 操作部
１２ モニタ
１３ カメラ
２１ ゲームプログラム
２２ 動き検出プログラム

Claims (8)

1. 操作者に所持されて操作される携帯端末であって、
   操作者を撮像する撮像装置と、
   前記撮像装置から入力した画像を解析することで、前記携帯端末の動きを検出する手段と、
   前記撮像装置から入力した画像を解析することで、操作者の画像の変化と背景画像の変化とを検出する手段と、
   検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものであるか否かを、検出された操作者の画像の変化と背景画像の変化とに基づいて判定する手段と、
   検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものと判定される場合には、検出された動きに基づいて前記携帯端末の制御を行う手段と、
   を備えることを特徴とする携帯端末。
2. 請求項１に記載の携帯端末において、
   検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合には、前記携帯端末の動きは前記携帯端末の制御に影響を与えないことを特徴とする携帯端末。
3. 請求項１または請求項２に記載の携帯端末において、
   前記携帯端末では、前記携帯端末の動きに応じて処理が決定されるプログラムが実行されており、前記意図的な操作は、前記操作者が前記プログラムに対する指示として行う操作であることを特徴とする携帯端末。
4. 請求項１ないし請求項３のいずれかに記載の携帯端末において、
   検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合とは、前記操作者が前記携帯端末と一体となって変動している場合、を含むことを特徴とする携帯端末。
5. 請求項１ないし請求項３にいずれかに記載の携帯端末において、
   検出された動きが前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合とは、周辺環境の変動の影響を受けて前記操作者が意図せずして前記携帯端末を動かせた場合、を含むことを特徴とする携帯端末。
6. 請求項１ないし請求項５のいずれかに記載の携帯端末において、
   前記携帯端末は、
   ゲーム機、
   を含み、
   前記操作者は、前記携帯端末を３次元空間内で動作させることにより、ゲームプログラムを進行させることを特徴とする携帯端末。
7. 操作者に所持されて操作される携帯端末であって、
   操作者を撮像する撮像装置と、
   前記撮像装置から入力した画像を解析することで、操作者の画像の変化と背景画像の変化とを含む画像の変化を検出する手段と、
   検出された画像の変化が前記操作者による前記携帯端末に対する意図的な操作に基づくものであるか否かを、前記操作者の画像の変化と背景画像の変化とに基づいて判定する手段と、
   検出された画像の変化が前記操作者による前記携帯端末に対する意図的な操作に基づくものと判定される場合には、画像の変化から前記携帯端末の動きを検出し、検出された動きに基づいて前記携帯端末の制御を行う手段と、
   を備えることを特徴とする携帯端末。
8. 請求項７に記載の携帯端末において、
   検出された画像の変化が前記操作者による前記携帯端末に対する意図的な操作に基づくものでない場合とは、周辺環境に変動によって前記操作者以外の背景画像が変化する場合、を含むことを特徴とする携帯端末。

Images