JP6161244B2 - 携帯端末装置、プログラムおよび入力方法 - Google Patents

Description

本発明は、携帯端末装置に情報を入力する技術に関する。

昨今、携帯電話、スマートフォン、電子書籍閲覧端末など、ユーザによって携帯されることを想定したコンピュータ（以下、「携帯端末装置」と総称する。）が広く普及し、一般のユーザが出先や移動中に携帯端末装置を使用する状況が頻繁に生じている。特に移動中において、ユーザは携帯端末装置を片手で保持しながら、当該携帯端末装置の画面に表示される内容を閲覧する。この状態で、ユーザが何らかの情報を携帯端末装置に対して手入力しなければならないとすると、ユーザは携帯端末装置を保持していない方の手によって携帯端末装置を操作しなければならない。この場合は、携帯端末装置の操作中において、ユーザの両手はふさがれた状態となり、鞄や傘などを持つことができないといった不便性もさることながら、転倒などの原因にもなりかねず、危険である。

したがって、従来より、携帯端末装置において、手入力せずに携帯端末装置を操作する技術が提案されている。特許文献１には、携帯端末装置を利用している人の顔を検出して、当該人の顔の軸に対応する向きにディスプレイ上の表示方向を決定する技術が記載されている。すなわち、携帯端末装置とユーザの顔の軸との相対的な位置関係を、当該ユーザの顔を検出することにより判別して、ディスプレイ上の表示方向を自動的に変更するための情報とするのである。より詳細には、特許文献１に記載されている技術は、顔を携帯端末装置に正対させるというユーザの行動により、表示方向を変更するための情報が入力できるように構成していると解することもできる。また、特許文献２には、加速度センサから得られる情報によって携帯端末装置の傾きを判別し、ディスプレイ上の表示方向を変更するための情報とする技術が記載されている。このような技術により、ユーザは、表示方向を切り替えるための情報を操作部（キーやタッチパネルなど）を操作して入力する必要がなくなる。したがって、操作性が向上するとともに、携帯端末装置の利用中に、両手がふさがる事態を抑制することができる。

特開２０１１−２５８１９１号公報 特開２０１２−０５８８４７号公報

ところが、上記特許文献１および２に記載されている技術は、表示方向（縦横方向）を切り替えるだけの技術であり、擬似的に表示されたページをめくったり、拡大縮小表示をしたり、表示する部分をスライドさせたりといった細かい操作ができないという問題があった。すなわち、従来の技術では、このような操作が必要になったときには、あいかわらず、もう片方の手によって操作する必要があった。

この問題を解決するためには、携帯端末装置の動きをより細かく判別して、必要となる多種類の操作をそれぞれの動きに対応付ける必要がある。また、定義される操作の内容によっては、動きの種類のみならず、動きの量を検出する必要性が生じる場合もある。すなわち、判別すべき動きの種類が増加することにより、動きの検出精度も向上させる必要がある。

ところが、特許文献１に記載されている技術のように、操作者の顔の画像により携帯端末装置の動きを検出しようとしても、操作者の顔が携帯端末装置の動きに追随して動く場合には、正確に携帯端末装置の動きを検出できないという問題があった。また、特許文献２に記載されているように、加速度センサを用いる場合、電車やバス、エレベーターといった乗り物に乗車している状況では、携帯端末装置１の動き以外に起因する加速度変化を検出してしまうという問題があった。

本発明は、上記課題に鑑みてなされたものであり、携帯端末装置を保持した状態において、当該保持した手でより細かな操作が可能なユーザインタフェースを提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、操作者によって操作される携帯端末装置であって、周囲を撮像した画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記携帯端末装置の動きを検出する検出手段と、前記検出手段により検出された前記携帯端末装置の動きに応じて、前記操作者による操作を特定する操作解析手段とを備える。

また、請求項２の発明は、請求項１の発明に係る携帯端末装置であって、前記検出手段は、前記画像取得手段により取得された画像データから前記操作者以外の人物を表現した人物データを除いた部分である検出対象データに基づいて、前記携帯端末装置の動きを検出する。

また、請求項３の発明は、請求項１または２の発明に係る携帯端末装置であって、前記検出手段は、前記携帯端末装置の動きの前後における検出対象データに基づいて各画素の移動量を検出する。

また、請求項４の発明は、請求項３の発明に係る携帯端末装置であって、前記検出手段は、前記各画素の移動量に基づいて、前記各画素の移動量ごとの画素数を求め、画素数が最も多い前記各画素の移動量に応じて、前記携帯端末装置の動きを検出する。

また、請求項５の発明は、請求項３または４の発明に係る携帯端末装置であって、前記検出手段は、前記各画素の移動量に応じて、前記携帯端末装置の動きにおける移動量を検出し、前記操作解析手段は、前記検出手段により検出された前記携帯端末装置の動きにおける移動量に応じて、前記操作者による操作量を特定する。

また、請求項６の発明は、請求項５の発明に係る携帯端末装置であって、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を推定する距離推定手段をさらに備える。

また、請求項７の発明は、請求項６の発明に係る携帯端末装置であって、前記距離推定手段は、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を測定する測距センサである。

また、請求項８の発明は、請求項６または７の発明に係る携帯端末装置であって、前記画像取得手段は、三次元センサであり、前記距離推定手段は、前記三次元センサにより取得される距離データに応じて、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を推定する。

また、請求項９の発明は、請求項６ないし８のいずれかの発明に係る携帯端末装置であって、前記距離推定手段は、特徴量に応じて、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を推定する。

また、請求項１０の発明は、請求項１ないし９のいずれかの発明に係る携帯端末装置であって、前記検出手段は、前記携帯端末装置の動きにおける回転を検出し、前記操作解析手段は、前記検出手段により検出された回転に応じて、前記操作者による操作を特定する。

また、請求項１１の発明は、請求項１ないし１０のいずれかの発明に係る携帯端末装置であって、前記操作者に対して情報を表示する表示手段と、前記操作解析手段により特定された前記操作者による操作に応じて、前記表示手段を制御する表示制御手段とをさらに備える。

また、請求項１２の発明は、コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、周囲を撮像した画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データから前記コンピュータを操作する操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記コンピュータの動きを検出する検出手段と、前記検出手段により検出された前記コンピュータの動きに応じて、前記操作者による操作を特定する操作解析手段とを備える携帯端末装置として機能させる。

また、請求項１３の発明は、携帯端末装置において操作者による指示を前記携帯端末装置に入力する入力方法であって、周囲を撮像した画像データを取得する工程と、取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記携帯端末装置の動きを検出する工程と、検出された前記携帯端末装置の動きに応じて、前記操作者による操作を特定する工程とを有する。

請求項１ないし１３に記載の発明は、周囲を撮像した画像データを取得し、取得された画像データから操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、携帯端末装置の動きを検出し、検出された携帯端末装置の動きに応じて、操作者による操作を特定することにより、動きの検出精度が向上する。したがって、操作の誤検出が減少し、応答精度が向上する。

第１の実施の形態における携帯端末装置の外観を例示する図である。 第１の実施の形態における携帯端末装置のブロック図である。 第１の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 携帯端末装置の操作モードにおける動作を例示する流れ図である。 携帯端末装置の動きの中で、回転が加わる一例を示す図である。 携帯端末装置の動きの中で、回転が加わる別の一例を示す図である。 携帯端末装置におけるアプリケーションの例を示す図である。 携帯端末装置におけるアプリケーションの例を示す図である。 携帯端末装置におけるアプリケーションの例を示す図である。 第２の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 変換倍率αを決定する原理を説明する図である。 第３の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 第４の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

＜１． 第１の実施の形態＞
図１は、第１の実施の形態における携帯端末装置１の外観を例示する図である。また、図２は、第１の実施の形態における携帯端末装置１のブロック図である。図１に示すように、携帯端末装置１は、操作者によって携帯される装置であり、操作者によって操作される。

携帯端末装置１は、各種情報を処理しつつ携帯端末装置１の各構成を制御するＣＰＵ１０、ＣＰＵ１０によって実行されるプログラム１１０を格納するＲＯＭ１１、および、ＣＰＵ１０の一時的なワーキングエリアとして使用されるＲＡＭ１２を備えている。このように、携帯端末装置１は、一般的なコンピュータとしての構成を有している。ＣＰＵ１０の動作および機能については、後述する。

また、携帯端末装置１は、操作部１３、表示部１４、撮像部１５、および、画像信号処理部１６を備えている。

操作部１３は、操作者によって操作されるボタン類やキー、スイッチなどである。操作部１３は、携帯端末装置１の電源を投入する電源ボタンなどを備えている。また、操作部１３は、後述する表示部１４の表面を構成するタッチパネルを備えており、操作者が表示部１４の画面（すなわちタッチパネル）に触れることにより、指示を入力することが可能となっている。

表示部１４は、操作者に対して各種の情報を表示する。表示部１４としては、例えば、液晶パネルやランプ、ＬＥＤなどが該当する。

撮像部１５は、詳細は図示しないが、レンズなどの光学素子と、ＣＣＤなどの光電変換素子とを備えている。撮像部１５は、レンズから入射した光をデジタル電気信号に変換して画像信号処理部１６に伝達する機能を有している。なお、第１の実施の形態における撮像部１５は、市場に広く流通しているいわゆるデジタルカメラを構成しており、ある瞬間におけるカラー写真（映像）を撮像する機能を有しているが、本発明を実施するためには、カラー写真のように人間の目によって被写体を認識する画像を撮像する機能までは必要ない。すなわち、被写体と携帯端末装置１との相対的な距離や向きの変化を被写体から照射される光（可視光線とは限らない。）を捉えることにより検出できれば充分であり、例えば、赤外線カメラのようなものでもよい。

画像信号処理部１６は、撮像部１５から入力される画像を表現した電気信号を処理して、所定のフォーマットを有する画像データ１６０に変換するハードウェアである。すなわち、画像データ１６０は、直接的には画像信号処理部１６によって作成されるデータではあるが、撮像部１５によって撮像されたデータでもある。すなわち、携帯端末装置１では、撮像部１５および画像信号処理部１６が、周囲を撮像した画像データ１６０を取得する画像取得手段としての機能を有している。

なお、以下の説明において、画像データ１６０に含まれる被写体のうち、操作者以外の部分を「背景」と称する。すなわち、「背景」には、操作者以外の人物が含まれる場合がある。また、画像データ１６０において被写体としての操作者が含まれていない場合、当該画像データ１６０は背景のみの画像データ１６０である。また、被写体における「操作者」とは、特に断らない限り、操作者本人の身体のみならず、操作者が身に付けている物体も含むものとして説明する。例えば、操作者が帽子を着用している場合には、当該帽子は被写体としての「操作者」であり、背景ではないものとする。

詳細は後述するが、本実施の形態における携帯端末装置１は、操作者が携帯端末装置１を移動または回転させたときに、当該移動または回転における移動方向、移動量、回転方向および回転量を「操作（携帯端末装置１に対する何らかの指示を入力する操作）」と認識する。さらに、携帯端末装置１は、自機の移動または回転を、撮像部１５および画像信号処理部１６によって取得された画像データ１６０に基づいて検出する。加速度センサや回転センサによって動きを検出する従来の技術では、操作者が携帯端末装置１を乗り物内で使用している場合に、乗り物の動きによって誤検出を生じる。しかし、画像データ１６０に基づいて自機の移動または回転を検出するのであれば、このような問題は生じない。

図３は、第１の実施の形態における携帯端末装置１が備える機能ブロックをデータの流れとともに示す図である。図３に示すデータ作成部１００、検出部１０１、操作解析部１０２および表示制御部１０３は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

データ作成部１００は、画像データ１６０を解析して、撮像されている被写体の特徴を抽出し、検出対象データ１２１、顔部データ１２２および人物データ１２３を作成する。

データ作成部１００は、画像データ１６０において操作者が撮像されている場合には、操作者を表現した部分（画像データ１６０の一部分）に基づいて顔部データ１２２を作成する。そして、画像データ１６０において顔部データ１２２を除外した部分を検出対象データ１２１とする。言い換えれば、検出対象データ１２１は、被写体として背景のみを含むデータとなる。すなわち、データ作成部１００は、画像データ１６０に操作者の顔を表現した部分が含まれている場合、当該画像データ１６０から少なくとも当該操作者の顔を表現した部分を除いて検出対象データ１２１を作成する。

携帯端末装置１が移動または回転した場合において、操作者の顔は、当該携帯端末装置１（表示部１４）を注視し続けるために、当該携帯端末装置１の動きに応じて、動いてしまうことが懸念される。より詳細に言えば、操作者が携帯端末装置１の表示部１４を視認するときには、当該操作者にとって見やすい相対位置関係（操作者の顔と携帯端末装置１との相対位置関係）が存在し、携帯端末装置１を動かしたときには、その動きに応じて、当該相対位置が変化しないように、無意識に自身の顔を動かしてしまうことが考えられる。もちろん、「操作時に、顔を動かさないこと」と定義することも可能であるが、それでは操作性が低下し、使いやすいユーザインターフェースとは言えない。そして、当該相対位置関係が変化しない場合、携帯端末装置１の動きの前後において、画像データ１６０における操作者の顔の位置は移動しない。

したがって、携帯端末装置１の動きの前後で取得された画像データ１６０において、操作者の顔が動いていても（あるいは静止していても）、それが携帯端末装置１の動きのみを反映した結果であるか、携帯端末装置１の動きに追随して操作者の顔が動いた結果をも含んでいるのかが判断できないという問題がある。すなわち、携帯端末装置１の動きを検出しようとする場合において、特開２０１１−２５８１９１号公報に記載されている技術のように、撮像された操作者の顔を基準にすると、検出精度が低下する。

また、被写体としての操作者のうち顔以外の部分は、当然のことながら「背景」ではない。また、被写体としての操作者のうち顔以外の部分は、操作者の顔と同様に、画像データ１６０に含まれる被写体の中で、携帯端末装置１の移動および回転とは独立して動く可能性の高い被写体である。携帯端末装置１の動きと独立して動いている被写体の動きに応じて携帯端末装置１の動きを検出しようとすると検出精度が低下する。したがって、本実施の形態における携帯端末装置１は、操作者の顔とともに操作者全体を画像データ１６０から除外して、被写体としての操作者を含まない検出対象データ１２１を作成する。

しかし、詳細は後述するが、通常、操作者が携帯端末装置１を使用しているときにおいて、当該操作者の顔以外の部分（例えば胴体部分）は動きが少なく、後の処理における影響が少ないとみなせる場合もある。したがって、そのような場合には、当該操作者の顔以外の部分を検出対象データ１２１に残しておいてもよい。すなわち、検出対象データ１２１は、画像データ１６０から操作者の少なくとも顔の部分を除いた部分を表現したデータであればよい。

また、データ作成部１００は、画像データ１６０に操作者以外の人物が撮像されている場合には、当該人物を表現した部分（画像データ１６０の一部分）に基づいて人物データ１２３を作成する。より具体的には、上述のように、画像データ１６０から顔部データ１２２を除外し、残りの部分に人物とみなせる被写体が含まれている場合は、当該人物とみなせる被写体部分を抽出して人物データ１２３とする。そして、画像データ１６０において人物データ１２３を除外した部分を検出対象データ１２１とする。したがって、本実施の形態における検出対象データ１２１は、人物の部分を除いた部分を表現したデータとなる。

検出部１０１は、画像データ１６０から少なくとも顔部データ１２２を除いた部分（本実施の形態では、さらに人物データ１２３を除いた部分）である検出対象データ１２１に基づいて、携帯端末装置１の動きを検出する。より詳細には、携帯端末装置１の動きにおける移動方向、移動量、回転方向および回転量を検出する機能を有している。ただし、本実施の形態における検出部１０１は、顔部データ１２２も携帯端末装置１の動きの検出に使用する。

また、検出部１０１は、検出した移動方向および移動量に基づいて移動データ１２６を作成するとともに、検出した回転方向および回転量に基づいて回転データ１２７を作成する。言い換えれば、検出部１０１は、操作者が携帯端末装置１自体をどのように動かしたかを検出する機能を有している。

操作解析部１０２は、検出部１０１により検出された携帯端末装置１の動きに応じて、操作者による操作を特定する。より詳細には、操作解析部１０２は、検出部１０１により検出された携帯端末装置１の動きにおける移動量（移動データ１２６）に応じて、操作者による操作量を特定する。また、操作解析部１０２は、検出部１０１により検出された回転（回転データ１２７）に応じて、操作者による操作を特定する機能も有する。また、操作解析部１０２は、操作部１３から伝達される電気信号を解析して、操作者による操作を特定する機能も有している。さらに、操作解析部１０２は、特定した操作を表現した操作データ１２９を作成する。

表示制御部１０３は、操作データ１２９（より詳細には、操作データ１２９のうち、表示部１４に関わる情報）に従って表示部１４を制御する。すなわち、操作解析部１０２により特定された操作者による操作に応じて、表示部１４を制御する。これにより、操作者は、意図したとおりに、少なくとも表示部１４に表示されている情報（画面）を操作することができる。

以上が、第１の実施の形態における携帯端末装置１の構成および機能の説明である。次に、携帯端末装置１に対する情報（操作データ１２９）の入力方法について説明する。

図４は、携帯端末装置１の操作モードにおける動作を例示する流れ図である。操作モードとは、本発明に係る入力方法により、携帯端末装置１が操作者の操作を受け付けることが可能とされる動作モードである。

なお、図４に示す各工程が実行される前に、携帯端末装置１において操作モードが選択されているものとする。また、操作モードの選択は、操作者によるキー操作やタッチパネル操作などにより直接的に選択されてもよいし、特定のアプリケーションが起動されたときなどに自動的に選択されてもよい。また、特に断らない限り、図４に示す各工程は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される。

操作モードが開始されると、ＣＰＵ１０は、撮像タイミングが到来しているか否か（ステップＳ１）、入力操作があったか否か（ステップＳ７）、および、操作モードを終了するか否か（ステップＳ１０）を監視する状態となる。以下、この状態を監視状態と称する。

監視状態において、撮像タイミングが到来している場合（ステップＳ１においてＹｅｓ。）、撮像部１５が撮像を行い（ステップＳ２）電気信号を画像信号処理部１６に伝達する。次に、画像信号処理部１６が画像データ１６０を作成する（ステップＳ３）。これにより、ＲＡＭ１２に新たな画像データ１６０が記憶される。

新たな画像データ１６０がＲＡＭに記憶されると、データ作成部１００が、新たに作成された画像データ１６０に対して画像解析による特徴抽出を実行し（ステップＳ４）、検出対象データ１２１、顔部データ１２２、および、人物データ１２３を作成する（ステップＳ５）。これにより、被写体としての操作者を表現した部分および操作者以外の人物を表現した部分を除いた検出対象データ１２１が新たに作成される。なお、画像データ１６０に、被写体としての操作者や操作者以外の人物が含まれていない場合には、画像データ１６０はそのまま検出対象データ１２１となる。

新たに検出対象データ１２１が作成されると、検出部１０１は、前回ステップＳ５が実行されたときに作成された検出対象データ１２１と、今回作成された検出対象データ１２１とを比較することにより、その間の携帯端末装置１の動きを検出する（ステップＳ６）。なお、以下では、比較される２つの検出対象データ１２１のうち、先に作成された検出対象データ１２１を「前の検出対象データ１２１」と称し、後に作成された検出対象データ１２１を「後の検出対象データ１２１」と称する。

ここで、検出部１０１が携帯端末装置１の動きを検出する原理について説明する。

検出部１０１は、携帯端末装置１の動きの前後における検出対象データ１２１に基づいて各画素（ピクセル）の移動量を検出する。より詳細には、前の検出対象データ１２１と後の検出対象データ１２１とを比較して、各画素の移動ベクトル（移動量だけでなく移動方向も含まれる。）を求める。すなわち、検出対象データ１２１における被写体の移動ベクトルを求める。

なお、必ずしも全画素について検出対象データ１２１から移動ベクトルを求める必要はない。複数の画素について、代表する画素の移動ベクトルを求めてもよい。例えば、隣接する４つ（２個×２個）の画素の中の１つの画素についてのみ検出対象データ１２１から移動ベクトルを求め、当該移動ベクトルをこれら４つの画素に共通の移動ベクトルとしてもよい。

次に、検出部１０１は、検出された各画素の移動ベクトルに基づいて、逆に、同じ移動ベクトルとなっている画素の総数を各移動ベクトルごとに求め、画素数が最も多い移動ベクトルを特定する。すなわち、検出部１０１は、前の検出対象データ１２１と後の検出対象データ１２１において、同じ動きをしている最も広い領域（最も画素数の多い被写体）の移動ベクトルを特定する。以下、このようにして求めた移動ベクトルを「最多移動ベクトル」と称する。

画像データ１６０に基づいて携帯端末装置１の動きを検出するためには、画像データ１６０に含まれる被写体の中で、携帯端末装置１の動きと独立して動く被写体を検出対象から除外することが好ましい。携帯端末装置１の動きと独立して動く物体は携帯端末装置１の動きのみを反映しないからである。そして、本実施の形態においては、そのために、顔部データ１２２および人物データ１２３を除外している。しかし、このような被写体がデータ作成部１００によって完全に除外できるとは限らない。また、人物以外にも、携帯端末装置１の動きとは独立して動く物体が被写体として背景に映り込んでいることも予想される。

しかし、このような物体は、移動しない物体（携帯端末装置１の動きを検出するための指標として最適な物体）に比べれば、画像データ１６０に占める領域としては小さな領域となっていることが多いと考えられる。背景に含まれる被写体の多くは動かない物体であると考えられるためである。したがって、いくつかの移動ベクトルが検出されたときには、上記のとおり、画素による、いわば多数決を導入することにより、携帯端末装置１の動きと独立して移動する少物体（被写体）の影響を抑えることができる。なお、完全に同じ移動ベクトルごとの画素数を求めるのではなく、多少の幅を持たせてもよい。すなわち、同じ動きをしているとみなせる範囲を設けて、それぞれの画素数をカウントしてもよい。

さらに、例えば、無地の壁などが背景において広い領域を占める被写体として含まれている場合、実際には携帯端末装置１の動きに応じて背景が移動していたとしても、検出対象データ１２１から検出される最多移動ベクトルにおける移動量がほとんど「０」となる場合がある。このような場合、操作者が正常に携帯端末装置１を動かしたにもかかわらず、検出部１０１が移動量を「０」と誤認し、意図した操作が受け付けられないことになる。

そこで、最多移動ベクトルが求まると、検出部１０１は、最多移動ベクトルにおける移動量が閾値以下か否かを判定し、最多移動ベクトルで移動している被写体が実際に移動していると言えるレベルか否かを判定する。そして、当該被写体が移動していないと判定されると、検出部１０１は、先述のような誤認が発生する状況か否かを確認するために、当該被写体が無地で濃淡の少ない被写体であるか否かをさらに判定する。当該判定は、例えば、最多移動ベクトルで移動した画素（当該被写体を表現している画素）について、エッジ強度を求め、閾値と比較し、当該エッジ強度が閾値以下である場合には、当該被写体が無地で濃淡の少ない被写体であるとみなすことにより判定できる。

当該被写体が無地で濃淡の少ない被写体であると判定された場合、検出部１０１は、検出した最多移動ベクトルを破棄し、次点の移動ベクトル（次に画素数の多い移動ベクトル）を新たに最多移動ベクトルとして特定する。なお、次点以下の移動ベクトルを最多移動ベクトルとして特定した場合も、検出部１０１は、上記の判定を行い、最多移動ベクトルとして採用すべきか否かを判定する。

このように、携帯端末装置１は、無地の壁などの濃淡の少ない被写体が背景において広い領域を占めている場合、他の部分（例えば、当該壁のシミやキズ、小さな模様あるいは当該壁の前に存在する電柱など）を動き検出の対象に変更する。これにより、背景の移動ベクトルとして正しい移動ベクトルを求めることができるため検出精度が向上する。したがって、携帯端末装置１の操作性が向上する。

ここまでに説明したように、検出部１０１は、背景（検出対象データ１２１）において、同じ動きをする最も広い領域（ただし、無地で濃淡の少ない動きの小さな被写体を除く。）の動きに応じて最多移動ベクトルを決定する。

このようにして求まる最多移動ベクトルは、画像データ１６０における移動ベクトルであるので、二次元の移動ベクトルである。しかしながら、実際の携帯端末装置１の動きは三次元の移動ベクトルと回転ベクトルを含むものである。本実施の形態では、アプリケーションが要求する操作として、二次元の移動ベクトルと回転ベクトルで充分な場合について説明する。

検出部１０１は、求めた最多移動ベクトルの逆ベクトルの方向を、携帯端末装置１の動きにおける移動方向とする。また、検出部１０１は、最多移動ベクトルにおける移動量に応じて、携帯端末装置１の動きにおける移動量を検出する。最多移動ベクトルにおける移動量を「Ｐ[画素数]」、変換倍率を「α[mm/画素数]」とすると、携帯端末装置１の動きにおける移動量「Ｒ[mm]」は、Ｒ＝α×Ｐで求めることができる。ただし、変換倍率αは、被写体（最多移動ベクトルで移動した被写体）と携帯端末装置１との相対距離に応じて変化するが、本実施の形態では一定値（初期値）を用いる。変換倍率αとして一定値を用いることができる理由については後述する。

図５は、携帯端末装置１の動きの中で、回転が加わる一例を示す図である。なお、携帯端末装置１と操作者との対向する方向をＺ軸方向と定義し、操作者に向かう方向をＺ軸の「正方向」と定義する。また、図５において実線で示す位置は動く前の位置であり、破線で示す位置は動いた後の位置である。

図５に示すように、携帯端末装置１を動かしたときにおいて、操作者の頭部（顔部）は、携帯端末装置１を注視するために回転している。このような場合、携帯端末装置１との相対的な位置関係は変化しない。しかし、背景を構成する被写体（静止している被写体）は、画像データ１６０において移動する。

したがって、検出部１０１は、最多移動ベクトルにおける移動量が閾値以上であり、携帯端末装置１が動いたとみなせる場合には、さらに顔部データ１２２において操作者の顔が移動しているか否かを判定する。

操作者の顔が移動していない場合は、検出部１０１は、携帯端末装置１の動きは操作者を略中心とした回転移動（図５に示す動き）であるとみなす。最多移動ベクトルにおける移動方向に応じて回転方向を特定するとともに、最多移動ベクトルにおける移動量に応じて回転量を求める。すなわち、回転による補正を行う。厳密には、このような補正を行うには回転半径が必要となるが、人が携帯端末装置１を保持した状態において携帯端末装置１と人の顔とのおよその距離（回転半径：１０ないし５０［cm］の範囲内であり、より多くの場合、２０ないし３０［cm］の範囲内である。）は推定可能である。なお、ここにいう「操作者の顔が移動していない」とは、操作者の顔の中心部がほぼ動いていないという状態も含む意味である。

操作者の顔が移動している場合は、検出部１０１は、携帯端末装置１の動きがＺ軸に垂直な面内における動きであるとみなす。すなわち、回転方向はなく、回転量は「０」であるとみなす（回転角が「０」）。

なお、図５に示す動きと、Ｚ軸に垂直な面内における動きとが複合する場合もある。これらを操作としてそれぞれ見分ける必要がある場合には、顔部データ１２２における操作者の画素数をカウントしてＺ軸方向の相対距離の変化を検出するとともに、最多移動ベクトルにおける移動量と顔部データ１２２における操作者の移動ベクトルとの差に基づいて演算することにより、携帯端末装置１の移動ベクトルおよび回転ベクトルを求めることができる。

図６は、携帯端末装置１の動きの中で、回転が加わる別の一例を示す図である。図６に示す動きは、Ｚ軸に対して垂直な軸を中心軸として、携帯端末装置１がその場で回転する動きである。

図６に示すような動きであった場合、携帯端末装置１（撮像部１５）の向きが瞬時に大きく変化するため、最多移動ベクトルにおける移動量は比較的大きな値となる。したがって、検出部１０１は、最多移動ベクトルにおける移動量を閾値（動きがあったか否かを判定するときの閾値よりも大きな値の閾値）と比較する。そして、最多移動ベクトルが非常に大きな値として検出されている場合には、さらに顔部データ１２２において操作者の顔が大きく移動し、かつ、Ｚ軸方向の相対距離の変化が小さいか否かを判定する。このような判定を行うことにより、検出部１０１は、携帯端末装置１の動きとして、図６に示すような動きも検出可能である。なお、図６に示すような携帯端末装置１の動きによれば、操作者の顔が撮像部１５の撮像範囲から外れ、画像データ１６０において顔部データ１２２に相当する部分が存在しないことも起こり得る。この場合も、操作者の顔が大きく移動したものと判定してよい。

以上のような原理により、検出部１０１は、ステップＳ６において、携帯端末装置１の動きを検出して、移動データ１２６および回転データ１２７を作成する。なお、ステップＳ６において、携帯端末装置１の動きが検出されなかったとき、検出部１０１は、携帯端末装置１が静止しているものとみなして、移動データ１２６および回転データ１２７を作成しない。また、図５および図６には示していないが、携帯端末装置１は、Ｚ軸を中心として回転する場合もある。しかし、このときの動きは、顔部データ１２２を用いて、特開２０１１−２５８１９号公報に記載の技術を用いれば検出可能である。

図４に戻って、操作モード中の監視状態において携帯端末装置１に対して入力操作がされると、ＣＰＵ１０はステップＳ７においてＹｅｓと判定する。ステップＳ７においてＹｅｓと判定する場合とは、操作部１３（キーやボタン、タッチパネルなど）が操作された場合のみならず、携帯端末装置１の動きが検出された場合（移動データ１２６および回転データ１２７が新たに作成された場合）である。

ステップＳ７においてＹｅｓと判定されると、操作解析部１０２が、新たに作成された移動データ１２６、回転データ１２７あるいは操作部１３からの電気信号に応じて、操作者が意図する操作を特定する（ステップＳ８）。

操作解析部１０２は、携帯端末装置１の動き（移動データ１２６および回転データ１２７によって示されている。）から、予め操作モードにおいて受け付けるように定義されている動きのパターンを検出し、検出した動きのパターンに対応付けられている「操作（指示もしくは命令）」を特定する。

また、操作量（何らかの数値、例えば、ボリュームや表示倍率、移動させる画素数等）が必要な操作である場合は、移動量または回転量からこれらの数値を決定する。例えば、移動ベクトル中の移動量Ｒ、および、変換倍率βとすると、操作量Ｖ（単位は制御対象によって様々）は、Ｖ＝β×Ｒで求めることができる。

なお、操作部１３からの電気信号に応じて操作を特定する手法は従来技術であるため、説明は省略する。また、操作解析部１０２は、ステップＳ８において、特定した操作を示す操作データ１２９を作成する。

操作解析部１０２によって操作（場合によっては操作量を含む。）が特定されると、携帯端末装置１は、操作データ１２９に応じて、ステップＳ８において特定された操作に従って当該操作を実行する（ステップＳ９）。このとき、表示部１４における表示を変更する指示がされていれば、表示制御部１０３が表示部１４の表示を変更するように制御する。

このように、携帯端末装置１における操作モードにおいては、操作者が携帯端末装置１を手で保持しつつ、当該携帯端末装置１の位置を移動させる（動かす）ことによって、所望の指示を入力する操作が可能となっている。すなわち、携帯端末装置１において、当該携帯端末装置１の位置の移動による指示入力というユーザインタフェース（マンマシンインタフェース）が提供されている。

ステップＳ９において操作モードの終了が実行される場合には、ステップＳ１０においてＹｅｓと判定され、携帯端末装置１は操作モードを終了する。

次に、上記ユーザインタフェースを使ったアプリケーションの一例を示すことにより、携帯端末装置１の動き（動かし方）による、携帯端末装置１の操作の具体例を説明する。

図７ないし図９は、携帯端末装置１におけるアプリケーションの例を示す図である。紙面９は、仮想的な紙面であり、本実施の形態においては日本地図である。紙面９において破線で示す部分は、仮想的な紙面９のうち、表示部１４における表示対象となっていない部分である。

図７に示すように、「大阪」を閲覧していた操作者が、「青森」を閲覧したいと所望した場合、携帯端末装置１を図７において右上方向（紙面９において青森が存在する方向）に動かす。これにより、図８に示す位置に携帯端末装置１が移動する。このときの携帯端末装置１の動き（移動方向および移動量）を検出部１０１が検出することにより、「画像切替（スライド）操作」が特定、実行されて、表示部１４に表示されている部分が、図８に示すように、「青森」周辺に変化する。

なお、図７に示す状態から図８に示す状態に移動させたにも関わらず、「青森」周辺が表示されない場合がある。それは、変換倍率α，βが適切ではなく、最多移動ベクトルにおける移動量が適切な操作量に変換されていない場合である。このような場合、操作者は、表示部１４に表示されているスライダー１４０を指で操作する。例えば、携帯端末装置１の移動量に比べて、紙面９上の移動量が小さく違和感がある場合、操作者はスライダー１４０を拡大方向（例えば右方向）に指でなぞる操作を行う。

このように、第１の実施の形態における携帯端末装置１では、タッチパネルを用いたスライダー１４０によって変換倍率α，βを調整可能に構成している。したがって、変換倍率α，βの初期値が不適切であり、スライダー１４０による調整が必要なときだけは操作者の両手がふさがることになるが、被写体と携帯端末装置１との距離が不明であっても、一度の調整で、その後は保持した手だけで紙面９を自由に閲覧できる。

次に、操作者が携帯端末装置１を操作者に近づけた場合（＋Ｚ軸方向に移動させた場合）、図９に示すように、携帯端末装置１は、＋Ｚ方向の移動量に応じて、表示部１４に表示される画像を縮小する。これにより、携帯端末装置１を顔に近づける操作により、紙面９を俯瞰することができる。逆に、−Ｚ方向に動いた場合は、−Ｚ方向の移動量に応じて、表示部１４に表示される画像を拡大し、スポットを当てることができる。

Ｚ軸方向の移動量に応じた画像の変換倍率γ（拡大率および縮小率）は、検出対象データ１２１に基づいて、例えば、次のようにして決定することができる。

まず、前の検出対象データ１２１の画像上における２つの画素を決定するとともに、当該２つの画素の画像上の距離Ｄ₁を求める。次に、当該２つの画素によって表現されていた被写体の部分に相当するそれぞれの画素を後の検出対象データ１２１において特定する。次に、後の検出対象データ１２１において特定された２つの画素の画像上の距離Ｄ₂を求める。さらに、変換倍率γを、γ＝ａ×（Ｄ₁／Ｄ₂）として求める。

なお、「ａ」は携帯端末装置１のＺ軸方向の移動を表示部１４における画像の変換倍率γにどの程度反映させるかを決定するための数値であって、予め実験等で求めておくことができる。「ａ」が適当でなく、操作者が閲覧したときに違和感がある場合には、スライダー１４０によって操作者が独自に調整可能としてもよい。

また、Ｚ軸方向の移動量に応じた画像の変換倍率γは、操作者の顔のサイズの変化によって、決定することもできる。例えば、携帯端末装置１の動きの前後において、顔部データ１２２の画素数の変化により変換倍率γを決定してもよい。

また、逆に、例えば、＋Ｚ方向の移動を「拡大」と定義し、−Ｚ方向の移動を「縮小」と定義してもよい。このように定義すると、携帯端末装置１のＺ軸方向の移動により、仮想的な紙面９のＺ軸方向の位置が変化するかのように表示がされることになる。すなわち、携帯端末装置１の動きをどのような「操作」として定義するかは、アプリケーションにおける設計事項である。

図７ないし図９には図示していないが、ここに示す例では、携帯端末装置１をその場で回転（図６に示す動き）させると、「ページめくり操作」とする。例えば、携帯端末装置１の図７における右側を＋Ｚ軸方向に動かす回転を、「右ページめくり」、携帯端末装置１の図７における左側を＋Ｚ軸方向に動かす回転を、「左ページめくり」と定義すれば、ページをめくる操作も保持した手のみで行うことができる。なお、このようなページめくり操作を行った場合、そのままでは表示部１４の画面が傾いて閲覧しにくいため、直後に逆向きの操作がされることになる。したがって、逆向きの操作によってページがもとに戻らないように、携帯端末装置１は、当該逆向きの操作を無視する。ただし、一連の動きを一つのページめくり操作と定義してもよい。また、ページめくり操作は操作量が不要な操作であるので、移動量（回転量）は検出しなくてもよい。

以上のように、第１の実施の形態における携帯端末装置１は、周囲を撮像した画像データ１６０を取得する撮像部１５および画像信号処理部１６と、取得された画像データ１６０から操作者の顔を表現した顔部データ１２２を除いた部分である検出対象データ１２１に基づいて、携帯端末装置１の動きを検出する検出部１０１と、検出部１０１により検出された携帯端末装置１の動きに応じて、操作者による操作を特定する操作解析部１０２とを備える。これにより、操作者が乗り物内に居る場合などにおいて、加速度センサや回転センサで動きを検出する場合に比べて、動きの検出精度が向上する。したがって、操作の誤検出が減少し、応答精度が向上する。また、細かな動きを検出することにより、様々な操作を定義することができるので、操作性が向上する。

また、検出部１０１は、取得された画像データ１６０画像データから操作者以外の人物を表現した人物データを除いた部分である検出対象データ１２１に基づいて、携帯端末装置１の動きを検出する。携帯端末装置１と無関係に移動する人物を除外して、携帯端末装置１の動きを検出することができるので、画像データ１６０に人物が映り込んでいることによる検出（操作）精度の低下を抑制できる。

また、検出部１０１は、携帯端末装置１の動きの前後における検出対象データ１２１に基づいて各画素の移動量を検出する。そして、検出部１０１は、当該移動量に基づいて、当該移動量ごとの画素数を求め、画素数が最も多い移動量（最多移動ベクトルにおける移動量）に応じて、携帯端末装置１の動きを検出する。これにより、人物や車など、携帯端末装置１の動きと無関係に動く可能性のある被写体の影響を抑制できる。

また、検出部１０１は、各画素の移動量に応じて、携帯端末装置１の動きにおける移動量を検出し、操作解析部１０２は、検出部１０１により検出された携帯端末装置１の動きにおける移動量に応じて、操作者による操作量を特定する。これにより、量的な操作も可能となる。

また、検出部１０１は、携帯端末装置１の動きにおける回転を検出し、操作解析部１０１は、検出部１０１により検出された回転に応じて、操作者による操作を特定する。回転による操作も可能となるため、より細かい多様な指示が可能となる。

＜２． 第２の実施の形態＞
第１の実施の形態では、変換倍率αは、被写体（最多移動ベクトルで移動した被写体）と携帯端末装置１との距離に関係なく、一定値（初期値）を用いると説明した。そして、スライダー１４０によって調整することにより、違和感なく操作できるように構成すると説明した。

しかし、検出対象データ１２１に表現されている被写体（最多移動ベクトルで移動した被写体）と、携帯端末装置１との相対距離を推定して、当該相対距離に応じて変換倍率を決定してもよい。

図１０は、第２の実施の形態における携帯端末装置１ａが備える機能ブロックをデータの流れとともに示す図である。なお、以下の説明では、第２の実施の形態における携帯端末装置１ａにおいて、第１の実施の形態における携帯端末装置１と同様の構成については同符号を付し、適宜、説明を省略する。

第２の実施の形態における携帯端末装置１ａは、検出部１０１の代わりに検出部１０１ａを備えている点と、距離推定部１０４ａを新たに備えている点とが、第１の実施の形態における携帯端末装置１と異なっている。検出部１０１ａおよび距離推定部１０４ａは、いずれもＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

第２の実施の形態における検出部１０１ａは、携帯端末装置１の動きを検出する際に、最多移動ベクトルを決定した段階で、当該最多移動ベクトルで移動した被写体の画像を検出対象データ１２１から抽出して、距離推定部１０４ａに伝達する。

また、検出部１０１ａは、距離推定部１０４ａにより作成された距離データ１２４に応じて、変換倍率αを決定し、これに基づいて移動量Ｒを求める。

図１１は、変換倍率αを決定する原理を説明する図である。図１１に示すように、遠い被写体の場合は、携帯端末装置１の動きにおける移動量Ｒが同じでも、近い被写体の場合に比べて画素数Ｐは小さくなる。したがって、距離データ１２４に応じて、遠い被写体ほど変換倍率αの値が大きくなるように構成すれば、一定値を用いる場合に比べて移動量Ｒの精度が向上する。したがって、後に、操作者がスライダー１４０等によって、手動で調整する必要性が低下する。ただし、携帯端末装置１ａにおいても、スライダー１４０のような調整機能を備えている方が好ましい。

距離推定部１０４ａは、被写体（最多移動ベクトルで移動した被写体）の特徴量に応じて、検出対象データ１２１に表現されている当該被写体と、携帯端末装置１との相対距離を推定する。また、距離推定部１０４ａは、当該被写体の特徴を抽出するに際し、検出対象データ１２１を参照する。例えば、検出対象データ１２１により、操作者の存在する周囲の状況（車内、屋内、屋外など）を参照して、被写体が何であるか、どの程度操作者（携帯端末装置１）から離れている物体であるか等を推定する。

以上のように、第２の実施の形態における携帯端末装置１ａは、上記第１の実施の形態における携帯端末装置１と同様の効果を得ることができる。

また、携帯端末装置１ａは、検出対象データ１２１に表現されている被写体と、携帯端末装置１ａとの相対距離を推定する距離推定部１０４ａをさらに備えている。これにより、変換倍率αとして、一定値を用いる場合に比べて移動量Ｒの精度が向上する。したがって、後に、操作者がスライダー１４０等によって、手動で調整する必要性が低下し操作性が向上する。ただし、携帯端末装置１ａにおいても、スライダー１４０のような調整機能を備えている方が好ましい。

また、距離推定部１０４ａは、特徴量に応じて、検出対象データ１２１に表現されている被写体と、携帯端末装置１ａとの相対距離を推定する。このように、ソフトウェアで実現することによって、専用のハードウェア（電子回路）が不要となる。

＜３． 第３の実施の形態＞
第２の実施の形態では、特徴量によって被写体と携帯端末装置１ａとの相対距離を推定すると説明した。しかし、被写体と携帯端末装置１ａとの相対距離を推定する手法はこれに限定されるものではない。

図１２は、第３の実施の形態における携帯端末装置１ｂが備える機能ブロックをデータの流れとともに示す図である。なお、以下の説明では、第３の実施の形態における携帯端末装置１ｂにおいて、第２の実施の形態における携帯端末装置１ａと同様の構成については同符号を付し、適宜、説明を省略する。

図１２に破線で示すように、第３の実施の形態における携帯端末装置１ｂは、ハードウェアとしての測距センサ１７を備えている一方で、距離推定部１０４ａを備えていない点が、第２の実施の形態における携帯端末装置１ａと異なっている。

測距センサ１７は、検出対象データ１２１に表現されている被写体と、携帯端末装置１ｂとの相対距離を測定する。すなわち、第３の実施の形態においては、測距センサ１７が距離推定手段に相当する。測距センサ１７としては、従来の技術を適用できるため、詳細な説明を省略する。ただし、測距センサ１７を用いる場合には、検出対象データ１２１における被写体（最多移動ベクトルで移動した被写体）との距離を測定する必要がある。

そのための解決手法としては、検出部１０１ａが当該被写体の座標を測距センサ１７に伝達し、測距センサ１７が伝達された座標に存在する被写体との相対距離を測定することが考えられる。この場合、測距センサ１７は任意の座標に存在する被写体との相対距離を測定可能に構成されている必要がある。

あるいは、測距センサ１７が測定する被写体の座標を固定し、当該座標に存在する被写体の移動ベクトルを最多移動ベクトルと決定してもよい。その場合は、必ずしも最適な移動ベクトルが最多移動ベクトルとして特定されないために、精度が低下するおそれはあるが、コストは抑制できる。

以上のように、第３の実施の形態における携帯端末装置１ｂにおいても上記実施の形態と同様の効果を得ることができる。

なお、第３の実施の形態における携帯端末装置１ｂにおいて、第２の実施の形態における距離推定手段１０４ａを設けて、相補的に相対距離を推定してもよい。以下に説明する第４の実施の形態についても同様である。

＜４． 第４の実施の形態＞
被写体と携帯端末装置との相対距離を推定する手法は、第２および第３の実施の形態に記載した例に限定されるものではない。

図１３は、第４の実施の形態における携帯端末装置１ｃが備える機能ブロックをデータの流れとともに示す図である。なお、以下の説明では、第４の実施の形態における携帯端末装置１ｃにおいて、第２の実施の形態における携帯端末装置１ａと同様の構成については同符号を付し、適宜、説明を省略する。

第４の実施の形態における携帯端末装置１ｃは、撮像部１５および画像信号処理部１６の代わりに、撮像部１５ｃおよび画像信号処理部１６ｃを備える一方で、距離推定部１０４ａを備えていない点が、第２の実施の形態における携帯端末装置１ａと異なっている。

撮像部１５ｃおよび画像信号処理部１６ｃは、いわゆる三次元センサを構成しており、三次元の画像データ１６０を取得するとともに、三次元センサにより取得される距離に関する情報に応じて、検出対象データ１２１に表現されている被写体と、携帯端末装置１ｃとの相対距離を示す距離データ１２４を作成する。

なお、ここでは説明の都合上、画像信号処理部１６ｃが画像データ１６０と距離データ１２４とを別々に出力するかのように説明した。しかし、実際には、三次元の画像データ１６０に被写体との距離に関する情報（距離データ１２４）が含まれている。すなわち、本実施の形態では、画像データ１６０だけでなく、検出対象データ１２１、顔部データ１２２および人物データ１２３のいずれもが三次元のデータであり、それぞれが被写体との距離に関する情報を含んでいる。そして、検出部１０１ａが検出対象データ１２１において最多移動ベクトルで移動した被写体に関する距離の情報を、当該検出対象データ１２１から抽出することにより、当該被写体と携帯端末装置１ｃとの相対距離を推定する。

以上のように、第４の実施の形態における携帯端末装置１ｃにおいても上記実施の形態と同様の効果を得ることができる。

＜５． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。

また、上記実施の形態に示した機能ブロックは、ＣＰＵ１０がプログラム１１０に従って動作することによりソフトウェア的に実現されると説明したが、これらの機能ブロックのうちの一部または全部が専用の電子回路によってハードウェア的に実現されていてもよい。

また、説明の都合上、データ作成部１００が人物データ１２３を作成するとして説明した。しかし、例えば、第１の実施の形態における携帯端末装置１は、人物データ１２３を参照して携帯端末装置１の動きを検出することがないので、人物データ１２３は必ずしも必要のないデータである。したがって、人物データ１２３は作成されなくてもよい。すなわち、人物データ１２３に相当する部分が検出対象データ１２１において除外されていればよい。

また、携帯端末装置１の動きを検出するための検出対象データ１２１から人物データ１２３に相当する部分が予め除外されていなくてもよい。すでに説明したように、検出部１０１は、画素数による多数決によって最多移動ベクトルを特定する。操作者以外の人物は画像データ１６０において比較的小さい領域となるため、人物データ１２３が除外されていなくても、操作者以外の人物の動きが最多移動ベクトルとして特定されるおそれは少ない。

また、上記実施の形態では、データ作成部１００によって顔部データ１２２および人物データ１２３に相当する部分を画像データ１６０から除外して、検出対象データ１２１を作成すると説明したが、検出対象データ１２１は必ずしも作成されなくてもよい。例えば、顔部データ１２２および人物データ１２３に対応するマスクデータ（除外対象領域を示す情報）を作成し、当該マスクデータに基づいて画像データ１６０内のデータを検出対象データ１２１に相当する部分であるか否かを判定しつつ、移動方向、移動量、回転方向および回転量を検出してもよい。

また、上記実施の形態では、画像データ１６０に対して特徴抽出を実行することにより、操作者を表現した部分である顔部データ１２２を特定すると説明した。しかし、このような処理は画像データ１６０に対する特徴抽出以外の方法でも実現できる。通常、画像データ１６０において、操作者が映り込む位置はほぼ特定できるので、操作者が映り込んでいる蓋然性の高い部分を、実際に映り込んでいるか否かに関わらず、検出対象データ１２１から除外するように構成してもよい。あるいはニューラルネットを用いて特定することも可能である。

また、説明の都合上、操作解析部１０２が操作者の意図する操作を特定したときには、操作データ１２９を作成すると説明した。しかし、操作解析部１０２が操作者の意図する操作を特定したときには、操作データ１２９を作成するまでもなく、当該操作を意味する電気信号を生成して、直接、制御対象に伝達するように構成してもよい。

さらに、加速度センサや回転センサを設けて、検出部１０１，１０１ａによって検出される動きを補間するように構成してもよい。

１，１ａ，１ｂ，１ｃ 携帯端末装置
１０ ＣＰＵ
１００ データ作成部
１０１ 操作解析部
１０１，１０１ａ 検出部
１０２ 操作解析部
１０３ 表示制御部
１０４ａ 距離推定部
１１ ＲＯＭ
１１０ プログラム
１２ ＲＡＭ
１２１ 検出対象データ
１２２ 顔部データ
１２３ 人物データ
１２４ 距離データ
１２６ 移動データ
１２７ 回転データ
１２９ 操作データ
１３ 操作部
１４ 表示部
１４０ スライダー
１５，１５ｃ 撮像部
１６，１６ｃ 画像信号処理部
１６０ 画像データ
１７ 測距センサ
９ 紙面

Claims (13)

1. 操作者によって操作される携帯端末装置であって、
   周囲を撮像した画像データを取得する画像取得手段と、
   前記画像取得手段により取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記携帯端末装置の動きを検出する検出手段と、
   前記検出手段により検出された前記携帯端末装置の動きに応じて、前記操作者による操作を特定する操作解析手段と、
   を備える携帯端末装置。
2. 請求項１に記載の携帯端末装置であって、
   前記検出手段は、前記画像取得手段により取得された画像データから前記操作者以外の人物を表現した人物データを除いた部分である検出対象データに基づいて、前記携帯端末装置の動きを検出する携帯端末装置。
3. 請求項１または２に記載の携帯端末装置であって、
   前記検出手段は、前記携帯端末装置の動きの前後における検出対象データに基づいて各画素の移動量を検出する携帯端末装置。
4. 請求項３に記載の携帯端末装置であって、
   前記検出手段は、前記各画素の移動量に基づいて、前記各画素の移動量ごとの画素数を求め、画素数が最も多い前記各画素の移動量に応じて、前記携帯端末装置の動きを検出する携帯端末装置。
5. 請求項３または４に記載の携帯端末装置であって、
   前記検出手段は、前記各画素の移動量に応じて、前記携帯端末装置の動きにおける移動量を検出し、
   前記操作解析手段は、前記検出手段により検出された前記携帯端末装置の動きにおける移動量に応じて、前記操作者による操作量を特定する携帯端末装置。
6. 請求項５に記載の携帯端末装置であって、
   前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を推定する距離推定手段をさらに備える携帯端末装置。
7. 請求項６に記載の携帯端末装置であって、
   前記距離推定手段は、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を測定する測距センサである携帯端末装置。
8. 請求項６または７に記載の携帯端末装置であって、
   前記画像取得手段は、三次元センサであり、
   前記距離推定手段は、前記三次元センサにより取得される距離データに応じて、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を推定する携帯端末装置。
9. 請求項６ないし８のいずれかに記載の携帯端末装置であって、
   前記距離推定手段は、特徴量に応じて、前記検出対象データに表現されている被写体と、前記携帯端末装置との相対距離を推定する携帯端末装置。
10. 請求項１ないし９のいずれかに記載の携帯端末装置であって、
    前記検出手段は、前記携帯端末装置の動きにおける回転を検出し、
    前記操作解析手段は、前記検出手段により検出された回転に応じて、前記操作者による操作を特定する携帯端末装置。
11. 請求項１ないし１０のいずれかに記載の携帯端末装置であって、
    前記操作者に対して情報を表示する表示手段と、
    前記操作解析手段により特定された前記操作者による操作に応じて、前記表示手段を制御する表示制御手段と、
    をさらに備える携帯端末装置。
12. コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
    周囲を撮像した画像データを取得する画像取得手段と、
    前記画像取得手段により取得された画像データから前記コンピュータを操作する操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記コンピュータの動きを検出する検出手段と、
    前記検出手段により検出された前記コンピュータの動きに応じて、前記操作者による操作を特定する操作解析手段と、
    を備える携帯端末装置として機能させるプログラム。
13. 携帯端末装置において操作者による指示を前記携帯端末装置に入力する入力方法であって、
    周囲を撮像した画像データを取得する工程と、
    取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記携帯端末装置の動きを検出する工程と、
    検出された前記携帯端末装置の動きに応じて、前記操作者による操作を特定する工程と、
    を有する入力方法。

Images