JP6388203B2 - 電子機器 - Google Patents

Description

本発明は、所定の情報処理を行うことが可能な手持ち型の電子機器に関する。

従来より、ディスプレイを備える携帯型のゲーム装置が存在する（例えば、特許文献１）。このような従来のゲーム装置では、入力ボタン等を備え、入力ボタンに対する入力に基づいてゲーム処理が行われる。

特開２００６−２７１６６３号公報

しかしながら、上記従来の携帯型の装置では、ボタン等を用いて入力を行うものであり、多様な入力に基づいて所定の情報処理を行うという点において改善の余地があった。

それ故、本発明の目的の一つは、多様な入力を行うことが可能な電子機器を提供することである。

本発明では、上記の課題を解決するために、以下の構成を採用した。

一実施形態に係る手持ち型電子機器は、測距センサと、検出手段と、処理手段とを備える。検出手段は、前記測距センサからの情報に基づいて、物体の動きを検出する。処理手段は、前記検出手段による検出結果に基づいて、所定の情報処理を行う。

上記によれば、電子機器は、測距センサを用いて物体の動きを検出し、検出結果に基づいて所定の情報処理を行うことができる。

また、他の構成では、前記検出手段は、ユーザの一方の手の動きを検出してもよい。前記処理手段は、前記検出手段が検出したユーザの一方の手の動きに応じて、前記所定の情報処理を行う。

上記によれば、ユーザの一方の手の動きを検出して、当該検出結果に基づいて所定の情報処理を行うことができる。

また、他の構成では、少なくとも前記測距センサが設けられた部分とは異なる部分に、ユーザの他方の手によって把持される把持部が設けられてもよい。

上記によれば、一方の手で電子機器を把持し、他方の手の動きによって所定の情報処理を行わせることができる。

また、他の構成では、電子機器は、前記把持部と前記測距センサとの間に、前記所定の情報処理の結果を表示するディスプレイをさらに備えてもよい。

上記によれば、ユーザは一方の手で電子機器を把持し、他方の手の動きで所定の情報処理を行わせ、当該情報処理の結果を両手の間に位置するディスプレイで確認することができる。

また、他の構成では、前記電子機器は、カメラをさらに備え、前記検出手段は、前記カメラからの画像に基づいて物体を検出してもよい。

上記によれば、検出手段は測距センサを用いて物体の動きを検出することができるとともに、カメラを用いて物体（静止した物体、動作している物体の何れでもよい）を検出することができる。

また、他の構成では、前記カメラは前記測距センサの近傍に配置されてもよい。

また、他の構成では、前記カメラは、前記測距センサの検出方向と同じ方向を向いていてもよい。

上記によれば、カメラと測距センサとを備える手持ち型の電子機器を提供することができ、測距センサの検出方向と同じ方向の画像を取得することができる。

また、他の構成では、前記検出手段は、前記カメラからの画像に基づいて、ユーザのジェスチャを検出し、前記測距センサからの情報に基づいて、前記物体までの距離を検出してもよい。

上記によれば、カメラによってユーザのジェスチャを検出し、測距センサによって距離を検出することができ、これらの検出結果に基づいて所定の情報処理を行うことができる。

また、他の構成では、前記カメラは、赤外光を受光可能なカメラであってもよい。

上記によれば、赤外光を受光可能なカメラによって撮像された画像に基づいて特定の物体を検出することができる。赤外光を受光可能なカメラを用いることによって、通常の可視光の画像を撮像するカメラと比べて外部環境の影響を低減することができ、特定の物体の検出に適した画像を取得することができる。

また、他の構成では、前記測距センサは、前記手持ち型電子機器の側面に設けられてもよい。

上記によれば、電子機器は、側面方向に存在する物体の動きを検出し、検出結果に基づいて所定の情報処理を行うことができる。

また、他の構成では、前記処理手段は、前記所定の情報処理として、前記検出手段による検出結果に基づく所定の成否判定を行い、当該成否判定の結果に基づいてゲーム処理を行ってもよい。

上記によれば、電子機器は、上記検出結果に基づいてゲーム処理を行うことができる。

また、他の構成では、前記測距センサは、指向性を有するセンサであり、特定方向に存在する物体までの距離を検出してもよい。

上記によれば、特定方向の物体の距離を検出し、距離に基づいて所定の情報処理を行うことができる。

また、他の構成では、ユーザの入力を受け付ける入力部を更に備え、前記処理手段は、前記入力部において行われた入力にも基づいて、前記所定の情報処理を行ってもよい。

上記によれば、電子機器は入力部を備え、入力部に対する入力に応じて所定の情報処理を行うことができる。

また、他の構成では、音声を出力する音声出力部をさらに備えてもよい。

また、他の構成では、前記手持ち型電子機器は、ゲーム装置であってもよい。

また、他の実施形態に係る手持ち型電子機器は、測距センサと、カメラと、選択手段と、検出手段と、処理手段とを備える。選択手段は、前記測距センサおよび前記カメラのうちの少なくとも何れか一方を選択する。検出手段は、前記選択手段によって選択された前記測距センサ又は前記カメラからの情報に基づいて、物体を検出する。処理手段は、前記検出手段による検出結果に基づいて、所定の情報処理を行う。

上記によれば、手持ち型の電子機器は、測距センサとカメラとを備え、測距センサおよびカメラのうちの少なくとも一方を選択して物体を検出し、検出結果に基づいて所定の情報処理を行うことができる。これにより、例えば測距センサとカメラとを補完的に使用して物体を検出することができる。

また、他の構成では、前記処理手段は、複数種類のアプリケーションを実行可能であり、前記選択手段は、前記処理手段によって実行されるアプリケーションの種類に応じて、前記測距センサおよび前記カメラの何れか一方を選択してもよい。

上記によれば、アプリケーションの種類に応じて測距センサ又はカメラを選択することができる。

また、他の構成では、前記選択手段は、特定の物体を検出した結果を用いるアプリケーションが前記処理手段によって実行される場合、前記カメラを選択し、不特定の物体との距離を検出した結果を用いるアプリケーションが前記処理手段によって実行されるときには、前記測距センサを選択してもよい。

上記によれば、特定の物体（予め定められた物体）の検出結果を用いるアプリケーションが実行される場合はカメラを選択し、不特定の物体との距離の検出結果を用いるアプリケーションが実行される場合は測距センサを選択することができる。

また、他の構成では、前記処理手段は、所定のアプリケーションを実行可能であり、前記選択手段は、前記処理手段によって前記所定のアプリケーションが実行されている場合に、状況に応じて、前記測距センサおよび前記カメラの何れか一方を選択してもよい。

上記によれば、前記所定のアプリケーションが実行される場合に、状況に応じて、測距センサ又はカメラを選択することができる。例えば、電子機器は、物体の検出状況に応じて測距センサ又はカメラを選択してもよい。

また、他の構成では、前記検出手段は、前記カメラからの画像に基づいてユーザのジェスチャを検出するとともに、前記測距センサからの情報に基づいて前記ジェスチャが行われる特定の物体までの距離を検出してもよい。前記選択手段は、前記検出手段によってユーザのジェスチャを検出可能である場合、前記カメラを選択し、前記検出手段によってユーザのジェスチャを検出できない場合、前記測距センサを選択する。

上記によれば、電子機器は、カメラでジェスチャを検出できない場合であっても測距センサを用いて物体までの距離を検出し、検出結果に基づいて所定の情報処理を行うことができる。

また、他の構成では、前記選択手段は、前記測距センサ及び前記カメラの両方を選択し、前記処理手段は、前記測距センサによって検出された距離及び前記カメラによって撮像された画像に基づいて、前記所定の情報処理を行ってもよい。

上記によれば、電子機器は、測距センサおよびカメラの両方を用いて所定の情報処理を行うことができる。

他の実施形態に係る手持ち型電子機器は、ハウジングと、ディスプレイと、測距センサと、処理手段とを備える。ディスプレイは、前記ハウジングの正面に設けられる。測距センサは、前記ハウジングの一方の側面に設けられる。処理手段は、前記測距センサからの情報に基づいて、所定の情報処理を行う。

また、他の構成では、手持ち型電子機器は、前記測距センサが設けられた部分とは反対側に、ユーザによって把持される把持部が設けられてもよい。

上記によれば、ユーザが電子機器を片手で把持した場合に、把持した部分とは反対側の側面に測距センサが設けられる。電子機器は、測距センサからの情報に基づいて所定の情報処理を行うことができる。

本発明によれば、測距センサを用いて物体の動きを検出し、検出結果に応じて所定の情報処理を行うことができる。

本実施形態の携帯電子機器１の正面図 携帯電子機器１の右側面図 携帯電子機器１の背面図 携帯電子機器１の内部構成の一例を示すブロック図 携帯電子機器１の使用状態の一例を示す図であり、ユーザが携帯電子機器１を両手で把持したときの様子を示す図 ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図 ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図 図６Ａに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図 図６Ｂに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図 赤外線カメラ４の認識可能範囲を示す図 測距センサ５の認識可能範囲を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 図１０Ａに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図 図１０Ｂに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図 図１０Ｃに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図 図１０Ｄに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像される画像の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の他の例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の他の例を示す図 測距センサ５を用いた処理の一例を示す図 プロジェクタ８を用いてユーザのジェスチャ入力に応じた画像がユーザの手に投影される様子を示す図 左手で携帯電子機器１を把持しながら携帯電子機器１に対して右手で様々なジェスチャ入力を行う様子を示す図 携帯電子機器１において行われる処理の一例を示すフローチャート 赤外線カメラ４からの入力画像を用いた場合の図１６のステップＳ１２の所定の情報処理を示すフローチャート 測距センサ５からの検出情報に基づく処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャート 赤外線カメラ４および測距センサ５を用いた処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャート 携帯電子機器１において行われる処理の応用例を示す図 外側カメラ９と、赤外線カメラ４及び／又は測距センサ５とを用いた処理が行われた場合のディスプレイ２に表示される画像の一例を示す図 プロジェクタ８とディスプレイ２を連動させたゲームの一例を示す図 縦長の携帯電子機器５０の一例を示す図 横長の携帯電子機器の一例を示す図 画面を正面から見た場合の側面に赤外線カメラ４や測距センサ５等が設けられた携帯電子機器において、携帯電子機器を９０度右回転させたときの様子を示す図 側面と底面との両方に赤外線カメラ４や測距センサ５等が設けられた構成の一例を示す図 赤外線カメラ４や測距センサ５を傾けた場合の携帯電子機器を底面から見た図 ＲＧＢ画像と赤外線画像との両方を撮像可能なイメージセンサの一部を示す図

以下、本発明の一実施形態に係る携帯電子機器について説明する。携帯電子機器は、ユーザが手で持って操作可能な手持ち型の情報処理装置であり、例えば、ゲーム装置であってもよいし、携帯電話機（スマートフォン等）、タブレット端末、カメラ、腕時計型の端末等の任意の装置であってもよい。図１は、本実施形態の携帯電子機器１の正面図である。図２は、携帯電子機器１の右側面図である。図３は、携帯電子機器１の背面図である。

図１に示すように、携帯電子機器１は、ディスプレイ２と、タッチパネル３と、赤外線カメラ４と、測距センサ５と、入力ボタン６（６Ａ〜６Ｄ）と、照射部７と、プロジェクタ８とを備え、これらはハウジング１０に収納される。ハウジング１０（携帯電子機器１）は、板状の形状であり、ユーザが片手又は両手で把持可能な大きさである。

ディスプレイ２としては、例えば、液晶表示装置や有機ＥＬ表示装置等が用いられ、その他、任意の表示装置が用いられてもよい。ディスプレイ２の画面は、ハウジング１０の正面（Ｔ５面）に露出するように設けられる。タッチパネル３は、ディスプレイ２の画面上に設けられ、ユーザによってタッチされた画面上の位置を検出する。タッチパネル３としては、１点検出が可能なものや多点検出が可能なものが用いられ、例えば、静電容量方式、抵抗膜方式等、任意のものが用いられてもよい。

入力ボタン６Ａ〜６Ｄは、ユーザによる入力（押下）を受け付ける。入力ボタン６Ａ〜６Ｄは、ユーザが携帯電子機器１の両端を把持したときにユーザの指が届く位置に設けられる。具体的には、入力ボタン６Ａおよび６Ｃは、ユーザが右手で携帯電子機器１を把持したときに右手の指が届く位置にあり、入力ボタン６Ａは右手の親指が届く位置に、入力ボタン６Ｃは右手の人差し指又は中指が届く位置に設けられる。また、入力ボタン６Ｂおよび６Ｄは、ユーザが左手で携帯電子機器１を把持したときに左手の指が届く位置にあり、入力ボタン６Ｂは左手の親指が届く位置に、入力ボタン６Ｄは左手の人差し指又は中指が届く位置に設けられる。図１に示すように、入力ボタン６Ａおよび６Ｂは、ハウジング１０の正面（Ｔ５面）に設けられ、入力ボタン６Ｃおよび６Ｄは、ハウジング１０の上面（Ｔ４面）に設けられる。なお、ユーザによる入力を受け付ける入力部としては、入力ボタン６Ａ〜６Ｄの他に、方向入力のための十字キー、アナログスティック等が設けられてもよい。

赤外線カメラ４は、レンズと光（赤外線。具体的には近赤外線）に感光するセンサとを備える。赤外線カメラ４のセンサは、赤外線に感光する素子を縦横に複数並べたイメージセンサであり、当該イメージセンサの各素子が赤外線を受光して電気信号に変換することで２次元の赤外線画像を出力する。

測距センサ５は、測距センサ５に設けられた光源から射出された光（例えば、赤外光）が物体に反射し、当該反射光を受光素子で受光することで物体との間の距離を測定する。測距センサ５としては、三角測距方式、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式等任意のものが用いられてもよい。測距センサ５の光源としては、特定方向に赤外光を射出するＬＥＤやレーザダイオード等が用いられる。

照射部７は、赤外線を所定の時間間隔（例えば、１／６０秒間隔）で照射する。赤外線カメラ４が画像を撮像するタイミングと同期して、照射部７が赤外線を照射する。照射部７は、携帯電子機器１の右側面方向の所定の範囲に赤外線を照射する。照射部７によって照射された赤外線が物体によって反射され、当該反射された赤外線が赤外線カメラ４によって受光されることで、赤外線の画像が取得される。なお、照射部７は、赤外線カメラ４による赤外線画像の撮像のため、および、測距センサ５による距離の測定のために用いられてもよい。すなわち、照射部７からの赤外光を利用して、赤外線カメラ４によって画像が撮像されるとともに、測距センサ５によって距離が測定されてもよい。

また、プロジェクタ８は、可視光を射出する光源を有し、当該光源からの光を用いて文字や画像等を投影面（スクリーンや後述するようにユーザの手等）に投影する。

赤外線カメラ４、測距センサ５、照射部７、およびプロジェクタ８は、ハウジング１０の側面（例えば右側面：Ｔ１面）に設けられる。具体的には、赤外線カメラ４の撮像方向（光軸）は、右側面に垂直な方向を向く。測距センサ５の検出方向、プロジェクタ８が光を照射する方向もまた同様に右側面に垂直な方向である。すなわち、赤外線カメラ４は、ユーザが左手で携帯電子機器１を把持した際に、携帯電子機器１の右側面方向の空間を撮像し、測距センサ５は、携帯電子機器１の右側面方向の空間に存在する物体までの距離を測定する。また、プロジェクタ８は、赤外線カメラ４および測距センサ５と同じ方向に可視光を照射することで画像等を投影する。

携帯電子機器１の背面（Ｔ６面）には、外側カメラ９が設けられる（図３）。外側カメラ９は、典型的には、赤外線カメラ４の撮像方向とは垂直な方向を撮像可能であり、背面と垂直な方向を撮像可能である。外側カメラ９は、レンズと可視光に感光するイメージセンサとを備える。外側カメラ９は、背面方向の空間を撮像し、カラー画像（ＲＧＢ画像）を取得する。なお、背面の外側カメラ９に加えて正面にもカメラが設けられてもよいし、背面の外側カメラ９は設けられず、正面（ディスプレイ２の画面が設けられた面）にカメラが設けられてもよい。

図４は、携帯電子機器１の内部構成の一例を示すブロック図である。図４に示すように、携帯電子機器１は、上述した各部の他、バイブレータ１１、マイク１２、スピーカ１３、制御部１４、通信部１５、姿勢検出部１６、ＧＰＳレシーバ１７、および地磁気センサ１８を備える。また、携帯電子機器１は、図示しないバッテリーを備え、当該バッテリーから電源が供給される。これら各部はハウジング１０内に収納される。

制御部１４は、ディスプレイ２、タッチパネル３、赤外線カメラ４、測距センサ５、入力ボタン６、照射部７、プロジェクタ８、バイブレータ１１、マイク１２、スピーカ１３、通信部１５、姿勢検出部１６、ＧＰＳレシーバ１７、地磁気センサ１８等、各部に接続され、各部を制御する。

具体的には、制御部１４は、ＣＰＵやメモリ等を含み、携帯電子機器１に備えられた図示しない記憶装置（例えば、不揮発性メモリやハードディスク等）に記憶された所定のプログラム（例えば、ゲーム処理や画像処理、各種演算を行うためのアプリケーションプログラム）に基づいて所定の処理を行う。例えば、制御部１４は、赤外線カメラ４からの画像を取得して当該画像を解析したり、測距センサ５からの信号に基づいて物体までの距離を算出したり、タッチパネル３や入力ボタン６からの入力信号に応じた処理を行う。そして、制御部１４は、所定の処理の結果に基づく画像を生成し、ディスプレイ２に当該画像を出力する。なお、所定の処理を行うためのプログラムは、通信部１５を介して外部からダウンロードされてもよい。

バイブレータ１１は、制御部１４からの命令に基づいて動作し、携帯電子機器１全体を振動させる。バイブレータ１１は、ユーザの手に振動が伝わりやすい所定の位置（例えば、ハウジング１０内の中央部や左右の何れかに偏った位置）に設けられる。

マイク１２およびスピーカ１３は、音声を入力／出力するために用いられる。通信部１５は、所定の通信方式（例えば、無線ＬＡＮ等）で他の機器と通信を行うために用いられる。また、姿勢検出部１６は、例えば、加速度センサや角速度センサであり、携帯電子機器１の姿勢を検出する。

ＧＰＳレシーバ１７は、ＧＰＳ（Global Positioning System）衛星からの信号を受信し、当該信号を受信することで携帯電子機器１は自機の位置を計算することができる。例えば、携帯電子機器１は、特定の位置で所定の操作（例えば、後述する赤外線カメラ４を用いたジェスチャ入力やボタン入力、携帯電子機器１を振るなどの動作）が行われた場合に、当該特定の位置に対応付けられたオブジェクトを表示してもよい。例えば、携帯電子機器１においてゲームが行われる場合において、携帯電子機器１が特定の位置にある場合、当該特定の位置に対応したオブジェクトを当該ゲームに登場させてもよい。

また、地磁気センサ１８は、磁気の方向および大きさを検出可能なセンサである。例えば、携帯電子機器１は、地磁気センサ１８の検出結果に基づいて、特定の方位を向いているか否かを判定し、特定の方位で所定の操作（上記ジェスチャ入力等）が行われた場合に、オブジェクトを表示してもよい。例えば、携帯電子機器１においてゲームが行われる場合、特定の方位に対応したオブジェクトが当該ゲームに登場してもよい。また、携帯電子機器１は、ＧＰＳレシーバ１７を用いたＧＰＳ情報と地磁気センサを用いた方位情報とを組み合わせてもよい。例えば、携帯電子機器１が、特定の位置にあり、かつ、特定の方位を向いている場合、当該特定の位置及び特定の方位に対応するオブジェクトを表示したり、当該オブジェクトをゲームに登場させてもよい。

図５は、携帯電子機器１の使用状態の一例を示す図であり、ユーザが携帯電子機器１を両手で把持したときの様子を示す図である。図５に示すように、ユーザは携帯電子機器１の左右両端部を把持する。ユーザが左右の両端部を把持した場合に、ユーザは、左手の親指で入力ボタン６Ｂを押下可能であり、右手の親指で入力ボタン６Ａを押下可能である。また、ユーザが左右の両端部を把持した場合に、ユーザは、左手の人差し指又は中指を動かすことができ当該左手の人差し指又は中指で入力ボタン６Ｄを押下可能であり、右手の人差し指又は中指を動かすことができ当該右手の人差し指又は中指で入力ボタン６Ｃを押下可能である。

次に、携帯電子機器１に対する入力について説明する。本実施形態では、ユーザは、携帯電子機器１を左手で把持した状態で、右手を用いて携帯電子機器１に対してジェスチャ入力を行うことができる。

図６Ａおよび図６Ｂは、ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図である。図７Ａは、図６Ａに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図である。図７Ｂは、図６Ｂに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図である。

図６Ａおよび図６Ｂに示すように、ユーザは、携帯電子機器１の右側面方向の位置で右手を用いて様々なジェスチャ入力を行う。携帯電子機器１は、携帯電子機器１の右側面に設けられた赤外線カメラ４で赤外線画像を撮像し、当該撮像した赤外線画像を解析することにより、ユーザのジェスチャ入力を判別する。

具体的には、図７Ａや図７Ｂに示す画像が赤外線カメラ４から取得されると、携帯電子機器１は、取得された画像に含まれる特定の物体（具体的には、人間の手）を検出し、当該特定の物体の形状等に基づいて、ユーザによって行われたジェスチャの種類を判別する。例えば、携帯電子機器１は、取得された画像に所定の形状の物体が存在するか否かをパターンマッチング等により判定する。例えば、携帯電子機器１は、図７Ａに示す画像が取得された場合、指の本数から「グー」を認識することができ、図７Ｂに示す画像が取得された場合は、指の本数から「パー」を認識することができる。そして、携帯電子機器１は、後述するようにジェスチャの種類に応じた処理を行う。

ここで、判別されるジェスチャは、ユーザの手や顔等の体の一部や全体を用いた身振り・手振りであり、携帯電子機器１は、手等の静止した状態をジェスチャ入力として認識してもよいし、手を使った一連の動作をジェスチャ入力として認識してもよい。また、携帯電子機器１は、ユーザが物を持った状態で行われるジェスチャ入力を認識してもよい。この場合、携帯電子機器１は、ユーザが持っている物のみの静止状態や動作状態をジェスチャ入力として認識してもよいし、ユーザの手と物を含んだ全体の静止状態や動作状態をジェスチャ入力として認識してもよい。

また、本実施形態の携帯電子機器１は、後述するように測距センサ５を用いて携帯電子機器１と物体との間の距離を算出し、当該算出した距離に基づいて処理を行う。例えば、携帯電子機器１は、測距センサ５からの情報に基づいて、携帯電子機器１の右側面方向の物体の存否を検出したり、物体との間の距離を検出することで、右側面方向の物体の動きを検出することができる。例えば、所定時間内に測距センサ５によって検出される距離が変化している場合、携帯電子機器１は、携帯電子機器１の右側面方向においてユーザが手を左右方向に振っていると認識することができる。また、所定時間内に測距センサ５によって物体が検出されたり検出されなかったりした場合、携帯電子機器１は、ユーザが上下方向に手を振っていると認識することができる。そして、携帯電子機器１は、検出した物体の動きに応じて所定の処理を行い、当該処理の結果をディスプレイ２に表示する。

このように、本実施形態では、赤外線カメラ４及び／又は測距センサ５を用いて、携帯電子機器１の右側面方向における特定の物体を検出することで、携帯電子機器１に対する様々なジェスチャ入力を判別し、当該入力に応じた処理の結果をディスプレイ２に表示することができる。

ここで、赤外線カメラ４及び測距センサ５には、それぞれ物体を認識することが可能な認識可能範囲がある。図８は、赤外線カメラ４の認識可能範囲を示す図である。図９は、測距センサ５の認識可能範囲を示す図である。

図８に示すように、赤外線カメラ４は所定の画角θを有する。赤外線カメラ４は、携帯電子機器１の右側面方向において、赤外線カメラ４の画角θに含まれる範囲（例えば、数十〜１８０度の範囲）を撮像し、当該範囲が赤外線カメラ４を用いたジェスチャ入力の認識可能範囲である。ここで、認識対象の物体と携帯電子機器１との間の距離が短すぎる場合、赤外線カメラ４を用いて当該物体の全体を撮像することができない。したがって、画角θに含まれる範囲のうち、携帯電子機器１から所定の距離ｄより離れた領域が、赤外線カメラ４の認識可能範囲である。なお、距離ｄは、認識対象の物体の大きさにより異なる。

また、図９に示すように、測距センサ５は、携帯電子機器１の右側面方向に物体が存在するか否か、および、物体までの距離を測定する。例えば、測距センサ５は、数ｃｍ〜１ｍ程度の距離を検出可能である。測距センサ５の認識可能範囲は、赤外線カメラ４とは異なり、携帯電子機器１の近傍から右側面方向にほぼ直線状に広がっている。すなわち、測距センサ５は、検出方向のほぼ直線上の位置に存在する物体を検出するものであり、指向性が極めて高い一方で、赤外線カメラ４は、ある程度広がった範囲に存在する物体を撮像するものであり、指向性は低い。

次に、赤外線カメラ４および測距センサ５を用いて検出されるジェスチャ入力に基づく処理について説明する。

図１０Ａ〜図１０Ｄは、赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図である。図１０Ａに示すように、ユーザが左手で携帯電子機器１を持って携帯電子機器１の右側面方向の所定位置で右手を「グー」にした場合、ディスプレイ２にはキャラクタ２１が表示される。図１０Ａの状態から図１０Ｂに示すように、ユーザが右手を「グー」にした状態で右手を携帯電子機器１の右側面に近づけると、ディスプレイ２のキャラクタ２１は拡大表示される。

さらに、図１０Ｂに示す状態から、ユーザが右手を「パー」にした場合、ディスプレイ２のキャラクタ２１の表情が変化する（図１０Ｃ）。例えば、図１０Ｃに示すように、キャラクタ２１は笑ったような表情に変化する。さらに、図１０Ｄに示すように、ユーザが右手を「パー」にした状態で右手を携帯電子機器１に近づけると、キャラクタ２１はさらに拡大表示されるとともに、キャラクタ２１の表情が変化する。このとき、バイブレータ１１が作動して携帯電子機器１が振動するとともに、スピーカ１３から音が出力されてもよい。

図１１Ａは、図１０Ａに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図である。図１１Ｂは、図１０Ｂに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図である。図１１Ｃは、図１０Ｃに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図である。図１１Ｄは、図１０Ｄに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像される画像の一例を示す図である。

図１１Ａに示すような入力画像が赤外線カメラ４から取得された場合、携帯電子機器１は、当該取得された入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいて、ジェスチャの種類を判別する。携帯電子機器１には、予めジェスチャの種類と、ディスプレイ２に表示されるキャラクタ２１とが対応付けされて記憶されており、携帯電子機器１は、判別したジェスチャの種類に対応するキャラクタ２１の画像をディスプレイ２に表示する（図１０Ａ）。なお、判別したジェスチャの種類に応じてバイブレータ１１を作動させて携帯電子機器１を振動させてもよい。

次に、図１１Ｂに示すような入力画像が取得された場合、携帯電子機器１は、取得された入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいてジェスチャの種類を判別する。図１１Ｂでは、図１１Ａと同じジェスチャと判別されるため、ディスプレイ２に表示されるキャラクタ２１の画像は図１０Ａと同じ画像である（図１０Ｂ）。しかしながら、物体（ユーザの右手）が携帯電子機器１に近づくほど、ディスプレイ２に表示されるキャラクタ２１は拡大表示される。具体的には、携帯電子機器１は、図１１Ａに示す入力画像に含まれる物体３０の大きさと、図１１Ｂに示す入力画像に含まれる物体３０の大きさとを比較することにより、ディスプレイ２に表示するキャラクタ２１の画像の大きさを決定する。このように、携帯電子機器１は、赤外線カメラ４から取得した画像に含まれる特定の物体の大きさに基づいて、携帯電子機器１と特定の物体との間の相対的な距離（相対位置）を判別し、当該相対的な距離に応じてディスプレイ２に表示するキャラクタ２１の大きさを決定する。このとき、相対的な距離に応じて携帯電子機器１を振動させてもよい。

次に、図１１Ｃに示すような入力画像が赤外線カメラ４から取得されると、携帯電子機器１は、入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいてジェスチャの種類を判別する。図１１Ｃに示す入力画像に含まれる物体３０の形状に基づいて、携帯電子機器１は、「パー」のジェスチャーと判定し、図１０Ｃに示すように、図１０Ａや図１０Ｂとは異なるキャラクタ２１の画像をディスプレイ２に表示する。このときに表示するキャラクタ２１の大きさは、直前に決定されたキャラクタ２１の大きさと同じ大きさに決定されてもよいし、入力画像に含まれる物体の大きさに基づいて決定されてもよい。

さらに、図１１Ｄに示すような入力画像が赤外線カメラ４から取得されると、携帯電子機器１は、入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいてジェスチャの種類を判別する。しかしながら、図１１Ｄでは、物体３０の一部が欠如しており、携帯電子機器１は、ジェスチャの種類を正確に判別することができない。このため、図１０Ｄに示すように、携帯電子機器１は、ジェスチャの種類が判別できないことを示す態様のキャラクタ２１をディスプレイ２に表示するとともに、ユーザに検出エラーを知らせるために携帯電子機器１を振動させたり、警告音を出力したりする。

なお、図１０Ａ〜図１０Ｄに示すように、ユーザが右手を動かすことで携帯電子機器１に対するジェスチャ入力を行ったが、右手を固定して携帯電子機器１自体を動かした場合でもジェスチャ入力があったと判定されてしまうことがある。このことを避けるために、例えば、加速度センサや角速度センサを用いて携帯電子機器１自体の動きを検出し、携帯電子機器１自体の動きが所定の閾値以上の場合は、ジェスチャ入力が行われなかったと判定してもよい。例えば、加速度センサ等からの検出値を用いて携帯電子機器１自体が移動しているか否かを判定し、携帯電子機器１自体が図１０Ａに示す右方向に移動していると判定された場合、右手を左方向に動かすジェスチャ入力は行われなかったと判定してもよい。また、例えば赤外線カメラ４から取得された画像に基づいて右手の動きが検出された場合において、加速度センサ等を用いて携帯電子機器１自体の動きが検出された場合、当該携帯電子機器１自体の動きに応じて、画像に基づいて検出された右手の動きを打ち消す処理を行い、当該処理によって算出された右手の動きに基づいてキャラクタ２１が表示されてもよい。すなわち、赤外線カメラ４から取得された画像に基づく右手の動きと、加速度センサや角速度センサを用いて検出される携帯電子機器１自体の動きとに基づいて、所定の情報処理が行われてもよい。また、携帯電子機器１自体が動いているか否かを外側カメラ９からの画像に基づいて判定し、携帯電子機器１自体が動いている場合は、ジェスチャ入力が行われなかったと判定してもよい。

図１２Ａおよび図１２Ｂは、赤外線カメラ４を用いたジェスチャ入力に基づく処理の他の例を示す図である。この例では、ディスプレイ２には、計算問題が表示される。ユーザは、ディスプレイ２に表示された問題に対して右手を用いて回答する。例えば、図１２Ａに示すように、「１＋４＝？」という文字列が表示された場合において、ユーザが右手でこの問題の解答「５」を示すジェスチャ入力（「パー」のジェスチャ）を行うと、問題に正解したことを示す表示がディスプレイ２において行われる。このとき、正解したことを示す音声が出力されたり、正解したことを示すパターンでバイブレータ１１を作動させて携帯電子機器１を振動させてもよい。

また、図１２Ｂに示すように、「１＋１＝？」という文字列が表示された場合において、ユーザが右手でこの問題の解答「２」とは異なるジェスチャ入力（ジェスチャで「５」を入力）を行うと、不正解であることを示す表示がディスプレイ２において行われる。このとき、不正解であることを示す音声が出力されてもよいし、不正解であることを示すパターンでバイブレータ１１を作動させてもよい。

このように、携帯電子機器１は、赤外線カメラ４からの入力画像に基づいてユーザによって行われたジェスチャ入力を判別し、問題に正解したか否かを判定する。そして、携帯電子機器１は、判定結果をディスプレイ２に表示する。例えば、携帯電子機器１は、複数の問題を所定時間内に順に表示し、表示された問題に対してユーザが右手を使ったジェスチャで回答する。そして、例えば、所定時間内に何問正解したかに基づいて点数がディスプレイ２に表示される。

次に、測距センサ５を用いた処理の一例について説明する。図１３は、測距センサ５を用いた処理の一例を示す図である。図１３に示すように、ユーザが左手で携帯電子機器１を持って携帯電子機器１の右側面方向の所定位置で右手をかざすと、蛇キャラクタ２２がディスプレイ２の右端から出現する。ユーザが右手を携帯電子機器１に近づけると、蛇キャラクタ２２は、ディスプレイ２の右端から左方向に伸びる。具体的には、携帯電子機器１は、測距センサ５からの情報に基づいて携帯電子機器１とユーザの右手との間の距離を算出し、算出した距離に応じて、蛇キャラクタ２２の長さを決定する。そして、携帯電子機器１は、蛇キャラクタ２２をディスプレイ２に表示する。また、携帯電子機器１は、距離に応じてバイブレータ１１を作動させて、携帯電子機器１を振動させてもよい。

このように、携帯電子機器１は、測距センサ５を用いて携帯電子機器１の右側面方向に存在する物体との間の距離を算出し、当該算出した距離に応じた画像をディスプレイ２に表示する。測距センサ５を用いた処理では、物体が存在するか否か、及び／又は、物体との距離に基づいて、所定の処理が行われる。また、上述のように、所定時間における物体の検知や距離の変化に基づいて、携帯電子機器１の右側面方向における物体の動きが検出され、当該動きの検出に応じて所定の処理が行われる。

次に、プロジェクタ８を用いた出力の例について説明する。図１４は、プロジェクタ８を用いてユーザのジェスチャ入力に応じた画像がユーザの手に投影される様子を示す図である。図１４の上図に示すように、携帯電子機器１の右側面方向の所定位置において、例えばユーザが右手を「パー」にすると、ユーザの右手にキャラクタ２１が投影される。具体的には、携帯電子機器１は、赤外線カメラ４によって撮像された入力画像を解析することで、ユーザによって行われたジェスチャ入力の種類を判別する。次に、携帯電子機器１は、判別されたジェスチャ入力に基づいてキャラクタ２１の画像を生成し、プロジェクタ８を用いて当該キャラクタ２１の画像を出力する。このとき、ディスプレイ２にも同じ（又は異なる）画像が出力されてもよい。

また、図１４の下図に示すように、右手を携帯電子機器１から遠ざけると、例えば、右手に投影されるキャラクタ２１のサイズが変化しないように、キャラクタ２１の画像がプロジェクタ８を用いてユーザの右手に投影される。具体的には、携帯電子機器１は、赤外線カメラ４によって撮像された画像を解析することで、ユーザのジェスチャ入力を判別し、判別結果に応じた画像を生成する。また、携帯電子機器１は、赤外線カメラ４からの入力画像に含まれる手の大きさに基づいて、出力する画像の大きさを決定する。また、携帯電子機器１は、赤外線カメラ４からの入力画像に代えて、又は加えて、測距センサ５によって測定された距離に基づいて、出力する画像の大きさを決定してもよい。そして、携帯電子機器１は、決定した大きさの画像をプロジェクタ８を用いて投影する。このとき、ディスプレイ２にも同じ（又は異なる）画像が出力されてもよい。ユーザが右手を用いて図１４とは異なるジェスチャ（例えば、「グー」）を行った場合は、右手には図１４とは異なる画像が投影される。すなわち、ジェスチャの種類に応じて、異なる画像が投影される。

例えば、携帯電子機器１は、ディスプレイ２にユーザに行わせるジェスチャを順に表示し、表示されたジェスチャと同じジェスチャを所定時間内にユーザが行った場合に、成功判定し、表示されたジェスチャとは異なるジェスチャをユーザが行った場合は、失敗判定を行う。そして、携帯電子機器１は、判定結果に応じてプロジェクタ８から画像を出力することで、ユーザの手に判定結果に応じた画像を投影する。

なお、赤外線カメラ４でユーザの手を撮像することで、ユーザの手を追跡し、ユーザの手に画像が投影されるようにプロジェクタ８を制御してもよい。プロジェクタ８は、所定の範囲に画像を投影することが可能である。携帯電子機器１は、所定の時間間隔で赤外線カメラ４から画像を取得して、当該画像に基づいてユーザの手の位置を認識して、画像を投影する位置を定める。例えば、図１４の下図のようにユーザの手に画像が投影されている状態で、手が上方向に移動した場合、携帯電子機器１は、赤外線カメラ４からの画像に基づいて手が上方向に移動したことを検出する。この検出結果に基づいて、携帯電子機器１はプロジェクタ８を用いてオブジェクトの画像を移動後のユーザの手に投影する。このように、携帯電子機器１は、所定の時間間隔で赤外線カメラ４から画像を取得することにより、ユーザの手が動いている場合でも、ユーザの手の動きに追随するように画像をユーザの手に投影することができる。また、携帯電子機器１は、ユーザの連続するジェスチャに合わせて連続的に画像を投影することができる。

また、プロジェクタ８を用いて携帯電子機器１の右側面方向に光を照射することで、ユーザによるジェスチャ入力が可能な範囲をユーザに知らせてもよい。例えば、赤外線カメラ４でユーザの手の全体が撮像できる場合は、青色の光を照射し、ユーザの手の一部しか撮像できない場合は、赤色の光を照射してもよい。すなわち、赤外線カメラ４の撮像範囲（画角）と同じ又は類似する範囲にプロジェクタ８から光を照射することでユーザにジェスチャ入力が可能な範囲を認識させることができ、ユーザを誘導することができる。なお、画像を投影可能なプロジェクタ８の代わりに、所定の光を発する光源（例えば、ＬＥＤ、ハロゲンランプ、蛍光ランプ、ＥＬランプ等）が携帯電子機器１に備えられ、当該光源から光を射出することで、ジェスチャ入力が可能な範囲をユーザに知らせてもよい。

このように、本実施形態では、赤外線カメラ４や測距センサ５を用いた入力のみならず、プロジェクタ８を用いた光による出力を携帯電子機器１の側面方向から可能である。

以上のように、本実施形態では、赤外線カメラ４および測距センサ５が携帯電子機器１の右側面に設けられ、ユーザが左手で携帯電子機器１を把持しながら右手で様々なジェスチャ入力を行い、当該ジェスチャ入力に応じた所定の処理が行われる。右側面に赤外線カメラ４および測距センサ５が設けられるため、ユーザは、携帯電子機器１を一方の手で把持してディスプレイ２を視認しながら、違和感なく他方の手でジェスチャ入力を行うことができる。

例えば、ディスプレイ２の画面が設けられたＴ５面（正面）に、ジェスチャ入力のための赤外線カメラ４や測距センサ５が設けられる場合、ユーザがジェスチャ入力を行うと、手がディスプレイ２の画面と重なり、ディスプレイ２の視認性を低下させてしまう。また、ディスプレイ２の画面とは反対側のＴ６面（背面）に、ジェスチャ入力のための赤外線カメラ４や測距センサ５が設けられる場合、ユーザは画面の背面でジェスチャ入力を行うことになり、右手が見えず、ジェスチャ入力を行い難い。

しかしながら、本実施形態の携帯電子機器１では、ディスプレイ２の側面にジェスチャ入力のための赤外線カメラ４や測距センサ５が設けられる。このため、ユーザが右手でジェスチャ入力を行う場合でも、画面と右手とが重なることはなく、画面の視認性を妨げずにジェスチャ入力を行うことができる。また、ディスプレイ２の側面に赤外線カメラ等が設けられるため、一方の手で携帯電子機器１を把持しながら、他方の手で携帯電子機器１に対するジェスチャ入力を行うことができ、両手で左右方向から挟むようにして携帯電子機器１に対して入力したり、当該入力に応じた出力（画像表示）を確認したりすることができる。これにより、携帯電子機器に対する従来には無い新規な操作感、使用感をユーザに与えることができる。

図１５は、左手で携帯電子機器１を把持しながら携帯電子機器１に対して右手で様々なジェスチャ入力を行う様子を示す図である。図１５に示すように、ユーザが右手を左右方向に近づけたり、遠ざけたり、上下方向に動かしたり、回転させたり、右手の５本の指のうちの任意の指を伸ばしたり曲げたりすることで、携帯電子機器１に対して側面方向から入力を行うことができる。側面方向から入力を行うことで、携帯電子機器１に対して入力を行っているという感覚をユーザはより強く感じることができる。

ユーザはディスプレイ２の画面を見ながら、右手方向からジェスチャ入力を行い、当該ジェスチャ入力の結果としてディスプレイ２に表示された画像を視認することができる。すなわち、ユーザは、ディスプレイ２の画面を見ると同時に、ジェスチャ入力を行う右手も視界に入り、右手を用いた入力とディスプレイ２からの出力とを同時に視認することができ、より自然にジェスチャ入力を行ったり、それに応じた出力を確認することができる。

また、本実施形態の携帯電子機器１では、可視光の画像（ＲＧＢ画像）を撮像する通常のカメラではなく赤外線カメラ４が用いられるため、ロバスト性がある。すなわち、通常のカメラを用いた場合、外部環境の明るさ（可視光の強さ）によっては、光量が多くなり過ぎたり少なくなり過ぎたりして画像認識に適した入力画像が取得できないことがある。また、通常のカメラを用いた場合において人間の手を認識する場合は、手の形状や肌の色で手を認識するが、外部環境の光の色によって、人間の手を認識できたりできなかったりすることがある。すなわち、外部環境によっては特定の物体（例えばユーザの手）を検出可能な画像が取得できないことがある。しかしながら、赤外線カメラ４を用いた場合は、可視光をフィルタで遮断しつつ照射部７からの赤外光（照射部７から照射されて物体によって反射された赤外光）を透過させることで、外部環境に影響されずに画像認識に適した入力画像を取得することができる。特に、太陽光が遮断された屋内においては赤外光の量は少なくなり、照射部７からの赤外光で特定の物体を照射することにより、外部環境の影響を受けることなく特定の物体を含む鮮明な画像を取得することができる。また、屋外においても、例えば夜間では照射部７からの赤外光で特定の物体を照射することで、画像認識に必要な画像を取得することができる。

（フローチャートの説明）
次に、携帯電子機器１において行われる処理の一例について説明する。図１６は、携帯電子機器１において行われる処理の一例を示すフローチャートである。図１６に示す処理は、制御部１４が所定のプログラムを実行することにより行われる。また、図１６に示す処理は、所定の時間間隔（例えば、１／６０秒に１回）で繰り返し行われる。

図１６に示すように、ステップＳ１０において、制御部１４は、赤外線カメラ４から入力画像を取得する。具体的には、制御部１４は、照射部７に赤外線を照射させるとともに、赤外線カメラ４によって撮像された入力画像を取得する。次に、制御部１４は、測距センサ５からの検出情報を取得する（ステップＳ１１）。

次に、制御部１４は、所定の情報処理を行う（ステップＳ１２）。ここで、所定の情報処理としては、赤外線カメラ４からの入力画像を用いた処理、測距センサ５からの検出情報に基づく処理、及び、赤外線カメラ４と測距センサ５との両方を用いた処理の何れかが考えられる。ステップＳ１２の所定の情報処理については、図１７〜図１９を参照して説明する。

ステップＳ１２の処理の後、制御部１４は、ステップＳ１２の所定の情報処理の結果に基づく画像をディスプレイ２、及び／又は、プロジェクタ８に出力する（ステップＳ１３）。そして、制御部１４は、図１６に示す処理を終了するか否かを判定し（ステップＳ１４）、終了しないと判定した場合は、再びステップＳ１０の処理を実行し、終了すると判定した場合は、図１６に示す処理を終了する。

次に、図１６のステップＳ１２の所定の情報処理について説明する。所定の情報処理としては、上述のように、赤外線カメラ４からの画像を用いた処理、測距センサ５からの検出情報に基づく処理、及び、赤外線カメラ４と測距センサ５との両方を用いた処理がある。これら３つの処理のうち何れの処理が行われるかは、アプリケーションの種類によって定まる。以下では、それぞれの処理について、図１７〜図１９を参照して説明する。

（赤外線カメラ４を用いた所定の情報処理１）
図１７は、赤外線カメラ４からの入力画像を用いた場合の図１６のステップＳ１２の所定の情報処理を示すフローチャートである。図１７に示す処理は、例えば図１０や図１２で例示したアプリケーションを実行するための処理である。

図１７に示すように、制御部１４は、ステップＳ１０で取得した赤外線カメラ４からの入力画像に対して画像認識処理を行う（ステップＳ２０）。具体的には、制御部１４は、赤外線カメラ４からの入力画像に含まれるユーザの手（特定の物体）を、所定の画像認識技術を用いて検出する。

次に、制御部１４は、上記画像認識処理においてユーザの手を検出したか否かを判定する（ステップＳ２１）。ユーザの手を検出した場合（ステップＳ２１：ＹＥＳ）、制御部１４は、ジェスチャの種類を判別する（ステップＳ２２）。具体的には、制御部１４は、検出したユーザの手の形状に基づいて、当該形状に対応するジェスチャの種類を判別する。続いて、制御部１４は、ジェスチャの判別結果に応じた処理を行う（ステップＳ２３）。例えば、制御部１４は、判別したジェスチャの種類に応じた画像を選択したり、判別したジェスチャの種類に応じて、所定のゲームにおける成否を判定する（正しい入力か否かの判定を行う）。

このステップＳ２３の処理の内容は、実行されるプログラム（アプリケーション）の種類によって異なる。例えば、プログラムとして、任意のゲームプログラムが実行されてもよい。また、携帯電子機器１に対する操作（例えば、画面の拡大、縮小、スクロール等。所定のアプリケーションの起動や終了、携帯電子機器１の設定等）を行うためのプログラムが実行されてもよい。例えば、図１０に示す処理に対応するプログラムが実行される場合は、制御部１４は、判別したジェスチャの種類と、入力画像に含まれるユーザの手の大きさとに基づいて、出力する画像の種類を決定するとともに、画像の大きさを決定する。また、例えば、図１２に示す処理に対応するプログラムが実行される場合は、制御部１４は、ユーザによって行われた回答が正しいか否か（正しいジェスチャが行われたか否か）を判定する。

次に、制御部１４は、ステップＳ２３の処理の結果に応じて、出力画像を生成する（ステップＳ２４）。ここで生成された出力画像が、ステップＳ１３においてディスプレイ２及び／又はプロジェクタ８に出力される。

一方、ステップＳ２１において特定の物体を検出しなかったと判定した場合（ステップＳ２１：ＮＯ）、制御部１４は、図１７に示す処理を終了する。

（測距センサ５を用いた所定の情報処理２）
図１８は、測距センサ５からの検出情報に基づく処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャートである。図１８に示す処理は、例えば図１３で例示したアプリケーションを実行するための処理である。

図１８に示すように、制御部１４は、ステップＳ１１で取得した測距センサ５からの検出情報に基づいて、物体と携帯電子機器１との間の距離を算出する（ステップＳ３０）。次に、制御部１４は、距離の算出ができたか否かを判定する（ステップＳ３１）。距離が算出できなかった場合（ステップＳ３１：ＮＯ）、すなわち、物体が検出されなかった場合、制御部１４は、図１８に示す処理を終了する。

距離の算出ができた場合（ステップＳ３１：ＹＥＳ）、制御部１４は、距離に応じた処理を行う（ステップＳ３２）。

このステップＳ３２の処理の内容は、実行されるプログラム（アプリケーション）の種類によって異なる。例えば、プログラムとして、任意のゲームプログラムが行われてもよい。また、携帯電子機器１に対する操作を行うためのプログラムが実行されてもよい。例えば、図１３に示す処理に対応するプログラムが実行される場合は、制御部１４は、算出した距離に基づいて、蛇オブジェクト２２の長さを決定する。なお、ステップＳ３２において、過去の所定期間に算出された距離に基づいて、物体の動きが検出されてもよい。すなわち、過去の所定期間において、物体が検出されたりされなかったりした場合や、算出した距離が変化している場合は、当該変化のパターンに基づいて、制御部１４は、物体の動きを検出し、検出した動きに応じた処理を行う。

そして、制御部１４は、ステップＳ３２の処理の結果に応じて、出力画像を生成する（ステップＳ３３）。ここで生成された出力画像が、ステップＳ１３においてディスプレイ２及び／又はプロジェクタ８に出力される。

（赤外線カメラ４及び測距センサ５を用いた所定の情報処理３）
次に、赤外線カメラ４および測距センサ５の両方を用いた所定の情報処理について説明する。図１９は、赤外線カメラ４および測距センサ５を用いた処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャートである。図１９において、図１７および図１８と同じ処理については、同一の符号を付して説明を省略する。

図１９に示すように、画像認識処理（ステップＳ２０）に続いて、赤外線カメラ４からの入力画像の中にユーザの手（特定の物体）を検出した場合（ステップＳ２１：ＹＥＳ）、制御部１４は、ジェスチャの種類を判別する（ステップＳ２２）。続いて、制御部１４は、ジェスチャの種類を正常に判別できたか否かを判定する（ステップＳ４０）。例えば、図１１Ｄに示すように、赤外線カメラ４からの画像に含まれる画像において、特定の物体を検出した場合であっても、その特定の物体の一部が欠落している場合、制御部１４は、ステップＳ４０において「ＮＯ」と判定する。

ジェスチャを正常に判別できた場合（ステップＳ４０：ＹＥＳ）、制御部１４は、判別結果に応じた処理を行う（ステップＳ２３）。

一方、ジェスチャを正常に判別できなかった場合（ステップＳ４０：ＮＯ）、又は、ユーザの手を検出しなかった場合（ステップＳ２１：ＮＯ）、制御部１４は、測距センサ５からの検出情報に基づいて距離を算出する（ステップＳ３０）。その後、制御部１４は、図１８と同様に距離を算出できたか否かを判定する。（ステップＳ３１）。距離が算出できれば（ステップＳ３１：ＹＥＳ）、制御部１４は、距離に応じた処理を行う（ステップＳ３２）。

ステップＳ２３の処理を実行した場合、又は、ステップＳ３２の処理を実行した場合、制御部１４は、ステップＳ２３の処理又はステップＳ３２の処理の結果に応じて、出力画像を生成する（ステップＳ４１）。すなわち、ステップＳ２３の処理が実行された場合は、当該ステップＳ２３の処理に応じた出力画像が生成され、ステップＳ３２の処理が実行された場合は、当該ステップＳ３２の処理に応じた出力画像が生成される。生成された出力画像は、ステップＳ１３においてディスプレイ２及び／又はプロジェクタ８に出力される。

このように、図１９に示す処理では、赤外線カメラ４および測距センサ５の両方を用いて処理が行われる。図１９に示す処理では、赤外線カメラ４および測距センサ５は、同じ処理が行われる場合において互いに補完関係にある。例えば、携帯電子機器１と特定の物体との間の距離が短すぎて、赤外線カメラ４では正常にジェスチャ入力を認識できない場合、測距センサ５の検出結果に基づいて処理が行われる。すなわち、赤外線カメラ４では認識不可能な範囲に特定の物体が存在する場合は、測距センサ５を用いて特定の物体を検出する。逆に、測距センサ５では認識不可能な範囲に特定の物体が存在する場合は、赤外線カメラ４を用いて特定の物体を検出してもよい。

このように、赤外線カメラ４と測距センサ５とで、何れか一方が検出状況に応じて選択される。具体的には、一方の検出結果が所定の処理に適さない場合は他方の検出結果を用いて同じ処理を行うことで、赤外線カメラ４と測距センサ５とで互いに補完し合うことができる。これにより、ユーザによって行われたジェスチャ入力をより確実に判別することができ、操作性を向上させることができる。

なお、赤外線カメラ４および測距センサ５の両方を用いる場合において、双方の検出結果に基づいて所定の処理が行われてもよい。すなわち、赤外線カメラ４と測距センサ５とで両方が選択されて、所定の処理のために用いられてもよい。例えば、赤外線カメラ４の認識可能範囲に特定の物体が存在する場合、赤外線カメラ４によって検出された特定の物体の画像と、測距センサ５によって算出された特定の物体までの距離とに基づいて、所定の処理が行われてもよい。

また、上記実施形態のフローチャートで示した処理は単なる一例であり、上記処理の一部が実行されなくてもよいし、上記処理の他の処理が付加されてもよい。また、処理の順番はどのようなものでもよい。

以上のように、本実施形態の携帯電子機器１では、ディスプレイ２を正面から見た場合に、側面（右側面）に赤外線カメラ４および測距センサ５が設けられ、当該赤外線カメラ４および測距センサ５を用いて、ユーザの手を用いたジェスチャ入力を行うことができ、当該ジェスチャ入力に応じた出力画像をディスプレイ２やプロジェクタ８に出力することができる。赤外線カメラ４を用いた場合は、携帯電子機器１から所定距離だけ離れた位置において様々なジェスチャを識別可能であり、測距センサ５を用いた場合は、携帯電子機器１の近傍においても物体の存否を判別したり、物体と携帯電子機器１との間の距離に基づいて所定の処理を行うことができる。また、赤外線カメラ４および測距センサ５の両方を用いて所定の処理を行うことができる。そして、所定の処理の結果としての画像をディスプレイ２に表示したり、プロジェクタ８を用いて当該画像を投影したり、所定の処理の結果に応じて携帯電子機器１を振動させたりすることができる。

また、本実施形態では、赤外線カメラ４と測距センサ５とを用いるため、電力消費を抑えつつ、かつ、安価で様々なジェスチャ入力を認識することが可能である。すなわち、赤外線カメラ４による画像の撮像タイミングと同期して照射部７が赤外光を所定の時間間隔で瞬間的に照射する。このため、光を照射する時間が短くても鮮明な画像を撮像することができるため、電力消費を抑えることができる。また、測距センサ５を用いた場合は、広範囲に光を照射する必要は無く、限られた特定の方向に光を照射するだけで検出対象の物体までの絶対距離を算出することができるため、電力消費を抑制することができる。例えば、２次元画像とともに画素毎に距離を測定可能な距離画像センサを用いた場合は、照射部は広範囲に光を照射する必要があるとともに、画素毎に距離を算出する必要があるため、処理負荷および電力消費が大きくなる。また、距離画像センサは、測距センサよりも高価である。しかしながら、赤外線カメラ４と測距センサ５とを用いた場合は、コストおよび電力消費を抑制することができる一方で、様々なジェスチャ入力を判別することができる。

（応用例）
上述した処理の他に、携帯電子機器１を用いて次に示すような処理を行ってもよい。

図２０は、携帯電子機器１において行われる処理の応用例を示す図である。例えば、図２０に示すように、右手を携帯電子機器１に向かって移動させるジェスチャ入力が行われると、当該ジェスチャ入力に応じてディスプレイ２の画面の右端からボールが出現し、左方向に移動する。このとき、右手の動きが速ければ速いほど、ボールの移動速度は速くなる。具体的には、携帯電子機器１は、測距センサ５を用いて物体までの絶対距離を算出し、距離の変化に基づいて物体の速度を算出し、算出した速度に基づいてボールの移動速度を決定する。また、例えば、携帯電子機器１は、赤外線カメラ４からの画像に基づいて物体までの相対距離を算出し、相対距離の変化に基づいて物体の速度を算出してもよい。そして、ボールが画面の左端に到達するタイミングで、ユーザが左手で入力ボタン６Ｂを押下すると（あるいはディスプレイ２の画面をタッチすると）、ボールが反対方向に跳ね返り、入力ボタン６Ｂを押下するタイミングがずれると、ボールは反対方向に跳ね返らない。ボールが画面の左端に到達するタイミングでユーザが左手で入力ボタン６Ｂを押下した場合、ボールが反対方向に跳ね返るとともにバイブレータ１１を動作させて左手に振動を与えてもよいし、音声を出力してもよい。このように、右手で行われたジェスチャ入力に応じてディスプレイ２に画像を表示し、所定時間経過後に左手を用いて入力を行わせるアプリケーションが実行されてもよい。

また、別の応用例では、例えば、赤外線カメラ４及び／又は測距センサ５を用いた入力と、外側カメラ９とを用いて、所定の画像が表示されてもよい。具体的には、外側カメラ９によって撮像された画像をディスプレイ２にリアルタイムで表示しながら、赤外線カメラ４及び／又は測距センサ５を用いてユーザのジェスチャ入力を検出し、当該ジェスチャ入力に応じた画像を、外側カメラ９によって撮像された画像に重畳表示してもよい。

図２１は、外側カメラ９と、赤外線カメラ４及び／又は測距センサ５とを用いた処理が行われた場合のディスプレイ２に表示される画像の一例を示す図である。

図２１に示すように、例えば、実空間内に所定のマーカ６０が置かれ、当該マーカ６０を外側カメラ９で撮像すると、外側カメラ９（実カメラ）で撮像された画像がディスプレイ２に表示されるとともに、撮像画像に含まれるマーカの位置に仮想オブジェクトが重畳表示される。ユーザは、右手でジェスチャ入力により当該仮想オブジェクトを操作する。例えば、右手を図２１の矢印方向に移動させると、仮想オブジェクトが左方向に移動してもよい。具体的には、携帯電子機器は、実カメラから取得された撮像画像からマーカの位置および姿勢を検出し、実カメラとマーカとの位置関係を算出する。携帯電子機器は、算出した位置関係に基づいて、仮想空間の座標系を設定する（例えば、マーカを原点とする座標系）とともに仮想カメラを当該仮想空間に設定する。例えば、仮想カメラは、実空間における実カメラの位置に対応する仮想空間の位置に配置される。また、携帯電子機器は、当該仮想空間の所定位置（例えば原点）に仮想オブジェクトを配置する。そして、ユーザのジェスチャ入力に基づいて、仮想空間の仮想オブジェクトを操作するとともに、当該仮想オブジェクトを仮想カメラで撮像する。このようにして得られた仮想空間の画像と、外側カメラ９で撮像された実空間の画像とが重ね合わされて、ディスプレイ２に表示される。

また、例えば、携帯電子機器は、図２１に示すマーカやその他特定の物体を含む画像が外側カメラ９から取得されると、当該取得された画像に対して画像認識処理を実行する。携帯電子機器は、画像認識処理の結果に基づいて、外側カメラ９で撮像された実空間の画像に、魚オブジェクト及び釣り竿オブジェクト（仮想オブジェクト）を重畳表示する。このとき、携帯電子機器の右側面方向で、ユーザが釣り竿のリールを回すようなジェスチャを行うと、携帯電子機器が当該ジェスチャを認識する。そして、携帯電子機器は、魚が釣れたような表示をディスプレイ２に行う。

このように、外側カメラ９と、赤外線カメラ４及び／又は測距センサ５とを用いた処理を行い、現実世界と仮想空間とを融合させた画像がディスプレイ２に表示されてもよい。

また、別の応用例では、プロジェクタ８によって照射された画像とディスプレイ２に表示された画像とを連動させたゲームが行われてもよい。図２２は、プロジェクタ８とディスプレイ２を連動させたゲームの一例を示す図である。

図２２（Ａ）に示すように、ディスプレイ２にはバッターが表示され、ユーザが右手で「パー」のジェスチャを行うと、赤外線カメラ４からの画像に基づいて携帯電子機器１が当該ジェスチャを認識し、プロジェクタ８を用いてユーザの右手にボールの画像を投影する。次に、ユーザが右手を振るジェスチャを行うと、ユーザの右手に投影されたボールの画像が消えるとともにディスプレイ２の右端からボールが出現し、当該ボールが画面の左方向に移動する（図２２（Ｂ））。ボールがバッターの所定範囲に到達したタイミングでユーザが入力ボタン６Ｂを押下すると、バッターはボールを打ち返す（図２２（Ｃ））。打ち返されたボールは、画面の右方向に移動する。ボールがディスプレイ２の右端に到達した後の所定のタイミング（打ち返されたボールが右手に到達するタイミング）で、ユーザが「グー」のジェスチャを行う。すると、ユーザが打ち返されたボールをキャッチしたように、ユーザの右手にボールの画像が投影される（図２２（Ｄ））。このとき、ディスプレイ２には、ユーザがボールのキャッチに成功したことを示す「アウト」の文字が表示されるとともに、音声が出力されてもよいし、携帯電子機器１が振動してもよい。携帯電子機器１は、赤外線カメラ４からの画像や測距センサ５によって測定された距離に基づいてユーザの右手の位置（携帯電子機器の右側面に平行な平面上の位置、及び／又は、右側面に垂直な方向の位置）を認識し、当該認識結果に応じてボールの画像をユーザの右手に投影してもよい。なお、ユーザが上記所定のタイミングで「グー」のジェスチャを行わなかったり、「グー」のジェスチャを行ったタイミングが上記所定のタイミングとずれていた場合、ボールのキャッチに成功せず、図２２（Ｄ）のようなボールの画像は右手に投影されない。例えば、ボールとは異なる画像が右手に投影されたり、「エラー」や「ヒット」という文字がディスプレイ２に表示されてもよい。なお、赤外線カメラ４によってユーザのジェスチャを認識できない場合は、測距センサ５を用いて手の動きを検出することで、上記と同様の処理が行われてもよい。

また、別の応用例では、測距センサ５を用いて物体（不特定の物体）までの絶対距離を算出し、算出した距離に基づいて、ディスプレイ２に画像を出力したり、プロジェクタ８を用いて画像を投影してもよい。例えば、図２２で示した応用例において、キャッチする際の右手の絶対距離に基づいて、ボールのキャッチに成功したか否かが判定され、当該判定結果に応じた画像がディスプレイ２に表示されてもよい。また、赤外線カメラ４によって撮像された画像から特定の物体の位置（画像上の位置）を検出するとともに、測距センサ５を用いて特定の物体までの距離を検出することにより、特定の物体の３次元空間における位置を検出してもよい。そして、特定の物体の３次元空間における位置に基づいて、所定の処理を行い、当該所定の処理の結果に基づく画像をディスプレイ２に表示したり、プロジェクタ８で投影したりしてもよい。

また、別の応用例では、赤外線カメラ４によって撮像された画像に基づいて、特定の物体の距離（相対距離）を算出し、算出した距離に応じてバイブレータ１１を振動させてもよい。例えば、物体までの距離が所定の閾値より近い場合や遠い場合は、バイブレータ１１を振動させてもよい。また、測距センサ５を用いて特定の物体までの絶対距離を算出し、算出した距離に応じてバイブレータ１１を振動させてもよい。また、赤外線カメラ４、又は／及び、測距センサ５を用いて、特定の物体の動き（例えば、右手の動きやその他物体の動き）を検出し、当該特定の物体の動きに応じてバイブレータ１１を振動させてもよい。具体的な例としては、ユーザがギターを弾くように右手を動かしたことに応じて、音を出力するとともに携帯電子機器１を振動させる。このとき、ディスプレイ２には、ギターの弦の画像が表示され、左手の指でディスプレイ２に表示された弦を押さえると、音が変化してもよい。このような応用例では、ユーザが右手を速く動かすほど大きな音が出力されるとともに、携帯電子機器１が強く振動するようにしてもよい。

また、上記では赤外線カメラ４及び／又は測距センサ５を用いた処理の例を複数示したが、他の任意の処理が行われてもよい。例えば、ディスプレイ２や音声によって指示された内容に応じて、所定のタイミングでユーザにジェスチャを行わせるゲームが行われてもよい。そのようなゲームでは、所定のタイミングで所定のジェスチャが行われた場合は、得点が加算され、ユーザによって行われたジェスチャのタイミングが所定のタイミングとずれていたり、所定のジェスチャとは異なるジェスチャが行われた場合には、得点が加算されない。

このように、本実施形態の携帯電子機器１は、実行されるアプリケーションの種類に応じて、所定の処理が行われ、所定の処理のために赤外線カメラ４及び測距センサ５が用いられる。例えば、あるアプリケーションでは、赤外線カメラ４からの画像が所定の処理のために用いられてもよい。また、あるアプリケーションでは、測距センサ５によって算出される距離が所定の処理のために用いられる。また、あるアプリケーションでは、赤外線カメラ４及び測距センサ５の双方が所定の処理のために用いられる。例えば、特定の物体（予め定められた物体）を検出して検出結果に基づいた処理を行うアプリケーションが実行される場合は、赤外線カメラ４が用いられる。これに対して、不特定の物体を検出して当該不特定の物体までの距離に基づいて処理を行うアプリケーションが実行される場合は、測距センサ５が用いられる。

また、あるアプリケーションでは、赤外線カメラ４及び測距センサ５のうちの何れか一方が、検出状況に応じて選択され、選択された一方が所定の処理のために用いられる。例えば、赤外線カメラ４からの画像の中に特定の物体を検出できなかったり、ジェスチャの種類を判別できなかった場合は、赤外線カメラ４の代わりに、測距センサ５が選択される。選択された測距センサ５からの情報に基づいて、物体の動きを検出し、当該検出した動きに応じて所定の情報処理が行われる。すなわち、赤外線カメラ４及び測距センサ５のうち、赤外線カメラ４が優先的に物体の検出のために用いられる。そして、所定の情報処理の結果に基づいて、画像がディスプレイ２に表示されたりプロジェクタ８で投影されたりする。赤外線カメラ４及び測距センサ５のうち、測距センサ５が優先的に物体の検出のために用いられてもよい。

また、他の応用例としては、ユーザが両手で携帯電子機器１を把持してゲームを行っているときに、ユーザが右手を離すと、携帯電子機器１は、ディスプレイ２にゲーム画像の代わりに（又は加えて）メニュー画面を表示してもよい。ユーザは、メニュー画面を用いた操作によって、例えば、実行中のゲームを終了したり、ゲームの進行状況を保存したり、他のゲームを実行したり、携帯電子機器１の設定を変更したりすることができる。具体的には、携帯電子機器１は、赤外線カメラ４や測距センサ５を用いてユーザが右手を離したことを検出する。そして、ユーザが右手を離したことを検出すると、携帯電子機器１は、実行中のゲーム処理を中断し、メニュー画面を表示する。

また、上記携帯電子機器１では、右側面に赤外線カメラ４や測距センサ５等を配置したが、ユーザが左手を用いてジェスチャ入力を行う場合は、図１に示す姿勢の携帯電子機器１を１８０度回転させる（すなわち、図１の携帯電子機器１を上下逆にする）。携帯電子機器１は、姿勢検出部１６を用いて、例えば重力を検出することで、携帯電子機器１が回転されたことを検出する。そして、検出した携帯電子機器１の姿勢に応じて、ディスプレイ２に表示する画像を回転させる。

（変形例）
なお、上述した実施形態は単なる一例であり、例えば、以下のような変形が加えられてもよい。

例えば、携帯電子機器１は、上述したユーザの手を用いたジェスチャ入力に限らず、他の様々な物体を検出して当該物体の検出結果に応じて所定の処理を行い、所定の処理の結果をディスプレイ２に出力したり、プロジェクタ８に出力してもよい。例えば、赤外線カメラ４で側面方向に存在する特定の物体を撮像することで、携帯電子機器に対する入力を行ってもよい。例えば、特定の物体に対する操作をユーザが行うと、当該特定の物体の位置や姿勢が変化する。赤外線カメラ４で当該特定の物体を撮像することで、ユーザによって行われた特定の物体に対する操作を検出することができる。そして、当該操作に応じた処理の結果がディスプレイ２等に出力される。この場合において、携帯電子機器１は、ユーザの手およびユーザが把持した物体の双方を検出してもよいし、物体のみを検出してもよい。

また、携帯電子機器１の形状はどのようなものでもよい。例えば、携帯電子機器１（ディスプレイ２）は、横長ではなく縦長であってもよいし、正方形であってもよい。図２３は、縦長の携帯電子機器５０の一例を示す図である。図２４は、横長の携帯電子機器の一例を示す図である。なお、図２３では、入力ボタン６が表示されていないが、携帯電子機器５０は入力ボタン６を備えてもよい。図２３に示すように、縦長の携帯電子機器５０の正面にはディスプレイ２が設けられ、右側面には、赤外線カメラ４と測距センサ５とプロジェクタ８とが設けられる。上述のように、携帯電子機器５０においても、右側面に設けられた赤外線カメラ４及び測距センサ５を用いて、ユーザは、携帯電子機器５０の右側面方向から右手でジェスチャ入力を行うことができる。

このように、本実施形態の携帯電子機器は、画面が縦長であっても横長であっても、画面を正面から見た場合の側面方向（左右方向）に、赤外線カメラ４等が設けられる。ここで、「画面を正面から見る」とは、ディスプレイ２の画面に表示された文字列や画像等が通常の方向から見えるように画面を見ることを意味する。例えば、図２３では、画面が縦長になるように携帯電子機器を把持すると、画面に表示された文字列「ＡＢＣ」や画像が通常の方向から見えるため、この状態が画面を正面から見ている状態である。また、例えば、図２４では、画面が横長になるように携帯電子機器を把持すると、画面に表示された文字列「ＡＢＣ」や画像が通常の方向から見えるため、この状態が画面を正面から見ている状態である。

本明細書における「側面」は、図２３や図２４に示すように、画面を正面から見た場合に下方向を向く底面及び上方向を向く上面を含んでもよい。すなわち、本実施形態の携帯電子機器では、画面を正面から見た場合に上方向を向く「上面」や下方向を向く「底面」に赤外線カメラ４や測距センサ５等が設けられてもよく、左方向を向く「左側面」や右方向を向く「右側面」に、赤外線カメラ４や測距センサ５等が設けられてもよい。

なお、本実施形態の携帯電子機器は、姿勢検出部１６を用いて自機の姿勢を検出し、検出した姿勢に応じて、画面に表示する文字や画像等を回転させてもよい。図２５は、画面を正面から見た場合の側面に赤外線カメラ４や測距センサ５等が設けられた携帯電子機器において、携帯電子機器を９０度右回転させたときの様子を示す図である。

図２５に示すように、携帯電子機器は、画面が横長になるように携帯電子機器を把持した場合は、画面には文字や画像が通常の方向から見え、画面を正面から見たときの右側面に、赤外線カメラ４や測距センサ５等が設けられる。一方、携帯電子機器を９０度右回転させると、姿勢検出部１６が例えば重力を検出することで、携帯電子機器は自機の姿勢を検出する。携帯電子機器は、当該検出結果に応じてディスプレイ２に表示された文字や画像が正面から見えるように、当該文字や画像を回転させる。すなわち、９０度右回転させた後でも、ユーザは携帯電子機器の画面を正面から見ることができる。この場合、赤外線カメラ４や測距センサ５等は、携帯電子機器の画面を正面から見た場合の底面に位置することになる。このような携帯電子機器もまた、本発明の範囲に含まれる。

すなわち、携帯電子機器の持ち方によっては、赤外線カメラ４や測距センサ５等は、画面に対して下方向に位置したり上方向に位置することになってもよい。携帯電子機器がある姿勢でユーザに把持された場合には、当該ユーザが画面を正面から見たときに（画面に表示される文字や画像等が通常の方向から見えるときに）、赤外線カメラ４や測距センサ５等が画面に対して左右方向の面に位置するようになる。そのような姿勢において、ユーザは、画面に対して右方向（又は左方向）から上述のような右手（又は左手）でジェスチャを行うことにより、携帯電子機器に対してジェスチャ入力を行うことができる。また、携帯電子機器が別の姿勢でユーザに把持された場合には、当該ユーザが画面を正面から見たときに、赤外線カメラ４や測距センサ５等が画面に対して上下方向の面に位置するようになる。そのような姿勢において、ユーザは、画面に対して上方向（又は下方向）から上述のような右手（又は左手）でジェスチャを行うことにより、携帯電子機器に対してジェスチャ入力を行うことができる。

また、例えば、側面とともに上面や底面に赤外線カメラ４や測距センサ５、プロジェクタ８が設けられる構成も、本発明の範囲に含まれる。また、左側面および右側面の両方に赤外線カメラ４や測距センサ５等が設けられてもよい。この場合において、例えば測距センサによって測定された距離に基づいて、携帯電子機器の左側および右側のうちのどちらがユーザによって把持されているかを判断してもよい。例えば、携帯電子機器は、測定された距離が短い方に対応する側面（把持部）がユーザによって把持されていると判断してもよい。

図２６は、側面と底面との両方に赤外線カメラ４や測距センサ５等が設けられた構成の一例を示す図である。図２６に示すように、携帯電子機器の右側面には、赤外線カメラ４や測距センサ５等が設けられ、携帯電子機器の底面にも赤外線カメラ４や測距センサ５等が設けられる。ユーザは、左手で携帯電子機器を把持しながら、右手を用いてジェスチャ入力等が可能である。このような構成では、横長となるように携帯電子機器が把持された場合でも、縦長となるように携帯電子機器が把持された場合でも、横方向に赤外線カメラ４や測距センサ５等が位置するため、画面の横方向において上述のようなジェスチャ入力が可能となる。

このように、ユーザが携帯電子機器を左手（又は右手）で把持して画面を正面から見ながら、右手（又は左手）でディスプレイの画面に対して側面方向からジェスチャ入力を行うことができるものであれば、携帯電子機器はどのような構成であってもよい。

また、上記実施形態では、赤外線カメラ４や測距センサ５等が側面に垂直な方向（画面に平行）を向くものとしたが、他の構成では、赤外線カメラ４や測距センサ５等が側面に対して所定の角度だけ傾くように設けられてもよい。

図２７は、赤外線カメラ４や測距センサ５を傾けた場合の携帯電子機器を底面から見た図である。図２７に示すように、赤外線カメラ４の撮像方向が、携帯電子機器の右側面と垂直ではなく、画面方向に所定の角度だけ傾いていてもよい。また、測距センサ５の検出方向（光源からの光の射出方向）が、携帯電子機器の右側面と垂直ではなく、画面方向に所定の角度だけ傾いていてもよい。同様に、プロジェクタ８が、携帯電子機器の右側面と垂直ではなく、画面方向に所定の角度だけ傾いていてもよい。このように、赤外線カメラ４や測距センサ５、プロジェクタ８が画面方向に傾いている場合には、ユーザは、携帯電子機器の真横よりも画面方向の所定位置で手を使ったジェスチャ入力を行うことになる。赤外線カメラ４や測距センサ５、プロジェクタ８の傾きは、ユーザがジェスチャ入力を行い易いように、適宜調整されてもよく、例えば、赤外線カメラ４や測距センサ５、プロジェクタ８を背面方向に傾けてもよい。

また、上記実施形態では、赤外線カメラ４が用いられたが、赤外線カメラ４の代わりに可視光の画像を撮像する通常のカメラ（ＲＧＢ画像を取得するカメラ）が用いられ、当該通常のカメラを用いてユーザのジェスチャが認識されてもよい。また、赤外線カメラ４の代わりに、ＲＧＢ画像と赤外線画像との両方を撮像可能なカメラが用いられてもよい。図２８は、ＲＧＢ画像と赤外線画像との両方を撮像可能なイメージセンサの一部を示す図である。図２８に示すように、４つの素子（フォトトランジスタ）のそれぞれは、赤の光（Ｒ）、緑の光（Ｇ）、青の光（Ｂ）、赤外光（ＩＲ）を受光する。このような４つの素子の組み合わせが縦横に多数並べられたイメージセンサを用いることで、ＲＧＢ画像を取得することができるとともに、赤外線画像も取得することができる。これにより、ＲＧＢ画像と赤外線画像のうちの何れかを用いて、ジェスチャを認識することができる。すなわち、取得されたＲＧＢ画像と赤外線画像のうち、ジェスチャ認識に適した画像を選択することができる。例えば、赤外線の光量が多すぎて取得された赤外線画像に特定の物体が検出できない場合は、ＲＧＢ画像を用いてジェスチャを認識することができ、その逆も可能である。

また、上記実施形態では、プロジェクタ８が備えられたが、ユーザによるジェスチャ入力に応じた所定の情報処理（Ｓ１３）の結果を、光によってユーザに知らせるものであればどのようなものでもよい。例えば、プロジェクタ８の代わりに又は加えて、所定の光を発する光源（例えば、ＬＥＤ、ハロゲンランプ、蛍光ランプ、ＥＬランプ等）が携帯電子機器１に備えられてもよい。

また、上記実施形態では、赤外線カメラ４と測距センサ５とを用いて画像と距離とを別々に取得したが、他の実施形態では、例えば、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）型の距離画像センサが設けられ、当該距離画像センサを用いて、画像と画素毎の距離とが取得されてもよい。そして、携帯電子機器は、取得された画像と距離とに基づいて、特定の物体を検出し、検出結果に応じてディスプレイ２やプロジェクタ８に画像を出力する。

また、上記実施形態では、一方の手で携帯電子機器を把持し、他方の手で携帯電子機器に対してジェスチャ入力を行う例について説明した。他の実施形態では、携帯電子機器は、例えば画面を備える腕時計型の装置のように、ユーザの腕（身体）に固定されるものであってもよい。

また、携帯電子機器の形状はどのようなものでもよく、例えば、板状の楕円形状であってもよい。例えば、携帯電子機器は、折り畳み可能なものであってもよい。

また、上記実施形態では携帯型の装置としたが、他の実施形態では据置型の装置であってもよい。

１ 携帯電子機器
２ ディスプレイ
３ タッチパネル
４ 赤外線カメラ
５ 測距センサ
６ 入力ボタン
７ 照射部
８ プロジェクタ
９ 外側カメラ
１１ バイブレータ
１６ 姿勢検出部
１７ ＧＰＳレシーバ
１８ 地磁気センサ

Claims (16)

1. 手持ち型電子機器であって、
   ユーザの左手で把持される左側把持部と、
   前記左側把持部の近傍に設けられ、当該左側把持部を把持した前記ユーザの左手で操作される第１入力部と、
   前記ユーザの右手で把持される右側把持部と、
   前記右側把持部の近傍に設けられ、当該右側把持部を把持した前記ユーザの右手で操作される第２入力部と、
   前記手持ち型電子機器の左側面又は右側面に設けられた測距センサと、
   前記左側把持部と前記右側把持部との間に設けられたディスプレイと、
   前記測距センサからの情報に基づいて、物体の動きを検出する検出手段と、
   前記検出手段による検出結果に基づいて、所定の情報処理を行う処理手段と、を備え、
   前記検出手段は、前記測距センサからの情報に基づいて、前記左側把持部又は前記右側把持部を把持した前記ユーザの一方の手と反対側の他方の手の動きを検出し、
   前記処理手段は、前記ユーザの前記他方の手の動きに基づいて、前記所定の情報処理を行う、手持ち型電子機器。
2. 前記手持ち型電子機器は、カメラをさらに備え、
   前記検出手段は、前記カメラからの画像に基づいて物体を検出する、請求項１に記載の手持ち型電子機器。
3. 前記カメラは前記測距センサの近傍に配置される、請求項２に記載の手持ち型電子機器。
4. 前記カメラは、前記測距センサの検出方向と同じ方向を向く、請求項２又は３に記載の手持ち型電子機器。
5. 前記検出手段は、前記カメラからの画像に基づいて、ユーザのジェスチャを検出し、前記測距センサからの情報に基づいて、前記物体までの距離を検出する、請求項２から４の何れかに記載の手持ち型電子機器。
6. 前記カメラは、赤外光を受光可能なカメラである、請求項２から５の何れかに記載の手持ち型電子機器。
7. 前記処理手段は、前記所定の情報処理として、前記検出手段による検出結果に基づく所定の成否判定を行い、当該成否判定の結果に基づいてゲーム処理を行う、請求項１から６の何れかに記載の手持ち型電子機器。
8. 前記測距センサは、指向性を有するセンサであり、特定方向に存在する物体までの距離を検出する、請求項１から７の何れかに記載の手持ち型電子機器。
9. 前記処理手段は、前記一方の手で操作される入力部において行われた入力にも基づいて、前記所定の情報処理を行う、請求項１から８に何れかに記載の手持ち型電子機器。
10. 音声を出力する音声出力部をさらに備える、請求項１から９の何れかに記載の手持ち型電子機器。
11. 前記手持ち型電子機器は、ゲーム装置である、請求項１から１０の何れかに記載の手持ち型電子機器。
12. 手持ち型電子機器であって、
    測距センサと、
    カメラと、
    前記測距センサおよび前記カメラのうちの少なくとも何れか一方を選択する選択手段と、
    前記選択手段によって選択された前記測距センサ又は前記カメラからの情報に基づいて、物体を検出する検出手段と、
    前記検出手段による検出結果に基づいて、所定の情報処理を行う処理手段とを備え、
    前記処理手段は、複数種類のアプリケーションを実行可能であり、
    前記選択手段は、前記処理手段によって実行されるアプリケーションの種類に応じて、前記測距センサおよび前記カメラの何れか一方を選択する、手持ち型電子機器。
13. 前記選択手段は、特定の物体を検出した結果を用いるアプリケーションが前記処理手段によって実行される場合、前記カメラを選択し、不特定の物体との距離を検出した結果を用いるアプリケーションが前記処理手段によって実行されるときには、前記測距センサを選択する、請求項１２に記載の手持ち型電子機器。
14. 手持ち型電子機器であって、
    測距センサと、
    カメラと、
    前記測距センサおよび前記カメラのうちの少なくとも何れか一方を選択する選択手段と、
    前記選択手段によって選択された前記測距センサ又は前記カメラからの情報に基づいて、物体を検出する検出手段と、
    前記検出手段による検出結果に基づいて、所定の情報処理を行う処理手段とを備え、
    前記処理手段は、所定のアプリケーションを実行可能であり、
    前記選択手段は、前記処理手段によって前記所定のアプリケーションが実行されている場合に、状況に応じて、前記測距センサおよび前記カメラの何れか一方を選択する、手持ち型電子機器。
15. 手持ち型電子機器であって、
    測距センサと、
    カメラと、
    前記測距センサおよび前記カメラのうちの少なくとも何れか一方を選択する選択手段と、
    前記選択手段によって選択された前記測距センサ又は前記カメラからの情報に基づいて、物体を検出する検出手段と、
    前記検出手段による検出結果に基づいて、所定の情報処理を行う処理手段とを備え、
    前記検出手段は、前記カメラからの画像に基づいてユーザのジェスチャを検出するとともに、前記測距センサからの情報に基づいて前記ジェスチャが行なわれる特定の物体までの距離を検出し、
    前記選択手段は、前記検出手段によってユーザのジェスチャを検出可能である場合、前記カメラを選択し、前記検出手段によってユーザのジェスチャを検出できない場合、前記測距センサを選択する、手持ち型電子機器。
16. 前記選択手段は、前記測距センサ及び前記カメラの両方を選択し、
    前記処理手段は、前記測距センサによって検出された距離及び前記カメラによって撮像された画像に基づいて、前記所定の情報処理を行う、請求項１２から１５の何れかに記載の手持ち型電子機器。

Images