JP6684042B2 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP6684042B2
JP6684042B2 JP2014182587A JP2014182587A JP6684042B2 JP 6684042 B2 JP6684042 B2 JP 6684042B2 JP 2014182587 A JP2014182587 A JP 2014182587A JP 2014182587 A JP2014182587 A JP 2014182587A JP 6684042 B2 JP6684042 B2 JP 6684042B2
Authority
JP
Japan
Prior art keywords
electronic device
user
image
hand
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014182587A
Other languages
English (en)
Other versions
JP2016057780A (ja
Inventor
嘉泰 小笠原
嘉泰 小笠原
伸一 絹脇
伸一 絹脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2014182587A priority Critical patent/JP6684042B2/ja
Priority to US14/842,222 priority patent/US10015402B2/en
Priority to US14/842,275 priority patent/US20160073017A1/en
Publication of JP2016057780A publication Critical patent/JP2016057780A/ja
Application granted granted Critical
Publication of JP6684042B2 publication Critical patent/JP6684042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/18—Question-and-answer games
    • A63F9/183—Question-and-answer games electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/243—Detail of input, input devices with other kinds of input
    • A63F2009/2435—Detail of input, input devices with other kinds of input using a video camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/2436—Characteristics of the input
    • A63F2009/2442—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/2436—Characteristics of the input
    • A63F2009/2442—Sensors or detectors
    • A63F2009/2447—Motion detector
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2448—Output devices
    • A63F2009/2479—Other kinds of output
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/10—Miscellaneous game characteristics with measuring devices
    • A63F2250/1036—Miscellaneous game characteristics with measuring devices for distances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Set Structure (AREA)
  • Telephone Function (AREA)

Description

本発明は、所定の情報処理を行うことが可能な手持ち型の電子機器に関する。
従来より、ディスプレイとディスプレイの背面に設けられたカメラとを備える携帯型のゲーム装置が存在する（例えば、特許文献１）。このような従来のゲーム装置では、ユーザのシャッタ操作により撮像画像を取得し、当該取得された画像の特徴部分を解析し、その結果に基づいて仮想のキャラクタを撮像画像に合成してディスプレイに表示することができるものがある。
特開２００６−２７１６６３号公報
しかしながら、上記従来の携帯型の装置では、カメラによって撮像された画像に基づく情報処理の結果がディスプレイに表示されるものであり、ユーザの入力に応じた処理の結果としてユーザに対してより効果的な出力を行うという点において改善の余地があった。
それ故、本発明の目的の一つは、ユーザの入力に応じた処理の結果としてユーザに対してより効果的な出力を行うことが可能な電子機器を提供することである。
本発明では、上記の課題を解決するために、以下の構成を採用した。
一実施形態に係る手持ち型電子機器は、カメラと、バイブレータと、取得手段と、検出手段と、振動制御手段とを備える。取得手段は、前記カメラによって撮像された入力画像を取得する。検出手段は、前記取得手段によって取得された入力画像に基づいて、ユーザによって行われたジェスチャを検出する。振動制御手段は、前記検出手段によるジェスチャの検出結果に応じて、前記バイブレータを用いて前記ユーザに対して振動を与える。
上記によれば、上記電子機器は、カメラによって撮像された画像に基づいてユーザのジェスチャを検出し、ジェスチャの検出結果に応じてバイブレータを振動させることができる。これにより、ユーザは、ジェスチャ入力に対するフィードバックを振動によって受けることができる。
また、他の構成では、前記検出手段は、ユーザの手を用いたジェスチャを検出し、前記振動制御手段によって、前記ジェスチャが行われた手とは別の手に対して振動が与えられてもよい。
上記によれば、ユーザは、一方の手を用いジェスチャ入力を行い、他方の手で、そのジェスチャ入力に対するフィードバックを受けることができる。
また、他の構成では、前記カメラは、前記手持ち型電子機器の側面方向を撮像可能であってもよい。
上記によれば、ユーザは側面方向からジェスチャ入力を行うことができる。
また、他の構成では、前記カメラは、前記手持ち型電子機器の側面に設けられてもよい。
また、他の構成では、前記手持ち型電子機器において、少なくとも前記カメラの撮像方向側の部分と反対側に、ユーザによって把持される把持部が設けられてもよい。
上記によれば、把持部の反対側にカメラが設けられるため、ユーザは、一方の手で把持部を把持して他方の手でジェスチャを行うことができる。
また、他の構成では、前記把持部に、ユーザによる入力を受け付ける入力部が設けられてもよい。
上記によれば、ユーザは把持部を把持しながら入力部に対して入力を行うことができる。
また、他の構成では、前記入力部は、前記把持部を把持した場合に動かすことが可能な指で操作されてもよい。
上記によれば、例えば、把持部が親指で把持された場合に人差し指を動かすことが可能であるときに、ユーザは当該人差し指を用いて入力部を操作することができる。
また、他の構成では、前記入力部は、少なくとも１つの押しボタンであってもよい。
また、他の構成では、前記手持ち型電子機器は、その正面にディスプレイをさらに備えてもよい。
また、他の構成では、前記検出手段によって検出されたジェスチャに応じて、所定の情報処理を行う情報処理手段をさらに備えてもよい。前記振動制御手段は、前記所定の情報処理の結果に応じた振動を与える。
上記によれば、ユーザによって行われたジェスチャに応じて所定の情報処理が行われる。所定の情報処理としては、例えば、ゲーム処理が行われてもよいし、ユーザのジェスチャを評価する処理が行われてもよい。
また、他の構成では、前記振動制御手段は、前記検出手段によってジェスチャが検出されてから所定時間経過後に振動を与えてもよい。
上記によれば、ユーザがジェスチャを行って所定時間経過した後に、ユーザに対して振動によってフィードバックすることができる。
また、他の構成では、前記手持ち型電子機器は、ユーザによって両手で把持されて使用される携帯型のゲーム装置であってもよい。一方の手で前記手持ち型電子機器が把持された状態で、前記検出手段によって他方の手で行われたジェスチャが検出される。前記振動制御手段によって、前記一方の手に対して振動が与えられる。
上記によれば、振動によるフィードバックを行う新たな手持ち型のゲーム装置を提供することができる。
また、他の構成では、前記手持ち型電子機器は、横長の形状であり、前記カメラは、前記手持ち型電子機器の短辺側に設けられてもよい。
上記によれば、横長の手持ち型電子機器において短辺側に側面カメラが設けられるため、ユーザは、当該電子機器の横方向からジェスチャ入力を行うことができる。
また、他の構成では、前記カメラは赤外光を受光可能なカメラであってもよい。
上記によれば、赤外線カメラによって撮像された画像に基づいて特定の物体を検出することができる。赤外線カメラを用いることによって、通常の可視光の画像を撮像するカメラと比べて外部環境の影響を低減することができ、特定の物体の検出に適した画像を取得することができる。
また、他の構成では、前記検出手段による検出結果に応じて、音声を出力させる音声制御手段を備えてもよい。
上記によれば、上記検出結果に応じて画像に加えて音声を出力することができる。
一実施形態に係る手持ち型電子機器は、ハウジングと、カメラと、バイブレータと、取得手段と、検出手段と、振動制御手段とを備える。カメラは、前記ハウジングの側面方向を撮像可能である。取得手段は、前記カメラによって撮像された入力画像を取得する。検出手段は、前記取得手段によって取得された入力画像に基づいて、特定の物体を検出する。振動制御手段は、前記検出手段による検出結果に応じて、前記バイブレータを用いて前記ユーザに対して振動を与える。
一実施形態に係る手持ち型電子機器は、測距センサと、バイブレータと、取得手段と、検出手段と、振動制御手段とを備える。取得手段は、前記測距センサからの情報を取得する。検出手段は、前記取得手段によって取得された情報に基づいて、ユーザによって行われた動作を検出する。振動制御手段は、前記検出手段による検出結果に基づいて、前記バイブレータを用いて前記ユーザに対して振動を与える。
また、他の構成では、前記検出手段は、物体の距離を検出し、前記振動制御手段は、前記距離に応じた振動を与えてもよい。
上記によれば、例えば、物体と電子機器との間の距離に応じた振動を与えることができる。
本発明の一例によれば、カメラでユーザのジェスチャを検出し、検出結果に応じて当該ユーザに振動を与えることができる。
本実施形態の携帯電子機器１の正面図 携帯電子機器１の右側面図 携帯電子機器１の背面図 携帯電子機器１の内部構成の一例を示すブロック図 携帯電子機器１の使用状態の一例を示す図であり、ユーザが携帯電子機器１を両手で把持したときの様子を示す図 ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図 ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図 図６Ａに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図 図６Ｂに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図 赤外線カメラ４の認識可能範囲を示す図 測距センサ５の認識可能範囲を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図 図１０Ａに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図 図１０Ｂに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図 図１０Ｃに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図 図１０Ｄに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像される画像の一例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の他の例を示す図 赤外線カメラ４を用いたジェスチャ入力に基づく処理の他の例を示す図 測距センサ５を用いた処理の一例を示す図 プロジェクタ８を用いてユーザのジェスチャ入力に応じた画像がユーザの手に投影される様子を示す図 左手で携帯電子機器１を把持しながら携帯電子機器１に対して右手で様々なジェスチャ入力を行う様子を示す図 携帯電子機器１において行われる処理の一例を示すフローチャート 赤外線カメラ４からの入力画像を用いた場合の図１６のステップＳ１２の所定の情報処理を示すフローチャート 測距センサ５からの検出情報に基づく処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャート 赤外線カメラ４および測距センサ５を用いた処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャート 携帯電子機器１において行われる処理の応用例を示す図 外側カメラ９と、赤外線カメラ４及び／又は測距センサ５とを用いた処理が行われた場合のディスプレイ２に表示される画像の一例を示す図 プロジェクタ８とディスプレイ２を連動させたゲームの一例を示す図 縦長の携帯電子機器５０の一例を示す図 横長の携帯電子機器の一例を示す図 画面を正面から見た場合の側面に赤外線カメラ４や測距センサ５等が設けられた携帯電子機器において、携帯電子機器を９０度右回転させたときの様子を示す図 側面と底面との両方に赤外線カメラ４や測距センサ５等が設けられた構成の一例を示す図 赤外線カメラ４や測距センサ５を傾けた場合の携帯電子機器を底面から見た図 ＲＧＢ画像と赤外線画像との両方を撮像可能なイメージセンサの一部を示す図
以下、本発明の一実施形態に係る携帯電子機器について説明する。携帯電子機器は、ユーザが手で持って操作可能な手持ち型の情報処理装置であり、例えば、ゲーム装置であってもよいし、携帯電話機（スマートフォン等）、タブレット端末、カメラ、腕時計型の端末等の任意の装置であってもよい。図１は、本実施形態の携帯電子機器１の正面図である。図２は、携帯電子機器１の右側面図である。図３は、携帯電子機器１の背面図である。
図１に示すように、携帯電子機器１は、ディスプレイ２と、タッチパネル３と、赤外線カメラ４と、測距センサ５と、入力ボタン６（６Ａ〜６Ｄ）と、照射部７と、プロジェクタ８とを備え、これらはハウジング１０に収納される。ハウジング１０（携帯電子機器１）は、板状の形状であり、ユーザが片手又は両手で把持可能な大きさである。
ディスプレイ２としては、例えば、液晶表示装置や有機ＥＬ表示装置等が用いられ、その他、任意の表示装置が用いられてもよい。ディスプレイ２の画面は、ハウジング１０の正面（Ｔ５面）に露出するように設けられる。タッチパネル３は、ディスプレイ２の画面上に設けられ、ユーザによってタッチされた画面上の位置を検出する。タッチパネル３としては、１点検出が可能なものや多点検出が可能なものが用いられ、例えば、静電容量方式、抵抗膜方式等、任意のものが用いられてもよい。
入力ボタン６Ａ〜６Ｄは、ユーザによる入力（押下）を受け付ける。入力ボタン６Ａ〜６Ｄは、ユーザが携帯電子機器１の両端を把持したときにユーザの指が届く位置に設けられる。具体的には、入力ボタン６Ａおよび６Ｃは、ユーザが右手で携帯電子機器１を把持したときに右手の指が届く位置にあり、入力ボタン６Ａは右手の親指が届く位置に、入力ボタン６Ｃは右手の人差し指又は中指が届く位置に設けられる。また、入力ボタン６Ｂおよび６Ｄは、ユーザが左手で携帯電子機器１を把持したときに左手の指が届く位置にあり、入力ボタン６Ｂは左手の親指が届く位置に、入力ボタン６Ｄは左手の人差し指又は中指が届く位置に設けられる。図１に示すように、入力ボタン６Ａおよび６Ｂは、ハウジング１０の正面（Ｔ５面）に設けられ、入力ボタン６Ｃおよび６Ｄは、ハウジング１０の上面（Ｔ４面）に設けられる。なお、ユーザによる入力を受け付ける入力部としては、入力ボタン６Ａ〜６Ｄの他に、方向入力のための十字キー、アナログスティック等が設けられてもよい。
赤外線カメラ４は、レンズと光（赤外線。具体的には近赤外線）に感光するセンサとを備える。赤外線カメラ４のセンサは、赤外線に感光する素子を縦横に複数並べたイメージセンサであり、当該イメージセンサの各素子が赤外線を受光して電気信号に変換することで２次元の赤外線画像を出力する。
測距センサ５は、測距センサ５に設けられた光源から射出された光（例えば、赤外光）が物体に反射し、当該反射光を受光素子で受光することで物体との間の距離を測定する。測距センサ５としては、三角測距方式、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式等任意のものが用いられてもよい。測距センサ５の光源としては、特定方向に赤外光を射出するＬＥＤやレーザダイオード等が用いられる。
照射部７は、赤外線を所定の時間間隔（例えば、１／６０秒間隔）で照射する。赤外線カメラ４が画像を撮像するタイミングと同期して、照射部７が赤外線を照射する。照射部７は、携帯電子機器１の右側面方向の所定の範囲に赤外線を照射する。照射部７によって照射された赤外線が物体によって反射され、当該反射された赤外線が赤外線カメラ４によって受光されることで、赤外線の画像が取得される。なお、照射部７は、赤外線カメラ４による赤外線画像の撮像のため、および、測距センサ５による距離の測定のために用いられてもよい。すなわち、照射部７からの赤外光を利用して、赤外線カメラ４によって画像が撮像されるとともに、測距センサ５によって距離が測定されてもよい。
また、プロジェクタ８は、可視光を射出する光源を有し、当該光源からの光を用いて文字や画像等を投影面（スクリーンや後述するようにユーザの手等）に投影する。
赤外線カメラ４、測距センサ５、照射部７、およびプロジェクタ８は、ハウジング１０の側面（例えば右側面：Ｔ１面）に設けられる。具体的には、赤外線カメラ４の撮像方向（光軸）は、右側面に垂直な方向を向く。測距センサ５の検出方向、プロジェクタ８が光を照射する方向もまた同様に右側面に垂直な方向である。すなわち、赤外線カメラ４は、ユーザが左手で携帯電子機器１を把持した際に、携帯電子機器１の右側面方向の空間を撮像し、測距センサ５は、携帯電子機器１の右側面方向の空間に存在する物体までの距離を測定する。また、プロジェクタ８は、赤外線カメラ４および測距センサ５と同じ方向に可視光を照射することで画像等を投影する。
携帯電子機器１の背面（Ｔ６面）には、外側カメラ９が設けられる（図３）。外側カメラ９は、典型的には、赤外線カメラ４の撮像方向とは垂直な方向を撮像可能であり、背面と垂直な方向を撮像可能である。外側カメラ９は、レンズと可視光に感光するイメージセンサとを備える。外側カメラ９は、背面方向の空間を撮像し、カラー画像（ＲＧＢ画像）を取得する。なお、背面の外側カメラ９に加えて正面にもカメラが設けられてもよいし、背面の外側カメラ９は設けられず、正面（ディスプレイ２の画面が設けられた面）にカメラが設けられてもよい。
図４は、携帯電子機器１の内部構成の一例を示すブロック図である。図４に示すように、携帯電子機器１は、上述した各部の他、バイブレータ１１、マイク１２、スピーカ１３、制御部１４、通信部１５、姿勢検出部１６、ＧＰＳレシーバ１７、および地磁気センサ１８を備える。また、携帯電子機器１は、図示しないバッテリーを備え、当該バッテリーから電源が供給される。これら各部はハウジング１０内に収納される。
制御部１４は、ディスプレイ２、タッチパネル３、赤外線カメラ４、測距センサ５、入力ボタン６、照射部７、プロジェクタ８、バイブレータ１１、マイク１２、スピーカ１３、通信部１５、姿勢検出部１６、ＧＰＳレシーバ１７、地磁気センサ１８等、各部に接続され、各部を制御する。
具体的には、制御部１４は、ＣＰＵやメモリ等を含み、携帯電子機器１に備えられた図示しない記憶装置（例えば、不揮発性メモリやハードディスク等）に記憶された所定のプログラム（例えば、ゲーム処理や画像処理、各種演算を行うためのアプリケーションプログラム）に基づいて所定の処理を行う。例えば、制御部１４は、赤外線カメラ４からの画像を取得して当該画像を解析したり、測距センサ５からの信号に基づいて物体までの距離を算出したり、タッチパネル３や入力ボタン６からの入力信号に応じた処理を行う。そして、制御部１４は、所定の処理の結果に基づく画像を生成し、ディスプレイ２に当該画像を出力する。なお、所定の処理を行うためのプログラムは、通信部１５を介して外部からダウンロードされてもよい。
バイブレータ１１は、制御部１４からの命令に基づいて動作し、携帯電子機器１全体を振動させる。バイブレータ１１は、ユーザの手に振動が伝わりやすい所定の位置（例えば、ハウジング１０内の中央部や左右の何れかに偏った位置）に設けられる。
マイク１２およびスピーカ１３は、音声を入力／出力するために用いられる。通信部１５は、所定の通信方式（例えば、無線ＬＡＮ等）で他の機器と通信を行うために用いられる。また、姿勢検出部１６は、例えば、加速度センサや角速度センサであり、携帯電子機器１の姿勢を検出する。
ＧＰＳレシーバ１７は、ＧＰＳ（Global Positioning System）衛星からの信号を受信し、当該信号を受信することで携帯電子機器１は自機の位置を計算することができる。例えば、携帯電子機器１は、特定の位置で所定の操作（例えば、後述する赤外線カメラ４を用いたジェスチャ入力やボタン入力、携帯電子機器１を振るなどの動作）が行われた場合に、当該特定の位置に対応付けられたオブジェクトを表示してもよい。例えば、携帯電子機器１においてゲームが行われる場合において、携帯電子機器１が特定の位置にある場合、当該特定の位置に対応したオブジェクトを当該ゲームに登場させてもよい。
また、地磁気センサ１８は、磁気の方向および大きさを検出可能なセンサである。例えば、携帯電子機器１は、地磁気センサ１８の検出結果に基づいて、特定の方位を向いているか否かを判定し、特定の方位で所定の操作（上記ジェスチャ入力等）が行われた場合に、オブジェクトを表示してもよい。例えば、携帯電子機器１においてゲームが行われる場合、特定の方位に対応したオブジェクトが当該ゲームに登場してもよい。また、携帯電子機器１は、ＧＰＳレシーバ１７を用いたＧＰＳ情報と地磁気センサを用いた方位情報とを組み合わせてもよい。例えば、携帯電子機器１が、特定の位置にあり、かつ、特定の方位を向いている場合、当該特定の位置及び特定の方位に対応するオブジェクトを表示したり、当該オブジェクトをゲームに登場させてもよい。
図５は、携帯電子機器１の使用状態の一例を示す図であり、ユーザが携帯電子機器１を両手で把持したときの様子を示す図である。図５に示すように、ユーザは携帯電子機器１の左右両端部を把持する。ユーザが左右の両端部を把持した場合に、ユーザは、左手の親指で入力ボタン６Ｂを押下可能であり、右手の親指で入力ボタン６Ａを押下可能である。また、ユーザが左右の両端部を把持した場合に、ユーザは、左手の人差し指又は中指を動かすことができ当該左手の人差し指又は中指で入力ボタン６Ｄを押下可能であり、右手の人差し指又は中指を動かすことができ当該右手の人差し指又は中指で入力ボタン６Ｃを押下可能である。
次に、携帯電子機器１に対する入力について説明する。本実施形態では、ユーザは、携帯電子機器１を左手で把持した状態で、右手を用いて携帯電子機器１に対してジェスチャ入力を行うことができる。
図６Ａおよび図６Ｂは、ユーザが携帯電子機器１の右側面方向で右手を用いてジェスチャ入力を行う様子を示す図である。図７Ａは、図６Ａに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図である。図７Ｂは、図６Ｂに示すようなジェスチャ入力が行われた場合の赤外線カメラ４によって撮像される画像の一例を示す図である。
図６Ａおよび図６Ｂに示すように、ユーザは、携帯電子機器１の右側面方向の位置で右手を用いて様々なジェスチャ入力を行う。携帯電子機器１は、携帯電子機器１の右側面に設けられた赤外線カメラ４で赤外線画像を撮像し、当該撮像した赤外線画像を解析することにより、ユーザのジェスチャ入力を判別する。
具体的には、図７Ａや図７Ｂに示す画像が赤外線カメラ４から取得されると、携帯電子機器１は、取得された画像に含まれる特定の物体（具体的には、人間の手）を検出し、当該特定の物体の形状等に基づいて、ユーザによって行われたジェスチャの種類を判別する。例えば、携帯電子機器１は、取得された画像に所定の形状の物体が存在するか否かをパターンマッチング等により判定する。例えば、携帯電子機器１は、図７Ａに示す画像が取得された場合、指の本数から「グー」を認識することができ、図７Ｂに示す画像が取得された場合は、指の本数から「パー」を認識することができる。そして、携帯電子機器１は、後述するようにジェスチャの種類に応じた処理を行う。
ここで、判別されるジェスチャは、ユーザの手や顔等の体の一部や全体を用いた身振り・手振りであり、携帯電子機器１は、手等の静止した状態をジェスチャ入力として認識してもよいし、手を使った一連の動作をジェスチャ入力として認識してもよい。また、携帯電子機器１は、ユーザが物を持った状態で行われるジェスチャ入力を認識してもよい。この場合、携帯電子機器１は、ユーザが持っている物のみの静止状態や動作状態をジェスチャ入力として認識してもよいし、ユーザの手と物を含んだ全体の静止状態や動作状態をジェスチャ入力として認識してもよい。
また、本実施形態の携帯電子機器１は、後述するように測距センサ５を用いて携帯電子機器１と物体との間の距離を算出し、当該算出した距離に基づいて処理を行う。例えば、携帯電子機器１は、測距センサ５からの情報に基づいて、携帯電子機器１の右側面方向の物体の存否を検出したり、物体との間の距離を検出することで、右側面方向の物体の動きを検出することができる。例えば、所定時間内に測距センサ５によって検出される距離が変化している場合、携帯電子機器１は、携帯電子機器１の右側面方向においてユーザが手を左右方向に振っていると認識することができる。また、所定時間内に測距センサ５によって物体が検出されたり検出されなかったりした場合、携帯電子機器１は、ユーザが上下方向に手を振っていると認識することができる。そして、携帯電子機器１は、検出した物体の動きに応じて所定の処理を行い、当該処理の結果をディスプレイ２に表示する。
このように、本実施形態では、赤外線カメラ４及び／又は測距センサ５を用いて、携帯電子機器１の右側面方向における特定の物体を検出することで、携帯電子機器１に対する様々なジェスチャ入力を判別し、当該入力に応じた処理の結果をディスプレイ２に表示することができる。
ここで、赤外線カメラ４及び測距センサ５には、それぞれ物体を認識することが可能な認識可能範囲がある。図８は、赤外線カメラ４の認識可能範囲を示す図である。図９は、測距センサ５の認識可能範囲を示す図である。
図８に示すように、赤外線カメラ４は所定の画角θを有する。赤外線カメラ４は、携帯電子機器１の右側面方向において、赤外線カメラ４の画角θに含まれる範囲（例えば、数十〜１８０度の範囲）を撮像し、当該範囲が赤外線カメラ４を用いたジェスチャ入力の認識可能範囲である。ここで、認識対象の物体と携帯電子機器１との間の距離が短すぎる場合、赤外線カメラ４を用いて当該物体の全体を撮像することができない。したがって、画角θに含まれる範囲のうち、携帯電子機器１から所定の距離ｄより離れた領域が、赤外線カメラ４の認識可能範囲である。なお、距離ｄは、認識対象の物体の大きさにより異なる。
また、図９に示すように、測距センサ５は、携帯電子機器１の右側面方向に物体が存在するか否か、および、物体までの距離を測定する。例えば、測距センサ５は、数ｃｍ〜１ｍ程度の距離を検出可能である。測距センサ５の認識可能範囲は、赤外線カメラ４とは異なり、携帯電子機器１の近傍から右側面方向にほぼ直線状に広がっている。すなわち、測距センサ５は、検出方向のほぼ直線上の位置に存在する物体を検出するものであり、指向性が極めて高い一方で、赤外線カメラ４は、ある程度広がった範囲に存在する物体を撮像するものであり、指向性は低い。
次に、赤外線カメラ４および測距センサ５を用いて検出されるジェスチャ入力に基づく処理について説明する。
図１０Ａ〜図１０Ｄは、赤外線カメラ４を用いたジェスチャ入力に基づく処理の一例を示す図である。図１０Ａに示すように、ユーザが左手で携帯電子機器１を持って携帯電子機器１の右側面方向の所定位置で右手を「グー」にした場合、ディスプレイ２にはキャラクタ２１が表示される。図１０Ａの状態から図１０Ｂに示すように、ユーザが右手を「グー」にした状態で右手を携帯電子機器１の右側面に近づけると、ディスプレイ２のキャラクタ２１は拡大表示される。
さらに、図１０Ｂに示す状態から、ユーザが右手を「パー」にした場合、ディスプレイ２のキャラクタ２１の表情が変化する（図１０Ｃ）。例えば、図１０Ｃに示すように、キャラクタ２１は笑ったような表情に変化する。さらに、図１０Ｄに示すように、ユーザが右手を「パー」にした状態で右手を携帯電子機器１に近づけると、キャラクタ２１はさらに拡大表示されるとともに、キャラクタ２１の表情が変化する。このとき、バイブレータ１１が作動して携帯電子機器１が振動するとともに、スピーカ１３から音が出力されてもよい。
図１１Ａは、図１０Ａに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図である。図１１Ｂは、図１０Ｂに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図である。図１１Ｃは、図１０Ｃに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像された入力画像の一例を示す図である。図１１Ｄは、図１０Ｄに示すジェスチャ入力が行われた場合に赤外線カメラ４で撮像される画像の一例を示す図である。
図１１Ａに示すような入力画像が赤外線カメラ４から取得された場合、携帯電子機器１は、当該取得された入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいて、ジェスチャの種類を判別する。携帯電子機器１には、予めジェスチャの種類と、ディスプレイ２に表示されるキャラクタ２１とが対応付けされて記憶されており、携帯電子機器１は、判別したジェスチャの種類に対応するキャラクタ２１の画像をディスプレイ２に表示する（図１０Ａ）。なお、判別したジェスチャの種類に応じてバイブレータ１１を作動させて携帯電子機器１を振動させてもよい。
次に、図１１Ｂに示すような入力画像が取得された場合、携帯電子機器１は、取得された入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいてジェスチャの種類を判別する。図１１Ｂでは、図１１Ａと同じジェスチャと判別されるため、ディスプレイ２に表示されるキャラクタ２１の画像は図１０Ａと同じ画像である（図１０Ｂ）。しかしながら、物体（ユーザの右手）が携帯電子機器１に近づくほど、ディスプレイ２に表示されるキャラクタ２１は拡大表示される。具体的には、携帯電子機器１は、図１１Ａに示す入力画像に含まれる物体３０の大きさと、図１１Ｂに示す入力画像に含まれる物体３０の大きさとを比較することにより、ディスプレイ２に表示するキャラクタ２１の画像の大きさを決定する。このように、携帯電子機器１は、赤外線カメラ４から取得した画像に含まれる特定の物体の大きさに基づいて、携帯電子機器１と特定の物体との間の相対的な距離（相対位置）を判別し、当該相対的な距離に応じてディスプレイ２に表示するキャラクタ２１の大きさを決定する。このとき、相対的な距離に応じて携帯電子機器１を振動させてもよい。
次に、図１１Ｃに示すような入力画像が赤外線カメラ４から取得されると、携帯電子機器１は、入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいてジェスチャの種類を判別する。図１１Ｃに示す入力画像に含まれる物体３０の形状に基づいて、携帯電子機器１は、「パー」のジェスチャーと判定し、図１０Ｃに示すように、図１０Ａや図１０Ｂとは異なるキャラクタ２１の画像をディスプレイ２に表示する。このときに表示するキャラクタ２１の大きさは、直前に決定されたキャラクタ２１の大きさと同じ大きさに決定されてもよいし、入力画像に含まれる物体の大きさに基づいて決定されてもよい。
さらに、図１１Ｄに示すような入力画像が赤外線カメラ４から取得されると、携帯電子機器１は、入力画像に含まれる物体３０を検出し、当該検出した物体３０の形状に基づいてジェスチャの種類を判別する。しかしながら、図１１Ｄでは、物体３０の一部が欠如しており、携帯電子機器１は、ジェスチャの種類を正確に判別することができない。このため、図１０Ｄに示すように、携帯電子機器１は、ジェスチャの種類が判別できないことを示す態様のキャラクタ２１をディスプレイ２に表示するとともに、ユーザに検出エラーを知らせるために携帯電子機器１を振動させたり、警告音を出力したりする。
なお、図１０Ａ〜図１０Ｄに示すように、ユーザが右手を動かすことで携帯電子機器１に対するジェスチャ入力を行ったが、右手を固定して携帯電子機器１自体を動かした場合でもジェスチャ入力があったと判定されてしまうことがある。このことを避けるために、例えば、加速度センサや角速度センサを用いて携帯電子機器１自体の動きを検出し、携帯電子機器１自体の動きが所定の閾値以上の場合は、ジェスチャ入力が行われなかったと判定してもよい。例えば、加速度センサ等からの検出値を用いて携帯電子機器１自体が移動しているか否かを判定し、携帯電子機器１自体が図１０Ａに示す右方向に移動していると判定された場合、右手を左方向に動かすジェスチャ入力は行われなかったと判定してもよい。また、例えば赤外線カメラ４から取得された画像に基づいて右手の動きが検出された場合において、加速度センサ等を用いて携帯電子機器１自体の動きが検出された場合、当該携帯電子機器１自体の動きに応じて、画像に基づいて検出された右手の動きを打ち消す処理を行い、当該処理によって算出された右手の動きに基づいてキャラクタ２１が表示されてもよい。すなわち、赤外線カメラ４から取得された画像に基づく右手の動きと、加速度センサや角速度センサを用いて検出される携帯電子機器１自体の動きとに基づいて、所定の情報処理が行われてもよい。また、携帯電子機器１自体が動いているか否かを外側カメラ９からの画像に基づいて判定し、携帯電子機器１自体が動いている場合は、ジェスチャ入力が行われなかったと判定してもよい。
図１２Ａおよび図１２Ｂは、赤外線カメラ４を用いたジェスチャ入力に基づく処理の他の例を示す図である。この例では、ディスプレイ２には、計算問題が表示される。ユーザは、ディスプレイ２に表示された問題に対して右手を用いて回答する。例えば、図１２Ａに示すように、「１＋４＝？」という文字列が表示された場合において、ユーザが右手でこの問題の解答「５」を示すジェスチャ入力（「パー」のジェスチャ）を行うと、問題に正解したことを示す表示がディスプレイ２において行われる。このとき、正解したことを示す音声が出力されたり、正解したことを示すパターンでバイブレータ１１を作動させて携帯電子機器１を振動させてもよい。
また、図１２Ｂに示すように、「１＋１＝？」という文字列が表示された場合において、ユーザが右手でこの問題の解答「２」とは異なるジェスチャ入力（ジェスチャで「５」を入力）を行うと、不正解であることを示す表示がディスプレイ２において行われる。このとき、不正解であることを示す音声が出力されてもよいし、不正解であることを示すパターンでバイブレータ１１を作動させてもよい。
このように、携帯電子機器１は、赤外線カメラ４からの入力画像に基づいてユーザによって行われたジェスチャ入力を判別し、問題に正解したか否かを判定する。そして、携帯電子機器１は、判定結果をディスプレイ２に表示する。例えば、携帯電子機器１は、複数の問題を所定時間内に順に表示し、表示された問題に対してユーザが右手を使ったジェスチャで回答する。そして、例えば、所定時間内に何問正解したかに基づいて点数がディスプレイ２に表示される。
次に、測距センサ５を用いた処理の一例について説明する。図１３は、測距センサ５を用いた処理の一例を示す図である。図１３に示すように、ユーザが左手で携帯電子機器１を持って携帯電子機器１の右側面方向の所定位置で右手をかざすと、蛇キャラクタ２２がディスプレイ２の右端から出現する。ユーザが右手を携帯電子機器１に近づけると、蛇キャラクタ２２は、ディスプレイ２の右端から左方向に伸びる。具体的には、携帯電子機器１は、測距センサ５からの情報に基づいて携帯電子機器１とユーザの右手との間の距離を算出し、算出した距離に応じて、蛇キャラクタ２２の長さを決定する。そして、携帯電子機器１は、蛇キャラクタ２２をディスプレイ２に表示する。また、携帯電子機器１は、距離に応じてバイブレータ１１を作動させて、携帯電子機器１を振動させてもよい。
このように、携帯電子機器１は、測距センサ５を用いて携帯電子機器１の右側面方向に存在する物体との間の距離を算出し、当該算出した距離に応じた画像をディスプレイ２に表示する。測距センサ５を用いた処理では、物体が存在するか否か、及び／又は、物体との距離に基づいて、所定の処理が行われる。また、上述のように、所定時間における物体の検知や距離の変化に基づいて、携帯電子機器１の右側面方向における物体の動きが検出され、当該動きの検出に応じて所定の処理が行われる。
次に、プロジェクタ８を用いた出力の例について説明する。図１４は、プロジェクタ８を用いてユーザのジェスチャ入力に応じた画像がユーザの手に投影される様子を示す図である。図１４の上図に示すように、携帯電子機器１の右側面方向の所定位置において、例えばユーザが右手を「パー」にすると、ユーザの右手にキャラクタ２１が投影される。具体的には、携帯電子機器１は、赤外線カメラ４によって撮像された入力画像を解析することで、ユーザによって行われたジェスチャ入力の種類を判別する。次に、携帯電子機器１は、判別されたジェスチャ入力に基づいてキャラクタ２１の画像を生成し、プロジェクタ８を用いて当該キャラクタ２１の画像を出力する。このとき、ディスプレイ２にも同じ（又は異なる）画像が出力されてもよい。
また、図１４の下図に示すように、右手を携帯電子機器１から遠ざけると、例えば、右手に投影されるキャラクタ２１のサイズが変化しないように、キャラクタ２１の画像がプロジェクタ８を用いてユーザの右手に投影される。具体的には、携帯電子機器１は、赤外線カメラ４によって撮像された画像を解析することで、ユーザのジェスチャ入力を判別し、判別結果に応じた画像を生成する。また、携帯電子機器１は、赤外線カメラ４からの入力画像に含まれる手の大きさに基づいて、出力する画像の大きさを決定する。また、携帯電子機器１は、赤外線カメラ４からの入力画像に代えて、又は加えて、測距センサ５によって測定された距離に基づいて、出力する画像の大きさを決定してもよい。そして、携帯電子機器１は、決定した大きさの画像をプロジェクタ８を用いて投影する。このとき、ディスプレイ２にも同じ（又は異なる）画像が出力されてもよい。ユーザが右手を用いて図１４とは異なるジェスチャ（例えば、「グー」）を行った場合は、右手には図１４とは異なる画像が投影される。すなわち、ジェスチャの種類に応じて、異なる画像が投影される。
例えば、携帯電子機器１は、ディスプレイ２にユーザに行わせるジェスチャを順に表示し、表示されたジェスチャと同じジェスチャを所定時間内にユーザが行った場合に、成功判定し、表示されたジェスチャとは異なるジェスチャをユーザが行った場合は、失敗判定を行う。そして、携帯電子機器１は、判定結果に応じてプロジェクタ８から画像を出力することで、ユーザの手に判定結果に応じた画像を投影する。
なお、赤外線カメラ４でユーザの手を撮像することで、ユーザの手を追跡し、ユーザの手に画像が投影されるようにプロジェクタ８を制御してもよい。プロジェクタ８は、所定の範囲に画像を投影することが可能である。携帯電子機器１は、所定の時間間隔で赤外線カメラ４から画像を取得して、当該画像に基づいてユーザの手の位置を認識して、画像を投影する位置を定める。例えば、図１４の下図のようにユーザの手に画像が投影されている状態で、手が上方向に移動した場合、携帯電子機器１は、赤外線カメラ４からの画像に基づいて手が上方向に移動したことを検出する。この検出結果に基づいて、携帯電子機器１はプロジェクタ８を用いてオブジェクトの画像を移動後のユーザの手に投影する。このように、携帯電子機器１は、所定の時間間隔で赤外線カメラ４から画像を取得することにより、ユーザの手が動いている場合でも、ユーザの手の動きに追随するように画像をユーザの手に投影することができる。また、携帯電子機器１は、ユーザの連続するジェスチャに合わせて連続的に画像を投影することができる。
また、プロジェクタ８を用いて携帯電子機器１の右側面方向に光を照射することで、ユーザによるジェスチャ入力が可能な範囲をユーザに知らせてもよい。例えば、赤外線カメラ４でユーザの手の全体が撮像できる場合は、青色の光を照射し、ユーザの手の一部しか撮像できない場合は、赤色の光を照射してもよい。すなわち、赤外線カメラ４の撮像範囲（画角）と同じ又は類似する範囲にプロジェクタ８から光を照射することでユーザにジェスチャ入力が可能な範囲を認識させることができ、ユーザを誘導することができる。なお、画像を投影可能なプロジェクタ８の代わりに、所定の光を発する光源（例えば、ＬＥＤ、ハロゲンランプ、蛍光ランプ、ＥＬランプ等）が携帯電子機器１に備えられ、当該光源から光を射出することで、ジェスチャ入力が可能な範囲をユーザに知らせてもよい。
このように、本実施形態では、赤外線カメラ４や測距センサ５を用いた入力のみならず、プロジェクタ８を用いた光による出力を携帯電子機器１の側面方向から可能である。
以上のように、本実施形態では、赤外線カメラ４および測距センサ５が携帯電子機器１の右側面に設けられ、ユーザが左手で携帯電子機器１を把持しながら右手で様々なジェスチャ入力を行い、当該ジェスチャ入力に応じた所定の処理が行われる。右側面に赤外線カメラ４および測距センサ５が設けられるため、ユーザは、携帯電子機器１を一方の手で把持してディスプレイ２を視認しながら、違和感なく他方の手でジェスチャ入力を行うことができる。
例えば、ディスプレイ２の画面が設けられたＴ５面（正面）に、ジェスチャ入力のための赤外線カメラ４や測距センサ５が設けられる場合、ユーザがジェスチャ入力を行うと、手がディスプレイ２の画面と重なり、ディスプレイ２の視認性を低下させてしまう。また、ディスプレイ２の画面とは反対側のＴ６面（背面）に、ジェスチャ入力のための赤外線カメラ４や測距センサ５が設けられる場合、ユーザは画面の背面でジェスチャ入力を行うことになり、右手が見えず、ジェスチャ入力を行い難い。
しかしながら、本実施形態の携帯電子機器１では、ディスプレイ２の側面にジェスチャ入力のための赤外線カメラ４や測距センサ５が設けられる。このため、ユーザが右手でジェスチャ入力を行う場合でも、画面と右手とが重なることはなく、画面の視認性を妨げずにジェスチャ入力を行うことができる。また、ディスプレイ２の側面に赤外線カメラ等が設けられるため、一方の手で携帯電子機器１を把持しながら、他方の手で携帯電子機器１に対するジェスチャ入力を行うことができ、両手で左右方向から挟むようにして携帯電子機器１に対して入力したり、当該入力に応じた出力（画像表示）を確認したりすることができる。これにより、携帯電子機器に対する従来には無い新規な操作感、使用感をユーザに与えることができる。
図１５は、左手で携帯電子機器１を把持しながら携帯電子機器１に対して右手で様々なジェスチャ入力を行う様子を示す図である。図１５に示すように、ユーザが右手を左右方向に近づけたり、遠ざけたり、上下方向に動かしたり、回転させたり、右手の５本の指のうちの任意の指を伸ばしたり曲げたりすることで、携帯電子機器１に対して側面方向から入力を行うことができる。側面方向から入力を行うことで、携帯電子機器１に対して入力を行っているという感覚をユーザはより強く感じることができる。
ユーザはディスプレイ２の画面を見ながら、右手方向からジェスチャ入力を行い、当該ジェスチャ入力の結果としてディスプレイ２に表示された画像を視認することができる。すなわち、ユーザは、ディスプレイ２の画面を見ると同時に、ジェスチャ入力を行う右手も視界に入り、右手を用いた入力とディスプレイ２からの出力とを同時に視認することができ、より自然にジェスチャ入力を行ったり、それに応じた出力を確認することができる。
また、本実施形態の携帯電子機器１では、可視光の画像（ＲＧＢ画像）を撮像する通常のカメラではなく赤外線カメラ４が用いられるため、ロバスト性がある。すなわち、通常のカメラを用いた場合、外部環境の明るさ（可視光の強さ）によっては、光量が多くなり過ぎたり少なくなり過ぎたりして画像認識に適した入力画像が取得できないことがある。また、通常のカメラを用いた場合において人間の手を認識する場合は、手の形状や肌の色で手を認識するが、外部環境の光の色によって、人間の手を認識できたりできなかったりすることがある。すなわち、外部環境によっては特定の物体（例えばユーザの手）を検出可能な画像が取得できないことがある。しかしながら、赤外線カメラ４を用いた場合は、可視光をフィルタで遮断しつつ照射部７からの赤外光（照射部７から照射されて物体によって反射された赤外光）を透過させることで、外部環境に影響されずに画像認識に適した入力画像を取得することができる。特に、太陽光が遮断された屋内においては赤外光の量は少なくなり、照射部７からの赤外光で特定の物体を照射することにより、外部環境の影響を受けることなく特定の物体を含む鮮明な画像を取得することができる。また、屋外においても、例えば夜間では照射部７からの赤外光で特定の物体を照射することで、画像認識に必要な画像を取得することができる。
（フローチャートの説明）
次に、携帯電子機器１において行われる処理の一例について説明する。図１６は、携帯電子機器１において行われる処理の一例を示すフローチャートである。図１６に示す処理は、制御部１４が所定のプログラムを実行することにより行われる。また、図１６に示す処理は、所定の時間間隔（例えば、１／６０秒に１回）で繰り返し行われる。
図１６に示すように、ステップＳ１０において、制御部１４は、赤外線カメラ４から入力画像を取得する。具体的には、制御部１４は、照射部７に赤外線を照射させるとともに、赤外線カメラ４によって撮像された入力画像を取得する。次に、制御部１４は、測距センサ５からの検出情報を取得する（ステップＳ１１）。
次に、制御部１４は、所定の情報処理を行う（ステップＳ１２）。ここで、所定の情報処理としては、赤外線カメラ４からの入力画像を用いた処理、測距センサ５からの検出情報に基づく処理、及び、赤外線カメラ４と測距センサ５との両方を用いた処理の何れかが考えられる。ステップＳ１２の所定の情報処理については、図１７〜図１９を参照して説明する。
ステップＳ１２の処理の後、制御部１４は、ステップＳ１２の所定の情報処理の結果に基づく画像をディスプレイ２、及び／又は、プロジェクタ８に出力する（ステップＳ１３）。そして、制御部１４は、図１６に示す処理を終了するか否かを判定し（ステップＳ１４）、終了しないと判定した場合は、再びステップＳ１０の処理を実行し、終了すると判定した場合は、図１６に示す処理を終了する。
次に、図１６のステップＳ１２の所定の情報処理について説明する。所定の情報処理としては、上述のように、赤外線カメラ４からの画像を用いた処理、測距センサ５からの検出情報に基づく処理、及び、赤外線カメラ４と測距センサ５との両方を用いた処理がある。これら３つの処理のうち何れの処理が行われるかは、アプリケーションの種類によって定まる。以下では、それぞれの処理について、図１７〜図１９を参照して説明する。
（赤外線カメラ４を用いた所定の情報処理１）
図１７は、赤外線カメラ４からの入力画像を用いた場合の図１６のステップＳ１２の所定の情報処理を示すフローチャートである。図１７に示す処理は、例えば図１０や図１２で例示したアプリケーションを実行するための処理である。
図１７に示すように、制御部１４は、ステップＳ１０で取得した赤外線カメラ４からの入力画像に対して画像認識処理を行う（ステップＳ２０）。具体的には、制御部１４は、赤外線カメラ４からの入力画像に含まれるユーザの手（特定の物体）を、所定の画像認識技術を用いて検出する。
次に、制御部１４は、上記画像認識処理においてユーザの手を検出したか否かを判定する（ステップＳ２１）。ユーザの手を検出した場合（ステップＳ２１：ＹＥＳ）、制御部１４は、ジェスチャの種類を判別する（ステップＳ２２）。具体的には、制御部１４は、検出したユーザの手の形状に基づいて、当該形状に対応するジェスチャの種類を判別する。続いて、制御部１４は、ジェスチャの判別結果に応じた処理を行う（ステップＳ２３）。例えば、制御部１４は、判別したジェスチャの種類に応じた画像を選択したり、判別したジェスチャの種類に応じて、所定のゲームにおける成否を判定する（正しい入力か否かの判定を行う）。
このステップＳ２３の処理の内容は、実行されるプログラム（アプリケーション）の種類によって異なる。例えば、プログラムとして、任意のゲームプログラムが実行されてもよい。また、携帯電子機器１に対する操作（例えば、画面の拡大、縮小、スクロール等。所定のアプリケーションの起動や終了、携帯電子機器１の設定等）を行うためのプログラムが実行されてもよい。例えば、図１０に示す処理に対応するプログラムが実行される場合は、制御部１４は、判別したジェスチャの種類と、入力画像に含まれるユーザの手の大きさとに基づいて、出力する画像の種類を決定するとともに、画像の大きさを決定する。また、例えば、図１２に示す処理に対応するプログラムが実行される場合は、制御部１４は、ユーザによって行われた回答が正しいか否か（正しいジェスチャが行われたか否か）を判定する。
次に、制御部１４は、ステップＳ２３の処理の結果に応じて、出力画像を生成する（ステップＳ２４）。ここで生成された出力画像が、ステップＳ１３においてディスプレイ２及び／又はプロジェクタ８に出力される。
一方、ステップＳ２１において特定の物体を検出しなかったと判定した場合（ステップＳ２１：ＮＯ）、制御部１４は、図１７に示す処理を終了する。
（測距センサ５を用いた所定の情報処理２）
図１８は、測距センサ５からの検出情報に基づく処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャートである。図１８に示す処理は、例えば図１３で例示したアプリケーションを実行するための処理である。
図１８に示すように、制御部１４は、ステップＳ１１で取得した測距センサ５からの検出情報に基づいて、物体と携帯電子機器１との間の距離を算出する（ステップＳ３０）。次に、制御部１４は、距離の算出ができたか否かを判定する（ステップＳ３１）。距離が算出できなかった場合（ステップＳ３１：ＮＯ）、すなわち、物体が検出されなかった場合、制御部１４は、図１８に示す処理を終了する。
距離の算出ができた場合（ステップＳ３１：ＹＥＳ）、制御部１４は、距離に応じた処理を行う（ステップＳ３２）。
このステップＳ３２の処理の内容は、実行されるプログラム（アプリケーション）の種類によって異なる。例えば、プログラムとして、任意のゲームプログラムが行われてもよい。また、携帯電子機器１に対する操作を行うためのプログラムが実行されてもよい。例えば、図１３に示す処理に対応するプログラムが実行される場合は、制御部１４は、算出した距離に基づいて、蛇オブジェクト２２の長さを決定する。なお、ステップＳ３２において、過去の所定期間に算出された距離に基づいて、物体の動きが検出されてもよい。すなわち、過去の所定期間において、物体が検出されたりされなかったりした場合や、算出した距離が変化している場合は、当該変化のパターンに基づいて、制御部１４は、物体の動きを検出し、検出した動きに応じた処理を行う。
そして、制御部１４は、ステップＳ３２の処理の結果に応じて、出力画像を生成する（ステップＳ３３）。ここで生成された出力画像が、ステップＳ１３においてディスプレイ２及び／又はプロジェクタ８に出力される。
（赤外線カメラ４及び測距センサ５を用いた所定の情報処理３）
次に、赤外線カメラ４および測距センサ５の両方を用いた所定の情報処理について説明する。図１９は、赤外線カメラ４および測距センサ５を用いた処理が行われる場合の図１６のステップＳ１２の所定の情報処理を示すフローチャートである。図１９において、図１７および図１８と同じ処理については、同一の符号を付して説明を省略する。
図１９に示すように、画像認識処理（ステップＳ２０）に続いて、赤外線カメラ４からの入力画像の中にユーザの手（特定の物体）を検出した場合（ステップＳ２１：ＹＥＳ）、制御部１４は、ジェスチャの種類を判別する（ステップＳ２２）。続いて、制御部１４は、ジェスチャの種類を正常に判別できたか否かを判定する（ステップＳ４０）。例えば、図１１Ｄに示すように、赤外線カメラ４からの画像に含まれる画像において、特定の物体を検出した場合であっても、その特定の物体の一部が欠落している場合、制御部１４は、ステップＳ４０において「ＮＯ」と判定する。
ジェスチャを正常に判別できた場合（ステップＳ４０：ＹＥＳ）、制御部１４は、判別結果に応じた処理を行う（ステップＳ２３）。
一方、ジェスチャを正常に判別できなかった場合（ステップＳ４０：ＮＯ）、又は、ユーザの手を検出しなかった場合（ステップＳ２１：ＮＯ）、制御部１４は、測距センサ５からの検出情報に基づいて距離を算出する（ステップＳ３０）。その後、制御部１４は、図１８と同様に距離を算出できたか否かを判定する。（ステップＳ３１）。距離が算出できれば（ステップＳ３１：ＹＥＳ）、制御部１４は、距離に応じた処理を行う（ステップＳ３２）。
ステップＳ２３の処理を実行した場合、又は、ステップＳ３２の処理を実行した場合、制御部１４は、ステップＳ２３の処理又はステップＳ３２の処理の結果に応じて、出力画像を生成する（ステップＳ４１）。すなわち、ステップＳ２３の処理が実行された場合は、当該ステップＳ２３の処理に応じた出力画像が生成され、ステップＳ３２の処理が実行された場合は、当該ステップＳ３２の処理に応じた出力画像が生成される。生成された出力画像は、ステップＳ１３においてディスプレイ２及び／又はプロジェクタ８に出力される。
このように、図１９に示す処理では、赤外線カメラ４および測距センサ５の両方を用いて処理が行われる。図１９に示す処理では、赤外線カメラ４および測距センサ５は、同じ処理が行われる場合において互いに補完関係にある。例えば、携帯電子機器１と特定の物体との間の距離が短すぎて、赤外線カメラ４では正常にジェスチャ入力を認識できない場合、測距センサ５の検出結果に基づいて処理が行われる。すなわち、赤外線カメラ４では認識不可能な範囲に特定の物体が存在する場合は、測距センサ５を用いて特定の物体を検出する。逆に、測距センサ５では認識不可能な範囲に特定の物体が存在する場合は、赤外線カメラ４を用いて特定の物体を検出してもよい。
このように、赤外線カメラ４と測距センサ５とで、何れか一方が検出状況に応じて選択される。具体的には、一方の検出結果が所定の処理に適さない場合は他方の検出結果を用いて同じ処理を行うことで、赤外線カメラ４と測距センサ５とで互いに補完し合うことができる。これにより、ユーザによって行われたジェスチャ入力をより確実に判別することができ、操作性を向上させることができる。
なお、赤外線カメラ４および測距センサ５の両方を用いる場合において、双方の検出結果に基づいて所定の処理が行われてもよい。すなわち、赤外線カメラ４と測距センサ５とで両方が選択されて、所定の処理のために用いられてもよい。例えば、赤外線カメラ４の認識可能範囲に特定の物体が存在する場合、赤外線カメラ４によって検出された特定の物体の画像と、測距センサ５によって算出された特定の物体までの距離とに基づいて、所定の処理が行われてもよい。
また、上記実施形態のフローチャートで示した処理は単なる一例であり、上記処理の一部が実行されなくてもよいし、上記処理の他の処理が付加されてもよい。また、処理の順番はどのようなものでもよい。
以上のように、本実施形態の携帯電子機器１では、ディスプレイ２を正面から見た場合に、側面（右側面）に赤外線カメラ４および測距センサ５が設けられ、当該赤外線カメラ４および測距センサ５を用いて、ユーザの手を用いたジェスチャ入力を行うことができ、当該ジェスチャ入力に応じた出力画像をディスプレイ２やプロジェクタ８に出力することができる。赤外線カメラ４を用いた場合は、携帯電子機器１から所定距離だけ離れた位置において様々なジェスチャを識別可能であり、測距センサ５を用いた場合は、携帯電子機器１の近傍においても物体の存否を判別したり、物体と携帯電子機器１との間の距離に基づいて所定の処理を行うことができる。また、赤外線カメラ４および測距センサ５の両方を用いて所定の処理を行うことができる。そして、所定の処理の結果としての画像をディスプレイ２に表示したり、プロジェクタ８を用いて当該画像を投影したり、所定の処理の結果に応じて携帯電子機器１を振動させたりすることができる。
また、本実施形態では、赤外線カメラ４と測距センサ５とを用いるため、電力消費を抑えつつ、かつ、安価で様々なジェスチャ入力を認識することが可能である。すなわち、赤外線カメラ４による画像の撮像タイミングと同期して照射部７が赤外光を所定の時間間隔で瞬間的に照射する。このため、光を照射する時間が短くても鮮明な画像を撮像することができるため、電力消費を抑えることができる。また、測距センサ５を用いた場合は、広範囲に光を照射する必要は無く、限られた特定の方向に光を照射するだけで検出対象の物体までの絶対距離を算出することができるため、電力消費を抑制することができる。例えば、２次元画像とともに画素毎に距離を測定可能な距離画像センサを用いた場合は、照射部は広範囲に光を照射する必要があるとともに、画素毎に距離を算出する必要があるため、処理負荷および電力消費が大きくなる。また、距離画像センサは、測距センサよりも高価である。しかしながら、赤外線カメラ４と測距センサ５とを用いた場合は、コストおよび電力消費を抑制することができる一方で、様々なジェスチャ入力を判別することができる。
（応用例）
上述した処理の他に、携帯電子機器１を用いて次に示すような処理を行ってもよい。
図２０は、携帯電子機器１において行われる処理の応用例を示す図である。例えば、図２０に示すように、右手を携帯電子機器１に向かって移動させるジェスチャ入力が行われると、当該ジェスチャ入力に応じてディスプレイ２の画面の右端からボールが出現し、左方向に移動する。このとき、右手の動きが速ければ速いほど、ボールの移動速度は速くなる。具体的には、携帯電子機器１は、測距センサ５を用いて物体までの絶対距離を算出し、距離の変化に基づいて物体の速度を算出し、算出した速度に基づいてボールの移動速度を決定する。また、例えば、携帯電子機器１は、赤外線カメラ４からの画像に基づいて物体までの相対距離を算出し、相対距離の変化に基づいて物体の速度を算出してもよい。そして、ボールが画面の左端に到達するタイミングで、ユーザが左手で入力ボタン６Ｂを押下すると（あるいはディスプレイ２の画面をタッチすると）、ボールが反対方向に跳ね返り、入力ボタン６Ｂを押下するタイミングがずれると、ボールは反対方向に跳ね返らない。ボールが画面の左端に到達するタイミングでユーザが左手で入力ボタン６Ｂを押下した場合、ボールが反対方向に跳ね返るとともにバイブレータ１１を動作させて左手に振動を与えてもよいし、音声を出力してもよい。このように、右手で行われたジェスチャ入力に応じてディスプレイ２に画像を表示し、所定時間経過後に左手を用いて入力を行わせるアプリケーションが実行されてもよい。
また、別の応用例では、例えば、赤外線カメラ４及び／又は測距センサ５を用いた入力と、外側カメラ９とを用いて、所定の画像が表示されてもよい。具体的には、外側カメラ９によって撮像された画像をディスプレイ２にリアルタイムで表示しながら、赤外線カメラ４及び／又は測距センサ５を用いてユーザのジェスチャ入力を検出し、当該ジェスチャ入力に応じた画像を、外側カメラ９によって撮像された画像に重畳表示してもよい。
図２１は、外側カメラ９と、赤外線カメラ４及び／又は測距センサ５とを用いた処理が行われた場合のディスプレイ２に表示される画像の一例を示す図である。
図２１に示すように、例えば、実空間内に所定のマーカ６０が置かれ、当該マーカ６０を外側カメラ９で撮像すると、外側カメラ９（実カメラ）で撮像された画像がディスプレイ２に表示されるとともに、撮像画像に含まれるマーカの位置に仮想オブジェクトが重畳表示される。ユーザは、右手でジェスチャ入力により当該仮想オブジェクトを操作する。例えば、右手を図２１の矢印方向に移動させると、仮想オブジェクトが左方向に移動してもよい。具体的には、携帯電子機器は、実カメラから取得された撮像画像からマーカの位置および姿勢を検出し、実カメラとマーカとの位置関係を算出する。携帯電子機器は、算出した位置関係に基づいて、仮想空間の座標系を設定する（例えば、マーカを原点とする座標系）とともに仮想カメラを当該仮想空間に設定する。例えば、仮想カメラは、実空間における実カメラの位置に対応する仮想空間の位置に配置される。また、携帯電子機器は、当該仮想空間の所定位置（例えば原点）に仮想オブジェクトを配置する。そして、ユーザのジェスチャ入力に基づいて、仮想空間の仮想オブジェクトを操作するとともに、当該仮想オブジェクトを仮想カメラで撮像する。このようにして得られた仮想空間の画像と、外側カメラ９で撮像された実空間の画像とが重ね合わされて、ディスプレイ２に表示される。
また、例えば、携帯電子機器は、図２１に示すマーカやその他特定の物体を含む画像が外側カメラ９から取得されると、当該取得された画像に対して画像認識処理を実行する。携帯電子機器は、画像認識処理の結果に基づいて、外側カメラ９で撮像された実空間の画像に、魚オブジェクト及び釣り竿オブジェクト（仮想オブジェクト）を重畳表示する。このとき、携帯電子機器の右側面方向で、ユーザが釣り竿のリールを回すようなジェスチャを行うと、携帯電子機器が当該ジェスチャを認識する。そして、携帯電子機器は、魚が釣れたような表示をディスプレイ２に行う。
このように、外側カメラ９と、赤外線カメラ４及び／又は測距センサ５とを用いた処理を行い、現実世界と仮想空間とを融合させた画像がディスプレイ２に表示されてもよい。
また、別の応用例では、プロジェクタ８によって照射された画像とディスプレイ２に表示された画像とを連動させたゲームが行われてもよい。図２２は、プロジェクタ８とディスプレイ２を連動させたゲームの一例を示す図である。
図２２（Ａ）に示すように、ディスプレイ２にはバッターが表示され、ユーザが右手で「パー」のジェスチャを行うと、赤外線カメラ４からの画像に基づいて携帯電子機器１が当該ジェスチャを認識し、プロジェクタ８を用いてユーザの右手にボールの画像を投影する。次に、ユーザが右手を振るジェスチャを行うと、ユーザの右手に投影されたボールの画像が消えるとともにディスプレイ２の右端からボールが出現し、当該ボールが画面の左方向に移動する（図２２（Ｂ））。ボールがバッターの所定範囲に到達したタイミングでユーザが入力ボタン６Ｂを押下すると、バッターはボールを打ち返す（図２２（Ｃ））。打ち返されたボールは、画面の右方向に移動する。ボールがディスプレイ２の右端に到達した後の所定のタイミング（打ち返されたボールが右手に到達するタイミング）で、ユーザが「グー」のジェスチャを行う。すると、ユーザが打ち返されたボールをキャッチしたように、ユーザの右手にボールの画像が投影される（図２２（Ｄ））。このとき、ディスプレイ２には、ユーザがボールのキャッチに成功したことを示す「アウト」の文字が表示されるとともに、音声が出力されてもよいし、携帯電子機器１が振動してもよい。携帯電子機器１は、赤外線カメラ４からの画像や測距センサ５によって測定された距離に基づいてユーザの右手の位置（携帯電子機器の右側面に平行な平面上の位置、及び／又は、右側面に垂直な方向の位置）を認識し、当該認識結果に応じてボールの画像をユーザの右手に投影してもよい。なお、ユーザが上記所定のタイミングで「グー」のジェスチャを行わなかったり、「グー」のジェスチャを行ったタイミングが上記所定のタイミングとずれていた場合、ボールのキャッチに成功せず、図２２（Ｄ）のようなボールの画像は右手に投影されない。例えば、ボールとは異なる画像が右手に投影されたり、「エラー」や「ヒット」という文字がディスプレイ２に表示されてもよい。なお、赤外線カメラ４によってユーザのジェスチャを認識できない場合は、測距センサ５を用いて手の動きを検出することで、上記と同様の処理が行われてもよい。
また、別の応用例では、測距センサ５を用いて物体（不特定の物体）までの絶対距離を算出し、算出した距離に基づいて、ディスプレイ２に画像を出力したり、プロジェクタ８を用いて画像を投影してもよい。例えば、図２２で示した応用例において、キャッチする際の右手の絶対距離に基づいて、ボールのキャッチに成功したか否かが判定され、当該判定結果に応じた画像がディスプレイ２に表示されてもよい。また、赤外線カメラ４によって撮像された画像から特定の物体の位置（画像上の位置）を検出するとともに、測距センサ５を用いて特定の物体までの距離を検出することにより、特定の物体の３次元空間における位置を検出してもよい。そして、特定の物体の３次元空間における位置に基づいて、所定の処理を行い、当該所定の処理の結果に基づく画像をディスプレイ２に表示したり、プロジェクタ８で投影したりしてもよい。
また、別の応用例では、赤外線カメラ４によって撮像された画像に基づいて、特定の物体の距離（相対距離）を算出し、算出した距離に応じてバイブレータ１１を振動させてもよい。例えば、物体までの距離が所定の閾値より近い場合や遠い場合は、バイブレータ１１を振動させてもよい。また、測距センサ５を用いて特定の物体までの絶対距離を算出し、算出した距離に応じてバイブレータ１１を振動させてもよい。また、赤外線カメラ４、又は／及び、測距センサ５を用いて、特定の物体の動き（例えば、右手の動きやその他物体の動き）を検出し、当該特定の物体の動きに応じてバイブレータ１１を振動させてもよい。具体的な例としては、ユーザがギターを弾くように右手を動かしたことに応じて、音を出力するとともに携帯電子機器１を振動させる。このとき、ディスプレイ２には、ギターの弦の画像が表示され、左手の指でディスプレイ２に表示された弦を押さえると、音が変化してもよい。このような応用例では、ユーザが右手を速く動かすほど大きな音が出力されるとともに、携帯電子機器１が強く振動するようにしてもよい。
また、上記では赤外線カメラ４及び／又は測距センサ５を用いた処理の例を複数示したが、他の任意の処理が行われてもよい。例えば、ディスプレイ２や音声によって指示された内容に応じて、所定のタイミングでユーザにジェスチャを行わせるゲームが行われてもよい。そのようなゲームでは、所定のタイミングで所定のジェスチャが行われた場合は、得点が加算され、ユーザによって行われたジェスチャのタイミングが所定のタイミングとずれていたり、所定のジェスチャとは異なるジェスチャが行われた場合には、得点が加算されない。
このように、本実施形態の携帯電子機器１は、実行されるアプリケーションの種類に応じて、所定の処理が行われ、所定の処理のために赤外線カメラ４及び測距センサ５が用いられる。例えば、あるアプリケーションでは、赤外線カメラ４からの画像が所定の処理のために用いられてもよい。また、あるアプリケーションでは、測距センサ５によって算出される距離が所定の処理のために用いられる。また、あるアプリケーションでは、赤外線カメラ４及び測距センサ５の双方が所定の処理のために用いられる。例えば、特定の物体（予め定められた物体）を検出して検出結果に基づいた処理を行うアプリケーションが実行される場合は、赤外線カメラ４が用いられる。これに対して、不特定の物体を検出して当該不特定の物体までの距離に基づいて処理を行うアプリケーションが実行される場合は、測距センサ５が用いられる。
また、あるアプリケーションでは、赤外線カメラ４及び測距センサ５のうちの何れか一方が、検出状況に応じて選択され、選択された一方が所定の処理のために用いられる。例えば、赤外線カメラ４からの画像の中に特定の物体を検出できなかったり、ジェスチャの種類を判別できなかった場合は、赤外線カメラ４の代わりに、測距センサ５が選択される。選択された測距センサ５からの情報に基づいて、物体の動きを検出し、当該検出した動きに応じて所定の情報処理が行われる。すなわち、赤外線カメラ４及び測距センサ５のうち、赤外線カメラ４が優先的に物体の検出のために用いられる。そして、所定の情報処理の結果に基づいて、画像がディスプレイ２に表示されたりプロジェクタ８で投影されたりする。赤外線カメラ４及び測距センサ５のうち、測距センサ５が優先的に物体の検出のために用いられてもよい。
また、他の応用例としては、ユーザが両手で携帯電子機器１を把持してゲームを行っているときに、ユーザが右手を離すと、携帯電子機器１は、ディスプレイ２にゲーム画像の代わりに（又は加えて）メニュー画面を表示してもよい。ユーザは、メニュー画面を用いた操作によって、例えば、実行中のゲームを終了したり、ゲームの進行状況を保存したり、他のゲームを実行したり、携帯電子機器１の設定を変更したりすることができる。具体的には、携帯電子機器１は、赤外線カメラ４や測距センサ５を用いてユーザが右手を離したことを検出する。そして、ユーザが右手を離したことを検出すると、携帯電子機器１は、実行中のゲーム処理を中断し、メニュー画面を表示する。
また、上記携帯電子機器１では、右側面に赤外線カメラ４や測距センサ５等を配置したが、ユーザが左手を用いてジェスチャ入力を行う場合は、図１に示す姿勢の携帯電子機器１を１８０度回転させる（すなわち、図１の携帯電子機器１を上下逆にする）。携帯電子機器１は、姿勢検出部１６を用いて、例えば重力を検出することで、携帯電子機器１が回転されたことを検出する。そして、検出した携帯電子機器１の姿勢に応じて、ディスプレイ２に表示する画像を回転させる。
（変形例）
なお、上述した実施形態は単なる一例であり、例えば、以下のような変形が加えられてもよい。
例えば、携帯電子機器１は、上述したユーザの手を用いたジェスチャ入力に限らず、他の様々な物体を検出して当該物体の検出結果に応じて所定の処理を行い、所定の処理の結果をディスプレイ２に出力したり、プロジェクタ８に出力してもよい。例えば、赤外線カメラ４で側面方向に存在する特定の物体を撮像することで、携帯電子機器に対する入力を行ってもよい。例えば、特定の物体に対する操作をユーザが行うと、当該特定の物体の位置や姿勢が変化する。赤外線カメラ４で当該特定の物体を撮像することで、ユーザによって行われた特定の物体に対する操作を検出することができる。そして、当該操作に応じた処理の結果がディスプレイ２等に出力される。この場合において、携帯電子機器１は、ユーザの手およびユーザが把持した物体の双方を検出してもよいし、物体のみを検出してもよい。
また、携帯電子機器１の形状はどのようなものでもよい。例えば、携帯電子機器１（ディスプレイ２）は、横長ではなく縦長であってもよいし、正方形であってもよい。図２３は、縦長の携帯電子機器５０の一例を示す図である。図２４は、横長の携帯電子機器の一例を示す図である。なお、図２３では、入力ボタン６が表示されていないが、携帯電子機器５０は入力ボタン６を備えてもよい。図２３に示すように、縦長の携帯電子機器５０の正面にはディスプレイ２が設けられ、右側面には、赤外線カメラ４と測距センサ５とプロジェクタ８とが設けられる。上述のように、携帯電子機器５０においても、右側面に設けられた赤外線カメラ４及び測距センサ５を用いて、ユーザは、携帯電子機器５０の右側面方向から右手でジェスチャ入力を行うことができる。
このように、本実施形態の携帯電子機器は、画面が縦長であっても横長であっても、画面を正面から見た場合の側面方向（左右方向）に、赤外線カメラ４等が設けられる。ここで、「画面を正面から見る」とは、ディスプレイ２の画面に表示された文字列や画像等が通常の方向から見えるように画面を見ることを意味する。例えば、図２３では、画面が縦長になるように携帯電子機器を把持すると、画面に表示された文字列「ＡＢＣ」や画像が通常の方向から見えるため、この状態が画面を正面から見ている状態である。また、例えば、図２４では、画面が横長になるように携帯電子機器を把持すると、画面に表示された文字列「ＡＢＣ」や画像が通常の方向から見えるため、この状態が画面を正面から見ている状態である。
本明細書における「側面」は、図２３や図２４に示すように、画面を正面から見た場合に下方向を向く底面及び上方向を向く上面を含んでもよい。すなわち、本実施形態の携帯電子機器では、画面を正面から見た場合に上方向を向く「上面」や下方向を向く「底面」に赤外線カメラ４や測距センサ５等が設けられてもよく、左方向を向く「左側面」や右方向を向く「右側面」に、赤外線カメラ４や測距センサ５等が設けられてもよい。
なお、本実施形態の携帯電子機器は、姿勢検出部１６を用いて自機の姿勢を検出し、検出した姿勢に応じて、画面に表示する文字や画像等を回転させてもよい。図２５は、画面を正面から見た場合の側面に赤外線カメラ４や測距センサ５等が設けられた携帯電子機器において、携帯電子機器を９０度右回転させたときの様子を示す図である。
図２５に示すように、携帯電子機器は、画面が横長になるように携帯電子機器を把持した場合は、画面には文字や画像が通常の方向から見え、画面を正面から見たときの右側面に、赤外線カメラ４や測距センサ５等が設けられる。一方、携帯電子機器を９０度右回転させると、姿勢検出部１６が例えば重力を検出することで、携帯電子機器は自機の姿勢を検出する。携帯電子機器は、当該検出結果に応じてディスプレイ２に表示された文字や画像が正面から見えるように、当該文字や画像を回転させる。すなわち、９０度右回転させた後でも、ユーザは携帯電子機器の画面を正面から見ることができる。この場合、赤外線カメラ４や測距センサ５等は、携帯電子機器の画面を正面から見た場合の底面に位置することになる。このような携帯電子機器もまた、本発明の範囲に含まれる。
すなわち、携帯電子機器の持ち方によっては、赤外線カメラ４や測距センサ５等は、画面に対して下方向に位置したり上方向に位置することになってもよい。携帯電子機器がある姿勢でユーザに把持された場合には、当該ユーザが画面を正面から見たときに（画面に表示される文字や画像等が通常の方向から見えるときに）、赤外線カメラ４や測距センサ５等が画面に対して左右方向の面に位置するようになる。そのような姿勢において、ユーザは、画面に対して右方向（又は左方向）から上述のような右手（又は左手）でジェスチャを行うことにより、携帯電子機器に対してジェスチャ入力を行うことができる。また、携帯電子機器が別の姿勢でユーザに把持された場合には、当該ユーザが画面を正面から見たときに、赤外線カメラ４や測距センサ５等が画面に対して上下方向の面に位置するようになる。そのような姿勢において、ユーザは、画面に対して上方向（又は下方向）から上述のような右手（又は左手）でジェスチャを行うことにより、携帯電子機器に対してジェスチャ入力を行うことができる。
また、例えば、側面とともに上面や底面に赤外線カメラ４や測距センサ５、プロジェクタ８が設けられる構成も、本発明の範囲に含まれる。また、左側面および右側面の両方に赤外線カメラ４や測距センサ５等が設けられてもよい。この場合において、例えば測距センサによって測定された距離に基づいて、携帯電子機器の左側および右側のうちのどちらがユーザによって把持されているかを判断してもよい。例えば、携帯電子機器は、測定された距離が短い方に対応する側面（把持部）がユーザによって把持されていると判断してもよい。
図２６は、側面と底面との両方に赤外線カメラ４や測距センサ５等が設けられた構成の一例を示す図である。図２６に示すように、携帯電子機器の右側面には、赤外線カメラ４や測距センサ５等が設けられ、携帯電子機器の底面にも赤外線カメラ４や測距センサ５等が設けられる。ユーザは、左手で携帯電子機器を把持しながら、右手を用いてジェスチャ入力等が可能である。このような構成では、横長となるように携帯電子機器が把持された場合でも、縦長となるように携帯電子機器が把持された場合でも、横方向に赤外線カメラ４や測距センサ５等が位置するため、画面の横方向において上述のようなジェスチャ入力が可能となる。
このように、ユーザが携帯電子機器を左手（又は右手）で把持して画面を正面から見ながら、右手（又は左手）でディスプレイの画面に対して側面方向からジェスチャ入力を行うことができるものであれば、携帯電子機器はどのような構成であってもよい。
また、上記実施形態では、赤外線カメラ４や測距センサ５等が側面に垂直な方向（画面に平行）を向くものとしたが、他の構成では、赤外線カメラ４や測距センサ５等が側面に対して所定の角度だけ傾くように設けられてもよい。
図２７は、赤外線カメラ４や測距センサ５を傾けた場合の携帯電子機器を底面から見た図である。図２７に示すように、赤外線カメラ４の撮像方向が、携帯電子機器の右側面と垂直ではなく、画面方向に所定の角度だけ傾いていてもよい。また、測距センサ５の検出方向（光源からの光の射出方向）が、携帯電子機器の右側面と垂直ではなく、画面方向に所定の角度だけ傾いていてもよい。同様に、プロジェクタ８が、携帯電子機器の右側面と垂直ではなく、画面方向に所定の角度だけ傾いていてもよい。このように、赤外線カメラ４や測距センサ５、プロジェクタ８が画面方向に傾いている場合には、ユーザは、携帯電子機器の真横よりも画面方向の所定位置で手を使ったジェスチャ入力を行うことになる。赤外線カメラ４や測距センサ５、プロジェクタ８の傾きは、ユーザがジェスチャ入力を行い易いように、適宜調整されてもよく、例えば、赤外線カメラ４や測距センサ５、プロジェクタ８を背面方向に傾けてもよい。
また、上記実施形態では、赤外線カメラ４が用いられたが、赤外線カメラ４の代わりに可視光の画像を撮像する通常のカメラ（ＲＧＢ画像を取得するカメラ）が用いられ、当該通常のカメラを用いてユーザのジェスチャが認識されてもよい。また、赤外線カメラ４の代わりに、ＲＧＢ画像と赤外線画像との両方を撮像可能なカメラが用いられてもよい。図２８は、ＲＧＢ画像と赤外線画像との両方を撮像可能なイメージセンサの一部を示す図である。図２８に示すように、４つの素子（フォトトランジスタ）のそれぞれは、赤の光（Ｒ）、緑の光（Ｇ）、青の光（Ｂ）、赤外光（ＩＲ）を受光する。このような４つの素子の組み合わせが縦横に多数並べられたイメージセンサを用いることで、ＲＧＢ画像を取得することができるとともに、赤外線画像も取得することができる。これにより、ＲＧＢ画像と赤外線画像のうちの何れかを用いて、ジェスチャを認識することができる。すなわち、取得されたＲＧＢ画像と赤外線画像のうち、ジェスチャ認識に適した画像を選択することができる。例えば、赤外線の光量が多すぎて取得された赤外線画像に特定の物体が検出できない場合は、ＲＧＢ画像を用いてジェスチャを認識することができ、その逆も可能である。
また、上記実施形態では、プロジェクタ８が備えられたが、ユーザによるジェスチャ入力に応じた所定の情報処理（Ｓ１３）の結果を、光によってユーザに知らせるものであればどのようなものでもよい。例えば、プロジェクタ８の代わりに又は加えて、所定の光を発する光源（例えば、ＬＥＤ、ハロゲンランプ、蛍光ランプ、ＥＬランプ等）が携帯電子機器１に備えられてもよい。
また、上記実施形態では、赤外線カメラ４と測距センサ５とを用いて画像と距離とを別々に取得したが、他の実施形態では、例えば、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）型の距離画像センサが設けられ、当該距離画像センサを用いて、画像と画素毎の距離とが取得されてもよい。そして、携帯電子機器は、取得された画像と距離とに基づいて、特定の物体を検出し、検出結果に応じてディスプレイ２やプロジェクタ８に画像を出力する。
また、上記実施形態では、一方の手で携帯電子機器を把持し、他方の手で携帯電子機器に対してジェスチャ入力を行う例について説明した。他の実施形態では、携帯電子機器は、例えば画面を備える腕時計型の装置のように、ユーザの腕（身体）に固定されるものであってもよい。
また、携帯電子機器の形状はどのようなものでもよく、例えば、板状の楕円形状であってもよい。例えば、携帯電子機器は、折り畳み可能なものであってもよい。
また、上記実施形態では携帯型の装置としたが、他の実施形態では据置型の装置であってもよい。
１ 携帯電子機器
２ ディスプレイ
３ タッチパネル
４ 赤外線カメラ
５ 測距センサ
６ 入力ボタン
７ 照射部
８ プロジェクタ
９ 外側カメラ
１１ バイブレータ
１６ 姿勢検出部
１７ ＧＰＳレシーバ
１８ 地磁気センサ

Claims (14)

  1. 手持ち型電子機器であって、
    前記手持ち型電子機器の側面方向を撮像可能なカメラと、
    バイブレータと、
    前記カメラによって撮像された入力画像を取得する取得手段と、
    前記取得手段によって取得された入力画像に基づいて、ユーザによって行われたジェスチャを検出する検出手段と、
    前記検出手段によるジェスチャの検出結果に応じて、前記バイブレータを用いて前記ユーザに対して振動を与える振動制御手段とを備え、
    少なくとも、前記手持ち型電子機器の、前記カメラの撮像方向側の部分と反対側の部分には、ユーザによって把持される把持部が設けられ、
    前記振動制御手段は、
    前記検出手段によってジェスチャが検出された場合、当該検出されたジェスチャの種類に応じた振動を発生させ、
    前記検出手段によってジェスチャが検出されなかった場合、検出エラーをユーザに知らせるための振動を発生させる、手持ち型電子機器。
  2. 前記検出手段は、ユーザの手を用いたジェスチャを検出し、
    前記振動制御手段によって、前記ジェスチャが行われた手とは別の手に対して振動が与えられる、請求項１に記載の手持ち型電子機器。
  3. 前記カメラは、前記手持ち型電子機器の側面に設けられる、請求項１又は２に記載の手持ち型電子機器。
  4. 前記把持部に、ユーザによる入力を受け付ける入力部が設けられる、請求項１から３の何れかに記載の手持ち型電子機器。
  5. 前記入力部は、前記把持部を把持した場合に動かすことが可能な指で操作される、請求項４に記載の手持ち型電子機器。
  6. 前記入力部は、少なくとも１つの押しボタンである、請求項４又は５に記載の手持ち型電子機器。
  7. 前記手持ち型電子機器の正面にディスプレイをさらに備える、請求項１から６の何れかに記載の手持ち型電子機器。
  8. 前記検出手段によって検出されたジェスチャに応じて、所定の情報処理を行う情報処理手段をさらに備え、
    前記振動制御手段は、前記所定の情報処理の結果に応じた振動を与える、請求項１から７の何れかに記載の手持ち型電子機器。
  9. 前記振動制御手段は、前記検出手段によってジェスチャが検出されてから所定時間経過後に振動を与える、請求項１から８の何れかに記載の手持ち型電子機器。
  10. 前記手持ち型電子機器は、ユーザによって両手で把持されて使用される手持ち型のゲーム装置であり、
    一方の手で前記手持ち型電子機器が把持された状態で、前記検出手段によって他方の手で行われたジェスチャが検出され、
    前記振動制御手段によって、前記一方の手に対して振動が与えられる、請求項１から９の何れかに記載の手持ち型電子機器。
  11. 前記手持ち型電子機器は、横長の形状であり、
    前記カメラは、前記手持ち型電子機器の短辺側に設けられる、請求項１から１０の何れかに記載の手持ち型電子機器。
  12. 前記カメラは赤外光を受光可能なカメラである、請求項１から１１の何れかに記載の手持ち型電子機器。
  13. 前記検出手段による検出結果に応じて、音声を出力させる音声制御手段を備える、請求項１から１２の何れかに記載の手持ち型電子機器。
  14. 手持ち型電子機器であって、
    ハウジングと、
    前記ハウジングの側面方向を撮像可能なカメラと、
    バイブレータと、
    前記カメラによって撮像された入力画像を取得する取得手段と、
    前記取得手段によって取得された入力画像に基づいて、特定の物体を検出する検出手段と、
    前記検出手段による検出結果に応じて、前記バイブレータを用いて前記ユーザに対して振動を与える振動制御手段とを備え、
    少なくとも、前記ハウジングの、前記カメラの撮像方向側の部分と反対側の部分には、ユーザによって把持される把持部が設けられ、
    前記振動制御手段は、
    前記検出手段によって前記特定の物体が検出された場合、当該特定の物体が検出されたことに応じた振動を発生させ、
    前記検出手段によって前記特定の物体が検出されなかった場合、検出エラーをユーザに知らせるための振動を発生させる、手持ち型電子機器。
JP2014182587A 2014-09-08 2014-09-08 電子機器 Active JP6684042B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014182587A JP6684042B2 (ja) 2014-09-08 2014-09-08 電子機器
US14/842,222 US10015402B2 (en) 2014-09-08 2015-09-01 Electronic apparatus
US14/842,275 US20160073017A1 (en) 2014-09-08 2015-09-01 Electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014182587A JP6684042B2 (ja) 2014-09-08 2014-09-08 電子機器

Publications (2)

Publication Number Publication Date
JP2016057780A JP2016057780A (ja) 2016-04-21
JP6684042B2 true JP6684042B2 (ja) 2020-04-22

Family

ID=55438705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014182587A Active JP6684042B2 (ja) 2014-09-08 2014-09-08 電子機器

Country Status (2)

Country Link
US (1) US20160073017A1 (ja)
JP (1) JP6684042B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
US11000021B2 (en) * 2015-02-20 2021-05-11 Navico Holding As Castable sensor device
KR101970679B1 (ko) * 2016-11-25 2019-04-19 건국대학교 글로컬산학협력단 게임기기의 체성감각 유도 장치
US10459522B2 (en) 2016-06-15 2019-10-29 Konkuk University Glocal Industry-Academic Collaboration Foundation System and method for inducing somatic sense using air plasma and interface device using them
ITUA20164781A1 (it) * 2016-06-30 2017-12-30 Luca Srl Proiettore per videogiochi interattivi controllato da dispositivo di incasso
JP2018102901A (ja) * 2016-12-27 2018-07-05 株式会社コーエーテクモゲームス ゲーム処理プログラム及び情報処理装置
FR3068500B1 (fr) * 2017-07-03 2019-10-18 Aadalie Dispositif electronique portable
US11070706B2 (en) * 2018-11-15 2021-07-20 Sony Corporation Notifications for deviations in depiction of different objects in filmed shots of video content
US11694425B2 (en) * 2021-05-10 2023-07-04 International Business Machines Corporation Multi-spectrum visual object recognition

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820708B2 (ja) * 2006-07-27 2011-11-24 日本シャーウッド株式会社 液体混注具
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7987907B2 (en) * 2006-09-08 2011-08-02 Bp Exploration Operating Company Limited Hydrocarbon recovery process
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
US8315652B2 (en) * 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
JP4789885B2 (ja) * 2007-07-26 2011-10-12 三菱電機株式会社 インタフェース装置、インタフェース方法及びインタフェースプログラム
US20100062833A1 (en) * 2008-09-10 2010-03-11 Igt Portable Gaming Machine Emergency Shut Down Circuitry
JP5804719B2 (ja) * 2010-02-15 2015-11-04 富山県 （ｓ）−１，１，１−トリフルオロ−２−プロパノールの工業的な製造方法
US8707941B2 (en) * 2010-03-18 2014-04-29 Jakks Pacific, Inc. Air-powered toy gun and pliable projectiles for shooting therefrom
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US9377867B2 (en) * 2011-08-11 2016-06-28 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
EP2575007A1 (en) * 2011-09-27 2013-04-03 Elo Touch Solutions, Inc. Scaling of gesture based input
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
JP5900161B2 (ja) * 2012-05-29 2016-04-06 ソニー株式会社 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
US9170676B2 (en) * 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures

Also Published As

Publication number Publication date
US20160073017A1 (en) 2016-03-10
JP2016057780A (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
JP6684042B2 (ja) 電子機器
US10015402B2 (en) Electronic apparatus
US10514723B2 (en) Accessory and information processing system
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
JP6388203B2 (ja) 電子機器
US9804667B2 (en) Electronic apparatus
JP2021523432A (ja) 光学式位置追跡デバイスの電力管理
US10025975B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
US9864905B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
JP2018527549A (ja) レーザー光射撃システム
US20190384419A1 (en) Handheld controller, tracking method and system using the same
JP6519074B2 (ja) 電子機器
JP6589216B2 (ja) 電子機器
JP6573457B2 (ja) 情報処理システム
US9824293B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
JP6561400B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6528193B2 (ja) 電子機器
JP6444345B2 (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP6666121B2 (ja) 情報処理システム、情報処理装置、情報処理方法、および、情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181009

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181009

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181029

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200327

R150 Certificate of patent or registration of utility model

Ref document number: 6684042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250