JP6349047B1 - Electronic device, program, and control method - Google Patents
Electronic device, program, and control method Download PDFInfo
- Publication number
- JP6349047B1 JP6349047B1 JP2018027026A JP2018027026A JP6349047B1 JP 6349047 B1 JP6349047 B1 JP 6349047B1 JP 2018027026 A JP2018027026 A JP 2018027026A JP 2018027026 A JP2018027026 A JP 2018027026A JP 6349047 B1 JP6349047 B1 JP 6349047B1
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- proximity sensor
- detected
- controller
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000005259 measurement Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 26
- 230000001681 protective effect Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000005341 toughened glass Substances 0.000 description 7
- 239000012790 adhesive layer Substances 0.000 description 6
- 238000010411 cooking Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】検出精度を向上可能な電子機器、プログラムおよび制御方法を提供する。【解決手段】電子機器1は、近接センサ5と、測距センサ18と、検出対象の物体と自機器との距離に応じて、動作させるセンサを、近接センサ5と測距センサ18との間で切り替えるコントローラ10と、を備える。【選択図】図1An electronic device, a program, and a control method capable of improving detection accuracy are provided. An electronic device includes a proximity sensor, a distance sensor, and a sensor that is operated according to a distance between the object to be detected and the own device between the proximity sensor and the distance sensor. And a controller 10 to be switched at the same time. [Selection] Figure 1
Description
本発明は、電子機器、プログラムおよび制御方法に関する。 The present invention relates to an electronic device, a program, and a control method.
例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている(例えば特許文献1)。 For example, electronic devices such as smartphones and tablet terminals generally include a touch panel. A user generally controls such an electronic device by touching a touch panel. 2. Description of the Related Art In recent years, an electronic device that detects a gesture performed by a user away from a terminal using a proximity sensor such as an infrared sensor and performs an input operation corresponding to the gesture is known (for example, Patent Document 1).
特許文献1に開示された電子機器は、赤外線センサ等の近接センサによりジェスチャを検出する。赤外線センサは、射出した赤外光の対称物からの反射光の光量を測定することにより、ジェスチャを検出する。そのため、赤外線センサの前面側に例えば電子機器の表面を保護する保護シート等の障害物があると、赤外線センサは当該障害物からの反射光を受光する場合がある。赤外線センサは、障害物からの反射光を受光すると、ジェスチャを正確に検出できなくなる可能性がある。また、当該障害物で赤外光が反射することにより、電子機器は、電子機器から離れた位置のジェスチャを検出しにくくなる場合がある。
The electronic device disclosed in
かかる事情に鑑みてなされた本発明の目的は、検出精度を向上可能な電子機器、プログラムおよび制御方法を提供することにある。 An object of the present invention made in view of such circumstances is to provide an electronic device, a program, and a control method capable of improving detection accuracy.
一実施形態に係る電子機器は、近接センサと、測距センサと、コントローラとを備える。前記コントローラは、検出対象の物体と自機器との距離に応じて、動作させるセンサを、前記近接センサと前記測距センサとの間で切り替える。 An electronic apparatus according to an embodiment includes a proximity sensor, a distance measurement sensor, and a controller. The controller switches a sensor to be operated between the proximity sensor and the distance measuring sensor according to a distance between the object to be detected and the device itself.
一実施形態に係る電子機器は、近接センサと、測距センサと、コントローラとを備える。前記コントローラは、前記近接センサおよび前記測距センサの出力に基づいてジェスチャを検出する。 An electronic apparatus according to an embodiment includes a proximity sensor, a distance measurement sensor, and a controller. The controller detects a gesture based on outputs of the proximity sensor and the distance measuring sensor.
一実施形態に係るプログラムは、近接センサと、測距センサと、コントローラと、を備える電子機器に、前記コントローラにより、検出対象の物体と自機器との距離に応じて、動作させるセンサを、前記近接センサと前記測距センサとの間で切り替えるステップを実行させる。 A program according to an embodiment includes: a sensor that causes an electronic device including a proximity sensor, a distance measurement sensor, and a controller to operate according to a distance between an object to be detected and the device itself. A step of switching between the proximity sensor and the distance measuring sensor is executed.
一実施形態に係るプログラムは、近接センサと、測距センサと、コントローラと、を備える電子機器に、前記コントローラにより、前記近接センサおよび前記測距センサの出力に基づいてジェスチャを検出するステップを実行させる。 A program according to an embodiment executes a step of detecting a gesture based on outputs of the proximity sensor and the distance measuring sensor by an electronic device including a proximity sensor, a distance measuring sensor, and a controller. Let
一実施形態に係る制御方法は、近接センサと、測距センサと、コントローラと、を備える電子機器の制御方法である。前記制御方法は、前記コントローラにより、検出対象の物体と自機器との距離に応じて、動作させるセンサを、前記近接センサと前記測距センサとの間で切り替えるステップを含む。 The control method which concerns on one Embodiment is a control method of an electronic device provided with a proximity sensor, a ranging sensor, and a controller. The control method includes a step of switching a sensor to be operated between the proximity sensor and the distance measuring sensor by the controller according to a distance between the object to be detected and the device itself.
一実施形態に係る制御方法は、近接センサと、測距センサと、コントローラと、を備える電子機器の制御方法である。前記制御方法は、前記コントローラにより、前記近接センサおよび前記測距センサの出力に基づいてジェスチャを検出するステップを含む。 The control method which concerns on one Embodiment is a control method of an electronic device provided with a proximity sensor, a ranging sensor, and a controller. The control method includes a step of detecting a gesture by the controller based on outputs of the proximity sensor and the distance measuring sensor.
一実施形態によれば、検出精度を向上可能な電子機器、プログラムおよび制御方法を提供することができる。 According to one embodiment, an electronic device, a program, and a control method that can improve detection accuracy can be provided.
(電子機器の構成)
図1に示すように一実施形態の電子機器1は、タッチスクリーンディスプレイ2と、操作部3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12および13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、測距センサ18と、を備える。図1は例示である。電子機器1は、図1に示す構成要素の全てを備えなくてもよい。電子機器1は、図1に示す以外の構成要素を備えていてもよい。
(Configuration of electronic equipment)
As shown in FIG. 1, an
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aおよびタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してもよいし、離れて位置してもよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
The
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、または無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、および図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示する文字、画像、記号、および図形等のオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ロック画面は、電子機器1において、少なくとも一部の機能の使用が制限されている場合に表示される画面である。すなわち、電子機器1は、一部の機能の使用が制限された状態と、機能の使用が制限されていない状態とを取ることができる。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面またはランチャー画面と呼ばれることもある。ディスプレイ2Aは、表示部の一例である。
The
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、またはスタイラスペン等の接触等を検出する。タッチスクリーン2Bは、複数の指、ペン、またはスタイラスペン等がタッチスクリーン2Bに接触等した位置を検出することができる。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触等を、接触等を検出した位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触等の検出をコントローラ10に通知してよい。タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は、タッチスクリーン2Bが行える動作を実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
The touch screen 2B detects contact of a finger, a pen, a stylus pen, or the like with respect to the touch screen 2B. The touch screen 2B can detect a position where a plurality of fingers, a pen, a stylus pen, or the like contacts the touch screen 2B. The touch screen 2B notifies the
コントローラ10は、タッチスクリーン2Bにより検出された接触等、接触等が検出された位置、接触等が継続した時間、接触が検出された間隔、および接触等が検出された回数の少なくとも1つに基づいて入力操作の種別を判別する。コントローラ10を有する電子機器1は、コントローラ10が行える動作を実行できる。言い換えると、コントローラ10が行う動作は、電子機器1が行ってもよい。入力操作は、タッチスクリーン2Bに対して行われる操作である。コントローラ10によって判別される入力操作は、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、およびピンチアウトを含むがこれらに限定されない。
The
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(または超音波方式)、赤外線方式、電磁誘導方式、および荷重検出方式等の任意の方式でよい。 The detection method of the touch screen 2B may be any method such as a capacitance method, a resistive film method, a surface acoustic wave method (or an ultrasonic method), an infrared method, an electromagnetic induction method, and a load detection method.
操作部3は、ユーザによって操作される操作ボタンである。操作部3は、電子機器1のハウジングに、ユーザによって押下可能に配置される。操作部3は、複数配置されていてもよい。コントローラ10は操作部3と協働することによって操作部3に対する操作を検出する。操作部3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、およびプッシュを含むが、これらに限定されない。
The operation unit 3 is an operation button operated by the user. The operation unit 3 is disposed on the housing of the
照度センサ4は、電子機器1の周囲光の照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
The illuminance sensor 4 detects the illuminance of ambient light of the
近接センサ5は、電子機器1の周囲の対象物(検出対象の物質)との相対距離および対象物の移動方向等を非接触で検出する。本実施形態において、近接センサ5は1つの光源用赤外LED(Light Emitting Diode)と、4つの赤外フォトダイオードとを有する。近接センサ5は、光源用赤外LEDから赤外光を対象物に向けて照射する。近接センサ5は、対象物からの反射光を赤外フォトダイオードの入射光とする。そして、近接センサ5は赤外フォトダイオードの出力電流に基づいて対象物との相対距離を測定することができる。また、近接センサ5は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ5は、電子機器1のユーザが電子機器1に触れずに行うエアジェスチャ(以下単に「ジェスチャ」ともいう)を用いた操作を検出することができる。近接センサ5は可視光フォトダイオードを有していてもよい。本実施形態では、近接センサ5は、電子機器1において、タッチスクリーンディスプレイ2が配置された面と同じ面に配置されてよい。
The
ここで、図2および図3を参照しながら、コントローラ10が近接センサ5の出力に基づいてユーザのジェスチャを検出する方法を説明する。図2は、電子機器1を正面から見たときの近接センサ5の構成例を示す図である。近接センサ5は、光源用赤外LED180と、4つの赤外フォトダイオードSU,SR,SDおよびSLと、を有する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181を介して検出対象物からの反射光を検出する。4つの赤外フォトダイオードSU,SR,SDおよびSLは、レンズ181の中心から見て対称的に配置されている。ここで、図2に示される仮想線L1は電子機器1の長手方向と略平行であるとする。図2の仮想線L1上に、赤外フォトダイオードSUと赤外フォトダイオードSDとが離れて配置されている。そして、図2の仮想線L1の方向において、赤外フォトダイオードSRおよびSLは、赤外フォトダイオードSUと赤外フォトダイオードSDとの間に配置されている。
Here, a method in which the
図3は、4つの赤外フォトダイオードSU,SR,SDおよびSLの検出対象物(例えばユーザの手等)が、図2の仮想線L1の方向に沿って移動したときの検出値の推移を例示する。ここで、仮想線L1の方向において、赤外フォトダイオードSUと赤外フォトダイオードSDとが最も離れている。そのため、図3に示すように、赤外フォトダイオードSUの検出値(破線)の変化(例えば上昇)と、赤外フォトダイオードSDの検出値(細い実線)の同じ変化(例えば上昇)との時間差が最も大きい。コントローラ10は、フォトダイオードSU,SR,SDおよびSLの検出値の所定の変化の時間差を把握することによって、検出対象物の移動方向を判定できる。
FIG. 3 shows the transition of the detection value when the detection objects (for example, the user's hand) of the four infrared photodiodes SU, SR, SD, and SL move along the direction of the virtual line L1 in FIG. Illustrate. Here, the infrared photodiode SU is farthest from the infrared photodiode SD in the direction of the virtual line L1. Therefore, as shown in FIG. 3, the time difference between the change (for example, increase) in the detection value (broken line) of the infrared photodiode SU and the same change (for example, increase) in the detection value (thin solid line) of the infrared photodiode SD. Is the largest. The
コントローラ10は、近接センサ5からフォトダイオードSU,SR,SDおよびSLの検出値を取得する。そして、コントローラ10は、例えば検出対象物の仮想線L1の方向への移動を把握するために、フォトダイオードSDの検出値からフォトダイオードSUの検出値を減算した値を所定の時間で積分してもよい。図3の例では、領域R41およびR42において積分値は非ゼロの値となる。この積分値の変化(例えば正値、ゼロ、負値の変化)から、コントローラ10は、仮想線L1の方向における検出対象物の移動を把握できる。
The
また、コントローラ10は、フォトダイオードSLの検出値からフォトダイオードSRの検出値を減算した値を所定の時間で積分してもよい。この積分値の変化(例えば正値、ゼロ、負値の変化)から、コントローラ10は、仮想線L1に直交する方向(電子機器1の短手方向に略平行な方向)における検出対象物の移動を把握できる。
Further, the
代替例として、コントローラ10はフォトダイオードSU,SR,SDおよびSLの全ての検出値を用いて演算を行ってもよい。すなわち、コントローラ10は検出対象物の移動方向を、電子機器1の長手方向および短手方向の成分に分離して演算することなく把握してもよい。
As an alternative example, the
検出されるジェスチャは例えば、左右のジェスチャ、上下のジェスチャ、斜めのジェスチャ、時計回りで円を描くジェスチャ、および反時計回りで円を描くジェスチャ等である。例えば左右へのジェスチャとは、電子機器1の短手方向と略平行な方向に行われるジェスチャである。上下のジェスチャとは、電子機器1の長手方向と略平行な方向に行われるジェスチャである。斜めのジェスチャとは、電子機器1と略平行な平面において、電子機器1の長手方向と短手方向とのいずれとも平行でない方向に行われるジェスチャである。
The detected gestures include, for example, left and right gestures, up and down gestures, diagonal gestures, gestures that draw a circle in a clockwise direction, and gestures that draw a circle in a counterclockwise direction. For example, the right and left gesture is a gesture performed in a direction substantially parallel to the short direction of the
なお、ここでは近接センサ5が、4つのフォトダイオードSU,SR,SDおよびSLを有する場合について説明した。しかしながら、近接センサ5が有するフォトダイオードの数は、必ずしも4つでなくてもよい。近接センサ5が有するフォトダイオードの数量及びその配置は、検出するジェスチャの種類に応じて、適宜定められてよい。
Here, the case where the
再び図1を参照すると、通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。無線通信規格として、さらに、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)等がある。通信ユニット6は、上述した通信規格の1つまたは複数をサポートしていてもよい。 Referring to FIG. 1 again, the communication unit 6 communicates wirelessly. The communication method supported by the communication unit 6 is a wireless communication standard. Examples of wireless communication standards include cellular phone communication standards such as 2G, 3G, and 4G. As a cellular phone communication standard, for example, LTE (Long Term Evolution), W-CDMA (Wideband Code Multiple Access), CDMA2000, PDC (Personal Digital Cellular, GSM (registered trademark) mmloS) (Personal Handy-phone System). As wireless communication standards, there are, for example, WiMAX (World Wide Interoperability for Microwave Access), IEEE 802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (Near Co., etc.). The communication unit 6 may support one or more of the communication standards described above.
レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、ユーザの音声等を音信号へ変換してコントローラ10へ送信する。
The receiver 7 and the
ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
The
ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出される入力操作に応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OS(Operating System)を含む。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
The programs stored in the
ストレージ9は、例えば、制御プログラム9Aおよび設定データ9Zを記憶する。設定データ9Zは、電子機器1の動作に関する各種の設定に関する情報を含む。
The
制御プログラム9Aは、電子機器1を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、通信ユニット6、レシーバ7、およびマイク8等を制御することによって、通話を実現させる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bを介して検出された入力操作に応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。また、制御プログラム9Aは、ユーザが非接触で行うジェスチャを検出し、検出したジェスチャに基づく各種制御に関する機能を提供する。ジェスチャの検出は、近接センサ5からの出力および/または測距センサ18からの出力に基づいて実行される。制御プログラム9Aが提供する機能は、他のプログラムが提供する機能と組み合わせて利用されることがある。
The
コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、複数の演算処理装置を含んでもよい。コントローラ10は、電子機器1の動作を統括的に制御して各種の機能を実現する。
The
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データおよび命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、操作部3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、および測距センサ18を含むが、これらに限定されない。
Specifically, the
カメラ12およびカメラ13は撮影した画像を電気信号に変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮像するアウトカメラである。カメラ12およびカメラ13は、インカメラおよびアウトカメラを切り換えて利用可能なカメラユニットとして、機能的および物理的に統合された状態で電子機器1に実装されてもよい。
The
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、および通信装置を含むが、これらに限定されない。
The
加速度センサ15は、電子機器1に作用する加速度の方向および大きさ、電子機器1の傾きの角度、重力加速度の大きさおよび方向を検出する。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、電子機器1の角度および角速度を検出する。加速度センサ15、方位センサ16、およびジャイロスコープ17の検出結果は、電子機器1の位置、姿勢、および状態の変化を検出するために、組み合わせて利用される。
The
測距センサ18は、対象物との距離を測定可能なセンサである。測距センサ18は、例えばToF(Time of Flight)センサにより構成されていてよい。ToFセンサとして構成される測距センサ18は、正弦波変調光(赤外レーザ光)を対象物に向けて照射する発光部と、照射された赤外レーザ光の対象物からの反射光を受光する受光部とを備える。受光部は、例えば複数の受光素子を配置したイメージセンサを有する。ToFセンサは、赤外レーザ光を照射してから、各受光素子で反射光を受光するまでの時間(飛行時間)を測定する。ToFセンサは、照射した赤外レーザ光と、受光した反射光との位相差に基づき、飛行時間を測定できる。ToFセンサは、測定した飛行時間に基づき、照射した赤外レーザ光を反射した対象物までの距離を測定できる。ToFセンサは、対象物からの反射光が複数の受光素子それぞれに入射する時間差により対象物の移動方向を検出することができる。これにより、ToFセンサも、近接センサ5で説明した原理と同様の原理で、ユーザが行うジェスチャを検出することができる。本実施形態では、測距センサ18は、電子機器1において、近接センサ5が配置された面と同じ面に配置されてよい。本実施形態では、測距センサ18は、ToFセンサにより構成されるとして、以下説明する。
The
ここで、図4から図6を参照しながら、コントローラ10が測距センサ18の出力に基づいてユーザのジェスチャを検出する方法を説明する。図4は、測距センサ18を模式的に示す図である。図4は、側面視における測距センサ18を示している。測距センサ18は、発光部18aと受光部18bとを備える。発光部18a及び受光部18bは、電子機器1の長手方向と略平行に配置されているとする。発光部18aは、赤外レーザ光を対象物に向けて照射する。受光部18bは、照射された赤外光の対象物からの反射光を受光する。
Here, a method in which the
受光部18bは、複数の受光素子を備えていてよい。例えば、受光部18bは、図5に示すように、3行×3列に配置された9つの受光素子を備えていてよい。9つの受光素子は、それぞれ対象物からの反射光を受光する。受光部18bにおいて、上段には、電子機器1の短手方向と略平行に、左から順にCh11、Ch12及びCh13の3つの受光素子が配置されている。受光部18bにおいて、中段には、電子機器1の短手方向と略平行に、左から順にCh21、Ch22及びCh23の3つの受光素子が配置されている。受光部18bにおいて、下段には、電子機器1の短手方向と略平行に、左から順にCh31、Ch32及びCh33の3つの受光素子が配置されている。
The
測距センサ18は、発光部18aが照射した赤外レーザ光と、受光部18bの9つの受光素子がそれぞれ受光した反射光との位相差に基づき、9つの受光素子それぞれから対象物までの距離を測定できる。測距センサ18は、9つの受光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、ジェスチャを検出することができる。
The
例えば、ユーザが手を左から右に動かすジェスチャを行ったとする。このとき、例えば中段の受光素子Ch21、Ch22及びCh23により検出される、対象物までの距離をそれぞれD21、D22及びD23とする。図6は、各受光素子により検出される対象物までの距離の推移を模式的に示す図である。例えば図6に模式的に示すように、まず、対象物である手が最初に左側に配置された受光素子Ch21に近づくため、受光素子Ch21により検出される対象物の距離D21が近くなる。その後、対象物である手が中央に配置された受光素子Ch22に近づくと、受光素子Ch22により検出される対象物の距離D22が近くなる。最後に、対象物である手が右側に移動すると、右側に配置された受光素子Ch23により検出される対象物の距離D23が近くなる。各受光素子Ch21、Ch22及びCh23に近づいた手が遠ざかる順序も、Ch21、Ch22、Ch23の順である。そのため、距離D21、D22及びD23は、この順序で大きくなる(初期値に戻る)。上下方向のジェスチャも、同様の原理により、例えば長手方向に配置された受光素子Ch12、Ch22及びCh32を用いて検出することができる。このように、測距センサ18は、9つの受光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、ジェスチャを検出することができる。
For example, assume that the user performs a gesture of moving his hand from left to right. At this time, for example, the distances to the object detected by the light receiving elements Ch21, Ch22, and Ch23 in the middle stage are D21, D22, and D23, respectively. FIG. 6 is a diagram schematically showing the transition of the distance to the object detected by each light receiving element. For example, as schematically shown in FIG. 6, first, the hand that is the object approaches the light receiving element Ch <b> 21 that is first arranged on the left side, and thus the distance D <b> 21 of the object detected by the light receiving element Ch <b> 21 becomes shorter. Thereafter, when the hand, which is the object, approaches the light receiving element Ch22 disposed in the center, the distance D22 of the object detected by the light receiving element Ch22 is reduced. Finally, when the hand that is the object moves to the right side, the distance D23 of the object that is detected by the light receiving element Ch23 arranged on the right side becomes shorter. The order in which the hands approaching the light receiving elements Ch21, Ch22, and Ch23 move away is also the order of Ch21, Ch22, and Ch23. Therefore, the distances D21, D22, and D23 increase in this order (return to the initial value). The vertical gesture can also be detected by using the light receiving elements Ch12, Ch22, and Ch32 arranged in the longitudinal direction based on the same principle. As described above, the
なお、ここでは、受光部18bが9つの受光素子を備えるとして説明したが、受光部18bが備える受光素子の数量はこれに限られない。複数の受光素子の配置も図5に示す配置に限られない。受光部18bが備える受光素子の数量及びその配置は、検出するジェスチャの種類に応じて、適宜定められてよい。
Here, the
また、測距センサ18の発光部18aは、複数の発光素子を備えていてもよい。この場合、各発光素子から発光される赤外レーザ光と、受光部18bが受光する反射光との位相差に基づき、9つの発光素子それぞれから対象物までの距離を測定できる。この場合においても、測距センサ18は、9つの発光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、上述の原理を応用することにより、ジェスチャを検出することができる。
The
(従来の近接センサによるジェスチャの検出)
例えば特許文献1に開示された電子機器は、赤外線センサ等の近接センサによりジェスチャを検出する。赤外線センサは、赤外線照射口から赤外光を照射し、照射した赤外光の対象物からの反射光の光量を測定することにより、ジェスチャを検出する。ここで、ユーザは、例えば電子機器において、タッチスクリーンディスプレイが配置される前面側に、タッチスクリーンディスプレイを保護するための保護シートを貼付することがある。赤外線センサの赤外線照射口が、電子機器においてタッチスクリーンディスプレイと同じ前面側に配置されている場合、保護シートを電子機器に貼付すると、赤外線照射口も保護シートで覆われる。この場合、赤外線センサは保護シートからの反射光を受光する場合がある。
(Detection of gestures using conventional proximity sensors)
For example, the electronic device disclosed in
図7は、従来の電子機器における近接センサによる検出の様子を模式的に示す図である。図7は、例えば特許文献1に開示された電子機器等の従来の電子機器101において、近接センサ105を含む断面を模式的に示すものである。図7に一例として示すように、電子機器101が備える近接センサ105の前面側に強化ガラス123が配置されている。強化ガラス123には、接着層122を介して保護シート121が貼付されている。近接センサ105と強化ガラス123との間には、エアギャップAG1が存在する。近接センサ105から照射される赤外光L1は、検出対象物に到達する前に、保護シート121、接着層122及び強化ガラス123の表面で、その一部が反射し、反射光L2として近接センサ105により受光される。このように、保護シート121、接着層122及び強化ガラス123は、近接センサ105から照射される赤外光L1の透過率に影響を与える。
FIG. 7 is a diagram schematically showing a state of detection by a proximity sensor in a conventional electronic device. FIG. 7 schematically shows a cross section including the
図8は、従来の電子機器101における近接センサ105の出力と検出距離との関係を示す図である。図8に示す図において、横軸は電子機器101と検出対象物との距離を示し、縦軸は近接センサ105の出力、すなわち反射光の検出値(以下、「クロストーク値」ともいう)を示す。図8には、保護シート121の貼合せのばらつきが少ない場合、保護シート121の貼合せのばらつきが多い場合、及び、保護シート121の表面が汚れている場合の3通りについて、検出距離と近接センサ105の出力との関係が示されている。貼合せのばらつきは、強化ガラス123に保護シート121が貼付された電子機器1における、接着層122の厚み、保護シート121の皺及び接着層122の汚れ等、赤外光を反射し得る要素をいう。図8に示すように、保護シート121の凹凸が少ない場合と比較して、保護シート121の凹凸が多い場合は、保護シート121における反射が発生しやすいため、検出対象物との距離が離れても、近接センサ105の出力は高くなる。保護シート121の表面が汚れている場合には、保護シート121で反射される成分が多くなり、近接センサ105の出力がさらに高くなる。
FIG. 8 is a diagram illustrating the relationship between the output of the
図8において、直線Aは、対象物を検出したか否かの判定基準となる閾値である。近接センサ105の出力が閾値Aを越えた場合に、電子機器101は、対象物を検出したと判定する。電子機器101において、より離れた位置にある対象物を検出しようとする場合、閾値Aをより低くする必要がある。しかしながら、閾値Aを低くし過ぎると、例えば図8に示すように、保護シート121の貼付状態によっては、保護シート121等からの反射により、近接センサ105の出力が常時閾値Aを越える。そのため、電子機器101は、常時対象物を検出していると判定することとなる。しかしながら、これは、近接センサ105が保護シート121からの反射光を検出しているに過ぎないため、正しく対象物の検出が行われているとは言えない。
In FIG. 8, a straight line A is a threshold value that is a criterion for determining whether or not an object has been detected. When the output of the
そこで、本明細書において開示される実施形態に係る電子機器1は、近接センサ5と測距センサ18とを用いて対象物の検出を行う。これにより、電子機器1は、より長距離の検出を適切に実行しやすくなる。
Therefore, the
(ジェスチャによる電子機器の操作)
図9は、ユーザがジェスチャにより電子機器1を操作する様子を示す。図9において、電子機器1は一例としてスタンドによって支持される。代替例として電子機器1は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ5または測距センサ18がユーザのジェスチャを検出すると、コントローラ10は検出されたジェスチャに基づく処理を行う。図9の例では、ジェスチャに基づく処理はレシピが表示されている画面のスクロールである。例えば、ユーザが電子機器1の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が上方へとスクロールする。また、例えば、ユーザが電子機器1の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が下方へとスクロールする。
(Operating electronic devices using gestures)
FIG. 9 shows a state in which the user operates the
図9に示す電子機器1はスマートフォンである。代替例として電子機器1は例えば、携帯電話端末、ファブレット、タブレットPCまたはフィーチャーフォン等でもよい。また、電子機器1は、上記のものに限定されず、例えば、PDA、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器(FA機器)等でもよい。
The
(キッチンモード)
図10は、ユーザがジェスチャにより電子機器1を操作する状況の一例を示す。図10の例で、ユーザは料理のレシピを電子機器1のタッチスクリーンディスプレイ2に表示しながら、キッチンでレシピに従って料理をしている。このとき、近接センサ5および/または測距センサ18はユーザのジェスチャを検出する。そして、コントローラ10は近接センサ5および/または測距センサ18が検出したジェスチャに基づく処理を行う。例えば、コントローラ10は特定のジェスチャ(例えばユーザが手を上下に動かすジェスチャ)に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器1に触れることなくレシピをスクロールすることができる。したがって、タッチスクリーンディスプレイ2が汚れること、および料理中のユーザの手にタッチスクリーンディスプレイ2の汚れがうつることを回避できる。
(Kitchen mode)
FIG. 10 shows an example of a situation where the user operates the
ここで、電子機器1はモードを複数有する。モードとは電子機器1の全体の動作について制限等を与える動作モード(動作状態または動作状況)を意味する。例えば、電子機器1は、特定のアプリケーションが起動されると、当該アプリケーションに対応する動作モードとなる。モードは同時に1つだけ選択可能であってよい。本実施形態において、電子機器1のモードは第1モードおよび第2モードを含む。
Here, the
第1モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード(通常モード)である。第1モードでは、ユーザは、電子機器1が実行可能な機能を実行させることができる。例えば、第1モードにおいて、ユーザは、電子機器1のカメラ機能、通話機能、およびメール機能等を実行できる。また、第1モードにおいて、ユーザは、電子機器1にインストールされたアプリケーションを起動することができる。
The first mode is a normal operation mode (normal mode) that is suitable for use in a room other than the kitchen and a place where the user is out. In the first mode, the user can execute a function that can be executed by the
第2モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器1の動作モード(キッチンモード)である。ユーザは、例えば電子機器1において、特定のアプリケーションを起動することにより、電子機器1を第2モードに遷移させることができる。ここでいう特定のアプリケーションは、例えばレシピを表示するアプリケーションであってよい。上記で説明したように、第2モードの場合には、ジェスチャによる入力操作が可能であることが好ましい。つまり、電子機器1のモードが第2モードに切り替わる場合には、連動して近接センサ5および/または測距センサ18を動作させてジェスチャを検出可能にすることが好ましい。本実施形態の電子機器1は、以下に説明するユーザインターフェースを備えることによって、第2モード(キッチンモード)への切り替えと、近接センサ5および測距センサ18の動作とを連動させることが可能である。
The second mode is an operation mode (kitchen mode) of the
(近接センサおよび測距センサの特性)
ここで、電子機器1における近接センサ5と測距センサ18との、対象物を検出可能な距離の特性について説明する。図11は、近接センサ5および測距センサ18の検出距離を模式的に示す図である。図11の上段には測距センサ18の検出距離が示され、図11の下段には近接センサ5の検出距離が示されている。図11は、センサの位置を0とし、各センサが検出可能な距離を斜線で示している。
(Characteristics of proximity sensor and distance sensor)
Here, the characteristics of the distance at which the object can be detected between the
図11の上段に示すように、ToFセンサにより構成される測距センサ18は、距離D1以上で距離D2未満の位置にある対象物を検出できる。ただし、D1<D2であるとする。すなわち、測距センサ18は、距離0以上で距離D1未満の位置にある対象物を検出できない。これは、ToFセンサの前面側がカバーガラスで覆われており、ToFセンサから照射される赤外光が当該カバーガラスで反射されるため、D1未満の距離については、対象物からの反射光であるか、カバーガラスからの反射であるかを区別できないためである。また、測距センサ18は、距離D2以上の位置にある対象物を検出できない。距離D2以上離れると、ToFセンサは、反射光を受光できなくなるためである。測距センサ18は、距離D1以上で距離D2未満の位置にある対象物を、上述した原理により検出できる。従って、測距センサ18は、ユーザが距離D1以上で距離D2未満の位置でジェスチャを行った場合、当該ジェスチャを検出できる。
As shown in the upper part of FIG. 11, the
図11の下段に示すように、近接センサ5は、距離0以上でD3未満の位置にある対象物を検出できる。すなわち、近接センサ5は、距離D3以上の位置にある対象物を検出できない。これは、対象物が距離D3以上離れると、例えば図8で説明した近接センサの出力が閾値Aを下回るためである。近接センサ5は、距離0以上でD3未満の位置にある対象物を、上述した原理により検出できる。従って、近接センサ5は、ユーザが距離D3未満の位置でジェスチャを行った場合、当該ジェスチャを検出できる。
As shown in the lower part of FIG. 11, the
電子機器1は、近接センサ5と測距センサ18との検出可能な距離の関係が、D1<D3<D2となるような近接センサ5および測距センサ18を用いることができる。この場合、図11に示すように、距離D1以上で距離D3未満の位置にある対象物については、近接センサ5および測距センサ18の双方により検出可能である。すなわち、近接センサ5と測距センサ18との検出可能な距離は、その一部が重複している。これにより、電子機器1は、近接センサ5と測距センサ18とにより、距離0から距離D2までの範囲の位置にある対象物について、検出できない範囲を有さず、連続的に検出可能である。本実施形態では、近接センサ5と測距センサ18とは、検出可能距離が図11に示す関係を有するとして、以下説明する。すなわち、本実施形態では、D1<D3<D2が成立するとして、以下説明する。
The
次に、電子機器1のコントローラ10によるジェスチャの検出処理について説明する。本明細書では、第1の制御と第2の制御とについて説明する。電子機器1のコントローラ10は、第1の制御または第2の制御のいずれかにより、ユーザのジェスチャの検出処理を実行してよい。
Next, gesture detection processing by the
(第1の制御)
図12は、電子機器1のコントローラ10が実行する第1の制御による処理の一例を示すフローチャートである。図12に示すフローは、例えばユーザが電子機器1においてジェスチャを検出する機能を起動させたときに実行されてよい。図12に示すフローは、例えばユーザが電子機器1をキッチンモードにしたときに実行されてもよい。図12のフローの開始時点において、近接センサ5および測距センサ18は、いずれもオフの状態、すなわち起動されていない状態であるとする。
(First control)
FIG. 12 is a flowchart illustrating an example of processing by the first control executed by the
コントローラ10は、近接センサ5および測距センサ18の双方をオンにする(ステップS11)。これにより、近接センサ5および測距センサ18のそれぞれによるジェスチャの検出が開始される。
The
コントローラ10は、近接センサ5および測距センサ18の出力に基づいてジェスチャを検出する。
The
具体的には、コントローラ10は、近接センサ5からの出力を取得する(ステップS12)。
Specifically, the
コントローラ10は、ステップS12で取得した近接センサ5の出力に基づいて、近接センサ5によりジェスチャが検出されているか否かを判定する(ステップS13)。コントローラ10は、例えば、ジェスチャが距離D3未満の位置で行われている場合に、近接センサ5によりジェスチャが検出されていると判定でき、ジェスチャが距離D3以上の位置で行われている場合に、近接センサ5によりジェスチャが検出されていないと判定できる。
Based on the output of the
コントローラ10は、近接センサ5によりジェスチャが検出されていると判定した場合(ステップS13のYes)、検出されたジェスチャに応じた制御を実行する(ステップS16)。例えば、コントローラ10は、検出されたジェスチャに応じて、タッチスクリーンディスプレイ2に表示されている画面をスクロールする。
When it is determined that the gesture is detected by the proximity sensor 5 (Yes in step S13), the
一方、コントローラ10は、近接センサ5によりジェスチャが検出されていないと判定した場合(ステップS13のNo)、測距センサ18からの出力を取得する(ステップS14)。
On the other hand, if the
コントローラ10は、ステップS14で取得した測距センサ18の出力に基づいて、測距センサ18によりジェスチャが検出されているか否かを判定する(ステップS15)。コントローラ10は、例えば、ジェスチャが距離D1以上で距離D2未満の位置で行われている場合に、測距センサ18によりジェスチャが検出されていると判定でき、ジェスチャが距離D1未満の位置または距離D2以上の位置で行われている場合に、測距センサ18によりジェスチャが検出されていないと判定できる。
The
コントローラ10は、測距センサ18によりジェスチャが検出されていると判定した場合(ステップS15のYes)、検出されたジェスチャに応じた制御を実行する(ステップS16)。
When it is determined that the gesture is detected by the distance measuring sensor 18 (Yes in step S15), the
一方、コントローラ10は、測距センサ18によりジェスチャが検出されていないと判定した場合(ステップS15のNo)、ステップS12に移行する。
On the other hand, when it is determined that the gesture is not detected by the distance measuring sensor 18 (No in step S15), the
コントローラ10は、ステップS16においてジェスチャに応じた制御を実行したあと、ステップS12に移行して、ステップS12からステップS16を繰り返し実行してよい。コントローラ10は、例えばユーザが電子機器1においてジェスチャの検出を停止する操作入力を行った場合に、図12に示すフローを停止してよい。
After executing the control according to the gesture in step S16, the
図12に示すフローでは、コントローラ10が、近接センサ5によりジェスチャが検出されているかを判定したあと、測距センサ18によりジェスチャが検出されているかを判定すると説明した。しかしながら、コントローラ10は、例えば、測距センサ18によりジェスチャが検出されているかを判定したあと、近接センサ5によりジェスチャが検出されているかを判定してもよい。また、コントローラ10は、近接センサ5によりジェスチャが検出されているかの判定処理と、測距センサ18によりジェスチャが検出されているかの判定処理を同時に実行してもよい。
In the flow shown in FIG. 12, it has been described that the
このように、コントローラ10は、近接センサ5および測距センサ18の出力に基づいてジェスチャを検出することにより、近接センサ5または測距センサ18のいずれかの検出距離で行われているジェスチャを検出できる。つまり、コントローラ10は、ジェスチャが、近接センサ5または測距センサ18のいずれかの検出距離で行われている限り、当該ジェスチャを検出できる。そのため、電子機器1によれば、近接センサのみによりジェスチャの検出を行う従来の電子機器と比較して、測距センサ18の検出距離で行われるジェスチャも検出できるため、ジェスチャの検出距離を延ばすことができる。すなわち、電子機器1によれば、従来の電子機器と比較して、より遠くのジェスチャを検出することができ、より遠くのジェスチャの検出精度が向上し得る。
In this way, the
例えば、ユーザが電子機器1をキッチンモードにしたまま、一時的に電子機器1から離れているとする。このときに、例えば電子機器1が、キッチンモードの1つの機能として搭載されているタイマー機能により、設定された時間が経過したことを、ユーザに音を鳴らしたりする等して知らせたとする。近接センサのみによりジェスチャの検出を行う従来の電子機器の場合、ユーザは、鳴っている音を止めるために、電子機器の近くに戻って、音を止めるジェスチャを行う必要がある。これに対し、本実施形態に係る電子機器1によれば、ジェスチャの検出距離が延びているため、ユーザは、従来の電子機器の場合と比較して、より遠い位置からでも、ジェスチャを行って音を止めることができる。そのため、ユーザの位置によっては、電子機器1の方へ移動せずに、ユーザがいる位置においてジェスチャを行うことにより、音を止めることができる。
For example, it is assumed that the user temporarily leaves the
(第2の制御)
第1の制御では、近接センサ5および測距センサ18の双方が起動される場合について説明した。第2の制御では、コントローラ10は、近接センサ5または測距センサ18のいずれかのみを起動させる。例えば、コントローラ10は、検出対象の物体と自機器との距離に応じて、動作させるセンサを、近接センサ5と、測距センサ18とで切り替える制御を行ってよい。この場合、コントローラ10は、動作させているセンサの出力に基づいてジェスチャを検出することができる。
(Second control)
In the first control, the case where both the
図13は、電子機器1のコントローラ10が実行する第2の制御による処理の一例を示すフローチャートである。図13に示すフローは、例えばユーザが電子機器1においてジェスチャを検出する機能を起動させたときに実行されてよい。図13に示すフローは、例えばユーザが電子機器1をキッチンモードにしたときに実行されてもよい。図13のフローの開始時点において、近接センサ5および測距センサ18は、いずれもオフの状態、すなわち起動されていない状態であるとする。
FIG. 13 is a flowchart illustrating an example of processing by the second control executed by the
コントローラ10は、近接センサ5をオンにする(ステップS21)。これにより、近接センサ5が動作を開始し、近接センサ5によるジェスチャの検出が開始される。
The
コントローラ10は、近接センサ5からの出力を取得する(ステップS22)。
The
コントローラ10は、ステップS22で取得した近接センサ5の出力に基づいて、近接センサ5によりジェスチャが検出されているか否かを判定する(ステップS23)。コントローラ10は、例えば、ジェスチャが距離D3未満の位置で行われている場合に、近接センサ5によりジェスチャが検出されていると判定でき、ジェスチャが距離D3以上の位置で行われている場合に、近接センサ5によりジェスチャが検出されていないと判定できる。
The
コントローラ10は、近接センサ5によりジェスチャが検出されていると判定した場合(ステップS23のYes)、検出されたジェスチャに応じた制御を実行する(ステップS24)。そして、コントローラ10は、ステップS22に移行し、近接センサ5によりジェスチャが検出されていると判定されている限りにおいて、ステップS22からステップS24を繰り返す。
When it is determined that the gesture is detected by the proximity sensor 5 (Yes in step S23), the
コントローラ10は、近接センサ5によりジェスチャが検出されていないと判定した場合(ステップS23のNo)、近接センサ5をオフにする(ステップS25)。
When it is determined that the gesture is not detected by the proximity sensor 5 (No in step S23), the
そして、コントローラ10は、測距センサ18をオンにする(ステップS26)。つまり、コントローラ10は、ステップS23において近接センサ5によりジェスチャが検出されていないと判定した場合、動作するセンサを近接センサ5から測距センサ18に切り替える。これにより、測距センサ18が動作を開始し、測距センサ18によるジェスチャの検出が開始される。
Then, the
コントローラ10は、測距センサ18からの出力を取得する(ステップS27)。
The
コントローラ10は、ステップS27で取得した測距センサ18の出力に基づいて、測距センサ18によりジェスチャが検出されているか否かを判定する(ステップS28)。コントローラ10は、例えば、ジェスチャが距離D1以上で距離D2未満の位置で行われている場合に、測距センサ18によりジェスチャが検出されていると判定でき、ジェスチャが距離D1未満の位置または距離D2以上の位置で行われている場合に、測距センサ18によりジェスチャが検出されていないと判定できる。
The
近接センサ5によりジェスチャが検出されなくなった場合、ジェスチャが行われる位置が距離D3以上の位置となった可能性がある。そこで、コントローラ10は、近接センサ5によりジェスチャが検出されなくなった場合に、測距センサ18をオンにすることにより、ジェスチャの検出距離を距離D1以上で距離D2未満の範囲に変更する。これにより、近接センサ5により検出できなくなったジェスチャを、測距センサ18により検出し得る。
When the gesture is no longer detected by the
コントローラ10は、測距センサ18によりジェスチャが検出されていると判定した場合(ステップS28のYes)、検出されたジェスチャに応じた制御を実行する(ステップS29)。そして、コントローラ10は、ステップS27に移行し、測距センサ18によりジェスチャが検出されていると判定されている限りにおいて、ステップS27からステップS29を繰り返す。
When it is determined that the gesture is detected by the distance measuring sensor 18 (Yes in Step S28), the
コントローラ10は、測距センサ18によりジェスチャが検出されていないと判定した場合(ステップS28のNo)、測距センサ18をオフにする(ステップS30)。そして、コントローラ10は、ステップS21に移行して、再び近接センサ5をオンにする。つまり、コントローラ10は、ステップS28において測距センサ18によりジェスチャが検出されていないと判定した場合、動作するセンサを測距センサ18から近接センサ5に切り替える。これにより、近接センサ5が、再度動作を開始し、近接センサ5によるジェスチャの検出が開始される。
When it is determined that the gesture is not detected by the distance measuring sensor 18 (No in step S28), the
測距センサ18によりジェスチャが検出されなくなった場合、ジェスチャが行われる位置がジェスチャが距離D1未満の位置または距離D2以上の位置となった可能性がある。ジェスチャが距離D1未満の位置で行われている場合、コントローラ10は、近接センサ5をオンにすることにより、ジェスチャの検出距離を変更することにより、測距センサ18により検出できなくなったジェスチャを、近接センサ5により検出し得る。
When the gesture is no longer detected by the
コントローラ10は、例えばユーザが電子機器1においてジェスチャの検出を停止する操作入力を行った場合に、図12に示すフローを停止してよい。
The
第2の制御では、第1の制御と同様に、近接センサのみによりジェスチャの検出を行う従来の電子機器と比較して、ジェスチャの検出距離を延ばすことができる。また、第2の制御では、コントローラ10は、近接センサ5と測距センサ18のいずれか一方をオンにし、他方をオフにするため、消費電力を低減することができる。
In the second control, similarly to the first control, the gesture detection distance can be extended as compared with a conventional electronic device that detects a gesture only by a proximity sensor. In the second control, since the
(その他の実施形態)
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
(Other embodiments)
Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various variations and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, functions included in each means or each step can be rearranged so as not to be logically contradictory, and a plurality of means or steps can be combined into one or divided. .
例えば、上記実施形態では、コントローラ10は、近接センサ5および測距センサ18の出力に基づいてジェスチャを検出すると説明した。しかしながら、コントローラ10は、近接センサ5および測距センサ18の出力に基づき、例えば電子機器1とユーザとの距離を推定できる。コントローラ10は、例えば上記実施形態のように近接センサ5及び測距センサ18が電子機器1の前面側に配置されている場合、電子機器1の前面側にいるユーザとの距離を推定できる。すなわち、コントローラ10は、例えば測距センサ18の出力に基づいて、電子機器1に対するユーザの距離を算出することにより、電子機器1とユーザとの距離を推定できる。
For example, in the above-described embodiment, it has been described that the
コントローラ10は、電子機器1とユーザとの距離を推定する場合、推定した距離に応じて、タッチスクリーンディスプレイ2の表示を点灯させたり消灯させたりしてよい。例えば、コントローラ10は、ユーザが予め定められた所定の距離以上離れたと判定した場合、タッチスクリーンディスプレイ2の表示を消灯させてよい。コントローラ10は、ユーザが、電子機器1に対して当該所定の距離未満の位置に近づいたと判定した場合、タッチスクリーンディスプレイ2の表示を点灯させてよい。このような制御により、コントローラ10は、ユーザが電子機器1に近づいて電子機器1の表示を視認可能な位置にいる際に、タッチスクリーンディスプレイ2の表示を点灯させることができる一方、ユーザが電子機器1から遠ざかった場合に、タッチスクリーンディスプレイ2の表示を点灯させることにより、電子機器1の電力消費を低減させることができる。
When estimating the distance between the
上記の実施形態では、ジェスチャは、近接センサ5および測距センサ18により検出されると説明したが、必ずしも近接センサ5および測距センサ18により検出されなくてもよい。ジェスチャは、任意の非接触でユーザのジェスチャを検出可能な、任意の非接触センサにより検出されてもよい。非接触センサの一例は、例えば、カメラ13または照度センサ4等を含む。
In the above-described embodiment, it has been described that the gesture is detected by the
本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、PC(パーソナルコンピュータ)、専用コンピュータ、ワークステーション、PCS(Personal Communications System、パーソナル移動通信システム)、移動(セルラー)電話機、データ処理機能を備えた移動電話機、RFID受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、GPS(Global Positioning System)受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令(ソフトウェア)で実装された専用回路(例えば、特定機能を実行するために相互接続された個別の論理ゲート)、一以上のプロセッサにより実行される論理ブロックおよび/またはプログラムモジュール等により実行されることに留意されたい。論理ブロックおよび/またはプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、CPU(中央演算処理ユニット)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および/またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および/または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。 Many aspects of the present disclosure are presented as a series of operations performed by a computer system or other hardware capable of executing program instructions. The computer system and other hardware include, for example, a general-purpose computer, a PC (personal computer), a dedicated computer, a workstation, a PCS (Personal Communications System), a mobile (cellular) telephone, and a data processing function. Mobile phones, RFID receivers, game consoles, electronic notepads, laptop computers, GPS (Global Positioning System) receivers or other programmable data processing devices are included. In each embodiment, various operations or control methods are performed by dedicated circuitry (eg, individual logic gates interconnected to perform specific functions) implemented by program instructions (software), one or more processors. Note that it is executed by a logical block and / or a program module. The one or more processors that execute logic blocks and / or program modules include, for example, one or more microprocessors, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), a DSP (Digital Signal Processor), and a PLD. (Programmable Logic Device), FPGA (Field Programmable Gate Array), processor, controller, microcontroller, microprocessor, electronic equipment, other devices designed to perform the functions described herein, and / or any combination thereof Is included. The embodiments shown here are implemented by, for example, hardware, software, firmware, middleware, microcode, or any combination thereof. The instructions may be program code or code segments for performing the necessary tasks. The instructions can then be stored on a machine-readable non-transitory storage medium or other medium. A code segment may represent any combination of procedures, functions, subprograms, programs, routines, subroutines, modules, software packages, classes or instructions, data structures or program statements. A code segment transmits and / or receives information, data arguments, variables or stored contents with other code segments or hardware circuits, thereby connecting the code segments with other code segments or hardware circuits .
ここで用いられるストレージ9は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア(媒体)として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置(例えば、CD(Compact Disk)、レーザーディスク(登録商標)、DVD(登録商標)(Digital Versatile Disc)、フロッピー(登録商標)ディスクおよびブルーレイディスク(登録商標))、可搬型コンピュータディスク、RAM(Random Access Memory)、ROM(Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)もしくはフラッシュメモリ等の書換え可能でプログラム可能なROMもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサまたはプロセッシングユニットの内部および/または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類および/または数に限定されない。また、記憶が格納される媒体の種類も限定されない。
The
1、101 電子機器
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 操作部
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9Z 設定データ
10 コントローラ
11 スピーカ
12、13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 ジャイロスコープ
18 測距センサ
18a 発光部
18b 受光部
121 保護シート
122 接着層
123 強化ガラス
180 光源用赤外LED
181 レンズ
SU,SR,SD,SL フォトダイオード
DESCRIPTION OF SYMBOLS 1,101
181 Lens SU, SR, SD, SL Photodiode
Claims (11)
前記近接センサよりも前記検出対象の物体を検出可能な距離が長い測距センサと、
前記検出対象の物体と自機器との距離に応じて、動作させるセンサを、前記近接センサと前記測距センサとの間で切り替えるコントローラと、
を備える電子機器。 A proximity sensor capable of detecting an object to be detected ; and
A distance measuring sensor having a longer distance at which the object to be detected can be detected than the proximity sensor ;
A controller that switches a sensor to be operated between the proximity sensor and the distance measuring sensor according to a distance between the object to be detected and the device itself;
Electronic equipment comprising.
前記近接センサよりも前記検出対象の物体を検出可能な距離が長い測距センサと、
前記近接センサおよび前記測距センサの出力に基づいてジェスチャを検出するコントローラと、
を備える電子機器。 A proximity sensor capable of detecting an object to be detected ; and
A distance measuring sensor having a longer distance at which the object to be detected can be detected than the proximity sensor ;
A controller for detecting a gesture based on outputs of the proximity sensor and the distance measuring sensor;
Electronic equipment comprising.
前記コントローラにより、前記検出対象の物体と自機器との距離に応じて、動作させるセンサを、前記近接センサと前記測距センサとの間で切り替えるステップ
を実行させるプログラム。 An electronic device comprising: a proximity sensor capable of detecting an object to be detected; a distance measuring sensor capable of detecting the object to be detected longer than the proximity sensor; and a controller.
By the controller, in response to said distance between the detection target object and the host device, a sensor to operate, a program for executing the step of switching between said proximity sensor distance measuring sensor.
前記コントローラにより、前記近接センサおよび前記測距センサの出力に基づいてジェスチャを検出するステップ
を実行させるプログラム。 An electronic device comprising: a proximity sensor capable of detecting an object to be detected; a distance measuring sensor capable of detecting the object to be detected longer than the proximity sensor; and a controller.
A program that causes the controller to execute a step of detecting a gesture based on outputs of the proximity sensor and the distance measuring sensor.
前記コントローラにより、前記検出対象の物体と自機器との距離に応じて、動作させるセンサを、前記近接センサと前記測距センサとの間で切り替えるステップ
を含む制御方法。 A method for controlling an electronic device comprising: a proximity sensor capable of detecting an object to be detected; a distance measuring sensor capable of detecting the object to be detected longer than the proximity sensor; and a controller.
By the controller, the control method comprising in accordance with the distance between the detection target object and the host device, a sensor to operate, switching between the distance measuring sensor and the proximity sensor.
前記コントローラにより、前記近接センサおよび前記測距センサの出力に基づいてジェスチャを検出するステップ
を含む制御方法。
A method for controlling an electronic device comprising: a proximity sensor capable of detecting an object to be detected; a distance measuring sensor capable of detecting the object to be detected longer than the proximity sensor; and a controller.
A control method including a step of detecting a gesture by the controller based on outputs of the proximity sensor and the distance measuring sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018027026A JP6349047B1 (en) | 2018-02-19 | 2018-02-19 | Electronic device, program, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018027026A JP6349047B1 (en) | 2018-02-19 | 2018-02-19 | Electronic device, program, and control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017159499A Division JP6295363B1 (en) | 2017-08-22 | 2017-08-22 | Electronic device, program, and control method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018103987A Division JP6585234B2 (en) | 2018-05-30 | 2018-05-30 | Electronic device, program, and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6349047B1 true JP6349047B1 (en) | 2018-06-27 |
JP2019040578A JP2019040578A (en) | 2019-03-14 |
Family
ID=62706292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018027026A Active JP6349047B1 (en) | 2018-02-19 | 2018-02-19 | Electronic device, program, and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6349047B1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095616A (en) * | 1995-06-15 | 1997-01-10 | Fuji Photo Optical Co Ltd | Auto-focusing device |
JP3240941B2 (en) * | 1996-11-18 | 2001-12-25 | 松下電器産業株式会社 | Hand gesture detection method and device |
JP2005074056A (en) * | 2003-09-02 | 2005-03-24 | Fujinon Corp | Electronic endoscope apparatus with autofocus function |
JP2010244480A (en) * | 2009-04-10 | 2010-10-28 | Toyota Motor Corp | Control device and control method based on gesture recognition |
JP2014119103A (en) * | 2012-12-19 | 2014-06-30 | Honda Motor Co Ltd | Fuel cell vehicle and communicative energy loading system |
JP2015092905A (en) * | 2013-11-08 | 2015-05-18 | 株式会社内田洋行 | Stack table and lever |
JP2015225493A (en) * | 2014-05-28 | 2015-12-14 | 京セラ株式会社 | Portable terminal, gesture control program and gesture control method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014119103A1 (en) * | 2013-01-31 | 2014-08-07 | シャープ株式会社 | Optical sensor |
CN105765494B (en) * | 2013-12-19 | 2019-01-22 | 麦克赛尔株式会社 | Projection-type image display device and projection type image display methods |
-
2018
- 2018-02-19 JP JP2018027026A patent/JP6349047B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095616A (en) * | 1995-06-15 | 1997-01-10 | Fuji Photo Optical Co Ltd | Auto-focusing device |
JP3240941B2 (en) * | 1996-11-18 | 2001-12-25 | 松下電器産業株式会社 | Hand gesture detection method and device |
JP2005074056A (en) * | 2003-09-02 | 2005-03-24 | Fujinon Corp | Electronic endoscope apparatus with autofocus function |
JP2010244480A (en) * | 2009-04-10 | 2010-10-28 | Toyota Motor Corp | Control device and control method based on gesture recognition |
JP2014119103A (en) * | 2012-12-19 | 2014-06-30 | Honda Motor Co Ltd | Fuel cell vehicle and communicative energy loading system |
JP2015092905A (en) * | 2013-11-08 | 2015-05-18 | 株式会社内田洋行 | Stack table and lever |
JP2015225493A (en) * | 2014-05-28 | 2015-12-14 | 京セラ株式会社 | Portable terminal, gesture control program and gesture control method |
Also Published As
Publication number | Publication date |
---|---|
JP2019040578A (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6266833B1 (en) | Electronic device, program, and control method | |
JP6239796B1 (en) | Electronics | |
US10712828B2 (en) | Electronic device, recording medium, and control method | |
JP2019030000A (en) | Electronic apparatus, program, and control method | |
US20180299989A1 (en) | Electronic device, recording medium, and control method | |
US11269417B2 (en) | Electronic device configured to communicate with an intercom, and control method thereof | |
JP2018018288A (en) | Electronic device | |
JP6295363B1 (en) | Electronic device, program, and control method | |
WO2018193876A1 (en) | Electronic device | |
JP6349047B1 (en) | Electronic device, program, and control method | |
JP6585234B2 (en) | Electronic device, program, and control method | |
JP2018181351A (en) | Electronic device | |
JP6568331B1 (en) | Electronic device, control method, and program | |
JP6173625B1 (en) | Electronic device, program, and control method | |
JP6333461B1 (en) | Electronics | |
JP6235175B1 (en) | Electronic device, program, and control method | |
JP2018110370A (en) | Electronic device, program and control method | |
JP6163274B1 (en) | Electronic device, program, and control method | |
JP6637089B2 (en) | Electronic device, program and control method | |
JP2018109955A (en) | Electronic device, program and control method | |
JP2019028973A (en) | Electronic apparatus, program, and control method | |
JP2018109873A (en) | Electronic device, program and control method | |
JP2019149825A (en) | Electronic device, program, and control method | |
JP2018018549A (en) | Electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6349047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |