JP6517179B2 - 電子機器、プログラムおよび制御方法 - Google Patents

電子機器、プログラムおよび制御方法 Download PDF

Info

Publication number
JP6517179B2
JP6517179B2 JP2016222615A JP2016222615A JP6517179B2 JP 6517179 B2 JP6517179 B2 JP 6517179B2 JP 2016222615 A JP2016222615 A JP 2016222615A JP 2016222615 A JP2016222615 A JP 2016222615A JP 6517179 B2 JP6517179 B2 JP 6517179B2
Authority
JP
Japan
Prior art keywords
electronic device
proximity sensor
gesture
intercom
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016222615A
Other languages
English (en)
Other versions
JP2018082273A (ja
Inventor
上野　泰弘
泰弘 上野
茂輝 田辺
茂輝 田辺
英樹 森田
英樹 森田
功 益池
功 益池
浩太郎 山内
浩太郎 山内
学 佐久間
学 佐久間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2016222615A priority Critical patent/JP6517179B2/ja
Priority to US16/349,738 priority patent/US11269417B2/en
Priority to PCT/JP2017/040308 priority patent/WO2018092659A1/ja
Priority to EP17872660.0A priority patent/EP3528477B1/en
Publication of JP2018082273A publication Critical patent/JP2018082273A/ja
Application granted granted Critical
Publication of JP6517179B2 publication Critical patent/JP6517179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/02—Arrangements for interconnection not involving centralised switching involving a common line for all parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Description

本発明は、電子機器、プログラムおよび制御方法に関する。
例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている（例えば特許文献１）。
特開２０１５−２２５４９３号公報
ここで、ジェスチャによる入力操作が可能な電子機器において、種々の状況に応じた各種の操作を一貫してジェスチャにより行うことができれば、さらに操作性を向上させることができる。
かかる事情に鑑みてなされた本発明の目的は、操作性を向上させた電子機器、プログラムおよび制御方法を提供することにある。
本発明の実施形態に係る電子機器は、近接センサと、インターホンの室内機と通信する通信ユニットと、前記インターホンの室内機が呼出通知を受信したことを示す信号を前記通信ユニットが取得すると、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室内機を制御する処理を実行する、コントローラと、を備える。
本発明の実施形態に係る電子機器は、近接センサと、インターホンの室外機と通信する通信ユニットと、前記インターホンの室外機からの呼出通知を前記通信ユニットが取得すると、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室外機を制御する処理を実行する、コントローラと、を備える。
本発明の実施形態に係るプログラムは、近接センサと、インターホンの室内機と通信する通信ユニットと、を備える電子機器に、前記通信ユニットによって、前記インターホンの室内機が呼出通知を受信したことを示す信号を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室内機を制御する処理を実行するステップと、を実行させる。
本発明の実施形態に係るプログラムは、近接センサと、インターホンの室外機と通信する通信ユニットと、を備える電子機器に、前記通信ユニットによって、前記インターホンの室外機からの呼出通知を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室外機を制御する処理を実行するステップと、を実行させる。
本発明の実施形態に係る制御方法は、近接センサと、インターホンの室内機と通信する通信ユニットと、を備える電子機器の制御方法であって、前記通信ユニットによって、前記インターホンの室内機が呼出通知を受信したことを示す信号を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室内機を制御する処理を実行するステップと、を含む。
本発明の実施形態に係る制御方法は、近接センサと、インターホンの室外機と通信する通信ユニットと、を備える電子機器の制御方法であって、前記通信ユニットによって、前記インターホンの室外機からの呼出通知を取得するステップと、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室外機を制御する処理を実行するステップと、を含む。
本発明の一実施形態によれば、操作性を向上させた電子機器、プログラムおよび制御方法を提供することができる。
一実施形態に係る電子機器の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を示す図である。 ユーザがジェスチャにより電子機器を操作する状況の一例を示す図である。 電子機器とインターホンとを連携させる状況の一例を示す図である。 ストレージに記憶されるジェスチャ処理情報の一例を示す図である。 一実施形態に係る電子機器が実行する処理の一例を示すフローチャートである。
（電子機器の構成）
図１に示すように一実施形態の電子機器１は、ディスプレイ１４と、ストレージ１６と、通信ユニット１７と、近接センサ１８（ジェスチャセンサ）と、コントローラ１１と、を備える。電子機器１はさらに、タイマー１２と、カメラ１３と、マイク１５と、ＵＶセンサ１９と、照度センサ２０と、加速度センサ２１と、地磁気センサ２２と、気圧センサ２３と、ジャイロセンサ２４と、スピーカー２５と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを含まなくてもよい。また、電子機器１は図１に示す以外の構成要素を備えていてもよい。
ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。本実施形態において、ディスプレイ１４はタッチスクリーンディスプレイである。タッチスクリーンディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ１４は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。
ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてもよい。
通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格がある。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格として、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等がある。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。
近接センサ１８は、電子機器１の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。一実施形態の近接センサ１８は白、赤、緑および青を感知する４つの可視光フォトダイオードを有し、対象物との相対距離を測定することができる。また近接センサ１８は１つの光源用赤外ＬＥＤ（Light Emitting Diode）と上下左右を感知する４つの赤外フォトダイオードとを有する。近接センサ１８は、光源用赤外ＬＥＤからの赤外光を対象物に照射する。近接センサ１８は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ１８は、電子機器１のユーザが電子機器１に触れずに行うエアジェスチャ（以下単に「ジェスチャ」という）を用いた操作を検出することができる。
コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。
具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。例えば、コントローラ１１は、ユーザによる接触のデータをタッチパネルから取得する。また、コントローラ１１は、ＵＶセンサ１９、照度センサ２０、加速度センサ２１、地磁気センサ２２、気圧センサ２３およびジャイロセンサ２４が検出したデータの一部または全部を取得する。また、コントローラ１１は、ストレージ１６の使用状況を把握する。また、コントローラ１１は、アプリケーションの起動状況を把握する。
タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は図１に示すようにコントローラ１１の外部に備えられていてもよいし、コントローラ１１の内部に含まれてもよい。
カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。
マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。
スピーカー２５は音を出力する。例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー２５から音で出力される。
ＵＶセンサ１９は、太陽光等に含まれる紫外線（Ultraviolet）量を測定することができる。
照度センサ２０は、当該照度センサ２０に入射する周囲光の照度を検出する。
加速度センサ２１は、電子機器１に働く加速度の方向および大きさを検出する。加速度センサ２１は、ｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ２１の種類は限定されない。加速度センサ２１は、例えばピエゾ抵抗型であってもよい。また、加速度センサ２１は例えば静電容量型であってもよい。また、加速度センサ２１は例えば圧電素子（圧電式）または熱検知型によるＭＥＭＳ（Micro Electro Mechanical Systems）式であってもよい。また、加速度センサ２１は、例えば可動コイルを動かしてフィードバック電流によってもとに戻すサーボ式であってもよい。また、加速度センサ２１は、加速度によって生じる歪を歪ゲージによって測定する歪ゲージ式であってもよい。
地磁気センサ２２は、地磁気の向きを検出する。例えば電子機器１の向きを地面に平行な面上に投影した成分が、地磁気センサ２２で取得される向き情報である。地磁気センサ２２で取得される向き情報は、電子機器１の方位である。
気圧センサ２３は、電子機器１の外側の気圧（大気圧）を検出する。
ジャイロセンサ２４は、電子機器１の角速度を検出する。コントローラ１１は、ジャイロセンサ２４により取得された角速度を１回時間積分することにより、電子機器１の向きを測定することができる。
（ジェスチャによる電子機器の操作）
図２は、ユーザがジェスチャにより電子機器１を操作する様子を示す。図２において、電子機器１は一例としてスタンドによって支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図２に示される例では、ジェスチャに基づく処理はレシピの選択である。例えば、ユーザがディスプレイ１４の短手方向で右方から左方（図２の矢印の方向）へと手を動かすジェスチャを行うと、ディスプレイ１４に表示されるレシピが変化する。
図２に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン等でもよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器（ＦＡ機器）等でもよい。
図３は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図３の例で、ユーザは料理のレシピを電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。上記のように、近接センサ１８はユーザのジェスチャを検出する。そして、コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。コントローラ１１は特定のジェスチャ（例えばユーザが手を上下に動かすジェスチャ）に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器１に触れることなく、特定のジェスチャによってレシピをスクロールすることができる。したがって、ディスプレイ１４が汚れること、および料理中のユーザの手にディスプレイ１４の汚れが移ることを回避することができる。
ここで、電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態または動作状況）を意味する。モードは同時に１つだけ選択可能である。本実施形態において、電子機器１のモードは第１モードおよび第２モードを含む。第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。電子機器１は、第２モードの場合に、近接センサ１８を動作させてジェスチャを検出することができる。また、電子機器１は、第２モードの場合に、マイク１５を動作させる。そして、電子機器１は、文字入力（ユーザのタッチパネル操作による入力）に代えて、マイク１５を用いた音声入力を可能にする。一方、第１モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード（通常モード）である。本実施形態において、ユーザは、キッチンで料理を行うときに電子機器１を第２モード（キッチンモード）に設定する。モードは、電子機器１の設定画面（例えばメニュー画面の機器設定）から設定できてもよい。また、モードは、画面の端部をスワイプ等することで現れるノーティフィケーション（通知画面）で容易に設定可能であってもよい。
ここで、ユーザが例えばノーティフィケーションで電子機器１を第２モード（キッチンモード）に設定し、キッチンで料理をしているとする。料理中に生じた突発的なイベントによって、ユーザは料理を中断しなければならないことがある。このようなイベントとして例えば来客が挙げられる。来客の際には、直ちに応答することが好ましいが、ユーザが汚れを落とすために手を洗うといった行動によって応答が遅れることがある。また、キッチンとインターホンの室内機３２とが別の部屋にある場合には、さらに応答が遅れることがある。また、ユーザが手の汚れを落とさずに急いで応答した場合には、室内機３２や玄関のドアノブが汚れたり、料理中のユーザの手に汚れが移ったりする可能性がある。
図４は、本実施形態に係る電子機器１が、インターホンと共に使用される状況の一例を示す図である。電子機器１の通信ユニット１７は、インターホンの室内機３２が呼出通知を受信したことを示す信号を取得する。呼出通知は、訪問客がインターホンの室外機３１のボタンを押すことによって、室外機３１が出力する通知信号である。呼出通知を受信した室内機３２は来客を知らせる音（例えばチャイム）を出力してもよい。本実施形態において、通信ユニット１７は、例えばＩＥＥＥ８０２．１１で室内機３２と通信する。代替例として、通信ユニット１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）で室内機３２と通信してもよい。本実施形態に係る電子機器１は、ユーザが自宅に居る場合に室内機３２と通信可能である。つまり、電子機器１を持って出かけたとしても、ユーザが外出した場合には、電子機器１と室内機３２との通信は行われない。また、本実施形態において、通信ユニット１７は室外機３１とも通信する。
電子機器１は、室内機３２が呼出通知を受信したことを示す信号を取得すると、近接センサ１８によって検出されたジェスチャに基づきインターホンの室内機を制御する処理を実行する。そのため、料理中のユーザは、電子機器１に触れることなく、ジェスチャによってキッチンにいたまま来客に対応することが可能である。
（ジェスチャ処理情報）
図５は、ストレージ１６に記憶されるジェスチャ処理情報１１１の一例を示す図である。ジェスチャ処理情報１１１は、イベントおよびモードに応じたジェスチャに基づく処理を定めたテーブルである。ジェスチャ処理情報１１１はストレージ１６に記憶される。また、ジェスチャ処理情報１１１は、コントローラ１１によってストレージ１６から読み出される。
本実施形態において、ジェスチャ処理情報１１１は「イベント」、「モード」および「ジェスチャに基づく処理」の項目を含む。
「イベント」は、第２モード（キッチンモード）において生じる突発的な出来事である。本実施形態においては、来客（インターホンの呼出通知）が１つのイベントである。来客があると、第２モード（キッチンモード）においてジェスチャに基づく処理が切り替わる。ここで、ジェスチャに基づく処理が切り替わるイベントは１つに限定されるものではなく、複数あってもよい。
「モード」は電子機器１の動作モードである。図５に示されるように、電子機器１が第１モード（通常モード）である場合には、ジェスチャに基づく処理は実行されない。電子機器１が第１モード（通常モード）で動作する場合には、入力操作はジェスチャではなく、タッチパネルへの接触によって行われる。
「ジェスチャに基づく処理」は、近接センサ１８によって検出されたジェスチャに基づいて実行される処理を示す。コントローラ１１は、第２モードにおける既定状態（本実施形態ではレシピ表示の状態）である場合に、上下移動するジェスチャが検出されるとディスプレイ１４に表示されている画面をスクロールする。また、コントローラ１１は、左右移動するジェスチャが検出されるとレシピの選択処理を実行する。ここで、例えば来客があり、通信ユニット１７は、インターホンの室内機３２が呼出通知を受信したことを示す信号を取得したとする。このとき、コントローラ１１は、上下移動または左右移動するジェスチャが検出されると、訪問客に対して応答する処理を行う。このように、第２モードである場合にイベント（来客）が発生すると、図５に従ってジェスチャに基づく処理が切り替わる。
ここで、図５のイベント（来客）の場合のジェスチャに基づく処理について詳細に説明する。近接センサ１８が上下左右移動のジェスチャを検出すると、コントローラ１１は訪問客に対して応答する処理を行う。応答する処理は、例えば電子機器１のマイク１５およびスピーカー２５を動作させて、インターホンの室外機３１との音声通話を可能にすることを含む。また、近接センサ１８が円を描くジェスチャを検出すると、コントローラ１１は、インターホンの室内機３２に室外機３１が撮影した画像を録画させる処理を行う。代替例として、コントローラ１１は、室外機３１が撮影した画像をストレージ１６に録画してもよい。また、近接センサ１８が三角形を描くジェスチャを検出すると、コントローラ１１はユーザによる直前の選択（例えば録画）をキャンセルする。また、近接センサ１８が一定時間ジェスチャを検出しない場合に、コントローラ１１はディスプレイ１４を非表示にする。つまり、コントローラ１１は、室外機３１が撮影した画像をディスプレイ１４に表示させることを停止して、ディスプレイ１４に何も表示させない。本実施形態において、一定時間は５秒間であるが、これに限定されるものではなく例えば２０秒間でもよい。
（フローチャート）
図６は、本実施形態に係る電子機器１のコントローラ１１が実行する、ジェスチャに基づく処理の一例を示すフローチャートである。
コントローラ１１は来客があったか、つまり、呼出通知があったか否かを判定する（ステップＳ１）。本実施形態において、コントローラ１１は、室内機３２が呼出通知を受信したことを示す信号を取得すると、呼出通知があったと判定して（ステップＳ１のＹｅｓ）、ステップＳ２の処理に進む。コントローラ１１は呼出通知がないと判定した場合に（ステップＳ１のＮｏ）、呼出通知があるまで待機する。
コントローラ１１は、電子機器１のモードが第２モード（キッチンモード）であるか否かを判定する（ステップＳ２）。第２モード（キッチンモード）でない第１モード（通常モード）の場合には（ステップＳ２のＮｏ）、コントローラ１１は一連の処理を終了する。このとき、ユーザは料理中でないため、手が汚れたり濡れたりしていない。そのため、ユーザは、インターホンの室内機３２を操作することによって来客に対応できる。
一方、コントローラ１１は、電子機器１のモードが第２モード（キッチンモード）の場合に（ステップＳ２のＹｅｓ）、ステップＳ３の処理に進む。ここで、コントローラ１１は、ストレージ１６からジェスチャ処理情報１１１を読み出す。そして、コントローラ１１は、イベントとして来客があったことから、ジェスチャ処理情報１１１に基づいて第２モード（キッチンモード）におけるジェスチャに基づく処理を切り替える。
コントローラ１１は、インターホンの画像をディスプレイ１４に表示させる（ステップＳ３）。インターホンの画像とは、インターホンの室外機３１が撮影した画像である。
コントローラ１１は、ジェスチャが一定時間（例えば５秒間）検出されない場合に（ステップＳ４のＮｏ）、ディスプレイ１４を非表示にして一連の処理を終了する。コントローラ１１は、ジェスチャが検出されると（ステップＳ４のＹｅｓ）、ジェスチャ処理情報１１１に基づいてジェスチャに基づく処理を実行する（ステップＳ５）。例えば、コントローラ１１は、上下移動するジェスチャが検出されると、訪問客に対して応答する処理を行う。そして、コントローラ１１は一連の処理を終了する。
以上に説明したように、本実施形態に係る電子機器１は、インターホンの室内機３２が呼出通知を受信したことを示す信号を通信ユニット１７が取得した場合に、来客があったと判定する。そして、電子機器１は、第２モード（キッチンモード）である場合に、ジェスチャ処理情報１１１に基づいて、既定状態（レシピ表示）と異なるジェスチャに基づく処理を実行する。電子機器１は、ジェスチャに基づいて応答および録画等のインターホンの室内機を制御する処理を実行することができる。つまり、本実施形態に係る電子機器１は、異なるイベント（来客）が生じてもジェスチャによる入力操作（ハンズフリー操作）を中断しないため、操作性が向上する。
（その他の実施形態）
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
上記の実施形態では、インターホンは室外機３１だけでなく室内機３２を備えていた。ここで、電子機器１は室内機３２のない室外機３１と通信してもよい。この変形例に係る電子機器１は、インターホンの室外機３１と通信する通信ユニット１７を備える。そして、コントローラ１１は、通信ユニット１７を介してインターホンの室外機３１から呼出通知を取得した場合に、呼出通知があったと判定する。そして、コントローラ１１は、上記の実施形態と同様に、ジェスチャ処理情報１１１に基づいて第２モード（キッチンモード）におけるジェスチャに基づく処理を切り替える。電子機器１は、近接センサ１８によって検出されたジェスチャに基づきインターホンの室外機３１を制御する処理を実行する。ここで、室内機３２のない室外機３１がカメラを備えていない場合には、録画等の機能は省略される。
上記の実施形態では、ノーティフィケーション（通知画面）でユーザが操作することによって第２モード（キッチンモード）に設定された。ここで、所定の条件が満たされると、コントローラ１１が自動的に電子機器１を第２モードに設定してもよい。例えば、コントローラ１１は、例えばレシピを表示するアプリが実行されている、またはレシピサイトが閲覧されている場合に、第１の条件が満たされると判定する。コントローラ１１は、第１の条件が満たされて、かつ、レシピの選択中でない（例えば３０秒程度の一定時間レシピの変更がない場合等）と判定する場合に電子機器１を第２モードに設定してもよい。また、コントローラ１１は、第１の条件が満たされて、かつ、ユーザが一定時間（例えば１分等）以上タッチパネルに操作入力をしていないと判定する場合に電子機器１を第２モードに設定してもよい。また、コントローラ１１は、第１の条件が満たされて、かつ、電子機器１が一定時間（例えば１分等）以上、位置に変化がない場合に電子機器１を第２モードに設定してもよい。
本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーション、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Global Positioning System）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）、一以上のプロセッサにより実行される論理ブロックおよび／またはプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))、可搬型コンピュータディスク、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）もしくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサ／プロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類や数に限定されない。また、記憶が格納される媒体の種類も限定されない。
１ 電子機器
１１ コントローラ
１２ タイマー
１３ カメラ
１４ ディスプレイ
１５ マイク
１６ ストレージ
１７ 通信ユニット
１８ 近接センサ
１９ ＵＶセンサ
２０ 照度センサ
２１ 加速度センサ
２２ 地磁気センサ
２３ 気圧センサ
２４ ジャイロセンサ
２５ スピーカー
３１ 室外機
３２ 室内機
１１１ ジェスチャ処理情報

Claims (6)

  1. 近接センサと、
    インターホンの室内機と通信する通信ユニットと、
    前記近接センサによって検出されたジェスチャに基づき自機器に表示させるレシピを操作しているときに、前記インターホンの室内機が呼出通知を受信したことを示す信号を前記通信ユニットが取得すると、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室内機を制御する処理を実行する、コントローラと、を備える、電子機器。
  2. 近接センサと、
    インターホンの室外機と通信する通信ユニットと、
    前記近接センサによって検出されたジェスチャに基づき自機器に表示させるレシピを操作しているときに、前記インターホンの室外機からの呼出通知を前記通信ユニットが取得すると、前記近接センサによって検出されたジェスチャに基づき前記インターホンの室外機を制御する処理を実行する、コントローラと、を備える、電子機器。
  3. 近接センサと、インターホンの室内機と通信する通信ユニットと、を備える電子機器に、
    前記近接センサによって検出されたジェスチャに基づき自機器に表示させるレシピを操作しているときに、前記通信ユニットによって、前記インターホンの室内機が呼出通知を受信したことを示す信号を取得するステップと、
    前記近接センサによって検出されたジェスチャに基づき前記インターホンの室内機を制御する処理を実行するステップと、を実行させるプログラム。
  4. 近接センサと、インターホンの室外機と通信する通信ユニットと、を備える電子機器に、
    前記近接センサによって検出されたジェスチャに基づき自機器に表示させるレシピを操作しているときに、前記通信ユニットによって、前記インターホンの室外機からの呼出通知を取得するステップと、
    前記近接センサによって検出されたジェスチャに基づき前記インターホンの室外機を制御する処理を実行するステップと、を実行させるプログラム。
  5. 近接センサと、インターホンの室内機と通信する通信ユニットと、を備える電子機器の制御方法であって、
    前記近接センサによって検出されたジェスチャに基づき自機器に表示させるレシピを操作しているときに、前記通信ユニットによって、前記インターホンの室内機が呼出通知を受信したことを示す信号を取得するステップと、
    前記近接センサによって検出されたジェスチャに基づき前記インターホンの室内機を制御する処理を実行するステップと、を含む制御方法。
  6. 近接センサと、インターホンの室外機と通信する通信ユニットと、を備える電子機器の制御方法であって、
    前記近接センサによって検出されたジェスチャに基づき自機器に表示させるレシピを操作しているときに、前記通信ユニットによって、前記インターホンの室外機からの呼出通知を取得するステップと、
    前記近接センサによって検出されたジェスチャに基づき前記インターホンの室外機を制御する処理を実行するステップと、を含む制御方法。
JP2016222615A 2016-11-15 2016-11-15 電子機器、プログラムおよび制御方法 Active JP6517179B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016222615A JP6517179B2 (ja) 2016-11-15 2016-11-15 電子機器、プログラムおよび制御方法
US16/349,738 US11269417B2 (en) 2016-11-15 2017-11-08 Electronic device configured to communicate with an intercom, and control method thereof
PCT/JP2017/040308 WO2018092659A1 (ja) 2016-11-15 2017-11-08 電子機器、プログラムおよび制御方法
EP17872660.0A EP3528477B1 (en) 2016-11-15 2017-11-08 Electronic apparatus, program, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016222615A JP6517179B2 (ja) 2016-11-15 2016-11-15 電子機器、プログラムおよび制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019078868A Division JP2019149825A (ja) 2019-04-17 2019-04-17 電子機器、プログラムおよび制御方法

Publications (2)

Publication Number Publication Date
JP2018082273A JP2018082273A (ja) 2018-05-24
JP6517179B2 true JP6517179B2 (ja) 2019-05-22

Family

ID=62146306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016222615A Active JP6517179B2 (ja) 2016-11-15 2016-11-15 電子機器、プログラムおよび制御方法

Country Status (4)

Country Link
US (1) US11269417B2 (ja)
EP (1) EP3528477B1 (ja)
JP (1) JP6517179B2 (ja)
WO (1) WO2018092659A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6517179B2 (ja) 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US11354030B2 (en) * 2018-02-22 2022-06-07 Kyocera Corporation Electronic device, control method, and program
JP2019149825A (ja) * 2019-04-17 2019-09-05 京セラ株式会社 電子機器、プログラムおよび制御方法
US11481686B1 (en) * 2021-05-13 2022-10-25 Google Llc Selectively rendering a keyboard interface in response to an assistant invocation in certain circumstances

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251235A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 利用者インタフェースシステム
JP2010154318A (ja) 2008-12-25 2010-07-08 Ricoh Co Ltd 画像処理装置、電源制御方法、電源制御プログラム、及びそのプログラムを記録した記録媒体
JP2011160048A (ja) * 2010-01-29 2011-08-18 Aiphone Co Ltd インターホンシステム
US9413869B2 (en) * 2010-02-10 2016-08-09 Qualcomm Incorporated Mobile device having plurality of input modes
JP2012002767A (ja) 2010-06-21 2012-01-05 Casio Comput Co Ltd 電子機器
JP5439347B2 (ja) * 2010-12-06 2014-03-12 日立コンシューマエレクトロニクス株式会社 操作制御装置
US8665210B2 (en) * 2010-12-22 2014-03-04 Microsoft Corporation Sensing user input using the body as an antenna
JP5686063B2 (ja) 2011-07-21 2015-03-18 村田機械株式会社 ネットワークシステム、画像形成装置およびプログラム
US9927878B2 (en) * 2011-12-28 2018-03-27 Nikon Corporation Display device and projection device
US9928562B2 (en) * 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US20140282272A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Interactive Inputs for a Background Task
US9026939B2 (en) * 2013-06-13 2015-05-05 Google Inc. Automatically switching between input modes for a user interface
KR20150076509A (ko) * 2013-12-27 2015-07-07 주식회사 코맥스 제스쳐를 이용하여 제어되는 주방용 tv폰 및 그 방법
US20150334346A1 (en) * 2014-05-16 2015-11-19 Elwha Llc Systems and methods for automatically connecting a user of a hands-free intercommunication system
US20160118036A1 (en) * 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US9524142B2 (en) * 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
US9270931B2 (en) * 2014-05-05 2016-02-23 Cloudtalk Llc Intercom system utilizing Wi-Fi
JP6494926B2 (ja) 2014-05-28 2019-04-03 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
US20160187995A1 (en) * 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
US11347316B2 (en) * 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6517179B2 (ja) 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法

Also Published As

Publication number Publication date
US20200073479A1 (en) 2020-03-05
EP3528477A1 (en) 2019-08-21
JP2018082273A (ja) 2018-05-24
WO2018092659A1 (ja) 2018-05-24
EP3528477A4 (en) 2019-10-23
US11269417B2 (en) 2022-03-08
EP3528477B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP6517179B2 (ja) 電子機器、プログラムおよび制御方法
JP6091693B1 (ja) 電子機器
JP2018180647A (ja) 電子機器、プログラムおよび制御方法
JP6101881B1 (ja) 電子機器、プログラムおよび制御方法
WO2018193876A1 (ja) 電子機器
US10955927B2 (en) Electronic device, program, and control method
US10394335B2 (en) Electronic device, recording medium, and control method
JP2018180918A (ja) 電子機器、プログラムおよび制御方法
WO2018092660A1 (ja) 電子機器、プログラムおよび制御方法
JP6113345B1 (ja) 電子機器
JP2019149825A (ja) 電子機器、プログラムおよび制御方法
JP6235175B1 (ja) 電子機器、プログラムおよび制御方法
JP2018181351A (ja) 電子機器
JP6173625B1 (ja) 電子機器、プログラムおよび制御方法
JP6163274B1 (ja) 電子機器、プログラムおよび制御方法
JP6333461B1 (ja) 電子機器
JP6346699B1 (ja) 電子機器
JP2018137827A (ja) 電子機器、プログラムおよび制御方法
JP6374585B2 (ja) 電子機器、プログラムおよび制御方法
JP2018109955A (ja) 電子機器、プログラムおよび制御方法
JP2018110370A (ja) 電子機器、プログラムおよび制御方法
JP2018109873A (ja) 電子機器、プログラムおよび制御方法
JP2018181307A (ja) 電子機器、プログラムおよび制御方法
JP2018109871A (ja) 電子機器

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190417

R150 Certificate of patent or registration of utility model

Ref document number: 6517179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150