JP6711276B2 - 電子機器およびフィードバック提供方法 - Google Patents

電子機器およびフィードバック提供方法 Download PDF

Info

Publication number
JP6711276B2
JP6711276B2 JP2016556418A JP2016556418A JP6711276B2 JP 6711276 B2 JP6711276 B2 JP 6711276B2 JP 2016556418 A JP2016556418 A JP 2016556418A JP 2016556418 A JP2016556418 A JP 2016556418A JP 6711276 B2 JP6711276 B2 JP 6711276B2
Authority
JP
Japan
Prior art keywords
electronic device
feedback
state
control device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016556418A
Other languages
English (en)
Other versions
JPWO2016067745A1 (ja
Inventor
幸人 井上
幸人 井上
大夢 瀧沢
大夢 瀧沢
丈博 萩原
丈博 萩原
唐澤 英了
英了 唐澤
岳夫 稲垣
岳夫 稲垣
大輔 石井
大輔 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016067745A1 publication Critical patent/JPWO2016067745A1/ja
Application granted granted Critical
Publication of JP6711276B2 publication Critical patent/JP6711276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • G06F1/206Cooling means comprising thermal management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238Programmable keyboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01RELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/66Structural association with built-in electrical component
    • H01R13/717Structural association with built-in electrical component with built-in light source
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01RELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R13/00Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
    • H01R13/66Structural association with built-in electrical component
    • H01R13/717Structural association with built-in electrical component with built-in light source
    • H01R13/7175Light emitting diodes (LEDs)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本開示は、電子機器およびフィードバック提供方法に関する。
家庭などにある複数の機器を連携して機能させることは、既に一般的である。例えば、特許文献1には、機器連携によって実現される機能の利用を効果的に支援するための技術が記載されている。
特開2014−32501号公報
上記の特許文献1に記載された技術では、スマートフォンの画面に表示されるコンソールを用いて、システムへの機器の登録などの設定操作が実行される。このとき、例えば操作の対象がどの機器であるかといったような情報は専らコンソールに表示されるため、例えばそれぞれの機器がコンソールにおいてどのように認識されているかといったような情報を、ユーザが把握しづらい場合もあった。
そこで、本開示では、電子機器の状態を直観的に把握することを可能にする、新規かつ改良された電子機器およびフィードバック提供方法を提案する。
本開示によれば、所定の機能を実現する電子機器であって、上記電子機器に対する物理的な操作を検出する操作検出部と、上記操作を示す操作情報を外部装置に送信する送信部と、上記外部装置が上記操作情報に対応して送信した、少なくとも上記機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信する受信部と、上記フィードバック情報に従って上記フィードバックを提供するフィードバック部とを備える電子機器が提供される。
また、本開示によれば、所定の機能を実現する電子機器が、上記電子機器に対する物理的な操作を検出することと、上記操作を示す操作情報を外部装置に送信することと、上記外部装置が上記操作情報に対応して送信した、少なくとも上記機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信することと、上記フィードバック情報に従って上記フィードバックを提供することとを含むフィードバック提供方法が提供される。
以上説明したように本開示によれば、電子機器の状態を直観的に把握することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概略的な構成を示す図である。 本開示の一実施形態におけるコンソール画面操作時の連動フィードバックについて説明するための図である。 本開示の一実施形態におけるコンソール画面操作時の連動フィードバックのための処理の例を示すシーケンス図である。 本開示の一実施形態における電子機器操作時の連動フィードバックについて説明するための図である。 本開示の一実施形態における電子機器操作時の連動フィードバックのための処理の例を示すシーケンス図である。 本開示の一実施形態におけるコンソール画面での設定操作の例を示す図である。 本開示の一実施形態における電子機器での動作試行の例を示す図である。 本開示の一実施形態に係る電子機器の機能構成例を示すブロック図である。 本開示の一実施形態に係る制御装置の機能構成例を示すブロック図である。 本開示の実施形態に係る装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システム構成
2.コンソール画面操作時の連動フィードバック
3.電子機器操作時の連動フィードバック
4.コンソール画面での設定操作の例
5.電子機器での動作試行の例
6.電子機器の機能構成例
7.制御装置の機能構成例
8.ハードウェア構成
9.補足
(1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、電子機器100と、制御装置300とを含む。電子機器100と制御装置300とは、ネットワーク200を介して互いに通信する。
電子機器100は、機能部101と、インジケータ103と、操作ボタン105とを備える。電子機器100は、機能部101によって、所定の機能を実現する。図示された例では、プッシュボタン100a、加速度センサ100b、およびマイクロフォン100cが、電子機器100の例として示されている。プッシュボタン100a、加速度センサ100b、およびマイクロフォン100cは、それぞれ異なる機能部101a,101b,101cを備える。インジケータ103は、発光することによってユーザにフィードバックを提供するフィードバック部として機能する。操作ボタン105は、電子機器100に対するユーザの物理的な操作、すなわちここではボタンの押下操作を検出する操作検出部として機能する。インジケータ103および操作ボタン105は、プッシュボタン100a、加速度センサ100b、およびマイクロフォン100cに共通の構成要素でありうる。ただし、外見的には、図示された例のように、操作ボタン105にそれぞれの電子機器100の機能を表示するアイコンが印刷または刻印などされていてもよい。
ネットワーク200は、例えばBluetooth(登録商標)やWi−Fiなどの無線通信ネットワークを含みうる。例えば、電子機器100と制御装置300とは、上記のような無線通信ネットワークによって直接的に通信してもよい。あるいは、電子機器100と制御装置300とは、ルータなどを介して間接的に通信してもよい。この場合、ネットワーク200が、インターネットやモバイルネットワーク、外部のサーバなどを含んでもよい。
制御装置300は、ディスプレイ301を備える。ディスプレイ301には、コンソール画面3010が表示される。コンソール画面3010には、それぞれの電子機器100を表示するアイコン3011が含まれる。図示された例において、アイコン3011は、インジケータ部分3013と、操作ボタン部分3015とを含む。また、図示された例では、アイコン3011が、プッシュボタン100aに対応するアイコン3011aと、加速度センサ100bに対応するアイコン3011bと、マイクロフォン100cに対応するアイコン3011cとを含む。アイコン3011a,3011b,3011cは、それぞれが対応する電子機器100の機能を表示する図柄が表示された操作ボタン部分3015a,3005b,3005cを含む。ディスプレイ301上にはタッチスクリーンが構成されており、ユーザは、ディスプレイ301に表示されたアイコン3011を操作することによってそれぞれの電子機器100に対する操作を実施することが可能である。
より具体的には、制御装置300は、タブレットやスマートフォンなど、携帯型の情報処理端末であってもよい。あるいは、制御装置300は、パーソナルコンピュータやテレビなど、据え置き型の情報処理端末であってもよい。例えば後述する例のように、ユーザは、制御装置300に表示されたコンソール画面3010を利用して、電子機器100の連係動作に関する設定操作などを実施することが可能である。
図示された例のシステム10では、電子機器100を、それぞれが何らかの機能を実現するエレメントとして用い、エレメント同士を組み合わせて連係動作させることによってユーザが所望する動作または機能が実現される。制御装置300では、それぞれの電子機器100に対応するアイコン3011に対する操作によって、電子機器100(エレメント)同士の連係動作をセットアップしたり、設定を変更したりすることができる。このようなシステム10において、電子機器100は、例として図示されたプッシュボタン、加速度センサ、およびマイクロフォンには限られず、さまざまな機能を実現するエレメントを含みうる。例えば、電子機器100は、カメラ、人感センサ、スピーカ、LED(Light Emitting Diode)ランプなどの機能を実現してもよい。
なお、図示された例では、複数の電子機器100が相似した形状にデザインされ、またそれぞれの電子機器100が単一の機能(プッシュボタン、加速度センサ、およびマイクロフォン)を有するが、本開示の実施形態はこのような例には限られない。例えば、それぞれの電子機器100は、互いに異なる形状にデザインされていてもよいし、複数の機能を有してもよい。電子機器100が複数の機能を有する場合、そのうちの1つがシステム10における機器連係のために利用可能であってもよいし、機器連係のために利用可能な機能を選択可能であってもよい。
より具体的には、例えば、本開示の他の実施形態に係るシステムは、それぞれが単独でも動作可能な電子機器、例えばCE(Consumer Electronics)機器を連係動作させるためのものであってもよい。この場合も、それぞれの電子機器は、上記のシステム10における電子機器100と同様に、機能部と、フィードバック部と、操作検出部とを備えるが、それぞれの電子機器で、機能部だけではなくフィードバック部や操作検出部の構成が異なっていてもよい。つまり、フィードバック部は、インジケータ103のように発光によってフィードバックを提供するものには限らず、画像を表示することによってフィードバックを提供するディスプレイ、音声によってフィードバックを提供するスピーカ、または振動によってフィードバックを提供するバイブレータなどによって実現されてもよい。また、操作検出部も、操作ボタン105のようにボタンの押下操作を検出するものには限らず、スライドスイッチやタッチスクリーンなど、他の様々な操作を検出する装置によって実現されてもよい。
(2.コンソール画面操作時の連動フィードバック)
図2は、本開示の一実施形態におけるコンソール画面操作時の連動フィードバックについて説明するための図である。図2に示された例では、上記で図1を参照して説明したものと同様のシステム10aにおいて、電子機器100が、2つのプッシュボタン100a1,100a2と、マイクロフォン100cとを含んでいる。これに対応して、制御装置300でも、コンソール画面3010が、プッシュボタン100a1,100a2に対応するアイコン3011a1,3011a2と、マイクロフォン100cに対応するアイコン3011cとを含む。
ここで、図示された例では、ユーザが、ディスプレイ301に表示されたアイコン3011a1にタッチしている。制御装置300は、このユーザの操作に応じて、アイコン3011a1に含まれるインジケータ部分3013を発光させる。さらに、制御装置300は、アイコン3011a1に対応する電子機器100であるプッシュボタン100a1にフィードバック指示を送信し、この指示を受信したプッシュボタン100a1は、インジケータ103を発光させる。
上述のように、システム10aには、2つのプッシュボタン100a1,100a2が含まれる。図示された例において、この2つの電子機器は同様の外見を有し、またこれらに対応して表示されるアイコン3011a1,3011a2も同様の外見を有するため、そのままではこれらを区別することが容易ではない。そこで、本実施形態では、コンソール画面3010に表示され、ユーザのタッチ操作によって選択されたアイコン3011a1に含まれるインジケータ部分3013と、アイコン3011a1に対応するプッシュボタン100a1のインジケータ103とを共通する色やパターンで発光させることによって、ユーザが選択している機器を認識することを容易にしている。つまり、図示された例では、プッシュボタン100a1のインジケータ103によって提供されるフィードバックの種類が、制御装置300において提供されるフィードバックの種類に対応している。これによって、例えば、プッシュボタン100a1を他の電子機器100と連携して機能させるための操作(例えば設定操作など)を直観的に実施することができる。
なお、上記の例では、制御装置300におけるプッシュボタン100a1の認識状態(アイコン3011a1として認識されている)を表すフィードバックがプッシュボタン100a1および制御装置300によって提供されたが、プッシュボタン100a1に関する他の状態を表すフィードバックが提供されてもよい。
例えば、制御装置300が管理する複数の電子機器100の連係動作における、プッシュボタン100a1の他の電子機器100との連携の状態を表すフィードバックが提供されてもよい。例えば、図示された例において、制御装置300がプッシュボタン100a1およびマイクロフォン100cをそれぞれ認識しており、さらにプッシュボタン100a1とマイクロフォン100cとの間の連係動作を設定している場合、アイコン3011a1が選択されたときに、アイコン3011a1のインジケータ部分3013およびプッシュボタン100a1のインジケータ103に加えて、マイクロフォン100cに対応するアイコン3011cのインジケータ部分3013およびマイクロフォン100cのインジケータ103が、共通または対応する色やパターンで発光してもよい。
また、例えば、制御装置300と電子機器100との間の通信状態や、電子機器100の電池残量などの状態を表すフィードバックが提供されてもよい。例えば、図示された例において、アイコン3011a1が選択されたときに、アイコン3011a1のインジケータ部分3013およびプッシュボタン100a1のインジケータ103が発光する色および/またはパターンが、制御装置300と電子機器100との間の通信状態や、電子機器100の電池残量などの状態に応じて変化してもよい。より具体的には、例えば、インジケータ部分3013およびインジケータ103の発光の色が、通信状態が良好な場合には緑、通信状態がやや悪い場合には橙、通信状態が悪い場合には赤、というように変化してもよい。電池残量に関しても同様に、十分である場合には緑、やや少ない場合には橙、不足している場合には赤と言うように発光の色が変化してもよい。また、発光のパターンについても、例えば点滅の頻度などを変化させることによって、通信状態や電池残量などの状態を表現することが可能でありうる。
図3は、本開示の一実施形態におけるコンソール画面操作時の連動フィードバックのための処理の例を示すシーケンス図である。図3を参照すると、まず、制御装置300において、コンソール画面3010に表示されたアイコン3011に対する操作入力(上記の例ではタッチ操作)が検出される(S101)。このとき、制御装置300は、必要に応じて電子機器100に状態問い合わせを送信し(S103)、電子機器100は問い合わせに応じて状態応答を制御装置300に送信する(S105)。より具体的には、例えば、電子機器100の電池残量や、電子機器100が受信している通信のための電波(制御装置300、またはルータなどから受信している電波)の強度などが、電子機器100の応答によって制御装置300に通知される。
次に、制御装置300は、提供されるフィードバックの種類を決定する(S107)。例えば、制御装置300は、コンソール画面3010に表示されたインジケータ部分3013と、電子機器100のインジケータ103を発光させるための共通の色および/またはパターンを決定する。このとき、上記のS103,S105において電子機器100からの応答によって通知された電子機器100の状態や、制御装置300自身が認識している電子機器100の状態、より具体的には連携の状態や通信状態、電池残量などが、フィードバックの種類に反映されてもよい。
また、単純に電子機器100とアイコン3011との対応付けを表す場合にも、制御装置300は、フィードバックの種類をその都度変化させてもよい。例えば、図2に示した例において、まずアイコン3011a1が選択され、次にアイコン3011a2が選択されたような場合、制御装置300は、アイコン3011a1のインジケータ部分3013およびプッシュボタン100a1のインジケータ103を発光させる色および/またはパターンと、アイコン3011a2のインジケータ部分3013およびプッシュボタン100a2のインジケータ103を発光させる色および/またはパターンとを互いに異ならせてもよい。これによって、例えば、ユーザがコンソール画面3010において複数のアイコン3011を順次選択したような場合に、それぞれのアイコン3011に対応する電子機器100を把握することが容易になりうる。
次に、制御装置300は、電子機器100にフィードバック指示を送信する(S109)。フィードバック指示は、上記のS107で決定されたフィードバックの種類を示す情報を含む。電子機器100は、制御装置300から受信したフィードバック指示に基づいて、フィードバックを出力する(S111)。図2の例において、電子機器100は、インジケータ103を発光させることによってフィードバックを出力する。また、制御装置300も、並行してフィードバックを出力する(S113)。図2の例において、制御装置300は、コンソール画面3010でアイコン3011のインジケータ部分3013を発光させることによってフィードバックを出力する。
(3.電子機器操作時の連動フィードバック)
図4は、本開示の一実施形態における電子機器操作時の連動フィードバックについて説明するための図である。図4に示された例では、上記で図3を参照して説明したものと同様のシステム10aにおいて、ユーザが、プッシュボタン100a2の操作ボタン105を押下している。プッシュボタン100a2は、この操作に応じて、インジケータ103を発光させる。さらに、プッシュボタン100a2は、制御装置300に操作がされたことを通知し、制御装置300は、プッシュボタン100a2に対応するアイコン3011a2のインジケータ部分3013を発光させる。このとき、プッシュボタン100a2のインジケータ103とアイコン3011a2のインジケータ部分3013は、例えば共通する色および/またはパターンで発光する。図示された例では、制御装置300が、発光の色および/またはパターンを決定している。
上述のように、システム10aには、2つのプッシュボタン100a1,100a2が含まれる。図示された例において、この2つの電子機器は同様の外見を有し、またこれらに対応して表示されるアイコン3011a1,3011a2も同様の外見を有するため、そのままではこれらを区別することが容易ではない。そこで、本実施形態では、ユーザによる操作ボタン105の押下操作が実行されたプッシュボタン100a2のインジケータ103と、プッシュボタン100a2に対応するアイコン3011a2のインジケータ部分3013とを共通する色やパターンで発光させることによって、ユーザが操作している機器が制御装置300においてどのように認識されているかを把握することを容易にしている。これによって、例えば、その後にプッシュボタン100a2を他の電子機器100と連携機能させるための操作(例えば設定操作など)を直観的に実施することができる。
上記のコンソール画面操作時の連動フィードバックと同様に、図4に例示したような電子機器操作時の連動フィードバックでも、例えば制御装置300においてプッシュボタン100a2がアイコン3011a2として認識されているという状態を表すフィードバックが提供されるだけではなく、プッシュボタン100a2と他の電子機器100との連携の状態や、制御装置300とプッシュボタン100a2との間の通信状態、プッシュボタン100a2の電池残量などの状態を表すフィードバックが提供されてもよい。インジケータ103およびインジケータ部分3013の発光の色やパターンによって状態を表現するための具体的な例は、上記のコンソール画面操作時の連動フィードバックと同様でありうる。
図5は、本開示の一実施形態における電子機器操作時の連動フィードバックのための処理の例を示すシーケンス図である。図5を参照すると、まず、電子機器100において、操作ボタン105に対する操作入力(上記の例では押下操作)が検出される(S201)。このとき、電子機器100は、制御装置300に検出された操作を通知する(S203)。上記の例のように、フィードバックによって電子機器100の通信状態や電池残量などの状態が表現される場合、電子機器100は、それらの状態についてもS203で制御装置300に通知する。
次に、制御装置300は、提供されるフィードバックの種類を決定する(S205)。例えば、制御装置300は、電子機器100のインジケータ103と、コンソール画面3010に表示されたインジケータ部分3013とを発光させるための共通の色および/またはパターンを決定する。このとき、上記のS203において電子機器100から通知された電子機器100の状態や、制御装置300自身が認識している電子機器100の状態、より具体的には連携の状態や通信状態、電池残量などが、フィードバックの種類に反映されてもよい。また、上記のコンソール画面操作時の連動フィードバックの例と同様に、単純に電子機器100とアイコン3011との対応付けを表す場合にも、フィードバックの種類がその都度変化してもよい。
なお、本開示の別の実施形態では、制御装置300に代わって電子機器100が、S205として示されたフィードバック種類決定の処理を実行してもよい。この場合、電子機器100は、例えばS203における操作の通知とともに、フィードバックの種類を制御装置300に通知する(フィードバック種類決定の処理は、S203の通知の前に実行される)。この場合も、フィードバックの種類には、例えば電子機器100の通信状態や電池残量などを反映させることができる。
次に、制御装置300は、電子機器100にフィードバック指示を送信する(S207)。フィードバック指示は、上記のS205で決定されたフィードバックの種類を示す情報を含む。電子機器100は、制御装置300から受信したフィードバック指示に基づいて、フィードバックを出力する(S209)。図4の例において、電子機器100は、インジケータ103を発光させることによってフィードバックを出力する。また、制御装置300も、並行してフィードバックを出力する(S211)。図4の例において、制御装置300は、コンソール画面3010でアイコン3011のインジケータ部分3013を発光させることによってフィードバックを出力する。
(4.コンソール画面での設定操作の例)
図6は、本開示の一実施形態におけるコンソール画面での設定操作の例を示す図である。図6に示された例では、上記で図1を参照して説明したシステム10で制御装置300のディスプレイ301に表示されるコンソール画面3010において、電子機器100を示すアイコン3001とともに動作ラベル3017が表示されている。より具体的には、図示された例では、プッシュボタン100aに対応するアイコン3011aとともに、「押下」および「長押し」を示す動作ラベル3017が表示されている。動作ラベル3017は、アイコン3011に対応する電子機器100おいて設定された動作(電子機器100自身による動作および/または電子機器100に対してユーザが加える操作)を示す。
図示された例では、(a)に示すように、ユーザが動作ラベル3017とともに表示されているアイコン3011aにタッチしている。この操作は、アイコン3011aに対応する電子機器100について設定される動作の追加を意味する。これに対して、(b)に示すように、制御装置300は、動作ラベル追加メニュー3019を表示させる。ユーザが「2回押し」を示す動作ラベル追加メニュー3019にタッチしたことによって、(c)に示すように、制御装置300は、アイコン3011aとともに表示される動作ラベル3017に、「2回押し」を示す動作ラベル3017aを追加する。
さらに、ユーザが、追加された動作ラベル3017aにタッチすると、(d)に示すように、制御装置300は、動作ラベル設定メニュー3021を表示させる。図示された例において、動作ラベル設定メニュー3021は、「実行」、「設定編集」、および「削除」を含む。ここで、ユーザが「実行」の動作ラベル設定メニュー3021にタッチすると、(e)に示すように、制御装置300は、動作ラベル3017aを強調表示する(具体的には、例えば、明滅させたり、色を変えたりする)とともに、アイコン3011aのインジケータ部分3013を発光させる。さらに、上記で説明したコンソール画面操作時の連動フィードバックの例と同様に、制御装置300はアイコン3011aに対応するプッシュボタン100aにフィードバック指示を送信し、これを受信したプッシュボタン100aはインジケータ103を発光させる。ここで、アイコン3011aのインジケータ部分3013と、プッシュボタン100aのインジケータ103の発光の色やパターンは共通している。
上記で説明した例では、制御装置300に表示されるコンソール画面3010におけるアイコン3011を用いた設定操作の段階に応じて、アイコン3011のインジケータ部分3013と、アイコン3011に対応する電子機器100のインジケータ103とによって、共通する種類のフィードバックが提供される。これによって、コンソール画面3010で設定操作を実施しているユーザは、設定操作の対象になっている電子機器100を容易に認識することができる。
なお、上記の例では、動作ラベル追加メニュー3019や動作ラベル設定メニュー3021を用いて設定されている動作が、プッシュボタン100aに対してユーザが加える操作にあたる。そのため、図6の(e)に示された段階において、プッシュボタン100aが出力するフィードバックは、インジケータ103が発光するにとどまる。これに対して、例えば、動作ラベル追加メニュー3019や動作ラベル設定メニュー3021を用いて設定されている動作が、電子機器100自身による動作であるような場合、図6の(e)に示された段階において、電子機器100は、インジケータ103を発光させるのに加えて、設定された動作を実行してもよい。より具体的には、例えば、電子機器100が音声を出力するスピーカであるような場合、インジケータ103の発光に加えて、機能部101を用いた音声の出力(設定された動作)が実行されてもよい。
(5.電子機器での操作試行の例)
図7は、本開示の一実施形態における電子機器での操作試行の例を示す図である。図7に示された例では、上記で図1を参照して説明したシステム10において、プッシュボタン100aに対してユーザが操作を試行し、試行された操作に対するプッシュボタン100aからのフィードバックに対応するフィードバックが、制御装置300のディスプレイ301に表示されるコンソール画面3010に含まれるアイコン3011aおよび操作ラベル3017によって提供されている。
図示された例では、(a)に示すように、ユーザがプッシュボタン100aの機能部101a(ボタン)に対して「2回押し」の操作を試行している。このとき、プッシュボタン100aは、試行された操作に対して、インジケータ103を発光させることによってフィードバックを出力する。さらに、プッシュボタン100aは、試行された操作を制御装置300に通知する。これによって、(b)に示すように、制御装置300では、ディスプレイ301に表示されたコンソール画面3010において、プッシュボタン100aに対応するアイコン3011aのインジケータ部分3013が、プッシュボタン100aのインジケータ103と共通の色やパターンで発光する。また、コンソール画面3010では、図6を参照して説明した例と同様に「2回押し」示す操作ラベル3017aが強調表示される(具体的には、例えば、明滅したり、色が変わったりする)。
上記で説明した例では、電子機器100に対して操作が試行された場合に、電子機器100が試行された操作を所定の物理的な操作として検出し(図7の例では、プッシュボタン100aの機能部101a(ボタン)が操作検出部として機能する)、当該操作を示す情報を制御装置300に送信する。制御装置300は、電子機器100に対応するアイコン3011のインジケータ部分3013と、電子機器100のインジケータ103とによって共通して提供されるフィードバックの種類を決定する。制御装置300は、決定されたフィードバックの種類を電子機器100に送信し、電子機器100はインジケータ103の発光によってフィードバックを出力する。制御装置300も、コンソール画面3010に表示されたインジケータ部分3013を発光させることによってフィードバックを出力する。さらに、制御装置300は、検出された操作自体を示すフィードバック、例えば操作ラベル3017の強調表示などを、追加的に提供してもよい。
これによって、電子機器100に対して操作を試行しているユーザは、電子機器100がコンソール画面3010においてどのアイコン3011として認識されているか、また、電子機器100に対して試行している操作がどのような種類の操作として認識されているかを容易に把握することができる。認識されている操作の種類に応じて、フィードバックの種類(例えば発光の色やパターン)が変更されてもよい。
なお、上記の例では、操作が試行される電子機器100がプッシュボタン100aであるが、他の例では、例えば図1に示した加速度センサ100bやマイクロフォン100cなど、様々な種類の電子機器100に対して操作が試行され、試行された操作に対するフィードバックが電子機器100自身と制御装置300とによって提供されてもよい。より具体的には、例えば、加速度センサ100bに対しては、振る(shake)、ひっくり返す(flip)、タップする(tap)などといった操作を試行することができる。この場合、加速度センサ100bの機能部101b(センサ内蔵部分)が操作検出部として機能する。また、例えば、マイクロフォン100cに対しては、発話音声による入力(内容や音量が識別されてもよい)、拍手(handclap)などによる入力などといった操作を試行することができる。この場合、マイクロフォン100cの機能部101c(集音構造内蔵部分)が操作検出部として機能する。
(6.電子機器の機能構成例)
図8は、本開示の一実施形態に係る電子機器の機能構成例を示すブロック図である。図8に示された電子機器100は、例えば上述した本実施形態に係るシステム10,10aに含まれる。
電子機器100は、操作検出部110と、制御部120と、記憶部130と、送受信部140と、フィードバック部150とを含む。なお、電子機器100を実現しうる装置のハードウェア構成については後述する。また、電子機器100が機能を実現するための構成(操作検出部110やフィードバック部150とは異なる場合)や、電子機器100が自らの状態(通信状態、電池残量など)を把握するための構成については、電子機器の構成として一般的であるため図示を省略している。
操作検出部110は、電子機器100に対する物理的な操作を検出する。物理的な操作は、例えば、操作検出部110に含まれる操作子に対する操作(ボタンを押下する、タッチスクリーンにタッチする、など)、電子機器100全体に対する操作(振る、ひっくり返す、タップする、など)、および/または電子機器100の近傍における物理的な状態の変化を伴う操作(音を出す、手で覆って暗くする、など)を含みうる。より具体的には、例えば、操作検出部110は、操作によって切り替えられるスイッチを含んでもよい。上記で図1などを参照して説明された電子機器100の操作ボタン105は、このようなスイッチの一例である。また、例えば、操作検出部110は、操作によって検出値が変化するセンサを含んでもよい。センサは、例えば加速度センサを含んでもよい。上記で図1などを参照して説明された加速度センサ100bの機能部101b(センサ内蔵部分)や、マイクロフォン100cの機能部101c(集音構造内蔵部分)は、このようなセンサの一例である。
制御部120は、電子機器100全体の動作を制御する。例えば、制御部120は、操作検出部110から検出された操作を示す操作情報を取得し、これを送受信部140およびネットワーク200を介して制御装置300に送信する。また、例えば、制御部120は、制御装置300からネットワーク200および送受信部140を介して受信されたフィードバック情報に従って、フィードバック部150にフィードバックを提供させる。また、いくつかの例では、制御部120が、操作検出部110によって検出された操作に対してフィードバック部150が提供するフィードバックの種類を決定してもよい(つまり、フィードバック情報を自ら生成してもよい)。制御部120は、例えばCPU(Central Processing Unit)などのプロセッサが、記憶部130に格納されたプログラムに従って動作することによって実現される。
記憶部130には、制御部120によって扱われる各種の情報またはデータが一時的または持続的に格納される。例えば、記憶部130には、操作検出部110が検出した操作を示す操作情報や、フィードバック部150にフィードバックを提供させるためのフィードバック情報が、一時的に格納される。また、例えば、記憶部130には、制御部120を実現するプロセッサによって実行されるプログラムが格納されてもよい。制御部120が自らフィードバック情報を生成する場合、記憶部130には、操作検出部110によって検出された操作、および/または電子機器100の状態と、フィードバック部150によって提供されるフィードバックの種類とを対応付ける情報が格納されていてもよい。記憶部130は、例えば、RAM(Random Access Memory)またはROM(Read Only Memory)を構成する各種の記憶装置、および/またはリムーバブルメディアとそのドライバによって実現される。
送受信部140は、ネットワーク200を介して各種の情報またはデータを送信および受信する。例えば、送受信部140は、操作検出部110によって検出された操作を示す操作情報を、外部装置である制御装置300に送信する。上述のように、制御装置300は、ある電子機器100を他の電子機器100と連係動作させる。また、例えば、送受信部140は、制御装置300が操作情報に対応して送信した、少なくとも電子機器100の機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信する。例えば、上記で説明された本実施形態の例のうち、コンソール画面操作時の連動フィードバックだけが実現されるような場合、送受信部140は、本実施形態の機能に関しては、制御装置300からフィードバック情報を受信するだけであってもよい(送信の機能はなくてもよい)。逆に、上記で説明された本実施形態の例のうち、電子機器操作時の連動フィードバックだけが実現され、かつ制御部120が自らフィードバック情報を生成するような場合、送受信部140は、制御装置300にフィードバック情報を送信するだけであってもよい(受信の機能はなくてもよい)。
フィードバック部150は、送受信部140が受信した(または、制御部120が生成した)フィードバック情報に従ってフィードバックを提供する。フィードバック部150によって提供されるフィードバックは、例えば、視覚的なフィードバックを含む。この場合、フィードバック部150は発光体を含み、フィードバックの種類は発光体の発光色または発光パターンを含んでもよい。上記で図1などを参照して説明された電子機器100のインジケータ103は、このような発光体の一例である。なお、図1に示されたインジケータ103は帯状であったが、本開示の実施形態はこのような例には限られない。例えば、電子機器が備えるインジケータは、電子機器の一面を囲んでいたり、円状であったり、1または複数の点であったりしてもよい。他にも、視覚的なフィードバックを提供するフィードバック部150として、ディスプレイが設けられてもよい。
あるいは、フィードバック部150によって提供されるフィードバックは、非視覚的なフィードバックを含んでもよい。非視覚的なフィードバックは、具体的には、聴覚的なフィードバックや、触覚的なフィードバックでありうる。この場合、フィードバック部150は、例えばスピーカまたはバイブレータを含み、フィードバックの種類は音声や振動のパターンを含みうる。なお、フィードバックが非視覚的である場合も、制御装置300でコンソール画面に表示されたアイコンによって提供されるフィードバックは視覚的でありうる。この場合、アイコンによって提供されるフィードバックは、フィードバック部150によって提供される非視覚的なフィードバックを視覚化したものでありうる。制御装置300でアイコンによって提供されるフィードバックの種類と、フィードバック部150によって提供される非視覚的なフィードバックの種類とは、互いに対応している。より具体的には、例えば、フィードバック部150が出力する音声や振動のパターンに合わせて、制御装置300に表示されたアイコンに音声や振動を示すエフェクト(例えば、「BEEP」という文字や波線などであってもよい)が表示されてもよい。
(7.制御装置の機能構成例)
図9は、本開示の一実施形態に係る制御装置の機能構成例を示すブロック図である。図9に示された制御装置300は、例えば上述した本実施形態に係るシステム10,10aに含まれる。
制御装置300は、操作部310と、制御部320と、記憶部330と、送受信部340と、表示部350とを含む。なお、制御装置300を実現しうる装置のハードウェア構成については後述する。また、上述のように制御装置300は例えば情報処理端末でありうるが、情報処理端末としての一般的な機能を実現するための構成については、一般的であるため図示を省略している。
操作部310は、表示部350に表示されたコンソール画面に含まれるアイコンに対するユーザの操作を取得する。操作部310は、例えば、タッチスクリーンやマウス、タッチパッドなどのポインティングデバイスを含みうる。上記で図1などを参照して説明された例においてディスプレイ301上に構成されたタッチスクリーンは、このようなポインティングデバイスの例である。また、操作部310は、例えば、ユーザのジェスチャ操作を取得するためのカメラなどを含んでもよい。
制御部320は、制御装置300全体の動作を制御する。例えば、制御部320は、操作部310が取得した操作を示す情報を取得し、これを表示部350に表示されたコンソール画面に含まれるアイコンに対応する電子機器100に対するユーザの操作として解釈する。さらに、制御部320は、操作の対象になった電子機器100に対して、ユーザの操作に従って動作するよう、送受信部340およびネットワーク200を介して指示を送信する。あるいは、制御部320は、電子機器100について設定された動作、より具体的には他の電子機器100との連係動作を、ユーザの操作に従って追加、変更、および/または削除し、これを記憶部330に格納された電子機器100の設定情報に反映させる。上記の処理とともに、またはこれとは別に、制御部320は、ネットワーク200および送受信部340を介して、電子機器100から、検出された操作を示す操作情報を受信し、受信された操作情報に対応するフィードバックの種類を決定してもよい。この場合、さらに、制御部320は、決定されたフィードバックの種類を特定する情報を含むフィードバック情報を生成し、送受信部340およびネットワーク200を介して電子機器100に送信する。制御部320は、例えばCPUなどのプロセッサが、記憶部330に格納されたプログラムに従って動作することによって実現される。
記憶部330には、制御部320によって扱われる各種の情報またはデータが一時的または持続的に格納される。例えば、記憶部330には、操作部310が取得した操作を示す情報や、送受信部340が電子機器100から受信した操作情報、制御部320が生成したフィードバック情報などが、一時的に格納される。また、例えば、記憶部330には、制御部320を実現するプロセッサによって実行されるプログラムが格納されてもよい。制御部320がフィードバック情報を生成する場合、記憶部330には、電子機器100において検出された操作、および/または電子機器100の状態と、フィードバックの種類とを対応付ける情報が格納されてもよい。記憶部330は、例えば、RAMまたはROMを構成する各種の記憶装置、および/またはリムーバブルメディアとそのドライバによって実現される。
送受信部340は、ネットワーク200を介して各種の情報またはデータを送信および受信する。例えば、送受信部340は、制御部320によって生成されたフィードバック情報を、電子機器100に送信する。また、送受信部340は、電子機器100において検出された操作を示す操作情報を、電子機器100から受信してもよい。この場合、電子機器100に送信されるフィードバック情報は、受信された操作情報に対応して制御部320によって生成されたものでありうる。例えば、上記で説明された本実施形態の例のうち、コンソール画面操作時の連動フィードバックだけが実現されるような場合、送受信部340は、本実施形態の機能に関しては、電子機器100にフィードバック情報を送信するだけであってもよい(受信の機能はなくてもよい)。逆に、上記で説明された本実施形態の例のうち、電子機器操作時の連動フィードバックだけが実現され、かつ電子機器100側で制御部120によってフィードバック情報が生成されるような場合、送受信部340は、電子機器100からフィードバック情報を受信するだけであってもよい(送信の機能はなくてもよい)。
表示部350は、制御装置300によって制御される電子機器100を表すアイコンを表示させる。アイコンは、例えば上記で図1などを参照して説明されたアイコン3011のように、実際の電子機器100の一部または全部に類似した形状を有していてもよい。また、アイコンは、電子機器100のフィードバック部150に対応した部分(例えば図1の例におけるインジケータ部分3013)を有していてもよい。また、アイコンとともに、電子機器100の機能または動作に関する情報が表示されてもよい。上記で図6などを参照して説明された動作ラベル3017や動作ラベル追加メニュー3019、動作ラベル設定メニュー3021は、電子機器100の機能または動作に関する情報の例である。表示部350は、例えば図1の例におけるディスプレイ301のように、各種の表示装置によって実現される。
ここで、上述のように、本実施形態において、表示部350は、コンソール画面にアイコンを表示させ、操作部310を介してアイコンに対する操作が受け付けられる。また、表示部350は、表示されたアイコンに対する操作、またはアイコンに対応する電子機器100に対する操作へのフィードバックを提供する。このとき、表示部350は、例えば制御部320によって生成されたフィードバック情報に従ってフィードバックを出力させる。より具体的には、例えば、電子機器100において発光体(例えばインジケータ103)の発光によって視覚的なフィードバックが提供される場合、表示部350は、アイコンの一部または全部(例えばインジケータ部分3013)が発光したように見えるように表示を変化させる。また、例えば、電子機器100において非視覚的(例えば、聴覚的または触覚的)なフィードバックが提供される場合、表示部350は、それらのフィードバックを視覚化した表示の変化を発生させる。
(8.ハードウェア構成)
次に、図10を参照して、本開示の実施形態に係る装置のハードウェア構成について説明する。図10は、本開示の実施形態に係る装置のハードウェア構成例を示すブロック図である。図示された装置900は、例えば、上記の実施形態における電子機器100および/または制御装置300を実現しうる。
装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチスクリーン、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid
Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
ストレージ装置919は、装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi−Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば装置900の筐体の姿勢など、装置900自体の状態に関する情報や、装置900の周辺の明るさや騒音など、装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
以上、装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(9.補足)
本開示の実施形態は、例えば、上記で説明したような情報処理装置(電子機器または制御装置)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)所定の機能を実現する電子機器であって、
前記電子機器に対する物理的な操作を検出する操作検出部と、
前記操作を示す操作情報を外部装置に送信する送信部と、
前記外部装置が前記操作情報に対応して送信した、少なくとも前記機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信する受信部と、
前記フィードバック情報に従って前記フィードバックを提供するフィードバック部と
を備える電子機器。
(2)前記状態は、前記外部装置における前記電子機器の認識状態を含む、前記(1)に記載の電子機器。
(3)前記外部装置は、前記電子機器と他の機器とを連携動作させる制御装置を含み、
前記電子機器および前記他の機器は、いずれも前記制御装置によって認識されている、前記(2)に記載の電子機器。
(4)前記状態は、前記電子機器と前記他の機器との連携の状態を含む、前記(3)に記載の電子機器。
(5)前記操作検出部は、前記操作によって切り替えられるスイッチを含む、前記(1)〜(4)のいずれか1項に記載の電子機器。
(6)前記操作検出部は、前記操作によって検出値が変化するセンサを含む、前記(1)〜(5)のいずれか1項に記載の電子機器。
(7)前記操作検出部は、加速度センサを含む、前記(6)に記載の電子機器。
(8)前記操作は、前記電子機器を振る、ひっくり返す、またはタップする操作を含む、前記(7)に記載の電子機器。
(9)前記状態は、前記外部装置における前記操作の認識状態を含む、前記(1)〜(8)のいずれか1項に記載の電子機器。
(10)前記状態は、前記電子機器の通信状態を含む、前記(1)〜(9)のいずれか1項に記載の電子機器。
(11)前記状態は、前記電子機器の電池残量を含む、前記(1)〜(10)のいずれか1項に記載の電子機器。
(12)前記フィードバックは、視覚的なフィードバックを含む、前記(1)〜(11)のいずれか1項に記載の電子機器。
(13)前記視覚的なフィードバックの種類は、前記外部装置において提供される視覚的なフィードバックの種類に対応する、前記(12)に記載の電子機器。
(14)前記フィードバック部は、発光体を含み、
前記フィードバックの種類は、前記発光体の発光色または発光パターンを含む、前記(12)または(13)に記載の電子機器。
(15)前記フィードバックは、非視覚的なフィードバックを含む、前記(1)〜(14)のいずれか1項に記載の電子機器。
(16)前記非視覚的なフィードバックの種類は、前記外部装置において提供される前記非視覚的なフィードバックを視覚化したフィードバックの種類に対応する、前記(15)に記載の電子機器。
(17)所定の機能を実現する電子機器が、
前記電子機器に対する物理的な操作を検出することと、
前記操作を示す操作情報を外部装置に送信することと、
前記外部装置が前記操作情報に対応して送信した、少なくとも前記機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信することと、
前記フィードバック情報に従って前記フィードバックを提供することと
を含むフィードバック提供方法。
10 システム
100 電子機器
101 機能部
103 インジケータ
105 操作ボタン
110 操作検出部
120 制御部
130 記憶部
140 送受信部
150 フィードバック部
200 ネットワーク
300 制御装置
301 ディスプレイ
310 操作部
320 制御部
330 記憶部
340 送受信部
350 表示部

Claims (14)

  1. 所定の機能を実現する電子機器であって、
    前記電子機器に対する物理的な操作を検出する操作検出部と、
    前記操作を示す操作情報を外部装置に送信する送信部と、
    前記外部装置が前記操作情報に対応して送信した、少なくとも前記電子機器が目的とする前記機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信する受信部と、
    前記フィードバック情報に従って前記フィードバックを提供するフィードバック部と
    を備え
    前記状態は、前記外部装置における前記電子機器の認識状態を含み、
    前記外部装置は、前記電子機器と他の機器とを連係動作させる制御装置を含み、
    前記電子機器および前記他の機器は、いずれも前記制御装置によって認識されており、
    前記状態は、前記電子機器と前記他の機器との連携の状態を含み、
    前記制御装置には、前記制御装置が管理する前記電子機器および前記他の機器の連係動作における連携の状態を表すフィードバックが提供される、
    電子機器。
  2. 前記操作検出部は、前記操作によって切り替えられるスイッチを含む、請求項1に記載の電子機器。
  3. 前記操作検出部は、前記操作によって検出値が変化するセンサを含む、請求項1に記載の電子機器。
  4. 前記操作検出部は、加速度センサを含む、請求項に記載の電子機器。
  5. 前記操作は、前記電子機器を振る、ひっくり返す、またはタップする操作を含む、請求項に記載の電子機器。
  6. 前記状態は、前記外部装置における前記操作の認識状態を含む、請求項1に記載の電子機器。
  7. 前記状態は、前記電子機器の通信状態を含む、請求項1に記載の電子機器。
  8. 前記状態は、前記電子機器の電池残量を含む、請求項1に記載の電子機器。
  9. 前記フィードバックは、視覚的なフィードバックを含む、請求項1に記載の電子機器。
  10. 前記視覚的なフィードバックの種類は、前記外部装置において提供される視覚的なフィードバックの種類に対応する、請求項に記載の電子機器。
  11. 前記フィードバック部は、発光体を含み、
    前記フィードバックの種類は、前記発光体の発光色または発光パターンを含む、請求項に記載の電子機器。
  12. 前記フィードバックは、非視覚的なフィードバックを含む、請求項1に記載の電子機器。
  13. 前記非視覚的なフィードバックの種類は、前記外部装置において提供される前記非視覚的なフィードバックを視覚化したフィードバックの種類に対応する、請求項12に記載の電子機器。
  14. 所定の機能を実現する電子機器が、
    前記電子機器に対する物理的な操作を検出することと、
    前記操作を示す操作情報を外部装置に送信することと、
    前記外部装置が前記操作情報に対応して送信した、少なくとも前記電子機器が目的とする前記機能に関する状態を表すフィードバックの種類を示すフィードバック情報を受信することと、
    前記フィードバック情報に従って前記フィードバックを提供することと
    を含み、
    前記状態は、前記外部装置における前記電子機器の認識状態を含み、
    前記外部装置は、前記電子機器と他の機器とを連係動作させる制御装置を含み、
    前記電子機器および前記他の機器は、いずれも前記制御装置によって認識されており、
    前記状態は、前記電子機器と前記他の機器との連携の状態を含み、
    前記制御装置には、前記制御装置が管理する前記電子機器および前記他の機器の連係動作における連携の状態を表すフィードバックが提供される、
    フィードバック提供方法。
JP2016556418A 2014-10-31 2015-09-03 電子機器およびフィードバック提供方法 Active JP6711276B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014222768 2014-10-31
JP2014222768 2014-10-31
PCT/JP2015/075138 WO2016067745A1 (ja) 2014-10-31 2015-09-03 電子機器およびフィードバック提供方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020018839A Division JP6888701B2 (ja) 2014-10-31 2020-02-06 電子機器およびフィードバック提供方法

Publications (2)

Publication Number Publication Date
JPWO2016067745A1 JPWO2016067745A1 (ja) 2017-08-10
JP6711276B2 true JP6711276B2 (ja) 2020-06-17

Family

ID=55857091

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016556418A Active JP6711276B2 (ja) 2014-10-31 2015-09-03 電子機器およびフィードバック提供方法
JP2020018839A Active JP6888701B2 (ja) 2014-10-31 2020-02-06 電子機器およびフィードバック提供方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020018839A Active JP6888701B2 (ja) 2014-10-31 2020-02-06 電子機器およびフィードバック提供方法

Country Status (5)

Country Link
US (2) US10996776B2 (ja)
EP (2) EP3214527A4 (ja)
JP (2) JP6711276B2 (ja)
CN (1) CN107148604B (ja)
WO (1) WO2016067745A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061457B2 (en) * 2016-06-27 2018-08-28 Google Llc Modular computing environment
CN109388307A (zh) * 2018-11-05 2019-02-26 长沙拓扑陆川新材料科技有限公司 一种可对应用程序的图标进行分页的智能移动终端
US11106832B1 (en) 2019-12-31 2021-08-31 Management Services Group, Inc. Secure compute device housing with sensors, and methods and systems for the same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187296A (ja) 1996-12-26 1998-07-14 Canon Inc 情報処理システム及びその制御方法、データ端末装置、情報処理装置
JP4729171B2 (ja) 2000-12-28 2011-07-20 インテレクチュアル ベンチャーズ ホールディング 56 エルエルシー 電子書籍装置および音声再生システム
US6985913B2 (en) 2000-12-28 2006-01-10 Casio Computer Co. Ltd. Electronic book data delivery apparatus, electronic book device and recording medium
CN101655689A (zh) * 2008-08-19 2010-02-24 马海英 具操作界面可远程控制的智能遥控器虚拟机装置
JP2010061493A (ja) * 2008-09-05 2010-03-18 Sony Corp 情報処理装置、明滅制御方法およびコンピュータプログラム
JP5182952B2 (ja) * 2009-06-29 2013-04-17 Kddi株式会社 リモコン制御システム
CN101610544A (zh) * 2009-07-20 2009-12-23 中兴通讯股份有限公司 远程控制方法及装置
US20120206414A1 (en) * 2009-10-16 2012-08-16 Rohm Co., Ltd. Mobile device
KR20110047764A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 이동 단말을 이용하여 홈 네트워크 시스템을 제어하기 위한 방법 및 장치
KR101652869B1 (ko) * 2009-11-02 2016-09-01 삼성전자주식회사 네트워크 다중 입출력 시스템에서 협력 멀티 포인트 송신을 위한 동적 채널 피드백 제어 방법
US8375118B2 (en) * 2010-11-18 2013-02-12 Verizon Patent And Licensing Inc. Smart home device management
CN102480737B (zh) * 2010-11-23 2014-06-04 华为技术有限公司 一种协作通信的调度方法、装置和系统
WO2012092025A2 (en) * 2010-12-27 2012-07-05 Google Inc. Social network collaboration space
WO2012092677A1 (en) * 2011-01-06 2012-07-12 Research In Motion Limited Delivery and management of status notifications for group messaging
JP2012205251A (ja) * 2011-03-28 2012-10-22 Panasonic Corp 無線通信端末及び無線通信端末の制御方法
JP5787667B2 (ja) * 2011-08-23 2015-09-30 キヤノン株式会社 ネットワーク管理装置及びその制御方法、ならびに通信装置及びその制御方法
US9746945B2 (en) * 2011-12-19 2017-08-29 Qualcomm Incorporated Integrating sensation functionalities into a mobile device using a haptic sleeve
JP2014032501A (ja) 2012-08-02 2014-02-20 Sony Corp 情報処理装置および情報処理方法
KR102058918B1 (ko) 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback

Also Published As

Publication number Publication date
JP6888701B2 (ja) 2021-06-16
CN107148604B (zh) 2021-06-08
JPWO2016067745A1 (ja) 2017-08-10
JP2020074234A (ja) 2020-05-14
CN107148604A (zh) 2017-09-08
EP3214527A1 (en) 2017-09-06
EP3940509A1 (en) 2022-01-19
EP3214527A4 (en) 2018-04-11
US20170300141A1 (en) 2017-10-19
US11726589B2 (en) 2023-08-15
US20210191537A1 (en) 2021-06-24
US10996776B2 (en) 2021-05-04
WO2016067745A1 (ja) 2016-05-06

Similar Documents

Publication Publication Date Title
US11726589B2 (en) Electronic device and feedback providing method
EP3780569A1 (en) Screen-off display method and electronic device
KR102036977B1 (ko) 디바이스를 제어하는 방법 및 장치, 및 단말 디바이스
CN105468152B (zh) 基于可穿戴设备的终端操作控制方法、装置和设备
CN107977144B (zh) 一种截屏处理方法及移动终端
EP2832107B1 (en) Information processing apparatus, information processing method, and program
US20170322642A1 (en) Mobile device comprising stylus pen and operation method therefor
JP6522124B2 (ja) ジェスチャ制御方法、デバイス、およびシステム
JP2017513418A (ja) リモートコントロール方法、装置、プログラム及び記録媒体
US9794495B1 (en) Multiple streaming camera navigation interface system
US11281313B2 (en) Mobile device comprising stylus pen and operation method therefor
WO2016191938A1 (zh) 通过触控板调节移动终端拍照焦距的方法和移动终端
JP2014121090A (ja) テレビジョン制御システム及びその制御方法
US9921796B2 (en) Sharing of input information superimposed on images
CN109104564B (zh) 一种拍摄提示方法及终端设备
US20130231065A1 (en) Communication apparatus, communication method, and computer readable recording medium
JP6201641B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
CN112041803A (zh) 电子设备及其操作方法
KR20170071654A (ko) 사물인터넷 서비스 시나리오 생성을 위한 컴퓨터 프로그램, 휴대용 단말기, 및 게이트웨이 장치
CN114095542A (zh) 显示控制方法及电子设备
RU2673464C1 (ru) Способ распознавания и управления бытовой техникой мобильным телефоном и мобильный телефон для его реализации
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114327197B (zh) 消息发送方法、装置、设备及介质
US11221684B2 (en) Information processing device, information processing method, and recording medium
US20170185264A1 (en) Touch button module, methods, and apparatuses for displaying a button icon

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180709

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R151 Written notification of patent or utility model registration

Ref document number: 6711276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151