JP6868778B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6868778B2
JP6868778B2 JP2017556377A JP2017556377A JP6868778B2 JP 6868778 B2 JP6868778 B2 JP 6868778B2 JP 2017556377 A JP2017556377 A JP 2017556377A JP 2017556377 A JP2017556377 A JP 2017556377A JP 6868778 B2 JP6868778 B2 JP 6868778B2
Authority
JP
Japan
Prior art keywords
mode
information processing
sensor
sensing data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017556377A
Other languages
English (en)
Other versions
JPWO2017104227A1 (ja
Inventor
康隆 福本
康隆 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017104227A1 publication Critical patent/JPWO2017104227A1/ja
Application granted granted Critical
Publication of JP6868778B2 publication Critical patent/JP6868778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、様々なセンシングデータを用いて人または物体の動き、または人の移動手段を判定する技術が開発されている。また、これらの技術に関連して、例えば、判定を行う情報処理装置、または、判定に使用されるセンサの消費電力量を低減させるための方法についても研究開発が行われている。先行文献1には、センサの検出精度に関する情報に基づいて、センサの検出回数を制御することで消費電力量を低減させる方法が開示されている。
特開2013−42360号公報
しかし、先行文献1の方法では、情報処理装置またはセンサの消費電力量を十分に低減させることができなかった。例えば、センサの検出精度に関する情報に基づいて、センサの検出回数は制御されても、使用されるセンサ自体は変更されない。すなわち、センサが効果的に使用され得ない状況においても、当該センサが使用され続けられ電力が消費されていた。
そこで、本開示は、上記に鑑みてなされたものであり、本開示は、情報処理装置またはセンサの消費電力量をより低減させることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供する。
本開示によれば、センシングデータを取得する取得部と、前記センシングデータに基づいてモードを変更するモード変更部と、を備え、前記取得部は、前記モードの変更に基づいて、取得するセンシングデータを変更する、情報処理装置が提供される。
また、本開示によれば、センシングデータを取得することと、前記センシングデータに基づいてモードを変更することと、前記モードの変更に基づいて、取得するセンシングデータを変更することと、を有する、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、センシングデータを取得することと、前記センシングデータに基づいてモードを変更することと、前記モードの変更に基づいて、取得するセンシングデータを変更することと、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、情報処理装置またはセンサの消費電力量をより低減させることが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置を示す図である。 本実施形態に係るモード1〜モード3を示す図である。 モード、センサおよびプロセッサの関係を示す図である。 本実施形態に係る情報処理装置の構成を示す図である。 各モードにおける判定部の出力内容を示す図である。 本実施形態に係る情報処理装置によるモード制御、センサ制御および判定に関する動作を示すフローチャートである。 判定部によるクラス判定処理の結果に応じたセンサ制御動作を示すフローチャートである。 第1の変形例における階層化されたクラス判定処理の一例を示す図である。 第1の変形例におけるクラス判定の動作を示すフローチャートである。 第1の変形例におけるクラス判定の動作を示すフローチャートである。 第2の変形例に係る情報処理システムの構成を示す図である。 本実施形態に係る情報処理装置のハードウェア構成を示す図である。 クラス判定処理の結果に基づくセンサ制御についての設定画面の一例を示す図である。 本実施形態に係る表示部によって表示される画面の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.背景
2.情報処理装置の概要
3.情報処理装置の構成
4.情報処理装置の動作
5.変形例
6.応用例
7.ハードウェア構成
8.補足事項
9.むすび
<1.背景>
近年、様々なセンシングデータを用いて人または物体の動き、または人の移動手段を判定する技術が開発されている。当該判定処理には、様々なセンサから提供されるセンシングデータが使用され、これらのセンサは、判定処理を行う情報処理装置に備えられる場合もあれば、当該情報処理装置以外の外部装置に備えられる場合もある。ここで、人または物体の動き、または人の移動手段を判定するアプリケーションを実現する上で、当該情報処理装置またはセンサの消費電力量を低減させることが求められる。特に、装置が小型である場合、装置に搭載されるバッテリの容量は必然的に小さくなるため、消費電力量を低減することはより重要となる。
消費電力量を低減させる方法として、例えば、データの取得動作、または、判定処理を間欠的に行う方法が考えられる。しかし、前者の方法では、判定処理のための情報が欠落することで判定処理を行うことができない可能性があり、後者の方法では、ユーザが判定結果を得るまでに長い時間を要す可能性があるため、ユーザの満足度が低下する可能性がある。
また、先行文献1には、センサの検出精度に関する情報に基づいて、センサの検出回数を制御することで消費電力量を低減させる方法が開示されている。しかし、先行文献1の方法では、情報処理装置またはセンサの消費電力量を十分に低減させることができなかった。例えば、センサの検出精度に関する情報に基づいて、センサの検出回数は制御されても、使用されるセンサ自体は変更されない。すなわち、センサが効果的に使用され得ない状況においても、当該センサが使用され続けられ電力が消費されていた。
そこで、本件の開示者は、上記事情に着眼して本開示を創作するに至った。本開示によれば、情報処理装置またはセンサの消費電力量をより低減させることが可能である。以下に、本開示の一実施形態に係る情報処理装置の概要、構成、動作、本開示の変形例および本開示の応用例について説明する。
<2.情報処理装置の概要>
上記では、本開示の背景について説明した。続いて、本開示の一実施形態に係る情報処理装置100の概要について説明する。
まず、図1を参照して、本実施形態に係る情報処理装置100の概要について説明する。図1は、本開示の一実施形態に係る情報処理装置100を示す図である。図1に示すように、本実施形態に係る情報処理装置100は、ユーザによって携帯されるスマートフォンであり、センシングデータに基づいて当該ユーザの動きまたは移動手段を判定する。ここで、情報処理装置100がスマートフォンであることは、あくまで一例であり、情報処理装置100はスマートフォン以外の装置であってもよい。例えば、情報処理装置100は、タブレットPC(Personal Computer)、ノートPC、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末として実現されてもよい。また、情報処理装置100は、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。情報処理装置100は、センシングデータを用いて、ユーザまたは物体の動き、またはユーザの移動手段を判定するが、以下では主として、ユーザの動きまたは移動手段の判定について説明する。
情報処理装置100がユーザの動き等の判定に使用するセンシングデータは、自装置が備えているセンサから取得されてもよいし、外部装置が備えているセンサから取得されてもよい。例えば、情報処理装置100がスマートフォン等のモバイル装置である場合には、情報処理装置100がユーザに携帯されている状況において、情報処理装置100は、自装置が備えているセンサからセンシングデータを取得し、ユーザの動き等の判定を行ってもよい。また、情報処理装置100がテレビジョン受像機等の据え付け型の装置である場合には、情報処理装置100は、ユーザに携帯されている他装置が備えているセンサからセンシングデータを取得し、同様の判定を行ってもよい。
本実施形態において用いられるセンサは、特に限定されない。例えば、本実施形態において用いられるセンサには、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、温度センサ、振動センサ、音声センサ、心拍センサ、脈波センサ、近接センサ、照度センサ、圧力センサ、位置センサ、発汗センサ、pHセンサ、湿度センサ、赤外線センサ等、人の動きに起因する物理変化、化学変化等を捉えることが可能なセンサが含まれ得る。
本実施形態に係る情報処理装置100は、人の動き等の判定結果に基づいてモードを段階的に変更し、当該モードに基づいて取得するセンシングデータを変更する。ここで、図2を参照して、本実施形態に係るモードについて説明する。図2は、本実施形態に係るモード1〜モード3を示す図である。図2に示すように、本実施形態においては、3種類のモード(モード1〜モード3)が存在する。モード1は、ユーザが椅子に座っている状態等、ほぼ動いていないか移動していない状態に対応するモードである。モード2は、ユーザが移動し始めたか動いたり止まったりしている状態に対応するモードである。モード3は、ユーザが車に乗って移動している場合等、ユーザが継続的に動いたり移動したりしている状態に対応するモードである。また、ユーザが継続的に止まっている状態に近い時に適用されるモードを第1のモードとも呼称し、ユーザが継続的に動いている状態に近い時に適用されるモードを第2のモードとも呼称する。
本件の開示者は、ユーザの動きの状態が、モード1〜モード3のような複数のモードに分類でき、モードが段階的に遷移することに着眼した。より具体的に説明すると、移動していない状態のユーザが車に乗って移動する場合、図2に示すように、モードがモード1からモード2へ遷移し、さらにモード2からモード3へ遷移する。この場合、モードが、モード1からモード2を経ずにモード3へ遷移することはなく、もちろん、モード3からモード2を経ずにモード1へ遷移することもない。
そして、本実施形態に係る情報処理装置100は、モードに応じて判定処理のために使用するセンサを変更する。ここで、図3を参照して、モードに応じて判定処理のために使用するセンサを変更することについてより具体的に説明する。図3は、モード、センサおよびプロセッサの関係を示す図である。図3には、モードが、モード1、モード2、モード3、モード2、モード1の順に遷移する場合において、各モードで使用されるセンサ、取得されるセンシングデータのサンプリング周波数および主として使用されるプロセッサの一例が記載されている。
図3に示すように、情報処理装置100は、ユーザが移動していない状態に近いモードよりも、ユーザが移動している状態に近いモードにおいてより多くのセンサを使用する。例えば、情報処理装置100は、モード1およびモード2においては加速度センサのみを使用し、モード3においては加速度センサ以外の気圧センサおよび地磁気センサ等も使用する。ここで、各モードにおいて使用されるセンサはあくまで一例であり、適宜変更されてもよい。
これにより、情報処理装置100は、ユーザの動きの状態に適したセンサを使用し、消費電力量を低減させることができる。より具体的に説明すると、モード1およびモード2においては、ユーザがほぼ移動していないか移動し始めて間もない状態であるため、情報処理装置100は、加速度センサからのセンシングデータだけでも十分に判定処理を行うことができる。したがって、情報処理装置100は、各モードにおいて使用されるセンサが変更されない方式に比べて消費電力量を低減させることができる。一方、モードがモード3になった場合、ユーザの動きまたは移動が継続的であるため、情報処理装置100は、使用するセンサを増やすこと、または、より消費電力量の多いセンサを使用することによって、より詳細にユーザの動き等を判定することができる。したがって、情報処理装置100は、各モードにおいて使用されるセンサが変更されない方式に比べて消費電力量を低減させたり、より詳細な判定処理を行ったりすることができる。
また、情報処理装置100は、モードに応じてサンプリング周波数を変更する。より具体的に説明すると、情報処理装置100は、ユーザが移動していない状態に近いモードよりも、ユーザが移動している状態に近いモードにおいてより高いサンプリング周波数でセンシングデータを取得する。例えば、情報処理装置100は、モード1におけるサンプリング周波数を、モード2およびモード3よりも相対的に低い8Hzに設定する。そして、モードがモード2、モード3と遷移するにつれ、情報処理装置100は、サンプリング周波数を16Hz(モード2)、64Hz(モード3)と段階的に上げていく。ここで、各モードにおけるサンプリング周波数はあくまで一例であり、適宜変更されてもよい。
これにより、情報処理装置100は、ユーザの動きの状態に適したサンプリング周波数を設定し、消費電力量を低減させることができる。より具体的に説明すると、モード1においては、ユーザがほぼ移動していないため、情報処理装置100は、サンプリング周波数を低く設定しても十分に判定処理を行うことができる。したがって、情報処理装置100は、各モードにおいてサンプリング周波数が変更されない方式に比べて消費電力量を低減させることができる。一方、モードがモード2、モード3と遷移するにつれ、ユーザの動きまたは移動が継続的になるため、情報処理装置100は、サンプリング周波数を段階的に上げていくことで、より詳細にユーザの動き等を判定することができる。したがって、情報処理装置100は、各モードにおいてサンプリング周波数が変更されない方式に比べて消費電力量を低減させたり、より詳細な判定処理を行ったりすることができる。
また、情報処理装置100は、モードに応じて使用するプロセッサを変更する。より具体的に説明すると、情報処理装置100には処理能力または消費電力量の異なるプロセッサが複数備えられており、情報処理装置100は、ユーザが移動していない状態に近いモードよりも、ユーザが移動している状態に近いモードにおいてより処理能力の高いプロセッサを使用する。例えば、情報処理装置100は、モード1においては処理能力が低く消費電力量が小さいプロセッサ1を使用し、モード2においてはプロセッサ1よりも処理能力が高いプロセッサ2を使用し、モード3においてはプロセッサ2よりも処理能力が高いプロセッサ3を使用する。
これにより、情報処理装置100は、ユーザの動きの状態に適したプロセッサを使用し、消費電力量を低減させることができる。より具体的に説明すると、モード1においては、センシングデータのサンプリング周波数が低いため、情報処理装置100は、処理能力が低いプロセッサ1を用いても十分処理を行うことができる。一方、モードがモード2、モード3と遷移するにつれ、センシングデータのサンプリング周波数が高くなるため、情報処理装置100は、処理能力が高いプロセッサ2またはプロセッサ3を用いて処理を行う。一般的に、プロセッサの処理能力が高くなるにつれて消費電力量が増大するため、情報処理装置100は、各モードにおいてプロセッサが変更されない方式に比べて消費電力量を低減させることができる。
また、情報処理装置100は、モードに応じて、使用するプロセッサを変更するのではなく、プロセッサの設定等を変更してもよい。より具体的に説明すると、情報処理装置100は、モードに応じて、プロセッサの印加電圧、動作クロック、フィルタ係数、トリガ閾値またはFIFO(First−In First−Out)処理におけるデータ長の設定等を変更してもよい。これにより、仮に情報処理装置100に備えられているプロセッサが1個である場合においても、情報処理装置100は、モードに応じて、当該プロセッサの設定を変更することで消費電力量を低減させることができる。
また、情報処理装置100は、ユーザの動き等の判定結果に応じて、使用するセンサを変更する。より具体的に説明すると、情報処理装置100は、ユーザの動きまたは移動手段を判定し、当該判定結果に応じてより効果的なセンサを起動させたり、効果的ではないセンサを停止させたりする。例えば、情報処理装置100は、ユーザがエレベータまたはエスカレータに乗って移動していると判定した場合、ユーザが屋内にいる可能性が高く、GPS(Global Positioning System)センサが衛星からの信号を受信できない可能性があるため、GPSセンサを停止させる。また、情報処理装置100は、ユーザが自転車に乗っていると判定した場合、風切り音によるノイズが発生しやすいため、複数の音声認識用マイク(音声センサ)を起動させる。
このように、情報処理装置100は、判定結果に基づいてユーザの動き、移動手段またはユーザが置かれた環境に適したセンサを使用し、適さないセンサを使用しないことによって、判定結果に応じて使用されるセンサが変更されない方式に比べて消費電力量を低減させたり、より詳細な判定処理を行ったりすることができる。
また、情報処理装置100は、判定結果に応じて、使用するセンサを変更するのではなく、センサの設定等を変更してもよい。より具体的に説明すると、情報処理装置100は、判定結果に応じて、センサの動作モード、分解能、感度、レンジまたはローパスフィルタの設定等を変更してもよい。例えば、情報処理装置100は、判定結果の精度が低いと判断した場合、センサの分解能を上げて判定処理をやり直してもよい。
<2.装置の構成>
上記では、本開示の一実施形態に係る情報処理装置100の概要について説明した。続いて、図4を参照して、本実施形態に係る情報処理装置100の構成について説明する。図4は、本実施形態に係る情報処理装置100の構成を示す図である。
図4に示すように、本実施形態に係る情報処理装置100は、無線通信部110と、制御部120と、センサ部130と、表示制御部140と、表示部150と、入力部160と、記憶部170と、を備える。
(無線通信部110)
無線通信部110は、外部装置と通信を行う。例えば、無線通信部110は、センサを備える外部装置からセンシングデータを受信する。また、無線通信部110は、センサ制御部121から提供された制御情報を、センサを備える外部装置へ送信することによって、情報処理装置100が外部装置のセンサを制御することを可能にする。
(制御部120)
制御部120は、情報処理装置100の処理全般を制御する。より具体的に説明すると、制御部120は、ユーザの動きまたは移動手段の判定処理だけでなく、スマートフォンが有する通話に関する処理、カメラによる撮像処理またはメールに関する処理等も制御する。以下では、主に、ユーザの動きまたは移動手段の判定処理の制御について説明する。制御部120は、センサ制御部121と、モード制御部122と、判定部123と、プロセッサ制御部124と、を備える。制御部120は、取得部、モード変更部として機能する。
(センサ制御部121)
センサ制御部121は、情報処理装置100に備えられるセンサまたは外部装置に備えられるセンサを制御する。より具体的に説明すると、センサ制御部121は、モードに応じて、使用するセンサおよびサンプリング周波数を決定し、各センサを制御する。例えば、センサ制御部121は、図3に示したセンサおよびサンプリング周波数に沿って、各センサを制御する。
また、上記のとおり、判定結果に応じて、使用するセンサを決定し、各センサを制御する。例えば、上記の例以外にも、センサ制御部121は、ユーザが移動していない状態が所定の時間以上継続した場合、GPSセンサを停止させてもよい。また、ユーザが移動している状態が所定の時間以上継続した場合、センサ制御部121はGPSセンサを起動させてもよい。また、ユーザが歩いていない、または、走っていない状態が所定の時間以上継続した場合、センサ制御部121は歩数計(または歩く動作または走る動作を検知するセンサ)を停止させてもよい。また、ユーザが電車、バス、車に乗って移動している、または、移動していない状態が所定の時間以上継続した場合、心拍数が一定であると仮定して、センサ制御部121は心拍センサを停止させてもよい。また、センサ制御部121は、判定処理の精度を高めるために使用するセンサを追加、変更してもよい。例えば、判定結果の尤度が低い場合等に、センサ制御部121は、ジャイロセンサを起動して当該センサからのセンシングデータを用いて、ユーザの姿勢検知またはターン(回転方向)検知を行うことで、判定処理の精度を高めてもよい。また、センサ制御部121は、ユーザが停止している(Stay)状態であると判定された場合、ジャイロセンサを起動することで、ユーザが座った状態で停止しているのか、立った状態で停止しているのかを判定させる等、より詳細な判定処理を可能にしてもよい。ここで、ジャイロセンサは他のセンサに比べて相対的に消費電力量が多い傾向にある。したがって、センサ制御部121は、ジャイロセンサのように消費電力量が多いセンサを常時起動しておくのではなく、上記のように、必要に応じて起動することで消費電力量を低減させることができる。
このように、センサ制御部121は、判定結果に基づいてユーザの動き、移動手段またはユーザが置かれた環境に適したセンサを使用し、適さないセンサを使用しないことによって、判定結果に応じて使用されるセンサが変更されない方式に比べて消費電力量を低減させたり、より精度が高い判定処理を行ったりすることができる。
(モード制御部122)
モード制御部122は、情報処理装置100におけるモードを制御する。より具体的に説明すると、モード制御部122は、判定部123によってユーザがほぼ動いていないか移動していないと判定された場合には、モードをモード1に設定する。また、モード制御部122は、判定部123によってユーザが移動し始めたか動いたり止まったりしていると判定された場合には、モードをモード2へ変更する。また、モード制御部122は、判定部123によってユーザが継続的に動いたり移動したりしていると判定された場合には、モードをモード3へ変更する。また、上記のとおり、モード制御部122は、段階的にモードを変更する。
(判定部123)
判定部123は、プロセッサ1〜プロセッサ3を備え、センシングデータを用いてユーザの動きまたは移動手段を判定する。例えば、モード1が設定されている場合、判定部123は、プロセッサ1によるハードウェア処理の結果に基づいて、ユーザの動きを検知する。より具体的に説明すると、プロセッサ1は、加速度センサによって検知されたX軸、Y軸およびZ軸の各軸方向の加速度を用いて3次元空間における加速度のベクターを算出する。そして、サンプリングされた2つの異なるタイミングにおける加速度ベクターの差分のノルムを算出する。そして、プロセッサ1は、ノルムが所定の閾値を超えることに基づいて、ユーザが動き出したことを検知する。
ここで、判定部123は、これらの処理をソフトウェアによって実現するのではなく、ハードウェアによって実現する。より具体的に説明すると、モード1においてはユーザがほぼ動いていないか移動していないため、判定部123は、ソフトウェアを用いて複雑な処理を行うのではなく、ハードウェアのみを用いて処理を行う。これによって、ソフトウェアの制御に使用される消費電力量を削減することができる。なお、この制御はあくまで一例であり、モード1においてもソフトウェア処理が行われてもよい。
また、モード2が設定されている場合、判定部123は、プロセッサ2によるソフトウェア処理の結果に基づいてユーザの動きまたは移動手段に相当する「クラス」を判定する。モード2におけるクラスには、例えば、「Stay(移動していない)/Not Stay(移動している)」という2種類のクラスが含まれる(以降では、当該2種類のクラスを判定する処理を「2クラス判定処理」と呼称する)。
モード2におけるクラス判定処理についてより具体的に説明すると、判定部123は、2秒毎に加速度センサから4秒分のセンシングデータを取得し、センシングデータの特徴量を抽出する。そして、判定部123は、機械学習によって生成された2クラス判定処理のための判定モデルに当該特徴量を入力することで、2クラス判定処理を行う。ここで、モード2において行われる処理が2クラス判定処理であることはあくまで一例であり、適宜変更されてもよい。また、モード2においてデータ取得が行われる間隔および取得されるデータ量はあくまで一例であり、適宜変更されてもよい。
また、モード3が設定されている場合、判定部123は、プロセッサ3によるソフトウェア処理の結果に基づいてクラスを判定する。モード3におけるクラスには、例えば、「Stay、Walk、Run、Upstairs(階段を上がっている)、Downstairs(階段を下っている)、EscUP(昇りエスカレータに乗っている)、EscDown(降りエスカレータに乗っている)、ElevUP(昇りエレベータに乗っている)、ElevDown(降りエレベータに乗っている)、Train、Bus、Car、Bicycle」という13種類のクラスが含まれる(以降では、当該13種類のクラスを判定する処理を「13クラス判定処理」と呼称する)。
モード3におけるクラス判定処理についてより具体的に説明すると、判定部123は、5秒毎に各センサから5秒分のセンシングデータを取得し、センシングデータの特徴量を抽出する。そして、判定部123は、機械学習によって生成された13クラス判定処理のための判定モデルに、当該特徴量を入力することで、13クラス判定処理を行う。ここで、モード3において行われる処理が13クラス判定処理であることはあくまで一例であり、適宜変更されてもよい。また、モード3においてデータ取得が行われる間隔および取得されるデータ量はあくまで一例であり、適宜変更されてもよい。
続いて、図5を参照して、判定部123によるクラス判定処理の出力について説明する。図5は、各モードにおける判定部123の出力内容の一例を示す図である。図5に示すように、判定部123は、モード3においてはクラス判定処理の結果を出力し、モード1およびモード2においては処理結果を出力しなくてもよい。しかし、図5はあくまで一例であり、判定部123は、モード1およびモード2においても処理結果を出力してもよい。例えば、判定部123は、モード2において2クラス判定処理の結果を出力してもよい。
(プロセッサ制御部124)
プロセッサ制御部124は、情報処理装置100におけるプロセッサを制御する。より具体的に説明すると、プロセッサ制御部124は、モードに応じて主として使用されるプロセッサを決定する。例えば、プロセッサ制御部124は、図3に示したように、モード1においては主としてプロセッサ1が使用されるように動作し、モード2においては主としてプロセッサ2が使用されるように動作し、モード3においては主としてプロセッサ3が使用されるように動作する。ここで、各モードにおいて使用されるプロセッサは1個でなくてもよい。例えば、モード2が設定されている場合には、プロセッサ2だけでなくプロセッサ1も動作してもよい。また、モード3が設定されている場合には、プロセッサ3だけでなく、プロセッサ1またはプロセッサ2も動作してもよい。
(センサ部130)
センサ部130は、センサ制御部121によって制御されることによって、センシングデータを生成する。より具体的に説明すると、センサ部130は、センサ制御部121に制御されることによって、ユーザの動きに起因する物理変化または化学変化等を検知し、センシングデータを生成する。そして、センサ部130は、生成したセンシングデータを制御部120へ提供する。センサ部130は、上記のとおり、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、温度センサ、振動センサ、音声センサ、心拍センサ、脈波センサ、近接センサ、照度センサ、圧力センサ、位置センサ、発汗センサ、pHセンサ、湿度センサ、赤外線センサ等を含んでもよい。
(表示制御部140)
表示制御部140は、表示部150を制御する。より具体的に説明すると、制御部120による処理に基づいて、表示部150に表示させる情報の内容を決定し、当該情報を表示部150に提供する。
(表示部150)
表示部150は、各種情報を表示する。より具体的に説明すると、表示部150は、表示制御部140に制御されることによって、各種情報を画像、テキスト、グラフなどの多様な形式で表示することで、ユーザに対して当該情報を視覚的に通知する。当該各種の情報には多様なコンテンツが含まれ得る。
(入力部160)
入力部160は、ユーザからの入力を受け付ける。より具体的に説明すると、入力部160は、ボタンまたはタッチパネル等を備え、これらを用いたユーザによる入力操作を受け付ける。入力部160は、ユーザによって入力された情報を制御部120へ提供する。
(記憶部170)
記憶部170は各種情報を記憶する。より具体的に説明すると、記憶部170は、モードの履歴情報、センサの動作の履歴情報、プロセッサの動作の履歴情報、センシングデータ、または、判定部123のクラス判定処理に用いられるプログラム等を記憶する。
<4.情報処理装置の動作>
上記では、本実施形態に係る情報処理装置100の構成について説明した。続いて、図6および図7を参照して、情報処理装置100の動作について説明する。
(4−1.モード制御、センサ制御および判定に関する動作)
まず、図6を参照して、情報処理装置100によるモード制御、センサ制御および判定に関する動作について説明する。図6は、本実施形態に係る情報処理装置100によるモード制御、センサ制御および判定に関する動作を示すフローチャートである。
図6のステップS1000では、モード制御部122が、モードを、モード1(加速度センサ:8Hz)へ設定する。ステップS1004では、判定部123が加速度センサから1サンプル分のセンシングデータを取得する。ステップS1008では、判定部123に備えられるプロセッサ1が、加速度センサのセンシングデータを用いて3次元空間における加速度のベクターを算出し、当該ベクターと前回のサンプリングによるベクターの差分のノルムを算出する。その後、算出されたノルムについて、ユーザの動きであると認識され得る周波数領域に含まれない周波数がバンドパスフィルター(以降、便宜的に「BPF」と呼称する)によって除去される。
その後、ノルムが所定の閾値を超えている場合(ステップS1012/Yes)、ステップS1016にて、モード制御部122は、モードを、モード2(加速度センサ:16Hz)へ変更する。ステップS1012にて、ノルムが所定の閾値を超えていない場合(ステップS1012/No)、処理がステップS1004へ移動する。ステップS1020では、判定部123が、加速度センサから4秒分のセンシングデータを取得する。ステップS1024では、判定部123が、センシングデータを用いて2クラス判定処理を行う。
2クラス判定処理の結果が、5回連続してStayであった場合(ステップS1028/Yes)、処理がステップS1000へ移動し、モード制御部122が、モードを、モード2からモード1へ変更する。2クラス判定処理の結果が、5回連続してStayでなく(ステップS1028/No)、かつ、2回連続してNot Stayである場合(ステップS1032/Yes)、ステップS1036にて、モード制御部122が、モードを、モード2からモード3(加速度センサ:64Hz、気圧センサ:8Hz、地磁気センサ:8Hz)へ変更する。ステップS1032にて、2クラス判定処理の結果が2回連続してNot Stayでない場合(ステップS1032/No)、モード制御部122はモードの変更を行わず、処理がステップS1020へ移動する。
ステップS1040では、判定部123が、各センサから5秒分のセンシングデータを取得する。ステップS1044では、判定部123が、センシングデータを用いて13クラス判定処理を行う。13クラス判定処理の結果が、6回連続してStayにならない限り(ステップS1048/No)、判定部123は、データ取得(ステップS1040)および13クラス判定処理(ステップS1044)を継続する(図6では、ステップS1048/Noに対応する処理を、便宜的に「終了」と記載している)。ステップS1048にて、13クラス判定処理の結果が6回連続してStayであった場合(ステップS1048/Yes)、処理がステップS1016へ移動し、モード制御部122が、モードを、モード3からモード2へ変更する。
(4−2.クラス判定処理の結果に応じたセンサ制御動作)
続いて図7を参照して、判定部123によるクラス判定処理の結果に応じたセンサ制御動作について説明する。図7は、判定部123によるクラス判定処理の結果に応じたセンサ制御動作を示すフローチャートである。
ステップS1100では、センサ制御部121が判定部123からクラス判定処理の結果に関する情報を取得する。そして、ユーザがエレベータまたはエスカレータに乗って移動していると判定された場合(ステップS1104/Yes)、ユーザが屋内にいる可能性が高く、GPSセンサが衛星からの信号を受信できない可能性があるため、ステップS1108にて、センサ制御部121はGPSセンサを停止させる(GPSセンサが停止した状態である場合には、停止させたままの状態とする)。ステップS1104にて、ユーザがエレベータまたはエスカレータに乗って移動していないと判定された場合(ステップS1104/No)、ステップS1112にて、センサ制御部121はGPSセンサを起動させる(GPSセンサが起動した状態である場合には、起動させたままの状態とする)。
また、ユーザが自転車に乗って移動していると判定された場合(ステップS1116/Yes)、風切り音によるノイズの影響が大きい可能性があるため、ステップS1120にて、センサ制御部121は音声認識用マイク(音声センサ)を複数個起動させる。ステップS1116にて、ユーザが自転車に乗って移動していないと判定された場合(ステップS1116/No)、ステップS1124にて、センサ制御部121は音声認識用マイク(音声センサ)を1個起動させる。ここで、図7の示したセンサ制御動作はあくまで一例であり、適宜変更され得る。
また、図示していないが、制御部120または表示制御部140等は、判定結果に応じてセンサ以外の装置または機能を制御してもよい。例えば、ユーザが電車または車に乗って移動している状態が所定の時間以上継続した場合、Wi−Fi(登録商標)通信の実施が困難である可能性があるため、制御部120は無線通信部110によって行われる無線通信をWi−Fi通信からセルラー通信(4Gモバイル通信等)に変更してもよい。これにより、制御部120は、Wi−Fi通信におけるアクセスポイントのサーチのために消費される電力を削減することができる。
また、ユーザが走っている状態、または、階段を上がっている状態が所定の時間以上継続した場合、ユーザが音または振動による通知に気づかない可能性があるため、制御部120は、通知のための処理を行わなくてもよい。これにより、制御部120は、当該処理のために消費される電力を削減することができる。また、ユーザが自転車に乗って移動している状態が所定の時間以上継続した場合、ユーザがディスプレイ(表示部150)を確認することは危険であるため、表示制御部140は、ディスプレイ(表示部150)を停止してもよい。これにより表示制御部140は、表示部150による表示のために消費される電力を削減することができる。
<5.変形例>
上記では、本実施形態に係る情報処理装置100の動作について説明した。続いて、本開示の変形例について説明する。
(5−1.第1の変形例)
まず、図8〜図10を参照して、本開示の第1の変形例について説明する。第1の変形例は、各モードが階層化されるケースである。より具体的に説明すると、第1の変形例に係る各モードは、複数の階層に分かれてもよい。例えば、モード1がモード1−1およびモード1−2の2階層に分かれてもよい。もちろん、モード1だけでなくモード2およびモード3も複数の階層に分かれてもよく、2階層以外の、例えば3階層以上に分かれてもよい。これにより、情報処理装置100は、使用するセンサ、センシングデータのサンプリング周波数、使用するプロセッサをより細かく設定することができる。例えば、上記の実施形態においては、モード1のサンプリング周波数は8Hzであったが、第1の変形例においては、モード1がモード1−1およびモード1−2の2階層に分けられ、モード1におけるサンプリング周波数が1Hzに設定され、モード1−2におけるサンプリング周波数が8Hzに設定されてもよい。
そして上記の実施形態においては、モード2では2クラス判定処理が行われ、モード3では13クラス判定処理が行われたが、第1の変形例においては、クラス判定処理も階層化されてもよい。ここで、図8を参照して、クラス判定処理の階層化についてより具体的に説明する。図8は、第1の変形例における階層化されたクラス判定処理の一例を示す図である。
図8に示すように、第1の変形例においては、18種類(グループ0〜グループ17)に階層化されたクラス判定処理が存在する。図8に示した18種類はあくまで一例であり、適宜変更されてもよい。情報処理装置100は、階層化されたモードに、図8に示したグループのいずれかを適用してもよい。例えば、モード3−1にグループ1が適用され、モード3−2にグループ0が適用されてもよい。すなわち、情報処理装置100は、モード3−1で「Stay/On Foot/On Vehicle」という3クラスの判定処理を行った後に、モード3−2で13クラス判定処理を行ってもよい。これにより、情報処理装置100は、判定結果に基づくセンサ制御およびシステム制御を、より細かく行うことができるため、情報処理装置100は、各モードに応じてより適したセンサ、サンプリング周波数またはプロセッサ等を選択したり、設定を行ったりすることが可能になる。したがって、情報処理装置100またはセンサの消費電力量がより低減され得る。
次いで、図9を参照して、第1の変形例に係る情報処理装置100の動作について説明する。図9は、モード1がモード1−1およびモード1−2の2階層に分けられた場合における、情報処理装置100の動作を示すフローチャートである。
図9のステップS1200では、モード制御部122が、モードを、モード1−1(加速度センサ:1Hz)へ設定する。ステップS1204では、判定部123が、加速度センサから1サンプル分のセンシングデータを取得する。ステップS1208では、判定部123に備えられるプロセッサ1が、センシングデータを用いて3次元空間における加速度のベクターを算出し、当該ベクターと前回のサンプリングによるベクターの差分のノルムを算出する。ここで、モード1−1においては、図6のステップS1008とは異なり、BPFによる、ユーザの動きであると認識され得る周波数領域に含まれない周波数の除去が行われない。
その後、ノルムが所定の閾値を超えている場合(ステップS1212/Yes)、ステップS1216にて、モード制御部122は、モードを、モード1−2(加速度センサ:8Hz)へ変更する。ステップS1212にて、ノルムが所定の閾値を超えていない場合(ステップS1212/No)、処理がステップS1204へ移動する。ステップS1220では、判定部123が、加速度センサから1サンプル分のセンシングデータを取得する。ステップS1224では、判定部123に備えられるプロセッサ1がノルムを算出し、当該ノルムについて、ユーザの動きであると認識され得る周波数領域に含まれない周波数がBPFによって除去される。
その後、ノルムが所定の閾値を超えている場合(ステップS1228/Yes)、モード制御部122は、モードを、モード2へ変更する(図9では、ステップS1228/Yesに対応する処理を、便宜的に「終了」と記載している)。ステップS1228にて、ノルムが所定の閾値を超えておらず(ステップS1228/No)、かつ、モードが1−2に設定されたタイミングから所定の時間が経過した場合(ステップS1232/Yes)、処理がS1200へ移動し、モード制御部122が、モードを、モード1−2からモード1−1へ変更する。ステップS1232にて、モードが1−2に設定されたタイミングから所定の時間が経過していない場合(ステップS1232/No)、モード制御部122はモードの変更を行わず、処理がステップS1220へ移動する。
次いで、図10を参照して、モード3が複数の階層に分けられた場合における情報処理装置100の動作について説明する。図10は、モード3がモード3−1およびモード3−2の2階層に分けられた場合における、情報処理装置100の動作を示すフローチャートである。ここで、モード3−1においては、図8のグループ2が適用され、モード3−2においては、グループ0が適用されることとする。
図10のステップS1300では、モード制御部122が、モードを、モード3−1(加速度センサ:16Hz)へ設定する。ステップS1304では、判定部123が、加速度センサから5秒分のセンシングデータを取得する。ステップS1308では、判定部123が、グループ2のクラス判定処理を行う。すなわち、判定部123が、センシングデータを用いて「Active/Passive」いずれかの判定を行う。
クラスがActiveであると判定された場合(ステップS1312/Yes)、ステップS1316にて、モード制御部122が、モードを、モード3−2(加速度センサ:16Hz、気圧センサ:4Hz)へ変更する。ここで、クラスがActiveであるということは、図8に示すように、クラスが「Walk/Run/Upstairs/Downstairs」のいずれかであるということである。クラスがActiveであると判定された場合に、加速度センサの他に気圧センサからセンシングデータが取得されることによって、判定部123は、上下の移動方向を判定することができる。すなわち、判定部123は、WalkおよびRunだけでなく、UpstairsおよびDownstairsについても判定することができる。もちろん、気圧センサ以外のセンサが追加されてもよい。
ステップS1312にて、クラスがActiveでない、すなわちクラスがPassiveであると判定された場合(ステップS1312/No)、モード制御部122が、モードを、モード3−2(加速度センサ:64Hz、気圧センサ:8Hz、地磁気センサ:8Hz)へ変更する。ここで、クラスがPassiveであるということは、図8に示すように、クラスが「Stay/EscUP/EscDown/ElevUP/ElevDown/Train/Bus/Car/Bicycle」のいずれかであるということである。クラスがPassiveであると判定された場合に、加速度センサの他に気圧センサおよび地磁気センサからセンシングデータが取得されることによって、判定部123は、これらの動きまたは移動手段を判定することができる。もちろん、気圧センサおよび地磁気センサ以外のセンサが追加されてもよい。
ステップS1324では、判定部123が、各センサから5秒分のセンシングデータを取得する。ステップS1328では、判定部123が、グループ0のクラス判定処理を行う。すなわち、判定部123が、センシングデータを用いて13クラス判定処理を行う。判定部123による13クラス判定処理において、いずれかのクラスの尤度が高い場合(ステップS1332/No)、13クラス判定処理の結果が出力される。その後、判定部123は、データ取得(ステップS1324)および13クラス判定処理(ステップS1328)を継続する(図10では、ステップS1332/Noに対応する処理を、便宜的に「終了」と記載している)。ステップS1332にて、いずれのクラスの尤度も低い場合(ステップS1332/Yes)、処理がステップS1300へ移動し、モード制御部122が、モードを、モード3−2からモード3−1へ変更する。
(5−2.第2の変形例)
上記では、本開示の第1の変形例について説明した。続いて、図11を参照して、本開示の第2の変形例について説明する。第2の変形例は、サーバが判定部123の代わりに判定処理を行うケースである。ここで、図11を参照して、第2の変形例における情報処理システムの構成について説明する。
図11は、第2の変形例に係る情報処理システムの構成を示す図である。図11に示すように、第2の変形例に係る情報処理システムは、情報処理装置100と、サーバ200と、ネットワーク300と、を備える。サーバ200は、1以上の情報処理装置100とネットワーク300によって接続されており、サーバ200は、情報処理装置100の判定部123と同様の機能を有することができる。すなわち、サーバ200は、情報処理装置100から提供されるセンシングデータを用いて、モードの変更のための判定処理を行うこと、または、クラス判定処理を行うことができる。
より具体的に説明すると、第2の変形例において、情報処理装置100は、センシングデータをサーバ200へ送信し、サーバ200は受信したセンシングデータを用いて、モードの変更のための判定処理またはクラス判定処理を行い、当該処理の結果に関する情報を情報処理装置100へ送信する。当該情報を受信した情報処理装置100は、モードの変更、使用するセンサの変更、サンプリング周波数の変更またはセンサ制御等を行う。これによって、情報処理装置またはセンサの消費電力量がより低減させ得る。
また、サーバ200が判定処理の一部を判定部123の代わりに行ってもよい。例えば、モード1において、ノルムを算出したり、BPFを適用したり、当該ノルムと所定の閾値を比較したりする処理は情報処理装置100の判定部123が行い、モード2およびモード3におけるクラス判定処理をサーバ200が判定部123の代わりに行ってもよい。このように、情報処理装置100とサーバ200の処理内容は適宜変更され得る。これにより、例えば、サーバ200による処理が遅い場合またはサーバ200に障害が発生した場合等においては、情報処理装置100が判定処理を行ってもよい。
ここで、サーバ200は、判定処理の結果に関する情報を情報処理装置100以外の他の装置へ送信してもよい。例えば、サーバ200は当該情報を、ユーザの自宅または会社等に備えられるロボット等の情報機器に送信してもよい。これにより、当該情報機器は、ユーザの動きまたは移動手段に応じた動作または処理を行うことができる。例えば、ユーザの自宅に備えられるロボットが、所定の時間帯(例えば夜間帯等)に、ユーザが電車に乗っている情報を取得することで、ユーザが帰宅途中であると判定し、エアコンの起動等の処理を行ってもよい。また、サーバ200は、処理結果に関する情報をSNS(Social Networking Service)へ連携してもよい。これにより、ユーザおよびその他の人が、SNS上でユーザの動きまたは移動手段等を把握することができる。
また、サーバ200は、判定処理のためのアルゴリズムの改善を行ってもよい。より具体的に説明すると、情報処理装置100がユーザに対して、サーバ200または情報処理装置100によって行われた判定処理へのフィードバック機能を提供する。ユーザは情報処理装置100を用いて、判定処理が誤っている、または正しい旨をフィードバックする。情報処理装置100は、判定処理に関する情報およびフィードバック情報をサーバ200へ送信し、サーバ200では、これらの情報を用いて判定処理のためのアルゴリズムの改良を行う。
例えば、サーバ200は、多くのユーザから類似的な内容をフィードバックされている場合には、全ユーザの判定処理のためのアルゴリズムを改良してもよい。また、サーバ200は、特定のユーザから頻繁に類似的な内容をフィードバックされている場合には、特定のユーザに対して当該アルゴリズムをカスタマイズしてもよい。また、サーバ200は、ユーザ属性(年齢、性別、身長、体重、障害の有無等)も踏まえて当該アルゴリズムを改良してもよい。サーバ200は、アルゴリズムの改良を行った後、当該アルゴリズムが適用された判定処理用のプログラムを情報処理装置100へ提供する。これにより、アルゴリズムの不具合を解消でき、各ユーザに適した判定処理が行われ得る。
<6.応用例>
上記では、本開示の変形例について説明した。続いて、本開示の応用例について説明する。本開示は、様々な分野の製品、システムまたはサービスへ応用され得る。より具体的に説明すると、ユーザまたは物体の動きを段階的に分類することによって、情報機器の消費電力量を低減させることが可能である。
(6−1.監視システムへの応用)
まず、本開示は監視システムへ応用され得る。例えば、当該監視システムにおける監視サーバは、監視エリアに不審者が存在しない状態をモード1とし、監視エリアに不審者が侵入した状態をモード2とし、不審者が継続的に何らか作業を行っている状態をモード3とする。そして監視サーバは、本実施形態と同様にモードに応じて、使用するセンサ、サンプリング周波数、使用するプロセッサ等を変更し、不審者の動きの判定結果に応じて、使用するセンサを変更する。例えば、当該監視サーバは、モード3が設定されている時に不審者が不審物を置いて立ち去ったと判定した場合、使用するセンサを増やすことで当該不審物の特徴を把握してもよい。本開示が監視システムに応用されることによって、監視サーバは、使用するセンサ、サンプリング周波数または使用するプロセッサを変更しない場合に比べて、自装置またはセンサの消費電力量を低減させることができる。
(6−2.自動販売機への応用)
また、本開示は自動販売機へ応用され得る。例えば、自動販売機は、自装置の付近にユーザが存在しない状態をモード1とし、自装置の付近にユーザが存在する状態をモード2とし、ユーザが自装置の商品を選んでいる状態をモード3とする。そして、自動販売機は、上記と同様にモードに応じて、使用するセンサ、サンプリング周波数、使用するプロセッサを変更し、ユーザの動きの判定結果に応じて、使用するセンサを変更する。例えば、当該自動販売機は、モード3が設定された場合に、使用するセンサを増やすことでユーザの属性(性別、年齢等)を判定し、当該判定結果に基づいて商品のレコメンドを行ってもよい。本開示が自動販売機に応用されることによって、自動販売機は、使用するセンサ、サンプリング周波数または使用するプロセッサを変更しない場合に比べて、自装置またはセンサの消費電力量を低減させることができる。
<7.ハードウェア構成>
以上、本開示の実施形態を説明した。上記のクラス判定処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
図12は、本実施形態に係る情報処理装置100のハードウェア構成を示す図である。情報処理装置100は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、を備える。また、情報処理装置100は、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、制御部120の各機能が実現される。
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、該入力装置908を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
ストレージ装置910は、本実施形態にかかる情報処理装置100の記憶部170の一例として構成されたデータ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
ドライブ911は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912により、無線通信部110の機能が実現される。
なお、上記では図12を参照して情報処理装置100のハードウェア構成について説明したが、第2の変形例におけるサーバ200のハードウェアは情報処理装置100と実質的に同一に構成することが可能であるため、サーバ200のハードウェア構成の説明を省略する。
<8.補足事項>
上記では、本実施形態に係る情報処理装置100のハードウェア構成について説明した。続いて、図13および図14を参照して、補足事項について説明する。
(8−1.センサ制御に関する設定)
まず、図13を参照して、センサ制御に関する設定機能について説明する。上記のとおり、情報処理装置100は、クラス判定処理の結果に基づいて各センサを制御することができる。ここで、情報処理装置100は、当該センサ制御に関する設定のための画面をユーザへ提供してもよい。
図13は、クラス判定処理の結果に基づくセンサ制御についての設定画面の一例を示す図である。図13に示す画面10には、プルダウン11、プルダウン12、切替ボタン13が表示されている。プルダウン11は、センサ制御の設定を識別するための情報である。例えば、ユーザは、プルダウン11によって、プリセットA、プリセットB、プリセットC等を選択することができ、プリセットAを通勤時の設定として利用し、プリセットBを仕事時の設定として利用し、プリセットCを週末用の設定として利用することができる。すなわち、ユーザは、用途毎にセンサ制御の設定を行うことができる。
また、プルダウン12は、設定を行うセンサを指定するための情報である。例えば、ユーザは、プルダウン12によって、GPSセンサ、歩数計(または歩く動作または走る動作を検知するセンサ)、音声認識用マイク(音声センサ)または心拍センサ等を選択することで、設定を行うセンサを指定する。また、ユーザは、プルダウン12によってセンサ以外を指定できてもよい。例えば、ユーザは、プルダウン12によってディスプレイ(表示部150)または通知(バイブレーション等)等を指定できてもよい。
また、切替ボタン13は、各クラスにおいて、プルダウン12に指定されたセンサ等を
起動させるかまたは停止させるかを切り替えるためのボタンである。例えば、図13に示すように、ユーザが「Stay:OFF」に設定した場合、ユーザが移動していない(Stay)と判定されるとGPSセンサが停止される。また、ユーザが「Wail:ON」に設定した場合、ユーザが歩いていると判定されるとGPSセンサが起動される。このように、ユーザは、当該画面を用いて、用途、センサおよびクラスを選択してセンサ制御に関する設定を行うことができる。
(8−2.センサ制御に関する設定)
続いて、図14を参照して、判定結果の画面表示機能について説明する。図14は、本実施形態に係る表示部150によって表示される画面の一例を示す図である。図14には、経路案内のアプリケーションが起動されている場合の画面が示されており、画面の領域20に判定結果に関する情報が示されている。
より具体的に説明すると、表示部150は、各ユーザに対応するモード情報を表示することができる。例えば、領域20に表示された3個のランプのうちの左側のランプがモード1に対応し、真ん中のランプがモード2に対応し、右側のランプがモード3に対応しているとする。これにより、ユーザは、図14のfriendAがモード1の状態であり、friendDがモード2の状態であり、friendB、friendCおよびfriendEがモード3の状態であることを把握することができる。ユーザは、各ユーザに対応するモード情報を把握することで、各ユーザが行っている動作または各ユーザが置かれている環境等を推測することができる。例えば、あるユーザに対応するモードがモード3である場合、当該ユーザは移動中であることが推測される。また、あるユーザに対応するモードがモード1またはモード2を行き来している場合、当該ユーザは自宅または会社等にいることが推測される。
また、図示していないが、表示部150は、ユーザ本人に対応するモード情報を表示してもよい。これにより、例えば、アプリケーションがユーザのモード情報に連動する場合、ユーザは、アプリケーションの動作を予測すること等ができる。より具体的に説明すると、各モードでアプリケーションの動作が異なる場合、ユーザは、モードの遷移状況を把握することによって、アプリケーションの動作を予測することができるため、より円滑に当該アプリケーションを使用することができる。
また、図示していないが、表示部150は、モード情報だけでなく、クラス情報(Walk、Run、Train等)を表示してもよい。これにより、ユーザは、自分自身を含めた各ユーザの動きまたは移動手段をより詳細に把握することができる。
<9.むすび>
以上説明したように、本開示の一実施形態に係る情報処理装置100は、人の動き等の判定結果に基づいてモードを段階的に変更し、モードに応じて、使用するセンサ、サンプリング周波数、使用するプロセッサを変更する。また、情報処理装置100は、ユーザの動き等の判定結果に応じて、使用するセンサを変更する。これにより、本実施形態に係る情報処理装置100は、自装置またはセンサの消費電力量を低減させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本実施形態に係る情報処理装置100の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、図6、図7、図9または図10に記載された各ステップは、適宜、図に記載された順序と異なる順序で処理されても、並列的に処理されてもよい。例えば、図7に記載されたステップS1104およびステップS1116は、異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置100の構成の一部は、適宜情報処理装置100外に設けられ得る。例えば、情報処理装置100は、センサ部130を備えず、外部装置に備えられるセンサのみを使用して各種処理を行ってもよい。
また、情報処理装置100の機能の一部が、制御部120よって具現されてもよい。すなわち、制御部120が、無線通信部110、センサ部130、表示制御部140、表示部150または入力部160の機能の一部を具現してもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
センシングデータを取得する取得部と、
前記センシングデータに基づいてモードを変更するモード変更部と、を備え、
前記取得部は、前記モードの変更に基づいて、取得するセンシングデータを変更する、
情報処理装置。
(2)
前記モード変更部は、前記センシングデータに基づいて段階的に前記モードを変更する、
前記(1)に記載の情報処理装置。
(3)
前記モード変更部は、加速度センサから取得されるセンシングデータに基づいて前記モードを変更する、
前記(1)または(2)のいずれか1項に記載の情報処理装置。
(4)
前記モードは、ユーザまたは物体の動きの状態に関するモードである、
前記(1)から(3)のいずれか1項に記載の情報処理装置。
(5)
前記モードは、前記ユーザまたは前記物体が継続的に止まっている状態に近い時に自装置に適用される第1のモード、および、前記ユーザまたは前記物体が継続的に動いている状態に近い時に自装置に適用される第2のモードを含む、
前記(4)に記載の情報処理装置。
(6)
前記取得部は、前記第2のモードが適用されている場合に、前記第1のモードが適用されている場合に比べて、より多くの種類のセンシングデータを取得する、
前記(5)に記載の情報処理装置。
(7)
前記取得部は、前記第2のモードが適用されている場合に、前記第1のモードが適用されている場合に比べて、消費電力量がより多いセンサによって生成されるセンシングデータを取得する、
前記(5)に記載の情報処理装置。
(8)
前記取得部は、前記モードに基づいて、前記センシングデータのサンプリング周波数を変更する、
前記(5)から(7)のいずれか1項に記載の情報処理装置。
(9)
前記取得部は、前記第2のモードが適用されている場合に、前記第1のモードが適用されている場合に比べて、前記サンプリング周波数を増加させる、
前記(8)に記載の情報処理装置。
(10)
前記モードに基づいて、前記情報処理装置の処理に使用されるプロセッサを制御するプロセッサ制御部をさらに備える、
前記(5)から(9)のいずれか1項に記載の情報処理装置。
(11)
前記プロセッサ制御部は、前記第2のモードの場合に、前記第1のモードの場合に比べて、処理能力の高いプロセッサを使用することを決定する、
前記(10)に記載の情報処理装置。
(12)
前記センシングデータに基づいてユーザまたは物体の動きを判定する判定部をさらに備える、
前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
前記取得部は、前記動きの判定結果に基づいて取得する前記センシングデータを変更する、
前記(12)に記載の情報処理装置。
(14)
センシングデータを取得することと、
前記センシングデータに基づいてモードを変更することと、
前記モードの変更に基づいて、取得するセンシングデータを変更することと、を有する、
コンピュータにより実行される情報処理方法。
(15)
センシングデータを取得することと、
前記センシングデータに基づいてモードを変更することと、
前記モードの変更に基づいて、取得するセンシングデータを変更することと、
をコンピュータに実現させるためのプログラム。
100 情報処理装置
110 無線通信部
120 制御部
130 センサ部
140 表示制御部
150 表示部
160 入力部
170 記憶部
200 サーバ
300 ネットワーク

Claims (10)

  1. センシングデータを取得する取得部と、
    前記センシングデータに基づいてユーザまたは物体の動きを判定する判定部と、
    前記動きの判定結果に基づいて、段階的にモードを変更するモード変更部と
    を備え、
    前記取得部は、前記モードの変更に基づいて、取得するセンシングデータを変更し、
    前記判定部は、前記モードの変更に基づいて、
    前記センシングデータと閾値との比較による判定、及び、前記センシングデータから抽出された特徴量を機械学習で得られたモデルに入力することによる判定のうちのいずれかの判定に変更する、
    情報処理装置。
  2. 前記モードは、前記ユーザまたは前記物体が継続的に止まっている状態に近い時に自装置に適用される第1のモード、および、前記ユーザまたは前記物体が継続的に動いている状態に近い時に自装置に適用される第2のモードを含む、
    請求項に記載の情報処理装置。
  3. 前記取得部は、前記第2のモードが適用されている場合に、前記第1のモードが適用されている場合に比べて、より多くの種類のセンシングデータを取得する、
    請求項に記載の情報処理装置。
  4. 前記取得部は、前記第2のモードが適用されている場合に、前記第1のモードが適用されている場合に比べて、消費電力量がより多いセンサによって生成されるセンシングデータを取得する、
    請求項に記載の情報処理装置。
  5. 前記取得部は、前記モードに基づいて、前記センシングデータのサンプリング周波数を変更する、
    請求項2〜4のいずれか1項に記載の情報処理装置。
  6. 前記取得部は、前記第2のモードが適用されている場合に、前記第1のモードが適用されている場合に比べて、前記サンプリング周波数を増加させる、
    請求項に記載の情報処理装置。
  7. 前記モードに基づいて、前記情報処理装置の処理に使用されるプロセッサを制御するプロセッサ制御部をさらに備える、
    請求項2〜6のいずれか1項に記載の情報処理装置。
  8. 前記プロセッサ制御部は、前記第2のモードの場合に、前記第1のモードの場合に比べて、処理能力の高いプロセッサを使用することを決定する、
    請求項に記載の情報処理装置。
  9. センシングデータを取得することと、
    前記センシングデータに基づいてユーザまたは物体の動きを判定することと、
    前記動きの判定結果に基づいて、段階的にモードを変更することと、
    前記モードの変更に基づいて、取得するセンシングデータを変更することと、
    を有し、
    前記判定は、前記モードの変更に基づいて、前記センシングデータと閾値との比較による判定、及び、前記センシングデータから抽出された特徴量を機械学習で得られたモデルに入力することによる判定のうちのいずれかの判定に変更される、
    コンピュータにより実行される情報処理方法。
  10. センシングデータを取得することと、
    前記センシングデータに基づいてユーザまたは物体の動きを判定することと、
    前記動きの判定結果に基づいて、段階的にモードを変更することと、
    前記モードの変更に基づいて、取得するセンシングデータを変更することと、
    をコンピュータに実現させるためのプログラムであって、
    前記判定は、前記モードの変更に基づいて、前記センシングデータと閾値との比較による判定、及び、前記センシングデータから抽出された特徴量を機械学習で得られたモデルに入力することによる判定のうちのいずれかの判定に変更される、
    プログラム。
JP2017556377A 2015-12-18 2016-09-30 情報処理装置、情報処理方法およびプログラム Active JP6868778B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562269316P 2015-12-18 2015-12-18
US62/269,316 2015-12-18
PCT/JP2016/079119 WO2017104227A1 (ja) 2015-12-18 2016-09-30 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017104227A1 JPWO2017104227A1 (ja) 2018-10-04
JP6868778B2 true JP6868778B2 (ja) 2021-05-12

Family

ID=59056525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017556377A Active JP6868778B2 (ja) 2015-12-18 2016-09-30 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US11029743B2 (ja)
EP (1) EP3392735A4 (ja)
JP (1) JP6868778B2 (ja)
WO (1) WO2017104227A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184851B2 (en) 2016-07-18 2021-11-23 Netgear, Inc. Power management techniques for a power sensitive wireless device
US10999793B2 (en) * 2016-07-18 2021-05-04 Netgear, Inc. Power management techniques for a power sensitive wireless device
WO2019142305A1 (ja) * 2018-01-19 2019-07-25 マクセル株式会社 リマインダシステム
US11327496B2 (en) * 2019-01-16 2022-05-10 Ford Global Technologies, Llc Vehicle path identification
WO2020230892A1 (ja) * 2019-05-15 2020-11-19 株式会社Nttドコモ 処理装置
KR20190103101A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 로봇 시스템 및 그 작동방법
US20230009352A1 (en) * 2019-12-25 2023-01-12 Sony Group Corporation Information processing device, program, and method
WO2022251360A1 (en) * 2021-05-27 2022-12-01 Tdk Corporation Method and system for positioning with improved resource conservation
US20230400306A1 (en) * 2022-06-14 2023-12-14 Volvo Car Corporation Localization for autonomous movement using vehicle sensors

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323761A (ja) 2005-05-20 2006-11-30 Toshiba Corp 計算機装置、通信装置及びこれを用いた消費電力制御方法
US8082122B2 (en) * 2006-12-12 2011-12-20 Samsung Electronics Co., Ltd. Mobile device having a motion detector
EP2129999B1 (en) * 2007-03-23 2019-09-04 QUALCOMM Incorporated Multi-sensor data collection and/or processing
WO2009046767A1 (en) * 2007-10-12 2009-04-16 Nokia Corporation Determining whether a wireless communication node is stationary by evaluating changes in information about peer wireless communication nodes
US20110215903A1 (en) * 2010-03-04 2011-09-08 Nokia Corporation Apparatus and Associated Methods
JP5712530B2 (ja) 2010-09-02 2015-05-07 カシオ計算機株式会社 測位装置、測位方法、及び、プログラム
US8706172B2 (en) * 2010-10-26 2014-04-22 Miscrosoft Corporation Energy efficient continuous sensing for communications devices
JP2013042360A (ja) 2011-08-16 2013-02-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9069553B2 (en) * 2011-09-06 2015-06-30 Marvell World Trade Ltd. Switching tasks between heterogeneous cores
US8972180B1 (en) * 2011-11-08 2015-03-03 Marvell International Ltd. Method and apparatus for managing multiple sensors in a navigation system
JP5724976B2 (ja) 2012-09-20 2015-05-27 カシオ計算機株式会社 運動情報検出装置および運動情報検出方法、運動情報検出プログラム
WO2014085506A1 (en) * 2012-11-27 2014-06-05 Rambus Inc. Multiple memory rank system and selection method thereof
JP6166079B2 (ja) 2013-03-27 2017-07-19 ラピスセミコンダクタ株式会社 半導体装置、電子機器、及び判断方法
JP5774060B2 (ja) 2013-06-27 2015-09-02 京セラ株式会社 電子機器及びシステム
JP5800855B2 (ja) 2013-05-17 2015-10-28 京セラ株式会社 携帯電子機器
JP6312990B2 (ja) 2013-06-20 2018-04-18 京セラ株式会社 携帯機器、並びに携帯機器の制御プログラム及び制御方法
US10130843B2 (en) 2013-05-17 2018-11-20 Kyocera Corporation Electronic device, control program, control method, and system
JP6353198B2 (ja) 2013-06-27 2018-07-04 京セラ株式会社 電子機器
JP6452933B2 (ja) 2013-10-30 2019-01-16 京セラ株式会社 電子機器
US9037199B1 (en) * 2014-02-13 2015-05-19 Google Inc. Detecting transitions between physical activity
US9009516B1 (en) * 2014-02-19 2015-04-14 Google Inc. Adjusting a power mode of a wearable computing device based on motion data
CN104391561B (zh) * 2014-09-30 2018-01-26 英华达(上海)科技有限公司 穿戴式设备进行模式切换的方法及该穿戴式设备

Also Published As

Publication number Publication date
JPWO2017104227A1 (ja) 2018-10-04
US11029743B2 (en) 2021-06-08
US20180364787A1 (en) 2018-12-20
EP3392735A1 (en) 2018-10-24
WO2017104227A1 (ja) 2017-06-22
EP3392735A4 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
JP6868778B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109792577B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
CN108958633B (zh) 分屏显示方法、装置、存储介质及电子设备
CN106133646B (zh) 基于生理参数确定用户对通知的响应
US10261508B2 (en) Robot control system and recording medium
US20160246378A1 (en) Systems and methods for providing context-sensitive haptic notification frameworks
CN109976517B (zh) 向电子设备的用户提供预激提示
CN105229570B (zh) 显示控制方法和装置
US9079749B2 (en) Simple node transportation system and node controller and vehicle controller therein
KR101165537B1 (ko) 사용자 장치 및 그의 사용자의 상황 인지 방법
CN105144027A (zh) 在确定动作中使用非言语通信
US20140007010A1 (en) Method and apparatus for determining sensory data associated with a user
TW201712539A (zh) 用於可變觸覺輸出之處理器實施方法、運算器件實施方法、電腦程式產品及資訊處理裝置
CN110151152B (zh) 利用可穿戴电子装置的久坐时间段检测
CN110109539A (zh) 一种手势控制方法、穿戴式设备及计算机可读存储介质
CN111183460A (zh) 摔倒检测器和摔倒检测的改进
CN114167984B (zh) 设备控制方法、装置、存储介质及电子设备
CN109995936A (zh) 屏幕点亮方法、移动终端和存储介质
JP6349727B2 (ja) 処理システム、ウェアラブル装置、複数の電子機器の連携方法及びプログラム
CN111314551A (zh) 一种震动调节方法、装置、存储介质及移动终端
US20160283190A1 (en) Information output apparatus, information output method, and computer-readable medium
KR101725541B1 (ko) 시계 및 제어방법
JPWO2020021861A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN109462703A (zh) 屏幕亮度调节方法、存储介质及移动终端

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R151 Written notification of patent or utility model registration

Ref document number: 6868778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151