JP5951695B2 - 行動認識のための方法、装置、およびコンピュータ・プログラム - Google Patents

行動認識のための方法、装置、およびコンピュータ・プログラム Download PDF

Info

Publication number
JP5951695B2
JP5951695B2 JP2014148528A JP2014148528A JP5951695B2 JP 5951695 B2 JP5951695 B2 JP 5951695B2 JP 2014148528 A JP2014148528 A JP 2014148528A JP 2014148528 A JP2014148528 A JP 2014148528A JP 5951695 B2 JP5951695 B2 JP 5951695B2
Authority
JP
Japan
Prior art keywords
behavior
sampling
basis
error
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014148528A
Other languages
English (en)
Other versions
JP2015057691A (ja
Inventor
アンッティ ニスカネン
アンッティ ニスカネン
ヨアヒム ワブニヒ
ヨアヒム ワブニヒ
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2015057691A publication Critical patent/JP2015057691A/ja
Application granted granted Critical
Publication of JP5951695B2 publication Critical patent/JP5951695B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062Compressive sampling or sensing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

実施形態の多くは、一般的に、行動認識のための方法、装置、およびコンピュータ・プログラムに関する。
背景
近年、行動認識など、コンテキスト・アウェアネスに基づくアプリケーションに関する技術が凄まじい発展を遂げている。行動認識は、人間の行動の感知に基づいて、ユーザのニーズを特定するのに役立つ。行動認識の用途としては、例えば医療、老人介護、家事労働など、人間を中心とした現実の様々な課題/状況を挙げることができる。そうした、人間を中心とした課題に対して、信頼性があり費用対効果が大きく、かつエネルギー効率のよい解決策を、行動認識を用いて提供することが望ましいと考えられる。
いくつかの実施形態の摘要
例示の実施形態の様々な側面が、特許請求の範囲に記載される。
第1の側面では、装置にて、行動に関連するサンプル・データを、装置に無線接続された1つ以上のセンサーから受信すること、ただし、サンプル・データは、行動に関連する行動データの圧縮サンプリング(compressive sampling)に基づいて1つ以上のセンサーにて生成され、圧縮サンプリングは、サンプリング情報に基づき実行される、受信することと;サンプル・データに少なくとも基づいて行動を分類することと;行動の分類に関連する誤りを判断することと;誤りと閾値誤り(threshold error)との比較に基づきサンプリング情報を更新または保持することとを含む方法が提供される。
第2の側面では、センサーにて、サンプリング情報を、センサーに無線接続された装置から受信することと;行動に関連するサンプル・データを生成するために、サンプリング情報およびサンプリング基準に少なくとも基づいて、行動に関連する行動データの圧縮サンプリングを実行することと;行動の分類を促進するために、サンプル・データを装置へ送信することとを含む方法が提供される。
第3の側面では、少なくとも1つのプロセッサと;コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを有する装置であって、少なくとも1つのメモリおよびコンピュータ・プログラム・コードは、少なくとも1つのプロセッサとともに、装置に少なくとも、装置にて、行動に関連するサンプル・データを、装置に無線接続された1つ以上のセンサーから受信すること、ただし、サンプル・データは、行動に関連する行動データの圧縮サンプリングに基づいて1つ以上のセンサーにて生成され、圧縮サンプリングは、サンプリング情報に基づき実行される、受信することと;サンプル・データに少なくとも基づいて行動を分類することと;行動の分類に関連する誤りを判断することと;誤りと閾値誤りとの比較に基づきサンプリング情報を更新または保持することとを実行させるよう構成されている、装置が提供される。
第4の側面では、少なくとも1つのプロセッサと;コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを有する装置であって、少なくとも1つのメモリおよびコンピュータ・プログラム・コードは、少なくとも1つのプロセッサとともに、装置に少なくとも、装置にて、サンプリング情報を、装置に無線接続された別の装置から受信することと;行動に関連するサンプル・データを生成するために、サンプリング情報およびサンプリング基準に少なくとも基づいて、行動に関連する行動データの圧縮サンプリングを実行することと;行動の分類を促進するために、サンプル・データを別の装置へ送信することとを実行させるよう構成されている、装置が提供される。
第5の側面では、少なくとも1つのコンピュータ可読ストレージ媒体を含むコンピュータ・プログラム製品であって、コンピュータ可読ストレージ媒体は、命令のセットを含み、命令のセットは、1つ以上のプロセッサによって実行されると、装置に少なくとも、装置にて、行動に関連するサンプル・データを、装置に無線接続された1つ以上のセンサーから受信すること、ただし、サンプル・データは、行動に関連する行動データの圧縮サンプリングに基づいて1つ以上のセンサーにて生成され、圧縮サンプリングは、サンプリング情報に基づき実行される、受信することと;サンプル・データに少なくとも基づいて行動を分類することと;行動の分類に関連する誤りを判断することと;誤りと閾値誤りとの比較に基づきサンプリング情報を更新または保持することとを実行させる、コンピュータ・プログラム製品が提供される。
第6の側面では、少なくとも1つのコンピュータ可読ストレージ媒体を含むコンピュータ・プログラム製品であって、コンピュータ可読ストレージ媒体は、命令のセットを含み、命令のセットは、1つ以上のプロセッサによって実行されると、装置に少なくとも、装置にて、サンプリング情報を、装置に無線接続された別の装置から受信することと;行動に関連するサンプル・データを生成するために、サンプリング情報およびサンプリング基準に少なくとも基づいて、行動に関連する行動データの圧縮サンプリングを実行することと;行動の分類を促進するために、サンプル・データを別の装置へ送信することとを実行させる、コンピュータ・プログラム製品が提供される。
第7の側面では、装置にて、行動に関連するサンプル・データを、装置に無線接続された1つ以上のセンサーから受信する手段であって、サンプル・データは、行動に関連する行動データの圧縮サンプリングに基づいて1つ以上のセンサーにて生成され、圧縮サンプリングは、サンプリング情報に基づき実行される、手段と;サンプル・データに少なくとも基づいて行動を分類する手段と;行動の分類に関連する誤りを判断する手段と;誤りと閾値誤りとの比較に基づきサンプリング情報を更新または保持する手段とを含む装置が提供される。
第8の側面では、装置であって、装置にて、サンプリング情報を、装置に無線接続された別の装置から受信する手段と;行動に関連するサンプル・データを生成するために、サンプリング情報およびサンプリング基準に少なくとも基づいて、行動に関連する行動データの圧縮サンプリングを実行する手段と;行動の分類を促進するために、サンプル・データを別の装置へ送信する手段とを有する装置が提供される。
様々な実施形態が、限定としてではなく例として添付図面の各図に示されている。
例示の実施形態による、行動認識のための例示的なシステムを示す。
例示の実施形態によるデバイスを示す。
例示の実施形態による、行動認識のための装置を示す。
別の例示の実施形態による、行動認識のための別の装置を示す。
例示の実施形態による、行動認識に関連する行動データの圧縮サンプリングの例を示す。
実施形態による、サンプル・データの伝送の順序を示す。
例示の実施形態による、行動認識のための例示の方法を示すフローチャートである。
別の例示の実施形態による、行動認識のための例示の方法を示すフローチャートである。
さらに別の例示の実施形態による、行動認識のための例示の方法を示すフローチャートである。
詳細説明
図1〜9を参照することにより、例示の実施形態およびその潜在的な効果が理解される。
図1は、例示の実施形態による、行動認識を実行する例示的なシステム100を示す。例示の実施形態では、システム100は、例えば人間の行動などの行動に関連する行動データの感知に基づく、行動認識を促進するよう構成されてもよい。具体的には、行動認識の目的は、所与の環境にある1つ以上のセンサーによって獲得され得る行動データから、人間挙動を推論することであり、それに基づいて様々な決定が下され得る。例示の実施形態では、行動に依存するユーザ体験を提供するために、ユーザの行動についての情報が利用されてもよい。例えば、行動認識に基づき、ユーザが走っていると判断されれば、行動認識センサーと接続されたデバイスのユーザ・インターフェース(UI:user interface)が、よりアクセスしやすい形式に調節されてもよい。
図1に示されているように、システム100は、例えばデバイス108などのデバイスと通信可能に接続された、例えばセンサー102、104、106などの1つ以上のセンサーを備える。実施形態では、デバイス108は、この1つ以上のセンサーと通信できる任意の種類の機器であってもよい。実施形態では、デバイスは、スマートフォン、ラップトップ、携帯電話、携帯情報端末(PDA:personal digital assistant)などであってもよい。実施形態では、1つ以上のセンサーは、通信経路を介してデバイスと接続されてもよい。実施形態では、通信経路は、例えば無線リンク110などの無線リンクであってもよい。実施形態では、無線リンク110は、無線通信ネットワークの無線リンク・アクセス・ネットワークを含んでもよい。無線通信ネットワークの例として、セルラー通信ネットワークを挙げることができるが、これに限定はされない。通信経路はさらに、無線通信ネットワークの他の構成要素、および無線通信ネットワークが接続される有線通信ネットワークの構成要素さえも備えてもよい。
1つ以上のセンサーは、人間の行動に関連する行動データを獲得するよう構成されてもよい。例示の実施形態では、行動データは、例えば動き、温度、位置など、行動に関連する測定データを含んでもよい。実施形態では、1つ以上のセンサーは、行動データをサンプリングし、それに応じてサンプル・データを生成するよう構成されてもよい。実施形態では、サンプル・データは、ランダムな基底ベクトルを使用して行動データに対して圧縮サンプリングを実行することによって生成されてもよい。
本願明細書で言及される、圧縮サンプリング(compressive sampling)または圧縮センシング(compressive sensing)は、データ圧縮およびデータ再構成を容易にする。圧縮センシングの理論によれば、多数のゼロ値またはゼロに近い値と、少数の非ゼロ値とによって原信号を表現できる場合、その信号は「疎」または「スパース」(sparse)であると言われる。多くの自然信号は、スパースまたは圧縮可能であり、よってこれらの信号は、適切な基底で表現されると簡潔な表現を有するが、圧縮センシングは、このことを利用するものである。「スパース」基底に対し「インコヒーレント」な基底においてナイキスト周波数未満のレートでサンプリングをすることで、すべての関連データの収集が促進され、原信号を再構成することができる。よって、圧縮センシングは、1つ以上のセンサーによってサンプリングされる行動データ量の削減を促進し、それによって、1つ以上のセンサーでの計算要求を削減する。1つ以上のセンサーによって生成されるサンプル・データを、以下、サンプル・データと呼ぶこともある。よって、「サンプル・データ」および「圧縮サンプル・データ」という用語は、本記載全体にわたって置き換え可能なように使用され得る。
実施形態において、1つ以上のセンサーによって生成されたサンプル・データは、デバイス108へ送信されてもよい。実施形態において、サンプル・データは、リンク110などの無線リンクを介してデバイス108へ送信されてもよい。デバイス108は、1つ以上のセンサーから受信されたサンプル・データに基づき、ユーザの「行動」を分類し、行動にラベルを割り当てる。実施形態において、行動という用語には、例えば走る、歩く、階段を上るもしくは下りる、ジョギングする、料理する、冷蔵庫を開けるなどの様々な例が含まれ得る。一般に、ユーザによるアクションおよび/または運動を表す任意の状態を行動と呼ぶことができる。したがって、言及した例は、本開示に対する限定として解釈されてはならない。
実施形態において、サンプル・データは、分類を実行するために直接、サンプル・データの復元を実行せずに利用されてもよい。分類の前にサンプル・データを復元する必要性がないということは、デバイス108の計算処理および電力要件を低減させるのに有利である。さらに、データは、1つ以上のセンサーにて圧縮サンプリングされるため、効率的に伝送されてデバイス上に記憶されることが可能である。
実施形態において、行動に関連する情報は、行動に依存するユーザ体験を提供するために使用されてもよい。例えば、ユーザが走っていると見なされれば、デバイス108のユーザ・インターフェースは、ユーザが容易にアクセスできる形式に調節されてもよい。例示の実施形態では、選択された1つ以上のセンサーのみが、ユーザの行動に関連するそれぞれの行動データをサンプリングして、それぞれのサンプル・データをデバイス108へ送信してもよい。他の例示の実施形態では、デバイス108と接続された複数のセンサーが、それぞれの行動データをサンプリングして、それぞれのサンプル・データをデバイス108へ送信してもよい。当然のことながら、本願明細書において、1つ以上のセンサー(または複数のセンサー)は、種々の物理量を感知するよう構成された個別の様々なセンサーを指す。実施形態において、関連するサンプル・データをデバイス108へ送信するよう構成された1つ以上のセンサーは、同期して動作してもよい。例えば、複数のセンサーがデータの感知および収集のために動作している場合、複数のセンサーのタイミングが同期されてもよい。
図2は、例示の実施形態によるデバイス200を示す。実施形態において、デバイス200は、デバイス108(図1参照)の例とされてもよい。なお、当然のことながら、図示および後述されるデバイス200は、様々な実施形態から利益を受け得る1つのタイプのデバイスの例示にすぎず、したがって、実施形態の範囲を限定するものと見なされてはならない。よって、当然のことながら、デバイス200に関連して後述されるコンポーネントの少なくとも一部は、任意選択である場合もあり、したがって、例示の実施形態は、図2の例示の実施形態に関連して記載されるものに比べて多い、少ない、または異なるコンポーネントを備えてもよい。デバイス200は、例えば、携帯情報端末(PDA)、ページャ、モバイルテレビ、ゲーム用デバイス、セルラー電話、あらゆるタイプのコンピュータ(例えばラップトップ、モバイル・コンピュータ、またはデスクトップ)、カメラ、オーディオ/ビデオ・プレーヤ、ラジオ、全地球測位システム(GPS:global positioning system)デバイス、メディア・プレーヤ、電話機能付き携帯情報端末、または前述のものの任意の組み合わせなど、いくつかのタイプのモバイル電子デバイス、および他のタイプの通信デバイスのうちのいずれかとすることができるであろう。
デバイス200は、送信機204および受信機206と動作可能に通信する1つのアンテナ202(または複数のアンテナ)を備えてもよい。デバイス200は、送信機204に信号を供給し、受信機206から信号を受信する、コントローラ208またはその他の処理デバイスなどの装置をさらに備えてもよい。信号は、適切なセルラー・システムの無線インターフェース標準に従った信号情報を含んでもよく、さらに/またはユーザ音声に対応するデータ、受信データ、および/またはユーザ生成データも含んでもよい。この点に関して、デバイス200は、1つ以上の無線インターフェース標準、通信プロトコル、変調方式、およびアクセス方式で動作できてもよい。例示として、デバイス200は、いくつかの第1、第2、第3、および/または第4世代通信プロトコルなどのうちのいずれかに従って動作できてもよい。例えば、デバイス200は、IS−136(時分割多重接続(TDMA:time division multiple access))、GSM(登録商標)、およびIS−95(符号分割多重接続(CDMA:code division multiple access))などの第2世代(2G:second−generation)無線通信プロトコル、またはユニバーサル・モバイル通信システム(UMTS:Universal Mobile Telecommunications System)、CDMA2000、WCDMA(登録商標)、および時分割同期CDMA(TD−SCDMA:time division−synchronous CDMA)などの第3世代(3G:third−generation)無線通信プロトコル、進化型ユニバーサル地上無線アクセス・ネットワーク(E−UTRAN:evolved−universal terrestrial radio access network)などの3.9G無線通信プロトコル、第4世代(4G:fourth−generation)無線通信プロトコルなどに従って動作できてもよい。別の選択肢として(またはさらに)、デバイス200は、非セルラー通信メカニズムに従って動作できてもよい。例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワークなどのコンピュータ・ネットワーク、Bluetooth(登録商標)ネットワーク、Zigbee(登録商標)ネットワーク、米国電気電子学会(IEEE:Institute of Electric and Electronic Engineers)802.11xネットワークなどの短距離無線通信ネットワーク、公衆交換電話網(PSTN:public switched telephone network)などの有線通信ネットワークなどである。
コントローラ208は、特にデバイス200のオーディオ機能および論理機能を実装する回路を備えてもよい。例えば、コントローラ208は、1つ以上のデジタル信号プロセッサ・デバイス、1つ以上のマイクロプロセッサ・デバイス、付属のデジタル信号プロセッサ(単数または複数)を備えた1つ以上のプロセッサ(単数または複数)、付属のデジタル信号プロセッサ(単数または複数)なしの1つ以上のプロセッサ(単数または複数)、1つ以上の専用コンピュータ・チップ、1つ以上のフィールド・プログラマブル・ゲート・アレイ(FPGA:field−programmable gate array)、1つ以上のコントローラ、1つ以上の特定用途向け集積回路(ASIC:application−specific integrated circuit)、1つ以上のコンピュータ(単数または複数)、様々なアナログ−デジタル変換器、デジタル−アナログ変換器、および/またはその他サポート回路を備えてもよいが、これらに限定はされない。これらのデバイス間に、デバイスのそれぞれの能力に従って、デバイス200の制御および信号処理機能が割り当てられる。したがって、コントローラ208は、変調および伝送の前にメッセージおよびデータを畳み込み符号化およびインターリーブする機能性も備えてもよい。コントローラ208はさらに、内蔵音声符号器を備えもよく、内蔵データ・モデムを備えてもよい。さらに、コントローラ208は、メモリに記憶され得る1つ以上のソフトウェア・プログラムを動作させる機能性を備えてもよい。例えば、コントローラ208は、従来のウェブ・ブラウザなどの接続プログラムを動作させることができてもよい。その場合、接続プログラムは、デバイス200が、無線アプリケーション・プロトコル(WAP:Wireless Application Protocol)、ハイパーテキスト転送プロトコル(HTTP:Hypertext Transfer Protocol)、および/または同様のものなどに従って、ロケーション・ベース・コンテンツおよび/またはその他ウェブ・ページ・コンテンツなどのウェブ・コンテンツを送受信できるようにしてもよい。例示の実施形態において、コントローラ208は、デュアルコアまたはクアッドコアプロセッサなどのマルチコア・プロセッサとして具現化されてもよい。なお、任意数のプロセッサがコントローラ208に含まれ得る。
デバイス200はさらに、リンガー210、イヤホン、またはスピーカ212などの出力デバイス、マイクロホン214、ディスプレイ216、およびユーザ入力インターフェースを含むユーザ・インターフェースを有してもよく、これらはコントローラ208に接続されてもよい。デバイス200がデータを受領できるようにするユーザ入力インターフェースには、キーパッド218、タッチ・ディスプレイ、マイクロホン、またはその他の入力デバイスなど、デバイス200がデータを受領できるようにするいくつかのデバイスのうちのいずれかが含まれ得る。キーパッド218を含む実施形態では、キーパッド218は、数字(0〜9)および関連キー(#、*)、ならびにデバイス200を動作させるために使用される他のハードキーおよびソフトキーを備えてもよい。あるいは、またはさらに、キーパッド218は、従来のQWERTYキーパッド配列を有してもよい。キーパッド218はさらに、関連する機能を伴う様々なソフトキーを有してもよい。さらに、または代わりに、デバイス200は、ジョイスティックまたはその他のユーザ入力インターフェースなどのインターフェース・デバイスを備えてもよい。デバイス200は、デバイス200を動作させるために使用される様々な回路に電力を供給し、さらに任意選択で、検出可能な出力として機械的振動をもたらす、振動電池パックなどの電池220をさらに備える。
例示の実施形態では、デバイス200は、カメラ、ビデオ、および/またはオーディオ・モジュールなど、コントローラ208と通信しているメディア捕捉要素を備える。メディア捕捉要素は、記憶、表示、または伝送される画像、ビデオ、および/またはオーディオを捕捉する任意の手段とされ得る。例示の実施形態では、メディア捕捉要素は、カメラ・モジュール222であり、カメラ・モジュール222は、捕捉された画像からデジタル画像ファイルを構成することができるデジタル・カメラを含んでもよい。よって、カメラ・モジュール222は、レンズまたはその他の光学コンポーネント(単数または複数)などのすべてのハードウェア、および捕捉された画像からデジタル画像ファイルを作成するソフトウェアを含む。あるいは、またはさらに、カメラ・モジュール222は、画像を閲覧するために必要なハードウェアを備えてもよく、一方、デバイス200のメモリ・デバイスは、捕捉された画像からデジタル画像ファイルを作成するためにコントローラ208によって実行される、ソフトウェアの形態の命令を記憶する。例示の実施形態では、カメラ・モジュール222は、コントローラ208が画像データを処理する支援をするコプロセッサなどの処理要素、および画像データを圧縮および/または復元するエンコーダおよび/またはデコーダをさらに備えてもよい。エンコーダおよび/またはデコーダは、JPEG標準形式または別の類似形式に従って符号化および/または復号を行ってもよい。ビデオの場合、エンコーダおよび/またはデコーダは、例えばH.261、H.262/MPEG−2、H.263、H.264、H.264/MPEG−4、MPEG−4などに関連する標準などの複数の標準形式のうちのいずれかを採用し得る。場合によっては、カメラ・モジュール222は、ライブ画像データをディスプレイ216に供給してもよい。例示の実施形態では、ディスプレイ216がデバイス200の片側に位置して、カメラ・モジュール222がディスプレイ216に対してデバイス200の反対側に配置されたレンズを備えることで、カメラ・モジュール222は、デバイス200の片側で画像を捕捉して、当該画像のビューをデバイス200の反対側に位置するユーザに対して提示することができてもよい。
デバイス200は、ユーザ識別モジュール(UIM:user identity module)224をさらに備えてもよい。UIM224は、プロセッサが組み込まれたメモリ・デバイスであってもよい。UIM224には、例えば、加入者識別モジュール(SIM:subscriber identity module)、汎用集積回路カード(UICC:universal integrated circuit card)、汎用加入者識別モジュール(USIM:universal subscriber identity module)、リムーバブル・ユーザ識別モジュール(R−UIM:removable user identity module)、またはその他任意のスマートカードが含まれ得る。典型的には、UIM224は、モバイル加入者に関する情報要素を記憶する。デバイス200は、UIM224に加えて、メモリを備えてもよい。例えばデバイス200は、データの一時記憶のためのキャッシュ領域を備える、揮発性のランダム・アクセス・メモリ(RAM:Random Access Memory)などの揮発性メモリ226を備えてもよい。デバイス200はさらに、組み込み式および/またはリムーバブルとされ得る、他の不揮発性メモリ228を備えてもよい。さらに、または代わりに、不揮発性メモリ228は、電気的消去可能プログラム可能読み取り専用メモリ(EEPROM:electrically erasable programmable read only memory)、フラッシュ・メモリ、ハード・ドライブなどを有してもよい。メモリは、デバイス200の機能を実装するためにデバイス200によって使用される、任意数の情報、およびデータを記憶してもよい。
図3は、例示の実施形態による、行動認識のための装置300を示す。行動認識のための装置300は、例えば、図2のデバイス200において利用されてもよい。なお、装置300はそのほか、モバイルおよび固定両方の様々なデバイスにおいても利用されてもよく、したがって、実施形態は、図2のデバイス200などのデバイスに対する応用に限定されてはならないということに留意すべきである。あるいは、実施形態は、例えば先に挙げたものなどを含むデバイスの組み合わせにおいて利用されてもよい。様々な実施形態が、単一のデバイス(例えばデバイス200)にて完全に具現化され得る。なお、下記のデバイスまたは構成要素の一部は、必須ではないこともある。したがって、特定の実施形態では、一部が省略されてもよい。
実施形態では、装置300は、少なくとも1つのプロセッサ302および少なくとも1つのメモリ304を備えるか、または別の形でそれらと通信している。少なくとも1つのメモリ304の例として、揮発性および/または不揮発性メモリが挙げられるが、これに限定はされない。揮発性メモリのいくつかの例として、ランダム・アクセス・メモリ、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリなどが挙げられるが、これらに限定はされない。不揮発性メモリのいくつかの例として、ハードディスク、磁気テープ、光学ディスク、プログラム可能読み取り専用メモリ、消去可能プログラム可能読み取り専用メモリ、電気的消去可能プログラム可能読み取り専用メモリ、フラッシュ・メモリなどが挙げられるが、これらに限定はされない。メモリ304は、様々な例示の実施形態に従った様々な機能を装置300が実行できるようにするための、情報、データ、アプリケーション、命令などを記憶するよう構成されてもよい。例えば、メモリ304は、プロセッサ302によって処理される基底情報および選択情報を含むサンプリング情報をバッファリングするよう構成されてもよい。さらに、または代わりに、メモリ304は、プロセッサ302により実行される命令を記憶するよう構成されてもよい。
プロセッサ302の例として、コントローラ208を挙げることができる。プロセッサ302は、いくつかの異なる形で具現化され得る。プロセッサ302は、マルチコア・プロセッサ、シングルコア・プロセッサ、またはマルチコア・プロセッサとシングルコア・プロセッサとの組み合わせとして具現化されてもよい。例えば、プロセッサ302は、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP:digital signal processor)、付属のDSPを備えた、もしくは備えない処理回路、またはその他、例えば特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲートアレイ(FPGA)、マイクロコントローラ・ユニット(MCU:microcontroller unit)、ハードウェア・アクセラレータ、専用コンピュータ・チップなどの集積回路を含む様々な処理デバイスなど、様々な処理手段のうちの1つ以上として具現化され得る。例示の実施形態では、マルチコア・プロセッサは、メモリ304に記憶されている、またはその他の形でプロセッサ302がアクセスできる命令を実行するよう構成されてもよい。あるいは、またはさらに、プロセッサ302は、ハードコードされた機能性を実行するよう構成されてもよい。よって、プロセッサ302は、ハードウェア手法により構成されるか、ソフトウェア手法により構成されるか、またはその組み合わせにより構成されるかにかかわらず、適宜構成されている間、様々な実施形態による動作を実行できる、例えば回路に物理的に具現化されたエンティティを表現し得る。例えば、プロセッサ302がASIC、FPGAなどのうちの2つ以上として具現化される場合、プロセッサ302は、本願明細書に記載の動作を実行するよう特に構成されたハードウェアであってもよい。あるいは、別の例として、プロセッサ302がソフトウェア命令の実行器として具現化される場合、命令は、命令が実行されると、本願明細書に記載のアルゴリズムおよび/または動作を実行するようプロセッサ302を特に構成してもよい。なお、場合によっては、プロセッサ302は、本願明細書に記載されたアルゴリズムおよび/または動作を実行するための命令によるプロセッサ302のさらなる構成によって実施形態を用いるようになっている、例えばモバイル端末またはネットワーク・デバイスなどの特定のデバイスのプロセッサであってもよい。プロセッサ302は、特に、プロセッサ302の動作をサポートするよう構成されたクロック、算術論理演算ユニット(ALU:arithmetic logic unit)、および論理ゲートを備えてもよい。
ユーザ・インターフェース306が、プロセッサ302と通信していてもよい。ユーザ・インターフェース306の例として、入力インターフェースおよび/または出力ユーザ・インターフェースが挙げられるが、これらに限定はされない。入力インターフェースは、ユーザ入力の指示を受領するよう構成される。出力ユーザ・インターフェースは、可聴、可視、機械的、またはその他の出力および/またはフィードバックをユーザに提供する。入力インターフェースの例として、キーボード、マウス、ジョイスティック、キーパッド、タッチスクリーン、ソフトキーなどを挙げることができるが、これらに限定はされない。出力インターフェースの例として、例えば発光ダイオード・ディスプレイ、薄膜トランジスタ(TFT:thin−film transistor)ディスプレイ、液晶ディスプレイ、アクティブマトリックス式有機発光ダイオード(AMOLED:active−matrix organic light−emitting diode)ディスプレイなどのディスプレイ、マイクロホン、スピーカ、リンガー、バイブレータを挙げることができるが、これらに限定はされない。例示の実施形態では、ユーザ・インターフェース306は、様々なデバイスまたは構成要素の中でも特に、スピーカ、マイクロホン、ディスプレイ、およびキーパッド、タッチスクリーンなどのうちのいずれかまたはすべてを含んでもよい。この点に関して、例えばプロセッサ302は、例えばスピーカ、リンガー、マイクロホン、ディスプレイ、および/または同様のものなどのユーザ・インターフェース306の1つ以上の構成要素の、少なくとも一部の機能を制御するよう構成されたユーザ・インターフェース回路を有してもよい。プロセッサ302および/またはプロセッサ302を構成するユーザ・インターフェース回路は、プロセッサ302がアクセスできる、例えば少なくとも1つのメモリ304および/または同様のものなどのメモリ上に記憶された、例えばソフトウェアおよび/またはファームウェアなどのコンピュータ・プログラム命令を用いて、ユーザ・インターフェース306の1つ以上の構成要素の1つ以上の機能を制御するよう構成されてもよい。
例示の実施形態では、装置300は、電子デバイスを備えてもよい。電子デバイスのいくつかの例としては、通信デバイス、メディア捕捉デバイス、通信能力を有するメディア捕捉デバイス、コンピューティング・デバイスなどが挙げられる。通信デバイスのいくつかの例としては、携帯電話、携帯情報端末(PDA)などを挙げることができる。コンピューティング・デバイスのいくつかの例としては、ラップトップ、パーソナル・コンピュータなどを挙げることができる。例示の実施形態では、電子デバイスは、ユーザがディスプレイを使用して電子デバイスの少なくとも1つの機能を制御することを促進するよう構成され、さらに、ユーザ入力に応答するよう構成されている、ユーザ・インターフェース回路およびユーザ・インターフェース・ソフトウェアを有する、例えばUI306などのユーザ・インターフェースを備えてもよい。例示の実施形態では、電子デバイスは、電子デバイスのユーザ・インターフェースの少なくとも一部を表示するよう構成されたディスプレイ回路を備えてもよい。ディスプレイおよびディスプレイ回路は、ユーザが電子デバイスの少なくとも1つの機能を制御することを促進するよう構成されてもよい。
例示の実施形態では、電子デバイスは、送受信機を備えるものとして具現化されてもよい。送受信機は、ソフトウェアに従って動作する任意のデバイスまたは回路であってもよく、またはその他の形でハードウェアもしくはハードウェアとソフトウェアとの組み合わせにおいて具現化されてもよい。その結果、例えば、ソフトウェア制御のもとで動作するプロセッサ302、または本願明細書に記載の動作を実行するよう特に構成されたASICもしくはFPGAとして具現化されたプロセッサ302、またはその組み合わせが、送受信機の機能を実行するよう装置または回路を構成する。送受信機は、1つ以上のセンサーからサンプル・データを受信するよう構成されてもよい。
これらのコンポーネント(302〜306)は、集中型回路システム308を介して相互通信してもよい。集中型回路システム308は、特に、装置300のコンポーネント(302〜306)間の通信を提供するか、または可能にするよう構成されてもよい。特定の実施形態では、集中型回路システム308は、マザーボード、メインボード、システムボード、またはロジックボードなど、中央プリント回路基板(PCB:printed circuit board)とされてもよい。集中型回路システム308は、さらに、または代わりに、他のプリント回路組立品(PCA:printed circuit assembly)または通信チャネル媒体を備えてもよい。
例示の実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、行動に関する行動認識を実行させるよう構成される。例示の実施形態では、行動は、人間の行動であってもよい。例えば、行動は、歩く、ジョギングする、走る、上る、下りるなどであってもよい。本開示の範囲を限定することなく、他の様々な実世界行動が装置300によって認識され得る。
例示の実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、空間に関連する基底行列を生成させるよう構成される。実施形態では、基底行列は、完備な(complete)基底行列であってもよい。完備な基底行列は、空間全体にわたるよう構成されてもよく、その結果、空間上の任意のベクトルを、基底のnベクトルの線形結合として表すことができる。実施形態では、完備な基底行列のサイズは、調整可能であってもよい。実施形態では、基底行列は、間隔[−1,1]で一様分布した乱数を生じる乱数発生器によって生成されてもよい。nベクトルの集合を完備な基底にするために、ランダムに生成されたベクトルが正規直交化されてもよい。例示の実施形態では、正規直交ランダム行列は、行列が直交行列(Q)と上三角行列(R)との積に分解される、QR分解法に基づき生成されてもよい。例示の実施形態では、ランダムに生成されたベクトルは、グラムシュミット・アルゴリズムに基づいて正規直交化されてもよい。この基底は、正規直交正方行列に対応する。実施形態では、完備な基底の行列を生成するよう処理手段が構成されてもよい。処理手段の例として、プロセッサ302を挙げることができ、これは、コントローラ208の例とすることができる。
例示の実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、1つ以上のセンサーがサンプル・データを生成するのを促進するために、サンプリング情報を1つ以上のセンサーへ送信させるよう構成される。実施形態では、サンプリング情報は、基底行列と、基底行列の部分集合を選択するための選択情報とを含む。基底行列の部分集合は、サンプル・データを生成するために1つ以上のセンサーによって利用され得る基底ベクトルの集合を含んでもよい。実施形態では、処理手段は、サンプリング情報を1つ以上のセンサーへ送信するよう構成されてもよい。処理手段の例として、プロセッサ302を挙げることができ、これは、コントローラ208の例とすることができる。実施形態では、サンプリング情報は、無線リンク上で1つ以上のセンサーへ送信されてもよい。
実施形態では、1つ以上のセンサーが、基底行列を受信し、基底行列および選択情報に基づいて行動データを処理するよう構成されてもよい。1つ以上のセンサーは、行動データの処理に基づいてサンプル・データを生成するよう構成されてもよい。実施形態では、サンプル・データは、行動データの圧縮サンプリングに基づいて生成されてもよい。サンプル・データを生成する1つ以上のセンサーについての解説および機能性は、図4および5を参照してさらに説明する。
例示の実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、行動に関連するサンプル・データを1つ以上のセンサーから受信させるよう構成される。実施形態では、装置300は、1フレームのサンプル・データが受信されるまでサンプル・データを受信するよう構成される。実施形態では、フレームのサイズは、約0.1s〜10sであってもよい。実施形態では、複数のセンサーがそれぞれのサンプル・データを装置300へ送信する場合、複数のセンサーから受信されるサンプル・データは、装置300にてそれぞれが受信された順に配列されてもよい。1つ以上のセンサーから受信されるサンプル・データの配列については、図6を参照してさらに詳細に説明される。
実施形態では、装置300は、1つ以上のセンサーによって送信されるサンプル・データに基づいて行動を分類するよう構成される。実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、サンプル・データに対して分類ルールを適用させるよう構成される。実施形態では、教師あり学習の分類ルール/モデルが、ラベル付き行動データを利用して訓練されてもよい。実施形態では、ラベル付き行動データは、実行するランダム射影において利用されるサンプリング情報に基づいて生成されてもよい。実施形態では、ラベルあり訓練セットは、1つ以上のセンサーにて行動データのサンプリングに利用される基底において表現されてもよい。実施形態では、分類ルールは、二次判別法、サポートベクターマシン、決定木、ニューラルネット、およびボルツマンマシンの手法のうちの1つを、行動データのラベル付けに利用してもよい。
別の実施形態では、例えばラベルが行動データの圧縮サンプリングに利用されるなど、任意の不完備な(undercomplete)基底において訓練セットを簡便に計算できるよう、訓練セット内のラベルが初めに(例えば「出荷時設定」のように)基底において提供されてもよい。別の実施形態では、訓練セットに関連するラベルは、他のデータから推測されてもよい。例えば、行動データが完備な基底においてサンプリングされる場合、ラベルは、一部分の行動データに関して利用可能であってもよい。ラベルは、追加のセンサーが含まれた状態で不完備な(射影された)データの訓練セットを生成するために使用されてもよい。さらに別の実施形態では、ラベルは、教師なし学習に基づいて得られてもよい。例えば、様々なクラスタ(例えばk平均アルゴリズムにより特定される)が生成されてもよく、ユーザに情報を「求める」ことによってラベルが得られてもよい。例えば、移動行動の検出に応答して、「走っていましたか?」などの質問がされてもよい。
実施形態では、処理手段は、サンプル・データおよび分類ルールに基づいて行動を分類するよう構成されてもよい。処理手段の例として、プロセッサ302を挙げることができ、これは、コントローラ208の例とすることができる。行動データの分類は、出力として行動クラス(例えば走る、座る、歩くなど)を提供してもよい。この点において、当然のことながら、サンプル・データを復元せずに、サンプル・データが分類のために直接利用されてもよい。サンプル・データを直接(復元せずに)利用することの利点は、データの復元に関わる計算能力が節減されるということである。
例示の実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、行動が分類された第1のラベルを記憶させるよう構成される。実施形態では、メモリ手段が、第1のラベルを記憶するよう構成されてもよい。メモリ手段の例として、メモリ手段304を挙げることができ、これは、不揮発性メモリ228の例とすることができる。
実施形態では、1つ以上のセンサーによって行動データが獲得されるときに、行動データの測定値にノイズが存在することが原因で、分類の出力は誤りを含むかもしれない。実施形態では、サンプル・データにおける誤りにより、行動が間違ったラベルに分類されることもある。実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、行動データの分類に関連する誤りを判断させるよう構成される。実施形態では、ユーザの実行する行動が、非常に短い時間スケール(例えば秒)で大幅な変動を起こすことはないので、分類出力の出力における変化が、分類における任意の誤りを検出するために利用されてもよい。実施形態では、処理手段は、サンプル・データに関連する誤りを判断するよう構成されてもよい。処理手段の例として、プロセッサ302を挙げることができ、これは、コントローラ208の例とすることができる。
実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、分類の出力に対して誤り訂正を適用させるよう構成される。例示の実施形態では、誤り訂正メカニズムは、多数決を含んでもよい。当然のことながら、このほか特定の複素相関も、誤り訂正を分類出力に適用するために利用され得る。実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、サンプル・データにおける誤りと閾値誤りとを比較させるよう構成される。実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、誤りと閾値誤りとの比較に基づいて、サンプリング情報を更新または保持させるよう構成される。実施形態では、閾値誤りは、装置300において事前設定されてもよい。
実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、誤りが閾値誤りよりも低いと判断すると、選択情報に関連する基底ベクトルの数および基底のサイズの値を保持することによって、サンプリング情報を保持させるよう構成される。
実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、誤りが閾値誤りを超過していると判断すると、完備な基底行列の部分集合に関連する基底ベクトルの数を増大させることによって、サンプリング情報を更新させるよう構成される。
実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、基底のサイズの更新回数が閾値以下である間に、誤りが閾値誤り以上であると判断すると、装置300に、完備な基底行列の部分集合に関連する基底のサイズを増大させることによって、サンプリング情報を更新させるよう構成される。実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、誤りが閾値誤りより少ないと判断すると、選択情報に関連する基底ベクトルの数および基底のサイズの値を削減することによって、サンプリング情報を更新させるよう構成される。
例示の実施形態では、プロセッサ302は、メモリ304のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置300に、誤りが閾値誤り以上であると判断すると、行動を再分類させるよう構成される。実施形態では、行動は、更新されたサンプリング情報を利用して再分類されてもよい。例示の実施形態では、処理手段は、誤りと、閾値誤りとの比較に基づいて、サンプリング情報を更新または保持するよう構成されてもよい。処理手段の例として、プロセッサ302を挙げることができ、これは、コントローラ208の例とすることができる。
図4は、例示の実施形態による、行動認識のための装置400を示す。この行動認識のための装置400は、ユーザの行動を感知するよう構成されるデバイスにおいて利用されてもよい。例えば、装置400は、様々なセンサーにおいて利用されてもよい。例示の実施形態では、装置400は、例えば動き、位置、温度、心電図(ECG:electrocardiogram)などの目的の属性を測定するためにユーザの身体に取り付けることができる、ウェアラブルセンサーにおいて利用されてもよい。様々な実施形態が、単一のデバイスにて完全に具現化されてもよく、デバイスの組み合わせにて具現化されてもよい。なお、下記のデバイスまたは構成要素の一部は、必須ではないこともある。したがって、特定の実施形態では、一部が省略されてもよい。
実施形態では、装置400は、少なくとも1つのプロセッサ404および少なくとも1つのメモリ406を備えるか、または別の形でそれらと通信している。少なくとも1つのメモリ406の例として、揮発性および/または不揮発性メモリが挙げられるが、これに限定はされない。揮発性メモリのいくつかの例として、ランダム・アクセス・メモリ、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリなどが挙げられるが、これらに限定はされない。不揮発性メモリのいくつかの例として、ハードディスク、磁気テープ、光学ディスク、プログラム可能読み取り専用メモリ、消去可能プログラム可能読み取り専用メモリ、電気的消去可能プログラム可能読み取り専用メモリ、フラッシュ・メモリなどが挙げられるが、これらに限定はされない。メモリ406は、様々な例示の実施形態に従った様々な機能を装置400が実行できるようにするための、情報、データ、アプリケーション、命令などを記憶するよう構成されてもよい。例えば、メモリ406は、プロセッサ404によって処理されるサンプリング情報を含む入力データをバッファリングするよう構成されてもよい。さらに、または代わりに、メモリ406は、プロセッサ404により実行される命令を記憶するよう構成されてもよい。
プロセッサ404は、いくつかの異なる形で具現化され得る。プロセッサ404は、マルチコア・プロセッサ、シングルコア・プロセッサ、またはマルチコア・プロセッサとシングルコア・プロセッサとの組み合わせとして具現化されてもよい。例えば、プロセッサ404は、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP)、付属のDSPを備えた、もしくは備えない処理回路、またはその他、例えば特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲートアレイ(FPGA)、マイクロコントローラ・ユニット(MCU)、ハードウェア・アクセラレータ、専用コンピュータ・チップなどの集積回路を含む様々な処理デバイスなど、様々な処理手段のうちの1つ以上として具現化され得る。例示の実施形態では、マルチコア・プロセッサは、メモリ406に記憶されている、またはその他の形でプロセッサ404がアクセスできる命令を実行するよう構成されてもよい。あるいは、またはさらに、プロセッサ404は、ハードコードされた機能性を実行するよう構成されてもよい。よって、プロセッサ404は、ハードウェア手法により構成されるか、ソフトウェア手法により構成されるか、またはその組み合わせにより構成されるかにかかわらず、適宜構成されている間、様々な実施形態による動作を実行できる、例えば回路に物理的に具現化されたエンティティを表現し得る。例えば、プロセッサ404がASIC、FPGAなどのうちの2つ以上として具現化される場合、プロセッサ404は、本願明細書に記載の動作を実行するよう特に構成されたハードウェアであってもよい。あるいは、別の例として、プロセッサ404がソフトウェア命令の実行器として具現化される場合、命令は、命令が実行されると、本願明細書に記載のアルゴリズムおよび/または動作を実行するようプロセッサ404を特に構成してもよい。なお、場合によっては、プロセッサ404は、本願明細書に記載されたアルゴリズムおよび/または動作を実行するための命令によるプロセッサ404のさらなる構成によって実施形態を用いるようになっている、例えばモバイル端末またはネットワーク・デバイスなどの特定のデバイスのプロセッサであってもよい。プロセッサ404は、特に、プロセッサ404の動作をサポートするよう構成されたクロック、算術論理演算ユニット(ALU)、および論理ゲートを備えてもよい。
実施形態では、装置400を利用する1つ以上のセンサーが、人間の行動を感知するよう構成されてもよい。実施形態では、装置400は、プロセッサ404およびメモリ406に加えて、感知要素402、無線リンク・モジュール414、および行動クラス・モジュール416を備えてもよい。実施形態では、プロセッサは、アナログ−デジタル変換器410、乱数発生器408、および射影サンプリング・モジュール412をさらに備えてもよい。実施形態では、感知要素402は、行動を感知するよう構成される。実施形態では、A/D変換器410は、感知要素402と接続され、感知要素402によって感知された行動データのアナログ−デジタル変換を実行するよう構成される。実施形態では、A/D変換器410の出力は、行動データのサンプリングを実行するために利用されてもよい。実施形態では、A/D変換器の出力は、例えば装置400のメモリ406など、メモリに記憶されてもよい。実施形態では、A/D変換器410の出力は、長さNの、行動データに関連するデータ・ベクトルが得られるまで、メモリ406に記憶されてもよい。
上記のように、行動データは、ランダム・サンプリングを実行するために、アナログ領域からデジタル領域に変換されてもよい。あるいは、ランダム・サンプリングは、例えばプログラム可能増幅器および積分回路を使用することで、アナログ領域において実行されてもよい。
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、例えば(図2を参照して説明した)デバイス200などのデバイスによって送信されるサンプリング情報に基づいて行動データのランダム・サンプリングを実行させるよう構成される。実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に装置300からサンプリング情報を受信させるよう構成される。実施形態では、サンプリング情報は、基底行列と、基底行列の少なくとも部分集合を選択するための選択情報とを含む。実施形態では、基底行列の部分集合は、ランダムに選択された基底ベクトルの集合を含んでもよく、それに沿って行動データがサンプリングされてサンプル・データが生成されてもよい。実施形態では、基底行列は、基底ベクトルが所定の部分空間の部分空間ではなく所定の空間全体にわたることができる、完備な基底行列であってもよい。実施形態では、サンプリング情報に関連する完備な基底行列は、N×N行列であってもよい。実施形態では、処理手段は、装置300からサンプリング情報を受信するよう構成されてもよい。処理手段の例として、プロセッサ404を挙げることができる。
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、装置300から受信されたサンプリング情報を記憶させるようさらに構成される。実施形態では、メモリ手段が、装置300から受信されたサンプリング情報を記憶するよう構成されてもよい。メモリ手段の例として、メモリ406を挙げることができる。
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、行動に関連するサンプル・データを生成するために、サンプリング情報およびサンプリング基準に少なくとも基づいて、行動に関連する行動データの圧縮サンプリングを実行させるよう構成される。実施形態では、サンプリング基準は、行動データの圧縮サンプリングを実行するためのインコヒーレントな基底の選択を含む。
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、選択情報に基づいて基底行列の部分集合を選択させるよう構成される。例えば、Mの基底ベクトルの部分集合が、(サイズN×Nの)基底行列からランダムに選択されて、M×Nのサンプリング行列が形成されてもよい。M×Nのサンプリング行列は、「A」で示されてもよい。例示の実施形態では、処理手段は、サンプリング情報に基づいて、基底ベクトルの集合をランダムに選択するよう構成されてもよい。処理手段の例として、例えば乱数発生器408などの処理手段を挙げることができる。
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、ランダムに選択された基底ベクトルの集合に沿って行動データを圧縮サンプリングさせ、それに応じてサンプル・データを生成させるよう構成される。例示の実施形態では、基底ベクトルの集合に沿って行動データをサンプリングするために、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、データ・ベクトル(x)にサンプリング行列Aを乗じて、長さMのサンプル・ベクトル(y)を得させるよう構成される。実施形態では、処理手段が、データ・ベクトルにサンプリング行列Aを乗じて、長さMのサンプル・ベクトルを得るよう構成されてもよい。処理手段の例として、射影サンプリング・モジュール412を挙げることができる。サンプル・データは、次式に基づき生成されてもよい:

y=A

式中、AはN×Mのサンプリング行列を示し、その列は(直交)基底ベクトルであり、xは、N次元の圧縮されていないデータ・ベクトルを示す
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、行動のラベル付けを促進するためにサンプル・データを装置(例えば装置300)へ送信させるよう構成される。実施形態では、装置400は、1フレームのサンプル・データを装置300へ送信できるまで、サンプル・データを装置300へ送信してもよい。例示の実施形態では、フレームのサイズは、約0.1s〜10sであってもよい。実施形態では、サンプル・データは、無線リンク・モジュール414を介して装置300へ送信されてもよい。
実施形態では、装置400は、サンプル・データを装置300へ送信してもよい。サンプル・データのみを送信するよう装置が構成される装置400の動作モードは、「ラベルなしモード」と呼ばれてもよい。別の実施形態では、装置400は、ユーザ選択されたラベルを装置300へ送信してもよい。実施形態では、装置400は、ラベルに関連するユーザ入力をユーザから受領するためのユーザ・インターフェースを備えてもよい。例えば、ユーザは、行動クラス・モジュール416を利用してラベルを入力してもよい。行動クラス・モジュール416は、ユーザによって提供された行動クラスの装置200への送信を促進するために、無線リンク・モジュール414と接続されてもよい。本願明細書で開示されるように、装置がサンプル・データとともにラベルをデバイス300へ送信するよう構成される装置400の動作モードは、「ラベル付きモード」と呼ばれてもよい。
図3を参照して既に述べたように、装置300は、行動に割り当てられるラベルを分類するためにサンプル・データを利用してもよい。さらに装置300は、サンプル・データにおける誤りを判断してもよい。実施形態では、サンプル・データにおける誤りが閾値誤りを超過すると判断されると、装置300は、選択情報を更新して、更新された選択情報を装置400へ再送するよう構成される。
実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、更新されたサンプリング情報を装置300から受信させるよう構成される。実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、更新されたサンプル・データを生成するために、更新された選択情報に少なくとも基づいて行動データの圧縮サンプリングを実行させるよう構成される。実施形態では、更新されたサンプル・データは、サンプル・データの生成と同様の形で生成されてもよい。実施形態では、プロセッサ404は、メモリ406のコンテンツを用いて、さらに本願明細書に記載の他のコンポーネントを任意選択で用いて、装置400に、行動のラベル変更を促進するために、更新されたサンプル・データを装置300へ送信させるよう構成される。実施形態では、無線リンク・モジュール414が、更新されたサンプル・データを装置300へ送信するよう構成されてもよい。
既に述べたように、実施形態では、装置400は、感知要素402、プロセッサ404、メモリ406、無線リンク・モジュール414、および行動クラス・モジュール416を備えてもよい。実施形態では、プロセッサ404は、A/D変換器410、乱数発生器408、および射影サンプリング・モジュール412を備えてもよい。他の実施形態では、装置400は、上記の別々のモジュールの代わりに、A/D変換器、感知要素、乱数発生器、および射影サンプリング・モジュールの各モジュールを実装する統合ハードウェア・ソリューションを備え、その結果、別々のモジュールは必要なくてもよい。例えば、装置400は、アナログまたは混合信号回路がセンサー読み出し電子回路と組み合わされる、スマート・センサーを備えてもよい。
図5は、例示の実施形態による、行動認識のための行動データの圧縮サンプリングの例を示す。例示の実施形態では、圧縮サンプリングを実行するために、行動データ502のアナログ−デジタル変換が実行され、行動データ502に関連するデータ・ベクトル504が生成される。実施形態では、データ・ベクトル504は、ランダムに選択された基底ベクトルに沿ってサンプリングされてもよい。
実施形態では、(例えば時間領域において)長さNのデータ・ベクトル504などのデータ・ベクトルが、基底ベクトル(例えば基底ベクトル506、508)の集合に沿って射影されてもよい。実施形態では、基底ベクトルの集合は、装置300から受信されたサンプリング情報に基づいてランダムに選択されてもよい。別の実施形態では、基底ベクトルの集合は、ランダムに選択されて正規直交化されてもよい。例示の実施形態では、基底ベクトルの集合は、グラムシュミット法に基づいて正規直交化されてもよい。
図5に示されている例示の実施形態では、サンプリング行列に関連するランダムに選択された基底ベクトル506、508の集合にデータ・ベクトル504を乗じて、サンプル510、512などのサンプルを得てもよい。xがN次元の圧縮されていないデータ・ベクトルを示すとし、AがN行M列のサンプリング行列を示すとし、その列が(直交)基底ベクトルであるとする。その結果、以下のように、サンプル・データは、M次元ベクトルyである。

y=A
例示の実施形態では、基底ベクトル506、508などの基底ベクトルは、様々な非ゼロの実数値の要素を含んでもよい。そのようなシナリオでは、サンプルは、各成分を合計することによって得られてもよい。例示の実施形態では、列ベクトルがサンプリング・ベクトルとして利用されてもよい。
図6は、実施形態による、サンプリングされたデータの伝送の順序を示す。上述のように、サンプル・データ610(yで表現される)は、学習および行動認識を促進するために、装置300へ伝送または送信されてもよい。実施形態では、行動認識は、種々の量を種々のサンプリング・レートで感知するよう構成されてもよい複数のセンサーから受信されるサンプル・データに基づいて実行されてもよい。例えば、加速度計およびコンパスにおいて利用される各センサーが、それぞれ加速度計データおよびコンパス方位データの感知を促進してもよい。加速度計データおよびコンパス方位データは、感知され、続いて他のセンサーによりサンプリングされてもよい。実施形態では、複数のベクトルy(例えば612、614、616、618)から得られる行動データが、

{y,i=1,…,M}

のように表現できるデータセットを生成してもよい。
実施形態では、複数のセンサーから受信される行動データは、ランダム射影を実行する前にベクトルに配列されてもよい。例えば、データセット610に関連するデータは、行動データのランダム射影を実行する前に、ベクトル620に配列されてもよい。例えば、図6に示されているように、ベクトル612、614、616からデータが得られて、それぞれベクトル620の位置622、624、626に格納されてもよい。実施形態では、データは、逐次的方法で、すなわち装置300にて個々のセンサーからデータが受信される順にベクトル620に配列されてもよい。
図7は、例示の実施形態による、行動認識のための例示の方法700を示すフローチャートである。フローチャートに示されている方法700は、例えば、図3の装置300によって実行されてもよい。実施形態では、本方法は、1つ以上のセンサーに通信可能に接続され得るデバイスによって実行されてもよい。実施形態では、デバイスは、携帯電話、PDA、ラップトップなどであってもよい。
実施形態では、装置300は、1つ以上のセンサーから受信されたサンプル・データに基づいて、ユーザが実行している「行動」を認識するよう構成されてもよい。実施形態では、行動は、歩く、ジョギングする、走る、およびユーザが実行している他の任意の動きまたは運動現象を含んでもよい。実施形態では、行動は、1つ以上のセンサーによって感知されてもよい。例えば、1つ以上のセンサーは、行動に関連する行動データを捕捉し、行動データを処理して、サンプル・データを生成してもよい。実施形態では、サンプル・データは、装置300により1つ以上のセンサーへ送信されてもよいサンプリング情報に基づいて、1つ以上のセンサーによって生成されてもよい。実施形態では、サンプリング情報は、基底行列と、基底行列の少なくとも部分集合を選択するための選択情報とを含む。実施形態では、基底行列は、基底ベクトルが所定の部分空間の部分空間ではなく所定の空間全体にわたることができる、完備な基底行列であってもよい。
ブロック702にて方法700は、装置300にて行動に関連するサンプル・データを1つ以上のセンサーから受信することを含む。実施形態では、サンプル・データは、(図4において説明した)装置400を具現化する1つ以上のデバイスによって装置300へ送信されてもよい。実施形態では、装置400を具現化するデバイスの例として、例えば加速度計、気圧計、コンパスなどのセンサーを挙げることができる。ブロック704にて、サンプル・データに少なくとも基づいて、行動が分類されてもよい。実施形態では、行動を分類することは、行動にラベルを割り当てることを含んでもよい。実施形態では、行動は、分類ルールまたはモデルに基づいて分類されてもよい。例えば、サンプル・データは、二次判別分析に基づき分類されてもよい。別の実施形態では、サンプル・データは、分類ルールならびにユーザ入力に基づき分類されてもよい。実施形態では、ユーザ入力は、1つ以上のセンサーによって送信されてもよい。
実施形態では、デバイスにて受信されるサンプル・データは、1つ以上のセンサーに関連するノイズに起因する誤りを含んでもよい。実施形態では、サンプル・データにおける誤りにより、行動が誤って分類されることもある。ブロック706にて、行動の分類における誤りが判断されてもよい。実施形態では、行動の分類の出力における変化が、誤りを判断するための基準として利用されてもよい。これは、ユーザの行動は、非常に短い時間スケール(秒)では実質的に同じままである(すなわち変動しない)と考えられるためである。したがって、この短い時間間隔の間の種々の時間インスタンスにて、サンプル・データが、閾値回数計算されて、サンプル・データにラベルを割り当てることによって分類されてもよい。この分類の間に、行動の分類の変化が検出された場合、その行動の分類は間違っていると見なされてもよい。
実施形態では、分類における誤りが計算されて、閾値誤りと比較されてもよい。実施形態では、閾値誤りは、装置300において事前設定されてもよい。実施形態では、ブロック708にて、誤りと閾値誤りとの比較に基づいて、サンプリング情報が更新されても、または保持されてもよい。例えば、分類にいかなる誤りもないことが検出されると、サンプリング情報に関連するベクトルの数は、保持または削減されてもよい。実施形態では、サンプリング行列のサイズは、その中のベクトルの数を削減することによって削減されてもよい。他の実施形態では、サンプリング行列のサイズが、既に最小許容サイズであると判断されれば、サンプリング行列のサイズは、そのまま保持されてもよい。実施形態では、行列の最小許容サイズは、装置300において事前設定されてもよい。
実施形態では、誤りが閾値以上であることが判断されると、サンプル・データに誤り訂正が適用されてもよい。誤り訂正法の例として、多数決などが挙げられるが、これに限定はされない。例示の実施形態では、誤りが閾値誤り以上であることが判断されると、サンプリング情報が更新されてもよい。例えば、判断された誤りが閾値誤りを超過することに基づき、基底ベクトルの数が増大されてもよい。さらに、または任意選択で、過去所定回数の間に実行された分類における誤りが、閾値誤りを超過すると判断されれば、サンプリング情報に関連する完備な基底行列のサイズが増大されてもよい。例えば、直近10回の分類の間の誤りが、閾値誤り以上であると判断されれば、完備な基底行列のサイズが増大されてもよい。
例示の実施形態では、処理手段は、次のうちの一部またはすべてを実行するよう構成されてもよい:デバイスにて、行動に関連するサンプル・データを、デバイスに無線接続された1つ以上のセンサーから受信すること、ただし、サンプル・データは、行動に関連する行動データの圧縮サンプリングに基づいて1つ以上のセンサーにて生成され、圧縮サンプリングは、サンプリング情報に基づき実行される、該受信すること;サンプル・データに少なくとも基づいて行動を分類すること;行動の分類に関連する誤りを判断すること;および誤りと閾値誤りとの比較に基づきサンプリング情報を更新すること。処理手段の例として、プロセッサ302を挙げることができ、これは、コントローラ208の例とすることができる。
図8は、例示の実施形態による、行動認識のための例示の方法800を示すフローチャートである。フローチャートに示されている方法800は、例えば、図4の装置400によって実行されてもよい。例えば本方法は、装置400を有するウェアラブルセンサーによって実行されてもよい。センサーは、ユーザの行動に関連する行動データを測定するためにユーザの身体に取り付けられてもよい。実施形態では、行動データは、例えば動き、位置、温度、ECGなどの属性を含んでもよい。実施形態では、装置400を具現化するデバイスの例として、例えば加速度計、気圧計、コンパスなどのセンサーを挙げることができる。
ブロック802にて、本方法は、装置(例えば図4において説明した装置400)にて、サンプリング情報を、装置400に無線接続された別の装置(例えば図3において説明した装置300)から受信することを含む。これを考慮すると、装置400はセンサー内に具現化されてもよい。したがって、方法800の記載は、装置400をセンサーと呼ぶことで説明することもでき、逆もまた同じである。実施形態では、サンプリング情報は、基底行列と、基底行列の少なくとも部分集合を選択するための選択情報とを含む。実施形態では、基底行列は、基底ベクトルが所定の部分空間の部分空間ではなく所定の空間全体にわたることができる、完備な基底行列であってもよい。実施形態では、サンプリング情報に関連する完備な基底行列は、N×N行列であってもよい。
ブロック804にて、サンプリング情報およびサンプリング基準に少なくとも基づき、行動データの圧縮サンプリングが実行されてもよい。実施形態では、圧縮センシングが、行動に関連するサンプル・データを生成するために実行されてもよい。実施形態では、サンプリング基準は、圧縮サンプリングを実行するためのインコヒーレントな基底の選択を含んでもよい。実施形態では、完備な基底行列の部分集合が、選択情報に基づいて選択されてもよい。例えば、Mの基底ベクトルの集合が、完備な基底行列から選択されて、M×Nのサンプリング行列が形成されてもよい。M×Nのサンプリング行列は、「A」で示されてもよい。実施形態では、サンプル・データは、サンプリング情報に基づいてランダムに選択されてもよい基底ベクトルの集合とともに行動データの圧縮サンプリングを実行することによって生成されてもよい。例として、(例えば時間領域において)長さNのデータ・ベクトル(x)が、基底ベクトルの集合に沿って射影されてもよい。サンプル・データは、次式に基づき生成されてもよい:

y=Ax、

式中、AはN×Mのサンプリング行列を示し、その列は(直交)基底ベクトルであり、xは、N次元の圧縮されていないデータ・ベクトルを示す
ブロック806にて、行動のラベル付けを促進するために、サンプル・データが装置(例えば装置300)へ送信されてもよい。実施形態では、サンプル・データは、1フレームのサンプル・データを装置にて受信できるまで、装置へ送信されてもよい。例示の実施形態では、フレームのサイズは、約0.1s〜10sであってもよい。実施形態では、サンプル・データは、無線リンク上で装置300へ送信されてもよい。
図9は、例示の実施形態による、行動認識のための例示の方法900を示すフローチャートである。フローチャートに示されている方法900は、例えば、図3および4の、それぞれ装置300および400によって実行されてもよい。当然のことながら、フローチャートの動作、フローチャート内の動作の組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路、および/またはその他、1つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行に関連するデバイスなどの様々な手段によって実装され得る。例えば、様々な実施形態において記載された手順のうちの1つ以上が、コンピュータ・プログラム命令によって具現化されてもよい。例示の実施形態では、様々な実施形態において記載された手順を具現化するコンピュータ・プログラム命令が、装置の少なくとも1つのメモリ・デバイスによって記憶され、装置内の少なくとも1つのプロセッサによって実行されてもよい。そのようなコンピュータ・プログラム命令の任意のものが、機械をもたらすよう、コンピュータまたはその他のプログラム可能装置(例えばハードウェア)上にロードされて、結果として生じるコンピュータまたはその他のプログラム可能装置が、フローチャートにおいて指定された動作を実装する手段を具現化するようにすることもできる。さらに、特定の形で機能するようコンピュータまたはその他のプログラム可能装置に指示することができる当該コンピュータ・プログラム命令は、(搬送波または電磁信号などの伝送媒体ではなく)コンピュータ可読ストレージ・メモリに記憶されて、コンピュータ可読メモリに記憶されたこの命令が、製品をもたらし、この製品の実行が、フローチャートにおいて指定された動作を実装するようにすることもできる。さらに、コンピュータ・プログラム命令は、コンピュータまたはその他のプログラム可能装置にロードされて、コンピュータまたはその他のプログラム可能装置上で一連の動作が実行されるようにしてコンピュータに実装されるプロセスをもたらし、コンピュータまたはその他のプログラム可能装置上で実行される命令が、フローチャートの動作を実装するための動作を提供するようにすることもできる。図3および4の、それぞれ装置300および400を用いて、方法900の動作について記載する。なお、本方法の動作は、他の任意の装置を使用して記載および/または実施することができる。
方法900は、コンテキスト・アウェアネスに基づくアプリケーションにおける行動認識のステップを提供する。行動認識に利用され得る行動の例として、歩く、ジョギングする、走るなどを挙げることができる。実施形態では、1つ以上のセンサーが、ユーザの行動に関連するデータを獲得および処理してもよい。実施形態では、行動認識に関連する様々な属性を測定することにより行動データを獲得するように、1つ以上のセンサーが、ユーザの身体に取り付けることができる1つ以上のウェアラブルデバイスにおいて具現化されてもよい。例えば、1つ以上のセンサーは、動き、位置、温度、湿度、オーディオ・レベル、およびその他、行動認識に必要な同様の属性を測定するよう構成されてもよい。実施形態では、1つ以上のセンサーは、獲得されたデータを処理して、処理された行動データを装置300へ送信してもよい。実施形態では、装置300は、例えば(図2を参照して説明した)デバイス200などのデバイスにおいて具現化されてもよい。デバイス200は、処理された行動データを利用して、ユーザの「行動」を分類してもよい。ユーザの行動に関する情報は、行動に依存するユーザ体験を提供するために利用されてもよい。
方法900のブロック902にて、サンプリング情報に関連する基底行列が、例えばデバイス200などのデバイスにて計算されてもよい。実施形態では、サンプリング情報は、基底行列と、基底行列の少なくとも部分集合を選択するための選択情報とを含んでもよい。実施形態では、サンプリング情報は、例えば装置300のメモリ内に記憶されてもよい。ブロック904にて、サンプリング情報は、例えば(図4を参照して説明した)装置400などの1つ以上の装置へ送信されてもよい。実施形態では、1つ以上の装置300が、1つ以上のセンサーを備えてもよい。実施形態では、1つ以上の装置300は、デバイス200と通信可能に接続されてもよい。実施形態では、1つ以上のセンサーは、無線リンクを介して装置300と接続されてもよい。
ブロック906にて、1つ以上のセンサーは、基底行列を受信してもよい。ブロック908にて、1つ以上のセンサーは、基底行列を記憶してもよい。実施形態では、1つ以上のセンサーは、基底行列を、例えばメモリ406(図4参照)などのメモリに記憶してもよい。
ブロック910にて、デバイス200は、基底行列の部分集合を選択するための選択情報を1つ以上のセンサーへ送信してもよい。実施形態では、選択情報は、完備な基底行列の部分集合を選択する命令を含む。実施形態では、命令は、完備な基底行列から選択されてもよい1つ以上の基底ベクトルおよび基底のサイズを含んでもよい。
ブロック912にて、ユーザの行動に関連する行動データのサンプリングが実行される。実施形態では、行動データのサンプリングは、1つ以上のセンサーにて実行される。実施形態では、行動データのサンプリングは、デバイス200から受信された完備な基底行列および選択情報に少なくとも基づいて実行される。実施形態では、サンプリングは、インコヒーレントな基底を利用することにより圧縮サンプリングに基づき実行されてもよい。
実施形態では、行動データは、サンプリング情報に基づいてランダムに選択されてもよい基底ベクトルの集合とともにサンプリングされてもよい。(例えば時間領域において)長さNのデータ・ベクトル(xで示される)が、基底ベクトルの集合に沿って射影されてもよい。データ・ベクトルの、ランダムに選択された基底ベクトルの集合に沿った射影については、図5を参照して説明している。サンプリングに基づいて、次式のとおり、サンプル・データが生成されてもよい。

y=A

式中、Aは、N×Mのサンプリング行列を示し、その列は(直交)基底ベクトルであり、xは、行動データに関連するN次元の圧縮されていないデータ・ベクトルを示す。
ブロック914にて、サンプル・データは、1つ以上のセンサーによってデバイスへ送信されてもよい。実施形態では、サンプル・データは、デバイスでの行動のラベル付けを促進してもよい。ブロック916にて、1つ以上のセンサーによって送信されたサンプル・データが、デバイスにて受信されてもよい。ブロック918にて、サンプル・データおよび分類ルールに少なくとも基づいて、行動が分類されてもよい。実施形態では、行動の分類は、行動にラベルを割り当てることを含んでもよい。実施形態では、分類ルールは、ラベル付きサンプルの訓練セットを含むモデルを含んでもよい。例示の実施形態では、ラベルあり訓練セットは、1つ以上のセンサーにて行動データのサンプリングに利用される基底において表現されてもよい。別の実施形態では、訓練セット内のラベルが初めに(例えば「出荷時設定」のように)完備な基底において提供されてもよく、それから、行動データの圧縮サンプリングに使用されるものなどの任意の不完備な基底における集合の計算を行うことは、容易である。別の実施形態では、訓練セットに関連するラベルは、他の感知データから推測されてもよい。さらに別の例示の実施形態では、ラベルは、教師なし学習に基づいて得られてもよい。例えば、様々なクラスタ(例えばk平均アルゴリズムにより特定される)が生成されてもよく、ユーザに情報を「求める」ことによってラベルが得られてもよい。
実施形態では、1つ以上のセンサーから出力されるサンプル・データは、1つ以上のセンサーによって観測される行動データにおけるノイズまたは瞬間的摂動(minute perturbation)に起因する誤りを含むこともある。ユーザの実行する行動が、非常に短い時間スケール(例えば秒)で大幅な変動を起こすことはないので、分類出力の出力における変化が、分類における任意の誤りを検出するために利用されてもよい。ブロック920にて、サンプル・データにおける誤りが判断されてもよい。例示の実施形態では、分類の出力に誤り訂正が適用されてもよい。例示の実施形態では、誤り訂正メカニズムは、多数決を含んでもよい。当然のことながら、このほか特定の複素相関も、誤り訂正を分類出力に適用するために利用され得る。
ブロック922では、行動の分類における誤りが閾値誤りを超過するかどうかが判断されてもよい。実施形態では、閾値誤りは、行動データのサンプリングを実行する前に決定されてもよい。実施形態では、分類にいかなる誤りもないことが検出されると、サンプリング情報に関連するベクトルの数は、保持または削減されてもよい。実施形態では、サンプリング行列のサイズは、その中のベクトルの数を削減することによって削減されてもよい。他の実施形態では、サンプリング行列のサイズが、既に最小許容サイズであると判断されれば、ブロック924にて、サンプリング行列のサイズは、そのまま保持されてもよい。実施形態では、行列の最小許容サイズは、デバイスにおいて事前設定されてもよい。
実施形態では、誤りが閾値誤り以上であることが判断されると、ブロック926にて、圧縮サンプリング・メトリクスが更新されてもよい。例えば、判断された誤りの数が閾値誤りを超過することに基づき、ベクトルの数が増大されてもよい。さらに、または任意選択で、過去所定回数に関連する誤りが閾値誤りを超過すると判断されれば、サンプリング情報に関連する基底行列のサイズが増大されてもよい。
ブロック928にて、サンプリング情報の少なくとも一部を選択するための更新された選択情報が、1つ以上のセンサーへ送信されてもよい。実施形態では、更新された選択情報に基づいて選択されるサンプリング情報の少なくとも一部は、サンプル・データを生成するために前に利用されたサンプリング情報の部分集合と異なる。実施形態では、更新された選択情報に基づいて選択されたサンプリング情報の少なくとも一部は、行動を再分類するために利用されてもよい。
図7、8、および9の方法700、800、および/または900の説明を容易にするために、本願明細書では、特定の動作が、特定の順序で実行される異なるステップを構成するものとして記載されている。そのような実装は例示的なものであり、限定的なものではない。特定の動作が、ともにグループ化されて単一の動作で実行されてもよいし、特定の動作を、本願明細書に記載された例において用いられた順序とは異なる順序で実行することもできる。さらに、方法700、800、および/または900の特定の動作は、自動化方式で実行される。これらの動作は、ユーザとのインタラクションを、実質的に全く含まない。方法700、800、および/または900の他の動作は、手動方式または半自動方式で実行されてもよい。これらの動作は、1つ以上のユーザ・インターフェース表示を介したユーザとのインタラクションを伴う。
添付の特許請求に記載の範囲の、範囲、解釈、または用途を少しも限定するものではないが、本願明細書で開示された例示の実施形態のうちの1つ以上の技術的効果は、行動認識を実行することである。図1〜9に説明されているとおり、本願明細書で開示された実施形態は、行動認識を実行する方法およびデバイスを提供する。様々な実施形態において、分散センサーなどのデバイスが、データを獲得し、獲得したデータを処理するよう構成されてもよい。獲得されたデータは、圧縮サンプリングに基づいて処理されてもよい。処理されたデータ(すなわちサンプル・データ)は、デバイス(例えばスマートフォン)へ無線送信されてもよい。デバイスは、ユーザの「行動」を分類するために、サンプル・データを直接利用する。実施形態において、行動についての情報は、次に、行動に依存するユーザ体験を提供するために使用できる。サンプル・データは、行動認識の実行に直接利用でき、それによって、復元の必要性がなくなることから、開示された方法およびデバイスは有利である。さらに、サンプル・データは、行動認識に直接利用できることから、開示された方法およびデバイスは、狭帯域幅要求および消費電力削減を促進する。さらに、データは、無線デバイスにて圧縮サンプリングされるため、効率的に伝送されて中央デバイス上に記憶されることが可能である。さらに、サンプリング基底を知らずにデータからすべてを推測するのは容易でないと思われるので、「ランダム」サンプリングを使用することで、ある程度のプライバシーがもたらされる。使用される基底についての情報は、ユーザのデバイスまたはその他セキュアなストレージにのみ記憶されてもよい。実施形態では、分類は、復元閾値未満でも実行されてもよい。さらに、行動データは、分類/機械学習に有益な次元削減ステップを自動的に経る。
上述の様々な実施形態は、ソフトウェア、ハードウェア、アプリケーション論理、またはソフトウェア、ハードウェア、およびアプリケーション論理の組み合わせにおいて実装されてもよい。ソフトウェア、アプリケーション論理、および/またはハードウェアは、少なくとも1つのメモリ、少なくとも1つのプロセッサ、装置、またはコンピュータ・プログラム製品上に存在してもよい。例示の実施形態では、アプリケーション論理、ソフトウェア、または命令セットは、従来の様々なコンピュータ可読媒体のうちの任意のものにおいて維持される。本文書の文脈では、「コンピュータ可読媒体」は、コンピュータなどの命令実行システム、装置、またはデバイスによって、またはそれに関連して使用される命令を含むこと、記憶すること、伝達すること、伝播させること、または搬送することができる任意の媒体または手段であってもよく、装置の一例が、図3および/または4において記載され、示された。コンピュータ可読媒体は、コンピュータなど、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用される命令を含むこと、または記憶することができる任意の媒体または手段とされてもよい、コンピュータ可読ストレージ媒体を含んでもよい。例示の一実施形態では、コンピュータ可読媒体は、非一時的であってもよい。
本願明細書で説明された種々の機能は、必要に応じて、異なる順序で実行されてもよく、さらに/または互いに同時に実行されてもよい。さらに、必要に応じて、上記の機能のうちの1つ以上は、任意選択とすることも、組み合わされることもできる。
実施形態の様々な側面が独立クレームに記載されているが、他の側面は、特許請求の範囲に明示的に記載された組み合わせのみではなく、その他、記載された実施形態および/または従属クレームからの特徴と、独立クレームの特徴との組み合わせを含む。
さらに、この点において、上記の事項は本発明の例示の実施形態について記載しているが、これらの記載は、限定的な意味に捉えられてはならないということを指摘しておく。それどころか、添付の特許請求の範囲において定義される本開示の範囲から逸脱することなく加えることができる種々の変化および変更がある。

Claims (42)

  1. 装置にて、行動に関連するサンプル・データを、前記装置に無線接続された1つ以上のセンサーから受信すること、ただし、前記サンプル・データは、前記行動に関連する行動データの圧縮サンプリングに基づいて前記1つ以上のセンサーにて生成され、前記圧縮サンプリングは、サンプリング情報に基づき実行される、前記受信することと;
    前記サンプル・データに少なくとも基づいて前記行動を分類することと;
    前記行動の前記分類に関連する誤りを判断することと;
    前記誤りと閾値誤りとの比較に基づき前記サンプリング情報を更新または保持することと;
    を含む方法。
  2. 前記1つ以上のセンサーが前記サンプル・データを生成するのを促進するために、前記サンプリング情報を前記1つ以上のセンサーへ送信することをさらに含む、請求項1に記載の方法。
  3. 前記サンプリング情報は、基底行列と、前記基底行列から基底のサイズおよび基底ベクトルの集合を選択するための選択情報とを含む、請求項1または2に記載の方法。
  4. 前記誤りが前記閾値誤り以上であると判断すると、前記更新されたサンプリング情報に基づいて前記行動を再分類することをさらに含む、請求項1または2または3に記載の方法。
  5. 前記サンプリング情報を更新することは、前記誤りが前記閾値誤り以上であると判断すると、前記基底ベクトルの集合に関連する基底ベクトルの数を増大させることを含む、請求項3に記載の方法。
  6. 前記サンプリング情報を更新することは、前記基底のサイズの更新回数が閾値以下である間に、前記誤りが前記閾値誤り以上であると判断すると、前記基底ベクトルの集合に関連する前記基底のサイズを増大させることを含む、請求項3に記載の方法。
  7. 前記サンプリング情報を更新することは、前記誤りが前記閾値誤りより少ないと判断すると、前記選択情報に関連する、前記基底ベクトルの集合の基底ベクトルの数と、前記基底のサイズとのうちの少なくとも一方を削減することを含む、請求項3に記載の方法。
  8. 前記サンプリング情報を保持することは、前記誤りが前記閾値誤りより少ないと判断すると、前記選択情報に関連する、前記基底ベクトルの集合の基底ベクトルの数と、前記基底のサイズとを保持することを含む、請求項3に記載の方法。
  9. 前記行動を分類することは、分類ルールに基づいて分類を実行することを含む、請求項1に記載の方法。
  10. 前記行動を分類することは、ユーザ入力に少なくとも基づいて分類を実行することを含む、請求項1に記載の方法。
  11. 装置にて、サンプリング情報を、前記装置に無線接続された別の装置から受信することと;
    行動に関連するサンプル・データを生成するために、前記サンプリング情報およびサンプリング基準に少なくとも基づいて、前記行動に関連する行動データの圧縮サンプリングを実行することと;
    前記行動の分類を促進するために、前記サンプル・データを前記別の装置へ送信することと;
    を含む方法。
  12. 前記サンプリング情報を記憶することをさらに含む、請求項11に記載の方法。
  13. 前記サンプリング情報は、基底行列と、前記基底行列から基底のサイズおよび基底ベクトルの集合を選択するための選択情報とを含む、請求項11に記載の方法。
  14. 前記サンプリング基準は、圧縮サンプリングを実行するためのインコヒーレントな基底の選択を含む、請求項11に記載の方法。
  15. 前記圧縮サンプリングを実行することは、前記基底ベクトルの集合に沿って前記行動データをサンプリングすることを含み、前記基底ベクトルの集合は、前記選択情報に基づいて前記基底行列からランダムに選択される、請求項13に記載の方法。
  16. 前記行動の前記分類における誤りが判断されると、更新された選択情報を受信することと;
    更新されたサンプル・データを生成するために、前記更新された選択情報および前記サンプリング基準に少なくとも基づいて、前記行動データの圧縮サンプリングを実行することと;
    前記更新されたサンプル・データを、前記行動の再分類を促進するために送信することと;
    をさらに含む、請求項13または15に記載の方法。
  17. 少なくとも1つのプロセッサと;
    コンピュータ・プログラム・コードを含む少なくとも1つのメモリと;
    を有する装置であって、前記コンピュータ・プログラム・コードは、前記少なくとも1つのプロセッサに実行されると、前記装置に少なくとも、請求項1から10のいずれかに記載の方法を遂行させるように構成される、装置。
  18. 電子デバイスとして構成される、請求項17に記載の装置であって、
    ユーザがディスプレイを使用して前記電子デバイスの少なくとも1つの機能を制御することを可能にするよう構成され、さらに、ユーザ入力に応答するよう構成されている、ユーザ・インターフェース回路およびユーザ・インターフェース・ソフトウェアと;
    前記電子デバイスのユーザ・インターフェースの少なくとも一部を表示するよう構成されているディスプレイ回路であって、前記ディスプレイおよびディスプレイ回路は、前記ユーザが前記電子デバイスの少なくとも1つの機能を制御することを可能にするよう構成されている、前記ディスプレイ回路と;
    を有する、装置。
  19. 携帯電話として構成される、請求項18に記載の装置。
  20. 少なくとも1つのプロセッサと;
    コンピュータ・プログラム・コードを含む少なくとも1つのメモリと;
    を有する装置であって、前記コンピュータ・プログラム・コードは、前記少なくとも1つのプロセッサに実行されると、前記装置に少なくとも、請求項11から16のいずれかに記載の方法を遂行させるように構成される、装置。
  21. 前記プロセッサと接続された無線リンク・モジュールをさらに有し、前記無線リンク・モジュールは、前記装置と前記別の装置との間の無線結合を可能にするよう構成されている、請求項20に記載の装置。
  22. 前記無線リンク・モジュールと接続された行動クラス・モジュールをさらに有し、前記行動クラス・モジュールは、前記行動に関連するユーザ入力を受け取ることを可能にし、かつ前記無線リンク・モジュールを介して前記別の装置へ前記入力を送信するよう構成されている、請求項21に記載の装置。
  23. センサーとして構成される、請求項20から22のいずれかに記載の装置。
  24. 前記別の装置は電子デバイスである、請求項22または23に記載の装置。
  25. 装置の処理手段に実行されることにより、前記装置に請求項1から10のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
  26. 装置の処理手段に実行されることにより、前記装置に請求項11から16のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
  27. 装置であって、
    前記装置にて、行動に関連するサンプル・データを、前記装置に無線接続された1つ以上のセンサーから受信する手段であって、前記サンプル・データは、前記行動に関連する行動データの圧縮サンプリングに基づいて前記1つ以上のセンサーにて生成され、前記圧縮サンプリングは、サンプリング情報に基づき実行される、前記手段と;
    前記サンプル・データに少なくとも基づいて前記行動を分類する手段と;
    前記行動の第1のラベルへの前記分類に関連する誤りを判断する手段と;
    前記誤りと閾値誤りとの比較に基づき前記サンプリング情報を更新または保持する手段と;
    を有する装置。
  28. 前記1つ以上のセンサーが前記サンプル・データを生成するのを促進するために、前記サンプリング情報を前記1つ以上のセンサーへ送信する手段をさらに有する、請求項27に記載の装置。
  29. 前記サンプリング情報は、基底行列と、前記基底行列から基底のサイズおよび基底ベクトルの集合を選択するための選択情報とを含む、請求項27または28に記載の装置。
  30. 前記誤りが前記閾値誤り以上であると判断すると、前記更新されたサンプリング情報に基づいて前記行動を再分類する手段をさらに有する、請求項27または28または29に記載の装置。
  31. 前記誤りが前記閾値誤り以上であると判断すると、前記基底ベクトルの集合に関連する基底ベクトルの数を増大させることにより前記サンプリング情報を更新する手段をさらに有する、請求項29に記載の装置。
  32. 前記基底のサイズの更新回数が閾値以下である間に、前記誤りが前記閾値誤り以上であると判断すると、前記基底ベクトルの集合に関連する前記基底のサイズを増大させることにより前記サンプリング情報を更新する手段をさらに有する、請求項29に記載の装置。
  33. 前記誤りが前記閾値誤りより少ないと判断すると、前記選択情報に関連する、前記基底ベクトルの集合の基底ベクトルの数と、前記基底のサイズとのうちの少なくとも一方を削減することにより前記サンプリング情報を更新する手段をさらに有する、請求項29に記載の装置。
  34. 前記誤りが前記閾値誤りより少ないと判断すると、前記選択情報に関連する、前記基底ベクトルの集合の基底ベクトルの数と、前記基底のサイズとを保持することにより前記サンプリング情報を保持する手段をさらに有する、請求項29に記載の装置。
  35. 分類ルールに基づいて分類を実行することにより前記行動を分類する手段をさらに有する、請求項27に記載の装置。
  36. ユーザ入力に少なくとも基づいて分類を実行することにより前記行動を分類する手段をさらに有する、請求項27に記載の装置。
  37. 装置であって、
    前記装置にて、サンプリング情報を、前記装置に無線接続された別の装置から受信する手段と;
    行動に関連するサンプル・データを生成するために、前記サンプリング情報およびサンプリング基準に少なくとも基づいて、前記行動に関連する行動データの圧縮サンプリングを実行する手段と;
    前記行動の分類を促進するために、前記サンプル・データを前記別の装置へ送信する手段と;
    を有する装置。
  38. 前記サンプリング情報を記憶する手段をさらに有する、請求項37に記載の装置。
  39. 前記サンプリング情報は、基底行列と、前記基底行列から基底のサイズおよび基底ベクトルの集合を選択するための選択情報とを含む、請求項37または38に記載の装置。
  40. 前記サンプリング基準は、圧縮サンプリングを実行するためのインコヒーレントな基底の選択を含む、請求項37に記載の装置。
  41. 基底ベクトルの集合に沿って前記行動データをサンプリングすることにより圧縮サンプリングを実行する手段をさらに有し、前記基底ベクトルの集合は、前記選択情報に基づいて前記基底行列からランダムに選択される、請求項39に記載の装置。

  42. 前記行動の前記分類における誤りが判断されると、更新された選択情報を受信する手段と;
    更新されたサンプル・データを生成するために、前記更新された選択情報および前記サンプリング基準に少なくとも基づいて、前記行動データの圧縮サンプリングを実行する手段と;
    前記更新されたサンプル・データを、前記行動の分類を促進するために送信する手段と;
    をさらに有する、請求項37または39に記載の装置。
JP2014148528A 2013-08-02 2014-07-22 行動認識のための方法、装置、およびコンピュータ・プログラム Expired - Fee Related JP5951695B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1313827.6 2013-08-02
GB1313827.6A GB2516865A (en) 2013-08-02 2013-08-02 Method, apparatus and computer program product for activity recognition

Publications (2)

Publication Number Publication Date
JP2015057691A JP2015057691A (ja) 2015-03-26
JP5951695B2 true JP5951695B2 (ja) 2016-07-13

Family

ID=49224031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014148528A Expired - Fee Related JP5951695B2 (ja) 2013-08-02 2014-07-22 行動認識のための方法、装置、およびコンピュータ・プログラム

Country Status (6)

Country Link
US (1) US11103162B2 (ja)
EP (1) EP2835765A3 (ja)
JP (1) JP5951695B2 (ja)
KR (1) KR101593315B1 (ja)
CN (1) CN104346523B (ja)
GB (1) GB2516865A (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140109726A (ko) * 2013-03-06 2014-09-16 삼성전자주식회사 적은 연산량을 갖는 래티스 리덕션 방법 및 장치
US9788721B2 (en) * 2014-07-22 2017-10-17 Biobit, Inc. Low-power activity monitoring
US10129687B2 (en) * 2014-08-11 2018-11-13 Biobit, Inc. Compressed sensing with machine-to-machine communication
US10731984B2 (en) 2015-02-26 2020-08-04 Stmicroelectronics, Inc. Reconfigurable sensor unit for electronic device
US9870535B2 (en) 2015-02-26 2018-01-16 Stmicroelectronics, Inc. Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
US10260877B2 (en) * 2015-02-26 2019-04-16 Stmicroelectronics, Inc. Reconfigurable sensor unit for electronic device
CN105120469B (zh) * 2015-07-06 2016-09-07 湘潭大学 基于压缩感知的质量可伸缩低信息密度数据收集方法
GB201522819D0 (en) * 2015-12-23 2016-02-03 Apical Ltd Random projection
US20170329808A1 (en) * 2016-05-12 2017-11-16 NeoTek Energy, Inc. System and method for a multi-sensor network interface for real-time data historian
EP3639372B1 (en) * 2017-07-17 2024-02-28 Siemens Aktiengesellschaft Method, field device and network for data acquisition
JP6861600B2 (ja) * 2017-09-11 2021-04-21 株式会社日立製作所 学習装置、および学習方法
CN109460778B (zh) * 2018-10-12 2024-04-09 中国平安人寿保险股份有限公司 活动评估方法、装置、电子设备及存储介质
US11544931B2 (en) 2020-05-26 2023-01-03 Otis Elevator Company Machine learning based human activity detection and classification in first and third person videos
US11768749B2 (en) * 2021-03-31 2023-09-26 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Analytics-based anomaly detection
CN116975938B (zh) * 2023-09-25 2023-11-24 北京谷器数据科技有限公司 一种产品制造过程中的传感器数据处理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0505396D0 (en) * 2005-03-16 2005-04-20 Imp College Innovations Ltd Spatio-temporal self organising map
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
WO2007050593A2 (en) * 2005-10-25 2007-05-03 William Marsh Rice University Method and apparatus for signal detection, classification, and estimation from compressive measurements
US7477999B2 (en) * 2006-10-26 2009-01-13 Samplify Systems, Inc. Data compression for a waveform data analyzer
CN101252430B (zh) 2007-05-10 2010-06-23 中国科学院研究生院 联合信源信道有效用户安全识别方法
JP4992043B2 (ja) 2007-08-13 2012-08-08 株式会社国際電気通信基礎技術研究所 行動識別装置、行動識別システムおよび行動識別方法
JP2009230169A (ja) 2008-03-19 2009-10-08 Mitsubishi Electric Corp パラメータ決定支援装置
JP5628147B2 (ja) 2008-04-16 2014-11-19 コーニンクレッカ フィリップス エヌ ヴェ 睡眠/覚醒状態評価方法及びシステム
US10213164B2 (en) * 2008-09-26 2019-02-26 Qualcomm Incorporated Method and apparatus for under-sampled acquisition and transmission of photoplethysmograph (PPG) data and reconstruction of full band PPG data at the receiver
US9060714B2 (en) * 2008-12-04 2015-06-23 The Regents Of The University Of California System for detection of body motion
US20100184564A1 (en) * 2008-12-05 2010-07-22 Nike, Inc. Athletic Performance Monitoring Systems and Methods in a Team Sports Environment
US9451883B2 (en) * 2009-03-04 2016-09-27 The Regents Of The University Of California Apparatus and method for decoding sensory and cognitive information from brain activity
US20100246920A1 (en) * 2009-03-31 2010-09-30 Iowa State University Research Foundation, Inc. Recursive sparse reconstruction
JP5382436B2 (ja) 2009-08-03 2014-01-08 ソニー株式会社 データ処理装置、データ処理方法、およびプログラム
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
SG10201502531SA (en) 2009-10-19 2015-05-28 Theranos Inc Integrated Health Data Capture And Analysis System
EP2357785B1 (en) * 2009-12-22 2013-02-13 Sony Corporation Passive radiometric imaging device and corresponding method
WO2011085368A1 (en) 2010-01-11 2011-07-14 Research In Motion Limited Sensor-based wireless communication systems using compressed sensing with sparse data
US9075446B2 (en) 2010-03-15 2015-07-07 Qualcomm Incorporated Method and apparatus for processing and reconstructing data
WO2012025797A1 (en) * 2010-08-25 2012-03-01 Indian Institute Of Science Determining spectral samples of a finite length sequence at non-uniformly spaced frequencies
JP5495235B2 (ja) 2010-12-02 2014-05-21 株式会社日立製作所 監視対象者の行動を監視する装置及び方法
KR101181301B1 (ko) 2011-03-22 2012-09-10 전자부품연구원 센싱 패턴을 이용한 저전력 기반의 상황 인식 방법
US8930300B2 (en) * 2011-03-31 2015-01-06 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
US20130066815A1 (en) * 2011-09-13 2013-03-14 Research In Motion Limited System and method for mobile context determination
US9178590B2 (en) * 2011-12-27 2015-11-03 Industrial Technology Research Institute Channel information feedback method and wireless communication device using the same
CN103456148B (zh) * 2012-05-30 2018-03-02 华为技术有限公司 信号重构的方法和装置
US9523576B2 (en) * 2012-09-17 2016-12-20 Xsens Holding B.V. System and method for magnetic field data compression
WO2014096501A1 (en) 2012-12-17 2014-06-26 Nokia Corporation Methods, apparatus and computer programs for obtaining data
WO2014194240A1 (en) * 2013-05-31 2014-12-04 Nike Innovate C.V. Dynamic sampling
US20140361905A1 (en) * 2013-06-05 2014-12-11 Qualcomm Incorporated Context monitoring
US9554747B2 (en) * 2013-08-26 2017-01-31 EveryFit, Inc. Power efficient system and method for measuring physical activity in resource constrained devices

Also Published As

Publication number Publication date
CN104346523A (zh) 2015-02-11
KR20150016163A (ko) 2015-02-11
EP2835765A2 (en) 2015-02-11
CN104346523B (zh) 2018-01-02
EP2835765A3 (en) 2015-02-18
US20150039260A1 (en) 2015-02-05
US11103162B2 (en) 2021-08-31
GB201313827D0 (en) 2013-09-18
KR101593315B1 (ko) 2016-02-11
GB2516865A (en) 2015-02-11
JP2015057691A (ja) 2015-03-26

Similar Documents

Publication Publication Date Title
JP5951695B2 (ja) 行動認識のための方法、装置、およびコンピュータ・プログラム
US11880509B2 (en) Hand pose estimation from stereo cameras
US20210264136A1 (en) Model training method and apparatus, face recognition method and apparatus, device, and storage medium
CN108369808B (zh) 电子设备和用于控制该电子设备的方法
US20170046503A1 (en) Method for detecting activity information of user and electronic device thereof
EP2433416B1 (en) Context recognition in mobile devices
US10028037B2 (en) Apparatus, method and computer program for enabling information to be provided to a user
KR20190007816A (ko) 동영상 분류를 위한 전자 장치 및 그의 동작 방법
US11531859B2 (en) System and method for hashed compressed weighting matrix in neural networks
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN105593903B (zh) 生物体确定装置、测量装置及方法
CN112789628A (zh) 电子装置及其控制方法
CN110022948B (zh) 用于提供锻炼内容的移动装置和与其连接的可佩戴装置
JP6461639B2 (ja) 学習データ生成システム、学習データ生成方法およびプログラム
JP6935863B2 (ja) 教師データ生成装置
CN112084959A (zh) 一种人群图像处理方法及装置
Roy et al. CovidAlert-a wristwatch-based system to alert users from face touching
US20230326206A1 (en) Visual tag emerging pattern detection
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
US20190192011A1 (en) Wearable health monitoring data service
US11743574B2 (en) System and method for AI enhanced shutter button user interface
CN110738124A (zh) 基于关节点坐标的人体姿势识别方法及系统
US20230035961A1 (en) Emoji recommendation system using user context and biosignals
KR20220078176A (ko) 전자 장치 및 이의 제어 방법
CN115188071A (zh) 姿态识别方法、装置和电子设备

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20151112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5951695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees