JP6178218B2 - 欠損値推定装置及び欠損値推定方法 - Google Patents
欠損値推定装置及び欠損値推定方法 Download PDFInfo
- Publication number
- JP6178218B2 JP6178218B2 JP2013236889A JP2013236889A JP6178218B2 JP 6178218 B2 JP6178218 B2 JP 6178218B2 JP 2013236889 A JP2013236889 A JP 2013236889A JP 2013236889 A JP2013236889 A JP 2013236889A JP 6178218 B2 JP6178218 B2 JP 6178218B2
- Authority
- JP
- Japan
- Prior art keywords
- record
- variable
- value
- record group
- explanatory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000000611 regression analysis Methods 0.000 claims description 28
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 230000007547 defect Effects 0.000 claims description 11
- 238000012109 statistical procedure Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 description 14
- 239000000428 dust Substances 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
Description
複数の変数を含むセンサデータのレコード群と当該レコード群における欠損値のうちの推定したい目的変数を受け付ける要求受付部と、
目的変数を有するレコードの変数のうち、欠損しておらず値を有する変数を第1の説明変数に設定し、前記レコード群のなかから前記第1の説明変数の揃ったレコードを解析対象レコード群として集約する集約部と、
前記集約部において集約された解析対象レコード群のレコードそれぞれについて、当該レコードと同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出して、当該レコードにおける前記第1の説明変数とは異なる第2の説明変数として追加する区間統計部と、
前記第2の説明変数が追加された解析対象レコード群について、前記第1及び第2の説明変数を用いた変数選択型の重回帰分析を行うことによって変数の係数の値を計算して当該値の絶対値が小さい変数を説明変数から除く変数選択型回帰分析部と、
重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する推定部と、
を備える。
この構成によれば、観測されたセンサの値だけでなく、移動型センサノードのセンサの値の時間的な変化をもとにした統計値を説明変数に加えることができる。これら統計値によって装着方法や装着場所を特徴づけることができる。例えば、ズボンのポケットに装着した移動型センサノードと鞄の中に装着した移動型センサノードとでは、加速度センサの値に注目すると、ある時刻における値の大きさで比較しても装着方法を区別するのが難しい。しかし、10秒間の値の変化の分散値で比較すると、ズボンのポケットに装着している場合の方が大きくなり、装着方法を特徴づける統計値としてこの分散値を利用できる。
この構成によれば、移動型センサノードの装着方法や装着場所を特徴付ける統計量がセンサの値の空間的な変化をもとにしたものであっても対処できる。例えば、地面に近いところに装着された移動型センサノードと人の目の高さと同じくらいの位置に装着された移動型センサノードとでは、ダストセンサの値に注目すると、ある時刻における値の大きさや時間的な変化で比較しても装着場所を区別するのが難しい。砂利道やアスファルトといった路面環境によってダストが舞う度合いが変化しているような状況では、センサの値は時間よりも位置に依存して変化するためである。しかし、測定位置から10メートルの近傍で観測された値の平均値で比較すると、地面に近いところに装着している場合の方が大きくなり、装着場所を特徴づける統計値としてこの平均値を利用できる。
この構成によれば、短期的なセンサの値の変化で表現できるものから長期的なセンサの値の変化で表現できるものまで、多様な装着方法や装着場所に対処することができる。
複数の変数を含むセンサデータのレコード群と当該レコード群における欠損値のうちの推定したい目的変数を受け付けると、目的変数を有するレコードの変数のうち、欠損しておらず値を有する変数を第1の説明変数に設定し、前記レコード群のなかから前記第1の説明変数の揃ったレコードを解析対象レコード群として集約する集約手順と、
前記集約手順において集約された解析対象レコード群のレコードそれぞれについて、当該レコードと同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出して、当該レコードにおける前記第1の説明変数とは異なる第2の説明変数として追加する区間統計手順と、
前記第2の説明変数が追加された解析対象レコード群について、前記第1及び第2の説明変数を用いた変数選択型の重回帰分析を行うことによって変数の係数の値を計算して当該値の絶対値が小さい変数を説明変数から除く変数選択型回帰分析手順と、
重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する推定手順と、
を有する。
(数3)
(温度)=0.2*(時刻)+0.3*(直近10分の加速度の分散値)+0.1*(近傍100mの騒音の平均値)+(定数)
11:第1メモリ
12:第2メモリ
13:要求受付部
14:集約部
15:区間統計部
16:変数選択型回帰分析部
17:推定部
18:結果応答部
Claims (8)
- 複数の変数を含むセンサデータのレコード群と当該レコード群における欠損値のうちの推定したい目的変数を受け付ける要求受付部と、
目的変数を有するレコードの変数のうち、欠損しておらず値を有する変数を第1の説明変数に設定し、前記レコード群のなかから前記第1の説明変数の揃ったレコードを解析対象レコード群として集約する集約部と、
前記集約部において集約された解析対象レコード群のレコードそれぞれについて、当該レコードと同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出して、当該レコードにおける前記第1の説明変数とは異なる第2の説明変数として追加する区間統計部と、
前記第2の説明変数が追加された解析対象レコード群について、前記第1及び第2の説明変数を用いた変数選択型の重回帰分析を行うことによって変数の係数の値を計算して当該値の絶対値が小さい変数を説明変数から除く変数選択型回帰分析部と、
重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する推定部と、
を備えることを特徴とする欠損値推定装置。 - 前記レコード群は、レコードを構成するセンサデータの観測時刻をレコードの生成時刻として含み、
前記区間統計部は、前記解析対象レコード群のうちの目的変数を有するレコードの生成時刻から一定期間内を設定範囲とし、当該設定範囲で生成された近傍レコード群について、同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出することを特徴とする請求項1に記載の欠損値推定装置。 - 前記センサデータは、移動型センサノードにより観測されたデータであり、
前記レコード群は、レコードを構成するセンサデータの観測位置をレコードの生成位置として含み、
前記区間統計部は、前記解析対象レコード群のうちの目的変数を有するレコードの生成位置から一定距離内を設定範囲とし、当該設定範囲で生成された近傍レコード群について、同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出することを特徴とする請求項1又は2に記載の欠損値推定装置。 - 前記区間統計部は、前記解析対象レコード群のレコードそれぞれについて、当該レコードと同一のオブジェクトから生成されたレコード群のうち、前記近傍レコード群に含まれるレコードの前記第1の説明変数の統計値を複数の異なる設定範囲の前記近傍レコード群について算出することを特徴とする請求項2又は3に記載の欠損値推定装置。
- 複数の変数を含むセンサデータのレコード群と当該レコード群における欠損値のうちの推定したい目的変数を受け付けると、目的変数を有するレコードの変数のうち、欠損しておらず値を有する変数を第1の説明変数に設定し、前記レコード群のなかから前記第1の説明変数の揃ったレコードを解析対象レコード群として集約する集約手順と、
前記集約手順において集約された解析対象レコード群のレコードそれぞれについて、当該レコードと同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出して、当該レコードにおける前記第1の説明変数とは異なる第2の説明変数として追加する区間統計手順と、
前記第2の説明変数が追加された解析対象レコード群について、前記第1及び第2の説明変数を用いた変数選択型の重回帰分析を行うことによって変数の係数の値を計算して当該値の絶対値が小さい変数を説明変数から除く変数選択型回帰分析手順と、
重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する推定手順と、
を有することを特徴とする欠損値推定方法。 - 前記レコード群は、レコードを構成するセンサデータの観測時刻をレコードの生成時刻として含み、
前記区間統計手順において、前記解析対象レコード群のうちの目的変数を有するレコードの生成時刻から一定期間内を設定範囲とし、当該設定範囲で生成された近傍レコード群について、同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出することを特徴とする請求項5に記載の欠損値推定方法。 - 前記センサデータは、移動型センサノードにより観測されたデータであり、
前記レコード群は、レコードを構成するセンサデータの観測位置をレコードの生成位置として含み、
前記区間統計手順において、前記解析対象レコード群のうちの目的変数を有するレコードの生成位置から一定距離内を設定範囲とし、当該設定範囲で生成された近傍レコード群について、同一のオブジェクトから生成されたレコード群の前記第1の説明変数の統計値を算出することを特徴とする請求項5又は6に記載の欠損値推定方法。 - 前記区間統計手順において、前記解析対象レコード群のレコードそれぞれについて、当該レコードと同一のオブジェクトから生成されたレコード群のうち、前記近傍レコード群に含まれるレコードの前記第1の説明変数の統計値を複数の異なる設定範囲の前記近傍レコード群について算出することを特徴とする請求項6又は7に記載の欠損値推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013236889A JP6178218B2 (ja) | 2013-11-15 | 2013-11-15 | 欠損値推定装置及び欠損値推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013236889A JP6178218B2 (ja) | 2013-11-15 | 2013-11-15 | 欠損値推定装置及び欠損値推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015097019A JP2015097019A (ja) | 2015-05-21 |
JP6178218B2 true JP6178218B2 (ja) | 2017-08-09 |
Family
ID=53374286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013236889A Expired - Fee Related JP6178218B2 (ja) | 2013-11-15 | 2013-11-15 | 欠損値推定装置及び欠損値推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6178218B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109254550A (zh) * | 2018-09-03 | 2019-01-22 | 深圳市智物联网络有限公司 | 一种数据处理方法及处理设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7265872B2 (ja) * | 2019-01-25 | 2023-04-27 | 富士通株式会社 | 解析プログラム、解析装置、及び解析方法 |
JP7359009B2 (ja) * | 2020-02-04 | 2023-10-11 | 沖電気工業株式会社 | データ分析装置、プログラム及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078277A (ja) * | 2003-08-29 | 2005-03-24 | Kirin Beverage Corp | 出荷量予測システム |
JP2007279887A (ja) * | 2006-04-04 | 2007-10-25 | Nippon Telegr & Teleph Corp <Ntt> | 特異パターン検出システム、モデル学習装置、特異パターン検出装置、特異パターン検出方法、及び、コンピュータプログラム |
US20080279434A1 (en) * | 2007-05-11 | 2008-11-13 | William Cassill | Method and system for automated modeling |
JP5889759B2 (ja) * | 2012-09-24 | 2016-03-22 | 日本電信電話株式会社 | 欠損値予測装置、欠損値予測方法、欠損値予測プログラム |
-
2013
- 2013-11-15 JP JP2013236889A patent/JP6178218B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109254550A (zh) * | 2018-09-03 | 2019-01-22 | 深圳市智物联网络有限公司 | 一种数据处理方法及处理设备 |
Also Published As
Publication number | Publication date |
---|---|
JP2015097019A (ja) | 2015-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9224104B2 (en) | Generating data from imbalanced training data sets | |
US9361702B2 (en) | Image detection method and device | |
US10643073B2 (en) | System, method, program for display on wearable terminal | |
US20190079821A1 (en) | Technique for Processing Fault Event of IT System | |
JP5949560B2 (ja) | 動線検出処理データ分散システム、動線検出処理データ分散方法およびプログラム | |
TW201812339A (zh) | 震央距離推定裝置、震央距離推定方法及電腦可讀取之記錄媒體 | |
JP6178218B2 (ja) | 欠損値推定装置及び欠損値推定方法 | |
US20170091573A1 (en) | Visual attention detector and visual attention detection method | |
JP2019212291A (ja) | コンピュータビジョンと結合される地磁気信号に基づいた室内位置決めシステム及び方法 | |
JP2013036887A (ja) | 観測値信頼度評価装置、観測値信頼度評価方法及び観測値信頼度評価プログラム | |
Bermingham et al. | A probabilistic stop and move classifier for noisy GPS trajectories | |
CN110335313A (zh) | 音频采集设备定位方法及装置、说话人识别方法及系统 | |
US11782496B2 (en) | Smart context subsampling on-device system | |
JP2018045302A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5915989B2 (ja) | 情報提供装置 | |
CN109740091B (zh) | 一种基于行为认知的用户网络行为的预测系统及方法 | |
JP2014160420A (ja) | 活動状況処理装置及び活動状況処理方法 | |
JP5791555B2 (ja) | 状態追跡装置、方法、及びプログラム | |
Goethals et al. | Reliable spurious mode rejection using self learning algorithms | |
JP2023161956A (ja) | 物体追跡装置、物体追跡方法、及びプログラム | |
JPWO2018047855A1 (ja) | 歩数計数装置、歩数計数方法、およびプログラム | |
Heidari et al. | Forest roads damage detection based on objected detection deep learning algorithms | |
CN117992834B (zh) | 一种数据分析方法以及相关装置 | |
JP5944271B2 (ja) | 地上移動体経路導出装置 | |
US11922330B2 (en) | Apparatus and method for estimating a physical state of a movable object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6178218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |