JP6055719B2 - Action purpose estimation device, action purpose estimation method, and action purpose estimation program - Google Patents
Action purpose estimation device, action purpose estimation method, and action purpose estimation program Download PDFInfo
- Publication number
- JP6055719B2 JP6055719B2 JP2013110137A JP2013110137A JP6055719B2 JP 6055719 B2 JP6055719 B2 JP 6055719B2 JP 2013110137 A JP2013110137 A JP 2013110137A JP 2013110137 A JP2013110137 A JP 2013110137A JP 6055719 B2 JP6055719 B2 JP 6055719B2
- Authority
- JP
- Japan
- Prior art keywords
- variation pattern
- information
- database
- pattern
- body movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、ユーザの生体情報や身体動作からより詳細な行動を自動的に認識し、その認識結果に基づいてユーザの行動目的を推定する行動目的推定装置、行動目的推定方法及び行動目的推定プログラムに関する。 The present invention automatically recognizes more detailed behavior from a user's biological information and body motion, and estimates a behavior purpose of the user based on the recognition result, a behavior purpose estimation method, and a behavior purpose estimation program About.
我々は、外出先において、休憩するにはどこのお店がいいか、ウィンドウショッピングではどこが楽しいか、適当に時間を潰すのに適した場所はどこか、といったように様々な目的が生まれ、その目的を満たすための場所を探すことがある。また、初めて訪れる場所に対して、どこに行けばよいのか迷うことは多々ある。また、自分と同年代の人や趣味が同じ人は、どこで、どのように楽しんでいるかを知りたいことがある。 We have a variety of purposes such as where to go for a break, where to go for a break, where to go for a window shopping, and where to find the right place to kill time. You may find a place to meet your purpose. Also, there are many questions about where to go for the first visit. Also, there are times when people of the same age as you and people with the same hobbies want to know where and how they enjoy themselves.
このように、自分と同じ目的を持つ人、さらに、自分と同じ年代の人々がどこでどのように過ごしているか、というように、ユーザ属性ごとに、訪問地に対する訪問の目的、つまり、場所での過ごし方を推定できれば、上記のような場面に対して行動の支援を行うことができる。 In this way, for each user attribute, the purpose of the visit to the visited place, that is, the place in the place, such as where and how people with the same purpose as you, and people of the same age as you are spending If the way of spending can be estimated, action can be supported for the above scenes.
ところで、GPS(Global Positioning System)や無線LAN(Local Area Network:Wi-Fi(Wireless Fidelity)等)チップが搭載された携帯電話やスマートフォンなどの普及によって、ユーザの位置情報に関する測位データの取得は非常に容易になった。それに伴い、ユーザの位置情報に適したお勧めスポットやレストラン等の情報を提示する研究(非特許文献1,2参照)が進められ、そのサービスが増加している。しかしながら、これらの研究、サービスでは、店のジャンルや店に関する概要に限られている。また、位置情報のみでは、ユーザの滞留地が明らかでも、その場所でどのように過ごしているかなどの、ユーザの詳細な行動まで把握することができない。
By the way, with the spread of mobile phones and smartphones equipped with GPS (Global Positioning System) and wireless LAN (Local Area Network: Wi-Fi (Wireless Fidelity)) chips, it is very difficult to obtain positioning data related to user location information. Became easier. Along with this, research (see Non-Patent
また、近年では、いわゆるおサイフ携帯やNFC(Near Field Communication)端末によって、購買履歴とユーザ属性を基に、ユーザの興味や関心に沿う情報を提供する試みも行われている。しかしながら、これらのサービスでは、購買行動を対象としており、購買をしていない顧客の状況までは把握できない。但し、購買行動をしなくても、商品には興味を持って眺めている顧客もいる。また、商品には興味ないが、飲食店を気に入っていて、よく友人と過ごしに来る顧客や1人で行くことを好んでいく顧客もいる。 In recent years, attempts have been made to provide information in line with the user's interests and interests based on purchase history and user attributes using so-called wallet mobile phones and NFC (Near Field Communication) terminals. However, these services are targeted at purchasing behavior and cannot grasp the situation of customers who are not purchasing. However, some customers are interested in the product even if they do not purchase. There are also customers who are not interested in merchandise, but who like restaurants and often come to spend time with friends or prefer to go alone.
以上述べたように、ユーザが外出先で有意義な時間を過ごせるように、ユーザ属性ごとに、外出先に対する行動目的、つまり、場所での過ごし方を推定してユーザの行動支援を行うサービスの提供が注目されつつある。
この発明は上記事情に着目してなされたもので、ユーザのより詳細な行動を自動的に認識し、その認識結果からユーザの外出先での行動目的を推定することができ、これによって、推定された行動目的と位置情報及びユーザ属性から、ユーザの属性と目的に適した場所を推薦することに利用することのできる行動目的推定装置、行動目的推定方法及び行動目的推定プログラムを提供することを目的とする。
As described above, providing a service that supports the user's behavior by estimating the purpose of the action for the user, that is, how to spend at the place, for each user attribute so that the user can spend a meaningful time on the go Is getting attention.
The present invention has been made by paying attention to the above circumstances, and can automatically recognize more detailed behavior of the user and can estimate the purpose of the behavior on the go of the user from the recognition result. To provide a behavioral purpose estimation device, a behavioral purpose estimation method, and a behavioral purpose estimation program that can be used for recommending a place suitable for a user's attribute and purpose from the behavioral purpose, position information, and user attribute. Objective.
上記目的を達成するためにこの発明の第1の観点における行動目標推定装置は、以下のような構成要素を備えている。
(1)ユーザの生体及び身体動作の生体・身体動作情報を周期的に取得する生体・身体動作情報取得部を備えるユーザ情報取得手段と、前記生体・身体動作情報から一定以上の変動が生じる変動点を抽出する変動点判定手段と、前記判定された変動点から次に判定される変動点までに前記ユーザ情報取得手段で取得されるユーザ情報を1パターン要素として記録し保存する情報パターン要素集合データベースと、予め起こり得る行動目的を登録しておく行動目的データベースと、予め前記行動目的ごとに起こり得る生体・身体動作情報の変動パターンを登録しておく目的・変動パターンデータベースと、目的推定手段とを具備する。そして、前記目的推定手段に、前記情報パターン要素集合データベースに保存されるパターン要素について、前記目的・変動パターンデータベースを用いて生体・身体動作情報の変動パターンを抽出する手段と、前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定する手段と、前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出し、算出された差分が小さい方を前記変動パターンとして選択する手段と、前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定する手段とを備えるものとする。
In order to achieve the above object, an action target estimation apparatus according to a first aspect of the present invention includes the following components.
(1) User information acquisition means including a living body / body movement information acquisition unit that periodically acquires the living body / body movement information of the user's living body and body movement, and fluctuations in which a certain level of fluctuation occurs from the living body / body movement information A variation point determination unit that extracts points, and an information pattern element set that records and stores user information acquired by the user information acquisition unit as one pattern element from the determined variation point to the next determined variation point A database, a behavioral purpose database for registering possible behavioral purposes in advance, a purpose / variation pattern database for registering a variation pattern of biological / physical movement information that can occur for each behavioral purpose in advance, a purpose estimating means, It comprises. Then, means for extracting the variation pattern of the biological / body movement information using the purpose / variation pattern database for the pattern elements stored in the information pattern element set database in the purpose estimation means, and the extracted biological A means for determining whether or not the variation pattern of the body movement information includes first and second patterns with overlapping elements, and determination that the first and second patterns with overlapping elements are included In the case of each of the first and second patterns, the time of the element included in the pattern and the time of the element included in the corresponding variation pattern registered in the objective / variation pattern database Means for calculating a difference and selecting the smaller one of the calculated differences as the variation pattern; and the purpose / variation pattern data Based on the base, it is intended to comprise a manual stage you estimate the behavior object corresponding to the selected change pattern.
(2)(1)において、前記ユーザ情報取得手段は、さらに前記ユーザの位置情報を前記身体動作の生体・身体動作情報と共に取得する位置情報取得部を備え、前記情報パターン要素集合データベースは、前記ユーザ情報に前記位置情報取得部で得られる位置情報を加え、前記行動目的データベースは、前記行動目的を位置ごとに登録しておくものとし、前記目的推定手段は、前記位置情報に基づいて前記行動目的データベースを参照することで前記行動目的を推定し、推定した行動目的に対応する生体・身体動作情報の変動パターンを前記目的・変動パターンデータベースから特定し、特定された変動パターンが前記情報パターン要素集合データベースに含まれているかを判定する。 (2) In (1), the user information acquisition unit further includes a position information acquisition unit that acquires the position information of the user together with the biological / body movement information of the body movement, and the information pattern element set database includes the information pattern element set database, The location information obtained by the location information acquisition unit is added to the user information, the behavior purpose database registers the behavior purpose for each location, and the purpose estimation means determines the behavior based on the location information. The behavioral purpose is estimated by referring to a purpose database, a variation pattern of biological / body movement information corresponding to the estimated behavioral purpose is identified from the purpose / variation pattern database, and the identified variation pattern is the information pattern element to determine if they were included in the set database.
(3)(2)において、さらに、前記ユーザそれぞれの属性情報を登録するユーザ属性登録手段と、前記目的推定手段にて推定された行動目的及びその推定に用いられた位置情報と、予め前記ユーザ属性登録手段に登録されているユーザ属性情報とを記録する属性・目的登録手段とを有する。 (3) In (2), the user attribute registration means for registering the attribute information of each user, the action purpose estimated by the purpose estimation means and the position information used for the estimation, and the user in advance Attribute / purpose registration means for recording user attribute information registered in the attribute registration means.
また、上記目的を達成するためにこの発明の第2の観点における行動目的推定方法は、以下のような構成要素を備えている。
(4)コンピュータを有する行動目的推定装置が行う行動目的推定方法であって、ユーザの生体及び身体動作の生体・身体動作情報を周期的に取得し、前記生体・身体動作情報から一定以上の変動が生じる変動点を抽出し、前記抽出された変動点から次に判定される変動点までに取得されるユーザ情報を1パターン要素として情報パターン要素集合データベースに記録して保存し、予め起こり得る行動目的を行動目的データベースに登録しておき、予め前記行動目的ごとに起こり得る生体・身体動作情報の変動パターンを目的・変動パターンデータベースに登録しておき、前記情報パターン要素集合データベースに登録されるパターン要素について、前記目的・変動パターンデータベースを用いて生体・身体動作情報の変動パターンを抽出し、前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定し、前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出して、算出された差分が小さい方を前記変動パターンとして選択し、前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定するものとする。
In order to achieve the above object, the behavior purpose estimation method according to the second aspect of the present invention includes the following components.
( 4 ) A behavioral purpose estimation method performed by a behavioral purpose estimation device having a computer, which periodically obtains biological / physical movement information of a user's biological body and body movement, and more than a certain fluctuation from the biological / body movement information Is extracted, the user information acquired from the extracted variation point to the next determined variation point is recorded and stored in the information pattern element set database as one pattern element, and the action that can occur in advance Patterns registered in the information pattern element set database by registering the purpose in the behavior purpose database, registering in advance in the purpose / variation pattern database a variation pattern of biological / body movement information that may occur for each behavior purpose Extract variation patterns of biological / body movement information using the objective / variation pattern database , The variation pattern of the extracted biological and physical operation information, judges whether includes the first and second patterns elements overlap, the first and second pattern in which the elements overlap When determined to be included, for each of the first and second patterns, the time of the element included in the pattern and the element included in the corresponding variation pattern registered in the purpose / variation pattern database calculates the difference between the time, whichever is the calculated difference is smaller is selected as the change pattern on the basis of the object-change pattern database, estimate the behavior object that corresponds to the selected change pattern It shall be.
また、上記目的を達成するためにこの発明の第3の観点における行動目的推定プログラムは、以下のような構成要素を備えている。
(5)ユーザのより詳細な行動を自動的に認識し、その認識結果からユーザの外出先での行動目的を推定する処理をコンピュータに実行させる行動目的推定プログラムであって、ユーザの生体及び身体動作の生体・身体動作情報を周期的に取得するステップと、前記生体・身体動作情報から一定以上の変動が生じる変動点を抽出するステップと、前記抽出された変動点から次に判定される変動点までに取得されるユーザ情報を1パターン要素として情報パターン要素集合データベースに記録して保存するステップと、予め起こり得る行動目的を行動目的データベースに登録しておくステップと、予め前記行動目的ごとに起こり得る生体・身体動作情報の変動パターンを目的・変動パターンデータベースに登録しておくステップと、前記情報パターン要素集合データベースに保存されるパターン要素について、前記目的・変動パターンデータベースを用いて生体・身体動作情報の変動パターンを抽出するステップと、前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定するステップと、前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出し、算出された差分が小さい方を前記変動パターンとして選択するステップと、前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定するステップとを備えるものとする。
In order to achieve the above object, the action purpose estimation program according to the third aspect of the present invention comprises the following components.
( 5 ) A behavior purpose estimation program for automatically recognizing a user's more detailed behavior and causing the computer to execute a process of estimating the behavior purpose of the user on the go from the recognition result. A step of periodically acquiring biological / body movement information of movement, a step of extracting a fluctuation point at which a fluctuation of a certain level or more occurs from the biological / body movement information, and a fluctuation determined next from the extracted fluctuation point A step of recording and storing user information acquired up to a point in the information pattern element set database as one pattern element, a step of registering in advance an action purpose that can occur in advance in the action purpose database, Registering a variation pattern of possible biological / body movement information in a purpose / variation pattern database, and the information The pattern elements to be stored in the turn element set database, the variation pattern of the extracting variation patterns of the living-body motion information using a purpose-change pattern database, the extracted biometric, body motion information element Determining whether or not the first and second patterns that overlap are included, and if it is determined that the first and second patterns that overlap the elements are included, the first and second For each of the two patterns, the difference between the time of the element included in the pattern and the time of the element included in the corresponding variation pattern registered in the purpose / variation pattern database is calculated, and the calculated difference is The step of selecting the smaller one as the variation pattern, and the selection based on the objective / variation pattern database. And a step of estimating an action purpose corresponding to the changed variation pattern .
以上のように、本発明は、(1)身体情報の時間的変動点を区切りとした各区間内での身体情報の特徴を抽出して、区間の長さとともにパターン要素として記録し、記録されたものの時間的並びを、予め行動目的に対応付けられたパターンと照合することで、身体情報からユーザの行動目的を推定する。また、行動目的を推定する際に、前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定し、前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出し、算出された差分が小さい方を前記変動パターンとして選択し、前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定する。
さらに(2)ユーザの位置情報を併用し、その位置情報から照合するパターン数を限定することで推定の精度を向上させる。これにより、推定された行動目的と位置情報及びユーザ属性から、ユーザの属性と目的に適した場所を推薦する用途に利用可能となる。
As described above, the present invention (1) extracts features of physical information in each section with the time variation point of physical information as a break, and records and records it as a pattern element together with the length of the section. The user's action purpose is estimated from the physical information by collating the temporal arrangement of the items with a pattern previously associated with the action purpose. Further, when estimating the behavioral purpose, it is determined whether or not the extracted variation pattern of the living body / body movement information includes the first and second patterns with overlapping elements, and the elements overlap. When it is determined that the first and second patterns to be included are included, for each of the first and second patterns, the time of the elements included in the pattern and the purpose / variation pattern database are registered. Calculating a difference with the time of an element included in the corresponding variation pattern, selecting the smaller variation as the variation pattern, and selecting the variation pattern based on the objective / variation pattern database. The action purpose corresponding to is estimated.
Furthermore, (2) the accuracy of estimation is improved by using the user's position information together and limiting the number of patterns to be collated from the position information. Thereby, it can utilize for the use which recommends the place suitable for a user's attribute and purpose from the estimated action purpose and position information, and a user attribute.
したがってこの発明によれば、ユーザのより詳細な行動を自動的に認識し、その認識結果からユーザの外出先での行動目的を推定することができ、これによって、推定された行動目的と位置情報及びユーザ属性から、ユーザの属性と目的に適した場所を推薦することに利用する可能な行動目的推定装置、行動目的推定方法及び行動目的推定プログラムを提供することができる。 Therefore, according to the present invention, the user's more detailed behavior can be automatically recognized, and the purpose of the user's action can be estimated from the recognition result, and thereby the estimated behavior purpose and position information can be estimated. In addition, it is possible to provide a behavioral purpose estimation device, a behavioral purpose estimation method, and a behavioral purpose estimation program that can be used to recommend a location suitable for the user's attribute and purpose from the user attribute.
以下、図面を参照してこの発明に係わる実施形態を説明する。
図1は、本発明の一実施形態に係る行動目的推定装置の構成を示すブロック図である。図1において、ユーザ初期情報入力部11は、ユーザの性別や年齢、趣味などを登録するユーザ属性登録部111と、ユーザごとの生体情報の基準値を登録する初期情報登録部112から構成される。入力は、PC(Personal Computer)や携帯端末など、ネットワークに介されたデバイスのいずれでもよい。
Embodiments according to the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an action purpose estimation apparatus according to an embodiment of the present invention. In FIG. 1, a user initial information input unit 11 includes a user attribute registration unit 111 that registers a user's gender, age, hobbies, and the like, and an initial
ユーザ情報取得部12は、ユーザが持ち歩き可能な端末を用いて、心拍や皮膚電気活動や体温などの生体情報を取得する生体情報取得部121と、加速度センサやジャイロセンサなどによって身体の動作情報を取得する身体動作情報取得部122と、ユーザの現在の位置を測位する位置情報取得部123によって構成される。なお、身体動作情報取得部122においては、ユーザが滞在する場所にカメラを設置して撮影した画像でもよい。
The user
生体・身体動作情報変動点判定部13は、s秒おきに生体情報及び身体動作情報の平均値や分散値などを算出し、生体情報及び身体動作情報のいずれか1つ以上が閾値以上変動したときに、変動点として判定する。
生体・身体動作情報パターン要素集合データベース(DB)14は、上記生体・身体動作情報変動点判定部13にて判定された変動点の2点間を1要素として、その2点間における生体・身体動作情報を、位置情報及び経過時間とともに記録保存する。なお、位置情報においては、2点間で変移した位置の中心部を算出するなどによって少ない点で表してもよいものとする。
The living body / body movement information change
The living body / body movement information pattern element set database (DB) 14 has two points of the variation point determined by the living body / body movement information variation
データベース部15は、位置・目的データベース151、目的・変動パターンデータベース152及び属性・目的登録部153を備える。
位置・目的データベース151には、位置ごとに起こり得る行動目的を予め登録しておく。
目的・変動パターンデータベース152には、行動目的ごとに、目的遂行時に生じる生体情報及び身体動作情報の変動パターンを予め登録しておく。また、パターンを構成する1要素ごとに、変動に要する時間の範囲を登録しておく。
The
In the position /
In the purpose /
属性・目的登録部153は、目的推定部16から出力される行動目的と、目的推定部16において参照された位置情報と、ユーザ属性登録部111にユーザ属性を記録して保存する。
目的推定部16は、生体・身体動作情報パターン要素集合データベース14に対して、位置・目的データベース151及び目的・変動パターンデータベース152を参照して、変動パターンに対応する目的の判定を行い、判定された目的を出力する。
The attribute /
The
上記構成による目的推定装置において、以下にその処理動作を説明する。ここでは、動作ごとの生体情報の変化の例として、1分あたりの平均心拍数を1秒ごとに算出した場合を検討する。
具体的に、本屋で立ち読みをしながら本を探している時の心拍数を計測したところ、以下のような結果が得られた。
ゆっくり歩行:平均98.76回
立ち読み状態:平均78.81回
このように、本屋では、立ち読みとゆっくりな歩行を繰り返しているが、立ち読み時とゆっくりな歩行時の平均心拍数や分散値は異なることがわかる。
The processing operation of the purpose estimation apparatus having the above configuration will be described below. Here, the case where the average heart rate per minute is calculated every second is considered as an example of the change in the biological information for each operation.
Specifically, when looking at a book while browsing at a bookstore, the heart rate was measured and the following results were obtained.
Slow walking: average 98.76 times
Browse state: average 78.81 times
As described above, in the bookstore, standing reading and slow walking are repeated, but it can be seen that the average heart rate and the variance value are different between standing reading and slow walking.
一方、カフェにて1人で食事をしたときの心拍数を計測してみると、以下のような結果が得られた。
着席(食前):平均86.30回
食事中 :平均105.75回
着席(食後):平均85.92回
このように、着席し、注文をして料理が来るまでの心拍数と、食事を開始してからの心拍数が大きく変わることが分かる。
On the other hand, when the heart rate when eating alone at the cafe was measured, the following results were obtained.
Seated (before meals): Average 86.30 times
During meals: Average 105.75 times
Seated (after meals): 85.92 on average
In this way, it can be seen that the heart rate until sitting after seating, placing an order, and the food coming from, and the heart rate after starting the meal change greatly.
この実施形態では、例として、行動ごとによって心拍情報が変化することと、行動のパターンが目的に応じて類似している点に着目して、心拍変動のパターンからユーザの目的を推定する場合について説明する。
まず、図2に示すフローチャートを参照して、変動点判定部13の判定処理の流れを説明する。
In this embodiment, as an example, a case where the user's purpose is estimated from the heartbeat fluctuation pattern, focusing on the fact that the heartbeat information changes depending on the action and the action pattern is similar according to the purpose. explain.
First, the flow of determination processing of the changing
図2において、変動点判定部13は、s秒ごとにユーザ情報取得部12から生体・身体動作情報(心拍・位置)を取得し(ステップS11,S12)、s秒間の生体・身体動作情報の平均値・分散値等を算出する(ステップS13)。この算出処理回数(i)が初めて(i==1)か否かを判断し(ステップS14)、初めての場合には、生体・身体動作情報パターン要素集合データベース14へi番目の要素として登録した後(ステップS15)、次の要素集合(i++)の取得のためにステップS11に戻る(ステップS17)。
In FIG. 2, the changing
ステップS14の判断において、算出処理回数(i)が初めてでなかった場合には、算出値が要素周波数のi−1番目から閾値以上変化しているかを判断する(ステップS16)。この判断で、閾値以上変化した場合には、ステップS15に移行して要素iの変動点として登録する。閾値以上の変化でなかった場合には、パターン要素集合の登録は行わずに、次の要素集合の取得に移行する。 If it is determined in step S14 that the number of calculation processes (i) is not the first time, it is determined whether the calculated value has changed by more than a threshold value from the element frequency i-1 (step S16). If it is determined that the threshold value has changed more than the threshold value, the process proceeds to step S15 and is registered as a variation point of the element i. If the change is not greater than the threshold, the pattern element set is not registered, and the process proceeds to acquisition of the next element set.
次に、図3に示すフローチャート及び図4に示す登録例を参照して、生体・身体動作情報パターン要素集合データベース14への登録処理の流れを説明する。
図3において、生体・身体動作情報パターン要素集合データベース14では、ユーザ情報取得部12から生体・身体動作情報(心拍・位置)を取得すると(ステップS21)、変動点を順次判定し(ステップS22,S23)、変動点が判定された場合には、生体・身体動作情報パターン要素集合データベース14へ登録し(ステップS24)、ステップS21に戻って次の生体・身体動作情報の変動点登録処理に移行する。
図2及び図3に示す処理により、例として、図4に示すように、ユーザのs秒ごとの位置情報及び心拍情報を取得しデータベース13に登録された場合の目的を推定する場合を説明する。
Next, the flow of registration processing in the living body / body movement information pattern element set
In FIG. 3, in the living body / body movement information pattern element set
As an example, a case will be described in which the purpose in the case where the position information and heartbeat information of the user every s seconds are acquired and registered in the
位置・目的データベース151には、予め位置ごとに起こり得る目的が登録されている。ここで、位置を(lat, long)とした時、(lat, long)を中心とした半径xメートル以内に含まれる位置で、起こり得る目的を登録するものとする。位置・目的データベース151の例を図5に示す。図5では、位置・目的データベース151において、位置A,B,Cそれぞれにおけるユーザがとり得る目的が複数種登録されている。
In the position /
目的・変動パターンデータベース152には、予め、目的ごとに、目的遂行時に生じる生体情報及び身体動作情報の変動パターンが登録されている。また、パターンを構成する1要素ごとに、変動に要する時間の範囲が登録されている。目的・変動パターンデータベース152の例を図6に示す。図6において、(a)は、目的が買い物である場合の生体・身体動作と時間範囲、(b)は目的が一人で食事する場合の生体・身体動作と時間範囲を示している。
In the purpose /
目的推定部16は、生体・身体動作情報パターン要素集合データベース14に対して、位置・目的データベース151及び目的・変動パターンデータベース152を参照して、変動パターンに対応する目的の判定を行い、判定された目的を出力する。
具体的には、図7に示す処理が実行される。
まず、生体・身体動作情報パターン要素集合のi番目からi+(N-1)番目までの要素を抽出し(ステップS31)、その要素に含まれる位置情報から、位置・目的データベース151を参照して対応する目的を取得する(ステップS32)。参照された目的から目的・変動パターンデータベース152の生体・身体動作情報の変動パターンを特定し(ステップS33)、特定された変動パターンをもとにN個の要素内に変動パターンが含まれているかの判定を行う(ステップS34)。判定された場合、目的・変動パターンデータベース152を参照して目的を出力する(ステップS35)。この処理を、1要素ずつ窓幅Nを動かしながら全要素に対して行う(ステップS36)。
The
Specifically, the process shown in FIG. 7 is executed.
First, elements from the i-th to i + (N-1) -th elements of the biological / body movement information pattern element set are extracted (step S31), and the position /
ここで、図8に示すように、生体・身体動作情報パターン要素集合内に、要素を重複してパターンAとパターンBが含まれている場合がある。この場合を考慮して、各要素の時間と、目的・変動パターンデータベース152に登録されている時間から、時間の差分が小さい方のパターンを出力する。
Here, as shown in FIG. 8, patterns A and B may be included in the living body / body movement information pattern element set by overlapping elements. In consideration of this case, a pattern with a smaller time difference is output from the time of each element and the time registered in the objective /
例えば、生体・身体動作情報パターン要素集合の各要素の時間をT1,T2,…TNとして、要素(1) から要素(6) までの変動パターンが(1),(2),(3),(3),(2),(1)だったとする。ここで、目的・変動パターンデータベース152に登録されている、目的Aの生体・身体動作情報の変動パターンが(1),(2),(3)、各要素の時間がt1,t2,t3、目的Bの変動パターンが(3),(3),(2)、各要素の時間がt1’,t2’,t3’だったとすると、生体・身体動作情報パターン要素集合内に、要素が重複してしまい、2通りのパターンが登録された可能性が考えられる。このとき、T1,T2,T3とt1,t2,t3,T3,T4,T5とt1’,t2’,t3’の差分を算出し、誤差が小さい方を変動パターンとして、その変動パターンに対応する目的を抽出し出力する。
For example, assuming that the time of each element of the biological / body movement information pattern element set is T 1 , T 2 ,... T N , the variation pattern from element (1) to element (6) is (1), (2), ( Assume that 3), (3), (2), and (1). Here, the variation pattern of the biological / physical movement information of purpose A registered in the purpose /
すなわち、図7に示す目的推定処理において、ステップS34における変動パターンの判定処理後、要素を重複してパターンを含むか判定し(ステップS37)、重複するパターンを含む場合には、時間による変動パターンを判定して(ステップS38)、ステップS35の処理に移行し、時間の変動パターンに対応する行動目的を推定出力する。 That is, in the purpose estimation process shown in FIG. 7, after the variation pattern determination process in step S <b> 34, it is determined whether the elements are overlapped to include a pattern (step S <b> 37). (Step S38), the process proceeds to step S35, and the behavioral purpose corresponding to the time variation pattern is estimated and output.
以上のように、上記実施形態では、行動の種類によって生体情報や身体動作情報が異なるという人間の性質と、1つの目的達成への行動が複数の行動から構成され、構成された行動のパターン(例:歩く→座る→食べる→立つ→歩く)が、目的ごとに類似していることを利用しているので、生体情報や身体動作情報の変動パターンから目的を推定することが可能となる。 As described above, in the above embodiment, the human nature that biological information and body movement information differ depending on the type of action, and the action to achieve one purpose is composed of a plurality of actions, and the action pattern ( Example: walking → sitting → eating → standing → walking) is similar to each purpose, so that the purpose can be estimated from the variation pattern of the biological information and the body movement information.
また、場所ごとに対して、頻出する目的を予め登録しておき、目的ごとに対して、目的遂行時に現れる生体情報や身体動作情報の変動パターンを予め登録するようにしているので、ユーザに特別な入力操作を要せずに目的を推定することが可能となる。
さらに、推定された目的と、位置情報と、ユーザの属性を統合して記録するようにしているので、ある場所にどのような属性がどのような目的を持って訪問しているかという情報をも提供することが可能となる。
In addition, the purpose that appears frequently for each place is registered in advance, and the variation pattern of the biological information and the body movement information that appears when the purpose is performed is registered in advance for each purpose. It is possible to estimate the purpose without requiring a simple input operation.
In addition, since the estimated purpose, location information, and user attributes are integrated and recorded, information on what attributes are visited for a certain purpose and what purpose is also available. It becomes possible to provide.
したがって上記実施形態の目的推定装置によれば、ユーザのより詳細な行動を自動的に認識し、その認識結果からユーザの外出先での行動目的を推定することができ、これによって、推定された行動目的と位置情報及びユーザ属性から、ユーザの属性と目的に適した場所を推薦することが可能となる。 Therefore, according to the purpose estimation device of the above-described embodiment, it is possible to automatically recognize the user's more detailed behavior and to estimate the behavior purpose at the user's whereabouts from the recognition result. It is possible to recommend a place suitable for the user's attribute and purpose from the action purpose, position information, and user attribute.
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態では、行動ごとの心拍変動のパターンに基づく処理について説明したが、他の行動・生体情報・身体情報のパターンについても同様に実施可能である。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. For example, in the above-described embodiment, the processing based on the pattern of heartbeat variability for each action has been described. However, other actions, biological information, and body information patterns can be similarly implemented.
また、上記実施形態では、図2、図3、図7に示すフローチャートにて、それぞれの処理方法について説明したが、これらの方法は、コンピュータに実行させるためのプログラムで実現可能である。すなわち、この発明の係る行動目的推定プログラムをコンピュータにロードさせ、ユーザ情報を取り込ませることで、上記実施形態の処理を実行させることができる。 In the above embodiment, the respective processing methods have been described with reference to the flowcharts shown in FIGS. 2, 3, and 7. However, these methods can be realized by a program that is executed by a computer. That is, the action purpose estimation program according to the present invention is loaded on a computer and user information is taken in, whereby the processing of the above embodiment can be executed.
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
11…ユーザ初期情報入力部、
111…ユーザ属性登録部、
112…初期情報登録部、
12…ユーザ情報取得部、
121…生体情報取得部、
122…身体動作情報取得部、
123…位置情報取得部、
13…生体・身体動作情報変動点判定部、
14…生体・身体動作情報パターン要素集合データベース(DB)、
15…データベース部、
151…位置・目的データベース、
152…目的・変動パターンデータベース、
153…属性・目的登録部、
16…目的推定部。
11 ... User initial information input section,
111 ... User attribute registration part,
112 ... initial information registration unit,
12 ... User information acquisition unit,
121 ... Biometric information acquisition unit,
122 ... body movement information acquisition unit,
123 ... Location information acquisition unit,
13 ... Living body / body movement information change point determination unit,
14 ... Living body / body movement information pattern element set database (DB),
15 ... Database section
151. Location / purpose database,
152 ... purpose / variation pattern database,
153 ... attribute / purpose registration section,
16 ... purpose estimation part.
Claims (5)
前記生体・身体動作情報から一定以上の変動が生じる変動点を抽出する変動点判定手段と、
前記判定された変動点から次に判定される変動点までに前記ユーザ情報取得手段で取得されるユーザ情報を1パターン要素として記録し保存する情報パターン要素集合データベースと、
予め起こり得る行動目的を登録しておく行動目的データベースと、
予め前記行動目的ごとに起こり得る生体・身体動作情報の変動パターンを登録しておく目的・変動パターンデータベースと、
目的推定手段と
を具備し、
前記目的推定手段は、
前記情報パターン要素集合データベースに保存されるパターン要素について、前記目的・変動パターンデータベースを用いて生体・身体動作情報の変動パターンを抽出する手段と、
前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定する手段と、
前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出し、算出された差分が小さい方を前記変動パターンとして選択する手段と、
前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定する手段と
を具備する行動目的推定装置。 User information acquisition means comprising a living body / body movement information acquisition unit that periodically acquires the living body / body movement information of the user's body and body movement;
Fluctuation point determination means for extracting a fluctuation point where a fluctuation of a certain level or more occurs from the biological / body movement information;
An information pattern element set database that records and stores user information acquired by the user information acquisition means from the determined variation point to the next determined variation point as one pattern element;
A behavioral purpose database for registering possible behavioral purposes;
A purpose / variation pattern database for registering a variation pattern of biological / body movement information that can occur in advance for each behavior purpose;
Purpose estimation means and
Comprising
The purpose estimating means includes
For pattern elements stored in the information pattern element set database, means for extracting a variation pattern of biological / body movement information using the purpose / variation pattern database;
Means for determining whether or not the extracted variation pattern of the biological / body movement information includes first and second patterns having overlapping elements;
When it is determined that the first and second patterns in which the elements overlap are included, for each of the first and second patterns, the time of the elements included in the pattern and the purpose / variation pattern database Means for calculating a difference with the time of an element included in a corresponding variation pattern registered in (2), and selecting a smaller calculated difference as the variation pattern;
Wherein based on the purpose and variation pattern database, the action object estimating apparatus and a hand stage you estimate the behavior object corresponding to the selected change pattern.
前記情報パターン要素集合データベースは、前記ユーザ情報に前記位置情報取得部で得られる位置情報を加え、
前記行動目的データベースは、前記行動目的を位置ごとに登録しておくものとし、
前記目的推定手段は、前記位置情報に基づいて前記行動目的データベースを参照することで前記行動目的を推定し、推定した行動目的に対応する生体・身体動作情報の変動パターンを前記目的・変動パターンデータベースから特定し、特定された変動パターンが前記情報パターン要素集合データベースに含まれているかを判定する請求項1記載の行動目的推定装置。 The user information acquisition means further includes a position information acquisition unit that acquires the position information of the user together with the biological / body movement information of the body movement,
The information pattern element set database adds position information obtained by the position information acquisition unit to the user information,
The behavior purpose database shall register the behavior purpose for each position,
The purpose estimation means estimates the behavior purpose by referring to the behavior purpose database based on the position information, and displays a variation pattern of biological / body movement information corresponding to the estimated behavior purpose as the purpose / variation pattern database. identified, action object estimating apparatus according to claim 1, wherein determining whether the identified change pattern included in the information pattern element set database from.
前記ユーザそれぞれの属性情報を登録するユーザ属性登録手段と、
前記目的推定手段にて推定された行動目的及びその推定に用いられた位置情報と、予め前記ユーザ属性登録手段に登録されているユーザ属性情報とを記録する属性・目的登録手段と
を有する請求項2記載の行動目的推定装置。 further,
User attribute registration means for registering attribute information of each of the users;
An attribute / purpose registration unit for recording the behavior purpose estimated by the purpose estimation unit and the position information used for the estimation, and user attribute information registered in the user attribute registration unit in advance. The action purpose estimation device according to 2.
ユーザの生体及び身体動作の生体・身体動作情報を周期的に取得し、
前記生体・身体動作情報から一定以上の変動が生じる変動点を抽出し、
前記抽出された変動点から次に判定される変動点までに取得されるユーザ情報を1パターン要素として情報パターン要素集合データベースに記録して保存し、
予め起こり得る行動目的を行動目的データベースに登録しておき、
予め前記行動目的ごとに起こり得る生体・身体動作情報の変動パターンを目的・変動パターンデータベースに登録しておき、
前記情報パターン要素集合データベースに保存されるパターン要素について、前記目的・変動パターンデータベースを用いて生体・身体動作情報の変動パターンを抽出し、
前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定し、
前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出して、算出された差分が小さい方を前記変動パターンとして選択し、
前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定する行動目的推定方法。 A behavioral purpose estimation method performed by a behavioral purpose estimation device having a computer,
Periodically obtain the living body and body movement information of the user's body and body movement,
Extract a variation point where a certain variation occurs from the living body / body movement information,
User information acquired from the extracted variation point to the next determined variation point is recorded and stored in the information pattern element set database as one pattern element,
Register the possible behavioral goals in the behavioral purpose database in advance,
Register the fluctuation pattern of biological / body movement information that can occur for each action purpose in advance in the purpose / variation pattern database,
For pattern elements stored in the information pattern element set database, extract a variation pattern of biological / body movement information using the objective / variation pattern database,
It is determined whether or not the extracted variation pattern of the biological / body movement information includes first and second patterns with overlapping elements,
When it is determined that the first and second patterns in which the elements overlap are included, for each of the first and second patterns, the time of the elements included in the pattern and the purpose / variation pattern database To calculate the difference with the time of the element included in the corresponding variation pattern registered in, and select the smaller calculated difference as the variation pattern,
Wherein based on the purpose and variation pattern database, behavioral object estimating method for estimating an action object that corresponds to the selected variation pattern.
ユーザの生体及び身体動作の生体・身体動作情報を周期的に取得するステップと、
前記生体・身体動作情報から一定以上の変動が生じる変動点を抽出するステップと、
前記抽出された変動点から次に判定される変動点までに取得されるユーザ情報を1パターン要素として情報パターン要素集合データベースに記録して保存するステップと、
予め起こり得る行動目的を行動目的データベースに登録しておくステップと、
予め前記行動目的ごとに起こり得る生体・身体動作情報の変動パターンを目的・変動パターンデータベースに登録しておくステップと、
前記情報パターン要素集合データベースに保存されるパターン要素について、前記目的・変動パターンデータベースを用いて生体・身体動作情報の変動パターンを抽出するステップと、
前記抽出された生体・身体動作情報の変動パターンに、要素が重複する第1および第2のパターンが含まれているか否かを判定するステップと、
前記要素が重複する第1および第2のパターンが含まれると判定された場合に、当該第1および第2のパターンの各々について、当該パターンに含まれる要素の時間と、前記目的・変動パターンデータベースに登録されている対応する変動パターンに含まれる要素の時間との差分を算出し、算出された差分が小さい方を前記変動パターンとして選択するステップと、
前記目的・変動パターンデータベースをもとに、前記選択された変動パターンに対応する行動目的を推定するステップと
を備える行動目的推定プログラム。 A behavior purpose estimation program for automatically recognizing a user's more detailed behavior and causing a computer to execute a process for estimating the behavior purpose of the user on the go from the recognition result,
Periodically obtaining biological and body movement information of the user's body and body movement;
Extracting a fluctuation point at which a fluctuation of a certain level or more occurs from the biological / body movement information;
Recording and storing user information acquired from the extracted variation point to the next determined variation point in an information pattern element set database as one pattern element;
Registering possible behavioral purposes in the behavioral purpose database;
Registering in advance in the purpose / variation pattern database a variation pattern of biological / physical movement information that can occur for each behavior purpose;
Extracting a variation pattern of biological / body movement information using the purpose / variation pattern database for the pattern elements stored in the information pattern element set database ; and
Determining whether or not the extracted variation pattern of the biological / body movement information includes first and second patterns with overlapping elements;
When it is determined that the first and second patterns in which the elements overlap are included, for each of the first and second patterns, the time of the elements included in the pattern and the purpose / variation pattern database Calculating the difference with the time of the element included in the corresponding variation pattern registered in the step, and selecting the smaller calculated difference as the variation pattern;
A behavior purpose estimation program comprising: estimating a behavior purpose corresponding to the selected variation pattern based on the purpose / variation pattern database .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013110137A JP6055719B2 (en) | 2013-05-24 | 2013-05-24 | Action purpose estimation device, action purpose estimation method, and action purpose estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013110137A JP6055719B2 (en) | 2013-05-24 | 2013-05-24 | Action purpose estimation device, action purpose estimation method, and action purpose estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014229200A JP2014229200A (en) | 2014-12-08 |
JP6055719B2 true JP6055719B2 (en) | 2016-12-27 |
Family
ID=52128964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013110137A Active JP6055719B2 (en) | 2013-05-24 | 2013-05-24 | Action purpose estimation device, action purpose estimation method, and action purpose estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6055719B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126623A (en) * | 2015-01-06 | 2016-07-11 | 株式会社Nttドコモ | Action support device, action support system, action support method, and program |
JP7318690B2 (en) * | 2021-09-14 | 2023-08-01 | カシオ計算機株式会社 | ELECTRONIC DEVICE, ALGORITHM SELECTION METHOD AND PROGRAM |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4861154B2 (en) * | 2006-12-19 | 2012-01-25 | 株式会社エヌ・ティ・ティ・ドコモ | Information service providing system, target behavior estimation device, target behavior estimation method |
JP5049745B2 (en) * | 2007-11-05 | 2012-10-17 | 株式会社エヌ・ティ・ティ・ドコモ | POSITION INFORMATION ANALYSIS DEVICE, INFORMATION DISTRIBUTION SYSTEM, AND POSITION INFORMATION ANALYSIS METHOD |
JP5305802B2 (en) * | 2008-09-17 | 2013-10-02 | オリンパス株式会社 | Information presentation system, program, and information storage medium |
US20110137836A1 (en) * | 2008-09-19 | 2011-06-09 | Hiroyuki Kuriyama | Method and system for generating history of behavior |
JP5422284B2 (en) * | 2009-07-17 | 2014-02-19 | 共同印刷株式会社 | User information providing system and user information providing method |
JP2012235869A (en) * | 2011-05-11 | 2012-12-06 | Sony Corp | Information processing apparatus and information processing method |
JP5733139B2 (en) * | 2011-09-27 | 2015-06-10 | 株式会社Jvcケンウッド | Motion vector detection apparatus and method, and video signal processing apparatus and method |
JP5851792B2 (en) * | 2011-10-18 | 2016-02-03 | 株式会社ソニー・コンピュータエンタテインメント | Information disclosure system, client device, server, and information disclosure method |
-
2013
- 2013-05-24 JP JP2013110137A patent/JP6055719B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014229200A (en) | 2014-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6397704B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
De Pessemier et al. | Context-aware recommendations through context and activity recognition in a mobile environment | |
KR101062927B1 (en) | Method, system and computer-readable recording medium for recommending other users or objects by considering at least one user's preference | |
EP3327575B1 (en) | Information distribution apparatus and method | |
TW201907350A (en) | Offline shopping guide method and device | |
US20170032248A1 (en) | Activity Detection Based On Activity Models | |
US9679301B2 (en) | Method, apparatus and computer program product for developing, aggregating, and utilizing user pattern profiles | |
WO2016015444A1 (en) | Target user determination method, device and network server | |
US9871876B2 (en) | Sequential behavior-based content delivery | |
US9262481B1 (en) | Determining popular venues | |
US20120310737A1 (en) | Method for providing advertisement, computer-readable medium including program for performing the method and advertisement providing system | |
Hwangbo et al. | Store layout optimization using indoor positioning system | |
US10839444B2 (en) | Coaching method and system considering relationship type | |
KR102409016B1 (en) | Method for providing location-based information | |
JP6804505B2 (en) | Predictors, prediction methods, and prediction programs | |
CN104243546A (en) | Information processing device, communication system, and information processing method | |
US9509794B2 (en) | System and apparatus for measuring application-specific consistency of check-in-based user location data streams | |
JP6055719B2 (en) | Action purpose estimation device, action purpose estimation method, and action purpose estimation program | |
JPWO2012017786A1 (en) | Communication support device, communication support method, and program | |
JP6638265B2 (en) | Information providing device, program | |
Shi et al. | Adapted Decision Support Service Based on the Prediction of Offline Consumers' Real-Time Intention and Devices Interactions | |
KR102518540B1 (en) | Apparatus and method for matching member for carpool | |
JP2013068999A (en) | Spot information provider, spot information providing system and spot information providing program | |
JP2020086763A (en) | Information providing apparatus, information providing method, and program | |
JP2020190964A (en) | Device, method, and program for processing information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6055719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |