JP7162613B2 - Information processing device, program - Google Patents

Information processing device, program Download PDF

Info

Publication number
JP7162613B2
JP7162613B2 JP2019558034A JP2019558034A JP7162613B2 JP 7162613 B2 JP7162613 B2 JP 7162613B2 JP 2019558034 A JP2019558034 A JP 2019558034A JP 2019558034 A JP2019558034 A JP 2019558034A JP 7162613 B2 JP7162613 B2 JP 7162613B2
Authority
JP
Japan
Prior art keywords
walking
calculating
motion
subject
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019558034A
Other languages
Japanese (ja)
Other versions
JPWO2019111521A1 (en
Inventor
真紀 白土
直靖 平尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of JPWO2019111521A1 publication Critical patent/JPWO2019111521A1/en
Application granted granted Critical
Publication of JP7162613B2 publication Critical patent/JP7162613B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing apparatus and program.

歩行動作と人体の特性との間には相関があることが知られている。つまり、歩行動作を見れば、人体の特性を知ることができる。例えば、特開2017-6305号公報には、歩行状態を示す歩行パラメータに基づいて、対象者の体力を評価する技術が開示されている。 It is known that there is a correlation between walking motion and human body characteristics. In other words, the characteristics of the human body can be known by looking at the walking motion. For example, Japanese Patent Application Laid-Open No. 2017-6305 discloses a technique for evaluating the physical strength of a subject based on walking parameters that indicate walking conditions.

近年の研究により、人間の歩行動作と、人間の動きの美しさとの間にも相関があることが分かってきた。 Recent studies have revealed that there is a correlation between human walking motion and the beauty of human motion.

しかし、特開2017-6305号公報の技術では、体力を評価するものに過ぎないので、動きの美しさを評価することはできない。
つまり、従来技術では、歩行動作から動きの美しさを評価することはできない。
However, the technique disclosed in Japanese Patent Application Laid-Open No. 2017-6305 only evaluates physical strength, and cannot evaluate the beauty of movement.
In other words, the conventional technology cannot evaluate the beauty of motion from walking motion.

本発明の目的は、歩行動作から動きの美しさを評価することである。 An object of the present invention is to evaluate the beauty of motion from walking motion.

本発明の一態様は、
被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度と美しさとの相関に基づいて、第1パラメータを計算する手段を備え、
前記歩行姿勢と美しさとの相関に基づいて、第2パラメータを計算する手段を備え、
前記動き周波数と美しさとの相関に基づいて、第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備える、情報処理装置である。
One aspect of the present invention is
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter based on the correlation between walking speed and beauty;
comprising means for calculating a second parameter based on the correlation between walking posture and beauty;
means for calculating a third parameter based on the correlation between motion frequency and beauty;
The information processing apparatus includes means for calculating a beauty score of the motion using the first to third parameters.

本発明によれば、歩行動作から動きの美しさを評価することができる。 ADVANTAGE OF THE INVENTION According to this invention, the beauty of a motion can be evaluated from a walking motion.

本実施形態の情報処理システムの概略図である。1 is a schematic diagram of an information processing system according to an embodiment; FIG. 図1の情報処理システムの構成を示すブロック図である。2 is a block diagram showing the configuration of the information processing system in FIG. 1; FIG. 本実施形態の概要の説明図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an explanatory diagram of the outline of this embodiment; 本実施形態の被写体情報データベースのデータ構造を示す図である。4 is a diagram showing the data structure of a subject information database of this embodiment; FIG. 本実施形態の計算式マスタデータベースのデータ構造を示す図である。It is a figure which shows the data structure of the calculation formula master database of this embodiment. 本実施形態の評価マスタデータベースのデータ構造を示す図である。It is a figure which shows the data structure of the evaluation master database of this embodiment. 本実施形態のソリューションマスタデータベースのデータ構造を示す図である。It is a figure which shows the data structure of the solution master database of this embodiment. 本実施形態のスコアログ情報データベースのデータ構造を示す図である。It is a figure which shows the data structure of the score log information database of this embodiment. 実施形態の情報処理のシーケンス図である。4 is a sequence diagram of information processing according to the embodiment; FIG. 図9の情報処理において表示される画面例を示す図である。FIG. 10 is a diagram showing an example of a screen displayed in the information processing of FIG. 9; FIG. 図9のスコア計算の詳細なフローチャートである。10 is a detailed flow chart of the score calculation of FIG. 9;

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 An embodiment of the present invention will be described in detail below with reference to the drawings. In the drawings for describing the embodiments, in principle, the same constituent elements are denoted by the same reference numerals, and repeated description thereof will be omitted.

(1)情報処理システムの構成
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの概略図である。図2は、図1の情報処理システムの構成を示すブロック図である。
(1) Configuration of information processing system The configuration of the information processing system will be described. FIG. 1 is a schematic diagram of an information processing system according to this embodiment. FIG. 2 is a block diagram showing the configuration of the information processing system of FIG.

図1に示すように、情報処理システム1は、クライアント装置10と、サーバ30と、を備える。
クライアント装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
As shown in FIG. 1 , the information processing system 1 includes a client device 10 and a server 30 .
The client device 10 and server 30 are connected via a network (for example, the Internet or an intranet) NW.

クライアント装置10は、サーバ30にリクエストを送信する情報処理装置の一例である。クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。 The client device 10 is an example of an information processing device that transmits requests to the server 30 . The client device 10 is, for example, a smart phone, a tablet terminal, or a personal computer.

サーバ30は、クライアント装置10から送信されたリクエストに応じたレスポンスをクライアント装置10に提供する情報処理装置の一例である。サーバ30は、例えば、ウェブサーバである。 The server 30 is an example of an information processing device that provides the client device 10 with a response in response to a request transmitted from the client device 10 . Server 30 is, for example, a web server.

(1-1)クライアント装置の構成
クライアント装置10の構成について説明する。
(1-1) Configuration of Client Apparatus The configuration of the client apparatus 10 will be described.

図2に示すように、クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14と、カメラ15と、を備える。 As shown in FIG. 2, the client device 10 includes a storage device 11, a processor 12, an input/output interface 13, a communication interface 14, and a camera 15.

記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 Storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of ROM (Read Only Memory), RAM (Random Access Memory), and storage (eg, flash memory or hard disk).

プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
Programs include, for example, the following programs.
・OS (Operating System) program ・Application (for example, web browser) program that executes information processing

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
The data includes, for example, the following data.
・Databases referenced in information processing ・Data obtained by executing information processing (that is, execution results of information processing)

プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、クライアント装置10の機能を実現するように構成される。プロセッサ12は、コンピュータの一例である。 The processor 12 is configured to implement the functions of the client device 10 by activating programs stored in the storage device 11 . Processor 12 is an example of a computer.

入出力インタフェース13は、クライアント装置10に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
The input/output interface 13 is configured to acquire a user's instruction from an input device connected to the client device 10 and output information to an output device connected to the client device 10 .
Input devices are, for example, keyboards, pointing devices, touch panels, or combinations thereof.
An output device is, for example, a display.

通信インタフェース14は、クライアント装置10とサーバ30との間の通信を制御するように構成される。 Communication interface 14 is configured to control communications between client device 10 and server 30 .

カメラ15は、動画像を撮像し、且つ、撮像した動画像(以下「撮像動画像」という)の動画データを生成するように構成される。カメラ15は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを有する。 The camera 15 is configured to capture moving images and generate moving image data of the captured moving images (hereinafter referred to as “captured moving images”). The camera 15 has, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

(1-2)サーバの構成
サーバ30の構成について説明する。
(1-2) Server Configuration The configuration of the server 30 will be described.

図2に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。 As shown in FIG. 2, the server 30 includes a storage device 31, a processor 32, an input/output interface 33, and a communication interface .

記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 Storage device 31 is configured to store programs and data. Storage device 31 is, for example, a combination of ROM, RAM, and storage (eg, flash memory or hard disk).

プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
Programs include, for example, the following programs.
・OS program ・Application program that executes information processing

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
The data includes, for example, the following data.
・Databases referenced in information processing ・Execution results of information processing

プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するように構成される。プロセッサ32は、コンピュータの一例である。 The processor 32 is configured to implement the functions of the server 30 by activating programs stored in the storage device 31 . Processor 32 is an example of a computer.

入出力インタフェース33は、サーバ30に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ30に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
The input/output interface 33 is configured to acquire user instructions from input devices connected to the server 30 and to output information to output devices connected to the server 30 .
Input devices are, for example, keyboards, pointing devices, touch panels, or combinations thereof.
An output device is, for example, a display.

通信インタフェース34は、サーバ30とクライアント装置10との間の通信を制御するように構成される。 Communication interface 34 is configured to control communications between server 30 and client device 10 .

(2)本実施形態の概要
本実施形態の概要について説明する。図3は、本実施形態の概要の説明図である。
(2) Overview of this embodiment An overview of this embodiment will be described. FIG. 3 is an explanatory diagram of the outline of this embodiment.

図3に示すように、クライアント装置10は、歩行中の被写体OBJの動画像を撮像し、且つ、撮像動画像の動画データを生成する。
クライアント装置10は、動画データをサーバ30に送信する。
As shown in FIG. 3, the client device 10 captures a moving image of a walking subject OBJ and generates moving image data of the captured moving image.
The client device 10 transmits video data to the server 30 .

サーバ30は、クライアント装置10から送信された動画データに対して画像解析を実行することにより、動きの美しさのスコアを計算する。 The server 30 performs image analysis on the moving image data transmitted from the client device 10 to calculate the beauty of motion score.

このように、本実施形態のサーバ30は、歩行中の被写体OBJの動画像から、被写体OBJの動きの美しさを評価する。これにより、歩行の様子を撮影するだけで、被写体OBJの動きの美しさの評価指標を得ることができる。 In this manner, the server 30 of the present embodiment evaluates the beauty of motion of the subject OBJ from the moving image of the subject OBJ during walking. This makes it possible to obtain an evaluation index of the beauty of the movement of the subject OBJ simply by photographing the walking state.

(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置31に記憶される。
(3) Database The database of this embodiment will be described. The following databases are stored in the storage device 31.

(3-1)被写体情報データベース
本実施形態の被写体情報データベースについて説明する。図4は、本実施形態の被写体情報データベースのデータ構造を示す図である。
(3-1) Subject Information Database The subject information database of this embodiment will be described. FIG. 4 is a diagram showing the data structure of the subject information database of this embodiment.

図4の被写体情報データベースには、被写体に関する被写体情報が格納される。
被写体情報データベースは、「被写体ID」フィールドと、「被写体名」フィールドと、「被写体属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。
The subject information database of FIG. 4 stores subject information related to the subject.
The subject information database includes a "subject ID" field, a "subject name" field, and a "subject attribute" field. Each field is associated with each other.

「被写体ID」フィールドには、被写体OBJを識別する被写体IDが格納される。被写体IDは、サーバ30によって任意に決められる。 A subject ID for identifying the subject OBJ is stored in the "subject ID" field. The subject ID is arbitrarily determined by the server 30 .

「被写体名」フィールドには、被写体OBJの名称に関する情報(例えば、テキスト)が格納される。 The "subject name" field stores information (for example, text) regarding the name of the subject OBJ.

「被写体属性」フィールドには、被写体OBJの属性に関する被写体属性情報が格納される。「被写体属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、「職業」フィールドと、を含む。 The "subject attribute" field stores subject attribute information regarding attributes of the subject OBJ. The 'subject attribute' field includes a 'gender' field, an 'age' field, and an 'occupation' field.

「性別」フィールドには、被写体OBJの性別に関する情報が格納される。 The "sex" field stores information about the sex of the subject OBJ.

「年齢」フィールドには、被写体OBJの年齢に関する情報が格納される。 The "age" field stores information about the age of the subject OBJ.

「職業」フィールドには、被写体OBJの職業に関する情報が格納される。 The "occupation" field stores information about the occupation of the subject OBJ.

(3-2)計算式マスタデータベース
本実施形態の計算式マスタデータベースについて説明する。図5は、本実施形態の計算式マスタデータベースのデータ構造を示す図である。
(3-2) Calculation formula master database The calculation formula master database of this embodiment will be described. FIG. 5 is a diagram showing the data structure of the calculation formula master database of this embodiment.

図5の計算式マスタデータベースには、被写体属性情報に応じた計算式が格納される。
計算式マスタデータベースは、「被写体属性」フィールドと、「計算式」フィールドと、を含む。各フィールドは、互いに関連付けられている。
Calculation formulas corresponding to subject attribute information are stored in the calculation formula master database of FIG.
The calculation formula master database includes a "subject attribute" field and a "calculation formula" field. Each field is associated with each other.

「被写体属性」フィールドは、図4の「被写体属性」フィールドと同様である。 The "subject attribute" field is the same as the "subject attribute" field in FIG.

「計算式」フィールドには、速さスコアS1(「第1スコア」の一例)を計算するための第1計算式(式1)と、姿勢スコアS2(「第2スコア」の一例)を計算するための第2計算式(式2)と、技術スコアS3(「第3スコア」の一例)を計算するための第3計算式(式3)と、動きの美しさのスコアSmを計算するための第4計算式(式4)と、が格納される。 In the "calculation formula" field, the first calculation formula (formula 1) for calculating the speed score S1 (an example of the "first score") and the posture score S2 (an example of the "second score") are calculated. A second calculation formula (formula 2) for calculating a skill score S3 (an example of a "third score") and a third calculation formula (formula 3) for calculating the beauty of movement score Sm A fourth calculation formula (Formula 4) for is stored.

式1は、第1計算式の一例である。係数w11~w13は、被写体属性情報に応じて決まる。係数w11は、係数w12及びw13より大きい。一般に、歩行速度は心理状態に依存することが知られている。心理状態は、例えば、ストレスレベル、又は、笑顔の時の口角の動きの計測値、若しくは、当該計測値によって評価される状態に反映される。係数w11は、係数w12及びw13より大きいので、速さスコアS1は、「被写体の心理状態に関するスコア」とも言える。速さスコアS1が大きいほど、ネガティブな心理状態(例えば、落ち込んでいる状態)を表す。

Figure 0007162613000001
・p1…被写体の歩行速度に関する第1パラメータ
・w11…速さスコアS1を算出するための歩行速度に関する第1重み付け係数
・p2…被写体の歩行姿勢に関する第2パラメータ
・w12…速さスコアS1を算出するための歩行姿勢に関する第2重み付け係数
・p3…被写体の歩行技術に関する第3パラメータ
・w13…速さスコアS1を算出するための歩行技術に関する第3重み付け係数Formula 1 is an example of the first calculation formula. The coefficients w11 to w13 are determined according to subject attribute information. Coefficient w11 is greater than coefficients w12 and w13. It is generally known that the walking speed depends on the psychological state. The psychological state is reflected in, for example, a stress level, a measured value of movement of the corners of the mouth when smiling, or a state evaluated by the measured value. Since the coefficient w11 is larger than the coefficients w12 and w13, the speed score S1 can also be said to be a "score regarding the psychological state of the subject". A higher speed score S1 indicates a negative state of mind (for example, depressed state).
Figure 0007162613000001
p1 first parameter relating to walking speed of subject w11 first weighting coefficient relating to walking speed for calculating speed score S1 p2 second parameter relating to walking posture of subject w12 calculating speed score S1 second weighting coefficient related to walking posture to perform p3 third parameter related to walking technique of subject w13 third weighting coefficient related to walking technique for calculating speed score S1

式2は、第2計算式の一例である。係数w21~w23は、被写体属性情報に応じて決まる。係数w22は、係数w21及びw23より大きい。一般に、歩行姿勢は体組成に依存することが知られている。体組成は、例えば、体脂肪率の計測値、又は、当該計測値によって評価される状態に反映される。係数w22は、係数w21及びw23より大きいので、姿勢スコアS2は、「被写体の体組成に関するスコア」とも言える。姿勢スコアS2が大きいほど、ネガティブな体組成(例えば、脂肪が平均以上である状態)を表す。

Figure 0007162613000002
・w21…姿勢スコアS2を算出するための歩行速度に関する第1重み付け係数
・w22…姿勢スコアS2を算出するための歩行姿勢に関する第2重み付け係数
・w23…姿勢スコアS2を算出するための歩行技術に関する第3重み付け係数Formula 2 is an example of the second calculation formula. The coefficients w21 to w23 are determined according to subject attribute information. Coefficient w22 is greater than coefficients w21 and w23. It is generally known that walking posture depends on body composition. The body composition is reflected in, for example, a body fat percentage measurement value or a state evaluated by the measurement value. Since the coefficient w22 is larger than the coefficients w21 and w23, the posture score S2 can also be said to be "a score relating to the body composition of the subject". A higher posture score S2 indicates a negative body composition (for example, a state in which fat is above average).
Figure 0007162613000002
w21: first weighting coefficient relating to walking speed for calculating posture score S2 w22: second weighting coefficient relating to walking posture for calculating posture score S2 w23: walking technique for calculating posture score S2 third weighting factor

式3は、第3計算式の一例である。係数w31~w33は、被写体属性情報に応じて決まる。係数w33は、係数w31及びw32より大きい。一般に、歩行技術は、運動制御に依存することが知られている。運動制御は、例えば、骨格筋指数の計測値、又は、当該計測値によって評価される状態に反映される。係数w33は、係数w31及びw32より大きいので、技術スコアS3は、「被写体の運動制御に関するスコア」とも言える。技術スコアS3が大きいほど、ネガティブな運動制御(例えば、運動のリズムが一定しない状態)を表す。

Figure 0007162613000003
・w31…技術スコアS3を算出するための歩行速度に関する第1重み付け係数
・w32…技術スコアS3を算出するための歩行姿勢に関する第2重み付け係数
・w33…技術スコアS3を算出するための歩行技術に関する第3重み付け係数Formula 3 is an example of the third calculation formula. The coefficients w31 to w33 are determined according to subject attribute information. Coefficient w33 is greater than coefficients w31 and w32. In general, walking techniques are known to rely on motor control. Motor control is reflected, for example, in a skeletal muscle index measurement or a state evaluated by such measurement. Since the coefficient w33 is larger than the coefficients w31 and w32, the technical score S3 can also be said to be a "score related to motion control of the subject". A higher skill score S3 indicates a negative motor control (for example, a state in which the rhythm of motion is not constant).
Figure 0007162613000003
w31: first weighting coefficient related to walking speed for calculating technical score S3 w32: second weighting coefficient related to walking posture for calculating technical score S3 w33: walking technique for calculating technical score S3 third weighting factor

式4は、第4計算式の一例である。係数wm1~wm3は、被写体属性情報に応じて決まる。

Figure 0007162613000004
・wm1…動きの美しさのスコアSmを算出するための歩行速度に関する第1重み付け係数
・wm2…動きの美しさのスコアSmを算出するための歩行姿勢に関する第2重み付け係数
・wm3…動きの美しさのスコアSmを算出するための歩行技術に関する第3重み付け係数Formula 4 is an example of the fourth calculation formula. The coefficients wm1 to wm3 are determined according to subject attribute information.
Figure 0007162613000004
wm1: First weighting coefficient related to walking speed for calculating score Sm of beauty of movement wm2: Second weighting coefficient related to walking posture for calculating score Sm of beauty of movement wm3: Beauty of movement A third weighting factor related to walking technique for calculating the fitness score Sm

(3-3)評価マスタデータベース
本実施形態のマスタデータベースについて説明する。図6は、本実施形態の評価マスタデータベースのデータ構造を示す図である。
(3-3) Evaluation Master Database The master database of this embodiment will be described. FIG. 6 is a diagram showing the data structure of the evaluation master database of this embodiment.

図6の評価マスタデータベースには、スコアに応じた評価に関する情報が格納される。
評価マスタデータベースは、「スコア」フィールドと、「評価」フィールドと、を含む。各フィールドは、互いに関連付けられている。
The evaluation master database in FIG. 6 stores information about evaluations according to scores.
The evaluation master database includes a "score" field and an "evaluation" field. Each field is associated with each other.

「評価」フィールドには、速さスコア、姿勢スコア、及び、技術スコアのそれぞれに応じた評価を示す評価メッセージが格納される。 The "evaluation" field stores an evaluation message indicating an evaluation according to each of the speed score, posture score, and skill score.

(3-4)ソリューションマスタデータベース
本実施形態のソリューションマスタデータベースについて説明する。図7は、本実施形態のソリューションマスタデータベースのデータ構造を示す図である。
(3-4) Solution Master Database The solution master database of this embodiment will be described. FIG. 7 is a diagram showing the data structure of the solution master database of this embodiment.

図7のソリューションマスタデータベースには、スコアに応じたソリューション情報が格納される。
ソリューションマスタデータベースは、「スコア」フィールドと、「ソリューション」フィールドと、を含む。各フィールドは、互いに関連付けられている。
The solution master database in FIG. 7 stores solution information corresponding to scores.
The solution master database includes a "score" field and a "solution" field. Each field is associated with each other.

「ソリューション」フィールドには、動きの美しさのスコア、速さスコア、姿勢スコア、及び、技術スコアの組合せに応じたソリューション情報が格納される。
「ソリューション」フィールドは、「アドバイス」フィールドと、「推奨商品」フィールドと、を含む。
The "solution" field stores solution information corresponding to a combination of beauty score of movement, speed score, posture score, and technique score.
The "solution" field includes an "advice" field and a "recommended product" field.

「アドバイス」フィールドには、生活習慣に関するアドバイスを示すアドバイスメッセージが格納される。生活習慣は、例えば、以下を含む。
・運動
・食事
・睡眠
The "advice" field stores an advice message indicating advice on lifestyle habits. Lifestyle includes, for example:
・Exercise ・Diet ・Sleep

「推奨商品」フィールドには、商品に関する商品情報(例えば、商品名、商品を購入するためのウェブサイトのURL(Uniform Resource Locator)、又は、それらの組合せ)が格納される。商品は、例えば、以下を含む。
・化粧品
・運動器具
・食品
・サプリメント
The "recommended product" field stores product information about the product (for example, product name, URL (Uniform Resource Locator) of the website for purchasing the product, or a combination thereof). Goods include, for example:
・Cosmetics ・Sports equipment ・Food ・Supplements

(3-5)スコアログ情報データベース
本実施形態のスコアログ情報データベースについて説明する。図8は、本実施形態のスコアログ情報データベースのデータ構造を示す図である。
(3-5) Score Log Information Database The score log information database of this embodiment will be described. FIG. 8 is a diagram showing the data structure of the score log information database of this embodiment.

図8のスコアログ情報データベースには、スコアログ情報が格納される。
スコアログ情報データベースは、「スコアログID」フィールドと、「日付」フィールドと、「スコア」フィールドと、を含む。各フィールドは、互いに関連付けられている。
スコアログ情報データベースは、被写体IDに関連付けられる。
The score log information database in FIG. 8 stores score log information.
The score log information database includes a "score log ID" field, a "date" field, and a "score" field. Each field is associated with each other.
The score log information database is associated with the subject ID.

「スコアログID」フィールドには、スコアログを識別するスコアログIDが格納される。スコアログIDは、サーバ30によって任意に決められる。 The “score log ID” field stores a score log ID that identifies a score log. The score log ID is arbitrarily determined by the server 30 .

「日付」フィールドには、スコアログが取得された日付に関する情報が格納される。 The "Date" field stores information about the date when the score log was acquired.

「スコア」フィールドは、「速さスコア」フィールドと、「姿勢スコア」フィールドと、「技術スコア」フィールドと、「動きの美しさのスコア」フィールドと、を含む。 The "score" field includes a "speed score" field, a "posture score" field, a "technical score" field, and a "movement beauty score" field.

「速さ」フィールドには、速さスコアが格納される。 The "speed" field stores a speed score.

「姿勢スコア」フィールドには、姿勢スコアが格納される。 The "posture score" field stores the posture score.

「技術スコア」フィールドには、技術スコアが格納される。 The "technical score" field stores the technical score.

「動きの美しさのスコア」フィールドには、動きの美しさのスコアが格納される。 The “score of beauty of motion” field stores the score of beauty of motion.

(4)情報処理
本実施形態の情報処理について説明する。図9は、実施形態の情報処理のシーケンス図である。図10は、図9の情報処理において表示される画面例を示す図である。図11は、図9のスコア計算の詳細なフローチャートである。
(4) Information processing Information processing according to the present embodiment will be described. FIG. 9 is a sequence diagram of information processing according to the embodiment. FIG. 10 is a diagram showing a screen example displayed in the information processing of FIG. FIG. 11 is a detailed flow chart of the score calculation of FIG.

図9に示すように、クライアント装置10は、動画像の取得(S100)を実行する。
具体的には、プロセッサ12は、画面P100(図11)をディスプレイに表示する。
As shown in FIG. 9, the client device 10 acquires a moving image (S100).
Specifically, processor 12 displays screen P100 (FIG. 11) on the display.

図9に示すように、画面P100は、ボタンオブジェクトB100a~B100bと、入力フィールドオブジェクトF100と、画像オブジェクトIMG100と、を含む。
入力フィールドオブジェクトF100は、被写体OBJの被写体IDの入力を受け付けるオブジェクトである。
ボタンオブジェクトB100aは、動画の録画のためのユーザ指示を受け付けるオブジェクトである。
ボタンオブジェクトB100bは、動きの美しさの評価を要求するためのユーザ指示を受け付けるオブジェクトである。
画像オブジェクトIMG100は、カメラ15によって撮影された動画像に対応する。
As shown in FIG. 9, a screen P100 includes button objects B100a-B100b, an input field object F100, and an image object IMG100.
The input field object F100 is an object that receives input of the subject ID of the subject OBJ.
The button object B100a is an object that receives a user instruction for video recording.
The button object B100b is an object that receives a user instruction for requesting an evaluation of the beauty of movement.
Image object IMG100 corresponds to a moving image captured by camera 15 .

クライアント装置10のユーザがボタンオブジェクトB100aを操作すると、プロセッサ12は、カメラ15を起動させる。
カメラ15は、歩行中の被写体OBJの動画像を撮影し、且つ、撮影した動画像の動画データを生成する。
When the user of the client device 10 operates the button object B100a, the processor 12 activates the camera 15. FIG.
The camera 15 captures moving images of the subject OBJ while walking, and generates moving image data of the captured moving images.

ステップS100の後、クライアント装置10は、評価リクエスト(S101)を実行する。
具体的には、ユーザがボタンオブジェクトB100b(図9)を操作すると、プロセッサ12は、評価リクエストデータをサーバ30に送信する。
評価リクエストデータは、以下の情報を含む。
・被写体ID
・ステップS100で生成された動画データ
・ステップS101の実行日に関する情報
After step S100, the client device 10 executes an evaluation request (S101).
Specifically, when the user operates the button object B 100 b ( FIG. 9 ), the processor 12 transmits evaluation request data to the server 30 .
Evaluation request data includes the following information.
・Subject ID
・Moving image data generated in step S100 ・Information about execution date of step S101

ステップS101の後、サーバ30は、評価リクエストデータに含まれる動画データに基づいて、スコアの計算(S300)を実行する。
図11を参照して、ステップS300について説明する。
After step S101, the server 30 performs score calculation (S300) based on the video data included in the evaluation request data.
Step S300 will be described with reference to FIG.

図11に示すように、サーバ30は、速さパラメータの計算(S3000)を実行する。
具体的には、プロセッサ32は、評価リクエストデータに含まれる動画データに対して特徴量解析を実行することにより、歩行速度との相関が強い部位(例えば、足)の画素(以下「第1参照画素」という)を特定する。
プロセッサ12は、動画データを構成する複数フレームにおける第1参照画素の座標の変化量を計算する。この変化量が、歩行速度に関する速さパラメータである。
As shown in FIG. 11, the server 30 executes speed parameter calculation (S3000).
Specifically, the processor 32 performs feature amount analysis on the moving image data included in the evaluation request data, thereby determining pixels (hereinafter referred to as “first reference "pixel").
The processor 12 calculates the amount of change in the coordinates of the first reference pixel in a plurality of frames forming moving image data. This amount of change is the speed parameter related to walking speed.

ステップS3000の後、サーバ30は、姿勢パラメータの計算(S3001)を実行する。
具体的には、プロセッサ32は、評価リクエストデータに含まれる動画データに対して特徴量解析を実行することにより、歩行姿勢との相関が強い部位(例えば、脊椎、体幹、骨盤、及び、体全体の少なくとも1つ)の画素(以下「第2参照画素」という)を特定する。
プロセッサ32は、第2参照画素を参照して、当該部位の前傾角度を計算する。この前傾角度が、歩行姿勢に関する姿勢パラメータである。
前傾角度は、以下の少なくとも1つの角度を含む。
・垂線に対する頚椎の前傾角度
・垂線に対する体幹部の前傾角度
・水平線に対する骨盤の前後傾角度
・垂線に対する体全体の前傾角度
・股関節の角度(例えば、可動角度及び屈曲角度の少なくとも1つ)
・足関節の角度(例えば、可動角度及び屈曲角度の少なくとも1つ)
After step S3000, the server 30 performs posture parameter calculation (S3001).
Specifically, the processor 32 performs a feature amount analysis on the video data included in the evaluation request data, thereby identifying sites that have a strong correlation with the walking posture (for example, the spine, trunk, pelvis, and body). At least one pixel (hereinafter referred to as "second reference pixel") is specified.
The processor 32 refers to the second reference pixels to calculate the anteversion angle of the part. This forward tilt angle is a posture parameter related to walking posture.
The anteversion angle includes at least one of the following angles:
・Anterior tilt angle of the cervical spine with respect to the vertical ・Anterior tilt angle of the trunk with respect to the vertical ・Anterior tilt angle of the pelvis with respect to the horizontal ・Anterior tilt angle of the whole body with respect to the vertical )
・Ankle joint angle (for example, at least one of movable angle and flexion angle)

ステップS3001の後、サーバ30は、技術パラメータの計算(S3002)を実行する。
具体的には、プロセッサ32は、評価リクエストデータに含まれる動画データに対して特徴量解析を実行することにより、歩行動作との相関が強い部位(例えば、体全体)の画素(以下「第3参照画素」という)を特定する。
プロセッサ32は、動画データを構成する複数フレームにおける第3参照画素の変位の周波数(以下「動き周波数」という)を計算する。この動き周波数は、歩行技術(特に、歩行の滑らかさ)に関する技術パラメータである。
After step S3001, the server 30 performs technical parameter calculation (S3002).
Specifically, the processor 32 performs feature amount analysis on the moving image data included in the evaluation request data to obtain pixels (hereinafter referred to as “third (referred to as "reference pixel").
The processor 32 calculates the frequency of displacement of the third reference pixels (hereinafter referred to as “motion frequency”) in a plurality of frames forming moving image data. This motion frequency is a technical parameter for gait technique (especially gait smoothness).

ステップS3002の後、サーバ30は、計算式の決定(S3003)を実行する。
具体的には、プロセッサ32は、被写体情報マスタデーベース(図4)を参照して、評価リクエストデータに含まれる被写体IDに関連付けられた被写体属性情報を特定する。
プロセッサ32は、計算式マスタデーベース(図5)を参照して、特定した被写体属性情報に関連付けられた計算式(第1計算式~第4計算式)を特定する。
After step S3002, the server 30 determines the calculation formula (S3003).
Specifically, the processor 32 refers to the subject information master database (FIG. 4) to identify subject attribute information associated with the subject ID included in the evaluation request data.
The processor 32 refers to the calculation formula master database (FIG. 5) to identify calculation formulas (first to fourth calculation formulas) associated with the identified subject attribute information.

ステップS3003の後、サーバ30は、速さスコアの計算(S3004)を実行する。
具体的には、プロセッサ32は、ステップS3003で特定された第1計算式(式1)に、ステップS3000~S3002で計算されたパラメータ(速さパラメータp1、姿勢パラメータp2、及び、技術パラメータp3)を適用することにより、速さスコアS1を計算する。
After step S3003, the server 30 executes speed score calculation (S3004).
Specifically, the processor 32 adds the parameters calculated in steps S3000 to S3002 (speed parameter p1, attitude parameter p2, and technique parameter p3) to the first calculation formula (formula 1) specified in step S3003. Calculate the speed score S1 by applying

ステップS3004の後、サーバ30は、姿勢スコアの計算(S3005)を実行する。
具体的には、プロセッサ32は、ステップS3003で特定された第2計算式(式2)に、ステップS3000~S3002で計算されたパラメータ(速さパラメータp1、姿勢パラメータp2、及び、技術パラメータp3)を適用することにより、姿勢スコアS2を計算する。
After step S3004, the server 30 performs posture score calculation (S3005).
Specifically, the processor 32 adds the parameters calculated in steps S3000 to S3002 (the speed parameter p1, the attitude parameter p2, and the technique parameter p3) to the second calculation formula (formula 2) specified in step S3003. Calculate the pose score S2 by applying

ステップS3005の後、サーバ30は、技術スコアの計算(S3006)を実行する。
具体的には、プロセッサ32は、ステップS3003で特定された第3計算式(式3)に、ステップS3000~S3002で計算されたパラメータ(速さパラメータp1、姿勢パラメータp2、及び、技術パラメータp3)を適用することにより、技術スコアS3を計算する。
After step S3005, the server 30 performs technical score calculation (S3006).
Specifically, processor 32 adds the parameters calculated in steps S3000 to S3002 (speed parameter p1, posture parameter p2, and technique parameter p3) to the third calculation formula (formula 3) identified in step S3003. Calculate the skill score S3 by applying

ステップS3006の後、サーバ30は、動きの美しさのスコアの計算(S3007)を実行する。
具体的には、プロセッサ32は、ステップS3003で特定された第4計算式(式4)に、ステップS3004~S3006で計算されたスコア(速さスコアS1、姿勢スコアS2、及び、技術スコアS3)を適用することにより、動きの美しさのスコアSmを計算する。
After step S3006, the server 30 performs motion beauty score calculation (S3007).
Specifically, processor 32 adds the scores (speed score S1, posture score S2, and technique score S3) calculated in steps S3004 to S3006 to the fourth calculation formula (formula 4) identified in step S3003. Calculate the motion beauty score Sm by applying

図9に示すように、ステップS300の後、サーバ30は、データベースの更新(S301)を実行する。
具体的には、プロセッサ32は、評価リクエストデータに含まれる被写体IDに関連付けられた評価ログ情報データベース(図8)に新規レコードを追加する。
プロセッサ32は、新規レコードの各フィールドに、以下の情報を格納する。
・「スコアログID」フィールドには、新規スコアログIDが格納される。
・「日付」フィールドには、評価リクエストデータに含まれる実行日に関する情報が格納される。
・「速さスコア」フィールドには、ステップS3004で計算された速さスコアS1が格納される。
・「姿勢スコア」フィールドには、ステップS3005で計算された姿勢スコアS2が格納される。
・「技術スコア」フィールドには、ステップS3006で計算された技術スコアS3が格納される。
・「モーションビューティスコア」フィールドには、ステップS3007で計算された動きの美しさのスコアSmが格納される。
As shown in FIG. 9, after step S300, the server 30 updates the database (S301).
Specifically, the processor 32 adds a new record to the evaluation log information database (FIG. 8) associated with the subject ID included in the evaluation request data.
Processor 32 stores the following information in each field of the new record.
- A new score log ID is stored in the "score log ID" field.
・In the "Date" field, information related to the execution date included in the evaluation request data is stored.
- The "speed score" field stores the speed score S1 calculated in step S3004.
- The posture score S2 calculated in step S3005 is stored in the "posture score" field.
- The technical score S3 calculated in step S3006 is stored in the "technical score" field.
The "motion beauty score" field stores the motion beauty score Sm calculated in step S3007.

ステップS301の後、サーバ30は、評価(S302)を実行する。
具体的には、プロセッサ32は、評価マスタデータベース(図6)を参照して、ステップS3004~S3007で計算された各スコアに関連付けられた「評価」フィールドに格納された情報(評価メッセージ)を特定する。
After step S301, the server 30 performs evaluation (S302).
Specifically, processor 32 references the rating master database (FIG. 6) to identify the information (rating messages) stored in the “rating” field associated with each score calculated in steps S3004-S3007. do.

ステップS302の後、サーバ30は、ソリューション情報の特定(S303)を実行する。
具体的には、プロセッサ32は、ソリューションマスタデータベース(図7)を参照して、ステップS3004~S3007で計算された各スコアに関連付けられた「ソリューション」フィールドに格納された情報(アドバイスメッセージ、及び、商品情報)を特定する。
After step S302, the server 30 identifies solution information (S303).
Specifically, the processor 32 refers to the solution master database (FIG. 7) to refer to the information (advice message and product information).

ステップS303の後、サーバ30は、評価レスポンス(S304)を実行する。
具体的には、プロセッサ32は、評価レスポンスデータをクライアント装置10に送信する。
評価レスポンスデータは、以下の情報を含む。
・ステップS300で得られたスコア(速さスコアS1、姿勢スコアS2、技術スコアS3、及び、動きの美しさのスコアSm)
・ステップS302で特定された評価メッセージ
・ステップS303で特定されたソリューション情報(アドバイスメッセージ、及び、商品情報)
After step S303, the server 30 executes an evaluation response (S304).
Specifically, the processor 32 transmits evaluation response data to the client device 10 .
The evaluation response data contains the following information.
- Scores obtained in step S300 (speed score S1, posture score S2, skill score S3, and beauty of movement score Sm)
・Evaluation message specified in step S302 ・Solution information (advice message and product information) specified in step S303

ステップS304の後、クライアント装置10は、画面表示(S102)を実行する。
具体的には、プロセッサ12は、評価レスポンスデータに基づく画面P102(図10)をディスプレイに表示する。
After step S304, the client device 10 performs screen display (S102).
Specifically, the processor 12 displays a screen P102 (FIG. 10) based on the evaluation response data on the display.

図10に示すように、画面P102は、表示オブジェクトA101a~A101bを含む。
表示オブジェクトA101aは、評価レスポンスデータに含まれるアドバイスメッセージを含む。
表示オブジェクトA101bは、評価レスポンスデータに含まれるソリューション情報を含む。
As shown in FIG. 10, the screen P102 includes display objects A101a to A101b.
The display object A101a contains the advice message contained in the evaluation response data.
The display object A101b contains the solution information contained in the evaluation response data.

本実施形態によれば、動画像に含まれる特定の部位(具体的には、歩行速度、歩行姿勢、及び、歩行技術との相関が強い部位)から抽出されたパラメータを用いて、動きの美しさのスコアSmを計算する。これにより、歩行動作から動きの美しさを評価することができる。 According to the present embodiment, parameters extracted from specific parts (specifically, walking speed, walking posture, and parts having a strong correlation with walking technique) included in a moving image are used to determine the beauty of movement. Calculate the score Sm of the newness. This makes it possible to evaluate the beauty of motion from the walking motion.

(5)本実施形態の小括
本実施形態について小括する。
(5) Summary of this embodiment This embodiment will be summarized.

本実施形態の第1態様は、
被写体の動きの美しさを評価する情報処理装置(例えば、サーバ30)であって、
歩行している被写体の動画像を取得する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備え、
動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備え、
歩行速度と美しさとの相関に基づいて、第1パラメータp1を計算する手段(例えば、ステップS3000の処理を実行するプロセッサ32)を備え、
歩行姿勢と美しさとの相関に基づいて、第2パラメータp2を計算する手段(例えば、ステップS3001の処理を実行するプロセッサ32)を備え、
動き周波数と美しさとの相関に基づいて、第3パラメータp3を計算する手段(例えば、ステップS3002の処理を実行するプロセッサ32)を備え、
第1パラメータp1~第3パラメータp3を用いて、動きの美しさのスコアSmを計算する手段(例えば、ステップS3007の処理を実行するプロセッサ32)を備える、情報処理装置である。
The first aspect of this embodiment is
An information processing device (for example, a server 30) that evaluates the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject (for example, a processor 32 that executes the process of step S300),
means for extracting the walking speed, walking posture, and motion frequency by analyzing the moving image (for example, a processor 32 that executes the processing of step S300);
Based on the correlation between walking speed and beauty, means for calculating the first parameter p1 (for example, a processor 32 that executes the processing of step S3000),
Based on the correlation between walking posture and beauty, means for calculating the second parameter p2 (for example, a processor 32 that executes the processing of step S3001),
Based on the correlation between motion frequency and beauty, means for calculating the third parameter p3 (for example, the processor 32 that performs the processing of step S3002);
The information processing apparatus includes means (for example, the processor 32 that executes the process of step S3007) for calculating the motion beauty score Sm using the first parameter p1 to the third parameter p3.

第1態様によれば、歩行している被写体の動画像を解析することにより抽出された第1パラメータ~第3パラメータを用いて、動きの美しさのスコアSmを計算する。これにより、歩行動作から動きの美しさを評価することができる。 According to the first mode, the beauty score Sm of motion is calculated using the first to third parameters extracted by analyzing the moving image of the walking subject. This makes it possible to evaluate the beauty of motion from the walking motion.

本実施形態の第2態様は、
第1パラメータp1~第3パラメータp3と、歩行速度に関する第1重み付け係数と、を用いて、被写体の心理状態に関する第1スコアS1を計算する手段(例えば、ステップS3004の処理を実行するプロセッサ32)を備える、情報処理装置である。
A second aspect of the present embodiment is
Means for calculating a first score S1 regarding the psychological state of the subject using the first parameter p1 to third parameter p3 and the first weighting coefficient regarding walking speed (for example, the processor 32 that executes the processing of step S3004) An information processing device comprising:

第2態様によれば、第1パラメータ~第3パラメータと、心理状態との相関がある歩行速度に関する第1重み付け係数と、を用いることにより、被写体の心理状態に関する第1スコアS1を得ることができる。 According to the second aspect, by using the first to third parameters and the first weighting coefficient related to the walking speed correlated with the psychological state, the first score S1 related to the psychological state of the subject can be obtained. can.

本実施形態の第3態様は、
第1パラメータp1~第3パラメータp3と、歩行姿勢に関する第2重み付け係数と、を用いて、被写体の体組成に関する第2スコアS2を計算する手段(例えば、ステップS3005の処理を実行するプロセッサ32)を備える、情報処理装置である。
The third aspect of this embodiment is
Means for calculating a second score S2 regarding the body composition of the subject using the first parameter p1 to third parameter p3 and the second weighting coefficient regarding the walking posture (for example, the processor 32 that executes the processing of step S3005) An information processing device comprising:

第3態様によれば、第1パラメータ~第3パラメータと、体組成との相関がある歩行姿勢に関する第2重み付け係数と、を用いることにより、被写体の体組成に関する第2スコアS2を得ることができる。 According to the third aspect, by using the first to third parameters and the second weighting coefficient related to the walking posture correlated with the body composition, it is possible to obtain the second score S2 related to the body composition of the subject. can.

本実施形態の第4態様は、
第1パラメータp1~第3パラメータp3と、歩行技術に関する第3重み付け係数と、を用いて、被写体の運動制御に関する第3スコアS3を計算する手段(例えば、ステップS3006の処理を実行するプロセッサ32)を備える、情報処理装置である。
The fourth aspect of this embodiment is
Means for calculating a third score S3 relating to motion control of the subject using the first parameter p1 to third parameter p3 and the third weighting factor relating to walking technique (for example, the processor 32 executing the processing of step S3006) An information processing device comprising:

第4態様によれば、第1パラメータ~第3パラメータと、運動制御との相関がある歩行技術に関する第2重み付け係数と、を用いることにより、被写体の運動制御に関する第3スコアS3を得ることができる。 According to the fourth aspect, by using the first to third parameters and the second weighting factor related to the walking technique correlated with the motion control, it is possible to obtain the third score S3 related to the motion control of the subject. can.

本実施形態の第5態様は、
計算されたスコアの少なくとも1つを提示する手段(例えば、ステップS304の処理を実行するプロセッサ32)を備える、情報処理装置である。
The fifth aspect of this embodiment is
An information processing apparatus comprising means for presenting at least one of the calculated scores (for example, the processor 32 executing the process of step S304).

第5態様によれば、ユーザにスコアを認知させることができる。 According to the fifth aspect, it is possible to make the user recognize the score.

本実施形態の第6態様は、
計算されたスコアの少なくとも1つに応じたソリューション情報を提示する手段(例えば、ステップS304の処理を実行するプロセッサ32)を備える、情報処理装置である。
A sixth aspect of the present embodiment is
The information processing apparatus includes means for presenting solution information according to at least one calculated score (for example, a processor 32 that executes the process of step S304).

第6態様によれば、ユーザにソリューションに有用な情報をユーザに提供することができる。 According to the sixth aspect, it is possible to provide the user with useful information for the solution.

本実施形態の第7態様は、
ソリューション情報は、適切な生活習慣、及び、適切な商品の少なくとも1つに関するアドバイスを含む、情報処理装置である。
The seventh aspect of this embodiment is
The solution information is an information processing device that includes advice on at least one of suitable lifestyle habits and suitable products.

第7態様によれば、適切な生活習慣、及び、適切な商品の少なくとも1つについて有用な情報をユーザに提供することができる。 According to the seventh aspect, it is possible to provide the user with useful information about at least one of suitable lifestyle habits and suitable products.

本実施形態の第8態様は、
被写体の属性に関する被写体属性情報と、動きの美しさのスコアSmの計算式(式4)と、を関連付けて記憶する手段(例えば、記憶装置31)を備え、
取得する手段は、更に、被写体の被写体属性情報を取得し、
計算する手段は、取得された被写体属性情報に関連付けられた計算式を用いて、動きの美しさのスコアSmを計算する、情報処理装置である。
The eighth aspect of the present embodiment is
a means (for example, a storage device 31) for storing subject attribute information regarding subject attributes and a calculation formula (Equation 4) for the beauty of motion score Sm in association with each other;
The obtaining means further obtains subject attribute information of the subject,
The calculation means is an information processing device that calculates the beauty of motion score Sm using a calculation formula associated with the acquired subject attribute information.

第8態様によれば、被写体の属性に応じた計算式を用いるので、被写体の属性が考慮された高精度なスコアを得ることができる。 According to the eighth aspect, since a calculation formula corresponding to the attribute of the subject is used, it is possible to obtain a highly accurate score in consideration of the attribute of the subject.

本実施形態の第9態様は、
被写体を識別する被写体識別情報と、計算されたスコアの少なくとも1つと、を関連付けて記憶する手段(例えば、ステップS301の処理を実行するプロセッサ32)を備える、情報処理装置である。
A ninth aspect of the present embodiment is
The information processing apparatus includes means (for example, a processor 32 that executes the process of step S301) that associates and stores subject identification information that identifies a subject and at least one of the calculated scores.

第9態様によれば、被写体識別情報とスコアとを関連付けて記憶するので、スコアのログを保存することができる。 According to the ninth aspect, since the subject identification information and the score are stored in association with each other, the log of the score can be saved.

本実施形態の第10態様は、コンピュータ(例えば、プロセッサ32)を、上記各手段として機能させるためのプログラムである。 A tenth aspect of the present embodiment is a program for causing a computer (for example, processor 32) to function as each means described above.

(6)その他の変形例 (6) Other modified examples

記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。 The storage device 11 may be connected to the client device 10 via the network NW. Storage device 31 may be connected to server 30 via network NW.

上記の情報処理の各ステップは、クライアント装置10及びサーバ30の何れでも実行可能である。 Each step of the information processing described above can be executed by either the client device 10 or the server 30 .

本実施形態では、ステップS100においてクライアント装置10によって取得された動画データに基づいて情報処理(図9)を実行するサーバ30の例を示した。しかし、本実施形態はこれに限られない。
本実施形態のサーバ30は、記憶装置31に記憶された動画データに基づいて情報処理(図9)を実行してもよい。この場合、ステップS100は省略される。
In this embodiment, an example of the server 30 that executes information processing (FIG. 9) based on the moving image data acquired by the client device 10 in step S100 is shown. However, this embodiment is not limited to this.
The server 30 of this embodiment may execute information processing ( FIG. 9 ) based on the moving image data stored in the storage device 31 . In this case, step S100 is omitted.

本実施形態では、姿勢パラメータが、垂線に対する頚椎の前傾角度、垂線に対する体幹部の前傾角度、水平線に対する骨盤の前後傾角度、及び、垂線に対する体全体の前傾角度の少なくとも1つを含む例を示した。しかし、本実施形態の姿勢パラメータはこれに限られない。
姿勢パラメータは、以下の少なくとも1つを含んでもよい。
・股関節の角度(可動角度及び屈曲角度の少なくとも1つ)
・膝の角度(可動角度及び屈曲角度の少なくとも1つ)
・歩幅
In this embodiment, the posture parameters include at least one of the anteversion angle of the cervical spine with respect to the vertical, the anteversion angle of the trunk with respect to the vertical, the anteversion angle of the pelvis with respect to the horizontal, and the anteversion angle of the whole body with respect to the vertical. I gave an example. However, the posture parameter of this embodiment is not limited to this.
Posture parameters may include at least one of the following:
・Hip joint angle (at least one of movable angle and flexion angle)
・Knee angle (at least one of movable angle and flexion angle)
・Stride length

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited to the above embodiments. Also, the above embodiments can be modified and modified in various ways without departing from the gist of the present invention. Also, the above embodiments and modifications can be combined.

1 :情報処理システム
10 :クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :カメラ
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース


1: information processing system 10: client device 11: storage device 12: processor 13: input/output interface 14: communication interface 15: camera 30: server 31: storage device 32: processor 33: input/output interface 34: communication interface


Claims (9)

被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度との相関が強い部位の画素の座標の変化量に基づいて、前記歩行速度に関する第1パラメータを計算する手段を備え、
前記歩行姿勢との相関が強い部位の画素の前傾角度に基づいて、前記歩行姿勢に関する第2パラメータを計算する手段を備え、
歩行動作との相関が強い部位の画素の変位の前記動き周波数に基づいて、前記歩行動作に関する第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備え、
前記第1パラメータ~前記第3パラメータと、前記歩行速度に関する第1重み付け係数と、を用いて、前記被写体の心理状態に関する第1スコアを計算する手段を備える、情報処理装置。
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter related to the walking speed based on the amount of change in the coordinates of the pixels of the part having a strong correlation with the walking speed;
means for calculating a second parameter related to the walking posture based on the anteversion angle of the pixels of the part having a strong correlation with the walking posture;
means for calculating a third parameter related to the walking motion based on the motion frequency of the displacement of pixels in a portion having a strong correlation with the walking motion;
Using the first parameter to the third parameter, comprising means for calculating the beauty score of the movement,
An information processing apparatus comprising means for calculating a first score regarding the psychological state of the subject using the first to third parameters and a first weighting factor regarding the walking speed.
被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度との相関が強い部位の画素の座標の変化量に基づいて、前記歩行速度に関する第1パラメータを計算する手段を備え、
前記歩行姿勢との相関が強い部位の画素の前傾角度に基づいて、前記歩行姿勢に関する第2パラメータを計算する手段を備え、
歩行動作との相関が強い部位の画素の変位の前記動き周波数に基づいて、前記歩行動作に関する第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備え、
前記第1パラメータ~前記第3パラメータと、前記歩行姿勢に関する第2重み付け係数と、を用いて、前記被写体の体組成に関する第2スコアを計算する手段を備える、
情報処理装置。
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter related to the walking speed based on the amount of change in the coordinates of the pixels of the part having a strong correlation with the walking speed;
means for calculating a second parameter related to the walking posture based on the anteversion angle of the pixels of the part having a strong correlation with the walking posture;
means for calculating a third parameter related to the walking motion based on the motion frequency of the displacement of pixels in a portion having a strong correlation with the walking motion;
Using the first parameter to the third parameter, comprising means for calculating the beauty score of the movement,
means for calculating a second score for the body composition of the subject using the first to third parameters and a second weighting factor for the walking posture;
Information processing equipment.
被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度との相関が強い部位の画素の座標の変化量に基づいて、前記歩行速度に関する第1パラメータを計算する手段を備え、
前記歩行姿勢との相関が強い部位の画素の前傾角度に基づいて、前記歩行姿勢に関する第2パラメータを計算する手段を備え、
歩行動作との相関が強い部位の画素の変位の前記動き周波数に基づいて、前記歩行動作に関する第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備え、
前記第1パラメータ~前記第3パラメータと、前記歩行動作に関する第3重み付け係数と、を用いて、前記被写体の運動制御に関する第3スコアを計算する手段を備える、情報処理装置。
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter related to the walking speed based on the amount of change in the coordinates of the pixels of the part having a strong correlation with the walking speed;
means for calculating a second parameter related to the walking posture based on the anteversion angle of the pixels of the part having a strong correlation with the walking posture;
means for calculating a third parameter related to the walking motion based on the motion frequency of the displacement of pixels in a portion having a strong correlation with the walking motion;
Using the first parameter to the third parameter, comprising means for calculating the beauty score of the movement,
An information processing apparatus, comprising means for calculating a third score relating to motion control of the subject using the first to third parameters and a third weighting factor relating to the walking motion.
被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度との相関が強い部位の画素の座標の変化量に基づいて、前記歩行速度に関する第1パラメータを計算する手段を備え、
前記歩行姿勢との相関が強い部位の画素の前傾角度に基づいて、前記歩行姿勢に関する第2パラメータを計算する手段を備え、
歩行動作との相関が強い部位の画素の変位の前記動き周波数に基づいて、前記歩行動作に関する第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備え、
前記計算されたスコアの少なくとも1つに応じたソリューション情報を提示する手段を備える、
情報処理装置。
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter related to the walking speed based on the amount of change in the coordinates of the pixels of the part having a strong correlation with the walking speed;
means for calculating a second parameter related to the walking posture based on the anteversion angle of the pixels of the part having a strong correlation with the walking posture;
means for calculating a third parameter related to the walking motion based on the motion frequency of the displacement of pixels in a portion having a strong correlation with the walking motion;
Using the first parameter to the third parameter, comprising means for calculating the beauty score of the movement,
means for presenting solution information responsive to at least one of said calculated scores;
Information processing equipment.
前記ソリューション情報は、適切な生活習慣、及び、適切な商品の少なくとも1つに関するアドバイスを含む、請求項4に記載の情報処理装置。 5. The information processing apparatus according to claim 4, wherein said solution information includes advice on at least one of suitable lifestyle habits and suitable products. 被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度との相関が強い部位の画素の座標の変化量に基づいて、前記歩行速度に関する第1パラメータを計算する手段を備え、
前記歩行姿勢との相関が強い部位の画素の前傾角度に基づいて、前記歩行姿勢に関する第2パラメータを計算する手段を備え、
歩行動作との相関が強い部位の画素の変位の前記動き周波数に基づいて、前記歩行動作に関する第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備え、
被写体の属性に関する被写体属性情報と、前記動きの美しさのスコアの計算式と、を関連付けて記憶する手段を備え、
前記取得する手段は、更に、前記被写体の被写体属性情報を取得し、
前記スコアを計算する手段は、前記取得された被写体属性情報に関連付けられた計算式を用いて、前記動きの美しさのスコアを計算する、
情報処理装置。
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter related to the walking speed based on the amount of change in the coordinates of the pixels of the part having a strong correlation with the walking speed;
means for calculating a second parameter related to the walking posture based on the anteversion angle of the pixels of the part having a strong correlation with the walking posture;
means for calculating a third parameter related to the walking motion based on the motion frequency of the displacement of pixels in a portion having a strong correlation with the walking motion;
Using the first parameter to the third parameter, comprising means for calculating the beauty score of the movement,
means for associating and storing subject attribute information regarding attributes of the subject and the calculation formula for the beauty of movement score;
The obtaining means further obtains subject attribute information of the subject,
the means for calculating the score calculates the beauty score of the motion using a formula associated with the acquired subject attribute information;
Information processing equipment.
被写体の動きの美しさを評価する情報処理装置であって、
歩行している被写体の動画像を取得する手段を備え、
前記動画像を解析することにより、歩行速度と、歩行姿勢と、動き周波数と、を抽出する手段を備え、
前記歩行速度との相関が強い部位の画素の座標の変化量に基づいて、前記歩行速度に関する第1パラメータを計算する手段を備え、
前記歩行姿勢との相関が強い部位の画素の前傾角度に基づいて、前記歩行姿勢に関する第2パラメータを計算する手段を備え、
歩行動作との相関が強い部位の画素の変位の前記動き周波数に基づいて、前記歩行動作に関する第3パラメータを計算する手段を備え、
前記第1パラメータ~前記第3パラメータを用いて、前記動きの美しさのスコアを計算する手段を備え、
前記被写体を識別する被写体識別情報と、前記計算されたスコアの少なくとも1つと、を関連付けて記憶する手段を備える、
情報処理装置。
An information processing device for evaluating the beauty of motion of a subject,
A means for acquiring a moving image of a walking subject,
means for extracting walking speed, walking posture, and motion frequency by analyzing the moving image;
means for calculating a first parameter related to the walking speed based on the amount of change in the coordinates of the pixels of the part having a strong correlation with the walking speed;
means for calculating a second parameter related to the walking posture based on the anteversion angle of the pixels of the part having a strong correlation with the walking posture;
means for calculating a third parameter related to the walking motion based on the motion frequency of the displacement of pixels in a portion having a strong correlation with the walking motion;
Using the first parameter to the third parameter, comprising means for calculating the beauty score of the movement,
means for associating and storing subject identification information that identifies the subject and at least one of the calculated scores;
Information processing equipment.
前記計算されたスコアの少なくとも1つを提示する手段を備える、請求項1~請求項7の何れかに記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 7, comprising means for presenting at least one of said calculated scores. コンピュータを、請求項1~請求項8の何れかに記載の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means according to any one of claims 1 to 8.
JP2019558034A 2017-12-06 2018-10-09 Information processing device, program Active JP7162613B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017233909 2017-12-06
JP2017233909 2017-12-06
PCT/JP2018/037557 WO2019111521A1 (en) 2017-12-06 2018-10-09 Information processing device and program

Publications (2)

Publication Number Publication Date
JPWO2019111521A1 JPWO2019111521A1 (en) 2020-12-03
JP7162613B2 true JP7162613B2 (en) 2022-10-28

Family

ID=66750994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558034A Active JP7162613B2 (en) 2017-12-06 2018-10-09 Information processing device, program

Country Status (3)

Country Link
JP (1) JP7162613B2 (en)
TW (1) TW201926238A (en)
WO (1) WO2019111521A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI740795B (en) * 2019-11-04 2021-09-21 華南商業銀行股份有限公司 Financial commodity marketing system based on human gait type
TWI724607B (en) * 2019-11-04 2021-04-11 華南商業銀行股份有限公司 Commodity marketing system based on human gait type
TWI740794B (en) * 2019-11-04 2021-09-21 華南商業銀行股份有限公司 Commodity marketing system for determining human gait type based on camera and pressure sensors
JP7241004B2 (en) * 2019-11-19 2023-03-16 株式会社エヌ・ティ・ティ ピー・シー コミュニケーションズ Body motion analysis device, body motion analysis system, body motion analysis method, and program
JP6908312B1 (en) * 2020-08-07 2021-07-21 ハイパーダイン株式会社 Information processing equipment, information processing methods and programs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001218754A (en) 2000-02-14 2001-08-14 Nippon Telegr & Teleph Corp <Ntt> Walking judgment device
JP2004358229A (en) 2003-04-10 2004-12-24 Matsushita Electric Ind Co Ltd Physical motion analyzing apparatus and physical motion analyzing system
JP2015066155A (en) 2013-09-27 2015-04-13 花王株式会社 Method for analyzing walking characteristic
JP2016144598A (en) 2015-02-09 2016-08-12 国立大学法人鳥取大学 Motor function diagnostic device, method, and program
JP2018069035A (en) 2016-10-27 2018-05-10 株式会社アシックス Walking analysis system and method
JP2018121930A (en) 2017-02-01 2018-08-09 花王株式会社 Gait evaluation method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014104360A1 (en) * 2012-12-28 2014-07-03 株式会社東芝 Motion information processing device and method
JP2015061577A (en) * 2013-01-18 2015-04-02 株式会社東芝 Movement-information processing device
JP2014217693A (en) * 2013-05-10 2014-11-20 オムロンヘルスケア株式会社 Walking posture meter and program
JP2014217692A (en) * 2013-05-10 2014-11-20 オムロンヘルスケア株式会社 Walking posture meter and program
US20170273616A1 (en) * 2014-08-14 2017-09-28 Wearable Healthcare Inc. System for guiding correction of walking gait and control method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001218754A (en) 2000-02-14 2001-08-14 Nippon Telegr & Teleph Corp <Ntt> Walking judgment device
JP2004358229A (en) 2003-04-10 2004-12-24 Matsushita Electric Ind Co Ltd Physical motion analyzing apparatus and physical motion analyzing system
JP2015066155A (en) 2013-09-27 2015-04-13 花王株式会社 Method for analyzing walking characteristic
JP2016144598A (en) 2015-02-09 2016-08-12 国立大学法人鳥取大学 Motor function diagnostic device, method, and program
JP2018069035A (en) 2016-10-27 2018-05-10 株式会社アシックス Walking analysis system and method
JP2018121930A (en) 2017-02-01 2018-08-09 花王株式会社 Gait evaluation method

Also Published As

Publication number Publication date
JPWO2019111521A1 (en) 2020-12-03
TW201926238A (en) 2019-07-01
WO2019111521A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP7162613B2 (en) Information processing device, program
US11182599B2 (en) Motion state evaluation system, motion state evaluation device, motion state evaluation server, motion state evaluation method, and motion state evaluation program
US11983757B2 (en) Three-dimensional heat map apparel recommendation
Diego-Mas et al. Using Kinect™ sensor in observational methods for assessing postures at work
US10043068B1 (en) Body modeling and garment fitting using an electronic device
US11403882B2 (en) Scoring metric for physical activity performance and tracking
Paterson et al. Predicting dynamic foot function from static foot posture: comparison between visual assessment, motion analysis, and a commercially available depth camera
CN108289637B (en) Generating orthotic product recommendations
JP7278972B2 (en) Information processing device, information processing system, information processing method, and program for evaluating monitor reaction to merchandise using facial expression analysis technology
KR102472190B1 (en) System and method for recommending user-customized footwear
JP2023056010A (en) Information processor, client device, and program
US10755088B2 (en) Augmented reality predictions using machine learning
JP2018190176A (en) Image display device, skin-condition support system, image display program, and image display method
Xiang et al. A hybrid statistical morphometry free-form deformation approach to 3D personalized foot-ankle models
Singh et al. Development of a real‐time work‐related postural risk assessment system of farm workers using a sensor‐based artificial intelligence approach
Hii et al. Frontal Plane Gait Assessment Using MediaPipe Pose
RU2825697C2 (en) Child development stage calculation system
KR102586956B1 (en) Interaction Quantification Method Between Assessor-Patient of BBS Evaluation
JP2006041804A (en) Skin color correction apparatus and method, and program
CN117178329A (en) Infant development stage calculating method
JP7461511B2 (en) PHYSICAL ABILITY EVALUATION SERVER, PHYSICAL ABILITY EVALUATION SYSTEM, AND PHYSICAL ABILITY EVALUATION METHOD
RU2789286C2 (en) Portable device for obtainment of anthropometric data and method for collection of anthropometric data
Taetz et al. Depth camera based statistical shape fitting approach for the creation of an individualized lower body biomechanical model: Validity and reliability
CN118718339A (en) Exercise assisting system and exercise assisting method
TW202423368A (en) Information processing device, information processing system, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221018

R150 Certificate of patent or registration of utility model

Ref document number: 7162613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150