WO2022172384A1 - 情報処理装置、推定方法、及び推定プログラム - Google Patents

情報処理装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
WO2022172384A1
WO2022172384A1 PCT/JP2021/005141 JP2021005141W WO2022172384A1 WO 2022172384 A1 WO2022172384 A1 WO 2022172384A1 JP 2021005141 W JP2021005141 W JP 2021005141W WO 2022172384 A1 WO2022172384 A1 WO 2022172384A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
images
information processing
amount
Prior art date
Application number
PCT/JP2021/005141
Other languages
English (en)
French (fr)
Inventor
美優 井手
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022575175A priority Critical patent/JP7224569B2/ja
Priority to PCT/JP2021/005141 priority patent/WO2022172384A1/ja
Priority to TW110127304A priority patent/TW202232375A/zh
Publication of WO2022172384A1 publication Critical patent/WO2022172384A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an information processing device, an estimation method, and an estimation program.
  • Patent Literature 1 describes that emotions, intentions of speech, etc. can be estimated from movements obtained by tracking the positions of the face and hands in chronological order.
  • the purpose of this disclosure is to estimate emotions based on small movements.
  • An information processing device includes an acquisition unit that acquires a plurality of images that include a user and that are captured at different times, and extracts a plurality of pieces of skeletal information representing skeletal feature points of the user based on the plurality of images. an extraction unit that calculates the amount of movement of the user in a preset period based on the plurality of pieces of skeleton information; and a determination unit that determines whether the amount of movement is equal to or less than a preset threshold. and an estimation unit for estimating that the user's feeling is unpleasant when the amount of motion is equal to or less than the threshold.
  • emotions can be estimated based on small movements.
  • FIG. 4 is a diagram showing an example of skeleton information according to the embodiment
  • FIG. 4 is a flow chart showing an example of processing executed by the information processing apparatus according to the embodiment
  • FIG. 1 is a diagram showing a control system according to an embodiment.
  • the control system includes an information processing device 100 , an imaging device 200 and a controlled device 300 .
  • the information processing device 100, imaging device 200, and controlled device 300 communicate via a network.
  • the information processing device 100 is a device that executes an estimation method.
  • the information processing device 100 may be called a control device or an emotion estimation device.
  • the information processing device 100 has a processor 101 , a volatile memory device 102 , a nonvolatile memory device 103 and a communication interface 104 .
  • the processor 101 controls the information processing apparatus 100 as a whole.
  • the processor 101 is a CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), or the like.
  • Processor 101 may be a multiprocessor.
  • the information processing device 100 may have a processing circuit.
  • the processing circuit may be a single circuit or multiple circuits.
  • the volatile memory device 102 is the main memory device of the information processing device 100 .
  • the volatile memory device 102 is RAM (Random Access Memory).
  • the nonvolatile storage device 103 is an auxiliary storage device of the information processing device 100 .
  • the nonvolatile memory device 103 is a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the communication interface 104 communicates with the imaging device 200 and the control target device 300 .
  • the imaging device 200 is a surveillance camera, a DMS (Driver Monitor System), or an infrared camera.
  • the imaging device 200 images the user.
  • the information processing device 100 acquires a plurality of images (that is, videos) from the imaging device 200 .
  • Information processing apparatus 100 estimates a user's emotion based on a plurality of images.
  • the information processing device 100 can control the control target device 300 based on the estimated emotion information.
  • an example of control of the controlled device 300 is shown.
  • FIG. 2 is a diagram illustrating a specific example of control of a device to be controlled according to the embodiment.
  • FIG. 2 shows an elevator hoist 301 as an example of the device 300 to be controlled. Also shown in FIG. 2 is a top view of the user making small movements.
  • the imaging device 200 is installed on the ceiling. The imaging device 200 images the user.
  • the information processing device 100 acquires multiple images from the imaging device 200 .
  • Information processing apparatus 100 estimates a user's emotion based on a plurality of images.
  • the information processing device 100 controls the elevator 301 based on the estimated emotion information.
  • FIG. 3 is a block diagram illustrating functions of the information processing apparatus according to the embodiment.
  • the information processing apparatus 100 has a storage unit 110 , an acquisition unit 120 , an extraction unit 130 , an operation amount calculation unit 140 , a determination unit 150 and an estimation unit 160 .
  • the storage unit 110 may be implemented as a storage area secured in the volatile storage device 102 or the nonvolatile storage device 103 .
  • a part or all of the acquisition unit 120, the extraction unit 130, the motion amount calculation unit 140, the determination unit 150, and the estimation unit 160 may be realized by a processing circuit.
  • Part or all of the acquisition unit 120 , the extraction unit 130 , the motion amount calculation unit 140 , the determination unit 150 , and the estimation unit 160 may be implemented as modules of a program executed by the processor 101 .
  • the program executed by processor 101 is also called an estimation program.
  • the estimation program is recorded on a recording medium.
  • the acquisition unit 120 acquires a plurality of images captured at different times from the imaging device 200 .
  • Acquisition unit 120 may acquire a plurality of images from an external device (for example, a cloud server).
  • Each of the plurality of images is an image obtained by imaging the user at different times. Therefore, each of the multiple images includes the user.
  • the extraction unit 130 extracts multiple pieces of skeleton information based on multiple images.
  • Each of the pieces of skeleton information is information indicating a skeleton feature point of the user.
  • the information indicating the user's skeletal feature points is coordinates.
  • the information indicating the skeleton feature points of the user is assumed to be coordinates.
  • FIG. 4 is a diagram showing an example of skeleton information according to the embodiment.
  • FIG. 4 shows an image 400, which is one of a plurality of images.
  • Extraction unit 130 extracts skeleton information 500 using a known technique.
  • known technologies are OpenPose or PoseNet.
  • the skeletal information 500 is coordinates indicating skeletal feature points of the user.
  • coordinates 501 in FIG. 4 indicate skeletal feature points of the user's ear. Note that the coordinates are represented by an X coordinate and a Y coordinate.
  • FIG. 4 shows a case where one user is included in the image 400.
  • the extraction unit 130 extracts skeleton information of each of the multiple users.
  • the extraction unit 130 extracts one skeleton information based on one image. Similarly, the extraction unit 130 performs skeleton information extraction processing on each of the plurality of images. As a result, a plurality of pieces of skeletal information are obtained.
  • the control system may include a plurality of imaging devices. Each of the plurality of imaging devices is installed at a different position. Each of the plurality of imaging devices images the user from different directions.
  • the acquisition unit 120 acquires a plurality of images obtained by imaging the user at the same time by the plurality of imaging devices. For example, the acquisition unit 120 acquires the plurality of images from a plurality of imaging devices. Also, the acquisition unit 120 acquires position information of each of the plurality of imaging devices. For example, the acquisition unit 120 acquires the position information of each of the multiple imaging devices from the storage unit 110 .
  • the extraction unit 130 extracts a piece of skeleton information based on the plurality of images and position information of each of the plurality of imaging devices.
  • an imaging device captures an image of a user from a certain direction
  • another image capturing device captures an image of the user from a different direction, thereby capturing an image of the part.
  • the extracting unit 130 extracts skeleton information based on multiple images obtained by capturing images of the user from different directions using multiple imaging devices. Accordingly, the information processing apparatus 100 can obtain highly accurate skeleton information.
  • the movement amount calculation unit 140 calculates the user's movement amount FP in a preset period T based on a plurality of pieces of skeleton information.
  • the motion amount FP is calculated by averaging the amount of movement of the coordinates (that is, the skeleton feature points) indicated by the skeleton information in the period T.
  • FIG. When the i-th (1 ⁇ i ⁇ N) coordinate at time t (0 ⁇ t ⁇ T) is (Xi(t), Yi(t)), the motion amount FP is expressed by Equation (1). .
  • the determination unit 150 determines whether or not the amount of motion FP is equal to or less than a preset threshold. If the motion amount FP is less than or equal to a preset threshold, it can be said that the user's motion is small.
  • the estimation unit 160 estimates that the user's emotion is unpleasant when the amount of motion FP is equal to or less than the threshold.
  • the estimation unit 160 may perform the following processing in order to estimate the type of uncomfortable motion.
  • Estimating section 160 calculates a trigonometric function “A sin(2 ⁇ ft+ ⁇ )” using a plurality of skeleton information.
  • the estimator 160 approximates the trigonometric function “A sin(2 ⁇ ft+ ⁇ )”.
  • a sin(2 ⁇ ft+ ⁇ )+B is obtained.
  • a graph showing "A sin(2 ⁇ ft+ ⁇ )+B" is illustrated.
  • FIG. 5 is a diagram illustrating an example of a graph according to the embodiment.
  • the vertical axis indicates the positions of skeleton feature points.
  • the vertical axis indicates the positions of the skeletal feature points of the foot.
  • the position of the skeleton feature point may be considered as the X coordinate of the coordinates indicating the skeleton feature point, or may be considered as the Y coordinate of the coordinate.
  • the horizontal axis indicates time t.
  • the estimating unit 160 can calculate "A sin(2 ⁇ ft+ ⁇ )+B" based on a plurality of pieces of skeleton information.
  • Estimating section 160 calculates the frequency based on “A sin(2 ⁇ ft+ ⁇ )+B”. When the amplitude A is equal to or greater than a preset threshold, the estimating unit 160 estimates that the uncomfortable motion is switching the pivot leg or rearranging the arm. If the frequency is equal to or greater than a preset threshold, the estimating unit 160 estimates that the motion of discomfort is extortion. In this way, estimation section 160 estimates the type of uncomfortable motion based on a plurality of pieces of skeleton information. Accordingly, the information processing apparatus 100 can estimate the type of uncomfortable motion.
  • the estimation unit 160 may calculate the degree of discomfort based on the length of time the user stays and the length of time estimated to be uncomfortable. For example, the estimation unit 160 calculates the length of time the user stays at the same position based on multiple images. The estimating unit 160 calculates the estimated discomfort time based on a plurality of images out of the plurality of images. The estimating unit 160 calculates the degree of discomfort based on the length of time the user stays and the length of time estimated to be uncomfortable. Accordingly, the information processing apparatus 100 can detect the user's discomfort level. The information processing apparatus 100 may control the control target device 300 to reduce the degree of discomfort.
  • FIG. 6 is a flowchart illustrating an example of processing executed by the information processing apparatus according to the embodiment.
  • the acquisition unit 120 acquires a plurality of images captured at different times from the imaging device 200 .
  • Extraction unit 130 extracts a plurality of skeleton information based on a plurality of images.
  • the motion amount calculator 140 calculates the user's motion amount FP based on a plurality of pieces of skeleton information.
  • Step S14 The determination unit 150 determines whether the motion amount FP is equal to or less than a preset threshold. If the motion amount FP is equal to or less than the threshold, the process proceeds to step S15. If the motion amount FP is greater than the threshold, the process ends. (Step S15) The estimation unit 160 estimates that the user's emotion is unpleasant.
  • the information processing device 100 can estimate emotions based on small movements.
  • 100 information processing device 101 processor, 102 volatile storage device, 103 nonvolatile storage device, 104 communication interface, 110 storage unit, 120 acquisition unit, 130 extraction unit, 140 operation amount calculation unit, 150 determination unit, 160 estimation unit, 200 imaging device, 300 controlled device, 301 elevator, 400 image, 500 skeleton information, 501 coordinates.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１００）は、ユーザを含み、かつ撮像時刻がそれぞれ異なる複数の画像を取得する取得部（１２０）と、複数の画像に基づいて、ユーザの骨格特徴点を示す情報である複数の骨格情報を抽出する抽出部（１３０）と、複数の骨格情報に基づいて、予め設定された期間における、ユーザの動作量を算出する動作量算出部（１４０）と、動作量が予め設定された閾値以下であるか否かを判定する判定部（１５０）と、動作量が閾値以下である場合、ユーザの感情を不快と推定する推定部（１６０）と、を有する。

Description

情報処理装置、推定方法、及び推定プログラム
　本開示は、情報処理装置、推定方法、及び推定プログラムに関する。
　近年、人間の状況に応じて機器を制御することが望まれている。例えば、人間の状況を示すものとして、人間の行動又は感情がある。例えば、特許文献１には、感情、発話の意図などは、顔及び手の位置を時系列に追う事で得られるそれらの動きから推測できると記載がある。
特開２００７－０５８６１５号公報
　上記のように、手、足などの体の部位を大きく動かした場合、感情が推定されるものと考えられる。一方、動きが小さい場合、上記の考えでは、推定ができない。
　本開示の目的は、小さい動きに基づく感情を推定することである。
　本開示の一態様に係る情報処理装置が提供される。情報処理装置は、ユーザを含み、かつ撮像時刻がそれぞれ異なる複数の画像を取得する取得部と、前記複数の画像に基づいて、前記ユーザの骨格特徴点を示す情報である複数の骨格情報を抽出する抽出部と、前記複数の骨格情報に基づいて、予め設定された期間における、前記ユーザの動作量を算出する動作量算出部と、前記動作量が予め設定された閾値以下であるか否かを判定する判定部と、前記動作量が前記閾値以下である場合、前記ユーザの感情を不快と推定する推定部と、を有する。
　本開示によれば、小さい動きに基づく感情を推定することができる。
実施の形態の制御システムを示す図である。 実施の形態の制御対象機器の制御の具体例を示す図である。 実施の形態の情報処理装置の機能を示すブロック図である。 実施の形態の骨格情報の例を示す図である。 実施の形態のグラフの例を示す図である。 実施の形態の情報処理装置が実行する処理の例を示すフローチャートである。
　以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
実施の形態．
　図１は、実施の形態の制御システムを示す図である。制御システムは、情報処理装置１００、撮像装置２００、及び制御対象機器３００を含む。情報処理装置１００、撮像装置２００、及び制御対象機器３００は、ネットワークを介して、通信する。
　情報処理装置１００は、推定方法を実行する装置である。情報処理装置１００は、制御装置又は感情推定装置と呼んでもよい。
　まず、情報処理装置１００が有するハードウェアを説明する。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、不揮発性記憶装置１０３、及び通信インタフェース１０４を有する。
　プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。また、情報処理装置１００は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
　揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。
　通信インタフェース１０４は、撮像装置２００及び制御対象機器３００と通信する。
　例えば、撮像装置２００は、監視カメラ、ＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒ　Ｓｙｓｔｅｍ）、又は赤外線カメラである。撮像装置２００は、ユーザを撮像する。
　情報処理装置１００は、撮像装置２００から複数の画像（すなわち、映像）を取得する。情報処理装置１００は、複数の画像に基づいて、ユーザの感情を推定する。情報処理装置１００は、推定された感情の情報に基づいて、制御対象機器３００を制御することができる。ここで、制御対象機器３００の制御の一例を示す。
　図２は、実施の形態の制御対象機器の制御の具体例を示す図である。図２は、制御対象機器３００の例として、エレベータの昇降機３０１を示している。また、図２では、小さい動きをしているユーザの上面図を示している。
　撮像装置２００は、天井に設置されている。撮像装置２００は、ユーザを撮像する。情報処理装置１００は、撮像装置２００から複数の画像を取得する。情報処理装置１００は、複数の画像に基づいて、ユーザの感情を推定する。情報処理装置１００は、推定された感情の情報に基づいて、昇降機３０１を制御する。
　次に、情報処理装置１００が有する機能を説明する。
　図３は、実施の形態の情報処理装置の機能を示すブロック図である。情報処理装置１００は、記憶部１１０、取得部１２０、抽出部１３０、動作量算出部１４０、判定部１５０、及び推定部１６０を有する。
　記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
　取得部１２０、抽出部１３０、動作量算出部１４０、判定部１５０、及び推定部１６０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、抽出部１３０、動作量算出部１４０、判定部１５０、及び推定部１６０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、推定プログラムとも言う。例えば、推定プログラムは、記録媒体に記録されている。
　取得部１２０は、撮像時刻がそれぞれ異なる複数の画像を撮像装置２００から取得する。取得部１２０は、複数の画像を外部装置（例えば、クラウドサーバ）から取得してもよい。複数の画像のそれぞれは、異なる時刻にユーザを撮像することにより得られた画像である。そのため、複数の画像のそれぞれには、ユーザが含まれている。
　抽出部１３０は、複数の画像に基づいて、複数の骨格情報を抽出する。複数の骨格情報のそれぞれは、ユーザの骨格特徴点を示す情報である。例えば、ユーザの骨格特徴点を示す情報は、座標である。以下、ユーザの骨格特徴点を示す情報は、座標とする。
　まず、１つの画像に基づいて、１つの骨格情報が抽出される場合を説明する。ここで、骨格情報の例を示す。
　図４は、実施の形態の骨格情報の例を示す図である。図４は、複数の画像のうちの１つの画像である画像４００を示している。抽出部１３０は、公知技術を用いて、骨格情報５００を抽出する。例えば、公知技術は、ＯｐｅｎＰｏｓｅ又はＰｏｓｅＮｅｔである。骨格情報５００は、ユーザの骨格特徴点を示す座標である。例えば、図４の座標５０１は、ユーザの耳の骨格特徴点を示す。なお、当該座標は、Ｘ座標とＹ座標で表される。
　図４は、１人のユーザが画像４００の中に含まれている場合を示している。複数のユーザが画像の中に含まれている場合、抽出部１３０は、複数のユーザのそれぞれの骨格情報を抽出する。
　このように、抽出部１３０は、１つ画像に基づいて、１つの骨格情報を抽出する。同様に、抽出部１３０は、複数の画像のそれぞれに対して、骨格情報の抽出処理を行う。これにより、複数の骨格情報が得られる。
　ここで、制御システムには、複数の撮像装置が含まれてもよい。複数の撮像装置のそれぞれは、異なる位置に設置されている。複数の撮像装置のそれぞれは、異なる方向からユーザを撮像する。複数の撮像装置が制御システムに含まれる場合、取得部１２０は、複数の撮像装置が同じ時刻にユーザを撮像することにより得られた複数の画像を取得する。例えば、取得部１２０は、当該複数の画像を複数の撮像装置から取得する。また、取得部１２０は、複数の撮像装置のそれぞれの位置情報を取得する。例えば、取得部１２０は、複数の撮像装置のそれぞれの位置情報を記憶部１１０から取得する。抽出部１３０は、当該複数の画像と、複数の撮像装置のそれぞれの位置情報とに基づいて、１つの骨格情報を抽出する。ここで、例えば、ある撮像装置が、ある方向からユーザを撮像した場合、ユーザの一部分が撮像されないことがある。そこで、他の撮像装置が、異なる方向からユーザを撮像することで、当該一部分が撮像される。このように、抽出部１３０は、複数の撮像装置のそれぞれが異なる方向からユーザを撮像することにより得られた複数の画像に基づいて、骨格情報を抽出する。これにより、情報処理装置１００は、精度の高い骨格情報を得ることができる。
　動作量算出部１４０は、複数の骨格情報に基づいて、予め設定された期間Ｔにおける、ユーザの動作量ＦＰを算出する。動作量ＦＰは、期間Ｔにおける、骨格情報が示す座標（すなわち、骨格特徴点）の移動量の平均により、算出される。時刻ｔ（０＜ｔ＜Ｔ）におけるｉ（１＜ｉ＜Ｎ）番目の座標を（Ｘｉ（ｔ）、Ｙｉ（ｔ））とした場合、動作量ＦＰは、式（１）により表される。
Figure JPOXMLDOC01-appb-M000001
　判定部１５０は、動作量ＦＰが予め設定された閾値以下であるか否かを判定する。動作量ＦＰが予め設定された閾値以下である場合、ユーザの動きは、小さいと言える。
　推定部１６０は、動作量ＦＰが当該閾値以下である場合、ユーザの感情を不快と推定する。
　ここで、例えば、不快は、ユーザが待機しているときに生じる。ユーザは、不快感が高まった場合、貧乏ゆすり、軸足の入れ替え、腕の組み直しの動作などを行う。そこで、推定部１６０は、不快の動作の種類を推定するために、以下の処理を行ってもよい。推定部１６０は、複数の骨格情報を用いて、三角関数“Ａｓｉｎ(２πｆｔ＋φ)”を算出する。推定部１６０は、三角関数“Ａｓｉｎ(２πｆｔ＋φ)”を近似する。これにより、“Ａｓｉｎ(２πｆｔ＋φ)＋Ｂ”が、得られる。ここで、“Ａｓｉｎ(２πｆｔ＋φ)＋Ｂ”を示すグラフを例示する。
　図５は、実施の形態のグラフの例を示す図である。縦軸は、骨格特徴点の位置を示す。例えば、縦軸は、足の骨格特徴点の位置を示す。骨格特徴点の位置は、骨格特徴点を示す座標のＸ座標と考えてもよいし、当該座標のＹ座標と考えてもよい。横軸は、時刻ｔを示している。
　グラフが示すように、推定部１６０は、複数の骨格情報に基づいて、“Ａｓｉｎ(２πｆｔ＋φ)＋Ｂ”を算出することができる。
　推定部１６０は、“Ａｓｉｎ(２πｆｔ＋φ)＋Ｂ”に基づいて、周波数を算出する。推定部１６０は、振幅Ａが予め設定された閾値以上である場合、不快の動作が軸足の入れ替え、又は腕の組み直しであると推定する。推定部１６０は、周波数が予め設定された閾値以上である場合、不快の動作が貧乏ゆすりと推定する。
　このように、推定部１６０は、複数の骨格情報に基づいて、不快の動作の種類を推定する。これにより、情報処理装置１００は、不快の動作の種類を推定できる。
　推定部１６０は、ユーザが留まっている時間と、不快と推定された時間とに基づいて、不快度を算出してもよい。例えば、推定部１６０は、複数の画像に基づいて、ユーザが同じ位置に留まっている時間を算出する。推定部１６０は、複数の画像のうちの複数の画像に基づいて不快と推定された時間を算出する。推定部１６０は、ユーザが留まっている時間と、不快と推定された時間とに基づいて、不快度を算出する。これにより、情報処理装置１００は、ユーザの不快度を検出できる。情報処理装置１００は、不快度を低減するための制御を制御対象機器３００に行ってもよい。
　次に、情報処理装置１００が実行する処理を、フローチャートを用いて、説明する。
　図６は、実施の形態の情報処理装置が実行する処理の例を示すフローチャートである。
　（ステップＳ１１）取得部１２０は、撮像時刻がそれぞれ異なる複数の画像を撮像装置２００から取得する。
　（ステップＳ１２）抽出部１３０は、複数の画像に基づいて、複数の骨格情報を抽出する。
　（ステップＳ１３）動作量算出部１４０は、複数の骨格情報に基づいて、ユーザの動作量ＦＰを算出する。
　（ステップＳ１４）判定部１５０は、動作量ＦＰが予め設定された閾値以下であるか否かを判定する。動作量ＦＰが当該閾値以下である場合、処理は、ステップＳ１５に進む。動作量ＦＰが当該閾値よりも大きい場合、処理は、終了する。
　（ステップＳ１５）推定部１６０は、ユーザの感情を不快と推定する。
　上記したように、実施の形態によれば、情報処理装置１００は、小さい動きに基づく感情を推定することができる。
　１００　情報処理装置、　１０１　プロセッサ、　１０２　揮発性記憶装置、　１０３　不揮発性記憶装置、　１０４　通信インタフェース、　１１０　記憶部、　１２０　取得部、　１３０　抽出部、　１４０　動作量算出部、　１５０　判定部、　１６０　推定部、　２００　撮像装置、　３００　制御対象機器、　３０１　昇降機、　４００　画像、　５００　骨格情報、　５０１　座標。

Claims (6)

  1. 　ユーザを含み、かつ撮像時刻がそれぞれ異なる複数の画像を取得する取得部と、
    　前記複数の画像に基づいて、前記ユーザの骨格特徴点を示す情報である複数の骨格情報を抽出する抽出部と、
    　前記複数の骨格情報に基づいて、予め設定された期間における、前記ユーザの動作量を算出する動作量算出部と、
    　前記動作量が予め設定された閾値以下であるか否かを判定する判定部と、
    　前記動作量が前記閾値以下である場合、前記ユーザの感情を不快と推定する推定部と、
    　を有する情報処理装置。
  2. 　前記取得部は、それぞれ異なる方向から前記ユーザを撮像する複数の撮像装置が同じ時刻に前記ユーザを撮像することにより得られた複数の画像と、前記複数の撮像装置のそれぞれの位置情報とを取得し、
    　前記抽出部は、前記複数の撮像装置が同じ時刻に前記ユーザを撮像することにより得られた複数の画像と、前記複数の撮像装置のそれぞれの位置情報とに基づいて、前記複数の骨格情報のうちの１つの骨格情報を抽出する、
    　請求項１に記載の情報処理装置。
  3. 　前記推定部は、前記複数の骨格情報に基づいて、前記不快の動作の種類を推定する、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記推定部は、前記ユーザが留まっている時間と、前記不快と推定された時間とに基づいて、不快度を算出する、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　情報処理装置が、
    　ユーザを含み、かつ撮像時刻がそれぞれ異なる複数の画像を取得し、
    　前記複数の画像に基づいて、前記ユーザの骨格特徴点を示す情報である複数の骨格情報を抽出し、
    　前記複数の骨格情報に基づいて、予め設定された期間における、前記ユーザの動作量を算出し、
    　前記動作量が予め設定された閾値以下であるか否かを判定し、
    　前記動作量が前記閾値以下である場合、前記ユーザの感情を不快と推定する、
    　推定方法。
  6. 　情報処理装置に、
    　ユーザを含み、かつ撮像時刻がそれぞれ異なる複数の画像を取得し、
    　前記複数の画像に基づいて、前記ユーザの骨格特徴点を示す情報である複数の骨格情報を抽出し、
    　前記複数の骨格情報に基づいて、予め設定された期間における、前記ユーザの動作量を算出し、
    　前記動作量が予め設定された閾値以下であるか否かを判定し、
    　前記動作量が前記閾値以下である場合、前記ユーザの感情を不快と推定する、
    　処理を実行させる推定プログラム。
     
PCT/JP2021/005141 2021-02-12 2021-02-12 情報処理装置、推定方法、及び推定プログラム WO2022172384A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022575175A JP7224569B2 (ja) 2021-02-12 2021-02-12 情報処理装置、推定方法、及び推定プログラム
PCT/JP2021/005141 WO2022172384A1 (ja) 2021-02-12 2021-02-12 情報処理装置、推定方法、及び推定プログラム
TW110127304A TW202232375A (zh) 2021-02-12 2021-07-26 資訊處理裝置、估測方法、以及記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/005141 WO2022172384A1 (ja) 2021-02-12 2021-02-12 情報処理装置、推定方法、及び推定プログラム

Publications (1)

Publication Number Publication Date
WO2022172384A1 true WO2022172384A1 (ja) 2022-08-18

Family

ID=82838524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005141 WO2022172384A1 (ja) 2021-02-12 2021-02-12 情報処理装置、推定方法、及び推定プログラム

Country Status (3)

Country Link
JP (1) JP7224569B2 (ja)
TW (1) TW202232375A (ja)
WO (1) WO2022172384A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037410A (ja) * 2007-08-01 2009-02-19 Nippon Hoso Kyokai <Nhk> 感情表現抽出処理装置及びプログラム
JP2014206903A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体
JP2019125061A (ja) * 2018-01-12 2019-07-25 ナブテスコ株式会社 人の状態推定システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037410A (ja) * 2007-08-01 2009-02-19 Nippon Hoso Kyokai <Nhk> 感情表現抽出処理装置及びプログラム
JP2014206903A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体
JP2019125061A (ja) * 2018-01-12 2019-07-25 ナブテスコ株式会社 人の状態推定システム

Also Published As

Publication number Publication date
JPWO2022172384A1 (ja) 2022-08-18
TW202232375A (zh) 2022-08-16
JP7224569B2 (ja) 2023-02-17

Similar Documents

Publication Publication Date Title
JP6561830B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN108898118B (zh) 一种视频数据处理方法、装置和存储介质
WO2019228196A1 (zh) 一种全景视频的目标跟踪方法和全景相机
JP4915655B2 (ja) 自動追尾装置
US9773192B2 (en) Fast template-based tracking
WO2019071613A1 (zh) 一种图像处理方法及装置
US20160217326A1 (en) Fall detection device, fall detection method, fall detection camera and computer program
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP6024658B2 (ja) 物体検出装置、物体検出方法及びプログラム
JP2015528936A (ja) ビジョン支援慣性カメラポーズ推定とビジョンベースのみのカメラポーズ推定との間の適応的な切替え
JP2014048962A (ja) 画像処理装置、画像処理方法及びプログラム
JP5087037B2 (ja) 画像処理装置、方法及びプログラム
JP6981555B2 (ja) 群集推定手法の性能モデリング方法、システム、及びプログラム
JP2007148663A (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2009188977A (ja) 目標追尾装置
JP5436351B2 (ja) 状態推定装置、状態推定方法、およびプログラム
WO2022172384A1 (ja) 情報処理装置、推定方法、及び推定プログラム
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP5639033B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
KR20080079506A (ko) 촬영장치 및 이의 대상 추적방법
US11557122B2 (en) Control apparatus, control system, control method, and storage medium
Chen et al. Real-time people counting method with surveillance cameras implemented on embedded system
CN113691731B (zh) 一种处理方法、装置和电子设备
KR101187481B1 (ko) 영상 인식 기반 인터페이스를 위한 손 색상 추출 방법 및 장치와 이를 이용한 영상 인식 기반 인터페이스 장치
JP5873415B2 (ja) 前景検出装置、前景検出方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21925637

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022575175

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21925637

Country of ref document: EP

Kind code of ref document: A1