JPWO2018235198A1 - 情報処理装置、制御方法、及びプログラム - Google Patents
情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2018235198A1 JPWO2018235198A1 JP2019524778A JP2019524778A JPWO2018235198A1 JP WO2018235198 A1 JPWO2018235198 A1 JP WO2018235198A1 JP 2019524778 A JP2019524778 A JP 2019524778A JP 2019524778 A JP2019524778 A JP 2019524778A JP WO2018235198 A1 JPWO2018235198 A1 JP WO2018235198A1
- Authority
- JP
- Japan
- Prior art keywords
- analysis target
- reference position
- product
- person
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims description 60
- 238000004458 analytical method Methods 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 12
- 230000036544 posture Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
<情報処理装置2000の動作の概要>
図1は、実施形態1に係る情報処理装置(後述する図2などに示す情報処理装置2000)の動作を概念的に例示する図である。なお図1は、情報処理装置2000の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置2000の動作は図1によって何ら限定されない。
撮像画像12全体を画像解析して顧客20の動作を特定しようとする場合、商品40のサイズが小さい場合や、顧客20の手の姿勢が大きく変動する場合に、動作を正確に特定できないことがある。この点、情報処理装置2000は、まず撮像画像12において顧客20の手の位置を示す基準位置24を検出し、基準位置24に基づいて解析対象領域30を決定する。すなわち、顧客20の手の付近について画像解析を行う。そのため、商品40のサイズが小さい場合や、顧客20の手の姿勢が大きく変動する場合であっても、商品40を取得する、商品40を置く、又は商品40を保持するなどといった顧客20の手による動作を精度良く特定することができる。
図2は、実施形態1に係る情報処理装置2000の機能構成の例を示すブロック図である。情報処理装置2000は、検出部2020、決定部2040、及び特定部2060を有する。検出部2020は、撮像画像12から、撮像画像12に含まれる人の手の基準位置24を検出する。決定部2040は、検出された基準位置24を用いて、撮像画像12の中の解析対象領域30を決定する。特定部2060は、決定された解析対象領域30を解析することで、上記人の動作を特定する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
カメラ10は、繰り返し撮像を行って複数の撮像画像12を生成することができる任意のカメラである。カメラ10は、動画データを生成するビデオカメラであってもよいし、静止画像データを生成するスチルカメラであってもよい。なお、前者の場合、撮像画像12は、動画データを構成する動画フレームである。
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。検出部2020は、撮像画像12を取得する(S102)。検出部2020は、取得した撮像画像12から商品40の手の基準位置24を検出する(S104)。決定部2040は、検出された基準位置24を用いて解析対象領域30を決定する(S106)。特定部2060は、決定された解析対象領域30を画像解析する(S108)。特定部2060は、解析対象領域30を画像解析した結果に基づいて、顧客20の動作を特定する(S108)。
情報処理装置2000が図4に示す一連の処理を実行するタイミングは様々である。例えば情報処理装置2000は、カメラ10によって撮像画像12が生成される度に、その撮像画像12について、図4に示す一連の処理を実行する。
検出部2020は、撮像画像12を取得する(S102)。検出部2020が撮像画像12を取得する方法は任意である。例えば検出部2020は、カメラ10から送信される撮像画像12を受信する。また例えば、検出部2020は、カメラ10にアクセスし、カメラ10に記憶されている撮像画像12を取得する。
検出部2020は、撮像画像12から基準位置24を検出する(S104)。前述した通り、基準位置24は顧客20の手の位置を示す。前述したとおり、顧客20の手の位置は、例えば手の中心位置や指先の位置などである。検出部2020が撮像画像12から基準位置24を検出する方法は様々である。例えば検出部2020は、予め用意されている人の手の特徴量を利用して特徴量マッチングを行うことにより、撮像画像12から、その特徴量にマッチする(特徴量との類似度が高い)領域を検出する。そして検出部2020は、検出された領域、すなわち手を表す領域の所定位置(例えば中心位置など)を、手の基準位置24として検出する。
決定部2040は、検出された基準位置24を用いて解析対象領域30を決定する(S106)。決定部2040が解析対象領域30を決定する方法は様々である。例えば決定部2040は、撮像画像12に含まれる領域のうち、基準位置24を基準として定まる所定形状の領域である。
特定部2060は、決定された解析対象領域30を画像解析することで、顧客20の動作を特定する(S108、S110)。顧客20の動作は、例えば、(1)商品棚50から商品40を取り出す動作、(2)商品棚50へ商品40を置く動作、(3)商品棚50との接触前後双方において商品40を保持しない動作、及び(4)商品棚50との接触前後双方において商品40を保持する動作のいずれかである。
特定部2060は、顧客20が商品棚50から商品40を取り出したときに、取り出した商品40を特定してもよい。商品40の特定とは、例えば、その商品40を他の商品40と識別する情報(例えば商品40の識別子や名称など)を特定することを意味する。以下、商品40を識別する情報を商品識別情報と呼ぶ。
前提として、撮像画像12に商品棚50を上方から撮像した様子が含まれるとする(図5参照)。言い換えれば、カメラ10が、商品棚50を上方から撮像するとする。この場合、カメラ10としてデプスカメラを利用する。デプスカメラは、通常の撮像画像に加えて、又はこれに代えて、深度画像を生成する。前述したように、深度画像とは、画像の各画素の値が、撮像された物体とカメラとの間の距離を表す画像である。図13は、カメラ10によって生成される深度画像を例示する図である。図13の深度画像では、カメラ10からの距離が近い物体を表す画素ほど白色に近く(明るく)、カメラ10からの距離が遠い物体を表す画素ほど黒色に近く(暗く)なっている。なお、図示の都合上、図13では、暗い部分ほど大きな黒点を密に描き、明るい部分ほど小さな黒点を疎に描いている。
前提として、撮像画像12に、商品棚50を横から見た様子が含まれているとする。言い換えれば、カメラ10が、商品棚50を横方向から撮像するとする。この場合、特定部2060は、撮像画像12から検出された基準位置24の高さ方向の位置(Y 座標)が、商品棚50の何段目に位置するかを特定する。そして、特定された段を、商品40が取り出された商品棚50の段とする。この場合、撮像画像12は、深度画像であってもよいし、通常の画像であってもよい。
商品棚50の1つの段を水平方向に複数の列に区切ることで、1つの段に複数の種類の商品が陳列されることもある。この場合、特定部2060は、商品40を商品棚50から取り出す顧客20の手の基準位置24について、水平方向の位置と高さ方向の位置をそれぞれ特定することにより、商品40を特定する。この場合、陳列情報には、段と列の組み合わせごとに商品識別情報を示しておく。以下、基準位置24の水平方向の位置を特定する方法について説明する。
特定部2060によって特定された顧客20の動作は、顧客20が商品棚50の前において行う行動(いわゆる棚前行動)の解析に利用することができる。そのために、特定部2060は、各顧客20が商品棚50の前で行った動作、その動作が行われた日時、その動作の対象となった商品40などの種々の情報を出力する。この情報は、例えば情報処理装置2000に接続されている記憶装置に記憶されたり、情報処理装置2000と通信可能に接続されているサーバ装置などに送信されたりする。ここで、商品棚50の前で行われた顧客20の種々の動作に基づいて棚前行動の解析を行う手法には既存の種々の手法を利用することができる。
Claims (15)
- 物の陳列場所が撮像された撮像画像から、前記撮像画像に含まれる人の手の位置を示す基準位置を検出する検出手段と、
前記検出された基準位置を用いて、前記撮像画像の中の解析対象領域を決定し、前記解析対象領域を決定する決定手段と、
前記決定された解析対象領域を解析することで、前記人の動作を特定する特定手段と、
を有する情報処理装置。 - 前記決定手段は、前記検出された基準位置を基準とする所定形状の領域を、前記解析対象領域として決定する、請求項1に記載の情報処理装置。
- 前記検出手段は、前記人の手の姿勢をさらに検出し、
前記決定手段は、前記検出された基準位置を基準とし、なおかつ前記検出された姿勢によって定まる向きの所定形状の領域を、前記解析対象領域として決定する、請求項2に記載の情報処理装置。 - 前記特定手段は、前記人が物を保持している動作、及び前記人が物を保持していない動作のうち、少なくとも1つの特定を行う、請求項1乃至3いずれか一項に記載の情報処理装置。
- 前記特定手段は、それぞれ異なる時点に生成された複数の撮像画像それぞれについて決定された前記解析対象領域を解析することで、前記人が前記陳列場所から物を取り出す動作、前記人が前記陳列場所との接触前後双方において物を保持していない動作、前記人が前記陳列場所に物を置く動作、及び前記人が前記陳列場所との接触前後双方において物を保持している動作のうち、少なくとも1つの特定を行う、請求項1乃至4いずれか一項に記載の情報処理装置。
- 前記特定手段は、前記陳列場所における各物体の位置を示す陳列情報、及び前記解析対象領域に含まれる前記基準位置の高さ方向の位置に基づいて、前記人の動作の対象である物を特定する、請求項1乃至5いずれか一項に記載の情報処理装置。
- 前記撮像画像は、前記陳列場所を上方から撮像するデプスカメラによって生成された深度画像であり、
前記特定手段は、前記基準位置の高さ方向の位置を、前記深度画像における前記基準位置の画素値に基づいて特定する、請求項6に記載の情報処理装置。 - コンピュータによって実行される制御方法であって、
物の陳列場所が撮像された撮像画像から、前記撮像画像に含まれる人の手の位置を示す基準位置を検出する検出ステップと、
前記検出された基準位置を用いて、前記撮像画像の中の解析対象領域を決定し、前記解析対象領域を決定する決定ステップと、
前記決定された解析対象領域を解析することで、前記人の動作を特定する特定ステップと、
を有する制御方法。 - 前記決定ステップにおいて、前記検出された基準位置を基準とする所定形状の領域を、前記解析対象領域として決定する、請求項8に記載の制御方法。
- 前記検出ステップにおいて、前記人の手の姿勢をさらに検出し、
前記決定ステップにおいて、前記検出された基準位置を基準とし、なおかつ前記検出された姿勢によって定まる向きの所定形状の領域を、前記解析対象領域として決定する、請求項9に記載の制御方法。 - 前記特定ステップにおいて、前記人が物を保持している動作、及び前記人が物を保持していない動作のうち、少なくとも1つの特定を行う、請求項8乃至10いずれか一項に記載の制御方法。
- 前記特定ステップにおいて、それぞれ異なる時点に生成された複数の撮像画像それぞれについて決定された前記解析対象領域を解析することで、前記人が前記陳列場所から物を取り出す動作、前記人が前記陳列場所との接触前後双方において物を保持していない動作、前記人が前記陳列場所に物を置く動作、及び前記人が前記陳列場所との接触前後双方において物を保持していない動作のうち、少なくとも1つの特定を行う、請求項8乃至11いずれか一項に記載の制御方法。
- 前記特定ステップにおいて、前記陳列場所における各物体の位置を示す陳列情報、及び前記解析対象領域に含まれる前記基準位置の高さ方向の位置に基づいて、前記人の動作の対象である物を特定する、請求項8乃至12いずれか一項に記載の制御方法。
- 前記撮像画像は、前記陳列場所を上方から撮像するデプスカメラによって生成された深度画像であり、
前記特定ステップにおいて、前記基準位置の高さ方向の位置を、前記深度画像における前記基準位置の画素値に基づいて特定する、請求項13に記載の制御方法。 - 請求項8乃至14いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021112713A JP7332183B2 (ja) | 2017-06-21 | 2021-07-07 | 情報処理装置、制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/022875 WO2018235198A1 (ja) | 2017-06-21 | 2017-06-21 | 情報処理装置、制御方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112713A Division JP7332183B2 (ja) | 2017-06-21 | 2021-07-07 | 情報処理装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018235198A1 true JPWO2018235198A1 (ja) | 2020-04-09 |
JP7197171B2 JP7197171B2 (ja) | 2022-12-27 |
Family
ID=64737005
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019524778A Active JP7197171B2 (ja) | 2017-06-21 | 2017-06-21 | 情報処理装置、制御方法、及びプログラム |
JP2021112713A Active JP7332183B2 (ja) | 2017-06-21 | 2021-07-07 | 情報処理装置、制御方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112713A Active JP7332183B2 (ja) | 2017-06-21 | 2021-07-07 | 情報処理装置、制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (4) | US20210142490A1 (ja) |
JP (2) | JP7197171B2 (ja) |
WO (1) | WO2018235198A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507125A (zh) * | 2019-01-30 | 2020-08-07 | 佳能株式会社 | 检测装置和方法及图像处理装置和系统 |
JP7368982B2 (ja) | 2019-09-05 | 2023-10-25 | 東芝テック株式会社 | 販売管理システム及び販売管理方法 |
JP6982259B2 (ja) * | 2019-09-19 | 2021-12-17 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP7375908B2 (ja) * | 2020-02-28 | 2023-11-08 | 日本電気株式会社 | 顧客分析装置、顧客分析方法、およびプログラム |
WO2021184356A1 (en) | 2020-03-20 | 2021-09-23 | Huawei Technologies Co., Ltd. | Methods and systems for hand gesture-based control of a device |
KR20220156601A (ko) | 2020-03-23 | 2022-11-25 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템 |
JP7435771B2 (ja) * | 2020-06-18 | 2024-02-21 | 日本電気株式会社 | 制御装置、制御方法、およびプログラム |
CN114158281A (zh) * | 2020-07-07 | 2022-03-08 | 乐天集团股份有限公司 | 区域提取装置、区域提取方法和区域提取程序 |
WO2023053243A1 (ja) * | 2021-09-29 | 2023-04-06 | 日本電気株式会社 | 報知システム、方法、及び、記録媒体 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000331170A (ja) * | 1999-05-21 | 2000-11-30 | Atr Media Integration & Communications Res Lab | 手振り認識装置 |
JP2010271872A (ja) * | 2009-05-20 | 2010-12-02 | Canon Inc | 画像認識装置、撮像装置及び画像認識方法 |
WO2011007390A1 (ja) * | 2009-07-15 | 2011-01-20 | 株式会社 東芝 | 画像処理装置、及びインターフェース装置 |
JP2011233119A (ja) * | 2010-04-30 | 2011-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 広告効果測定装置、広告効果測定方法およびプログラム |
JP2015041194A (ja) * | 2013-08-21 | 2015-03-02 | 株式会社Nttドコモ | ユーザ観察システム |
JP2015106281A (ja) * | 2013-11-29 | 2015-06-08 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
JP2016162072A (ja) * | 2015-02-27 | 2016-09-05 | 株式会社東芝 | 特徴量抽出装置 |
JP2017049662A (ja) * | 2015-08-31 | 2017-03-09 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
WO2010004719A1 (ja) | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム |
US9904845B2 (en) * | 2009-02-25 | 2018-02-27 | Honda Motor Co., Ltd. | Body feature detection and human pose estimation using inner distance shape contexts |
JP5573379B2 (ja) * | 2010-06-07 | 2014-08-20 | ソニー株式会社 | 情報表示装置および表示画像制御方法 |
JP5561124B2 (ja) | 2010-11-26 | 2014-07-30 | 富士通株式会社 | 情報処理装置、および価格設定方法 |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US10049281B2 (en) | 2012-11-12 | 2018-08-14 | Shopperception, Inc. | Methods and systems for measuring human interaction |
US10268983B2 (en) * | 2013-06-26 | 2019-04-23 | Amazon Technologies, Inc. | Detecting item interaction and movement |
-
2017
- 2017-06-21 JP JP2019524778A patent/JP7197171B2/ja active Active
- 2017-06-21 US US16/623,656 patent/US20210142490A1/en not_active Abandoned
- 2017-06-21 WO PCT/JP2017/022875 patent/WO2018235198A1/ja active Application Filing
-
2021
- 2021-06-16 US US17/349,045 patent/US11763463B2/en active Active
- 2021-07-07 JP JP2021112713A patent/JP7332183B2/ja active Active
-
2023
- 2023-07-28 US US18/227,850 patent/US20230410321A1/en active Pending
- 2023-07-28 US US18/227,848 patent/US20240029273A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000331170A (ja) * | 1999-05-21 | 2000-11-30 | Atr Media Integration & Communications Res Lab | 手振り認識装置 |
JP2010271872A (ja) * | 2009-05-20 | 2010-12-02 | Canon Inc | 画像認識装置、撮像装置及び画像認識方法 |
WO2011007390A1 (ja) * | 2009-07-15 | 2011-01-20 | 株式会社 東芝 | 画像処理装置、及びインターフェース装置 |
JP2011233119A (ja) * | 2010-04-30 | 2011-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 広告効果測定装置、広告効果測定方法およびプログラム |
JP2015041194A (ja) * | 2013-08-21 | 2015-03-02 | 株式会社Nttドコモ | ユーザ観察システム |
JP2015106281A (ja) * | 2013-11-29 | 2015-06-08 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
JP2016162072A (ja) * | 2015-02-27 | 2016-09-05 | 株式会社東芝 | 特徴量抽出装置 |
JP2017049662A (ja) * | 2015-08-31 | 2017-03-09 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
Non-Patent Citations (2)
Title |
---|
伊藤 雅嗣、外3名: ""映像メディア取得のための手と把持物体の追跡と認識−多種類の画像センサによるロバストな実時間追跡−"", 電子情報通信学会技術研究報告, vol. 102, no. 155, JPN6017026853, 20 June 2002 (2002-06-20), JP, pages 43 - 50, ISSN: 0004387839 * |
池村 翔、藤吉 弘亘: ""時空間情報と距離情報を用いたJoint Boostingによる動作識別"", 電気学会論文誌C, vol. 130, no. 9, JPN6017026856, 1 September 2010 (2010-09-01), JP, pages 1554 - 1560, ISSN: 0004387840 * |
Also Published As
Publication number | Publication date |
---|---|
JP7332183B2 (ja) | 2023-08-23 |
US20210142490A1 (en) | 2021-05-13 |
US20230410321A1 (en) | 2023-12-21 |
US20210343026A1 (en) | 2021-11-04 |
JP2021177399A (ja) | 2021-11-11 |
US11763463B2 (en) | 2023-09-19 |
US20240029273A1 (en) | 2024-01-25 |
JP7197171B2 (ja) | 2022-12-27 |
WO2018235198A1 (ja) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7332183B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US10719954B2 (en) | Method and electronic device for extracting a center position of an infrared spot | |
JP7151805B2 (ja) | 学習データ生成装置、学習データ生成方法、およびプログラム | |
US9750420B1 (en) | Facial feature selection for heart rate detection | |
JP6306683B2 (ja) | 動的カテゴリ物体認識のコンピュータベースの方法コンピュータベースの方法及びシステム | |
US9866820B1 (en) | Online calibration of cameras | |
US10063843B2 (en) | Image processing apparatus and image processing method for estimating three-dimensional position of object in image | |
JP6731097B2 (ja) | 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体 | |
US9349180B1 (en) | Viewpoint invariant object recognition | |
US20200293766A1 (en) | Interaction behavior detection method, apparatus, system, and device | |
CN110991261A (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
US10440296B2 (en) | Method for processing an asynchronous signal | |
US20220012514A1 (en) | Identification information assignment apparatus, identification information assignment method, and program | |
US20180307896A1 (en) | Facial detection device, facial detection system provided with same, and facial detection method | |
JP2015219892A (ja) | 視線分析システムおよび視線分析装置 | |
JP7088281B2 (ja) | 商品分析システム、商品分析方法および商品分析プログラム | |
US9924865B2 (en) | Apparatus and method for estimating gaze from un-calibrated eye measurement points | |
JP2007241477A (ja) | 画像処理装置 | |
JP2023129657A (ja) | 情報処理装置、制御方法、及びプログラム | |
JP6311461B2 (ja) | 視線分析システムおよび視線分析装置 | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
US11610385B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
US20230099665A1 (en) | Familiarity degree estimation apparatus, familiarity degree estimation method, and recording medium | |
KR20220115223A (ko) | 다중 카메라 캘리브레이션 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191211 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210707 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210707 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210719 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210720 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210806 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210817 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220322 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220405 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20221018 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221115 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7197171 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |