WO2015186518A1 - 画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置 - Google Patents
画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置 Download PDFInfo
- Publication number
- WO2015186518A1 WO2015186518A1 PCT/JP2015/064452 JP2015064452W WO2015186518A1 WO 2015186518 A1 WO2015186518 A1 WO 2015186518A1 JP 2015064452 W JP2015064452 W JP 2015064452W WO 2015186518 A1 WO2015186518 A1 WO 2015186518A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- time
- image analysis
- data
- pixel
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Definitions
- the image analysis apparatus of the present invention is In an image analyzer that analyzes image data acquired in time series, A feature amount calculation unit that calculates feature amount time-series data indicating a time-series change of the feature amount from color information of each pixel of each of the image data; A fluctuation period calculating unit that calculates a fluctuation period of each of the image data from the feature amount time-series data.
- FIG. 35 is a graph showing a time shift and an autocorrelation coefficient in the pixel shown in FIG. 34. It is the figure which showed the graph which carried out the Fourier transform of each time shift shown in FIG.
- FIG. 34 is a diagram showing a time-series data graph of color information entropy of an arbitrary pixel of the image data acquired in FIG.
- FIG. 35 is a graph showing a time shift and an autocorrelation coefficient in the pixel shown in FIG.
- FIG. 36 is a graph showing a Fourier transform of each time shift shown in FIG. 35 and the autocorrelation coefficient in the pixel.
- FIG. 37 is a diagram showing a graph of time-series data of color information entropy of an arbitrary pixel of image data including work interruption acquired in FIG.
- FIG. 38 is a graph showing a time shift and an autocorrelation coefficient in the pixel shown in FIG.
- FIG. 39 is a graph showing a Fourier transform of each time shift shown in FIG. 38 and the autocorrelation coefficient in the pixel.
- FIG. 40 is a graph showing a Fourier transform graph of the color information entropy of the pixel shown in FIG.
- FIGS. 11A and 11B there is one color information amount and there is no messiness, so the color information entropy obtained by the following (Equation 3) is “0”.
- FIG. 11C has many different color palette numbers (color information amounts) and is messy, the color information entropy is “1.99”.
- the color palette data 15 shown above there are no examples of setting “dark gray” and “light gray” color palette numbers, but these are shown for easy understanding of FIG.
- the fluctuation period is calculated using this autocorrelation coefficient (step S23 in FIG. 16).
- the average value for every time shift of the autocorrelation coefficient of all pixels is taken.
- it is calculated as shown in FIG. FIG. 25 shows the values obtained as shown in FIG. 24, with the autocorrelation coefficient on the vertical axis and the time shift on the horizontal axis.
- the fluctuation cycle of the color information entropy shows a strong correlation at intervals of “12 seconds to 13 seconds”.
- the fluctuation period can be obtained from the average value of the autocorrelation coefficient, the following operation is performed in order to improve the accuracy of the fluctuation period value.
- the work time of the work point “No. 1” is “6.6 seconds” and the work time of the work point “No. 2” is “10.0 seconds”.
- the work time of the work point “No. 1” is “17.8 seconds”, and the work time of the work point “No. 2” is “21.1 seconds”.
- the image analysis data analyzed by the image analysis device 5 is displayed on the display device 13 of the analyst 14 via the communication network 4.
- the image analysis data is displayed as variations in work time intervals as shown in FIG. In this way, image analysis data can be supplied to the analyst 14.
- the analyst 14 performs image analysis on the assumption that the work time variation in the section 2 is larger than the work time variation in the section 1 and that there may be some problem in the work in the section 2. Is possible.
- time-series data of color information entropy for any one pixel is extracted. This is, for example, the case where four sets of basic operations of 10 seconds per operation are performed for one cycle, for example, when four screw tightening operations for one workpiece are repeatedly performed for a plurality of workpieces. Show. Then, the autocorrelation coefficient is calculated from the data shown in FIG. 34 in the same manner as in the first embodiment, and the autocorrelation coefficient is plotted on the vertical axis and the time shift is plotted on the horizontal axis, as shown in FIG. become.
- the feature amount time-series data is calculated using the time-series color information entropy of the color information in a preset pixel area including each pixel, it is necessary to identify whether or not it is a moving object in the image data. Image analysis can be performed accurately.
- the number of color palettes is set to “11” in order from the most frequently appearing hues, excluding the color palette number determined by the luminance and saturation regardless of the hue, such as the color palette number ⁇ 3> (gray).
- a color band width from a valley hue to the next valley hue is set as a boundary condition of the color palette. That is, for example, if the color palette number ⁇ 4> has the fourth highest priority, a hue of 180 ° or more and less than 210 ° is assigned.
- the color band width of the color palette number is varied according to the appearance frequency of the hue.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
時系列に取得された画像データを分析する画像分析方法において、
各前記画像データの各画素の色情報を取得する工程と
前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備えたものである。
時系列に取得された画像データを分析する画像分析装置において、
各前記画像データの各画素の色情報から特徴量の時系列的な変化を示す特徴量時系列データを算出する特徴量算出部と、
前記特徴量時系列データから各前記画像データの変動周期を算出する変動周期算出部とを備えたものである。
前記記載の画像分析装置と、
前記画像データを取得する撮影装置と、
前記画像分析装置の分析結果を表示する表示装置と、
前記画像データを格納する画像データベースと、
前記特徴量時系列データを格納する特徴量時系列データベースと、
前記分析結果を格納する画像分析データベースとを備えたものである。
前記記載の画像分析システムは、
前記画像分析装置、前記撮影装置、前記表示装置、前記画像データベース、前記特徴量時系列データベース、および、前記画像分析データベースを一体型かつ可搬型にて形成されているものである。
画像データの分析を精度よく、かつ、分析者の分析負荷を軽減できる。
以下、本願発明の実施の形態について説明する。以下の実施の形態において説明する画像分析は、工場などの施設内にて、動体としての作業者が周期的な動作(反復的な動作)としての作業を行う場合であって、その作業における反復時間としての作業サイクル時間を分析する場合を例に説明する。但し、動体は作業者以外、例えば機械が行う作業であっても同様に画像分析できる。また、作業以外であっても、反復して変化する画像データの分析には、同様の効果を奏することができる。
図9は図2に示した特徴量算出部にて各画素の情報エントロピー(以下、「色情報エントロピー」と称す)を取得するための近傍画像領域を示す図である。図10は図2に示した特徴量算出部にて各画素の色情報エントロピーを取得するための他の近傍画像領域を示す図である。図11は図2に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの取得例を示す図である。
上記実施の形態1においては、色パレットデータをあらかじめ設定している例を示したが、これに限られることはなく、本実施の形態においては、画像データにおける色情報の出現頻度に応じて色パレットデータを作成する場合について説明する。よって、本実施の形態においては、特徴量算出部7の動作の内、特に色パレットデータの設定を行う動作について説明する。他の部分の構成および動作は上記実施の形態1と同様であるため、その説明は適宜省略する。
上記各実施の形態においては、画像分析システムとして、撮影装置、画像分析装置、表示装置を分散配置して構成する例を示したが、これに限られることはなく、図48に示すように、タブレット型の移動型端末装置20に、画像を撮影する撮影装置21、情報を表示する表示装置22、画像分析装置5を備える。そして、画像分析装置5には、上記各実施の形態と同様に、画像分析手段9、画像DB6、特徴量時系列DB11、画像分析DB12を備えている。そして、上記各実施の形態と同様に動作することができる。
上記各実施の形態においては、画像分析装置に、画像分析手段、画像DB、特徴量時系列DB、画像分析DBを備えている例を示したが、これに限られることはなく、画像データを格納する画像DBを撮影装置側に備えるようにしてもよい。
Claims (10)
- 時系列に取得された画像データを分析する画像分析方法において、
各前記画像データの各画素の色情報を取得する工程と
前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備えた画像分析方法。 - 前記特徴量時系列データは、各前記画素を含むあらかじめ設定された画素領域における前記色情報の時系列的な色情報の情報エントロピーである請求項1に記載の画像分析方法。
- 前記変動周期は、前記特徴量時系列データの自己相関係数から算出する請求項1または請求項2に記載の画像分析方法。
- 前記色情報は、あらかじめ設定された複数の区分に分類された色パレットデータに基づいて取得される請求項1から請求項3のいずれか1項に記載の画像分析方法。
- 前記色パレットデータの区分は、前記画像データの色の出現頻度に応じて設定される請求項4に記載の画像分析方法。
- 前記画像データが、工場内の作業者が周期的な動作を反復するデータを含んでおり、
前記変動周期から前記作業者の反復する動作の周期を分析する工程を備えた請求項1から請求項5のいずれか1項に記載の画像分析方法。 - 時系列に取得された画像データを分析する画像分析装置において、
各前記画像データの各画素の色情報から特徴量の時系列的な変化を示す特徴量時系列データを算出する特徴量算出部と、
前記特徴量時系列データから各前記画像データの変動周期を算出する変動周期算出部とをとを備えた画像分析装置。 - 請求項7に記載の画像分析装置は、請求項1から請求項6のいずれか1項に記載の画像分析方法を行う画像分析装置。
- 請求項7または請求項8に記載の画像分析装置と、
前記画像データを取得する撮影装置と、
前記画像分析装置の分析結果を表示する表示装置と、
前記画像データを格納する画像データベースと、
前記特徴量時系列データを格納する特徴量時系列データベースと、
前記分析結果を格納する画像分析データベースとを有する画像分析システム。 - 請求項9に記載の画像分析システムは、
前記画像分析装置、前記撮影装置、前記表示装置、前記画像データベース、前記特徴量時系列データベース、および、前記画像分析データベースを一体型かつ可搬型にて形成されている画像分析可搬型装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/304,201 US20170039697A1 (en) | 2014-06-06 | 2015-05-20 | Image analysis method, image analysis device, image analysis system, and portable image analysis device |
DE112015002681.9T DE112015002681B4 (de) | 2014-06-06 | 2015-05-20 | Bild-analyseverfahren, bild-analysevorrichtung, bild-analysesystem und tragbare bild-analysevorrichtung |
CN201580022502.7A CN106255993B (zh) | 2014-06-06 | 2015-05-20 | 图像分析方法、图像分析装置、图像分析系统以及图像分析便携式装置 |
JP2016525759A JP6253773B2 (ja) | 2014-06-06 | 2015-05-20 | 画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-117196 | 2014-06-06 | ||
JP2014117196 | 2014-06-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015186518A1 true WO2015186518A1 (ja) | 2015-12-10 |
Family
ID=54766593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/064452 WO2015186518A1 (ja) | 2014-06-06 | 2015-05-20 | 画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170039697A1 (ja) |
JP (1) | JP6253773B2 (ja) |
CN (1) | CN106255993B (ja) |
DE (1) | DE112015002681B4 (ja) |
WO (1) | WO2015186518A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102049428B1 (ko) * | 2018-07-02 | 2019-11-27 | 차의과학대학교 산학협력단 | 시계열 기반의 멀티 채널신호 분석 시스템 및 방법 |
CN115266536A (zh) * | 2022-09-26 | 2022-11-01 | 南通钧儒卫生用品有限公司 | 一种纸尿裤吸水性能检测方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102548246B1 (ko) * | 2020-11-09 | 2023-06-28 | 주식회사 코난테크놀로지 | 이미지 엔트로피를 이용한 객체 검출용 데이터셋 구성 방법 및 이를 수행하는 데이터 처리장치 |
CN115131296B (zh) * | 2022-06-08 | 2024-02-27 | 广州东朝智能科技有限公司 | 一种用于图像识别的分布式计算方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009032033A (ja) * | 2007-07-27 | 2009-02-12 | Omron Corp | 動作境界検出方法および作業分析システム |
JP2010271944A (ja) * | 2009-05-21 | 2010-12-02 | Chuo Univ | 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 |
WO2012133028A1 (ja) * | 2011-03-25 | 2012-10-04 | 株式会社ニコン | 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2711548B2 (ja) | 1988-05-24 | 1998-02-10 | 信彦 大貫 | コンピュータによる移動物体の動作分析方法 |
FR2873750B1 (fr) * | 2004-08-02 | 2009-04-17 | Inst Francais Du Petrole | Dispositif pour la production d'un gaz chaud par oxydation utilisant un reacteur rotatif simule |
JP4792824B2 (ja) | 2004-11-05 | 2011-10-12 | 富士ゼロックス株式会社 | 動作分析装置 |
WO2009009779A2 (en) * | 2007-07-11 | 2009-01-15 | Cualing Hernani D | Automated bone marrow cellularity determination |
JP5159263B2 (ja) | 2007-11-14 | 2013-03-06 | 株式会社日立製作所 | 作業情報処理装置、プログラム及び作業情報処理方法 |
JP5220705B2 (ja) * | 2009-07-23 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
EP2523145A1 (en) * | 2011-05-11 | 2012-11-14 | Alcatel Lucent | Method for dynamically adapting video image parameters for facilitating subsequent applications |
US8903132B2 (en) * | 2011-09-12 | 2014-12-02 | 2343127 Ontario Inc. | Efficient system and method for body part detection and tracking |
JP6094903B2 (ja) * | 2012-04-18 | 2017-03-15 | パナソニックIpマネジメント株式会社 | 受信装置及び受信側画像処理方法 |
-
2015
- 2015-05-20 US US15/304,201 patent/US20170039697A1/en not_active Abandoned
- 2015-05-20 WO PCT/JP2015/064452 patent/WO2015186518A1/ja active Application Filing
- 2015-05-20 JP JP2016525759A patent/JP6253773B2/ja active Active
- 2015-05-20 CN CN201580022502.7A patent/CN106255993B/zh active Active
- 2015-05-20 DE DE112015002681.9T patent/DE112015002681B4/de active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009032033A (ja) * | 2007-07-27 | 2009-02-12 | Omron Corp | 動作境界検出方法および作業分析システム |
JP2010271944A (ja) * | 2009-05-21 | 2010-12-02 | Chuo Univ | 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 |
WO2012133028A1 (ja) * | 2011-03-25 | 2012-10-04 | 株式会社ニコン | 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102049428B1 (ko) * | 2018-07-02 | 2019-11-27 | 차의과학대학교 산학협력단 | 시계열 기반의 멀티 채널신호 분석 시스템 및 방법 |
CN115266536A (zh) * | 2022-09-26 | 2022-11-01 | 南通钧儒卫生用品有限公司 | 一种纸尿裤吸水性能检测方法 |
CN115266536B (zh) * | 2022-09-26 | 2022-12-13 | 南通钧儒卫生用品有限公司 | 一种纸尿裤吸水性能检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015186518A1 (ja) | 2017-04-20 |
JP6253773B2 (ja) | 2017-12-27 |
DE112015002681B4 (de) | 2022-09-29 |
CN106255993B (zh) | 2019-07-26 |
CN106255993A (zh) | 2016-12-21 |
DE112015002681T5 (de) | 2017-05-18 |
US20170039697A1 (en) | 2017-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6253773B2 (ja) | 画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置 | |
US10810414B2 (en) | Movement monitoring system | |
US10055670B2 (en) | Image recognition device, image sensor, and image recognition method using feature | |
US10482613B2 (en) | Movement monitoring system | |
US7756293B2 (en) | Movement capture and analysis apparatus and method | |
RU2009102124A (ru) | Устройство обработки видеоинформации системы охранной сигнализации | |
US20190108392A1 (en) | Method and system for tracking workers at worksites | |
JP6325401B2 (ja) | 情報処理装置、画像変更方法及びプログラム | |
JP2019160001A5 (ja) | ||
JP7234787B2 (ja) | 作業分析装置、作業分析方法およびプログラム | |
US20140355828A1 (en) | Setting apparatus, setting method, and storage medium | |
KR101373415B1 (ko) | 이파리 영상 자동인식을 이용한 식물 분류 방법 및 시스템 | |
US9436996B2 (en) | Recording medium storing image processing program and image processing apparatus | |
JP2017156978A (ja) | 作業動作認識システム | |
JP2009032033A (ja) | 動作境界検出方法および作業分析システム | |
CN113505770B (zh) | 快递行业衣着发饰异常检测方法及系统、电子设备 | |
JP2011039872A (ja) | 物品計数装置及び物品計数方法 | |
JP2015215709A (ja) | 機器データ処理装置及び機器データ処理方法 | |
JP2019149119A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN105095838A (zh) | 一种目标检测方法及装置 | |
JP2014186497A (ja) | 画像解析装置、画像解析方法および画像解析プログラム | |
WO2018074243A1 (ja) | 生産管理システム及び生産管理方法 | |
Carruthers-Watt et al. | A vision based system for strip tracking measurement in the finishing train of a hot strip mill | |
JP2018186418A5 (ja) | ||
KR101830331B1 (ko) | 기계 이상 동작 검출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15802879 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016525759 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15304201 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112015002681 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15802879 Country of ref document: EP Kind code of ref document: A1 |