TWI841753B - 影像辨識方法及影像辨識裝置 - Google Patents

影像辨識方法及影像辨識裝置 Download PDF

Info

Publication number
TWI841753B
TWI841753B TW109122702A TW109122702A TWI841753B TW I841753 B TWI841753 B TW I841753B TW 109122702 A TW109122702 A TW 109122702A TW 109122702 A TW109122702 A TW 109122702A TW I841753 B TWI841753 B TW I841753B
Authority
TW
Taiwan
Prior art keywords
image
restored
input
features
input image
Prior art date
Application number
TW109122702A
Other languages
English (en)
Other versions
TW202103057A (zh
Inventor
山上盛司
大島宗訓
Original Assignee
日商村田機械股份有限公司（村田機械株式会社）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商村田機械股份有限公司（村田機械株式会社） filed Critical 日商村田機械股份有限公司（村田機械株式会社）
Publication of TW202103057A publication Critical patent/TW202103057A/zh
Application granted granted Critical
Publication of TWI841753B publication Critical patent/TWI841753B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明之影像辨識方法係辨識特定影像之方法，其包含有：第1步驟，其自特定影像檢測出複數個影像特徵，並將所檢測出之複數個該影像特徵之各者作為組成部分而儲存於記憶體；第2步驟，其自輸入影像檢測出複數個影像特徵，並自記憶體選出與所檢測出之複數個該影像特徵之各者對應的組成部分；第3步驟，其使用在第2步驟所選出之複數個組成部分，來生成復原影像；及第4步驟，其藉由匹配處理判定第3步驟所生成之復原影像是否與輸入影像一致，並於判定為復原影像與輸入影像一致之情形時，辨識為輸入影像係特定影像。

Description

影像辨識方法及影像辨識裝置
本發明一態樣係關於影像辨識方法及影像辨識裝置。
作為關於辨識特定影像之影像辨識方法之技術，已知有例如專利文獻1所記載之資訊處理裝置。專利文獻1所記載之資訊處理裝置自所輸入之影像提取部分影像。將所提取之部分影像與已登錄之部分影像進行比較，而判定是否相似。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利第5082512號公報
(發明所欲解決之問題)
於如上述之技術中，由於根據是否包含特定影像之各影像特徵來進行影像辨識，因此即便為藉由人之目視可容易地判斷為與特定影像不同之影像，但只要包含多個相同的影像特徵，即存在有會將其誤辨識為特定影像之可能性。
本發明一態樣之目的，在於提供可以較高準確度來辨識特定影像之影像辨識方法及影像辨識裝置。 (解決問題之技術手段)
本發明一態樣之影像辨識方法係辨識特定影像之方法，其包含有：第1步驟，其自特定影像檢測出複數個影像特徵，並將所檢測出之複數個該影像特徵之各者作為組成部分而儲存於記憶體；第2步驟，其自輸入影像檢測出複數個影像特徵，並自記憶體選出與所檢測出之複數個該影像特徵之各者對應的組成部分；第3步驟，其使用在第2步驟所選出之複數個組成部分，來生成復原影像；及第4步驟，其藉由匹配處理來判定在第3步驟所生成之復原影像是否與輸入影像一致，並於判定為復原影像與輸入影像一致之情形時，辨識為輸入影像係特定影像。
於該影像辨識方法中，當生成復原影像時，使用自特定影像所檢測出之組成部分。因此，於特定影像以外之影像作為輸入影像而被輸入之情形時，無法將輸入影像正確地生成為復原影像。因此，藉由判定輸入影像與復原影像是否一致，可以較高之準確度來判定輸入影像與特定影像一致或不一致(輸入影像是否為特定影像或其以外者)。亦即，可以較高之準確度來辨識特定影像。
於本發明一態樣之影像辨識方法中，亦可為於第1步驟中，將組成部分標籤作為標籤而賦予複數個組成部分之各者，並將組成部分標籤與組成部分一起儲存於記憶體，於第2步驟中，將選出用標籤作為標籤而賦予複數個影像特徵之各者，並選出與選出用標籤一致之組成部分標籤之組成部分。藉此，可效率佳地執行復原影像之生成處理。
於本發明一態樣之影像辨識方法中，亦可為第2步驟包含自作為距離影像之拍攝影像裁切輸入影像之影像裁切步驟，於影像裁切步驟中，將拍攝影像中深度距離在既定範圍內之點群設為目標物，將拍攝影像中該目標物之影像作為輸入影像而加以裁切。藉此，可自拍攝影像生成輸入影像。
於本發明一態樣之影像辨識方法中，亦可為於第2步驟中，檢測複數個影像特徵之各者的特徵強度，於第3步驟中，進一步使用在第2步驟所檢測出之複數個特徵強度，來生成復原影像。藉此，可高精度地生成復原影像。
於本發明一態樣之影像辨識方法中，亦可為特定影像係沿著預先所規定之移行路徑移行之移行車之車體之至少一部分的影像。於該情形時，可將本發明一態樣之影像辨識方法應用於移行車之車體之影像辨識。
本發明一態樣之影像辨識裝置係辨識特定影像之裝置，其具備有：記憶體，其將自特定影像所檢測出之複數個影像特徵之各者作為組成部分而預先加以儲存；特徵檢測部，其自輸入影像檢測出複數個影像特徵；復原部，其自記憶體選出與特徵檢測部所檢測出之複數個該影像特徵之各者對應的組成部分，並使用所選出之複數個組成部分來生成復原影像；及判定部，其藉由匹配處理來判定復原部所生成之復原影像是否與輸入影像一致，並於判定為復原影像與輸入影像一致之情形時，辨識為輸入影像係特定影像。
於該影像辨識裝置中，當生成復原影像時，使用自特定影像所檢測出之組成部分。因此，於特定影像以外之影像作為輸入影像而被輸入之情形時，無法將輸入影像正確地生成為復原影像。因此，藉由判定輸入影像與復原影像是否一致，可以較高之準確度來判定輸入影像與特定影像一致或不一致(輸入影像是否為特定影像或其以外者)。亦即，可以較高之準確度來辨識特定影像。
於本發明一態樣之影像辨識裝置中，亦可為記憶體可將被賦予複數個組成部分之各者之標籤，作為組成部分標籤而與組成部分一起預先加以儲存，特徵檢測部對複數個影像特徵之各者作為標籤而賦予選出用標籤，復原部選出與選出用標籤一致之組成部分標籤之組成部分。藉此，可效率佳地執行復原影像之生成處理。
本發明一態樣之影像辨識裝置亦可具備有自作為距離影像之拍攝影像裁切輸入影像之影像裁切部，影像裁切部將拍攝影像中深度距離在既定範圍內之點群設為目標物，將拍攝影像中該目標物之影像作為輸入影像而加以裁切。藉此，可自拍攝影像生成輸入影像。
於本發明一態樣之影像辨識裝置中，亦可為特徵檢測部檢測複數個影像特徵之各者的特徵強度，復原部進一步使用特徵檢測部所檢測出之複數個特徵強度，來生成復原影像。藉此，可高精度地生成復原影像。
於本發明一態樣之影像辨識裝置中，亦可為特定影像係沿著預先所規定之移行路徑移行之移行車之車體之至少一部分的影像。於該情形時，可將本發明一態樣之影像辨識裝置應用於移行車之車體之影像辨識。 (對照先前技術之功效)
根據本發明一態樣，可提供可以較高之準確度來辨識特定影像之影像辨識方法及影像辨識裝置。
以下，參照圖式，對一實施形態詳細地進行說明。於以下之說明中，對相同或相當之元件標示相同符號，並省略重複的說明。
本實施形態之影像辨識裝置可適用於移行車系統。因此，首先對移行車系統進行說明。如圖1所示，移行車系統1係使用可沿著軌道4移動之移行車6，於載置部9、9間搬送物品10之系統。物品10例如包含有如收納複數個半導體晶圓之FOUP(前開式晶圓盒；Front Opening Unified Pod)及收納玻璃基板之光罩傳送盒等之容器、以及一般零件等。移行車系統1具備有軌道4、複數個移行車6、複數個載置部9、及系統控制部60。
如圖2所示，軌道4例如被鋪設於工廠等中作業人員之頭上空間即天花板附近。軌道4例如被懸掛於天花板。軌道4係用以供移行車6移行之預先所規定之移行路徑。軌道4例如為單向通行之移行路徑。軌道4由支柱40、40所支撐。
移行車6沿著軌道4移行，而搬送物品10。移行車6被構成為可移載物品10。移行車6係高架移行式無人搬送車(高架移行車)。移行車系統1所具備之移行車6之台數並無特別限定，而為複數個。如圖2所示，移行車6具有車體2。車體2包含移行部18、本體部7、拍攝部8、及移行車控制部50(參照圖3)。
本體部7具有本體框架22、橫向伸出部24、θ驅動裝置26、升降驅動部28、升降台30、及防掉落外殼33。移行部18被構成為包含馬達等，使移行車6沿著軌道4移行。移行部18例如具有藉由非接觸饋電而自軌道4側受電之受電通信部20。
橫向伸出部24將θ驅動裝置26、升降驅動部28及升降台30總括地朝向與軌道4之移行方向呈直角之方向橫向伸出。θ驅動裝置26使升降驅動部28及升降台30中之至少任一者於水平面內在既定之角度範圍內轉動。升降驅動部28藉由線材、繩索及皮帶等之懸吊材之捲取或捲出來使升降台30升降。於升降台30設有夾頭，而可自如地進行物品10之固持或解放。防掉落外殼33例如於移行車6之移行方向之前後設有一對。防掉落外殼33使未圖示之爪等伸出收回，來防止物品10於搬送中掉落之情形。
如圖1及圖2所示，載置部9沿著軌道4被配置，且被設於可與移行車6之間進行物品10之交接的位置。載置部9包含有緩衝區及交接埠。緩衝區係暫時性地供物品10載置之載置部。緩衝區例如係因在目的地之交接埠載置有其他物品10等而無法將移行車6所搬送之物品10移載至該交接埠之情形時，供物品10暫時放置之載置部。交接埠係用以進行物品10相對於例如以洗淨裝置、成膜裝置、微影裝置、蝕刻裝置、熱處理裝置、平坦化裝置為首之半導體之處理裝置之交接的載置部。例如，載置部9被配置於軌道4之側方。再者，載置部9亦可被配置於軌道4之正下方。
拍攝部8拍攝自己之移行車6之前方，來取得包含位於自己之移行車6之前方之移行車6的拍攝影像。此處之拍攝影像係距離影像。拍攝部8被配置於在移行車6之前側所設置之防掉落外殼33。拍攝部8將所拍攝之拍攝影像發送至移行車控制部50。作為拍攝部8並無特別限定，亦可採用各種公知裝置。例如拍攝部8亦可以立體視覺方式來取得距離影像。再者，距離影像亦被稱為三維距離影像、或具有三維資訊的影像。
如圖2及圖3所示，移行車控制部50係由CPU(中央處理單元；Central Processing Unit)、ROM(唯讀記憶體；Read Only Memory)及RAM(隨機存取記憶體；Random Access Memory)等所構成之電子控制單元。移行車控制部50控制移行車6之各種動作。具體而言，移行車控制部50控制移行部18、橫向伸出部24、θ驅動裝置26、升降驅動部28、及升降台30。移行車控制部50例如可構成為ROM所儲存之程式被載至RAM上而由CPU所執行之軟體。移行車控制部50亦可被構成為由電子電路等所形成之硬體(電腦)。移行車控制部50利用軌道4之通信線(饋電線)等，而與系統控制部60進行通信。
系統控制部60係由CPU、ROM及RAM等所構成之電子控制單元。系統控制部60例如可構成為ROM所儲存之程式被載至RAM上而由CPU所執行之軟體。系統控制部60亦被可構成為由電子電路等所形成之硬體(電腦)。系統控制部60發送使移行車6搬送物品10之搬送指令。本實施形態之系統控制部60構成影像辨識裝置100。以下，對影像辨識裝置100進行說明。該影像辨識裝置100亦可被裝設於移行車6。
影像辨識裝置100係對作為特定之影像的特定影像進行辨識之裝置。作為一例，特定影像係移行車6之車體2之影像。影像辨識裝置100具備有記憶體M、影像裁切部61、特徵檢測部62、復原部63、及判定部64。
記憶體M將自特定影像所檢測出(提取出)之複數個影像特徵之各者作為組成部分而預先加以儲存。作為自特定影像檢測出複數個影像特徵之方法並無特別限定，而可採用各種公知方法。例如亦可藉由將特定影像通過影像濾波器，來檢測複數個影像特徵。記憶體M將被賦予複數個組成部分之各者之標籤作為組成部分標籤，而與組成部分一起預先儲存。如後述般，組成部分作為利用復原部63所進行之影像復原之材料而發揮功能。
所謂影像特徵係構成影像之特徵者，亦被稱為影像之特徵值或特徵點。複數個組成部分之取得可利用藉由使用L2範數之深度學習而可得到之學習模型(AI；人工智慧)來進行。標籤係表示用以識別賦予對象之資訊者。作為標籤並無特別限定，而例如為編號。
影像裁切部61自拍攝影像裁切輸入影像。具體而言，影像裁切部61將拍攝影像中深度距離在既定範圍內之點群(具有相似距離之點之區塊)設為目標物(object；物體候補)。影像裁切部61將拍攝影像之該目標物的影像作為輸入影像而加以裁切。既定範圍並無特別限定，而可預先設定。自拍攝影像之輸入影像之裁切，亦可利用藉由深度學習而可得到之學習模型(AI；人工智慧)、例如YoloV3等來進行。
特徵檢測部62自輸入影像檢測出複數個影像特徵。作為自輸入影像檢測複數個影像特徵之方法並無特別限定，而可採用各種公知方法。例如，特徵檢測部62亦可藉由將輸入影像通過影像濾波器，來檢測複數個影像特徵。特徵檢測部62對複數個影像特徵之各者作為標籤而賦予選出用標籤。特徵檢測部62檢測複數個影像特徵之各者之特徵強度。特徵強度係表示該影像特徵與輸入影像相關之強度的指標。特徵強度可表示於輸入影像中影像特徵所影響之程度。
復原部63自記憶體M選出與特徵檢測部62所檢測出之複數個影像特徵之各者對應的組成部分。復原部63自記憶體M選出與特徵檢測部62所檢測出之複數個影像特徵之選出用標籤一致之組成部分標籤的組成部分。復原部63使用所選出之複數個組成部分來生成復原影像。復原部63進一步而使用特徵檢測部62所檢測出之複數個影像特徵之特徵強度來生成復原影像。作為使用複數個組成部分來生成復原影像之方法並無特別限定，而可使用各種公知方法、例如由深度類神經網路所構成之自動編碼器等。
判定部64藉由匹配處理來判定復原部63所生成之復原影像是否與輸入影像一致。判定部64於判定為復原影像與輸入影像一致之情形時，辨識為輸入影像係特定影像。作為匹配處理並無特別限定，而可使用各種公知方法、例如L2範數等。判定部64亦可算出復原影像相對於輸入影像之相似度，並於該相似度大於閾值之情形時，判定為復原影像與輸入影像一致。
其次，參照圖4，對藉由特徵檢測部62而自輸入影像檢測出複數個影像特徵之一例進行說明。
如圖4所示，於此處之說明中，為了方便上，作為輸入影像而使用「數字7」之影像。藉由特徵檢測部62，複數個影像特徵會自輸入影像I1被檢測出。於圖示之例子中，選出用標籤LS為「20」之影像特徵G1、選出用標籤LS為「27」之影像特徵G2、選出用標籤LS為「51」之影像特徵G3、及選出用標籤LS為「58」之影像特徵G4會被檢測出。而且，該等係作為影像特徵之檢測結果H而被取得。於影像特徵之檢測結果H中，影像特徵G1～G4各自之特徵強度被表示為明度(value)。如此，可自輸入影像I1機械式地檢測出複數個影像特徵G1～G4。
其次，參照圖5，對根據複數個影像特徵G1～G4並藉由復原部63來復原影像之一例進行說明。
如圖5所示，藉由復原部63，並根據影像特徵之檢測結果H，與複數個影像特徵G1～G4(參照圖4)之選出用標籤LS一致之組成部分標籤LP的組成部分P1～P4，會自記憶體M被選出。藉由復原部63，復原影像O1使用所選出之複數個組成部分P1～P4而被生成。如此，可根據複數個影像特徵G1～G4來復原復原影像O1。
其次，對藉由影像辨識裝置100所實施之影像辨識方法進行說明。
影像辨識方法係辨識特定影像之方法。如圖6所示，首先，自特定影像檢測出複數個影像特徵，並將所檢測出之複數個該影像特徵之各者作為組成部分而儲存於記憶體M(儲存步驟：步驟S1)。於儲存步驟中，對複數個組成部分之各者作為標籤而賦予組成部分標籤，並將組成部分標籤與組成部分一併地儲存於記憶體M。
接著，藉由影像裁切部61而自由拍攝部8所取得之拍攝影像裁切輸入影像(影像裁切步驟：步驟S2)。於影像裁切步驟中，將拍攝影像中深度距離在既定範圍內之點群設為目標物，將拍攝影像中該目標物之影像作為輸入影像而加以裁切。
接著，藉由特徵檢測部62，自於影像裁切步驟所裁切之輸入影像檢測出複數個影像特徵(影像特徵檢測步驟：步驟S3)。於影像特徵檢測步驟中，對複數個影像特徵之各者作為標籤而賦予選出用標籤。於影像特徵檢測步驟中，檢測複數個影像特徵之各者的特徵強度。
接著，藉由復原部63，自記憶體M選出與在影像特徵檢測步驟所檢測出之複數個影像特徵之各者對應之組成部分(組成部分選出步驟：步驟S4)。於組成部分選出步驟中，選出與選出用標籤一致之組成部分標籤之組成部分。
接著，藉由復原部63，使用在組成部分選出步驟所選出之複數個組成部分，來生成復原影像(復原步驟：步驟S5)。於復原步驟中，進一步使用在影像特徵檢測步驟所檢測出之複數個特徵強度來生成復原影像。最後，藉由判定部64，利用匹配處理來判定在復原步驟所生成之復原影像是否與輸入影像一致(判定步驟：步驟S6)。於判定步驟中，在判定為復原影像與輸入影像一致之情形時，辨識為輸入影像係特定影像。
於上述中，儲存步驟構成第1步驟，影像裁切步驟、影像特徵檢測步驟及組成部分選出步驟構成第2步驟，復原步驟構成第3步驟，而判定步驟構成第4步驟。
其次，對藉由上述之影像辨識方法來辨識特定影像之情形時之一例進行說明。以下，例示將移行車6之車體2辨識為特定影像之情形。
如圖7(a)所示，藉由拍攝部8，取得包含位於自己之移行車6之前方之移行車6的拍攝影像K1。如圖7(b)所示，藉由影像裁切部61，算出拍攝影像K1之深度距離資料K2，並將該深度距離在既定範圍內之點群設為目標物OB。如圖7(a)及圖8(a)所示，將拍攝影像K1中該目標物OB之影像作為輸入影像I2而加以裁切。
如圖8(b)所示，藉由特徵檢測部62而自輸入影像I2檢測出複數個影像特徵，並藉由復原部63來生成復原影像O2。藉由判定部64，利用匹配處理來判定復原影像O2是否與輸入影像I2一致。於圖8(a)及圖8(b)所示之例子中，判定為復原影像O2與輸入影像I2一致(相似度在閾值以上)，而辨識為輸入影像I2係特定影像(移行車6之車體2之影像)。
另一方面，如圖9(a)所示，於移行車6之車體2以外之影像(例如，使用者之身體等的影像)作為輸入影像I3而被輸入之情形時，如圖9(b)所示，由復原部63所生成之復原影像O3並非會復原輸入影像I3者，而具有明顯之影像之變形及模糊。因此於該例子中，判定為復原影像O3與輸入影像I3不一致(相似度未滿閾值)，而不辨識為輸入影像I3係特定影像(移行車6之車體2的影像)。
圖10(a)至圖10(j)係說明特徵檢測部62及復原部63對雜訊之強健性的各個圖。根據影像辨識裝置100及其影像辨識方法，可藉由特徵檢測部62而自輸入影像I4(參照圖10(a))檢測出複數個影像特徵，並藉由復原部63來生成復原影像O4(參照圖10(b))。可藉由特徵檢測部62而自輸入影像I5(參照圖10(c))檢測出複數個影像特徵，並藉由復原部63來生成復原影像O5(參照圖10(d))。可藉由特徵檢測部62而自輸入影像I6(參照圖10(e))檢測出複數個影像特徵，並藉由復原部63來生成復原影像O6(參照圖10(f))。可藉由特徵檢測部62而自輸入影像I7(參照圖10(g))檢測出複數個影像特徵，並藉由復原部63生成復原影像O7(參照圖10(h))。可藉由特徵檢測部62而自輸入影像I8(圖10(i)參照)檢測出複數個影像特徵，並藉由復原部63來生成復原影像O8(參照圖10(j))。根據該等結果可確認：若藉由影像辨識裝置100及其影像辨識方法，則即便輸入影像I4～I8有雜訊，亦具有可捕捉特徵之能力，而可高精度地生成復原影像O4～O8。
以上，於影像辨識裝置100及其影像辨識方法中，當生成復原影像時，使用自特定影像所檢測出之組成部分。因此，可藉由以下(i)、(ii)及(iii)所示的形態來進行影像之復原。 (i)於特定影像為輸入影像之情形時，輸入影像可高精度地被復原為復原影像。 (ii)於特定影像以外之輸入影像被輸入之情形時，輸入影像與復原影像不一致。 (iii)尤其，於具有特定影像之影像特徵但並非特定影像之不正確影像被輸入為輸入影像之情形時，輸入影像與復原影像不一致，特定影像被復原為復原影像。
因此，根據影像辨識裝置100及其影像辨識方法，藉由判定輸入影像I1～I8與復原影像O1～O8是否一致，可以較高之準確度來判定輸入影像I1～I8與特定影像一致或不一致(輸入影像I1～I8為特定影像或其以外者)。亦即，可以較高之準確度來辨識特定影像。若輸入影像I1～I8只要滿足特定影像之影像特徵便判定為特定影像，則於上述(iii)之情形時會發生誤辨識，但影像辨識裝置100及其影像辨識方法可避免如此之誤辨識。
於影像辨識裝置100及其影像辨識方法中，對複數個組成部分P1～P4之各者作為標籤而賦予組成部分標籤LP，並將組成部分標籤LP與組成部分P1～P4一起儲存於記憶體M。對複數個影像特徵G1～G4之各者作為標籤而賦予選出用標籤LS，並選出與選出用標籤LS一致之組成部分標籤LP的組成部分P1～P4。藉此，可效率佳地執行復原影像O1～O8之生成處理。
於影像辨識裝置100及其影像辨識方法中，自作為距離影像之拍攝影像K1裁切輸入影像I2。具體而言，將拍攝影像K1中深度距離在既定範圍內之點群設為目標物OB，將拍攝影像K1中該目標物OB之影像作為輸入影像I2而加以裁切。藉此，可自拍攝影像K1生成輸入影像I2。
於影像辨識裝置100及其影像辨識方法中，檢測複數個影像特徵G1～G4之各者之特徵強度，並進一步使用所檢測出之複數個特徵強度來生成復原影像O1～O8。藉此，可高精度地生成復原影像O1～O8。
於影像辨識裝置100及其影像辨識方法中，特定影像係移行車6之車體2之影像。於該情形時，可將影像辨識裝置100及其影像辨識方法應用於移行車6之車體2之影像辨識。再者，特定影像既可為移行車6之車體2之整體，亦可為移行車6之車體2之至少一部分的影像。
以上，雖已對一實施形態進行說明，但本發明一態樣並非被限定於上述實施形態者，而可於不脫離發明主旨之範圍內進行各種變更。
於上述實施形態中，雖已例示將影像辨識裝置100應用於移行車系統1，來辨識移行車6之車體2之情形，但既可將影像辨識裝置100應用於其他各種裝置或系統，亦可將各種對象物之影像設為特定影像。例如，可將影像辨識裝置100應用於自動紗線捲繞裝置，並將所捲取之捲裝(package)之影像設為特定影像。例如，亦可藉由將影像辨識裝置100應用於車床，並將加工產品之合格品之影像設為特定影像，來利用於加工產品之合格與否的判斷。例如，亦可將影像辨識裝置100利用於自藉由掃描器所讀取之影像之特定影像之區域的裁切。
於上述實施形態中，雖自作為距離影像之拍攝影像裁切輸入影像，但亦可不需如此之影像裁切步驟及影像裁切部61。作為拍攝部8，例如亦可使用一般之單眼相機。輸入影像既可為距離影像，亦可為二維影像。
於上述實施形態及變形例之移行車系統1中，雖已舉高架移行車作為移行車6之一例而進行說明，但於移行車6之其他例子中包含有在被配設於地面或基座之軌道上移行之無人移行車及堆高式起重機等。
1:移行車系統 2:車體 4:軌道(移行路徑) 6:移行車 7:本體部 8:拍攝部 9:載置部 10:物品 18:移行部 20:受電通信部 22:本體框架 24:橫向伸出部 26:θ驅動裝置 28:升降驅動部 30:升降台 33:防掉落外殼 40:支柱 50:移行車控制部 60:系統控制部 61:影像裁切部 62:特徵檢測部 63:復原部 64:判定部 100:影像辨識裝置 G1～G4:影像特徵 H:檢測結果 I1～I8:輸入影像 K1:拍攝影像 K2:深度距離資料 LS:選出用標籤 LP:組成部分標籤 M:記憶體 O1～O8:復原影像 OB:目標物 P1～P4:組成部分
圖1係表示應用一實施形態之影像辨識裝置之移行車系統的概略俯視圖。 圖2係自移行方向觀察圖1之移行車的前視概略圖。 圖3係表示圖1之移行車系統之功能構成的方塊圖。 圖4係對藉由圖3之影像辨識裝置之特徵檢測部而自輸入影像檢測出複數個影像特徵之一例進行說明的圖。 圖5係對藉由圖3之影像辨識裝置之復原部來生成復原影像之一例進行說明的圖。 圖6係表示一實施形態之影像辨識方法之流程圖。 圖7(a)係表示拍攝影像之一例的圖。圖7(b)係表示深度距離資料之一例的圖。 圖8(a)係表示輸入影像之一例的圖。圖8(b)係表示自圖8(a)之輸入影像所復原之復原影像的圖。 圖9(a)係表示輸入影像之一例的圖。圖9(b)係表示自圖9(a)之輸入影像所復原之復原影像的圖。 圖10(a)係表示輸入影像之一例的圖。圖10(b)係表示自圖10(a)之輸入影像所復原之復原影像的圖。圖10(c)係表示輸入影像之一例的圖。圖10(d)係表示自圖10(c)之輸入影像所復原之復原影像的圖。圖10(e)係表示輸入影像之一例的圖。圖10(f)係表示自圖10(e)之輸入影像所復原之復原影像的圖。圖10(g)係表示輸入影像之一例的圖。圖10(h)係表示自圖10(g)之輸入影像所復原之復原影像的圖。圖10(i)係表示輸入影像之一例的圖。圖10(j)係表示自圖10(i)之輸入影像所復原之復原影像的圖。
H:檢測結果
LP:組成部分標籤
P1~P4:組成部分
O1:復原影像

Claims (16)

  1. 一種影像辨識方法，係辨識特定影像之方法，其包含有：第1步驟，其自上述特定影像檢測出複數個影像特徵，並將所檢測出之複數個該影像特徵之各者作為組成部分而儲存於記憶體；第2步驟，其自輸入影像檢測出複數個影像特徵，並自上述記憶體選出與所檢測出之複數個該影像特徵之各者對應的上述組成部分；第3步驟，其使用在上述第2步驟所選出之複數個上述組成部分，來生成復原影像；及第4步驟，其藉由匹配處理來判定在上述第3步驟所生成之上述復原影像是否與上述輸入影像一致，並於判定為上述復原影像與上述輸入影像一致之情形時，辨識為上述輸入影像係上述特定影像。
  2. 如請求項1之影像辨識方法，其中，於上述第1步驟中，將組成部分標籤作為標籤而賦予複數個上述組成部分之各者，並將上述組成部分標籤與上述組成部分一起儲存於上述記憶體，於上述第2步驟中，將選出用標籤作為標籤而賦予複數個上述影像特徵之各者，並選出與上述選出用標籤一致之上述組成部分標籤之上述組成部分。
  3. 如請求項1之影像辨識方法，其中，上述第2步驟包含自作為距離影像之拍攝影像裁切輸入影像之影像裁切步驟， 於上述影像裁切步驟中，將上述拍攝影像中深度距離在既定範圍內之點群設為目標物，將上述拍攝影像中該目標物之影像作為上述輸入影像而加以裁切。
  4. 如請求項1之影像辨識方法，其中，於上述第2步驟中，檢測複數個上述影像特徵之各者的特徵強度，於上述第3步驟中，進一步使用在上述第2步驟所檢測出之複數個上述特徵強度，來生成上述復原影像。
  5. 如請求項1之影像辨識方法，其中，上述特定影像係沿著預先所規定之移行路徑移行之移行車之車體之至少一部分的影像。
  6. 如請求項1之影像辨識方法，其中，於上述第1步驟中，從上述特定影像藉由將上述特定影像通過影像濾波器，來檢測上述所檢測出之影像特徵。
  7. 如請求項1之影像辨識方法，其中，於上述第2步驟中，從上述輸入影像藉由將上述輸入影像通過影像濾波器，來檢測上述複數個影像特徵。
  8. 如請求項1之影像辨識方法，其中，上述第4步驟之上述匹配處理包含：算出上述復原影像相對於上述輸入影像之相似度，並於該相似度大於或等於閾值之情形時，判定為上述復原影像與上述輸入影像一致。
  9. 一種影像辨識裝置，係辨識特定影像之裝置，其具備有： 記憶體，其將自上述特定影像所檢測出之複數個影像特徵之各者作為組成部分而預先加以儲存；特徵檢測部，其自輸入影像檢測出複數個影像特徵；復原部，其自上述記憶體選出與上述特徵檢測部所檢測出之複數個該影像特徵之各者對應的上述組成部分，並使用所選出之複數個上述組成部分來生成復原影像；及判定部，其藉由匹配處理來判定在上述復原部所生成之上述復原影像是否與上述輸入影像一致，並於判定為上述復原影像與上述輸入影像一致之情形時，辨識為上述輸入影像係上述特定影像。
  10. 如請求項9之影像辨識裝置，其中，上述記憶體將被賦予複數個上述組成部分之各者之標籤，作為組成部分標籤而與上述組成部分一起預先加以儲存，上述特徵檢測部對複數個上述影像特徵之各者作為標籤而賦予選出用標籤，上述復原部選出與上述選出用標籤一致之上述組成部分標籤之上述組成部分。
  11. 如請求項9之影像辨識裝置，其中，其具備有自作為距離影像之拍攝影像裁切上述輸入影像之影像裁切部，上述影像裁切部將上述拍攝影像中深度距離在既定範圍內之點群設為目標物，將上述拍攝影像中該目標物之影像作為上述輸入影像而加以裁切。
  12. 如請求項9之影像辨識裝置，其中， 上述特徵檢測部檢測複數個上述影像特徵之各者的特徵強度，上述復原部進一步使用在上述特徵檢測部所檢測出之複數個上述特徵強度，來生成上述復原影像。
  13. 如請求項9之影像辨識裝置，其中，上述特定影像係沿著預先所規定之移行路徑移行之移行車之車體之至少一部分的影像。
  14. 如請求項9之影像辨識裝置，其中，更進一步具備有影像濾波器，該影像濾波器係從上述特定影像來檢測複數個影像特徵。
  15. 如請求項9之影像辨識裝置，其中，上述特徵檢測部包含影像濾波器，該影像濾波器係從上述輸入影像來檢測上述複數個影像特徵。
  16. 如請求項9之影像辨識裝置，其中，上述判定部之上述匹配處理包含：算出上述復原影像相對於上述輸入影像之相似度，並於該相似度大於或等於閾值之情形時，判定為上述復原影像與上述輸入影像一致。
TW109122702A 2019-07-12 2020-07-06 影像辨識方法及影像辨識裝置 TWI841753B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-130264 2019-07-12
JP2019130264 2019-07-12

Publications (2)

Publication Number Publication Date
TW202103057A TW202103057A (zh) 2021-01-16
TWI841753B true TWI841753B (zh) 2024-05-11

Family

ID=74210390

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109122702A TWI841753B (zh) 2019-07-12 2020-07-06 影像辨識方法及影像辨識裝置

Country Status (8)

Country Link
US (1) US11893718B2 (zh)
EP (1) EP3961558A4 (zh)
JP (1) JP7173344B2 (zh)
KR (1) KR20220031676A (zh)
CN (1) CN113728356B (zh)
IL (1) IL289320B2 (zh)
TW (1) TWI841753B (zh)
WO (1) WO2021009986A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI521448B (zh) * 2014-03-18 2016-02-11 Univ Yuan Ze Vehicle identification system and method
TW201618023A (zh) * 2014-11-06 2016-05-16 Charles Chan 雲端智慧交通資訊方法
US20180349741A1 (en) * 2017-05-31 2018-12-06 Fujitsu Limited Computer-readable recording medium, learning method, and object detection device
WO2019003953A1 (ja) * 2017-06-29 2019-01-03 ソニー株式会社 画像処理装置および画像処理方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
US20190095467A1 (en) * 2017-09-22 2019-03-28 Pinterest, Inc. Textual and image based search
JP2019087181A (ja) * 2017-11-10 2019-06-06 アズビル株式会社 画像検査装置および方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5082512B2 (ja) 2007-03-08 2012-11-28 富士ゼロックス株式会社 情報処理装置、画像処理装置、画像符号化装置、情報処理プログラム、画像処理プログラム及び画像符号化プログラム
JP6176388B2 (ja) * 2014-03-14 2017-08-09 オムロン株式会社 画像識別装置、画像センサ、画像識別方法
JP6429823B2 (ja) 2016-03-31 2018-11-28 セコム株式会社 特徴量抽出装置
EP3503038A1 (en) * 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI521448B (zh) * 2014-03-18 2016-02-11 Univ Yuan Ze Vehicle identification system and method
TW201618023A (zh) * 2014-11-06 2016-05-16 Charles Chan 雲端智慧交通資訊方法
US20180349741A1 (en) * 2017-05-31 2018-12-06 Fujitsu Limited Computer-readable recording medium, learning method, and object detection device
WO2019003953A1 (ja) * 2017-06-29 2019-01-03 ソニー株式会社 画像処理装置および画像処理方法
US20190095467A1 (en) * 2017-09-22 2019-03-28 Pinterest, Inc. Textual and image based search
JP2019087181A (ja) * 2017-11-10 2019-06-06 アズビル株式会社 画像検査装置および方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法

Also Published As

Publication number Publication date
IL289320A (en) 2022-02-01
JP7173344B2 (ja) 2022-11-16
CN113728356B (zh) 2024-08-23
EP3961558A1 (en) 2022-03-02
US20220253994A1 (en) 2022-08-11
JPWO2021009986A1 (zh) 2021-01-21
CN113728356A (zh) 2021-11-30
KR20220031676A (ko) 2022-03-11
WO2021009986A1 (ja) 2021-01-21
US11893718B2 (en) 2024-02-06
IL289320B1 (en) 2024-05-01
EP3961558A4 (en) 2023-01-11
IL289320B2 (en) 2024-09-01
TW202103057A (zh) 2021-01-16

Similar Documents

Publication Publication Date Title
JP4226623B2 (ja) ワーク取り出し装置
WO2021249568A1 (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
US7123992B2 (en) Article pickup device
CN106573381B (zh) 卡车卸载机可视化
US10512941B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
EP3512785B1 (en) Integrated obstacle detection and payload centering sensor system
CN109127445B (zh) 条码读取方法及条码读取系统
US11964399B2 (en) Target object recognition device, manipulator, and mobile robot
US20220016764A1 (en) Object grasping system
US20190042847A1 (en) Instruction projecting device, package sorting system and instruction projecting method
JP2009155056A (ja) 画像処理装置、荷物搬送設備、及びプログラム
JP6730061B2 (ja) 配達支援装置、配達支援システム、及び配達支援プログラム
TWI841753B (zh) 影像辨識方法及影像辨識裝置
JP6041710B2 (ja) 画像認識方法
JP7310889B2 (ja) 走行車、走行車システム及び走行車検出方法
JP7218521B2 (ja) ピッキングシステム
JP7436170B2 (ja) ロボットシステム
CN115003613A (zh) 用于分离计件货物的设备和方法
TWI856134B (zh) 移行車、移行車系統及移行車檢測方法
KR102134717B1 (ko) 물류이송 시스템
CN116109583A (zh) 异常检测方法、装置、电子设备及可读存储介质
US20190108377A1 (en) Projection instruction device, parcel sorting system, and projection instruction method