TWI724655B - 資訊處理裝置、資訊處理方法、資訊處理程式、藉由深度學習而學習之學習方法及安裝有學習完成模型之資訊處理裝置 - Google Patents
資訊處理裝置、資訊處理方法、資訊處理程式、藉由深度學習而學習之學習方法及安裝有學習完成模型之資訊處理裝置 Download PDFInfo
- Publication number
- TWI724655B TWI724655B TW108143219A TW108143219A TWI724655B TW I724655 B TWI724655 B TW I724655B TW 108143219 A TW108143219 A TW 108143219A TW 108143219 A TW108143219 A TW 108143219A TW I724655 B TWI724655 B TW I724655B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- inspection
- learning
- information processing
- restored
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本發明之課題在於,當進行為了檢測具有缺陷之檢查對象物之機械學習時,需要使用多個檢查對象物之圖像作為學習用資料。
本發明之解決手段為一種資訊處理裝置,該資訊處理裝置具備圖像還原部、判定部及輸出部。圖像還原部係自檢查圖像的一部分被隱藏之圖像資料Ih中生成將隱藏之一部分還原之還原圖像Ir,該檢查圖像係經拍攝不確定有無缺陷之檢查對象物而取得者。判定部係藉由將還原圖像Ir與檢查圖像加以比較,而判定有無缺陷。輸出部輸出判定結果。此外,圖像還原部係以能自複數個學習圖像之各一部分圖像被隱藏的圖像資料中生成將隱藏之一部分還原之還原圖像Ir之方式,藉由深度學習而完成學習,該等複數個學習圖像係經拍攝無缺陷之檢查對象物而取得者。其結果,可使用能容易取得多個之無缺陷之檢查對象物的圖像作為學習用資料,而進行為了檢測具有缺陷之檢查對象物之機械學習。
Description
本發明係關於一種可使用無缺陷之正常檢查對象物的圖像資料進行學習以檢測具有缺陷之異常之檢查對象物的資訊處理裝置、資訊處理方法、及資訊處理程式、暨於該學習時進行之學習方法及學習完成模型。
習知,已知一種使用圖像處理來檢測具有缺陷之異常之檢查對象物的技術。尤其是,近年來持續進行應用機械學習之技術的導入。例如,專利文獻1記載有使用機械學習之缺陷檢測技術。
專利文獻1:日本專利特開2018-81629號公報
專利文獻1揭示一種判定系統301,其可使用機械學習來判定有無含於對象物之圖像內之傷痕部Df1。判定系統301具備判定裝置101、儲存裝置131及學習裝置151。並且,於儲存在儲存裝置131之複數個圖像中選擇500張不良品圖像Sng及500張良品圖像Sg,且將其等圖像一張一張地分割為63個部分圖像,其中,不良品圖像Sng係包含傷痕部Df1之對象物之圖像,良品圖像Sg係不包含傷痕部Df1之對象物之圖像。此外,於部分圖像內含有傷痕部Df1之情況下,對於傷痕部Df1而描繪出軌跡Tr1,並進行與軌跡Tr1之有無相關之標示。其次,學習裝置151使用該複數個部分圖像及標示進行機械學習。然後,將完成了機械學習之模型導入判定裝置101。當圖像資料被輸入該模型時,則判定是否於該圖像資料內含有傷痕部Df1,且輸出判定結果。
然而,於進行用以檢測具有缺陷之異常的檢查對象物之機械學習之情況下,需要使用至少數千~數百萬張左右之多個檢查對象物之圖像作為學習用資料。另一方面,於工業產品之製造過程中,缺陷並非頻繁產生,並且實際上也難以取得數千~數百萬張左右之具有缺陷之檢查對象物之圖像。此外,缺陷之種類及狀態包含未知之部分而為多種多樣,取得含全部之種類及狀態之缺陷的圖像則更難。
本發明係鑑於此情形而完成者,其目的在於提供一種藉由使用可容易取得多個無缺陷之正常之檢查對象物之圖像來進行機械學習,而可檢測具有缺陷之異常之檢查對象物之技術。
為了解決上述課題,本案之第一發明係使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物之資訊處理裝置;其具備:圖像還原部,其自檢查圖像之一部分被隱藏之圖像資料中生成將上述隱藏之一部分還原之還原圖像,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;判定部,其藉由將上述還原圖像與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常;及輸出部,其輸出上述判定部之判定結果;上述圖像還原部係以能自複數個學習圖像各者之一部分被隱藏的圖像資料中高精度地生成將上述隱藏之一部分還原之還原圖像之方式,藉由深度學習而完成學習,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
本案之第二發明係使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物之資訊處理方法;其具有以下之步驟:a)藉由深度學習而學習自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將上述隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者;b)藉由將還原圖像與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常,該還原圖像係使用經在上述步驟a)中學習後之處理而自檢查圖像之一部分被隱藏之圖像資料中還原者,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;及c)輸出上述步驟b)之判定結果。
本案之第三發明係使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物之資訊處理程式;其使電腦執行以
下之處理:a)圖像還原處理,其自檢查圖像之一部分被隱藏之圖像資料中生成將上述隱藏之一部分還原之還原圖像,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;b)判定處理,其藉由將上述還原圖像與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常;及c)輸出處理,其輸出上述判定處理之判定結果;上述圖像還原處理係以能自複數個學習圖像各者之一部分圖像被隱藏的圖像資料中高精度地生成將上述隱藏之一部分還原之還原圖像之方式,藉由深度學習而完成學習,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
本案之第四發明係一種學習方法,其為了檢測具有缺陷之異常之檢查對象物,藉由深度學習而學習自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將上述隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
本案之第五發明係一種學習完成模型,其為了檢測具有缺陷之異常之檢查對象物,藉由深度學習而學習了自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將上述隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
根據本案之第一發明~第五發明,藉由使用能容易取得多個之無缺陷之正常檢查對象物的圖像來進行機械學習,而可檢測具有缺陷之異常之檢查對象物。藉此,可高精度地檢測出檢查對象物中之包含未知
部分之多種多樣之缺陷。
1:錠劑印刷裝置
9:錠劑
10:料斗
11:開口部
12:傾斜面
20:進料部
21:直線進料器
22:旋轉進料器
23:供給進料器
30:搬送鼓輪
31:保持部
32:吸附孔
33:第一狀態檢測照相機
40:第一印刷部
41:第一搬送傳輸帶
42:第二狀態檢測照相機
43:第一印刷頭單元
44:第一檢查照相機
45:第一定印部
50:第二印刷部
51:第二搬送傳輸帶
52:第三狀態檢測照相機
53:第二印刷頭單元
54:第二檢查照相機
55:第二定印部
56:缺陷品回收部
60:搬出傳輸帶
70:控制部
71:角度辨識部
72:印刷頭控制部
90:分割線
100:框體
200:資訊處理裝置
201:圖像還原部
202:判定部
203:輸出部
211:振動槽
221:旋轉台
231:筒狀部
411:第一皮帶輪
412:第一搬送帶
413:保持部
414:吸附孔
430:噴嘴
431:第一印刷頭
511:第二皮帶輪
512:第二搬送帶
531:第二印刷頭
561:回收箱
701:處理器
702:記憶體
703:記憶裝置
704:接收部
705:傳送部
721:第一記憶部
D:資料
D1:印刷圖像資料
De:缺陷
Dr:判定結果
Io:學習圖像
Ih、Ih1~Ih16:圖像資料
Ii:檢查圖像
Ip:攝影圖像
Ir、Ir1~Ir16:還原圖像
M:記憶媒體
P:電腦程式
S1~S16:區塊
X:學習模型
Y:學習模型
圖1為顯示錠劑印刷裝置之構成之圖。
圖2為搬送鼓輪附近之立體圖。
圖3為印刷頭之仰視圖。
圖4為檢查照相機附近之立體圖。
圖5為顯示控制部與錠劑印刷裝置內之各部分之連接的方塊圖。
圖6為概念性地顯示錠劑印刷裝置內之控制部之一部分功能的方塊圖。
圖7為顯示經拍攝正常之錠劑而取得之學習圖像之例子的圖。
圖8為顯示自學習圖像中之一部分被隱藏之圖像資料生成還原圖像之狀況之概要圖,該學習圖像係經拍攝正常之錠劑而取得。
圖9為顯示自檢查圖像中之一部分被隱藏之圖像資料生成還原圖像之狀況之概要圖,該檢查圖像係經拍攝不確定是正常還是異常之錠劑而取得。
圖10為顯示自檢查圖像中之一部分被隱藏之圖像資料生成還原圖像之狀況之概要圖,該檢查圖像係經拍攝不確定是正常還是異常之錠劑而取得。
以下,參照圖式對本發明之實施形態進行說明。於本發明之一實施形態中,作為檢查對象物,以醫藥品即錠劑為例而進行說明。並且,對以噴墨方式於錠劑之表面記錄了產品名稱等圖像之後,檢查有無錠
劑之污損或劃傷等之缺陷,進而可檢測出具有缺陷之異常之錠劑的裝置、方法及程式進行說明。
<1.錠劑印刷裝置之整體構成>
參照圖1,對本發明之一實施形態之錠劑印刷裝置1之整體構成進行說明,該錠劑印刷裝置1,包含檢測錠劑9之缺陷之後述的資訊處理裝置200。圖1為顯示錠劑印刷裝置1之構成之圖。錠劑印刷裝置1係一面搬送複數個錠劑9,一面以辨識產品為目的而以噴墨方式於各錠劑9之表面印刷產品名稱、產品編碼、公司名稱、商標標誌等圖像之裝置。本實施形態之錠劑9具有圓盤形狀(參照後述之圖4)。惟,錠劑9之形狀,也可為橢圓形等其他形狀。再者,於以下之說明中,稱搬送複數個錠劑9之方向為「搬送方向」,稱與搬送方向垂直且水平之方向為「寬度方向」。
此外,於錠劑9上形成有用以使錠劑9裂為一半之溝狀的分割線90。以下,稱錠劑9上之形成有分割線90之面為「分割線面」。分割線90通過分割線面之中心且筆直延伸至分割線面之兩端。再者,於本實施形態中,假定為僅於形成圓盤形狀的錠劑9之上面及下面之面中的一面形成有分割線90。亦即,於本實施形態中,僅錠劑9之上面及下面中的一面為分割線面。惟,分割線90也可形成於形成圓盤形狀的錠劑9之上面及下面之面的兩面。亦即,分割線90也可形成於錠劑9之表面及背面之兩面。並且,於本實施形態中,僅在與錠劑9之分割線面對向之面上,沿位於背面側之分割線90之方向而印刷產品名稱等。惟,錠劑9上之印刷部位不限於此。
如圖1所示,本實施形態之錠劑印刷裝置1,具有料斗10、進料部20、搬送鼓輪30、第一印刷部40、第二印刷部50、搬出傳輸帶60、及控制部70。沿既定之搬送路徑搬送錠劑9之搬送機構係藉由料斗10、進料部20、搬送鼓輪30、第一印刷部40之第一搬送傳輸帶41、第二印刷部50之第二搬送傳輸帶51、及搬出傳輸帶60所形成。
料斗10係用以將多個錠劑9一次收入裝置內之投入部。料斗10配置於錠劑印刷裝置1之框體100之最上部。料斗10具有位於框體100之上面之開口部11、及隨著朝向下方而逐漸收縮之漏斗狀之傾斜面12。朝開口部11投入之複數個錠劑9係沿傾斜面12而朝直線進料器21流入。
進料部20係將朝料斗10投入之複數個錠劑9搬送至搬送鼓輪30之機構。本實施形態之進料部20具有直線進料器21、旋轉進料器22及供給進料器23。直線進料器21具有平板狀之振動槽211。自料斗10供給於振動槽211之複數個錠劑9藉由振動槽211之振動,而被朝旋轉進料器22側搬送。旋轉進料器22具有圓盤狀之旋轉台221。自振動槽211落下至旋轉台221之上面的複數個錠劑9藉由旋轉台221之旋轉產生的離心力,而朝旋轉台221之外周部附近聚集。
供給進料器23具有自旋轉台221之外周部鉛直向下延伸至搬送鼓輪30之複數個筒狀部231。圖2為搬送鼓輪30附近之立體圖。如圖2所示,複數個筒狀部231係相互平行配置。於圖2之例子中,配置有8
根筒狀部231。被朝旋轉台221之外周部搬送之複數個錠劑9分別供給於複數個筒狀部231之任一者,且落下至筒狀部231內。然後,複數個錠劑9堆疊於各筒狀部231內。如此,複數個錠劑9被分散供給於複數個筒狀部231內,藉此排列成複數之搬送列。然後,各搬送列之複數個錠劑9自下端之錠劑開始依序朝搬送鼓輪30供給。
搬送鼓輪30係將複數個錠劑9自供給進料器23朝第一搬送傳輸帶41傳遞之機構。搬送鼓輪30具有大致圓筒形狀之外周面。搬送鼓輪30藉由自馬達獲得之動力,以朝寬度方向延伸之旋轉軸為中心,朝圖1及圖2中之箭頭方向旋轉。如圖2所示,於搬送鼓輪30之外周面設有複數個保持部31。保持部31係自搬送鼓輪30之外周面朝內側凹陷之凹部。複數個保持部31係在與上述之複數搬送列之各列對應之寬度方向位置上,沿圓周方向配置於搬送鼓輪30之外周面。此外,於各保持部31之底部設置有吸附孔32。
於搬送鼓輪30之內部設有吸引機構。若使吸引機構動作,則於複數個吸附孔32分別產生較大氣壓低之負壓。保持部31利用該負壓,各一片地吸附保持自供給進料器23供給之錠劑9。此外,於搬送鼓輪30之內部設有鼓風機構。鼓風機構係自搬送鼓輪30之內側朝後述之第一搬送傳輸帶41側吹出被局部加壓之氣體。藉此,一面於不與第一搬送傳輸帶41對向之保持部31中維持錠劑9之吸附狀態,一面僅在與第一搬送傳輸帶41對向之保持部31中解除錠劑9之吸附。搬送鼓輪30可依此方式一面吸附保持自供給進料器23供給之複數個錠劑9一面進行旋轉,將其等之錠劑9朝第一搬送傳輸帶41交接。
在與搬送鼓輪30之外周面對向之位置設有第一狀態檢測照相機33。第一狀態檢測照相機33係拍攝保持於搬送鼓輪30之錠劑9之狀態之攝像部。第一狀態檢測照相機33拍攝藉由搬送鼓輪30搬送之錠劑9,且將獲得之圖像朝控制部70傳送。控制部70根據接收之圖像,檢測各保持部31中有無錠劑9、保持於保持部31之錠劑9之表面背面及分割線90之方向。
第一印刷部40係用以於錠劑9之一面印刷圖像之處理部。如圖1所示,第一印刷部40具有第一搬送傳輸帶41、第二狀態檢測照相機42、第一印刷頭單元43、第一檢查照相機44、及第一定印部45。
第一搬送傳輸帶41,具有一對第一皮帶輪411、及架設於一對第一皮帶輪411之間的環狀之第一搬送帶412。第一搬送帶412係以其一部分與搬送鼓輪30之外周面靠近且對向之方式配置。一對第一皮帶輪411之一者係藉由自馬達獲得之動力而旋轉。藉此,第一搬送帶412朝圖1及圖2中之箭頭方向轉動。此時,一對第一皮帶輪411之另一者會伴隨第一搬送帶412之轉動而被動旋轉。
如圖2所示,於第一搬送帶412設有複數個保持部413。保持部413係自第一搬送帶412之外側之面朝內側凹陷之凹部。複數個保持部413係在與複數個搬送列之各列對應之寬度方向位置上被配置於搬送方向。亦即,複數個保持部413分別隔開間隔而配置於寬度方向及搬送方向。第一搬送帶412上之複數個保持部413之寬度方向之間隔與
搬送鼓輪30上之複數個保持部31之寬度方向之間隔相等。
於各保持部413之底部設有吸附孔414。此外,第一搬送傳輸帶41係於第一搬送帶412之內側具有吸引機構。若使吸引機構動作,則於複數個吸附孔414分別產生較大氣壓低之負壓。保持部413利用該負壓各一片地吸附保持自搬送鼓輪30傳遞之錠劑9。藉此,第一搬送傳輸帶41一面以排列成複數之搬送列之狀態保持複數個錠劑9一面進行搬送,該複數之搬送列係於寬度方向隔開間隔。並且,於第一搬送帶412設有鼓風機構。若使鼓風機構動作,則在與後述之第二搬送傳輸帶51對向之保持部413中,吸附孔414產生較大氣壓高之正壓。藉此,可解除該保持部413上之錠劑9之吸附,將錠劑9自第一搬送傳輸帶41朝第二搬送傳輸帶51交接。再者,於第一搬送帶412所搬送之複數個錠劑9中,混合有自分割線面側保持於保持部413之錠劑9、及自與分割線面對向之面側保持於保持部413之錠劑9。並且,當將各錠劑9自第一搬送傳輸帶41朝第二搬送傳輸帶51交接時,表面背面會進行翻轉。
第二狀態檢測照相機42係於較第一印刷頭單元43靠搬送方向上游側,拍攝保持於第一搬送傳輸帶41之錠劑9的狀態之攝像部。第一狀態檢測照相機33與第二狀態檢測照相機42拍攝錠劑9之互為相反側之面。於第二狀態檢測照相機42中獲得之圖像自第二狀態檢測照相機42朝控制部70傳送。控制部70根據接收之圖像,檢測各保持部413中有無錠劑9、或保持於保持部413之錠劑9之表面背面及分割線90之方向。
第一印刷頭單元43係噴墨方式之印刷頭單元,其朝藉由第一搬送傳輸帶41搬送之錠劑9的上面吐出墨滴。第一印刷頭單元43具有沿搬送方向配置之4個第一印刷頭431。4個第一印刷頭431自複數個錠劑9中之分割線面側朝保持於保持部413之錠劑9的上面吐出顏色互不相同之墨滴。例如,4個印刷頭431吐出青色、紫紅色、黃色、及黑色之各色墨滴。藉由其等各色形成之單色圖像之重疊,於錠劑9之表面印刷多色圖像。再者,自各第一印刷頭431吐出之墨水,可使用藉由日本藥典、食品衛生法等許可之原料製造之可食性墨水。
圖3為一個第一印刷頭431之仰視圖。圖3中,以二點鏈線顯示第一搬送帶412及保持於第一搬送帶412之複數個錠劑9。如圖3中放大顯示,於第一印刷頭431之下面設有可吐出墨滴之複數個噴嘴430。於本實施形態中,於第一印刷頭431之下面,沿搬送方向及寬度方向二維配置複數個噴嘴430。各噴嘴430係錯開位置地配置於寬度方向。如此,只要二維配置複數個噴嘴430,即可使各噴嘴430之寬度方向之位置相互接近。惟,複數個噴嘴430也可沿寬度方向排列成一列。
自噴嘴430吐出墨滴之吐出方式例如可採用藉由對壓電元件施加電壓而使其變形以使噴嘴430內之墨水加壓吐出之所謂壓電方式。惟,墨滴之吐出方式也可為藉由對加熱器通電以使噴嘴430內之墨水加熱膨脹而吐出之所謂熱流方式。
圖4為第一檢查照相機44附近之立體圖。第一檢查照相機44係
用以確認第一印刷頭單元43之印刷之良否及有無錠劑9之缺陷的攝像部。第一檢查照相機44係於較第一印刷頭單元43靠搬送方向下游側,拍攝被第一搬送帶412搬送之錠劑9的上面。此外,第一檢查照相機44將獲得之圖像朝控制部70傳送。控制部70根據接收之圖像,檢查各錠劑9之上面是否無傷痕、污損、印刷位置之偏移、或點缺陷等之缺陷。關於其等之缺陷之檢測方法,詳細容待後述。
再者,於本實施形態中,8個第一檢查照相機44係配置在分別與排列於第一搬送帶412上之寬度方向之8個錠劑9對應之位置。各第一檢查照相機44係於寬度方向上拍攝一個錠劑9。此外,各第一檢查照相機44依序拍攝沿搬送方向搬送之複數個錠劑9。惟,也可考慮8個第一檢查照相機44之配置空間,將其等相互於搬送方向錯開位置地進行配置。
第一定印部45係使自第一印刷頭單元43吐出之墨水定印於錠劑9之機構。於本實施形態中,於較第一檢查照相機44靠搬送方向下游側配置有第一定印部45。惟,也可於第一印刷頭單元43與第一檢查照相機44之間配置第一定印部45。第一定印部45例如使用朝藉由第一搬送傳輸帶41搬送之錠劑9噴吹熱風之熱風乾燥式之加熱器。附著於錠劑9之表面之墨水係藉由熱風而乾燥,其後定印於錠劑9之表面。
第二印刷部50係於第一印刷部40之印刷後用以對錠劑9之另一面印刷圖像之處理部。如圖1所示,第二印刷部50具有第二搬送傳輸帶51、第三狀態檢測照相機52、第二印刷頭單元53、第二檢查照相機
54、第二定印部55、及缺陷品回收部56。
第二搬送傳輸帶51係一面保持自第一搬送傳輸帶41交接之複數個錠劑9一面進行搬送。第三狀態檢測照相機52係於較第二印刷頭單元53靠搬送方向上游側,拍攝藉由第二搬送傳輸帶51搬送之複數個錠劑9。第二印刷頭單元53係朝藉由第二搬送傳輸帶51搬送之錠劑9之上面吐出墨滴。第二檢查照相機54係於較第二印刷頭單元53靠搬送方向下游側,拍攝藉由第二搬送傳輸帶51搬送之複數個錠劑9。第二定印部55係使自第二印刷頭單元53之各印刷頭531吐出之墨水定印於錠劑9。
第二搬送傳輸帶51、第三狀態檢測照相機52、第二印刷頭單元53、第二檢查照相機54及第二定印部55具有與上述之第一搬送傳輸帶41、第二狀態檢測照相機42、第一印刷頭單元43、第一檢查照相機44、及第一定印部45相同之構成。
缺陷品回收部56根據自上述第一檢查照相機44及第二檢查照相機54獲得之攝影圖像Ip,回收被判定為缺陷品之錠劑9。缺陷品回收部56具有配置於第二搬送傳輸帶51之內側之鼓風機構、及回收箱561。當被判定為缺陷品之錠劑9搬送至缺陷品回收部56時,鼓風機構自第二搬送傳輸帶51之內側朝該錠劑9噴吹被加壓之氣體。藉此,該錠劑9自第二搬送傳輸帶51脫落,且被回收於回收箱561。
搬出傳輸帶60係將被判斷為良品之複數個錠劑9朝錠劑印刷裝置
1之框體100之外部搬出的機構。搬出傳輸帶60之上游側之端部位於第二搬送傳輸帶51之第二皮帶輪511之下方。搬出傳輸帶60之下游側之端部位於框體100之外部。搬出傳輸帶60例如可使用帶式搬送機構。通過缺陷品回收部56之複數個錠劑9藉由解除吸附孔之吸引,自第二搬送傳輸帶51落下至搬出傳輸帶60之上面。然後,複數個錠劑9藉由搬出傳輸帶60而被朝框體100之外部搬出。
控制部70係對錠劑印刷裝置1內之各部分進行動作控制。圖5為顯示控制部70與錠劑印刷裝置1內之各部分之連接的方塊圖。如圖5中概念性地顯示,控制部70係由電腦構成,該電腦具有CPU等之處理器701、RAM等之記憶體702、硬碟驅動器等之記憶裝置703、接收部704、及傳送部705。於記憶裝置703內記憶有用以執行錠劑9之印刷處理及檢查之電腦程式P及資料D。惟,接收部704及傳送部705也可與控制部70分開設置。
再者,電腦程式P係自記憶有該程式P之記憶媒體M讀出,並被記憶於控制部70之記憶裝置703。作為記憶媒體M之例子,可列舉CD-ROM、DVD-ROM、快閃記憶體等。惟,程式P也可經由網路而輸入控制部70。
此外,如圖5所示,控制部70可經由接收部704及傳送部705,分別與上述之直線進料器21、旋轉進料器22、搬送鼓輪30(包含馬達、吸引機構及鼓風機構)、第一狀態檢測照相機33、第一搬送傳輸帶41(包含馬達、吸引機構及鼓風機構)、第二狀態檢測照相機42、第一印刷頭
單元43(包含各第一印刷頭431之複數個噴嘴430)、第一檢查照相機44、第一定印部45、第二搬送傳輸帶51、第三狀態檢測照相機52、第二印刷頭單元53(包含各第二印刷頭531之複數個噴嘴430)、第二檢查照相機54、第二定印部55、缺陷品回收部56、及搬出傳輸帶60,進行乙太網路(註冊商標)等之有線通信、Bluetooth(註冊商標)或Wi-Fi(註冊商標)等之無線通信地加以連接。
控制部70經由接收部704而自各部分接收資訊之後,於記憶體702中暫時讀出被記憶於記憶裝置703之電腦程式P及資料D,處理器701根據該電腦程式P及資料D而進行運算處理。並且,控制部70經由傳送部705而朝各部分發出指令,以對上述各部分進行動作控制。藉此,對複數個錠劑9進行各項處理。
<2.控制部內之資料處理>
圖6為概念性地顯示錠劑印刷裝置1內之控制部70之一部分功能的方塊圖。如圖6所示,本實施形態之控制部70具有角度辨識部71、印刷頭控制部72、及檢查部。其等之功能係藉由於記憶體702中暫時讀出被記憶於記憶裝置703之電腦程式P及資料D,處理器701根據該電腦程式P及資料D進行運算處理而實現。此外,作為檢查部之功能可藉由以控制部70之一部分或全部之機械要素構成之資訊處理裝置200而實現。於資訊處理裝置200安裝有預先藉由機械學習而生成之完成學習之學習模型。
角度辨識部71係用以辨識搬送之各錠劑9之旋轉角度(分割線90
之方向)之功能。角度辨識部71取得第一狀態檢測照相機33及第二狀態檢測照相機42之攝影圖像,且根據該攝影圖像而辨識藉由第一搬送傳輸帶41搬送之各錠劑9之旋轉角度。此外,角度辨識部71取得第三狀態檢測照相機52之攝影圖像,且根據該攝影圖像而辨識藉由第二搬送傳輸帶51搬送之各錠劑9之旋轉角度。
如上述,於本實施形態中,僅對與錠劑9之分割線面對向之面,沿背面側具有之分割線90之方向印刷產品名稱等。因此,角度辨識部71根據自第一狀態檢測照相機33及第二狀態檢測照相機42獲得之攝影圖像,辨識每個錠劑9通過第一印刷頭單元43時之旋轉角度(分割線90之方向)。同樣地,角度辨識部71根據自第三狀態檢測照相機52獲得之攝影圖像,辨識每個錠劑9通過第二印刷頭單元53時之旋轉角度(分割線90之方向)。
再者,搬送之複數個錠劑9之表面及背面並非保持恆定。因此,如圖4所示,可能有自分割線面側保持於保持部413之錠劑9與自與分割線面對向之面側保持於保持部413之錠劑9混合在一起被搬送之情況。對於此種之情況,角度辨識部71只要根據自第一狀態檢測照相機33獲得之攝影圖像,辨識一部分錠劑9通過第一印刷頭單元43時之旋轉角度,根據自第二狀態檢測照相機42獲得之攝影圖像,辨識另一部分錠劑9通過第一印刷頭單元43時之旋轉角度即可。此外,只要根據自第三狀態檢測照相機52獲得之攝影圖像,辨識一部分錠劑9通過第二印刷頭單元53時之旋轉角度,根據自第二狀態檢測照相機42獲得之攝影圖像,辨識另一部分錠劑9通過第二印刷頭單元53時之旋
轉角度即可。
印刷頭控制部72係用以對第一印刷頭單元43及第二印刷頭單元53進行動作控制之功能。如圖6所示,印刷頭控制部72具有第一記憶部721。第一記憶部721之功能例如藉由上述記憶裝置703所實現。第一記憶部721內記憶有包含與印刷在錠劑9之圖像相關之資訊的印刷圖像資料D1。該圖像係產品名稱、產品編碼、公司名稱、商標標誌等,例如由包含字母、數字之文字列形成(參照圖4及後述之圖7)。惟,該圖像也可為文字列以外之標記或插畫圖像。並且,該圖像係於錠劑9之與分割線對向之面上沿著背面所具有之分割線90而印刷。惟,圖像也可沿分割線90印刷於錠劑9之分割線面。印刷圖像資料D1也包含此種之指定錠劑9中之圖像之印刷位置及印刷方向之資訊。
當於作為產品之錠劑9之表面進行印刷時,印刷頭控制部72自第一記憶部721讀出印刷圖像資料D1。此外,印刷頭控制部72根據在角度辨識部71中辨識之旋轉角度而使讀出之印刷圖像資料D1旋轉。然後,印刷頭控制部72根據旋轉之印刷圖像資料D1,控制第一印刷頭431或第二印刷頭531。藉此,於錠劑9之表面沿分割線90印刷印刷圖像資料D1所顯示之圖像。
關於檢查部之功能,詳細容待後述。
<3.關於資訊處理裝置200>
接著,對資訊處理裝置200之構成進行說明。如上述,作為控制
部70內之檢查部之功能,係藉由以控制部70之一部分或全部之機械要素構成之資訊處理裝置200而實現。資訊處理裝置200中安裝有預先藉由機械學習而生成之完成學習之學習模型。資訊處理裝置200係檢查錠劑9中有無傷痕等缺陷,進而可檢測具有缺陷之異常之錠劑9之裝置。如圖6所示,資訊處理裝置200在其功能上具有圖像還原部201、判定部202及輸出部203。
首先,對藉由機械學習而生成安裝於資訊處理裝置200之學習模型之步驟進行說明。圖6上以虛線概念性地顯示該學習時之流程。於學習時預先準備拍攝有正常之錠劑9之複數個學習圖像Io(參照圖7)。具體而言,於較第一印刷頭單元43靠搬送方向下游側,藉由第一檢查照相機44拍攝多個被第一搬送帶412搬送之錠劑9中的無傷痕等缺陷之錠劑9。然後,準備複數張之已拍攝之錠劑9上面之圖像,作為正常之錠劑9之學習用圖像(學習圖像Io)。於本實施形態中,準備1000張學習圖像Io。再者,機械學習本身通常在錠劑印刷裝置1之外部實施。複數張之學習圖像Io被輸入圖像還原部201。
若將學習圖像Io輸入圖像還原部201,則圖像還原部201將各學習圖像Io分割為複數個區塊(參照圖8)。於本實施形態中,分割為縱向4個區塊及橫向4個區塊、合計為16個區塊(區塊S1~區塊S16)。惟,分割學習圖像Io之數量,不限於此。此外,於本實施形態中,分割之區塊S1~區塊S16彼此之大小相等。惟,也可將學習圖像Io分割為彼此大小不同之複數個區塊。
其次,圖像還原部201製作各學習圖像Io之區塊S1~區塊S16中之一個區塊被隱藏之圖像資料Ih。例如於圖8之上部圖示學習圖像Io之區塊S1~區塊S16中之區塊S2被隱藏之圖像資料Ih。再者,本實施形態之圖像還原部201一面自區塊S1開始依序隱藏區塊S1~區塊S16中之一個區塊,一面對各學習圖像Io製作16張之圖像資料Ih。圖像還原部201對1000張學習圖像Io之每一張圖像製作16張、即合計為16000張之圖像資料Ih。惟,圖像還原部201也可一面使用隨機產生器,隨機隱藏區塊S1~區塊S16中之一個區塊,一面對各學習圖像Io製作既定張數之圖像資料Ih。
接著,圖像還原部201以能自各圖像資料Ih高精度地生成將隱藏之一部分還原之還原圖像Ir之方式,藉由深度學習進行學習處理。具體而言,圖像還原部201一面將生成有各圖像資料Ih之原學習圖像Io作為教學資料,一面對與用以高精度地生成還原圖像Ir之圖像還原處理相關之學習模型X(a、b、c...)進行機械學習。其中,教學資料亦指正解之資料。再者,圖8顯示例如自圖像資料Ih高精度地生成將隱藏之區塊S2還原之還原圖像Ir之狀況。
此時,圖像還原部201藉由卷積式類神經網絡而重複執行自圖像資料Ih擷取特徵而生成潛在變數之編碼處理、及自潛在變數生成還原圖像Ir之解碼處理。作為卷積式類神經網絡,例如可列舉U-Net或FusionNet等。然後,以將解碼處理後之還原圖像Ir與生成編碼處理前之圖像資料Ih之原學習圖像Io之像素值之差異最小化之方式,使用倒傳遞法或梯度下降法等,一面調整編碼處理及解碼處理之參數一面更
新保存。其中,編碼處理及解碼處理之參數係以學習模型X(a、b、c...)中之複數個參數a、b、c...顯示。再者,圖像還原部201可使用各圖像資料Ih進行一次學習,也可進行複數次學習。
惟,對高精度地生成還原圖像Ir之圖像還原處理進行機械學習之方法,不限於此。例如,圖像還原部201除了具有生成還原圖像Ir之學習模型X(a、b、c...)外,還可具有學習模型Y(p、q、r...),該學習模型Y(p、q、r...)係將生成之還原圖像Ir與學習圖像Io加以比較,而判定哪一者才是真實之圖像。並且,也可具有生成對抗網路,其根據學習模型X(a、b、c...)之生成結果及學習模型Y(p、q、r...)之判定結果,一面使用倒傳遞法使學習模型X(a、b、c...)與學習模型Y(p、q、r...)相互競爭一面交互地進行機械學習。作為生成對抗網路,例如可列舉GANs或pix2pix等。
藉此,當完成機械學習之後,於資訊處理裝置200上安裝完成學習之學習模型X(a、b、c...)。並且,錠劑印刷裝置1可使用此學習模型X(a、b、c...),進行錠劑9之缺陷檢測。當進行錠劑9之缺陷檢測時,首先,錠劑印刷裝置1內之資訊處理裝置200於較第一印刷頭單元43靠搬送方向下游側,自第一檢查照相機44取得被第一搬送帶412搬送之錠劑9之攝影圖像Ip。此外,於較第二印刷頭單元53靠搬送方向下游側,自第二檢查照相機54取得被第二搬送帶512搬送之錠劑9之攝影圖像Ip。然後,根據在角度辨識部71中辨識之旋轉角度使攝影圖像Ip旋轉,生成檢查圖像Ii。檢查圖像Ii係拍攝不確定有無缺陷、即不確定是正常還是異常之錠劑9之圖像。再者,於以下之說明中,
假定為於錠劑9之檢查圖像Ii之位於後述之區塊S15的部位上具有缺陷De。此外,於本實施形態中,假定將傷痕作為缺陷De。惟,缺陷De也可為墨水之污跡、印刷位置之偏移、或點缺陷等。
接著,圖像還原部201將各檢查圖像Ii分割為與學習時相同之縱向4區塊及橫向4區塊之合計16區塊(區塊S1~區塊S16)。其次,圖像還原部201製作各檢查圖像Ii之區塊S1~區塊S16中之一個區塊被隱藏之圖像資料Ih。圖9及圖10分別圖示自圖像資料Ih高精度地生成將隱藏之一個區塊還原後之還原圖像Ir的狀況。尤其是,於圖9中圖示自區塊S1被隱藏之圖像資料Ih(為了方便說明,以下稱為「圖像資料Ih1」)高精度地生成將區塊S1還原後之還原圖像Ir(為了方便說明,以下稱為「還原圖像Ir1」)的狀況。此外,於圖10中圖示自區塊S15被隱藏之圖像資料Ih(為了方便說明,以下稱為「圖像資料Ih15」)高精度地生成將區塊S15還原後之還原圖像Ir(為了方便說明,以下稱為「還原圖像Ir15」)的狀況。再者,由於區塊S15被隱藏,因此圖像還原部201不能辨識缺陷De,但為了方便說明,於圖10之圖像資料Ih中以白色顯示缺陷De。
接著,圖像還原部201與學習時相同,藉由卷積式類神經網絡而執行自檢查圖像Ii之一部分被隱藏之圖像資料Ih擷取特徵而生成潛在變數之編碼處理、及自潛在變數生成還原圖像Ir之解碼處理,並且使用在學習時完成學習之學習模型X(a、b、c...),一面自圖像資料Ih依序變更隱藏之一部分之部位,一面生成複數個還原圖像Ir。
具體而言,圖像還原部201首先使用學習模型X(a、b、c...),自檢查圖像Ii中區塊S1被隱藏之圖像資料Ih1生成將區塊S1還原後之還原圖像Ir1,然後朝判定部202輸出。接著,圖像還原部201,使用學習模型X(a、b、c...),自檢查圖像Ii中區塊S2被隱藏之圖像資料Ih2生成將區塊S2還原後之還原圖像Ir2,然後朝判定部202輸出。圖像還原部201一面依序變更隱藏之一部分之部位一面重複地執行此種之還原處理。不久之後,圖像還原部201使用學習模型X(a、b、c...),自檢查圖像Ii中區塊S15被隱藏之圖像資料Ih15,生成將區塊S15還原後之還原圖像Ir15,然後朝判定部202輸出。最後,圖像還原部201使用學習模型X(a、b、c...),自檢查圖像Ii中區塊S16被隱藏之圖像資料Ih16,生成將區塊S16還原後之還原圖像Ir16,然後朝判定部202輸出。
其中,如上述,在學習時完成學習之學習模型X(a、b、c...)係對用以自圖像之一部分被隱藏的圖像資料Ih生成將隱藏之一部分還原之還原圖像Ir的參數進行調整後之模型,該圖像係經拍攝無缺陷De之正常之錠劑9而取得。因此,如圖9所示,於圖像還原部201使用學習模型X(a、b、c...)自檢查圖像Ii中之將不存在缺陷De之區塊S1隱藏後之圖像資料Ih1生成還原圖像Ir1的情況下,能於檢查圖像Ii中之不存在缺陷De之部位精度良好地還原包含無缺陷De之區塊S1之還原圖像Ir1。另一方面,如圖10所示,於圖像還原部201使用學習模型X(a、b、c...)自檢查圖像Ii中之將存在缺陷De之區塊S15隱藏後之圖像資料Ih15生成還原圖像Ir15的情況下,圖像還原部201不能辨識缺陷De。因此,雖然於檢查圖像Ii中之區塊S15存在缺陷De,但
圖像還原部201仍舊未辨識出缺陷De存在,而會生成無缺陷De之還原圖像Ir15。
接著,當自圖像還原部201依序輸入複數個還原圖像Ir時,判定部202將複數個還原圖像Ir之各者與檢查圖像Ii加以比較,藉此而判定錠劑9是無缺陷De之正常錠劑還是具有缺陷De之異常錠劑,且將判定結果Dr朝輸出部203輸出。具體而言,判定部202首先比較圖像還原部201生成之還原圖像Ir1與檢查圖像Ii,判定還原圖像Ir1與檢查圖像Ii之像素值之差異是否較既定之容許值大。其次,判定部202比較圖像還原部201生成之還原圖像Ir2與檢查圖像Ii,判定還原圖像Ir2與檢查圖像Ii之像素值之差異是否較既定之容許值大。判定部202對全部之還原圖像Ir執行此種之判定處理。不久之後,判定部202比較圖像還原部201生成之還原圖像Ir15與檢查圖像Ii,判定還原圖像Ir15與檢查圖像Ii之像素值之差異是否較既定之容許值大。最後,判定部202比較圖像還原部201生成之還原圖像Ir16與檢查圖像Ii,判定還原圖像Ir16與檢查圖像Ii之像素值之差異是否較既定之容許值大。
如上述,於圖像還原部201生成之還原圖像Ir15中不存在缺陷De。另一方面,於檢查圖像Ii中之位於區塊S15之部位存在缺陷De。因此,還原圖像Ir15與檢查圖像Ii之像素值之差異,與其他之比較結果不同,成為大幅增大之值。如此,於還原圖像Ir與檢查圖像Ii之差異大於既定之容許值之情況下,判定部202將隱藏在作為該還原圖像Ir之來源之圖像資料Ih中之部位確定為存在缺陷De之部位。然後,
判定部202將與有無缺陷De及缺陷De之部位相關之判定結果Dr朝輸出部203輸出。
再者,亦可為,若自圖像還原部201輸入複數個還原圖像Ir,則判定部202在將於作為複數個還原圖像Ir各者之來源之圖像資料Ih中隱藏之區塊之還原後的圖像相互建立聯繫之後,與檢查圖像Ii整體進行比較,判定像素值之差異是否大於既定之容許值。
藉此,判定有無被第一搬送傳輸帶41搬送之錠劑9及被第二搬送傳輸帶51搬送之錠劑9之缺陷De,完成所有之錠劑9之檢查。若自判定部202輸入判定結果Dr,則輸出部203將與錠劑9中之有無缺陷De及缺陷De之部位相關之資訊輸出至監視器或揚聲器等,並將與具有缺陷De之錠劑9相關之資訊朝缺陷品回收部56傳送,而進行回收。再者,亦可為,於藉由判定部202判定為錠劑9無缺陷De之情況下,輸出部203進一步顯示該內容。
如上述,於本實施形態中,藉由使用可容易取得多個之無缺陷De之正常之錠劑9之圖像來進行機械學習,而可檢測具有缺陷De之異常之錠劑9。藉此,可高精度地檢測錠劑9中之包含未知部分之多種多樣之缺陷De。
此外,自輸出部203輸出與有無缺陷De及缺陷De之部位相關之資訊。藉此,作業員等可使用與該缺陷De之部位相關之資訊,而容易再確認被判定為具有缺陷De之錠劑9。藉此,可進一步提高具有缺陷
De之錠劑9之檢測精度。
此外,本實施形態之圖像還原部201藉由卷積式類神經網絡而重複執行自圖像資料Ih擷取特徵而生成潛在變數之編碼處理、及自潛在變數生成還原圖像Ir之解碼處理。因此,即使於錠劑9在檢查圖像Ii或學習圖像Io中的位置略微產生偏移、或者檢查圖像Ii或學習圖像Io內含有些許之雜訊之情況下,也可高精度地檢測具有缺陷De之錠劑9。
<4.變形例>
以上,對本發明之主要實施形態進行了說明,但本發明不限於上述實施形態。
於上述實施形態中,使用對錠劑9進行印刷處理後之錠劑9上面的圖像,進行了學習及錠劑9中之缺陷De之檢測。然而,也可使用對錠劑9進行印刷處理前之錠劑9的圖像,進行學習及錠劑9中之缺陷De之檢測。此外,也可使用自斜方向拍攝錠劑9之圖像,進行學習及錠劑9中之缺陷De之檢測。藉此,不僅可檢測錠劑9之表面及背面,也可檢測存在於錠劑9之側面之缺陷De。
於上述實施形態中,將在錠劑印刷裝置1之外部預先完成機械學習之學習模型X(a、b、c...)安裝於資訊處理裝置200內,進行了錠劑9中之缺陷De之檢測。然而,也可於已將學習模型X(a、b、c...)安裝於錠劑印刷裝置1內之資訊處理裝置200之狀態下進行機械學習,並直接進行錠劑9中之缺陷De之檢測。
於上述實施形態中,作為檢查對象物之例子,採用了醫藥品即錠劑9。並且,上述實施形態之資訊處理裝置200係判定檢查對象物即錠劑9之傷痕、污損、印刷位置之偏移、或點缺陷等之缺陷De之有無及缺陷De之部位者。然而,檢查對象物也可為於各式各樣之印刷裝置中進行印刷處理之薄膜或紙等之基材、或印刷電路基板等,也可為使用於各式各樣之裝置之零件等。亦即,檢查對象物只要為在正常之情況下具有大致一定之外觀的物體即可。並且,資訊處理裝置200也可為判定該檢查對象物中之外觀上之缺陷De的有無及缺陷De之部位者。
亦即,本發明之資訊處理裝置只要為如下即可,即,使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物之資訊處理裝置,其具備:圖像還原部,其自檢查圖像之一部分被隱藏之圖像資料中生成將隱藏之一部分還原之還原圖像,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;判定部,其藉由將還原圖像與檢查圖像加以比較,而判定檢查對象物是正常還是異常;及輸出部,其輸出判定部之判定結果;圖像還原部以能自複數個學習圖像各者之一部分被隱藏的圖像資料中高精度地生成將隱藏之一部分還原之還原圖像之方式藉由深度學習而完成學習,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。此外,只要為如下即可,即,圖像還原部於完成學習時,例如藉由卷積式類神經網絡,而將編碼處理及解碼處理之參數調整完成。
此外,本發明之資訊處理方法只要為如下即可,即,使用正常之
檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物之資訊處理方法,其具有以下之步驟:a)藉由深度學習而學習自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者;b)藉由將還原圖像與檢查圖像加以比較,而判定檢查對象物是正常還是異常,該還原圖像係使用經在步驟a)中學習後之處理而自檢查圖像之一部分被隱藏之圖像資料中還原者,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;及c)輸出步驟b)之判定結果。
此外,本發明之資訊處理裝置執行之資訊處理程式只要為如下即可,即,使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物之資訊處理程式,其使電腦執行以下之處理:a)圖像還原處理,其自檢查圖像之一部分被隱藏之圖像資料中生成將隱藏之一部分還原之還原圖像,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;b)判定處理,其藉由將還原圖像與檢查圖像加以比較,而判定檢查對象物是正常還是異常;及c)輸出處理,其輸出判定處理之判定結果;圖像還原處理係以能自複數個學習圖像各者之一部分被隱藏的圖像資料中高精度地生成將隱藏之一部分還原之還原圖像之方式,藉由深度學習而完成學習,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
此外,為了檢測具有缺陷之異常之檢查對象物,本發明只要為藉由深度學習而學習自複數個學習圖像各者中之一部分被隱藏的圖像資
料中生成將隱藏之一部分還原之還原圖像之處理者即可,其中,該複數個學習圖像係經拍攝正常之檢查對象物而取得者。
此外,為了檢測具有缺陷之異常之檢查對象物,本發明只要具有藉由深度學習而學習自複數個學習圖像各者中之一部分被隱藏的圖像資料中生成將隱藏之一部分還原之還原圖像之處理之學習完成模型即可,其中,該複數個學習圖像係經拍攝正常之檢查對象物而取得者。
藉此,可使用能容易取得之多個之無缺陷之正常檢查對象物之圖像進行機械學習,藉此而檢測具有缺陷之異常之檢查對象物。藉此,可高精度地檢測檢查對象物中之包含未知部分之多種多樣之缺陷。
再者,於上述實施形態中,於第一印刷部40及第二印刷部50分別設置4個印刷頭。然而,各印刷部40、50包含之印刷頭之數量可為1~3個,也可多於4個。
此外,錠劑印刷裝置1之細部之構成也可與本案之各圖不同。此外,也可於不產生矛盾之範圍內適宜地將上述實施形態或變形例中出現之各要素組合。
9:錠劑
De:缺陷
Ih、Ih15:圖像資料
Ir、Ir15:還原圖像
S1~S16:區塊
X:學習模型
Claims (20)
- 一種資訊處理裝置,其係使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物者;其具備:圖像還原部,其自檢查圖像之一部分被隱藏之圖像資料中生成將上述隱藏之一部分還原之還原圖像,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;判定部,其藉由將上述還原圖像與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常;及輸出部,其輸出上述判定部之判定結果;上述圖像還原部係以能自複數個學習圖像各者之一部分被隱藏的圖像資料中高精度地生成將上述隱藏之一部分還原之還原圖像之方式,藉由深度學習而完成學習,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
- 如請求項1之資訊處理裝置,其中,上述圖像還原部一面依序變更上述圖像資料中之上述隱藏之一部分之部位,一面生成複數個上述還原圖像,上述判定部藉由將複數個上述還原圖像之各者與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常。
- 如請求項2之資訊處理裝置,其中,於上述還原圖像與上述檢查圖像之差異大於既定之容許值之情況下,上述判定部將上述隱藏之一部分之部位確定為上述缺陷之部位,上述輸出部進一步輸出與上述缺陷之部位相關之資訊。
- 如請求項1至3中任一項之資訊處理裝置,其中,上述圖像還原部執行自上述檢查圖像擷取特徵而生成潛在變數之編碼 處理、及自上述潛在變數生成上述還原圖像之解碼處理。
- 如請求項4之資訊處理裝置,其中,上述圖像還原部係於上述學習中,藉由卷積式類神經網絡而將上述編碼處理及上述解碼處理之參數調整完成。
- 一種資訊處理方法,其係使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物者;其具有以下之步驟:a)藉由深度學習而學習自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將上述隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者;b)藉由將還原圖像與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常,該還原圖像係使用經在上述步驟a)中學習後之處理而自檢查圖像之一部分被隱藏之圖像資料中還原者,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;及c)輸出上述步驟b)之判定結果。
- 一種資訊處理程式,其係使用正常之檢查對象物之圖像資料之集合,而檢測具有缺陷之異常之檢查對象物者;其使電腦執行以下之處理:a)圖像還原處理,其自檢查圖像之一部分被隱藏之圖像資料中生成將上述隱藏之一部分還原之還原圖像,該檢查圖像係經拍攝不確定是正常還是異常之檢查對象物而取得者;b)判定處理,其藉由將上述還原圖像與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常;及c)輸出處理,其輸出上述判定處理之判定結果; 上述圖像還原處理係以能自複數個學習圖像各者之一部分被隱藏的圖像資料中高精度地生成將上述隱藏之一部分還原之還原圖像之方式,藉由深度學習而完成學習,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
- 一種藉由深度學習而學習之學習方法,其係為了檢測具有缺陷之異常之檢查對象物,藉由深度學習而學習自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將上述隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
- 一種安裝有學習完成模型之資訊處理裝置,其中,該學習完成模型係為了檢測具有缺陷之異常之檢查對象物,藉由深度學習而學習了自複數個學習圖像各者之一部分被隱藏的圖像資料中生成將上述隱藏之一部分還原之還原圖像的處理,該等複數個學習圖像係經拍攝正常之檢查對象物而取得者。
- 如請求項1至3中任一項之資訊處理裝置,其中,檢查對象物係錠劑。
- 如請求項6之資訊處理方法,其中,檢查對象物係錠劑。
- 如請求項7之資訊處理程式,其中,檢查對象物係錠劑。
- 如請求項8之藉由深度學習而學習之學習方法,其中,檢查對象物係錠劑。
- 如請求項9之安裝有學習完成模型之資訊處理裝置,其中,檢查對象物係錠劑。
- 如請求項6之資訊處理方法,其中,於上述步驟a)中,一面依序變更上述圖像資料中之上述隱藏之一部分之部位,一面生成複數個上述還原圖像,於上述步驟b)中,藉由將複數個上述還原圖像之各者與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常。
- 如請求項15之資訊處理方法,其中,於上述步驟b)中,於上述還原圖像與上述檢查圖像之差異大於既定之容許值之情況下,將上述隱藏之一部分之部位確定為上述缺陷之部位,於上述步驟c)中,進一步輸出與上述缺陷之部位相關之資訊。
- 如請求項6、15及16中任一項之資訊處理方法,其中,於上述步驟a)中,執行自上述檢查圖像擷取特徵而生成潛在變數之編碼處理、及自上述潛在變數生成上述還原圖像之解碼處理。
- 如請求項17之資訊處理方法,其中,於上述步驟a)中,於上述學習中,藉由卷積式類神經網絡而將上述編碼處理及上述解碼處理之參數調整完成。
- 如請求項7之資訊處理程式,其中,於上述圖像還原處理中,一面依序變更上述圖像資料中之上述隱藏之一部分之部位,一面生成複數個上述還原圖像,於上述判定處理中,藉由將複數個上述還原圖像之各者與上述檢查圖像加以比較,而判定檢查對象物是正常還是異常。
- 如請求項19之資訊處理程式,其中,於上述判定處理中,於上述還原圖像與上述檢查圖像之差異大於既定之容許值之情況下,將上述隱藏之一部分之部位確定為上述缺陷之部位,於上述輸出處理中,進一步輸出與上述缺陷之部位相關之資訊。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-015884 | 2019-01-31 | ||
JP2019015884A JP7312560B2 (ja) | 2019-01-31 | 2019-01-31 | 情報処理装置、情報処理方法、情報処理プログラム、学習方法および学習済モデル |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202032498A TW202032498A (zh) | 2020-09-01 |
TWI724655B true TWI724655B (zh) | 2021-04-11 |
Family
ID=71840404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108143219A TWI724655B (zh) | 2019-01-31 | 2019-11-27 | 資訊處理裝置、資訊處理方法、資訊處理程式、藉由深度學習而學習之學習方法及安裝有學習完成模型之資訊處理裝置 |
Country Status (4)
Country | Link |
---|---|
JP (2) | JP7312560B2 (zh) |
CN (1) | CN113168686A (zh) |
TW (1) | TWI724655B (zh) |
WO (1) | WO2020158098A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI838271B (zh) * | 2023-06-09 | 2024-04-01 | 財團法人國家實驗研究院 | 烘焙炊蒸食品半成品的完成度管控方法及系統 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021186294A (ja) * | 2020-05-29 | 2021-12-13 | 株式会社三洋物産 | 遊技機 |
JP7392166B2 (ja) * | 2020-08-26 | 2023-12-05 | 三菱重工業株式会社 | 画像生成装置、画像生成方法およびプログラム |
JP7330328B1 (ja) | 2022-05-17 | 2023-08-21 | Ckd株式会社 | 目視検査補助装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7783086B2 (en) * | 2004-03-29 | 2010-08-24 | Sony Corporation | Information processing apparatus and method, recording medium, and program |
TW201206153A (en) * | 2010-03-26 | 2012-02-01 | Sony Corp | Image processing apparatus, method, and program |
TWM558943U (zh) * | 2017-11-22 | 2018-04-21 | Aiwin Technology Co Ltd | 運用深度學習技術之智慧影像資訊及大數據分析系統 |
TWI647626B (zh) * | 2017-11-09 | 2019-01-11 | 慧穩科技股份有限公司 | Intelligent image information and big data analysis system and method using deep learning technology |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08136466A (ja) * | 1994-11-10 | 1996-05-31 | Dainippon Screen Mfg Co Ltd | 画像パターン検査装置 |
JP4350553B2 (ja) | 2004-02-27 | 2009-10-21 | 株式会社三協 | 錠剤検査システム |
CN107949848B (zh) * | 2015-06-26 | 2022-04-15 | 英特尔公司 | 数字图像中的缺陷检测和校正 |
JP2017097718A (ja) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | 識別処理装置、識別システム、識別処理方法、およびプログラム |
US10181185B2 (en) * | 2016-01-11 | 2019-01-15 | Kla-Tencor Corp. | Image based specimen process control |
JP2017217784A (ja) * | 2016-06-06 | 2017-12-14 | フロイント産業株式会社 | 固形製剤印刷機及び固形製剤印刷方法 |
JP2018079240A (ja) * | 2016-11-18 | 2018-05-24 | 株式会社Screenホールディングス | 印刷装置およびバリデーション方法 |
US10593033B2 (en) * | 2017-06-27 | 2020-03-17 | Nec Corporation | Reconstructor and contrastor for medical anomaly detection |
US11328421B2 (en) * | 2017-10-31 | 2022-05-10 | Nec Corporation | Image processing apparatus, image processing method, and storage medium |
CN108961217B (zh) * | 2018-06-08 | 2022-09-16 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
-
2019
- 2019-01-31 JP JP2019015884A patent/JP7312560B2/ja active Active
- 2019-11-08 WO PCT/JP2019/043948 patent/WO2020158098A1/ja active Application Filing
- 2019-11-08 CN CN201980077404.1A patent/CN113168686A/zh active Pending
- 2019-11-27 TW TW108143219A patent/TWI724655B/zh active
-
2023
- 2023-07-10 JP JP2023113020A patent/JP7496458B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7783086B2 (en) * | 2004-03-29 | 2010-08-24 | Sony Corporation | Information processing apparatus and method, recording medium, and program |
TW201206153A (en) * | 2010-03-26 | 2012-02-01 | Sony Corp | Image processing apparatus, method, and program |
TWI647626B (zh) * | 2017-11-09 | 2019-01-11 | 慧穩科技股份有限公司 | Intelligent image information and big data analysis system and method using deep learning technology |
TWM558943U (zh) * | 2017-11-22 | 2018-04-21 | Aiwin Technology Co Ltd | 運用深度學習技術之智慧影像資訊及大數據分析系統 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI838271B (zh) * | 2023-06-09 | 2024-04-01 | 財團法人國家實驗研究院 | 烘焙炊蒸食品半成品的完成度管控方法及系統 |
Also Published As
Publication number | Publication date |
---|---|
JP2023126337A (ja) | 2023-09-07 |
JP7312560B2 (ja) | 2023-07-21 |
TW202032498A (zh) | 2020-09-01 |
CN113168686A (zh) | 2021-07-23 |
JP2020123238A (ja) | 2020-08-13 |
JP7496458B2 (ja) | 2024-06-06 |
WO2020158098A1 (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI724655B (zh) | 資訊處理裝置、資訊處理方法、資訊處理程式、藉由深度學習而學習之學習方法及安裝有學習完成模型之資訊處理裝置 | |
JP6357351B2 (ja) | 錠剤印刷装置および錠剤印刷方法 | |
WO2015198754A1 (ja) | 錠剤印刷装置および錠剤印刷方法 | |
JP6325699B2 (ja) | 錠剤印刷装置 | |
JP6978970B2 (ja) | 印刷装置および印刷方法 | |
KR20200034594A (ko) | 반송 장치 및 반송 방법 | |
JP2022171997A (ja) | 錠剤印刷装置および錠剤印刷方法 | |
WO2019155680A1 (ja) | 判定装置、判定方法、錠剤印刷装置および錠剤印刷方法 | |
JP6633704B2 (ja) | 錠剤印刷方法 | |
JP2018079240A (ja) | 印刷装置およびバリデーション方法 | |
JP2019189379A (ja) | 振動フィーダおよび印刷装置 | |
JP6932151B2 (ja) | 錠剤印刷装置 | |
JP7451364B2 (ja) | 錠剤印刷装置および錠剤印刷方法 | |
JP7061490B2 (ja) | 搬送装置および搬送方法 | |
JP6397061B2 (ja) | 錠剤印刷方法 | |
JP2019202506A (ja) | 印刷方法、印刷装置、および粒状物 | |
TWI853651B (zh) | 片劑印刷裝置及片劑印刷方法 | |
TWI836559B (zh) | 錠劑印刷裝置及錠劑印刷方法 | |
JP6979999B2 (ja) | 錠剤印刷方法 | |
JP2022170002A (ja) | 領域判定方法、錠剤検査方法、および錠剤検査装置 | |
JP2023036528A (ja) | 錠剤印刷装置及び錠剤印刷方法 | |
KR20240019722A (ko) | 정제 인쇄 장치 및 정제 인쇄 방법 | |
JP2021112345A (ja) | 印刷装置 | |
JP2024128532A (ja) | 検査方法および検査装置 | |
JP2022019772A (ja) | 錠剤印刷装置 |