KR20220104853A - 2차원 및 3차원 이미지를 이용한 ai 딥러닝을 통한 자동차 타이어 외관 자동검사장치 - Google Patents
2차원 및 3차원 이미지를 이용한 ai 딥러닝을 통한 자동차 타이어 외관 자동검사장치 Download PDFInfo
- Publication number
- KR20220104853A KR20220104853A KR1020210007120A KR20210007120A KR20220104853A KR 20220104853 A KR20220104853 A KR 20220104853A KR 1020210007120 A KR1020210007120 A KR 1020210007120A KR 20210007120 A KR20210007120 A KR 20210007120A KR 20220104853 A KR20220104853 A KR 20220104853A
- Authority
- KR
- South Korea
- Prior art keywords
- column
- tire
- images
- camera
- deep learning
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000012360 testing method Methods 0.000 title claims description 30
- 238000000034 method Methods 0.000 title claims description 14
- 230000007547 defect Effects 0.000 claims abstract description 47
- 238000007689 inspection Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000002950 deficient Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 239000011324 bead Substances 0.000 abstract description 6
- 238000004073 vulcanization Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 229920001971 elastomer Polymers 0.000 description 3
- 239000005060 rubber Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 244000043261 Hevea brasiliensis Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 235000021355 Stearic acid Nutrition 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000003712 anti-aging effect Effects 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- ZLNQQNXFFQJAID-UHFFFAOYSA-L magnesium carbonate Chemical compound [Mg+2].[O-]C([O-])=O ZLNQQNXFFQJAID-UHFFFAOYSA-L 0.000 description 1
- 229910000021 magnesium carbonate Inorganic materials 0.000 description 1
- 239000001095 magnesium carbonate Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920003052 natural elastomer Polymers 0.000 description 1
- 229920001194 natural rubber Polymers 0.000 description 1
- QIQXTHQIDYTFRH-UHFFFAOYSA-N octadecanoic acid Chemical compound CCCCCCCCCCCCCCCCCC(O)=O QIQXTHQIDYTFRH-UHFFFAOYSA-N 0.000 description 1
- OQCDKBAXFALNLD-UHFFFAOYSA-N octadecanoic acid Natural products CCCCCCCC(C)CCCCCCCCC(O)=O OQCDKBAXFALNLD-UHFFFAOYSA-N 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000012744 reinforcing agent Substances 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000008117 stearic acid Substances 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- 229920003051 synthetic elastomer Polymers 0.000 description 1
- 239000005061 synthetic rubber Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/02—Tyres
- G01M17/027—Tyres using light, e.g. infrared, ultraviolet or holographic techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
- B60C25/00—Apparatus or tools adapted for mounting, removing or inspecting tyres
- B60C25/002—Inspecting tyres
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/02—Tyres
- G01M17/022—Tyres the tyre co-operating with rotatable rolls
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 관한 것으로, 더욱 상세하게는 자동차 타이어의 외관을 검사하기 위해서 2차원 및 3차원 카메라를 동시에 사용하여 이미지를 획득하고, AI 딥러닝을 이용한 불량데이터베이스와 대조하여 결함을 빠르게 찾을 수 있고, 이를 다시 학습데이터로 인식하여 더욱더 정확하고 빠르게 검사가 이루어지도록한 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 관한 것이다.
본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 의하면 타이어의 내부, 비드, 사이드월 및 트레드를 동시에 촬영하고 이미지를 획득하기 때문에 타이어에서 발생할 수 있는 각 결함을 쉽게 찾을 수 있고, 타이어의 곡면된 부분에는 상,하 또는 상,중하로 나누어서 각각 이를 촬영하고, 외곡이 발생하는 부분은 2차원카메라로 결함을 찾을 수 있으며, 타이어의 각 부분을 2차원카메라와 3차원카메라를 사용하여 촬상하기 때문에 타이어에서 발생할 수 있는 많은 결함을 발견할 수 있고, 각 카메라에 의해서 촬상된 촬상된 이미지는 AI 학습을 통해서 학습된 결합들과 빠르게 대조될 수 있어서 결함데이터를 찾는 것이 매우 빠른 등의 효과가 발생한다.
본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 의하면 타이어의 내부, 비드, 사이드월 및 트레드를 동시에 촬영하고 이미지를 획득하기 때문에 타이어에서 발생할 수 있는 각 결함을 쉽게 찾을 수 있고, 타이어의 곡면된 부분에는 상,하 또는 상,중하로 나누어서 각각 이를 촬영하고, 외곡이 발생하는 부분은 2차원카메라로 결함을 찾을 수 있으며, 타이어의 각 부분을 2차원카메라와 3차원카메라를 사용하여 촬상하기 때문에 타이어에서 발생할 수 있는 많은 결함을 발견할 수 있고, 각 카메라에 의해서 촬상된 촬상된 이미지는 AI 학습을 통해서 학습된 결합들과 빠르게 대조될 수 있어서 결함데이터를 찾는 것이 매우 빠른 등의 효과가 발생한다.
Description
본 발명은 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 관한 것으로, 더욱 상세하게는 자동차 타이어의 외관을 검사하기 위해서 2차원 및 3차원 카메라를 동시에 사용하여 이미지를 획득하고, AI 딥러닝을 이용한 불량데이터베이스와 대조하여 결함을 빠르게 찾을 수 있고, 이를 다시 학습데이터로 인식하여 더욱더 정확하고 빠르게 검사가 이루어지도록한 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 관한 것이다.
타이어(영어: tire, 문화어: 다이야)는 자동차, 자전거 둥의 바퀴 굴통에 끼우는 원 모양의 테이다.
상기 타이어의 원료는 고무재로 천연고무를 가장 많이 사용하고 있으나, 최근에는 합성고무도 쓰이고 있다.
상기 타이어는 원료를 범버리믹서라고 하는 교반(攪拌) 등의 일을 하는 기계나 롤을 가지고 반죽하고, 가황제인 유황이나 가황 촉진제, 보강제(補?劑)인 카본 블랙, 아연화(亞鉛華)·백도토(白陶土)·탄산마그네슘, 거기에 노화 방지제·착색제, 그 밖에 반죽이나 성형(成型)을 용이하게 하기 위한 스테아린산·파라핀을 첨가형 제조한다.
상기와 같이 반죽된 고무원료는 시트로 나오게 되고, 이러한 시트에 보강을 위한 타이어코트나 금속선을 여러 겹으로 붙인 후 가황가마에 넣고 가열하고, 성형공정과 가류공정을 동시에 하여 제조된다.
상기 가류공정은 가류기에 투입하여 일정시간동안 열과 압력을 가하는 1차가류공정을 거치도록 함으로써 일정한 탄성과 강도를 갖추게 되는 한편, 1차가류가 끝난 타이어는 가류시 가해진 열과 압력으로 인해 그 내부온도가 약 170 내지 190℃에 이르기 때문에 내부 온도가 일정온도로 떨어질때 까지 타이어 내부에 일정한 압력을 유지하면서 상온에서 냉각시키는 후가류를 실시하게 된다
상기 타이어는 여러겹으로 형성되고, 외부를 감싸는 부분에는 트레드(tred), 숄더(shoulder), 사이드월(sidewall)이 형성되고, 트레드에는 그루브가 각각 형성되며, 내부에는 인너라이너(인터널)가 형성된다.
제조된 타이어는 여러가지 테스트를 하게 되는데, 주로 균일성(Uniformity) 검사를 하고, 외관검사를 시행하여 이를 데이터로 남기게 된다.
상기 균일성 검사는 런아웃 방식을 많이 사용하는데, 타이어에 하중을 부여하지 않은 상태에서 회전시키어 각각의 재료 칫수의 변동차이를 검사하는 것으로, 초기에 측정된 기초데이터와 완성된 타이어의 결과치를 비교하는 방법이다. .
상기 런아웃 방식의 균일성 검사장치에는 다수개의 레이저발생기가 사용되고, 상기 레이저센서를 인식할 수 있는 카메라가 형성되며, 상기 각각의 카메라로 부터 수집되는 데이터를 분석하는 분석장치가 형성된다.
이러한, 런아웃방식의 타이어의 균일성 검사방법에 관한 것은 대한민국특허청 공개특허공보 제2000-0069959호 또는 등록특허공보 제610681호 등에 개시된 바 있다.
또한, 종래의 타이어 외관 검사방법 및 외관 검사 보조장치는 대한민국 특허청 공개특허번호 제2011-0089231호에 개시바 있다.
상기 타이어는 생산될 때 여러공정을 거치게 되고, 고무재의 특이성으로 인해서 많은 결함과 불량을 포함하게 되는데, 타이어 생산회사는 이러한 불량을 검사하는데 많은 인력과 비용을 지불하고 있다.
종래의 타이어 생산 후 발생하는 결함유형으로는 Air유형, Crack 유형, Cord 이탈&불량유형, 미가류유형, 과가류유형, 두께불량유형, 불균일 또는 변형유형, 색상이상유형, 접합부이상유형, 절단유형, Mold 이상유형, 이물질유형 및 이들이 복합적으로 나타나는 종합유형 등이 있다.
이러한 결합의 유형들은 그 부위별로 비드, 인터널, 외부, 사이드월, 사이드월과 비드 및 트레드에 각각 발생하게 된다.
위의 종류들을 모두 부위별과 각 결함유형들을 모두 감안하여 결함을 발견해야하고, 이러한 결함을 발견하기 위해서는 많은 노력과 시간이 소요된다.
그러나, 종래의 타이어 외관 검사장치 및 타이어 외관 검사방법은 다음과 같은 문제점이 있었다.
(1) 타이어의 외관을 촬영할 때 촬영하는 면이 적어서 수많은 타이어 결함을 찾기가 어렵다.
(2) 타이어의 각 부분을 전체적으로 촬영하여 분석하기 때문에 사이드월과 비드의 연결부분 또는 인터널의 곡면부위의 외곡으로 인하여 결함을 쉽게 찾을 수 없다.
(3) 촬상하는 카메라를 2차원 라인카메라, RGB카메라 또는 3차원카메라를 각각 사용하는데, 일정한 부분은 어떤 한 종류의 카메라만으로 촬상되기 때문에 타이어에 발생할 수 있는 많은 결함을 찾기 어렵다.
(4) 촬상된 이미지에서 결함데이터를 찾는데 시간이 많이 소요되어 처리 속도가 현저히 낮다.
상기한 문제점을 극복하기 위해서, 본 발명은 사각형태로 하단에 높이조절구가 형성되는 베드와;
상기 베드의 가운데에 상하로 이송가능하면서 회전가능한 원형의 테스트베드와;
상기 테스트베드와 이격되도록 베드의 상단모서리에 제1기둥이 형성되고, 상기 제1기둥과 수평하게 형성되어 상하로 이송가능하도록 형성되는 제1컬럼이 형성되며, 상기 제1컬럼에는 슬라이딩가능한 제1암이 형성되고, 상기 제1암의 끝단에는 수직방향으로 촬상하는 적어도 2개의 카메라가 형성되는 사이드월촬상부와;
상기 테스트베드와 이격되도록 베드의 상단모서리에 제2기둥이 형성되고, 상기 제2기둥을 따라서 상하로 이송가능한 제2컬럼이 형성되며, 상기 제2컬럼에는 슬라이딩가능한 'ㄱ'자 형상의 제2암이 형성되고, 상기 제2암의 수직한 부분의 끝단에는 다수개의 카메라가 형성되는 인터널촬상부와;
상기 테스트베드와 이격되도록 베드의 상단모서리에 제3기둥이 형성되고, 상기 제3기둥의 일측에 상하로 이송가능하도록 수평하게 제3컬럼이 형성되며, 상기 제3컬럼의 끝단에는 제3컬럼에 슬라이딩가능하도록 제3암이 형성되며, 상기 제3암의 끝단에는 다수개의 카메라가 형성되는 트레드촬상부와;
상기 베드의 상단에 고정되고, 각 카메라의 위치를 제어하면서 촬상하는 이미지를 획득하고 이를 분석할 수 있는 처리장치가 형성되는 메인처리부로 구성되는 것을 특징으로 한다.
본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 의하면 다음과 같은 효과가 발생한다.
(1) 타이어의 내부, 비드, 사이드월 및 트레드를 동시에 촬영하고 이미지를 획득하기 때문에 타이어에서 발생할 수 있는 각 결함을 쉽게 찾을 수 있다.
(2) 타이어의 곡면된 부분에는 상,하 또는 상,중하로 나누어서 각각 이를 촬영하고, 외곡이 발생하는 부분은 2차원카메라로 결함을 찾을 수 있다.
(3) 타이어의 각 부분을 2차원라인카메라와 3차원카메라 또는 2차원 RGB카메라와 3차원카메라들을 사용하여 촬상하기 때문에 타이어에서 발생할 수 있는 많은 결함을 발견할 수 있다.
(4) 각 카메라에 의해서 촬상된 촬상된 이미지는 AI 학습을 통해서 학습된 결합들과 빠르게 대조될 수 있어서 결함데이터를 찾는 것이 매우 빠르고, 딥러닝방식으로 제조사별로 발생할 수 있는 결함을 빨리 찾을 수 있어서 처리속도가 매우 높다.
도1은 종래의 타이어의 각 부분 명칭을 나타내는 개념도.
도 2는 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치의 개념사시도.
도 3은 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치의 측면 개념도.
도 4는 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치가 평면 개념도.
도 5 내지 도 7은 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 의해서 검출된 결함을 사이드월, 트레드 및 인터널 부분을 각각 나타낸 사진.
도 2는 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치의 개념사시도.
도 3은 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치의 측면 개념도.
도 4는 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치가 평면 개념도.
도 5 내지 도 7은 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 의해서 검출된 결함을 사이드월, 트레드 및 인터널 부분을 각각 나타낸 사진.
본 발명의 구체적인 실시예를 설명하기에 앞서, 본원 명세서의 도면은 본 발명을 보다 명확하게 설명하기 위해서 도면에 도시된 구성요소의 크기나 형상 등은 설명이 명확하게 하도록 하기 위해서 다소 과장되거나 단순화되어 표시될 수 있다.
또한, 본 발명을 명확하게 설명하기 위해서 본 발명의 기술적 사상과는 관계없는 부분의 설명은 생략하였고, 본원 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙여서 설명하였다.
본 발명에서 정의된 용어 및 부호들은 사용자, 운용자 및 작성자에 의해서 임의로 정의되거나, 선택적으로 사용된 용어이기 때문에, 이러한 용어들은 본원 명세서의 전반에 걸친 내용을 토대로 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 하고, 용어자체의 의미로 한정하여서는 안된다.
본 발명은 사각형태로 하단에 높이조절구(110)가 형성되는 베드(100)와; 상기 베드(100)의 가운데에 상하로 이송가능하면서 회전가능한 원형의 테스트베드(200)와;
상기 테스트베드(200)와 이격되도록 베드(100)의 상단모서리에 제1기둥(310)이 형성되고, 상기 제1기둥(310)과 수평하게 형성되어 상하로 이송가능하도록 형성되는 제1컬럼(320)이 형성되며, 상기 제1컬럼(320)에는 슬라이딩가능한 제1암(330)이 형성되고, 상기 제1암(330)의 끝단에는 수직방향으로 촬상하는 적어도 2개의 카메라가 형성되는 사이드월촬상부(300)와;
상기 테스트베드(200)와 이격되도록 베드(100)의 상단모서리에 제2기둥(410)이 형성되고, 상기 제2기둥(410)을 따라서 상하로 이송가능한 제2컬럼(420)이 형성되며, 상기 제2컬럼(420)에는 슬라이딩가능한 'ㄱ'자 형상의 제2암(430)이 형성되고, 상기 제2암(430)의 수직한 부분의 끝단에 다수개의 카메라가 형성되는 인터널촬상부(400)와;
상기 테스트베드(200)와 이격되도록 베드(100)의 상단모서리에 제3기둥(510)이 형성되고, 상기 제3기둥(510)의 일측에 상하로 이송가능하도록 수평하게 제3컬럼(520)이 형성되며, 상기 제3컬럼(520)의 끝단에는 제3컬럼(520)에 슬라이딩가능하도록 제3암(530)이 형성되며, 상기 제3암(530)의 끝단에는 다수개의 카메라가 형성되는 트레드촬상부(500)와;
상기 베드(100)의 상단에 고정되고, 각 카메라의 위치를 제어하면서 촬상하는 이미지를 획득하고 이를 분석할 수 있는 처리장치가 형성되는 메인처리부(600)로 구성된다.
상기 베드(100)의 하단에는 높이를 조절할 수 있는 높이조절구(110)가 형성되고, 전원을 공급할 수 있도록 형성된다.
상기 베드(100)의 상단 가운데에는 하단에 모터(220)가 형성되고, 상기 모터(220)의 축에 의해서 회전가능하도록 형성되는 원형테이블(210)이 형성되는 테스트베드(200)가 형성된다.
상기 원형테이블(210)의 주연부에는 올려지는 타이어(10)의 위치를 고정할 수 있도록 다수개의 스토퍼(212)가 각각 형성된다.
상기 원형테이블(210)은 빛반사가 되지 않도록 표면이 처리되고, 타이어(10)보다는 밝은 색으로 구성된다.
상기 원형테이블(210)은 모터(220)에 의해서 일정방향으로 회전하도록 형성되는데, 모터(220)는 타이밍모터(220)를 사용하여 사이드월촬상부(300), 인터널촬상부(400) 및 트레드촬상부(500)의 모든 카메라가 인식하는 타이밍을 정확히 맞추도록 형성된다.
상기 사이드월촬상부(300)는 제1기둥(310)이 형성되고, 제1기둥(310)에 수평하게 제1컬럼(320)이 형성되며, 상기 제1컬럼(320)에 수평하게 슬라이딩되도록 제1암(330)이 형성된다.
상기 제1암(330)의 끝단에는 수직하단방향으로 촬상하여 사이드월의 상부(솔더)를 촬영할 수 있도록 사이드월상부라인스캐너(340)와 사이드월상부3D카메라(345)가 형성되고, 나란하게 하부를 설치할 수 있도록 사이드월하부라인스캐너(350)와 사이드월하부3D카메라(355)가 각각 형성된다.
상기 사이드월상부라이스캐너와 사이드월하부라인스캐너(350)는 2차원 라인 카메라로, 회전하는 타이어(10)의 사이드월(sidewall)의 상부를 촬상하도록 형성된다.
상기 사이드월상부3D카메라(345)와 사이드월하부3D카메라(355)는 3차원카메라로 레이저를 사용하여 깊이측정을 하는 카메라를 사용한다.
상기 인터널촬상부(400)는 제2기둥(410)이 형성되고, 제2기둥(410)에 수평하게 제2컬럼(420)이 형성되며, 상기 제2컬럼(420)에는 슬라이딩 가능한 'ㄱ'자 형상의 제2암(430)이 형성된다.
상기 제2암(430)의 수평한 부분은 제2컬럼(420)에 수평하게 슬라이딩 가능하도록 형성되고, 제2암(430)의 수직한 부분의 끝단에는 적어도 하나의 인터널3D카메라(440) 일정각도를 이루면서 타이어(10)의 인터널 내부를 촬상하도록 형성된다.
상기 인터널3D카메라(440)는 3개가 형성되는 것이 적당한데, 타이어(10)의 인터널의 절반을 상/중/하로 나누어 촬상하도록 형성된다.
상기 인터널3D카메라(440)들과 이격되도록 2D카메라(450)가 형성되는데, 상기 2D카메라(450)는 컬러로 형성된다.
상기 트레드촬상부(500)는 제3기둥(510)이 형성되고, 상기 제3기둥(510)의 일측에 상하로 이송가능하도록 수평하게 제3컬럼(520)이 형성되며, 상기 제3컬럼(520)에 슬라이딩 가능하도록 제3암(530)이 형성된다.
상기 제3암(530)의 끝단에는 타이어(10)의 트레드부분을 촬상할 수 있도록 트레드라인스캐너와 트레드3D카메라(550)가 각각 형성된다.
상기 트레드라인스캐너는 라인카메라로 타이어(10)의 트레드부분을 2차원(2D)로 촬상한다.
상기 트레드3D카메라(550)는 3D카메라로 레이저를 이용하여 깊이를 측정하면서 촬상하여 3차원이미지를 생성한다.
상기 메인처리부(600)는 다수개의 데이터저장소와, 제어장치 및 AI 딥러닝학습을 통한 결함분석과 학습이 가능한 연산장치가 각각 형성된다.
상기 데이터저장소에는 학습데이터와 테스트데이터가 저장되고 이들이 학습되는데, 상기 학습데이터에는 양품학습데이터와 불량학습데이터가 저장되고, 상기 테스트데이터에는 실제양품테스트데이터, 실제불량테스트데이터 및 가상불량테스트데이터가 저장된다.
여기서, 데이터의 용어는 결함이 있는 타이어(10)에서 확보한 데이터인 불량데이터와, 결함이 없는 타이어(10)에서 확보한 데이터인 양품데이터와, 상기 불량데이터에서 결함영역만을 검출한 데이터인 불량검출데이터 및 양품데이터에서 일정영역만을 검출한 데이터인 양품검출데이터로 정의할 수 있다.
상기 메이처리부는 각 카메라에서 촬상되는 타이어(10)의 이미지에서 결함을 인식하기 위해서 촬상된 이미지를 서멘틱 세그멘테이션(semantic segmentation)하고, 결함을 인식하도록 형성된다.
상기 메인처리부(600)가 결함을 검출하는 방법은 촬상이미지를 획득하는 이미지획득단계와; 상기 이미지획득단계에서 획득된 이미지를 다중계층인공신경네트워크를 이용하여 이미지를 확장컨볼루션(Atrous Convolution)하여 인코딩한 후에 디코더로 디코딩하여 낮은레벨의 영상으로 디코딩하는 디코딩단계와; 상기 이미지변환단계에서 이미지를 확장컨볼루션하여 인코딩하면서 이미지를 계층별로 각각 분류하여 컨볼류션하여 인코딩하는 계층분류인코딩단계와; 상기 계층분류인코딩 후에 이를 중첩하여 최상의 결함이미지를 인코딩하는 이미지확정단계와; 상기 디코딩단계에서 낮은레벨의 영상을 이미지확정단계에서 인코딩된 결함이미지와 함께 딥러닝하여 결함부분을 디텍팅하여 분리하는 결함분리단계로 구성된다.
상기 딥러닝에 사용되는 알고리즘은 ResNet DUC+HDC, DeepLab V3+, RefineNet, HRNet 또는 EfficientPS를 사용하고, 분리된 결함이미지는 학습알고리즘의 불량검출데이터로 사용될 뿐만 아니라, 불량품과 양품을 구별하는데 사용된다.
상기 메인처리부(600)에서 AI 딥러닝 알고리즘은 불량검출데이터를 이용하여 세트를 구성하는 데이터세트구성단계와; 상기 세트구성단계 후에 양품검출데이터와 비교하여 결함이 있는 불량품과 양품을 구별할 수 있도록 학습하는 학습단계와; 상기 학습단계에서 신경망분류를 통해서 신경망모델을 결정하는 신경망모델결정단계와; 상기 양품데이터와 불량데이터로 테스트세트를 구성하는 테스트세트 구성단계와; 상기 테스트세트를 결함검출방법을 이용하여 이미지에서 결함을 분리하는 분석단계와; 상기 분석단계 후에 신경망모델결정단계에서 결정된 신경망알고리즘을 적용하는 적용단계와; 상기 적용단계 후에 테스트세트의 타이어(10)가 양품인지 불량품인지를 출력하는 결정단계로 구성된다.
도5 내지 도 7은 본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어(10) 외관 자동검사장치에 의해서 분리해낸 결함들을 나타낸 사진으로, 사진들에 의하면 3차원카메라 감지하지 못하는 결함은 2차원 카메라가, 2차원카메라가 감지하니 못하는 결함은 3차원카메라가 감지할 수 있고, 두종류모두에 감지되는 경우도 있다.
도 5는 타이어(10)의 사이드월을 촬영하여 서멘틱 세그멘테이션(semantic segmentation)한 상태의 이미지이고, 이러한 이미지는 신경망모듈에 의해서 양품데이터와 불량데이터와의 대비 및 가중치값에 의해서 주어지는 최종적인 이미지로 불량품과 양품을 구별한다.
도 6은 타이어(10)의 트레드부분의 이미지를 나타낸 것이고, 도 7은 타이어(10)의 인터널(내부)를 촬상하고 서멘틱 세그멘테이션한 이미지이다.
상기와 같이 2차원 3차원카메라를 다양하게 구축하여 이미지를 촬상하고, 많은 양의 데이터를 가지고 있더라도 AI 딥러닝을 통해서 결함부위를 쉽게 특정할 수 있어서 매우 빠르게 불량품과 양품을 구별할 수 있는 등의 효과가 나타난다.
본 발명의 바람직한 실시예로 형성된 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치에 의하면 타이어의 내부, 비드, 사이드월 및 트레드를 동시에 촬영하고 이미지를 획득하기 때문에 타이어에서 발생할 수 있는 각 결함을 쉽게 찾을 수 있고, 타이어의 곡면된 부분에는 상,하 또는 상,중하로 나누어서 각각 이를 촬영하고, 외곡이 발생하는 부분은 2차원카메라로 결함을 찾을 수 있으며, 타이어의 각 부분을 2차원라인카메라와 3차원카메라 또는 2차원 RGB카메라와 3차원카메라들을 사용하여 촬상하기 때문에 타이어에서 발생할 수 있는 많은 결함을 발견할 수 있고, 각 카메라에 의해서 촬상된 촬상된 이미지는 AI 학습을 통해서 학습된 결합들과 빠르게 대조될 수 있어서 결함데이터를 찾는 것이 매우 빠르고, 딥러닝방식으로 제조사별로 발생할 수 있는 결함을 빨리 찾을 수 있어서 처리속도가 매우 높은 등의 효과가 발생한다.
본 발명은 첨부된 도면을 참조하여 바람직한 실시 예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
10 : 타이어
100 : 베드 110 : 높이조절구
200 : 테스트베드 210 : 원형테이블
212 : 스토퍼 220 : 모터
300 : 사이드월촬상부 310 : 제1기둥
320 : 제1컬럼 330 : 제1암
340 : 사이드월상부라인스캐너 345 : 사이드월상부3D카메라
350 : 사이드월하부라인스캐너 355 : 사이드월하부3D카메라
400 : 인터널촬상부 410 : 제2기둥
420 ; 제2컬럼 430 : 제2암
440 : 인터널3D카메라 450 : 2D카메라
500 : 트레드촬상부 510 : 제3기둥
520 : 제3컬럼 530 : 제3암
540 : 트레드라인스캐너 550 : 트레드3D카메라
600 : 메인처리부
100 : 베드 110 : 높이조절구
200 : 테스트베드 210 : 원형테이블
212 : 스토퍼 220 : 모터
300 : 사이드월촬상부 310 : 제1기둥
320 : 제1컬럼 330 : 제1암
340 : 사이드월상부라인스캐너 345 : 사이드월상부3D카메라
350 : 사이드월하부라인스캐너 355 : 사이드월하부3D카메라
400 : 인터널촬상부 410 : 제2기둥
420 ; 제2컬럼 430 : 제2암
440 : 인터널3D카메라 450 : 2D카메라
500 : 트레드촬상부 510 : 제3기둥
520 : 제3컬럼 530 : 제3암
540 : 트레드라인스캐너 550 : 트레드3D카메라
600 : 메인처리부
Claims (5)
- 사각형태로 하단에 높이조절구(110)가 형성되는 베드(100)와; 상기 베드(100)의 가운데에 상하로 이송가능하면서 회전가능한 원형의 테스트베드(200)와;
상기 테스트베드(200)와 이격되도록 베드(100)의 상단모서리에 제1기둥(310)이 형성되고, 상기 제1기둥(310)과 수평하게 형성되어 상하로 이송가능하도록 형성되는 제1컬럼(320)이 형성되며, 상기 제1컬럼(320)에는 슬라이딩가능한 제1암(330)이 형성되고, 상기 제1암(330)의 끝단에는 수직방향으로 촬상하는 적어도 2개의 카메라가 형성되는 사이드월촬상부(300)와;
상기 테스트베드(200)와 이격되도록 베드(100)의 상단모서리에 제2기둥(410)이 형성되고, 상기 제2기둥(410)을 따라서 상하로 이송가능한 제2컬럼(420)이 형성되며, 상기 제2컬럼(420)에는 슬라이딩가능한 'ㄱ'자 형상의 제2암(430)이 형성되고, 상기 제2암(430)의 수직한 부분의 끝단에 다수개의 카메라가 형성되는 인터널촬상부(400)와;
상기 테스트베드(200)와 이격되도록 베드(100)의 상단모서리에 제3기둥(510)이 형성되고, 상기 제3기둥(510)의 일측에 상하로 이송가능하도록 수평하게 제3컬럼(520)이 형성되며, 상기 제3컬럼(520)의 끝단에는 제3컬럼(520)에 슬라이딩가능하도록 제3암(530)이 형성되며, 상기 제3암(530)의 끝단에는 다수개의 카메라가 형성되는 트레드촬상부(500)와;
상기 베드(100)의 상단에 고정되고, 각 카메라의 위치를 제어하면서 촬상하는 이미지를 획득하고 이를 분석할 수 있는 처리장치가 형성되는 메인처리부(600)로 구성되는 것을 특징으로 하는 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치. - 제 1항에 있어서,
상기 사이드월촬상부에는 사이드월상부라인스캐너(340)와 사이드월상부3D카메라(345)가 형성되고, 나란하게 하부를 설치할 수 있도록 사이드월하부라인스캐너(350)와 사이드월하부3D카메라(355)가 각각 형성되는 것을 특징으로 하는 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치. - 제 1항에 있어서,
상기 트레드촬상부에는 라인카메라인 트레드라인스캐너와 트레드3D카메라(550)가 각각 형성되는 것을 특징으로 하는 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치. - 제 1항에 있어서,
상기 인터널촬상부에는 3개의 인터널3D카메라(440) 일정각도를 이루면서 타이어(10)의 인터널 내부를 촬상하도록 형성되고, 하나의 컬러 2D카메라(450)가 형성되는 것을 특징으로 하는 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치. - 제 1항에 있어서,
상기 메인처리부는 처리장치가 형성되는데, 상기 처리장치는 AI딥러닝 알고리즘이 적용되는데, AI 딥러닝 알고리즘은 불량검출데이터를 이용하여 세트를 구성하는 데이터세트구성단계와; 상기 세트구성단계 후에 양품검출데이터와 비교하여 결함이 있는 불량품과 양품을 구별할 수 있도록 학습하는 학습단계와; 상기 학습단계에서 신경망분류를 통해서 신경망모델을 결정하는 신경망모델결정단계와; 상기 양품데이터와 불량데이터로 테스트세트를 구성하는 테스트세트 구성단계와; 상기 테스트세트를 결함검출방법을 이용하여 이미지에서 결함을 분리하는 분석단계와; 상기 분석단계 후에 신경망모델결정단계에서 결정된 신경망알고리즘을 적용하는 적용단계와; 상기 적용단계 후에 테스트세트의 타이어(10)가 양품인지 불량품인지를 출력하는 결정단계로 구성되는 것을 특징으로 하는 2차원 및 3차원 이미지를 이용한 AI 딥러닝을 통한 자동차 타이어 외관 자동검사장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210007120A KR102536019B1 (ko) | 2021-01-19 | 2021-01-19 | 2차원 및 3차원 이미지를 이용한 ai 딥러닝을 통한 자동차 타이어 외관 자동검사장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210007120A KR102536019B1 (ko) | 2021-01-19 | 2021-01-19 | 2차원 및 3차원 이미지를 이용한 ai 딥러닝을 통한 자동차 타이어 외관 자동검사장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220104853A true KR20220104853A (ko) | 2022-07-26 |
| KR102536019B1 KR102536019B1 (ko) | 2023-05-26 |
Family
ID=82609573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210007120A KR102536019B1 (ko) | 2021-01-19 | 2021-01-19 | 2차원 및 3차원 이미지를 이용한 ai 딥러닝을 통한 자동차 타이어 외관 자동검사장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102536019B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024049195A1 (ko) * | 2022-08-31 | 2024-03-07 | 주식회사 엘지에너지솔루션 | 배터리의 외관 검사를 위한 데이터 처리 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190118614A (ko) * | 2017-02-14 | 2019-10-18 | 테크나 오토매지온 이 콘트롤로 에스알엘 | 제조 공정의 마지막 단계에서 타이어 상의 결함을 검출하고 검사하기 위한 장치 |
-
2021
- 2021-01-19 KR KR1020210007120A patent/KR102536019B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190118614A (ko) * | 2017-02-14 | 2019-10-18 | 테크나 오토매지온 이 콘트롤로 에스알엘 | 제조 공정의 마지막 단계에서 타이어 상의 결함을 검출하고 검사하기 위한 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024049195A1 (ko) * | 2022-08-31 | 2024-03-07 | 주식회사 엘지에너지솔루션 | 배터리의 외관 검사를 위한 데이터 처리 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102536019B1 (ko) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10775273B2 (en) | Method and line for checking tyres for vehicle wheels | |
| US9719944B2 (en) | Method and apparatus for controlling tyres in a tyre production line | |
| US10989628B2 (en) | Method and line for checking tyres for vehicle wheels | |
| JP7248362B2 (ja) | 製造工程の最後でタイヤの欠陥を検出および検査する機器とその方法 | |
| EP1995553B1 (en) | System and method for identifying a feature of a workpiece | |
| JP5019849B2 (ja) | タイヤの表面検査方法および装置 | |
| RU2737564C2 (ru) | Способ и станция контроля шин для колес транспортных средств | |
| KR101916448B1 (ko) | 자동차 리어램프용 자동 검사 시스템 | |
| JP2019027826A (ja) | 欠陥検査方法及び欠陥検査装置 | |
| KR102536019B1 (ko) | 2차원 및 3차원 이미지를 이용한 ai 딥러닝을 통한 자동차 타이어 외관 자동검사장치 | |
| US7903865B2 (en) | Automatic optical inspection system and method | |
| KR102589480B1 (ko) | Ai 딥러닝을 이용한 자동차 타이어 외관 자동검사방법 | |
| KR102316307B1 (ko) | 타이어의 측면 인쇄 정보 및 결함을 검출하는 장치 | |
| KR102473365B1 (ko) | 머신러닝을 이용한 타이어 검사 시스템 및 이를 이용한 타이어 검사 방법 | |
| KR101754631B1 (ko) | 3d 카메라를 이용한 타이어 반제품 및 성형 타이어 품질측정시스템 및 이를 이용한 품질측정방법 | |
| CN114046746A (zh) | 一种车辆轮胎磨损3d扫描在线光学检测装置及检测方法 | |
| CN117929410A (zh) | 一种轮胎内部瑕疵检测设备与方法 | |
| JP2018044808A (ja) | スピュー特定方法、ビード部の検査方法、およびビード部の検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |