KR20230101531A - 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 - Google Patents
3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 Download PDFInfo
- Publication number
- KR20230101531A KR20230101531A KR1020210191700A KR20210191700A KR20230101531A KR 20230101531 A KR20230101531 A KR 20230101531A KR 1020210191700 A KR1020210191700 A KR 1020210191700A KR 20210191700 A KR20210191700 A KR 20210191700A KR 20230101531 A KR20230101531 A KR 20230101531A
- Authority
- KR
- South Korea
- Prior art keywords
- tire
- image
- character
- embossed
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000010339 dilation Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000005429 filling process Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010330 laser marking Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/0031—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/164—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Character Discrimination (AREA)
Abstract
본 발명은 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법에 관한 것으로, a) 타이어의 측면 3D 이미지 데이터인 고도 데이터를 전처리하여 2D 이미지로 렌더링하는 단계와, b) 렌더링된 이미지에서 표면 영역을 검출하는 단계와, c) 검출된 표면 영역을 이진화하여 배경과 문자를 분리하는 단계와, d) 분리된 문자 영역을 인식하는 단계를 포함할 수 있다.
Description
본 발명은 타이어의 양각 문자 인식 방법에 관한 것으로, 더 상세하게는 3D 레이저 프로파일러를 이용하여 문자를 인식하는 방법에 관한 것이다.
일반적으로, OCR(Optical Character Recognition)은 문자의 형상 이미지를 문자로 인식하는 기술로 인쇄된 문서를 디지털로 변환하거나 영수증, 신분증 스캔, 차량의 번호판 인식과 같이 다양한 분야에 OCR 기술이 응용되고 있다.
제조업의 공장 자동화에도 OCR 기술은 매우 밀접한 연관이 있는데 제품에 마킹 문자를 읽어 제품의 종류를 식별할 뿐만 아니라 마킹이 정상적으로 찍히지 않은 불량품을 선별하는 데 사용된다.
공장 자동화에 필수적인 머신 비전은 광학 장치를 이용해서 얻은 데이터를 분석함으로 의사결정을 하는 시스템을 말한다. 머신비전은 사람이 직접 육안으로 검사하는 방법에 비해 훨씬 많은 양의 제품을 측정 및 검사를 할 수 있고 일정한 성능을 보장해 생산성뿐 아니라 품질 상승, 비용 절감에 큰 도움을 주고 있다.
품질 관리를 모니터링하기 위해 기존의 재고 관리를 위해 사용된 바코드에 서 확장해 제조업체, 로트번호, 일련번호, 제품 규격과 같은 정보를 제품에 기록하기 시작했는데 이를 통해 공정 제어를 모니터링하고 불량 추적, 원인 분석에 사용된다.
이는 문자 정보를 읽어 제품을 인식하는 OCR 기술을 넘어서 제품에 기록된 다양한 식별 코드가 정상적으로 기록되거나 제조 흐름을 파악하기 위한 OCV(Optical Character Verification)기술로 사용된다.
광학 문자 검증(Optical Character Verification)은 생산한 제품에 인쇄, 각인된 문자를 확인하고 코드 마킹의 오류를 수정, 보정하는 시스템이다. OCR의 경우 문자 패턴에서 비교를 기반으로 문자열이 아닌 단일 문자를 인식한다. OCV의 경우 문자열 패턴에 대해서 학습하며 이를 기반으로 문자를 검증하는 방법을 사용한다. 문자 단일이 아닌 전체적인 경향을 학습해서 문자를 인식하는 OCV는 제조업에서 매우 중요한데 제품 규격, 코드, 상품명, 일련번호가 무작위 문자가 아닌 일정한 규격과 사전에 데이터베이스에서 저장된 문자열을 사용하기 때문이다.
이는 코드를 제품에 인쇄하는 과정에서 발생하는 오류를 전, 후 문자열을 비교해서 보완하는 효과를 얻을 수 있다.
제품번호와 같은 2D 코드는 제품 또는 개별 부품 추적하기 위해 자동차 산업, 의료 기술 또는 전자 산업에서 사용되고 있다. 데이터 매트릭스 또는 바코드와 같은 코드에는 부품 특성, 생산 데이터, 배치 번호 및 생산 이력과 같은 정보가 포함된다. 이와 같은 부품 마킹은 간단한 읽을 수 있어야 하며 카메라 혹은 기타 광학 장비를 이용해서 읽을 수 있을 뿐만 아니라 외부 환경이 쉽게 지워지지 않는 내구성도 필요하다. 코드를 마킹하는 방법은 크게 몇가지 방법이 있는데 제품 포장지에 직접 인쇄하거나 라벨을 부착하는 방법으로 할 수 있으며 금속, 플라스틱에는 레이저 마킹을 사용할 수 있다.
그러나 고무로 이루어진 타이어는 레이저나 잉크를 사용해서 마킹을 하기 어렵다.
또한, 타이어에 바코드를 적용하여 인식하는 기술이 등록특허 10-0325062호 등에 기재되어 있으나, 타이어의 제품 일련번호에 해당하는 바코드는 라벨을 부착하는 방법으로 마킹하지만 이 문제는 타이어를 사용하면서 오물이나 얼룩에 의해 인식이 어렵거나 라벨이 탈착될 위험성이 있다.
그런 이유로 DOT 코드, 규격 코드, 몰드 번호는 고무 표면에 양각으로 새기고 있으며 양각 문자로 새긴 타이어 코드는 주행 중에 노출되는 외부 환경에 매우 강인하고 오물로 인한 오인식이 적은 장점이 있다.
그러나 고무 표면에 양각으로 새긴 문자는 자동으로 인식하기가 어렵다는 문제점이 있었다.
상기와 같은 문제점을 감안한 본 발명이 해결하고자 하는 과제는, 타이어의 표면에 양각된 문자를 인식할 수 있는 방법을 제공함에 있다.
상기와 같은 기술적 과제를 해결하기 위한 본 발명 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법은, a) 타이어의 측면 3D 이미지 데이터인 고도 데이터를 전처리하여 2D 이미지로 렌더링하는 단계와, b) 렌더링된 이미지에서 표면 영역을 검출하는 단계와, c) 검출된 표면 영역을 이진화하여 배경과 문자를 분리하는 단계와, d) 분리된 문자 영역을 인식하는 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 a) 단계는, 양각 문자 주변의 데이터를 보완하는 홀 필링 과정과, 홀 필링된 이미지를 차영상 기법으로 표면을 추출하는 과정을 포함할 수 있다.
본 발명의 실시예에서, 상기 b) 단계는, 특정한 문자를 포함하는 문자 영역의 검색을 위하여 실시간 객체 탐지 딥러닝 모델인 YOLO를 사용하여 학습하는 것일 수 있다.
본 발명의 실시예에서, 상기 c) 단계는, 문자 영역의 노이즈를 제거하는 과정과, 노이즈가 제거된 문자 영역을 이진화 처리하는 과정을 포함할 수 있다.
본 발명의 실시예에서, 상기 노이즈를 제거하는 과정은 비등방성 확산 필터를 사용하고, 상기 이진화 처리하는 과정은 조건부 팽창연산(conditional dilation)을 사용할 수 있다.
본 발명은, 3D 레이저 프로파일러로 타이어의 측면을 스캔하여, 이미지를 획득하고, 2D 이미지로 전처리 및 렌더링하여, 문자 영역을 확인하고, 다시 렌더링 이미지를 이진화 및 문자인식 과정을 통해, 양각된 문자를 인식함으로써, 바코드 등 다른 수단을 사용하지 않고도 타이어의 정보를 확인할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법의 순서도이다.
도 2는 타이어의 측면 고도 데이터의 레스터 이미지이다.
도 3은 홀 필링 이전의 데이터 분포도이다.
도 4는 홀 필링 이후의 데이터 분포도이다.
도 5는 데이터 필링 이전의 3D 모델 이미지이다.
도 6은 데이터 필링 이후의 3D 모델 이미지이다.
도 7은 표면 영역 추출 후 이미지이다.
도 8은 렌더링 이미지에서 특정한 문자를 포함하는 문자 영역의 예시도이다.
도 9는 문자와 배경을 분리한 이진 이미지이다.
도 10은 문자 영역 검출 결과 이미지이다.
도 11은 노이즈를 포함하는 렌더링 이미지의 예시도이다.
도 12는 노이즈가 제거된 렌더링 이미지의 예시도이다.
도 13은 전역 이진화 처리된 이미지의 예시도이다.
도 14는 적응형 이진화 처리된 이미지의 예시도이다.
도 15는 본 발명에서 사용한 조건부 팽창연산 처리된 이미지의 예시도이다.
도 2는 타이어의 측면 고도 데이터의 레스터 이미지이다.
도 3은 홀 필링 이전의 데이터 분포도이다.
도 4는 홀 필링 이후의 데이터 분포도이다.
도 5는 데이터 필링 이전의 3D 모델 이미지이다.
도 6은 데이터 필링 이후의 3D 모델 이미지이다.
도 7은 표면 영역 추출 후 이미지이다.
도 8은 렌더링 이미지에서 특정한 문자를 포함하는 문자 영역의 예시도이다.
도 9는 문자와 배경을 분리한 이진 이미지이다.
도 10은 문자 영역 검출 결과 이미지이다.
도 11은 노이즈를 포함하는 렌더링 이미지의 예시도이다.
도 12는 노이즈가 제거된 렌더링 이미지의 예시도이다.
도 13은 전역 이진화 처리된 이미지의 예시도이다.
도 14는 적응형 이진화 처리된 이미지의 예시도이다.
도 15는 본 발명에서 사용한 조건부 팽창연산 처리된 이미지의 예시도이다.
본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.
'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
본 발명은 타이어의 양각 문자를 자동 인식하기 위한 방법에 관한 것으로, 3D 이미지를 획득하기 위한 레이저 프로파일러와, 획득된 이미지를 다양한 방법으로 처리하고, 문자를 인식하기 위한 컴퓨팅 장치를 포함하는 시스템에 의해 수행된다.
특히, 본 발명에서 언급되는 각 단계 또는 과정은 컴퓨팅 장치의 프로세서에서 수행되는 것으로 이해되어야 한다.
이하에서는, 도면을 참조하여 본 발명의 일실시예에 따른 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법에 대하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법의 순서도이다.
도 1을 참조하면 본 발명은, 3D 레이저 프로파일러로 검출된 타이어 측면의 고도 데이터(Height Map)을 전처리하여, 2D 이미지로 변환하는 단계(S11)와, YOLO 학습을 통해 문자 영역을 탐색하는 단계(S12)와, 문자 영역을 이진화하는 단계(S13)와, 이진화된 문자 영역에서 문자를 인식하는 단계(S14)를 포함한다.
이하, 상기와 같이 구성되는 본 발명 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법의 구성과 작용에 대하여 보다 상세히 설명한다.
먼저, S11단계와 같이 3D 레이저 프로파일러로 검출된 타이어 측면의 고도 데이터(Height Map)을 전처리하여, 2D 이미지로 변환한다.
3D 레이저 프로파일러로 고도 데이터를 획득하는 방법에 대하여 좀 더 구체적으로 설명하면, 3D 레이저 프로파일러를 포함하는 외관 검사기로 타이어의 측면(Sidewall)을 촬영한다. 통상 외관 검사기는 내경이 15 내지 20인치인 타이어를 측정할 수 있다.
이때 타이어는 회전 가능한 정반 상에서 분당 1 내지 6회 회전한다.
타이어의 측면과 3D 프로파일러 사이의 거리는 500mm 이격된 것으로 할 수 있다.
이와 같은 장치에서 3D 프로파일러는 타이어 측면의 고도 데이터를 측정하며, X축과 Y축의 해상도는 일반적인 이미지의 해상도와 다른 개념이며, 피사체와 카메라의 거리 및 속도에 따라 결정된다.
X축 해상도는 라인에서 픽셀과 픽셀 간의 거리로 피사체인 타이어 측면과 3D 프로파일러의 거리에 반비례한다. Y축 해상도는 3D 프로파일러가 라인과 라인 사이의 이동 거리로 물체가 느리게 이동할수록 Y축 샘플링 간격이 줄어들어 보다 촘촘하게 스캔이 가능하며, 고도 데이터의 Y 해상도 또한 늘어난다.
도 2에는 타이어의 측면 고도 데이터의 레스터 이미지를 도시하였다.
이와 같은 고도 데이터를 일반적인 이미지 뷰어로 확인하면, 대략적인 형상만 식별할 수 있으며, 타이어의 표면에 문자를 식별하기 어렵다.
그 이유는 타이어의 높이 데이터는 unsigned 16bit 정수형으로 0 ~ 65535 범위를 가지고 있으나 디스플레이 장치에서 표시하는 과정에서 8bit인 0 ~ 255 범위로 스케일링하는 과정에서 자잘한 표면 데이터가 소실되기 때문이다. 즉, 타이어 측면의 양각 문자의 고저차는 1mm 내외로 고도 데이터에서 픽셀 차이는 20~25에 불과한데 이를 8bit로 스케일링하는 경우 표면 높이 정보는 거의 소실된다.
따라서, 3D 데이터인 고도 데이터를 2D 이미지로 전처리를 통해 렌더링한다.
렌더링 방법은 홀 필링 과정, 표면 데이터만 추출하는 필터링 과정을 포함할 수 있다.
각 과정을 좀 더 구체적으로 설명한다.
- 홀 필링(hole filling)
3D 프로파일러는 검사 표면의 각도가 센서와 레이저의 각도보다 높은 경우 레이저가 가려져서 측정할 수 없는 홀(hole)이 발생한다. 마찬가지로 타이어 측면 고도 데이터에도 양각 문자 주변에 높이 데이터가 0으로 기록되었다.
홀을 채우지 않고 필터를 적용하는 경우 홀에 영향을 받은 주변 픽셀이 왜곡되는 문제가 발생하기 때문에, 빈 셀을 채워주는 홀 필링 작업을 선행해야 한다.
홀 필링은 인접 셀의 높이로 채우는 Nearest point 방법과 Inverse distance weighting(IDW)를 이용한 보간법을 주로 사용하나, 본 발명에서는 타이어의 고도 데이터의 분포 특징 및 양각 문자 인식의 용이성을 위하여, 중간값 필터를 이용한 홀 필링을 수행하였다.
타이어의 측면 고도 데이터의 경우 한 열(Col)은 중심으로부터 같은 거리에 위치한 높이의 집합이며, 일정한 형태를 띠고 있는 타이어 특성상 측면 표면에 새겨진 무늬나 글씨를 제외하면 같은 높이를 가지고 있다.
또한, 타이어의 새겨진 무늬나 글씨는 양각으로 새겨지며 소실된 높이 데이터의 대부분은 글씨나 무늬가 없는 주변 세로 픽셀 중에서 카메라의 반대 방향에 위치한 픽셀의 값과 같다.
이 점에 착안해 홀을 가로는 좁고 세로가 긴 형태에 커널에 있는 데이터 중에서 중간값으로 대체하는 방법을 사용하였다.
알고리즘에 사용한 중간값 필터의 커널 크기는 가로 7 세로 31이며 높이가 0인 픽셀만 필터를 적용하였다.
도 3은 홀 필링 이전의 데이터 분포, 도 4는 홀 필링 이후의 데이터 분포를 나타낸다.
또한, 도 5는 데이터 필링 이전의 3D 모델 이미지, 도 6은 데이터 필링 이후의 3D 모델 이미지이다.
이처럼 문자 경계면에서 발생한 홀이 채워진 것을 확인할 수 있다.
- 표면 데이터의 추출 과정
타이어의 주재료인 고무는 비결정성 고체(None-crystalline solid)로 형태가 쉽게 변하는 특징이 있어 타이어 부위마다 고저차가 발생한다. 데이터를 특정 구간(0~255)로 스케일링 하는 과정에 이러한 고저차는 데이터가 손실되는 문제가 발생한다.
타이어의 측면(Sidewall)은 종류에 따라 곡률이 존재해서 봉긋하게 솟아오른 형태를 띠거나 편평비가 낮은 타이어의 경우 일정한 기울기를 지닌 타이어도 있다.
타이어 표면의 정보에 비해서 타이어의 곡률이나 일정하지 못한 형태로 발생하는 높낮이가 훨씬 많은 비중을 차지하고 있다. 위와 같은 요인으로 발생한 높이를 제거하기 위해 차영상 기법을 사용하여, 표면 데이터를 추출한다.
아래의 수학식 1은 차영상 기법의 수식이다.
위의 수학식1에 기재된 Isurface는 결과 이미지, Iheight는 고도 데이터 이미지이며, k1, k2는 필터에 적용한 커널로 크기는 각각 5와 3이다.
이와 같은 필터(하이패스 필터)를 적용하여 얻은 이미지를 도 7에 도시하였다.
이처럼 렌더링된 2D 이미지를 획득한 후, S12단계와 같이 문자 영역을 검출한다.
타이어 측면 이미지 전체를 문자 인식을 하는 경우 인식하는데 연산 시간이 오래 걸리므로 렌더링한 이미지 전체에서 문자 영역을 특정하는 과정이 선행돼야 한다. 무작위 위치에서 스캔을 시작하고 타이어의 규격과 종류마다 규격 문자의 위치가 다른 관계로 이미지에서 고정된 위치에서 문자 영역을 특정하는 방법은 사용할 수 없다.
본 발명에서는 문자 'DOT'를 포함하는 문자 영역 검출하는 것으로 설명하지만, 본 발명은 이에 제한되지 않는다.
또한, 본 발명에서는 문자 영역을 검출하기 위해 실시간 객체 탐지 딥러닝 모델인 YOLO를 사용하였다.
도 8은 렌더링 이미지에서 특정한 문자를 포함하는 문자 영역의 예를 도시하였다.
도 8에 도시한 바와 같이, 타이어의 양각 문자는 타이어의 종류마다 크기, 형태가 다르지만, DOT 코드의 경우 반드시 DOT 문자로 시작하는 특징이 있다.
표면을 렌더링한 이미지에서 노이즈 제거를 위해 크기가 5인 중간값 필터를 적용한 다음 적응형 스레시홀딩(Adaptive Thresholding)을 적용해서 문자와 배경을 분리한 이진 이미지를 얻을 수 있으며, 이를 도 9에 도시하였다.
YOLO 학습은 도 9에 도시한 형태의 서로 다른 학습 이미지 44개로 수행되었으며, 반복횟수는 2000회, 학습 종료 이후 손실함수는 0.8을 기록하였다.
학습한 모델로 DOT 코드를 검출한 결과 이미지를 도 10에 도시하였다.
그 다음, S13단계와 같이 검출된 문자 영역을 이진화 처리한다.
검출된 DOT 코드 렌더링 이미지는 노이즈를 포함하고 있으며, 이는 도 11의 렌더링 이미지에서 확인할 수 있다.
이처럼 노이즈를 포함하는 이미지를 이진화를 하는 경우 노이즈가 문자 인식에 방해가 될 수 있어 이진화 전에 노이즈를 제거하는 전처리를 수행해야 한다.
중간값 필터나 가우시안 필터를 사용하는 경우 문자 인식에서 중요한 엣지가 흐려지는 단점이 있기 때문에, 노이즈를 제거하면서 엣지를 보존하기 위해 비등방성 확산 필터(anisotropic diffusion filter)를 사용하며, 반복 횟수는 35회 적용하였다.
비등방성 확산 필터 적용 후 렌더링 이미지를 도 12에 도시하였다.
이에 도시한 바와 같이 배경 및 글자의 노이즈가 감소하였으며, 이미지 배경 및 글자의 픽셀 값이 어느 정도 고르게 분포된 것을 확인할 수 있다.
그 다음, 이진화를 통해 문자와 배경을 분리하였으며, 이때의 이진화는 OTSU 알고리즘 등 전역 이진화를 사용하거나, 가우시안 분포를 이용한 이진화 등 적응형 이진화를 수행할 수 있다.
각 알고리즘의 결과로 이진화된 이미지를 도 13과 도 14에 각각 도시하였다.
도 13과 도 14를 비교하면, 전역 이진화의 경우 배경에 있는 잡음을 비교적 잘 구분하는 장점이 있으나 일부 문자 연결 형태가 끊어진 문제가 있고 적응형 이진화는 문자의 경계를 잘 표현했지만, 배경에 잡음이 남아 있는 문제가 있다.
본 발명에서는 문자의 끊어진 라인을 연결하면서 특징을 유지하기 위해 조건부 팽창연산(conditional dilation)을 사용하는 것으로 한다.
조건부 팽창연산을 적용하여 OTSU 방법으로 변환한 이진 영상에 팽창 연산을 해서 늘어난 픽셀 중 가우시안 이진 영상에서 경계에 해당하는 영역은 제거한다.
도 15는 본 발명에 의해 이진화된 이미지를 도시하였다.
도 15는 이진 이미지에서 조건부 팽창연산을 적용하는 과정을 보여주는 사진으로 알파벳 D, H가 일부 끊겨 있으나 연산을 반복하면서 불완전한 문자의 형태가 채워지는 과정을 볼 수 있다.
그 다음, S14단계와 같이 이진화된 이미지에서 문자를 인식한다.
문자 인식을 위하여 광학 OCR 프로그램을 사용하며, 예를 들어 테서랙트(Tesseract)를 사용할 수 있다.
테서랙트는 기본적인 문자 패턴에 대한 학습 데이터를 가지고 있으나 일부 인식하지 못하는 문자에 대해서 인식률을 향상하기 위해서는 추가적인 학습이 필수적이다.
테서랙트에 내장된 문자 데이터 라벨링 프로그램인 jTessBoxEditor으로 DOT 코드의 문자를 레이블링해서 학습 데이터를 구축하였고 전체 데이터 중 무작위로 50%를 선정해서 학습 데이터로 사용하고 나머지 50%를 테스트 데이터로 선정하였다.
학습 결과는 개별 문자 에러가 0008%, 문자열 에러가 0.1%를 기록하여, 우수한 문자 인식을 수행하는 것을 확인하였다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야 할 것이다.
Claims (5)
- a) 타이어의 측면 3D 이미지 데이터인 고도 데이터를 전처리하여 2D 이미지로 렌더링하는 단계;
b) 렌더링된 이미지에서 표면 영역을 검출하는 단계;
c) 검출된 표면 영역을 이진화하여 배경과 문자를 분리하는 단계; 및
d) 분리된 문자 영역을 인식하는 단계를 포함하는 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법. - 제1항에 있어서,
상기 a) 단계는,
양각 문자 주변의 데이터를 보완하는 홀 필링 과정; 및
홀 필링된 이미지를 차영상 기법으로 표면을 추출하는 과정을 포함하는 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법. - 제1항에 있어서,
상기 b) 단계는,
특정한 문자를 포함하는 문자 영역의 검색을 위하여 실시간 객체 탐지 딥러닝 모델인 YOLO를 사용하여 학습하는 것을 특징으로 하는 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법. - 제1항에 있어서,
상기 c) 단계는,
문자 영역의 노이즈를 제거하는 과정; 및
노이즈가 제거된 문자 영역을 이진화 처리하는 과정을 포함하는 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법. - 제4항에 있어서,
상기 노이즈를 제거하는 과정은 비등방성 확산 필터를 사용하고,
상기 이진화 처리하는 과정은 조건부 팽창연산(conditional dilation)을 사용하는 것을 특징으로 하는 3D 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210191700A KR20230101531A (ko) | 2021-12-29 | 2021-12-29 | 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210191700A KR20230101531A (ko) | 2021-12-29 | 2021-12-29 | 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230101531A true KR20230101531A (ko) | 2023-07-06 |
Family
ID=87185590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210191700A KR20230101531A (ko) | 2021-12-29 | 2021-12-29 | 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230101531A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115799A (zh) * | 2023-09-11 | 2023-11-24 | 广州市西克传感器有限公司 | 基于激光线扫3d相机的轮胎字符识别方法 |
CN117173710A (zh) * | 2023-08-10 | 2023-12-05 | 钛玛科(北京)工业科技有限公司 | 一种用于轮胎胎侧字符的识别方法 |
-
2021
- 2021-12-29 KR KR1020210191700A patent/KR20230101531A/ko not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173710A (zh) * | 2023-08-10 | 2023-12-05 | 钛玛科(北京)工业科技有限公司 | 一种用于轮胎胎侧字符的识别方法 |
CN117115799A (zh) * | 2023-09-11 | 2023-11-24 | 广州市西克传感器有限公司 | 基于激光线扫3d相机的轮胎字符识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
US8139117B2 (en) | Image quality analysis with test pattern | |
US6339651B1 (en) | Robust identification code recognition system | |
Lee et al. | Automatic extraction of characters in complex scene images | |
LeBourgeois | Robust multifont OCR system from gray level images | |
KR20230101531A (ko) | 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 | |
JP2002133426A (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
CN109886954B (zh) | 一种印刷品缺陷检测方法 | |
US20140301608A1 (en) | Chemical structure recognition tool | |
CN110598566A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
CN117798087B (zh) | 基于外观缺陷检测的锂电池视觉分拣系统及终端 | |
US20150294129A1 (en) | Method and device for identifying a two-dimensional barcode | |
CN113298769A (zh) | Fpc软排线外观缺陷检测方法、系统和介质 | |
CN116030016A (zh) | 产品图像缺陷检测方法、装置、电子设备及存储介质 | |
JP2010026805A (ja) | 文字認識装置及び文字認識方法 | |
CN115512381A (zh) | 文本识别方法、装置、设备、存储介质及作业机械 | |
US8200016B2 (en) | Method and apparatus for character string recognition | |
Choi et al. | Localizing slab identification numbers in factory scene images | |
JP3416058B2 (ja) | 濃淡画像の文字抽出方法及びそのプログラムを記録した記録媒体 | |
CN116469090A (zh) | 喷码图案的检测方法、装置、电子设备和存储介质 | |
CN110084117B (zh) | 基于二值图分段投影的文档表格线检测方法、系统 | |
CN116580006A (zh) | 一种基于机器视觉的瓶装产品贴标质量检测方法 | |
CN112633289B (zh) | 一种粘连字符分割方法和系统 | |
JP4492258B2 (ja) | 文字・図形の認識方法および検査方法 | |
JPH0256688A (ja) | 文字切出し装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |