KR20210080203A - 스마트 물류 시스템을 위한 온라인 파츠북 서비스를 지원하는 모바일 단말기 - Google Patents
스마트 물류 시스템을 위한 온라인 파츠북 서비스를 지원하는 모바일 단말기 Download PDFInfo
- Publication number
- KR20210080203A KR20210080203A KR1020200161216A KR20200161216A KR20210080203A KR 20210080203 A KR20210080203 A KR 20210080203A KR 1020200161216 A KR1020200161216 A KR 1020200161216A KR 20200161216 A KR20200161216 A KR 20200161216A KR 20210080203 A KR20210080203 A KR 20210080203A
- Authority
- KR
- South Korea
- Prior art keywords
- parts
- book
- information
- online
- parts book
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims abstract description 3
- 238000012015 optical character recognition Methods 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 238000013473 artificial intelligence Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 abstract description 58
- 238000012423 maintenance Methods 0.000 abstract description 9
- 230000002265 prevention Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007634 remodeling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/00442—
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Development Economics (AREA)
- Manufacturing & Machinery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
기계 설비에 포함되는 부품과 모듈에 대한 파츠 정보를 포함하는 파츠북을 온라인으로 관리하는 온라인 파츠북 서비스를 지원하는 모바일 단말기가 개시된다. 모바일 단말기는, 문서화된 파츠북을 스캔하여 이미지로 변환하는 이미지 변환부; 사용자로부터 검색 대상인 파츠 정보를 입력받고, 검색된 파츠의 파츠 정보를 출력하는 입출력부; 및 온라인으로 상기 파츠북을 관리하는 온라인 파츠북 서버와 통신하는 통신부를 포함하고, 상기 모바일 단말기는 변환된 이미지와 검색 대상인 파츠 정보를 상기 온라인 파츠북 서버로 전송하고, 상기 파츠북 서버로부터 검색 결과를 수신하여 디스플레이한다. 온라인 파츠북 서버는, 데이터베이스에 저장된 상기 파츠 정보를 조합하여 OCR 파츠북 솔루션을 구현한 후, 계층적 라이브러리로 제작하여 저장하고 관리하는 라이브러리 관리부; 상기 라이브러리에 저장된 파츠북 정보를 여러 단말의 동작 플랫폼에 호환되는 포맷으로 변환하여 사용자에게 송신하는 크로스 플랫폼 인터페이스 모듈; 및 상기 계층적 라이브러리로 저장된 파츠북 정보를 발간하는 파츠북 자동 발간부를 포함한다. 본 발명에 의하여 파츠 정보의 신뢰성과 유지 보수 성능이 향상되고, 파츠북을 자동으로 발간할 수 있으며, 오배송을 방지하여 파츠북 공유의 효율성과 사용성이 극대화된다.
Description
본 발명은 다양한 기계 설비를 유지보수하는 분야에 관한 것이고, 특히 기존의 책자나 파일 형태의 파츠북을 온라인화 하고, 이에 OCR과 인공지능을 사용한 향상된 도면 인식기술을 적용함으로써 웹 및 모바일 기반의 글로벌 파츠북(Parts book)을 클라우드 서비스로 제공하는 모바일 단말기에 관한 것이다.
더 나아가, 본 발명은 파츠북으로부터 핫포인트를 인식하는 OCR 과정에서 문자 인식률을 향상시키기 위해 CNN(Convolutional Neural Network)과 LSTM(Long Short-Term Memory) 기술과 같은 인공 지능 기술을 활용하는 온라인 파츠북 서비스를 지원하는 모바일 단말기에 관한 것이다.
애프터마켓은 제품 판매 이후 발생하는 여러 가지 수요를 충족하기 위한 시장을 의미하며, 설계 변경, 전자 제품의 부품, 건물의 리모델링 등 제품의 유지 보수 및 변경에 해당되는 서비스를 총괄하는 개념이다. 이러한 애프터마켓은 대부분의 산업에서 활용되는 2차 산업으로 자동차 산업의 경우, 수리, 개조, 부품 등 자동차 제품 자체에 관련된 시장 이외에도 주유, 보험, 중고차 거래 등 자동차 제품을 활용하는데 필요한 모든 서비스를 제공하는 시장을 포함한다.
세계적으로 산업/일반 기계 시스템 시장 2015년 약 6,958억 달러에서 연평균 6.3%의 성장률을 기록하며 2019년 8,946억 달러 수준에 이를 전망이고, 구체적으로는 2014년 이후 최대 수요시장으로 부상한 중국을 비롯한 러시아, 브라질, 인도 등의 신흥시장 수요 확대 등으로 큰 폭으로 성장했으며, 품목별 규모는 굴삭기 1,000억 달러, 로더 420억 달러, 크레인 133억 달러, 콘크리트 펌프 및 어태치먼트가 각각 50억 달러에 이르고 있다. 또한, 세계 농업 기계 시장은 세계적 인구 증가와 환경문제로 식량 확보가 어려워짐에 따라 식량 생산을 위한 농업 기계의 역할이 강조되고 있으며, 농업 기계 시장은 지속적으로 성장함. 과거 10년간 중국과 인도를 중심으로 하는 아시아 국가는 153.3%, 동유럽, 아프리카, 중동국가는 166%의 증가세를 보일만큼 애프터마켓은 중요한 시장이다.
또한, 파츠북(parts book) 시스템이란, 이러한 수리에 필요한 부품, 모듈의 설계 변경을 실시간으로 서비스함으로써 수요자(딜러)가 필요로 하는 부품의 주문 및 공급자의 설계 변경을 용이하게 하며, 수리 부품 주문 오류로 인한 비용을 절감하기 위해 대두되는 서비스이다. 파츠북 시스템이 현재 적용되는 대표적인 애프터마켓은 일반 기계(농수산용 기계, 가공 공작 기계, 건설용 기계) 산업으로서, 농수산용 기계, 가공공작 기계, 건설용 기계 등은 작게는 수천에서 많게는 수만 가지의 부품으로 이루어져 있으며, 다품종 소량 생산, 다품종 대량 생산의 특징에 따라 약간의 사양 차이로 인하여 모델, 시리즈 등 수십, 수백 가지의 제품이 생산되고 있는 것이 현실이다. 또한, 생산자는 제품의 성능 개선을 위하여 수시로 설계 변경을 하고, 이를 소비자에게 제품으로 공급하고 있다.
하지만, 수천에서 수만 가지의 부품으로 이루어진 부품 설계서(파츠북)를 종이로 관리하는 것은 불가능하여 변경된 부품 설계서를 실시간으로 관리하기 위하여 전용 소프트웨어가 필요하다. 이러한 전용 소프트웨어는 부품 설계 변경을 실시간으로 제공하는 것을 목표로 하는데, 이것은 애프터마켓에 포함된 기술로서 2차 산업 자체에도 큰 영향을 미치지만, 기존의 제품에 대해서도 큰 영향을 미치는 산업으로 대두되고 있다. 즉, 애프터마켓은 수리 보수에 사용되는 부품에 대한 정보를 제공하는 서비스로서 제품 사용자의 편의를 위한 다양한 서비스가 영향을 받게 된다.
그런데, 파츠북을 데이터베이스화하기 위해서는 각 파츠의 이미지는 물론 파츠 번호 등 핫포인트를 인식하는 것이 매우 중요하다.
2016 년 3 월 31 일 공개된 한국공개특허 제 10-2016-0035121호(발명의 명칭 "깊이 영상 정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치")는 촬영한 영상 정보를 이용하는 것이 아니라 깊이 영상 정보와 적외선 영상 정보를 이용하여 개체를 인식하는 기술을 개시한다. 이 기술을 사용하면 적은 연산량으로 개체의 출입을 계수할 수 있으며, 깊이 영상 정보 뿐만 아니라 적외선 영상 정보를 함께 이용하기 때문에 개체 계수의 정확도가 높아질 수 있다. 하지만, 개체를 고정된 알고리즘을 통해서만 인식하고 추출할 수 있기 때문에, 급속도로 변화하는 애프터마켓에 적용하는 데에 한계가 있을 수밖에 없다.
또한, 파츠 정보를 인식하고 제공한다고 하더라도, 해당 파츠 정보를 수신하고 처리할 수 있는 디바이스와 플랫폼이 한정되어 있는 경우 해당 파츠 정보의 활용도가 떨어지게 된다.
따라서, 문서화된 도면으로부터 파츠 정보를 추출할 때 높은 인식률로 주요 정보를 추출할 수 있고, 추출한 파츠 정보를 다양한 디바이스와 플랫폼에서 모두 공유할 수 있도록 하는 기술이 절실히 요구된다.
본 발명의 목적은 파츠북으로부터 핫포인트를 인식하는 OCR 과정에서 CNN(Convolutional Neural Network)과 LSTM(Long Short-Term Memory) 등의 인공 지능 기술을 적용하여 문자 인식률을 향상시키는 온라인 파츠북 서비스 관리 방법을 지원하는 모바일 단말기를 제공하는 것이다.
또한, 본 발명의 목적은, 계층적 라이브러리로 저장된 파츠북 정보를 자동으로 발간함으로써 온라인 파츠북의 유지 보수 성능을 향상시키는 온라인 파츠북 서비스 관리 방법을 지원하는 모바일 단말기를 제공하는 것이다.
더 나아가, 본 발명의 목적은 파츠 정보를 다양한 디바이스 및 플랫폼을 통해 공유할 수 있도록 하는 크로스플랫폼을 제공하는 모바일 단말기를 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은 기계 설비에 포함되는 부품과 모듈에 대한 파츠 정보를 포함하는 파츠북을 온라인으로 관리하는 온라인 파츠북 서비스를 지원하는 모바일 단말기에 관한 것이다. 본 발명에 의한 모바일 단말기는, 문서화된 파츠북을 스캔하여 이미지로 변환하는 이미지 변환부; 사용자로부터 검색 대상인 파츠 정보를 입력받고, 검색된 파츠의 파츠 정보를 출력하는 입출력부; 및 온라인으로 상기 파츠북을 관리하는 온라인 파츠북 서버와 통신하는 통신부를 포함하고, 상기 모바일 단말기는 변환된 이미지와 검색 대상인 파츠 정보를 상기 온라인 파츠북 서버로 전송하고, 상기 파츠북 서버로부터 검색 결과를 수신하여 디스플레이한다. 상기 온라인 파츠북 서버는, 상기 모바일 단말기로부터 수신된 이미지로부터, 기계 설비에 포함되는 파츠의 이미지, 파츠 번호, 및 세부 정보를 포함하는 파츠 정보를 인공지능을 활용하여 추출하여 데이터베이스에 저장하는 파츠 정보 추출부; 상기 데이터베이스에 저장된 상기 파츠 정보를 조합하여 OCR 파츠북 솔루션을 구현한 후, 계층적 라이브러리로 제작하여 저장하고 관리하는 라이브러리 관리부; 상기 라이브러리에 저장된 파츠북 정보를 여러 단말의 동작 플랫폼에 호환되는 포맷으로 변환하여 사용자에게 송신하는 크로스 플랫폼 인터페이스 모듈; 상기 계층적 라이브러리로 저장된 파츠북 정보를 발간하는 파츠북 자동 발간부; 및 네트워크를 통하여 파츠에 대한 사용자의 주문이 수신되면, 수신된 주문에 상응하는 파츠를 상기 사용자에게 배송하는 원스톱 주문 처리부를 포함한다. 상기 파츠 정보 처리부는, 변환된 이미지로부터 OCR(Optical character reader)을 활용하여 이미지 내의 특징점을 추출하고, 추출된 특징점으로부터 상기 파츠 번호 및 세부 정보를 인식한다. 상기 OCR은 DPM(Dynamic pattern matching), CNN(convolutional neural network), LSTM(Long Short-Term Memory), 및 딥러닝(Deep learning) 기법 중 적어도 하나를 활용하여 인식률을 개선하고, 상기 파츠 정보 추출부는, 부품 도형, 지시선 및 문자 또는 숫자를 포함하는 기호를 포함하여 구성되는 부품 도면에 대하여 수학적 형태학 필터링을 수행하여 기호만을 별도 분리하는 전처리 모듈; 및 상기 전처리 단계에서 분리된 상기 기호를 학습된 LSTM에 입력하여 상기 부품 도형, 지시선에 합체하여 상기 기호에 대한 OCR 결과를 도출하는 OCR 모듈을 포함한다. 상기 라이브러리 관리부는, 상기 파츠의 모델, 시리즈, 그룹, 리비전, 개량, 기능, 설계변경, 용법, 용도, 가격, 및 단종을 포함하는 파츠 정보를 계층적 라이브러리로 저장하고, 파츠 정보 중 숫자와 링크를 자동으로 인식하고 여러 파츠들을 링크하여 저장한다. 상기 크로스 플랫폼 인터페이스 모듈은, 오픈크로스 플랫폼으로서 자마린(Xamarin)을 활용한다. 상기 파츠북 자동 발간부는, 사용자로부터 수신받은 부품 데이터를 바탕으로 상기 데이터베이스에 저장된 라이브러리에서 상기 부품 데이터에 상응하는 파츠 정보를 검색하고, 검색 결과를 계층별로 정리하여 파츠북을 발간하는, 온라인 파츠북 서비스를 지원한다.
본 발명에 의하여, 파츠북으로부터 핫포인트를 인식할 때 CNN과 LSTM 등의 인공 지능 기술을 적용하기 때문에 문자 인식률이 향상되고, 방대한 양의 파츠북을 짧은 시간 내에 데이터베이스에 저장할 수 있다.
또한, 본 발명에 의하여 계층적 라이브러리로 저장된 파츠북 정보를 자동으로 발간할 수 있으므로 파츠 정보의 신뢰성과 유지 보수 성능이 향상된다.
더 나아가, 본 발명에 의하여 파츠 정보가 다양한 디바이스 및 플랫폼을 통해 공유될 수 있으므로, 파츠 정보의 이용가능성이 극대화된다.
또한, 본 발명에 의하여 사용자가 원스톱으로 원하는 파츠를 손쉽게 주문할 수 있게 하고, 주문된 파츠를 오배송이 없이 신속하게 배송할 수 있으므로 온라인 파츠북 서비스의 편의성과 신뢰도가 향상된다.
도 1 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법을 간략하게 나타내는 흐름도이다.
도 2 는 도 1 에 도시된 온라인 파츠북 서비스 관리 방법이 적용될 수 있는 파츠북 관리 서비스를 상세히 설명하는 도면이다.
도 3 은 도 1 에 도시된 온라인 파츠북 서비스 관리 방법에 포함되는 파츠 정보 추출 단계에 적용되는 OCR 기술을 간략하게 설명하는 블록도이다.
도 4 는 도 3 에 도시된 파츠 정보 추출 단계에 적용될 수 있는 DPM을 이용한 OCR 알고리즘을 개략적으로 설명하는 도면이다.
도 5 는 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 포함되는 파츠 정보 추출 단계에 적용되는 CNN 및 LSTM 알고리즘을 설명하는 도면이다.
도 6 은 본 발명에 의하여 CNN과 LSMTM이 결합된 결과를 예시하는 도면이다.
도 7 은 본 발명에 의하여 작성된 파츠북의 일 예를 예시하는 도면이다.
도 8 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 의하여 구현되는 크로스 플랫폼을 예시하는 도면이다.
도 9 는 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에서 파츠 정보를 상이한 플랫폼에 표시한 일 예를 예시하는 도면이다.
도 10 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 의하여 사용자에게 제공되는 원스톱 주문 화면의 일 예를 예시하는 도면이다.
도 11 은 본 발명에 의한 모바일 단말기가 동작하는 온라인 파츠북 서비스 관리 시스템을 개략적으로 설명하는 블록도이다.
도 2 는 도 1 에 도시된 온라인 파츠북 서비스 관리 방법이 적용될 수 있는 파츠북 관리 서비스를 상세히 설명하는 도면이다.
도 3 은 도 1 에 도시된 온라인 파츠북 서비스 관리 방법에 포함되는 파츠 정보 추출 단계에 적용되는 OCR 기술을 간략하게 설명하는 블록도이다.
도 4 는 도 3 에 도시된 파츠 정보 추출 단계에 적용될 수 있는 DPM을 이용한 OCR 알고리즘을 개략적으로 설명하는 도면이다.
도 5 는 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 포함되는 파츠 정보 추출 단계에 적용되는 CNN 및 LSTM 알고리즘을 설명하는 도면이다.
도 6 은 본 발명에 의하여 CNN과 LSMTM이 결합된 결과를 예시하는 도면이다.
도 7 은 본 발명에 의하여 작성된 파츠북의 일 예를 예시하는 도면이다.
도 8 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 의하여 구현되는 크로스 플랫폼을 예시하는 도면이다.
도 9 는 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에서 파츠 정보를 상이한 플랫폼에 표시한 일 예를 예시하는 도면이다.
도 10 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 의하여 사용자에게 제공되는 원스톱 주문 화면의 일 예를 예시하는 도면이다.
도 11 은 본 발명에 의한 모바일 단말기가 동작하는 온라인 파츠북 서비스 관리 시스템을 개략적으로 설명하는 블록도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
도 1 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법을 간략하게 나타내는 흐름도이다.
도 1 에 도시된 온라인 파츠북 서비스 관리 방법은 기계 설비에 포함되는 부품과 모듈에 대한 파츠 정보를 포함하는 파츠북을 네트워크를 통하여 제공하는 방법으로서, 파츠 정보 추출 단계(S110), 라이브러리 관리 단계(S130), 오픈 플랫폼 구현 단계(S150), 파츠북 정보 발간 단계(S170) 및 원스톱 주문 처리 단계(S190)를 포함한다. 이러한 온라인 파츠북 서비스 관리 방법은 온라인 파츠북 서버에서 동작할 수 있다.
우선, 파츠 정보 추출 단계(S110)에서는 온라인 파츠북 서버에 의하여, 문서화된 파츠북을 스캔하여 이미지로 변환하고, 변환된 이미지로부터 기계 설비에 포함되는 파츠의 이미지, 파츠 번호, 및 세부 정보를 포함하는 파츠 정보를 인공지능을 활용하여 추출한다. 추출된 파츠 정보는 데이터베이스에 저장된다.
즉, 파츠 정보 추출 단계(S110)에서는 기존의 책자나 파일 형태의 파츠북을 온라인화 하고, 이에 OCR과 인공 지능을 사용한 향상된 도면 인식 기술을 적용함으로써 웹 및 모바일 기반의 글로벌 파츠북을 클라우드 서비스로 제공할 수 있도록 한다. 세부적으로는 파츠 정보 추출 단계(S110)는 핫포인트를 인식하는 OCR 과정에서 문자 인식률을 향상시키기 위해 CNN(Convolutional Neural Network)과 LSTM(Long Short-Term Memory) 기술을 이용한다. OCR 과정에서 사용될 수 있는 기술에 대해서는 관련 도면을 참조하여 후술된다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
본 명세서에서 파츠북이란 기계의 부품목록이 책자 형태로 제공되는 것을 의미하며 자동차, 농기계 및 각종 중대형 기계에서 부품의 종류와 구성을 소비자에게 제공하거나 유지 보수를 위해 기계 제조사에서 작성 및 배포한다. 현재의 파츠북은 도면이 책자로 배포되며 부품도면, 부품에 대한 번호 그리고 부품의 세부 정보로 구성되는데, 이때, 부품 번호는 해당 부품을 지칭하므로 핫포인트(Hot point)라고 하며 숫자나 기호로 표기되어 도면에서 부품의 위치와 세부 정보를 식별하기 위해 사용된다. 기존의 파츠북은 기계의 구성을 이해하거나 유지보수를 위해 사용되지만 다음과 같은 단점이 존재한다. 우선, 파츠북은 종이 도면으로 제공되어 부품의 변경이나 단종이 실시간으로 반영되지 하고, 동일 부품이 다수의 상이한 기계에서 사용될 경우에 부품에 대한 추적이 어렵다. 또한, 부품의 변경 관리가 어려워 주문에 대한 오배송이 발생할 수 있으며, 부품에 대한 재고 관리나 유지보수에 소요되는 시간과 비용이 높다.
이를 극복하기 위하여, 파츠 정보 추출 단계(S110)는 기존의 파츠북과 차별화된 기술로써 도면을 스캔하여 이미지화한 후 부품에 대한 핫포인트들을 인식하여 ERP의 데이터베이스에 존재하는 부품 정보와 연동함으로써 파츠북을 실시간으로 관리 및 운영할 수 있게 한다.
도 2 는 도 1 에 도시된 온라인 파츠북 서비스 관리 방법이 적용될 수 있는 파츠북 관리 서비스를 상세히 설명하는 도면이다.
도 2 를 참조하면, 온라인 파츠북 서비스 관리 방법은 크게 스마트 주문 연계 기능(Order management), 핫포인트 링크 정보 인식 기능(Auto link), 표준 파츠북 관리 템플릿(Standard S-BOM template), 오픈크로스 통합 플랫폼(environment infra), 및 클라우드 SaaS 서비스(Cloud SaaS service)라는 특징을 가진다.
스마트 주문 연계 기능(Order management)은 사용자 중심의 GUI 기반 주문 처리 시스템으로서, 파츠북의 부품 정보를 검색하여 상태 가격 등을 확인하고 바로 장바구니에 담아 주문할 수 있게 한다.
핫포인트 링크 정보 인식 기능(Auto link)은 OCR 기능을 활용하여 파츠북 뷰어에서 도면 이미지 상의 핫포인트를 자동으로 추출하고, 부품 번호 및 세부 정보를 인식하는 기능을 나타낸다.
표준 파츠북 관리 템플릿(Standard S-BOM template)은 파츠에 리비전이 존재할 경우 이러한 리비전을 자동으로 적용하고, 시리얼 번호를 통해 일관되게 파츠를 관리할 수 있게 한다. 따라서, 파츠 관리가 표준화되고 파츠북의 신뢰도가 향상된다.
오픈크로스 통합 플랫폼(environment infra)은 iOS, 안드로이드, 윈도우즈, 유닉스 등의 다양한 플랫폼에서 온라인 파츠북 서비스 관리 방법이 동작할 수 있게 한다. 플랫폼은 온라인 및 오프라인 플랫폼을 모두 포함한다.
클라우드 SaaS 서비스(Cloud SaaS service)는 하이브리드 클라우드 시스템을 기반으로 술류션 패키지만 다운로드하면 현지의 에지 서버를 사용하여 자사 데이터의 보안성을 확보할 수 있도록 한다.
이제 도 3 내지 도 6을 참조하여 파츠 정보 추출 단계(S110)를 더 상세히 설명한다.
도 3 은 도 1 에 도시된 온라인 파츠북 서비스 관리 방법에 포함되는 파츠 정보 추출 단계에 적용되는 OCR 기술을 간략하게 설명하는 블록도이다.
도 3을 참조하면, 파츠 정보 추출 단계(S110)는 딥러닝 기반 도면패턴인식 기능 구현으로 이미지와 페이지 객체의 링크 삽입 정보를 구현하는 파츠북 뷰어 관리 기능을 구현한다. 종래기술에 따른 OCR은 문장이 일정하게 나열된 문서에 대해서는 인식률이 높지만, 파츠북의 핫포인트 문자와 숫자의 인식은 상대적으로 낮으며, 그 인식률이 50%에 미치지 못하는 것으로 연구되었다. 따라서 본 발명에서는 인공 지능 딥러닝 기반의 OCR를 적용하여 성능을 향상시킴으로써 종래의 OCR 솔루션과 차별되는 알고리즘을 활용한다. 즉, 종래의 기계 장치 부품 파츠북에 인공 지능 딥러닝 기술을 융합하여 PDF 또는 이미지 파일 포맷으로부터 S-BOM을 자동으로 추출함으로써 기존 제품 대비 혁신적인 솔루션을 제공한다. 실험 결과, 본 발명에서는 인식률이 90%에 달하는 것을 확인할 수 있었다. 본 명세서에서 S-BOM이란 Sales/Service Bill-Of-Materials을 나타내며, 파츠북의 일종으로 이해될 수 있다.
도 4 는 도 3 에 도시된 파츠 정보 추출 단계에 적용될 수 있는 DPM을 이용한 OCR 알고리즘을 개략적으로 설명하는 도면이다.
파츠 정보 추출 단계(S110)에서는 이미지로부터 핫포인트를 추출할 때 경량화 된 알고리즘인 DPM(Dynamic Pattern Matching)을 사용하여 처리 속도의 향상을 꾀하고 있다. 즉, 파츠 정보 추출 단계(S110)에서는 파츠북으로부터 획득한 이미지를 OCR로 변환하고 각 부품에 부여된 숫자나 기호를 파싱하여 이를 최종 핫포인트로 인식하는 과정에서 DPM을 적용한다. 이러한 경량 화된 DPM 알고리즘은 최종적으로 플랫폼 기반의 파츠북 서비스의 신속성을 목적으로 한다.
DPM은 컴퓨터를 사용하여 화상, 문자, 음성 등을 인식하는 패턴 인식에서 동적 계획법(Dynamic programming)을 이용한 것으로, 두 열이 이루는 격자(lattice)상에서 각 열의 시작 성분에서 시작하여 끝 성분에 이르기까지 비용 테이블에 최소 비용을 순환적으로 선택하여 저장하는 점화식을 이용하며 최적의 매핑 함수를 찾아가면서 두 열을 비교하는 알고리즘이다.
도 5는 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 포함되는 파츠 정보 추출 단계에 적용되는 CNN 및 LSTM 알고리즘을 설명하는 도면이다.
도 5 에 따라서 파츠북으로부터 핫포인트를 인식하는 OCR 과정에서 CNN(Convolutional Neural Network)과 LSTM(Long Short-Term Memory) 기술을 이용하면, 문자 인식률이 향상된다. CNN 기술은 인공 지능에서 대상의 인식을 위해 사용하는 기법으로 기존의 신경망 네트워크에서 이미지를 계층(Layer)으로 분리하여 보다 세밀한 이미지 인식이 가능한 알고리즘이다. CNN 기술은 이미지나 음성 인식 등의 다양한 분야에서 상용되고 있다.
또한, LSTM은 인공 지능의 신경망 네트워크에서 현재 입력 값과 과거의 입력 값을 동시에 고려하여 판단하도록 하는 RNN(Recurrent Neural Networks)의 향상된 알고리즘이다. 여기서 LSTM은 출력 단에서 구한 오차를 신경망을 거슬러 가면서 각 계수를 업데이트하여 오차를 보정하는 역전파(back propagation) 과정이 포함되며 1000단계가 넘게 거슬러 올라갈 수 있다. 따라서 RNN의 인식과정에서 더 오래 전의 작업을 보정함으로써 인식률을 향상을 가능하게 한다.
파츠 정보 추출 단계(S110)에서는 CNN과 LSTM을 적용함으로써 파츠북을 이미지화하는 과정에서 주변 환경이나 스캐너의 인식률 또는 선명하지 못한 원본의 조악함으로인 하여 OCR 인식 과정에서 누락될 수 있는 핫포인트를 보정할 수 있다.
도 6 은 본 발명에 의하여 CNN과 LSMTM이 결합된 결과를 예시하는 도면이다.
도 6 을 참조하면, 파츠 정보 추출 단계(S110)은 파츠북의 부품에 대한 핫포인트를 인식하고, 이를 데이터베이스화 하여 각 부품에 대한 상세 정보와 함께 저장한다. 즉, 파츠 정보 추출 단계(S110)는 부품 도면을 스캔하여 각 부품에 대한 핫포인트를 인식하고 핫포인트에 대한 인식과정에서 OCR 기술 및 인공 지능 관련 기술을 개선하여 인식률의 향상을 꾀하고 있으므로 종래 기술과 비교할 수 없는 인식률과 편의성이 보장된다.
다시 도 1 을 참조하면, 라이브러리 관리 단계(S130)에서는 데이터베이스에 저장된 파츠 정보를 조합하여 OCR 파츠북 솔루션을 구현한 후, 계층적 라이브러리로 제작하여 저장하고 관리한다. 라이브러리 관리 단계(S130)에서도 파츠 정보 추출 단계(S110)에서와 같은 영상 처리 및 인식 기술이 적용될 수 있음은 물론이다.
라이브러리 관리 단계(S130)를 통하여 파츠북은 신속하게 갱신될 수 있으며, 부품 생산이 중단되거나 상세 정보가 변경된 경우에도 데이터베이스에 최신 정보를 기록할 수 있고, 파츠 정보가 계층적으로 관리되기 때문에 파츠 정보가 효율적으로 관리될 수 있고 파츠 정보에 대한 신뢰성이 향상된다.
도 7 은 본 발명에 의하여 작성된 파츠북의 일 예를 예시하는 도면이다.
도 7을 참조하면, 파츠의 이미지로부터 부품 사진은 물론, 부품 번호, 부품명 등의 핫포인트도 높은 신뢰도로 추출된다. 도 7 에 도시된 파츠북은 부품 페이지에 대한 링크 기능을 제공하고 있으며, 핫포인트의 색상을 변경하여 설계 변경이나 재고 여부 등의 정보를 쉽게 표시할 수 있다. 즉, 기존의 파츠북으로부터 변환된 이미지와 핫포인트가 파츠북 뷰어(Parts book viewer)에 탑재되어 운영된다. 사용자가 도면에서 핫포인트를 클릭하면 화면의 우측과 하단에 부품의 자세한 정보가 출력된다. 이때, 부품 정보는 ERP의 데이터베이스에서 종합적으로 관리되며 본 기술에서는 도면 이미지로부터 핫포인트를 인식 및 이를 중심으로 ERP와 연동 기술을 적용함으로써 데이터베이스의 내용을 가져온다.
데이터베이스에 저장된 파츠 정보가 수신되면, 오픈 플랫폼 구현 단계(S150)는 네트워크를 통하여 수신된 사용자의 요청에 따라 데이터베이스로부터 파츠 정보를 검색하여 제공한다.
도 8 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 의하여 구현되는 크로스 플랫폼을 예시하는 도면이다.
도 8에 도시된 크로스 플랫폼은 숫자와 링크 정보를 자동 인식하여 서로 연결시키기 때문에, 종래 기술과 달리 인식과 검색 기능이 여러 플랫폼에서 호환될 수 있다. 이것은, 닷넷 프레임워크 기반의 오픈 클로스 플랫폼 코드일 수 있다. 도 8을 참조하면, 이미지에 있는 부품 번호를 선택 시, 선택된 부품 번호의 링크 페이지로 자동으로 이동할 수 있게 된다. 또한 툴팁 기능을 추가하여 이미지 위의 부품 번호에 마우스를 올려놨을 때, 해당 부품의 정보가 팝업 됨
오픈 크로스 플랫폼으로는 비용절감, 높은 네이티브급 성능과 사용자 경험, 모든 플랫폼을 위한 하나의 기술 스택 등으로 유리하기 때문에 자마린(Xamarin)이 사용될 수 있다. 하지만, 이는 본 발명을 한정하는 것이 아니며, 다른 오픈 크로스 플랫폼이 작용될 수도 있다.
도 8 에 도시된 오픈 플랫폼 구현 단계(S150)에 따르면, 도면 이미지에서 자동으로 핫포인트를 추출하고 검색할 수 있는 것은 물론, 파츠 정보와 연동되는 검색 결과가 제공되기 때문에 검색에 소요되는 비용과 시간이 절약되는 것은 물론, 검색 결과에 대한 신뢰성도 향상된다.
전술된 바와 같이, 검색 기능은 사용자가 사용하는 디스플레이의 플랫폼과 무관하게 모든 플랫폼에서 제공될 수 있다.
도 9 는 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에서 파츠 정보를 상이한 플랫폼에 표시한 일 예를 예시하는 도면이다.
도 9를 참조하면, 검색 기능이 세로 보기 모드의 모바일 디바이스 플랫폼에서 뿐만 아니라, 가로 보기 모드의 모바일 디바이스에서도 동일하게 제공된다는 것을 알 수 있다. 따라서, 사용자가 사용하는 디바이스가 어떤 플랫폼에서 동작하던지간에, 온라인 파츠북 서비스 관리 방법은 동일하게 제공될 수 있다는 장점을 가진다.
또한, 단순히 파츠 정보를 검색하는 데에서 그치는 것이 아니라, 본 발명에서는 검색된 파츠를 직접 주문하는 원스톱 서비스도 제공한다. 즉, 사용자로부터 파츠에 대한 사용자의 주문이 수신되면, 원스톱 주문 처리 단계(S190)에서는 수신된 주문에 상응하는 파츠를 사용자에게 배송한다.
도 10 은 본 발명에 의한 모바일 단말기에서 지원하는 온라인 파츠북 서비스 관리 방법에 의하여 사용자에게 제공되는 원스톱 주문 화면의 일 예를 예시하는 도면이다.
도 10 을 참조하면, 사용자의 디바이스에 제공된 파츠 정보를 검색하던 중 사용자가 원하는 파츠가 있는 경우, 사용자는 오른쪽 마우스를 클릭함으로써 원하는 물품을 바로 장바구니에 담을 수 있다. 장바구니에 담은 물품은 즉시 결제하거나 추후 다른 물품들과 함께 묶어서 결제할 수도 있다. 사용자가 결제를 완료하면, 온라인 파츠북 서비스 관리 방법에서는 사용자의 주문에 상응하는 파츠를 사용자의 주소지로 바로 배송할 수 있다.
즉, 이러한 온라인 파츠북 서비스 관리 방법을 이용하면 웹이나 모바일 단말기를 통해 파츠북을 실시간으로 검색할 수 있으며 부품의 변경 정보 및 이력을 관리할 수 있기 때문에 부품의 주문, 유지보수, 부품 정보 관리를 하나의 플랫폼에서 수행할 수 있다. 이를 위하여, 원스톱 주문 처리 단계(S190)에서는 네트워크를 통하여 수신되는 사용자의 요청 및 주문을 레퍼런스 포맷으로 변환하고, 레퍼런스 포맷을 이용하여 상기 요청 및 주문을 처리한 처리 결과를 사용자의 디바이스가 동작하는 플랫폼에 따른 포맷으로 변환하여 송신하는 크로스 플랫폼 인터페이스 모듈을 활용할 수 있다.
이제 이러한 온라인 파츠북 서비스 관리 시스템에 대해서 도 11 을 참조하여 설명한다.
도 11 은 본 발명에 의한 모바일 단말기가 동작하는 온라인 파츠북 서비스 관리 시스템을 개략적으로 설명하는 블록도이다.
도 11 을 참조하면, 온라인 파츠북 서비스 관리 시스템(1100)은 파츠 정보 추출부(1110), 라이브러리 관리부(1120), 파츠 정보 검색부(1130), 파츠북 자동 발간부(1160), 원스톱 주문 처리부(1170), 크로스플랫폼 인터페이스 모듈(1180), 데이터베이스(1190)를 포함한다. 중앙 제어부(1150)는 이러한 구성 요소들을 제어하며, 구성 요소들 사이의 정보의 송수신을 담당한다.
우선, 파츠 정보 추출부(1110)는 문서화된 파츠북을 스캔하여 이미지로 변환하고, 변환된 이미지로부터 기계 설비에 포함되는 파츠의 이미지, 파츠 번호, 및 세부 정보를 포함하는 파츠 정보를 인공지능을 활용하여 추출한다. 또한, 파츠 정보 추출부(1110)는 추출된 정보를 데이터베이스(1190)에 저장하여 효율적으로 관리되도록 한다.
전술된 바와 같이, 파츠 정보 추출부(1110)는 도면 및 핫포인트을 인식하기 위하여 다양한 인공 지능 기법을 채용할 수 있다. 파츠 정보 추출부(1110)에 의하여 도면의 인식률이 현저히 향상될 수 있음은 전술된 바와 같다.
파츠북 자동 발간부(1160)는, 배포할 부품 데이터가 지정될 경우 자동으로 수량, 가격, 설계변경정보 등이 정리된 파츠북 발간목록으로 변환하여 출력할 수 있다. 파츠북 자동 발간부(1160)는 라이브러리 관리부(1120)에 의하여 계층적 라이브러리로 저장된 파츠북 정보를 발간함으로써 파츠 정보의 검색을 용이화한다.
파츠 정보가 라이브러리 관리부(1120)에 의하여 최신 버전으로 관리되면 사용자는 원하는 파츠를 데이터베이스(1190)에서 검색할 수 있다. 그러면, 파츠 정보 검색부(1130)가 네트워크를 통하여 수신된 사용자의 요청에 따라 데이터베이스(1190)로부터 사용자가 원하는 파츠 정보를 검색하여 사용자 디바이스로 제공할 수 있다. 특히, 파츠 정보 검색부(1130)가 단순히 텍스트를 기반한 검색 뿐만 아니라, 이미지를 비교하는 검색 기능도 제공할 수 있기 때문에 검색 시 편의성은 물론 검색 결과의 신뢰도도 향상된다.
라이브러리 관리부(1120)는 데이터베이스에 저장된 파츠 정보를 조합하여 OCR 파츠북 솔루션을 구현한 후, 계층적 라이브러리로 제작하여 저장하고 관리한다. 라이브러리 관리부(1120)가 없다면, 수많은 파츠들의 정보가 갱신될때마다 어떤 파츠가 갱신되었는지를 알아내기가 어렵고, 이러한 이유 때문에 파츠 정보에 대한 신뢰성이 떨어질 수 있다. 하지만, 라이브러리 관리부(1120)는 리비전을 신속하게 반영하여 파츠 정보에 대한 신뢰성을 높일 수 있고, 이러한 리비전의 이력까지 기록함으로써 파츠의 버전별 호환성 여부 등도 기록할 수 있다.
또한, 크로스플랫폼 인터페이스 모듈(1180)이 네트워크를 통하여 수신되는 사용자의 요청 및 주문을 레퍼런스 포맷으로 변환하고, 레퍼런스 포맷을 이용하여 요청 및 주문을 처리한 처리하기 때문에, 사용자는 자신의 디바이스의 동작 환경과 무관하게 일관된 결과를 얻을 수 있다. 그 이유는 크로스플랫폼 인터페이스 모듈(1180)이 검색 결과를 사용자의 디바이스가 동작하는 플랫폼에 따른 포맷으로 변환하여 사용자에게 송신하기 때문이다.
파츠 정보 검색부(1130)로부터 수신된 파츠 정보 중에 원하는 파츠에 대한 정보가 존재하면, 사용자는 해당 파츠에 대한 상세한 정보와 가격 등을 참조하여 해당 파츠를 즉시 주문할 수 있다.
원스톱 주문 처리부(1170)는 네트워크를 통하여 파츠에 대한 사용자의 주문이 수신되면, 수신된 주문에 상응하는 파츠를 사용자에게 배송할 수 있다. 이 경우, 원스톱 주문 처리부(1170)를 통해 주문하기 전에, 사용자는 실시간으로 부품 정보를 확인할 수 있기 때문에 부품의 오배송이 사전에 차단될 수 있다. 만일 부품의 잦은 설계변경이 신속하게 반영되지 않는다면, 사용자는 자신의 기계와 호환되지 않는 파츠를 주문할 수도 있으며, 이것은 곧 오배송의 문제로 직결된다. 하지만, 사용자가 늘 갱신되어 있는 최신 상태의 파츠 정보를 기초로 파츠를 주문하게 되므로, 오배송이 방지되면서 사용자의 편의성이 극대화될 수 있다.
이와 같은 온라인 파츠북 서비스 관리 시스템(1100)은, 종이로 제공되는 파츠북을 스캔하여 이미지로 저장한 후 각 부품에 대한 핫포인트를 OCR로 인식함으로써 데이터베이스(1190)와 연동시킬 수 있다. 또한, 인공 지능의 DPM, CNN, LSTM, 딥러닝(Deep learning)을 이용하여 OCR 인식률을 향상시킨다. 즉, 종래의 컴퓨터 기반의 공개된 기술을 이용하여 종이로 제공되는 파츠북에 대한 관리의 효율을 높이는 것이 가능하다.
또한 기존 파츠북의 단점을 해결하고자 웹과 모바일 기반으로 파츠북을 온라인화 함으로써 파츠북의 사용, 정보제공 및 유지보수 등에서 활용도를 높일 수 있다.
따라서, 부품 관리에 있어서 시간 및 비용이 절감되고, 부품의 재고현황 관리 및 유지보수성이 현저하게 향상된다.
이러한 온라인 파츠북 서비스 관리 방법 및 온라인 파츠북 서비스 관리 시스템의 특징을 정리하면 다음과 같다.
- 본 발명은 파츠북 이미지 객체 링크 정보를 추출할 수 있고, 딥러닝 기반 도면 패턴 인식 기능을 구현하기 때문에 이미지와 페이지 객체에 링크 정보를 삽입할 수 있다. 그러므로, 파츠북 인식 기능이 뛰어나다.
- 본 발명은 데이터를 늘 최신 상태로 관리할 수 있고, 부품을 쉽게 검색할 수 있는 부품 페이지 검색 기능을 제공한다.
- 본 발명에 의한 온라인 파츠북 서비스 관리 방법 및 온라인 파츠북 서비스 관리 시스템은 오픈 크로스 플랫폼에서 동작할 수 있기 때문에 플랫폼 간 이식성이 뛰어나다.
- 본 발명에 의하면 사용자가 스마트 주문처리 시스템을 통해 하나의 GUI에서 스마트하게 주문할 수 있고, 사용자 주문이 자동 처리되기 때문에 오배송이 방지된다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명은 애프터마켓용 S-BOM 기반 파츠북 제품-서비스시스템 개발에 관한 것으로서, 농기계, 보일러, 공작 기계, 펌프 등 완제품 수출이 많은 부품 산업에 적용될 수 있다.
1100 : 온라인 파츠북 서비스 관리 시스템
1110 : 파츠 정보 추출부 1120 : 라이브러리 관리부
1130 : 파츠 정보 검색부 1150 : 중앙 제어부
1160 : 파츠북 자동 발간부 1170 : 원스톱 주문 처리부
1180 : 크로스플랫폼 인터페이스 모듈 1190 : 데이터베이스
1110 : 파츠 정보 추출부 1120 : 라이브러리 관리부
1130 : 파츠 정보 검색부 1150 : 중앙 제어부
1160 : 파츠북 자동 발간부 1170 : 원스톱 주문 처리부
1180 : 크로스플랫폼 인터페이스 모듈 1190 : 데이터베이스
Claims (8)
- 기계 설비에 포함되는 부품과 모듈에 대한 파츠 정보를 포함하는 파츠북을 온라인으로 관리하는 온라인 파츠북 서비스를 지원하는 모바일 단말기로서,
문서화된 파츠북을 스캔하여 이미지로 변환하는 이미지 변환부;
사용자로부터 검색 대상인 파츠 정보를 입력받고, 검색된 파츠의 파츠 정보를 출력하는 입출력부; 및
온라인으로 상기 파츠북을 관리하는 온라인 파츠북 서버와 통신하는 통신부를 포함하고,
상기 모바일 단말기는 변환된 이미지와 검색 대상인 파츠 정보를 상기 온라인 파츠북 서버로 전송하고, 상기 파츠북 서버로부터 검색 결과를 수신하여 디스플레이하고, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제1항에 있어서,
상기 온라인 파츠북 서버는,
상기 모바일 단말기로부터 수신된 이미지로부터, 기계 설비에 포함되는 파츠의 이미지, 파츠 번호, 및 세부 정보를 포함하는 파츠 정보를 인공지능을 활용하여 추출하여 데이터베이스에 저장하는 파츠 정보 추출부;
상기 데이터베이스에 저장된 상기 파츠 정보를 조합하여 OCR 파츠북 솔루션을 구현한 후, 계층적 라이브러리로 제작하여 저장하고 관리하는 라이브러리 관리부;
상기 라이브러리에 저장된 파츠북 정보를 여러 단말의 동작 플랫폼에 호환되는 포맷으로 변환하여 사용자에게 송신하는 크로스 플랫폼 인터페이스 모듈;
상기 계층적 라이브러리로 저장된 파츠북 정보를 발간하는 파츠북 자동 발간부; 및
네트워크를 통하여 파츠에 대한 사용자의 주문이 수신되면, 수신된 주문에 상응하는 파츠를 상기 사용자에게 배송하는 원스톱 주문 처리부를 포함하고,
상기 파츠 정보 추출부는 문서화된 파츠북을 스캔하여 이미지로 변환하고, 변환된 이미지로부터 기계 설비에 포함되는 파츠 정보를 인공지능을 활용하여 추출 하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제1항에 있어서,
상기 파츠 정보 처리부는,
변환된 이미지로부터 OCR(Optical character reader)을 활용하여 이미지 내의 특징점을 추출하고, 추출된 특징점으로부터 상기 파츠 번호 및 세부 정보를 인식하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제3항에 있어서,
상기 OCR은 DPM(Dynamic pattern matching), CNN(convolutional neural network), LSTM(Long Short-Term Memory), 및 딥러닝(Deep learning) 기법 중 적어도 하나를 활용하여 인식률을 개선하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제1항에 있어서,
상기 파츠 정보 추출부는,
부품 도형, 지시선 및 문자 또는 숫자를 포함하는 기호를 포함하여 구성되는 부품 도면에 대하여 수학적 형태학 필터링을 수행하여 기호만을 별도 분리하는 전처리 모듈; 및
상기 전처리 단계에서 분리된 상기 기호를 학습된 LSTM에 입력하여 상기 부품 도형, 지시선에 합체하여 상기 기호에 대한 OCR 결과를 도출하는 OCR 모듈을 포함하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제1항에 있어서,
상기 라이브러리 관리부는,
상기 파츠의 모델, 시리즈, 그룹, 리비전, 개량, 기능, 설계변경, 용법, 용도, 가격, 및 단종을 포함하는 파츠 정보를 계층적 라이브러리로 저장하고, 파츠 정보 중 숫자와 링크를 자동으로 인식하고 여러 파츠들을 링크하여 저장하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제2항에 있어서,
상기 크로스 플랫폼 인터페이스 모듈은,
오픈크로스 플랫폼으로서 자마린(Xamarin)을 활용하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기. - 제1항에 있어서,
상기 파츠북 자동 발간부는,
사용자로부터 수신받은 부품 데이터를 바탕으로 상기 데이터베이스에 저장된 라이브러리에서 상기 부품 데이터에 상응하는 파츠 정보를 검색하고, 검색 결과를 계층별로 정리하여 파츠북을 발간하는, 온라인 파츠북 서비스를 지원하는 모바일 단말기.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200161216A KR20210080203A (ko) | 2019-12-20 | 2020-11-26 | 스마트 물류 시스템을 위한 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190172166A KR20210079916A (ko) | 2019-12-20 | 2019-12-20 | 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
| KR1020200161216A KR20210080203A (ko) | 2019-12-20 | 2020-11-26 | 스마트 물류 시스템을 위한 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172166A Division KR20210079916A (ko) | 2019-12-20 | 2019-12-20 | 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210080203A true KR20210080203A (ko) | 2021-06-30 |
Family
ID=76602340
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172166A KR20210079916A (ko) | 2019-12-20 | 2019-12-20 | 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
| KR1020200161216A KR20210080203A (ko) | 2019-12-20 | 2020-11-26 | 스마트 물류 시스템을 위한 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190172166A KR20210079916A (ko) | 2019-12-20 | 2019-12-20 | 온라인 파츠북 서비스를 지원하는 모바일 단말기 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20210079916A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024090821A1 (ko) * | 2022-10-25 | 2024-05-02 | (주)미래환경플랜건축사사무소 | 설비 사양의 자동 인식을 위한 설비 명판 광학 문자 판독 시스템 및 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102509361B1 (ko) * | 2022-01-11 | 2023-03-14 | (주)샘플피씨비 | 스마트 bom 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160035121A (ko) | 2014-09-22 | 2016-03-31 | 에스케이텔레콤 주식회사 | 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치 |
-
2019
- 2019-12-20 KR KR1020190172166A patent/KR20210079916A/ko not_active Application Discontinuation
-
2020
- 2020-11-26 KR KR1020200161216A patent/KR20210080203A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160035121A (ko) | 2014-09-22 | 2016-03-31 | 에스케이텔레콤 주식회사 | 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024090821A1 (ko) * | 2022-10-25 | 2024-05-02 | (주)미래환경플랜건축사사무소 | 설비 사양의 자동 인식을 위한 설비 명판 광학 문자 판독 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210079916A (ko) | 2021-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885099B1 (en) | Systems and methods for presenting image classification results | |
| US10664692B2 (en) | Visual task feedback for workstations in materials handling facilities | |
| JP6489262B2 (ja) | 誘導画像キャプチャユーザインタフェース | |
| US20220351006A1 (en) | Systems and methods for generating graphical user interfaces | |
| CN103080915B (zh) | 自动和半自动选择服务或处理提供商 | |
| CN104321738B (zh) | 文档处理 | |
| CN1533149B (zh) | 图像处理设备和方法 | |
| KR20210080203A (ko) | 스마트 물류 시스템을 위한 온라인 파츠북 서비스를 지원하는 모바일 단말기 | |
| KR102165096B1 (ko) | 온라인 파츠북 뷰어 시스템 | |
| US20130251211A1 (en) | Automated processing of documents | |
| WO2022026135A1 (en) | Automated document tagging in a digital management platform | |
| US10861220B2 (en) | Data acquisition and encoding process for manufacturing, inspection, maintenance and repair of a structural product | |
| JP2017134768A (ja) | 紙文書管理システム | |
| US11386402B2 (en) | System and method of documenting condition, repair, and overhaul of aircraft parts | |
| KR20090032546A (ko) | 도서용 마크 데이터 처리 시스템 및 그 방법 | |
| JP5354747B2 (ja) | アプリケーション状態認識方法、装置及びプログラム | |
| KR102055920B1 (ko) | 온라인 파츠북 서비스 제공 방법 및 시스템 | |
| US20030135496A1 (en) | Management program, method and apparatus for business process definition | |
| KR102165116B1 (ko) | 온라인 파츠북을 이용한 파츠 주문 배송 시스템 | |
| KR102165094B1 (ko) | 클라우드 기반 온라인 파츠북 서비스 제공 방법 및 시스템 | |
| KR102152508B1 (ko) | 온라인 파츠북 서비스 제공 방법 및 시스템 | |
| CN117236356A (zh) | 基于web的标签在线设计及打印方法 | |
| KR20210079912A (ko) | 온라인 파츠북 서비스 관리 방법 및 시스템 | |
| CN116974999A (zh) | 电子文件签署方法、装置、电子设备及存储介质 | |
| US10963687B1 (en) | Automatic correlation of items and adaptation of item attributes using object recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |