KR102383051B1 - 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법 - Google Patents

Abstract

딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법이 제공되며, 사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하는 단계, 수신된 차량 이미지를 입력으로 기 구축된 딥러닝 모델에 의해 차종 및 모델을 분류하는 단계, 기 구축된 딥러닝 모델에 부품 이미지를 입력하여 부품교체여부 및 고장종류를 출력으로 수신하는 단계 및 부품교체여부 및 고장종류를 사용자 단말로 전송하는 단계를 포함한다.

Description

딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법{METHOD FOR PROVIDING DEEP LEARNING MODEL BASED VEHICLE PART TESTING SERVICE}

본 발명은 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법에 관한 것으로, 차종 및 모델별 부품의 고장여부를 딥러닝으로 학습시킴으로써 교체필요여부를 영상 기반으로 판단할 수 있는 방법을 제공한다.

자동차 수리용 부품시장은 일반 부품의 공급이 적고 부품의 공용화가 용이하지 않아 한번 차량을 구입하면 폐차 또는 매각할 때까지 차량 수리를 위해서는 해당 완성차업체가 공급하는 부품만을 전적으로 사용하게 된다. 한국의 대부분의 부품기업들은 완성차업체의 하청기업으로 완성차업체와 거래관계를 중시하기 때문에 일부 예외적인 경우를 제외하고는 일반 소비자들에게 광고의 필요성을 느끼지 못하여 개별적인 상품광고를 하는 경우가 드물다. 자동차는 이제 현대인의 생활에서 뗄 수 없는 필수품이 된지 오래 되었고, 그래서 일반인에게도 매우 친숙하지만, 그 범위는 차량 이용자로서 그리고 운전자로서 느끼는 친숙함이다. 보닛을 열어 엔진룸만 봐도 패닉에 빠지는 경우가 대다수이며, 각 부품의 역할이나 가격은 알 수도 없고 고장 여부는 더더욱 알기 어렵다. 한국와 같이 공급자의 힘이 특히 강한 자동차부품시장에서는 유효한 시장경쟁이 이루어지기 어렵고 관련정보와 전문적인 지식이 부족한 소비자는 부품의 교체 여부를 알기도 어렵다.

이때, 자동차의 부품 점검시기를 알려주거나 인공지능을 이용하여 자동차 부품을 주문하는 플랫폼이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2017-0099189호(2017년08월31일 공개) 및 한국등록특허 제10-2075942호(2020년02월11일 공고)에는, 자동차의 OBD와 제어부을 연결하고, OBD 연결부를 통해 차량의 정보를 받아 차량 부품별 점검시기, 교체 시기 중 어느 하나 이상을 디스플레이부를 통해 출력함으로써, 차량의 주행 거리, 부품의 사용 시간 등의 정보를 통하여 차량의 부품 점검시기, 교체시기 등을 사용자에게 알릴 수 있는 구성과, 정비소에 자동차가 입고되면, 자동차 검사 장치를 제어하여 자동차에 대한 외관 검사 및 전자 장비 검사를 수행하고, 외관 검사 및 전자 장비 검사에 대한 결과를 음성 정보로 출력하고, 지능형 서버와 연계하여 자동차 주변에 위치한 작업자의 발화를 수집 및 분석함으로써, 작업자의 의도를 사전에 결정하고, 결정된 작업자의 의도에 따라 교체가 예상되는 자동차 부품 및 재고를 사전에 결정하고, 및 작업자로부터 음성 기반 인공지능 서비스를 호출하는 발화가 감지되면, 작업자에게 결정된 자동차 부품을 가져올지 문의하고, 작업자의 명령이 수신되면 부품 이송 장치를 제어하여 사전에 결정된 자동차 부품을 운반하여 작업자에게 제공하는 구성이 각각 개시되어 있다.

다만, 상술한 구성 중 전자의 경우 부품의 교체 시기를 알려줄 뿐, 실제 부품이 손상되어 교체하여야 하는지는 알 수 없다. 전문가가 아닌 일반인인 고객은 실제 부품이 손상되지 않았음에도 부품교체요구를 하는 경우가 존재하는데, 이때에는 정비소에서 사람의 육안으로 확인을 한 후 부품교체여부를 판단하기 때문에 만약 고장이 아님에도 부품교체를 요청하는 경우 서비스가 더 이상 진행되지 않고 고객에게 설명만 하고 종료된다. 이때, 정비소의 인력 및 시간이 투입됨에도 불구하고 교체는 이루어지지 않아 매출로 이어지지 않는다. 또, 후자의 경우에도 사람이 직접 육안으로 보고 판단을 한 후 인공지능 스피커에서 자연어처리를 통하여 주문만을 수행해주기 때문에, 역시 사람이 판단하는 과정이 필연적으로 포함되게 되어 부품교체업계 및 소비자의 잉여손실로 이어진다. 이에, 자동차의 부품교체여부를 자동으로 판단할 수 있는 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 딥러닝 모델을 기반으로 카메라로 촬영한 이미지 또는 영상을 이용하여 자동차 부품의 교체필요여부를 판단하도록 학습시킴으로써 고객 스스로 또는 정비소에서 추가적인 지식습득이나 부품해체없이 자동차 부품을 검사하고 교체 여부를 판단할 수 있도록 하고, 차종 및 모델로 분류한 차량 이미지를 이용하여 학습 데이터를 구축하고 이후 새로운 질의(Query)에 대응하는 차량 이미지가 의뢰 및 수신된 경우 교체필요여부를 출력함으로써 고객 및 정비소의 잉여손실을 최소화하는데 긍정적인 영향을 미칠 수 있는, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하는 단계, 수신된 차량 이미지를 입력으로 기 구축된 딥러닝 모델에 의해 차종 및 모델을 분류하는 단계, 기 구축된 딥러닝 모델에 부품 이미지를 입력하여 부품교체여부 및 고장종류를 출력으로 수신하는 단계 및 부품교체여부 및 고장종류를 사용자 단말로 전송하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 딥러닝 모델을 기반으로 카메라로 촬영한 이미지 또는 영상을 이용하여 자동차 부품의 교체필요여부를 판단하도록 학습시킴으로써 고객 스스로 또는 정비소에서 추가적인 지식습득이나 부품해체없이 자동차 부품을 검사하고 교체 여부를 판단할 수 있도록 하고, 차종 및 모델로 분류한 차량 이미지를 이용하여 학습 데이터를 구축하고 이후 새로운 질의(Query)에 대응하는 차량 이미지가 의뢰 및 수신된 경우 교체필요여부를 출력함으로써 고객 및 정비소의 잉여손실을 최소화하는데 긍정적인 영향을 미칠 수 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 부품검사 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100) 및 부품검사 서비스 제공 서버(300)를 포함할 수 있다. 다만, 이러한 도 1의 딥러닝 모델 기반 자동차 부품검사 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 부품검사 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 부품검사 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100)과 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 딥러닝 모델 기반 자동차 부품검사 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 자동차의 부품교체필요 여부를 확인하는 단말일 수 있다. 이때, 사용자는 운전자나 차량 소유자인 고객일 수도 있고 정비소의 정비사일 수도 있다. 여기서, 사용자 단말(100)은, 자동차 및 이에 포함된 부품을 촬영한 이미지 또는 영상을 부품검사 서비스 제공 서버(300)로 전송하고, 부품의 교체필요여부와, 교체가 필요하다면 그 고장의 종류는 무엇인지 등의 피드백을 수신하는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

부품검사 서비스 제공 서버(300)는, 딥러닝 모델 기반 자동차 부품검사 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 부품검사 서비스 제공 서버(300)는, 자동차의 차종 및 모델별로 차량 이미지를 수집하여 학습하고 차종 및 모델을 인식 및 분석하여 구분해내는 서버일 수 있다. 또, 부품검사 서비스 제공 서버(300)는 차종 및 모델별 부품의 교체가 필요한 외관을 가지는 부품 이미지를 교체이유 또는 고장이유와 같은 메타데이터나 태그를 함께 부착시켜 학습 데이터로 라벨링 한 후, 학습을 진행 및 모델링을 수행하여 딥러닝 모델을 구축하는 서버일 수 있다. 그리고, 부품검사 서비스 제공 서버(300)는, 사용자 단말(100)에서 차량의 전체 외관을 촬영한 사진이나 영상과, 부품을 촬영한 부품 이미지를 업로드하는 경우, 전자를 이용해서는 차종 및 모델을 식별하고, 후자를 이용해서는 부품교체필요여부를 확인하며, 교체가 필요하다면 그 고장 종류나 이유는 무엇인지에 대하여 기 부착된 태그나 메타데이터를 출력하는 방식으로 피드백을 생성하여 사용자 단말(100)로 전송하는 서버일 수 있다. 만약, 부품검사 서비스 제공 서버(300)에서 딥러닝 모델을 구축하는 동안 오류가 발생하는 경우, 관리자 단말(미도시)에서 학습 결과에 대하여 품질 검사를 하고, 오류의 패턴이나 이유를 관리자 단말에서 정의를 한 후 다시 재학습을 시키는 경우, 교체필요여부의 결과값에 대한 오류가 최소화되도록 하는 서버일 수 있다.

여기서, 부품검사 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 부품검사 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 내지 도 5는 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 부품검사 서비스 제공 서버(300)는, 수신부(310), 분류부(320), 판별부(330), 전송부(340), 딥러닝부(350), 빅데이터화부(360) 및 오류파악부(370)를 포함할 수 있다.

본 발명의 일 실시예에 따른 부품검사 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100)로 딥러닝 모델 기반 자동차 부품검사 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100)은, 딥러닝 모델 기반 자동차 부품검사 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 수신부(310)는, 사용자 단말(100)로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신할 수 있다. 이때, 수신부(310)는 사용자 단말(100)로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신할 때, 사용자 단말(100)로부터 자동차의 부품 내 습도를 측정한 결과를 수집하고, 사용자 단말(100)로부터 자동차의 부품 내 수밀상태를 검사한 결과를 수집할 수도 있다. 전조등이나 헤드라이트 같은 경우 높은 습도에 의해 고장이 난 것인지, 또 고장이 났다면 수밀상태가 좋지 않아서인지를 영상만으로 구분하기 쉽지 않기 때문이다. 이를 위하여, 수밀상태를 측정하기 위해서는 기밀성 시험방법인, 압력차를 이용할 수 있다. 압력차는 부품 내측 압력과 외측 압력의 차를 이용하며, 외측 압력이 내측 압력보다 높을 경우를 정압, 낮을 경우를 부압으로 측정할 수 있으며, 압력차에 의해 생긴 공기가 부품을 통하여 통과하는 양인 통기량을 측정할 수도 있다. 물론, 습도나 수밀상태를 측정하기 위해서는 영상만으로는 불가능하고 이에 대응하는 장비가 존재해야 한다. 이때, 습도나 수밀상태도 이하에서 학습 데이터에 포함되어 있으므로, 차량 부품 이미지, 습도 및 수밀상태를 모두 업로드하는 경우, 부품고장여부 및 원인을 더욱 잘 파악할 수 있다.

분류부(320)는, 수신된 차량 이미지를 입력으로 기 구축된 딥러닝 모델에 의해 차종 및 모델을 분류할 수 있다. 이때, 차종 및 모델은 사용자 단말(100)에서 텍스트로 업로드할 수도 있다. 이때, 차종 및 모델을 분류하는 이유는, 차종 및 모델마다 서로 구비되는 부품의 규격이나 종류가 서로 달라지기 때문이다.

판별부(330)는, 기 구축된 딥러닝 모델에 부품 이미지를 입력하여 부품교체여부 및 고장종류를 출력으로 수신할 수 있다. 후술하겠지만, 딥러닝 모델에는, 부품교체필요 이미지와 그 이유가 태그나 메타데이터로 라벨링되어 있다. 이에 따라, 새로운 이미지가 수신되는 경우, 새로운 이미지 내에 포함된 피사체, 즉 사용자의 부품이 교체가 필요한지 여부를 파악할 수 있다. 우선, 새로운 입력 이미지와, 딥러닝 모델에 포함된 이미지를 비교분석하면서 유사도를 측정하고, 만약 유사한 딥러닝 모델에 포함된 이미지가 없다면 교체를 하지 않아도 되는 부품이다. 하지만, 유사한 딥러닝 모델에 포함된 이미지가 있다면, 교체를 해야 하는 부품이다. 이때, 딥러닝 모델에 포함된 이미지가 어떠한 종류의 고장에 매핑된 부품 이미지인지를 파악하고, 이에 라벨링된 태그나 메타데이터를 추출하는 경우, 이 태그나 메타데이터가 고장 종류가 된다. 이에 따라, 고장 종류까지 함께 출력할 수 있다.

판별부(330)는, 라이브러리(Library)를 구축하여 부품교체필요 여부를 판단할 수도 있다. 판별부(330)는 데이터셋에 정상(Normal)과 비정상(Abnormal) 두 가지 폴더를 이용할 수 있고, 이미지 데이터의 높이, 넓이, 밝기, 크기 등을 설정하고 정상과 비정상 두 가지 클래스와, 특징 활성 맵(Feature Activation Map)을 통하여 만약 부품교체가 필요하다면 어느 부분이 불량인지 시각화할 수도 있다. 예를 들어, 비정상일 확률이 70% 이상일 경우 빨간색으로 표현되며 그 확률이 더욱 높아질수록 빨간색이 더욱 짙어지도록 할 수도 있다. 물론, 빨간색은 예시이며 다른 색상이나 시각화 방법이 더 존재할 수도 있으며 실시예에 따라 다르게 적용할 수도 있다.

전송부(340)는, 부품교체여부 및 고장종류를 사용자 단말(100)로 전송할 수 있다. 이에 따라, 습도나 수밀상태를 측정하지 못하는 일반 운전자나 차량 소유주일지라도, 정비소에 들르기 전에 사용자 단말(100)에서 자신이 고장났다고 생각하는 부품에 대하여 확인을 해볼 수 있다. 만약, 습도를 측정하지 못한다고 할지라도, 습기가 찬 부품, 예를 들어, 헤드라이트의 경우에는 습기가 내부에 차서 물방울이 맺히거나 뿌옇게 되는 현상이 발생하기 때문에, 습기가 많아서 현재 구동을 못하는 것인지를 판단해줄 수 있다. 이런 경우 습기만 없어지면, 즉 모두 마르고 나면 구동을 할 수 있는 것인지만 판단을 해줘도 고객이 정비소로 가서 물어보는 불편함은 제거될 수 있다.

딥러닝부(350)는, 수신부(310)에서 사용자 단말(100)로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하기 이전에, 적어도 하나의 종류의 차종 및 모델에 대한 학습 데이터를 구축하여 차종 및 모델을 인식 및 분류하도록 학습을 진행할 수 있다. 그리고, 딥러닝부(350)는 적어도 하나의 종류의 부품교체필요 부품 이미지 및 적어도 하나의 종류의 부품고장에 대응하는 고장 이미지에 대한 학습 데이터를 구축하여 부품교체필요 여부 및 고장종류를 인식 및 분류하도록 학습을 진행할 수 있고, 학습을 진행하여 모델링 과정을 수행한 후 딥러닝 모델을 구축할 수 있다. 이때, 차종 및 모델을 구분하는 딥러닝 모델과, 부품교체필요여부 및 고장종류를 구분하는 딥러닝 모델은 서로 다를 수 있으며, 복수의 학습 모델이 선별적으로 사용될 수 있다.

이때, 딥러닝 모델은 CNN(Convolutional Neural Networks)일 수 있다. 이때, CNN은 학습 방법의 개선과 병렬처리 하드웨어의 발전으로 ILSVRC-2012에서 기존의 알고리즘들보다 10%이상 더 좋은 성능을 선보이면서 ILSVRC의 주류 알고리즘으로 사용되기 시작했다. CNN은 특징점을 사전에 추출하지 않고, 입력 층에 영상 데이터를 직접 입력하여 컨볼루션 층을 통해 특징이 자동 추출되는 특징을 가지고 있다. CNN의 구조는 층(Layer) 사이의 노드 쌍들 중 일부만 연결하는 컨볼루션 층(Convolution Layer)과 다운 샘플링 층(Pooling Layer)이 교대로 반복되며 특징 추출에 관여하고, 후반부에 분류 목적에 사용되는 층 사이의 노드를 모두 연결하는 완전연결 층(Fully Connected Layer)이 위치한다.

CNN으로 직접 학습만을 수행하는 방법은 물체 인식에 많이 쓰이고, 뛰어난 인식률을 보이고 있다. 그 이유는 대상 물체의 특징이 일관되고, 다른 물체와 구별될 수 있으며, 비교적 크기도 커서 전처리 없이 학습이 가능하기 때문이다. 다만, 산업용 부품에 대한 결함의 경우는 형태에 대한 일관된 특징이 없고, 크기도 작은 경우가 많아서 학습만으로 특징을 자동추출하기가 어렵다. 또한, 결함의 위치를 표시해야 하는 경우, CNN 만의 학습으로는 어려우며, R-CNN과 같이 선택적 탐색을 통해 후보영역 군들을 검출할 수 있어야 가능하다. 그러나, 영상 당 수백 개에서 수천 개의 후보영역군들을 검출하므로 부가적인 연산량이 증가되는 문제가 발생한다. 이러한 문제점을 해결하기 위해 후보영역군의 수를 영상 당 수십 개로 감소시키면서, 결함 및 유사 결함에 대한 후보영역군을 검출하기 위하여 VOV(Variance Of Variance) 방법을 또 다른 실시예로 이용할 수도 있다. VOV는 영상의 픽셀 값에 대해 행 또는 열의 분산을 구한 뒤 분산의 집합에 대한 분산 값으로 정의된다.

덧붙여서, CNN에서 파생된 기법으로 실시간으로 이미지 내에 있는 객체 검출을 목표로 하며, R-CNN, SPPNet, Fast R-CNN을 거치며 검출 속도, 검출 성능을 개선할 수도 있다. Faster R-CNN은 Fast R-CNN을 개선한 기법으로, 특징맵을 추출하기 위한 컨볼루션 네트워크와 분류를 위한 완전연결 층으로 이루어진 Fast R-CNN과 추출된 특징맵을 이용해 검출하고자 하는 객체가있을만한 영역을 제안하는 RPN(Region Proposal Network)이라는 특수한 네트워크를 추가한 구조로 되어있다. Faster R-CNN 내의 컨볼루션 네트워크는 일반적인 CNN과 같이 컨볼루션 층과 다운샘플링 층으로 이루어져 있고, 여기서 출력되는 특징맵은 RPN과 완전연결 층으로 연결된다. RPN은 특징맵에 슬라이딩 윈도우 방식으로 앵커 박스(Anchor Boxes)를 적용한다. 앵커 박스는 크기와 비율을 변화시키며 다양한 크기로 적용할 수 있고, 검출하고자하는 객체가 있을만한 다양한 영역을 제안할 수 있으며, 제안된 영역 중 IOU를 계산하여 최종 검출 영역을 결정한다.

상술한 두 가지를 모두 결합하여 본 발명의 일 실시예에 따른 딥러닝 모델을 구축할 수도 있다. 즉, VOV 필터와 CNN을 결합한 검출 방법과 Faster R-CNN 기반의 결함 검출 방법으로 모델링을 위하여 학습 데이터를 학습할 수 있다. VOV와 CNN을 결합한 검출 방법은 차량 부품 원본 이미지를 슬라이딩 윈도우 방식으로 잘라 작은 크기의 ROI(Region of Interest) 이미지를 생성한다. 생성된 ROI 이미지에 VOV 필터를 적용해 결함 후보영역군을 추출하고, 이를 CNN에 입력으로 주어 학습한다. Faster R-CNN 기반 결함 검출 방법은 위 방법과는 달리 ROI 이미지 대신에 원본 이미지를 학습에 사용한다. 원본 이미지에서 결함이 있는 좌표를 데이터화 한 후, 원본 이미지와 결함 좌표 데이터를 Faster R-CNN에 입력으로 사용해 학습할 수 있다.

예를 들어, 부품 외관의 교체필요 종류는 갈라짐, 긁힘, 찍힘 등을 포함하며, 외관의 질감은 서로 다른 사고나 문제로 인하여 이미지로 촬영 시 불균일한 무늬와 같은 비정형 무늬가 발생할 수 있다. 이러한 무늬가 있는 경우, 정상과 결함을 구별하기 매우 어렵다. 특히, 조명과 결합되면 반사된 부분이 시각적으로 결함과 유사하게 보이므로 결함 검출을 더욱 어렵게 한다. 또한 제품의 굴곡진 부분으로 인하여 생기는 초점이 맞지 않는 부분과 먼지 등 잡음으로 인해 결함과 혼동될 수 있어 결함 검출을 어렵게 한다. 이에 따라, VOV와 CNN 기반 교체필요여부 검출을 모델링할 때 Epoch를 높게 잡는 방법으로 학습을 진행할 수도 있다. 이러한 학습을 진행할 때 각 부위의 위치와 픽셀 단위로 영상을 분류해야한다는 특징때문에 학습시간이 오래걸릴 수도 있으므로 GPU 기반으로 학습을 진행할 수 있도록 미리 설정을 하는 것도 가능하다.

빅데이터화부(360)는, 수신부(310)에서 사용자 단말(100)로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하기 이전에, 적어도 하나의 종류의 차종 및 모델에 대한 자동차 이미지와 적어도 하나의 종류의 부품교체필요 부품 이미지 및 적어도 하나의 종류의 부품고장에 대응하는 고장 이미지를 포함한 로우 데이터(Raw Data)를 병렬 및 분산하여 저장할 수 있다. 또, 빅데이터화부(360)는, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시할 수 있고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하여 분석된 데이터를 시각화하여 출력할 수 있다.

데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함할 수 있다. 이때, 로우 데이터에 자동차의 모델별 고객의 클레임 횟수 및 클레임에 포함된 클레임 데이터가 포함될 수도 있다. 이러한 로우 데이터를 모두 수집하고 학습 데이터를 생성할 때 수동으로 일일이 각 좌표를 지정하고 분류하는 라벨링을 수행하려면 인력 및 시간이 과도하게 많이 들기 때문에 웹 크롤러를 통하여 자동으로 수집 및 분류할 수도 있다.

웹 크롤러란 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 웹 크롤러가 하는 작업을 웹크롤링(WebCrawling) 혹은 스파이더링(Spidering)이라 부르며 봇이나 소프트웨어 에이전트의 한 형태이다. 웹 크롤러는 크게 일반 웹크롤러와 분산 웹 크롤러가 있다. 웹 크롤러의 기본 동작을 설명하면, 우선 URL 프론티어(Frontier) 모듈에서 URL을 가져와 HTTP 프로토콜을 사용해 해당 URL의 웹 페이지를 가져오는 것으로 시작한다. 그런 다음 패치(Fetch) 모듈에서 임시 저장소에 웹 페이지를 저장하고, 파서(Parser) 모듈에서 텍스트와 링크를 추출을 하고 텍스트는 인덱서(Indexer)에 보내진다. 링크의 경우는 URL 프론티어에 추가되어야 하는지에 대해 Content Seen, URL Filter, Duplication URL Element 모듈들을 거치면서 판단하게 된다. 이때, 웹 문서를 전부를 일반 웹 크롤러로 크롤링 한다는 것은 사실상 불가능하기 때문에 분산 웹 크롤러를 더 사용할 수 있다.

분산 웹 크롤러는 크게 2가지로 나누어지는데 그 중 하나가 중앙 집중식(Centralized) 방식이고 다른 하나는 P2P(or Fully-Distributed) 방식이다. 중앙 집중식 분산 웹 크롤러는 URL 매니저가 서버와 같은 역을 수행하고, 크롤러가 클라이언트 역을 하는 구조이다. 크롤러에서 문서를 다운로드 받고 아웃링크(OutLink) URL을 추출하여 URL 매니저에게 넘겨주면 URL 매니저는 다운로드 받은 문서의 URL인지 검사하여 URL 중복을 제거를 한다. 즉 일반 웹 크롤러에서 URL 중복과 URL 관리를 하는 부분을 URL 매니저가 대신 해 주는 것이다. 한편, P2P 방식은 각 Crawler가 완전 독립적인 구조를 가진다. P2P 방식은 각각의 크롤러가 일반 웹 크롤러처럼 동작을 한다. 각각의 크롤러는 문서를 다운로드 받고 OutLink URL을추출하고 URL 중복제거까지 모두 각각의 크롤러가 독립적으로 동작한다. 이렇게 하기 위해서는 각각의 크롤러에서 관리하는 다운로드 받은 URL 목록은 서로 배타적이어야 한다. 그렇지 않으면 서로 다른 크롤러에서 같은 문서를 다운로드 받는 현상이 발생할 것이다. 이것을 해결하는 방법으로 각각의 크롤러는 다운로드 받을 URL 도메인(Domain)을 서로 배타적으로 나눠서 관리할 수 있다. 즉, 자신이 다운로드 도메인에 속하는 것만 관리하고 나머지 URL은 다른 크롤러에게 넘기는 방법인데, 이러한 방법을 이용하는 경우 각각의 크롤러가 독립적으로 동작할 수 있다.

그 다음은 웹 콘텐츠를 추출해야 하는데, 웹 콘텐츠 추출 기술은 웹 문서로부터 정보 분석에 활용될 콘텐츠인 관광지, 관광목적, 관광객, POI, 추천경로 등을 자동으로 추출하는 기능을 제공한다. 웹 콘텐츠 추출 시스템은 콘텐츠를 추출하는 규칙을 자동 생산해 콘텐츠만을 추출하는 장치로 콘텐츠 추출 규칙을 자동 생성하는 규칙 생성기(Rule Generator), 주어진 웹 문서에서 내비게이션 콘텐츠를 제거하는 네비게이션 콘텐츠 제거기(Navigation Content Eliminator), 콘텐츠 추출 규칙 키워드 유사도 비교를 통해 콘텐츠를 추출하는 콘텐츠 추출기(Core Context Extractor)로 구성될 수 있다. 물론, 상술한 크롤링 방법 이외에도 다양한 방법으로 실시간 자료를 수집하는 것도 가능하며 나열된 것들로 한정되지 않으며 열거되지 않은 이유로 배제되지 않는다.

오류파악부(370)는, 전송부(340)에서 부품교체여부 및 고장종류를 사용자 단말(100)로 전송하기 이전에, 부품교체여부 및 고장종류의 오류 검증을 위한 인증을 실시하고, 인증의 결과로 부품교체여부 및 고장종류의 오류 부분 및 오류 원인을 파악할 수 있다. 또, 오류파악부(370)는, 파악된 오류 부분 및 오류 원인을 기 구축된 딥러닝 모델의 학습 데이터로 업데이트한 후, 오류의 패턴을 발견하고 분류를 통하여 오류율을 예측하기 위하여 딥러닝을 재실시할 수 있다. 예를 들어, 수 백번의 학습을 마쳤다고 할지라도 인간이 처리하는 일이 아니기 때문에 딥러닝 모델의 결과에는 오류가 발생할 수 있다. 이때, 구축 초기에는 관리자 단말에서 그 결과를 검수하고 오류가 발생했다면 그 패턴이나 이유를 입력하도록 함으로써, 오류 패턴을 이후에 딥러닝 모델이 인지하고, 그 오류가 발생하지 않도록 결과값이 나오는 방향으로 재학습을 실시하는 것이다. 물론, 구축 초기에는 인간의 개입이 다소 요구되겠지만, 학습량이나 그 종류가 늘어나는 경우 이후에 유사한 오류에 대해서는 인지 후 오류가 발생되지 않도록 출력값을 내는 것이 가능해질 수 있다.

덧붙여서, 본 발명의 일 실시예에 따른 부품검사 서비스 제공 서버(300)는, 차량의 OBD(On-Board Diagnostics)를 이용하여 자가진단을 할 수도 있다. OBD는 자동차 자가 진단을 위한 장치로써, OBD를 이용하여 원격에서 고장진단을 수행하고, 고장진단된 차량을 추출할 수 있다. 이때, 차량에는 성능과 안전·편의성 향상을 위해 ECU(Electric Control Unit), TCU(Transmission Control Unit), ACU(Airbag Control Unit), ABS(Anti-lock Braking System) 등과 같은 제어 모듈이 설치되어 있는데, 각 제어 모듈은 필요에 따라 다른 모듈의 데이터 값을 공유함으로써 전체의 기능을 향상시킨다. 이를 위해 제어모듈(ECM)을 유기적으로 제어할 수 있도록, CAN(Controller Area Network) 통신을 이용한다.

이때, ECM은, 차량 운행중 배출가스 제어 부품이나 차량 전자 제어 시스템을 자가진단하게 되며, 고장으로 판정되면 고장코드(DTC, Diagnostic Trouble Code)를 저장하고 고장 경고등(MIL)이 켜지도록 규정하고 있으며, 이를 OBD-II(On-Board Diagnosis)시스템이라 한다. 이때, OBD-II는 OBD에서 배기가스규제가 추가된 시스템인데, 이를 본 발명에서 이용하게 되면, 진단 기능 및 차량 접속 기능을 이용하여 원격에서 차량의 진단 여부를 확인하고, 차량에 문제가 생겼을 때 원격에서 제어가 가능해진다. 이때, 진단 기능은, ELM 실행, 유틸리티 실행, 센서 출력, 데이터 파형, 데이터 출력, 고장진단 출력 등을 포함하고, 차량 접속 기능은, 차량의 통신 프로토콜을 이용하여 차량과 무선통신으로 연결하는 방법을 제공할 수 있다.

OBD는, OBD 커넥터에 연결되어 차량의 OBD 정보를 획득하고, 획득한 정보를 사용자 단말(100)을 경유하여 부품검사 서비스 제공 서버(300)로 전송할 수 있다. OBD는 차량에서 시동을 거는 경우, 전원이 공급되면서 작동이 시작된다. 이때, OBD는 포팅된 코드에 의해 엔진 RPM과, 차량의 속도정보를 차량으로부터 획득하고, 이동거리는 S=VT라는 공식으로 산출할 수 있다. 이때, 3 가지의 차량 OBD 정보를 구분하기 위하여 변수를 사용할 수도 있다. 이때, 기기 간 시리얼 통신을 통하여 OBD의 작동을 확인하기 이전에, 시리얼 통신의 정상여부를 먼저 확인할 수도 있으며, OBD에서 진단하는 차량진단모드는 이하 표 1과 같을 수 있으나, 이에 한정되는 것은 아니다.

Mode	Description
MODE 1	Show current data
MODE 2	Show freeze frame data
MODE 3	Show stored Diagnostic Trouble Codes
MODE 4	Clear Diagnostic Trouble Codes and stored values
MODE 5	Test result, oxygen sensor monitoring
MODE 6	Test results, other component/system monitoring
MODE 7	Show pending Diagnostic Trouble Codes
MODE 8	Control operation of on-board component/system
MODE 9	Request vehicle information

OBD의 송신단에서 OBD 정보를 전송하고, OBD의 수신단에서는 에코 코드를 포팅(Porting)하여 수신한 정보를 그대로 다시 보내도록 구성할 수 있다. 부품검사 서비스 제공 서버(300)는, OBD의 수신단으로부터 수신되는 정보와, 송신단에서 출력되는 정보를 비교함으로써 시리얼 통신의 동작 여부를 먼저 확인할 수 있다. 이때, 기기 간 통신을 할 경우에, 송신단으로부터 취득된 OBD 정보를 그대로 사용하게 되면, 수신단에서는 데이터를 구분할 수가 없다. 따라서, 부품검사 서비스 제공 서버(300)는, TLV(Type, Length, Value) 프로토콜을 적용하여 취득된 정보를 식별하도록 할 수 있다. 예를 들어, 각 정보는 프레임의 OP코드로 구분할 수 있고, 각각의 데이터는 프레임 내에 채워져 전송될 수 있다. 또한, 수신측의 과부하를 막기 위하여, 부품검사 서비스 제공 서버(300)는, 송신단에서 OBD 정보를 송신할 때 딜레이를 주어 정상적으로 수신되도록 할 수도 있다. 예를 들어, 1 바이트씩 전송하더라도 수신측에서는 전체적으로 프레임 구조가 유지되고, 각각의 정보가 순서대로 정상적으로 수신될 수 있다. 또, AP 이전에 와이파이 모듈이 더 구비되는 경우, OBD와 와이파이 모듈 간 UDP 소켓 설정을 통하여 기 정의된 통신을 설정해야 한다. 이때, 와이파이 모듈은 스테이션으로 설정되고, 기 설정된 SSID 암호에 따라 일반 AP와 연결되도록 설정될 수 있다. 또, 부품검사 서비스 제공 서버(300)는, 소켓 설정이 끝나면, 시리얼 통신 설정을 통하여 OBD로부터 데이터를 수신하기 위한 설정을 진행할 수 있다. 설정이 끝나면, 와이파이 모듈은, OBD로부터 데이터를 수신하고, 데이터의 정상유무를 확인한 후, 정상적인 데이터만 버퍼에 저장할 수 있다. 그리고, 와이파이 모듈은, 버퍼에 저장된 각각의 OBD 정보를 헤더를 붙여 프레임 구조로 AP로 전송함으로써 결과적으로 카쉐어링 서비스 제공 서버(300)로 정보를 전송하게 된다. 이때, 각각의 데이터는 상술한 바와 같이 OP코드 뒤에 실려 전송될 수 있다.

이러한 과정을 거쳐 부품검사 서비스 제공 서버(300)로 데이터가 수신되는 경우, 부품검사 서비스 제공 서버(300)는, 프레임 구조를 이미 알고 있기 때문에, 어떠한 정보가 어디에 저장되었는지를 확인 및 추출할 수 있고, 고장 진단 데이터를 수집할 수 있게 된다. DTG는, 차량운행기록을 실시간으로 저장하는 장치로써, 차량의 GPS, 속도, RPM, 제동유무, 이동거리 등 차량운행 관련 데이터가 1초 단위로 기록되는 장치이다. 차량 운행 패턴 및 분석을 하기 위해서는 DTG 데이터의 빠른 처리가 필수적이며, 특히 대용량 DTG 데이터를 가공 및 변환하기 위해서는 별도의 플랫폼이 필요하다. 이를 위하여, 오픈소스 기반의 빅데이터 프레임워크인 예를 들어, 스파크(Spark)를 이용하여 대용량 DTG 데이터의 전처리 플랫폼을 구현할 수 있고, 실제 대용량 DTG 데이터를 대상으로 데이터를 변환 및 지도상에 출력할 수도 있다. 스파크는 하둡(Hadoop)이 추구하는 맵 리듀스 방식을 벗어나 RDD(Resilient Distributed Dataset)이라는 고유의 자료구조를 생성해 빅데이터 분석을 처리한다. 또한, 스파크는 자바, 스칼라, 파이썬,R 등 프로그래밍에 친화적인 API를 제공하며, SQL, 스트리밍 데이터, 머신러닝 및 그래프 처리를 지원한다. 따라서, 본 발명의 일 실시예에서는 빅데이터 처리 뿐만 아니라 통계분석까지 활용할 수 있는 SparkR API를 사용할 수 있다.

DTG 데이터 분석을 위해 사용하는 DTG 데이터 요소들은 이하 표 2와 같지만 이에 한정되지는 않는다. DTG 데이터의 특징은 운행차량의 상황을 파악할 수 있도록 차량 상태정보와 위치 정보가 함께 있는 것이다. 본 발명의 일 실시예에서는 공간 데이터 분석을 위해 스파크가 제공하는 지오스파크(Geo-Spark)를 이용하여 차량의 GPS와 새주소 도로 형상을 적재 및 처리하고 WGS84 좌표계 기반에서 미터단위의 평면좌표계로 통일하여 분석할 수도 있다.

설명	자료형	단위
정보발생일시	String	-
총 누적주행거리(km)	Unsigned integer	km
총 누적주행거리(m)	Unsigned integer	m
일일 주행거리	Unsigned integer	km
자동차 속도	Unsigned integer	km/h
분당엔진 회전수	Unsigned integer	RPM
브레이크 신호	Unsigned integer	-
차량위치,GPSx	Integer	-
차량위치,GPSy	Integer	-
GPS 방위각	Unsigned integer	-
가속도x	Integer	m/s2
가속도y	Integer	m/s2

이하, 상술한 도 2의 부품검사 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 5를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, 현대자동차 또는 기아자동차 정비소에서 헤드램프 등 자동차용 부품의 교체를 요구하는 고객이 많다. 고객들의 요구사항은 실제 제품의 불량일 수도 있으나, 그렇지 않은 경우가 매우 빈번하게 일어난다. 이와 같은 상황에서 교체해야 하는 제품의 불량상태를 판단해주는 구조가 필요하다는 니즈가 발생하였고, 본 발명의 일 실시예는 정비소에서 교체 제품의 사진을 휴대폰으로 촬영하여 본 발명의 일 실시예에 따른 부품검사 서비스 제공 서버(300)로 전송하고, 본 발명의 부품검사 서비스 제공 서버(300)는 이를 자동으로 분류하고 분석한 후 그 결과를 정비사의 휴대폰으로 전송해줄 수 있다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 부품검사 서비스 제공 서버(300)는, 차종 및 모델을 분류할 수 있다. 예를 들어, 헤드램프, 후면램프, 범퍼, 차량의 앰블럼의 정보를 학습함으로써 제조사와 모델을 분석할 수 있다. 이때, 원본 이미지가 입력되면, 그 크기를 조정하고 CNN에 입력하여 결과를 분석할 수 있다. 이때, 신뢰도를 기반으로 결과를 도출할 수 있으며 도 5와 같이 검사 항목은 라이팅 시스템 내에서 수밀상태나 습기를 확인하거나, 방진 시스템 내에서 먼지가 쌓인 것을 구분해낼 수 있다. 다양한 부속품을 정의하고 고품의 불량 유형을 정의하여 매핑하고 상술한 바와 같이 딥러닝을 진행하여 학습하는 경우, 이후 동일 또는 유사한 이미지가 신규로 질의(Query)된 경우 이에 대한 결과값을 출력할 수 있게 된다.

이와 같은 도 2 내지 도 5의 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 6은 본 발명의 일 실시예에 따른 도 1의 딥러닝 모델 기반 자동차 부품검사 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 6을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 6에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 6을 참조하면, 부품검사 서비스 제공 서버는, 사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신한다(S6100).

그리고, 부품검사 서비스 제공 서버는, 수신된 차량 이미지를 입력으로 기 구축된 딥러닝 모델에 의해 차종 및 모델을 분류하고(S6200). 기 구축된 딥러닝 모델에 부품 이미지를 입력하여 부품교체여부 및 고장종류를 출력으로 수신한다(S6300).

마지막으로, 부품검사 서비스 제공 서버는, 부품교체여부 및 고장종류를 사용자 단말로 전송한다(S6400).

상술한 단계들(S6100~S6400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S6100~S6400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 6의 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 5를 통해 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 6을 통해 설명된 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

1. 부품검사 서비스 제공 서버에서 실행되는 부품검사 서비스 제공 방법에 있어서,
   사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하는 단계;
   상기 수신된 차량 이미지를 입력으로 기 구축된 딥러닝 모델에 의해 차종 및 모델을 분류하는 단계;
   상기 기 구축된 딥러닝 모델에 상기 부품 이미지를 입력하여 부품교체여부 및 고장종류를 출력으로 수신하는 단계; 및
   상기 부품교체여부 및 고장종류를 상기 사용자 단말로 전송하는 단계;를 포함하고,
   상기 사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하는 단계는,
   상기 사용자 단말로부터 상기 자동차의 부품 내 습도를 측정한 결과를 수집하는 단계; 및
   상기 사용자 단말로부터 상기 자동차의 부품 내 수밀상태를 검사한 결과를 수집하는 단계를 포함하는 것인, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법.
   
2. 제 1 항에 있어서,
   상기 사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하는 단계 이전에,
   적어도 하나의 종류의 차종 및 모델에 대한 학습 데이터를 구축하여 상기 차종 및 모델을 인식 및 분류하도록 학습을 진행하는 단계;
   적어도 하나의 종류의 부품교체필요 부품 이미지 및 적어도 하나의 종류의 부품고장에 대응하는 고장 이미지에 대한 학습 데이터를 구축하여 상기 부품교체필요 여부 및 고장종류를 인식 및 분류하도록 학습을 진행하는 단계;
   상기 학습을 진행하여 모델링 과정을 수행한 후 상기 딥러닝 모델을 구축하는 단계;
   를 포함하는 것인, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법.
   
3. 제 2 항에 있어서,
   상기 딥러닝 모델은 CNN(Convolutional Neural Networks)인 것인, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법.
   
4. 제 1 항에 있어서,
   상기 사용자 단말로부터 자동차의 부품을 촬영한 차량 이미지 및 부품 이미지를 수신하는 단계 이전에,
   적어도 하나의 종류의 차종 및 모델에 대한 자동차 이미지와 적어도 하나의 종류의 부품교체필요 부품 이미지 및 적어도 하나의 종류의 부품고장에 대응하는 고장 이미지를 포함한 로우 데이터(Raw Data)를 병렬 및 분산하여 저장하는 단계;
   상기 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하는 단계;
   상기 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하여 상기 분석된 데이터를 시각화하여 출력하는 단계;
   를 더 포함하고,
   상기 데이터 마이닝은, 상기 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함하는 것인, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법.
   
5. 제 4 항에 있어서,
   상기 로우 데이터에 상기 자동차의 모델별 고객의 클레임 횟수 및 클레임에 포함된 클레임 데이터가 포함되는 것인, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법.
   
6. 제 1 항에 있어서,
   상기 부품교체여부 및 고장종류를 상기 사용자 단말로 전송하는 단계 이전에,
   상기 부품교체여부 및 고장종류의 오류 검증을 위한 인증을 실시하는 단계;
   상기 인증의 결과로 상기 부품교체여부 및 고장종류의 오류 부분 및 오류 원인을 파악하는 단계;
   상기 파악된 오류 부분 및 오류 원인을 상기 기 구축된 딥러닝 모델의 학습 데이터로 업데이트한 후, 상기 오류의 패턴을 발견하고 분류를 통하여 오류율을 예측하기 위하여 딥러닝을 재실시하는 단계;
   를 더 포함하는 것인, 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법.
   
7. 삭제
8. 제 1 항 내지 제 6 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.

Images