KR102520846B1

KR102520846B1 - 인공지능 기반의 차량 as 공정 관리 서비스 제공 방법, 장치 및 프로그램

Info

Publication number: KR102520846B1
Application number: KR1020220171736A
Authority: KR
Inventors: 한보석; 이신우
Original assignee: 에피카 주식회사
Priority date: 2022-01-20
Filing date: 2022-12-09
Publication date: 2023-04-14
Also published as: WO2023140580A1

Abstract

본 개시는 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치에 관한 것으로, 작업 정보를 기반으로, 차량의 정비를 위한 적어도 하나의 공정을 포함하는 공정 프로세스를 결정하고, 결정된 공정 프로세스 내 각 공정의 워크베이 및 작업자를 배정하고, 결정된 각 공정별 공임, 부품비 및 예상 소요시간을 산출하고, 차량에 대하여 배정된 작업자의 단말로부터 수신되는 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호와 작업자의 워크베이 내 체류 시간을 기반으로 차량의 정비 현황 정보를 생성할 수 있다.

Description

인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법, 장치 및 프로그램 {Method, device and program for providing vehicle AS process management service based on artificial intelligence}

본 개시는 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치에 관한 것이다.

대부분의 차량 AS 서비스는 정비 센터에 예약하고 차량의 입고, 출고 관리 업무를 통해 진행되고 있으며, 공정 완료 여부 및 공정별 부품 및 공임에 대한 일반적 ERP 기능을 주로 이용하고 있다.

고객의 편의성을 위해 유, 무선을 통해 AS 완료에 대한 고지가 이루어 지고 있으나, 이를 통해 고객이 자신의 차량 공정에 대한 단계별 상황이나 이에 대하여 추정할 만한 정보 또한 제공되지 않고 있다.

이와 같이, 고객의 입장은 물론 정비 센터를 관리하는 입장에서도 각 공정에 대한 상황 파악과 워크베이(정비 공간)과 테크니션(작업자, 정비사)에 대한 효율적인 배정이 어렵다는 문제점이 있다.

현재로서는, 워크샵 내의 공정 단계별 주체가 되는 워크베이와 테크니션의 작업 완료에 따라 다음 공정으로 진행되는 푸쉬(PUSH) 기반의 관리가 진행되고 있으며, 이는 공정 간의 병목 현상은 물론 워크베이 및 테크니션들의 운영에 있어서도 업무 효율성을 저해하고 있다.

이에, 위와 같은 문제점들을 해결하여 고객의 편의성은 물론 워크샵의 효율적인 운영을 할 수 있는 서비스 제공이 필요한 상황이지만, 현재로서는 이러한 서비스를 구현할 수 있는 기술이 공개되어 있지 않은 실정이다.

대한민국 공개특허공보 제10-2021-0025958, (2021.03.10)

본 개시에 개시된 실시예는 인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법을 제공하는데 그 목적이 있다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치는, 미리 학습된 인공지능 모델, 차량의 정비 항목별 공정 프로세스, 정비소 내 워크베이 및 상기 정비소 내 적어도 하나의 작업자에 대한 정보가 저장된 저장부; 클라이언트의 차량 정비를 위한 작업 정보를 수신하는 수신부; 및 상기 작업 정보를 기반으로, 상기 차량의 정비를 위한 적어도 하나의 공정을 포함하는 공정 프로세스를 결정하고, 상기 결정된 공정 프로세스 내 각 공정의 워크베이 및 작업자를 배정하고, 상기 결정된 각 공정별 공임, 부품비 및 예상 소요시간을 산출하고, 상기 차량에 대하여 배정된 작업자의 단말로부터 수신되는 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호와 상기 작업자의 상기 워크베이 내 체류 시간을 기반으로 상기 차량의 정비 현황 정보를 생성하고, 상기 클라이언트의 단말로 상기 생성된 정비 현황 정보가 제공되도록 제어하는 프로세서를 포함한다.

또한, 상기 프로세서는, 상기 인공지능 모델에 상기 결정된 공정 프로세스를 입력하여 예상 소요시간을 산출하고, 상기 결정된 공정 프로세스와 상기 정비소 내 워크베이의 작업 일정 및 상기 적어도 하나의 작업자의 작업 일정을 기반으로, 상기 클라이언트의 차량 정비를 위한 예상 소요시간 및 예상 비용을 산출하고, 상기 산출된 예상 소요시간 및 예상 비용을 상기 클라이언트의 단말로 제공할 수 있다.

또한, 상기 프로세서는, 상기 정비소 내 워크베이의 작업 일정 및 상기 적어도 하나의 작업자의 작업 일정을 기반으로 상기 결정된 공정 프로세스의 진행이 가능한 워크베이 및 작업자를 배정할 수 있다.

또한, 상기 수신부는, 비대면 상담으로 진행되는 경우 상기 클라이언트 단말로부터 상기 차량에 대한 적어도 하나의 영상 및 증상 정보를 수신하고, 상기 프로세서는, 상기 인공지능 모델에 상기 적어도 하나의 영상 및 상기 증상 정보를 입력하여 상기 작업 정보를 생성할 수 있다.

또한, 상기 인공지능 모델은, 상기 적어도 하나의 영상의 이미지 및 사운드 중 적어도 하나에서 상기 차량의 결함을 판단하고, 상기 프로세서는, 상기 판단된 결함이 상기 증상 정보와 관련된 경우, 상기 판단된 결함을 확정 결함으로 판단하여 작업 정보를 생성할 수 있다.

또한, 상기 정비소 내 각 워크베이는 적어도 하나의 식별 장치가 설치되어 있으며, 상기 프로세서는, 상기 식별 장치를 통해 식별된 단말의 정보를 기반으로, 상기 각 워크베이의 가용 여부, 상기 각 워크베이에서 작업 중인 작업자의 정보, 상기 정비소 내 각 작업자의 작업 시작 시간, 작업 종료 시간 상기 워크베이 내 체류 시간 중 적어도 하나를 판단할 수 있다.

또한, 상기 프로세서는, 상기 작업자의 단말로부터 상기 공정 프로세스 내 제1 공정에 대한 상기 작업 시작 신호가 수신된 후 상기 작업자의 단말로부터 작업 완료 신호가 수신되면, 상기 제1 공정의 작업 부위를 포함하도록 촬영된 적어도 하나의 영상을 상기 인공지능 모델에 입력하여 작업 성공률을 산출하고, 상기 산출된 작업 성공률이 기 설정된 조건을 만족하는 경우, 상기 클라이언트의 단말로 상기 제1 공정의 작업 완료 정보를 제공할 수 있다.

또한, 상기 공정 프로세스 내 제2 공정에 대한 작업 완료 신호가 수신되면, 상기 제2 공정에 대하여 수신된 작업 시작 신호, 작업 중지 신호 및 작업 완료 신호를 기반으로, 상기 제2 공정에 대한 실제 소요시간을 산출하고, 상기 예상 소요시간을 산출할 때 상기 제2 공정에 대하여 산출된 예상 소요시간과 상기 산출된 실제 소요시간을 기반으로, 상기 정비소 및 상기 작업자의 상기 제2 공정에 대한 공정 효율점수를 산출하고, 상기 산출된 실제 소요시간 및 상기 공정 효율점수를 상기 인공지능 모델에 입력하여 학습할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법은, 장치에 의해 수행되는 방법으로, 클라이언트의 차량 정비를 위한 작업 정보를 수신하는 단계; 상기 작업 정보를 기반으로 상기 차량의 정비를 위한 적어도 하나의 공정을 포함하는 공정 프로세스를 결정하는 단계; 상기 결정된 공정 프로세스 내 각 공정의 워크베이 및 작업자를 배정하는 단계; 상기 결정된 각 공정별 공임, 부품비 및 예상 소요시간을 산출하는 단계; 상기 차량에 대하여 배정된 작업자의 단말로부터 수신되는 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호와 상기 작업자의 상기 워크베이 내 체류 시간을 기반으로 상기 차량의 정비 현황 정보를 생성하는 단계; 및 상기 클라이언트의 단말로 상기 생성된 정비 현황 정보를 제공하는 단계를 포함한다.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

본 개시의 전술한 과제 해결 수단에 의하면, 인공지능 기반의 차량 AS 공정 관리 서비스를 제공하는 효과를 제공한다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 시스템의 개략도이다.
도 2는 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공
도 3은 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치의 블록도이다.
도 4 내지 도 6은 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법의 흐름도이다.
도 7은 인공지능 모델이 공정 효율점수를 산출하는 것을 예시한 도면이다.
도 8은 작업자 단말의 유저 인터페이스를 예시한 도면이다.
도 9는 공정 프로세스 내 공정이 완료되면, 인공지능 모델이 공정 부위의 영상을 분석하여 작업 성공률을 산출하는 것을 예시한 도면이다.
도 10은 학습 대상 차량에 대한 촬영 영상을 학습 데이터셋으로 구성하여 인공지능 모델을 학습시키는 것을 예시한 도면이다.
도 11은 작업 공정 예측을 위한 영상분석(CNN) 및 후처리 모델을 예시한 도면이다.
도 12는 작업 공정 효율성(텍스트기반) 학습모델 Bi-LSTM을 예시한 도면이다.

본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.

본 명세서에서 '본 개시에 따른 차량 AS 공정 관리 서비스 제공 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 차량 AS 공정 관리 서비스 제공 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.

여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.

상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.

상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.

본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/ 또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도 형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들 (weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

본 개시의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력데이터)의 해답(출력데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력데이터)의 해답(출력데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태(State)에서 어떤 행동(Action)을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망(CNN; Convolutional Neural Network), 순환신경망(RNN; Recurrent Neural Network), 트랜스포머(Transformer), 생성적 대립 신경망(GAN; generative adversarial networks) 등으로 구분될 수 있다.

본 장치는 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력(input)으로부터 예측하고자 하는 결과(output)를 추론할 수 있다.

프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다.

뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.

본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

도 1은 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 시스템(10)의 개략도이다.

본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 시스템(10)은 차량 AS 공정 관리 서비스 제공 장치(100), 작업자 단말(200) 및 클라이언트 단말(300)을 포함한다.

본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 시스템(10)은 DWS(Digital Workshop system)를 의미할 수 있다.

본 개시의 실시예에서, 시스템(10)은 Annotation Component Server를 더 포함할 수 있으며, 장치(100)는 기 수집 또는 실시간으로 수집되는 공정 작업 관리 및 차량 이미지를 주기적으로 어노테이션 컴퍼넌트 서버로 전송하여, 차량 영상은 이미지 프로세싱을 통해 비정상적인 부분을 검출 및 진단 후, 해당 차량의 WIP(RO)에 따른 공정 작업 정보(시간, 공임, 부품, 작업 내역)을 매핑하여 메타데이터로 설정할 수 있다.

식별 장치(50)는 장치(100), 작업자의 단말(200)과 통신할 수 있으며, 차량의 AS 공정이 진행되는 정비소(워크샵) 내에 적어도 하나가 설치될 수 있다.

식별 장치(50)는 워크베이 내에서 공정 작업을 수행하는 작업자가 소지하고 있는 단말을 식별하여 작업자의 워크베이 체류시간을 산출하는 것으로 식별 수단으로서의 역할을 담당하며, 정비소의 상황에 따라 설치 개수, 설치 위치가 정해질 수 있다.

일 실시예로, 식별 장치(50)는 식별 정확도 향상을 위해서 각 워크베이 내에 하나 이상의 식별 장치(50)가 설치될 수 있으나, 이에 한정되는 것은 아니다.

또한, 식별 장치(50)는 작업자의 단말(200)로부터 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호를 수신하여 장치(100)로 전송할 수 있으며, 해당 기능을 반드시 식별 장치(50)가 수행해야 되는 것은 아니다.

일 실시에로, 작업자 단말(200)에 설치된 서비스 어플리케이션을 통해서 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호가 입력되면, 입력된 신호가 통신부(120)를 통해 장치(100)로 제공될 수 있다.

본 개시의 실시예에서 차량 AS 공정 관리 서비스 제공 장치(100)는 서버 장치(100)를 포함하도록 구성되어 서버의 형태로 실시될 수 있다.

본 개시의 실시예에서 차량 AS 공정 관리 서비스 제공 장치(100)는 Annotation Component 서버를 더 포함할 수 있다. 그리고, 어노테이션 컴퍼넌트 서버는 수신되는 데이터(영상, 메타데이터)를 기반으로 학습 모델을 구성하고, 온라인 배치 방식으로 모델을 학습할 수 있다.

본 개시의 실시예에서 차량 AS 공정 관리 서비스 제공 장치(100)는 상술한 구성을 통해서 클라이언트의 차량에 대한 공정 단계, 공정 상황 등에 대한 상황을 체크하여 클라이언트에게 각종 정보를 제공할 수 있으며, 워크베이와 작업자의 스케쥴을 실시간으로 파악하여 효율적으로 업무를 스케쥴링할 수 있게 된다.

아래에서는, 다른 도면들을 참조하여 본 개시의 실시예에 따른 차량 AS 공정 관리 서비스 제공 시스템(10), 장치(100), 방법에 대해서 보다 상세하게 설명하도록 한다.

도 2는 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치(100)의 블록도이다.

도 3은 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치(100)의 블록도이다.

도 2를 참조하면, 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 장치(100)는 식별 장치(50), 프로세서(110), 통신부(120), 저장부(130), 관리부(140), 산출부(150) 및 학습부(160)를 포함한다.

다만, 몇몇 실시예에서 시스템(10), 장치(100)는 도 1 내지 도 3에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

식별 장치(50)는 작업자 단말(200), 통신부(120)와 통신한다.

식별 장치(50)는 통신수단을 포함하고 있으며, 일 실시예로 식별 장치(50)는 작업자 단말(200)과 통신하기 위한 근거리 통신수단과 장치(100)와 통신하기 위한 원거리 통신수단을 포함할 수 있다.

일 실시예로, 식별 장치(50)는 블루투스, 와이파이와 같은 통신수단을 이용하여 작업자 단말(200)과 통신할 수 있다.

식별 장치(50) 내에 포함되는 통신수단, 그리고 통신 방식에 관한 사항들은 일반적인 내용들이므로 보다 상세한 설명은 생략하도록 한다.

일 실시예로, 식별 장치(50)는 적어도 하나의 카메라 또는 적어도 하나의 라이다를 포함할 수 있으며, 카메라 또는 라이다를 통해서 센싱되는 센싱 결과를 기반으로 워크베이 내에 있는 작업자를 식별할 수 있다.

카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부에 표시되거나 메모리에 저장될 수 있다.

통신부(120)는 차량 AS 공정 관리 서비스 제공 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

프로세서(110)는 본 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(110)로 구현될 수 있다. 이때, 메모리와 프로세서(110)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서(110)는 단일 칩으로 구현될 수도 있다.

또한, 프로세서(110)는 이하의 도면에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.

프로세서(110)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 본 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 프로세서(110)는 메모리에 저장된 응용 프로그램을 구동하기 위하여, 본 장치(100)의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(110)는 상기 응용 프로그램의 구동을 위하여, 본 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.

통신부(120)는 외부 장치(100)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.

유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 프로세서(110)의 제어에 따라 무선 통신 인터페이스를 통해 프로세서(110)로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.

근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

저장부(130)는 차량 AS 공정 관리 서비스 제공 방법을 실행하기 위해 미리 학습된 인공지능 모델, 차량의 정비 항목별 공정 프로세스, 정비소 내 워크베이 및 정비소 내 적어도 하나의 작업자에 대한 정보가 저장될 수 있다.

이외에도, 저장부(130)는 프로세서(110)의 동작에 의해 생성되는 각종 정보, 산출부(150)의 동작에 의해 산출되는 각종 정보 등이 저장될 수 있다.

저장부(130)는 본 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 저장부(130)는 본 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 본 장치(100)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리에 저장되고, 장치(100)에 설치되어, 프로세서(110)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.

저장부(130)는 본 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)이 저장될 수 있고, 본 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.

이러한, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 저장부(130)는 본 장치(100)와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.

일 실시예로, 저장부(130)의 적어도 일부의 저장공간은 클라우드 저장소가 적용될 수 있다.

또한, 저장부(130)는 차량 AS 공정 관리 서비스 제공 장치(100), 방법을 위한 복수의 프로세스를 구비할 수 있다.

도 3은 관리부(140)가 관리하는 사항들이 예시되어 있으며, 각각의 관리 사항을 위해서 개별적인 모듈이 구성될 수도 있다. 그리고, 저장부(130)에 저장되는 정보, 데이터가 예시되어 있으며 이러한 정보, 데이터들 또한 개별적인 저장 공간으로 구성되어 별개로 저장, 관리될 수 있다.

산출부(150)는 프로세서(110)의 제어 신호에 따라 산출 동작을 수행할 수 있다.

일 실시예로, 산출부(150)는 각 공정별 공임, 부품비 및 공정에 대한 예상 소요시간 등을 산출할 수 있다.

학습부(160)는 인공지능 모델을 학습시킬 수 있으며, 차량 AS 공정 관리 서비스 제공 장치(100)의 동작에 의해 생성되는 각종 데이터, 정보 등을 학습 데이터셋으로 생성하여 인공지능 모델을 학습, 재학습시킬 수 있다.

아래에서는 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법의 흐름도와 각종 예시 도면들을 참조하여 장치(100)의 동작에 대해서 보다 상세하게 설명하도록 한다.

도 4 내지 도 6은 본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법의 흐름도이다.

본 개시의 실시예에 따른 인공지능 기반의 차량 AS 공정 관리 서비스 제공 방법은 도 4와 같은 프로세스로 수행될 수 있으며, 도 5는 클라이언트가 서비스 어드바이저와 AS 예약, 상담을 진행하여 프로세스가 진행되는 것이 예시되어 있고, 도 6은 클라이언트가 비대면으로 AS 예약, 상담을 진행하여 프로세스가 진행되는 것이 예시되어 있다.

도 5와 도 6은 인공지능 모델의 활용 여부에 일부 차이가 있으므로, 이를 참조하여 도면을 참조하도록 한다.

프로세서(110)가 클라이언트의 차량에 대한 영상 및 증상 정보를 기반으로 작업 정보를 생성한다. (S100)

프로세서(110)가 차량 정비를 위한 작업 정보를 수신한다. (S200)

도 5와 같이 클라이언트와 서비스 어드바이저의 상담이 진행되는 경우, 서비스 어드바이저는 클라이언트의 차량을 촬영하고 차량에 대한 점검 항목을 작성할 수 있다.

프로세서(110)는 차량이 촬영된 영상과 입력된 적어도 하나의 점검 항목이 수신되면, 이를 기반으로 작업 정보를 생성할 수 있다.

도 6과 같이 비대면 상담으로 진행되는 경우, 장치(100)는 클라이언트 단말(300)로부터 차량에 대한 적어도 하나의 촬영 영상 및 증상 정보를 수신할 수 있다.

이때, 증상 정보는 클라이언트가 단말의 서비스 어플리케이션을 통해 직접 입력할 수 있으며, 프로세서(110)는 클라이언트가 증상 정보를 입력하는데 어려움을 느끼지 않도록 적어도 하나의 점검 항목을 제공하여 차량에 대하여 자체적으로 점검하고 증상 정보를 입력하도록 할 수 있다.

이때, 프로세서(110)는 클라이언트 단말(300)로부터 차량의 증상에 대한 정보가 수신되면, 이를 기반으로 적어도 하나의 점검 항목을 도출하고, 도출된 적어도 하나의 점검 항목을 클라이언트 단말(300)로 제공하여 차량에 대한 점검을 요청할 수 있다.

일 실시예로, 프로세서(110)는 클라이언트의 단말(300)로 점검 항목에 대한 가이드를 제공할 때 차량의 촬영 방법에 대한 가이드도 함께 제공할 수 있다.

일 실시예로, 프로세서(110)는 차량의 증상에 따라서 사운드를 녹음하거나 사운드가 포함된 영상을 촬영하도록 요청할 수 있다.

인공지능 모델은 적어도 하나의 촬영 영상의 이미지 및 사운드 중 적어도 하나에서 차량의 결함을 판단할 수 있으며, 프로세서(110)는 인공지능 모델을 통해 판단된 결함이 증상 정보와 관련된 경우 판단된 결함을 확정 결함으로 판단하여 작업 정보를 생성할 수 있다.

일 실시예로, 프로세서(110)는 판단된 결함 중에서 증상 정보와 관련이 없는 결함이 존재하는 경우, 클라이언트 단말(300)로 예상 소요시간, 예상 비용의 정확한 산출을 위해서는 대면 점검이 필요하다는 정보를 제공할 수 있다.

일 실시예로, 프로세서(110)는 판단된 결함 중에서 증상 정보와 관련이 없는 결함이 존재하는 경우, 차량이 입고되어 대면 점검이 진행된 후에 예상 소요시간, 예상 비용의 정확한 안내가 될 수 있다는 정보를 제공할 수 있다.

이때, 프로세서(110)는 관련이 있는지 없는지 여부를 판단하기 위해서, 관련도를 산출할 수 있으며 기 설정된 관련도를 만족하는 경우 관련이 있는 것으로 판단하고, 기 설정된 관련도를 만족하지 못하는 경우 관련이 없는 것으로 판단할 수 있다.

그리고, 프로세서(110)는 클라이언트가 점검 항목에 대하여 점검하고 점검 결과를 입력되면, 점검 결과를 인공지능 모델에 입력하여 차량에 대한 적어도 하나의 증상 정보를 생성할 수 있다. 즉, 본 개시의 실시예에서 증상 정보는 클라이언트가 직접 입력할 수도 있고 상술한 바와 같이 클라이언트 단말(300)로 차량을 자체 점검할 수 있는 가이드를 제공한 후 클라이언트 단말(300)로부터 수신되는 점검 결과를 기반으로 인공지능 모델이 증상 정보를 생성할 수도 있다.

그 후, 프로세서(110)는 클라이언트 단말(300)로부터 수신된 차량 촬영 영상과 증상 정보를 인공지능 모델에 입력하여 차량 AS 공정을 위한 작업 정보를 생성할 수 있다.

이때, 작업 정보는 S300에서 결정되는 세부적인 공정 프로세스와는 다소 차이점이 있으며, 정비 대상 차량(클라이언트의 차량)에 어느 부위에 어떻게 이상이 있으며 어떠한 부품의 교체, 수리 등이 필요하다는 필요한 작업들에 대한 정보를 의미한다.

프로세서(110)가 작업 정보를 기반으로 차량의 AS를 위한 공정 프로세스를 결정한다. (S300)

프로세서(110)가 각 공정의 워크베이 및 작업자를 배정한다. (S400)

프로세서(110)가 각 공정별 공임, 부품비 및 예상 소요시간을 산출한다. (S500)

프로세서(110)는 인공지능 모델에 작업 정보를 입력하여 차량의 정비를 위한 적어도 하나의 공정을 포함하는 공정 프로세스를 결정한다.

프로세서(110)는 식별 장치(50)를 통해 수집되는 데이터와 워크베이, 작업자의 향후 일정 시간 동안의 일정을 기반으로 워크베이와 작업자의 스케쥴을 스케쥴링할 수 있다.

또한, 식별 장치(50)는 워크베이의 작동 상태를 감시할 수 있으며, 이를 기반으로 각 워크베이의 가동 여부, 가용 여부를 판단할 수 있다.

일 실시예로, 프로세서(110)는 식별 장치(50)를 통해서 워크베이가 가동되는 것이 확인되고 있으나, 워크베이에서 작업 중인 작업자의 단말(200)에 작업 중지 신호가 입력되어 있는 경우, 작업자 단말(200)로 작업 재개를 입력하도록 요청할 수 있다.

일 실시예로, 프로세서(110)는 식별 장치(50)를 통해서 수집되는 워크베이 가동 시간과 작업자 단말(200)로부터 수신되는 작업 시작 신호, 작업 중지 신호, 작업 재개 신호 및 작업 완료 시간을 기반으로, 워크베이의 가동 시간과 작업자의 작업 소요시간을 일치여부를 확인할 수 있다.

프로세서(110)는 각 공정을 진행하기 위해서 필요한 워크베이, 각 공정을 진행할 수 있는 작업자의 스케쥴을 체크하고, 체크된 결과를 기반으로 공정 프로세스에 포함된 각 공정에 대한 워크베이 및 작업자를 배정한다.

일 실시예로, 프로세서(110)는 작업자의 각 공정별 공정 효율점수를 기반으로 각 공정에 대한 작업자를 배정할 수 있다. 작업자마다 공정별 숙련도, 처리속도에 차이가 있을 수 있으므로, 프로세서(110)는 이를 고려하여 작업자에게 공정을 배정할 수 있다.

하지만, 반드시 공정별 숙련도, 처리속도에 기반하여 공정을 배정하는 것은 아니며 차량의 AS 공정 시급도에 따라 배정할 수 있다. 이때, 차량의 AS 공정 시급도는 차량의 AS가 시급한 정도를 의미하며, 시급도는 차량의 상태 또는 클라이언트의 요청에 따라 결정될 수 있다.

프로세서(110)는 인공지능 모델에 상기 결정된 공정 프로세스를 입력하여 공정에 대한 예상 소요시간을 산출하고, 상기 결정된 공정 프로세스와 정비소 내 워크베이의 작업 일정 및 상기 적어도 하나의 작업자의 작업 일정을 기반으로 클라이언트의 차량 정비를 위한 예상 소요시간 및 예상 비용을 산출할 수 있다.

프로세서(110)는 산출된 예상 소요시간과 예상 비용을 클라이언트 단말(300)로 제공할 수 있다.

일 실시예로, 프로세서(110)는 각 작업자의 공정별 작업 시간 내역을 기반으로, 각 작업자의 공정 효율점수와 작업 소요시간 범위를 산출하여 저장부(130)에 저장할 수 있다.

사람이 진행하는 공정의 경우 그때마다 작업 속도, 소요시간이 달라질 수 있으므로, 프로세서(110)는 상술한 바와 같이 예상 작업 소요시간을 산출하는 것 외에 예상 작업 소요시간의 범위를 산출할 수 있다.

그리고, 프로세서(110)는 각 공정에 배정된 각 작업자의 공정별 작업 소요시간 범위를 기반으로, 상기 예상 소요시간을 산출하여 클라이언트 단말(300)로 제공하되, 예상 소요시간 범위를 적용하여 정보를 제공할 수 있다.

예를 들어, 차량이 A 공정, B 공정이 진행되며 A 작업자의 A 공정에 대한 예상 소요시간 범위, B 작업자의 B 공정에 대한 예상 소요시간 범위를 합한 예상 소요시간 범위를 클라이언트 단말(300)로 제공할 수 있다.

프로세서(110)는 예상 소요시간을 기반으로, 새로운 정비 대상 차량(제2 차량)이 입고되었을 경우 기존에 입고된 정비 대상 차량(제1 차량)의 예상 소요시간이 초과되지 않는 한에서 워크베이와 작업자를 재배정할 수 있다.

일 실시예로, 제1 차량에 대한 워크베이, 작업자가 이미 배정된 상황에서 새롭게 입고된 제2 차량의 공정 효율을 위해서 제1 차량에 이미 배정되어 있는 워크베이, 작업자의 투입이 필요한 상황이 발생하는 경우, 프로세서(110)는 제1 차량에 대하여 안내된 예상 소요시간이 초과되지 않는 선에서 제1 차량의 워크베이, 작업자 배정의 적어도 일부를 변경하여 제2 차량의 워크베이, 작업자를 배정할 수 있다.

프로세서(110)가 차량의 정비 작업 시작에 따라 차량의 정비 현황 정보를 생성한다. (S600)

프로세서(110)가 클라이언트에게 정비 현황 정보를 제공한다. (S700)

프로세서(110)는 차량에 대하여 배정된 작업자의 단말(200)로부터 수신되는 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호와 작업자의 워크베이 내 체류시간을 기반으로 차량의 정비 현황 정보를 생성할 수 있다.

프로세서(110)는 기 설정된 시간마다 차량의 정비 현황 정보를 클라이언트 단말(300)로 제공할 수 있다.

프로세서(110)는 클라이언트 단말(300)로부터 차량의 정비 현황 정보가 요청되면, 해당 시점에 대하여 생성된 차량의 정비 현황 정보를 클라이언트 단말(300)로 제공할 수 있다.

프로세서(110)는 차량에 대한 하나의 공정이 완료될 때마다 차량의 정비 현황 정보를 생성하여 클라이언트 단말(300)로 제공할 수 있다.

도 7은 인공지능 모델이 공정 효율점수를 산출하는 것을 예시한 도면이다.

도 7을 참조하면, 프로세서(110)는 워크베이 가동 시간, 작업자의 작업 시간을 기반으로, 각 공정에 대한 실제 소요시간을 산출할 수 있으며, 상기 산출된 실제 소요시간과 S500에서 산출된 예상 소요시간을 기반으로 공정 효율점수를 산출할 수 있다.

프로세서(110)는 산출된 공정 효율점수를 인공지능 모델에 입력하여 워크베이와 각 작업자의 각 공정에 대한 작업 효율점수에 대하여 학습시킬 수 있다.

일 실시예로, 인공지능 모델은 이러한 학습 결과를 기반으로 전술하였던 각 작업자의 공정별 예상 소요범위를 산출할 수 있다.

일 실시예로, 프로세서(110)는 워크베이와 각 작업자에 대한 공정 효율점수 추세를 산출하고, 특정 워크베이 또는 특정 작업자에 대하여 기 설정된 시간 동안 산출된 공정 효율점수의 추세가 기준치 이상으로 하락하는 경우, 해당 워크베이 또는 해당 작업자에 대한 점검을 요청하는 신호를 발생시킬 수 있다.

도 8은 작업자 단말(200)의 유저 인터페이스를 예시한 도면이다.

도 9는 공정 프로세스 내 공정이 완료되면, 인공지능 모델이 공정 부위의 영상을 분석하여 작업 성공률을 산출하는 것을 예시한 도면이다.

도 8을 참조하면, 장치(100)가 작업자의 단말(200)로 제공하는 유저 인터페이스가 예시되어 있으며, 작업자는 본인에게 배정된 차량과 작업 종류를 확인할 수 있으며, 이러한 유저 인터페이스를 통해서 차량에 대한 공정의 작업 시작, 작업 중지, 작업 완료 등을 입력할 수 있다.

도 9를 참조하면, 프로세서(110)는 작업자의 단말(200)로부터 공정 프로세스 내 제1 공정에 대하여 작업 시작 신호가 수신된 후 작업자의 단말(200)로부터 작업 완료 신호가 수신되면, 제1 공정의 작업 부위를 포함하도록 촬영된 적어도 하나의 영상을 인공지능 모델이 입력하여 분석함으로써, 작업 성공률을 산출할 수 있다.

프로세서(110)는 상기 산출된 작업 성공률이 기 설정된 조건을 만족하는 경우, 클라이언트의 단말(300)로 제1 공정의 작업 완료 정보를 제공할 수 있다.

일 실시예로, 프로세서(110)는 상기 산출된 작업 성공률이 기 설정된 조건을 만족하지 못하는 경우, 작업자의 단말(200)로 제1 공정 재확인 요청 신호를 제공할 수 있다.

일 실시예로, 프로세서(110)는 상기 산출된 작업 성공률이 기 설정된 조건을 만족하지 못하는 경우, 인공지능 모델을 통해서 작업 부족 영역 또는 작업 실패 영역을 도출하고, 도출된 정보를 작업자의 단말(200)로 제공할 수 있다. 그리고, 작업자의 단말(200)로부터 인공지능 모델의 판단 오류인 것으로 수신되는 경우 학습부(160)를 제어하여 인공지능 모델이 오류에 대하여 학습하도록 할 수 있다.

일 실시예로, 프로세서(110)는 인공지능 모델을 통해서 작업 부족 영역 또는 작업 실패 영역이 도출되고, 작업자 단말(200)로부터 작업이 부족한 것 또는 작업이 실패한 것이 확인되는 경우, 상기 작업 부족 영역 또는 작업 실패 영역에 대한 추가 작업 소요시간을 산출하고, 상기 산출된 작업 소요시간을 상기 예상 소용시간에 합하여 예상 소요시간이 지연될 수 있다는 정보를 클라이언트 단말(300)로 제공할 수 있다.

도 10은 학습 대상 차량에 대한 촬영 영상을 학습 데이터셋으로 구성하여 인공지능 모델을 학습시키는 것을 예시한 도면이다.

도 10을 참조하면, 장치(100)는 학습 대상 차량에 대한 적어도 하나의 영상을 수신한다.

프로세서(110)는 수신된 영상을 분석하여 학습 대상 차량에 포함된 차량 부품의 영상, 차량 부품의 차량 내 위치, 복수의 차량 부품 간의 연결관계를 인식할 수 있다.

프로세서(110)는 인공지능 모델에 상기 인식된 결과를 차량 종류, 차량 기본 스펙과 함께 입력하여 학습데이터셋을 생성할 수 있다.

이때, 프로세서(110)는 더 상세하고 정확한 분석을 위해서 서로 다른 각도에서 수신된 복수 개의 영상을 수신할 수 있다.

또한, 프로세서(110)는 차량의 외관에 대한 영상을 물론, 본네트, 헤드라이트, 백미러, 휠, 바디, 트렁크 등 분리 가능한 모든 부품들에 대한 개별 영상이 수신되면, 각각을 분리하거나 이를 결합하여 저장부(130)에 저장할 수 있다.

프로세서(110)는 이와 같이 저장부(130)에 저장된 정보들을 이용하여 빅데이터를 구축하고, 이를 학습데이터로 입력하여 인공지능 모델을 학습시킴으로써, 사고 차량, 고장이 발생한 차량의 영상이 수신되었을 때 영상을 분석하는 것만으로 AS가 필요한 부분을 판단할 수 있게 된다.

도 11은 작업 공정 예측을 위한 영상분석(CNN) 및 후처리 모델을 예시한 도면이다.

도 11을 참조하면, 인공지능 모델이 작업 공정의 예측을 위한 영상 분석 및 후처리하는 것이 예시되어 있다.

인공지능 모델은 촬영 영상을 분석하여 작업 공정 특징(사고, 수리 부위)를 검출할 수 있으며, 작업 공정을 분류할 수 있다.

그리고, 인공지능 모델은 후처리 단계에서 작업상태 효율성을 측정할 수 있고, 공정별 상태 추정을 수행함으로써, 공정 예측에 따른 공정별 비용(시간, 공임 등)을 산출할 수 있다.

또한, 인공지능 모델은 Dijkstra Algorithm을 이용하여 공정별 최단거리를 산출할 수 있다.

A는 공정 1, 공정 2, 공정 3의 순서로 진행될 수 있으며, 공정 1은 테크니션 A, 워크베이 A, 5h/5FRU, 다음 공정 2는 테크니션 B, 워크베이 B, 5h/4FRU, 다음 공정 3은 테크니션 C, 워크베이 C, 3h/2FRY로 배정될 수 있다.

B는 공정 1, 공정 2, 공정 1 및 공정 3의 순서로 진행될 수 있으며, 공정 1은 테크니션 A, 워크베이 A, 3h/3FRU, 다음 공정 2는 테크니션 B, 워크베이 B, 5h/4FRU, 다음 공정 1은 테크니션 A, 워크베이 A, 3h/2FRY, 다음 공정 3은 테크니션 C, 워크베이 C, 3h/2FRY로 배정될 수 있다.

C는 공정 3, 공정 1, 공정 2의 순서로 진행될 수 있으며, 공정 3은 테크니션 C, 워크베이 C, 1h/2FRU, 다음 공정 1은 테크니션 A, 워크베이 A, 2h/5FRU, 다음 공정 2는 테크니션 B, 워크베이 A, 1h/1FRY로 배정될 수 있다.

도 12는 작업 공정 효율성(텍스트기반) 학습모델 Bi-LSTM을 예시한 도면이다.

기존의 LSTM의 경우, RNN 모델이 가지는 가장 큰 단점인 시퀀스의 길이가 길어질수록 정보 손실 문제가 있다.

본 개시의 실시예에서, 인공지능 모델은 이러한 단점을 해결하기 위해서 Bi-LSTM을 통한 공정 효율성을 학습한다.

LSTM의 입력 파라미터는 {X0, X1, X2 ~ Xn01}을 받지만, Bi-LSTM의 입력 파라메터는 {X0, X1, X2 ~ Xn-1}와 {Xn-1…X2, X1, X0}으로 받는다.

이러한 구성을 통해서, 인공지능 모델은 작업 후순위에서 공정 효율(가치)가 높게 발생할 수 있는 변수를 보완/고려할 수 있다.

이상에서 전술한 본 개시의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 인공지능 기반의 차량 AS 공정 관리 서비스 제공 시스템
50: 식별 장치
100: 차량 AS 공정 관리 서비스 제공 장치
110: 프로세서
120: 통신부
130: 저장부
140: 관리부
150: 산출부
160: 학습부
200: 작업자 단말
300: 클라이언트 단말

Claims

미리 학습된 인공지능 모델, 차량의 정비 항목별 공정 프로세스, 정비소 내 워크베이 및 상기 정비소 내 적어도 하나의 작업자에 대한 정보가 저장된 저장부;
클라이언트의 차량 정비를 위한 작업 정보를 수신하는 수신부; 및
상기 작업 정보를 기반으로, 상기 차량의 정비를 위한 적어도 하나의 공정을 포함하는 공정 프로세스를 결정하고,
상기 결정된 공정 프로세스 내 각 공정의 워크베이 및 작업자를 배정하고,
상기 결정된 각 공정별 공임, 부품비 및 예상 소요시간을 산출하고,
상기 차량에 대하여 배정된 작업자의 단말로부터 수신되는 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호와 상기 작업자의 상기 워크베이 내 체류 시간을 기반으로 상기 차량의 정비 현황 정보를 생성하고,
상기 클라이언트의 단말로 상기 생성된 정비 현황 정보가 제공되도록 제어하는 프로세서를 포함하며,
상기 프로세서는,
상기 공정 프로세스 내 제1 공정에 대한 작업 완료 신호가 수신되면, 상기 제1 공정에 대하여 수신된 작업 시작 신호, 작업 중지 신호 및 작업 완료 신호를 기반으로, 상기 제1 공정에 대한 실제 소요시간을 산출하고,
상기 예상 소요시간을 산출할 때 상기 제1 공정에 대하여 산출된 예상 소요시간과 상기 산출된 실제 소요시간을 기반으로, 상기 워크베이 및 상기 작업자의 상기 제1 공정에 대한 공정 효율점수를 산출하고,
상기 산출된 공정 효율점수를 상기 인공지능 모델에 입력하여 각 워크베이와 각 작업자의 각 공정에 대한 상기 공정 효율점수에 대하여 학습시키고,
각 작업자의 각 공정별 산출된 상기 공정 효율점수를 기반으로 상기 차량의 각 공정에 대한 작업자를 배정하되, 상기 차량의 AS 공정 시급도에 따라 배정하고,
상기 시급도는 상기 차량의 상태 또는 상기 클라이언트의 요청에 따라 결정된 것이고,
상기 작업자의 단말로부터 상기 공정 프로세스 내 제2 공정에 대한 상기 작업 시작 신호가 수신된 후 상기 작업자의 단말로부터 작업 완료 신호가 수신되면,
상기 제2 공정의 작업 부위를 포함하도록 촬영된 적어도 하나의 영상을 상기 인공지능 모델에 입력하여 작업 성공률을 산출하고,
상기 산출된 작업 성공률이 기 설정된 조건을 만족하지 못하는 경우, 상기 인공지능 모델을 통해 작업 부족 영역 또는 작업 실패 영역을 도출하고, 상기 도출된 정보를 상기 작업자의 단말로 제공하고,
상기 작업자의 단말로부터 상기 도출된 정보가 상기 인공지능 모델의 판단 오류인 것으로 수신되는 경우, 상기 인공지능 모델에 상기 오류에 대하여 학습시키는,
차량 AS 공정 관리 서비스 제공 장치.
제1항에 있어서,
상기 프로세서는,
상기 인공지능 모델에 상기 결정된 공정 프로세스를 입력하여 예상 소요시간을 산출하고,
상기 결정된 공정 프로세스와 상기 정비소 내 워크베이의 작업 일정 및 상기 적어도 하나의 작업자의 작업 일정을 기반으로, 상기 클라이언트의 차량 정비를 위한 예상 소요시간 및 예상 비용을 산출하고,
상기 산출된 예상 소요시간 및 예상 비용을 상기 클라이언트의 단말로 제공하는 것을 특징으로 하는,
차량 AS 공정 관리 서비스 제공 장치.
제2항에 있어서,
상기 프로세서는,
상기 정비소 내 워크베이의 작업 일정 및 상기 적어도 하나의 작업자의 작업 일정을 기반으로 상기 결정된 공정 프로세스의 진행이 가능한 워크베이 및 작업자를 배정하는 것을 특징으로 하는,
차량 AS 공정 관리 서비스 제공 장치.
제2항에 있어서,
상기 수신부는, 비대면 상담으로 진행되는 경우 상기 클라이언트 단말로부터 상기 차량에 대한 적어도 하나의 영상 및 증상 정보를 수신하고,
상기 프로세서는, 상기 인공지능 모델에 상기 적어도 하나의 영상 및 상기 증상 정보를 입력하여 상기 작업 정보를 생성하는 것을 특징으로 하는,
차량 AS 공정 관리 서비스 제공 장치.
제4항에 있어서,
상기 인공지능 모델은,
상기 적어도 하나의 영상의 이미지 및 사운드 중 적어도 하나에서 상기 차량의 결함을 판단하고,
상기 프로세서는,
상기 판단된 결함이 상기 증상 정보와 관련된 경우, 상기 판단된 결함을 확정 결함으로 판단하여 작업 정보를 생성하는,
차량 AS 공정 관리 서비스 제공 장치.
제2항에 있어서,
상기 정비소 내 각 워크베이는 적어도 하나의 식별 장치가 설치되어 있으며,
상기 프로세서는,
상기 식별 장치를 통해 식별된 단말의 정보를 기반으로,
상기 각 워크베이의 가용 여부, 상기 각 워크베이에서 작업 중인 작업자의 정보, 상기 정비소 내 각 작업자의 작업 시작 시간, 작업 종료 시간 상기 워크베이 내 체류 시간 중 적어도 하나를 판단하는 것을 특징으로 하는,
차량 AS 공정 관리 서비스 제공 장치.
삭제
삭제
장치에 의해 수행되는 방법으로,
클라이언트의 차량 정비를 위한 작업 정보를 수신하는 단계;
상기 작업 정보를 기반으로 상기 차량의 정비를 위한 적어도 하나의 공정을 포함하는 공정 프로세스를 결정하는 단계;
상기 결정된 공정 프로세스 내 각 공정의 워크베이 및 작업자를 배정하는 단계;
상기 결정된 각 공정별 공임, 부품비 및 예상 소요시간을 산출하는 단계;
상기 차량에 대하여 배정된 작업자의 단말로부터 수신되는 작업 시작 신호, 작업 중지 신호 또는 작업 완료 신호와 상기 작업자의 상기 워크베이 내 체류 시간을 기반으로 상기 차량의 정비 현황 정보를 생성하는 단계; 및
상기 클라이언트의 단말로 상기 생성된 정비 현황 정보를 제공하는 단계를 포함하며,
상기 장치는,
상기 공정 프로세스 내 제1 공정에 대한 작업 완료 신호가 수신되면, 상기 제1 공정에 대하여 수신된 작업 시작 신호, 작업 중지 신호 및 작업 완료 신호를 기반으로, 상기 제1 공정에 대한 실제 소요시간을 산출하고,
상기 예상 소요시간을 산출할 때 상기 제1 공정에 대하여 산출된 예상 소요시간과 상기 산출된 실제 소요시간을 기반으로, 상기 워크베이 및 상기 작업자의 상기 제1 공정에 대한 공정 효율점수를 산출하고,
상기 산출된 공정 효율점수를 인공지능 모델에 입력하여 각 워크베이와 각 작업자의 각 공정에 대한 상기 공정 효율점수에 대하여 학습시키고,
각 작업자의 각 공정별 산출된 상기 공정 효율점수를 기반으로 상기 차량의 각 공정에 대한 작업자를 배정하되, 상기 차량의 AS 공정 시급도에 따라 배정하고,
상기 시급도는 상기 차량의 상태 또는 상기 클라이언트의 요청에 따라 결정된 것이고,
상기 작업자의 단말로부터 상기 공정 프로세스 내 제2 공정에 대한 상기 작업 시작 신호가 수신된 후 상기 작업자의 단말로부터 작업 완료 신호가 수신되면,
상기 제2 공정의 작업 부위를 포함하도록 촬영된 적어도 하나의 영상을 상기 인공지능 모델에 입력하여 작업 성공률을 산출하고,
상기 산출된 작업 성공률이 기 설정된 조건을 만족하지 못하는 경우, 상기 인공지능 모델을 통해 작업 부족 영역 또는 작업 실패 영역을 도출하고, 상기 도출된 정보를 상기 작업자의 단말로 제공하고,
상기 작업자의 단말로부터 상기 도출된 정보가 상기 인공지능 모델의 판단 오류인 것으로 수신되는 경우, 상기 인공지능 모델에 상기 오류에 대하여 학습시키는,
차량 AS 공정 관리 서비스 제공 방법.
하드웨어인 컴퓨터와 결합되어, 제9항의 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.