KR102529430B1 - 차량 관리 장치 - Google Patents
차량 관리 장치 Download PDFInfo
- Publication number
- KR102529430B1 KR102529430B1 KR1020200111494A KR20200111494A KR102529430B1 KR 102529430 B1 KR102529430 B1 KR 102529430B1 KR 1020200111494 A KR1020200111494 A KR 1020200111494A KR 20200111494 A KR20200111494 A KR 20200111494A KR 102529430 B1 KR102529430 B1 KR 102529430B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- information
- damage
- area
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims description 35
- 230000002159 abnormal effect Effects 0.000 claims description 24
- 238000007726 management method Methods 0.000 description 392
- 238000003062 neural network model Methods 0.000 description 221
- 238000000034 method Methods 0.000 description 176
- 230000008569 process Effects 0.000 description 125
- 238000012545 processing Methods 0.000 description 116
- 238000010586 diagram Methods 0.000 description 100
- 230000006870 function Effects 0.000 description 26
- 238000013527 convolutional neural network Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 20
- 230000011218 segmentation Effects 0.000 description 19
- 238000011176 pooling Methods 0.000 description 17
- 230000008439 repair process Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 230000006735 deficit Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000001939 inductive effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101100495467 Arabidopsis thaliana HCF107 gene Proteins 0.000 description 1
- 101150021086 MBB1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명의 일 양태에 따르면, 손상 이미지를 출력하는 출력부 및 카메라에 의해 제1 시점에 촬영된 제1 이미지와 상기 카메라에 의해 제2 시점에 촬영된 제2 이미지를 기초로 상기 손상 이미지를 출력하기 위해 상기 출력부를 제어하는 제어부를 포함하되, 상기 제1 이미지는 차량의 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역의 내부에는 적어도 하나 이상의 이상 영역인 고정 영역 및 가변 영역이 포함되어 있고, 상기 제2 이미지는 차량의 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역의 내부에는 상기 고정 영역 중 적어도 일부 영역 및 상기 가변 영역 중 적어도 일부 영역이 포함되어 있고, 상기 손상 이미지는 상기 제1 이미지 및 상기 제2 이미지로부터 상기 가변 영역이 제거된 이미지이되, 상기 고정 영역은 차량의 손상에 대한 영역이고, 상기 가변 영역은 차량의 손상에 대한 영역이 아닌 영역이고, 상기 제1 시점과 제2 시점은 서로 다른 시점인 차량 관리 장치에 관한 것이다.
Description
본 발명은 차량 관리 장치에 관한 것으로서, 보다 구체적으로는 차량의 외관에 관한 복수의 이미지를 통하여 차량 손상 판단의 정확도를 향상시키기 위한 차량 관리 장치에 관한 것이다.
경제가 발전하고 사회가 고도화됨에 따라, 차량의 판매량은 지속적으로 증가하고 있다. 이에 따라, 주차장, 중고차 거래, 자동차 보험, 렌터카, 공유차 관리 등 차량과 관련된 산업 역시 점차 다양해지며 시장의 크기 역시 날로 증가하고 있다.
관련 시장의 크기가 커짐에 따라, 다양한 소비자의 필요에 의하여 차량의 상태 내지 가치를 평가하고 차량을 지속적으로 관리할 필요성 역시 증가되고 있다. 특히, 차량의 손상 등으로 인한 품질 관리에 실패할 경우, 이는 차량의 가치 하락뿐 아니라 인명 사고 등으로 이어질 가능성도 존재한다. 그러나, 아직까지는 차량의 품질 관리에 대하여는 전문가들을 동원한 인력 투입되는 것이 일반적인 바, 일반 소비자에게는 접근성이 부족한 상황이다.
이에, 일반 소비자들이 다양한 산업 환경에서 차량의 상태를 쉽게 관리할 수 있도록 하는 기술의 개발 필요성이 대두된다.
본 발명의 일 과제는, 차량의 손상 상태를 관리하기 위한 차량 관리 장치를 제공하는 것이다.
본 발명의 다른 일 과제는, 차량의 외관에 관한 복수의 이미지를 통하여 차량 손상 판단의 정확도를 향상시키기 위한 차량 관리 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양태에 따르면, 손상 이미지를 출력하는 출력부 및 카메라에 의해 제1 시점에 촬영된 제1 이미지와 상기 카메라에 의해 제2 시점에 촬영된 제2 이미지를 기초로 상기 손상 이미지를 출력하기 위해 상기 출력부를 제어하는 제어부를 포함하되, 상기 제1 이미지는 차량의 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역의 내부에는 적어도 하나 이상의 이상 영역인 고정 영역 및 가변 영역이 포함되어 있고, 상기 제2 이미지는 차량의 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역의 내부에는 상기 고정 영역 중 적어도 일부 영역 및 상기 가변 영역 중 적어도 일부 영역이 포함되어 있고, 상기 손상 이미지는 상기 제1 이미지 및 상기 제2 이미지로부터 상기 가변 영역이 제거된 이미지이되, 상기 고정 영역은 차량의 손상에 대한 영역이고, 상기 가변 영역은 차량의 손상에 대한 영역이 아닌 영역이고, 상기 제1 시점과 제2 시점은 서로 다른 시점인 차량 관리 장치가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 차량의 손상 상태를 관리하기 위한 차량 관리 장치가 제공될 수 있다.
본 발명에 의하면, 차량의 외관에 관한 복수의 이미지를 통하여 차량 손상 판단의 정확도를 향상시키기 위한 차량 관리 장치가 획득될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 차량 관리 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 차량 이미지를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 4는 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 5는 다른 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 6은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 7은 노이즈 제거 처리를 설명하기 위한 도면이다.
도 8은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 9는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 10은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 신경망 모델을 예시하기 위한 도면이다.
도 14는 일 실시예에 따른 부품 영역 정보를 설명하기 위한 도면이다.
도 15는 차량 이미지 및 부품 정보를 설명하기 위한 도면이다.
도 16은 차량 이미지 및 부품 정보를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다.
도 18은 다른 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다.
도 19는 일 실시예에 따른 손상 정보를 설명하기 위한 도면이다.
도 20은 손상 영역 정보를 설명하기 위한 도면이다.
도 21은 손상 학습 데이터를 예시하기 위한 도면이다.
도 22는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 차량 정보의 획득을 설명하기 위한 도면이다.
도 24는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 25는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 신규 손상 정보를 설명하기 위한 도면이다.
도 27은 손상 이력 관리를 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 출력 화면을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 손상 영역 정보의 표시를 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 차량 관리 보조 방법을 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 33은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 34는 온-사이트 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 35는 온-사이트 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 36은 온-사이트 차량 관리 프로세스에서 차량 관리에 필요한 차량 데이터를 획득하는 단계를 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 영상 데이터가 감지수단에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 38은 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 39는 또 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 40은 또 다른 실시예에 따른 영상 데이터가 차단기가 작동한 시점부터 일정 범위 내의 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 41은 일 실시예에 따른 영상 데이터로부터 이미지 데이터를 추출하는 방법을 설명하기 위한 도면이다.
도 42는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 43은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 44는 관리장치의 출력 화면 중 손상 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 45는 관리장치의 출력 화면 중 손상 정보에 대한 사용자 또는 관리자의 동의 여부를 선택할 수 있는 화면을 설명하기 위한 도면이다.
도 46은 관리장치의 출력 화면 중 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 47은 관리장치의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 48은 관리장치의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 49는 모바일 베이스 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 50은 모바일 베이스 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 51은 일 실시예에 따른 영상 데이터에 포함되어 있는 차량 손상 정보가 충분하지 않은 경우 재 촬영 요청을 설명하기 위한 도면이다.
도 52는 일 실시예에 따른 영상 데이터가 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 53은 카메라 모듈로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 제공되는 촬영 가이드를 설명하기 위한 도면이다.
도 54는 카메라 모듈로 차량을 촬영하는 경우 제공되는 촬영 맵을 설명하기 위한 도면이다.
도 55는 일 실시예에 따른 단말기에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 56은 복수의 공유 차량 이용자가 시간 순서에 따라 공유 차량을 이용하고 이용을 종료하는 과정을 개략적으로 표현한 도면이다.
도 57은 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 차량 반납 프로세스의 설명을 위한 도면이다.
도 58은 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의 여부를 표시하고 동의하지 않을 시 차량 외관을 촬영하는 차량 이용 프로세스의 설명을 위한 도면이다.
도 59는 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량 외관을 재 촬영하는 프로세스를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 차량 이미지를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 4는 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 5는 다른 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 6은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 7은 노이즈 제거 처리를 설명하기 위한 도면이다.
도 8은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 9는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 10은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 신경망 모델을 예시하기 위한 도면이다.
도 14는 일 실시예에 따른 부품 영역 정보를 설명하기 위한 도면이다.
도 15는 차량 이미지 및 부품 정보를 설명하기 위한 도면이다.
도 16은 차량 이미지 및 부품 정보를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다.
도 18은 다른 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다.
도 19는 일 실시예에 따른 손상 정보를 설명하기 위한 도면이다.
도 20은 손상 영역 정보를 설명하기 위한 도면이다.
도 21은 손상 학습 데이터를 예시하기 위한 도면이다.
도 22는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 차량 정보의 획득을 설명하기 위한 도면이다.
도 24는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 25는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 신규 손상 정보를 설명하기 위한 도면이다.
도 27은 손상 이력 관리를 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 출력 화면을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 손상 영역 정보의 표시를 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 차량 관리 보조 방법을 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 33은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 34는 온-사이트 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 35는 온-사이트 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 36은 온-사이트 차량 관리 프로세스에서 차량 관리에 필요한 차량 데이터를 획득하는 단계를 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 영상 데이터가 감지수단에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 38은 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 39는 또 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 40은 또 다른 실시예에 따른 영상 데이터가 차단기가 작동한 시점부터 일정 범위 내의 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 41은 일 실시예에 따른 영상 데이터로부터 이미지 데이터를 추출하는 방법을 설명하기 위한 도면이다.
도 42는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 43은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 44는 관리장치의 출력 화면 중 손상 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 45는 관리장치의 출력 화면 중 손상 정보에 대한 사용자 또는 관리자의 동의 여부를 선택할 수 있는 화면을 설명하기 위한 도면이다.
도 46은 관리장치의 출력 화면 중 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 47은 관리장치의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 48은 관리장치의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 49는 모바일 베이스 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 50은 모바일 베이스 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 51은 일 실시예에 따른 영상 데이터에 포함되어 있는 차량 손상 정보가 충분하지 않은 경우 재 촬영 요청을 설명하기 위한 도면이다.
도 52는 일 실시예에 따른 영상 데이터가 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 53은 카메라 모듈로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 제공되는 촬영 가이드를 설명하기 위한 도면이다.
도 54는 카메라 모듈로 차량을 촬영하는 경우 제공되는 촬영 맵을 설명하기 위한 도면이다.
도 55는 일 실시예에 따른 단말기에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 56은 복수의 공유 차량 이용자가 시간 순서에 따라 공유 차량을 이용하고 이용을 종료하는 과정을 개략적으로 표현한 도면이다.
도 57은 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 차량 반납 프로세스의 설명을 위한 도면이다.
도 58은 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의 여부를 표시하고 동의하지 않을 시 차량 외관을 촬영하는 차량 이용 프로세스의 설명을 위한 도면이다.
도 59는 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량 외관을 재 촬영하는 프로세스를 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조 부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
일 예에 따르면, 차량 이미지에 기초하여 차량 외부와 관련된 차량 정보를 획득하는 차량 관리 보조 장치에 있어서, 상기 차량의 외부를 촬영하여 획득된 상기 차량 이미지를 획득하는 이미지 획득부; 상기 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부; 및 상기 차량 이미지에 기초하여 상기 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 상기 차량 정보를 획득하는 처리부; 를 포함하되, 상기 신경망 모델은 상기 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 상기 제1 특징 세트와 상기 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함하고, 상기 처리부는 상기 이미지 획득부를 통하여 대상 차량의 외부를 촬영하여 획득된 대상 차량 이미지를 획득하고, 상기 추가 정보 획득부를 통하여 상기 대상 차량의 특성과 관련된 대상 추가 정보를 획득하고, 상기 대상 차량 이미지에 기초하여 상기 신경망 모델을 이용하여 상기 대상에 대한 대상 차량 정보를 획득하는,차량 관리 보조 장치를 제공할 수 있다.
상기 신경망 모델은 상기 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 상기 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다.
상기 신경망 모델은 상기 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다.
차량의 특성과 관련된 상기 추가 정보는, 상기 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다.
상기 차량의 특성과 관련된 상기 추가 정보는, 상기 차량의 내부를 촬영하여 획득된 상기 차량 내부 이미지에 기초하여 획득될 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 상기 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
일 예에 따르면, 차량 이미지를 획득하는 이미지 획득부, 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부 및 상기 차량 이미지와 상기 추가 정보에 기초하여 차량 정보를 획득하는 처리부를 포함하는 차량 관리 보조 장치를 이용하여, 상기 차량 이미지에 기초하여 상기 차량의 외부와 관련된 정보를 획득하는 차량 관리 보조 방법에 있어서, 상기 이미지 획득부를 통하여 대상 차량에 대한 대상 차량 이미지를 획득하는 단계; 상기 추가 정보 획득부를 통하여 상기 대상 차량의 특성과 관련된 대상 추가 정보를 획득하는 단계; 및 상기 처리부가 상기 대상 추가 정보 및 상기 대상 차량 이미지에 기초하여 상기 대상 차량에 대한 대상 차량 정보를 획득하는 단계; 를 포함하되, 상기 대상 차량에 대한 상기 차량 정보를 획득하는 단계는, 상기 대상 차량 이미지에 기초하여, 상기 차량 이미지에 기초하여 상기 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량에 대한 상기 대상 차량 정보를 획득하는 것을 더 포함하고, 상기 신경망 모델은 상기 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 상기 제1 특징 세트와 상기 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함하는, 차량 관리 보조 방법을 제공할 수 있다.
상기 신경망 모델은 상기 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 상기 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다.
상기 신경망 모델은 상기 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다.
상기 차량의 특성과 관련된 추가 정보는, 상기 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다.
상기 차량의 특성과 관련된 추가 정보는, 상기 차량의 내부를 촬영하여 획득된 상기 차량 내부 이미지에 기초하여 획득될 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 대상 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 상기 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
상기 차량 관리 보조 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
일 예에 따르면, 손상 이미지를 출력하는 출력부; 및 카메라에 의해 제1 시점에 촬영된 제1 이미지와 상기 카메라에 의해 제2 시점에 촬영된 제2 이미지를 기초로 상기 손상 이미지를 출력하기 위해 상기 출력부를 제어하는 제어부를 포함하되, 상기 제1 이미지는 차량의 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역의 내부에는 적어도 하나 이상의 이상 영역인 고정 영역 및 가변 영역이 포함되어 있고, 상기 제2 이미지는 차량의 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역의 내부에는 상기 고정 영역 중 적어도 일부 영역 및 상기 가변 영역 중 적어도 일부 영역이 포함되어 있고, 상기 손상 이미지는 상기 제1 이미지 및 상기 제2 이미지로부터 상기 가변 영역이 제거된 이미지이되, 상기 고정 영역은 차량의 손상에 대한 영역이고, 상기 가변 영역은 차량의 손상에 대한 영역이 아닌 영역이고, 상기 제1 시점과 제2 시점은 서로 다른 시점인 차량 관리 장치를 제공할 수 있다.
상기 제1 이미지 및 제2 이미지는 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 이미지의 상기 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지의 상기 제1 특징점은 제2 좌표를 가지며, 상기 제1 이미지에 포함된 상기 고정 영역을 대표하는 좌표는 제3 좌표이며, 상기 제2 이미지에 포함된 상기 고정 영역을 대표하는 좌표는 제4 좌표이며, 상기 제1 좌표와 제3 좌표 사이의 제1 거리와 상기 제2 좌표와 상기 제4 좌표 사이의 제2 거리는 서로 대응되는 차량 관리 장치를 제공할 수 있다.
상기 제1 이미지에 포함된 상기 가변 영역을 대표하는 좌표는 제5 좌표이고, 상기 제2 이미지에 포함된 상기 가변 영역을 대표하는 좌표는 제6 좌표이며, 상기 제1 좌표와 제5 좌표 사이의 제3 거리는 상기 제2 좌표와 상기 제6 좌표 사이의 제4 거리와 다른 차량 관리 장치를 제공할 수 있다.
상기 제1 거리와 제2 거리의 차이는 상기 제3 거리와 상기 제4 거리의 차이보다 작은 차량 관리장치를 제공할 수 있다.
상기 제어부는 상기 이상 영역에서 고정 영역과 가변 영역을 분류하여, 상기 가변 영역을 제거한 상기 손상 이미지를 출력하고, 상기 제1 이미지 및 제2 이미지는 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 이미지의 상기 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지의 상기 제1 특징점은 제2 좌표를 가지고, 상기 제1 이미지의 이상영역을 대표하는 좌표는 제7 좌표이고, 상기 제2 이미지의 이상영역을 대표하는 좌표는 제8 좌표이며, 상기 제어부는 상기 제1 좌표와 상기 제7 좌표 사이의 제5 거리와 상기 제2 좌표와 상기 제8 좌표 사이의 제6 거리에 기초하여 상기 고정 영역과 가변영역을 분류하는 차량 관리 장치를 제공할 수 있다.
상기 제어부는 상기 제5 거리와 제6 거리의 차이가 미리 정해진 값 이상인 경우 가변영역으로 판단하고, 상기 제5 거리와 제6 거리의 차이가 미리 정해진 값 미만인 경우 고정 영역으로 판단하는 차량 관리 장치를 제공할 수 있다.
상기 가변 영역은 차량의 외부의 배경 영역인 차량 관리장치를 제공할 수 있다.
상기 가변 영역은 외부 광에 의해 외부 물체가 반사되어 이미지에 포함된 영역인 차량 관리 장치를 제공할 수 있다.
상기 손상 이미지는 제1 이미지에 상기 가변 영역이 제거된 이미지이고, 상기 제1 이미지는 상기 제2 이미지에 비해 차량이 이미지의 중앙영역에 가깝게 위치하는 이미지인 차량 관리 장치를 제공할 수 있다.
센서부로부터 신호를 수신하는 통신부를 더 포함하고, 상기 센서부는 제1 센서와 제2 센서를 포함하고, 상기 제1 센서는 차량의 진입 방향과 가까운 영역에 위치하고, 상기 제2 센서는 차량의 진입 방향과 먼 영역에 위치하는 차량 관리 장치를 제공할 수 있다.
상기 제1 시점과 상기 제2 시점은 시작시점과 종료시점 사이의 유효 기간 내의 시점이고, 상기 시작시점은 상기 통신부가 제1 센서로부터 제1 신호를 수신한 시점이고, 상기 종료시점은 상기 통신부가 제2 센서로부터 제2 신호를 수신한 시점이며. 상기 제1 이미지와 제2 이미지는 상기 유효 기간 내에 획득된 다수의 이미지에 포함되는 차량 관리 장치를 제공할 수 있다.
상기 시작 시점은 상기 제1 센서에 의해 차량이 감지된 다음 차량의 감지가 종료된 시점이고, 상기 종료 시점은 상기 제2 센서에 의해 차량이 최초로 감지된 시점인 차량 관리 장치를 제공할 수 있다.
상기 시작 시점은 상기 제1 센서에 의해 차량이 최초로 감지된 시점이고, 상기 종료 시점은 상기 제2 센서에 의해 차량이 감지된 다음 감지가 종료된 시점인 차량 관리 장치를 제공할 수 있다.
차단기로부터 개방 정보를 수신하는 통신부를 더 포함하고, 상기 제1 시점과 제2 시점은 시작시점과 종료시점 사이의 유효 기간 내의 시점이고, 상기 차단기가 개방된 시점은 종료 시점이고, 상기 차단기가 개방된 시점보다 미리 정의된 만큼의 이전의 시점은 시작 시점이며, 상기 제1 이미지와 제2 이미지는 상기 유효 기간 내에 획득된 다수의 이미지에 포함되는 차량 관리 장치를 제공할 수 있다.
상기 카메라는 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라는 상기 제1 센서와 대응되는 영역에 위치하여, 차량의 일측면을 촬영하고, 상기 제2 카메라는 상기 제2 센서와 대응되는 영역에 위치하여 차량의 타측면을 촬영하는 차량 관리 장치를 제공할 수 있다.
상기 제1 이미지 및 제2 이미지는 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 시점에 상기 카메라는 상기 제1 특징점과 제1 거리를 가지는 위치에 위치하고, 상기 제2 시점에 상기 카메라는 상기 제1 특징점과 제2 거리를 가지는 위치에 위치하고, 상기 제1 거리와 제2 거리는 상이한 차량 관리 장치를 제공할 수 있다.
상기 차량 관리 장치는 모바일 디바이스이고, 상기 카메라는 상기 모바일 디바이스에 내장된 카메라인 차량 관리 장치를 제공할 수 있다.
상기 카메라는 시작 시점과 종료 시점 사이의 동영상을 촬영하고, 상기 제1 이미지와 상기 제2 이미지는 상기 동영상으로부터 추출된 이미지인 차량 관리 장치를 제공할 수 있다.
일 예에 따르면, 차량 이미지에 기초하여 차량 외부의 손상과 관련된 정보를 획득하는 차량 손상 관리 장치에 있어서, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 이미지 획득부; 및 상기 적어도 하나의 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 처리부; 를 포함하되, 상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함하고, 상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함하고- 상기 제1 영역은 상기 제2 영역보다 큼-, 상기 처리부는, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 획득되고 상기 제1 영역과 관련된 상기 손상 정보를 획득하는 차량 손상 관리 장치를 제공할 수 있다.
상기 손상 정보를 출력하는 출력부; 를 더 포함하되, 상기 출력부는 상기 대상 차량의 상기 손상 정보를 출력하는 차량 손상 관리 장치를 제공할 수 있다.
상기 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함하고, 상기 출력부는 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력하는 차량 손상 관리 장치를 제공할 수 있다.
사용자 입력을 획득하는 입력부;를 더 포함하고, 상기 처리부는, 상기 손상 정보의 출력에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하고, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하고, 상기 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 손상 정보는, 상기 제1 대상 차량 이미지에 포함되는 상기 제2 영역과 관련된 제1 손상 정보 및 상기 제1 영역에 기초하여 획득되는 상기 대상 차량의 식별 정보와 연관하여 미리 저장된 제2 손상 정보에 기초하여 생성되는, 차량 손상 관리 장치를 제공할 수 있다.
상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함하고, 상기 제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함하고, 상기 처리부는 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하고, 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부는, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보는 상기 제1 영역 중 상기 차량 외부의 손상과 대응되는 영역을 나타내는 영역 정보를 포함하는 차량 손상 관리 장치를 제공할 수 있다.
일 예에 따르면, 차량 이미지를 획득하는 이미지 획득부 및 손상 정보를 획득하는 처리부를 포함하는 장치를 이용한 차량 손상 관리 방법에 있어서, 상기 이미지 획득부를 통하여, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 단계- 상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함하고, 상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함함-; 상기 처리부를 통하여, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보를 획득하는 단계; 및 상기 처리부를 통하여, 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 단계; 를 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보를 출력하는 단계; 를 더 포함하되, 상기 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함하고, 상기 손상 정보를 출력하는 것은 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
일 예에 따르면, 상기 처리부를 통하여, 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하는 단계; 를 더 포함하는, 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하는 단계-상기 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함함-;를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득하는 단계; 를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보는 상기 제1 영역에 포함되고 상기 대상 차량의 손상에 대응되는 손상 영역정보를 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함하고, 상기 제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함하고, 상기 손상 정보를 획득하는 단계는, 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득하는 단계; 를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득하는 단계;를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하는 단계; 를 더 포함하고, 상기 차종 정보를 획득하는 단계는 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보를 획득하는 단계는 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 차량 손상 관리 장치는 사용자 입력을 획득하는 입력부를 더 포함하고, 상기 처리부가, 상기 손상 정보를 출력하는 것에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득하는 단계; 를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
일 예로, 상기 차량 손상 관리 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
일 예로, 차량의 이미지를 촬영하는 카메라; 사용자로부터 정보를 입력 받는 입력부; 무선신호를 송수신하는 통신부; 기존 손상 정보와 관련된 메시지를 표시하는 디스플레이부; 및 상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되, 상기 사용자는 이전 사용자 및 현재 사용자를 포함하고, 상기 제어부는 상기 기존 손상 정보를 상기 디스플레이부를 통해 상기 현재 사용자에게 제공하고, 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해 주되, 상기 기존 손상 정보는 상기 이전 사용자가 촬영한 제1 이미지를 기초로 산출된 손상 정보이고, 상기 디스플레이부는 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제1 알림창을 표시하는 모바일 디바이스를 제공할 수 있다.
상기 제1 이미지는 상기 이전 사용자가 차량 반납 시 촬영한 이미지이며, 상기 기존 손상 정보는 상기 이전 사용자의 차량 이용 종료 시까지 발생한 손상 정보를 의미하는 것인 모바일 디바이스를 제공할 수 있다.
상기 손상 정보는 상기 이전 사용자의 모바일 디바이스에 의해 전송된 상기 제1 이미지에 의해 업데이트된 정보인 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는, 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하지 않는 경우 상기 현재 사용자에게 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고 상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 현재 사용자가 상기 기존 손상 정보에 대해 전부 동의하지 않는 경우, 상기 디스플레이부는 상기 현재 사용자에게 차량 전체 외관에 대한 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고, 상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 현재 사용자가 상기 기존 손상 정보에 대해 일부 동의하지 않는 경우, 상기 디스플레이부는 상기 현재 사용자에게 차량 외관 중 상기 현재 사용자가 동의하지 않은 부분에 대한 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고, 상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 가이드를 표시하되, 상기 촬영 가이드는 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 차량의 전체 외관 또는 상기 차량의 부품이 촬영될 수 있도록 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 촬영 가이드는 차량 정보에 기초하여 촬영을 가이드해줄 수 있되, 상기 차량 정보는 상기 현재 이용자가 입력한 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 통하여 얻어질 수 있는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 촬영 가이드 내에 상기 차량이 일정 비율 이상 위치하는 경우 자동적으로 촬영 버튼을 실행하여 이미지를 저장하는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 맵을 표시하되, 상기 촬영 맵은 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 차량 외관의 주요 부위 중 적어도 일부가 상기 제2 이미지에 포함될 수 있도록 촬영을 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 서버가 상기 제2 이미지와 상기 기존 손상 정보를 비교하여 상기 차량에 추가 손상이 발생되었는지 판단한 비교 결과를 상기 통신부를 통해 수신하고, 상기 제어부는 상기 디스플레이부를 통해 상기 비교 결과를 상기 현재 사용자에게 제공하며, 상기 디스플레이부는 상기 비교 결과에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제3 알림창을 표시하는 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 비교 결과에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 상기 비교 결과에 대해 상기 현재 사용자가 동의하지 않는 경우 이의 제기할 수 있는 메시지를 표시하고, 상기 제어부는 상기 현재 사용자가 상기 이의 제기를 완료하면 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
일 예로, 차량의 이미지를 촬영하는 카메라; 사용자로부터 정보를 입력 받는 입력부; 무선신호를 송수신하는 통신부; 차량 손상 정보와 관련된 메시지를 표시하는 디스플레이부; 및 상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되, 상기 사용자는 이전 사용자 및 현재 사용자를 포함하고, 상기 디스플레이부는, 상기 현재 사용자의 차량 반납 시 상기 현재 이용자에게 제3 이미지를 촬영하도록 요구하는 제4 알림창을 표시하고, 상기 제어부는 상기 제3 이미지 촬영이 완료되면 상기 제3 이미지를 상기 통신부를 통해 서버로 전송하고 상기 차량의 반납 처리가 완료되도록 처리하는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 가이드를 표시하되, 상기 촬영 가이드는 상기 현재 사용자가 상기 제3 이미지를 촬영하는 경우 상기 차량의 전체 모습 또는 상기 차량의 부품이 촬영될 수 있도록 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 맵을 표시하되, 상기 촬영 맵은 상기 현재 사용자가 상기 제3 이미지를 촬영하는 경우 상기 차량 외관의 주요 부위 중 적어도 일부가 상기 제2 이미지에 포함될 수 있도록 촬영을 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 서버가 상기 제3 이미지를 기존 손상 정보와 비교하여 상기 차량에 추가 손상이 발생되었는지 판단한 추가 손상 정보를 상기 통신부를 통해 수신하고, 상기 제어부는 상기 디스플레이부를 통해 상기 추가 손상 정보를 상기 현재 사용자에게 제공하며, 상기 디스플레이부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제5 알림창을 표시하는 모바일 디바이스를 제공할 수 있다.
상기 추가 손상 정보는 상기 현재 사용자의 차량 이용 시작 시점부터 상기 현재 사용자의 차량 이용 종료 시점까지 발생한 손상 정보를 의미하는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량의 반납 처리가 완료되도록 처리하는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의하지 않는 경우 이의 제기할 수 있는 메시지를 표시하고, 상기 제어부는 상기 현재 사용자가 상기 이의 제기를 완료하면 상기 차량의 반납 처리가 완료될 수 있도록 처리하는 모바일 디바이스를 제공할 수 있다.
아래에서는 도면을 참조하여, 실시 예에 따른 차량관리 장치를 설명한다.
1. 개요
본 명세서에서는 차량의 상태를 관리하기 위한 장치, 방법 및 시스템 등에 대하여 설명한다. 이하에서는 차량의 상태를 관리하기 위한 장치 등에 대하여 몇몇 실시예를 들어 설명한다.
2. 차량 관리 시스템
일 실시예에 따르면, 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 시스템이 제공될 수 있다.
차량 관리 시스템은 적어도 하나의 장치를 포함할 수 있다. 차량 관리 시스템은 적어도 하나의 카메라 모듈을 가지는 장치를 포함할 수 있다. 차량 관리 시스템은 적어도 하나의 제어부를 가지는 장치를 포함할 수 있다. 차량 관리 시스템은 사용자 입력을 획득하는 입력 모듈을 포함하는 장치를 적어도 하나 포함할 수 있다. 차량 관리 시스템은 저장 모듈을 가지는 장치를 적어도 하나 포함할 수 있다. 차량 관리 시스템은 통신 모듈을 가지는 장치를 적어도 하나 포함할 수 있다.
차량 관리 시스템은 태블릿, 스마트폰, PC, 노트북 등의 사용자 장치를 포함할 수 있다. 사용자 장치는 디스플레이, 사용자 인터페이스, 통신 모듈, 카메라 모듈, 메모리 및/또는 컨트롤러를 포함할 수 있다.
차량 관리 시스템은 서버 장치를 포함할 수 있다. 서버 장치는 데이터 또는 프로그램을 저장할 수 있다. 서버 장치는 사용자 장치와 통신할 수 있다.
차량 관리 시스템은 차량 촬영 장치를 포함할 수 있다. 차량 촬영 장치는 서버 장치 및/또는 사용자 장치와 통신할 수 있다.
2.1 차량 관리 프로세스
일 실시예에 따르면, 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 프로세스가 제공될 수 있다. 차량 관리 프로세스는 전술한 차량 관리 시스템에 의해 수행될 수 있다.
도 1을 참조하면, 차량 관리 프로세스는 차량과 관련된 차량 데이터를 획득하고(S110), 획득된 차량 데이터에 기초하여 차량 정보를 획득하고(S130), 차량 정보를 관리하고(S150), 차량 정보를 출력하는(S170) 것을 포함할 수 있다. 이하에서는 각 단계에 대하여 보다 구체적으로 설명한다.
2.2 데이터 획득
차량 관리 프로세스는 차량 관리에 필요한 차량 데이터를 획득하는 것을 포함할 수 있다.
차량 데이터는 다양한 형태로 마련될 수 있다. 예컨대, 차량 데이터는 이미지 데이터 또는 비-이미지 데이터일 수 있다. 차량 데이터는 장치에 미리 저장되거나 외부로부터 획득될 수 있다. 예컨대, 차량 데이터는 카메라 모듈을 통하여 획득되거나, 사용자 입력 모듈을 통하여 획득될 수 있다.
차량 데이터 및 차량 데이터의 획득에 대하여는 이하에서 구체적인 예시를 들어 보다 상세히 설명한다.
2.2.1 이미지 데이터 획득
일 실시예에 따르면, 차량 데이터는 차량을 촬영한 차량 이미지를 포함하는 이미지 데이터일 수 있다. 차량 이미지는 차량의 일부 부품을 포함하는 이미지일 수 있다. 차량 이미지는 차량을 식별하기 위한 식별 정보가 포함되도록 차량의 일부를 촬영하여 획득된 이미지일 수 있다.
차량 데이터는 차량을 촬영한 차량 영상 데이터일 수 있다. 차량 데이터는 영상 데이터 및 영상 데이터로부터 추출된 이미지 데이터를 포함할 수 있다. 이하에서는 이미지 데이터를 기준으로 차량 데이터의 실시예에 대하여 설명한다. 다만, 차량 데이터는 이하에서 설명되는 형태의 차량 이미지와 대응되는 형태의 차량 영상 형태로 획득될 수도 있다.
도 2는 일 실시예에 따른 차량 이미지를 설명하기 위한 도면이다.
도 2의 (a)를 참조하면, 일 실시예에 따른 차량 이미지는 차량을 일 방향, 예컨대 측방에서 촬영하여 획득된 이미지일 수 있다. 차량 이미지는 일 방향에서, 프레임 내에 차량 전체가 들어오도록 촬영하여 획득된 이미지일 수 있다.
도 2의 (b)를 참조하면, 일 실시예에 따른 차량 이미지는 차량을 전방에서 촬영하여 획득된 이미지일 수 있다. 차량 이미지는 차량을 식별하기 위한 식별 정보를 포함할 수 있다. 식별 정보는 VIN(Vehicle Identification Number) 또는 차번일 수 있다. 도 2의 (b)를 참조하면, 일 실시예에 따른 차량 이미지는 차량의 VIN이 표시된 VIN 영역 또는 차번이 표시된 번호판 영역을 포함할 수 있다.
도 2의 (c)를 참조하면, 일 실시예에 따른 차량 이미지는 차량의 일부 부품, 예컨대 이 포함되도록 촬영된 이미지 일 수 있다.
일 실시예에 따르면, 차량 데이터는 복수의 차량 이미지를 포함할 수 있다.
복수의 차량 이미지는 서로 다른 시점에서 촬영된 하나 이상의 이미지들을 포함할 수 있다. 예컨대, 복수의 차량 이미지는 동일한 차량에 대하여 서로 다른 시점에 촬영된 이미지들을 포함할 수 있다. 복수의 차량 이미지는 동일한 차량을 기준으로, 동일한 방향(예컨대, 전방에서)에서 촬영된 이미지들을 포함할 수 있다.
도 3은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 3을 참조하면, 이미지 데이터는 제1 시점에서 차량을 촬영한 제1 이미지(a), 제1 시점 이후인 제2 시점에서 차량을 촬영한 제2 이미지(b) 및 제3 시점에서 차량을 촬영한 제3 이미지(c)를 포함할 수 있다. 제1 이미지, 제2 이미지 및 제3 이미지는 하나의 영상 데이터로부터 추출된 이미지들일 수 있다. 제1 이미지, 제2 이미지 및 제3 이미지는 동일한 차량에 대하여 같은 방향, 예컨대 좌측에서, 촬영된 이미지일 수 있다.
복수의 차량 이미지는 차량을 다양한 방향에서 촬영하여 획득된 하나 이상의 이미지들을 포함할 수 있다.
도 4는 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 4를 참조하면, 이미지 데이터는 차량의 좌측을 촬영하여 획득된 좌측 이미지(a), 차량의 우측을 촬영하여 획득된 우측 이미지(b), 차량의 전방을 촬영하여 획득된 전방 이미지(c) 및 차량의 후방을 촬영하여 획득된 후방 이미지(d)를 포함할 수 있다.
도 5는 다른 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 5를 참조하면, 이미지 데이터는 차량의 좌전방을 촬영하여 획득된 좌전방 이미지(a), 차량의 좌후방을 촬영하여 획득된 좌후방 이미지(b), 차량의 우전방을 촬영하여 획득된 우전방 이미지(c) 및 차량의 우후방을 촬영하여 획득된 우후방 이미지(d)를 포함할 수 있다.
복수의 차량 이미지는 차량의 서로 다른 부분을 포함하도록 촬영된 하나 이상의 이미지들을 포함할 수 있다.
도 6은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 6을 참조하면, 이미지 데이터는 차량의 좌전방 휀더가 포함되도록 촬영하여 획득된 제1 이미지(a), 차량의 좌전방 도어가 포함되도록 촬영하여 획득된 제2 이미지(b), 차량의 좌후방 도어를 포함하도록 촬영하여 획득된 제3 이미지(c) 및 차량의 좌후방 휀더가 포함되도록 촬영하여 획득된 제4 이미지(d)를 포함할 수 있다.
일 실시예에 따르면, 차량이 아닌 다른 사물을 촬영한 이미지 데이터가 획득될 수도 있다. 예컨대, 차량 주변 사물을 촬영한 사물 이미지, 차량 주변 환경, 예컨대, 하늘을 촬영한 이미지, 운전자의 신분증 또는 면허증을 촬영한 이미지 등이 획득될 수 있다.
이미지 데이터 또는 영상 데이터는 카메라 모듈을 통하여 획득될 수 있다. 이미지 데이터 또는 영상 데이터는 외부 장치, 예컨대, 카메라 모듈을 가지는 외부 장치로부터 획득될 수 있다.
2.2.2 비-이미지 데이터 획득
일 실시예에 따르면, 이미지가 아닌 비-이미지 형태의 차량 데이터가 획득될 수 있다. 차량 데이터는 비-이미지 데이터일 수 있다. 차량 데이터는 차량과 관련된 정보를 포함하는 비-이미지 데이터일 수 있다.
차량 데이터는 차량의 제조사, 모델명, 연식, 제조 시기, 제조 장소, 제조자, 위치, 등록 기준지 등을 나타내는 차량 정보를 포함할 수 있다.
차량 데이터는 차량의 종류를 나타내는 차종 정보를 포함할 수 있다. 차종 정보는 세단, 쿠페, 웨건, 컨버터블, 해치백, SUV, 밴, 트럭, 버스 등, 차량의 차종을 나타낼 수 있다.
차량 데이터는 차량을 식별하기 위한 차량 식별 정보를 포함할 수 있다. 차량 식별 정보는 차량에 부여되는 차량 번호, 차량 식별 번호(VIN) 등을 포함할 수 있다.
일 실시예에 따르면, 비-이미지 형태의 추가 정보가 더 획득될 수 있다. 예컨대, 운전자 또는 차량 소유자의 인적사항을 나타내는 운전자 정보, 차량의 보험 유무, 보험 종류 등을 나타내는 보험 정보, 차량의 사고 이력 등을 포함하는 추가 정보가 더 획득될 수 있다.
비-이미지 데이터는 미리 저장되거나, 획득될 수 있다. 비-이미지 데이터는 사용자 입력을 획득하는 입력 모듈을 통하여 획득될 수 있다. 비-이미지 데이터는 사용자 인터페이스를 통하여 획득될 수 있다. 비-이미지 데이터는 외부 장치로부터 획득될 수 있다.
2.2.3 데이터 처리
획득된 데이터에 대한 처리가 수행될 수 있다.
획득된 이미지 데이터에 대한 전처리(또는 후처리)가 수행될 수 있다. 예컨대, 획득된 이미지(예컨대, 차량 이미지)에 대하여, 밝기 변경, 채도 변경, 색상 변경, 색온도 변경, 휘도 변경, 크기 변경, 이미지 크롭, 화소 수 조정, 사이즈 변경, 가로와 세로의 비율 조정, 화소 선형화(pixel linearization), 필터링, 불량 화소 보정(dead pixel correction), 이미지 선명화(image sharpening), 기하학적 왜곡 보정(geometric distortion correction), 색도 억제(chroma suppression), 이미지 스케일링(image scaling), 디더링(dithering), 보간, 압축(compressing), 압축 해제(decompressing) 등의 처리가 수행될 수 있다.
일 예로, 획득된 이미지 데이터에 대하여 노이즈 제거 처리가 수행될 수 있다. 차량 이미지에 대하여, 노이즈 제거 처리가 수행될 수 있다. 이미지에 포함된 배경 영역 또는 차량 영역에 위치되는 반사광, 얼룩 등의 노이즈, 즉, 차량 관리에 불필요한 이미지 정보를 제거하는 노이즈 제거 처리가 수행될 수도 있다. 이미지에 대하여, 가우시안 필터 등의 처리를 수행하여, 노이즈 제거 처리가 수행될 수 있다. 또는 이미지에 대하여, 노이즈 제거를 위하여 학습된 신경망 모델을 통하여 노이즈 제거 처리가 수행될 수 있다.
도 7은 노이즈 제거 처리를 설명하기 위한 도면이다.
일 실시예에 따르면, 차량 이미지로부터 차량이 아닌 사물을 제거하는 노이즈 제거 처리가 수행될 수 있다. 도 7의 (a) 및 (b)를 참조하면, 일 실시예에 따른 노이즈 제거 처리는 차량에 대응되는 차량 영역 및 차량에 대응되지 않는 영역인 배경 영역을 포함하는 원본 이미지(a)를 획득하고, 배경 영역이 제거된 전처리된 이미지(b)를 획득하는 것을 포함할 수 있다.
노이즈 제거 처리는 원본 이미지로부터 차량 영역을 획득하도록 학습된 신경망 모델을 이용하여 수행될 수 있다. 예컨대, 신경망 모델은 컨벌루션 신경망(CNN; Convolutional Neural Network) 레이어를 포함하고, 원본 이미지에 차량 영역이 마스킹된 복수의 이미지를 포함하는 학습 데이터에 기초하여, 원본 이미지로부터 차량 영역을 추출하도록 학습될 수 있다. 학습된 신경망 모델을 이용하여, 대상 원본 이미지로부터 차량 영역을 추출하고, 나머지 영역은 제거하는 노이즈 제거 처리가 수행될 수 있다.
다른 일 실시예에 따르면, 차량 이미지로부터 차량 정보 획득에 방해가 되는 요소를 제거하기 위한 노이즈 제거 처리가 수행될 수 있다. 차량 정보 획득에 방해가 되는 요소를 제거하기 위한 노이즈 제거 처리는 차량에 대응되는 차량 영역 내에 포함되는 노이즈를 제거하는 것을 포함할 수 있다. 도 7의 (c) 및 (d)를 참조하면, 일 실시예에 따른 노이즈 제거 처리는 차량의 손상 정보를 획득하기 위한 차량 이미지를 획득하고, 차량 영역으로부터 차량의 손상과 무관한 반사광에 대응되는 반사광 영역을 제거하는 것을 포함할 수 있다.
노이즈 제거 처리는 원본 이미지로부터, 반사광이 제거된 이미지를 획득하도록 학습된 신경망 모델을 이용하여 수행될 수 있다. 예컨대, 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 원본 이미지에 반사광 영역이 마스킹된 복수의 이미지를 포함하는 학습 데이터(또는 반사광 영역을 포함하는 원본 이미지 및 반사광 영역이 수작업으로 제거된 이미지)에 기초하여, 원본 이미지로부터 반사광 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 학습된 신경망 모델을 이용하여, 대상 원본 이미지로부터 반사광 영역이 제거된 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다.
다른 일 예로, 복수의 이미지를 포함하는 이미지 데이터에 대하여 노이즈 제거 처리가 수행될 수 있다. 이미지 데이터가 복수의 이미지를 포함하는 경우, 각각의 이미지에 대하여 노이즈 제거 처리를 수행하거나, 하나 이상의 이미지를 함께 이용하여, 보다 정확도가 향상된 노이즈 제거 처리가 수행될 수 있다.
복수의 원본 이미지에 기초하여, 배경 영역이 제거된 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다. 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되는 오브젝트(예컨대, 차량에 대응되는 오브젝트) 및 위치가 변동되지 않는 오브젝트(예컨대, 배경에 대응되는 오브젝트)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거하는 것을 포함할 수 있다. 위치 변동은 이미지 프레임 내에서의 상대적인 위치 변동을 의미할 수 있다. 예컨대, 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되지 않는 오브젝트를 제거하여, 위치가 변동되는 오브젝트만을 포함하는 이미지를 획득하는 것을 포함할 수 있다. 또 예컨대, 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되는 오브젝트를 제거하여, 위치가 변동되지 아니하는 오브젝트만을 포함하는 이미지를 획득하는 것을 포함할 수 있다. 여기서 위치가 변동되는 오브젝트는 가변 영역으로 정의될 수 있고, 위치가 변동되지 아니하는 오브젝트는 고정 영역으로 정의될 수 있다.
도 8은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 8을 참조하면, 차량 영역 및 배경 영역을 가지는 복수의 원본 이미지(a, b 및 c)를 획득하고, 복수의 원본 이미지(a, b 및 c)에 기초하여 배경 영역이 제거된 이미지(d)를 획득하는 노이즈 제거 처리가 수행될 수 있다. 도 8을 참조하면, 복수의 원본 이미지(a, b 및 c)에 기초하여, 이미지 내에서의 위치가 고정된 오브젝트인 배경에 대응되는 영역(즉, 배경 영역)이 제거되고, 이미지 내에서의 위치가 변경되는 오브젝트인 차량에 대응되는 영역(즉, 차량 영역)을 포함하는 이미지(d)가 획득될 수 있다.
배경이 제거된 이미지(d)는 복수의 원본 이미지(a, b 및 c)중 어느 하나에 기초하여 생성될 수 있다. 예컨대, 노이즈 제거 처리는 복수의 원본 이미지(a, b 및 c)에 기초하여 배경 영역 및 차량 영역을 획득하고, 복수의 원본 이미지(a, b 및 c)중 어느 하나로부터 배경 영역을 제거하여, 노이즈 제거된 이미지(d)를 획득하는 것을 포함할 수 있다.
여기서, 복수의 원본 이미지(a, b 및 c) 중 적어도 2개의 이미지에 기초하여 노이즈 제거 처리가 수행될 수 있다. 상기 노이즈 제거 처리가 수행되는 이미지는 제1 이미지와 제2 이미지로 정의될 수 있다.
예를 들어, 도 8의 (a)는 제1 이미지로 정의될 수 있고, 도 8의 (b)는 제2 이미지로 정의될 수 있다. 상기 제1 이미지와 제2 이미지는 서로 다른 시점에 촬영된 이미지일 수 있다. 상기 제1 이미지는 제1 시점에 촬영된 이미지일 수 있고, 상기 제2 이미지는 제2 시점에 촬영된 이미지일 수 있다. 상기 제1 시점과 제2 시점은 서로 다른 시점일 수 있다.
노이즈 제거 처리는 신경망 모델을 이용하여 수행될 수 있다. 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 차량 영역 및/또는 배경 영역이 마스킹된 복수의 차량 이미지를 포함하는 학습 데이터를 이용하여, 배경 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 노이즈 제거 처리는 학습된 신경망 모델을 이용하여, 대상 원본 이미지들로부터 배경 영역이 제거된 차량 이미지를 획득하는 것을 포함할 수 있다.
복수의 원본 이미지에 기초하여, 반사광 등을 제거하기 위한 노이즈 제거 처리가 수행될 수 있다. 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되는 오브젝트(예컨대, 반사광에 대응되는 반사 영역) 및 위치가 변동되지 않는 오브젝트(예컨대, 차량 영역 또는 차량의 손상에 대응되는 손상 영역)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거하는 것을 포함할 수 있다. 예컨대, 차량의 손상된 부분에 대응되는 손상 영역 및 차량의 표면에 의한 반사광에 대응되는 반사 영역을 포함하는 차량 이미지에 기초하여, 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다. 여기서 위치가 변동되는 오브젝트는 가변 영역으로 정의될 수 있고, 위치가 변동되지 아니하는 오브젝트는 고정 영역으로 정의될 수 있다. 즉, 상기 손상 영역은 고정영역으로 정의될 수 있고, 상기 반사 영역은 가변 영역으로 정의될 수 있다.
도 9는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 9를 참조하면, 손상 영역 및 반사 영역을 포함하는 복수의 원본 이미지(a 및 b)를 획득하고, 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리가 수행될 수 있다. 도 9를 참조하면, 복수의 원본 이미지(a 및 b)에 기초하여, 이미지 내에서 또는 차량 영역 내에서 위치 또는 상태가 변경되는 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리가 수행될 수 있다.
반사 영역이 제거된 이미지(c)는 복수의 원본 이미지(a 및 b)중 어느 하나에 기초하여 생성될 수 있다. 예컨대, 노이즈 제거 처리는 복수의 원본 이미지(a 및 b)에 기초하여 반사 영역을 획득하고, 복수의 원본 이미지(a 및 b)중 어느 하나로부터 반사 영역을 제거하여, 노이즈 제거된 이미지를 획득하는 것을 포함할 수 있다.
여기서, 복수의 원본 이미지(a, b 및 c) 중 적어도 2개의 이미지에 기초하여 노이즈 제거 처리가 수행될 수 있다. 상기 노이즈 제거 처리가 수행되는 이미지는 제1 이미지와 제2 이미지로 정의될 수 있다.
예를 들어, 도 9의 (a)는 제1 이미지로 정의될 수 있고, 도 9의 (b)는 제2 이미지로 정의될 수 있다. 상기 제1 이미지와 제2 이미지는 서로 다른 시점에 촬영된 이미지일 수 있다. 상기 제1 이미지는 제1 시점에 촬영된 이미지일 수 있고, 상기 제2 이미지는 제2 시점에 촬영된 이미지일 수 있다. 상기 제1 시점과 제2 시점은 서로 다른 시점일 수 있다.
상기 노이즈 제거 처리는 상기 제1 이미지에서의 고정 영역과 가변 영역의 위치와 제2 이미지에서의 고정 영역과 가변 영역의 위치의 차이에 기초하여 수행될 수 있다.
상기 노이즈 제거 처리는 상기 제1 이미지와 제2 이미지에 포함되는 이상 영역의 거리 차이에 의해 고정 영역과 가변 영역이 분류되고, 분류된 고정 영역과 가변 영역 중 가변 영역을 제거하여 손상 이미지를 만드는 것에 의해 처리될 수 있다. 상기 손상 이미지는 상기 제1 이미지와 제2 이미지 중 차량이 이미지의 중앙영역에 가깝게 위치하는 이미지에서 가변 영역을 제거한 이미지일 수 있다.
예를 들어, 상기 제1 이미지는 제1 이상 영역과 제2 이상 영역을 포함하는 다수의 이상 영역을 포함하고, 상기 제2 이미지는 제3 이상 영역과 제4 이상 영역을 포함하는 다수의 이상 영역을 포함하고, 상기 제1 이상 영역과 상기 제3 이상 영역이 대응되고, 상기 제2 이상 영역과 제4 이상 영역이 대응되는 것으로 정의한다.
상기 노이즈 제거처리는 제1 이미지에서의 각각의 이상 영역의 위치와 상기 제2 이미지에서의 각각의 이상 영역의 위치에 기초하여 고정영역과 가변 영역을 분류할 수 있다.
상기 이상 영역의 위치는 차량의 일부 영역을 기준으로 정의되는 상대적 위치일 수 있다. 즉, 제1 이미지와 제2 이미지에 포함된 차량의 다수의 특징점 중 어느 하나의 특징점을 제1 특징점으로 정의하는 경우 상기 이상 영역의 위치하는 상기 제1 특징점을 기준으로 정의될 수 있다.
상기 제1 특징점은 각각의 이미지에서 서로 다른 좌표를 가질 수 있다.
예를 들어, 상기 제1 이미지에서의 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지에서의 상기 제1 특징점은 제2 좌표를 가질 수 있다.
상기 이상 영역은 하나의 점이 아니라, 면적을 가지는 영역이므로, 상기 제1 특징점과의 비교를 위해서는 각 영역을 대표하는 좌표가 정의되어야 한다. 상기 노이즈 제거처리는 각 영역을 대표하는 좌표를 정의할 수 있다. 상기 노이즈 제거처리는 각 영역에 포함되는 다수의 좌표 중 어느 하나의 좌표를 대표하는 좌표로 정의할 수 있다. 예를 들어, 상기 노이즈 제거처리는 각 영역의 중앙의 좌표를 해당영역을 대표하는 좌표로 정의할 수 있다.
상기 제1 이미지의 제1 이상 영역을 대표하는 좌표는 제3 좌표료 정의될 수 있고, 상기 제2 이상 영역을 대표하는 좌표는 제4 좌표로 정의될 수 있다.
또한, 상기 제2 이미지에서 제3 이상 영역을 대표하는 좌표는 제5 좌표로 정의될 수 있고, 상기 제4 이상 영역을 대표하는 좌표는 제6 좌표로 정의될 수 있다.
상기 제1 좌표와 상기 제3 좌표 사이의 제1 거리와 상기 제2 좌표와 상기 제5 좌표 사이의 제2 거리는 서로 대응될 수 있다. 상기 제1 좌표와 상기 제4 좌표 사이의 제3 거리와 상기 제2 좌표와 상기 제6 좌표 사이의 제4 거리는 다를 수 있다.
상기 제1 거리와 상기 제2 거리의 차이는 상기 제3 거리와 상기 제4 거리의 차이보다 작을 수 있다.
상기 노이즈 제거 처리는 상기 제1 거리와 상기 제2 거리의 차이 값과 상기 제3 거리와 상기 제4 거리의 차이 값에 의해 이상영역이 고정 영역인지 가변 영역인지 분류할 수 있다.
상기 고정 영역은 차량 내에서 위치하는 상대 좌표가 변하지 않고, 상기 가변 영역은 차량 내에서 위치하는 상태 좌표가 변할 수 있다.
상기 노이즈 제거 처리는 상기 제1 거리와 상기 제2 거리의 차이 값이 미리 정해진 값 미만인 경우에 고정 영역으로 분류할 수 있고, 상기 제3 거리와 상기 제4 거리의 차이 값이 미리 정해진 값 이상인 경우 가변 영역으로 분류할 수 있다.
즉, 상기 제1 이상 영역과 제3 이상 영역은 고정 영역으로 분류될 수 있고, 상기 제2 이상 영역과 제4 이상 영역은 가변 영역으로 분류될 수 있다.
노이즈 제거 처리는 신경망 모델을 이용하여 수행될 수 있다. 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 반사 영역이 마스킹된 복수의 차량 이미지를 포함하는 학습 데이터를 이용하여, 반사 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 노이즈 제거 처리는 학습된 신경망 모델을 이용하여, 대상 원본 이미지들로부터 반사 영역이 제거된 차량 이미지를 획득하는 것을 포함할 수 있다.
한편, 위 실시예들에서는 세 개 또는 두 개의 원본 이미지에 기초하여 노이즈 제거 처리된 이미지를 획득하는 경우를 기준으로 설명하였으나, 이는 예시에 불과하며, 노이즈 제거 처리는 보다 적거나 많은 수의 원본 이미지에 기초하여 수행될 수도 있다.
획득된 비-이미지 데이터에 대한 전처리가 수행될 수 있다.
예컨대, 획득된 비-이미지 데이터는 차량 정보 획득에 용이한 형태로 변형될 수 있다. 비-이미지 데이터는 수치화될 수 있다. 비-이미지 데이터는 바이너리 데이터 형태로 변환될 수 있다. 복수의 비-이미지 데이터에 기초하여, 차량 정보 획득을 위한 점수가 계산될 수 있다.
2.3 차량 정보 획득
차량 관리 프로세스는 차량 데이터에 기초하여 차량 정보를 획득하는 것을 포함할 수 있다.
차량 정보는 대상 차량을 구성하는 부품과 관련된 부품 정보, 대상 차량 내/외부의 손상과 관련된 손상 정보, 대상 차량의 종류와 관련된 차종 정보 및/또는 대상 차량을 식별하기 위한 식별 정보를 포함할 수 있다.
차량 정보는 차량 데이터로부터 추출되거나, 차량 데이터를 처리하여 얻어질 수 있다. 차량 정보는 차량 데이터를 입력 데이터로 하여, 차량 정보를 획득하도록 설계된 알고리즘 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다.
차량 정보 획득을 위하여, 입력 이미지를 하나 이상의 라벨에 대하여 분류 또는 예측하는 분류기 알고리즘이 이용될 수 있다. 분류 또는 예측을 위하여, 다양한 형태의 알고리즘이 이용될 수 있다. 예컨대, K-최근접이웃(k-nearest neighbor), 서포트벡터머신(Support Vector Machine), 인공신경망(Artificial Neural Nerwork), 의사결정나무(Decision Tree), 자기조직화 맵(Self-organizing map), 논리적 회귀(Logistic regression) 등이 이용될 수 있다.
인공 신경망은 분류기, 하이브리드형 분류기 (Hybrid classifiers), 앙상블형 분류기 (Ensemble classifiers), 선형 회귀(Linear Regression) 신경망 등일 수 있다. 인공 신경망은 지도 학습, 비지도 학습 또는 강화 학습된 모델일 수 있다.
도 10은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 신경망 모델은 분류기 형태로 마련될 수 있다. 일 실시예에 따르면, 신경망 모델은 입력 레이어(IL), 풀링 레이어(PL), 컨벌루션 신경망 레이어(CL), 전연결 레이어(FCL), 히든 레이어(HL) 및 출력 레이어(OL) 등을 포함하고, 입력 이미지에 기초하여 특징 벡터를 획득할 수 있다. 신경망 모델은 입력 이미지를 하나 이상의 라벨로 분류하는 분류기 형태로 마련될 수 있다. 또는 신경망 모델은 회귀 모델 형태로 마련될 수도 있다. 신경망 모델은 입력에 이미지에 기초하여, 특정 차량 정보에 대한 선형 출력값을 획득하는 회귀 모델로 마련될 수 있다.
신경망 모델은 차량의 일부를 촬영하여 획득된 차량 이미지를 입력으로 하여, 출력 정보를 획득할 수 있다. 출력 정보는 입력된 이미지가 대상 오브젝트를 포함하는지 여부를 나타낼 수 있다. 예컨대, 신경망 모델의 출력 레이어는 확률 함수가 부여된 출력 노드를 포함할 수 있다. 신경망 모델의 출력 레이어는 대상 이미지가 대상 오브젝트를 포함하는지 여부를 나타내는 확률 함수가 부여된 출력 노드를 포함할 수 있다. 출력 레이어는 하나 이상의 대상 오브젝트에 대하여, 입력 이미지가 각각의 대상 오브젝트를 포함하는지 여부를 나타내는 하나 이상의 확률 함수가 부여된 출력 노드를 포함할 수 있다.
차량 정보 획득을 위하여, 입력 이미지에 기초하여, 이미지에 포함된 하나 이상의 오브젝트의 세그멘테이션을 포함하는 세그멘테이션 맵(또는 이미지)를 획득하는 신경망 모델이 이용될 수 있다. 세그멘테이션 맵을 획득하기 위하여, 다양한 형태의 신경망이 이용될 수 있다. 예컨대, FCN(Fully Convolutional Network), SegNet, UNet, UNet++, DeConvNet 등이 이용될 수 있다.
도 11은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다. 도 11을 참조하면, 일 실시예에 따른 신경망 모델은 영상 분할(Image Segmentation) 신경망 모델일 수 있다. 신경망 모델은 입력 레이어(IL), 다운샘플링을 수행하는 풀링 레이어(PL), 특징 맵을 획득하는 컨벌루션 신경망 레이어(CL), 세그멘테이션 맵을 획득하는 디컨벌루션 신경망 레이어(DCL), 업샘플링을 수행하는 언풀링 레이어(UPL) 및 출력 레이어(OL) 등을 포함할 수 있다.
풀링 레이어는 최댓값 풀링, 최소값 풀링, 평균값 풀링 등을 수행할 수 있다. 언풀링 레이어는 풀링 레이어에 대응될 수 있다. 디컨벌루션 레이어는 중간(intermediate) 세그멘테이션 맵을 생성할 수 있다. 언풀링 레이어는 중간 세그멘테이션 맵을 업샘플링할 수 있다. 언풀링 레이어는 최대값 언풀링, 최근접 이웃 언풀링 등을 수행할 수 있다.
차량 정보 획득을 위하여, 입력 이미지로부터 하나 이상의 오브젝트를 검출하는 신경망 모델이 이용될 수 있다. 오브젝트의 검출을 위하여, 다양한 형태의 신경망 모델이 이용될 수 있다. YOLO(You Only Look Once), R-CNN, fast-RNN, faster R-CNN, SAS 딥러닝, SPPnet, 등을 이용하여 수행될 수 있다.
도 12는 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다. 일 실시예에 따르면, 부품 정보 획득을 위하여, fast-RNN 모델이 이용될 수 있다. 예컨대, 도 12를 참조하면, 일 실시예에 따른 신경망 모델은 입력 레이어(OL), 컨벌루션 신경망 레이어(CNL), 특징 맵(FM), 영역 제안(region proposal) 신경망(RPN), 관심 영역(ROI; Reason of Interest) 바운딩 박스(RBB), ROI 풀링 레이어(RP) 및 전연결 레이어를 포함하는 딥러닝 신경망(DNN)을 포함할 수 있다.
영역 제안 신경망은 이미지의 특징 맵에 기초하여, 하나 이상의 ROI(또는 오브젝트 제안) 또는 ROI의 바운딩 박스를 획득할 수 있다. 영역 제안 신경망은 개별 ROI(또는 오브젝트 제안) 또는 그 바운딩 박스에 대하여, 스코어를 획득할 수 있다. 스코어는 대상 ROI가 검출 대상 오브젝트에 일치하는 정도를 나타낼 수 있다.
ROI 풀링 레이어는 개별 ROI에 대해 풀링을 수행할 수 있다. ROI 풀링 레이어는 개별 ROI에 대응되는 특징 맵에 대하여 풀링을 수행할 수 있다. ROI 풀링 레이어는 개별 ROI에 대하여 사이즈 조절을 수행할 수 있다. ROI 풀링 레이어는 미리 정해진 크기의 특징 맵을 획득할 수 있다. 전연결 신경망은 ROI 풀링 레이어를 통하여 획득된 특징 맵을 플래튼하여 획득된 값을 이용할 수 있다.
신경망 모델은 전연결 신경망 레이어 및 전연결 신경망 레이어와 연결되는 은닉 레이어 및 출력 레이어를 통하여, 개별 ROI에 포함되는 오브젝트의 식별자 또는 개별 오브젝트의 바운딩 박스를 획득할 수 있다.
한편, 위에서 설명한 신경망 모델들은 예시에 불과하며, 본 명세서에서 설명하는 차량 정보의 획득이 이에 한정되지는 아니한다. 차량 정보의 획득은 본 명세서에서 설명되지 아니한 알고리즘 또는 신경망 모델을 이용하여 수행될 수 있다.
신경망 모델은 추가 정보를 추가 입력으로 이용하여, 차량 정보를 획득할 수 있다. 신경망 모델은 추가 정보에 기초하여 생성된 추가 입력 및 차량의 이미지에 기초하여, 차량 정보를 획득할 수 있다. 추가 입력은 차량의 종류, 모델명, 제조사, 연식 및/또는 색상 등의 추가 정보에 기초하여 획득될 수 있다. 추가 입력은 입력 이미지 또는 입력 이미지와 상이한 추가 이미지에 기초하여 획득된 특징값일 수 있다.
도 13은 일 실시예에 따른 신경망 모델을 예시하기 위한 도면이다. 도 13을 참조하면, 합성곱 신경망 네트워크 및 전연결 레이어, 은닉 레이어 및 출력 레이어 등을 포함하는 신경망(예컨대, 이미지 기반 분류기 신경망)은 추가 정보를 더 이용하여 차량 정보를 획득할 수 있다. 예컨대, 분류기 모델은 합성곱 신경망 및 적어도 하나의 전연결 레이어를 포함하고, 적어도 하나의 전연결 레이어는 합성곱 신경망을 통하여 획득된 특징값 및 추가 정보에 기초하여 획득된 추가 입력값(AI)에 대응되는 하나 이상의 노드를 포함할 수 있다. 분류기 모델은 추가 입력값(AI)을 입력값으로 하는 적어도 하나의 노드를 포함할 수 있다.
추가 정보는 도 11에서 예시한 신경망 모델의 경우에도 유사하게 이용될 수 있다. 예컨대, 일 실시예에 따른 영역 분할 신경망 모델은 인코딩 파트 및 디코딩 파트를 포함하고, 추가 정보에 기초하여 생성된 추가 입력을 더 이용하여 차량 정보를 획득할 수 있다. 영역 분할 신경망 모델은 추가 정보에 기초하여 생성된 추가 입력을 이용하는 하나 이상의 노드를 포함할 수 있다. 영역 분할 신경망 모델은 추가 정보에 기초하여 생성된 추가 입력을 파라미터로 이용하는 하나 이상의 레이어를 포함할 수 있다.
추가 정보는 도 12에서 예시한 신경망 모델의 경우에도 유사하게 이용될 수 있다. 예컨대, 일 실시예에 따른 신경망 모델은 입력 레이어, 컨벌루션 신경망 레이어, 특징 맵, 영역 제안(region proposal) 신경망, 관심 영역(ROI; Reason of Interest) 레이어, ROI 풀링 레이어 및 전연결 신경망을 포함하고, 전연결 신경망은 추가 정보에 기초하여 생성된 추가 입력을 입력값으로 하는 적어도 하나의 노드를 포함하는 레이어를 포함할 수 있다.
일 실시예에 따르면, 차량 이미지 및 추가 정보에 기초하여 차량 정보를 획득하는 차량 관리 보조 장치가 제공될 수 있다.
차량 이미지에 기초하여 차량 외부와 관련된 차량 정보를 획득하는 차량 관리 보조 장치는, 차량의 외부를 촬영하여 획득된 차량 이미지를 획득하는 이미지 획득부, 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부 및 차량 이미지에 기초하여 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 차량 정보를 획득하는 처리부를 포함할 수 있다.
신경망 모델은 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 제1 특징 세트와 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함할 수 있다.
신경망 모델은 분류기 또는 분할(segmentation) 모델일 수 있다. 신경망 모델은 CNN, FCN(Fully Convolutional Network), SegNet, UNet, UNet++, DeConvNet 등의 형태로 마련될 수 있다.
신경망 모델은 차량 이미지에 기초하여 특징 세트를 획득하도록 학습될 수 있다. 신경망 모델은 차량 이미지에 기초하여 차량의 부품 정보 또는 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은 부품 정보가 라벨링된 차량 이미지 또는 손상 정보가 라벨링된 차량 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다.
신경망 모델은 차량 이미지 및 추가 정보에 기초하여 손상 정보 또는 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 추가 정보 및 추가 정보와 연관되고 손상 정보 또는 부품 정보가 라벨링된 차량 이미지를 포함하는 학습 데이터에 기초하여 학습될 수 있다. 추가 정보는 이미지 또는 비-이미지 정보일 수 있다. 차량의 특성과 관련된 추가 정보는, 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다. 차량의 특성과 관련된 추가 정보는, 차량의 내부를 촬영하여 획득된 차량 내부 이미지에 기초하여 획득될 수도 있다.
처리부는 이미지 획득부를 통하여 대상 차량의 외부를 촬영하여 획득된 대상 차량 이미지를 획득하고, 추가 정보 획득부를 통하여 대상 차량의 특성과 관련된 대상 추가 정보를 획득하고, 대상 차량 이미지에 기초하여 신경망 모델을 이용하여 대상에 대한 대상 차량 정보를 획득할 수 있다.
신경망 모델은 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습될 수 있다. 제1 특징 세트는 차량의 부품, 종류, 색상, 구성, 형태 등을 나타내는 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부 손상 유무를 나타내는 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부 손상의 종류를 나타내는 하나 이상의 특징 값을 포함할 수 있다. 특징 세트를 구성하는 특징 값은 확률 함수의 값으로 획득될 수 있다.
신경망 모델은 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습될 수 있다. 제1 특징 세트는 차량의 부품, 종류, 색상, 구성, 형태 등을 나타내는 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량을 구성하는 부품의 종류를 나타내는 하나 이상의 특징 값을 포함할 수 있다. 각 특징 값은, 입력된 차량 이미지에 특정 부품이 포함되는지 여부 또는 포함할 확률을 나타낼 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
다른 일 실시예에 따르면, 차량 이미지 및 추가 정보에 기초하여 차량 정보를 획득하는 차량 관리 보조 방법이 제공될 수 있다. 차량 관리 보조 방법에 대하여, 특별한 설명이 없는 한, 전술한 차량 관리 보조 장치에 관한 내용이 유사하게 적용될 수 있다.
도 30은 일 실시예에 따른 차량 관리 보조 방법을 설명하기 위한 도면이다.
차량 이미지를 획득하는 이미지 획득부, 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부 및 차량 이미지와 추가 정보에 기초하여 차량 정보를 획득하는 처리부를 포함하는 차량 관리 보조 장치를 이용하여, 차량 이미지에 기초하여 차량의 외부와 관련된 정보를 획득하는 차량 관리 보조 방법이 제공될 수 있다.
도 30을 참조하면, 차량 관리 보조 방법은 대상 차량 이미지를 획득하는 단계(S3010), 대상 차량의 특성과 관련된 대상 추가 정보를 획득하는 단계(S3030) 및 대상 차량 이미지 및 대상 추가 정보에 기초하여 대상 차량 정보를 획득하는 단계(S3050)를 더 포함할 수 있다.
차량 관리 보조 방법은, 이미지 획득부를 통하여 대상 차량에 대한 대상 차량 이미지를 획득하는 단계(S3010)를 포함할 수 있다. 대상 차량 이미지는 차량을 임의의 방향에서 촬영한 이미지일 수 있다. 또는, 대상 차량 이미지는 차량을 정면, 측면 또는 후면에서 촬영한 이미지일 수 있다.
차량 관리 보조 방법은, 추가 정보 획득부를 통하여 대상 차량의 특성과 관련된 대상 추가 정보를 획득하는 단계(S3030)를 포함할 수 있다.
차량 관리 보조 방법은, 처리부가 대상 추가 정보 및 대상 차량 이미지에 기초하여 대상 차량에 대한 대상 차량 정보를 획득하는 단계(S3050)를 포함할 수 있다.
대상 차량에 대한 차량 정보를 획득하는 단계(S3050)는, 대상 차량 이미지에 기초하여, 차량 이미지에 기초하여 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여, 대상 차량에 대한 대상 차량 정보를 획득하는 것을 더 포함할 수 있다.
신경망 모델은 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 제1 특징 세트와 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함할 수 있다.
신경망 모델은 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습되고, 제2 특징 세트는 차량의 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다.
신경망 모델은 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습되고, 제2 특징 세트는 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다.
차량의 특성과 관련된 추가 정보는, 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다.
차량의 특성과 관련된 추가 정보는, 차량의 내부를 촬영하여 획득된 차량 내부 이미지에 기초하여 획득될 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 대상 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
본 명세서에서 설명하는 차량 관리 보조 방법은, 각 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체의 형태로 제공될 수 있다.
한편, 신경망 모델은 학습 데이터를 이용하여 학습될 수 있다. 학습 데이터는 획득 대상 정보에 따라 달리 마련될 수 있다. 구체적인 학습 데이터의 형태 및 신경망 모델의 학습에 대하여는 각 정보의 획득과 관련하여 이하에서 보다 상세하게 설명한다.
이하에서는 각 차량 정보의 종류 및 획득 방법에 대하여 설명한다.
2.3.1 부품 정보 획득
차량을 구성하는 부품과 관련된 부품 정보가 획득될 수 있다.
일 실시예에 따르면, 부품 정보는 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 포함할 수 있다.
부품 정보는 비-이미지 데이터에 기초하여 획득될 수 있다. 부품 정보는 차량의 종류, 모델명, 제조사, 연식 및/또는 색상 등의 차량 정보를 더 고려하여 결정될 수 있다. 부품 정보는 차량 정보에 기초하여, 미리 저장된 부품 정보 데이터베이스로부터 획득될 수 있다.
부품 정보는 이미지 데이터에 기초하여 획득될 수 있다. 부품 정보는 이미지 데이터에 기초하여 획득된 차량 정보(예컨대, 차량의 종류, 모델명, 제조사, 색상 등)에 기초하여, 미리 저장된 부품 정보 데이터베이스로부터 획득될 수 있다. 부품 정보는 이미지 데이터 및 신경망 모델을 이용하여 획득된 차량 정보에 기초하여, 미리 저장된 부품 정보 데이터베이스로부터 획득될 수 있다.
부품 정보는 부품의 수, 종류, 이름, 식별 정보 등이 차종, 모델명, 제조사, 연식 등의 구분 정보와 매칭되어 저장된 부품 정보 데이터베이스에 기초하여 획득될 수 있다. 예컨대, 부품 정보 데이터베이스는 특정 모델의 특정 연식 차량을 구성하는 부품의 수, 종류, 이름 및 각 부품에 대응되는 식별 정보를 해당 모델의 해당 연식과 매칭하여 저장할 수 있다.
다른 일 실시예에 따르면, 부품 정보는 차량 이미지에 포함되고 각 부품에 대응되는 부품 영역 정보를 포함할 수 있다. 부품 영역 정보는 차량 이미지에 포함되는 개별 부품 영역의 경계(boundary)를 포함할 수 있다. 부품 영역 정보는 차량 이미지 내에 포함되는 부품 영역 및 각 부품 영역에 대응되는 부품의 명칭 또는 식별 번호를 포함할 수 있다.
부품 정보는 차량 이미지에 포함된 서로 다른 부품에 대응되는 영역에 대하여 형식을 달리하여 마스킹된 부품 영역 정보를 포함할 수 있다. 부품 정보는 차량 이미지에 포함된 서로 다른 부품에 대응되는 영역에 대하여 다른 색상으로 마스킹된 부품 영역 정보 또는 서로 다른 부품에 대응되는 영역에 상이한 태그로 라벨링된 부품 영역 정보를 포함할 수 있다.
도 14는 일 실시예에 따른 부품 영역 정보를 설명하기 위한 도면이다. 도 14를 참조하면, 부품 영역 정보는 차량 이미지 내의 각 부품에 대응되는 부품 영역 정보를 포함할 수 있다.
도 14의 (a)를 참조하면, 부품 정보는 차량의 좌전방에서 촬영된 이미지에 포함되는 차량의 헤드라이트에 대응되는 헤드라이트 영역 정보(HL), 차량의 앞범퍼에 대응되는 앞범퍼 영역 정보(FB), 차량의 좌전방 휀더에 대응되는 좌전방 휠 영역 정보(LFF), 차량의 좌전방 도어에 대응되는 좌전방 도어 영역 정보(LFD), 차량의 좌후방 도어에 대응되는 좌후방 도어 영역 정보(LRD), 차량의 번호판에 대응되는 번호판 영역 정보(NP), 차량의 후방 휀더에 대응되는 좌후방 휀더 영역 정보(LRF), 차량의 후드에 대응되는 후드 영역 정보(HO)등을 포함할 수 있다. 각 영역 정보는 각 영역에 대응되는 부품의 명칭 또는 식별 정보와 연관되어 저장될 수 있다.
도 14의 (b)를 참조하면, 부품 영역 정보는 차량의 전방에서 촬영된 차량 이미지 내의 각 부품에 대응되는 부품 영역 정보를 포함할 수 있다. 도 14의 (b)를 참조하면, 부품 정보는 차량의 전방 이미지에 포함되는 차량의 헤드라이트에 대응되는 헤드라이트 영역 정보(LHL, RHL), 차량의 앞범퍼에 대응되는 앞범퍼 영역 정보(FB), 차량의 번호판에 대응되는 번호판 영역 정보(NP), 차량의 사이드 미러에 대응되는 사이드 미러 영역 정보(LSM, RSM), 차량의 앞유리에 대응되는 앞유리 영역 정보(FG), 차량의 엠블럼에 대응되는 엠블럼 영역 정보(EM), 차량의 후드에 대응되는 후드 영역 정보(HO) 등을 포함할 수 있다. 각 영역 정보는 각 영역에 대응되는 부품의 명칭 또는 식별 정보와 연관되어 저장될 수 있다.
도 14에서는 차량의 좌전방 및 전방에서 촬영된 이미지를 기준으로 부품 영역 정보를 설명하였으나, 이는 예시일 뿐이며, 다양한 방향에서 촬영된 차량 이미지에 대하여 부품 영역 정보가 획득될 수 있다.
일 실시예에 따르면, 부품 정보는 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 객체 인식(object recognition)을 수행하는 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 도 10 내지 13과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다.
신경망 모델은 차량 이미지를 입력으로 하여, 부품 정보를 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 포함된 부품의 종류 또는 이름을 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 특정 부품이 포함되는지 여부를 획득할 수 있다.
일 실시예에 따르면, 신경망 모델의 출력 레이어는 입력 이미지가 특정 부품을 포함하는지 여부를 나타내는 확률 함수를 포함할 수 있다. 또 예컨대, 출력 레이어는 하나 이상의 대상 부품에 대하여, 입력 이미지가 각각의 대상 부품을 포함하는지 여부를 나타내는 하나 이상의 확률 함수를 포함할 수 있다.
다른 일 실시예에 따르면, 부품 정보는 도 12와 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 신경망 모델을 통하여 획득되고 개별 부품에 대응되는 영역을 표시하는 영역 정보를 포함할 수 있다.
도 15를 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일부가 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 부품에 대한 부품 정보를 획득할 수 있다. 신경망 모델은 부품 정보를 획득하는 신경망 모델을 이용하여 입력된 이미지에 포함된 부품을 식별하고, 식별된 부품에 대응되는 부품 정보를 획득할 수 있다. 신경망 모델은 차량의 일부가 촬영된 이미지(a)에 기초하고 부품 정보를 획득하는 신경망 모델을 이용하여 입력된 이미지에 좌전방 도어가 포함되었음을 나타내는 부품 정보를 획득할 수 있다.
도 15를 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일부가 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 부품에 대응되는 부품 영역 정보를 획득할 수 있다. 신경망 모델은 신경망 모델을 이용하여 차량 이미지에 포함된 부품을 식별하고 식별된 부품에 대응되는 영역(또는 세그멘테이션)을 획득할 수 있다. 도 16의 (b)를 참조하면, 신경망 모델은 차량 이미지에 포함된 좌전방 도어에 대응되는 영역 정보를 획득할 수 있다.
도 16을 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일 측면이 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 하나 이상의 부품에 대한 부품 정보를 획득할 수 있다. 신경망 모델은 차량의 일부가 촬영된 이미지(a)에 기초하고 부품 정보를 획득하는 신경망 모델을 이용하여 입력된 이미지에 좌전방 도어, 좌후방 도어, 좌전방 휀더 및 좌후방 휀더가 포함되었음을 나타내는 부품 정보를 획득할 수 있다.
신경망 모델은 차량 이미지를 입력으로 하여, 하나 이상의 부품에 대응되는 영역이 표시된 세그멘테이션 맵을 획득할 수 있다. 예컨대, 신경망 모델은 제1 부품에 대응되는 제1 영역 및 제2 부품에 대응되는 제2 영역이 서로 달리 표시된 세그멘테이션 맵을 획득할 수 있다.
도 16을 참조하면, 신경망 모델은 차량의 일 측면이 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 부품에 하나 이상의 부품에 대응되는 부품 영역 정보(b)를 획득할 수 있다. 신경망 모델은 이미지 내에 포함된 개별 부품에 대응되는 복수의 영역에 대하여, 서로 달리 표시된(예컨대, 상이한 색상으로 마스킹된) 이미지(b)를 획득할 수 있다. 도 16의 (b)를 참조하면, 신경망 모델은 차량 이미지에 포함된 좌전방 도어, 좌후방 도어, 좌전방 휀더 및 좌후방 휀더에 대응되는 영역 정보를 획득할 수 있다.
또 다른 일 실시예에 따르면, 부품 정보는 도10 내지 13과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 신경망 모델을 통하여 획득되고 개별 부품에 대응되는 영역을 표시하는 바운딩 박스를 포함할 수 있다.
신경망 모델은 전연결 레이어 및 전연결 레이어와 연결되는 은닉 레이어 및 출력 레이어를 통하여, 개별 ROI에 포함되는 오브젝트의 식별자 또는 개별 ROI의 바운딩 박스를 획득할 수 있다. 신경망 모델은 차량 이미지를 입력으로 하여, 차량 이미지에 포함되는 개별 부품에 대한 ROI 바운딩 박스를 획득할 수 있다. 신경망 모델은 차량 이미지를 입력으로 하여, 차량 이미지에 포함되는 개별 ROI에 대응되는 개별 부품 영역에 대한 분류 결과를 획득할 수 있다.
신경망 모델은 부품 정보를 획득하도록 학습되어 마련될 수 있다. 신경망 모델은 부품 정보가 라벨링된 복수의 차량 이미지를 포함하는 부품 학습 데이터를 이용하여 학습될 수 있다.
부품 학습 데이터는 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 차량에 대하여 서로 다른 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 다양한 종류, 모델 또는 제조사의 차량을 촬영하여 획득된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 단일 종류, 모델 또는 제조사의 차량을 촬영하여 획득된 복수의 차량 이미지를 포함할 수 있다.
부품 학습 데이터는, 이미지에 포함되는 하나 이상의 부품에 각각 대응되는 부품 라벨이 부여된 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 다양한 종류의 차량을 촬영하여 획득되고 부품 라벨이 부여된 차량 이미지를 포함할 수 있다. 부품 라벨은 차량의 종류, 모델 또는 제조사 별로 달리 부여될 수 있다.
부품 학습 데이터는 서로 다른 부품에 대하여 형식을 달리하여 마스킹된(또는 라벨링된) 차량 이미지를 적어도 하나 포함할 수 있다. 차량 이미지는 서로 다른 부품에 대하여 다른 색상으로 마스킹된(또는 라벨링된) 차량 이미지 또는 서로 다른 부품에 대응되는 영역에 대하여 상이한 태그로 라벨링된 차량 이미지를 적어도 하나 포함할 수 있다.
부품 학습 데이터는 다양한 부품에 대하여 마스킹된 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 하나 이상의 부품 영역, 예컨대, 좌전방 도어에 대응되는 좌전방 도어 영역 정보 및/또는 차량의 앞범퍼에 대응되는 앞범퍼 영역 정보(FB)를 포함할 수 있다. 부품 학습 데이터는 하나 이상의 공통되는 부품 영역 정보를 포함하고 차량에 대하여 서로 다른 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 적어도 일부 상이한 부품 영역 정보를 포함하는 하나 이상의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 이미지 내에 포함되는 모든 부품 대응 영역에 각 대응 부품 정보로 마스킹된 하나 이상의 차량 이미지를 포함할 수 있다.
도 17은 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다. 도 17을 참조하면, 부품 학습 데이터는, 다양한 모델의 차량을 촬영하여 획득되고, 특정 부품, 예컨대, 좌전방 도어에 대응되는 영역이 라벨링된 복수의 차량 이미지를 포함할 수 있다. 복수의 차량 이미지는 서로 다른 종류의 차량을 촬영하여 획득될 수 있다.
도 18은 다른 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다. 도 18을 참조하면, 부품 학습 데이터는, 다양한 모델의 차량을 촬영하여 획득되고, 복수의 부품, 예컨대, 좌전방 도어, 좌후방 도어, 좌전방 휀더, 좌후방 휀더에 대응되는 영역이 서로 달리 라벨링된 복수의 차량 이미지를 포함할 수 있다.
도 17 및 18에서는 부품 학습 데이터가, 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함하는 경우를 기준으로 설명하였으나 이는 예시에 불과하며 부품 학습 데이터는 다양한 방향에서 촬영된 차량 이미지를 포함할 수 있다.
신경망 모델은 부품 학습 데이터를 이용하여, 차량 이미지에 기초하여 부품 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
신경망 모델은 위에서 설명한 부품 학습 데이터를 이용하여, 차량 이미지를, 차량 이미지에 포함된 부품에 따라 분류하도록 학습될 수 있다. 신경망 모델은 차량 이미지에 포함된 부품에 대응되는 라벨이 부여된 차량 이미지를 포함하는 학습 데이터를 이용하여, 차량 이미지를, 차량 이미지에 포함된 부품에 따라 분류하도록 학습될 수 있다.
신경망 모델은 부품 학습 데이터를 통하여 차량 이미지가 특정 부품을 포함하는지 여부를 획득하도록 학습될 수 있다. 신경망 모델은 부품 학습 데이터를 통하여, 복수의 부품에 대하여 각 부품이 대상 이미지에 포함되는지 여부를 획득하도록 학습될 수 있다.
신경망 모델은 부품 학습 데이터를 통하여, 차량 이미지에 특정 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다. 신경망 모델은 차량 이미지에 포함된 개별 부품의 종류 및 개별 부품에 대응되는 영역이 라벨링된 차량 이미지를 포함하는 부품 학습 데이터를 통하여, 차량 이미지에 특정 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다.
신경망 모델은 부품 학습 데이터를 통하여, 차량 이미지에 특정 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다. 신경망 모델은 부품 학습 데이터를 통하여, 차량 이미지에 포함된 복수의 부품 각각에 대하여, 각 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다.
신경망 모델은 복수의 부품 학습 데이터를 이용하여 학습될 수도 있다. 신경망 모델은 제1 차종의 차량(또는 제1 제조사의 차량)을 촬영하여 학습된 차량 이미지를 포함하는 제1 부품 학습 데이터 및 제2 차종의 차량(또는 제2 제조사의 차량)을 촬영하여 학습된 차량 이미지를 포함하는 제2 부품 학습 데이터를 이용하여 학습될 수 있다.
한편, 복수의 신경망 모델이 학습 및 이용될 수도 있다. 제1 신경망 모델은 제1 부품 학습 데이터에 기초하여 학습되고, 제2 신경망 모델은 제2 부품 학습 데이터에 기초하여 학습될 수 있다.
신경망 모델은 차량 이미지 및 추가 정보에 기초하여 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량의 종류, 모델명, 제조사, 색상 등의 추가 정보를 더 이용하여 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 추가 정보에 기초하여 획득된 제2 특징 세트에 기초하여 부품 정보를 획득하도록 학습될 수 있다.
신경망 모델은 차량 이미지 및 다른 이미지에 기초하여 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 다른 이미지(예컨대, 배경을 촬영한 배경 이미지 등)에 기초하여 획득된 제2 특징 세트에 기초하여, 부품 정보를 획득하도록 학습될 수 있다.
2.3.2 손상 정보 획득
차량 외관의 손상과 관련된 손상 정보가 획득될 수 있다.
손상 정보는 차량 외관의 긁힘, 찍힘, 찌그러짐, 부서짐, 유실, 깨짐, 크랙 등의 손상과 관련된 정보일 수 있다. 손상 정보는, 차량 외관 손상의 종류, 위치, 정도, 개수, 발생 시기 등에 대한 정보를 포함할 수 있다.
손상 정보는 차량 이미지에 포함되고 손상이 발생한 위치와 대응되는 손상 영역 정보를 포함할 수 있다. 손상 영역 정보는 차량 이미지에 포함되는 하나 이상의 손상 부위를 지시할 수 있다. 손상 영역 정보는 차량 이미지에 포함되고 손상 부위에 대응되는 영역을 시각적으로 구분하기 위한 표시를 포함할 수 있다. 손상 영역 정보는 손상 부위의 경계(boundary)를 포함할 수 있다. 손상 영역 정보는 손상 부위를 표시하는 바운딩 박스(Bounding Box)를 포함할 수 있다. 손상 영역 정보는 차량 이미지 내에서 손상 부위의 좌표 정보를 포함할 수 있다. 손상 영역 정보는 바운딩 박스의 차량 이미지 내에서의 모서리 좌표 정보를 포함할 수 있다. 손상 영역 정보는 차량에 대한 손상 부위의 위치 정보 또는 좌표 정보를 포함할 수 있다. 손상 영역 정보는 차량의 특정 부품(예컨대, 번호판의 중심선, 엠블럼 등)을 기준으로 한 손상 부위의 절대 위치 정보(예컨대, 좌표 정보)를 포함할 수 있다.
손상 정보는 차량 이미지 내에 포함되는 손상 부위에 대응되는 손상 영역 정보 및 해당 손상 부위와 관련되고 손상 영역 정보와 매칭되는 정보(예를 들어, 손상 발생 시기, 손상 종류, 손상 정도 등)를 포함할 수 있다.
도 19는 일 실시예에 따른 손상 정보를 설명하기 위한 도면이다. 도 19의 (a)를 참조하면, 손상 정보는 차량 이미지에 포함된 차량 외관 손상과 관련된 정보를 포함할 수 있다. 손상 정보는 차량 이미지에 부여된 태그 내지 메타데이터의 형태로 획득될 수 있다. 도 19의 (b)를 참조하면, 손상 정보는 차량 이미지 내에서 손상 부위를 강조하기 위한 표시를 포함할 수 있다. 도 19의 (c)를 참조하면, 손상 정보는 차량 이미지 내에서 손상이 위치할 가능성이 높은 영역을 나타내기 위한 표시, 예컨대 히트맵을 포함할 수 있다. 도 19의 (d)를 참조하면, 손상 정보는 차량 이미지 내에서 손상이 위치하는 영역을 표시하기 위한 바운딩 박스를 포함할 수 있다.
손상 정보는 이미지 데이터에 기초하여 획득될 수 있다. 손상 정보는 차량 이미지에 기초하여 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여 획득될 수 있다. 손상 정보는 도 10 내지 13과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다.
신경망 모델은 차량의 일부를 촬영하여 획득된 차량 이미지를 입력으로 하여 손상 정보를 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 기초하여, 촬영된 차량에 손상된 부분이 존재하는지 여부를 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 기초하여, 촬영된 차량의 특정 영역 내에 손상된 부분이 존재하는지 여부를 획득할 수 있다. 신경망 모델의 출력 레이어는 차량 이미지에 손상 영역이 포함되는지 여부를 나타내는 확률값을 획득하는 출력 노드를 포함할 수 있다. 신경망 모델은 입력된 차량 이미지에 기초하여, 하나 이상의 손상 종류에 대하여, 촬영된 차량에 손상 영역이 포함되는지 여부를 획득할 수 있다. 신경망 모델의 출력 레이어는 차량 이미지에 복수의 손상 종류에 각각 대응되는 손상 영역이 포함되는지 여부를 나타내는 확률값을 획득하는 복수의 출력 노드를 포함할 수 있다.
신경망 모델은 차량의 일부를 촬영하여 획득된 차량 이미지에 기초하여 손상 영역을 획득할 수 있다. 신경망 모델은 차량 이미지로부터 차량 외부 손상에 대응되는 영역을 검출할 수 있다. 신경망 모델은 차량 이미지에 포함되고 차량 외부 손상에 대응되는 영역에 대한 바운딩 박스 또는 세그멘테이션을 획득할 수 있다. 신경망 모델은, 복수의 손상 영역에 대한 세그멘테이션을 획득할 수도 있다. 신경망 모델은 히트맵을 획득할 수도 있다. 신경망 모델은 도 19의 (c)에서 예시하는 것과 같이 손상이 위치하는 영역을 표시하기 위한 히트맵 형태의 샐리언시 맵을 획득할 수 있다.
도 20을 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일부가 촬영된 이미지(a)를 입력으로 하여 손상 부위에 대응되는 손상 영역 정보를 획득할 수 있다. 손상 부위를 나타내는 손상 영역 정보는, 신경망 모델을 통하여 획득된 바운딩 박스(B1)를 포함할 수 있다. 도 20을 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일 측면이 촬영된 이미지(b)를 입력으로 하여 손상 부위에 대응되는 손상 영역 정보(B2)를 획득할 수 있다. 손상 부위를 나타내는 손상 영역 정보는, 신경망 모델을 통하여 획득된 바운딩 박스를 포함할 수 있다. 손상 영역 정보는, 각 바운딩 박스에 대응되는 손상 영역에 대하여, 대응되는 손상 종류를 더 포함할 수 있다. 손상 종류는 신경망 모델의 분류기 부분에 의해 획득될 수 있다.
신경망 모델은 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은 손상 정보가 라벨링된 복수의 차량 이미지를 포함하는 손상 학습 데이터를 이용하여 학습될 수 있다.
손상 학습 데이터는 복수의 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 차량에 대하여 서로 다른 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 다양한 종류, 모델 또는 제조사의 손상 차량을 촬영하여 획득된 복수의 손상 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 단일 종류, 모델 또는 제조사의 손상 차량을 촬영하여 획득된 복수의 손상 차량 이미지를 포함할 수 있다.
손상 학습 데이터는 손상 유무를 나타내는 손상 라벨이 부여된 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 다양한 종류의 차량을 촬영하여 획득되고 손상 라벨이 부여된 차량 이미지를 포함할 수 있다. 손상 라벨은 손상의 종류(예컨대, 긁힘, 찍힘, 파손 등)에 따라 달리 부여될 수 있다.
손상 학습 데이터는 손상 영역에 마스킹된 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 하나 이상의 손상 영역에 대하여 마스킹(또는 라벨링)된 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 복수 종류의 손상 영역에 대하여 서로 달리 마스킹(또는 라벨링)된 차량 이미지를 포함할 수 있다. 예컨대, 손상 학습 데이터는 제1 종류의 손상(예를 들어, 긁힘)에 대하여 제1 색상으로 표시되고, 제2 종류의 손상(예를 들어, 찌그러짐)에 대하여 제2 색상으로 표시된 차량 이미지를 포함할 수 있다.
도 21은 손상 학습 데이터를 예시하기 위한 도면이다. 도 21의 (a)를 참조하면 손상 학습 데이터는, 손상 부위가 마스킹(M1)된 차량 이미지를 포함할 수 있다. 도 21의 (b)를 참조하면, 손상 학습 데이터는, 제1 종류의 손상(예를 들어, 찌그러짐)이 위치하는 손상 부위에 대하여 제1 색상으로 마스킹(M2)되고, 제2 종류의 손상(예를 들어, 긁힘)이 위치하는 손상 부위에 대하여 제2 색상으로 마스킹(M3)된 차량 이미지를 포함할 수 있다.
도 21에서는 손상 학습 데이터가, 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함하는 경우를 기준으로 설명하였으나 이는 예시에 불과하며 손상 학습 데이터는 다양한 방향에서 촬영된 차량 이미지를 포함할 수 있다.
신경망 모델은 위에서 설명한 손상 학습 데이터를 이용하여 학습될 수 있다. 신경망 모델은 손상 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
신경망 모델은 차량 이미지를 손상 여부가 라벨링된 차량 이미지를 포함하는 손상 학습 데이터를 이용하여 손상 부위를 포함하는지 여부에 따라 분류하도록 학습될 수 있다. 신경망 모델은 차량 이미지를 차량 이미지에 포함된 손상의 종류에 따라 분류하도록 학습될 수 있다. 신경망 모델은 복수 종류의 손상의 유무에 대하여 라벨링된 차량 이미지를 포함하는 손상 학습 데이터를 통하여, 복수의 손상에 대하여, 대상 이미지가 각 종류의 손상을 포함하는지 여부를 획득하도록 학습될 수 있다.
신경망 모델은 손상 학습 데이터를 통하여 손상 영역 정보를 획득하도록 학습될 수 있다. 신경망 모델은 하나 이상의 종류의 손상에 대하여 손상 부위에 마스킹된 차량 이미지를 포함하는 손상 학습 데이터를 이용하여 대상 이미지로부터 손상 영역을 검출하도록 학습될 수 있다. 신경망 모델은 복수 종류의 손상 영역에 대하여 라벨링된 차량 이미지를 포함하는 손상 학습 데이터를 통하여, 차량 이미지에 포함된 복수의 손상 각각에 대하여, 각 손상이 분포하는 영역 및/또는 종류에 대한 영역 정보를 획득하도록 학습될 수 있다.
신경망 모델은 복수의 손상 학습 데이터를 이용하여 학습될 수도 있다. 신경망 모델은 제1 종류의 손상(예컨대, 긁힘)을 가지는 차량을 촬영하여 학습된 차량 이미지를 포함하는 제1 손상 학습 데이터 및 제2 종류의 손상(예컨대, 찌그러짐)을 가지는 차량을 촬영하여 학습된 차량 이미지를 포함하는 제2 손상 학습 데이터를 이용하여 학습될 수 있다.
한편, 복수의 신경망 모델이 학습 및 이용될 수도 있다. 제1 신경망 모델은 제1 손상 학습 데이터에 기초하여 학습되고, 제2 신경망 모델은 제2 손상 학습 데이터에 기초하여 학습될 수 있다. 제2 손상 학습 데이터는 제1 손상 학습 데이터와 적어도 일부 상이할 수 있다.
신경망 모델은 차량 이미지 및 추가 정보에 기초하여 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량의 종류, 모델명, 제조사, 색상 등의 추가 정보를 더 이용하여 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 추가 정보에 기초하여 획득된 제2 특징 세트에 기초하여 손상 정보를 획득하도록 학습될 수 있다.
신경망 모델은 차량 이미지 및 다른 이미지에 기초하여 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 다른 이미지(예컨대, 배경을 촬영한 배경 이미지 등)에 기초하여 획득된 제2 특징 세트에 기초하여, 손상 정보를 획득하도록 학습될 수 있다.
일 실시예에 따르면, 손상 정보는 부품 정보와 함께 이용될 수 있다. 이와 관련하여서는, 이하에서 보다 상세히 설명한다.
2.3.3 차량 종류 정보 획득
차량의 종류에 관련된 차종 정보가 획득될 수 있다.
차종 정보는, 세단, 쿠페, 웨건, 컨버터블, 해치백, SUV, 밴, 트럭, 버스 등 차량의 차종을 나타낼 수 있다.
차종 정보는 비-이미지 데이터에 기초하여 획득될 수 있다. 차종 정보는 차량의 등록번호, VIN, 모델명 등에 기초하여 획득될 수 있다. 차종 정보는 미리 저장된 데이터베이스로부터 획득될 수 있다.
차종 정보는 이미지 데이터를 이용하여 획득될 수 있다. 차종 정보는 차량 이미지에 기초하여 차종 정보를 획득하도록 학습된 신경망 모델을 이용하여 획득될 수 있다. 차종 정보는 도 10과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다.
신경망 모델은 차량 이미지에 기초하여 차종 정보를 획득할 수 있다. 신경망 모델은 복수의 차종 라벨에 대하여 차량 이미지를 분류할 수 있다. 예컨대, 신경망 모델은, 적어도 하나의 합성곱 신경망 레이어 및 하나 이상의 출력 노드를 가지는 출력 레이어를 포함할 수 있다. 신경망 모델은 합성곱 신경망 레이어를 통하여 차량 이미지에 기초하여 차종과 관련된 특징 세트를 획득하고, 특징 세트에 기초하여 적어도 하나의 차종 라벨에 대한 확률값을 획득하는 출력 노드를 포함할 수 있다.
신경망 모델은 차종 정보를 획득하도록 학습될 수 있다. 신경망 모델은 차종 정보가 라벨링된 복수의 차량 이미지를 포함하는 차종 학습 데이터를 이용하여 학습될 수 있다. 신경망 모델은 차종 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
차종 학습 데이터는 복수의 차량 이미지를 포함할 수 있다. 차종 학습 데이터는 차량에 대하여 서로 다른 방향 또는 동일한 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 차종 학습 데이터는 제1 제조사의 제1 차종 차량을 촬영하여 획득되고, 제1 차종 라벨이 부여된 이미지 및 제2 제조사의 제1 차종 차량을 촬영하여 획득되고 제1 차종 라벨이 부여된 이미지를 포함할 수 있다.
차종 학습 데이터는 복수의 차종에 대하여, 각각 다양한 색상 또는 제조사의 차량을 촬영하여 획득된 복수의 차량 이미지를 포함할 수 있다. 예컨대, 차종 학습 데이터는, 다양한 제조사의 제1 차종(예를 들어, SUV)에 속하는 차량을 촬영하여 획득되고 제1 차종 라벨이 부여된 복수의 이미지를 포함하는 제1 이미지 세트 및 다양한 제조사의 제2 차종(예를 들어, 세단)에 속하는 차량을 촬영하여 획득되고 제2 차종 라벨이 부여된 복수의 이미지를 포함하는 제2 이미지 세트를 포함할 수 있다.
신경망 모델은 대상 이미지가 특정 차종을 촬영한 이미지인지 여부를 획득하도록 학습될 수 있다. 신경망 모델은 제1 차종과 관련된 이미지임을 나타내는 제1 라벨이 부여된 제1 이미지 및 및 제1 차종과 관련된 이미지가 아님을 나타내는 제2 라벨이 부여된 제2 이미지를 포함하는 차종 학습 데이터를 이용하여 차량 이미지를 제1 차종 포함 여부에 따라 분류하도록 학습될 수 있다.
신경망 모델은 차종 학습 데이터를 이용하여, 차량 이미지를 차종에 따라 분류하도록 학습될 수 있다. 신경망 모델은, 제1 차종과 관련된 이미지임을 나타내는 제1 라벨이 부여된 제1 이미지, 제2 차종과 관련된 이미지임을 나타내는 제2 라벨이 부여된 제2 이미지를 포함하는 차종 학습 데이터를 이용하여, 차량 이미지를 관련 차종에 따라 분류하도록 학습될 수 있다.
복수의 신경망 모델이 학습 및 이용될 수도 있다. 제1 신경망 모델은 제1 차종과 관련된 제1 차종 학습 데이터에 기초하여 학습되고, 제2 신경망 모델은 제2 차종과 관련된 제2 차종 학습 데이터에 기초하여 학습될 수 있다. 제2 차종 학습 데이터는 제1 차종 학습 데이터와 적어도 일부 상이할 수 있다. 제1 차종 학습 데이터는 제1 차종 관련 여부가 라벨링된 차량 이미지를 포함하고, 제2 차종 학습 데이터는 제1 차종과 상이한 제2 차종 관련 여부가 라벨링된 차량 이미지를 포함할 수 있다.
일 실시예에 따르면, 차종 정보에 기초하여, 차량 촬영 가이드가 제공될 수 있다. 이와 관련하여서는, 이하에서 보다 상세히 설명한다.
2.3.4 식별 정보 획득
차량을 식별하기 위한 차량 식별 정보가 획득될 수 있다.
차량 식별 정보는 차량의 등록 번호, VIN 등일 수 있다.
차량 식별 정보는 비-이미지 데이터에 기초하여 획득될 수 있다. 차량 식별 정보는 사용자입력을 통하여 획득될 수 있다. 차량 식별 정보는 미리 저장된 데이터베이스로부터 획득될 수 있다.
차량 식별 정보는 이미지 데이터에 기초하여 획득될 수 있다. 차량 식별 정보는 차량의 번호판에 대응되는 영역을 포함하는 차량 이미지에 기초하여 획득될 수 있다. 차량 식별 정보는 차량의 전면부 또는 후면부를 촬영하여 획득된 이미지로부터 획득될 수 있다. 차량 식별 정보는 차량 식별 정보를 획득하는 알고리즘, 프로그램 또는 신경망 모델을 통하여 획득될 수 있다.
차량 식별 정보는, 전처리된 이미지에 기초하여 획득될 수 있다. 예컨대, 차량 식별 정보는 그레이스케일, 경계 강조(e.g., Thresholding), 컨투어링, 회전 등의 전처리를 통하여 획득된 이미지로부터 획득될 수 있다. 차량 식별 정보는 차량 이미지 내에 포함되고 식별 정보에 대응되는 영역에 기초하여 획득될 수 있다.
식별 정보에 대응되는 영역은 수평/수직 에지 방식을 이용하여 차량 이미지로부터 추출될 수 있다. 예컨대, 식별 정보에 대응되는 영역은 차량 이미지에서 수평 및 수직 에지 영상을 검출하고 에지로 나타나는 직사각형을 후보 영역으로 설정하여 추출될 수 있다.
식별 정보에 대응되는 영역은 명암 변화를 통하여 획득될 수 있다. 예컨대, 식별 정보에 대응되는 영역은 차량 이미지의 수평 방향으로 한 줄을 읽어 들일 때 번호판의 숫자나 문자 부위에서 명암 값이 음에서 양으로 혹은 양에서 음으로 연속적인 명암 변화 벡터를 가지는 것을 이용하여 명암 변화가 대칭적으로 일어나는 곳에 번호판 영역이 있음을 추정하고, 추정된 좌표로부터 대상 영역을 확장하여 획득될 수 있다.
식별 정보에 대응되는 영역은 템플릿을 이용하여 획득될 수 있다. 예컨대, 식별 정보에 대응되는 영역은, 기준 원형 집합을 차량 영상에 적용하여, 즉, 표준 패턴에 입력된 영상을 정합시켜 문자를 인식시키는 템플릿을 이용하여 획득될 수 있다.
식별 정보에 대응되는 영역은 색상 정보를 이용하여 획득될 수 있다.
식별 정보에 대응되는 영역은 허프 변환을 이용하여 획득될 수 있다. 예컨대, 식별 정보에 대응되는 영역은 소벨 연산자를 이용하여 차량 이미지로부터 에지를 검출한 후 허프 변환을 이용하여 수직 직선군과 수평 직선군을 탐색하여 추출될 수 있다.
식별 정보에 대응되는 영역은 run-length를 이용하여 획득될 수도 있다. 예컨대, 식별 정보에 대응되는 영역은, 이웃 방향의 기울기를 이용하여 이진 영상을 얻은 다음 임의의 각도인 세타로 투영하고 이때 투영되는 직선을 run-length 방법을 적용하여 후보 영역을 찾고, 수직을 이루는 두 직선의 비가 2:1인 위치를 검출하여 획득될 수 있다.
식별 정보에 대응되는 영역에 대한 전처리가 수행될 수 있다. 예컨대, 기울기 보정을 위한 회전, 아핀 변환, 선형 회귀, 등의 처리가 수행될 수 있다. 또는 음영 보정을 위한 전처리가 수행될 수 있다. 또는, 노이즈 제거를 위한 전처리가 수행될 수도 있다.
차량 식별 정보는 번호판을 인식하는 알고리즘을 이용하여 획득될 수 있다. 차량 식별 정보는 OCR(Optical Character Recognition, 광학 문자 인식) 알고리즘을 이용하여 획득될 수 있다. 차량 식별 정보는, Tesseract, OpenCV, EAST detector, Python 등을 통하여 구현된 OCR 알고리즘을 이용하여 획득될 수 있다.
차량 식별 정보는 신경망 모델을 통하여 획득될 수 있다. 신경망 모델은 차량 이미지에 기초하여 차량 식별 정보를 획득할 수 있다. 신경망 모델은 차량의 전면부를 촬영하여 획득된 차량 전면 이미지 및/또는 차량의 후면부를 촬영하여 획득된 차량 후면 이미지에 기초하여 차량 식별 정보를 획득할 수 있다. 신경망 모델은 차량 전면 이미지에 포함되고 차량의 번호판에 대응되는 전면 번호판 영역 또는 차량 후면 이미지에 포함되고 차량의 번호판에 대응되는 후면 번호판 영역에 기초하여 차량 식별 정보를 획득할 수 있다. 신경망 모델은 차량 이미지에 포함되고 VIN에 대응되는 VIN 영역에 기초하여 차량 식별 정보를 획득할 수 있다.
신경망 모델은 합성곱 신경망을 포함할 수 있다. 신경망 모델은 순환 신경망(RNN; Recurrent Neural Network) 및/또는 장단기 메모리(LSTM; Long Short Term Memory)를 포함할 수 있다. 신경망 모델은 합성곱 신경망을 통하여 차량 이미지로부터 특징 세트를 획득할 수 있다. 신경망 모델은 장단기 메모리 또는 순환 신경망을 통하여, 특징 세트에 기초하여 차량 이미지에 대응되는 차량 식별 정보(예컨대, 차량 번호 또는 VIN)을 획득할 수 있다.
신경망 모델은 차량 식별 정보를 획득하도록 학습될 수 있다. 신경망 모델은 차량 식별 정보 또는 차량 식별 정보를 구성하는 문자 정보가 라벨링된 차량 이미지를 포함하는 식별 학습 데이터를 이용하여, 차량 이미지에 기초하여 차량 식별 정보를 획득하도록 학습될 수 있다. 신경망 모델은 식별 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
식별 정보 학습 데이터는 다양한 환경에서 촬영되고 차량의 식별 정보가 라벨링된 차량 이미지를 포함할 수 있다. 식별 정보 학습 데이터는 야간, 주간, 새벽, 우천, 안개, 강설 등의 환경에서 촬영되고 식별 정보 라벨이 부여된 차량 이미지를 포함할 수 있다.
식별 정보 학습 데이터는 차량의 식별 정보에 대응되는 영역이 표시된 차량 이미지를 포함할 수 있다. 식별 정보 학습 데이터는 차량의 식별 정보에 대응되는 영역에 마스킹되고 식별 정보 라벨이 부여된 하나 이상의 이미지를 포함할 수 있다.
식별 정보 학습 데이터는 차량의 전면을 촬영하여 획득되고 차량의 식별 번호를 나타내는 라벨이 부여된 차량의 전면 이미지 및/또는 차량의 후면을 촬영하여 획득되고 차량의 식별 번호를 나타내는 라벨이 부여된 차량의 후면 이미지를 포함할 수 있다.
식별 정보 학습 데이터는 차량의 식별 정보에 대응되는 영역에 대한 식별 영역 이미지를 포함할 수 있다. 예컨대, 식별 정보 학습 데이터는 차량의 전면 번호판을 촬영하여 획득되고 식별 번호 라벨이 부여된 전면 번호판 이미지, 차량의 후면 번호판을 촬영하여 획득되고 식별 번호 라벨이 부여된 후면 번호판 이미지 및/또는 차량의 VIN을 촬영하여 획득되고 식별 번호(VIN)가 부여된 VIN 이미지를 포함할 수 있다.
일 실시예에 따르면, 차량의 운전자(또는 소유자)를 식별하기 위한 운전자 식별 정보가 획득될 수 있다. 운전자 식별 정보는, 사용자 입력 등의 비-이미지 데이터 또는 운전자의 신분증을 촬영한 이미지 등의 이미지 데이터에 기초하여 획득될 수 있다. 운전자 식별 정보가 이미지 데이터에 기초하여 획득되는 경우, 전술한 알고리즘, 프로그램 또는 신경망 모델이 유사하게 이용될 수 있다.
차량의 식별 정보 또는 운전자 식별 정보는 각각 차량 또는 운전자의 이력 관리에 이용될 수 있다. 이와 관련하여서는 차량 정보 관리 항목에서 보다 상세히 설명한다.
2.3.5 차량 정보 획득 실시예 1
일 실시예에 따르면, 부품 별 손상을 나타내는 부품-손상 정보가 획득될 수 있다.
도 22를 참조하면, 부품-손상 정보는 차량 이미지 획득부(221), 부품 정보 획득부(223), 손상 정보 획득부(225) 및 부품-손상 정보 획득부(227)를 포함하는 장치(220)에 의해 획득될 수 있다. 이하에서는 도 22를 참조하여 부품-손상 정보의 획득에 대하여 설명한다.
차량 이미지 획득부(221)는 차량의 외관을 촬영하여 획득된 차량 이미지를 획득할 수 있다. 차량 이미지 획득부(221)는 카메라 모듈을 통하여 차량 이미지를 획득하거나, 외부 장치로부터 차량 이미지를 획득할 수 있다.
부품 정보 획득부(223)는 차량 이미지에 기초하여 차량을 구성하는 부품 정보를 획득할 수 있다. 부품 정보 획득부(223)는 입력된 대상 차량 이미지에 포함된 부품의 종류(또는 식별 정보) 및 각 부품에 대응되는 부품 영역 정보를 획득할 수 있다. 부품 정보에 관하여는 부품 정보 획득과 관련하여 설명된 내용이 적용될 수 있다.
손상 정보 획득부(225)는 차량 이미지에 기초하여 차량 외관의 손상과 관련된 손상 정보를 획득할 수 있다. 손상 정보 획득부(225)는 입력된 대상 차량 이미지에 손상 부위가 존재하는지 여부 및/또는 대상 차량 이미지로부터 손상 부위에 대응되는 손상 영역 정보를 획득할 수 있다. 손상 정보에 관하여는 손상 정보 획득과 관련하여 설명된 내용이 적용될 수 있다.
부품-손상 정보 획득부(227)는 부품 정보 및 손상 정보에 기초하여 대상 이미지에 포함된 개별부품 별 손상 정보를 나타내는 부품-손상 정보를 획득할 수 있다. 부품-손상 정보는 대상 이미지에 포함된 개별 부품 별로 손상 부위가 존재하는지 여부, 손상의 개수 및/또는 손상 부위를 나타내는 손상 영역 정보를 포함할 수 있다.
예를 들어, 부품-손상 정보 획득부(227)는 부품 정보 및 손상 정보를 획득하고, 부품 영역 정보 및 손상 영역 정보에 기초하여 개별 부품에 대응되는 부품 영역과 중첩되는 손상 영역이 존재하는지 판단할 수 있다. 부품-손상 정보 획득부(227)는 특정 부품에 대응되는 부품 영역과 중첩되는 손상 영역이 존재하는 경우 해당 부품에 손상이 존재함을 지시하는(또는 손상의 수를 나타내는) 부품-손상 정보를 획득할 수 있다. 부품-손상 정보 획득부(227)는 특정 부품에 대응되는 부품 영역과 중첩되는 손상 영역이 존재하는 경우 해당 부품에 존재하는 손상 부위의 위치를 표시하는 부품-손상 영역 정보를 획득할 수 있다.
구체적인 예로, 입력된 대상 차량 이미지가 제1 부품 및 제2 부품과 관련되고, 제1 부품은 대상 차량 이미지의 제1 영역과 대응되고 제2 부품은 대상 차량 이미지의 제2 영역과 대응되는 경우, 부품 정보는, 제1 부품 식별 정보, 제2 부품 식별 정보, 제1 부품 식별 정보에 대응되는 제1 영역 및 제2 부품 식별 정보에 대응되는 제2 영역을 포함할 수 있다. 대상 차량의 제1 부품에 손상이 발생된 경우, 손상 정보는 대상 차량 이미지에 손상 영역이 포함됨을 나타내고, 손상 영역의 위치를 나타내는 손상 영역 정보를 포함할 수 있다. 이때, 부품-손상 정보 획득부(227)는, 대상 차량 이미지 내에서 손상 영역 정보를 제1 영역 및 제2 영역과 비교하고, 손상 영역이 보다 많이 중첩되는 제1 영역에 손상이 존재하는 것으로 판단할 수 있다. 부품-손상 정보 획득부(227)는 제1 부품에 손상이 존재함을 지시하는 부품-손상 정보를 획득할 수 있다.
도 23은 일 실시예에 따른 차량 정보의 획득을 설명하기 위한 도면이다. 도 23을 참조하면, 부품 정보 획득부는 차량 이미지(a)에 기초하여, 각 부품에 대응되는 영역 정보를 포함하는 세그멘테이션 이미지(b)를 획득할 수 있다. 손상 정보 획득부는 동일한 차량 이미지(a)에 기초하여, 손상이 위치하는 영역을 나타내는 바운딩 박스(BB) 또는 바운딩 박스(BB)를 포함하는 이미지(c)를 획득할 수 있다. 부품-손상 정보 획득부는 바운딩 박스(BB)의 위치 및 각 부품에 대응되는 세그멘테이션에 기초하여, 부품 별 손상 정보를 획득할 수 있다. 도 23을 참조하면, 부품-손상 정보 획득부는, 바운딩 박스(BB)의 분포 좌표 및 세그멘테이션 정보에 기초하여, 차량의 좌전방 도어 및 좌후방 도어에 손상이 위치하는 것을 나타내는 부품-손상 정보를 획득할 수 있다.
2.3.6 차량 정보 획득 실시예 2
일 실시예에 따르면, 부품 정보와 손상 정보에 기초하여 부품 별 손상을 나타내는 부품-손상 정보가 획득될 수 있다.
도 24를 참조하면, 부품-손상 정보는 차량 이미지 획득부(241), 부품 정보 획득부(243), 손상 정보 획득부(245) 및 부품-손상 정보 획득부(247)를 포함하는 장치(240)에 의해 획득될 수 있다. 차량 이미지 획득부(241), 부품 정보 획득부(243) 및 손상 정보 획득부(245)에 대하여 특별한 설명이 없는 한 위에서 설명된 내용이 유사하게 적용될 수 있다. 이하에서는 도 24를 참조하여 부품-손상 정보의 획득에 대하여 설명한다.
부품 정보 획득부(243)는 개별 부품에 대응되는 부품 영역(예를 들어, 부품 영역의 세그멘테이션 또는 바운딩 박스)을 획득할 수 있다.
손상 정보 획득부(245)는 차량 이미지에 포함되는 개별 부품에 대응되는 부품 영역에 기초하여, 대상 부품 영역에 손상이 포함되는지 여부, 대상 부품 영역에 포함되는 손상의 종류, 수를 나타내는 손상 정보 및/또는 대상 부품 영역 중 손상이 위치하는 손상 영역 정보를 획득할 수 있다. 손상 정보 획득부(245)는 개별 부품 영역 별로 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 개별 부품 별 손상 정보를 획득할 수 있다.
부품-손상 정보 획득부(247)는 개별 부품 별 손상과 관련된 손상 정보에 기초하여, 대상 이미지에 따른 부품-손상 정보를 획득할 수 있다. 부품-손상 정보는 대상 이미지에 포함된 개별 부품 별로 손상 부위가 존재하는지 여부, 손상의 개수 및/또는 손상 부위를 나타내는 손상 영역 정보를 포함할 수 있다.
구체적인 예로, 입력된 대상 차량 이미지가 제1 부품 및 제2 부품과 관련되고, 제1 부품은 대상 차량 이미지의 제1 영역과 대응되고 제2 부품은 대상 차량 이미지의 제2 영역과 대응되는 경우, 부품 정보는, 제1 부품 식별 정보, 제2 부품 식별 정보, 제1 부품 식별 정보에 대응되는 제1 영역 및 제2 부품 식별 정보에 대응되는 제2 영역을 포함할 수 있다. 대상 차량의 제1 부품에 손상이 발생된 경우, 손상 정보 획득부(245)는, 제1 영역에 손상이 위치함을 나타내는 제1 손상 정보 및 제1 영역에 포함되는 손상 영역의 위치를 나타내는 제1 손상 영역 정보를 획득할 수 있다. 손상 정보 획득부는 제2 부품에 손상이 존재하지 아니함을 나타내는 손상 정보를 획득할 수 있다. 부품-손상 정보 획득부(247)는, 손상 정보 및 손상 영역 정보에 기초하여, 제1 부품 및 제2 부품에 대한 부품-손상 정보를 획득할 수 있다.
2.3.7 차량 정보 획득 실시예 3
일 실시예에 따르면, 부품 정보와 손상 정보에 기초하여 부품 별 손상을 나타내는 부품-손상 정보가 획득될 수 있다.
도 25를 참조하면, 부품-손상 정보는 차량 이미지 획득부(251), 차종 정보 획득부(253), 부품 정보 획득부(255), 손상 정보 획득부(257) 및 부품-손상 정보 획득부(259)를 포함하는 장치(250)에 의해 획득될 수 있다. 차량 이미지 획득부(251), 부품 정보 획득부(253) 및 손상 정보 획득부(255)에 대하여 특별한 설명이 없는 한 위에서 설명된 내용이 유사하게 적용될 수 있다. 이하에서는 도 25를 참조하여 부품-손상 정보의 획득에 대하여 설명한다.
차종 정보 획득부(253)는 차량 이미지에 기초하여 대상 차량의 차종과 관련된 차종 정보를 획득할 수 있다. 차종 정보 획득부(253)는 사용자 입력 또는 미리 저장된 데이터베이스를 통하여 획득될 수도 있다.
부품 정보 획득부(255)는 차종 정보에 기초하여 부품 정보를 획득할 수 있다. 부품 정보 획득부는 차종 정보와 차량 이미지를 함께 고려하여 부품 정보를 획득할 수 있다. 부품 정보 획득부(255)는 차종 정보를 추가 입력으로 이용하고 차량 이미지에 기초하여 특징 세트를 획득하는 신경망 모델을 이용하여 부품 정보를 획득할 수 있다. 부품 정보 획득부(255)는 차종 별로 미리 마련된 부품 정보 및/또는 부품 영역 정보를 이용하여 차량 이미지와 부품 영역 정보를 맵핑함으로써 부품 정보 및/또는 부품 영역 정보를 획득할 수 있다.
일반적으로, 차종 별로 차량을 구성하는 부품이 달라지는 경향이 있어, 차종을 함께 고려하여 부품 또는 부품 영역을 판단할 경우, 정확도가 향상될 수 있다. 한편, 여기에서는 차종 정보가 차량 이미지에 기초하여 획득되는 경우를 기준으로 설명하였으나, 차종 정보는 사용자 입력 또는 미리 저장된 데이터 등으로부터 획득될 수도 있다.
부품-손상 정보 획득부(257)는 부품 정보 및 손상 정보에 기초하여 부품-손상 정보를 획득할 수 있다. 부품-손상 정보의 획득과 관련하여서는, 도 22 및 23과 관련하여 전술한 내용이 유사하게 적용될 수 있다.
2.4 차량 정보 관리
차량 관리 프로세스는 차량 정보를 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 전술한 부품 정보, 손상 정보, 차량 종류 정보 및/또는 식별 정보를 관리하는 것을 포함할 수 있다.
차량 정보를 관리하는 것은 차량 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 차량 정보를 분류하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 하나 이상의 정보를 연관하여 관리하는 것을 포함할 수 있다.
이하에서는 차량 정보의 관리에 대하여 몇몇 실시예를 들어 설명한다.
2.4.1 이력 관리
차량 정보를 관리하는 것은 차량 정보를 이력 관리하는 것을 포함할 수 있다. 차량 정보를 이력 관리하는 것은 서로 다른 시점에 획득된 하나 이상의 차량 정보를 시계열적으로 나열 및/또는 관리하는 것을 의미할 수 있다.
차량 정보를 관리하는 것은 하나 이상의 부품 정보에 기초하여, 부품 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 개별 부품 별로, 해당 부품의 교체, 결손, 손상 등을 나타내는 부품 정보를 각 부품 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 부품이 파손되었음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 부품이 교체되었음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다. 제1 정보 또는 제2 정보는 차량 이미지에 기초하여 획득될 수 있다.
차량 정보를 관리하는 것은 하나 이상의 손상 정보에 기초하여 손상 정보(또는 부품-손상 정보)를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 관리 프로세스는 특정 차량에 대하여, 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다. 제1 정보 또는 제2 정보는 차량 이미지에 기초하여 획득될 수 있다. 제1 정보 또는 제2 정보는 각 손상에 대응되는 영역 정보를 포함할 수 있다.
차량 정보를 관리하는 것은 하나 이상의 이미지에 기초하여 손상 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 획득된 제1 차량 이미지에 기초하여 획득된 제1 손상 정보 및 제1 시점 이후인 제2 시점에 획득된 제2 차량 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리하는 것을 포함할 수 있다.
차량 정보를 관리하는 것은 사용자 정보를 고려하여 수행될 수 있다. 예컨대, 차량 정보를 관리하는 것은, 제1 사용자에 의해 제1 시점에 촬영된 제1 차량 이미지에 기초하여 획득된 제1 손상 정보 및 제1 사용자에 의해 제2 시점에 촬영된 제2 차량 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리하는 것을 포함할 수 있다.
사용자 정보를 고려하여 차량 정보를 관리하는 것은, 이하의 온-사이트 차량 관리 프로세스 및 모바일 베이스 차량 관리 프로세스에서 보다 상세히 설명한다.
2.4.2 손상 이력 관리 실시예 1 - 신규 손상
손상 정보의 이력 관리는 새롭게 발생한 신규 손상에 대한 신규 손상 정보를 획득하는 것을 포함할 수 있다. 손상 정보의 이력 관리는 동일한 차량을 다양한 시점에 촬영하여 획득된 복수의 이미지에 기초하여, 신규 손상 정보를 획득하는 것을 포함할 수 있다.
신규 손상 정보는 복수의 손상 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 시점에 대응되는 제1 손상 정보 및 제1 시점 이후인 제2 시점에 대응되는 제2 손상 정보에 기초하여 획득될 수 있다.
신규 손상 정보는 새롭게 발생한 손상의 개수, 정도, 위치(예컨대, 좌표) 등을 포함할 수 있다.
신규 손상 정보는 제1 차량에 대하여 제1 시점에 촬영된 제1 이미지에 기초하여 획득된 제1 손상 정보 및 제1 차량에 대하여 제1 시점 이후인 제2 시점에 촬영된 제2 이미지에 기초하여 획득된 제2 손상 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 시점 이후 및 제2 시점 이전에 제1 차량에 새롭게 발생한 손상에 대한 정보를 포함할 수 있다. 예컨대, 신규 손상 정보는 제1 손상 정보에 따른 손상의 개수(또는 정도)와 제2 손상 정보에 따른 손상의 개수에 기초하여 획득된 새로이 발생한 손상의 수를 포함할 수 있다. 제1 이미지 및 제2 이미지는 차량을 동일한(또는 유사한)방향으로 촬영하여 획득된 이미지일 수 있다.
신규 손상 정보는 차량 이미지 내의 신규 손상에 대응되는 영역의 위치, 크기, 분포 등을 포함할 수 있다.
신규 손상 정보는 제1 차량에 대하여 제1 시점에 촬영된 제1 이미지에 기초하여 획득된 제1 손상 영역 정보 및 제1 차량에 대하여 제1 시점 이후인 제2 시점에 촬영된 제2 이미지에 기초하여 획득된 제2 손상 영역 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 손상 영역 정보 및 제2 손상 영역 정보에 기초하여, 제1 시점 이후 및 제2 시점 이전에 제1 차량에 새롭게 발생한 손상 영역의 차량 이미지 내에서의 위치, 크기 내지 분포에 대한 정보를 포함할 수 있다.
신규 손상 정보는 부품 별로 획득될 수도 있다. 신규 손상 정보는 개별 부품에 대하여 새롭게 발생한 손상의 개수, 정도, 위치(예컨대, 좌표), 대응되는 영역의 위치, 크기, 분포 등을 포함할 수 있다. 신규 손상 정보를 부품 별로 독립적으로 관리함으로써 개별 부품 별 상태 관리가 용이해질 수 있다.
신규 손상 정보는 제1 차량에 대하여 제1 시점에 촬영된 제1 이미지에 기초하여 획득된 제1 부품에 대한 제1 손상 정보 및 제1 차량에 대하여 제1 시점 이후인 제2 시점에 촬영된 제2 이미지에 기초하여 획득된 제1 부품에 대한 제2 손상 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 손상 정보 및 제2 손상 정보에 기초하여, 제1 시점 이후 및 제2 시점 이전에 제1 부품에 새로이 발생한 손상의 수, 크기, 위치 등을 나타낼 수 있다.
도 26은 일 실시예에 따른 신규 손상 정보를 설명하기 위한 도면이다. 도 26을 참조하면, 제1 시점에 획득된 제1 차량 이미지(a) 및 제2 시점에 촬영된 제2 차량 이미지(b)에 기초하여 신규 손상 정보가 획득될 수 있다.
제1 차량 이미지에 기초하여 차량에 1개의 손상이 존재함을 나타내는 제1 손상 정보가 획득되고, 제2 차량 이미지에 기초하여 차량에 2개의 손상이 존재함을 나타내는 제2 손상 정보가 획득될 수 있다. 제1 손상 정보 및 제2 손상 정보에 기초하여, 하나의 신규 손상(후방 휀더의 B2)이 발생하였음을 나타내는 신규 손상 정보가 획득될 수 있다.
제1 차량 이미지(a)에 기초하여 제1 손상 영역 정보(B1)를 포함하는 제1 손상 정보가 획득될 수 있다. 제2 차량 이미지(b)에 기초하여 제1 손상 영역 정보(B1) 및 제2 손상 영역 정보(B2)를 포함하는 제2 손상 정보가 획득될 수 있다. 제1 손상 정보 및 제2 손상 정보에 기초하여, 제1 시점 이후 및 제2 시점 이전에 발생된 차량 후방 휀더의 손상을 신규 손상으로 판단할 수 있다. 신규 손상 정보 후방 휀더의 손상에 대응되는 제2 손상 영역 정보를 포함할 수 있다.
2.4.3 손상 이력 관리 실시예 2 - 손상 중첩
새로 발생한 손상이 기존 손상과 적어도 일부 중첩되는 경우가 발생할 수 있다. 이러한 경우, 새로 손상이 발생하였음에도 불구하고 손상의 개수가 변경되지 않을 수 있다. 특히, 신규 손상 영역이 기존 손상 영역에 포함되거나 기존 손상 영역이 신규 손상 영역에 포함되는 경우 이러한 문제가 발생할 수 있다. 이러한 경우에도 사용자에게 신규 손상이 발생하였음을 고지하기 위한 수단이 요구된다.
도 27은 기존 손상과 중첩되는 신규 손상이 발생한 경우의 손상 이력 관리를 설명하기 위한 도면이다. 기존 손상과 중첩되는 신규 손상이 발생한 경우의 손상 이력은 손상 부위의 위치, 크기, 좌표 등을 이용하여 획득될 수 있다.
도 27을 참조하면, 손상 이력을 관리하는 것은, 제1 시점에 촬영된 제1 차량 이미지(a)를 획득하고 제1 차량 이미지(a)에 기초하여 제1 손상 영역 정보(B1)를 포함하는 제1 손상 정보를 획득하는 것을 포함할 수 있다. 손상 이력을 관리하는 것은 제1 시점 이후인 제2 시점에 촬영된 제2 차량 이미지(b)를 획득하고 제2 차량 이미지(b)에 기초하여 제2 손상 영역 정보(B2)를 포함하는 제2 손상 정보를 획득하는 것을 포함할 수 있다.
도 27을 참조하면, 제2 손상 영역 정보(B2)는 제1 손상 영역 정보(B1)와 중첩될 수 있다. 제1 손상 영역 정보(B1)는 제2 손상 영역 정보(B1)에 포함될 수 있다. 제1 손상 영역 정보(B1)가 제2 손상 영역 정보(B1)와 적어도 일부 중첩되는 경우, 제1 손상 정보에 따른 손상의 개수 및 제2 손상 정보에 따른 손상의 개수는 동일할 수 있다.
신규 손상 정보는 제2 손상 영역 정보(B2) 및 제1 손상 영역 정보(B1)의 차이에 기초하여 획득될 수 있다. 신규 손상 정보는 제2 손상 영역 정보(B2)에 따른 제2 손상 영역(제2 바운딩 박스)의 크기 및 제1 손상 영역(제1 바운딩 박스)의 크기의 차이에 기초하여 획득될 수 있다. 신규 손상 정보는 제2 손상 영역(제2 바운딩 박스)의 위치(예컨대, 중심점의 좌표) 및 제1 손상 영역(제1 바운딩 박스)의 위치(예컨대, 중심점의 좌표)의 차이에 기초하여 획득될 수 있다. 신규 손상 정보는 제2 손상 영역(제2 바운딩 박스)의 모서리의 좌표 및 제1 손상 영역(제2 바운딩 박스)의 모서리의 좌표의 차이에 기초하여 획득될 수 있다.
2.5 차량 정보 출력 및 차량 정보 출력 인터페이스
차량 관리 시스템은 차량 정보를 출력할 수 있다. 차량 정보는 디스플레이를 구비하는 사용자 단말, 관리자 장치 등을 통하여 출력될 수 있다.
2.5.1 출력되는 정보
차량 관리 시스템은 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다.
차량 관리 시스템은 부품 정보, 손상 정보, 차량 종류 정보, 식별 정보 등의 차량 정보를 출력할 수 있다. 차량 관리 시스템은 사용자 정보 및/또는 위치 정보를 함께 출력할 수 있다.
차량 관리 시스템은 차량 이미지 및 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 차량 관리 시스템은 복수의 차량 이미지 및 각 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 복수의 차량 이미지는 차량에 대하여 다양한 각도에서 촬영된 이미지일 수 있다.
차량 관리 시스템은 차량 이미지 및 해당 이미지의 차량에 대한 촬영 방향을 나타내는 방향 지시자를 함께 출력할 수 있다. 촬영 방향은 차량 이미지에 기초하여 획득될 수 있다. 차량을 촬영한 방향은 사용자의 입력을 통하여 획득될 수도 있다.
도 28은 일 실시예에 따른 출력 화면을 설명하기 위한 도면이다.
도 28을 참조하면, 일 실시예에 따른 출력 화면은 차량 이미지 표시부(CI), 차량 이미지의 촬영 방향을 나타내는 방향 지시자(DI), 차량과 관련된 비-이미지 정보 표시부(IF), 차량의 손상 정보를 나타내는 손상 정보 테이블(DT)을 포함할 수 있다.
차량 이미지 표시부(CI)는 노이즈가 제거된 이미지를 표시할 수 있다. 차량 이미지 표시부(CI)는 손상 영역 정보를 표시될 수 있다. 손상 영역 정보는 기존 손상 영역(ED) 및 신규 손상 영역(ND)을 포함할 수 있다. 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 달리 표시될 수 있다. 도 28을 참조하면, 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 다른 색상 또는 서로 다른 형태의 바운딩 박스로 표시될 수 있다.
방향 지시자(DI)는 표시되고 있는 차량 이미지의 촬영 방향을 나타낼 수 있다. 도 28을 참조하면, 방향 지시자(DI)는 차량의 좌측 방향을 지시하고, 차량 이미지 표시부(CI)는 차량의 좌측에서 촬영된 차량 이미지를 표시할 수 있다. 방향 지시자(DI)에 의해 지시되는 복수의 방향 각각에 대하여 서로 다른 방향에서 촬영된 차량 이미지가 대응될 수 있다. 방향 지시자(DI)의 방향을 선택하는 사용자 입력에 응답하여 대응되는 차량 이미지가 표시될 수 있다.
비-이미지 정보 표시부(IF)는 차량과 관련된 비-이미지 정보를 표시할 수 있다. 도 28을 참조하면, 비-이미지 정보 표시부(IF)는 차량 이미지가 촬영된 시점, 차량의 번호, 차량의 VIN, 차량의 모델 등을 표시할 수 있다.
손상 정보 테이블(DT)은 차량 이미지에 대응되는 부품 별로 손상의 수를 나타낼 수 있다. 이미지에 대응되는 부품은 현재 표시되고 있는 차량 이미지의 방향에 대응되는 부품을 의미할 수 있다. 예컨대, 도 28에서는 차량의 좌측을 촬영한 이미지가 표시되고 있으므로, 손상 정보 테이블(DT)은 차량의 좌측에 위치된 부품에 대한 부품 별 손상의 수를 나타낼 수 있다. 부품 별 손상의 수는 부품별 기존 손상의 수 및 신규 손상의 수(+로 구분됨)를 포함할 수 있다. 도 28을 참조하면, 손상 정보 테이블(DT)은 좌전방 도어, 좌측 도어 핸들, 좌후방 휀더에 기존 손상이 존재하며, 좌전방 도어 및 좌후방 휀더에 신규 손상이 존재함을 나타낼 수 있다.
한편, 손상 정보 테이블(DT)은 손상 정보 표시부의 일 실시예일 뿐이며, 기존 손상 또는 신규 손상에 대한 정보는 다른 형태로 표시될 수도 있다.
일 실시예에 따르면, 차량 관리 시스템은 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 보조 정보는 차량 정보에 기초하여 획득되고 차량 관리를 보조하기 위한 정보일 수 있다.
보조 정보는 손상 정보에 따른 손상의 정도에 따라 결정될 수 있다. 예컨대, 보조 정보는 손상 정도에 따라 차량의 수리, 도색, 일부 부품의 교체 등 필요한 조치를 지시할 수 있다.
보조 정보는 수리비 정보를 포함할 수 있다. 수리비 정보는 손상 정보에 기초하여 획득될 수 있다. 수리비 정보는 손상 정보에 기초하여 차량의 손상에 따라 적절히 수리 조치하는데 소요되는 비용의 추정치를 포함할 수 있다.
보조 정보는 보험 관련 정보를 포함할 수 있다. 보조 정보는 미리 저장된 보험 데이터에 기초하여 결정된 보험 청구 정보를 포함할 수 있다.
2.5.2 차량 정보 출력 실시예 1 - 복수 이미지 이용시 출력 이미지 선택
일 실시예에 따르면, 차량 정보 획득을 위하여 복수의 차량 이미지가 이용될 수 있다. 예컨대, 2.2.3에서 전술한 바와 같이 차량 이미지의 노이즈 제거를 위하여 복수의 이미지가 사용되는 경우가 있을 수 있다. 이와 같이 복수의 이미지를 이용하여 얻어진 차량 정보를 출력하는 경우에, 복수의 이미지 중 어느 이미지를 기준으로 하여 차량 정보를 출력할지에 대하여 살펴본다.
복수의 이미지를 이용하여 차량의 손상 정보(또는 부품-손상 정보)가 획득된 경우, 차량 이미지와 획득된 손상 정보, 특히 손상 영역 정보가 중첩되어 사용자에게 제공될 수 있다. 이때, 손상 영역 정보가 중첩되는 차량 이미지는 복수의 이미지 중 어느 하나일 수 있다. 손상 영역 정보가 중첩되는 차량 이미지는 복수의 이미지에 기초하여 생성된 이미지일 수 있다.
도 29는 일 실시예에 따른 손상 영역 정보의 표시를 설명하기 위한 도면이다. 도 29의 (a), (b) 및 (c)을 참조하면, 도 7에서 설명한 것과 동일하게, 배경 등의 노이즈 제거를 위한 처리가 수행될 수 있다. 도 29의 (d)를 참조하면, 차량의 손상 부위에 대응되는 바운딩 박스(BB)가 중첩된 차량 이미지가 제공될 수 있다. 바운딩 박스(BB)가 중첩되는 차량 이미지는 복수의 차량 이미지 (a), (b) 및 (c)에 기초하여 생성된 배경이 제거된 차량 이미지일 수 있다. 또는, 바운딩 박스(BB)가 중첩되는 차량 이미지는 복수의 차량 이미지 (a), (b) 및 (c) 중 차량의 위치가 프레임 중앙에 가까운 이미지일 수 있다. 또는, 또는, 바운딩 박스(BB)가 중첩되는 차량 이미지는 복수의 차량 이미지 (a), (b) 및 (c) 중 차량의 표시 비율이 가장 높은 이미지일 수 있다. 차량의 표시 비율은 차량의 전체 외면 중 이미지에 표시된 영역의 비율을 의미할 수 있다.
도 29에서는 복수의 이미지에 기초하여 배경 제거를 위한 노이즈 제거 처리를 수행하는 경우를 기준으로 설명하였으나, 이는 차량 내의 반사광 제거를 위한 노이즈 제거 처리가 수행되는 경우에도 유사하게 적용될 수 있다. 반사광 제거를 위한 노이즈 제거 처리의 경우, 반사광이 제거된 이미지에 손상 영역 정보가 중첩되어 출력될 수 있다.
3. 온-사이트 차량 관리 시스템
3.1 온-사이트 시스템
일 실시예에 따르면, 온-사이트(On-site)에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 시스템이 제공될 수 있다.
도 34는 온-사이트 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 34를 참조하면, 일 실시예에 따른 온-사이트 차량 관리 시스템은 관리장치(341), 카메라 모듈(343) 및 감지수단(345)을 포함할 수 있다.
관리장치(341)는 카메라 모듈(343) 및 감지수단(345)과 연결되어, 상기 카메라 모듈(343) 및 감지수단(345)을 제어할 수 있다. 상기 관리장치(341)는 카메라 모듈(343) 및 감지수단(345)으로부터 데이터를 전달받을 수 있다. 상기 관리장치(341)는 디스플레이, 사용자 인터페이스, 통신 모듈, 메모리 및 컨트롤러 중 적어도 하나를 포함할 수 있다.
상기 관리장치(341)는 적어도 하나 이상의 전자기기로 구성될 수 있다. 상기 관리장치(341)는 태블릿, 스마트폰 및 노트북의 형태로 구현될 수 있다.
도시하지 않았지만 상기 관리장치(341)는 서버와 연결될 수 있다. 상기 관리장치(341)가 서버와 연결되는 경우 상기 관리장치(341)는 서버와 데이터를 교환할 수 있다. 이 경우 서버는 다수의 관리장치(341)와 연결되어, 다수의 관리장치(341)로부터 데이터를 수신하여 처리할 수 있다.
또는 상기 관리장치(341)는 서버의 역할을 할 수 있다. 이 경우 상기 관리장치(341)는 다른 관리장치(341) 또는 다른 전자기기와 연결되어 데이터를 교환하고 처리할 수 있다.
카메라 모듈(343)은 입차 또는 출차하는 차량을 촬영할 수 있다. 상기 카메라 모듈(343)은 차량을 촬영한 촬영 데이터를 상기 관리장치(341)로 전달할 수 있다.
감지수단(345)은 입차 또는 출차하는 차량의 위치를 감지할 수 있다. 상기 감지수단(345)은 입차 또는 출차하는 차량을 감지할 수 있다. 상기 감지수단(345)은 광학적 센서 또는 차단기(PB)일 수 있다.
상기 감지수단(345)은 상기 관리장치(341)로 센싱 값을 전달하고, 상기 관리장치(341)는 상기 센싱 값에 기초하여 차량의 관리에 이용되는 영상 데이터를 추출할 수 있다. 상기 관리장치(341)는 센싱 값에 기초하여 상기 촬영 데이터 중 영상 데이터를 추출할 수 있다.
온-사이트 차량 관리 시스템은 차량 집합 관리에 사용될 수 있다.
온-사이트 차량 관리 시스템은 주차 관제에 사용될 수 있다. 보다 구체적으로, 온-사이트 차량 관리 시스템은 주차 관리자가 주차 구역으로 입차 하는 차량의 이미지와 주차 구역에서 출차 하는 차량의 이미지를 비교 분석하는 작업에 사용될 수 있다.
또한, 온-사이트 차량 관리 시스템은 택시 회사의 택시 관리 업무에 사용될 수 있다. 보다 구체적으로, 온-사이트 차량 관리 시스템은 택시 회사가 운전자의 택시 운행 전, 후의 차량 이미지를 비교 분석하는 업무에 사용될 수 있다.
3.2 온-사이트 차량 관리 프로세스
일 실시예에 따르면, 온-사이트에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 프로세스가 제공될 수 있다. 온-사이트 차량 관리 프로세스는 전술한 온-사이트 차량 관리 시스템에 의해 수행될 수 있다.
도 35는 온-사이트 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 35를 참조하면, 온-사이트 차량 관리 프로세스는 차량과 관련된 온-사이트에서 촬영된 차량 데이터를 획득하는 단계(S3510), 획득된 차량 데이터에 기초하여 차량 정보를 획득하는 단계(S3530), 차량 정보를 관리하는 단계(S3550) 및 차량 정보를 출력하는 단계(S3570)를 포함할 수 있다. 이하에서는 각 단계에 대하여 보다 구체적으로 설명한다.
3.2.1 온-사이트 차량 데이터 획득
온-사이트 차량 관리 프로세스는 차량 관리에 필요한 차량 데이터를 획득하는 단계(S3510)를 포함할 수 있다.
차량 데이터는 다양한 형태로 마련될 수 있다. 예컨대, 차량 데이터는 이미지 데이터 또는 비-이미지 데이터일 수 있다. 차량 데이터는 장치에 미리 저장되거나 외부로부터 획득될 수 있다. 예컨대, 차량 데이터는 카메라 모듈(343)을 통하여 획득되거나, 사용자 입력 모듈을 통하여 획득될 수 있다.
차량 데이터 및 차량 데이터의 획득에 대하여는 이하에서 구체적인 예시를 들어 보다 상세히 설명한다.
3.2.1.1 이미지 데이터 획득
도 36은 온-사이트 차량 관리 프로세스에서 차량 관리에 필요한 차량 데이터를 획득하는 단계(S3510)를 설명하기 위한 도면이다. 이하에서는 도 36을 참조하여 촬영된 차량 데이터를 획득하는 단계(S3510)에 대하여 보다 구체적으로 설명한다.
도 36을 참조하면, 일 실시예에 따른 차량 데이터를 획득하는 단계(S3510)는 복수의 이미지를 포함하는 영상 데이터를 획득하는 단계(S3511) 및 획득한 복수의 이미지 중 유효 이미지 데이터를 추출하는 단계(S3513)를 포함할 수 있다.
일 실시예에 따르면, 차량 데이터는 차량을 촬영한 차량 이미지를 포함하는 이미지 데이터일 수 있다. 차량 이미지는 차량의 일부 부품을 포함하는 이미지일 수 있다. 차량 이미지는 차량을 식별하기 위한 식별 정보가 포함되도록 차량의 일부를 촬영하여 획득된 이미지일 수 있다.
차량 데이터는 차량을 촬영한 차량 영상 데이터일 수 있다. 차량 데이터는 영상 데이터 및 영상 데이터로부터 추출된 이미지 데이터를 포함할 수 있다.
영상 데이터는 카메라 모듈(343)이 복수의 특정 시점 사이에 촬영한 데이터를 의미할 수 있다. 이때, 상기 복수의 특정 시점은 서로 다른 시점을 의미할 수 있다. 이하에서는 도면을 참조하여 상기 복수의 특정 시점을 구체적인 예시를 들어 보다 상세히 설명한다.
도 37은 일 실시예에 따른 영상 데이터가 감지수단(345)에 감지되는 특정 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 37을 참조하면, 일 실시예에 따른 차량관리 시스템은 관리장치(341), 감지수단(345) 및 카메라 모듈(343)을 포함할 수 있다. 또한, 차량관리 시스템은 차량의 입차 또는 출차를 제어하기 위한 차단기(PB)를 더 포함할 수 있다.
상기 카메라 모듈(343)은 적어도 하나 이상의 카메라를 포함할 수 있다. 상기 카메라 모듈(343)은 제1 카메라(C1) 및 제2 카메라(C2)를 포함할 수 있다.
상기 감지수단(345)은 적어도 하나 이상의 센서를 포함할 수 있다. 상기 감지수단(345)은 제1 센서(S1) 및 제2 센서(S2)를 포함할 수 있다.
상기 차단기(PB)는 상기 관리장치(341)에 의해 제어될 수 있다. 상기 관리장치(341)는 입차 또는 출차하는 차량이 차단기(PB)에 접근하는 경우 차단기(PB)를 제어할 수 있다. 상기 관리장치(341)는 입차 또는 출차하는 차량이 차단기(PB)에 접근하고, 입차 또는 출차가 허가되는 경우에 차단기(PB)를 제어할 수 있다. 상기 관리장치(341)는 상기 제1 센서(S1) 및 제2 센서(S2) 중 적어도 하나의 센싱 값에 의해 차단기(PB)를 제어할 수 있다. 상기 관리장치(341)는 제1 센서(S1)에 의해 차량이 감지되는 경우 차단기(PB)를 제어할 수 있다.
상기 카메라 모듈(343)은 주차장에 입차 또는 출차하는 차량의 촬영하기 위해 입차 또는 출차하는 차량의 이동경로와 인접한 영역에 설치될 수 있다. 아래에서는 입차하는 차량을 촬영하는 카메라 모듈(343)에 대해서 설명한다.
상기 제1 카메라(C1)와 제2 카메라(C2)는 차량의 다른 측면을 촬영하기 위해 설치될 수 있다. 예를 들어, 제1 카메라(C1)는 차량의 제1 측면을 촬영할 수 있는 위치에 설치되고, 제2 카메라(C2)는 차량의 제2 측면을 촬영할 수 있는 위치에 설치될 수 있다. 상기 제1 카메라(C1)와 제2 카메라(C2)는 서로 마주보는 방향으로 설치될 수 있다.
상기 제1 카메라(C1)는 입차 또는 출차하는 차량의 측면과 후면을 촬영할 수 있는 위치에 설치될 수 있다. 상기 제1 카메라(C1)는 상기 제2 카메라(C2)가 촬영영역에 위치하도록 설치될 수 있다. 상기 제1 카메라(C1)는 제2 카메라(C2)를 향해 설치될 수도 있다. 상기 제1 카메라(C1)가 입차 또는 출차하는 차량의 후면을 추가로 촬영할 수 있어, 비-이미지 데이터를 추가로 획득할 수도 있다.
상기 제2 카메라(C2)는 입차 또는 출차하는 차량의 측면과 전면을 촬영할 수 있는 위치에 설치될 수 있다. 상기 제2 카메라(C2)는 상기 제1 카메라(C1)가 촬영영역에 위치하도록 설치될 수 있다. 상기 제2 카메라(C2)는 제1 카메라(C1)를 향해 설치될 수도 있다. 상기 제2 카메라(C2)가 입차 또는 출차하는 차량의 전면을 추가로 촬영할 수 있어, 비-이미지 데이터를 추가로 획득할 수도 있다.
상기 제1 카메라(C1)와 제2 카메라(C2)는 상기 차단기(PB)와 평행하도록 위치할 수 있다.
또는 상기 제1 카메라(C1)와 제2 카메라(C2)는 서로 이격되어 위치할 수 있다. 상기 제1 카메라(C1)는 차단기(PB)와 이격되는 영역에 위치할 수 있고, 제2 카메라(C2)는 차단기(PB)와 대응되는 영역에 위치할 수 있다. 상기 제1 카메라(C1)가 차단기(PB)와 이격되는 영역에 위치함으로써 차량의 비-이미지 정보를 보다 빠른 시점에 획득하여 처리시간을 단축할 수 있는 효과가 있다. 제1 센서(S1)는 차단기(PB)와 이격되는 영역에 위치할 수 있고, 제2 센서(S2)는 차단기(PB)와 대응되는 영역에 위치할 수 있다. 제1 센서(S2)는 주차장에 진입하는 차량을 감지하기 위해 차단기(PB)와 이격되어 설치될 수 있고, 제2 센서(S2)는 차량이 차단기(PB)와 인접하였는지를 감지하기 위해 상기 차단기(PB)와 대응되는 영역에 위치하도록 설치될 수 있다.
관리장치(341)는 제1 카메라(C1)와 제2 카메라(C2)로부터의 촬영 데이터를 획득할 수 있다. 관리장치(341)는 제1 센서(S1)와 제2 센서(S2)로부터 전달받은 센싱 값에 기초하여 상기 촬영 데이터 중 영상 데이터를 추출할 수 있다. 여기서 영상 데이터는 차량 관리에 실질적으로 이용되는 데이터를 포함할 수 있다.
또는 관리장치(341)는 제1 센서(S1) 및 제2 센서(S2) 중 적어도 어느 하나의 센서로 전달받은 센싱값에 기초하여 제1 카메라(C1) 및 제2 카메라(C2) 중 적어도 어느 하나를 제어할 수 있다. 예를 들어, 상기 제1 센서(S1)에 의해 차량의 진입이 인식되는 경우 상기 제1 카메라(C1) 및 제2 카메라(C2)가 차량을 촬영할 수 있는 상태가 되도록 제어할 수 있고, 제2 센서(S2)에 의해 차량의 입차가 완료되는 경우 제1 카메라(C1) 및 제2 카메라(C2)가 차량을 촬영하지 않는 상태로 변경되도록 제어할 수 있다.
관리장치(341)는 차량이 제1 센서(S1)를 완전히 통과한 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 제1 센서(S1)에 차량이 인식되었다가 인식이 종료된 시점을 시작시점으로 정의할 수 있고, 제2 센서(S2)에 차량이 인식된 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 차량이 제1 센서(S1)를 완전히 통과한 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의하고, 상기 영상 데이터를 이용하여 차량관리를 위한 데이터로 사용함으로써 관리장치(341)의 저장부에 저장되는 데이터의 양을 줄일 수 있고, 제1 카메라(C1)와 제2 카메라(C2)로부터 관리장치(341)로 전달되는 데이터의 양을 줄일 수 있는 효과가 있다.
제1 카메라(C1)는 상기 제1 센서(S1)와 대응되는 영역에 위치하고, 제2 카메라(C2)는 제2 센서(S2)와 대응되는 영역에 위치할 수 있다. 상기 제1 카메라(C1)를 상기 제1 센서(S1)와 대응되는 영역에 위치시키고, 차량이 제1 센서(S1)를 완전히 통과한 시점을 시작시점으로 정의함으로써 제1 카메라(C1)가 차량의 일 측의 모든 영역을 촬영한 데이터를 영상 데이터로 정의할 수 있다. 또한, 상기 제2 카메라(C2)를 제2 센서(S2)와 대응되는 영역에 위치시키고, 차량이 제2 센서(S2)에 최초로 감지된 시점을 종료시점으로 정의함으로써 제2 카메라(C2)가 차량의 타 측의 모든 영역을 촬영한 데이터를 영상 데이터로 정의할 수 있다. 이로써, 제1 카메라(C1) 및 제2 카메라(C2)의 영상 데이터는 차량의 양측 모든 영역을 촬영한 데이터로 정의되고, 이에 따라 차량의 손상을 보다 정확히 인식할 수 있다.
도 38은 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 38을 참조하면, 다른 실시예에 따른 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 제1 센서(S1)에 차량이 인식된 시점을 시작시점으로 정의할 수 있고, 제2 센서(S2)에 차량이 인식된 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의함으로써 도 37에 비해 시작시점을 앞당길 수 있다. 상기 관리장치(341)는 보다 이른 시점에서의 촬영 데이터를 영상 데이터로 정의함으로써 차량 앞 부분에 위치한 차량 번호 또는 VIN 정보 등의 차량 식별 정보를 정확하게 확보함으로써 차량 관리가 보다 원활히 수행될 수 있도록 하는 효과가 있다.
도 39는 또 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 39를 참조하면, 또 다른 실시예에 따른 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)를 완전히 통과한 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 제1 센서(S1)에 차량이 인식된 시점을 시작시점으로 정의할 수 있고, 제2 센서(S2)에 차량이 인식되었다가 인식이 종료된 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)를 완전히 통과한 시점 사이의 촬영 데이터를 영상 데이터로 정의함으로써 도 37 및 도 38에 비해 시작시점을 앞당기고 종료시점을 늦출 수 있다. 상기 관리장치(341)는 보다 이른 시점에서의 촬영 데이터를 영상 데이터로 정의하고, 보다 늦은 시점에서의 촬영 데이터를 영상 데이터로 정의함으로써 차량의 주요 부위가 최대로 확보된 영상 데이터를 이용하여 차량관리를 수행할 수 있고, 그 결과로 차량 외관에 발생하는 손상 정보의 누락을 최소화할 수 있는 효과가 있다.
한편, 도면에 표시되지는 않았지만, 일 실시예에 따른 차량 관리 시스템은 제3 센서, 제4 센서, 제3 카메라 및 제4 카메라를 더 포함할 수 있다.
상술한 제1 센서(S1), 제2 센서(S2), 제1 카메라(C1) 및 제2 카메라(C2)가 차량의 주차 구역으로 입차 시의 영상 데이터 확보를 위한 것일 수 있으며, 제3 센서, 제4 센서, 제3 카메라 및 제4 카메라는 차량의 주차 구역밖으로 출차 시의 영상 데이터 확보를 위한 것일 수 있다.
다시 말해, 출차 시는 제3 센서와 제3 카메라를 더 포함할 수 있고, 제3 센서는 입차 시의 제1 센서(S1)와 대응되는 역할을 할 수 있고, 제3 카메라는 입차 시의 제1 카메라(C1)와 대응되는 역할을 할 수 있다. 이 경우 제3 카메라는 제1 카메라(C1)가 촬영하는 차량의 동일한 측면을 촬영하기 위해 설치될 수 있다. 또한, 출차 시는 제4 센서와 제4 카메라를 더 포함할 수 있고, 제4 센서는 입차 시의 제2 센서(S2)와 대응되는 역할을 할 수 있고, 제4 카메라는 입차 시의 제2 카메라(C2)와 대응되는 역할을 할 수 있다. 이 경우 제4 카메라는 제2 카메라(C2)가 촬영하는 차량의 동일한 측면을 촬영하기 위해 설치될 수 있다.
제1 센서(S1), 제2 센서(S2), 제1 카메라(C1) 및 제2 카메라(C2)에 관하여는 상술한 바, 제3 센서, 제4 센서, 제3 카메라 및 제4 카메라에 관한 내용 중 제1 센서(S1), 제2 센서(S2), 제1 카메라(C1) 및 제2 카메라(C2)와 중복되는 내용은 생략한다.
도 40은 또 다른 실시예에 따른 영상 데이터가 차단기(PB)가 작동한 시점부터 일정 범위 내의 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 40의 또 다른 실시 예에 따른 차량관리 시스템은 도 33과 비교하여 감지수단(345)으로 차단기(PB)가 사용되는 것 이외에는 도 37의 실시 예와 동일하다. 따라서, 도 40의 일 실시 예에 따른 차량관리 시스템을 설명함에 있어서, 도 37과 공통되는 부분에 대해서는 동일한 도면번호를 부여하고 상세한 설명을 생략한다.
도 40을 참조하면, 또 다른 실시 예에 따른 차량관리 시스템은 적어도 하나 이상의 차단기(PB)와 적어도 하나 이상의 카메라 모듈(343)을 포함할 수 있다.
상기 카메라 모듈(343)은 제1 카메라(C1) 및 제2 카메라(C2)를 포함할 수 있다. 제1 카메라(C1)는 차단기(PB)와 이격되는 영역에 위치할 수 있고, 제2 카메라(C2)는 차단기(PB)와 대응되는 영역에 위치할 수 있다. 상기 제1 카메라(C1)와 제2 카메라(C2)는 이격되도록 설치될 수 있고, 상기 제1 카메라(C1)와 제2 카메라(C2)는 차량의 다른 측면을 촬영할 수 있다.
관리장치(341)는 제1 카메라(C1)와 제2 카메라(C2)로부터 촬영 데이터를 획득할 수 있다. 관리장치(341)는 제1 카메라(C1)와 제2 카메라(C2)로부터 획득된 촬영 데이터 중 영상 데이터를 추출할 수 있다. 여기서 영상 데이터는 차량 관리에 실질적으로 이용되는 데이터를 포함할 수 있다.
영상 데이터는 상기 카메라 모듈(343)에 의해 촬영된 촬영 데이터 중 복수의 특정 시점 사이에 촬영된 영상을 의미할 수 있다. 이때 복수의 특정 시점은 차단기(PB)가 작동한 시점부터 일정 범위 내의 시점을 의미할 수 있다. 한편, 차단기(PB)가 작동한 시점부터 일정 범위 내의 시점이란, 상기 일정 범위 내의 시점에서 차량이 촬영될 경우 영상 데이터에 차량 전체 외관의 주요 부위 중 적어도 일부가 포함될 수 있을 정도 일정 범위를 가지는 시점을 의미할 수 있다. 즉, 주차 구역으로 차량이 접근하는 경우 차단기(PB)가 작동하게 되는데, 복수의 특정 시점은 차량의 접근에 따라 차단기(PB)가 작동한 시점을 기준으로 일정 시점 이전인 제1 시점과 일정 시점 이후인 제2 시점을 의미할 수 있다.
다시 말해, 영상 데이터는 차단기(PB)가 작동한 시점을 기준으로 일정 시점 이전인 제1 시점과 일정 시점 이후인 제2 시점 사이에 카메라 모듈(343)에 의해 촬영된 영상을 의미할 수 있다.
관리장치(341)는 차량이 제1 시점과 제2 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 차단기(PB)가 작동한 시점을 기준으로 일정 시점 이전을 시작시점으로 정의할 수 있고, 차단기(PB)가 작동한 후 차량이 차단기(PB)를 완전히 통과한 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의하고, 상기 영상 데이터를 이용하여 차량관리를 위한 데이터로 사용함으로써 센서가 구비되어 있지 않은 주차 구역에서도 차단기(PB)만을 이용해 차량 관리 기능 수행이 가능하게 하는 효과가 있다.
또한, 상기 제2 시점은 차단기(PB)가 작동한 시점과 대응되는 시점일 수도 있다. 이 경우 제1 카메라(C1)와 제2 카메라(C2)로부터 관리장치(341)로 전달되는 데이터의 양을 줄일 수 있는 효과가 있다
한편, 일 실시예에 따른 카메라 모듈(343)은 촬영 시 촬영 시점 및 각도가 고정되어 있는 고정식일 수 있으나 이에 한정되는 것은 아니다. 다른 예로, 일 실시예에 따른 카메라 모듈(343)은 촬영 시 차량의 움직임에 따라 회전하는 회전식일 수 있다.
일 실시예에 따른 카메라 모듈(343)이 회전식으로 구비되는 경우, 상술한 복수의 특정 시점은 영상 데이터가 차량 외관의 주요 부위 중 적어도 일부를 포함할 수 있는 범위에서 가변적일 수 있다.
이하에서는 도면을 참조하여 상기 영상 데이터로부터 온-사이트 차량 관리 프로세스에 적합한 이미지 데이터를 추출하는 방법을 설명한다.
영상 데이터로부터 추출된 이미지 데이터는 카메라 모듈(343)이 상술한 복수의 특정 시점에 촬영한 차량 이미지 중 어느 하나일 수 있다. 또한, 상기 영상 데이터로부터 추출된 이미지 데이터는 복수의 특정 시점 사이에 카메라 모듈(343)에 의해 촬영된 차량 이미지 중 어느 하나일 수 있다. 상기 이미지 데이터는 시작시점과 종료시점 사이에 카메라 모듈(343)에 의해 촬영된 차량 이미지 중 어느 하나일 수 있다.
도 41은 일 실시예에 따른 영상 데이터로부터 이미지 데이터를 추출하는 방법을 설명하기 위한 도면이다.
상술한 바와 같이 복수의 특정 시점에서 카메라 모듈(343)에 의해 획득된 영상 데이터는 복수의 이미지를 포함할 수 있다. 이때, 온-사이트 차량 관리 프로세스가 정상적으로 수행될 수 있게 하기 위하여 상기 복수의 이미지 중 유효 이미지 데이터가 추출될 수 있다.
관리장치(341)에 의해 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터가 영상 데이터로 정의된 경우, 유효 이미지 데이터는 상기 시작시점과 종료시점 사이에 있는 영상 데이터 중 적어도 하나일 수 있다.
상기 유효 이미지 데이터는 영상 데이터 중 중간 구간에서의 적어도 하나의 이미지일 수 있다. 상기 중간 구간은 시작시점과 종료시점 사이의 특정 구간일 수 있다. 상기 중간 구간은 상기 시작시점과 종료시점의 중간시점을 포함할 수 있다. 이 때, 상기 시작시점과 중간시점 간의 시간간격과 중간시점과 종료시점 간의 시간간격은 대응될 수 있다.
유효 이미지 데이터는 상기 영상 데이터가 포함하고 있는 복수의 이미지 중 차량 외관의 주요 부위가 포함되어 있는 적어도 하나 이상의 이미지 데이터를 의미할 수 있다.
결국, 상기 관리장치(341)는 상기 유효 이미지 데이터를 이용하여 차량관리를 위한 데이터로 사용함으로써 관리장치(341)의 저장부에 저장되는 데이터의 양을 줄일 수 있고, 차량 외관의 주요 부위를 효과적으로 관리할 수 있는 효과가 있다.
상기 관리장치(341)가 획득하는 영상 데이터는 도 41의 (a) 내지 (c)이미지를 포함하는 복수의 이미지일 수 있다. 상기 관리장치(341)는 주요 부위가 도시된 (b) 이미지를 유효 이미지 데이터로 추출하여 차량 외관의 주요 부위를 효과적으로 관리할 수 있다.
한편, 상기 유효 이미지 데이터는 차량의 일부 영역만 포함된 이미지일 수도 있다. 이 경우에도 상기 유효 이미지 데이터는 차량 외관의 주요 부위를 포함하는 형태일 수도 있고, 이로써 차량 외관을 보다 명확히 판단하는 효과가 있다.
3.2.1.2 비-이미지 데이터 획득
일 실시예에 따르면, 이미지가 아닌 비-이미지 형태의 차량 데이터가 획득될 수 있다. 차량 데이터는 비-이미지 데이터일 수 있다. 차량 데이터는 차량과 관련된 정보를 포함하는 비-이미지 데이터일 수 있다. 상기 비-이미지 데이터는 미리 저장되거나 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(343)에 의해 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(343)에 의해 촬영된 촬영 데이터에 기초하여 획득될 수 있다. 상기 관리장치(341)는 상기 영상 데이터에 기초하여 비-이미지 데이터를 획득할 수 있다.
3.2.1.3 데이터 처리
온-사이트 차량 관리 프로세스에서는 획득된 데이터에 대한 처리가 수행될 수 있다.
온-사이트 차량 관리 프로세스에서는 획득된 이미지 데이터에 대한 전처리(또는 후처리)가 수행될 수 있다.
상기 관리장치(341)는 영상 데이터 중 적어도 하나 이상의 유효 이미지 데이터에 대한 전처리를 수행할 수 있다.
상기 관리장치(341)는 시작시점과 종료시점 사이의 중간 구간의 다수의 이미지에 기초하여 노이즈 제거처리를 수행할 수 있다. 상기 관리장치(341)는 다수의 유효 이미지 데이터에 기초하여 노이즈 제거 처리를 수행할 수 있다.
도 42는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 42를 참조하면, 관리장치(341)는 차량 영역 및 배경 영역을 가지는 복수의 유효 이미지 데이터 (a) 내지 (c)를 획득하고, 복수의 유효 이미지 데이터 (a) 내지 (c)에 기초하여 배경 영역이 제거된 이미지(d)를 획득하는 노이즈 제거 처리를 수행할 수 있다. 상기 관리장치(341)는 복수의 유효 이미지 데이터 (a) 내지 (c)에 기초하여, 유효 이미지 데이터 내에서의 위치가 고정된 오브젝트인 배경에 대응되는 영역(즉, 배경 영역)이 제거되고, 유효 이미지 데이터 내에서의 위치가 변경되는 오브젝트인 차량에 대응되는 영역(즉, 차량 영역)을 포함하는 이미지(d)가 획득될 수 있다.
예시적으로, 주차 관제 회사 또는 택시 회사의 경우, 카메라 모듈(343)은 고정된 위치에서 움직이는 차량을 촬영하므로, 유효 이미지 데이터는 움직이는 차량 이미지와 고정되어 있는 배경 이미지를 포함할 수 있다. 이 경우, 배경 이미지는 신경망 모델에 의해 차량 이미지가 아닌 것으로 반복 학습될 수 있다. 따라서, 상기 노이즈 제거 처리는 배경 이미지에 관한 정보가 반복 학습되어 있는 신경망 모델을 이용하여, 상기 유효 이미지 데이터들로부터 배경 영역이 제거된 차량 이미지를 획득하는 것을 포함할 수 있다.
상기 관리장치(341)는 복수의 유효 이미지 데이터에 기초하여, 반사광 등을 제거하기 위한 노이즈 제거 처리를 수행할 수 있다. 관리장치(341)는 복수의 유효 이미지 데이터를 획득하고, 위치가 변동되는 오브젝트(예컨대, 반사광에 대응되는 반사 영역) 및 위치가 변동되지 않는 오브젝트(예컨대, 차량 영역 또는 차량의 손상에 대응되는 손상 영역)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거할 수 있다. 예컨대, 관리장치(341)는 차량의 손상된 부분에 대응되는 손상 영역 및 차량의 표면에 의한 반사광에 대응되는 반사 영역을 포함하는 유효 이미지 데이터에 기초하여, 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다.
도 43은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 43을 참조하면, 관리장치(341)는 손상 영역 및 반사 영역을 포함하는 복수의 유효 이미지 데이터(a) 및 (b)를 획득하고, 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리를 수행할 수 있다. 도 43을 참조하면, 관리장치(341)는 복수의 유효 이미지 데이터(a) 및 (b)에 기초하여, 이미지 내에서 또는 차량 영역 내에서 위치 또는 상태가 변경되는 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리를 수행할 수 있다.
반사 영역이 제거된 이미지(c)는 복수의 유효 이미지 데이터 (a) 및 (b)중 어느 하나에 기초하여 생성될 수 있다. 예컨대, 관리장치(341)는 복수의 유효 이미지 데이터(a) 및 (b)에 기초하여 반사 영역을 획득하고, 복수의 유효 이미지 데이터 (a) 및 (b)중 어느 하나로부터 반사 영역을 제거하여, 노이즈 제거된 이미지를 획득할 수 있다.
관리장치(341)는 신경망 모델을 이용하여 노이즈 제거 처리를 수행할 수 있다. 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 반사 영역이 마스킹된 복수의 차량 이미지를 포함하는 학습 데이터를 이용하여, 반사 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 관리장치(341)는 학습된 신경망 모델을 이용하여, 유효 이미지 데이터들로부터 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리를 수행할 수 있다.
상술한 노이즈 제거 처리가 수행된 이미지는 손상 이미지로 정의될 수 있다. 상기 관리장치(341)는 상기 손상 이미지를 기초로 차량의 손상을 포함하는 차량의 정보를 판단할 수 있다.
상기 카메라 모듈(343)이 노이즈가 발생하지 않는 환경에 설치된 경우 상기 관리장치(341)는 노이즈 제거 처리를 생략할 수도 있다. 이 경우 후술할 차량 정보 획득은 유효 이미지 데이터를 기초로 수행될 수 있다. 이 때의 손상 이미지는 상기 유효 이미지 데이터일 수 있다.
3.2.2 온-사이트 차량 정보 획득
온-사이트 차량 관리 프로세스는 차량 데이터에 기초하여 차량 정보를 획득하는 것을 포함할 수 있다.
차량 정보는 대상 차량을 구성하는 부품과 관련된 부품 정보, 대상 차량 내/외부의 손상과 관련된 손상 정보, 대상 차량의 종류와 관련된 차종 정보 및/또는 대상 차량을 식별하기 위한 식별 정보를 포함할 수 있다.
차량 정보는 차량 데이터로부터 추출되거나, 차량 데이터를 처리하여 얻어질 수 있다. 차량 정보는 차량 데이터를 입력 데이터로 하여, 차량 정보를 획득하도록 설계된 알고리즘 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다.
차량 데이터에 기초하여 차량 정보를 획득하는 것은 2.3에서 상술한 바 있으므로, 중복되는 내용은 생략한다.
일 실시예에 따르면 관리장치(341)는 손상 이미지에 기초하여 차량정보를 획득할 수 있다. 상기 관리장치(341)는 상기 손상 이미지에 기초하여 손상정보를 획득할 수 있다.
일 실시예에 따르면, 주차 관제 회사의 경우 관리장치(341)는 미리 저장되어 있는 데이터베이스를 이용하여 주차 차량 정보를 획득할 수 있다. 상기 주차 차량 정보는 주차 차량의 차종, 제조사, 모델명, 연식 등을 나타내는 차량 종류 정보를 포함할 수 있다. 또한, 상기 주차 차량 정보는 주차 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 나타내는 부품 정보를 더 포함할 수 있다.
주차 차량 정보는 대상 차량 내/외부에 발생한 추가 손상 정보를 포함할 수 있다. 상기 추가 손상 정보는 입차하는 차량의 손상 이미지와 출차하는 차량의 손상 이미지에 기초하여 산출될 수 있다. 상기 추가 손상 정보는 입차하는 차량의 손상 이미지와 출차하는 차량의 손상 이미지를 비교하여 산출될 수 있다.
상기 추가 손상 정보는 입차하는 차량의 손상 이미지를 기초로 산출된 손상정보와 출차하는 차량의 손상 이미지를 기초로 산출된 손상 정보에 기초하여 산출될 수 있다.
상기 관리장치(341)는 입차하는 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나를 저장하고, 출차시 이를 불러와 출차하는 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나와 비교하여 추가 손상 정보를 산출할 수 있다.
상기 관리장치(341)는 입차하는 차량의 비-이미지 데이터와 상기 손상 이미지 및 손상 정보를 연동하여 저장할 수 있다. 예를 들어, 관리장치(341)는 입차하는 차량의 손상 이미지 및 손상 정보를 상기 차량의 차량번호와 연동하여 저장할 수 있다.
상기 관리장치(341)는 해당 차량이 출차하는 경우 인식된 차량번호에 기초하여 해당 차량의 차량번호와 연동된 손상 이미지 및 손상 정보를 로드하고, 이를 출차시 획득한 손상 이미지 및 손상 정보와 비교하여 추가 손상 정보를 산출할 수 있다.
다른 예로, 상기 관리장치(341)는 주차 차량이 2회 이상 주차 시설을 이용하는 경우, 상기 주차 차량 정보는 차량의 사고 이력 등을 포함하는 추가 정보를 더 포함할 수 있다.
다른 일 실시예에 따르면, 택시 회사 경우 관리장치(341)는 미리 저장되어 있는 데이터를 이용하여 택시 차량 정보를 획득할 수 있다. 상기 택시 차량 정보는 택시 차량의 차종, 제조사, 모델명, 연식, 제조 시기, 제조 장소, 제조자, 위치, 등록 기준지 등을 나타내는 차량 종류 정보를 포함할 수 있다. 또한, 상기 택시 차량 정보는 택시 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 나타내는 부품 정보를 더 포함할 수 있다.
택시 차량 정보는 대상 차량 내/외부에 발생한 추가 손상 정보를 포함할 수 있다. 상기 추가 손상 정보는 택시 운행전에 획득한 차량의 손상 이미지와 택시 운행 후에 획득한 차량의 손상 이미지에 기초하여 산출될 수 있다. 상기 추가 손상 정보는 택시 운행 전에 획득한 차량의 손상 이미지와 택시 운행 후에 획득한 차량의 손상 이미지를 비교하여 산출될 수 있다.
상기 추가 손상 정보는 택시 운행 전에 획득한 차량의 손상 이미지를 기초로 산출된 손상정보와 택시 운행 후에 획득된 차량의 손상 이미지를 기초로 산출된 손상 정보에 기초하여 산출될 수 있다.
상기 관리장치(341)는 택시 운행 전에 획득한 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나를 저장하고, 택시 운행 후에 이를 불러와 택시 운행 후에 획득한 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나와 비교하여 추가 손상 정보를 산출할 수 있다.
상기 관리장치(341)는 택시 운행 전에 획득한 차량의 비-이미지 데이터와 상기 손상 이미지 및 손상 정보를 연동하여 저장할 수 있다. 예를 들어, 관리장치(341)는 택시 운행 전에 획득한 차량의 손상 이미지 및 손상 정보를 상기 차량의 차량번호와 연동하여 저장할 수 있다.
상기 관리장치(341)는 해당 차량이 택시 운행을 마친 경우 인식된 차량번호에 기초하여 해당 차량의 차량번호와 연동된 손상 이미지 및 손상 정보를 로드하고, 이를 택시 운행 후 획득한 손상 이미지 및 손상 정보와 비교하여 추가 손상 정보를 산출할 수 있다.
3.2.3 차량 정보 관리
온-사이트 차량 관리 프로세스는 차량 정보를 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 전술한 부품 정보, 손상 정보, 차량 종류 정보 및/또는 식별 정보를 관리하는 것을 포함할 수 있다.
또한, 차량 정보를 관리하는 것은 차량 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 차량 정보를 분류하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 하나 이상의 정보를 연관하여 관리하는 것을 포함할 수 있다.
이하에서는 차량 정보의 관리에 대하여 몇몇 실시예를 들어 설명한다.
3.2.3.1 이력 관리
차량 정보를 관리하는 것은 차량 정보를 이력 관리하는 것을 포함할 수 있다. 차량 정보를 이력 관리하는 것은 서로 다른 시점에 획득된 하나 이상의 차량 정보를 시계열적으로 나열 및/또는 관리하는 것을 의미할 수 있다.
일 실시예에 따르면, 온-사이트 차량 관리 프로세스에서 차량 정보를 관리한다는 것은, 특정 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
예시적으로, 주차 관리 프로세스에서 차량 정보를 관리한다는 것은, 주차 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 주차 관리 프로세스에서 차량 정보를 관리한다는 것은 제1 주차 차량이 주차 구역으로 입차 시에 제1 주차 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 주차 차량이 주차 구역 밖으로 출차 시에 제1 주차 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
다른 예로, 택시 차량 관리 프로세스에서 차량 정보를 관리한다는 것은, 택시 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 택시 차량 관리 프로세스에서 차량 정보를 관리한다는 것은 제1 택시가 운행 전 제1 택시에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 택시가 운행 후 제1 택시에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보와 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
3.2.3.2 손상 이력 관리 실시예 1 - 운전자 별 관리
온-사이트 차량 관리 프로세스에서 손상 정보의 이력을 관리할 수 있다. 손상 정보의 이력 관리는 새롭게 발생한 신규 손상에 대한 신규 손상 정보를 획득하는 것을 포함할 수 있다. 손상 정보의 이력 관리는 동일한 차량을 다양한 시점에 촬영하여 획득된 복수의 이미지에 기초하여, 신규 손상 정보를 획득하는 것을 포함할 수 있다.
손상 정보 이력은 운전자 정보를 고려하여 운전자 별로 관리될 수 있다.
일 실시예에 따르면, 관리장치(341)는 운전자 정보를 고려하여 택시 차량의 손상 정보 이력을 운전자 별로 관리할 수 있다. 관리장치(341)는 택시 차량의 손상 정보 이력을 운전자 별로 관리함으로써, 택시 차량에 손상이 발생하는 경우 책임 소재를 명확하게 할 수 있고, 택시 차량에 현재 또는 과거에 발생한 손상이 어느 운전자에 의해 발생한 것인지 파악하기가 용이하며, 그에 따른 택시 차량 관리 비용을 절감할 수 있는 효과를 제공할 수 있다. 또한, 관리장치(341)는 택시 차량의 손상 정보 이력을 운전자 별로 관리함으로써, 해당 운전자에 대한 평가 예컨대, 안전 운행 점수 등을 수행할 수 있고, 해당 운전자에 대한 상벌 예컨대, 일정 횟수 이상 사고 발생 시 벌금 부여 또는 일정 기간 무사고 시 상금 부여 등을 수행하여 회사 내 운전자들에 대한 관리가 용이하게 이루어지게 할 수 있는 효과를 제공할 수 있다.
예시적으로, 관리장치(341)가 운전자 정보를 고려하여 택시 차량의 손상 정보 이력을 운전자별로 관리한다는 것은, 제1 택시 운전자의 운행 전 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시 운전자의 운행 후 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리하는 것을 포함할 수 있다.
다른 예로, 관리장치(341)가 운전자 정보를 고려하여 택시 차량의 손상 정보 이력을 관리한다는 것은, 제1 택시 운전자가 제1 택시를 운행하기 전 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시 운전자가 제1 택시를 운행한 후 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 비교하여 얻은 제1 사용자의 제1 손상 이력과, 제1 택시 운전자가 제2 택시를 운행하기 전 산출된 제3 손상 이미지에 기초하여 획득된 제3 손상 정보 및 제1 택시 운전자가 제2 택시를 운행한 후 산출된 제4 손상 이미지에 기초하여 획득된 제4 손상 정보를 비교하여 얻은 제1 사용자의 제2 손상 이력을 시간을 고려하여 관리하는 것을 포함할 수 있다.
3.2.3.3 손상 이력 관리 실시예 2 - 차량 별 관리
손상 정보 이력은 차량 별로 관리될 수 있다.
일 실시예에 따르면, 관리장치(341)는 택시 차량의 손상 정보 이력을 차량 별로 관리할 수 있다. 관리장치(341)가 택시 차량의 손상 정보 이력을 차량 별로 관리함으로써, 택시 차량에 과거부터 현재까지 발생한 손상 정보를 시계열적으로 용이하게 파악할 수 있는 효과를 제공할 수 있다. 또한, 관리장치(341)가 택시 차량의 손상 정보 이력을 차량 별로 관리함으로써, 택시 차량의 수리 및 점검 일정을 차량의 상태에 따라 차량 별로 맞춤 일정으로 계획할 수 있게 하여 효율적인 차량 관리가 이루어질 수 있게 하는 효과를 제공할 수 있다.
예시적으로, 관리장치(341)가 택시 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 택시의 운행 전 촬영된 제1 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시의 운행 후 촬영된 제2 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리한다는 것을 포함할 수 있다.
다른 예로, 관치장치가 택시 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 택시가 제1 택시 운전자에 의해 운행되기 전 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시가 제1 택시 운전자에 의해 운행된 후 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 비교하여 얻은 제1 택시의 제1 손상 이력과, 제1 택시가 제2 택시 운전자에 의해 운행되기 전 산출된 제3 손상 이미지에 기초하여 획득된 제3 손상 정보 및 제1 택시가 제2 택시 운전자에 의해 운행된 후 산출된 제4 손상 이미지에 기초하여 획득된 제4 손상 정보를 비교하여 얻은 제1 택시의 제2 손상 이력을 시간을 고려하여 관리하는 것을 포함할 수 있다.
다른 실시예에 따르면, 관리장치(341)는 주차 차량의 손상 정보 이력을 차량 별로 관리할 수 있다.
예시적으로, 관리장치(341)가 주차 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 주차 차량의 입차 시 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 주차 차량의 출차 시 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리한다는 것을 포함할 수 있다.
3.2.3.4 차량 정보 관리 실시예
일 실시예에 따르면, 차량 이미지에 기초하여 차량 외부의 손상과 관련된 정보를 획득하는 차량 손상 관리 장치가 제공될 수 있다.
차량 손상 관리 장치는, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 이미지 획득부 및 적어도 하나의 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 처리부를 포함할 수 있다.
적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함할 수 있다. 대상 차량의 일면은 차량의 전면 또는 후면일 수 있다. 적어도 하나의 대상 차량 이미지는 차량의 전면, 후면, 좌측면, 우측면, 좌전방면, 좌후방면, 우전방면, 우후방면 및 상면 중 적어도 하나를 나타내는 차량 이미지를 포함할 수 있다.
상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함할 수 있다. 제1 영역은 상기 제2 영역보다 클 수 있다. 제1 영역은 제2 영역을 포함할 수 있다.
처리부는, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 획득되고 상기 제1 영역과 관련된 상기 손상 정보를 획득할 수 있다. 예컨대 손상 정보는 제1 대상 차량 이미지에 포함된 차량 대상 차량에 손상이 존재하는지 여부, 손상의 위치, 정도, 크기, 종류, 영역 등을 나타낼 수 있다.
차량 손상 관리 장치는, 상기 손상 정보를 출력하는 출력부를 더 포함할 수 있다. 상기 출력부는 상기 대상 차량의 상기 손상 정보를 출력할 수 있다. 출력부는 이미지, 영상, 음성 등의 수단을 통하여 손상 정보를 출력할 수 있다. 출력부는 통신 수단을 통하여 외부 장치로 손상 정보를 출력할 수도 있다.
상기 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함할 수 있다. 출력부는 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력할 수 있다.
차량 손상 관리 장치는, 사용자 입력을 획득하는 입력부를 더 포함할 수 있다. 처리부는, 상기 손상 정보의 출력에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득할 수 있다.
처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득할 수 있다. 처리부는, 차량의 번호판 또는 VIN에 대응되는 영역에 기초해서 결정되는 대상 차량의 차량 번호 또는 VIN을 획득할 수 있다.
상기 처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하고, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하고,
상기 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함할 수 있다. 기존 손상 정보는 제1 대상 차량 이미지가 촬영된 시점 이전에 촬영된 제2 대상 차량 이미지에 기초하여 획득된 손상 정보로서 제1 대상 차량 이미지를 통하여 판단하고자 하는 신규 손상 정보가 아닌 손상 정보를 의미할 수 있다.
처리부는 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득할 수 있다.
상기 손상 정보는, 상기 제1 대상 차량 이미지에 포함되는 상기 제2 영역과 관련된 제1 손상 정보 및 상기 제1 영역에 기초하여 획득되는 상기 대상 차량의 식별 정보와 연관하여 미리 저장된 제2 손상 정보에 기초하여 생성될 수 있다.
적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함할 수 있다. 여기서의 제2 대상 차량 이미지는 대상 차량의 식별 정보를 포함하지 아니하는 영역을 촬영하여 획득된 이미지일 수 있다. 예컨대, 제1 대상 차량 이미지가 차량의 번호판을 포함하는 영역을 촬영하여 획득된 전면 또는 후면 이미지인 경우, 제2 대상 차량 이미지는 차량의 측면을 촬영하여 획득된 이미지일 수 있다.
제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함할 수 있다. 처리부는 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득할 수 있다.
처리부는, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득할 수 있다.
처리부는, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득할 수 있다.
처리부는 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하고, 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득할 수 있다.
처리부는, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득할 수 있다. 신경망 모델은 손상 영역 또는 손상 정보가 라벨링된 차량 이미지를 포함하는 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 학습될 수 있다. 손상 정보는 상기 제1 영역 중 상기 차량 외부의 손상과 대응되는 영역을 나타내는 영역 정보를 포함할 수 있다.
다른 일 실시예에 따르면, 차량 이미지를 획득하는 이미지 획득부 및 손상 정보를 획득하는 처리부를 포함하는 장치를 이용한 차량 손상 관리 방법이 제공될 수 있다.
도 31은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다. 도 31을 참조하면, 차량 손상 관리 방법은 대상 차량 이미지를 획득하는 단계(S3110), 대상 차량의 차종 정보를 획득하는 단계(S3130), 대상 차량 이미지 및 차종 정보에 기초하여 손상 정보를 획득하는 단계(S3150)를 포함할 수 있다.
차량 손상 관리 방법은, 이미지 획득부를 통하여, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 단계(S3110)를 포함할 수 있다. 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함하고, 상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보를 획득하는 단계(S3130)를 포함할 수 있다.
처리부를 통하여, 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 단계(S3150)를 포함할 수 있다.
차량 손상 관리 방법은, 손상 정보를 출력하는 단계; 를 더 포함할 수도 있다. 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함하고, 손상 정보를 출력하는 것은 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력하는 것을 더 포함할 수 있다.
일 실시예에 따르면, 식별 정보를 획득하고 이에 기초하여 차량의 손상 이력 및/또는 신규 손상 정보를 획득하는 차량 손상 관리 방법이 제공될 수 있다. 도 32는 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다. 도 32를 참조하면, 차량 손상 관리 방법은, 대상 차량의 식별 정보를 획득하는 단계(S3171), 대상 차량의 손상 이력을 획득하는 단계(S3173) 및/또는 신규 손상 정보를 획득하는 단계(S3175)를 더 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하는 단계(S3171)를 더 포함할 수 있다.
차량 손상 관리 방법은, 상기 처리부를 통하여, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하는 단계(S3173)를 더 포함할 수 있다. 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함할 수 있다.
차량 손상 관리 방법은, 상기 처리부를 통하여, 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득하는 단계(S3175)를 더 포함할 수 있다.
손상 정보는 상기 제1 영역에 포함되고 상기 대상 차량의 손상에 대응되는 손상 영역정보를 포함할 수 있다.
적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함하고, 상기 제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함할 수 있다.
상기 손상 정보를 획득하는 단계는, 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득하는 것을 더 포함할 수 있다.
일 실시예에 따르면, 부품 정보를 획득하고 이에 기초하여 손상과 대응되는 부품 영역 정보를 획득하는 차량 손상 관리 방법이 제공될 수 있다. 차량 손상 관리 방법은, 대상 차량의 부품 정보를 획득하는 단계(S3191), 손상과 대응되는 부품 영역 정보를 획득하는 단계(S3193)를 더 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득하는 단계(S3191)를 더 포함할 수 있다.
차량 손상 관리 방법은, 상기 처리부를 통하여, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득하는 단계(S3193)를 더 포함할 수 있다. 손상과 대응되는 부품 영역 정보를 획득하는 것은, 손상 영역이 위치하는 부품의 명칭, 식별 부호, 개수 등을 획득하는 것을 포함할 수 있다. 손상과 대응되는 부품 영역 정보를 획득하는 것은, 본 명세서에 설명하는 부품-손상 정보를 획득하는 것을 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하는 단계를 더 포함할 수 있다. 차종 정보를 획득하는 단계는 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득하는 것을 더 포함할 수 있다.
상기 손상 정보를 획득하는 단계는 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하는 것을 더 포함할 수 있다.
차량 손상 관리 방법은, 사용자 입력을 획득하는 입력부를 더 포함할 수 있다. 이때, 차량 손상 관리 방법은, 상기 처리부가, 상기 손상 정보를 출력하는 것에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득하는 단계를 더 포함할 수 있다.
전술한 차랑 손상 관리 방법은, 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체로 제공될 수 있다.
3.2.4 차량 정보 출력
3.2.4.1 출력되는 정보
온-사이트 차량 관리 시스템은 관리장치(341)의 디스플레이를 통해 차량 정보 및 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 또한, 상기 관리장치(341)는 상기 관리장치(341)와 연결된 전자기기를 통해 차량 정보 및 보조 정보를 출력할 수 있다.
상기 관리장치(341)는 부품 정보, 손상 정보, 차량 종류 정보, 식별 정보 등의 차량 정보를 출력할 수 있다. 차량 관리 시스템은 사용자 정보 및/또는 위치 정보를 함께 출력할 수 있다.
상기 관리장치(341)는 차량 이미지 및 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 차량 관리 시스템은 복수의 차량 이미지 및 각 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 복수의 차량 이미지는 차량에 대하여 다양한 각도에서 촬영된 이미지일 수 있다.
이하에서는, 도 44 내지 도 47을 참조하여 주차 관리 시스템 및 택시 차량 관리 시스템의 차량 정보 출력 화면을 설명하도록 한다.
3.2.4.2 차량 정보 출력 실시예 1 - 주차 관제 회사
도 44 내지 도 48은 일 실시예에 따른 관리장치(341)에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
일 실시예에 따르면, 관리장치(341)는 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 관리장치(341)는 관리자의 정보 통신 기기에 차량 정보 및/또는 보조 정보를 출력할 수 있다. 도면에는 도시되지 않았지만, 상술한 차량 정보 및/또는 보조 정보는 차량 운전자의 정보 통신 기기에 출력될 수 있다.
관리장치(341)는 주차 차량에 신규 손상 정보가 검출된 경우, 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 관리장치(341)는 운전자가 주차 차량에 주차 중 손상이 발생되었다고 주장하는 경우, 상기 관리장치(341)의 사용자 인터페이스에 의한 입력에 기초하여 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 관리장치(341)는 주차 차량 관리를 위해 신규 손상 정보가 검출되지 않거나 운전자가 주차 중 손상 발생을 주장하지 않는 경우에도, 차량 정보 및/또는 보조 정보를 출력할 수 있다.
또한 상기 관리장치(341)는 출차하는 차량의 신규 손상 정보가 검출되는 경우 차단기(PB)를 개방하지 않은 상태에서 차량 운전자에 추가 손상이 발생하였음을 출력할 수 있다. 이 경우 관리장치(341)는 차량 운전자의 정보통신기기에 추가 손상이 발생하였음이 출력되도록 할 수 있고, 차량 운전자가 추가 손상에 대한 컨펌을 진행하는 경우 상기 관리장치(341)는 차단기(PB)를 개방할 수도 있다.
또는, 상기 관리장치(341)는 출차하는 차량의 신규 손상 정보가 검출되는 경우 차단기(PB)를 개방한 후에 추가손상이 발생하였음을 상기 차량 운전자의 정보통신기기에 전달할 수 있다.
도 44는 관리장치(341)의 출력 화면 중 손상 정보를 출력하는 화면을 설명하기 위한 도면이다.
일 실시예에 따른 출력 화면은 차량 이미지 표시부(CI), 차량 이미지의 촬영 방향을 나타내는 방향 지시자(DI), 차량과 관련된 비-이미지 정보 표시부(IF), 차량의 손상 정보를 나타내는 손상 정보 테이블(DT)을 포함할 수 있다.
일 실시예에 따른 차량 이미지 표시부(CI)는 노이즈가 제거된 이미지를 표시할 수 있다. 차량 이미지 표시부(CI)는 주차 구역에서 출차 시 촬영된 차량 이미지를 표시할 수 있다. 차량 이미지 표시부(CI)는 주차 구역에서 출차 시 촬영된 차량의 손상 영역 정보가 포함된 차량 이미지를 표시할 수 있다. 손상 영역 정보는 기존 손상 영역(ED) 및 신규 손상 영역(ND)을 포함할 수 있다. 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 달리 표시될 수 있다. 또한, 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 다른 색상 또는 서로 다른 형태의 바운딩 박스로 표시될 수 있다.
또한, 차량 이미지 표시부(CI)에 표시되는 차량 이미지는 사용자에 의해 확대 또는 축소가 가능한 형태로 출력될 수 있다.
일 실시예에 따른 방향 지시자(DI)는 표시되고 있는 차량 이미지의 촬영 방향을 나타낼 수 있다. 또한, 방향 지시자(DI)는 차량의 좌측 방향을 지시하고, 차량 이미지 표시부(CI)는 차량의 좌측에서 촬영된 차량 이미지를 표시할 수 있다. 방향 지시자(DI)에 의해 지시되는 복수의 방향 각각에 대하여 서로 다른 방향에서 촬영된 차량 이미지가 대응될 수 있다. 방향 지시자(DI)의 방향을 선택하는 사용자 입력에 응답하여 대응되는 차량 이미지가 표시될 수 있다.
일 실시예에 따른 비-이미지 정보 표시부(IF)는 차량과 관련된 비-이미지 정보를 표시할 수 있다. 도 44를 참조하면, 비-이미지 정보 표시부(IF)는 차량 이미지가 촬영된 시점, 차량의 번호, 차량의 모델 등을 표시할 수 있다. 예시적으로, 차량 이미지가 촬영된 시점은 주차 구역으로 입차한 시간 및 주차 구역에서 출차한 시간을 의미할 수 있다. 또한, 비-이미지 정보 표시부(IF)는 차량 번호 및 차량 모델명을 표시할 수 있다.
일 실시예에 따른 손상 정보 테이블(DT)은 차량 이미지에 대응되는 부품 별로 손상의 수를 나타낼 수 있다. 이미지에 대응되는 부품은 현재 표시되고 있는 차량 이미지의 방향에 대응되는 부품을 의미할 수 있다. 예컨대, 도 44에서는 차량의 좌측을 촬영한 이미지가 표시되고 있으므로, 손상 정보 테이블(DT)은 차량의 좌측에 위치된 부품에 대한 부품 별 손상의 수를 나타낼 수 있다. 부품 별 손상의 수는 부품별 기존 손상의 수 및 신규 손상의 수(+로 구분됨)를 포함할 수 있다. 도 44를 참조하면, 손상 정보 테이블(DT)은 좌전방 도어, 좌측 도어 핸들, 좌후방 휀더에 기존 손상이 존재하며, 좌전방 도어 및 좌후방 휀더에 신규 손상이 존재함을 나타낼 수 있다.
한편, 손상 정보 테이블(DT)은 손상 정보 표시부의 일 실시예일 뿐이며, 기존 손상 또는 신규 손상에 대한 정보는 다른 형태로 표시될 수도 있다.
도 45는 관리장치(341)의 출력 화면 중 손상 정보에 대한 사용자 또는 관리자의 동의 여부를 선택할 수 있는 화면을 설명하기 위한 도면이고, 도 46은 관리장치(341)의 출력 화면 중 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 45의 (a)를 참조하면, 일 실시예에 따른 관리장치(341)의 출력 화면 중 손상 정보를 출력하는 화면은 상세 확인 버튼(CO)을 포함할 수 있다. 사용자 또는 관리자는 신규 손상 영역(ND)에 관한 정보에 동의하지 않거나, 동의하더라도 보다 구체적인 정보를 얻고 싶은 경우 차량 이미지 표시부(CI)에 포함되어 있는 상세 확인 버튼(CO)을 클릭할 수 있다.
사용자 또는 관리자가 상세 확인 버튼(CO)을 클릭하는 경우, 관리장치(341)의 출력 화면은 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지를 표시할 수 있다. 이때, 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지는 서로 대응되는 방향에서 촬영된 차량 이미지일 수 있다. 다른 예로, 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지는 적어도 하나 이상의 차량의 주요 부위를 포함하되, 상기 차량의 주요 부위는 적어도 하나 이상 공통될 수 있다.
또는, 상기 관리장치(341)의 출력 화면은 입차시 도출된 유효 이미지 데이터에 입사치 손상 정보가 매핑된 이미지를 표시할 수 있다. 또한, 상기 관리장치(341)의 출력 화면은 출차시 도출된 유효 이미지 데이터에 출차시 손상 정보가 매핑된 이미지를 표시할 수 있다.
입차 시 산출된 손상 이미지에는 기존 손상 영역(ED)이 포함될 수 있고, 출차 시 산출된 손상 이미지에는 신규 손상 영역(ND)이 포함될 수 있다. 즉, 사용자 또는 관리자가 상세 확인 버튼을 클릭하는 경우, 사용자 또는 관리자는 입차 시 촬영된 차량 이미지와 출차 시 산출된 손상 이미지를 비교하여 신규 손상에 관한 보다 구체적인 정보를 획득할 수 있다.
도 45의 (b)를 참조하면, 다른 실시예에 따른 관리장치(341)의 출력 화면 중 손상 정보를 출력하는 화면은 신규 손상 정보에 대해 동의 여부를 선택할 수 있는 선택창(CO)을 포함할 수 있다. 사용자 또는 관리자는 신규 손상 영역(ND)에 관한 정보에 동의하는 경우 'Confirm' 버튼을 클릭할 수 있고, 동의하지 않는 경우 'Objection'버튼을 클릭할 수 있다.
도 46를 참조하면, 사용자 또는 관리자가 'Objection'버튼을 클릭하는 경우, 관리장치(341)의 출력 화면은 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지를 표시할 수 있다.
도 47은 관리장치(341)의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 47을 참조하면, 일 실시예에 따른 손상 이력에 관한 정보를 포함하는 출력 화면은 차량 이미지 표시부(CI), 차량과 관련된 비-이미지 정보 표시부(IF) 및 손상 이력 표시부(DH)를 포함할 수 있다.
차량 이미지 표시부(CI) 및 비-이미지 정보 표시부(IF)에 관한 내용은 상술한 바 있으므로 자세한 설명은 생략한다.
손상 이력 표시부(DH)는 과거부터 현재까지 해당 차량에 발생한 손상 정보를 표시할 수 있다. 또한, 손상 이력 표시부(DH)는 과거부터 현재까지 해당 차량에 발생한 손상에 대해 손상 발생 날짜, 손상 발생 시간, 손상 개수, 손상 위치 등을 포함하는 정보를 표시할 수 있다.
3.2.4.3 차량 정보 출력 실시예 2 - 택시 회사
택시 차량 관리 시스템의 관리장치(341)의 디스플레이에 출력되는 정보는 3.2.4.2에서 서술한 주차 관리 시스템에서 출력하는 정보와 대응된다. 따라서, 주차관리 시스템에서 설명했던 내용과 중복되는 설명은 생략한다.
일 실시예에 따르면, 택시 차량 관리 시스템의 관리장치(341)는 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 상기 관리장치(341)는 관리자의 정보 통신 기기에 차량 정보 및/또는 보조 정보를 출력할 수 있다. 도면에는 도시되지 않았지만, 상술한 차량 정보 및/또는 보조 정보는 택시 운전자의 정보 통신 기기에 출력될 수 있다.
도 48은 관리장치(341)의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 48을 참조하면, 택시에 발생한 손상 이력을 운전자 별로 분류하여 출력하는 화면은 운전자와 관련된 비-이미지 정보 표시부(IF), 손상 이력 표시부(DH) 및 차량 이미지 표시부(CI)를 포함할 수 있다.
일 실시예에 따른 비-이미지 정보 표시부(IF)는 운전자에 관한 정보 예컨대, 운전자 이름, 운전자의 면허 정보, 운전자의 주소 등에 관한 정보를 표시할 수 있다. 또한, 비-이미지 정보 표시부(IF)는 해당 운전자가 주행한 총 주행 거리, 총 주행 시간, 총 사고 횟수, 총 수리/교체 횟수, 총 수리/교체 비용 등에 관한 정보를 표시할 수 있다.
일 실시예에 따른 손상 이력 표시부(DH)는 과거부터 현재까지 해당 운전자에 의해 발생한 손상 정보를 표시할 수 있다. 또한, 손상 이력 표시부(DH)는 과거부터 현재까지 해당 운전자에 의해 발생한 손상에 대해 손상 발생 차량 번호, 손상 발생 날짜, 손상 개수, 손상 위치 등에 관한 정보를 표시할 수 있다.
일 실시예에 따른 차량 이미지 표시부(CI)는 운전자 또는 관리자가 해당 운전자의 손상 이력 중 어느 하나를 선택하는 경우 운전자 또는 관리자가 선택한 손상 정보에 관한 상세 내용을 표시할 수 있다. 이때, 상기 운전자 또는 관리자가 선택한 손상 정보에 관한 상세 내용은 사고 발생 차량의 보험 번호, 부품 교체/수리 여부, 부품 교체/수리 가격 등에 관한 정보를 포함할 수 있다.
또한, 손상 이력 정보 출력 화면은 택시에 발생한 손상 이력을 차량 별로 분류하여 출력할 수도 있다. 상기 관리장치(341)는 해당 택시에서 발생한 손상 영역 별로 손상이 발생하였을 때의 운전자를 연계하여 표시할 수 있다.
4. 모바일 베이스 차량 관리 시스템
4.1 모바일 시스템
일 실시예에 따르면, 모바일에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 시스템이 제공될 수 있다.
도 49는 모바일 베이스 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 49를 참조하면, 일 실시예에 따른 모바일 베이스 차량 관리 시스템은 단말기(490) 및 서버(499)를 포함할 수 있다.
단말기(490)는 서버(499)와 연결될 수 있다. 상기 단말기(490)가 서버(499)와 연결되는 경우 상기 단말기(490)는 서버(499)와 데이터를 교환할 수 있다. 이 경우 서버(499)는 다수의 단말기(490)와 연결되어, 다수의 단말기(490)로부터의 데이터를 수신하여 처리할 수 있다.
단말기(490)는 적어도 하나 이상의 카메라 모듈(491), 제어부(492), 저장부(493), 통신부(494), 입력부(495) 및 출력부(496)를 포함할 수 있다.
카메라 모듈(491)은 차량의 외관을 촬영할 수 있다. 카메라 모듈(491)은 공유 차량의 이용 전과 후에 차량의 외관을 촬영할 수 있다.
저장부(493)는 상기 카메라 모듈(491)에 의해 촬영된 촬영 데이터를 저장할 수 있다. 또한, 저장부(493)는 비-이미지 데이터를 저장할 수 있다.
통신부(494)는 데이터를 송/수신하는 구성이다. 단말기(490)와 서버(499)는 상기 통신부(494)를 통해 서로 연결되어 데이터를 교환할 수 있다.
입력부(495)는 이용자 또는 관리자로부터 데이터를 입력 받는 구성이다. 상기 데이터는 차량에 관한 정보, 이용자 정보 등을 포함할 수 있다.
출력부(496)는 이용자 또는 관리자에게 차량에 관한 정보를 출력하는 구성으로, 디스플레이 등의 모듈을 지칭할 수 있다.
제어부(492)는 저장부(493), 통신부(494), 입력부(495) 및 출력부(496)를 제어할 수 있다. 제어부(492)는 카메라 모듈(491)에 의해 촬영된 촬영 데이터가 저장부(493)에 저장될 수 있도록 제어하며, 다양한 실시예의 형태로서 통신부(494)에서 데이터가 송수신되도록 제어하고, 입력부(495)를 통해 차량에 관한 정보 및 이용자 정보 등을 입력 받도록 제어하고, 출력부(496)를 통해 이용자 또는 관리자에게 차량에 관한 정보를 출력하도록 제어할 수 있다.
4.2 모바일 베이스 차량 관리 프로세스
일 실시예에 따르면, 모바일에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 프로세스가 제공될 수 있다. 모바일 베이스 차량 관리 프로세스는 전술한 모바일 베이스 차량 관리 시스템에 의해 수행될 수 있다.
도 50은 모바일 베이스 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 50을 참조하면, 모바일 베이스 차량 관리 프로세스는 모바일에서 촬영된 차량 데이터를 획득하는 단계(S510), 획득된 차량 데이터에 기초하여 차량 정보를 획득하는 단계(S530), 차량 정보를 관리하는 단계(S550) 및 차량 정보를 출력하는 단계(S570)를 포함할 수 있다. 이하에서는 각 단계에 대하여 보다 구체적으로 설명한다.
4.2.1 모바일 차량 데이터 획득
모바일 베이스 차량 관리 프로세스는 차량 관리에 필요한 차량 데이터를 획득하는 단계(S510)를 포함할 수 있다. 차량 데이터는 다양한 형태로 마련될 수 있다. 예컨대, 차량 데이터는 이미지 데이터 또는 비-이미지 데이터일 수 있다. 차량 데이터는 장치에 미리 저장되거나 외부로부터 획득될 수 있다.
차량 데이터 및 차량 데이터의 획득에 대하여는 이하에서 구체적인 예시를 들어 보다 상세히 설명한다.
4.2.1.1 이미지 데이터 획득
일 실시예에 따른 이미지 데이터 획득은 복수의 이미지를 포함하는 영상 데이터를 획득하고, 획득한 복수의 이미지 중 유효 이미지 데이터를 추출하는 것을 포함할 수 있다. 상기 영상 데이터 및 유효 이미지 데이터는 3.2.1.1에서 서술한 영상 데이터 및 유효 이미지 데이터와 각각 서로 대응되는 구성이며, 그에 관한 내용은 상술한 바 있으므로 중복되는 내용은 생략하도록 한다.
도 51은 일 실시예에 따른 영상 데이터에 포함되어 있는 차량 손상 정보가 충분하지 않은 경우 재 촬영 요청을 설명하기 위한 도면이다.
모바일 베이스 차량 관리 프로세스는 영상 데이터에 손상 개수, 손상 종류, 손상 정도에 관한 정보 및 손상이 발생한 위치, 손상이 발생한 부품 정보 등이 모두 포함되어 있어야 정상적으로 작동할 수 있다. 따라서, 영상 데이터에 상기 차량 손상에 관한 정보가 충분히 표현되어 있지 않은 경우 단말기(490)는 이용자 또는 관리자에게 재 촬영할 것을 요청할 수 있다.
즉, 단말기(490)에 의해 촬영된 영상 데이터는 서버(499)로 전송되고, 서버(499)가 전달받은 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있는지 여부를 판단하고, 그 결과를 상기 단말기(490)에 전송할 수 있다. 상기 단말기(490)는 출력부(496)를 통해 판단 결과를 이용자에게 표시할 수 있다. 상기 단말기(490)는 촬영된 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있는 경우에는 적합한 촬영임을 이용자에게 알릴 수 있고, 촬영된 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있지 않은 경우에는 이용자에게 재촬영이 필요함을 알릴 수 있다.
또는 상기 단말기(490)는 촬영된 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있는지 여부를 판단할 수도 있다.
도 51의 (a)를 참조하면, 카메라 모듈(491)에 의해 촬영된 영상 데이터(MBB1)에 손상 개수, 손상 종류, 손상 정도 등에 관한 정보가 명확히 포함되어 있지 않다. 또한, 도 51의 (b)를 참조하면, 손상 부위를 확대 촬영한 결과 카메라 모듈(491)에 의해 촬영된 영상 데이터(MBB2)에 차량 외관 중 손상이 발생한 위치, 손상이 발생한 부품 정보 등에 관한 정보가 명확히 포함되어 있지 않다.
이 경우, 단말기(490)의 제어부(492)는 출력부(496)를 통해 이용자 또는 관리자에게 도 51의 (c)에 도시된 바와 같이 영상 데이터(MBB3)에 손상 개수, 손상 종류, 손상 정도에 관한 정보 및 손상이 발생한 위치, 손상이 발생한 부품 정보 등이 모두 포함될 수 있도록 재 촬영을 요청하는 메시지를 표시할 수 있다.
또는 상기 단말기(490)의 제어부(492)는 저장부(493)에 저장된 기존 손상부위에 대한 촬영이 진행되지 않은 경우 기존 손상부위에 대한 재촬영을 요청하는 메시지를 표시할 수도 있다.
한편, 영상 데이터는 카메라 모듈(491)이 복수의 특정 시점 사이에 촬영한 데이터를 의미할 수 있다. 이때, 상기 복수의 특정 시점은 서로 다른 시점을 의미할 수 있다. 이하에서는 도면을 참조하여 상기 복수의 특정 시점을 구체적인 예시를 들어 보다 상세히 설명한다.
도 52는 일 실시예에 따른 영상 데이터가 특정 시점에서 카메라 모듈(491)에 의해 촬영되는 것을 설명하기 위한 도면이다.
영상 데이터는 복수의 이미지를 포함할 수 있다. 영상 데이터는 제1 이미지 및 제2 이미지를 포함할 수 있다. 상기 제1 이미지는 촬영되는 차량의 특정 지점으로부터 제1 거리(D1)를 가지는 제1 지점에 위치한 단말기(490)에 의해 촬영된 이미지이다. 상기 제2 이미지는 상기 차량의 상기 특정 지점으로부터 제2 거리(D2)를 가지는 제2 지점에 위치한 단말기(490)에 의해 촬영된 이미지이다. 이때, 상기 제1 거리(D1)와 제2 거리(D2)는 상이할 수 있다.
예를 들어, 상기 영상 데이터는 이용자의 조작에 의해 촬영된 이미지일 수 있다. 상기 제1 이미지 및 제2 이미지는 이용자의 조작에 의해 촬영된 이미지일 수 있다. 즉, 이용자의 상기 단말기(490)에 대한 제1 조작에 의해 제1 이미지가 촬영되고, 제2 조작에 의해 제2 이미지가 촬영될 수 있다.
또는, 상기 단말기(490)는 이용자의 조작에 의해 촬영된 영상 데이터 중 일부를 추출할 수 있다. 즉, 상기 단말기(490)는 이용자의 조작에 의해 동영상 형태로 촬영되고, 상기 단말기(490)는 상기 영상 데이터 중 주요 부위가 촬영된 영상 데이터를 제1 이미지와 제2 이미지로 추출할 수 있다. 또는 상기 서버(499)가 영상 데이터를 전송받고, 상기 서버(499)는 상기 영상 데이터 중 주요 부위가 촬영된 영상 데이터를 제1 이미지와 제2 이미지로 추출할 수 있다.
영상 데이터가 카메라 모듈(491)에 의해 제1 거리(D1)와 상기 제1 거리(D1)와 상이한 제2 거리(D2)를 가지는 지점에서 획득되는 경우, 상기 영상 데이터에는 차량 손상 정보 외에도 해당 손상 정보 이외의 다양한 정보가 포함될 수 있다. 이에 따라, 단말기(490)는 영상 데이터로부터 노이즈가 제거된 즉, 차량 손상에 관한 보다 정확한 정보가 포함되어 있는 유효 이미지 데이터를 검출할 수 있다.
또한, 상기 제1 이미지는 차량 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역에는 적어도 하나 이상의 차량 주요 부위가 포함되어 있는 이미지이다. 상기 제2 이미지는 차량 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역에는 적어도 하나 이상의 차량 주요 부위가 포함되어 있는 이미지이다. 이때, 단말기(490)에 의해 촬영된 차량 주요 부위 중 적어도 일부는 제1 영역 및 제2 영역에 공통적으로 포함될 수 있다.
도 53은 카메라 모듈(491)로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 제공되는 촬영 가이드를 설명하기 위한 도면이다.
도 53의 (a)를 참조하면, 단말기(490)는 이용자 또는 관리자가 카메라 모듈(491)로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 출력부(496)를 통해 촬영 가이드를 표시할 수 있다. 상기 대상 차량의 정보는 차량 이용자가 입력한 정보, 차량 이용자의 예약 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다. 예시적으로, 차량 이용자가 차량 이용 전 특정 차종을 예약하는 경우, 단말기(490)는 이용자의 예약 정보에 기초하여 해당 차종에 관한 촬영 가이드를 출력부(496)를 통해 이용자 또는 관리자에게 제공할 수 있다. 다른 예로, 차량 이용자가 차량 이용을 위해 카메라 모듈(491)로 차량을 촬영하는 경우, 단말기(490)는 차량 정보를 획득하도록 학습된 신경망 모델을 통해 해당 차종에 관한 정보를 획득 후 해당 차종에 관한 촬영 가이드를 출력부(496)를 통해 이용자 또는 관리자에게 제공할 수 있다. 한편, 도 53의 (a)에 도시된 촬영 가이드는 예시적인 것으로 일 실시예의 촬영 가이드는 기 알려진 다양한 촬영 가이드의 형태를 포함할 수 있다.
도 53의 (b) 및 (c)를 참조하면, 상술한 촬영 가이드에 기초하여 이용자가 차량을 촬영할 때 촬영 가이드 내에 해당 차량이 일정 비율 이상 적합하게 위치할 경우, 단말기(490)의 제어부(492)는 촬영 버튼을 활성화하여 이용자의 차량 촬영 및 저장이 가능하도록 할 수 있다.
또한, 상술한 촬영 가이드에 기초하여 이용자가 차량을 촬영할 때 촬영 가이드 내에 해당 차량이 일정 비율 이상 적합하게 위치할 경우, 단말기(490)의 제어부(492)는 카메라 모듈(491)이 자동적으로 차량의 외관을 촬영하도록 제어한 후, 촬영된 이미지가 단말기(490)의 저장부(493)에 저장되도록 제어할 수 있다.
한편, 도 53에는 도시되지 않았지만, 단말기(490)는 차량 전체 모습을 촬영하기 위한 촬영 가이드를 제공하는 것뿐만 아니라, 차량의 특정 부품을 촬영하기 위한 부품 별 촬영 가이드를 제공할 수 있다. 상기 부품 별 촬영 가이드는 차량 이용자가 입력한 정보, 차량 이용자의 예약 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있으며, 이에 관하여는 상술한 바 있으므로 중복되는 내용은 생략한다.
도 54는 카메라 모듈(491)로 차량을 촬영하는 경우 제공되는 촬영 맵을 설명하기 위한 도면이다.
도 54를 참조하면, 단말기(490)는 출력부(496)를 통해 이용자에게 촬영 맵을 표시할 수 있다. 단말기(490)는 이용자가 카메라 모듈(491)로 차량을 촬영하는 경우 차량 외관의 주요 부위가 모두 촬영될 수 있도록 가이드해주는 촬영 맵을 출력부(496)를 통해 이용자에게 표시할 수 있다. 보다 구체적으로, 촬영 맵은 차량 외관의 주요 부위가 모두 촬영될 수 있도록 하기 위해 다양한 방향에서 차량을 촬영할 수 있도록 유도하는 UI를 포함할 수 있다. 예시적으로, 상기 차량 외관의 주요 부위는 차량의 전면, 후면, 보조석 앞면, 보조석 뒷면, 운전석 앞면, 운전석 뒷면 등을 포함할 수 있다.
촬영 맵은 가이드부(GU)와 촬영부(CB)를 포함할 수 있다. 이하에서는 도면을 참조하여 상기 가이드부(GU)와 촬영부(CB)에 관한 구체적인 실시예에 대하여 설명한다.
단말기(490)는 이용자가 카메라 모듈(491)로 차량 외관을 촬영하는 경우 차량 외관의 주요 부위가 촬영될 수 있도록 상기 가이드부(GU)를 통해 촬영을 가이드해 줄 수 있다. 상기 가이드부(GU)는 차량 외관의 주요 부위가 모두 촬영될 수 있도록 적어도 하나 이상의 가이드를 포함할 수 있다. 단말기(490)는 서로 다른 방향에서 차량이 촬영될 수 있도록 상기 가이드부(GU)를 통해 차량 촬영을 유도할 수 있다.
예시적으로, 상기 가이드부(GU)는 차량의 전면부 촬영을 유도하는 제1 가이드, 보조석 앞면의 촬영을 유도하는 제2 가이드, 보조석 뒷면의 촬영을 유도하는 제3 가이드, 차량의 후면부 촬영을 유도하는 제4 가이드, 운전석 뒷면의 촬영을 유도하는 제5 가이드 및 운전석 앞면의 촬영을 유도하는 제6 가이드를 포함할 수 있다.
한편, 촬영부(CB)는 차량의 외관 촬영 및 촬영된 이미지를 저장하는 기능을 포함할 수 있다. 촬영부(CB)는 차량 외관의 주요 부위를 촬영할 수 있는 촬영 버튼을 포함할 수 있다. 보다 구체적으로, 촬영부(CB)는 이용자가 상술한 가이드 중 어느 하나를 선택하는 경우 해당 가이드가 촬영을 유도하고 있는 차량 외관의 촬영이 가능한 촬영 버튼을 포함할 수 있다.
예를 들어, 이용자가 상기 가이드부(GU)에서 차량의 전면부 촬영을 유도하는 제1 가이드를 선택하는 경우, 단말기(490)는 출력부(496)를 통해 차량의 전면부 촬영이 가능한 촬영 버튼이 활성화되어 있는 촬영부(CB)를 표시할 수 있다. 이때, 이용자가 상기 촬영 버튼을 클릭하여 차량의 전면부를 촬영하는 경우, 단말기(490)의 제어부(492)는 촬영된 이미지를 차량의 전면부로 분류하여 저장부(493)에 저장할 수 있다.
한편, 카메라 모듈(491)에 의해 획득된 영상 데이터는 복수의 이미지를 포함할 수 있다. 이때, 모바일 베이스 차량 관리 프로세스가 정상적으로 수행될 수 있게 하기 위하여 상기 복수의 이미지 중 유효 이미지 데이터가 추출될 수 있다.
상기 영상 데이터로부터 모바일 베이스 차량 관리 프로세스에 적합한 유효 이미지 데이터를 추출하는 단계는 도 36의 S3513 단계와 대응하므로, 중복되는 내용은 생략한다.
4.2.1.2 비-이미지 데이터 획득
일 실시예에 따르면, 이미지가 아닌 비-이미지 형태의 차량 데이터가 획득될 수 있다. 차량 데이터는 비-이미지 데이터일 수 있다. 차량 데이터는 차량과 관련된 정보를 포함하는 비-이미지 데이터일 수 있다. 상기 비-이미지 데이터에 관하여는 3.2.1.2에서 상술한 바 있으므로 중복되는 내용은 생략하도록 한다.
상기 비-이미지 데이터는 미리 저장되거나 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(491)에 의해 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(491)에 의해 촬영된 촬영 데이터에 기초하여 획득될 수 있다. 상기 관리장치(341)는 상기 영상 데이터에 기초하여 비-이미지 데이터를 획득할 수 있다.
4.2.1.3 데이터 처리
모바일 베이스 차량 관리 프로세스에서는 획득된 데이터에 대한 처리가 수행될 수 있다.
모바일 베이스 차량 관리 프로세스에서는 획득된 데이터에 대한 전처리(또는 후처리)가 수행될 수 있다. 상기 단말기(490)는 영상 데이터 중 적어도 하나 이상의 유효 이미지 데이터에 대한 전처리를 수행할 수 있다. 상기 단말기(490)는 상기 영상 데이터 중 상기 제1 이미지와 제2 이미지를 기초로 전처리를 수행할 수 있다.
상기 단말기(490)는 복수의 특정 지점사이에 촬영된 다수의 이미지에 기초하여 노이즈 제거처리를 수행할 수 있다. 상기 단말기(490)는 다수의 유효 이미지 데이터에 기초하여 노이즈 제거 처리를 수행할 수 있다.
상술한 노이즈 제거 처리가 수행된 이미지는 손상 이미지로 정의될 수 있다. 상기 단말기(490)는 상기 손상 이미지를 기초로 차량의 손상을 포함하는 차량의 정보를 판단할 수 있다.
상기 카메라 모듈(491)이 노이즈가 발생하지 않는 환경에 설치된 경우 상기 관리장치(341)는 노이즈 제거 처리를 생략할 수도 있다. 이 경우 후술할 차량 정보 획득은 유효 이미지 데이터를 기초로 수행될 수 있다. 이 때의 손상 이미지는 상기 유효 이미지 데이터일 수 있다.
상기 단말기(490)는 복수의 유효 이미지 데이터에 기초하여, 반사광 등을 제거하기 위한 노이즈 제거 처리를 수행할 수 있다. 단말기(490)는 복수의 유효 이미지 데이터를 획득하고, 위치가 변동되는 오브젝트(예컨대, 반사광에 대응되는 반사 영역) 및 위치가 변동되지 않는 오브젝트(예컨대, 차량 영역 또는 차량의 손상에 대응되는 손상 영역)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거할 수 있다. 예컨대, 단말기(490)는 차량의 손상된 부분에 대응되는 손상 영역 및 차량의 표면에 의한 반사광에 대응되는 반사 영역을 포함하는 유효 이미지 데이터에 기초하여, 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다. 상기 유효 이미지 데이터는 주요 부위가 포함된 이미지 데이터일 수 있다.
상기 단말기(490)는 고정된 형태로 촬영되는 것이 아니므로, 주요 부위로부터 제1 거리를 가지는 제1 이미지와 상기 주요 부위로 제2 거리를 가지는 제2 이미지는 주요부위로부터 카메라 모듈(491) 사이의 거리가 달라질 확률이 크다. 즉, 제1 거리와 제2 거리는 다를 수 있다. 이로써, 이용자가 상기 단말기(490)를 휴대한 상태에서 상기 제1 조작과 제2 조작에 의해 제1 이미지와 제2 이미지를 촬영한 경우와 이용자가 상기 단말기(490)를 휴대한 상태에서 한 번의 조작에 의해 동영상을 촬영하고, 이를 기초로 제1 이미지와 제2 이미지를 추출하는 경우 모두 제1 거리와 제2 거리는 다를 가능성이 높다.
상기 제1 거리는 제1 이미지가 촬영되는 경우의 상기 카메라 모듈(491)과 상기 차량의 제1 특징점 사이의 거리일 수 있고, 상기 제2 거리는 제2 이미지가 촬영되는 경우의 상기 카메라와 제1 특징점 사이의 거리일 수 있다.
따라서, 별도의 노력 없이 노이즈 처리를 수행할 수 있는 유효 이미지 데이터를 얻을 수 있고, 상기 단말기(490)는 이를 기초로 노이즈 제거처리를 수행할 수 있다.
상기 노이즈 제거처리는 단말기(490)에서 수행되는 것을 기재하였으나, 상기 노이즈 제거처리는 서버(499)에서 수행될 수도 있다.
4.2.2 모바일 차량 정보 획득
모바일 베이스 차량 관리 프로세스는 차량 데이터에 기초하여 차량 정보를 획득하는 것을 포함할 수 있다.
차량 정보는 대상 차량을 구성하는 부품과 관련된 부품 정보, 대상 차량 내/외부의 손상과 관련된 손상 정보, 대상 차량의 종류와 관련된 차종 정보 및/또는 대상 차량을 식별하기 위한 식별 정보를 포함할 수 있다.
차량 정보는 차량 데이터로부터 추출되거나, 차량 데이터를 처리하여 얻어질 수 있다. 차량 정보는 차량 데이터를 입력 데이터로 하여, 차량 정보를 획득하도록 설계된 알고리즘 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다.
차량 데이터에 기초하여 차량 정보를 획득하는 것은 2.3에서 상술한 바 있으므로, 중복되는 내용은 생략한다.
일 실시예에 따르면 단말기(490)는 손상 이미지에 기초하여 차량정보를 획득할 수 있다. 상기 단말기(490)는 상기 손상 이미지에 기초하여 손상정보를 획득할 수 있다.
일 실시예에 따르면, 카쉐어링 회사의 경우 단말기(490)는 미리 저장되어 있는 데이터베이스를 이용하여 공유 차량 정보를 획득할 수 있다. 상기 공유 차량 정보는 공유 차량의 차종, 제조사, 모델명, 연식 등을 나타내는 차량 종류 정보를 포함할 수 있다. 또한, 상기 공유 차량 정보는 공유 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 나타내는 부품 정보를 더 포함할 수 있다. 또한, 상기 공유 차량 정보는 공유 차량 이용자의 인적사항 또는 공유 차량의 사고 이력 등을 포함하는 추가 정보를 더 포함할 수 있다.
공유 차량 정보는 대상 차량 내/외부에 발생한 추가 손상 정보를 포함할 수 있다. 상기 추가 손상 정보는 이용자가 차량을 이용하기 전의 차량의 손상 이미지와 이용자가 차량을 이용한 후의 차량의 손상 이미지에 기초하여 산출될 수 있다. 상기 추가 손상 정보는 이용자가 차량을 이용하기 전의 차량의 손상 이미지와 이용자가 차량을 이용한 후의 차량의 손상 이미지를 비교하여 산출될 수 있다.
상기 추가 손상 정보는 이용자가 차량을 이용하기 전의 차량의 손상 이미지를 기초로 산출된 손상 정보와 이용자가 차량을 이용한 후의 차량의 손상 이미지를 기초로 산출된 손상 정보에 기초하여 산출될 수 있다.
상기 단말기(490)는 이용자가 차량을 이용하기 전의 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나를 저장하고, 이용자가 차량을 이용한 후에 이를 불러와 이용자가 차량을 이용한 후의 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나와 비교하여 추가 손상 정보를 산출할 수 있다.
상기 단말기(490)는 이용자가 차량을 이용하기 전의 차량의 비-이미지 데이터와 상기 손상 이미지 및 손상 정보를 연동하여 저장할 수 있다. 예를 들어, 단말기(490)는 이용자가 차량을 이용하기 전의 차량의 손상 이미지 및 손상 정보를 상기 차량의 차량번호와 연동하여 저장할 수 있다.
상기 단말기(490)는 이용자가 해당 차량을 이용을 종료한 경우, 인식된 차량번호에 기초하여 해당 차량의 차량번호와 연동된 손상 이미지 및 손상 정보를 로드하고, 이를 이용자가 차량을 이용한 후의 차량의 손상 이미지 및 손상 정보와 비교하여 추가 손상 정보를 산출할 수 있다.
4.2.3 차량 정보 관리
모바일 베이스 차량 관리 프로세스는 차량 정보를 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 전술한 부품 정보, 손상 정보, 차량 종류 정보 및/또는 식별 정보를 관리하는 것을 포함할 수 있다.
또한, 차량 정보를 관리하는 것은 차량 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 차량 정보를 분류하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 하나 이상의 정보를 연관하여 관리하는 것을 포함할 수 있다. 상기 차량 정보 관리는 상기 서버(499)에서 수행될 수 있다.
이하에서는 차량 정보의 관리에 대하여 몇몇 실시예를 들어 설명한다.
4.2.3.1 이력 관리
차량 정보를 관리하는 것은 차량 정보를 이력 관리하는 것을 포함할 수 있다. 차량 정보를 이력 관리하는 것은 서로 다른 시점에 획득된 하나 이상의 차량 정보를 시계열적으로 나열 및/또는 관리하는 것을 의미할 수 있다.
일 실시예에 따르면, 모바일 베이스 차량 관리 프로세스에서 차량 정보를 관리한다는 것은, 특정 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
예시적으로, 카쉐어링 프로세스에서 차량 정보를 관리한다는 것은, 공유 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다.
보다 구체적으로, 카쉐어링 프로세스에서 차량 정보를 관리한다는 것은, 제1 이용자가 제1 차량 이용 전 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 이용자가 제1 차량 이용 후 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 이용자가 제2 차량 이용 전 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보를 획득하고, 제1 이용자가 제2 차량 이용 후 공유 차량에 제4 손상이 발생하였음을 나타내는 제4 정보를 획득한 후, 제1 정보, 제2 정보, 제3 정보 및/또는 제4 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
또한, 카쉐어링 프로세스에서 차량 정보를 관리한다는 것은, 제1 이용자의 공유 차량 이용 후에 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제2 이용자의 공유 차량 이용 전에 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제2 이용자의 공유 차량 이용 후에 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보를 획득한 후, 제1 정보, 제2 정보 및/또는 제3 정보를 시간 순으로 관리하는 것을 포함할 수 있다. 이때, 제1 이용자는 제2 이용자 보다 우선하여 공유 차량을 이용한 사람을 의미할 수 있다.
4.2.3.2 손상 이력 관리 실시예 1 - 운전자 별
모바일 베이스 차량 관리 프로세스에서 손상 정보의 이력을 관리할 수 있다. 손상 정보의 이력 관리는 새롭게 발생한 신규 손상에 대한 신규 손상 정보를 획득하는 것을 포함할 수 있다. 손상 정보의 이력 관리는 동일한 차량을 다양한 시점에 촬영하여 획득된 복수의 이미지에 기초하여, 신규 손상 정보를 획득하는 것을 포함할 수 있다.
손상 정보 이력은 이용자 정보를 고려하여 이용자 별로 관리될 수 있다.
일 실시예에 따르면, 단말기(490)는 이용자 정보를 고려하여 공유 차량의 손상 정보 이력을 이용자 별로 관리할 수 있다. 단말기(490)는 공유 차량의 손상 정보 이력을 이용자 별로 관리함으로써, 공유 차량에 손상이 발생하는 경우 책임 소재를 명확하게 할 수 있고, 공유 차량에 현재 또는 과거에 발생한 손상이 어느 이용자에 의해 발생한 것인지 파악하기가 용이하며, 그에 따른 공유 차량 관리 비용을 절감할 수 있는 효과를 제공할 수 있다. 또한, 단말기(490)는 공유 차량의 손상 정보 이력을 이용자 별로 관리함으로써, 해당 이용자에 대한 평가 등을 수행할 수 있는 효과를 제공할 수 있다.
예시적으로, 단말기(490)가 이용자 정보를 고려하여 공유 차량의 손상 정보 이력을 이용자 별로 관리한다는 것은, 제1 이용자가 제1 차량 이용 전 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보와 제1 이용자가 제1 차량 이용 후 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 비교하여 획득된 제1 이용자의 제1 차량 이용 중 발생한 추가 손상 정보를 관리하는 것과, 제1 이용자가 제2 차량 이용 전 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보와 제1 이용자가 제2 차량 이용 후 공유 차량에 제4 손상이 발생하였음을 나타내는 제4 정보를 비교하여 획득된 제1 이용자의 제2 차량 이용 중 발생한 추가 손상 정보를 관리하는 것을 의미할 수 있다.
4.2.3.3 손상 이력 관리 실시예 2 - 차량 별 관리
손상 정보 이력은 차량 별로 관리될 수 있다.
일 실시예에 따르면, 단말기(490)는 공유 차량의 손상 정보 이력을 차량 별로 관리할 수 있다. 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리함으로써, 공유 차량에 과거부터 현재까지 발생한 손상 정보를 시계열적으로 용이하게 파악할 수 있는 효과를 제공할 수 있다. 또한, 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리함으로써, 공유 차량의 수리 및 점검 일정을 차량의 상태에 따라 차량 별로 맞춤 일정으로 계획할 수 있게 하여 효율적인 차량 관리가 이루어질 수 있게 하는 효과를 제공할 수 있다.
예시적으로, 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 이용자의 공유 차량 이용 후에 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보와 제2 이용자의 공유 차량 이용 전에 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 비교하여 공유 차량의 주차 중 발생한 추가 손상 정보를 관리하는 것을 의미할 수 있다.
다른 예로, 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 이용자의 공유 차량 이용 후에 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보 또는 제2 이용자의 공유 차량 이용 전에 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 제2 이용자의 공유 차량 이용 후에 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보와 비교하여 제2 이용자의 공유 차량 이용 중 발생한 추가 손상 정보를 관리하는 것을 의미할 수 있다.
4.2.4 차량 정보 출력
4.2.4.1 출력되는 정보
모바일 베이스 차량 관리 시스템은 단말기(490)의 출력부(496)를 통해 차량 정보 및 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 또한, 상기 단말기(490)는 상기 단말기(490)와 연결된 서버(499)를 통해 차량 정보 및 보조 정보를 출력할 수 있다.
상기 단말기(490)는 부품 정보, 손상 정보, 차량 종류 정보, 식별 정보 등의 차량 정보를 출력할 수 있다. 차량 관리 시스템은 사용자 정보 및/또는 위치 정보를 함께 출력할 수 있다.
상기 단말기(490)는 차량 이미지 및 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 차량 관리 시스템은 복수의 차량 이미지 및 각 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 복수의 차량 이미지는 차량에 대하여 다양한 각도에서 촬영된 이미지일 수 있다.
이하에서는, 도 55를 참조하여 공유 차량 관리 시스템의 차량 정보 출력 화면을 설명하도록 한다.
4.2.4.2 차량 정보 출력 실시예
도 55는 일 실시예에 따른 단말기(490)에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
일 실시예에 따르면, 단말기(490)는 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 단말기(490)는 이용자 또는 관리자의 정보 통신 기기에 차량 정보 및/또는 보조 정보를 출력할 수 있다
단말기(490)는 공유 차량에 추가 손상 정보가 검출된 경우, 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 단말기(490)는 이용자의 공유 차량 이용 전/후 공유 차량에 추가 손상이 검출된 경우, 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 단말기(490)는 공유 차량의 관리를 위해 추가 손상 정보가 검출되지 않아도, 차량 정보 및/또는 보조 정보를 출력할 수 있다.
도 55의 (a)는 공유 차량의 현재 외관 상태에 관한 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 55의 (a)를 참조하면, 일 실시예에 따른 공유 차량 외관 정보 화면은 손상 정보 테이블 및 차량 외관의 손상 정보가 표시되는 손상 이미지를 포함할 수 있다.
차량 외관 정보 출력 화면은 공유 차량에 발생한 손상에 관한 정보를 표시하는 손상 정보 테이블을 포함할 수 있다. 손상 정보 테이블에는 손상이 발생한 차량 부품, 손상 종류, 손상 정도, 손상 개수 등을 포함할 수 있다.
차량 외관 정보 출력 화면은 손상 정보가 표시되어 있는 손상 이미지를 포함할 수 있다. 상기 손상 이미지에는 손상 영역 정보가 포함될 수 있는데, 손상 영역 정보는 기존 손상 영역(ED)을 포함할 수 있다.
차량 외관 정보 출력 화면은 기존 손상 정보에 대해 동의 여부를 선택할 수 있는 선택창을 포함할 수 있다. 이용자는 손상 영역에 관한 정보에 동의하는 경우 'Confirm' 버튼을 클릭할 수 있고, 동의하지 않는 경우 'Objection'버튼을 클릭할 수 있다. 상기 단말기(490)는 이용자에 의해 'Confirm'버튼이 클릭된 경우 상기 기존 손상 정보에 대한 일괄 동의가 수행되었음을 서버(499)로 알려줄 수 있다.
또는 차량 외관 정보 출력화면은 손상 정보가 표시되어 있는 손상 이미지를 표시할 수 있다. 상기 단말기(490)는 상기 손상 이미지에 대한 이용자의 개별 동의가 진행될 수 있도록 차량 외관 정보 출력화면을 표시할 수 있다. 즉, 상기 단말기(490)의 손상 이미지에 대한 정보는 차량 이미지에 매핑되어 출력될 수 있고, 사용자의 조작에 의해 차량 이미지는 회전, 확대, 축소 또는 이동될 수 있다. 상기 단말기(490)는 차량 이미지 중 손상이 있는 부위에 동의를 할 수 있는 버튼을 표시할 수 있고, 이용자가 상기 버튼을 누르는 경우 개별 동의가 진행된 것으로 판단하여, 상기 동의 정보를 상기 서버(499)로 보낼 수 있다.
도 55의 (b)는 공유 차량 관리 시스템의 출력 화면 중 차량 외관 촬영 요구 화면을 설명하기 위한 도면이다.
도 55의 (b)를 참조하면, 일 실시예에 따른 차량 외관 촬영 요구 화면은 가이드부와 촬영부를 포함할 수 있다. 차량 외관 촬영 요구 화면은 차량 외관의 주요 부위가 촬영될 수 있도록 촬영을 가이드해주는 가이드부와 차량 외관 촬영을 위한 촬영 버튼을 포함하는 촬영부를 포함할 수 있다. 이때, 일 실시예에 따른 차량 외관 촬영 요구 화면은 이용자가 차량을 이용하기 전에 필수적으로 출력되는 화면일 수 있으나, 이에 한정되는 것은 아니다. 즉, 차량 외관 촬영 요구 화면은 이용자에 의해 선택적으로 출력될 수 있다.
도 55의 (c)는 차량 외관 촬영이 완료된 후 차량에 발생된 추가 손상 여부에 관한 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 55의 (c)를 참조하면, 일 실시예에 따른 차량 손상 정보 화면은 손상 정보 테이블, 추가 손상 발생에 대해 확인 또는 동의 여부를 선택할 수 있는 선택창 및/또는 추가 손상 정보가 표시되어 있는 손상 이미지를 포함할 수 있다.
추가 손상 정보를 출력하는 화면은 공유 차량에 발생한 손상에 관한 정보를 표시하는 손상 정보 테이블을 포함할 수 있다. 손상 정보 테이블에는 손상이 발생한 차량 부품, 손상 종류, 손상 정도, 손상 개수 등을 포함할 수 있다.
추가 손상 정보를 출력하는 화면은 신규 손상 정보에 대해 동의 여부를 선택할 수 있는 선택창을 포함할 수 있다. 이용자는 신규 손상 영역(ND)에 관한 정보에 동의하는 경우 'Confirm' 버튼을 클릭할 수 있고, 동의하지 않는 경우 'Objection'버튼을 클릭할 수 있다. 상기 단말기(490)는 이용자에 의해 'Confirm'버튼이 클릭된 경우 상기 기존 손상 정보에 대한 일괄 동의가 수행되었음을 서버(499)로 알려줄 수 있다.
또는 상기 단말기(490)는 상술한 상기 기존 손상 정보에 대한 동의를 받는 절차와 같이 다수의 개별 버튼에 의해 신규 손상 정보에 대해 개별 동의를 받는 절차를 수행할 수도 있다.
추가 손상 정보를 출력하는 화면은 추가 손상 정보가 표시되어 있는 손상 이미지를 포함할 수 있다. 상기 손상 이미지에는 손상 영역 정보가 포함될 수 있는데, 손상 영역 정보는 기존 손상 영역(ED) 및 신규 손상 영역(ND)을 포함할 수 있다. 이때, 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 달리 표시될 수 있다. 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 다른 색상 또는 서로 다른 형태의 바운딩 박스로 표시될 수 있다.
도 55의 (d)는 공유 차량에 발생된 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 55의 (d)를 참조하면, 공유 차량 관리 시스템의 출력 화면은 이용자가 'Objection'버튼을 클릭하는 경우, 이용자의 공유 차량 이용 전 추출된 손상 이미지 및 이용자의 공유 차량 이용 후 추출된 손상 이미지를 표시할 수 있다. 이때, 공유 차량 이용 전 추출된 손상 이미지 및 공유 차량 이용 후 추출된 손상 이미지는 서로 대응되는 방향에서 검출된 손상 이미지일 수 있다. 다른 예로, 공유 차량 이용 전 추출된 손상 이미지 및 공유 차량 이용 후 추출된 손상 이미지는 적어도 하나 이상의 차량의 주요 부위를 포함하되, 상기 차량의 주요 부위는 적어도 하나 이상 공통될 수 있다. 한편, 공유 차량 이용 전 추출된 손상 이미지와 공유 차량 이용 후 추출된 손상 이미지는 실제 촬영된 이미지가 아닌 가공된 이미지 예컨대, 차량의 3D 이미지 상에 맵핑된 형태일 수 있다.
4.3 컨펌 시나리오
일 실시예에 따르면, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 공유 차량 이용 후 공유 차량의 외관을 촬영하고 추가 손상 정보에 대한 동의 단계를 거쳐야 차량 반납 처리가 완료되는 단계를 포함할 수 있다.
또한, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 현재 외관 상태에 동의하는 경우 차량 이용이 가능하도록 하는 단계를 포함할 수 있다.
또한, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 현재 외관 상태에 동의하지 않는 경우 차량 외관 중 동의하지 않는 부분 또는 차량 외관 전체에 대해 재촬영 및 등록하는 단계를 수행하여야 차량 이용이 가능하도록 하는 단계를 포함할 수 있다.
도 56은 복수의 공유 차량 이용자가 시간 순서에 따라 공유 차량을 이용하고 이용을 종료하는 과정을 개략적으로 표현한 도면이다.
도 56을 참조하면, 제1 이용자는 제1 시점(T1)에 공유 차량 이용을 시작하고, 제2 시점(T2)에 공유 차량 이용을 종료할 수 있다. 또한, 제2 이용자는 제3 시점(T3)에 공유 차량 이용을 시작하고, 제4 시점(T4)에 공유 차량 이용을 종료할 수 있다. 이때, 제1 이용자와 제2 이용자는 동일한 공유 차량을 이용함을 전제할 수 있다. 또한, 제1 시점 내지 제4 시점은 각각 서로 다른 시점을 의미하고, 제1 시점은 제3 시점보다 앞선 시점일 수 있다.
또한, 도 56을 참조하면, 제1 이용자의 공유 차량 이용 시기는 제1 시점과 제2 시점 사이인 제1 구간(P1)이고, 제2 이용자의 공유 차량 이용 시기는 제3 시점과 제4 시점 사이인 제3 구간(P3)이다. 즉, 제1 구간(P1)은 제1 이용자가 차량을 이용한 기간을 의미할 수 있고, 제3 구간(P3)은 제2 이용자가 차량을 이용한 기간을 의미할 수 있다.
한편, 제1 이용자의 공유 차량 이용 종료 이후부터 제2 이용자의 공유 차량 이용 시작 전까지의 시기는 공유 차량이 이용자에 의해 운행되지 않고 주차되어 있는 시기를 의미할 수 있다. 즉, 제2 시점(T2)과 제3 시점(T3)사이의 시기인 제2 구간(P2)은 공유 차량이 이용자에 의해 운행되지 않고 주차되어 있는 구간을 의미할 수 있다.
이하에서는 도 56을 참조하여, 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 대하여 동의 후 차량을 이용하는 단계, 동의하지 않는 경우 차량 외관을 재촬영 후 이용하는 단계 및 공유 차량 이용자가 공유 차량 이용 후 공유 차량의 외관 촬영 후 반납하는 단계에 관하여 상세히 설명한다.
4.3.1 차량 이용 후 차량 외관 촬영 및 추가 손상 관리
도 57은 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 차량 반납 프로세스의 설명을 위한 도면이다. 이하에서는 도 56 및 도 57을 참조하여, 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 과정을 설명하도록 한다.
도 57을 참조하면, 모바일 베이스 차량관리 시스템은 단말기(490) 및 서버(499)를 포함할 수 있다. 상기 단말기(490)는 제1 이용자의 단말기(490)일 수 있다. 상기 제1 이용자의 차량 이용 시간은 제2 시점(T2)에 종료될 수 있다.
상기 제1 이용자의 단말기(490)는 상기 제1 이용자의 제어에 의해 차량 이용 시간이 종료되었음을 인식할 수 있고, 또는 상기 서버(499)로부터 전달받은 정보에 의해 상기 제1 이용자의 단말기(490)에 차량 이용 시간이 종료되었음이 표시될 수도 있다.
상기 제1 이용자의 단말기(490)는 출력부(496)를 통해 촬영 가이드를 표시할 수 있다. 상기 출력부(496)를 통한 촬영 가이드의 표시는 4.2.1.1에서 설명한 바와 같이 선택적인 과정일 수 있다.
상기 제1 이용자의 단말기(490)는 상기 제1 이용자의 제어에 의해 상기 카메라 모듈(491)을 통해 제1 이미지를 촬영할 수 있다. 상기 제1 이미지는 제1 이용자가 이용한 차량의 외관과 관련된 적어도 하나 이상의 이미지를 포함할 수 있다. 상기 제1 이미지는 차량 외관의 주요 부위를 포함하는 복수의 이미지를 일 수 있다. 상기 제1 이미지는 제2 시점(T2)과 대응되는 시점에 촬영된 이미지일 수 있다.
제2 이용자의 단말기(490) 또한 상기 제2 이용자의 제어에 의해 차량 이용시간이 종료되는 제4 시점(T4)에 카메라 모듈(491)을 이용하여 제3 이미지를 촬영할 수 있다. 상기 제3 이미지는 제2 이용자가 이용한 차량의 외관과 관련된 적어도 하나 이상의 이미지를 포함할 수 있다. 상기 제3 이미지는 차량 외관의 주요 부위를 포함하는 복수의 이미지를 일 수 있다. 상기 제3 이미지는 제4 시점(T4)과 대응되는 시점에 촬영된 이미지일 수 있다.
상기 제1 이용자의 단말기(490)는 제1 이미지를 상기 저장부(493)에 저장한 후 상기 통신부(494)를 통해 상기 서버(499)로 전송할 수 있다. 상기 제1 이용자의 단말기(490)는 제2 시점(T2)과 대응되는 시점에 상기 제1 이미지를 상기 서버(499)로 전송할 수 있다. 또한, 제2 이용자의 단말기(490)도 제4 시점(T4)과 대응되는 시점에 상기 제3 이미지를 상기 서버(499)로 전송할 수 있다.
상기 서버(499)는 상기 제1 이용자 단말기(490)로부터 상기 제1 이미지를 수신할 수 있다.
상기 서버(499)는 상기 제1 이미지에 기초하여 차량의 추가손상 유무를 판단할 수 있다.
상기 서버(499)는 상기 제1 이미지와 서버(499)에 저장된 데이터를 비교하여 공유 차량의 추가손상 유무를 판단할 수 있다. 상기 서버(499)에 저장된 데이터는 해당 공유 차량의 기존 손상정보일 수 있다. 상기 서버(499)는 상기 제1 이미지를 분석하여 해당 공유 차랑의 추가손상 유무를 판단할 수 있다. 즉, 서버(499)는 공유 차량 이용자가 이용한 차량에 공유 차량 이용자의 운행 중 발생한 손상이 있는지 판단할 수 있다.
결국, 서버(499)는 공유 차량 이용자가 이용 종료 후 공유 차량을 촬영한 이미지를 공유 차량의 기존 손상 정보와 비교하여 해당 차량에 발생한 추가 손상 정보를 파악함으로써, 공유 차량에 발생한 손상에 대해 책임 소재를 명확히 할 수 있고, 공유 차량에 발생하는 손상을 시계열적으로 관리하여 체계적인 관리가 가능하도록 할 수 있다. 예시적으로, 서버(499)는 제3 이미지와 제1 이미지를 비교하여 추가 손상 정보를 파악함으로써, 제1 이용자의 이용 종료시점인 제2 시점(T2)부터 제2 이용자의 이용 종료시점인 제4 시점(T4)사이에 발생한 손상 정보를 파악 및 관리할 수 있다. 다시 말해, 서버(499)는 제3 이미지와 제1 이미지를 비교하여 추가 손상 정보를 파악함으로써, 제2 구간(P2) 또는 제3 구간(P3)에 발생한 손상 정보를 파악 및 관리할 수 있다.
상기 서버(499)는 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 차량에 관한 손상 정보를 업데이트할 수 있다. 즉, 서버(499)는 차량에 추가 손상이 발생되지 않았다고 판단하는 경우 해당 차량에 추가 손상이 발생되지 않았으며, 해당 차량에 관한 손상 정보는 기존 손상 정보와 동일하다는 내용으로 해당 차량에 관한 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 손상 정보를 제1 정보로 정의할 수 있다.
예시적으로, 서버(499)는 제2 시점(T2) 또는 제4 시점(T4)에 촬영된 제1 이미지 또는 제3 이미지로부터 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 차량에 관한 손상 정보는 기존 손상 정보와 동일하다는 내용으로 해당 차량에 관한 손상 정보를 업데이트할 수 있다.
다른 예로, 서버(499)는 제4 시점(T4)에 촬영된 제3 이미지로부터 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 차량에 관한 손상 정보는 제2 시점(T2)에 촬영된 제1 이미지로부터 판단된 손상 정보와 동일하다는 내용으로 업데이트할 수 있다.
서버(499)는 차량에 추가 손상이 발생되었다고 판단하는 경우, 해당 추가 손상 정보를 이용자의 단말기(490)로 전송할 수 있다.
이용자의 단말기(490)는 서버(499)로부터 추가 손상 정보를 수신할 수 있다.
상기 추가 손상 정보가 수신된 경우 상기 이용자의 단말기(490)는 상기 이용자에게 추가 손상에 대한 동의여부를 확인할 수 있다.
상기 이용자의 단말기(490)는 출력부(496)를 이용하여 상기 이용자에게 추가 손상에 대한 동의여부를 표시할 수 있고, 이용자로하여금 해당 추가 손상 정보에 대한 동의 여부를 선택하도록 할 수 있다. 이용자는 입력부(495)를 통해 상기 추가 손상 정보가 자신의 차량 이용 기간 중 발생한 손상인지에 대하여 동의 여부를 선택할 수 있다.
이 경우 상기 추가 손상 정보는 현재 이용자의 이용 기간 중 발생한 추가 손상 정보를 포함할 수 있다. 예시적으로, 상기 추가 손상 정보는 제1 이용자의 이용 시작시점인 제1 시점(T1)부터 제1 이용자의 이용 종료시점인 제2 시점(T2)사이에 차량에 추가로 발생한 손상 정보를 의미할 수 있다. 즉, 상기 추가 손상 정보는 제1 이용자의 이용 기간인 제1 구간(P1)에서 차량에 추가로 발생한 손상 정보를 의미할 수 있다.
상기 제4 시점(T4)에서의 상기 추가 손상 정보는 제2 이용자의 이용 시작시점인 제3 시점(T3)부터 제2 이용자의 이용 종료시점인 제4 시점(T4)사이에 차량에 추가로 발생한 손상 정보를 의미할 수 있다. 즉, 상기 추가 손상 정보는 제2 이용자의 이용 기간인 제3 구간(P3)에서 차량에 추가로 발생한 손상 정보를 의미할 수 있다.
상기 추가 손상 정보는 제1 이용자의 이용 종료시점인 제2 시점(T2)부터 제2 이용자의 이용 종료시점인 제4 시점(T4)사이에 차량에 추가로 발생한 손상 정보를 의미할 수 있다. 즉, 상기 추가 손상 정보는 제2 구간(P2) 또는 제3 구간(P3)에서 차량에 추가로 발생한 손상 정보를 의미할 수 있다.
다시 말해, 제2 이용자는 단말기(490)가 서버(499)로부터 상기 추가 손상 정보를 수신하면 상기 추가 손상 정보가 제2 시점(T2) 또는 제3 시점(T3)부터 제4 시점(T4) 사이에 발생한 손상인지에 대하여 동의 여부를 선택할 수 있다. 다른 예로, 제2 이용자는 단말기(490)가 서버(499)로부터 상기 추가 손상 정보를 수신하면 상기 추가 손상 정보가 제2 구간(P2) 또는 제3 구간(P3)에서 발생한 손상인지에 대하여 동의 여부를 선택할 수 있다.
이용자의 단말기(490)에 의한 상기 추가 손상 정보를 확인하는 절차를 거쳐야 차량 반납 처리는 완료될 수 있다. 즉, 이용자가 예약한 시간이 경과하면 차량 이용은 종료되지만, 이후 이용자가 상기 추가 손상 정보에 동의 또는 이의제기 단계를 거쳐야 차량 반납 처리가 완료될 수 있다.
이용자가 상기 추가 손상 정보에 동의하는 경우 차량 반납 처리는 완료될 수 있다. 이용자가 상기 추가 손상 정보에 이의가 없다고 인정하는 경우 차량 반납 처리는 완료될 수 있다.
예시적으로, 제1 이용자가 상기 제1 이용자 단말기(490)를 이용하여 상기 추가 손상 정보에 동의하는 경우 차량 반납 처리는 완료될 수 있다.
제2 이용자가 제2 이용자 단말기(490)를 이용하여 상기 추가 손상 정보가 제2 시점(T2) 또는 제3 시점(T3)부터 제4 시점(T4)사이에 차량에 추가로 발생한 손상이거나, 제2 구간(P2) 또는 제3 구간(P3)에서 차량에 추가로 발생한 손상임임에 동의하는 경우 차량 반납 처리는 완료될 수 있다.
이용자가 상기 추가 손상 정보에 동의하지 않는 경우 이용자는 상기 추가 손상 정보에 동의하지 않는 이유에 대해 이의제기를 할 수 있고, 이의제기가 완료되면 차량 반납 처리는 완료될 수 있다. 즉, 이용자가 상기 추가 손상 정보에 전부 또는 일부 동의하지 않는 경우, 동의하지 않는 부분에 대해서 이의제기 절차를 거칠 수 있고, 상기 이의제기 절차가 완료되면 차량 반납 처리는 완료될 수 있다.
예시적으로, 제2 이용자가 상기 추가 손상 정보가 제2 시점(T2) 또는 제3 시점(T3)부터 제4 시점(T4)사이에 차량에 추가로 발생한 손상이거나, 제2 구간(P2) 또는 제3 구간(P3)에서 차량에 추가로 발생한 손상임임에 전부 동의하지 않거나 일부 동의하지 않는 경우, 동의하지 않는 부분에 대해서 이의제기를 거칠 수 있다. 이후, 상기 이의제기 절차가 완료되면 차량 반납 처리는 완료될 수 있다.
제1 이용자의 단말기(490)는 차량 반납 처리가 완료되면 추가 손상 정보에 이용자의 동의 여부를 반영하여 서버(499)에 전송할 수 있다.
또한, 서버(499)는 상기 제1 이용자의 단말기(490)로부터 수신된 제1 이용자의 동의 여부가 반영된 추가 손상 정보를 토대로 차량 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 차량 손상 정보를 제1 정보로 정의할 수 있다.
이처럼 서버(499)가 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써 차량의 외관에 발생되어 있는 손상 정보를 시계열적으로 관리할 수 있고, 또한 차량의 외관에 발생되어 있는 손상 정보의 책임 소재를 명확히 하여 수리, 점검 및 교체 비용 청구가 원활히 이루어질 수 있도록 할 수 있다.
4.3.2 차량 이용 전 기존 손상 정보에 대한 동의 여부 및 차량 외관 재촬영
일 실시예에 따르면, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 차량 이용 전 차량의 기존 손상 정보에 동의하는 경우 차량 이용이 가능하도록 하는 단계를 포함할 수 있다. 또한, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 차량 이용 전 차량의 기존 손상 정보에 전부 또는 일부 동의하지 않는 경우 차량 외관 중 동의하지 않는 부분 또는 차량 외관 전체에 대해 재 촬영하는 단계를 수행하여야 차량 이용이 가능하도록 하는 단계를 포함할 수 있다.
도 58은 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의 여부를 표시하고 동의하지 않을 시 차량 외관을 촬영하는 차량 이용 프로세스의 설명을 위한 도면이다. 이하에서는 도 56 및 도 58을 참조하여, 공유 차량 이용자가 공유 차량 이용을 위해 공유 차량 이용 전 수행해야 하는 일련의 단계들에 대하여 설명한다.
도 58을 참조하면, 이용자의 단말기(490)는 차량 이용 일정시간 이전에 스마트키를 활성화시킬 수 있다. 상기 서버(499)는 상기 이용자의 단말기(490)의 스마트키가 활성화될 수 있도록 제어할 수 있다. 상기 제2 이용자의 단말기(490)는 상기 제3 시점의 일정시간 이전에 스마트키를 활성화시킬 수 있다.
상기 제2 이용자의 단말기(490)는 상기 스마트키가 활성화되면 서버(499)에 해당 차량에 관한 기존 손상 정보를 요청할 수 있다.
이때, 상기 기존 손상 정보는 공유 차량의 현재 외관 상태에 대한 정보를 의미할 수 있다. 또한, 상기 기존 손상 정보는 현재 이용자가 차량을 이용하기 직전에 차량을 이용한 이전 이용자에 의해 업데이트 되어있는 차량의 손상 정보를 의미할 수 있다. 예시적으로, 상기 기존 손상 정보는 공유 차량 이용자가 공유 차량을 이용하기 전 공유 차량에 이미 발생되어 있던 손상 정보를 의미할 수 있다. 다른 예로, 상기 기존 손상 정보는 이전 공유 차량 이용자에 의해 공유 차량에 발생된 손상 정보를 의미할 수 있다. 또 다른 예로, 상기 기존 손상 정보는 이전 공유 차량 이용자가 공유 차량 반납 완료 후 현재 공유 차량 이용자가 공유 차량을 이용하기 전 발생된 손상 예컨대, 주차 중 손상 등을 의미할 수 있다.
또한, 도 56 및 도 58을 참조하면, 상기 기존 손상 정보는 제1 이용자가 차량 이용 후 제2 시점(T2)에서 촬영한 제1 이미지로부터 업데이트 되어 있는 제1 정보를 의미할 수 있다. 예를 들어, 제2 이용자를 현재 이용자로 정의하고, 제1 이용자를 이전 이용자로 정의하면, 상기 기존 손상 정보는 제1 시점(T1)부터 제2 시점(T2) 또는 제3 시점(T3)사이에 발생한 손상 정보를 의미할 수 있고, 또한 상기 기존 손상 정보는 제1 구간(P1) 또는 제2 구간(P2)에서 발생한 손상 정보를 의미할 수 있다. 또는, 상기 제1 이용자가 어떠한 촬영도 진행하지 않은 경우에 상기 기존 손상 정보는 가장 최근의 이미지를 촬영한 이용자가 촬영한 이미지일 수 있다.
한편, 상기 기존 손상 정보는 공유 차량의 실제 이미지를 통해 표현되거나 가공된 3D 이미지를 통해 표현될 수 있다. 예를 들어, 기존 손상 정보는 공유 차량의 실제 이미지 상에 손상 부위가 바운딩 박스로 표시된 형태로 제공될 수 있다. 다른 예로, 기존 손상 정보는 공유 차량에 관한 정보가 반영된 가공된 3D 이미지 상에 손상 부위가 바운딩 박스로 표시된 형태로 제공될 수 있다. 이때, 기존 손상 정보가 가공된 3D 이미지 형태로 제공되는 경우, 공유 차량 이용자는 상기 3D 이미지를 360도 회전하는 방법 등을 통해 차량 외관의 전체적인 손상 정보를 보다 편리하게 파악할 수 있다.
서버(499)는 제2 이용자의 단말기(490)로부터 기존 손상 정보 요청 메시지를 수신한 후, 기존 손상 정보를 검색하여 해당 내용을 제2 이용자의 단말기(490)에 전송할 수 있다. 이후 제2 이용자의 단말기(490)는 상기 기존 손상 정보를 수신하고 제2 이용자의 단말기(490)에 기존 손상 정보를 표시한 후, 제2 이용자에게 차량 외관 정보를 확인하라는 메시지를 표시할 수 있다.
제2 이용자는 상기 기존 손상 정보에 동의 여부를 선택할 수 있다. 즉, 제2 이용자의 단말기(490)는 공유 차량 이용자에게 공유 차량에 발생되어 있는 기존 손상 정보를 표시한 후, 상기 제2 이용자가 기존 손상 정보에 대한 동의 여부를 선택할 수 있는 화면을 표시할 수 있다. 상기 동의는 전체 손상 정보에 대한 일괄 동의와 부분동의를 포함할 수 있다.
모바일 베이스 차량 관리 프로세스의 제2 이용자의 단말기(490)는 제2 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의하는 경우 공유 차량의 문 열림 기능 및 시동 기능을 활성화시킬 수 있다. 상기 제2 이용자의 단말기(490)는 제2 이용자가 단말기(490)를 통해 일괄 동의를 입력하는 경우 공유 차량의 문 열림 기능 및 시동 기능을 활성화할 수 있다. 즉, 제2 이용자는 공유 차량 이용 전 공유 차량의 기존 손상 정보에 일괄 동의하는 경우 공유 차량을 이용할 수 있다.
이때, 제2 이용자가 해당 차량의 기존 손상 정보에 동의한다는 것은 제2 이용자의 단말기(490)에 표시되어 있는 기존 손상 정보와 현재 차량의 외관 상태가 일치한다는 것에 동의한다는 것을 의미할 수 있다.
도시하지 않았지만, 상기 제2 이용자에 의한 일괄 동의가 입력되는 경우 상기 제2 이용자의 단말기(490)는 상기 서버(499)로 일괄 동의에 대한 정보를 전송할 수 있다. 상기 서버(499)는 일괄 동의에 대한 정보를 저장한 후 상기 제2 이용자의 단말기(490)가 문열림 및 시동기능을 활성화시킬 수 있도록 데이터를 전송할 수도 있다.
상기 제2 이용자에 의한 일괄 동의가 입력되는 경우 상기 서버(499)는 차량의 외관상태가 기존과 동일하다는 정보를 저장할 수 있다.
제2 이용자가 차량 이용 전 기존 손상 정보에 동의하지 않을 시 상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 차량의 현재 외관 상태에 대한 촬영 및 등록을 수행할 수 있도록 표시할 수 있다. 이때, 상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 차량 이용 전 차량의 현재 외관을 촬영할 수 있도록 촬영 가이드를 제공할 수 있다. 상기 촬영 가이드는 4.2.1.1에서 상술한 내용과 중복되므로, 자세한 설명은 생략한다.
보다 구체적으로, 도 56을 참조하면, 상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 차량 이용 시간이 시작되는 제3 시점(T3)에 차량 외관 촬영을 할 수 있도록 표시할 수 있다. 이때 상기 제2 이용자에 의해 이용 시작 전 촬영되는 차량 이미지는 제2 이미지일 수 있다. 즉, 제3 시점(T3)과 대응되는 시점에 제2 이용자의 단말기(490)에 의해 촬영되는 이미지는 제2 이미지로 정의될 수 있다. 제2 이미지는 차량 외관에 관한 이미지이며, 차량 외관의 주요 부위를 포함하는 복수의 이미지를 포함할 수 있다. 제1 이용자 또한 차량 이용 시간이 시작되는 제1 시점(T1)에 차량 외관 촬영을 할 수 있다.
상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 기존 손상 정보에 동의하지 않을 경우에만 외관 촬영에 대한 절차를 진행하도록 함으로써, 손상 정보에 대한 다툼이 없는 경우에 공유 차량 이용 전 확인 프로세스를 보다 간소화할 수 있다.
제2 이용자에 의해 촬영된 이미지 데이터는 제2 이용자의 단말기(490)에 저장 및 등록된 후 서버(499)로 전송될 수 있다. 예를 들어, 제2 이용자에 의해 제3 시점(T3)에 촬영된 제2 이미지는 제2 이용자의 단말기(490)에 저장된 후 서버(499)로 전송될 수 있다. 또한, 제1 이용자에 의해 제1 시점(T1)에 촬영된 이미지도 마찬가지로 서버(499)로 전송될 수 있다.
서버(499)는 제2 이용자의 단말기(490)로부터 제2 이미지를 수신한 후 상기 제2 이미지와 기존 손상정보에 기초하여 차량에 추가손상이 발생되었는지 판단할 수 있다. 보다 구체적으로 서버(499)는 제2 이용자의 단말기(490)로부터 제2 이미지를 수신한 후 상기 제2 이미지를 해당 차량의 기존 손상 정보와 비교하여 차량에 추가 손상이 발생되었는지 판단할 수 있다. 즉, 서버(499)는 차량의 현재 외관 상태가 기존 손상 정보와 차이가 있는지 판단할 수 있다.
예시적으로, 서버(499)는 제2 이용자가 이용 전 제3 시점(T3)에서 촬영한 제2 이미지를 제1 이용자가 이용 후 제2 시점(T2)에서 촬영한 제1 이미지와 비교 분석하여 차량에 추가 손상이 발생하였는지 판단할 수 있다. 즉, 서버(499)는 제2 시점(T2)과 제3 시점(T3)사이인 제2 구간(P2)에서 추가 손상이 발생하였는지 판단할 수 있다.
결국, 서버(499)는 추가 손상 발생 여부 판단을 수행함으로써, 공유 차량의 현재 외관 상태에 관한 정보를 업데이트할 수 있고, 기존 손상 정보에서 누락되어 있던 손상 정보를 파악할 수 있으며, 이전 이용자의 이용 종료 후 주차 중 발생된 추가 손상 정보를 파악할 수 있는 효과를 제공할 수 있다. 예시적으로, 서버(499)는 제2 이미지와 제1 이미지를 비교하여 추가 손상 정보를 파악함으로써, 제1 이용자의 이용 종료시점인 제2 시점(T2)부터 제2 이용자의 이용 시작시점인 제3 시점(T3)사이에 발생한 손상 정보, 즉 제2 구간(P2)에서 발생한 손상 정보를 파악 및 관리할 수 있다.
한편, 제2 이용자는 공유 차량의 기존 손상 정보에 대해 전부 동의하지 않을 수 있고, 일부 동의하지 않을 수 있으며, 전부 또는 일부 동의 여부에 따라 공유 차량의 외관 재 촬영하는 범위가 달라질 수 있다. 이에 대한 자세한 설명은 후술하도록 한다.
서버(499)는 차량에 추가 손상이 발생되었다고 판단하는 경우, 해당 차량에 관한 손상 정보를 업데이트할 수 있다. 즉, 서버(499)는 차량에 추가 손상이 발생되었다고 판단하는 경우 해당 차량의 현재 외관 상태에 맞도록 기존 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 손상 정보를 제2 정보로 정의할 수 있다.
예시적으로, 서버(499)는 제3 시점(T3)에 촬영된 제2 이미지부터 차량에 추가 손상이 발생되었다고 판단하는 경우, 해당 차량의 현재 외관 상태에 맞도록 기존 손상 정보를 업데이트할 수 있다. 상기 업데이트 내용은 기존 손상 정보에서 누락되어 있던 손상 정보에 관한 것일 수 있고, 이전 사용자의 이용 종료 후 주차 중 발생된 추가 손상 정보에 관한 것일 수 있다.
서버(499)는 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 판단 결과를 제2 이용자의 단말기(490)로 전송할 수 있고, 제2 이용자의 단말기(490)가 서버(499)로부터 상기 판단 결과를 수신하면 제2 이용자는 상기 판단 결과에 대한 동의 여부를 선택할 수 있다. 이때, 상기 판단 결과는 기존 손상 정보에 문제가 없음을 나타내는 정보, 즉 기존 손상 정보가 현재 차량의 외관 상태와 동일하다는 정보를 포함할 수 있다.
제2 이용자의 단말기(490)는 제2 이용자가 상기 판단 결과를 확인하는 절차를 완료하면 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
제2 이용자의 단말기(490)는 제2 이용자가 상기 판단 결과에 동의하는 경우 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
도시하지 않았지만, 상기 서버(499)는 상기 제2 이용자의 단말기(490)가 제2 이미지를 전송한 경우에 상기 차량의 문 열림 및 시동 기능이 활성화 되도록 제어할 수 있다, 즉, 앞서 설명한 추가 손상에 대한 판단과 동의절차가 진행되기 전에 상기 제2 이용자의 단말기(490)는 차량의 문 열림 및 시동 기능을 활성화 할 수 있다. 이 경우 차량의 운행과정에서 서버(499)는 추가 손상 판단과 동의절차를 진행할 수 있고, 차량의 운행이 종료되기 전까지 추가 손상 판단과 동의절차를 진행하여 추가 손상 판단과 동의절차가 완료된 이후에 차량 반납 절차를 종료할 수 있다. 또는 상기 서버(499)는 추가 손상 판단과 동의절차를 차량 반납 절차 이후에 진행할 수도 있다. 상기 서버(499)는 상기 제2 이용자의 단말기(490)가 제2 이미지를 전송한 경우에 상기 차량의 문 열림 및 시동 기능이 활성화되도록 제어함으로써 차량의 운행시작 전의 절차들을 간소화할 수 있는 효과가 있다.
상기 제2 이용자에 의해 상기 판단 결과에 대한 동의가 입력되는 경우 상기 서버(499)는 차량의 외관상태가 기존과 동일하다는 정보를 저장할 수 있다.
또한, 제2 이용자의 단말기(490)는 제2 이용자가 상기 판단 결과에 동의하지 않는 경우 제2 이용자가 상기 판단 결과에 동의하지 않는 이유에 대해 이의 제기할 수 있도록 표시할 수 있다. 이후, 제2 이용자의 단말기(490)는 제2 이용자의 이의제기가 완료되면 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
상기 제2 이용자에 의해 상기 판단 결과에 대한 이의제기가 입력되는 경우 상기 서버(499)는 상기 이의제기 결과에 따라 차량의 외관 상태가 기존과 동일하거나 추가 손상이 발생되었다는 정보를 저장할 수 있다. 다시 말해, 서버(499)는 상기 제2 이용자에 의해 입력된 상기 판단 결과에 대한 이의제기가 받아들여지는 경우 차량의 외관 상태에 추가 손상이 발생하였다는 정보를 저장할 수 있고, 이의제기가 받아들여지지 않는 경우 차량의 외관 상태가 기존과 동일하다는 정보를 저장할 수 있다.
또한, 서버(499)는 단말기(490)로부터 수신된 이용자의 동의 여부 및/또는 이의제기 정보가 반영된 상기 기존 손상 정보를 토대로 차량 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 차량 손상 정보를 제2 정보로 정의할 수 있다.
예시적으로, 제2 이용자의 단말기(490)는 제2 이용자가 상기 기존 손상 정보가 제2 이용자의 이용 시작시점인 제3 시점(T3)에 촬영된 제2 이미지와 대응한다는 것에 동의하는 경우 차량의 문 열림 및 시동 기능을 활성화할 수 있고, 동의하지 않는 경우 이의제기 절차가 완료되면 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
도시하지 않았지만, 상기 서버(499)는 상기 제2 이용자의 단말기(490)에 의한 이의 제기 절차와 이에 대한 처리 절차가 완료된 이후에 차량의 문 열림 및 시동 기능이 활성화 되도록 제어할 수 있다, 즉, 상기 서버(499)는 제2 이용자의 단말기(490)에 의한 이의 제기 절차와 이에 대한 모든 동의절차가 완료된 이후에 차량의 문 열림 및 시동 기능을 활성화 할 수 있다. 상기 서버(499)는 상기 제2 이용자의 단말기(490)에 의한 이의 제기 절차와 이에 대한 처리 절차가 완료된 이후에 차량의 문 열림 및 시동 기능이 활성화 되도록 제어함으로써 이후에 발생할 수 있는 차량의 손상과 관련된 분쟁을 예방할 수 있는 효과가 있다.이처럼 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 차량 외관에 발생되어 있는 손상 정보를 시계열적으로 관리할 수 있고, 또한 차량의 외관에 발생되어 있는 손상 정보의 책임 소재를 명확히 하여 수리, 점검 및 교체 비용 청구가 원활히 이루어질 수 있도록 할 수 있다.
또한, 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 공유 차량 이용자는 자신이 차량을 이용하기 전에 이미 발생되어 있던 손상 정보를 명확히 하여 차량의 기존 손상에 대하여는 책임이 없음을 명확히 할 수 있다. 나아가, 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 공유 차량 이용자는 자신의 차량 이용 중 추가로 발생된 손상에 대해서만 책임질 수 있고, 관리자도 차량에 발생한 손상에 관해 책임 소재를 분명히 할 수 있다.
또한, 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 관리자는 차량이 이용자에 의해 이용되지 않고 주차되어 있는 시기에 발생한 손상 정보를 파악할 수 있고 그에 따른 대응 및 조치가 가능할 수 있다. 예를 들어, 도 56을 참조하면, 서버(499)가 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 관리자는 제1 이용자의 이용 종료시점인 제2 시점(T2)과 제2 이용자의 이용 시작시점인 제3 시점(T3) 사이에 발생한 손상 정보 즉, 제2 구간(P2)에서 발생한 손상 정보를 파악할 수 있고, 그에 따른 대응 및 조치가 가능할 수 있다.
한편, 상술한 바와 같이 공유 차량 이용자는 공유 차량의 현재 외관 상태에 대해 전부 동의하지 않을 수 있고, 일부 동의하지 않을 수 있다. 즉, 공유차량 이용자는 공유 차량의 기존 손상 정보에 대해 부분적으로 동의 여부를 표시할 수 있다.
도 59는 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량 외관을 재 촬영하는 프로세스를 설명하기 위한 도면이다. 이하에서는, 도 59를 참조하여 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량의 외관을 재 촬영하는 프로세스를 설명한다.
도 59의 (a)를 참조하면, 제2 이용자가 공유 차량의 기존 손상 정보에 대해 전부 동의하지 않는 경우, 제2 이용자의 단말기(490)는 공유 차량 외관 전체에 대해 재촬영을 진행할 수 있도록 표시할 수 있다. 이때, 제2 이용자의 단말기(490)는 차량 외관의 주요 부위가 모두 촬영될 수 있도록 가이드해주는 재촬영 가이드를 출력할 수 있다. 상기 재촬영 가이드는 제2 이용자가 예약 시 입력한 정보 또는 학습된 신경망 모델을 통해 획득된 정보를 기초로 제공될 수 있다.
도 59의 (b)를 참조하면, 제2 이용자가 공유 차량의 기존 손상 정보에 대해 일부 동의하지 않는 경우, 제2 이용자의 단말기(490)는 동의하지 않는 부분에 대한 재촬영을 진행하도록 가이드할 수 있다. 상기 제2 이용자의 단말기(490)는 제2 이용자가 동의하지 않는 부분에 대응되는 재촬영 가이드를 표시할 수 있다. 상기 제2 이용자는 상기 재촬영 가이드에 따라 촬영을 진행함으로써 상기 제2 이용자 단말기(490)는 동의하지 않는 부분에 대한 이미지를 얻을 수 있다. 상기 재촬영 가이드는 공유 차량 이용자가 예약 시 입력한 정보 또는 학습된 신경망 모델을 통해 획득된 정보를 기초로 제공될 수 있다. 이러한 과정에 의해 상기 제2 이용자의 단말기(490)는 동의하지 않는 부분의 이미지를 저장하고 서버(499)에 전송할 수 있다. 상기 제2 이용자의 단말기(490)는 제2 이용자가 동의하지 않는 부분에 대해서만 재촬영을 진행할 수 있도록 제어하여 재촬영 절차를 간소화시킬 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (18)
- 손상 이미지를 출력하는 출력부; 및
카메라에 의해 제1 시점에 촬영된 제1 이미지와 상기 카메라에 의해 제2 시점에 촬영된 제2 이미지를 기초로 상기 손상 이미지를 출력하기 위해 상기 출력부를 제어하는 제어부를 포함하되,
상기 제1 이미지는 차량의 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역의 내부에는 적어도 하나 이상의 이상 영역인 고정 영역 및 가변 영역이 포함되어 있고,
상기 제2 이미지는 상기 차량의 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역의 내부에는 상기 고정 영역 중 적어도 일부 영역 및 상기 가변 영역 중 적어도 일부 영역이 포함되어 있고,
상기 손상 이미지는 상기 제1 이미지 및 상기 제2 이미지로부터 상기 가변 영역이 제거된 이미지이되,
상기 고정 영역은 상기 차량의 손상에 대한 영역이고, 상기 가변 영역은 상기 차량의 손상에 대한 영역이 아닌 영역이고,
상기 제1 시점과 상기 제2 시점은 서로 다른 시점이며,
상기 제어부는 상기 적어도 하나 이상의 이상 영역인 상기 고정 영역과 상기 가변 영역을 분류하여, 상기 가변 영역이 제거된 상기 손상 이미지를 출력하고, 상기 제1 이미지 및 상기 제2 이미지는 상기 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 이미지의 상기 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지의 상기 제1 특징점은 제2 좌표를 가지고, 상기 제1 이미지의 상기 적어도 하나 이상의 이상 영역을 대표하는 좌표는 제7 좌표이고, 상기 제2 이미지의 상기 적어도 하나 이상의 이상 영역을 대표하는 좌표는 제8 좌표이며,
상기 제어부는 상기 제1 좌표와 상기 제7 좌표 사이의 제5 거리와 상기 제2 좌표와 상기 제8 좌표 사이의 제6 거리에 기초하여 상기 고정 영역과 상기 가변 영역을 분류하는,
차량 관리 장치.
- 제1항에 있어서,
상기 제1 이미지에 포함된 상기 고정 영역을 대표하는 좌표는 제3 좌표이며,
상기 제2 이미지에 포함된 상기 고정 영역을 대표하는 좌표는 제4 좌표이며,
상기 제1 좌표와 상기 제3 좌표 사이의 제1 거리와 상기 제2 좌표와 상기 제4 좌표 사이의 제2 거리는 오차 범위 내에서 동일한,
차량 관리 장치.
- 제2항에 있어서,
상기 제1 이미지에 포함된 상기 가변 영역을 대표하는 좌표는 제5 좌표이고,
상기 제2 이미지에 포함된 상기 가변 영역을 대표하는 좌표는 제6 좌표이며,
상기 제1 좌표와 상기 제5 좌표 사이의 제3 거리는 상기 제2 좌표와 상기 제6 좌표 사이의 제4 거리와 다른,
차량 관리 장치.
- 제3항에 있어서,
상기 제1 거리와 상기 제2 거리의 차이는 상기 제3 거리와 상기 제4 거리의 차이보다 작은,
차량 관리 장치.
- 삭제
- 제1항에 있어서,
상기 제어부는 상기 제5 거리와 상기 제6 거리의 차이가 미리 정해진 값 이상인 경우 상기 가변 영역으로 판단하고, 상기 제5 거리와 상기 제6 거리의 차이가 상기 미리 정해진 값 미만인 경우 상기 고정 영역으로 판단하는,
차량 관리 장치.
- 제1항에 있어서,
상기 가변 영역은 상기 차량의 외부의 배경 영역인,
차량 관리 장치.
- 제1항에 있어서,
상기 가변 영역은 외부 광에 의해 외부 물체가 반사되어 이미지에 포함된 영역인
차량 관리 장치.
- 제1항에 있어서,
상기 손상 이미지는 상기 제1 이미지에 상기 가변 영역이 제거된 이미지이고,
상기 제1 이미지는 상기 제2 이미지에 비해 상기 차량이 이미지의 중앙영역에 가깝게 위치하는 이미지인,
차량 관리 장치.
- 제1항에 있어서,
센서부로부터 신호를 수신하는 통신부를 더 포함하고,
상기 센서부는 제1 센서와 제2 센서를 포함하고,
상기 제1 센서는 상기 차량의 진입 방향과 가까운 영역에 위치하고, 상기 제2 센서는 상기 차량의 진입 방향과 먼 영역에 위치하는,
차량 관리 장치.
- 제10항에 있어서,
상기 제1 시점과 상기 제2 시점은 시작시점과 종료시점 사이의 유효 기간 내의 시점이고,
상기 시작시점은 상기 통신부가 상기 제1 센서로부터 제1 신호를 수신한 시점이고,
상기 종료시점은 상기 통신부가 상기 제2 센서로부터 제2 신호를 수신한 시점이며.
상기 제1 이미지와 상기 제2 이미지는 상기 유효 기간 내에 획득된 다수의 이미지에 포함되는,
차량 관리 장치.
- 제11항에 있어서,
상기 시작시점은 상기 제1 센서에 의해 상기 차량이 감지된 다음 상기 차량의 감지가 종료된 시점이고,
상기 종료시점은 상기 제2 센서에 의해 상기 차량이 최초로 감지된 시점인,
차량 관리 장치.
- 제11항에 있어서,
상기 시작시점은 상기 제1 센서에 의해 상기 차량이 최초로 감지된 시점이고,
상기 종료시점은 상기 제2 센서에 의해 상기 차량이 감지된 다음 감지가 종료된 시점인,
차량 관리 장치.
- 제1항에 있어서,
차단기로부터 개방 정보를 수신하는 통신부를 더 포함하고,
상기 제1 시점과 상기 제2 시점은 시작시점과 종료시점 사이의 유효 기간 내의 시점이고,
상기 차단기가 개방된 시점은 상기 종료시점이고, 상기 차단기가 상기 개방된 시점보다 미리 정의된 만큼의 이전의 시점은 상기 시작시점이며,
상기 제1 이미지와 상기 제2 이미지는 상기 유효 기간 내에 획득된 다수의 이미지에 포함되는,
차량 관리 장치.
- 제10항에 있어서,
상기 카메라는 제1 카메라 및 제2 카메라를 포함하고,
상기 제1 카메라는 상기 제1 센서와 대응되는 영역에 위치하여, 상기 차량의 일측면을 촬영하고,
상기 제2 카메라는 상기 제2 센서와 대응되는 영역에 위치하여 상기 차량의 타측면을 촬영하는,
차량 관리 장치.
- 제1항에 있어서,
상기 제1 시점에 상기 카메라는 상기 제1 특징점과 제1 거리를 가지는 위치에 위치하고,
상기 제2 시점에 상기 카메라는 상기 제1 특징점과 제2 거리를 가지는 위치에 위치하고,
상기 제1 거리와 상기 제2 거리는 상이한,
차량 관리 장치.
- 제1항에 있어서,
상기 차량 관리 장치는 모바일 디바이스이고,
상기 카메라는 상기 모바일 디바이스에 내장된 카메라인,
차량 관리 장치.
- 제16항에 있어서,
상기 카메라는 시작 시점과 종료 시점 사이의 동영상을 촬영하고,
상기 제1 이미지와 상기 제2 이미지는 상기 동영상으로부터 추출된 이미지인,
차량 관리 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111494A KR102529430B1 (ko) | 2020-09-02 | 2020-09-02 | 차량 관리 장치 |
| PCT/KR2020/017004 WO2022050504A1 (ko) | 2020-09-02 | 2020-11-26 | 모바일 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200111494A KR102529430B1 (ko) | 2020-09-02 | 2020-09-02 | 차량 관리 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220029930A KR20220029930A (ko) | 2022-03-10 |
| KR102529430B1 true KR102529430B1 (ko) | 2023-05-08 |
Family
ID=80816352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200111494A KR102529430B1 (ko) | 2020-09-02 | 2020-09-02 | 차량 관리 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102529430B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001273499A (ja) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | 移動体検出方法およびその装置 |
-
2020
- 2020-09-02 KR KR1020200111494A patent/KR102529430B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001273499A (ja) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | 移動体検出方法およびその装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220029930A (ko) | 2022-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102529429B1 (ko) | 차량 관리 보조 방법 및 차량 관리 보조 장치 | |
| US11080841B1 (en) | Systems and methods for machine-assisted vehicle inspection | |
| KR102198296B1 (ko) | 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN108280524B (zh) | 识别车辆和生成预约信息的系统和方法 | |
| US11436652B1 (en) | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate | |
| CN115605889A (zh) | 确定车辆零件损坏的方法 | |
| CA3043280A1 (en) | Automatic image based object damage assessment | |
| KR102470594B1 (ko) | 차량 손상 관리 방법 및 차량 손상 관리 장치 | |
| CN108491782A (zh) | 一种基于行车图像采集的车辆识别方法 | |
| Sangnoree et al. | Thermal-image processing and statistical analysis for vehicle category in nighttime traffic | |
| CN114694385A (zh) | 停车管理方法、装置、系统、电子设备及存储介质 | |
| KR20120114099A (ko) | 차량 인식장치와 그 방법 및 차량 인식 기반 차량 출입 관리방법 | |
| KR102529430B1 (ko) | 차량 관리 장치 | |
| KR102223059B1 (ko) | 모바일 디바이스 | |
| CN108873097B (zh) | 无人停车库中载车板停车时的安全检测方法及装置 | |
| US20230334866A1 (en) | Remote Vehicle Inspection | |
| JP7277511B2 (ja) | 車推定装置 | |
| US11989787B2 (en) | Remote vehicle damage assessment | |
| CN112686136B (zh) | 一种对象检测方法、装置及系统 | |
| JP6891253B2 (ja) | 交通量計測装置 | |
| US20230334642A1 (en) | Vehicle Inspection Using a Mobile Application | |
| Gopikrishnan et al. | Smart Parking System with Automated Vehicle Log Using Haar Cascade Classifier ANPR | |
| KR102601464B1 (ko) | 딥 러닝을 이용한 주차 관리 방법 및 시스템 | |
| CN111696237A (zh) | 门禁控制装置、门禁控制方法及存储设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |