KR102541871B1 - 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법 - Google Patents

머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR102541871B1
KR102541871B1 KR1020210043075A KR20210043075A KR102541871B1 KR 102541871 B1 KR102541871 B1 KR 102541871B1 KR 1020210043075 A KR1020210043075 A KR 1020210043075A KR 20210043075 A KR20210043075 A KR 20210043075A KR 102541871 B1 KR102541871 B1 KR 102541871B1
Authority
KR
South Korea
Prior art keywords
moving
image
machine learning
learning model
estimate
Prior art date
Application number
KR1020210043075A
Other languages
English (en)
Other versions
KR20220137249A (ko
Inventor
노대균
Original Assignee
노대균
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노대균 filed Critical 노대균
Priority to KR1020210043075A priority Critical patent/KR102541871B1/ko
Publication of KR20220137249A publication Critical patent/KR20220137249A/ko
Priority to KR1020230071775A priority patent/KR102699642B1/ko
Application granted granted Critical
Publication of KR102541871B1 publication Critical patent/KR102541871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는, 프로세서에 의해 각 과정이 수행되며, 머신 러닝 모델을 이용한 이사견적 제공 방법에 있어서, 이사대상 물품 이미지 및 이사 부가 정보를 획득하는 과정; 상기 이사대상 물품 이미지에 기초하여 이사대상 물품 이미지 상의 물품에 바인딩된 단위박스를 인지하는 과정; 및 상기 단위박스 및 상기 이사 부가 정보에 기초하여 이사견적을 제공하는 과정을 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법을 제공할 수 있다.

Description

머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법{System for providing moving estimates using machine learning model and method thereof}
본 발명은 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법으로, 사용자가 촬영한 이미지에 기초하여 실시간으로 머신 러닝 모델을 이용한 이사견적을 제공하는 시스템 및 그 방법에 관한 것이다.
집에 대한 계약 만료일자가 다가오면 이사 대행 업체를 이용하기 위하여 다수의 이사 대행 업체에 이사 견적을 받는다. 이사 대행 업체는 고객에게 방문하여 주관적 판단에 의해 이사 견적을 산출하여 제시한다. 이러한 방법은 이사 대행 업체와 대면이 필수적이고, 시간 약속을 해야하는 불편함이 존재한다. 특히, 혼자사는 여성의 경우 이사 견적을 받기 위해 외부인을 집으로 초대하는 것 역시 부담일 수 있다. 이러한 불편함을 해소하기 위하여, 비대면 온라인 이사 견적 제공 서비스들이 생겨나고 있다.
일반적으로, 온라인 상에서 이사 견적을 알아보기 위하여 사용자가 직접 이사 물품 목록을 입력하여 이사 견적을 산출하지만, 이사 물품이 많고 제품 별로 크기와 부피 등이 차이가 있으므로 정확한 이사 견적을 도출하기에 어려운 점이 있었다.
종래 이사 견적 제공 시스템의 일 예로, 카메라 폰을 이용한 이사견적 방법(대한민국 공개특허 제10-2007-0104144호)이 있다. 이는 사용자가 카메라 폰을 이용하여 집안 내부의 이삿짐을 촬영하고 그 촬영한 사진 또는 동영상 정보를 이삿짐 센터 서버로 전송하여 이사 견적을 의뢰하면, 이후 이삿짐 센터 서버가 사진 또는 동영상 정보를 토대로 산출된 이사비용을 SMS를 통해 사용자에게 제공하도록 하는 방법이 개시되어 있다. 그러나, 종래의 이사 견적 제공 시스템의 일 예는, 관리자에 의해 이사물품 마다 가격정보가 입력되고, 이를 기초로 이사 견적을 산정하기 때문에 실시간으로 이사 견적을 사용자에게 제공할 수 없었다.
또한, 종래 이사 견적 제공 시스템의 다른 예로, 머신 러닝 모델을 이용하여 이사견적을 제공하는 서버 및 그 방법(대한민국 공개특허 제10-2020-0111002호)이 있다. 이는 물품 이미지로부터 물품 목록을 추출하고, 각 물품 목록을 사용자에게 제공하면, 사용자는 각 물품 별로 물품의 이미지를 입력하고, 서버는 각 물품의 이미지에 기초하여 이사 견적을 추출하는 방법이 개시되어 있다. 그러나, 종래의 이사 견적 제공 시스템의 다른 예는, 사용자가 각 물품 별로 정보 및 이미지를 입력해야 하므로 물품 목록이 많을수록 촬영시간이 오래 걸리는 문제가 있었다.
대한민국 공개특허 제10-2007-0104144호 대한민국 공개특허 제10-2020-0111002호
본 발명은 사용자에게 비대면으로 이사견적을 제공하는 시스템 및 그 방법을 제공하는데 목적을 가진다.
본 발명은 사용자에 의해 촬영된 물품 이미지에 기초하여 실시간으로 이사견적을 제공하는 시스템 및 그 방법을 제공하는데 목적을 가진다.
본 발명은 머신 러닝 모델을 이용하여 복수의 물품들이 포함된 물품 이미지에 기초한 이삿짐의 비용 견적을 제공하는 시스템 및 그 방법을 제공하는데 목적을 가진다.
본 발명은 물품 이미지에 기초한 이삿짐의 비용 견적을 제공하기 위해 물품 이미지에 라벨링을 하기 위한 시스템 및 그 방법을 제공하는데 목적을 가진다.
본 발명의 실시예는, 프로세서에 의해 각 과정이 수행되며, 머신 러닝 모델을 이용한 이사견적 제공 방법에 있어서, 이사대상 물품 이미지 및 이사 부가 정보를 획득하는 과정; 상기 이사대상 물품 이미지에 기초하여 이사대상 물품 이미지 상의 물품에 바인딩된 단위박스를 인지하는 과정; 및 상기 단위박스 및 상기 이사 부가 정보에 기초하여 이사견적을 제공하는 과정을 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법을 제공할 수 있다.
본 발명의 실시예에서, 상기 이사대상 물품 이미지에 기초하여 이사대상 물품 이미지 상의 물품에 바인딩된 단위박스를 인지하는 과정은, 제3머신 러닝 모델을 이용하여 상기 이사대상 물품 이미지를 기 설정된 스케일로 조절하여 스케일 조절된 이사대상 물품 이미지를 생성하는 과정; 및 제2머신 러닝 모델을 이용하여 상기 머신 러닝 모델을 상기 스케일 조절된 이사대상 물품 이미지 상에 바인딩된 단위박스에 관한 정보를 생성하는 과정을 포함할 수 있다.
본 발명의 실시예에서, 상기 바인딩된 단위박스에 관한 정보는, 이사대상 물품 이미지 상에 바인딩된 단위박스의 종류, 상기 바인딩된 단위박스 내 물품의 명칭, 상기 단위박스의 바인딩된 단위박스의 위치에 관한 정보를 포함할 수 있다.
본 발명의 실시예는, 제1머신 러닝 모델을 이용하여 상기 이사대상 물품 이미지에서 물품으로 표시된 표시영역과 비표시영역으로 분리하는 과정을 더 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법을 제공할 수 있다.
본 발명의 실시예는, 상기 이사대상 물품 이미지는 상기 이사대상 물품 이미지의 스케일 조절을 위해 사용되는 식별표지가 부착된 물품들의 촬영 사진 혹은 동영상 인 것을 특징으로 하는, 머신 러닝 모델을 이용한 이사견적 제공 방법을 제공할 수 있다.
본 발명의 실시예에는, 물품 이미지에 적어도 하나의 단위박스가 바인딩된 라벨링된 물품 이미지를 획득하는 과정; 및 상기 라벨링된 물품 이미지를 이용하여 상기 제2머신 러닝 모델 혹은 상기 제3머신 러닝 모델을 학습시키는 과정을 더 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법을 제공할 수 있다.
본 발명의 실시예에서, 상기 라벨링된 물품 이미지는 상기 물품 이미지 상에 적어도 하나의 단위박스가 바인딩되어 있으며, 상기 바인딩된 적어도 하나의 단위박스의 내부 물품의 명칭, 상기 바인딩된 적어도 하나의 단위박스의 위치 정보를 포함할 수 있다.
본 발명은 사용자에게 비대면으로 이사견적을 제공하는 시스템 및 그 방법을 제공하는 효과를 가진다.
본 발명은 사용자에 의해 촬영된 물품 이미지에 기초하여 실시간으로 이사견적을 제공하는 시스템 및 그 방법을 제공하는 효과를 가진다.
본 발명은 머신 러닝 모델을 이용하여 복수의 물품들이 포함된 물품 이미지에 기초한 이삿짐의 비용 견적을 제공하는 시스템 및 그 방법을 제공하는 효과를 가진다.
본 발명은 물품 이미지에 기초한 이삿짐의 비용 견적을 제공하기 위해 물품 이미지에 라벨링을 하기 위한 시스템 및 그 방법을 제공하는 효과를 가진다.
도 1은 본 발명의 실시예에 따른 이사견적 제공 시스템의 구성을 보여주는 개략도이다.
도 2는 본 발명의 실시예에 따른 이사견적 제공 단말의 구성을 보여주는 개략도이다.
도 3은 본 발명의 실시예에 따른 이사견적 제공 서버의 구성을 보여주는 개략도이다.
도 4a는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 방법의 각 과정에 대한 흐름도를 도시한 것이다. 도 4b는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적을 제공하는 머신 러닝 모델의 구성을 보여주는 개략도를 도시한 것이다.
도 5a는 본 발명의 실시예에 따른 고객 단말에서 이사물품의 사진을 입력하는 화면을 보여주는 도면이다. 도 5b는 본 발명의 실시예에 따른 고객 단말에서 이사 부가 정보 입력 화면을 보여주는 도면이다. 도 5c는 본 발명의 실시예에 따른 고객 단말에서 예상이사견적 화면을 보여주는 도면이다.
도 6은 본 발명의 실시예에서 이사물품 이미지에 대한 사이즈를 인식하는 화면을 보여주는 도면이다.
도 7a는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 머신 러닝 모델을 학습시키는 방법을 보여주는 흐름도이다.
도 7b는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 머신 러닝 모델을 학습시키는 개략도에 대한 도면이다.
도 7c는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 방법으로 머신 러닝 모델의 학습과 사용을 수행하는 과정에 대한 흐름도를 도시한 것이다.
도 8은 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 시스템의 구성도를 도시한 것이다.
도 9은 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 방법의 흐름도를 도시한 것이다.
도 10 내지 도 11은 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 화면들을 도시한 것이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용한 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서 첨부된 도면을 참고하여, 본 발명의 실시예에 따른 이사견적 제공 시스템 및 그 방법을 설명한다.
도 1은 본 발명의 실시예에 따른 이사견적 제공 시스템의 구성을 보여주는 개략도이다. 도 2는 본 발명의 실시예에 따른 이사견적 제공 단말의 구성을 보여주는 개략도이다. 도 3은 본 발명의 실시예에 따른 이사견적 제공 서버의 구성을 보여주는 개략도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 이사견적 제공 서버(2000)는 고객 단말(1000)로부터 제공되는 이사대상 물품의 이미지에 기초하여 예상 이사 견적을 고객 단말(1000)에게 제공할 수 있다. 본 발명의 실시예에 따른 고객 단말(1000)은 사용자가 촬영한 이사대상 물품의 이미지를 이사견적 제공 서버(2000)에게 제공하고, 이사견적 제공 서버(2000)로 부터 수신한 이사견적을 사용자에게 제공할 수 있다.
도 2를 참조하면, 본 발명의 실시예에 따른 고객 단말(1000)은, 메모리(1100), 출력부(1200), 프로세서(1300), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 및 사용자 입력부(1700)를 포함할 수도 있다.
메모리(1100)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 고객 단말(1000)로 입력되는 정보 또는 고객 단말(1000)로부터 출력되는 정보를 저장할 수도 있다.
메모리(1100)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1110)은, 애플리케이션 별로 고객 단말(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다.
디스플레이부(1200)는 고객 단말(1000)에서 처리되는 정보를 표시 출력한다. 구체적으로, 디스플레이부(1200)는 카메라(1610)에서 촬영된 이미지를 출력할 수 있다. 디스플레이부(1200)는, 사용자의 입력에 대한 응답으로, 응답에 관련된 동작을 실행하기 위한 사용자 인터페이스를 디스플레이할 수 있다.
프로세서(1300)는, 통상적으로 고객 단말(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1700), 디스플레이부(1200), 센싱부(1400), 통신부(1500), 카메라(1700) 등을 전반적으로 제어할 수 있다.
센싱부(1400)는, 고객 단말(1000)의 상태 또는 고객 단말(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
통신부(1500)는, 고객 단말(1000)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 고객 단말(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되는 것은 아니다.
카메라(1600)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡처된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
사용자 입력부(1700)는, 사용자가 고객 단말(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다.
도 3을 참조하면, 본 발명의 실시예에 따른 이사견적 제공 서버(2000)는, 서버 메모리(2100), 서버 통신부(2500), 서버 프로세서(2300)를 포함할 수 있다.
서버 메모리(2100)는 예상 이사견적 서비스를 제공하기 위한 프로그램이 기록될 수 있다. 서버 메모리(2100)는 서버 프로세서(2300)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다.
서버 메모리(2100)은 예상 이사견적을 제공하기 위한 정보를 저장할 수 있다. 예를 들어, 제1머신 러닝 모델, 제2머신 러닝 모델, 제3머신 러닝 모델의 프로그램, 이들 모델들에 대한 학습 데이터, 물품 이미지 파일 등이 서버 메모리(2100)에 저장되어 있거나 저장될 수 있다.
서버 통신부(2500)는 통신망에 연동하여 고객 단말(1000)과 데이터를 송수신하는 역할을 수행할 수 있다. 서버 통신부(2500)은 다른 네트워크 장비와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위한 하드웨어 혹은 소프트웨어를 포함할 수 있다.
서버 프로세서(2300)는 서버 메모리(2100), 서버 통신부(2500)에 연결되며, 예상 이사견적 서비스를 제공하기 위한 방법의 각 과정을 제어할 수 있다. 서버 프로세서(2300)은 프로세서와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 프로세서는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.
도 4a는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 방법의 각 과정에 대한 흐름도를 도시한 것이다. 도 4b는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적을 제공하는 머신 러닝 모델의 구성을 보여주는 개략도를 도시한 것이다. 도 5a는 본 발명의 실시예에 따른 고객 단말에서 이사물품의 사진을 입력하는 화면을 보여주는 도면이다. 도 5b는 본 발명의 실시예에 따른 고객 단말에서 이사 부가 정보 입력 화면을 보여주는 도면이다. 도 5c는 본 발명의 실시예에 따른 고객 단말에서 예상이사견적 화면을 보여주는 도면이다.
도 4a를 참조하면, 본 발명의 실시예에 따른 이사견적 제공 서버(2000)에서 이사견적 제공하는 방법은, 이사물품 이미지 및 이사 부가 정보를 획득하는 과정(S110), 머신 러닝 모델을 이용하여 이사물품을 인지하는 과정(S120), 이사견적비용을 산출하는 과정(S130)을 포함할 수 있다.
과정(S110)에서, 이사견적 제공 서버(2000)는 고객 단말(1000)로부터 전송되는 이사물품 이미지 및 이사 부가 정보를 수신하는 과정을 수행할 수 있다.
도 5a를 참조하면, 고객 단말(1000)은 사용자로부터 이사물품 이미지를 입력받아, 이사견적 제공 서버(2000)에게 전달 할 수 있다. 이사물품 이미지는 사용자가 카메라(1600)를 이용하여 촬영한 이미지 혹은 동영상일 수 있다.
고객 단말(1000)은 사용자로부터 이사물품 이미지를 입력받을 때 장소 별로 이사물품 이미지를 받을 수 있다. 사용자는 고객 단말(1000)에서 방, 주방, 거실 등과 같이 실내 공간을 선택하고, 선택된 실내 공간 별로 복수의 이사물품 이미지들을 추가할 수 있다. 예를 들어, 방1에서 촬영된 이사물품에 대한 이미지들, 주방에서 촬영된 이사물품에 대한 이미지들, 방2에서 촬영된 이사물품에 대한 이미지들, 주방/거실에서 촬영된 이사물품에 대한 이미지들이 있을 수 있다. 고객 단말(1000)은 이사견적 제공 서버(2000)에게 실내 공간 별로 이사물품 이미지를 전송할 수 있다. 이사견적 제공 서버(2000)는 선택된 실내 공간 및 복수의 이사물품 이미지에 기초하여 방의 개수, 방의 크기, 각 방의 내부 구조 등을 확인할 수 있다.
이사견적 제공 서버(2000)가 고객 단말(1000)로부터 수신한 이사물품 이미지는 해당 이사물품이 어느 실내 공간에 놓여있는지에 관한 정보를 포함할 수 있다
이사물품의 이미지는 복수개의 물품들에 대한 이미지일 수 있다. 이사물품 이미지는 1개 물품이 아니라 방, 거실, 주방과 같은 공간에 배치되어 있는 복수개의 물품들을 전체적으로 촬영한 사진 또는 동영상일 수 있다.
도 5b를 참조하면, 고객 단말(1000)은 사용자로부터 이사 부가 정보를 입력받아, 이사견적 제공 서버(2000)에게 전달할 수 있다. 이사 부가 정보는 출발지에 관한 정보 및 도착지에 관한 정보를 포함할 수 있다. 출발지에 관한 정보는 출발지 주소, 주거 중인 집의 종류, 층수, 엘리베이터 유무, 사다리차 필요 등의 정보를 포함할 수 있다. 도착지에 관한 정보는 도착지 주소, 주거할 집의 종류, 층수, 엘리베이터 유무, 사다리차 필요 등의 정보를 포함할 수 있다.
과정(S120)에서, 이사견적 제공 서버(2000)는 머신 러닝 모델을 이용하여 이사물품을 인지할 수 있다.
과정(S120)에서, 이사견적 제공 서버(2000)는 제1머신 러닝 모델을 이용하여 복수의 이사물품을 포함하는 이사물품 이미지와 복수의 이사물품이 아닌 배경 혹은 집의 벽면 영역을 분리하는 과정(S121)을 수행할 수 있다. 다시 말해, 이사견적 제공 서버(2000)는 제1머신 러닝 모델에 이사물품 이미지를 입력하면 복수의 이사물품에 대한 테두리 영역과 그 외 영역을 분리하여 복수의 이사물품에 대한 테두리 영역으로 이뤄진 이미지를 출력할 수 있다.
과정(S120)에서, 이사견적 제공 서버(2000)는 제2머신 러닝 모델을 이용하여 이사물품 이미지 속에 복수의 이사물품에 대한 영역에 대한 단위박스의 개수를 인지하는 과정(S122)을 수행할 수 있다. 다시 말해, 이사견적 제공 서버(2000)는 제2머신 러닝 모델에 이사물품 이미지를 입력하면, 이사물품 이미지 속에 복수의 이사물품에 대한 영역이 단위박스로 몇개인지 판단할 수 있다. 이 경우 이사물품 이미지는 복수의 이사물품들을 포함하는 사진 혹은 동영상일 수 있다.
또는, 과정(S120)에서, 이사견적 제공 서버(2000)는 제2머신 러닝 모델에 이사물품 이미지에서 분리된 복수의 이사물품에 대한 테투리 영역만으로 이뤄진 이미지를 입력하면, 복수의 이사물품에 대한 테투리 영역이 단위박스로 몇개인지 판단할 수 있다. 이 경우 제2머신 러닝 모델에 입력된 이사물품 이미지는 복수의 이사물품에 대한 영역과 그 외 영역(배경 혹은 집의 벽면)이 구분되거나 분리된 이미지일 수 있다.
과정(S120)에서, 이사견적 제공 서버(2000)는 제3머신 러닝 모델을 이용하여 이사물품 이미지의 스케일을 획득하는 과정(S123)을 수행할 수 있다. 또한, 이사견적 제공 서버(2000)는 이사물품 이미지에 대한 스케일을 조절하여, 특정한 스케일 값을 가지는 스케일 조절된 이사물품 이미지를 생성할 수 있다.
고객 단말(1000)로부터 수신된 이사물품 이미지들은 모두 피사체와의 거리, 촬영된 배율 등에 따라 이미지 속에서 피사체의 크기가 모두 다를 수 있다. 이를 보정하기 위하여, 이사견적 제공 서버(2000)는 수신된 이사물품 이미지 속에 포함된 복수의 이사물품 중 적어도 하나를 제3머신 러닝 모델을 이용하여 기준 피사체로 인지할 수 있다. 기준 피사체는 복수의 이사물품 중 하나로, 예를 들어, 침대, 책, 화장품 등 가정집에서 사용되는 어떠한 물건이라도 상관 없다.
이사견적 제공 서버(2000)는 기준 피사체를 인지하면, 해당 기준 피사체에 대응하는 물품의 스펙 정보를 메모리()로부터 읽어들여서, 해당 물품의 실제 길이와 이미지 상 기준 피사체의 길이를 대비하여 이미지 상 기분 피사체의 제1스케일 값을 결정할 수 있으며, 제1스케일 값을 기 설정된 제2스케일 값으로 조절하기 위해 해당 이사물품 이미지를 스케일 업 혹은 다운하여 스케일 조절된 이사물품 이미지를 생성할 수 있다.
또는, 도 6에 도시된 바와 같이, 이사견적 제공 서버(2000)는 복수의 이사물품을 포함하는 이미지로부터 인식 가능한 식별표지를 인지할 수 있다. 식별표지는 이사견적을 원하는 사용자의 요청에 의해 혹은 사용자가 출력한 바코드 혹은 QR 코드일 수 있다. 사용자는 이사견적을 받길 원할 경우, 식별표지를 이사물품에 부착한 상태에서 식별표지가 포함되도록 이사물품 이미지를 촬영할 수 있다.
이사견적 제공 서버(2000)는 식별표지가 포함된 이사물품 이미지 속 식별표지를 인식하고, 인식된 식별표지를 이용하여 이사물품 이미지 속 복수의 이사물품들에 대한 길이(예시. 사이즈, 넓이)를 인식하고, 해당 물품의 실제 길이(예시. 사이즈, 넓이)와 이미지 상 물품의 길이(예시. 사이즈, 넓이)를 대비하여 이미지 상 물품의 제1스케일 값을 결정할 수 있으며, 제1스케일 값을 기 설정된 제2스케일 값으로 조절하기 위해 해당 이사물품 이미지를 스케일 업 혹은 다운하여 스케일 조절된 이사물품 이미지를 생성할 수 있다.
또는, 도 6을 참조하면, 식별표지가 사용자에 의해서 바닥으로부터 약속되거나 사용자에 의해 설정된 소정 거리 높이(예를 들어, 1m 혹은 50cm)에 부착된 경우, 이사견적 제공 서버(2000)는 이사물품 이미지 속의 식별표지와 바닥 사이의 거리(VL1)와 상기 소정 거리 높이를 대비하여, 스케일 조절된 이사물품 이미지를 생성할 수 있다.
또는, 도 6을 참조하면, 식별표지가 2개 이상 이사물품에 부착된 경우, 약속되거나 사용자에 의해 설정된 소정 이격 거리(예를 들어, 1m 혹은 50cm)를 두고 부착된 경우, 이사견적 제공 서버(2000)는 이사물품 이미지 속의 식별표지들 사이의 거리(HL1)과 상기 소정 이격 거리를 대비하여, 스케일 조절된 이사물품 이미지를 생성할 수 있다.
이사견적 제공 서버(2000)는 상술한 과정들 S121, S122, S123 중 적어도 하나를 수행하거나 적어도 2개의 조합으로 순서대로 혹은 임의의 순서로 수행할 수 있다.
제1, 제2, 제3 머신 러닝 모델은 각각 RNN(Recurrent Neural Network) 또는 CNN(Convolution Neural Network)의 딥러닝 모델이 사용될 수 있다. 제1, 제2, 제3 머신 러닝 모델은 서로 다른 학습 데이터로 학습되며, 구체적인 학습 데이터의 내용은 후술하기로 한다.
단위박스는 2차원으로 형성된 사각형으로 일정한 넓이를 가질 수 있다. 단위박스는 이사물품을 포장할 경우 일정한 크기(체적)를 갖는 3차원 박스에 대응하는 것으로, 이사견적 제공 서버(2000)는 단위박스를 이용하여 실제 이사할 경우 3차원 박스가 몇개 필요한지 판단할 수 있다. 단위박스가 일정한 크기로 설정된 경우, 이사견적 제공 서버(2000)는 스케일 조절된 이사물품 이미지 속에서 복수의 이사물품들이 차지하는 영역에 일정한 크기의 단위박스가 몇개에 대응하는지 확인할 수 있다.
과정(S130)에서, 이사견적 제공 서버(2000)는 이사견적비용을 산출하는 과정을 수행할 수 있다.
이사견적 제공 서버(2000)는 단위박스의 개수에 기초하여 이사물품들에 대한 이사견적비용을 계산하고, 이사견적비용을 고객 단말(1000)에게 전송할 수 있다.
예를 들어, 이사견적 제공 서버(2000)는 단위박스의 개수에 기초하여 포장 및 상하차 비용을 산출할 수 있다. 포장 및 상하차 비용은 단위박스의 개수에 단위박스 당 비용을 곱하여 계산될 수 있다. 구체적인 예로, 단위박스 당 대략 1만원으로 이사물품 이미지들로부터 30개의 단위박스가 카운팅되면, 30만원을 포장 및 상하차 비용으로 산출할 수 있다.
또한, 이사견적 제공 서버(2000)는 단위박스의 개수에 기초하여 화물운송비용을 산출할 수 있다. 화물운송비용은 단위박스의 개수에 따라 화물운송차량의 종류, 사이즈, 대수를 결정하고, 출발지 및 도착지 사이의 거리 및 도로 사정, 운송차량의 종류, 사이즈, 대수에 기초하여 계산될 수 있다. 구체적인 예로, 1톤 트럭 1대 기준으로 대략 15km 정도에 3~5만원 정도 기준으로 1톤 트럭 1대는 대략 30~45개의 단위박스를 실을 수 있으나, 그 이상의 단위박스의 개수에 대해선 1톤 트럭 2개 혹은 그 이상의 용량 트럭 1대가 필요하다.
또한, 이사견적 제공 서버(2000)는 단위박스의 개수 혹은 스케일 조절된 단위박스의 개수에 기초하여 기타 비용을 산출할 수 있다. 기타 비용은 사다리차 유무, 계단 유무, 포장이사 유무 등에 대한 정보에 기초하여 계산될 수 있다. 예를 들어, 엘리베이터가 없는 경우 한층 당 대략 1만원의 추가 비용이 발생하며, 사다리차를 사용하는 경우 1회 사용 시 최소 10만원 이상의 비용이 발생한다.
도 5c를 참조하면, 고객 단말(1000)은 이사견적 제공 서버(2000)로부터 수신한 이사견적비용에 대한 정보를 디스플레이부(1200)를 통해서 사용자에게 제공할 수 있다. 이사견적비용에 대한 정보는 출발지 및 도착지에 관한 정보, 포장 및 상하차 비용, 화물운송비용, 및 기타비용에 대한 총 예상 이사견적비용을 포함할 수 있다.
도 7a는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 머신 러닝 모델을 학습시키는 방법을 보여주는 흐름도이다. 도 7b는 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 머신 러닝 모델을 학습시키는 개략도에 대한 도면이다.
도 7a 및 도 7b를 참조하면, 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 머신 러닝 모델을 학습시키는 방법은, 라벨링된 물품 이미지를 획득하는 과정(S210), 라벨링된 물품 이미지를 학습 데이터로 이용하여 머신 러닝 모델을 학습시키는 과정(S220)을 포함할 수 있다.
과정(S210)에서, 이사견적 제공 서버(2000)는 라벨링된 물품 이미지를 획득할 수 있다. 물품 이미지는 복수의 물품들을 포함하는 사진 혹은 동영상이다.
라벨링된 물품 이미지는 복수의 물품들 상에 복수의 단위박스들(혹은 1/2단위박스들)이 표시된 이미지일 수 있다. 단위박스는 2차원 직사각형으로 일정한 넓이를 가질 수 있다. 1/2단위박스는 단위박스의 절반에 대응하는 넓이를 가질 수 있다.
한개의 단위박스(혹은 1/2단위박스들)는 내부 영역에 복수의 작은 물품들을 포함하도록, 라벨링된 물품 이미지 상에 표시될 수 있다. 혹은, 복수개의 단위박스가 한개의 물품을 덮도록, 라벨링된 물품 이미지 상에 표시될 수 있다.
라벨링된 물품 이미지는 단위박스 혹은 1/2 단위박스에 의해 바인딩된 물품의 명칭, 단위박스 혹은 1/2단위박스의 바인딩 위치 정보를 포함할 수 있다. 이사견적 제공 서버(2000)는 바인딩된 물품 및 바인딩 위치에 기초하여 단위박스 혹은 1/2 단위박스에 의해 바인딩된 물품이 한 개 혹은 복수인지 확인할 수 있다.
예를 들어, 복수의 단위박스 혹은 1/2단위박스들이 동일한 물품 명칭을 가지거나 나아가 서로 교차하는 영역을 가진다면, 복수의 단위박스 혹은 1/2 단위박스에 의해 바인딩된 물품은 한 개의 단위박스 혹은 1/2단위박스에 의해 바인딩될 수 없는 대형 물품(예로, 침대와 같은 대형 가구)일 수 있다(도 11 참조).
라벨링된 물품 이미지는 물품 이미지 속 물품들이 실제 물품 대비 일정한 스케일을 가지도록 스케일 조절된 이사물품 이미지일 수 있다. 라벨링된 물품 이미지 상의 물품들이 일정한 스케일을 가짐으로써, 라벨링된 물품 이미지를 학습 데이터로 머신 러닝 모델을 학습시킬 때 일정한 성능을 도출할 수 있다.
과정(S220)에서, 이사견적 제공 서버(2000)는 라벨링된 물품 이미지를 학습 데이터로 머신 러닝 모델을 학습시킬 수 있다.
과정(S220)에서, 이사견적 제공 서버(2000)는 라벨링된 제1물품 이미지를 이용하여 제1머신 러닝 모델을 학습시킬 수 있다. 이 경우 라벨링된 제1물품 이미지는 물품들 상에 단위박스 혹은 1/2단위박스로 바인딩되어 표시된 표시영역과 표시영역을 제외한 비표시영역을 포함할 수 있다.
라벨링된 제1물품 이미지로 학습된 제1머신 러닝 모델은 물품 이미지에서 복수의 물품에 관한 영역과 그 외 영역을 분리할 수 있으며, 그 경계선 혹은 복수의 물품에 관한 영역만으로 된 이미지를 생성할 수 있다.
과정(S220)에서, 이사견적 제공 서버(2000)는 라벨링된 제2물품 이미지를 이용하여 제2머신 러닝 모델을 학습시킬 수 있다. 이 경우 라벨링된 제2물품 이미지는 물품 이미지 속 물품들 상에 바인딩되어 표시된 복수의 단위박스 혹은 1/2단위박스, 바인딩된 물품의 명칭, 바인딩된 위치 정보를 포함할 수 있다.
라벨링된 제2물품 이미지로 학습된 제2머신 러닝 모델은 물품 이미지에서 몇개의 단위박스 혹은 1/2단위박스로 물품들에 바인딩될 수 있는지, 바인딩된 물품의 명칭, 바인딩된 위치 정보를 제공할 수 있다.
과정(S220)에서, 이사견적 제공 서버(2000)는 라벨링된 제3물품 이미지를 이용하여 제3머신 러닝 모델을 학습시킬 수 있다. 이 경우 라벨링된 제3물품 이미지는 각 물품들에 대한 길이 혹은 사이즈에 대한 정보로 라벨링될 수 있다. 또는 라벨링된 제3물품 이미지는 적어도 하나의 식별표지가 부착된 물품의 사진 혹은 동영상일 수 있다.
제3물품 이미지로 학습된 제3머신 러닝 모델은 물품 이미지에 속하는 물품의 사이즈가 얼마나 작은 혹은 큰 스케일을 갖는지에 대한 정보를 제공할 수 있다. 제3물품 이미지로 학습된 제3머신 러닝 모델은 기 설정된 스케일을 갖도록 입력된 물품 이미지의 스케일을 조절하여 스케일 조절된 물품 이미지를 생성할 수 있다.
도 7c를 참조하면, 본 발명의 실시예에 따른 이사견적 제공 서버에서 이사견적 제공하는 방법으로, 머신 러닝 모델을 학습하는 과정(S200)과 , 학습된 머신 러닝 모델을 사용하는 과정(S100)을 포함할 수 있다.
머신 러닝 모델을 학습하는 과정(S200)은 상술한 과정 S210 및 S220을 포함할 수 있다. 또한, 학습된 머신 러닝 모델을 사용하는 과정(S100)은 상술한 과정 S110 내지 S130을 포함할 수 있다.
도 8은 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 시스템의 구성도를 도시한 것이다. 도 9은 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 방법의 흐름도를 도시한 것이다. 도 10 내지 도 11은 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 화면들을 도시한 것이다.
도 8을 참조하면, 본 발명의 실시예에 따른 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 시스템은, 라벨링 서버(4000), 작업자 단말(3000), 검수자 단말(5000)을 포함할 수 있다.
도 9를 참조하면, 본 발명의 실시예에 따른 라벨링 서버(4000)에서 이사견적을 제공하기 위해 사용되는 라벨링된 물품 이미지를 생성하는 방법은, 물품 이미지를 제공하는 과정(S310), 작업자에 의해 물품 이미지에 대한 라벨링 정보를 입력 받는 과정(S320), 작업자에 의해 라벨링된 결과물을 검수자에게 검수 요청하는 과정(S330), 검수자에 의해 결과물의 검수 및 수정 후 수정된 결과물을 작업자에게 검수 요청하는 과정(S340), 작업자에 의한 수정된 결과물의 검수 과정(S350)을 포함할 수 있다.
도 10를 참조하면, 과정(S310)에서, 라벨링 서버(4000)는 물품 이미지를 작업자 단말(3000)의 화면을 통해 작업자에게 제공할 수 있다. 라벨링 서버(4000)는 앞서 설명한 방법 중 하나를 이용하여 물품 이미지의 스케일을 조절하여 스케일 조절된 이사물품 이미지를 생성하고, 작업자 단말(3000)의 화면을 통해 작업자에 스케일 조절된 이사물품 이미지를 생성할 수 있다. 다시 말해, 작업자 단말(3000)의 화면에 제공되는 물품 이미지들은 모두 물품 이미지 속 물품들이 기설정된 스케일 값으로 조절되도록 설정될 수 있다. 라벨링 서버(4000)는 물품 이미지의 스케일 조절을 위해 제3머닝 러싱 모델을 사용할 수 있다.
과정(S320)에서, 라벨링 서버(4000)는 작업자에 의해 물품 이미지에 대한 라벨링 정보를 입력받을 수 있다. 작업자가 모든 물품 이미지에 대한 라벨링 작업이 완료되면, 작업자는 작업자 단말(3000)을 통해 라벨링 서버(4000)에게 라벨링된 물품 이미지에 관한 정보를 송신하고, 라벨링 서버(4000)는 작업자에 의해 라벨링된 물품 이미지에 관한 정보를 수신할 수 있다.
라벨링 서버(4000)는 작업자 단말(3000)에게 물품 이미지에 대한 라벨링 작업을 위한 작업자 단말(3000)의 화면을 제공할 수 있다. 작업자 단말(3000)의 화면은 물품 이미지를 출력하는 영역(A1)과, 물품 이미지에 라벨링을 하기 위한 단위박스 혹은 1/2 단위박스를 선택하는 버튼 영역(A2), 선택된 버튼에 따라 세부 정보를 보여주는 영역(A3), 라벨링된 정보를 저장할 수 있는 저장 버튼 영역(A4)을 포함할 수 있다.
작업자는 물품 이미지 상에 바인딩시키기 위한 단위박스 혹은 1/2단위박스를 선택하고, 물품 이미지의 특정 위치(P1)을 클릭하면, 특정 위치(P1)를 기준으로 일정한 크기의 단위박스가 물품 이미지 상에 바인딩될 수 있다. 사용자는 반복적으로 단위박스 혹은 1/2단위박스를 선택하고, 물품 이미지의 특정 위치(P2~P6)을 클릭하면, 해당 특정 위치(P2~P6)를 기준으로 일정한 크기의 단위박스가 물품 이미지 상에 바인딩될 수 있다.
단위박스란 물품 이미지 속 물품들을 이사짐으로 포장할 경우 일정한 체적을 가지는 한개의 3차원 박스에 포장될 수 있는 물품들을 지정하는 단위를 의미한다. 다시 말해, 단위박스는 이사물품을 포장할 때 한 개의 3차원 박스에 포장될 물품들에 대한 기준을 제안한다. 예를 들어, 물품 이미지 상에 2개의 단위박스가 바인딩되어 표시될 경우, 물품 이미지 상에 물품들은 2개의 3차원 박스에 의해서 포장이 가능함을 의미할 수 있다. 3차원 박스의 사이즈는 상황에 따라 혹은 설정에 따라 변경될 수 있으나, 바람직하게 우체국5호 박스를 기준으로 할 수 있다. 1/2단위박스는 한개의 단위박스의 반에 대응하는 물품들을 의미한다.
세부정보는 바운딩 박스의 순번, 박스의 종류, 박스가 바인딩된 물품의 명칭, 박스의 바인딩 위치 정보 중 적어도 하나를 포함할 수 있다. 박스가 바인딩된 물품의 명칭은 작업자에 의해 입력되거나 기설정된 명칭을 드롭다운 방식으로 제공할 수 있다.
작업자는 물품 이미지 상에 모든 물품들에 대해 단위박스를 바인딩시키면, 저장 버튼을 누름으로써, 한개의 물품 이미지에 대한 라벨링 작업을 완료할 수 있다.
물품 이미지에 대한 라벨링 작업은 이삿짐 센터의 견적 전문가를 작업자 및 검수자로 하여 정확한 이사견적에 대한 학습 데이터를 구출한다.
도 11을 참조하면, 한 개의 단위박스는 복수의 물품들을 감싸도록 물품 이미지 상에 바인딩될 수 있다. 또는, 복수의 단위박스들이 한 개의 물품들을 감싸도록 물품 이미지 상에 바인딩될 수 있다. 이는, 1/2단위박스도 동일하게 복수의 물품들을 감쌀 수 있으며, 복수의 1/2단위박스가 한개의 물품을 감쌀 수 있다.
라벨링 서버(4000)는 물품명이 일치하는 경우 한개의 물품에 복수의 단위박스 혹은 1/2단위박스가 바인딩되었다고 판단할 수 있다. 다시 말해, 동일한 물품명을 가지는 복수의 단위박스가 바인딩된 물품은 한개의 상자에 포장될 수 없는 이사짐을 의미할 수 있다. 예를 들어, 침대와 같이 큰 가구를 의미할 수 있다.
라벨링 서버(4000)는 단위박스의 크기 및 단위박스의 위치(좌표)에 기초하여 단위박스들 간 교차하는 영역의 발생 여부를 확인할 수 있다. 만약, 복수의 단위박스들이 교차하지만 물품명이 일치하지 않는 경우, 라벨링 서버(4000)는 교차여부와 상관 없이 각각의 단위박스를 카운팅한다.
만약, 복수의 단위박스들이 교차하면서 물품명이 일치하는 경우 라벨링 서버(4000)는 동일한 물품명을 가지는 단위박스들의 교차하는 영역을 계산하고, 교차 영역 대비 단위박스의 크기의 비율을 계산하고, 카운팅된 전체 단위박스의 개수에서 해당 비율을 차감함으로써, 물품 이미지 상의 단위박스의 개수를 계산할 수 있다.
예를 들어, 도 10의 경우 주방잡화1~주방잡화6에 대한 단위박스 6개가 물품 이미지 상에 바인딩되었으므로, 총 단위박스의 개수는 6으로 카운팅 된다. 도 11의 경우, (이불1, 이블2)에 대한 1/2단위박스 2개를 단위박스로 환산하여 1개, (침대1)에 대한 단위박스 3.6개 (교차 영역을4/10으로 계산한 경우 4개 - 0.4개 = 3.6개)가 물품 이미지 상에 바인딩되었으므로, 총 단위박스의 개수는 4.6개로 카운팅 된다.
참고로, 2차원의 물품 이미지 속 복수의 몰품들을 단위박스로 바인딩함으로써, 생성된 라벨링된 물품 이미지를 이용하여 전술한 머신 러닝 모델이 학습되며, 학습된 머신 러닝 모델은 물품 이미지를 입력 받으면, 물품들에 대한 단위박스의 개수(혹은, 물품 이미지 상에 바인딩된 단위박스, 단위박스 내의 물품의 명칭, 단위박스의 이미지 상 위치)를 출력할 수 있다. 따라서, 이사견적 제공 서버(2000)는 총 단위박스의 개수에 따라 일관되고 형식적으로 이사 비용을 산정하여, 신속하게 이사 견적을 산출할 수 있는 기준을 제안할 수 있다.
다시 도9를 참조하면, 과정(S330)에서, 라벨링 서버(4000)는 작업자에 의해 라벨링된 결과물을 검수자에게 검수 요청하는 과정을 수행할 수 있다. 작업자가 라벨링된 결과물을 라벨링 서버(4000)에게 전송하면, 라벨링 서버(4000)는 작업자에 의해 라벨링된 결과물을 검수자 단말(5000)에게 전송할 수 있으며, 검수자 단말(5000)은 작업자에 의해 라벨링된 결과물을 검수자 단말(5000)의 화면을 통해 검수자에게 제공할 수 있다.
과정(S340)에서, 라벨링 서버(4000)는 검수자에 의해 결과물의 검수 정보 및 결과물에 대해 검수자의 수정 사항이 반영된 수정된 결과물을 수신하는 과정과, 검수자에 의해 수정된 결과물을 작업자에게 다시 전송하면서 검수를 요청하는 과정을 수행할 수 있다.
검수자에 의해 검수된 작업자의 결과물에서 수정될 부분이 없다면, 검수자는 작업자의 결과물에 대해 승인을 하게 된다. 이 경우, 라벨링 서버(4000)는 검수자로부터 결과물의 승인 정보를 수신하는 과정 및 해당 라벨링 작업을 종료할 수 있다.
한편, 검수자에 의해 검수된 결과물에서 수정될 부분이 있다면, 검수자는 작업자의 결과물에 대해 직접 수정 작업을 수행할 수 있다. 예를 들어, 단위박스 등을 추가하거나 물품 이미지 상에 배치된 단위박스의 위치를 조정할 수 있다. 이 경우, 라벨링 서버(4000)는 검수자에 의해 수정된 결과물을 수신하고, 이를 작업자에게 송신하면서 검수요청을 할 수 있다.
과정(S350)에서, 라벨링 서버(4000)는 작업자에 의한 수정된 결과물의 검수 결과를 수신하는 과정을 수행할 수 있다. 작업자는 라벨링 서버(4000)로부터 검수자에 의해 수정된 결과물을 수신할 경우, 수정된 결과물을 확인하고 문제가 없다면 승인을 하게 된다. 만약, 수정된 결과물에 재수정이 필요하다면, 직접 수정 작업을 수행할 수 있다. 라벨링 서버(4000)는 작업자에 의해 수정된 결과물의 검수가 승인된 경우 라벨링 작업을 종료하고, 작업자에 의해 재수정된 결과물이 수신되면 이를 다시 검수자에게 송신하면서 검수 요청을 할 수 있다.
본 발명은 라벨링 작업에서 검수자가 작업자의 결과물을 단순히 검수만 하여 작업자의 결과물에 대해 승인 혹은 반려만 하는 것이 아니라, 검수자가 작업자가 되어 작업자의 결과물을 수정함으로써 수정된 결과물을 생성하고, 반대로 작업자가 검수자가 되어 검수자에 의해 수정된 결과물을 검수함으로써, 불필요한 라벨링 시간을 대폭 줄이는 효과를 얻을 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
고객 단말(1000)
이사견적 제 서버(2000)
작업자 단말(3000)
라벨링 서버(4000)
검수자 단말(5000)

Claims (7)

  1. 프로세서에 의해 각 과정이 수행되며, 머신 러닝 모델을 이용한 이사견적 제공 방법에 있어서,
    이사대상 물품 이미지 및 이사 부가 정보를 획득하는 과정;
    제1머신 러닝 모델을 이용하여 상기 이사대상 물품 이미지에서 물품으로 표시된 표시영역을 분리하는 과정;
    제2머신 러닝 모델을 이용하여 상기 물품으로 표시된 표시영역에 기초하여 상기 물품에 바인딩된 단위박스의 개수를 인지하는 과정, -상기 바인딩된 단위박스의 개수는 상기 물품을 포장할 때 필요한 상기 단위박스의 개수이며-; 및
    상기 단위박스의 개수 및 상기 이사 부가 정보에 기초하여 이사견적을 제공하는 과정을 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법.
  2. 제1항에 있어서,
    제3머신 러닝 모델을 이용하여 상기 이사대상 물품 이미지를 기 설정된 스케일로 조절하여 스케일 조절된 이사대상 물품 이미지를 생성하는 과정을 더 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법.
  3. 제1항에 있어서,
    상기 바인딩된 단위박스에 관한 정보는, 상기 바인딩된 단위박스 내 물품의 명칭, 상기 바인딩된 단위박스의 위치에 관한 정보를 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법.
  4. 삭제
  5. 제2항에 있어서,
    상기 이사대상 물품 이미지는 상기 이사대상 물품 이미지의 스케일 조절을 위해 사용되는 식별표지가 부착된 물품들의 촬영 사진 혹은 동영상 인 것을 특징으로 하는, 머신 러닝 모델을 이용한 이사견적 제공 방법.
  6. 제1항에 있어서,
    물품 이미지에 적어도 하나의 단위박스가 바인딩된 라벨링된 물품 이미지를 획득하는 과정; 및
    상기 라벨링된 물품 이미지를 이용하여 상기 제2머신 러닝 모델을 학습시키는 과정을 더 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법.
  7. 제6항에 있어서,
    상기 라벨링된 물품 이미지는 상기 물품 이미지 상에 적어도 하나의 단위박스가 바인딩되어 있으며, 상기 바인딩된 적어도 하나의 단위박스의 내부 물품의 명칭, 상기 바인딩된 적어도 하나의 단위박스의 위치 정보를 포함하는, 머신 러닝 모델을 이용한 이사견적 제공 방법.
KR1020210043075A 2021-04-02 2021-04-02 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법 KR102541871B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210043075A KR102541871B1 (ko) 2021-04-02 2021-04-02 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법
KR1020230071775A KR102699642B1 (ko) 2021-04-02 2023-06-02 이미지 분석을 통한 ai 견적 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210043075A KR102541871B1 (ko) 2021-04-02 2021-04-02 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230071775A Division KR102699642B1 (ko) 2021-04-02 2023-06-02 이미지 분석을 통한 ai 견적 제공 방법

Publications (2)

Publication Number Publication Date
KR20220137249A KR20220137249A (ko) 2022-10-12
KR102541871B1 true KR102541871B1 (ko) 2023-06-12

Family

ID=83598068

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210043075A KR102541871B1 (ko) 2021-04-02 2021-04-02 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법
KR1020230071775A KR102699642B1 (ko) 2021-04-02 2023-06-02 이미지 분석을 통한 ai 견적 제공 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230071775A KR102699642B1 (ko) 2021-04-02 2023-06-02 이미지 분석을 통한 ai 견적 제공 방법

Country Status (1)

Country Link
KR (2) KR102541871B1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101200113B1 (ko) 2006-04-21 2012-11-16 에스케이플래닛 주식회사 카메라 폰을 이용한 이사 견적 서비스 방법
KR20170135260A (ko) * 2016-05-31 2017-12-08 김명임 이사 견적 서비스 제공 방법
US10346723B2 (en) * 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
KR20190043982A (ko) * 2017-10-19 2019-04-29 홍익대학교 산학협력단 영상 이미지 기반 온라인 이사 견적 서비스 방법 및 시스템
KR102246408B1 (ko) * 2019-02-14 2021-05-18 엔에이치엔 주식회사 딥러닝 기반 유사상품 제공방법
KR20200111002A (ko) 2019-03-18 2020-09-28 주식회사 좋은기운 이사 견적 서비스 제공 서버 및 그 방법

Also Published As

Publication number Publication date
KR20230087420A (ko) 2023-06-16
KR102699642B1 (ko) 2024-08-26
KR20220137249A (ko) 2022-10-12

Similar Documents

Publication Publication Date Title
CN109559454B (zh) 基于神经网络识别商品的收银方法以及自助收银台
US8136727B2 (en) Produce weighing scale with a camera and methods of operating a produce weighing scale having a camera
US20150248578A1 (en) Methods and Apparatus for Determining Dimensions of an Item Using 3-Dimensional Triangulation
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
JP5928592B2 (ja) 情報処理装置及び画面設定方法
KR102277513B1 (ko) 맞춤형 의류 구매 서비스 제공 방법 및 이를 위한 사용자 단말
US11836941B2 (en) Package measuring apparatus, package accepting system, package measuring method, and non-transitory computer readable medium
JP7435587B2 (ja) 物品推定装置、物品推定方法、及びプログラム
US10360528B2 (en) Product delivery unloading assistance systems and methods
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
KR102541871B1 (ko) 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법
JP7508148B2 (ja) 物流管理システム
CN112070991A (zh) 物品识别系统以及具备物品识别系统的结账处理系统
US20210326803A1 (en) Method and apparatus for label-less return shipments
US20210304293A1 (en) Merchandise information display system, store server, and display control method
CN113034789B (zh) 服务器装置、控制装置、存储介质、移动店铺以及信息处理系统的工作方法
JP6398331B2 (ja) 情報処理装置、制御方法、及びプログラム
WO2024057614A1 (ja) データ処理システム
KR102655145B1 (ko) 무인 결제 시스템
JP7517819B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP7258939B2 (ja) サーバ、プログラム、及び情報管理方法
JP2019168818A (ja) 商品情報取得装置、商品情報取得方法、およびプログラム
JPWO2019064804A1 (ja) 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
US20230177931A1 (en) Information processing system, information processing device, and information processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant