KR101869895B1 - 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법 - Google Patents

딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법 Download PDF

Info

Publication number
KR101869895B1
KR101869895B1 KR1020180007230A KR20180007230A KR101869895B1 KR 101869895 B1 KR101869895 B1 KR 101869895B1 KR 1020180007230 A KR1020180007230 A KR 1020180007230A KR 20180007230 A KR20180007230 A KR 20180007230A KR 101869895 B1 KR101869895 B1 KR 101869895B1
Authority
KR
South Korea
Prior art keywords
information
image
object recognition
deep learning
result data
Prior art date
Application number
KR1020180007230A
Other languages
English (en)
Inventor
김차환
오신원
Original Assignee
주식회사 리싸이클파크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리싸이클파크 filed Critical 주식회사 리싸이클파크
Priority to KR1020180007230A priority Critical patent/KR101869895B1/ko
Application granted granted Critical
Publication of KR101869895B1 publication Critical patent/KR101869895B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예는 하나 이상의 이미지를 입력 받는 이미지 입력부, 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하거나, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 이미지 처리부, 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부 및 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부를 포함하는 딥 러닝 기반의 오브젝트 인식 서버를 제공하여 입력된 이미지로부터 오브젝트 인식 정보를 자동으로 인식하고 정확인 데이터를 출력할 수 있는 효과가 있다.

Description

딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법{OBJECT RECOGNITION SERVER AND OBJECT RECOGNITION SYSTEM AND OBJECT RECOGNITION METHOD BASED ON DEEP LEARNING}
본 실시예는 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법에 관한 것이다.
급격한 산업 발전에 따라 제품의 생산량이 매년 증가하고 있다. 따라서, 산업현장에서 제품의 생산량 증가에 따른 제품의 재고관리가 중요하다. 재고관리자가 대상 제품의 모델 번호를 직접 단말에 입력하거나, 제품의 모델 번호 촬영하는 방법 등으로 재고관리를 할 수 있지만 모델 번호를 잘못 입력하거나 제품에 모델 번호가 없는 경우 또는 모델 번호를 식별할 수 없는 때는 관리가 용이하지 못하다는 문제점이 있다. 따라서, 모델 번호를 식별할 수 없는 경우에도 딥 러닝과 같은 다수의 학습 데이터를 활용한 기계학습을 통해 제품을 인식하여 관리할 수 있도록 하는 것이 필요하다.
본 실시예들의 목적은, 입력된 이미지로부터 오브젝트 인식 정보를 자동으로 인식하고 정확인 데이터를 출력할 수 있는 딥 러닝 기반의 오브젝트 인식 시스템, 오브젝트 인식 서버 및 오브젝트 인식 방법을 제공하는 것이다.
본 실시예들의 또 다른 목적은, 사용자가 입력된 이미지로부터 오브젝트 모델 정보를 제공 받아 오브젝트 모델 정보를 선택할 수 있도록 딥 러닝 기반의 오브젝트 인식 시스템, 오브젝트 인식 서버 및 오브젝트 인식 방법을 제공하는 것이다.
본 실시예들의 또 다른 목적은, 입력된 이미지로부터 오브젝트 상태 정보 및 오브젝트 인식 정보 자동으로 인식하여 오브젝트의 등급 정보나 가격 정보 등을 결정하는 딥 러닝 기반의 오브젝트 인식 시스템, 오브젝트 인식 서버 및 오브젝트 인식 방법을 제공하는 것이다.
전술한 문제점을 해결하기 위해 일 측면에서 본 실시예는, 하나 이상의 이미지를 입력 받는 이미지 입력부, 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하거나, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 이미지 처리부, 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부 및 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부를 포함하는 딥 러닝 기반의 오브젝트 인식 서버를 제공한다.
다른 측면에서 본 실시예는, 오브젝트가 촬영된 하나 이상의 이미지를 전송하는 에이전트 및 에이전트로부터 수신된 하나 이상의 이미지를 토대로 오브젝트를 인식하는 딥 러닝 기반의 오브젝트 인식 서버를 포함하고, 딥 러닝 기반의 오브젝트 인식 서버는, 하나 이상의 이미지를 입력 받는 이미지 입력부, 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하거나, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 이미지 처리부, 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부 및 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부를 포함하는 딥 러닝 기반의 오브젝트 인식 시스템을 제공한다.
또 다른 측면에서 본 실시예는, 하나 이상의 이미지를 입력 받는 단계, 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하는 단계 오브젝트 인식 정보가 미 추출되면, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 단계 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 단계 및 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 단계를 포함하는 딥 러닝 기반의 오브젝트 인식 방법을 제공한다.
본 실시예들에 의하면, 입력된 이미지로부터 오브젝트 인식 정보를 자동으로 인식하고 정확인 데이터를 출력할 수 있는 딥 러닝 기반의 오브젝트 인식 시스템, 오브젝트 인식 서버 및 오브젝트 인식 방법을 제공할 수 있다.
또한, 본 실시예들에 의하면, 사용자가 입력된 이미지로부터 오브젝트 모델 정보를 제공 받아 오브젝트 모델 정보를 선택할 수 있도록 딥 러닝 기반의 오브젝트 인식 시스템, 오브젝트 인식 서버 및 오브젝트 인식 방법을 제공할 수 있다.
또한, 본 실시예들에 의하면, 입력된 이미지로부터 오브젝트 상태 정보 및 오브젝트 인식 정보 자동으로 인식하여 오브젝트의 등급 정보나 가격 정보 등을 결정하는 딥 러닝 기반의 오브젝트 인식 시스템, 오브젝트 인식 서버 및 오브젝트 인식 방법을 제공할 수 있다.
도 1은 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 시스템의 실시예를 나타낸 도면이다.
도 2는 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버를 개략적으로 나타낸 도면이다.
도 3은 오브젝트 인식 정보를 추출하기 위한 흐름도이다.
도 4는 오브젝트의 예시를 나타낸 도면이다.
도 5는 딥 러닝에 관하여 설명하기 위한 개략적인 도면이다.
도 6은 이미지를 얻는 과정을 나타내기 위한 도면이다.
도 7은 이미지에 오브젝트가 포함된 것을 나타내기 위한 도면이다.
도 8은 또 다른 오브젝트로부터 이미지를 얻는 과정을 나타내기 위한 도면이다.
도 9는 이미지에 도 다른 오브젝트가 포함된 것을 나타내기 위한 도면이다.
도 10은 동영상으로부터 하나 이상의 이미지를 추출하는 것을 나타내기 위한 도면이다.
도 11은 도 10에서 추출한 하나 이상의 이미지를 나타낸 도면이다.
도 12는 서버와 단말 간에 정보를 전달하는 것을 나타낸 도면이다.
도 13은 단말에서 오브젝트 선택 정보를 발생시키는 ui를 예시적으로 나타낸 도면이다.
도 14는 다른 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버를 개략적으로 나타낸 도면이다.
도 15는 이미지에 포함된 오브젝트로부터 오브젝트의 상태에 따른 정보를 추출하는 것을 나타낸 도면이다.
도 16은 또 다른 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버를 개략적으로 나타낸 도면이다.
도 17은 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 방법의 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 시스템의 실시예를 나타낸 도면이다.
도 1을 참조하면, 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 시스템(100)은 오브젝트가 촬영된 하나 이상의 이미지를 전송하는 에이전트(131), 및 에이전트(131)로부터 수신된 하나 이상의 이미지를 토대로 오브젝트를 인식하는 딥 러닝 기반의 오브젝트 인식 서버(110)를 포함한다.
단말(130)은 사용자 단말일 수 있으나, 이에 한정되는 것은 아니다.
에이전트(131)는 사용자 단말에 포함된 카메라, 애플리케이션 등이 될 수 있다. 하지만, 이에 한정되는 것은 아니다.
여기서, 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 시스템(100)은 딥 러닝 기반의 오브젝트 인식 서버(110)에 접속하여 데이터베이스에 저장된 오브젝트 인식 정보 또는 오브젝트 인식 결과 데이터를 조회하거나 편집하는 관리자 단말(140)을 더 포함할 수 있다.
관리자 단말(140) 또는 사용자 단말은 일반적인 데스크 탑이나 노트북 등의 일반 PC를 포함하고, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기 등을 포함할 수 있으며, 이에 제한되지 않고, 서버(110)와 통신 가능한 어떠한 전자 기기로 폭넓게 해석되어야 할 것이다.
딥 러닝 기반의 오브젝트 인식 서버(110)는 하드웨어적으로는 통상적인 웹 서버(Web Server) 또는 웹 어플리케이션 서버(Web Application Server) 또는 왑 서버(WAP Server)와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는 C, C++, Java, PHP, .Net, Python, Ruby 등 여하한 언어를 통하여 구현되어 여러 가지 기능을 하는 프로그램 모듈(Module)을 포함할 수 있다.
또한, 딥 러닝 기반의 오브젝트 인식 서버(110)는, 통신망(120)을 통하여 불특정 다수 클라이언트(단말(130) 또는 관리자 단말(140)을 포함) 및/또는 다른 서버와 연결될 수 있는데, 이에 따라, 딥 러닝 기반의 오브젝트 인식 서버(110)는 클라이언트 또는 다른 서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템 또는 이러한 컴퓨터 시스템을 위하여 설치되어 있는 컴퓨터 소프트웨어(서버 프로그램)를 뜻하는 것일 수도 있다.
또한, 딥 러닝 기반의 오브젝트 인식 서버(110)는, 전술한 서버 프로그램 이외에도, 딥 러닝 기반의 오브젝트 인식 서버(110) 상에서 동작하는 일련의 응용 프로그램(Application Program)과, 경우에 따라서는 내부 또는 외부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.
여기서, 데이터베이스는, 서버 또는 다른 장치 등에 의해 사용될 목적으로 정보나 자료 등의 데이터가 구조화되어 관리되는 데이터의 집합체를 의미할 수 있으며, 이러한 데이터의 집합체를 저장하는 저장매체를 의미할 수도 있다.
또한, 이러한 데이터베이스는 데이터의 구조화 방식, 관리 방식, 종류 등에 따라 분류된 복수의 데이터베이스를 포함하는 것일 수도 있다.
경우에 따라서, 데이터베이스는 정보나 자료 등을 추가, 수정, 삭제 등을 할 수 있도록 해주는 소프트웨어인 데이터베이스 관리시스템(Database Management System, DBMS)을 포함할 수도 있다.
또한, 딥 러닝 기반의 오브젝트 인식 서버(110)는 콘텐츠, 각종 정보 및 데이터를 데이터베이스에 저장시키고 관리할 수 있다. 여기서, 데이터베이스는 딥 러닝 기반의 오브젝트 인식 서버(110)의 내부 또는 외부에 구현될 수 있다.
또한, 딥 러닝 기반의 오브젝트 인식 서버(110)는 일반적인 서버용 하드웨어에 도스(DOS), 윈도우(windows), 리눅스(Linux), 유닉스(UNIX), 매킨토시(Macintosh) 등의 운영체제에 따라 다양하게 제공되고 있는 서버 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹 사이트(Website), IIS(Internet Information Server)와 유닉스환경에서 사용되는 Apache, Nginx, Light HTTP 등이 이용될 수 있다.
통신망(120)는 딥 러닝 기반의 오브젝트 인식 서버(110)와 단말(130) 및/또는 관리자 단말(140)을 연결해주는 망(Network)으로서, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 통신망일 수도 있으나, 인터넷(Internet)과 같은 개방형 통신망일 수도 있다. 여기서, 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전 세계적인 개방형 컴퓨터 통신망 구조를 의미한다.
또한, 단말(130)과 관리자 단말(140)이 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기를 포함하는 경우, 통신망(120)는 이동 통신망이나 와이파이(WiFi) 망 등의 무선 액세스 망을 더 포함할 수도 있다.
여기서, 딥 러닝 기반의 오브젝트 인식 서버(110)는 오브젝트가 촬영된 동영상으로부터 하나 이상의 이미지를 추출하여 이미지 입력부(210)로 출력하는 이미지 추출부(250)를 더 포함할 수 있다.
딥 러닝 기반의 오브젝트 인식 서버(110)에 대하여 도 2를 참조하여, 이미지 추출부(250)는 도 10을 참조하여 상세히 서술한다.
도 2는 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버를 개략적으로 나타낸 도면이고, 도 3은 오브젝트 인식 정보를 추출하기 위한 흐름도이다.
도 2를 참조하면, 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버(110)는 하나 이상의 이미지를 입력 받는 이미지 입력부(210), 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하거나, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 이미지 처리부(220), 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부(230) 및 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부(240)를 포함한다.
이미지 처리부(220)는 이미지 입력부로부터 입력된 이미지를 분석하여 이미지에 오브젝트가 포함되어 있고 오브젝트를 특정할 수 있는 오브젝트 인식 정보가 있으면, 오브젝트 인식 정보를 추출한다.
여기서 이미지는 이미지 데이터일 수 있고, 사진, 동영상 등을 포함하지만 이에 한정되는 것은 아니다. 이미지는 하나 또는 둘 이상 복수개의 이미지를 포함할 수 있다.
여기서, 오브젝트 인식 정보는 오브젝트의 모델 번호 등 오브젝트를 특정할 수 있는 일체의 정보를 의미할 수 있다.
딥 러닝 기반 오브젝트 인식부(230)는 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시킨다. 딥 러닝 알고리즘의 실행 결과인 오브젝트 인식 결과 데이터가 출력되고, 오브젝트 인식 결과 데이터는 오브젝트 인식 정보로 저장된다. 여기서, 딥 러닝 알고리즘에 대한 설명은 후술한다.
오브젝트 인식 정보 관리부(240)는 오브젝트 인식 정보 또는 출력된 오브젝트 인식 데이터를 출력하여 대응되는 오브젝트 인식 정보를 저장한다.
여기서, 오브젝트 인식 정보는 데이터베이스에 저장될 수 있으며, 도 1에서 설명한 바와 같이, 데이터의 집합체 또는 이러한 데이터의 집합체를 저장하는 저장매체를 의미할 수도 있다. 또한, 이러한 데이터베이스는 오브젝트 인식 정보 관리부(240)에 포함될 수 있으나 이에 한정되는 것은 아니다.
본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버에 의하면, 입력된 이미지로부터 오브젝트 인식 정보를 자동으로 인식할 수 있는 효과가 있다.
이미지를 오브젝트 인식 정보로 추출하는 과정을 도 3을 참조하여 설명하면, 오브젝트 인식 정보는 이미지 입력부(210)를 통해 입력된 이미지가 이미지 처리부(220)를 통해 얻게 될 수 있으면, 오브젝트 인식 정보를 추출하여 오브젝트 인식 정보 관리부(240)에 저장한다.
이미지 처리부(220)는 이미지로부터 오브젝트 인식 정보를 추출할 수 없는 경우, 오브젝트 이미지 자체를 배경, 다른 오브젝트 등과 구분하여 추출한다. 추출한 오브젝트 이미지는 딥 러닝 기반 오브젝트 인식부(230)에 전달되어 딥 러닝 알고리즘의 입력 데이터가 된다. 이미지 처리부(220)에서 이미지를 얻는 방법 및 처리 방법에 대해서는 도 6 내지 도 11을 참조하여 후술한다.
여기서, 오브젝트 이미지는 예를 들어, 오브젝트의 일정한 형상, 색깔, 크기 등을 포함할 수 있으나 이에 한정되는 것은 아니다.
딥 러닝 알고리즘 수행결과, 오브젝트 인식 결과 데이터를 출력하게 되고 오브젝트 인식 결과 데이터를 오브젝트 인식 정보로 오브젝트 인식 정보 관리부에 저장된다.
여기서, 오브젝트 인식 결과 데이터는 둘 이상의 오브젝트 모델 정보를 포함할 수 있다. 오브젝트 모델 정보는 제품의 모델 번호 등 오브젝트를 특정할 수 있는 일체의 정보를 의미할 수 있다.
도 4는 오브젝트의 예시를 나타낸 도면이다.
본 명세서에서는, 오브젝트(Object)는 모든 사물이 될 수 있다. 오브젝트는 현재 존재하는지 여부와 관계 없으며 가상의 사물 또는 창작된 사물도 포함된다. 또한, 정형성이 있는 고체뿐만 아니라, 유동성 있는 액체, 기체를 포함할 수 있다.
또한, 오브젝트(Object)는 폐 자동차에서 수거하여 재 활용하기 위한 부품일 수 있다. 또한, 오브젝트는, 이에 제한되지 않고, 폐 전자장치 등에서 수거되어 재 활용될 수 있는 그 어떠한 부품일 수 있다.
오브젝트는 수거되기 전의 폐 자동차, 폐 전자장치 등의 모델에 따라 다를 수 있다. 또한, 오브젝트에는 오브젝트 식별 정보(예: 품번, 모델 정보, 바코드 등)가 표시되어 있을 수 있다.
오브젝트 인식 정보는 오브젝트 식별 정보를 인식한 정보로서 다양한 종류의 오브젝트 식별 정보와 동일하거나 대응되는 정보일 수 있다.
도 4에 도시된 바와 같이, 스티어링휠(410), 사이드미러(420), 전조등(430), 도어(440) 등을 포함할 수 있다. 스티어링휠(410), 사이드미러(420), 전조등(430), 도어(440) 등은 제조 공정에서 만든 새로운 물건일 수 있고, 폐자동차에서 탈거한 부품일 수 있다. 그러나 이에 한정되는 것은 아니다.
도 5는 딥 러닝에 관하여 설명하기 위한 개략적인 도면이다.
도 5를 참조하면, 딥 러닝은 계층이 깊은 인공 신경망을 사용한 기계학습 알고리즘의 총칭을 말한다. 여기서, 인공 신경망에는 입력층, 은닉층, 출력층이 있다. 은닉층은 한 층일 수도 있고 도 5에 도시된 바와 같이 3개의 층일 수 있으며, 여러 층을 가질 수 있다. 각 층에는 활성화 함수가 존재하고 여러 노드가 있으며 각 노드마다 값을 가진다. 노드들은 임의의 층과 다음층 사이의 노드와 웨이트(weight)라는 가상의 선으로 서로 연결된다. 각각의 웨이트는 연결가중치라는 값을 가진다. 노드와 웨이트는 도 5에 도시된 바와 같이, 입력층, 은닉층 및 출력층에 포함된 원형과 원형 사이를 연결하는 선으로 도시하였다.
입력층에 도4에 도시된 바와 같은 오브젝트들을 포함하는 이미지를 입력하면, 노드값과 각 층의 활성화 함수 및 웨이트의 연결가중치를 이용하여 알고리즘을 수행하게 되고 출력층의 노드 값이 결정된다.
이러한 딥 러닝 알고리즘에 사용되는 인공 신경망의 종류로는 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), 심층 신뢰 신경망 (Deep Belief Network, DBN) 등이 있다.
도 6은 이미지를 얻는 과정을 나타내기 위한 도면이고, 도 7은 이미지에 오브젝트가 포함된 것을 나타내기 위한 도면이다.
도 6을 참조하면, 사용자는 제1 오브젝트(610)으로부터 에이전트(131)를 이용하여 이미지를 얻을 수 있다.
이미지에는 딥 러닝 알고리즘의 입력 데이터로 사용될 제2 오브젝트(600)가 포함될 수 있고 오브젝트 외에 배경이나 노이즈 등도 포함될 수 있다. 이렇게 얻은 이미지는 도 1에 도시한 통신망(120)을 통해 딥 러닝 오브젝트 인식 서버(110)에 전달된다.
예를 들어, 에이전트(131)는 카메라이고, 제1 오브젝트(610)는 폐자동차이며, 제2 오브젝트(600)는 폐차량에 포함되고 탈거 가능한 모델명이 있는 ECU(Electronic Control Unit)이면, 사용자는 이미지를 얻고자 하는 ECU를 폐자동차로부터 탈거하여 카메라로 촬영할 수 있다. 촬영된 ECU 이미지는 딥 러닝 오브젝트 인식 서버(110)에 전달하기 위한 방법들 중 하나로 스마트폰 애플리케이션을 실행하여 등록 및 저장할 수 있다. 사용자 단말(130) 또는 애플리케이션은 통신망(120)을 통해 딥 러닝 오브젝트 인식 서버(110)에 전달할 수 있다.
도 7을 참조하면, 도 2의 이미지 처리부(220)는 입력 받은 이미지(700)에 대하여 이미지(700)에 포함된 제2 오브젝트(600)를 배경이나, 노이즈 등으로부터 구분 추출한다. 그리고 이미지 처리부(220)는 구분 추출된 제2 오브젝트(600)에서 오브젝트 인식 정보(ORI; Object Recognition Information)를 추출한다. 추출된 오브젝트 인식 정보(ORI)는 오브젝트의 모델 정보를 포함할 수 있다. 오브젝트 모델 정보는 제품의 모델 번호 등 오브젝트를 특정할 수 있는 일체의 정보를 의미할 수 있다.
예를 들어, 제2 오브젝트(600)가 차량 부품일 때, 차량 부품의 모델 번호를 문자 및/또는 숫자로 조합하여 표시한 라벨(Label)이 차량 부품에 존재하는 경우. 차량 부품에 표시된 라벨을 인식하여 라벨에 포함된 문자 정보 중에서 차량 부품의 모델 번호인 것을 ORI로 보아 추출한다.
도 8은 또 다른 이미지를 얻는 과정을 나타내기 위한 도면이고, 도 9는 또 다른 이미지에 또 다른 오브젝트가 포함된 것을 나타내기 위한 도면이다.
오브젝트 인식 정보를 추출할 수 없을 때는 오브젝트를 인식하기 위한 정보를 추출하는 과정이 도 7과 다르다. 오브젝트 인식 정보를 추출할 수 없는 경우는 예를 들면, 오브젝트의 모델 번호가 표시된 라벨이 훼손되거나 전혀 표시되지 않는 것일 수 있다.
도 8을 참조하면, 사용자는 제3 오브젝트(810)으로부터 에이전트(131)를 이용하여 이미지를 얻을 수 있다.
이미지에는 딥 러닝 알고리즘의 입력 데이터로 사용될 제4 오브젝트(800)가 포함될 수 있고 오브젝트 외에 배경이나 노이즈 등도 포함될 수 있다.
이렇게 얻은 이미지는 도 1에 도시한 통신망(120)을 통해 딥 러닝 오브젝트 인식 서버(110)에 전달된다. 예를 들어, 에이전트(131)는 카메라이고, 제3 오브젝트(810)는 차량이며, 제4 오브젝트(800)는 차량에 포함되고 모델명이 없는 부품이라고 할 때, 사용자는 이미지를 얻고자 하는 차량 부품을 카메라로 촬영할 수 있다. 촬영된 이미지는 통신망(120)을 통해 딥 러닝 오브젝트 인식 서버(110)에 전달될 수 있다.
도 9를 참조하면, 도 2의 이미지 처리부(220)는 입력 받은 이미지(700)에 대하여 이미지(700)에 포함된 제4 오브젝트(800)를 배경이나, 노이즈 등으로부터 구분 추출한다. 그리고 구분 추출된 제4 오브젝트(800)에는 ORI가 없으므로, 이미지 처리부(220)는 제4 오브젝트(800)가 표시된 제4 오브젝트(800) 이미지를 추출한다.
추출된 제4 오브젝트(800) 이미지는 오브젝트 자체의 형상일 수 있다. 예를 들어, 제4 오브젝트가 차량 부품인 경우, 차량 부품 자체의 형상을 오브젝트 이미지로 추출한다.
이렇게 추출된 오브젝트 이미지는 전술한 딥 러닝 알고리즘의 입력 데이터가 된다. 입력층에 오브젝트 이미지를 입력하고, 딥 러닝 알고리즘을 실행하여 출력층에서 오브젝트 인식 결과 데이터를 출력된다.
여기서 딥 러닝 알고리즘은 예를 들면 심층 신경망(Deep Neural Network, DNN) 알고리즘을 이용할 수 있으나, 이에 한정되는 것은 아니다.
도 10은 동영상으로부터 하나 이상의 이미지를 추출하는 것을 나타내기 위한 도면이고, 도 11은 도 10에서 추출한 하나 이상의 이미지를 나타낸 도면이다.
도 2, 도 10 및 도 11을 참조하면, 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버(110)에 포함된 이미지 추출부(250)는 오브젝트가 촬영된 동영상으로부터 하나 이상의 이미지(700a, 700b, 700c)를 추출하여 이미지 입력부(210)로 출력할 수 있다.
본 실시예에 따른 립 러닝 기반의 오브젝트 인식 서버(110)는 오브젝트 인식 정보를 동영상으로부터 추출할 수 있다. 다시 말해, 동영상이 딥 러닝 기반의 오브젝트 인식 서버(110)에 입력되면 이미지 추출부(250)는 동영상의 일정한 프레임마다 동영상에 포함된 이미지를 캡쳐 방법 등 소프트웨어 처리에 의해 구분하여 추출한다. 추출된 하나 이상의 이미지(700a, 700b, 700c)는 도 7 및 도 9를 참조하여 설명한 바와 같이, 오브젝트 인식 정보 또는 딥 러닝 알고리즘을 통해 출력된 오브젝트 인식 결과 데이터를 추출한다. 즉, 하나 이상의 이미지(700a, 700b, 700c)에서 ORI를 추출할 수 있으면 소프트웨어 등을 통해 ORI를 추출하거나, ORI를 추출할 수 없는 경우 오브젝트 이미지를 소프트웨어 등을 통해 추출하고 이를 입력 데이터로 딥 러닝 알고리즘을 실행하여 오브젝트 인식 결과 데이터를 얻는다.
여기서, 도 11에 도시된 바와 같이 이미지 입력부(210)가 둘 이상의 이미지를 입력 받는 경우, 둘 이상의 이미지는 오브젝트에 대한 다른 뷰 이미지일 수 있다. 다시 말해, 하나의 오브젝트에 대하여 서로 다른 방향에서 본 이미지를 말한다. 예를 들면, 도 10에 도시한 동영상으로부터 추출된 자동차 사이드미러 이미지들(700a, 700b, 700c) 중에서 제1 방향에서 본 사이드미러 이미지(700a), 제2 방향에서 본 사이드미러 이미지(700b) 및 제3 방향에서 본 사이드미러 이미지(700c)를 말한다. 여기서, 도 10 및 도 11에 도시된 이미지들(700a, 700b, 700c)의 개수는 이해를 돕기 위한 예시일 뿐 이에 한정되는 것은 아니다.
예를 들어, 폐자동차에서 재사용이 가능한 사이드미러나, 전조등, 오디오, 계기판 등과 같은 부품을 관리하고
도 12는 서버와 단말 간에 정보를 전달하는 것을 나타낸 도면이고, 도 13은 단말에서 오브젝트 선택 정보를 발생시키는 UI를 예시적으로 나타낸 도면이다.
도 12를 참조하면, 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버(110)는 둘 이상의 오브젝트 모델 정보를 관리자 단말(140) 또는 에이전트(131)로 전송하고, 관리자 단말(140) 또는 에이전트(131)에서 출력된 오브젝트 선택 정보의 입력에 따라, 둘 이상의 오브젝트 모델 정보 중 선택된 하나를 오브젝트에 대한 오브젝트 인식 정보로서 저장할 수 있다.
여기서, 둘 이상의 오브젝트 모델 정보는 오브젝트 인식 결과 데이터에 포함된다. 오브젝트 인식 결과 데이터는 둘 이상의 오브젝트 모델 정보 각각에 대응되는 딥 러닝 유사도 정보를 더 포함할 수 있다. 여기서, 딥 러닝 유사도 정보는 딥 러닝 알고리즘을 통해 필요한 오브젝트 모델 정보 등을 포함하는 오브젝트 인식 정보(ORI)에 대응되는 다른 오브젝트 인식 정보(ORI), 유사도 수치 등을 제공하는 것을 말한다. 유사도는 필요한 오브젝트 인식 정보(ORI)의 오브젝트 이미지와 색깔, 형상, 크기 등을 종합적으로 비교하여 유사한 정도를 구체적인 수치로 나타낸 것이다.
오브젝트 인식 결과 데이터는 딥 러닝 기반의 오브젝트 인식 서버(110)에 포함된 오브젝트 인식 정보 관리부(240)에 저장된 것일 수 있다.
즉, 오브젝트 인식 정보 관리부(240)는, 둘 이상의 오브젝트 모델 정보를 출력하고, 오브젝트 선택 정보의 입력에 따라, 둘 이상의 오브젝트 모델 정보 중 선택된 하나를 오브젝트에 대한 오브젝트 인식 정보로서 저장할 수 있다.
여기서 에이전트(131)는 사용자 단말(130)에 포함된 것일 수 있다. 따라서, 도 12에 도시된 것과 같이 단말(130, 140)은 관리자 단말(140)일 수도 있고, 에이전트(131)를 포함하는 사용자 단말(130)일 수 있다.
도 13을 참조하여 예를 들면, 사용자는 필요한 오브젝트 모델 정보에 대하여 이미지 또는 동영상 등을 입력, 유사도 검색과 같은 UI(User Interface)를 통해 입력한다. 단말(130, 140)은 이미지 또는 동영상을 딥 러닝 기반의 오브젝트 인식 서버(110)에 전송하게 된다. 딥 러닝 기반의 오브젝트 인식 서버(110)는 입력 받은 이미지 또는 동영상을 처리하여 오브젝트 인식 결과 데이터에 포함된 오브젝트 모델 정보를 사용자에게 제공한다. 단말(130, 140)은 오브젝트 모델 번호 등을 포함하는 ORI와 딥 러닝 유사도 수치 등을 표시한다. 사용자가 표시된 정보 중에서 어느 하나를 클릭, 터치 등과 같은 방법으로 선택하면 오브젝트 선택 정보가 발생하게 된다. 발생된 오브젝트 선택 정보는 딥 러닝기반의 오브젝트 인식 서버(110)에 전송되어 오브젝트 인식 정보로서 오브젝트 인식 정보 관리부(240)에 저장된다.
도시하지 않았지만 예를 들면, 관리자는 스마트폰을 이용해 폐자동차로부터 탈거된 사이드미러를 여러 각도에서 동영상 촬영한다. 관리자는 스마트폰 애플리케이션을 통해서 촬영한 사이드미러 동영상 파일을 등록한다. 스마트폰 애플리케이션은 등록된 사이드미러 동영상 데이터를 딥 러닝 기반의 오브젝트 인식 서버에 전송한다. 딥 러닝 기반 오브젝트 인식 서버에서 전술한 이미지 처리 과정을 통해 데이터 베이스에 저장한다. 또한, 관리자는 촬영한 사이드미러 동영상 파일을 이용해 촬영한 사이드미러와 유사한 동영상을 검색할 수 있다. 휴대폰 어플리케이션에 유사 제품 검색을 하면 딥 러닝 기반의 오브젝트 인식 서버에서 전술한 딥 러닝 알고리즘을 통해 출력된 사이드미러 모델 번호를 스마트폰에 전송한다. 스마트폰에서 관리자가 촬영한 사이드미러와 유사한 사이드미러를 선택하면, 선택 정보가 다시 스마트폰에서 딥 러닝 기반의 오브젝트 인식 서버에 전송 및 저장된다. 관리자는 애플리케이션을 이용해 유사한 사이드미러 정보를 사용자가 원하는 사이드미러와 함께 제공할 수 있다.
도시하지 않았지만 또 다른 예를 들면, 사용자도 전술한 바와 동일하게 이용할 수 있다. 사용자는 스마트폰으로 원하는 사이드미러를 촬영하여 유사 검색하면, 애플리케이션을 통해 딥 러닝 기반의 오브젝트 인식 서버에서는 전송된 사이드미러 촬영 데이터를 전술한 이미지 처리 과정을 통해 이와 유사한 사이드미러에 관한 정보를 제공한다. 사용자는 제공된 사이드미러 제품 정보 중에서 하나를 선택할 수 있으며, 선택된 정보는 다시 립 러닝 기반의 오브젝트 인식 서버에 전송되어 저장된다. 사용자는 촬영한 사이드미러 및 이와 유사한 사이드미러 제품의 정보를 받아 물품 구매시 제품을 용이하게 비교할 수 있다.
이러한 딥 러닝 기반의 오브젝트 인식 시스템 및 서버에 의하면, 입력된 이미지로부터 유사도 수치값 등을 포함한 오브젝트 모델 정보를 통해 오브젝트를 선택할 수 있도록 사용자에게 편의를 제공하는 효과가 있다.
도 14는 다른 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버를 개략적으로 나타낸 도면이다.
도 15는 이미지에 포함된 오브젝트로부터 오브젝트의 상태에 따른 정보를 추출하는 것을 나타낸 도면이다.
도 14를 참조하면, 다른 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버(1400)는 하나 이상의 이미지를 입력 받는 이미지 입력부(1410), 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하거나, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 이미지 처리부(1420), 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부(1430), 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부(1440)를 포함할 수 있다.
이미지 입력부(1410), 이미지 처리부(1420), 딥 러닝 기반 오브젝트 인식부(1430), 오브젝트 인식 정보 관리부(1440)는 전술한 바와 동일하다.
여기서, 딥 러닝 기반의 오브젝트 인식 서버(1400)는 하나 이상의 이미지를 분석하여 오브젝트에 대한 오브젝트 상태를 파악하여 오브젝트 상태 정보를 데이터베이스에 저장하는 오브젝트 상태 파악부(1450)를 더 포함할 수 있다.
오브젝트 상태는 오브젝트의 노후 정도, 파손 정도, 색바램 정도 등일 수 있으나 이에 한정되는 것은 아니다.
여기서, 딥 러닝 기반의 오브젝트 인식 서버(1400)는 오브젝트 상태 정보를 토대로 오브젝트에 대한 등급을 결정하여 등급 정보 또는 등급에 대응되는 가격 정보를 데이터베이스에 저장하는 오브젝트 등급 결정부(1460)를 더 포함할 수 있다.
오브젝트에 대한 등급은 전술한 오브젝트의 노후 정도, 파손 정도 등을 나타내는 오브젝트 상태 정보를 입력 데이터로 하여 딥 러닝 알고리즘을 통해 출력값이 S, A, B, C 등으로 표현되는 것일 수 있다. 하지만 이에 한정되는 것은 아니다.
등급에 대응되는 가격 정보는 특정한 숫자로 정해지거나 일정한 범위로 정해질 수 있으며, 가격 단위는 원, 달러, 엔 등의 화폐 단위 일 수 있다. 하지만 이에 한정되는 것은 아니다.
도 15를 참조하면, 이미지 처리부(1420)는 이미지(1500)를 분석하여 이미지(1500)에 포함된 오브젝트(1510) 이미지를 구분 추출하고, 오브젝트 상태 파악부(1450)는 추출된 오브젝트(1510)에 대한 오브젝트 상태, 예를 들면 노후 정도, 파손 정도 등을 소프트웨어를 이용하여 파악한다. 오브젝트(1510)의 상태를 파악한 결과를 데이터 베이스에 저장한다. 오브젝트 등급 결정부(1460)는 오브젝트 상태 파악부(1450)로부터 오브젝트 상태 정보를 입력 받아 소프트웨어를 이용하여 설정된 기준에 따라 등급 및/또는 가격을 결정하고 이에 대한 등급 정보 및/또는 등급에 대응되는 가격 정보를 출력하여 데이터 베이스에 저장한다.
이미지(1500) 얻는 방법 및 이미지(1500)에 포함된 오브젝트(1510)을 구분하여 추출하는 방법은 도 6 내지 도 11에서 설명한 바와 동일하다.
이러한 딥 러닝 기반의 오브젝트 인식 서버에 의하면, 입력된 이미지로부터 오브젝트 상태 정보 및 오브젝트 인식 정보 자동으로 인식하여 오브젝트의 등급 정보나 가격 정보 등을 제공할 수 있는 효과가 있다.
도 16은 또 다른 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버를 개략적으로 나타낸 도면이다.
도 16을 참조하면, 또 다른 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버(1600)는 하나 이상의 이미지를 입력 받는 이미지 입력부(1610), 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하거나, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 이미지 처리부(1620), 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부(1630), 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부(1640)를 포함할 수 있다.
이미지 입력부(1610), 이미지 처리부(1620), 딥 러닝 기반 오브젝트 인식부(1630), 오브젝트 인식 정보 관리부(1640)는 전술한 바와 동일하다.
여기서, 딥 러닝 기반의 오브젝트 인식 서버(1600)는 오브젝트 인식 결과 데이터에 포함된 오브젝트 인식 정보를 실제의 오브젝트 인식 정보와 비교하여 일치 여부 또는 유사도 수치를 결정하고, 일치 여부 또는 유사도 수치에 근거하여 딥 러닝 알고리즘의 성능 또는 오브젝트 인식 성능을 평가하고, 평가 결과 데이터를 저장하는 성능 평가부(1660)를 더 포함할 수 있다.
성능 평가부(1660)에서 오브젝트 인식 결과 데이터에 포함된 오브젝트 인식 정보를 실제의 오브젝트 인식 정보와 비교하는 방법으로는 오브젝트 모델 번호를 비교하거나 오브젝트 이미지를 비교하는 것일 수 있다. 하지만 이에 한정되는 것은 아니다.
여기서, 딥 러닝 기반 오브젝트 인식부(1630)는, 오브젝트 인식 결과 데이터에 포함된 오브젝트 인식 정보를 실제의 오브젝트 인식 정보와 비교하여 일치 여부 또는 유사도 수치를 결정하고, 일치하지 않거나 유사도 수치가 일정 수준 이하인 경우, 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 재 실행할 수 있다.
본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 서버에 의하면, 입력된 이미지로부터 오브젝트 인식 정보를 자동으로 인식하고 정확한 데이터를 출력하는 효과가 있다.
도 17은 본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 방법의 흐름도이다.
본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 방법은 하나 이상의 이미지를 입력 받는 단계(S110), 하나 이상의 이미지로부터 오브젝트에 대한 오브젝트 인식 정보를 추출하는 단계(S210), 오브젝트 인식 정보가 미 추출되면, 하나 이상의 이미지 내에서 오브젝트가 표시된 오브젝트 이미지를 추출하는 단계(S310), 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 오브젝트 인식 결과 데이터를 생성하여 출력하는 단계(S410) 및 오브젝트 인식 정보를 저장하거나, 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 단계(S510)를 포함할 수 있다.
이미지를 입력 받는 단계(S110), 오브젝트 인식 정보를 추출하는 단계(S210), 오브젝트 이미지를 추출하는 단계(S310), 오브젝트 인식 결과 데이터를 생성하여 출력하는 단계(S410) 데이터베이스에 저장하는 단계(S510)는 도 2 내지 도 16에서 전술한 것과 동일하다.
본 실시예에 따른 딥 러닝 기반의 오브젝트 인식 방법에 의하면, 입력된 이미지로부터 오브젝트 인식 정보를 자동으로 인식하고 정확한 데이터를 출력하는 효과가 있다.
이상에서의 설명 및 첨부된 도면은 본 발명의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 딥 러닝 인식 기반의 오브젝트 인식 시스템
110, 1400, 1600: 딥 러닝 인식 기반의 오브젝트 인식 서버
120: 통신망 130: 단말
131: 에이전트 140: 관리자 단말
210, 1410, 1610: 이미지 입력부 220, 1420, 1620: 이미지 처리부
230, 1430, 1630: 오브젝트 인식부
240, 1440, 1640: 오브젝트 인식 정보 관리부
250: 이미지 추출부 410: 스티어링휠
420: 사이드미러 430: 전조등
440: 도어 600: 제2 오브젝트
610: 제1 오브젝트 700, 700a, 700b, 700c: 이미지
800:제4 오브젝트 810: 제3 오브젝트

Claims (17)

  1. 하나 이상의 이미지를 입력 받는 이미지 입력부;
    상기 하나 이상의 이미지에 포함된 오브젝트를 분석하여, 상기 오브젝트에 라벨이 존재하는 경우, 상기 라벨을 구분 인식하여 상기 라벨에 포함된 문자 정보 중에서 상기 오브젝트를 식별할 수 있는 제품의 모델명이나 바코드와 대응되는 제1 오브젝트 모델 정보를 추출하고, 상기 오브젝트에 부착된 상기 라벨이 훼손되거나 존재하지 않는 경우, 상기 하나 이상의 이미지 내에서 상기 오브젝트의 형상이 표시된 오브젝트 이미지를 추출하는 이미지 처리부;
    상기 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 제2 오브젝트 모델 정보를 포함하는 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부;상기 제1 오브젝트 모델 정보를 저장하거나, 상기 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부;
    상기 오브젝트 이미지를 통해 상기 오브젝트의 노후 정도, 파손 정도 및 색바램 정도를 나타내는 오브젝트 상태를 파악하여 오브젝트 상태 정보를 데이터베이스에 저장하는 오브젝트 상태 파악부; 및
    상기 오브젝트 상태 정보를 입력 데이터로 하여 딥 러닝 알고리즘을 통해 상기 오브젝트에 대한 등급과 상기 등급에 대응되는 가격을 결정하고, 등급 정보와 상기 등급에 대응되는 가격 정보를 생성하여 데이터베이스에 저장하는 오브젝트 등급 결정부를 포함하고,
    상기 오브젝트는 폐 자동차에 포함된 부품 중에서 탈거하여 재활용 가능한 부품인 딥 러닝 기반의 오브젝트 인식 서버.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 오브젝트 인식 결과 데이터는 둘 이상의 오브젝트 모델 정보를 포함하는 딥 러닝 기반의 오브젝트 인식 서버.
  5. 제4항에 있어서,
    상기 오브젝트 인식 결과 데이터는 상기 둘 이상의 오브젝트 모델 정보 각각에 대응되는 딥러닝 유사도 정보를 더 포함하는 딥 러닝 기반의 오브젝트 인식 서버.
  6. 제5항에 있어서,
    상기 오브젝트 인식 정보 관리부는,
    상기 둘 이상의 오브젝트 모델 정보를 출력하고,
    오브젝트 선택 정보의 입력에 따라, 상기 둘 이상의 오브젝트 모델 정보 중 선택된 하나를 상기 오브젝트에 대한 상기 오브젝트 인식 정보로서 저장하는 딥 러닝 기반의 오브젝트 인식 서버.
  7. 제1항에 있어서,
    상기 오브젝트가 촬영된 동영상으로부터 상기 하나 이상의 이미지를 추출하여 상기 이미지 입력부로 출력하는 이미지 추출부를 더 포함하는 딥 러닝 기반의 오브젝트 인식 서버.
  8. 제1항에 있어서,
    상기 이미지 입력부가 둘 이상의 이미지를 입력받는 경우,
    상기 둘 이상의 이미지는 상기 오브젝트에 대한 다른 뷰 이미지인 딥 러닝 기반의 오브젝트 인식 서버.
  9. 제1항에 있어서,
    상기 오브젝트 인식 결과 데이터에 포함된 오브젝트 인식 정보를 실제의 오브젝트 인식 정보와 비교하여 일치 여부 또는 유사도 수치를 결정하고, 상기 일치 여부 또는 상기 유사도 수치에 근거하여 상기 딥 러닝 알고리즘의 성능 또는 오브젝트 인식 성능을 평가하고, 평가 결과 데이터를 저장하는 성능 평가부를 더 포함하는 딥 러닝 기반의 오브젝트 인식 서버.
  10. 제9항에 있어서,
    상기 딥 러닝 기반 오브젝트 인식부는,
    상기 오브젝트 인식 결과 데이터에 포함된 오브젝트 인식 정보를 실제의 오브젝트 인식 정보와 비교하여 일치 여부 또는 유사도 수치를 결정하고, 일치하지 않거나 상기 유사도 수치가 일정 수준 이하인 경우, 상기 오브젝트 이미지를 입력 데이터로 하여 상기 딥 러닝 알고리즘을 재 실행하는 딥 러닝 기반의 오브젝트 인식 서버.
  11. 오브젝트가 촬영된 하나 이상의 이미지를 전송하는 에이전트; 및
    상기 에이전트로부터 수신된 하나 이상의 이미지를 토대로 상기 오브젝트를 인식하는 딥 러닝 기반의 오브젝트 인식 서버를 포함하고,
    상기 딥 러닝 기반의 오브젝트 인식 서버는,
    상기 하나 이상의 이미지를 입력 받는 이미지 입력부;
    상기 하나 이상의 이미지에 포함된 오브젝트를 분석하여, 상기 오브젝트에 라벨이 존재하는 경우, 상기 라벨을 구분 인식하여 상기 라벨에 포함된 문자 정보 중에서 상기 오브젝트를 식별할 수 있는 제품의 모델명이나 바코드와 대응되는 제1 오브젝트 모델 정보를 추출하거나, 상기 오브젝트에 부착된 상기 라벨이 훼손되거나 존재하지 않는 경우, 상기 하나 이상의 이미지 내에서 상기 오브젝트의 형상이 표시된 오브젝트 이미지를 추출하는 이미지 처리부;
    상기 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 제2 오브젝트 모델 정보를 포함하는 오브젝트 인식 결과 데이터를 생성하여 출력하는 딥 러닝 기반 오브젝트 인식부;
    상기 제1 오브젝트 모델 정보를 저장하거나, 상기 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 오브젝트 인식 정보 관리부;
    상기 오브젝트 이미지를 통해 상기 오브젝트의 노후 정도, 파손 정도 및 색바램 정도를 나타내는 오브젝트 상태를 파악하여 오브젝트 상태 정보를 데이터베이스에 저장하는 오브젝트 상태 파악부; 및
    상기 오브젝트 상태 정보를 입력 데이터로 하여 딥 러닝 알고리즘을 통해 상기 오브젝트에 대한 등급과 상기 등급에 대응되는 가격을 결정하고, 등급 정보와 상기 등급에 대응되는 가격 정보를 생성하여 데이터베이스에 저장하는 오브젝트 등급 결정부를 포함하고,
    상기 오브젝트는 폐 자동차에 포함된 부품 중에서 탈거하여 재활용 가능한 부품인 딥 러닝 기반의 오브젝트 인식 시스템.
  12. 제11항에 있어서,
    상기 에이전트는 사용자 단말에 포함된 애플리케이션인 딥 러닝 기반의 오브젝트 인식 시스템.
  13. 제11항에 있어서,
    상기 딥 러닝 기반의 오브젝트 인식 서버에 접속하여 상기 데이터베이스에 저장된 상기 오브젝트 인식 정보 또는 상기 오브젝트 인식 결과 데이터를 조회하거나 편집하는 관리자 단말을 더 포함하는 딥 러닝 기반의 오브젝트 인식 시스템.
  14. 제11항에 있어서,
    상기 오브젝트 인식 결과 데이터는 둘 이상의 오브젝트 모델 정보를 포함하는 딥 러닝 기반의 오브젝트 인식 시스템.
  15. 제14항에 있어서,
    상기 오브젝트 인식 결과 데이터는 상기 둘 이상의 오브젝트 모델 정보 각각에 대응되는 딥 러닝 유사도 정보를 더 포함하는 딥 러닝 기반의 오브젝트 인식 시스템.
  16. 제15항에 있어서,
    상기 딥 러닝 기반의 오브젝트 인식 서버는,
    상기 둘 이상의 오브젝트 모델 정보를 관리자 단말 또는 상기 에이전트로 전송하고,
    상기 관리자 단말 또는 상기 에이전트에서 출력된 오브젝트 선택 정보의 입력에 따라, 상기 둘 이상의 오브젝트 모델 정보 중 선택된 하나를 상기 오브젝트에 대한 상기 오브젝트 인식 정보로서 저장하는 딥 러닝 기반의 오브젝트 인식 시스템.
  17. 하나 이상의 이미지를 입력 받는 단계;
    상기 하나 이상의 이미지에 포함된 오브젝트를 분석하여, 상기 오브젝트에 라벨이 존재하는 경우, 상기 라벨을 구분 인식하여 상기 라벨에 포함된 문자 정보 중에서 상기 오브젝트를 식별할 수 있는 제품의 모델명이나 바코드와 대응되는 제1 오브젝트 모델 정보를 추출하는 단계;
    상기 오브젝트에 부착된 상기 라벨이 훼손되거나 존재하지 않는 경우, 상기 하나 이상의 이미지 내에서 상기 오브젝트의 형상이 표시된 오브젝트 이미지를 추출하는 단계;
    상기 오브젝트 이미지를 입력 데이터로 하여 딥 러닝 알고리즘을 실행시켜 제2 오브젝트 모델 정보를 포함하는 오브젝트 인식 결과 데이터를 생성하여 출력하는 단계;
    상기 제1 오브젝트 모델 정보를 데이터베이스에 저장하거나, 상기 오브젝트 인식 결과 데이터를 데이터베이스에 저장하는 단계;
    상기 오브젝트 이미지를 통해 상기 오브젝트의 노후 정도, 파손 정도 및 색바램 정도를 나타내는 오브젝트 상태를 파악하여 오브젝트 상태 정보를 데이터베이스에 저장하는 단계;
    상기 오브젝트 상태 정보를 입력 데이터로 하여 딥 러닝 알고리즘을 통해 상기 오브젝트에 대한 등급과 상기 등급에 대응되는 가격을 결정하고, 등급 정보와 상기 등급에 대응되는 가격 정보를 생성하여 데이터베이스에 저장하는 단계를 포함하고,
    상기 오브젝트는 폐 자동차에 포함된 부품 중에서 탈거하여 재활용 가능한 부품인 딥 러닝 기반의 오브젝트 인식 방법.
KR1020180007230A 2018-01-19 2018-01-19 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법 KR101869895B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180007230A KR101869895B1 (ko) 2018-01-19 2018-01-19 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180007230A KR101869895B1 (ko) 2018-01-19 2018-01-19 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법

Publications (1)

Publication Number Publication Date
KR101869895B1 true KR101869895B1 (ko) 2018-06-25

Family

ID=62806053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180007230A KR101869895B1 (ko) 2018-01-19 2018-01-19 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법

Country Status (1)

Country Link
KR (1) KR101869895B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122286A1 (ko) * 2018-12-13 2020-06-18 (주)한국플랫폼서비스기술 자동 분류저장 기술을 이용한 dbms-ai 프레임 워크 및 이를 이용한 자동분류저장 방법
WO2020138564A1 (ko) * 2018-12-28 2020-07-02 엘지전자 주식회사 전자 장치
KR20200087306A (ko) * 2018-12-28 2020-07-21 비비트리 주식회사 이미지 크라우드소싱 시스템 및 저작물 배포 방법
WO2020171333A1 (ko) * 2019-02-19 2020-08-27 삼성전자 주식회사 이미지 내의 오브젝트 선택에 대응하는 서비스를 제공하기 위한 전자 장치 및 방법
KR20200119385A (ko) * 2019-03-26 2020-10-20 주식회사 캐시고 인공지능 감정 시스템, 인공지능 감정 방법 및 기록 매체
KR102309006B1 (ko) * 2020-12-23 2021-10-06 라이트브라더스 주식회사 인공지능을 이용한 자전거 부품 분류 및 견적 기반 추천 방법 및 시스템
KR20210126366A (ko) * 2020-04-10 2021-10-20 주식회사 애니캐스팅 소프트웨어 게이팅 설계 방법 및 시스템
KR102360491B1 (ko) * 2021-09-28 2022-02-09 라이트브라더스 주식회사 저감된 탄소 배출량 계산 기반의 자전거 응용 서비스 플랫폼 서버, 방법, 및 컴퓨터 판독 가능한 기록 매체
KR20220110051A (ko) * 2021-01-29 2022-08-05 쿠팡 주식회사 반송된 제품의 등급을 매김으로써 재고를 관리하기 위한 컴퓨터 시스템 및 방법
KR20220169804A (ko) * 2021-06-21 2022-12-28 주식회사 메디트 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR20240031988A (ko) 2019-03-17 2024-03-08 이상국 바코드 판독 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122286A1 (ko) * 2018-12-13 2020-06-18 (주)한국플랫폼서비스기술 자동 분류저장 기술을 이용한 dbms-ai 프레임 워크 및 이를 이용한 자동분류저장 방법
WO2020138564A1 (ko) * 2018-12-28 2020-07-02 엘지전자 주식회사 전자 장치
KR20200087306A (ko) * 2018-12-28 2020-07-21 비비트리 주식회사 이미지 크라우드소싱 시스템 및 저작물 배포 방법
KR102150069B1 (ko) * 2018-12-28 2020-08-31 비비트리 주식회사 이미지 크라우드소싱 시스템 및 저작물 배포 방법
US11492741B2 (en) 2018-12-28 2022-11-08 Lg Electronics Inc. Electronic device
WO2020171333A1 (ko) * 2019-02-19 2020-08-27 삼성전자 주식회사 이미지 내의 오브젝트 선택에 대응하는 서비스를 제공하기 위한 전자 장치 및 방법
KR20240031988A (ko) 2019-03-17 2024-03-08 이상국 바코드 판독 시스템
KR20200119385A (ko) * 2019-03-26 2020-10-20 주식회사 캐시고 인공지능 감정 시스템, 인공지능 감정 방법 및 기록 매체
KR102358607B1 (ko) * 2019-03-26 2022-02-07 주식회사 캐시고 인공지능 감정 시스템, 인공지능 감정 방법 및 기록 매체
KR102372928B1 (ko) * 2020-04-10 2022-03-10 주식회사 애니캐스팅 소프트웨어 게이팅 설계 방법 및 시스템
KR20210126366A (ko) * 2020-04-10 2021-10-20 주식회사 애니캐스팅 소프트웨어 게이팅 설계 방법 및 시스템
KR102309006B1 (ko) * 2020-12-23 2021-10-06 라이트브라더스 주식회사 인공지능을 이용한 자전거 부품 분류 및 견적 기반 추천 방법 및 시스템
KR20220110051A (ko) * 2021-01-29 2022-08-05 쿠팡 주식회사 반송된 제품의 등급을 매김으로써 재고를 관리하기 위한 컴퓨터 시스템 및 방법
KR102523469B1 (ko) * 2021-01-29 2023-04-20 쿠팡 주식회사 반송된 제품의 등급을 매김으로써 재고를 관리하기 위한 컴퓨터 시스템 및 방법
US11763255B2 (en) 2021-01-29 2023-09-19 Coupang Corp. Computerized systems and methods for managing inventory by grading returned products
KR20220169804A (ko) * 2021-06-21 2022-12-28 주식회사 메디트 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR102613531B1 (ko) 2021-06-21 2023-12-14 주식회사 메디트 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR102360491B1 (ko) * 2021-09-28 2022-02-09 라이트브라더스 주식회사 저감된 탄소 배출량 계산 기반의 자전거 응용 서비스 플랫폼 서버, 방법, 및 컴퓨터 판독 가능한 기록 매체
KR102399012B1 (ko) * 2021-09-28 2022-05-17 라이트브라더스 주식회사 탄소 저감량/배출량 계산 기반 자전거 응용 서비스 플랫폼 서버, 방법, 및 컴퓨터 판독 가능한 기록 매체
JP7333982B2 (ja) 2021-09-28 2023-08-28 ライトブラザーズ・カンパニー・リミテッド 低減された炭素排出量計算基盤の自転車応用サービスプラットフォームサーバー、方法、およびコンピュータ読み取り可能な記録媒体
US11922433B2 (en) 2021-09-28 2024-03-05 Wrightbrothers Co., Ltd Bicycle application service platform server, method, and computer-readable recording medium based on reduced carbon emission calculation

Similar Documents

Publication Publication Date Title
KR101869895B1 (ko) 딥 러닝 기반의 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법
AU2018324122B2 (en) Identification of individuals in a digital file using media analysis techniques
EP3520045B1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
CN105426356B (zh) 一种目标信息识别方法和装置
US20170255831A1 (en) System and method for relevance estimation in summarization of videos of multi-step activities
CN108108744B (zh) 用于辐射图像辅助分析的方法及其系统
CN111522987A (zh) 一种图像审核方法、设备及计算机可读存储介质
CN111897962A (zh) 一种物联网资产标记方法及装置
CN110780965B (zh) 基于视觉的流程自动化方法、设备及可读存储介质
US11783384B2 (en) Computer vision systems and methods for automatically detecting, classifying, and pricing objects captured in images or videos
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN111445058A (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
KR102320005B1 (ko) 영상 분석 기반 비정상 객체 검출 시스템 및 방법
CN116452212B (zh) 一种智能客服商品知识库信息管理方法及系统
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
US20130054553A1 (en) Method and apparatus for automatically extracting information of products
KR101895479B1 (ko) 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법
CN115983873A (zh) 一种基于大数据的用户数据分析管理系统及方法
US7519237B2 (en) Method for characterizing stored information
KR102342495B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN113837174A (zh) 目标对象识别方法、装置及计算机设备
CN111144298A (zh) 一种行人识别方法及装置
CN117235559B (zh) 一种基于边缘计算的物联网数据采集方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration