KR102401137B1 - 원격지원 장치 및 그 방법 - Google Patents
원격지원 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102401137B1 KR102401137B1 KR1020200038630A KR20200038630A KR102401137B1 KR 102401137 B1 KR102401137 B1 KR 102401137B1 KR 1020200038630 A KR1020200038630 A KR 1020200038630A KR 20200038630 A KR20200038630 A KR 20200038630A KR 102401137 B1 KR102401137 B1 KR 102401137B1
- Authority
- KR
- South Korea
- Prior art keywords
- product
- information
- unit
- remote support
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 41
- 238000010801 machine learning Methods 0.000 claims description 28
- 230000003190 augmentative effect Effects 0.000 claims description 21
- 238000013473 artificial intelligence Methods 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 239000000047 product Substances 0.000 claims 54
- 239000006227 byproduct Substances 0.000 claims 2
- 238000012790 confirmation Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 23
- 238000013528 artificial neural network Methods 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000011176 pooling Methods 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 8
- 230000008439 repair process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005406 washing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Entrepreneurship & Innovation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
원격지원 장치 및 그 방법이 개시된다. 일 실시 예에 따른 원격지원 장치는, 현장의 제품을 촬영한 영상을 사용자 단말로부터 수신하는 데이터 수신부와, 촬영영상에서 객체를 인식하는 객체 인식부와, 객체 인식정보를 이용하여 제품정보를 확인하는 제품 확인부와, 제품정보가 확인된 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성하는 가이드 생성부와, 사용자 단말과 가이드 화면을 공유하면서 원격 제어하는 원격제어 처리부를 포함한다.
Description
본 발명은 원격제어 기술에 관한 것이다.
네트워크에 연결된 원격지원 장치가 현장에 위치한 제품과 연결되어 제품을 마치 자신의 단말인 것처럼 제어할 수 있는 기술을 원격제어 기술이라고 통칭한다. 원격제어 서비스의 예를 들면, 서비스 수요자는 상담을 원하는 고객이며 서비스 공급자는 상담원인 경우, 고객의 요청에 따라 상담원이 원격제어 장치에 가상으로 생성된 제품의 화면을 보면서 고객의 제품을 원격제어 할 수 있다. 그런데 네트워크 기능이 탑재되지 않은 제품의 경우에는 제품 화면을 활용할 수 없어 원격지원이 어렵다.
일 실시 예에 따라, 네트워크 기능이 탑재되지 않은 제품에 대한 원격지원이 가능하며, 네트워크 기능 비 탑재로 인해 제품 확인이 어려운 문제를 해결할 수 있는 원격지원 장치 및 그 방법을 제안한다.
일 실시 예에 따른 원격지원 장치는, 현장의 제품을 촬영한 영상을 사용자 단말로부터 수신하는 데이터 수신부와, 촬영영상에서 객체를 인식하는 객체 인식부와, 객체 인식정보를 이용하여 제품정보를 확인하는 제품 확인부와, 제품정보가 확인된 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성하는 가이드 생성부와, 사용자 단말과 가이드 화면을 공유하면서 원격 제어하는 원격제어 처리부를 포함한다.
객체 인식부는, 인공지능 기반 기계학습을 이용하여 객체를 인식하고, 보조수단으로 증강현실 기반 객체 인식을 상호 보완하여 객체를 인식할 수 있다.
가이드 생성부는 전자문서 매뉴얼을 포함한 가이드 화면을 생성하거나, 인식된 객체를 포함한 촬영영상에 가상의 증강현실 매뉴얼을 결합하여 증강현실 가이드 화면을 생성할 수 있다.
가이드 생성부는 제품 내 지원이 필요한 부분을 식별하기 위한 식별자 정보, 제품의 상태정보, 제품에 대한 현장 사용자의 문제 해결을 위한 가상 도구, 프로세스 마커 중 적어도 하나를 포함하여 가이드 화면을 구성할 수 있다.
원격지원 장치는 제품 사용자의 얼굴을 인식하는 얼굴 인식부를 더 포함하며, 제품 확인부는 인식된 얼굴과 매칭되는 제품정보를 저장부에서 검색하여 제품을 확인할 수 있다.
저장부는 제품 사용자의 구매 또는 수리한 제품정보와 함께 최초 1회 등록한 얼굴정보와 매칭되어 저장될 수 있다.
제품 확인부는 객체 인식부의 객체 인식을 통해 제품정보를 확인하는 제1 프로세스 및 얼굴 인식부의 얼굴 인식을 통해 제품정보를 확인하는 제2 프로세스 중 적어도 하나의 프로세스를 이용하여 제품정보를 확인하고, 제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스를 수행한 후 수행하지 않은 나머지 프로세스를 검증용으로 사용 가능하며, 제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스를 수행하여 제품정보가 확인 되면 수행하지 않은 나머지 프로세스를 생략 가능하다.
다른 실시 예에 따른 원격지원 방법은, 원격지원 장치가: 현장의 제품을 촬영한 영상을 사용자 단말로부터 수신하는 단계와, 촬영영상에서 객체를 인식하는 단계와, 객체 인식정보를 이용하여 제품정보를 확인하는 단계와, 제품정보가 확인된 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성하는 단계와, 사용자 단말과 가이드 화면을 공유하면서 원격 제어하는 단계를 포함한다.
객체를 인식하는 단계에서, 인공지능 기반 기계학습을 이용하여 객체를 인식하고, 보조수단으로 증강현실 기반 객체 인식을 상호 보완하여 객체를 인식할 수 있다.
원격지원 방법은, 객체 인식정보를 이용하여 제품정보를 확인하기 이전 또는 이후에 제품 사용자의 얼굴을 인식하는 단계와, 인식된 얼굴과 매칭되는 제품정보를 검색하여 제품을 확인하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 원격지원 장치가 제품, 특히 네트워크 기능 비 탑재 제품을 원격제어 하는 데 있어서, 제품을 정확하게 인식하여 효과적으로 원격지원 할 수 있다. 특히, 인공지능 기반 객체인식과 얼굴인식 중 적어도 하나를 이용하여 원격지원 대상이 되는 제품을 인식하고 인식된 제품에 대한 제품 매뉴얼을 자동으로 제시함에 따라 제품에 대한 인지가 어려워 원격지원이 불가능한 문제를 해결할 수 있다.
도 1은 본 발명의 이해를 돕기 위한 네트워크 기능 탑재형 제품을 대상으로 한 원격지원 개념을 도시한 도면,
도 2는 본 발명의 이해를 돕기 위한 네트워크 기능 비 탑재형 제품을 대상으로 한 원격지원 개념을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 원격지원 시스템의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 원격지원 장치의 세부 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 원격지에서의 원격지원 실시 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 기계학습을 통해 제품정보를 인식하는 실시 예를 도시한 도면,
도 7은 본 발명의 이해를 돕기 위해 기계학습 기반 객체 인식에 사용되는 콘볼루션 신경망(CNN)의 구조를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 콘볼루션 신경망(CNN)에서의 기계학습 프로세스를 실제 처리하는 예를 도시한 신경망 구조를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 원격지원 시나리오를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 원격지원 방법의 프로세스를 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 원격지원 방법의 세부 프로세스를 사용 주체를 중심으로 도시한 도면이다.
도 2는 본 발명의 이해를 돕기 위한 네트워크 기능 비 탑재형 제품을 대상으로 한 원격지원 개념을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 원격지원 시스템의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 원격지원 장치의 세부 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 원격지에서의 원격지원 실시 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 기계학습을 통해 제품정보를 인식하는 실시 예를 도시한 도면,
도 7은 본 발명의 이해를 돕기 위해 기계학습 기반 객체 인식에 사용되는 콘볼루션 신경망(CNN)의 구조를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 콘볼루션 신경망(CNN)에서의 기계학습 프로세스를 실제 처리하는 예를 도시한 신경망 구조를 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 원격지원 시나리오를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 원격지원 방법의 프로세스를 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 원격지원 방법의 세부 프로세스를 사용 주체를 중심으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램명령어들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 명령어들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 명령어들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 명령어들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 명령어들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 명령어 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 명령어들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 명령어들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 명령어들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
본 발명에 의해 학습 되는 신경망은 다양한 복잡한 계산 업무에 사용될 수 있다. 예를 들면, 신경망은 이미지 데이터가 주어졌을 때 사물 인식에 사용될 수 있다. 사물 인식은 안면 인식, 손 글씨 분석, 의료 이미지 분석, 그리고 이미지에 포함된 물체나 특징의 분석에 요구되는 일이나 그와 유사한 일들을 포함한다. 신경망은 환경 감시, 제조 및 생산 제어, 의료 진단 보조, 그리고 그와 유사한 다양한 절차에 사용될 수 있다. 신경망은 음성 인식, 언어 번역, 음성 데이터가 주어졌을 때 언어 작업들을 수행할 수 있다.
이하, 본 발명의 이해를 돕기 위해 여기에 게시되는 용어들에 대한 의미를 정의한다.
여기서 언급되는 용어 “신경망”은 일반적으로 적응적 특징을 갖는 통계적 학습 알고리즘을 수행하는, 기계 학습에 유용한 소프트웨어를 의미한다. 신경망은 생체의 신경망을 모사하여 서로 상호 연결되어 네트워크를 형성하는“뉴런”, “처리 요소”, “유닛” 또는 다른 유사한 용어들로 알려진 복수의 인공적 노드들을 포함한다. 일반적으로, 신경망은 적응적 가중치(학습 알고리즘에 의해서 조정되는 숫자 파라미터)의 셋들을 포함하고, 그것들의 입력에 대해 근사적 비선형 함수 기능을 갖는다. 적응적 가중치는 훈련이나 예측 기간 동안 활성화되는 뉴런들 간의 연결 강도를 의미한다. 일반적으로, 신경망은 비선형, 분산, 병렬, 그리고 지역 처리 및 적응 원칙에 따라 동작한다.
인공신경망 중 하나로 콘볼루션 신경망(CNN)이 있다. 일반적으로, 콘볼루션은 두 개의 함수(f, g)에 대한 수학 연산으로, 원래 함수의 변형된 버전의 제3 함수를 생성한다. 제3 함수는 두 함수 중 어느 하나의 원래 함수가 변형되는 양의 함수로서, 두 함수들의 영역 중첩을 포함한다.
일반적으로 콘볼루션 신경망(CNN)은 각각의 뉴런들이 타일 형태로 배치되고, 가시 필드에서의 중첩 영역에 응답하는 형태의 신경망 타입을 의미한다. 콘볼루션 신경망(CNN)은 입력 계층과 중간 계층 및 출력 계층을 포함한다. 입력 계층은 입력 데이터를 입력 받은 계층이고, 출력 계층은 입력 데이터에 대한 최종 분류 결과를 출력하는 계층이다. 중간 계층은 콘볼루션 계층(convolution layer), 풀링 계층(pooling layer) 및 상층의 완전 연결 계층(fully connected layer), 3종류의 계층으로 표현될 수 있다. 콘볼루션 계층은 콘볼루션 특징을 추출하는 계층으로, 의미있는 특징들을 추출하기 위한 층이다. 각각의 콘볼루션 계층은 콘볼루션 필터(convolution filter)에 의해서 파라미터화될 수 있다. 콘볼루션 신경망(CNN)의 파워는 입력 데이터를 대상으로 단순 특성으로 시작하는 계층들로부터 오며, 후속되는 계층이 고 레벨 의미를 가지도록 각 계층들을 통하여 점점 복잡한 특성들을 학습한다. 풀링 계층은 콘볼루션 계층 이후에 즉시 사용된다. 풀링 계층은 콘볼루션 계층의 출력을 단순화시킨다. 완전 연결 계층은 콘볼루션 계층과 풀링 계층에서 나온 특징을 이용하여 분류하는 층이다.
여기서 언급되는 용어 “서브 샘플링” 또는 “다운 샘플링”은 신호의 전체 사이즈를 줄이는 것을 의미한다. “최대 풀링”으로 언급된 기술은, 감소된 행렬의 각각의 요소들의 최대값을 취하는 과정을 의미한다.
예시적인 실시 예에서, 여기에 게시되는 방법과 장치는 신경망을 훈련하는데 유용하다. 신경망은 이미지 데이터로부터 사물 인식을 수행하도록 설정될 수 있다. 하지만, 예시적인 실시 예들은 설명을 위한 것일 뿐 본 발명은 여기에 국한되지 않는다. 따라서, 여기에 게시되는 방법과 장치는 신경망을 사용하는 다른 응용에서도 동일하게 사용될 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 이해를 돕기 위한 네트워크 기능 탑재형 제품을 대상으로 한 원격지원 개념을 도시한 도면이다.
도 1을 참조하면, 데스크톱을 포함한 스마트기기와 같은 제품(100)은 Wi-Fi 모듈이나 LAN 카드 등 네트워크 기능이 탑재된다. 이때, 제품(100)에 문제가 발생하는 경우, 현장 사용자가 제품(100)의 네트워크 기능을 이용하여 화면을 전송하고 원격지에 있는 상담원이 디스플레이(110)를 통해 수신 화면을 보면서 네트워크 내 서버(120)의 원격화면 공유, 원격제어 등의 기능을 활용하여 문제를 발견하고 처리할 수 있다. 이 경우, 빠른 시간 내에 처리가 가능하여 가용성 및 효용성을 높일 수 있다.
도 2는 본 발명의 이해를 돕기 위한 네트워크 기능 비 탑재형 제품을 대상으로 한 원격지원 개념을 도시한 도면이다.
도 2를 참조하면, 다수의 백색가전 및 기계, 장치 등의 제품(200)은 네트워크 기능을 탑재하고 있지 않다. 이러한 제품(200)에 문제가 발생하는 경우, 현장에 있는 사용자가 소지한 스마트기기(210)를 이용할 수 있다. 스마트기기(210)는 네트워크 기능이 탑재된 디바이스이므로, 사용자가 스마트기기(210)의 카메라를 이용하여 문제가 발생한 제품(200)을 촬영하고 촬영 화면을 원격 전송한다. 원격지에 있는 상담원이 디스플레이(220)를 통해 촬영 화면을 보면서 네트워크 내 서버(230)의 원격화면 공유, 원격제어 등의 기능을 활용하여 현장의 환경을 파악하고 문제 상황을 대처할 수 있다.
스마트기기(210)에 앱 또는 웹이 모바일 형태로 설치 및 실행되어 원격지원 서비스를 제공할 수 있다. 서비스의 예를 들면, 원격접속으로 현장에 있는 고객이 스마트기기(210)의 앱을 실행하고 앱 카메라를 이용하여 화면에 제품(200)을 위치 시켜 제품(200)을 촬영한 후 촬영 화면을 원격지의 상담원 측에 전송한다. 상담원은 상담원의 디스플레이(220)에 전송되는 화면에 화살표 등을 오버래핑 해서 고장 난 부위를 파악하거나 어두울 경우 고객의 스마트기기(210)의 플래쉬를 켜고 보여주고 싶은 이미지, 영상 등을 통해 고객이 문제를 해결할 수 있도록 가이드 할 수 있다.
그런데 이와 같은 네트워크 기능이 탑재되지 않은 제품(200)에 대한 원격지원 시 다음과 같은 문제가 발생할 수 있다.
첫째, 숙달된 상담원이 아닐 경우 화면을 통해 들어오는 제품(200)에 대한 인지가 어렵다. 예를 들어, 기한이 지난 제품의 경우 라벨이 떨어져 확인이 어려운 경우도 있고, 고객이 라벨이나 시리얼 번호가 있는 위치를 찾지 못하는 경우도 있다.
둘째, 고객 이력 정보를 찾기 어려울 경우 이에 대해서 고객도 자료가 없고 제조사도 자료가 없기 때문에 (대부분 대리점이나 오픈 마켓을 통해 제품이 판매되고 있어 자료는 있으나 바로 활용이 되기 어려운 부분이 있음), 유지보수 수리 시 이를 파악하고 해결할 항구적인 방안이 필요하다. 특히 고객정보에서, 고객이 이사를 가든지 스마트기기를 변경하든지 등에 상관없이 확인할 수 있는 것이 주민번호 등의 사회적 인지번호인데, 도용이 가능하여 이를 해소할 방안이 필요하다.
이하, 후술되는 도면들을 참조하여 전술한 네트워크 기능이 탑재되지 않은 제품을 대상으로 한 원격지원 시 발생 가능한 문제를 해결하기 위한 원격지원 장치 및 그 방법에 대해 상세히 후술한다.
도 3은 본 발명의 일 실시 예에 따른 원격지원 시스템의 구성을 도시한 도면이다.
도 3을 참조하면, 원격지원 시스템(1)은 원격지원 장치(2), 사용자 단말(3), 제품(4) 및 제품 등록장치(5)를 포함한다.
상담원 측에 위치하는 원격지원 장치(2)는 현장의 사용자 단말(3)로부터 전송되는 화면을 수신하여 디스플레이에 표시하고, 화면공유 및 원격제어 등을 수행한다. 일 실시 예에 따른 원격지원 장치(2)는 디스플레이와 서버를 포함하여, 디스플레이를 통해서는 원격 화면을 상담원에 제공하고, 서버를 통해서는 화면공유, 원격제어, 네트워크 접속 처리 등의 기능을 수행할 수 있다. 원격지원 장치(2)는 상담원이 사용하는 장치이고, 사용자 단말(3) 및 제품(4)은 현장에 있는 사용자, 예를 들어 고객, 현장 담당자 등이 사용하는 장치일 수 있다.
사용자 단말(3)은 카메라 기능을 통해 제품(4)를 촬영하여 촬영 화면을 네트워크를 통해 원격지원 장치(2)에 전송한다. 사용자 단말(3)은 앱(App)을 통해 원격지원 장치(2)가 제공하는 원격 가이드 서비스를 이용할 수 있고, 앱 카메라를 통해 실시간 촬영영상을 획득할 수 있다. 현장에 위치하는 제품(4)은 냉장고, 세탁기, 전자레인지, 에어컨, TV 등의 가전이나 전자기기일 수 있다. 제품(4)은 네트워크 기능 비 탑재형 제품이다.
원격지원 장치(2)는 사용자 단말(3)로부터 전송되는 화면을 보면서 현장의 사용자 및 제품(4)을 원격제어 하는 장치이다. 원격지원 장치(2)는 제품(4)에 대한 촬영화면을 조작하기 위한 키보드, 모니터, 마우스 등의 사용자 인터페이스를 구비할 수 있다.
원격지원 장치(2)는 원격 상담 프로그램을 설치 및 실행할 수 있으며, 실행 화면을 표시할 수 있는 디스플레이를 가진다. 원격지원 장치(2)는 디스플레이를 가지는 개인용 컴퓨터, 노트북 컴퓨터, 태블릿 PC, 스마트폰 등의 디바이스일 수 있고, 서버일 수도 있으며, 디바이스와 서버에 일부 기능들이 각각 분산될 수도 있다. 예를 들어, 서버가 데이터를 저장 및 관리하면서 화면공유, 원격제어, 네트워크 접속 처리 등의 기능을 수행하면, 디바이스가 서버로부터 화면정보를 수신하여 화면에 표시할 수 있다. 원격지원 장치(2)는 사용자 단말(3)과 네트워크(6)를 통해 연결되어 사용자 단말(3)이 제품(4)을 촬영한 영상을 수신하고 수신된 촬영 영상을 디스플레이를 통해 보면서 원격 제어할 수 있다.
원격지원 장치(4)는 블레이드 원격지원 장치와 같은 통상의 원격지원 장치를 포함할 수 있고, 메인 프레임, 개인용 컴퓨터의 네트워크 또는 단순한 개인용 컴퓨터일 수 있다. 원격지원 장치(4)는 사용자 단말(2)로부터 원거리에 위치할 수 있다. 원격지원 장치(4)는 집중형 데이터 스토리지(centralized data storage) 프로세싱(processing) 및 분석을 수행하는데, 딥 러닝(deep learning)을 수행할 수 있다. 딥 러닝은 높은 연산력과 많은 양의 데이터 저장용량을 요구한다. 원격지원 장치(4)는 사용자 단말(2)을 원격 제어할 수 있다. 이때, 사용자 단말(2)로부터 수신되는 화면을 모니터링 및 제어할 수 있다. 원격지원 장치(4)는 신경망에 입력되는 입력 이미지를 조합하기 위한 이미지 처리 능력을 포함할 수 있다.
원격지원 장치(2)가 현장의 제품(4)을 원격제어 하는 데 있어서, 제품(4)의 현재 상태를 실시간으로 정확하게 모니터링 할 수 있어서 원격제어 서비스를 효과적으로 제공할 수 있다. 예를 들면, 고객의 요청에 따라 상담원이 제품(4)에 대한 촬영화면을 보면서 제품(4)을 원격제어 할 수 있다. 제품(4)이 세탁기인 경우, 사용자가 세탁기를 사용자 단말(3)의 카메라를 통해 촬영하고 촬영 화면을 원격지원 장치(2)에 전송하여 화면에 실시간으로 보여줌에 따라 상담자가 고객의 세탁기 현재 상태를 파악하고 그에 따른 조치를 수행할 수 있다.
일 실시 예에 따른 원격지원 시스템(1)은 도 2를 참조로 하여 전술한 네트워크 기능 비 탑재형 제품을 대상으로 한 원격지원 시 발생 가능한 문제를 해결하기 위해, 딥 러닝 등의 기계학습을 이용한 제품인식과 얼굴인식(face recognition) 기술을 사용한다. 예를 들어, 최초 얼굴인식으로 제품(4)의 제품정보와 함께 제품을 구매한 사용자의 얼굴정보를 매칭하여 제품 등록장치(5)에 등록해 두고, 인공지능 기반 얼굴인식과 인공지능 기반 제품인식으로 신속하게 사용자가 지원 요청한 제품(4)의 제품정보를 찾아낸 후, 이에 따른 제품 매뉴얼을 자동 다운로드 받아 화면공유 기능을 통해 사용자가 해야 할 일을 사용자에게 가이드 한다.
제품 등록장치(5)는 구매자가 제품을 구매 또는 수리할 때 구매자의 얼굴정보와 제품정보를 매칭하여 등록한다. 제품정보는 제품을 구매 또는 수리한 목록을 포함하며, 목록은 제품 명, 구매일자, 수리일자 등을 포함할 수 있다. 얼굴정보는 구매 및 수리를 포함하여 이 중 최초 1회 등록할 수 있다.
네트워크(6)는 유무선 인터페이스를 포함한다. 무선 인터페이스는 셀룰러, 블루투스, Wi-Fi, NFC, ZigBee 등의 프로토콜을 사용할 수 있다. 무선 인터페이스는 블루투스, Wi-Fi, 이더넷, DSL, LTE, PCS, 2G, 3G, 4G, 5G, LAN, CDMA, TDMA, GSM, WDM, WLAN 등을 포함하는 무선 통신 인터페이스를 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 원격지원 장치의 세부 구성을 도시한 도면이다.
도 3 및 도 4를 참조하면, 원격지원 장치(2)는 데이터 수신부(20), 입력부(21), 제어부(22), 디스플레이(23), 데이터 송신부(24) 및 저장부(25)를 포함한다.
데이터 수신부(20)와 데이터 송신부(24)를 포함하는 통신부는 사용자 단말(3)과 네트워크 연결되어, 유무선 통신을 수행한다. 원격지원 장치(2)는 사용자 단말(3)과 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.
데이터 수신부(20)는 현장 사용자가 사용자 단말(3)을 통해 제품(4)를 바라보는 현재시점을 기준으로 제품(4)을 촬영한 촬영영상을 사용자 단말(3)로부터 획득한다. 촬영영상은 실시간으로 촬영하는 영상일 수 있다. 사용자 단말(3)은 카메라를 이용하여 제품(4)를 촬영할 수 있다. 데이터 수신부(20)는 획득된 촬영 영상을 제어부(22)에 전달한다.
입력부(21)는 상담원으로부터 조작신호를 입력 받는다. 조작신호는 상담원의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 등이 있다. 입력부(21)는 입력 받은 조작신호를 제어부(22)에 전달한다.
디스플레이(23)는 데이터 수신부(20)로부터 수신된 촬영영상을 화면에 출력한다. 또한, 입력부(21)를 통해 입력된 조작신호에 따라 처리된 정보를 가이드 화면에 표시할 수 있다. 디스플레이(23)에 표시되는 가이드 화면은 원격제어 처리부(226)에 의해 사용자 단말(3)과 공유될 수 있다.
디스플레이(23)는 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 표시할 수 있다. 가이드 화면은 증강현실 가이드 화면일 수 있는데, 이때 출력되는 정보는 촬영영상 내 실제 객체와 증강현실 매뉴얼 내 가상 객체가 있다. 증강현실 매뉴얼은 촬영 영상 내 실제 객체와 결합한 가상 객체 형태의 제품 매뉴얼로, 상담자는 제품 매뉴얼을 가지고 현장에서 제품(4)에 대한 사용자 조작을 원격으로 가이드 할 수 있다. 데이터 송신부(24)는 사용자 단말(3)에 제품 매뉴얼을 포함한 가이드 화면을 전송한다.
저장부(25)는 각종 데이터를 저장한다. 데이터는 제품 매뉴얼 정보를 포함할 수 있는데, 제품 매뉴얼 정보는 현장의 제품에 대한 설명자료, 제품의 도면, 제품 내 부품정보, 작업 스케줄 정보, 제품과 연계되는 웹 사이트 정보 등을 포함한다. 이러한 제품 매뉴얼 정보는 별도의 서버로부터 다운로드 받을 수 있고, 필요 시 저장부(25)에 저장될 수도 있고, 입력부(21)를 통해 사용자로부터 입력 받을 수도 있다.
일 실시 예에 따른 저장부(25)에는 객체 인식부(221)의 객체인식을 위한 기계학습 명령어가 저장된다. 기계학습 명령어는 컴퓨팅 리소스 및 관련된 컴포넌트의 제어를 통해서 구현되는 본 발명의 방법을 실행하기 위한 것이다. 일 실시 예에 따른 저장부(25)에는 제품 사용자의 얼굴정보 및 제품정보를 매칭한 매칭정보가 저장된다. 제품정보는 제품 사용자가 제품을 구매 또는 수리한 목록을 포함하며, 목록은 제품 명, 구매일자, 수리일자 등을 포함할 수 있다. 원격지원 장치(2)를 통해 제품(4)에 대한 원격지원이 수행되면 지원 히스토리가 저장부(25)에 저장될 수 있다.
저장부(25)는 하드디스크(Hard Disk), 플래시 메모리(Flash Memory)와 같은 내장형 메모리뿐만 아니라, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multi-Media Card), 또는 메모리 스틱(Memory Stick) 등과 같은 이동 시 메모리로서 원격지원 장치(2)의 내부에 구현될 수 있고, 별도의 장치에 구비되어 있을 수도 있다. 저장부(25)는 데이터베이스(Database)일 수 있다.
제어부(22)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(22)는 데이터 수신부(20)를 통해 획득되는 촬영영상을 대상으로 객체 인식을 수행하고, 원격 가이드를 위한 제품 매뉴얼을 생성하여 사용자 단말(3)에 제공한다.
일 실시 예에 따른 제어부(22)는 객체 인식부(221), 얼굴 인식부(222), 제품 확인부(223), 원격 가이드부(224)를 포함하며, 원격 가이드부(224)는 가이드 생성부(225) 및 원격제어 처리부(226)를 포함할 수 있다.
객체 인식부(221)는 촬영영상 내 객체를 인식한다. 촬영영상이 실시간 촬영영상인 경우 인식된 객체의 움직임을 계속 따라가는 트래킹을 수행할 수 있다. 일 실시 예에 따른 객체 인식부(221)는 객체 인식을 위해 증강현실 기반 영상분석과 인공지능 기반 기계학습을 이용한다. 영상분석은 획득된 촬영영상 내에서 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.
기계학습은 인공지능에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다. 객체 인식부(221)는 저장부(25)에 저장된 기계학습 명령어를 이용하여 데이터 수신부(20)를 통해 수신된 촬영 영상에 대해 기계학습을 수행하여 객체를 인식할 수 있다.
객체 인식부(221)는 이러한 인공지능 기반 객체 인식과 증강현실 기반 객체 인식을 상호 보완하여 객체인식의 정확성을 높이고자 한다. 예를 들어, 객체 인식부(221)는 인공지능 기반 기계학습을 이용하여 객체를 인식하고, 보조수단으로 증강현실 기반 객체 인식을 상호 보완하여 객체를 인식할 수 있다. 기계학습을 이용한 객체인식에 대해서는 후술되는 도 7 및 도 8을 참조로 하여 상세히 설명한다.
얼굴 인식부(222)는 현장 사용자의 얼굴을 인식한다. 이를 위해, 사용자 단말(3)이 현장에서 앱 카메라를 통해 사용자의 얼굴을 촬영하고 촬영 영상을 원격지원 장치(2)에 전송한다. 원격지원 장치(2)는 데이터 수신부(20)를 통해 사용자의 얼굴을 촬영한 영상을 수신하고, 얼굴 인식부(222)가 촬영 영상에서 얼굴을 인식한다. 이때, 얼굴 인식부(222)는 객체 인식부(221)에서의 객체 인식과 동일하게 인공지능 기반 객체 인식과 증강현실 기반 객체인식을 이용하여 현장 사용자의 얼굴을 인식할 수 있다.
제품 확인부(223)는 객체 인식부(221)의 객체 인식정보 및 얼굴 인식부(222)의 얼굴 인식정보 중 적어도 하나를 이용하여 제품정보를 확인한다. 제품정보는 제품의 고유정보로서, 모델 명, 품번, 제조사, 제조일 등의 정보를 포함한다. 제품 확인부(223)는 얼굴 인식부(222)를 통해 인식된 얼굴정보와 매칭되는 제품정보를 저장부(25)에서 검색하거나 제품 등록장치(5)에 요청하여 수신함에 따라 제품을 확인할 수 있다. 예를 들어, 얼굴인식을 통해 제품 사용자는 '홍길동' 이고, '홍길동'이 사용하는 제품정보는 '밀레 CX1'임을 확인한다.
제품 확인부(223)는 객체 인식부(221)의 객체 인식을 통해 제품정보를 확인하는 제1 프로세스 및 얼굴 인식부(222)의 얼굴 인식을 통해 제품정보를 확인하는 제2 프로세스 중 적어도 하나의 프로세스를 이용하여 제품정보를 확인할 수 있다. 이때, 제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스를 수행한 후 수행하지 않은 나머지 프로세스를 검증용으로 사용 가능하다. 또한 제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스를 수행하여 제품정보가 확인 되면 수행하지 않은 나머지 프로세스를 생략 가능하다.
가이드 생성부(225)는 제품 확인부(223)를 통해 제품정보가 확인된 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성한다. 제품 매뉴얼은 현장 제품에 대한 설명자료, 제품의 도면, 제품 내 부품정보, 작업 스케줄 정보, 제품과 연계되는 웹 사이트 정보 등을 포함한다. 제품 매뉴얼은 전자문서 매뉴얼 형태일 수 있고, 가상현실 매뉴얼 형태일 수 있다. 가상현실 매뉴얼을 제공하기 위해 가이드 생성부(225)는 제품 매뉴얼을 실제 객체에 가상 객체 형태로 결합할 수 있다. 이를 위해, 실제 객체와의 상호작용을 계산하고 계산결과를 반영하여 제품에 대한 작업을 돕기 위한 가상 객체를 촬영영상에 정합한 후 렌더링하거나, 가상 객체를 렌더링한 후 촬영영상에 정합하여 증강현실 매뉴얼을 생성할 수 있다. 이때, 촬영영상에서 가상 객체 위치를 선정하여 배치할 수 있다.
가이드 화면은 제품에 대한 원격 가이드를 위한 가상 객체를 포함할 수 있다. 가상객체는 제품(4) 내 지원이 필요한 부분을 식별하기 위한 식별자 정보도 있다. 예를 들어, 화살표, 선, 블록 등의 식별자를 화면에 표시한다. 가이드 화면은 제품에서 지원이 필요한 부분의 위치를 알려줄 수도 있다. 예를 들어, 손 모양 등으로 제품 내 부품을 가리킨다.
가이드 화면은 제품(4)의 제어 상태, 고장 상태, 동작 상태, 시간정보, 제품 내 작업이 필요한 제어 파라미터 등 제품(4)에 관한 각종 상태정보를 포함할 수 있다. 이때, 제품의 모델 명, 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 제품(4)이 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 제품(4)이 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다.
가이드 화면은 현장 사용자의 제품에 대한 문제 해결에 필요한 도구를 알려주기 위한 가상객체를 포함할 수 있다. 작업도구는 예를 들어, 망치, 드라이버, 손 등이 있다. 디스플레이(23)는 다수의 작업단계로 구성된 증강현실 매뉴얼을 대상으로 단계 상태를 파악할 수 있도록 하는 프로세스 마커를 화면에 표시할 수 있다. 프로세스 마커는 증강현실 매뉴얼 별 식별자 정보와, 증강현실 매뉴얼 내 각 작업단계 별 식별자 정보와, 사용자가 원하는 작업단계로의 접근을 위해 현재 작업단계를 기준으로 적어도 하나의 작업단계 식별자에 할당되는 마커 정보를 포함한다.
원격제어 처리부(226)는 사용자 단말(3)과 가이드 화면을 원격으로 공유하면서 원격 제어한다. 예를 들어, 제품 매뉴얼을 포함한 가이드 화면을 공유 하면서 제품에 대한 설명을 제공할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 원격지에서의 원격지원 실시 예를 도시한 도면이다.
도 3 및 도 5를 참조하면, 현장의 사용자는 사용자 단말(3)을 통해 기술지원이 필요한 제품(4)을 카메라로 촬영하고 카메라 화면을 네트워크(6)를 통해 원격지의 원격지원 장치(2)에 전송한다. 원격지는 기술지원센터일 수 있다. 원격지원 장치(2)는 1) 카메라 화면을 수신하고, 2) 기계학습 모듈을 이용하여 제품(4)의 모델 명을 인지한다. 3) 이어서, 증강현실(AR) 제품 매뉴얼 또는 전자문서 제품 매뉴얼 등의 제품 매뉴얼이 있는지 확인하여 4) 제품 매뉴얼을 다운로드 받은 후 5) 다운로드 받은 제품 매뉴얼을 포함한 가이드 화면을 생성하고 이를 원격지원 모듈을 통해 현장의 사용자 단말(3)과 공유하면서 설명 등의 가이드 서비스를 제공한다. 기계학습 모듈은 도 4의 객체 인식부(221)와 대응할 수 있고, 원격지원 모듈은 도 4의 원격제어 처리부(226)와 대응할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 기계학습을 통해 제품정보를 인식하는 실시 예를 도시한 도면이다.
도 3 및 도 6을 참조하면, 원격지원 장치(2)의 객체 인식부(221)는 기계학습을 통해 촬영 영상 내 객체를 인식한다. 예를 들어, 도 6에 도시된 바와 같이 저장부(25)에 인공지능 학습 이미지를 구축해 둔다. 이때, 원격지원 장치(2)는 입력 값(Input)으로 촬영 영상을 입력 받으면, 콘볼루션 신경망(CNN) 기계학습 기반 객체 인식 기법을 통해 저장부에서 촬영 영상의 객체에 해당하는 제품정보 '밀레 - Vacuum Cleaner Cx1'을 검색하고 검색한 제품정보를 출력 값(Result)으로 제공한다.
도 7은 본 발명의 이해를 돕기 위해 기계학습 기반 객체 인식에 사용되는 콘볼루션 신경망(CNN)의 구조를 도시한 도면이다.
도 7을 참조하면, 콘볼루션 신경망(CNN)은 특징 추출(feature extraction) 단계와 분류(classification) 단계로 이루어진다. 특징 추출단계는 콘볼루션 계층과 풀링 계층으로 구성된 특징 추출 계층이 복수 개로 이루어진다. 분류 단계는 완전 연결된 하나의 계층을 생성하고 추출된 특징들을 이용하여 결과치를 내는 단계이다.
콘볼루션 계층은 콘볼루션 기능을 수행하여 입력 이미지의 특징을 나타낸다. 콘볼루션 기능은 입력 유닛에 k×k 크기의 콘볼루션 필터를 적용하여 출력 유닛을 계산하는 기능이다. 출력 유닛은 이미지의 특징(Feature) 정보를 가진다. 콘볼루션 계산은 입력 유닛의 전 영역에서 가능한 모든 k×k 크기의 부분 영역을 추출하고, 그 다음 입력 유닛과 출력 유닛 사이에 고유하게 지정된 콘볼루션 필터의 각 단위요소들과 n×n 크기의 부분 영역의 각 값을 각각 곱한 후 합산하는 것(즉, 필터와 부분 영역 간의 내적의 곱의 합)을 의미한다. 여기서 콘볼루션 필터는 k×k 개의 파라미터로 구성되며, 커널(kernel)이라고도 지칭한다. 하나의 커널은 입력 유닛(즉, 채널)의 모든 부분 영역에 공통적으로 적용된다.
한 계층의 출력 유닛이 다음 계층을 위한 입력 유닛으로 이용될 수 있다. 한 계층의 입력 유닛으로 이용되면 그 유닛을 채널(channel)이라고도 지칭하며, 한 계층의 출력 유닛으로 이용되면 그 유닛을 특징 맵(feature map) 이라고도 지칭한다.
풀링 계층은 콘볼루션 계층의 출력을 단순화시킨다. 예를 들어, 풀링 계층은 공간적으로 입력을 다운 샘플링 한다. 이미지 데이터는 많은 픽셀이 존재하기 때문에 특징을 줄이기 위해 서브 샘플링 한다. 풀링 방식 중 하나는 최대 풀링 방식의 서브 샘플링으로, 각 윈도에서 가장 큰 자극만을 선택하는 것이다.
마지막 특징 추출 계층의 출력 유닛은 완전 연결 계층(fully connected layer)과 추가로 연결된다. 완전 연결 계층에서는 복수의 특징 추출 계층을 통해 추출된 특징을 이용하여 이미지 데이터에서 제품을 분류한다.
도 8은 본 발명의 일 실시 예에 따른 콘볼루션 신경망(CNN)에서의 기계학습 프로세스를 실제 처리하는 예를 도시한 신경망 구조를 도시한 도면이다.
도 8을 참조하면, 특징 추출 단계에서, 32×32 픽셀 입력 이미지 데이터(Input)를 대상으로 5×5 콘볼루션 필터를 통해 특징을 추출하여 28×28 이미지 4장(C1)을 추출하고, 이를 대상으로 2×2 서브 샘플링(크기를 줄이기 위한 액션)을 수행하여 동일한 4장의 14×14 이미지(S1)를 생성한다. 그리고 다시 5×5 콘볼루션 필터를 통해 특징을 추출하여 10×10 이미지 12장(C2)을 추출하고, 이를 대상으로 2×2 서브 샘플링 하여 동일한 12장의 5×5 이미지(S2)를 생성하는 프로세스를 반복한다. 이어서, 분류 단계에서, 완전 연결된 하나의 행렬(n1)을 만들고 이를 신경망에 입력하여 값을 비교한 뒤 결과치(Output)를 얻는다.
도 9는 본 발명의 일 실시 예에 따른 원격지원 시나리오를 도시한 도면이다.
도 9을 참조하면, 현장의 사용자는 상담원과 연결하여 원격지의 상담원에 청소기가 동작이 안됨을 알리고 원격지원을 요청한다. 원격지원 요청 시 현장의 사용자는 문제가 발생한 제품(4)을 사용자 단말(3)을 통해 촬영하여 촬영 영상을 원격지원 장치(2)에 전송한다. 원격지원 장치(2)는 수신된 촬영 영상을 대상으로 기계학습 기반 객체인식을 거쳐 제품(4)이 '밀레 모델 Cx1'임을 확인한다. 상담원은 현장 사용자에 '밀레 모델 Cx1 입니다. 필터를 세척하셔야 하는데요.'라는 안내를 하고, 제품 매뉴얼을 자동 또는 수동으로 다운로드 받은 후 다운로드 받은 제품 매뉴얼을 사용자 단말(3)과 공유 하면서 문제 해결을 위한 설명을 포함한 원격 가이드를 제공한다.
도 10은 본 발명의 일 실시 예에 따른 원격지원 방법의 프로세스를 도시한 도면이다.
도 3 및 도 10을 참조하면, 원격지원 장치(2)는 현장의 제품(4)을 촬영한 영상을 사용자 단말(3)로부터 수신하고, 수신된 촬영영상에서 객체를 인식(1020) 한 후, 객체 인식정보를 이용하여 제품정보를 확인한다(1030). 객체 인식 단계(1020)에서 원격지원 장치(2)는 인공지능 기반 기계학습을 이용하여 객체를 인식할 수 있다. 보조수단으로 증강현실 기반 객체 인식을 수행하고 인공지능 기반 기계학습과 상호 보완하여 객체를 인식할 수도 있다.
이어서, 원격지원 장치(2)는 제품정보가 확인된 제품(4)에 대해 원격 가이드를 제공한다(1040). 예를 들어, 제품(4)에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성하고, 사용자 단말(3)과 가이드 화면을 공유하면서 원격 제어한다.
객체 인식정보를 이용한 제품정보 확인 단계(1030) 이전 또는 이후에, 원격지원 장치(2)는 제품 사용자의 얼굴을 인식(1010) 하고, 인식된 얼굴과 매칭되는 제품정보를 검색하여 제품을 추가로 확인할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 원격지원 방법의 세부 프로세스를 사용 주체를 중심으로 도시한 도면이다.
도 3 및 도 11을 참조하면, 1. 현장 사용자가 네트워크 비 탑재 제품에 대한 고객지원을 원격지의 상담자에 요청한다.
2. 원격지의 상담자는 사용자 단말(3)의 사용자 인지(AI) 앱을 통해 본인 얼굴을 인식시킬 것을 요청한다.
3. 원격지의 원격지원 장치(2)는 사용자 단말(3)로부터 수신된 사용자 얼굴 화면으로부터 내장 AI를 이용하여 얼굴을 인식한다. 이때, 인식된 얼굴이 기존에 등록되어 있는지를 저장부(25)에서 확인하여 판단한다. 저장부(25)에는 구매/수리 요청 시 구매/수리한 제품정보와 최초 1회 획득한 얼굴인식정보가 등록되어 있다. 예를 들어, 저장부(25)에는 '홍길동'의 얼굴정보와 구매/수리 목록이 매칭되어 저장되어 있다.
현장 사용자의 얼굴 인식 이후 저장부(25)에 기존 등록되어 있지 않아 사용자가 미확인 되면 기존 등록제품 확인이 불가하다. 3. 이에 비해, 기존에 등록되어 있으면, 저장부(25)에서 사용자 및 보유제품을 확인하여 사용자가 '홍길동'임을 자동 확인하고 등록제품이 '밀레 CX1'임을 자동 확인한다.
4. 이어서, 원격지의 상담자는 사용자 단말(3)의 기기 인지(AI) 앱으로 수리를 원하는 기기 화면에 제품을 위치시킬 것을 요청한다.
5. 원격지원 장치(2)는 사용자 단말(3)로부터 제품을 촬영한 영상을 수신하고 수신된 촬영 영상에서 객체 인식을 통해 제품을 확인한다. 예를 들어, 내장 AI를 이용하여 제품 모델 '밀레 CX1'을 확인한다. 5. AI를 통해 제품 모델을 확인한 후 제품 매뉴얼 기반 가이드 제품이 기존 등록된 CX1인지 확인한 후 제품 매뉴얼을 자동으로 다운로드 받고 지원 히스토리를 확인한다.
원격지의 상담자는 화면 공유를 통해 현장사용자에 제품 매뉴얼을 설명한 후 고객 액션을 가이드 한다. 원격지원 장치(2)는 '홍길동', '밀레 Cx1'에 대한 원격지원 히스토리를 저장부(25)에 저장할 수 있다.
도 11을 참조로 하여 전술한 시나리오는 본 발명의 이해를 돕기 위한 일 실시 예일 뿐 프로세스가 이에 한정되는 것은 아니다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (10)
- 제품 사용자가 구매 및 수리한 제품정보와 제품 사용자의 얼굴정보가 매칭되어 저장되는 저장부;
현장의 제품 사용자의 얼굴을 촬영한 영상을 사용자 단말로부터 수신하여 제품 사용자의 얼굴을 인식하는 얼굴 인식부;
현장의 제품을 촬영한 영상을 사용자 단말로부터 수신하는 데이터 수신부;
제품 촬영영상에서 객체를 인식하는 객체 인식부;
얼굴 인식부를 통해 인식된 얼굴과 매칭되는 제품정보를 저장부에서 검색하여 제품정보를 확인하고, 객체 인식부의 객체 인식정보를 이용하여 제품정보를 확인함에 따라, 얼굴 인식 및 객체 인식에 의해 제품정보를 확인하는 제품 확인부;
제품정보가 확인된 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성하는 가이드 생성부; 및
사용자 단말과 가이드 화면을 공유하면서 원격 제어하는 원격제어 처리부; 를 포함하며,
현장의 제품은 네트워크 기능이 탑재되지 않고 현장에서 문제가 발생한 제품이고,
제품정보는 제품 사용자가 제품을 구매 및 수리한 목록을 포함하며,
제품 매뉴얼은 현장의 제품에 대한 설명자료, 제품의 도면, 제품 내 부품정보, 작업 스케줄 정보, 제품과 연계되는 웹 사이트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 원격지원 장치. - 제 1 항에 있어서, 객체 인식부는
인공지능 기반 기계학습을 이용하여 객체를 인식하고, 보조수단으로 증강현실 기반 객체 인식을 상호 보완하여 객체를 인식하는 것을 특징으로 하는 원격지원 장치. - 제 1 항에 있어서, 가이드 생성부는
전자문서 매뉴얼을 포함한 가이드 화면을 생성하거나, 인식된 객체를 포함한 촬영영상에 가상의 증강현실 매뉴얼을 결합하여 증강현실 가이드 화면을 생성하는 것을 특징으로 하는 원격지원 장치. - 제 1 항에 있어서, 가이드 생성부는
제품 내 지원이 필요한 부분을 식별하기 위한 식별자 정보, 제품의 상태정보, 제품에 대한 현장 사용자의 문제 해결을 위한 가상 도구, 프로세스 마커 중 적어도 하나를 포함하여 가이드 화면을 구성하는 것을 특징으로 하는 원격지원 장치. - 삭제
- 삭제
- 제 1 항에 있어서, 제품 확인부는
객체 인식부의 객체 인식을 통해 제품정보를 확인하는 제1 프로세스 및 얼굴 인식부의 얼굴 인식을 통해 제품정보를 확인하는 제2 프로세스 중 적어도 하나의 프로세스를 이용하여 제품정보를 확인하고,
제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스를 수행한 후 수행하지 않은 나머지 프로세스를 검증용으로 사용 가능하며,
제1 프로세스 및 제2 프로세스 중 어느 하나의 프로세스를 수행하여 제품정보가 확인 되면 수행하지 않은 나머지 프로세스를 생략 가능한 것을 특징으로 하는 원격지원 장치. - 원격지원 장치가
제품 사용자가 구매 및 수리한 제품정보와 제품 사용자의 얼굴정보를 매칭하여 저장부에 저장하는 단계;
현장의 제품 사용자의 얼굴을 촬영한 영상을 사용자 단말로부터 수신하여 제품 사용자의 얼굴을 인식하는 단계;
현장의 제품을 촬영한 영상을 사용자 단말로부터 수신하는 단계;
제품 촬영영상에서 객체를 인식하는 단계;
인식된 얼굴과 매칭되는 제품정보를 저장부에서 검색하여 제품정보를 확인하고, 객체 인식정보를 이용하여 제품정보를 확인함에 따라, 얼굴 인식 및 객체 인식에 의해 제품정보를 확인하는 단계;
제품정보가 확인된 제품에 대한 원격지원을 위해 제품 매뉴얼을 포함한 가이드 화면을 생성하는 단계; 및
사용자 단말과 가이드 화면을 공유하면서 원격 제어하는 단계; 를 포함하며,
현장의 제품은 네트워크 기능이 탑재되지 않고 현장에서 문제가 발생한 제품이고,
제품정보는 제품 사용자가 제품을 구매 및 수리한 목록을 포함하며,
제품 매뉴얼은 현장의 제품에 대한 설명자료, 제품의 도면, 제품 내 부품정보, 작업 스케줄 정보, 제품과 연계되는 웹 사이트 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 원격지원 방법. - 제 8 항에 있어서, 객체를 인식하는 단계는
인공지능 기반 기계학습을 이용하여 객체를 인식하고, 보조수단으로 증강현실 기반 객체 인식을 상호 보완하여 객체를 인식하는 것을 특징으로 하는 원격지원 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200038630A KR102401137B1 (ko) | 2020-03-30 | 2020-03-30 | 원격지원 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200038630A KR102401137B1 (ko) | 2020-03-30 | 2020-03-30 | 원격지원 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210121609A KR20210121609A (ko) | 2021-10-08 |
| KR102401137B1 true KR102401137B1 (ko) | 2022-05-24 |
Family
ID=78610217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200038630A KR102401137B1 (ko) | 2020-03-30 | 2020-03-30 | 원격지원 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102401137B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102541600B1 (ko) * | 2022-05-03 | 2023-06-13 | 주식회사 페르미 | 실물 객체 인식 기반 상담 서비스 제공 장치 및 방법 |
| KR102612171B1 (ko) * | 2023-08-16 | 2023-12-13 | 와우커뮤니케이션(주) | 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자반응형 매뉴얼 제공 장치 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120046653A (ko) * | 2010-11-02 | 2012-05-10 | 에스케이플래닛 주식회사 | 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법 |
| KR101239284B1 (ko) * | 2011-05-31 | 2013-03-06 | 삼성에스디에스 주식회사 | 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버 |
| KR102031670B1 (ko) * | 2017-11-17 | 2019-10-14 | 주식회사 코이노 | 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법 |
| KR102157536B1 (ko) * | 2018-08-21 | 2020-09-18 | 유한회사 하존솔루션 | 안면 인식을 사용한 샵앤샵 고객 관리 시스템 및 방법 |
-
2020
- 2020-03-30 KR KR1020200038630A patent/KR102401137B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210121609A (ko) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10911775B1 (en) | System and method for vision-based joint action and pose motion forecasting | |
| US20190392587A1 (en) | System for predicting articulated object feature location | |
| KR102132330B1 (ko) | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 | |
| KR102401137B1 (ko) | 원격지원 장치 및 그 방법 | |
| US11106898B2 (en) | Lossy facial expression training data pipeline | |
| CN111832468A (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
| US11531864B2 (en) | Artificial intelligence server | |
| US20220366244A1 (en) | Modeling Human Behavior in Work Environment Using Neural Networks | |
| US10733481B2 (en) | Cloud device, terminal device, and method for classifying images | |
| CN106294219A (zh) | 一种设备识别、数据处理方法、装置及系统 | |
| CN113516227A (zh) | 一种基于联邦学习的神经网络训练方法及设备 | |
| CN112862828A (zh) | 一种语义分割方法、模型训练方法及装置 | |
| CN112486691A (zh) | 显示设备的控制方法、系统及计算机可读存储介质 | |
| CN104794444A (zh) | 一种即时视频中的表情识别方法和电子设备 | |
| CN112906554B (zh) | 基于视觉图像的模型训练优化方法、装置及相关设备 | |
| CN110414792A (zh) | 基于bim和大数据的部品集采管理系统及相关产品 | |
| CN113627421A (zh) | 一种图像处理方法、模型的训练方法以及相关设备 | |
| CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
| US20230333720A1 (en) | Generating presentation information associated with one or more objects depicted in image data for display via a graphical user interface | |
| CN108197563A (zh) | 用于获取信息的方法及装置 | |
| CN114332524A (zh) | 图像处理装置、方法、设备以及计算机可读存储介质 | |
| CN110472537A (zh) | 一种自适应识别方法、装置、设备及介质 | |
| CN111859370B (zh) | 识别服务的方法、装置、电子设备和计算机可读存储介质 | |
| CN115376203A (zh) | 一种数据处理方法及其装置 | |
| Aravindan et al. | A Smart Assistive System for Visually Impaired to Inform Acquaintance Using Image Processing (ML) Supported by IoT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |