KR20200030816A - 스마트 글라스 장치 및 이를 이용한 작업 지시 방법 - Google Patents

스마트 글라스 장치 및 이를 이용한 작업 지시 방법 Download PDF

Info

Publication number
KR20200030816A
KR20200030816A KR1020180109525A KR20180109525A KR20200030816A KR 20200030816 A KR20200030816 A KR 20200030816A KR 1020180109525 A KR1020180109525 A KR 1020180109525A KR 20180109525 A KR20180109525 A KR 20180109525A KR 20200030816 A KR20200030816 A KR 20200030816A
Authority
KR
South Korea
Prior art keywords
monitoring system
work
remote monitoring
image
work instruction
Prior art date
Application number
KR1020180109525A
Other languages
English (en)
Inventor
강경화
조성호
하지수
Original Assignee
현대자동차주식회사
한국과학기술원
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 한국과학기술원, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180109525A priority Critical patent/KR20200030816A/ko
Priority to US16/209,375 priority patent/US20200090546A1/en
Publication of KR20200030816A publication Critical patent/KR20200030816A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0069—Engineering, e.g. mechanical, electrical design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)

Abstract

스마트 글라스 장치는 원격 모니터링 시스템과 통신하는 통신부, 안경 렌즈 형상의 디스플레이, 음향 출력부, 및 상기 원격 모니터링 시스템으로 작업 대상의 식별 코드를 전송하여 상기 식별 코드에 대응하는 작업 지시 영상 또는 작업 지시 음성을 수신하고, 상기 작업 지시 영상을 상기 디스플레이에 표시하거나, 상기 작업 지시 음성을 상기 음향 출력부를 통해 출력하는 제어부를 포함할 수 있다.

Description

스마트 글라스 장치 및 이를 이용한 작업 지시 방법{SMART GLASS DEVICE AND WORK INSTRUCTION METHOD USING THE SAME}
본 발명은 스마트 글라스 장치 및 이를 이용한 작업 지시 방법에 관한 것이다.
차체 공장, 의장 공장 등 자동차 공장에서는 작업자가 작업 지시서에 따라서 검사, 조립, 체결 등의 작업을 실시하는 것이 원칙이다. 그러나, 평소 작업자가 작업 중 작업 지시서를 보면서 작업하기에는 어려움이 있어, 작업자는 학습을 통해 캡, 케이블, 커넥터, 튜브 등 각종 부품을 차종 별로 구분하여 체결하는 작업을 수행하기도 한다.
그러나, 이와 같이 작업자가 학습에 의존하여 작업을 수행하는 경우, 작업자의 숙련도와 컨디션에 따라서 작업에 오류가 발생할 수 있다.
본 발명의 실시 예를 통해 해결하려는 과제는, 작업 효율을 향상시키고 작업 오류를 낮출 수 있는 스마트 글라스 장치 및 이를 이용한 작업 지시 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 스마트 글라스 장치는, 원격 모니터링 시스템과 통신하는 통신부, 안경 렌즈 형상의 디스플레이, 음향 출력부, 및 상기 원격 모니터링 시스템으로 작업 대상의 식별 코드를 전송하여 상기 식별 코드에 대응하는 작업 지시 영상 또는 작업 지시 음성을 수신하고, 상기 작업 지시 영상을 상기 디스플레이에 표시하거나, 상기 작업 지시 음성을 상기 음향 출력부를 통해 출력하는 제어부를 포함할 수 있다.
상기 스마트 글라스 자치는, 영상 입력부를 더 포함하며, 상기 영상 입력부를 통해 입력되는 식별 코드 영상으로부터 상기 식별 코드를 자동으로 인식할 수 있다.
상기 제어부는, 원격 지원 기능의 실행 시 상기 영상 입력부를 통해 입력되는 작업 영상을 상기 원격 모니터링 시스템으로 실시간 전송할 수 있다.
상기 제어부는, 상기 원격 지원 기능의 실행 시 상기 작업 영상을 캡쳐한 캡쳐 영상과 작업 지시용 그래픽 객체가 결합된 작업 지원 영상을 상기 원격 모니터링 시스템으로부터 수신할 수 있다.
상기 스마트 글라스 장치는, 음향 입력부를 더 포함하고, 상기 제어부는, 상기 원격 지원 기능의 실행 시 상기 음향 입력부를 통해 입력되는 작업자 음성을 상기 원격 모니터링 시스템으로 실시간 전송할 수 있다.
상기 제어부는, 상기 원격 지원 기능의 실행 시 상기 원격 모니터링 시스템으로부터 작업 지원 음성을 수신하고, 상기 음향 출력부를 통해 상기 작업 지원 음성을 실시간으로 출력할 수 있다.
상기 제어부는, 상기 작업 지시 영상 또는 상기 작업 지시 음성에 대응하는 작업이 완료되면, 상기 원격 모니터링 시스템에서 작업 이력을 관리하도록 작업 완료 정보를 상기 원격 모니터링 시스템으로 전송할 수 있다.
또한, 본 발명의 실시 예에 따른 스마트 글라스 장치의 작업 지시 방법은, 카메라를 통해 식별 코드 영상을 획득하는 단계, 상기 식별 코드 영상으로부터 작업 대상에 대응하는 식별 코드를 추출하는 단계, 원격 모니터링 시스템으로 상기 식별 코드를 전송하는 단계, 상기 식별 코드에 대응하는 작업 지시 영상 또는 작업 지시 음성을 상기 원격 모니터링 시스템으로부터 수신하는 단계, 및 상기 작업 지시 영상 또는 상기 작업 지시 음성을 출력하는 단계를 포함할 수 있다.
상기 작업 지시 방법은, 원격 지원 기능이 실행이 요청됨에 따라, 상기 원격 모니터링 시스템과 일 대 일로 연결하는 단계, 및 상기 카메라를 통해 입력되는 작업 영상을 상기 원격 모니터링 시스템으로 실시간 전송하는 단계를 더 포함할 수 있다.
상기 작업 지시 방법은, 상기 원격 지원 기능의 실행 중, 상기 작업 영상을 캡쳐한 캡쳐 영상과 작업 지시용 그래픽 객체가 결합된 작업 지원 영상을 상기 원격 모니터링 시스템으로부터 수신하는 단계를 더 포함할 수 있다.
상기 작업 지시 방법은, 상기 원격 지원 기능의 실행 중, 음향 입력 장치를 통해 입력되는 작업자 음성을 상기 원격 모니터링 시스템으로 실시간 전송하는 단계를 더 포함할 수 있다.
상기 작업 지시 방법은, 상기 원격 지원 기능의 실행 중, 상기 원격 모니터링 시스템으로부터 작업 지원 음성을 수신하는 단계, 및 상기 작업 지원 음성을 실시간으로 출력하는 단계를 더 포함할 수 있다.
상기 작업 지시 방법은, 상기 작업 지시 영상 또는 상기 작업 지시 음성에 대응하는 작업이 완료되면, 상기 원격 모니터링 시스템에서 작업 이력을 관리하도록 작업 완료 정보를 상기 원격 모니터링 시스템으로 전송하는 단계를 더 포함할 수 있다.
본 발명의 실시 예들에 따르면, 작업 대상에 맞는 작업 지시 영상이나 작업 지시 음성을 자동으로 제공함으로써, 작업 효율을 향상시킬 수 있다.
또한, 원격 모니터링을 통해 실시간 작업 현황에 맞는 작업 지원이 가능하여, 작업자의 실수를 방지할 수 있어 제품의 품질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 작업 지시 시스템을 개략적으로 도시한 구조도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 투사 장치의 설치예를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 투사 장치를 개략적으로 도시한 구조도이다.
도 4는 본 발명의 일 실시예에 따른 작업 지시 시스템의 작업 지시 방법을 도시한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 작업 지시 시스템을 개략적으로 도시한 구조도이다.
도 6은 본 발명의 다른 실시예에 따른 투사 장치를 개략적으로 도시한 구조도이다.
도 7은 본 발명의 다른 실시예에 따른 작업 지시 시스템의 작업 지시 방법을 도시한 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.
본 발명의 실시 예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 필요한 도면들을 본 발명의 실시 예에 따른 작업 지시 시스템 및 그 방법에 대해 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 작업 지시 시스템을 개략적으로 도시한 것이고, 도 2는 본 발명의 실시 예에 따른 스마트 글라스 장치를 개략적으로 도시한 것이며, 도 3은 본 발명의 실시 예에 따른 원격 모니터링 시스템을 개략적으로 도시한 것이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 작업 지시 시스템(10)은, 스마트 글라스 장치(100), 및 원격 모니터링 시스템(200)을 포함할 수 있다.
스마트 글라스 장치(100)는 원격 모니터링 시스템(200)으로부터 작업 정보를 수신하고, 이를 음성 신호 또는 영상 신호로 변환하여 출력할 수 있다. 또한, 스마트 글라스 장치(100)는 작업 결과 정보를 원격 모니터링 시스템(200)으로 전송할 수 있다. 이를 위해, 스마트 글라스 장치(100)는 원격 모니터링 시스템(200)과 무선 통신망(300)을 통해 통신할 수 있다.
도 2를 참조하면, 스마트 글라스 장치(100)는 통신부(110), 영상 입력부(120), 음향 입력부(130), 사용자 입력부(140), 디스플레이(150), 음향 출력부(160), 메모리(170), 및 제어부(180)를 포함할 수 있다.
통신부(110)는 무선 통신망(300)을 통해 원격 모니터링 시스템(200)과 데이터를 송수신할 수 있다.
영상 입력부(120)는 영상 신호 입력을 위한 것으로서, 카메라를 포함할 수 있다.
음향 입력부(130)는 음향 신호 입력을 위한 것으로서, 마이크 등 음향 입력 장치를 포함할 수 있다.
사용자 입력부(140)는 사용자로부터 스마트 글라스 장치(100)의 동작 제어를 위한 사용자 입력을 입력 받기 위한 것으로서, 버튼, 키 패드(key pad), 터치 패드 등 다양한 사용자 입력 장치를 포함할 수 있다.
디스플레이(150)는 스마트 글라스 장치(100)에서 처리되는 정보를 표시할 수 있다. 디스플레이(150)는 투시가 가능한 투명 디스플레이일 수 있다.
음향 출력부(160)는 음향 신호 출력을 위한 것으로서, 리시버(Receiver), 스피커(speaker) 등 다양한 음향 출력 장치를 포함할 수 있다.
메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 스마트 글라스 장치(100)에서 처리되는 데이터들을 임시로 저장할 수도 있다.
제어부(180)는 스마트 글라스 장치(100)의 전반적인 동작을 제어할 수 있다.
제어부(180)는 영상 입력부(120)를 통해 작업 대상(예를 들어, 차량)에 부착된 식별 코드(바코드(barcode) 또는 QR 코드(Quick Response Code))의 영상을 획득하고, 이에 대한 영상 인식을 통해 식별 코드(바코드 또는 QR 코드)를 자동으로 추출할 수 있다. 제어부(180)는 영상 인식을 통해 추출된 식별 코드(바코드 또는 QR 코드)를 원격 모니터링 시스템(200)으로 전송함으로써, 작업 대상의 작업 정보를 요청할 수 있다.
제어부(180)는 원격 모니터링 시스템(200)으로부터 작업 대상의 작업 정보가 수신되면, 이를 영상 신호로 변환하여 디스플레이(150)를 통해 표시할 수 있다. 또한, 원격 모니터링 시스템(200)으로부터 수신되는 작업 정보를 음향 신호로 변환하여, 음향 출력부(160)를 통해 출력할 수도 있다. 원격 모니터링 시스템(200)으로부터 수신되는 작업 정보는, 작업 대상 정보(차종 정보, 조립 사양 정보, 등)와 작업 가이드 정보(작업 지시 영상, 작업 지시 음성)를 포함할 수 있다.
제어부(180)는 작업 대상에 대한 작업이 완료되면, 작업 결과 정보를 원격 모니터링 시스템(200)으로 전송할 수도 있다. 제어부(180)는 사용자 입력부(140)를 통해 입력되는 제어 입력, 또는 음향 입력부(130)를 통해 입력되는 음성 명령에 기초하여, 작업 완료 여부를 인식할 수 있다. 제어부(180)는 작업이 완료된 것으로 인식되면, 작업 결과 정보를 원격 모니터링 시스템(200)으로 전송할 수 있다. 여기서, 작업 결과 정보는, 작업 대상의 식별 코드(바코드 또는 QR 코드), 작업 대상 정보(차종 정보), 작업 사양 정보, 작업 수량, 작업 완료 시간, 작업자 식별정보, 작업 완료 여부 등을 포함할 수 있다.
제어부(180)는 원격 모니터링 시스템(200)과의 실시간 데이터 송수신을 통해, 원격 지원 기능을 실행할 수도 있다. 즉, 제어부(180)는 무선 통신망(300)을 통해 원격 모니터링 시스템(200)과 연결되면, 원격 모니터링 시스템(200)으로부터 스트리밍 방식으로 수신되는 작업 지원 정보(작업 지원 영상 또는 작업 지원 음성)를 실시간으로 재생할 수 있다. 또한, 영상 입력부(120)를 통해 입력되는 영상 데이터(작업 영상) 또는 음향 입력부(130)를 통해 입력되는 음성 데이터(작업자 음성)를 스트리밍 형식으로 가공하여 원격 모니터링 시스템(200)으로 실시간 전송할 수 있다.
전술한 구조의 스마트 글라스 장치(100)는 작업자가 착용 가능한 형태로 구현될 수 있다. 예를 들어, 스마트 글라스 장치(100)는 안경, 고글 형태로 구현될 수 있으며, 이 경우, 디스플레이(150)는 안경 렌즈 형태로 구현될 수 있다.
다시, 도 1을 보면, 원격 모니터링 시스템(200)은 스마트 글라스 장치(100)로부터 식별 코드(바코드 또는 QR 코드)를 수신하고, 이에 대응하는 작업 정보를 스마트 글라스 장치(100)로 전송할 수 있다. 또한, 원격 모니터링 시스템(200)은 스마트 글라스 장치(100)로부터 작업 결과 정보를 수신하며, 이를 이용하여 작업 이력을 관리할 수 있다.
도 3을 참조하면, 원격 모니터링 시스템(200)은 통신부(210), 음향 입력부(220), 사용자 입력부(230), 디스플레이(240), 음향 출력부(250), 작업 정보 데이터베이스(260), 작업 이력 데이터베이스(270), 및 제어부(280)를 포함할 수 있다.
통신부(210)는 무선 통신망(300)을 통해 스마트 글라스 장치(100)와 데이터를 송수신할 수 있다.
음향 입력부(220)는 음향 신호 입력을 위한 것으로서, 마이크 등 음향 입력 장치를 포함할 수 있다.
사용자 입력부(230)는 사용자로부터 원격 모니터링 시스템(200)의 동작 제어를 위한 사용자 입력을 입력 받기 위한 것으로서, 버튼, 키 패드, 터치 패드 등 다양한 사용자 입력 장치를 포함할 수 있다.
디스플레이(240)는 원격 모니터링 시스템(200)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이(240)는 스마트 글라스 장치(100)로부터 작업 영상이 수신되면, 이를 화면 상에 표시할 수 있다. 또한, 예를 들어, 디스플레이(240)는 스마트 글라스 장치(100)로부터 작업 완료 정보가 수신되면, 이를 화면 상에 표시할 수도 있다.
음향 출력부(250)는 원격 모니터링 시스템(200)에서의 음향 신호 출력을 위한 것으로서, 리시버, 스피커 등 다양한 음향 출력 장치를 포함할 수 있다.
작업 정보 데이터베이스(260)는 원격 모니터링 시스템(200)에서 제공하는 작업 정보를 저장하여 관리할 수 있다. 작업 정보 데이터베이스(260) 작업 대상 별로 대응하는 작업 정보를 구분하여 저장할 수 있다. 작업 정보 데이터베이스(260)는 작업 대상의 식별 코드(바코드 또는 QR 코드) 별로 대응하는 작업 정보를 구분하여 저장할 수 있다.
작업 이력 데이터베이스(270)는 스마트 글라스 장치(100)로부터 수신되는 작업 이력 정보를 저장하여 관리할 수 있다. 작업 이력 데이터베이스(270)는 작업 대상, 작업 사양, 작업 완료 시간 또는 작업자 별로 대응하는 작업 이력 정보를 구분하여 저장할 수 있다.
제어부(280)는 원격 모니터링 시스템(200)의 전반적인 동작을 제어할 수 있다.
제어부(280)는 스마트 글라스 장치(100)로부터 작업 대상의 식별 코드(바코드 또는 QR 코드)를 수신하며, 이에 대응하는 작업 정보를 작업 정보 데이터베이스(260)로부터 검색할 수 있다. 그리고, 검색된 작업 정보를 스마트 글라스 장치(100)로 전송할 수 있다.
제어부(260)는 스마트 글라스 장치(100)로부터 작업 완료 정보를 수신하며, 이를 작업 이력 데이터베이스(270)에 저장할 수 있다.
제어부(260)는 스마트 글라스 장치(100)와의 실시간 데이터 송수신을 통해, 원격 지원 기능을 실행할 수도 있다. 즉, 제어부(260)는 무선 통신망(300)을 통해 스마트 글라스 장치(100)와 연결되면, 작업 지원 정보(작업 지원 영상, 작업 지원 음성)를 스트리밍 방식으로 스마트 글라스 장치(100)로 실시간 전송할 수 있다. 또한, 제어부(260)는 스마트 글라스 장치(100)로부터 피드백 정보(작업 영상, 작업자 음성)를 스트리밍 방식으로 실시간 수신하고, 이를 디스플레이(240) 또는 음향 출력부(250)를 통해 실시간 재생할 수 있다.
원격 지원 기능 실행 시 스마트 글라스 장치(100)로 실시간 전송되는 작업 정보는, 스마트 글라스 장치(100)로부터 수신된 작업 대상의 식별 코드(바코드 또는 QR 코드)에 대응하여 작업 정보 데이터베이스(260)로부터 읽어온 작정보(작업 지원 영상, 작업 지원 음성)를 포함할 수 있다. 또한, 원격 지원 기능 실행 시 스마트 글라스 장치(100)로 실시간 전송되는 작업 지원 정보는, 음향 입력부(220)를 통해 입력되는 음성 데이터(작업 지원 음성)를 포함할 수 있다. 또한, 원격 지원 기능 실행 시 스마트 글라스 장치(100)로 실시간 전송되는 작업 지원 정보는, 스마트 글라스 장치(100)로부터 수신된 피드백 정보를 재가공한 영상 데이터 또는 음성 데이터를 포함할 수 있다. 예를 들어, 제어부(260)는, 원격 지원 기능 실행 중 스마트 글라스 장치(100)로부터 수신되는 작업 영상을 캡쳐한 캡쳐 영상에 사용자 입력부(230)를 통해 입력된 작업 지원 텍스트 또는 작업 지원 그래픽 객체를 결합하여 영상 데이터를 재가공하고, 이를 스마트 글라스 장치(100)로 전송할 수 있다.
원격 지원 기능 실행 시 스마트 글라스 장치(100)로부터 수신되는 피드백 정보는, 스마트 글라스 장치(100)에 의해 실시간으로 촬영된 영상 데이터(작업 영상), 스마트 글라스 장치(100)에 의해 실시간으로 녹화된 음성 데이터(작업자 음성) 등을 포함할 수 있다.
제어부(260)는 원격 지원 기능 실행 시, 스마트 글라스 장치(100)로부터 수신되는 작업 영상 또는 작업자 음성을 녹화하고, 이를 작업 이력 데이터베이스(270)에 저장할 수 있다.
이하, 도 4를 참조하여 본 발명의 실시 예에 따른 작업 지시 방법을 상세히 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 작업 지시 방법을 개략적으로 도시한 것이다. 도 4의 작업 지시 방법은, 도 1 및 도 2를 참조하여 설명한 스마트 글라스 장치(100)에 의해 수행될 수 있다.
도 4를 참조하면, 본 발명의 실시 예에 따른 스마트 글라스 장치(100)는 원격 지원 기능을 실행하는 것이 아니라(S10), 원격 모니터링 시스템(200)으로부터 작업 정보를 수신하기 위해 동작하는 경우, 작업 대상에 부착된 식별 코드(바코드 또는 QR 코드)의 영상 획득을 대기한다(S11).
이후, 스마트 글라스 장치(100)는 식별 코드(바코드 또는 QR 코드) 영상을 획득하면, 영상 인식을 통해 식별 코드(바코드 또는 QR 코드) 영상으로부터 식별 코드(바코드 또는 QR 코드)를 추출하고, 이를 원격 모니터링 시스템(200)으로 전송하여 작업 정보를 요청한다(S12). 스마트 글라스 장치(100)로부터 식별 코드(바코드 또는 QR 코드)를 수신한 원격 모니터링 시스템(200)은, 이에 대응하는 작업 정보를 작업 정보 데이터베이스(260)로부터 검색하고, 검색된 작업 정보를 스마트 글라스 장치(100)로 전송할 수 있다.
스마트 글라스 장치(100)는 원격 모니터링 시스템(200)으로부터 작업 정보가 수신되면(S13), 디스플레이(150) 또는 음향 출력부(160)를 통해 이를 출력한다(S14).
이후, 스마트 글라스 장치(100)는 원격 모니터링 시스템(200)으로부터 수신된 작업 정보에 대응하는 작업이 완료되면(S15), 작업 결과 정보를 원격 모니터링 시스템(200)으로 전송한다(S16).
상기 S15 단계에서, 스마트 글라스 장치(100)는 사용자 입력부(140)를 통해 입력되는 제어 입력, 또는 음향 입력부(130)를 통해 입력되는 음성 명령에 기초하여, 작업 완료 여부를 인식할 수 있다.
상기 S16 단계에서, 원격 모니터링 시스템(200)으로 전송되는 작업 결과 정보는, 작업 대상의 식별 코드(바코드 또는 QR 코드), 작업 대상 정보(차종 정보), 작업 사양 정보, 작업 수량, 작업 완료 시간, 작업자 식별정보, 작업 완료 여부 등을 포함할 수 있다.
한편, 스마트 글라스 장치(100)는 원격 지원 기능 실행이 요청되면(S10), 원격 지원 기능의 실행을 위해 원격 모니터링 시스템(200)과 일 대 일로 연결한다(S17).
그리고, 원격 모니터링 시스템(200)과 연결됨에 따라, 원격 모니터링 시스템(200)과 실시간 스트리밍 데이터를 송수신함으로써 원격 지원 기능을 실행한다(S18).
상기 S18 단계에서, 스마트 글라스 장치(100)는 원격 모니터링 시스템(200)으로부터 스트리밍 형식의 작업 지원 정보(작업 지원 영상 또는 작업 지원 음성)를 실시간 수신하고, 영상 입력부(120)를 통해 입력되는 영상 데이터(작업 영상) 또는 음향 입력부(130)를 통해 입력되는 음성 데이터(작업자 음성)를 스트리밍 형식으로 가공하여 원격 모니터링 시스템(200)으로 실시간 전송할 수 있다.
한편, 스마트 글라스 장치(100)는 원격 지원 기능의 실행 중 원격 모니터링 시스템(200)으로부터 작업 지원 정보가 수신되면, 이를 디스플레이(150) 또는 음향 출력부(160)를 통해 실시간으로 출력한다(S20).
스마트 글라스 장치(100)는 사용자 입력부(140)를 통해 원격 지원 종료 요청이 수신될 때까지(S20), 원격 모니터링 시스템(200)과 실시간 데이터 송수신을 지속하며, 원격 지원 종료 요청이 수신되면 원격 모니터링 시스템(200)꽈의 일 대 일 연결을 종료한다(S21).
전술한 실시 예에 따르면, 본 발명의 실시 예에 따른 작업 지시 시스템(10)은, 스마트 글라스 장치(100)를 이용하여 작업 대상을 자동으로 인식하고, 이에 맞는 작업 정보를 작업자에게 제공함으로써, 작업자의 작업 효율을 향상시킬 수 있다. 또한, 작업 지시 영상이나 작업 지시 음성을 통해 작업을 가이드함으로써, 작업자가 작업 정보를 용이하게 인지할 수 있도록 지원한다. 또한, 원격 지원 기능을 통해, 실시간 작업 현황에 맞춰 적절한 작업 지원 정보를 제공할 수 있어, 작업 효율을 향상시킬 수 있으며 작업 오류를 방지할 수 있다.
본 발명의 실시 예에 의한 작업 지시 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 기능 매체에 저장될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD_ROM, DVD_RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.

Claims (13)

  1. 원격 모니터링 시스템과 통신하는 통신부,
    안경 렌즈 형상의 디스플레이,
    음향 출력부, 및
    상기 원격 모니터링 시스템으로 작업 대상의 식별 코드를 전송하여 상기 식별 코드에 대응하는 작업 지시 영상 또는 작업 지시 음성을 수신하고, 상기 작업 지시 영상을 상기 디스플레이에 표시하거나, 상기 작업 지시 음성을 상기 음향 출력부를 통해 출력하는 제어부를 포함하는 스마트 글라스 장치.
  2. 제1항에 있어서,
    영상 입력부를 더 포함하며,
    상기 영상 입력부를 통해 입력되는 식별 코드 영상으로부터 상기 식별 코드를 자동으로 인식하는 스마트 글라스 장치.
  3. 제2항에 있어서,
    상기 제어부는, 원격 지원 기능의 실행 시 상기 영상 입력부를 통해 입력되는 작업 영상을 상기 원격 모니터링 시스템으로 실시간 전송하는 스마트 글라스 장치.
  4. 제2항에 있어서,
    상기 제어부는, 상기 원격 지원 기능의 실행 시 상기 작업 영상을 캡쳐한 캡쳐 영상과 작업 지시용 그래픽 객체가 결합된 작업 지원 영상을 상기 원격 모니터링 시스템으로부터 수신하는 스마트 글라스 장치.
  5. 제2항에 있어서,
    음향 입력부를 더 포함하고,
    상기 제어부는, 상기 원격 지원 기능의 실행 시 상기 음향 입력부를 통해 입력되는 작업자 음성을 상기 원격 모니터링 시스템으로 실시간 전송하는 스마트 글라스 장치.
  6. 제2항에 있어서,
    상기 제어부는, 상기 원격 지원 기능의 실행 시 상기 원격 모니터링 시스템으로부터 작업 지원 음성을 수신하고, 상기 음향 출력부를 통해 상기 작업 지원 음성을 실시간으로 출력하는 스마트 글라스 장치.
  7. 제1항에 있어서,
    상기 제어부는, 상기 작업 지시 영상 또는 상기 작업 지시 음성에 대응하는 작업이 완료되면, 상기 원격 모니터링 시스템에서 작업 이력을 관리하도록 작업 완료 정보를 상기 원격 모니터링 시스템으로 전송하는 스마트 글라스 장치.
  8. 스마트 글라스 장치의 작업 지시 방법에 있어서,
    카메라를 통해 식별 코드 영상을 획득하는 단계,
    상기 식별 코드 영상으로부터 작업 대상에 대응하는 식별 코드를 추출하는 단계,
    원격 모니터링 시스템으로 상기 식별 코드를 전송하는 단계,
    상기 식별 코드에 대응하는 작업 지시 영상 또는 작업 지시 음성을 상기 원격 모니터링 시스템으로부터 수신하는 단계, 및
    상기 작업 지시 영상 또는 상기 작업 지시 음성을 출력하는 단계를 포함하는 작업 지시 방법.
  9. 제8항에 있어서,
    원격 지원 기능이 실행이 요청됨에 따라, 상기 원격 모니터링 시스템과 일 대 일로 연결하는 단계, 및
    상기 카메라를 통해 입력되는 작업 영상을 상기 원격 모니터링 시스템으로 실시간 전송하는 단계를 더 포함하는 작업 지시 방법.
  10. 제9항에 있어서,
    상기 원격 지원 기능의 실행 중, 상기 작업 영상을 캡쳐한 캡쳐 영상과 작업 지시용 그래픽 객체가 결합된 작업 지원 영상을 상기 원격 모니터링 시스템으로부터 수신하는 단계를 더 포함하는 작업 지시 방법.
  11. 제9항에 있어서,
    상기 원격 지원 기능의 실행 중, 음향 입력 장치를 통해 입력되는 작업자 음성을 상기 원격 모니터링 시스템으로 실시간 전송하는 단계를 더 포함하는 작업 지시 방법.
  12. 제9항에 있어서,
    상기 원격 지원 기능의 실행 중, 상기 원격 모니터링 시스템으로부터 작업 지원 음성을 수신하는 단계, 및
    상기 작업 지원 음성을 실시간으로 출력하는 단계를 더 포함하는 작업 지시 방법.
  13. 제8항에 있어서,
    상기 작업 지시 영상 또는 상기 작업 지시 음성에 대응하는 작업이 완료되면, 상기 원격 모니터링 시스템에서 작업 이력을 관리하도록 작업 완료 정보를 상기 원격 모니터링 시스템으로 전송하는 단계를 더 포함하는 작업 지시 방법.
KR1020180109525A 2018-09-13 2018-09-13 스마트 글라스 장치 및 이를 이용한 작업 지시 방법 KR20200030816A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180109525A KR20200030816A (ko) 2018-09-13 2018-09-13 스마트 글라스 장치 및 이를 이용한 작업 지시 방법
US16/209,375 US20200090546A1 (en) 2018-09-13 2018-12-04 Smart glass device and method of instructing work by using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180109525A KR20200030816A (ko) 2018-09-13 2018-09-13 스마트 글라스 장치 및 이를 이용한 작업 지시 방법

Publications (1)

Publication Number Publication Date
KR20200030816A true KR20200030816A (ko) 2020-03-23

Family

ID=69774303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109525A KR20200030816A (ko) 2018-09-13 2018-09-13 스마트 글라스 장치 및 이를 이용한 작업 지시 방법

Country Status (2)

Country Link
US (1) US20200090546A1 (ko)
KR (1) KR20200030816A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315949A (zh) * 2021-05-24 2021-08-27 中建三局集团华南有限公司 一种基于5g网络的远程验收系统及方法
KR20220065943A (ko) * 2020-11-13 2022-05-23 (주)에이트원 항공정비사 작업 지원 시스템 및 그 방법
KR20230063588A (ko) 2021-11-02 2023-05-09 주식회사 자은 증강현실 기반의 유지보수 콘텐츠 공유 플랫폼 제공 방법 및 그 시스템
KR20230063593A (ko) 2021-11-02 2023-05-09 인터텍 주식회사 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스
KR102642975B1 (ko) * 2022-11-30 2024-03-05 울랄라랩 주식회사 작업 가이드 장치를 통한 작업 가이드 방법 및 시스템
KR102672175B1 (ko) 2023-02-07 2024-06-07 엑셀로 주식회사 작업자의 스마트 안전 관리 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220065943A (ko) * 2020-11-13 2022-05-23 (주)에이트원 항공정비사 작업 지원 시스템 및 그 방법
CN113315949A (zh) * 2021-05-24 2021-08-27 中建三局集团华南有限公司 一种基于5g网络的远程验收系统及方法
KR20230063588A (ko) 2021-11-02 2023-05-09 주식회사 자은 증강현실 기반의 유지보수 콘텐츠 공유 플랫폼 제공 방법 및 그 시스템
KR20230063593A (ko) 2021-11-02 2023-05-09 인터텍 주식회사 다매체를 통해 원격 협업을 지원하는 웨어러블 디바이스
KR102642975B1 (ko) * 2022-11-30 2024-03-05 울랄라랩 주식회사 작업 가이드 장치를 통한 작업 가이드 방법 및 시스템
KR102672175B1 (ko) 2023-02-07 2024-06-07 엑셀로 주식회사 작업자의 스마트 안전 관리 시스템

Also Published As

Publication number Publication date
US20200090546A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
KR20200030816A (ko) 스마트 글라스 장치 및 이를 이용한 작업 지시 방법
JP6893606B2 (ja) 画像のタグ付け方法、装置及び電子機器
US11861264B2 (en) Portable terminal device and information processing system
US9407861B2 (en) User interface tool kit for mobile devices
JP6713034B2 (ja) スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
JP2019023803A (ja) 作業改善支援システムおよび方法
JP6105180B1 (ja) 作業支援装置、作業支援方法及びプログラム
CN112863001B (zh) 配电机房巡检方法、装置及系统
JP7270154B2 (ja) 遠隔作業支援システム
CN101489073A (zh) 信息处理装置以及信息处理方法
US10318009B2 (en) Method, non-transitory computer-readable medium, and device for controlling a user-interface
JP7265667B2 (ja) 作業支援システムおよび作業支援方法
CN106169057B (zh) 信息处理装置及方法
JP5376689B2 (ja) 情報処理装置、装置検索方法、装置検索支援方法および記録媒体
US20120303707A1 (en) Computer and method for remotely sharing operations of the computer with an electronic device
US11538475B2 (en) Information processing apparatus and information processing method
CN115552913A (zh) 信息处理方法、信息处理装置、程序及信息处理系统
CN111371992A (zh) 图像拍摄质量控制方法、系统、设备和存储介质
KR20150139371A (ko) 클라우드 기반 원격 애플리케이션 검증 시스템
US11756297B2 (en) Augmented realty based assistance system and method thereof
JP2019101783A (ja) 情報処理装置及び方法
JP2015233188A (ja) 情報処理装置、情報処理方法およびプログラム
JP2020078032A (ja) 充電識別システム、充電識別方法、プログラム、記録媒体
JP2023168384A (ja) 作業分析システム、作業分析装置、作業分析方法及び作業分析プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application