KR20220112442A - 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법 - Google Patents

핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법 Download PDF

Info

Publication number
KR20220112442A
KR20220112442A KR1020210016003A KR20210016003A KR20220112442A KR 20220112442 A KR20220112442 A KR 20220112442A KR 1020210016003 A KR1020210016003 A KR 1020210016003A KR 20210016003 A KR20210016003 A KR 20210016003A KR 20220112442 A KR20220112442 A KR 20220112442A
Authority
KR
South Korea
Prior art keywords
information
code
mobile communication
augmented reality
communication device
Prior art date
Application number
KR1020210016003A
Other languages
English (en)
Inventor
정기하
박정남
고성범
Original Assignee
엑스퍼트아이엔씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑스퍼트아이엔씨 주식회사 filed Critical 엑스퍼트아이엔씨 주식회사
Priority to KR1020210016003A priority Critical patent/KR20220112442A/ko
Publication of KR20220112442A publication Critical patent/KR20220112442A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06314—Calendaring for a resource
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 물류 관리 시스템은, 관리 대상의 기기 또는 물품을 생산하거나 유통하는 이력을 관리하기 위하여, 대응되는 기기 또는 물품을 식별하기 위한 AR 코드를 관리하는 통합 관리 서버와, 상기 통합 관리 서버와 통신을 수행하는 통신부와, 상기 AR 코드를 촬영할 수 있는 카메라부와, 상기 카메라부에 의하여 촬영되는 영상에 증강현실을 부가하는 표시 제어부와, 상기 표시 제어부에 의하여 증강 현실이 부가된 영상 또는 상기 카메라부에 의하여 촬영되는 영상이 표시되는 디스플레이부와, 상기 통신부를 통하여 전달되는 정보를 이용하여 상기 디스플레이부에 증강 현실로 관련 정보 이미지가 표시되도록 제어하는 증강 현실 제어부를 갖는 이동 통신 기기를 포함하고, 상기 이동 통신 기기는 위치 정보를 측정하는 위치 정보 모듈을 더 포함하고, 상기 이동 통신 기기의 증강 현실 제어부는 촬영되는 AR 코드의 식별정보와 함께 상기 위치 정보를 상기 통합 관리 서버로 전달하고, 상기 통합 관리 서버는 전달된 AR 코드의 식별정보에 대응되는 관련 정보와, 상기 이동 통신 기기의 위치 정보와 관련된 추가 정보를 함께 상기 이동 통신 기기로 전달하는 것을 특징으로 한다

Description

핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법{Augmented reality-based logistics management vision picking system and method using wearable smart glasses, a hands-free mobile computing technology}
본 발명은 증강 현실을 이용한 물류 관리 시스템에 대한 것으로서, 시설 유지 관리를 위한 경우와, 농수산물 등의 유통 이력 관리 및 확인을 하는 경우 등 다목적으로 사용될 수 있는 물류 관리 시스템에 대한 것이다. 특히, 이동 통신 기기를 통한 위치 확인, 이동 통신 기기의 방향 이동에 대한 정보를 이용하여 시설 관리 및 유통 관리를 더욱 정확하게 수행할 수 있는 시스템에 대한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 식별항목에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 식별항목에 기재된다고 하여 종래 기술이라고 인정되는 것은 아니다.
증강 현실(AR : Augment Reality)이라는 서비스 기술이 보급되고 있다. 증강 현실은 현실 환경에 컴퓨터를 이용하여 정보를 부가하여 제시하는 기술이다.
증강 현실 서비스에서는, 3차원 공간의 3차원 좌표에 가상적인 객체, 즉 AR 객체를 배치하면, 화면에 표시되는 AR 객체 혹은 표시 객체도 디스플레이 된다. 사용자를 기준으로 상대적인 거리에 따라 AR 객체들이 크게 표시되거나 반대로 작게 표시된다. 이러한 방법에 의하여, 원금감이 표현되고, 사용자는 깊이 있는 느낌을 받을 수 있어, AR 객체도 현실에 존재하고 있는 것 같이 느끼게 된다.
그러나, 이러한 AR 시스템의 경우에는, 정보를 확인하고자 하는 대상에 표시된 AR 코드를 촬영하고, 그 촬영된 이미지에 포함된 AR 코드로부터 대응되는 AR 객체를 단순히 표시하는 것에 지나지 않아, 정보를 얻고자 하거나 기기를 원격으로 제어하기 위하여 증강 현실을 이용하는 경우에는 더 많은 기능이 구현되어야 할 것이다.
본 발명은 다양한 환경에서 관리 대상의 기기나 물품에 대한 관련 정보를 용이하게 제공하는 것과 함께, AR 코드가 부착되지 않은 환경에서도 추가 정보를 용이하게 관리하고 사용자에게 표시할 수 있도록 하는 시스템을 제공하고자 한다.
본 발명의 물류 관리 시스템은, 관리 대상의 기기 또는 물품을 생산하거나 유통하는 이력을 관리하기 위하여, 대응되는 기기 또는 물품을 식별하기 위한 AR 코드를 관리하는 통합 관리 서버와, 상기 통합 관리 서버와 통신을 수행하는 통신부와, 상기 AR 코드를 촬영할 수 있는 카메라부와, 상기 카메라부에 의하여 촬영되는 영상에 증강 현실을 부가하는 표시 제어부와, 상기 표시 제어부에 의하여 증강 현실이 부가된 영상 또는 상기 카메라부에 의하여 촬영되는 영상이 표시되는 디스플레이부와, 상기 통신부를 통하여 전달되는 정보를 이용하여 상기 디스플레이부에 증강 현실로 관련 정보 이미지가 표시되도록 제어하는 증강 현실 제어부를 갖는 이동 통신 기기를 포함하고, 상기 이동 통신 기기는 위치 정보를 측정하는 위치 정보 모듈을 더 포함하고, 상기 이동 통신 기기의 증강 현실 제어부는 촬영되는 AR 코드의 식별정보와 함께 상기 위치 정보를 상기 통합 관리 서버로 전달하고,
상기 통합 관리 서버는 전달된 AR 코드의 식별정보에 대응되는 관련 정보와, 상기 이동 통신 기기의 위치 정보와 관련된 추가 정보를 함께 상기 이동 통신 기기로 전달하는 것을 특징으로 한다.
제안되는 바와 같은 본 발명의 증강 현실을 이용한 물류 관리 시스템에 의해서, AR 코드의 인식과 함께 이동 통신 기기의 위치 정보, 자세 정보를 이용하여 부가적인 정보를 용이하게 제공할 수 있는 장점이 있다.
도 1은 본 발명의 통합 관리 서버에 의한 기기 관리를 보여주기 위한 도면이다.
도 2는 본 발명의 물류 관리 시스템의 구성을 보여주는 도면이다.
도 3은 본 발명의 증강 현실을 이용한 물류 관리 시스템을 구성하는 이동 통신 기기의 구성을 보여주는 도면이다.
도 4는 본 발명에 따라 AR 코드를 이용하여 관리 대상 기기의 정보 확인 뿐만 아니라 원격 제어를 수행하는 경우에 화면에 표시되는 일례를 도시한 도면이다.
도 5와 도 6은 본 발명에 따라 이동 통신 기기의 위치 정보 및 자세 정보를 이용하여 물류 관리하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따라 관리 대상 기기에 부착된 AR 코드를 촬영하는 경우에 증강 현실로 관련 정보를 보여주는 예를 도시한 도면이다.
도 8과 도 9는 본 발명에 따른 증강 현실을 이용한 물류 관리 시스템의 다른 실시예를 보여주는 도면이다.
도 10과 도 11은 본 발명의 증강 현실을 이용한 물류 관리 시스템을 이용하여 복수의 AR 코드를 인식하고 그에 대한 정보를 제공하는 예를 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 통합 관리 서버에 의한 기기 관리를 보여주기 위한 도면이다. 도 1을 참조하면, 특정 구역(9)은 예를 들어, 오피스 빌딩이나 공공 설비와 같은 건물 또는 공장이 되며, 해당 건물의 동일한 층을 예로 보여주고 있다.
소정의 건물은 복수개의 방으로 구획되어 있고, 각각의 방에는 관리 대상 기기들(1,2,3,4,5,6)이 위치하고 있으며, 각각의 관리 대상 기기들에는 사용자가 해당 기기의 정보를 획득하거나 기기를 원격으로 제어하기 용이하도록 AR 코드가 부착되어 있다.
사용자는 스마트폰, 태블릿 PC와 같은 이동 통신 기기를 가지고 다니면서 각각의 관리 대상 기기들에 대한 정보를 획득할 수 있으며, 네트워크 연결 가능한 통합 관리 서버(10)를 이용하여 각각의 관리 대상 기기들을 원격으로 제어하는 것이 가능하다.
즉, 사용자가 소지한 이동 통신 기기는 상기 통합 관리 서버(10)에서 제공하는 증강 현실을 화면상에 표시하며, 각각의 관리 대상 기기들에 대한 정보를 사용자가 쉽게 취득할 수 있도록 하거나, 이동 통신 기기와 통합 관리 서버를 이용하여 각각의 관리 대상 기기들에 대한 원격 제어가 가능하다.
특히, 상기 통합 관리 서버(10)는 이동 통신 기기에 구성되어 있는 위치 정보 모듈을 이용한 사용자 위치 확인, 이동 통신 기기의 자이로 센서 또는 가속도 센서를 이용한 사용자 위치 변화/자세 변화 등을 확인하여, 사용자가 확인하고자 하는 관리 대상 기기를 정확하게 특정하거나, 사용자가 확인하고자 하는 정보를 보다 정확히 제공한다.
도 2는 본 발명의 물류 관리 시스템의 구성을 보여주는 도면이다.
도 2를 참조하면, 본 발명의 시스템은, AR 코드를 생산하고 AR 코드를 이용하는 사업자, 예를 들면 유통 센서(60), 생산자(70) 및 도소매자(80)들이 통합 관리 서버(10)에 접속하도록 중개하는 AR 플랫폼 서버(50)와, 상기 AR 플랫폼 서버(50)에서 생산된 AR 코드와 해당 AR 코드별로 미리 저장된 데이터를 저장 관리하는 통합 관리 서버(10)를 포함한다.
그리고, 상기 AR 코드를 이용하여 농수산물과 같은 물품에 대한 정보를 확인하거나 설비 기기 등에 대한 정보를 확인하는 이동 통신 기기(10)는 상기 AR 플랫폼 서버(50)에 접속하거나, 상기 통합 관리 서버(10)에 직접 접속할 수 있다.
본 발명의 물류 관리 시스템을 이용하면, 생산자(70)가 AR 플랫폼 서버(50)를 이용하여 AR 코드를 등록 및 생성하고, 그 등록된 AR 코드를 이용하여 물품을 유통시킬 경우에 도소매자(80) 또는 유통 센서(60)에 해당 AR 코드에 추가 정보를 등록함으로써, 소비자는 해당 AR 코드를 이용하여 물품의 생산 이력 정보, 유통 과정 정보 등을 증강 현실로 제공받을 수 있다.
또한, 본 발명에 따르면, AR 코드를 촬영하는 이동 통신 기기의 위치 정보와, 자세 정보를 이용하여 확인 대상의 설비 기기 또는 제품에 대한 특정을 정확하게 하며, 복수의 AR 코드에 대한 정보 확인 및 정보 제공이 유용하게 이루어질 수 있도록 한다.
본 발명의 증강 현실 시스템을 구성하는 이동 통신 기기에 대해서 먼저 살펴보기로 한다.
도 3은 본 발명의 증강 현실을 이용한 물류 관리 시스템을 구성하는 이동 통신 기기의 구성을 보여주는 도면이다.
도 3을 참조하면, 본 발명의 이동 통신 기기(100)는 AR 코드를 촬영하고 해당 AR 코드에 대한 정보를 네트워크를 통하여 통합 관리 서버(10)로부터 취득하여 디스플레이부(180)를 통해 표시한다.
상세히, 스마트폰 또는 태블릿 PC 등과 같은 이동 통신 기기(100)는, 농수산물과 같은 상품이나 관리 또는 원격제어 대상의 설비 기기에 부착된 AR 코드를 촬영하기 위한 카메라부(130)와, 이동 통신 기기의 위치 정보를 취득하는 위치 정보 모듈(120)과, 이동 통신 기기의 각운동(각속도)을 감지하여 축 기준 변환값을 산출하는 자이로 센서(140)와, 이동 통신을 이용하거나 근거리 통신을 이용하여 외부 서버와의 통신이 가능하도록 하는 통신부(160)와, 상기 카메라부(130)에 촬영되는 영상에 증강 현실을 부가하여 디스플레이부(180)를 통하여 표시되도록 영상 처리를 수행하는 표시 제어부(170)와, 상기의 각 센서들로부터 측정되는 값을 이용하여 AR 코드를 인식하거나 AR 코드에 따른 정보 또는 영상이 디스플레이부(180)에 표시되도록 각 구성을 제어하는 증강 현실 제어부(110)를 포함한다.
또한, 상기 이동 통신 기기(100)는 이동 통신 기기의 이동 속도 변화량(가속도)[0029] 을 감지하는 가속도 센서와, 상기 카메라부(130)에 의하여 인식된 AR 코드 또는 증강 현실의 표시를 위한 객체 등이 저장되는 메모리부(190)를 더 포함할 수 있다.
본 발명에 의하면, 상기 증강 현실 제어부(110)는 상기 카메라부(130)를 통하여 촬영된 영상 내에 AR 코드가 포함되어 있는지 여부를 판단하고, AR 코드가 독출되는 경우에 해당 AR 코드에 대응한 정보를 획득하기 위하여 상기 통신부(160)를 통하여 외부 서버인 통합 관리 서버(10)와의 통신을 수행한다.
그리고, 상기 증강 현실 제어부(110)는 증강 현실로서 디스플레이부(180)를 통하여 표시할 증강 현실 객체 데이터를 상기 통합 관리 서버(10)로부터 전달받거나, 상기 메모리부(190)에 미리 저장되어 있는 증강 현실 객체를 디스플레이부(180)에 표시한다.
그리고, 상기 증강 현실 제어부(110)는 상기 카메라부(130)에 의하여 촬영되는 영상 내에 복수 개의 AR 코드가 있는 경우에도 위와 같은 방법으로 복수 개의 증강 현실 객체를 디스플레이부(180)에 표시한다.
또한, 본 발명에서는, 상기 위치 정보 모듈(120)에 의하여 측정되는 이동 통신 기기의 위치 정보를 이용하여 사용자가 확인하고자 하는 대상 물품 또는 대상 기기를 보다 정확히 판단한다. 즉, 상기 통합 관리 서버(10)는 관리대상의 각 AR 코드별로 위치 정보를 관리하며, 상기 통합 관리 서버(10)는 이동 통신 기기에서 확인된 AR 코드와 함께, 해당 AR 코드가 촬영된 이미지 또는 영상에 기록된 위치 정보를 확인할 수 있다. 이러한 과정을 통해서, 상기 통합 관리 서버(10)는 이동 통신 기기(100)에서 촬영된 AR 코드가 미리 저장되어 관리되는 위치에 위치하고 있는지 여부를 함께 판단할 수 있다.
그리고, 본 발명에서는, 이동 통신 기기(100)의 자이로 센서(140)를 이용하여 제 1 AR 코드 인식 후 제 2 AR 코드 인식/확인을 사용자에게 가이드할 수 있다. 자이로 센서는 다축 자이로 센서가 이용될 수 있으며, 사용자의 움직임(이동 통신 기기의 움직임), 즉, 기울기 변화가 이루어질 때, 이동 통신 기기의 각운동(각속도)을 감지하여 기울어진 정도에 대응하는 X축/Y축/Z축의 변환값을 출력한다.
따라서, 본 발명의 사상이 다수의 기기들을 관리하기 위한 목적으로 실시되는 경우에, 작업자(사용자)의 자세에 따라 순서대로 수행되어야 할 기기들의 위치를 가이드할 수 있다. 즉, 제 1 관리 대상 기기를 검사하기 위하여 제 1 AR 코드를 촬영한 다음에는, 이동 통신 기기(100)의 디스플레이부(180)를 통하여 다음 순서의 제 2 관리 대상 기기가 위치한 방향을 표시할 수 있으며, 자이로 센서를 이용하여 이동 통신 기기의 기울기 변화가 올바르게 이루어지고 있는지 역시 감시할 수 있다.
또한, 본 발명에서는, 이동 통신 기기(100)의 가속도 센서를 이용하여 사용자(이동 통신 기기)의 이동 속도와, 위치 정보 모듈에 의한 위치 정보를 이용하여, 관리 대상 기기들에 대한 순차적인 관리 감독이 이루어질 수 있도록 안내할 수 있다.
이러한 본 발명의 실시예들에 대해서 첨부되는 도면과 함께 좀 더 자세히 설명하여 본다.
도 4는 본 발명에 따라 AR 코드를 이용하여 관리 대상 기기의 정보 확인 뿐만 아니라 원격 제어를 수행하는 경우에 화면에 표시되는 일례를 도시한 도면이다.
먼저, 본 발명에 따라 증강 현실을 이용하여 기기 또는 상품의 정보(생산 정보, 유통 정보 등)를 확인하는 경우뿐만 아니라, 원격으로 제어하기 위하여, 각각의 관리 대상 기기들은 근거리 통신 또는 네트워크 접속을 통하여 상기 통합 관리 서버(10)와 양방향 통신이 이루어질 수 있다(도 1 참조).
이 경우, 사용자가 이동 통신 기기(100)를 이용하여 제 1 관리 대상 기기(1)에 부착되어 있는 제 1 AR 코드를 촬영하게 되면, 제 1 관리 대상 기기(1)에 대한 정보를 증강 현실로 확인하는 메뉴(101)와, 이동 통신 기기를 이용하여 상기 제 1 관리 대상 기기(1)의 운전을 원격 제어하는 메뉴(102)가 디스플레이부(180)에 표시될 수 있다.
예를 들어, 사용자가 증강 현실 정보 메뉴(101)를 선택하게 되면, 상기 이동 통신 기기(100)는 상기 통합 관리서버(10)로부터 해당 AR 코드에 대응되는 정보를 전달받고, 상기 카메라부(130)에 의하여 촬영되는 영상 내에 제 1 관리 대상 기기(1)에 대한 정보를 증강 현실로 표시한다. 기기의 생산 정보, 기기의 동작 스위치 정보, 관리 정보, 주의 사항 등 관련되는 정보가 표시될 수 있다.
그리고, 사용자가 원격 제어 메뉴(102)를 선택하게 되면, 상기 이동 통신 기기(100)는 상기 통합 관리 서버(10)로부터 해당 관리 대상 기기를 원격 제어하기 위한 정보를 전달받는다. 예를 들면, 상기 관리 대상 기기가 촬영되는 화면 상에 증강 현실로서 기기의 스위치 위치, 스위치별 기능 설명, 기기의 동작(온/오프 등)을 선택하는 화면이 표시될 수 있다. 이 경우, 이동 통신 기기(100)로부터 입력되는 관리 대상 기기의 동작 제어에 대한 명령은 상기 통합 관리 서버(10)로 전달되고, 상기 통합 관리 서버(10)는 통신 가능하도록 연결된 해당 관리 대상 기기의 동작을 사용자 선택에 따라 제어한다.
도 5는 본 발명에 따라 이동 통신 기기의 위치 정보 및 자세 정보를 이용하여 물류 관리하는 방법을 설명하기 위한 도면이다.
먼저, 통합 관리 서버(10)에 저장되어 있는 관리 대상 기기들에 대해서 제 1 관리 대상 기기(1), 제 2 관리 대상 기기(2), 및 제 3 관리 대상 기기(3)의 순서로 관리 및 확인이 되어야 하는 것으로 저장되어 있다고 가정한다.
이때, 사용자(20)가 이동 통신 기기(100)를 이용하여 제 1 관리 대상 기기(1)에 부착되어 있는 제 1 AR 코드를 촬영하고, 해당 제 1 관리 대상 기기의 정보 및 현재 상태 등을 확인한다.
만약, 사용자(20)가 제 2 관리 대상 기기(2)를 건너뛰고 제 3 관리 대상 기기(3)를 향하여 이동하는 경우에는, 도 6에 도시된 바와 같이, 이동 통신 기기(100)의 디스플레이부(180)에 순서 위반이라는 메세지(103)가 표시되도록 한다.
상세히, 상기 이동 통신 기기(100)에 의하여 제 1 AR 코드가 인식되고, 상기 통합 관리 서버(10)에서 이동 통신 기기(100)로 제 1 AR 코드에 대응되는 기기 정보가 전달된 경우에는, 상기 통합 관리 서버(10)는 상기 이동 통신 기기(100)의 위치 확인 및, 자세/기울기 정보를 확인한다. 즉, 상기 통합 관리 서버(10)는 제 1 AR 코드에 대한 확인 이루어진 다음에는, 차순의 제 2 코드에 대응되는 정보전달을 준비하며, 그 사이에 이동 통신 기기(100)의 이동 위치 확인과, 자세/기울기 정보를 확인한다.
만약, 상기 이동 통신 기기(100)에 구성된 위치 정보 모듈 또는 자이로 센서에 의하여 측정되는 이동 통신 기기의 위치와 기울기 정보가 미리 저장된 값에 대응되지 않는다고 판단하는 경우에는, 도 6에 예시된 바와 같이, 경고 메세지가 이동 통신 기기 화면 상에 표시되도록 한다.
이러한 방법을 통하여, 작업자(사용자)가 관리하여야 할 대상 기기들의 누락없이 모두 확인할 수 있도록 가이드하며, 사용자는 이동 통신 기기의 디스플레이부에 표시되는 기기에 대한 정보를 증강 현실로 확인하거나, 원격으로 제어할 수 있다.
한편, 상기 통합 관리 서버(10)가 이동 통신 기기(100)의 위치 정보를 보다 정확하게 판단하도록 하기 위하여, 상기 이동 통신 기기(100)의 메모리부(190)에는 각각의 관리 대상 기기들이 위치한 지도정보가 저장될 수 있다.
이 경우, 상기 통합 관리 서버(10)는 상기 제 1 AR 코드 정보가 이동 통신 기기로부터 전달되는 경우에, 상기 제 1 AR 코드 정보와 함께, 미리 지정된 관리 대상 기기들의 위치 정보를 함께 이동 통신 기기로 전달할 수 있다. 그리고, 상기 이동 통신 기기(100)는 제 1 AR 코드에 대한 정보를 증강 현실로 화면 상에 표시하면서, 전달받은 관련 정보(예를 들면, 지도데이터)를 상기 메모리부(190)에 저장하여 둔다.
그리고, 상기 이동 통신 기기(100)는 자체적으로 상기 메모리부(190)에 저장된 지도데이터와 위치 정보 모듈(120)에 의하여 확인되는 위치 정보를 이용하여 차순의 관리 대상 기기로 사용자가 이동하는 것을 안내할 수 있다.
도 7는 본 발명에 따라 관리 대상 기기에 부착된 AR 코드를 촬영하는 경우에 증강 현실로 관련 정보를 보여주는 예를 도시한 도면이다.
이동 통신 기기(100)를 이용하여 관리 대상 기기에 부착된 AR 코드를 촬영하게 되면, 앞서 설명한 바와 같이, 대상 기기에 대한 정보를 증강 현실로 표시하거나 대상 기기를 원격으로 제어하는 것을 선택할 수 있다. 이러한 증강 현실로 관련 정보를 제공하는 예가 도시된다.
예를 들면, 제 1 스위치와 제 2 스위치의 위치를 사용자가 쉽게 알 수 있도록 제 1 스위치에 대응되는 제 1 이미지(701) 및 제 2 이미지(701)를 화면 상에 표시한다.
그리고, 각각의 이미지(701,792), 즉, 제 1 및 제 2 스위치에 대한 설명 메세지(710,720)들을 순차적으로 또는 동시에 이동 통신 기기 화면 상에 증강 현실 이미지로 표시된다.
이러한 방법을 통하여, 사용자는 관리 대상 기기의 정보들을 쉽게 확인할 수 있다. 본 발명의 시스템이 농수산물 등과 같이 생산 과정과, 유통 과정을 소비자가 쉽게 확인할 수 있도록 적용이 가능하다. 예를 들면, 소비자가 이동 통신 기기를 이용하여 사과 박스에 부착된 AR 코드를 촬영하게 되면, 해당 사과에 대한 생산 이력 정보를 확인하는 메뉴와, 유통 이력에 대한 정보를 확인하는 메뉴가 제시될 수 있으며, 생산과정에 생산자가 등록한 재배 과정 이미지가 표시되거나 유통과정에 유통업자가 등록한 유통 과정 이미지 등이 화면에 표시된다.
이때, 상기 이동 통신 기기와 통신하는 통합 관리 서버(10)는 사용자의 위치를 정확히 판단하기 위하여 상기 이동 통신 기기의 위치 정보 모듈에 의하여 측정되는 위치 정보를 이용할 수 있으며, 상기 통합 관리 서버(10)는 부가 정보로 사용자의 현재 위치를 기준으로 해당 사과의 생산자가 생산한 과일들의 위치를 더 제공할 수 있다.
이와 같이, 본 발명에서는, AR 코드 인식에 대한 대응 정보만을 제공하는 것이 아니라, 사용자의 위치 정보와, 사용자의 자세(기울기) 정보를 이용하여 부가적으로 관련 정보를 더 제공할 수 있는 특징이 있다.
도 8과 도 9는 본 발명에 따른 증강 현실을 이용한 물류 관리 시스템의 다른 실시예를 보여주는 도면이다.
도 8에 도시된 바와 같이, 공장 등의 시설 공간에 다수 개의 배관들이 배치되는 경우에, 관리 대상의 배관과 같이 특정 배관(801)에 AR 코드(810)가 부착될 수 있다.
그리고, 상기 배관들을 관리하는 업체 또는 공장에서, 추가적으로 관리하여야 할 배관/설비 기기등이 발생되는 경우에, 반드시 AR 코드를 생성하여 부착하지 않더라도, 상기 통합 관리 서버(10)에 추가 등록하는 것에 의하여 사용자에게 증강 현실로 보여질 수 있다.
즉, 본 발명의 실시예에 따라, 제 1 배관(801)을 관리하기 위하여 AR 코드(810)를 제작하고 상기 통합 관리 서버(10)에 등록하여 둔 경우, 사용자(관리자)가 상기 AR 코드(810)를 촬영하게 되면, 증강 현실로서 상기 제 1 배관(801)에 대한 정보(901)를 표시하는 것과 함께 관리 추가된 배관(920)에 대한 정보(902)를 함께 증강현실로 표시할 수 있다(도 9).
상기 통합 관리 서버(10)는 상기 이동 통신 기기(100)에 의하여 촬영되는 AR 코드에 대응되는 정보와 함께, 상기 이동 통신 기기(100)의 위치 정보를 확인하여 해당 위치에 사용자가 위치하였을 때에 함께 표시하여야 할 정보를 더 보관할 수 있다. 이러한 방법을 통해서, 원격으로 관리 대상 기기를 추가하고자 하는 경우에 위치 정보와 함께 표시할 정보를 상기 통합 관리 서버(10)에 저장하여 둠으로써, 별도의 AR 코드가 부착되지 않은 경우에도, 부가적으로 표시하여야 할 정보를 더 제공할 수 있다.
이와 같이, 사용자의 위치 정보와 자세 정보를 이용하기 때문에, 상기 통합 관리 서버(10)는 관리 대상 기기가 미리 지정된 위치에 계속하여 위치하고 있는지 여부와 함께, 해당 위치에서 추가제공되어야 할 정보를 확인할 수 있다.
도 10과 도 11은 본 발명의 증강 현실을 이용한 물류 관리 시스템을 이용하여 복수의 AR 코드를 인식하고 그에 대한 정보를 제공하는 예를 보여주는 도면이다.
본 발명의 시스템에 의하면, 사용자의 이동 통신 기기에 의하여 촬영된 영상 내에 복수 개의 AR 코드가 확인되는 경우, 상기 통합 관리 서버(10)를 통해서 해당 촬영된 AR 코드에 대한 정보를 수신하는 것과 함께, 촬영된 AR 코드 이외의 물품 또는 기기에 대한 정보도 함께 획득할 수 있다.
즉, AR 플랫폼 서버(50)를 통하여 상기 통합 관리 서버(10)에 관리 대상 기기 또는 물품에 대한 정보가 추가 등록되고, 해당 기기 또는 물품에 대응되는 AR 코드가 부착되지 않은 경우라도, 미리 부착되어 있는 AR 코드가 촬영되는 때에 함께 추가 등록된 기기 또는 물품에 대한 정보를 제공할 수 있다.
도 10에 도시된 바와 같이, 복수 개의 서류철들을 관리하는 경우, 즉, 관리 대상의 제 1 서류철(1101)에 제 1 AR 코드(1110)가 부착되고, 제 2 서류철(1102)에 제 2 AR 코드(1120)가 부착되어 있는 경우를 예로 들어 본다.
이 경우, 사용자가 이동 통신 기기(100)의 카메라를 이용하여 제 1 AR 코드(1110)를 촬영하게 되면, 제 1 AR 코드(1110)에 대응되는 식별 정보가 상기 통합 관리 서버(10)로 전달되고, 상기 이동 통신 기기(100)는 상기 통합관리 서버(10)로부터 전달되는 정보를 이미지 합성한 증강 현실로 화면에 표시되도록 한다.
그리고, 사용자가 이동 통신 기기(100)의 카메라를 이용하여 제 1 AR 코드(1110) 및 제 2 AR 코드(1120)를 모두 촬영하는 경우에도, 제 1 AR 코드 및 제 2 AR 코드에 대응되는 식별 정보가 상기 통합 관리 서버(10)로 전달되고, 제 1 및 제 2 AR 코드와 관련하여 미리 저장되어 있는 정보를 상기 이동 통신 기기(100)가 수신하여 이를 증강 현실로 화면에 디스플레이한다.
또한, 본 실시예에 따르면, 상기 통합 관리 서버(10)와 AR 플랫폼 서버(50)를 이용하여, [0071] 제 3 AR 코드 및 제 3 AR 코드에 대응되는 정보를 추가 등록하는 것이 가능하며, 이동 통신 기기(100)에 제 3 AR 코드 이미지가 촬영되지 않는 경우에도 제 3 AR 코드에 대응되는 정보가 증강 현실로 표시되도록 한다.
예를 들어, 상기 제 1 AR 코드(1110) 및 제 2 AR 코드(1120)에 대한 정보와 함께 추가 표시할 정보, 예를 들면, 제 1 서류철(1101)과 제 2 서류철(1102) 사이에 배치되어야 하는 제 3 서류철(1103)에 대한 정보가 추가 등록되고, 제 3 서류철(1103)에 대한 정보를 가리키는 제 3 AR 코드가 제 3 서류철(1103)에 부착되어 있지 않은 경우이다.
이때, 상기 통합 관리 서버(10)는 제 3 AR 코드가 부착되어야 할 위치를 상기 제 1 AR 코드(1110)와 제 2 AR 코드(1120) 사이의 공간으로 설정하여 두고, 사용자에 의하여 상기 제 1 AR 코드(1110) 및 제 2 AR 코드(1120)가 함께 촬영되는 경우에는, 상기 통합 관리 서버(10)는 상기 제 1 AR 코드(1110) 및 제 2 AR 코드(1120)로부터 식별되는 대응되는 정보와 함께 상기 제 1 AR 코드와 제 2 AR 코드 사이에 부착되어야 할 가상의 제 3 AR 코드로부터 식별되는 정보(제 3 서류철에 대한 정보)를 이동 통신 기기(100)로 전달한다.
즉, 도 11에 도시된 바와 같이, 이동 통신 기기(100)의 화면에는 제 1 AR 코드(1110)에 의해 식별되는 제 1 관련 정보 이미지(1210)와, 상기 제 2 AR 코드(1120)에 의해 식별되는 제 2 관련 정보 이미지(1220)를 촬영되는 영상 내에 증강 현실 이미지로 표시된다. 그리고, 상기 제 1 관련 정보 이미지와 제 2 관련 정보 이미지 사이에 서 표시되어야 하는 것으로 저장된 제 3 관련 정보 이미지(1230)가 이동 통신 기기 화면 상에 증강 현실로 더 표시된다.
그리고, 상기 이동 통신 기기(100)의 증강 현실 제어부(110)는 상기 제 3 관련 정보 이미지(1230)가 표시되는 영역의 크기는 제 1 AR 코드(1110)와 제 2 AR 코드(1120)의 거리 뿐만 아니라, 상기 제 1 관련 정보 이미지(1210)와 제 2 관련 정보 이미지(1220) 사이의 거리가 계산한다. 그리고, 상기 제 3 관련 정보 이미지(1230)를 제 1 AR 코드(1110)와 제 2 AR 코드(1120) 사이에 위치하면서, 상기 제 1 관련 정보 이미지(1210)와 제 2 관련 정보 이미지(1220) 사이에 배치되도록 제어한다.
이러한 과정을 통해서, 물품 또는 기기 등을 관리하는 경우에, 관리 대상의 물품 또는 기기들에 대한 추가 정보 입력과, 사용자에 의한 용이한 확인이 이루어질 수 있다.
그리고, 관리 대상의 물품 또는 기기의 배치가 통합 관리 서버(10)에 저장되어 있는 위치 관계에 따라 배치되어 있는지 여부를 사용자가 확인할 수 있으며, 상기 제 3 관련 정보 이미지(1230)의 표시 영역이 비정상적으로 배치된 경우라면, 상기 제 1 내지 제 3 서류철(1101,1102,1103)들의 배치가 잘못되었음을 판단할 수 있다.
제안되는 바와 같은 본 발명의 실시예들에 의해서, 증강 현실을 이용하여 물류 관리를 보다 효율적으로 수행할 수 있으며, AR 플랫폼 서버 또는 통합 관리 서버를 이용하여 관리 대상의 기기 또는 물품의 정보 추가 입력이 용이할 뿐만 아니라, 사용자는 서버에 추가된 물품 또는 기기에 대한 정보를 손쉽게 획득할 수 있다.

Claims (1)

  1. 관리 대상의 기기 또는 물품을 생산하거나 유통하는 이력을 관리하기 위하여, 대응되는 기기 또는 물품을 식별하기 위한 AR 코드를 관리하는 통합 관리 서버와, 상기 통합 관리 서버와 통신을 수행하는 통신부와, 상기 AR 코드를 촬영할 수 있는 카메라부와, 상기 카메라부에 의하여 촬영되는 영상에 증강 현실을 부가하는 표시 제어부와, 상기 표시 제어부에 의하여 증강 현실이 부가된 영상 또는 상기 카메라부에 의하여 촬영되는 영상이 표시되는 디스플레이부와, 상기 통신부를 통하여 전달되는 정보를 이용하여 상기 디스플레이부에 증강 현실로 관련 정보 이미지가 표시되도록 제어하는 증강 현실 제어부를 갖는 이동 통신 기기를 포함하고,
    상기 이동 통신 기기는 위치 정보를 측정하는 위치 정보 모듈을 더 포함하고, 상기 이동 통신 기기의 증강 현실 제어부는 촬영되는 AR 코드의 식별정보와 함께 상기 위치 정보를 상기 통합 관리 서버로 전달하고,
    상기 통합 관리 서버는 전달된 AR 코드의 식별정보에 대응되는 관련 정보와, 상기 이동 통신 기기의 위치 정보와 관련된 추가 정보를 함께 상기 이동 통신 기기로 전달하는 것을 특징으로 하는 증강 현실을 이용한 물류 관리 시스템.
KR1020210016003A 2021-02-04 2021-02-04 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법 KR20220112442A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210016003A KR20220112442A (ko) 2021-02-04 2021-02-04 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016003A KR20220112442A (ko) 2021-02-04 2021-02-04 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220112442A true KR20220112442A (ko) 2022-08-11

Family

ID=82803183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016003A KR20220112442A (ko) 2021-02-04 2021-02-04 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220112442A (ko)

Similar Documents

Publication Publication Date Title
US8225226B2 (en) Virtual control panel
US11481999B2 (en) Maintenance work support system and maintenance work support method
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US10380814B1 (en) System for determining entry of user to an automated facility
US10867280B1 (en) Interaction system using a wearable device
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9268410B2 (en) Image processing device, image processing method, and program
GB2606649A (en) Drift correction for industrial augmented reality applications
CN111149133A (zh) 过程控制环境中的虚拟x射线视觉
US10445593B1 (en) User interface for acquisition of group data
US20190035289A1 (en) Systems and methods for autonomous drone navigation
CN104081317A (zh) 图像处理装置和计算机程序产品
CN111344663B (zh) 渲染装置及渲染方法
Klinker et al. Distributed user tracking concepts for augmented reality applications
US11785184B2 (en) Maintenance support system, maintenance support method, and program
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US20110254813A1 (en) Pointing device, graphic interface and process implementing the said device
US20210029497A1 (en) Field cooperation system and management device
He et al. Spatial anchor based indoor asset tracking
CN106203252A (zh) 借助相机查明机器人轴角度并选出机器人
CN112528699A (zh) 用于获得场景中的设备或其用户的标识信息的方法和系统
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
KR20220112442A (ko) 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법
US20220207832A1 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
JP2019117308A (ja) ヘッドマウントディスプレイ