KR102265259B1 - Augmented reality service method and device for reagent location guidance - Google Patents

Augmented reality service method and device for reagent location guidance Download PDF

Info

Publication number
KR102265259B1
KR102265259B1 KR1020200084407A KR20200084407A KR102265259B1 KR 102265259 B1 KR102265259 B1 KR 102265259B1 KR 1020200084407 A KR1020200084407 A KR 1020200084407A KR 20200084407 A KR20200084407 A KR 20200084407A KR 102265259 B1 KR102265259 B1 KR 102265259B1
Authority
KR
South Korea
Prior art keywords
reagent
user terminal
storage
image
information
Prior art date
Application number
KR1020200084407A
Other languages
Korean (ko)
Inventor
김건우
Original Assignee
주식회사 스마트 잭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스마트 잭 filed Critical 주식회사 스마트 잭
Priority to KR1020200084407A priority Critical patent/KR102265259B1/en
Application granted granted Critical
Publication of KR102265259B1 publication Critical patent/KR102265259B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

An augmented reality service method for guiding a reagent location and a device thereof. According to one aspect of the present invention, the augmented reality service method for guiding a reagent location performed in a management server comprises the steps of: receiving a photographed image of stored reagents from a user terminal; extracting reagent information corresponding to the photographed image and including information on locations of stored reagents and reagent names from a reagent information DB; and processing so that an augmented reality image in which each reagent name is displayed at each location of the photographed image is displayed on the user terminal based on the reagent information.

Description

시약 위치 안내를 위한 증강현실 서비스 방법 및 장치{Augmented reality service method and device for reagent location guidance}Augmented reality service method and device for reagent location guidance

본 발명은 시약 위치 안내를 위한 증강현실 서비스 방법 및 장치에 관한 것이다.The present invention relates to an augmented reality service method and apparatus for guiding a reagent location.

일반적으로 기업 혹은 집단 실험에 사용되는 기자재 및 시약들은 ERP(Enterprise Resource Planning, 기업 자원 관리)라고 불리는 재고 관리 시스템에 의해 관리된다. 그런데, 결재, 관리, 사용 등 역할에 맞는 부서가 나누어져 있는 조직에서는 ERP을 사용하기가 용이하지만, 소규모 전문 인력이 운영하는 대학교 연구실, 중소기업 연구소 등에는 ERP를 사용하기 어렵다. In general, materials and reagents used in corporate or group experiments are managed by an inventory management system called Enterprise Resource Planning (ERP). However, although it is easy to use ERP in organizations that have departments suitable for roles such as approval, management, and use, it is difficult to use ERP in university laboratories and small and medium-sized enterprises (SMEs) research institutes run by small professional personnel.

그리고, 일반적으로 대학교 연구실, 중소기업 연구소 등에서는 기자재 및 시약들의 구매와 재고 관리 등을 수기로 작성하여 종이 문서로 공유한다. 그러나, 상기한 일반적인 방법은, 사람이 수기로 작성하는 문서의 특성상 누락 혹은 오기로 인한 업무 효율이 떨어지는 현상이 발생하고, 적정량의 재고 수량을 확인하기 어려워 실험 계획 등에 악영향을 미칠 수 있다.And, in general, in university labs and small and medium-sized enterprises (SMEs) research institutes, purchase of equipment and reagents and inventory management are written by hand and shared as paper documents. However, in the general method described above, due to the nature of documents written by human hands, work efficiency is reduced due to omissions or errors, and it is difficult to check an appropriate amount of inventory, which may adversely affect experimental plans and the like.

그리고, 통상적으로 수십개 또는 수백개의 시약을 관리하는 경우가 많은데, 각 시약이 보관되어 있는 위치를 헷갈려 시약 찾는 시간을 허비하는 경우가 많다. 특히, 시약을 관리하는 사람과 이용자가 다를 경우 이용자는 관리자에게 시약의 위치를 문의하는데, 관리자와 이용자가 다른 공간에 있을 때는 정확한 시약의 위치를 안내하기 어려워 불편이 존재한다. And, there are many cases where tens or hundreds of reagents are usually managed, and time is wasted in finding reagents by confusing the location where each reagent is stored. In particular, when the person who manages the reagent and the user are different, the user inquires the manager about the location of the reagent, but when the manager and the user are in different spaces, it is difficult to guide the exact location of the reagent.

한국등록특허 제10-1731169호Korean Patent Registration No. 10-1731169

따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 보유한 시약의 위치를 쉽게 인지할 수 있도록 증강현실로 안내하는 방법 및 장치를 제공하기 위한 것이다.Accordingly, the present invention has been devised to solve the above-described problems, and to provide a method and apparatus for guiding to augmented reality so that the position of the held reagent can be easily recognized.

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become clearer through preferred embodiments described below.

본 발명의 일 측면에 따르면, 관리 서버에서 수행되는 시약 위치 안내를 위한 증강현실 서비스 방법에 있어서, 사용자단말로부터 보관시약들을 촬영한 촬영영상을 수신하는 단계; 상기 촬영영상에 대응되며, 보관시약들의 위치 및 시약명에 대한 정보를 포함하는 시약정보를 시약정보DB로부터 추출하는 단계; 및 상기 시약정보를 기반으로 상기 촬영영상의 각 위치에 각각의 시약명이 표시되는 증강현실영상이 상기 사용자단말에 표시되도록 처리하는 단계를 포함하는, 시약 위치 안내를 위한 증강현실 서비스 방법이 제공된다.According to an aspect of the present invention, there is provided an augmented reality service method for guiding a location of a reagent performed in a management server, the method comprising: receiving a photographed image of stored reagents from a user terminal; extracting reagent information corresponding to the captured image and including information on locations and names of stored reagents from a reagent information DB; And based on the reagent information, the augmented reality image in which each reagent name is displayed at each position of the photographed image is displayed on the user terminal, the augmented reality service method for guiding the reagent location is provided.

여기서, 제1 사용자단말에서 촬영되는 보관시약영상을 제2 사용자단말로 중계하는 단계; 상기 제2 사용자단말에서의 사용자입력에 의한 상기 보관시약영상 내의 시약위치를 확인하는 단계; 및 상기 제1 사용자단말 또는 상기 제2 사용자단말에서 입력된 음성에 대한 인식에 의해 추출되는 시약명이 상기 시약위치에 대응되도록 표시되는 위치지시증강현실영상이 상기 제1 사용자단말에서 표시되도록 처리하는 단계를 포함한다.Here, relaying the storage reagent image taken from the first user terminal to the second user terminal; confirming the position of the reagent in the storage reagent image according to a user input from the second user terminal; and processing the location indication augmented reality image displayed so that the reagent name extracted by recognizing the voice input from the first user terminal or the second user terminal to correspond to the reagent location is displayed on the first user terminal. includes

또한, 상기 시약위치와 상기 시약명에 대한 정보를 상기 시약정보로서 이용하도록 상기 시약정보DB에 저장하는 단계를 더 포함한다.The method further includes the step of storing the information on the location of the reagent and the name of the reagent in the reagent information DB to be used as the reagent information.

또한, 상기 시약위치, 시약명과 함께 상기 시약위치에 상응하는 시약병이미지를 상기 시약정보DB에 더 저장하되, 상기 증강현실영상의 제공 시, 상기 시약위치에 상기 시약병이미지와 동일한 시약병이 존재하는 경우에만 상기 시약위치에 상기 시약정보가 표시되도록 한다.In addition, the reagent bottle image corresponding to the reagent position along with the reagent position and reagent name is further stored in the reagent information DB, but when the augmented reality image is provided, only when the reagent bottle identical to the reagent bottle image exists at the reagent position The reagent information is displayed on the reagent position.

또한, 상기 증강현실영상이 표시되는 상태에서 상기 사용자단말로의 사용자입력에 의한 화면위치에 상응하는 시약의 시약명에 상응하는 추가정보가 더 표시되도록 한다.In addition, in the state in which the augmented reality image is displayed, additional information corresponding to the reagent name of the reagent corresponding to the screen position by the user input to the user terminal is further displayed.

또한, 상기 음성에 대한 인식에 의해 추출되는 시약명이 미리 저장된 시약명리스트에 존재하지 않는 경우, 상기 시약명리스트에 존재하는 하나 이상의 유사 시약명을 표시하여 사용자선택에 의한 어느 하나로 보정하는 단계를 더 포함한다.In addition, when the name of the reagent extracted by the recognition of the voice does not exist in the reagent name list stored in advance, the step of displaying one or more similar reagent names existing in the reagent name list and correcting any one by the user's selection is further performed. include

본 발명의 다른 측면에 따르면, 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 사용자단말로부터 보관시약들을 촬영한 촬영영상을 수신하는 단계; 상기 촬영영상에 대응되며, 보관시약들의 위치 및 시약명에 대한 정보를 포함하는 시약정보를 시약정보DB로부터 추출하는 단계; 및 상기 시약정보를 기반으로 상기 촬영영상의 각 위치에 각각의 시약명이 표시되는 증강현실영상이 상기 사용자단말에 표시되도록 처리하는 단계를 포함하는, 기록 매체가 제공된다.According to another aspect of the present invention, a program of instructions that can be executed by a digital processing device is tangibly implemented, and as a recording medium that can be read by a digital processing device, a photographed image obtained by photographing storage reagents from a user terminal is recorded. receiving; extracting reagent information corresponding to the captured image and including information on locations and names of stored reagents from a reagent information DB; and processing an augmented reality image in which each reagent name is displayed at each position of the photographed image based on the reagent information to be displayed on the user terminal, a recording medium is provided.

본 발명이 또다른 측면에 따르면, 관리 서버와 통신을 수행하는 통신부; 상기 관리 서버와 연동되어 동작하는 애플리케이션을 저장하는 메모리부; 외부 영상을 촬영하는 카메라부; 상기 애플리케이션을 실행하는 프로세서부; 및 상기 어플리케이션의　실행　화면을 출력하는 디스플레이부;를 포함하되, 상기 애플리케이션을 통해, 상기 프로세서부는 상기 카메라부에 의해 보관시약을 촬영한 촬영영상을 상기 관리 서버로 전송하고, 상기 관리 서버가 상기 촬영영상에 대응되도록 미리 저장한 각 시약의 위치 및 시약명을 포함하는 시약정보를 취득하고, 상기 시약정보를 기반으로 보관시약영상 내에 각 위치에 대응된 시약명이 표시되는 증강현실영상을 상기 디스플레이부를 통해 출력하는, 사용자단말이 제공된다.According to another aspect of the present invention, a communication unit for performing communication with the management server; a memory unit for storing an application operating in conjunction with the management server; a camera unit for capturing an external image; a processor unit executing the application; and a display unit for outputting the execution screen of the application; but, through the application, the processor unit transmits the captured image obtained by photographing the storage reagent by the camera unit to the management server, and the management server performs the photographing Acquire reagent information including the location and reagent name of each reagent stored in advance to correspond to the image, and display an augmented reality image in which the reagent name corresponding to each position is displayed in the stored reagent image based on the reagent information through the display unit A user terminal for outputting is provided.

여기서, 상기 관리 서버는 제1 사용자단말에서 촬영되는 보관시약영상을 제2 사용자단말로 중계하고, 상기 제2 사용자단말에서의 사용자입력에 의한 상기 보관시약영상 내의 시약위치를 확인하고, 상기 제1 사용자단말 또는 상기 제2 사용자단말에서 입력된 음성에 대한 인식에 의해 추출되는 시약명을 상기 시약위치에 대응되도록 하여 상기 시약정보로서 저장한다. Here, the management server relays the storage reagent image photographed from the first user terminal to the second user terminal, and confirms the position of the reagent in the storage reagent image by the user input from the second user terminal, and the first A reagent name extracted by recognizing a voice input from the user terminal or the second user terminal is stored as the reagent information so as to correspond to the reagent location.

본 발명에 따르면, 증강현실로 시약의 위치를 안내함으로써 이용자가 많은 수의 시약 중에서 필요한 시약을 쉽게 선택할 수 있도록 한다.According to the present invention, by guiding the location of the reagent in augmented reality, the user can easily select a required reagent from among a large number of reagents.

또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다. In addition, the effects of the present invention are not limited to the above-described effects, and it should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 시약 위치 안내 증강현실 서비스를 제공하기 위한 전체 시스템을 개략적으로 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 사용자단말의 구성을 도시한 기능블록도.
도 3은 본 발명의 일 실시예에 따른 관리 서버의 구성을 도시한 기능블록도.
도 4는 본 발명의 일 실시예에 따른 관리 서버와 사용자단말간의 시약 위치 안내 증강현실 서비스의 제공과정을 도시한 흐름도.
도 5는 본 발명의 일 실시예에 따른 사용자단말에 표시되는 증강현실영상을 도시한 예시도.
도 6은 본 발명의 일 실시예에 따른 관리 서버에서 수행되는 두 사용자단말간의 시약위치 안내에 의한 시약정보 등록 과정을 도시한 흐름도.
도 7은 본 발명의 일 실시예에 따른 시약병이미지를 이용한 검증 절차에 의한 증강현실영상 제공 과정을 도시한 흐름도.1 is a configuration diagram schematically illustrating an overall system for providing a reagent location guidance augmented reality service according to an embodiment of the present invention.
2 is a functional block diagram showing the configuration of a user terminal according to an embodiment of the present invention;
3 is a functional block diagram illustrating a configuration of a management server according to an embodiment of the present invention;
4 is a flowchart illustrating a process of providing a reagent location guide augmented reality service between a management server and a user terminal according to an embodiment of the present invention.
5 is an exemplary diagram illustrating an augmented reality image displayed on a user terminal according to an embodiment of the present invention.
6 is a flowchart illustrating a reagent information registration process by guiding a reagent location between two user terminals performed in a management server according to an embodiment of the present invention.
7 is a flowchart illustrating a process of providing an augmented reality image by a verification procedure using a reagent bottle image according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, terms such as a first threshold value and a second threshold value, which will be described later, may be preset as threshold values that are substantially different or partially have the same value. Since there is room, the terms 1, 2, etc. will be used together for convenience of classification.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiment described with reference to each drawing are not limitedly applied only to the embodiment, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and also Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as a single integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same components regardless of the reference numerals are given the same or related reference numerals, and the overlapping description thereof will be omitted. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 시약 위치 안내 증강현실 서비스를 제공하기 위한 전체 시스템을 개략적으로 도시한 구성도이다.1 is a configuration diagram schematically illustrating an overall system for providing a reagent location guidance augmented reality service according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 시스템은 사용자단말(10-1, 10-2), 관리 서버(30) 및 시약정보DB(50)를 포함한다.Referring to FIG. 1 , the system according to the present embodiment includes user terminals 10 - 1 and 10 - 2 , a management server 30 and a reagent information DB 50 .

시약정보DB(50)에는 관리중인 시약들에 대한 정보로서 시약명, 보관위치에 대한 정보가 저장된다. 관리의 편리를 위해 각 보관시약마다 잔여량, 사용기간 등의 시약정보가 더 관리될 수 있다. 시약관리장치(30)는 시약정보DB(50)의 시약정보를 참조하여 사용자단말(10)에게 시약들이 보관된 장소(이하 시약보관함이라 칭함)을 촬영한 영상에 각 시약의 위치가 안내되는 증강현실(Augmented Reality) 영상(도 5참조)을 제공한다.The reagent information DB 50 stores information on reagent names and storage locations as information on the reagents under management. For the convenience of management, reagent information such as residual amount and usage period for each storage reagent may be further managed. The reagent management device 30 refers to the reagent information of the reagent information DB 50, and the location of each reagent is guided in the image captured by the user terminal 10 at the place where the reagents are stored (hereinafter referred to as the reagent storage box). Provides an Augmented Reality image (see FIG. 5).

사용자단말(10)은 카메라기능 및 통신기능을 구비한 컴퓨팅 장치로서 시약보관함을 촬영하면, 관리 서버(30)로부터 수신되는 시약명 및 위치정보를 포함하는 시약정보를 기반으로 한 촬영영상 상에 해당 위치에 시약명 등이 표시되는 증강현실영상을 출력한다. 따라서, 사용자단말(10)은 스마트폰 또는 안경형태인 스마트글라스와 같은 모바일 기기일 수 있다. The user terminal 10 is a computing device having a camera function and a communication function. When the reagent storage box is photographed, the user terminal 10 corresponds to the photographed image based on the reagent information including the reagent name and location information received from the management server 30 . Outputs an augmented reality image in which the name of the reagent, etc. is displayed at the location. Accordingly, the user terminal 10 may be a mobile device such as a smart phone or smart glasses in the form of glasses.

도 2는 본 발명의 일 실시예에 따른 사용자단말의 구성을 도시한 기능블록도이고, 도 3은 본 발명의 일 실시예에 따른 관리 서버의 구성을 도시한 기능블록도이고, 도 4는 본 발명의 일 실시예에 따른 관리 서버와 사용자단말간의 시약 위치 안내 증강현실 서비스의 제공과정을 도시한 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 사용자단말에 표시되는 증강현실영상을 도시한 예시도이다.2 is a functional block diagram illustrating the configuration of a user terminal according to an embodiment of the present invention, FIG. 3 is a functional block diagram illustrating the configuration of a management server according to an embodiment of the present invention, and FIG. 4 is this It is a flowchart illustrating a process of providing a reagent location guidance augmented reality service between a management server and a user terminal according to an embodiment of the present invention, and FIG. 5 is an augmented reality image displayed on the user terminal according to an embodiment of the present invention. It is also an example.

먼저 도 4 및 도 5를 참조하면, 사용자단말(10)은 구비된 카메라로 보유시약을 촬영하고(S410), 촬영된 영상을 관리 서버(30)로 전송한다(S420). First, referring to FIGS. 4 and 5 , the user terminal 10 takes a picture of the reagent with the provided camera ( S410 ), and transmits the captured image to the management server 30 ( S420 ).

관리 서버(30)는 사용자단말(10)의 식별정보(예를 들어 미리 설정된 어플리케이션 일련번호 또는 아이피주소(IP address), 맥주소(MAC address) 등)와 촬영된 영상을 분석하여, 관련된 시약정보를 추출한다(S430).The management server 30 analyzes the identification information of the user terminal 10 (eg, a preset application serial number or IP address, MAC address, etc.) and the photographed image, and related reagent information is extracted (S430).

예를 들면, 관리 서버(30)는 해당 사용자단말(10)이 어느 그룹(연구소 또는 연구실)에 속한 사용자인지를 식별하여 해당 그룹의 시약정보를 1차적으로 추출하고, 해당 그룹의 시약보관함이 복수개인 경우 촬영된 영상을 분석(시약보관함의 형태 비교 또는 놓여진 시약병들의 이미지 비교 등)하여 어느 하나를 선택한다. 시약보관함의 정확한 분석 및 상대적 시약 위치 확인을 위해 도 5와 같이 시약보관함(510)도 함께 촬영되는 것이 바람직하다.For example, the management server 30 identifies which group (laboratory or laboratory) the corresponding user terminal 10 belongs to and primarily extracts reagent information of the corresponding group, and the reagent storage of the corresponding group has multiple In the case of an individual, one is selected by analyzing the captured image (compare the shape of the reagent box or image comparison of the placed reagent bottles, etc.). For accurate analysis of the reagent storage box and confirming the relative position of the reagents, it is preferable that the reagent storage box 510 is also photographed as shown in FIG. 5 .

관리 서버(30)는 해당 시약보관함에 놓여진 시약들의 시약명 및 각각의 보관위치에 대한 정보를 포함하는 시약정보를 시약정보DB(50)에서 추출한다. 보관위치는 시약보관함을 기준으로 하는 상대적인 위치(예를 들어, 시약보관함 10*10=100픽셀 기준으로, 시약명1 : 1*8, 시약명2 : 8*8 등)일 수 있으며, 또는 각 시약들간의 상대위치(예를 들어, 시약명1 : 최좌측끝, 시약명2 : 최좌측앞, 시약명3 : 최좌측중간 등)일 수 있다.The management server 30 extracts reagent information including reagent names of reagents placed in the reagent storage box and information on each storage location from the reagent information DB 50 . The storage position may be a relative position with respect to the reagent storage box (eg, reagent storage 10*10=100 pixels, reagent name 1: 1*8, reagent name 2: 8*8, etc.), or each It may be a relative position between reagents (eg, reagent name 1: left-most end, reagent name 2: left-most front, reagent name 3: left-most middle, etc.).

관리 서버(30)는 이렇게 추출된 시약정보를 포함하는 증강현실 정보를 사용자단말(10)로 전송하면(S440), 사용자단말(10)은 수신된 시약정보에 따른 보관위치에 대응되도록 촬영영상의 각 위치에 시약명 등의 관련정보(예를 들어, 위험성 경고, 사용기간 등)가 표시되는 도 5와 같은 증강현실영상을 출력한다(S450). When the management server 30 transmits the augmented reality information including the reagent information extracted in this way to the user terminal 10 (S440), the user terminal 10 records the captured image so as to correspond to the storage location according to the received reagent information. An augmented reality image as shown in FIG. 5 is output in each position, in which related information such as a reagent name (eg, danger warning, period of use, etc.) is displayed (S450).

또한, 증강현실영상이 표시되는 상태에서 사용자단말(10)로의 사용자입력에 의한 화면위치에 상응하는 시약의 시약명에 상응하는 추가정보가 더 표시되도록 할 수도 있다. 즉, 사용자단말(10)의 증강현실영상에서 시약A가 터치되는 경우, 시약A에 대한 추가정보(위험성경고문구, 사용기간, 사용횟수, 폐기일자 등)가 표시되는 것이다.In addition, in a state in which the augmented reality image is displayed, additional information corresponding to the reagent name of the reagent corresponding to the screen position by the user input to the user terminal 10 may be further displayed. That is, when the reagent A is touched in the augmented reality image of the user terminal 10, additional information about the reagent A (hazard warning phrase, usage period, number of uses, discard date, etc.) is displayed.

도 5에서는 하나의 시약병(520)에 대해서만 그 시약명(530)이 표시되는 것을 예시하였으나, 모든 시약병의 시약정보가 표시될 수도 있다. 또는 사용자가 선택(예를 들어, 터치스크린 화면에 표시되는 시약병을 터치)한 시약병에 대해서만 그 시약명이 표시되는 형식일 수도 있다.5 illustrates that the reagent name 530 is displayed for only one reagent bottle 520, but reagent information of all reagent bottles may also be displayed. Alternatively, the reagent name may be displayed only for the reagent bottle selected by the user (eg, by touching the reagent bottle displayed on the touch screen).

이러한 기능을 위한 사용자단말(10)의 구성을 도시한 도 2를 참조하면, 사용자단말(10)은 카메라부(11), 통신부(12), 메모리부(13), 디스플레이부(14) 및 프로세서부(15)를 포함한다.Referring to FIG. 2 showing the configuration of the user terminal 10 for such a function, the user terminal 10 includes a camera unit 11 , a communication unit 12 , a memory unit 13 , a display unit 14 and a processor. part 15 .

카메라부(11)는 외부 영상을 촬영하며, 통신부(12)는 관리 서버(30)와 통신을 수행하기 위한 것이며, 메모리부(13)에는 관리 서버(30)와 연동되어 동작하는 애플리케이션이 저장되고, 디스플레이부(14)는 프로세서부(15)에 의해 실행된 어플리케이션의 실행화면이 출력한다.The camera unit 11 shoots an external image, the communication unit 12 is for communicating with the management server 30 , and the memory unit 13 stores an application that operates in conjunction with the management server 30 , and , the display unit 14 outputs the execution screen of the application executed by the processor unit 15 .

프로세서부(15)는 메모리부(13)에 저장된 어플리케이션의 실행을 통해, 카메라부(11)에 의해 보관시약을 촬영한 촬영영상을 관리 서버(30)로 전송하고, 관리 서버(30)가 촬영영상에 대응되도록 미리 저장한 각 시약의 위치 및 시약명을 포함하는 시약정보를 취득하고, 시약정보를 기반으로 보관시약영상 내에 각 위치에 대응된 시약명이 표시되는 증강현실영상을 디스플레이부(14)를 통해 출력한다.The processor unit 15 transmits, to the management server 30, the captured image obtained by photographing the storage reagent by the camera unit 11 through the execution of the application stored in the memory unit 13, and the management server 30 is photographed Acquires reagent information including the position and reagent name of each reagent stored in advance to correspond to the image, and displays an augmented reality image in which the reagent name corresponding to each position is displayed in the stored reagent image based on the reagent information (14) output through

관리 서버(30)의 구성을 도시한 도 3을 참조하면, 통신부(31) 및 제어부(32)를 포함하되, 제어부(32)는 그 기능에 따라 시약정보관리부(33) 및 증강현실처리부(34)를 포함한다.Referring to FIG. 3 showing the configuration of the management server 30, it includes a communication unit 31 and a control unit 32, and the control unit 32 includes a reagent information management unit 33 and an augmented reality processing unit 34 according to its functions. ) is included.

관리 서버(30)의 통신부(31)도 마찬가지로 통신망을 통해 사용자단말(10)과 통신하기 위한 것으로, 이는 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.The communication unit 31 of the management server 30 is also for communicating with the user terminal 10 through a communication network, which will be apparent to those skilled in the art, and thus a more detailed description will be omitted.

제어부(32)의 시약정보관리부는(33)는 시약정보DB(50)에 저장되는 정보를 관리하며, 일례로 사용자단말(10)로부터 수신된 보관시약들을 촬영한 촬영영상에 대응되며, 보관시약들의 위치 및 시약명에 대한 정보를 포함하는 시약정보를 시약정보DB(50)로부터 추출한다.The reagent information management unit 33 of the control unit 32 manages information stored in the reagent information DB 50 , and corresponds to, for example, a photographed image of the storage reagents received from the user terminal 10 , and storage reagents. Reagent information including information on their positions and reagent names is extracted from the reagent information DB 50 .

증강현실처리부(34)는 추출된 시약정보를 기반으로 촬영영상의 각 위치에 각각의 시약명이 표시되는 증강현실영상이 사용자단말(10)에 표시되도록 처리하는 기능을 수행한다.The augmented reality processing unit 34 performs a function of processing so that the augmented reality image in which each reagent name is displayed at each position of the photographed image is displayed on the user terminal 10 based on the extracted reagent information.

지금까지는 관리 서버(30)가 시약정보를 사용자단말(10)로 제공하여, 사용자단말(10)에서 시약의 위치에 대한 정보가 증강현실영상으로 제공되는 방식을 위주로 설명하였다. So far, the management server 30 provides reagent information to the user terminal 10, and the method has been mainly described in which information on the location of the reagent in the user terminal 10 is provided as an augmented reality image.

이하에서는 시약의 위치와 시약명에 대한 시약정보를 관리 서버(30)에 등록(즉, 시약정보DB에 저장)하는 방식에 대한 일례에 대해 설명한다.Hereinafter, an example of a method of registering reagent information on the location and name of a reagent in the management server 30 (ie, storing in the reagent information DB) will be described.

도 6은 본 발명의 일 실시예에 따른 관리 서버에서 수행되는 두 사용자단말간의 시약위치 안내에 의한 시약정보 등록 과정을 도시한 흐름도이다.6 is a flowchart illustrating a reagent information registration process by guiding a reagent location between two user terminals performed in the management server according to an embodiment of the present invention.

도 6을 참조하면, 관리 서버(30)는 제1 사용자단말(10-1)에서 촬영되는 보관시약영상을 제2 사용자단말(10-2)로 중계한다(S610). 예를 들어, 제1 사용자단말(10-1)이 제2 사용자단말(10-2)과의 연결을 요청(또는 그 반대일 수도 있음)하면, 제1 사용자단말(10-1)에서 실시간으로 촬영되는 영상(동영상 또는 사진)을 제2 사용자단말(10-2)의 사용자가 확인할 수 있도록 중계한다. 제1 사용자단말 사용자가 특정시약의 위치를 제2 사용자단말 사용자에게 문의할 때 본 서비스를 이용할 수 있다.Referring to FIG. 6 , the management server 30 relays the storage reagent image captured by the first user terminal 10-1 to the second user terminal 10-2 (S610). For example, when the first user terminal 10-1 requests a connection with the second user terminal 10-2 (or vice versa), the first user terminal 10-1 in real time The captured image (movie or photo) is relayed so that the user of the second user terminal 10-2 can check it. This service can be used when the first user terminal user inquires the location of the specific reagent to the second user terminal user.

제2 사용자단말(10-2)에서 입력된 시약위치를 확인한다(S620). 예를 들어, 제2 사용자단말 사용자는 중계된 영상 내의 특정위치(즉, 제1 사용자단말 사용자가 요청한 시약의 위치)를 손가락으로 터치하면, 제2 사용자단말(10-2)은 해당 위치정보(영상내의 위치)를 관리 서버(30)로 전송하는 것이다.The position of the reagent input from the second user terminal 10-2 is checked (S620). For example, when the second user terminal user touches a specific location in the relayed image (that is, the location of the reagent requested by the first user terminal user) with his finger, the second user terminal 10-2 displays the corresponding location information ( location in the image) to the management server 30 .

그리고, 관리 서버(30)는 제1 사용자단말(10-1) 또는 제2 사용자단말(10-2)에 입력된 사용자 음성을 수신하여 텍스트로 변환하고, 변환된 텍스트에 따른 시약명을 확인한다.Then, the management server 30 receives the user's voice input to the first user terminal 10-1 or the second user terminal 10-2, converts it into text, and confirms a reagent name according to the converted text. .

그리고, 그 시약명이 확인된 시약위치에 표시되는 증강현실영상(이하 위치지시증강현실영상이라 칭함)이 제1 사용자단말(10-1)에 표시되도록 처리한다(S630).Then, the augmented reality image (hereinafter referred to as the position indication augmented reality image) displayed at the reagent location where the reagent name is confirmed is processed to be displayed on the first user terminal 10-1 (S630).

즉, 제2 사용자단말 사용자는 문의받은 특정 시약의 위치를, 영상 내 해당 위치를 손가락으로 터치하고 음성으로 시약명을 입력하면, 제2 사용자단말(10-1)에 문의된 시약의 위치에 시약명이 라벨화된 방식 등으로 표시되는 도 5에 도시된 바와 같은 위치지시증강현실영상이 표시되는 것이다. That is, when the user of the second user terminal touches the position of the inquired specific reagent with his/her finger and the reagent name is input by voice, the reagent is placed at the position of the reagent inquired by the second user terminal 10-1. The location indication augmented reality image as shown in FIG. 5 in which the name is displayed in a labeled manner, etc. is displayed.

그리고, 시약명을 말하는 음성은 제1 사용자단말(10-1)에서 입력된 음성을 이용할 수도 있다. 예를 들어, 제1 사용자단말 사용자(문의자)가 [A시약 어디 있어요?]라는 음성을 입력하면, 해당 음성이 제2 사용자단말 사용자(답변자)에게 전달되고, 답변자는 제2 사용자단말(10-2)에 표시되는 중계영상에서 A시약이 위치한 곳을 지시하면 되는 것이다. 그리고, 관리 서버(30)는 그 음성을 분석하여 A라는 시약명을 확인할 수 있다.In addition, as the voice for saying the name of the reagent, the voice input from the first user terminal 10-1 may be used. For example, when the user of the first user terminal (inquirer) inputs the voice [Where is reagent A?], the corresponding voice is transmitted to the user of the second user terminal (answer), and the answerer is the second user terminal (10) It is enough to indicate where the reagent A is located in the relay image displayed in -2). Then, the management server 30 may analyze the voice to confirm the name of the reagent A.

본 실시예와 같은 두 사용자단말간의 시약위치 지시 서비스가 완료되면, 관리 서버(30)는 서비스된 시약위치, 시약명을 포함하는 시약정보를 시약정보DB(50)에 저장한다. 즉, 제2 사용자단말로부터의 시약위치와 음성인식에 의한 시약명을 시약정보로서 저장하여 차후 도 4에 도시된 바와 같은 서비스에 이용하는 것이다. 다시 말해, 이러한 시약위치 지시 서비스에 의해 확보된 시약정보를 기반으로, 사용자단말에게 시약위치 안내를 위한 증강현실 서비스를 제공하는 것이다.When the reagent location indication service between the two user terminals as in this embodiment is completed, the management server 30 stores reagent information including the serviced reagent location and reagent name in the reagent information DB 50 . That is, the position of the reagent from the second user terminal and the name of the reagent by voice recognition are stored as reagent information, and then used for the service as shown in FIG. 4 . In other words, based on the reagent information secured by the reagent location indication service, the augmented reality service for guiding the location of the reagent to the user terminal is provided.

여기서, 음성 인식에 의해 인식된 시약명에 대한 보다 정확한 정보 제공을 위해, 관리 서버(30)는 음성에 대한 인식에 의해 추출되는 시약명이 미리 저장된 시약명리스트에 존재하는지를 확인한다. 존재하지 않는 이름일 경우 잘못 인식되었거나 사용자가 잘못말한 것일 수도 있으므로, 시약명리스트에 존재하는 하나 이상의 유사 시약명을 표시하여 사용자선택(문의자 또는 답변자의 선택)에 의한 어느 하나로 보정하는 과정을 수행할 수 있다.Here, in order to provide more accurate information on the reagent name recognized by the voice recognition, the management server 30 checks whether the reagent name extracted by the voice recognition exists in the pre-stored reagent name list. If the name does not exist, it may be recognized incorrectly or the user may have said it incorrectly, so one or more similar reagent names existing in the reagent name list are displayed and the process of correcting one by the user's selection (selection of the inquirer or the answerer) is performed. can do.

도 7은 본 발명의 일 실시예에 따른 시약병이미지를 이용한 검증 절차에 의한 증강현실영상 제공 과정을 도시한 흐름도이다.7 is a flowchart illustrating a process of providing an augmented reality image by a verification procedure using a reagent bottle image according to an embodiment of the present invention.

도 7을 참조하면, 관리 서버(30)는 사용자단말(10)로부터의 요청에 따라, 수신된 촬영영상 내 보관시약의 시약정보를 추출하면(S710), 촬영영상 내 정보를 표시할 시약병에 대한 이미지를 촬영영상에서 추출한다(S720). Referring to FIG. 7 , when the management server 30 extracts reagent information of a storage reagent in the received photographed image according to a request from the user terminal 10 ( S710 ), a reagent bottle for displaying information in the photographed image. An image is extracted from the captured image (S720).

그리고, 시약정보로서 미리 저장된 시약병이미지를 추출하여 서로 비교하여 동일성을 판단한다(S730). 일례에 따르면, 도 6을 참조하여 설명한 실시예에서 S640에서 시약위치, 시약명과 함께 해당 시약위치에 상응하는 시약병이미지를 시약정보로서 더 시약정보DB에 더 저장하는 것이다. 이를 이용하여, 차후 증강현실영상의 제공 시, 촬영영상의 시약위치에 시약병이미지와 동일한 시약병이 존재하는 경우에만 해당 시약위치에 시약정보가 표시되도록 하는 것이다.Then, the reagent bottle images stored in advance as reagent information are extracted and compared with each other to determine the identity (S730). According to one example, in the embodiment described with reference to FIG. 6 , in S640, the reagent bottle image corresponding to the reagent position along with the reagent position and reagent name is further stored in the reagent information DB as reagent information. Using this, when the augmented reality image is provided later, reagent information is displayed at the reagent position only when the reagent bottle identical to the reagent bottle image exists at the reagent position of the photographed image.

즉, 동일 위치의 정보로서 미리 저장된 시약병이미지와 동일한 시약병이 촬영되고 있는지를 판단하는 것이며, 동일하다면 해당 시약위치에 시약명과 같은 관련정보를 표시한다(S740).That is, as information on the same location, it is determined whether the same reagent bottle as the previously stored reagent bottle image is being photographed, and if the same, related information such as the reagent name is displayed at the reagent location (S740).

이와 달리 동일하지 않다면, 시약의 위치가 변경된 것일 수 있으므로, 해당 시약에 대한 정보는 증강현실영상에서 표시되지 않도록 제외시킨다(S750). 시약의 경우 잘못된 정보의 제공은 사고를 발생시킬 수 있기 때문에 이미지비교에 의한 검증을 수행하는 것이다.Otherwise, if it is not the same, since the position of the reagent may have been changed, information on the reagent is excluded from being displayed in the augmented reality image (S750). In the case of reagents, providing incorrect information can cause accidents, so verification by image comparison is performed.

상술한 본 발명에 따른 시약위치 안내를 위한 증강현실 서비스 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The augmented reality service method for guiding the location of a reagent according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes any type of recording medium in which data that can be read by a computer system is stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the above has been described with reference to the preferred embodiment of the present invention, those of ordinary skill in the art can use the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. It will be understood that various modifications and variations are possible.

10 : 사용자단말
30 : 관리 서버
50 : 시약정보DB10: user terminal
30: management server
50: reagent information DB

Claims (10)

관리 서버에서 수행되는 시약위치 안내를 위한 증강현실 서비스 방법에 있어서,
사용자단말로부터 시약보관함에 놓여진 보관시약들을 촬영한 촬영영상을 수신하는 단계;
상기 사용자단말의 식별정보를 통해 상기 사용자단말이 속한 그룹을 식별하는 단계;
상기 촬영영상에 포함된 시약보관함의 형태 또는 놓여진 보관시약들의 이미지 비교를 통해 복수의 시약보관함 중 하나를 선택하고,
상기 식별된 그룹에서 상기 선택된 시약보관함 내에서의 보관시약들의 시약위치 및 시약명에 대한 정보를 포함하는 시약정보를 시약정보DB로부터 추출하는 단계; 및
상기 시약정보를 기반으로 상기 촬영영상의 각 시약위치에 각각의 시약명이 표시되는 증강현실영상이 상기 사용자단말에 표시되도록 처리하는 단계를 포함하되,
상기 시약위치는 상기 시약보관함을 기준으로 하는 상기 보관시약들의 상대적인 위치 또는 각 보관시약들간의 상대적인 위치 중 하나이며,
상기 증강현실영상이 상기 사용자단말에 표시되도록 처리하는 단계는 상기 촬영영상이 다른 사용자단말로 전송되는 경우, 상기 다른 사용자단말에서의 사용자입력에 의해 보관시약들 중 하나가 선택되면 상기 선택된 보관시약의 시약위치에 대응되는 증강현실영상이 상기 사용자단말에 표시되도록 처리하는, 시약위치 안내를 위한 증강현실 서비스 방법.In the augmented reality service method for guiding a reagent location performed in a management server,
Receiving a photographed image of the stored reagents placed in the reagent storage from the user terminal;
identifying a group to which the user terminal belongs through the identification information of the user terminal;
Select one of a plurality of reagent storage boxes through image comparison of the shape of the reagent storage box included in the photographed image or the placed storage reagents,
extracting reagent information including information on reagent locations and reagent names of stored reagents in the selected reagent storage box from the identified group from the reagent information DB; and
and processing so that an augmented reality image in which each reagent name is displayed at each reagent position of the photographed image is displayed on the user terminal based on the reagent information,
The reagent position is one of the relative positions of the storage reagents or the relative positions between the storage reagents with respect to the reagent storage box,
In the step of processing the augmented reality image to be displayed on the user terminal, when the captured image is transmitted to another user terminal, when one of the storage reagents is selected by a user input from the other user terminal, the selected storage reagent Augmented reality service method for guiding a reagent location, processing the augmented reality image corresponding to the reagent location to be displayed on the user terminal. 청구항 1에 있어서,
제1 사용자단말에서 촬영되는 보관시약영상을 제2 사용자단말로 중계하는 단계;
상기 제2 사용자단말에서의 사용자입력에 의한 상기 보관시약영상 내의 시약위치를 확인하는 단계; 및
상기 제1 사용자단말 또는 상기 제2 사용자단말에서 입력된 음성에 대한 인식에 의해 추출되는 시약명이 상기 시약위치에 대응되도록 표시되는 위치지시증강현실영상이 상기 제1 사용자단말에서 표시되도록 처리하는 단계를 포함하는, 시약 위치 안내를 위한 증강현실 서비스 방법.The method according to claim 1,
relaying the storage reagent image taken from the first user terminal to the second user terminal;
confirming the position of the reagent in the storage reagent image according to a user input from the second user terminal; and
A step of processing so that the location indication augmented reality image displayed so as to correspond to the location of the reagent extracted by the recognition of the voice input from the first user terminal or the second user terminal is displayed on the first user terminal Including, augmented reality service method for guiding the location of the reagent. 청구항 2에 있어서,
상기 시약위치와 상기 시약명에 대한 정보를 상기 시약정보로서 이용하도록 상기 시약정보DB에 저장하는 단계를 더 포함하는, 시약 위치 안내를 위한 증강현실 서비스 방법.3. The method according to claim 2,
The augmented reality service method for guiding the location of a reagent further comprising the step of storing the information on the location of the reagent and the name of the reagent in the reagent information DB to use the information as the reagent information. 청구항 3에 있어서,
상기 시약위치, 시약명과 함께 상기 시약위치에 상응하는 시약병이미지를 상기 시약정보DB에 더 저장하되,
상기 증강현실영상의 제공 시, 상기 시약위치에 상기 시약병이미지와 동일한 시약병이 존재하는 경우에만 상기 시약위치에 상기 시약정보가 표시되도록 하는, 시약 위치 안내를 위한 증강현실 서비스 방법.4. The method according to claim 3,
Further storing the reagent bottle image corresponding to the reagent position together with the reagent position and reagent name in the reagent information DB,
When the augmented reality image is provided, the reagent information is displayed on the reagent position only when the reagent bottle identical to the reagent bottle image exists at the reagent position. 청구항 3에 있어서,
상기 증강현실영상이 표시되는 상태에서 상기 사용자단말로의 사용자입력에 의한 화면위치에 상응하는 시약의 시약명에 상응하는 추가정보가 더 표시되도록 하는, 시약 위치 안내를 위한 증강현실 서비스 방법.4. The method according to claim 3,
Augmented reality service method for guiding the location of the reagent to further display additional information corresponding to the reagent name of the reagent corresponding to the screen position by the user input to the user terminal in the state in which the augmented reality image is displayed. 청구항 2에 있어서,
상기 음성에 대한 인식에 의해 추출되는 시약명이 미리 저장된 시약명리스트에 존재하지 않는 경우, 상기 시약명리스트에 존재하는 하나 이상의 유사 시약명을 표시하여 사용자선택에 의한 어느 하나로 보정하는 단계를 더 포함하는, 시약 위치 안내를 위한 증강현실 서비스 방법.3. The method according to claim 2,
If the name of the reagent extracted by the recognition of the voice does not exist in the reagent name list stored in advance, displaying one or more similar reagent names existing in the reagent name list and correcting it to any one selected by the user , Augmented reality service method for guiding the location of reagents. 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
사용자단말로부터 시약보관함에 놓여진 보관시약들을 촬영한 촬영영상을 수신하는 단계;
상기 사용자단말의 식별정보를 통해 상기 사용자단말이 속한 그룹을 식별하는 단계;
상기 촬영영상에 포함된 시약보관함의 형태 또는 놓여진 보관시약들의 이미지 비교를 통해 복수의 시약보관함 중 하나를 선택하고,
상기 식별된 그룹에서 상기 선택된 시약보관함 내에서의 보관시약들의 시약위치 및 시약명에 대한 정보를 포함하는 시약정보를 시약정보DB로부터 추출하는 단계; 및
상기 시약정보를 기반으로 상기 촬영영상의 각 시약위치에 각각의 시약명이 표시되는 증강현실영상이 상기 사용자단말에 표시되도록 처리하는 단계를 포함하되,
상기 시약위치는 상기 시약보관함을 기준으로 하는 상기 보관시약들의 상대적인 위치 또는 각 보관시약들간의 상대적인 위치 중 하나이며,
상기 증강현실영상이 상기 사용자단말에 표시되도록 처리하는 단계는 상기 촬영영상이 다른 사용자단말로 전송되는 경우, 상기 다른 사용자단말에서의 사용자입력에 의해 보관시약들 중 하나가 선택되면 상기 선택된 보관시약의 시약위치에 대응되는 증강현실영상이 상기 사용자단말에 표시되도록 처리하는, 기록매체.A recording medium tangibly embodied in a program of instructions executable by a digital processing device and readable by a digital processing device, the recording medium comprising:
Receiving a photographed image of the stored reagents placed in the reagent storage from the user terminal;
identifying a group to which the user terminal belongs through the identification information of the user terminal;
Select one of a plurality of reagent storage boxes through image comparison of the shape of the reagent storage box included in the photographed image or the placed storage reagents,
extracting reagent information including information on reagent locations and reagent names of stored reagents in the selected reagent storage box from the identified group from the reagent information DB; and
and processing so that an augmented reality image in which each reagent name is displayed at each reagent position of the photographed image is displayed on the user terminal based on the reagent information,
The reagent position is one of the relative positions of the storage reagents or the relative positions between the storage reagents with respect to the reagent storage box,
In the step of processing the augmented reality image to be displayed on the user terminal, when the captured image is transmitted to another user terminal, when one of the storage reagents is selected by a user input from the other user terminal, the selected storage reagent A recording medium for processing an augmented reality image corresponding to the reagent position to be displayed on the user terminal. 시약위치 안내를 위한 증강현실 서비스 제공을 위한 사용자단말로서,
관리 서버와 통신을 수행하는 통신부;
상기 관리 서버와 연동되어 동작하는 애플리케이션을 저장하는 메모리부;
외부 영상을 촬영하는 카메라부;
상기 애플리케이션을 실행하는 프로세서부; 및
상기 어플리케이션의 실행 화면을 출력하는 디스플레이부;를 포함하되,
상기 애플리케이션을 통해, 상기 프로세서부는
상기 카메라부에 의해 시약보관함에 놓여진 보관시약들을 촬영한 촬영영상을 보관시약을 촬영한 촬영영상을 상기 관리 서버로 전송하고, 상기 관리 서버가 상기 사용자단말의 식별정보를 통해 상기 사용자단말이 속한 그룹을 식별하고, 상기 촬영영상에 포함된 시약보관함의 형태 또는 놓여진 보관시약들의 이미지 비교를 통해 복수의 시약보관함 중 하나를 선택하고, 상기 식별된 그룹에서 상기 선택된 시약보관함 내에서의 상기 촬영영상에 대응되도록 미리 저장한 각 보관시약의 시약위치 및 시약명을 포함하는 시약정보를 취득하고, 상기 시약정보를 기반으로 보관시약영상 내에 각 시약위치에 대응된 시약명이 표시되는 증강현실영상을 상기 디스플레이부를 통해 출력하되,
상기 시약위치는 상기 시약보관함을 기준으로 하는 상기 보관시약들의 상대적인 위치 또는 각 보관시약들간의 상대적인 위치 중 하나이며,
상기 프로세서부는 상기 촬영영상이 다른 사용자단말로 전송되는 경우, 상기 다른 사용자단말에서의 사용자입력에 의해 보관시약들 중 하나가 선택되면 상기 선택된 보관시약의 시약위치에 대응되는 증강현실영상이 상기 디스플레이부에 표시되도록 처리하는 사용자단말.As a user terminal for providing augmented reality service for guiding reagent location,
a communication unit for communicating with the management server;
a memory unit for storing an application operating in conjunction with the management server;
a camera unit for capturing an external image;
a processor unit executing the application; and
Including; a display unit for outputting the execution screen of the application;
Through the application, the processor unit
The camera unit transmits a photographed image of the storage reagents placed in the reagent storage box and a photographed image of the storage reagent to the management server, and the management server includes the group to which the user terminal belongs through the identification information of the user terminal and selects one of a plurality of reagent storage boxes by comparing the shape of the reagent storage box included in the photographed image or images of placed storage reagents, and corresponding to the photographed image in the selected reagent storage box from the identified group Acquire reagent information including the reagent position and reagent name of each stored reagent stored in advance as much as possible, and display an augmented reality image in which the reagent name corresponding to each reagent position is displayed in the storage reagent image based on the reagent information through the display unit. output, but
The reagent position is one of the relative positions of the storage reagents or the relative positions between the storage reagents with respect to the reagent storage box,
When one of the storage reagents is selected by a user input from the other user terminal when the captured image is transmitted to another user terminal, the processor unit displays an augmented reality image corresponding to the reagent position of the selected storage reagent on the display unit User terminal processing to be displayed on . 청구항 8에 있어서,
상기 관리 서버는 제1 사용자단말에서 촬영되는 보관시약영상을 제2 사용자단말로 중계하고, 상기 제2 사용자단말에서의 사용자입력에 의한 상기 보관시약영상 내의 시약위치를 확인하고, 상기 제1 사용자단말 또는 상기 제2 사용자단말에서 입력된 음성에 대한 인식에 의해 추출되는 시약명을 상기 시약위치에 대응되도록 하여 상기 시약정보로서 저장하는, 사용자단말.9. The method of claim 8,
The management server relays the storage reagent image taken from the first user terminal to the second user terminal, confirms the location of the reagent in the storage reagent image by the user input from the second user terminal, and the first user terminal or a reagent name extracted by recognizing a voice input from the second user terminal so as to correspond to the reagent location and storing the reagent information as the reagent information. 청구항 9에 있어서,
상기 관리 서버는 상기 각 시약의 위치와 상기 시약명을 포함하는 시약정보를 시약정보DB로부터 추출하는, 사용자단말.
10. The method of claim 9,
and the management server extracts reagent information including the location of each reagent and the name of the reagent from the reagent information DB.
KR1020200084407A 2020-07-09 2020-07-09 Augmented reality service method and device for reagent location guidance KR102265259B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200084407A KR102265259B1 (en) 2020-07-09 2020-07-09 Augmented reality service method and device for reagent location guidance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200084407A KR102265259B1 (en) 2020-07-09 2020-07-09 Augmented reality service method and device for reagent location guidance

Publications (1)

Publication Number Publication Date
KR102265259B1 true KR102265259B1 (en) 2021-06-15

Family

ID=76411773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200084407A KR102265259B1 (en) 2020-07-09 2020-07-09 Augmented reality service method and device for reagent location guidance

Country Status (1)

Country Link
KR (1) KR102265259B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116638A (en) * 2013-03-25 2014-10-06 (주)유브릿지 System and Method for Recognizing Speech in User Terminal
KR20150138645A (en) * 2014-06-02 2015-12-10 조선대학교산학협력단 Medical image and information real time interaction transfer and remote assist system
KR101731169B1 (en) 2015-07-03 2017-04-28 강원대학교산학협력단 Apparatus and Method for Material Management
CN108470069A (en) * 2018-03-29 2018-08-31 天津城建大学 Scientific Research in University Laboratory reagent information querying method based on augmented reality and system
KR20190129462A (en) * 2018-05-11 2019-11-20 주식회사 신켐 Terminal device for performing operation of managing and sharing reagent, Method for controlling the terminal device and Recording medium readable by the digital processing apparatus for performing operation of managing reagent

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116638A (en) * 2013-03-25 2014-10-06 (주)유브릿지 System and Method for Recognizing Speech in User Terminal
KR20150138645A (en) * 2014-06-02 2015-12-10 조선대학교산학협력단 Medical image and information real time interaction transfer and remote assist system
KR101731169B1 (en) 2015-07-03 2017-04-28 강원대학교산학협력단 Apparatus and Method for Material Management
CN108470069A (en) * 2018-03-29 2018-08-31 天津城建大学 Scientific Research in University Laboratory reagent information querying method based on augmented reality and system
KR20190129462A (en) * 2018-05-11 2019-11-20 주식회사 신켐 Terminal device for performing operation of managing and sharing reagent, Method for controlling the terminal device and Recording medium readable by the digital processing apparatus for performing operation of managing reagent

Similar Documents

Publication Publication Date Title
US10337962B2 (en) Visible audiovisual annotation of infrared images using a separate wireless mobile device
JP5642889B2 (en) Method, terminal, and computer-readable recording medium for supporting collection of objects contained in input image
CN110914872A (en) Navigating video scenes with cognitive insights
US11880410B2 (en) Systems and methods for proactive information discovery with multiple senses
US20140214622A1 (en) Product information providing system, product information providing device, and product information outputting device
US20190333633A1 (en) Medical device information providing system, medical device information providing method, and program
KR101534808B1 (en) Method and System for managing Electronic Album using the Facial Recognition
US8457412B2 (en) Method, terminal, and computer-readable recording medium for supporting collection of object included in the image
CA3034823C (en) Image segmentation in a sensor-based environment
CN110431524A (en) Information processing system, information processing unit, message handling program and information processing method
US10109096B2 (en) Facilitating dynamic across-network location determination using augmented reality display devices
JP2018041231A (en) Customer service support program, customer service support method, customer service support system and information processor
EP2897093A1 (en) Personal information management system
KR102265259B1 (en) Augmented reality service method and device for reagent location guidance
KR101315951B1 (en) Image management apparatus using maker recognition and image tracing
KR20130109777A (en) Apparatus and method for managing attendance based on face recognition
CN113255377A (en) Translation method, translation device, electronic equipment and storage medium
US10109095B2 (en) Facilitating dynamic across-network location determination using augmented reality display devices
JP2020129344A (en) Processing device, processing method, and program
CN112954245B (en) Labeling and checking method and system for recorded audio and video
US20120267429A1 (en) Systems and methods for using machine-readable visual markers to provide environmental context for communications
CN109460511B (en) Method and device for acquiring user portrait, electronic equipment and storage medium
EP3637339A1 (en) Method for in-procedure initialization of new instructural flow procedure on head-mounted display device
KR20220064140A (en) Method and device for providing perfomance contents based on augmented reality
KR20220008542A (en) System for learning language and method using the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant