KR20220075518A - A method and device for obtaining image related to medical - Google Patents

A method and device for obtaining image related to medical Download PDF

Info

Publication number
KR20220075518A
KR20220075518A KR1020200163670A KR20200163670A KR20220075518A KR 20220075518 A KR20220075518 A KR 20220075518A KR 1020200163670 A KR1020200163670 A KR 1020200163670A KR 20200163670 A KR20200163670 A KR 20200163670A KR 20220075518 A KR20220075518 A KR 20220075518A
Authority
KR
South Korea
Prior art keywords
image
document type
keyword
temporary
input
Prior art date
Application number
KR1020200163670A
Other languages
Korean (ko)
Other versions
KR102618275B1 (en
Inventor
박회준
Original Assignee
박회준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박회준 filed Critical 박회준
Priority to KR1020200163670A priority Critical patent/KR102618275B1/en
Publication of KR20220075518A publication Critical patent/KR20220075518A/en
Application granted granted Critical
Publication of KR102618275B1 publication Critical patent/KR102618275B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/235—Update request formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades

Abstract

일 실시 예에 따른 의약 관련 이미지 획득 방법은, 카메라를 통해 임시 이미지를 획득하는 단계; 상기 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정하는 단계; 상기 문서 종류를 나타내는 키워드 또는 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계; 및 사용자 입력에 따라 획득되는 촬영 요청에 기초하여 상기 문서 종류에 매칭된 객체 이미지를 획득하는 단계;를 포함할 수 있다.A method for acquiring a drug-related image according to an embodiment includes: acquiring a temporary image through a camera; determining a document type corresponding to the temporary image from among a plurality of document types including a receipt, a medicine envelope, and a prescription based on a result of analyzing the temporary image; displaying a keyword or a corresponding image indicating the document type together with the temporary image; and obtaining an object image matched to the document type based on a photographing request obtained according to a user input.

Description

의약 관련 이미지 획득 방법 및 디바이스{A METHOD AND DEVICE FOR OBTAINING IMAGE RELATED TO MEDICAL}A METHOD AND DEVICE FOR OBTAINING IMAGE RELATED TO MEDICAL

본 발명은 의학관련 이미지 획득 방법 및 디바이스 에 관한 것이다. 보다 상세하게는 디바이스가 복수개의 의약 관련 이미지들을 스캔할때, 영수증, 처방전, 약봉투 중 무엇에 대한 스캔인지를 사전에 판단하여 가장 확률이 높은 문서 종류를 사용자에게 추천하는 방법 및 디바이스에 관한 것이다.The present invention relates to a medical image acquisition method and device. More specifically, when the device scans a plurality of medicine-related images, it relates to a method and a device for recommending a document type with the highest probability to a user by determining in advance whether the scan is for a receipt, a prescription, or a medicine bag .

환자가 의료기관에 와서 의약을 처방 받을 때까지 여러가지 문서를 발급받게 되는데, 대표적으로 영수증, 약봉투 및 처방전이 있다. 이러한 문서에는 각 개인이 처방받은 의약 정보부터 투약 횟수 및 투약 일수 등 여러가지 데이터가 포함되게 되는데, 이러한 데이터를 수집/활용하여 복약 일정을 관리하는 등 의료 서비스의 수준을 향상시키고자 하는 노력이 지속되고 있다. 이러한 데이터를 효율적으로 활용하기 위해서는 각각의 영수증, 약봉투, 처방전 등에서 인식되는 데이터의 정확도를 높일 필요가 있는데, 서로다른 의료기관에서 발행한 영수증, 약봉투, 처방전의 양식이 서로 상이하여 한계가 있었다.Until a patient arrives at a medical institution and receives a prescription for medicine, various documents are issued. Typical examples include receipts, medicine envelopes, and prescriptions. These documents include various data such as the prescribed medication information for each individual, the number of medications and the number of days of medication. have. In order to efficiently utilize these data, it is necessary to increase the accuracy of the data recognized by each receipt, medicine bag, prescription, etc., but there is a limit because the forms of receipts, medicine envelopes, and prescriptions issued by different medical institutions are different from each other.

한편, 이러한 문제를 해결하기 위한 노력의 일환으로, 현재 의료기관간 상이한 형식의 처방, 영수증, 약봉투 데이터를 통합하기 위해 처방 데이터에 대한 청구코드인 의약품 제품 코드(EDI)을 이용하여 소정의 데이터 통합 과정을 수행하는 기법을 활용하고 있다. 그러나, 이러한 기법을 사용하더라도 처방 데이터가 상기 의약품 제품 코드로 변경되는 과정에서, 이미지 인식도의 부정확성으로 인해 상호 연관성이 낮은 영수증, 약봉투 및 처방전이 하나의 처방으로 통합되거나 하나로 통합되어야 할 처방이 서로 다른 데이터로 분류되는 등 데이터 통합에 대한 신뢰도가 다소 떨어지는 문제가 계속 발생하고 있다. On the other hand, as part of an effort to solve this problem, predetermined data is integrated using the drug product code (EDI), which is a claim code for prescription data, in order to integrate different types of prescription, receipt, and medicine envelope data between medical institutions. A method is used to carry out the process. However, even with this technique, in the process of changing the prescription data to the drug product code, receipts, medicine envelopes, and prescriptions with low correlation due to inaccuracy in image recognition are combined into one prescription, or prescriptions that should be integrated into one are different from each other. The problem of lower reliability of data integration, such as being classified as other data, continues to occur.

따라서, 각 의료기관에서 서로 다르게 구성된 의약 관련 문서들을 보다 정확하게 인식하기 위해서는 여전히 사용자의 반복 촬영 또는 수정등의 수작업이 필요하게 되므로, 사용자들이 이를 직접 촬영하여 사용 하는 빈도가 많이 낮다. 따라서, 이러한 기법을 발전시키기 위한 연구가 많이 필요하다.Therefore, in order to more accurately recognize different medical documents in each medical institution, the user's manual work such as repeated photographing or correction is still required. Therefore, much research is needed to develop these techniques.

등록특허공보 제10-1762582호, 2017.07.24Registered Patent Publication No. 10-1762582, 2017.07.24

본 발명이 해결하고자 하는 과제는 각 의약 관련 문서 종류마다 서로 다르게 구성된 데이터를 보다 정확하게 인식하기 위해 임시 이미지에 대한 분석 결과에 기초하여 문서 종류를 추천하고, 선택된 문서종류에 대한 템플릿에 기초하여 객체 이미지를 획득하는 방법을 제공하는 것이다.The problem to be solved by the present invention is to recommend a document type based on an analysis result of a temporary image in order to more accurately recognize data configured differently for each type of medical document, and to recommend an object image based on a template for the selected document type to provide a way to obtain

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 획득 방법은, 카메라를 통해 임시 이미지를 획득하는 단계; 상기 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정하는 단계; 상기 문서 종류를 나타내는 키워드 또는 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계; 및 사용자 입력에 따라 획득되는 촬영 요청에 기초하여 상기 문서 종류에 매칭된 객체 이미지를 획득하는 단계;를 포함할 수 있다.An image acquisition method according to an embodiment of the present invention for solving the above-described problems includes: acquiring a temporary image through a camera; determining a document type corresponding to the temporary image from among a plurality of document types including a receipt, a medicine envelope, and a prescription based on a result of analyzing the temporary image; displaying a keyword or a corresponding image indicating the document type together with the temporary image; and obtaining an object image matched to the document type based on a photographing request obtained according to a user input.

또한, 상기 사용자 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 터치 입력을 포함 할 수 있다.Also, the user input may include a touch input for a region in which the keyword or the corresponding image is displayed.

또한, 상기 객체 이미지를 획득하는 단계는 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 갱신 입력을 수신하는 단계; 상기 갱신 입력에 기초하여 상기 문서 종류를 갱신하는 단계; 및 상기 촬영 요청에 기초하여 갱신된 문서 종류에 매칭된 상기 객체 이미지를 획득하는 단계;를 포함할 수 있다.The acquiring of the object image may include: receiving an update input for a region in which the keyword or the corresponding image is displayed; updating the document type based on the update input; and obtaining the object image matching the updated document type based on the photographing request.

또한, 상기 갱신 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 인가되는 스와이핑 입력을 포함할 수 있다.Also, the update input may include a swiping input applied to an area in which the keyword or the corresponding image is displayed.

또한, 상기 임시 이미지에 대응되는 문서 종류를 결정하는 단계는 상기 영수증, 상기 약봉투 및 상기 처방전이 상기 임시 이미지에 대응될 확률을 결정하는 단계; 및 상기 확률이 큰 순서에 따라 제 1 문서 종류, 제 2 문서 종류 및 제 3 문서 종류를 결정하는 단계;를 포함하고, 상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계는 상기 제 1 문서 종류를 나타내는 상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이 할 수 있다.In addition, the determining of the document type corresponding to the temporary image may include: determining a probability that the receipt, the medicine envelope, and the prescription correspond to the temporary image; and determining a first document type, a second document type, and a third document type according to the order of increasing probability, wherein the step of displaying the keyword or the corresponding image together with the temporary image comprises the first The keyword or the corresponding image indicating the document type may be displayed together with the temporary image.

또한, 상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계는 상기 스와이핑 입력을 수신함에 따라, 상기 제 2 문서 종류를 나타내는 상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이할 수 있다.In addition, in the step of displaying the keyword or the corresponding image together with the temporary image, the keyword or the corresponding image indicating the second document type may be displayed together with the temporary image in response to receiving the swiping input. .

상술한 과제를 해결하기 위한 본 발명의 또 다른 실시 예에 따른 의약 관련 이미지 획득 디바이스는, 임시 이미지를 획득하는 카메라; 상기 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정하는 프로세서; 및 상기 문서 종류를 나타내는 키워드 또는 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 디스플레이;를 포함하고, 상기 프로세서는 사용자 입력에 따라 획득되는 촬영 요청에 기초하여 상기 문서 종류에 매칭된 객체 이미지를 획득할 수 있다.Medicine-related image acquisition device according to another embodiment of the present invention for solving the above problems, a camera for acquiring a temporary image; a processor for determining a document type corresponding to the temporary image from among a plurality of document types including a receipt, a medicine envelope, and a prescription based on a result of analyzing the temporary image; and a display that displays a keyword or a corresponding image indicating the document type together with the temporary image, wherein the processor may obtain an object image matched to the document type based on a photographing request obtained according to a user input. have.

또한, 상기 사용자 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 터치 입력을 포함할 수 있다.Also, the user input may include a touch input for a region in which the keyword or the corresponding image is displayed.

또한, 상기 프로세서는 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 갱신 입력을 수신하고, 상기 갱신 입력에 기초하여 상기 문서 종류를 갱신하며, 상기 촬영 요청에 기초하여 갱신된 문서 종류에 매칭된 상기 객체 이미지를 획득하도록 제어하는 동작을 수행할 수 있다.In addition, the processor receives an update input for an area in which the keyword or the corresponding image is displayed, updates the document type based on the update input, and matches the updated document type based on the photographing request. An operation to control to obtain an object image may be performed.

또한, 상기 갱신 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 인가되는 스와이핑 입력을 포함할 수 있다.Also, the update input may include a swiping input applied to an area in which the keyword or the corresponding image is displayed.

또한, 상술한 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 이미지 획득 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 또는 기록매체에 저장된 프로그램을 포함할 수 있다.In addition, it may include a computer-readable recording medium or a program stored in the recording medium in which a program for executing the image acquisition method according to another embodiment of the present invention in a computer for solving the above-mentioned problem is recorded.

이 외에도 본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.In addition to this, other specific details of the present invention are included in the detailed description and drawings.

본 발명의 일 실시 예에 따른 이미지 획득 방법은, 딥러닝 기반으로 서로 다른 의약 관련 이미지(영수증, 약봉투 및 처방전 등)를 보다 정확하게 인식하고 관리하기 위해, 카메라를 통해 획득된 임시 이미지를 분석하여 대응되는 문서 종류를 분석하고, 가장 확률이 높은 순으로 스캔의 대상이 되는 문서 종류를 사용자에게 미리 제공 한 뒤, 사용자의 선택에 기초하여 객체 이미지를 획득 함으로써 문서내 객체 인식의 정확도를 높일 수 있다.An image acquisition method according to an embodiment of the present invention analyzes a temporary image acquired through a camera in order to more accurately recognize and manage different medicine-related images (receipts, medicine bags, prescriptions, etc.) based on deep learning. The accuracy of object recognition in documents can be increased by analyzing the corresponding document types, providing the document types to be scanned in the order of highest probability to the user in advance, and then acquiring object images based on the user's selection. .

또한, 일 실시 예에 따른 이미지 획득 방법은, 의약 관련 이미지의 문서 종류가 잘못 인식된 경우, 사용자가 스와이핑 또는 홀딩과 같은 간단한 조작으로 스캔 대상인 문서 종류를 갱신하도록 하는 직관적인 UI/UX를 제공하여, 사용자 조작의 편의성을 높일 수도 있다.In addition, the image acquisition method according to an embodiment provides an intuitive UI/UX that allows the user to update the document type to be scanned by a simple operation such as swiping or holding when the document type of the medicine-related image is incorrectly recognized Accordingly, it is possible to increase the convenience of user operation.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 일 실시 예에 따른 의약 관련 이미지 획득 방법의 일 예를 설명하기 위한 도이다.
도 2는 일 실시 예에 따른 의약 관련 이미지 획득 방법을 설명하기 위한 순서도이다.
도 3은 일 실시 예에 따른 문서 종류를 나타내는 키워드 또는 대응 이미지를 디스플레이 하는 일 예를 설명하기 위한 도이다.
도 4는 일 실시 예에 따른 문서 종류를 갱신하는 입력을 설명하기 위한 도이다.
도 5는 일 실시 예에 따른 문서 종류를 갱신하는 방법을 설명하기 위한 순서도이다.
도 6은 일 실시 예에 따른 의약 관련 이미지 획득 디바이스의 내부 구성을 개략적으로 나타낸 블록 도이다.1 is a diagram for explaining an example of a method for obtaining a medicine-related image according to an embodiment.
2 is a flowchart illustrating a method for obtaining a medicine-related image according to an exemplary embodiment.
3 is a diagram for explaining an example of displaying a keyword or a corresponding image indicating a document type according to an embodiment.
4 is a diagram for explaining an input for updating a document type according to an exemplary embodiment.
5 is a flowchart illustrating a method of updating a document type according to an exemplary embodiment.
6 is a block diagram schematically illustrating an internal configuration of a drug-related image acquisition device according to an embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전 하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only those of ordinary skill in the art to complete the disclosure of the present invention, and to which the present invention pertains. It is provided to fully understand the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms including different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일 실시 예에 따른 의약 관련 이미지 획득 방법의 일 예를 설명하기 위한 도이다.1 is a diagram for explaining an example of a method for obtaining a medicine-related image according to an embodiment.

도 1을 참조하면, 일 실시 예에 따른 의약 관련 이미지 획득 디바이스(100)는 의약 관련 임시 이미지(101)를 획득하면, 임시 이미지에 대한 분석 결과에 기초하여, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정한다. 여기서 임시 이미지는 디바이스(100)에서 영상을 촬영하기 전에 표시되는 프리뷰 영상을 의미할 수 있다. Referring to FIG. 1 , when the medicine-related image acquisition device 100 according to an embodiment acquires the medicine-related temporary image 101, based on the analysis result of the temporary image, a plurality of Among document types, a document type corresponding to the temporary image is determined. Here, the temporary image may mean a preview image displayed before the device 100 captures the image.

다음으로 디바이스(100)는 결정된 문서의 종류를 나타내는 키워드 또는 대응 이미지(102)를 상기 임시 이미지와 함께 디스플레이(140)에 디스플레이 할 수 있다. 여기서, 문서의 종류를 나타내는 키워드 또는 대응되는 이미지(102)는 도 1에 도시된 것과 같이 어떤 종류의 템플릿을 이용하여 문서를 스캔할 것인지를 나타내도록 한번에 표시될 수도 있고, 또는 우선순위에 따라서 순차적으로 표시될 수도 있다. 예를 들면, 디바이스(100)는 영수증, 약봉투, 처방전에 관한 기존 학습된 결과와 임시 이미지를 비교하여, 각각이 임시 이미지에 대응될 확률을 결정하고, 그 확률이 높은 순서에 따라 제1 문서 종류, 제2 문서종류, 제3 문서 종류를 결정할 수 있다. 그리고, 디바이스(100)는 제1 문서 종류를 나타내는 키워드 또는 대응 이미지만을 디스플레이(140)의 프리뷰 이미지와 함께 표시할 수 있다. Next, the device 100 may display a keyword or a corresponding image 102 indicating the determined document type on the display 140 together with the temporary image. Here, the keywords indicating the type of document or the corresponding image 102 may be displayed at once to indicate which type of template to scan the document using as shown in FIG. 1 , or sequentially according to priority. may be displayed as For example, the device 100 compares the temporary image with the previously learned results regarding the receipt, the medicine bag, and the prescription, and determines the probability that each corresponds to the temporary image, and the first document according to the order of the highest probability. The type, the second document type, and the third document type may be determined. In addition, the device 100 may display only a keyword or a corresponding image indicating the first document type together with the preview image of the display 140 .

또한, 사용자가 판단하기에 디스플레이(140)에 표시된 제1 문서 종류를 나타내는 키워드 또는 대응 이미지가 적절하지 않다고 판단되는 경우 터치 입력(스와이프 입력 또는 홀딩 입력)을 통해 제2 문서종류 또는 제3 문서 종류를 나타내는 키워드 또는 대응 이미지로 직관적으로 변경 할 수도 있다.In addition, when it is determined by the user that the keyword or the corresponding image indicating the first document type displayed on the display 140 is not appropriate, the second document type or the third document type through a touch input (swipe input or holding input) It can also be intuitively changed to keywords indicating types or corresponding images.

따라서, 본 발명의 일 실시 예에 따른 이미지 획득 방법은, 딥러닝 기반으로 서로 다른 의약 관련 이미지(영수증, 약봉투 및 처방전 등)를 보다 정확하게 인식하고 관리하기 위해, 카메라를 통해 획득된 임시 이미지와 대응되는 문서 종류를 분석하고, 가장 확률이 높은 순으로 스캔의 대상이 되는 문서 종류를 사용자에게 미리 제공 한 뒤, 사용자의 선택에 기초하여 객체 이미지를 획득 함으로써 문서내 객체 인식의 정확도를 높일 수 있다.Therefore, in the image acquisition method according to an embodiment of the present invention, in order to more accurately recognize and manage different medicine-related images (receipts, medicine bags, prescriptions, etc.) based on deep learning, a temporary image acquired through a camera The accuracy of object recognition in documents can be increased by analyzing the corresponding document types, providing the document types to be scanned in the order of highest probability to the user in advance, and then acquiring object images based on the user's selection. .

또한, 일 실시 예에 따른 이미지 획득 방법은, 의약 관련 이미지의 문서 종류가 잘못 인식된 경우, 사용자가 스와이핑 또는 홀딩과 같은 간단한 조작으로 스캔 대상인 문서 종류를 갱신하도록 하는 직관적인 UI/UX를 제공하여, 사용자 조작의 편의성을 높일 수도 있다.In addition, the image acquisition method according to an embodiment provides an intuitive UI/UX that allows the user to update the document type to be scanned by a simple operation such as swiping or holding when the document type of the medicine-related image is incorrectly recognized Accordingly, it is possible to increase the convenience of user operation.

이하, 일 실시 예에 따른 의약 관련 이미지 획득 방법을 도 2 내지 도 6을 참조하여 상세히 설명한다.Hereinafter, a method for obtaining a drug-related image according to an embodiment will be described in detail with reference to FIGS. 2 to 6 .

도 2는 일 실시 예에 따른 의약 관련 이미지 획득 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a method for obtaining a medicine-related image according to an exemplary embodiment.

도 2를 참조하면, 일 실시 예에 따른 의약 관련 이미지 확득방법은 단계 S200에서, 카메라를 통해 임시 이미지를 획득한다.Referring to FIG. 2 , in the method for obtaining a medicine-related image according to an embodiment, in step S200, a temporary image is obtained through a camera.

다음으로 단계 S210에서, 일 실시 예에 따른 의약 관련 이미지 획득 방법은, 상기 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정한다.Next, in step S210, the method for obtaining a medicine-related image according to an embodiment includes a document corresponding to the temporary image among a plurality of types of documents including a receipt, a medicine envelope, and a prescription, based on the analysis result of the temporary image determine the type

다음으로 단계 S220에서, 일 실시 예에 따른 의약 관련 이미지 획득 방법은, 상기 문서 종류를 나타내는 키워드 또는 대응 이미지를 상기 임시 이미지와 함께 디스플레이한다. 예를 들면, 도 3은 일 실시 예에 따른 문서 종류를 나타내는 키워드 또는 대응 이미지를 디스플레이 하는 일 예를 설명하기 위한 도이다. 도 3을 참조하면, 문서종류(예를 들면, 영수증, 약봉투 및 처방전 중 하나)를 나타내는 키워드를 선택할 수 있는 이미지가 한번에 도시될 수 있다.Next, in step S220, the method for obtaining a drug-related image according to an embodiment displays a keyword or a corresponding image indicating the type of the document together with the temporary image. For example, FIG. 3 is a diagram for explaining an example of displaying a keyword or a corresponding image indicating a document type according to an exemplary embodiment. Referring to FIG. 3 , an image for selecting a keyword indicating a document type (eg, one of a receipt, a medicine envelope, and a prescription) may be displayed at once.

또는 다른 실시 예에 따라 문서 종류를 나타내는 키워드 또는 대응 이미지가 우선순위에 따라서 순차적으로 디스플레이(140)에 표시될 수도 있다. 예를 들면, 디바이스(100)는 영수증, 약봉투, 처방전에 관한 기존 학습된 결과와 임시 이미지를 비교하여, 각각이 임시 이미지에 대응될 확률을 결정하고, 그 확률이 높은 순서에따라 제1 문서 종류, 제2 문서종류, 제3 문서 종류를 결정할 수 있다. 그리고 디바이스(100)는 제1 문서 종류를 나타내는 키워드 또는 대응 이미지만을 우선 디스플레이(140)의 임시(프리뷰) 이미지와 함께 표시할 수 있다. Alternatively, according to another embodiment, keywords or corresponding images indicating a document type may be sequentially displayed on the display 140 according to priority. For example, the device 100 compares the temporary image with the existing learned results regarding the receipt, the medicine bag, and the prescription, and determines the probability that each corresponds to the temporary image, and the first document according to the order of the highest probability. The type, the second document type, and the third document type may be determined. In addition, the device 100 may first display only the keyword or the corresponding image indicating the first document type together with the temporary (preview) image of the display 140 .

일 실시 예에 따른 의약 관련 이미지 획득 방법(또는 디바이스)은 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전 중 임시 이미지가 무엇에 해당하는지를 나타내는 확률을 결정하고 확률이 높은 순서에 따라 우선순위를 결정할 수 있다. A medicine-related image acquisition method (or device) according to an embodiment determines a probability indicating what the temporary image corresponds to among a receipt, a medicine bag, and a prescription based on an analysis result of the temporary image, and according to the order of the highest probability You can set priorities.

예를 들면, 임시 이미지에서 가장 큰 크기의 텍스트에 대한 문자 인식 결과 획득되는 키워드에 약국, 처방, 병원 중 어떤 키워드가 포함되어 있는지 나타내는 제 1 분석 결과, 임시 이미지에서 영수증, 약봉투 및 처방전 각각에 대응하는 키워드가 포함된 횟수를 나타내는 제 2 분석 결과 및 임시 이미지에 포함된 칸의 수를 나타내는 제 3 분석 결과에 기초하여 중 임시 이미지에 대응되는 우선 순위를 영수증, 약봉투 및 처방전에 대해서 결정할 수 있다. 이 경우 제 1 분석 결과, 제 2 분석 결과 및 제 3 분석 결과의 순서로 가중치가 부여될 수 있다.For example, in the first analysis result indicating which keywords among pharmacy, prescription, and hospital are included in the keywords obtained as a result of character recognition for the largest size text in the temporary image, in the temporary image, each of receipt, medicine bag, and prescription Based on the second analysis result indicating the number of times the corresponding keyword is included and the third analysis result indicating the number of cells included in the temporary image, the priority corresponding to the middle temporary image can be determined for receipt, medicine bag, and prescription have. In this case, weights may be assigned in the order of the first analysis result, the second analysis result, and the third analysis result.

제 1 분석 결과와 관련하여, 의약 관련 이미지 획득 방법(또는 디바이스)은 약국이라는 키워드가 포함된 경우에는 약봉투, 처방이라는 키워드가 포함된 경우에는 처방전, 병원이라는 키워드가 포함된 경우에는 영수증에 임시 이미지가 대응될 확률이 높다고 결정할 수 있다.Regarding the first analysis result, the method (or device) for obtaining a drug-related image includes a medicine bag when the keyword “pharmacy” is included, a prescription when the keyword “prescription” is included, and a temporary receipt when the keyword “hospital” is included. It can be determined that the image has a high probability of being matched.

제 2 분석 결과와 관련하여, 영수증에 대응되는 키워드는 진료과목, 영수증, 기본항목, 급여, 비급여, 정액수가, 마취료, 주사료 등을 포함할 수 있고, 약봉투에 대응되는 키워드는 내복약, 용법, 일분, 복용법, 복용방법, 복약안내 등을 포함할 수 있고, 처방전에 대응되는 키워드는 처방, 유효기간, 교부일자, 교부번호, 질변분류기호, 약국보관용, 의약품조제내역 등을 포함할 수 있다.Regarding the second analysis result, keywords corresponding to receipts may include medical subjects, receipts, basic items, salaries, non-payments, fixed fees, anesthesia, injections, etc. , 1 minute, dosage, method of administration, medication guide, etc., and keywords corresponding to the prescription may include prescription, expiration date, issuance date, issuance number, quality control code, pharmacy storage, drug dispensing details, etc. have.

제 3 분석 결과와 관련하여 의약 관련 이미지 획득 방법(또는 디바이스)은 칸(행렬, 표 등으로 표기되는 사각형)의 수가 제 1 값 이상이면 영수증, 제 1 값 미만 제 2 값 이상이면 처방전, 제 2 값 미만이면 약봉투에 임시 이미지가 대응될 확률이 높다고 결정할 수 있다. (제 1 값은 제 2 값보다 크다.)Regarding the third analysis result, the medicine-related image acquisition method (or device) is a receipt if the number of columns (rectangles indicated by a matrix, a table, etc.) is greater than or equal to the first value, a prescription if less than the first value and greater than or equal to the second value, the second If it is less than the value, it may be determined that the probability that the temporary image will correspond to the medicine bag is high. (The first value is greater than the second value.)

통상적으로 가장 폰트 크기가 크게 표기되는 텍스트가 임시 이미지의 종류를 나타낼 확률이 크기 때문에 제 1 분석 결과에 부여되는 가중치가 가장 높고, 칸의 수는 통상적으로 영수증에서 많고 약봉투에서 적기는 하지만 이는 형식적인 사항이기 때문에 가중치가 가장 낮을 수 있다.Usually, the text with the largest font size has a high probability of indicating the type of temporary image, so the weight given to the first analysis result is the highest, and the number of columns is usually large in receipts and small in medicine envelopes, but this is It may have the lowest weight because it is a typical matter.

다시, 도 2를 참조하면, 단계 S230에서, 일 실시 예에 따른 의약 관련 이미지 획득 방법은, 사용자 입력에 따라 획득되는 촬영 요청에 기초하여 상기 문서 종류에 매칭된 객체 이미지를 획득한다. 예를 들어, 사용자가 선택한 문서 종류가 영수증 인 경우, 일반적으로 영수증이 가지고 있는 템플릿(병원 이름의 위치, 의약품 명칭의 위치 등)을 고려하여 필요한 객체 정보를 보다 정확하게 획득 할 수 있다. 나아가, 영수증에서만 획득될 수 있는 의료비용 항목 등을 추가로 스캔하여 데이터베이스에 저장 하도록 할 수 있다. 또한, 도 4에 도시 되듯이 사용자가 판단하기에 디스플레이(140)에 표시된 제1 문서종류(401)를 나타내는 키워드 또는 대응 이미지가 적절하지 않다고 판단되는 경우 사용자 입력을 통해 제2 문서종류(402)를 나타내는 키워드 또는 대응 이미지로 직관적으로 갱신 할 수도 있다. 여기서, 사용자 입력은 키워드 또는 대응이미지가 디스플레이 되는 영역에 대한 터치 입력을 포함할 수 있다.Referring again to FIG. 2 , in step S230 , in the method for obtaining a medicine-related image according to an embodiment, an object image matching the document type is obtained based on a photographing request obtained according to a user input. For example, when the type of document selected by the user is a receipt, the required object information can be obtained more accurately by considering the template (the location of the hospital name, the location of the drug name, etc.) that the receipt generally has. Furthermore, it is possible to additionally scan medical expenses items that can only be obtained from receipts and store them in the database. In addition, as shown in FIG. 4 , when it is determined by the user that a keyword or a corresponding image indicating the first document type 401 displayed on the display 140 is not appropriate, the second document type 402 through the user input. It can also be intuitively updated with keywords or corresponding images that indicate Here, the user input may include a touch input for a region in which a keyword or a corresponding image is displayed.

도 5를 참조하여 보다 상세하게, 일 실시 예에 따른 문서 종류를 갱신하는 방법을 설명한다.A method of updating a document type according to an embodiment will be described in more detail with reference to FIG. 5 .

도 5를 참조하면, 단계 S500에서 디바이스는 키워드 또는 대응 이미지가 디스플레이되는 영역에 대한 갱신 입력을 수신한다. 여기서 갱신 입력은 키워드 또는 대응 이미지가 디스플레이 되는 영역에 인가되는 스와이핑 입력을 포함할 수 있다. 또한, 다른 예로 갱신 입력은 키워드 또는 대응이미지가 디스플레이 되는 영역에 인가되는 홀딩 입력을 포함할 수 있다. 여기서 홀딩 입력은 기설정 시간 이상 동일한 지점을 터치하고 있는 입력을 의미할 수 있다.Referring to FIG. 5 , in step S500, the device receives an update input for a region in which a keyword or a corresponding image is displayed. Here, the update input may include a swiping input applied to a region where a keyword or a corresponding image is displayed. Also, as another example, the update input may include a holding input applied to a region where a keyword or a corresponding image is displayed. Here, the holding input may mean an input that touches the same point for more than a preset time.

단계 다음으로 단계 S510에서, 갱신 입력에 기초하여 디스플레이 되는 문서 종류를 갱신한다. 예를 들면, 디바이스는 스위이핑 입력이 수신되면, 가장 확률이 높다고 판단되었던 문서 종류를 나타내는 키워드 또는 대응 이미지를 차순위의 문서 종류를 나타내는 키워드 또는 대응 이미지로 갱신 할 수 있다. 다른 예로, 디바이스는 가장 확률이 높다고 판단되었던 문서 종류를 나타내는 키워드 또는 대응이미지만을 디스플레이하고 있다가 홀딩 입력이 수신되면, 영수증, 약봉투 및 처방전을 나타내는 키워드 또는 대응 이미지의 목록을 상기 객체 이미지와 함께 디스플레이 할 수 있다.Next, in step S510, the displayed document type is updated based on the update input. For example, when a swiping input is received, the device may update a keyword or a corresponding image indicating a document type determined to have the highest probability to a keyword or a corresponding image indicating a next-order document type. As another example, the device displays only a keyword or a corresponding image indicating the type of document judged to have the highest probability, and when a holding input is received, a list of keywords or corresponding images indicating a receipt, medicine envelope, and prescription together with the object image can be displayed.

마지막으로, 단계 S520에서, 촬영 요청에 기초하여 갱신된 문서 종류에 매칭된 상기 객체 이미지를 획득할 수 있다.Finally, in step S520 , the object image matching the updated document type may be obtained based on the photographing request.

도 6은 일 실시 예에 따른 의약 관련 이미지 획득 디바이스(100)의 내부 구성을 개략적으로 나타낸 블록 도이다. 6 is a block diagram schematically illustrating an internal configuration of the device for acquiring a drug-related image 100 according to an exemplary embodiment.

도 6을 참조하면 일 실시 예에 따른 의약 관련 이미지 획득 디바이스(100)는, 하나 이상의 메모리(110), 하나 이상의 프로세서(120), 하나 이상의 카메라(130) 및 하나 이상의 디스플레이(140)를 포함할 수 있다. 의약 관련 이미지 획득 디바이스(100)의 동작은 메모리(110)에 저장된 프로그램을 프로세서(120)를 통해서 실행시킴으로 수행될 수 있다. Referring to FIG. 6 , the drug-related image acquisition device 100 according to an embodiment may include one or more memories 110 , one or more processors 120 , one or more cameras 130 , and one or more displays 140 . can The operation of the medicine-related image acquisition device 100 may be performed by executing a program stored in the memory 110 through the processor 120 .

일 실시 예에 따른 카메라(130)는 임시 이미지 또는 객체 이미지를 획득할 수 있다. 여기서 임시 이미지는 문서 스캔을 실시하기 전 프리뷰 이미지를 의미할 수 있고, 객체 이미지는 실제 문서 스캔이 진행되어 객체가 인식될 이미지를 의미할 수 있다.The camera 130 according to an embodiment may acquire a temporary image or an object image. Here, the temporary image may mean a preview image before scanning the document, and the object image may mean an image in which an object is to be recognized by actually scanning the document.

일 실시 예에 따른 프로세서(120)는, 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정할 수 있다. 또한, 프로세서(120)는 사용자 입력에 따라 획득되는 촬영 요청에 기초하여 문서 종류에 매칭된 객체이미지를 획득 할 수 있다. 여기서, 사용자 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 터치 입력을 포함할 수 있다. 또한, 프로세스(120)는 키워드 또는 대응 이미지가 디스플레이되는 영역에 대한 갱신 입력을 수신하고, 상기 갱신 입력에 기초하여 상기 문서 종류를 갱신하며, 상기 촬영 요청에 기초하여 갱신된 문서 종류에 매칭된 상기 객체 이미지를 획득하도록 제어하는 동작을 수행할 수도 있다.The processor 120 according to an embodiment may determine a document type corresponding to the temporary image from among a plurality of document types including a receipt, medicine envelope, and prescription, based on the analysis result of the temporary image. Also, the processor 120 may acquire an object image matched to a document type based on a photographing request obtained according to a user input. Here, the user input may include a touch input for a region in which the keyword or the corresponding image is displayed. Further, the process 120 receives an update input for a region in which a keyword or a corresponding image is displayed, updates the document type based on the update input, and matches the updated document type based on the photographing request. An operation of controlling to obtain an object image may be performed.

일 실시 예에 따른 디스플레이(140)는 문서 종류를 나타내는 키워드 또는 대응 이미지를 임시이미지와 함께 디스플레이 할 수 있다. 한편 디스플레이(140)는 유기발광 다이오드, LCD 등으로 구성될 수 있으며, 터치 입력을 수신하는 입력부 역할을 수행할 수도 있다.The display 140 according to an embodiment may display a keyword or a corresponding image indicating a document type together with a temporary image. Meanwhile, the display 140 may include an organic light emitting diode, an LCD, or the like, and may serve as an input unit for receiving a touch input.

한편, 상술한 일 실시 예에 따른 의약 관련 이미지 획득 디바이스(100)는 하나 이상의 프로세서(120) 및/또는 하나 이상의 메모리(110)를 포함할 수 있다. 또한, 도 6에는 설명의 편의를 위해 일 실시 예에 따른 이미지 획득 디바이스(100)를 설명하기 위한 필수적인 구성만이 도시되어 있지만, 스피커(미도시), 통신부(미도시) 등 발명에 해당하는 장치를 구성하기 위한 종래의 여러 구성들이 유기적으로 결합되어 도 1내지 도 5에서 상술한 동작을 수행할 수도 있다.Meanwhile, the medicine-related image acquisition device 100 according to the above-described embodiment may include one or more processors 120 and/or one or more memories 110 . In addition, although only essential components for describing the image acquisition device 100 according to an embodiment are shown in FIG. 6 for convenience of explanation, an apparatus corresponding to the invention such as a speaker (not shown) and a communication unit (not shown) A number of conventional configurations for configuring the ? may be organically combined to perform the operations described above with reference to FIGS. 1 to 5 .

또한, 메모리(110)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 하나 이상의 메모리(110)는, 하나 이상의 프로세서(120)에 의한 실행 시, 하나 이상의 프로세서(120)가 연산을 수행하도록 하는 명령들을 저장할 수 있다. 본 개시에서, 프로그램 내지 명령은 메모리(110)에 저장되는 소프트웨어로서, 서버(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 장치의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.Also, the memory 110 may include volatile and/or non-volatile memory. The one or more memories 110 may store instructions that, when executed by the one or more processors 120 , cause the one or more processors 120 to perform an operation. In the present disclosure, programs or commands are software stored in the memory 110 , and provide various functions to applications so that an operating system, an application, and/or an application for controlling the resources of the server 100 can utilize the resources of the device. middleware and the like.

하나 이상의 프로세서(120)는, 소프트웨어(예: 프로그램, 명령)를 구동하여 프로세서(120)에 연결된 장치(100)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(120)는 본 개시와 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한 프로세서(120)는 데이터 등을 메모리(110)로부터 로드하거나, 메모리(110)에 저장할 수 있다The one or more processors 120 may control at least one component of the device 100 connected to the processor 120 by driving software (eg, a program or a command). In addition, the processor 120 may perform various operations, processing, data generation, processing, etc. related to the present disclosure. In addition, the processor 120 may load data or the like from the memory 110 or store it in the memory 110 .

일 실시예에서는, 장치(100)의 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 추가될 수 있다. 또한 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. In an embodiment, at least one of the components of the device 100 may be omitted or another component may be added. Also, additionally or alternatively, some components may be integrated and implemented, or may be implemented as a singular or a plurality of entities.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. Above, although embodiments of the present invention have been described with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains know that the present invention can be embodied in other specific forms without changing the technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

100 : 디바이스
110 : 메모리
120 : 프로세서
130 : 카메라
140 : 디스플레이100: device
110: memory
120 : processor
130: camera
140: display

Claims (11)

의약 관련 이미지 획득 방법에 있어서,
카메라를 통해 임시 이미지를 획득하는 단계;
상기 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정하는 단계;
상기 문서 종류를 나타내는 키워드 또는 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계; 및
사용자 입력에 따라 획득되는 촬영 요청에 기초하여 상기 문서 종류에 매칭된 객체 이미지를 획득하는 단계;를 포함하는, 이미지 획득 방법.
A method for acquiring a drug-related image, comprising:
acquiring a temporary image through a camera;
determining a document type corresponding to the temporary image from among a plurality of document types including a receipt, medicine envelope, and prescription based on a result of analyzing the temporary image;
displaying a keyword or a corresponding image indicating the document type together with the temporary image; and
Acquiring an object image matched to the document type based on a photographing request obtained according to a user input;
 제 1 항에 있어서,
상기 사용자 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 터치 입력을 포함하는, 이미지 획득 방법.
The method of claim 1,
The user input includes a touch input for a region in which the keyword or the corresponding image is displayed.
 제 1 항에 있어서,
상기 객체 이미지를 획득하는 단계는
상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 갱신 입력을 수신하는 단계;
상기 갱신 입력에 기초하여 상기 문서 종류를 갱신하는 단계; 및
상기 촬영 요청에 기초하여 갱신된 문서 종류에 매칭된 상기 객체 이미지를 획득하는 단계;를 포함하는, 이미지 획득 방법.
The method of claim 1,
The step of obtaining the object image is
receiving an update input for an area in which the keyword or the corresponding image is displayed;
updating the document type based on the update input; and
Acquiring the object image matching the updated document type based on the photographing request;
 제 3 항에 있어서,
상기 갱신 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 인가되는 스와이핑 입력을 포함하는, 이미지 획득 방법.
4. The method of claim 3,
and the update input includes a swiping input applied to an area in which the keyword or the corresponding image is displayed.
 제 4 항에 있어서,
상기 임시 이미지에 대응되는 문서 종류를 결정하는 단계는
상기 영수증, 상기 약봉투 및 상기 처방전이 상기 임시 이미지에 대응될 확률을 결정하는 단계; 및
상기 확률이 큰 순서에 따라 제 1 문서 종류, 제 2 문서 종류 및 제 3 문서 종류를 결정하는 단계;를 포함하고,
상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계는 상기 제 1 문서 종류를 나타내는 상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는, 이미지 획득 방법.
5. The method of claim 4,
The step of determining a document type corresponding to the temporary image includes:
determining a probability that the receipt, the medicine envelope, and the prescription correspond to the temporary image; and
determining the first document type, the second document type, and the third document type according to the order of increasing the probability;
The displaying of the keyword or the corresponding image together with the temporary image comprises displaying the keyword or the corresponding image indicating the first document type together with the temporary image.
 제 5 항에 있어서,
상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 단계는 상기 스와이핑 입력을 수신함에 따라, 상기 제 2 문서 종류를 나타내는 상기 키워드 또는 상기 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는, 이미지 획득 방법.
6. The method of claim 5,
The step of displaying the keyword or the corresponding image together with the temporary image includes displaying the keyword or the corresponding image indicating the second document type together with the temporary image in response to receiving the swiping input. .
 의약 관련 이미지 획득 디바이스에 있어서,
임시 이미지를 획득하는 카메라;
상기 임시 이미지에 대한 분석 결과에 기초하여, 영수증, 약봉투 및 처방전을 포함하는 복수개의 문서 종류 중 상기 임시 이미지에 대응되는 문서 종류를 결정하는 프로세서; 및
상기 문서 종류를 나타내는 키워드 또는 대응 이미지를 상기 임시 이미지와 함께 디스플레이하는 디스플레이;를 포함하고,
상기 프로세서는 사용자 입력에 따라 획득되는 촬영 요청에 기초하여 상기 문서 종류에 매칭된 객체 이미지를 획득하는, 디바이스.
A pharmaceutical-related image acquisition device, comprising:
a camera that acquires a temporary image;
a processor for determining a document type corresponding to the temporary image from among a plurality of document types including a receipt, a medicine envelope, and a prescription based on a result of analyzing the temporary image; and
a display for displaying a keyword or a corresponding image indicating the document type together with the temporary image;
The processor is configured to obtain an object image matched to the document type based on a photographing request obtained according to a user input.
 제 7 항에 있어서,
상기 사용자 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 터치 입력을 포함하는, 디바이스.
8. The method of claim 7,
The device, wherein the user input includes a touch input for a region in which the keyword or the corresponding image is displayed.
 제 7 항에 있어서, 상기 프로세서는
상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 대한 갱신 입력을 수신하고, 상기 갱신 입력에 기초하여 상기 문서 종류를 갱신하며, 상기 촬영 요청에 기초하여 갱신된 문서 종류에 매칭된 상기 객체 이미지를 획득하도록 제어하는 동작을 수행하는, 디바이스.
8. The method of claim 7, wherein the processor
receive an update input for an area in which the keyword or the corresponding image is displayed, update the document type based on the update input, and obtain the object image matched to the updated document type based on the photographing request; A device that performs an action to control.
 제 9 항에 있어서,
상기 갱신 입력은 상기 키워드 또는 상기 대응 이미지가 디스플레이되는 영역에 인가되는 스와이핑 입력을 포함하는, 디바이스.
10. The method of claim 9,
The update input includes a swiping input applied to an area in which the keyword or the corresponding image is displayed.
 제 1 항 내지 제 6 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
A computer-readable recording medium recording a program for executing the method of any one of claims 1 to 6 on a computer.
KR1020200163670A 2020-11-30 2020-11-30 A method and device for obtaining image related to medical KR102618275B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200163670A KR102618275B1 (en) 2020-11-30 2020-11-30 A method and device for obtaining image related to medical

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163670A KR102618275B1 (en) 2020-11-30 2020-11-30 A method and device for obtaining image related to medical

Publications (2)

Publication Number Publication Date
KR20220075518A true KR20220075518A (en) 2022-06-08
KR102618275B1 KR102618275B1 (en) 2023-12-27

Family

ID=81981462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163670A KR102618275B1 (en) 2020-11-30 2020-11-30 A method and device for obtaining image related to medical

Country Status (1)

Country Link
KR (1) KR102618275B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233913A (en) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd Image processor and program
KR20090084968A (en) * 2006-11-29 2009-08-05 구글 잉크. Digital image archiving and retrieval using a mobile device system
KR101762582B1 (en) 2016-12-12 2017-07-28 주식회사 유비케어 Apparatus and method for paying medicine through barcode recognition
JP2020119195A (en) * 2019-01-23 2020-08-06 グローリー株式会社 Prescription reading system, prescription reading method, and prescription reading program
KR102156197B1 (en) * 2019-05-09 2020-09-15 박회준 Method and device for prividing medical information through prescription information
JP2020184276A (en) * 2019-05-09 2020-11-12 キヤノン株式会社 Image processing device, image processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233913A (en) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd Image processor and program
KR20090084968A (en) * 2006-11-29 2009-08-05 구글 잉크. Digital image archiving and retrieval using a mobile device system
KR101762582B1 (en) 2016-12-12 2017-07-28 주식회사 유비케어 Apparatus and method for paying medicine through barcode recognition
JP2020119195A (en) * 2019-01-23 2020-08-06 グローリー株式会社 Prescription reading system, prescription reading method, and prescription reading program
KR102156197B1 (en) * 2019-05-09 2020-09-15 박회준 Method and device for prividing medical information through prescription information
JP2020184276A (en) * 2019-05-09 2020-11-12 キヤノン株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date
KR102618275B1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
CN106415251B (en) Medicine imaging device
US20170192950A1 (en) Interactive electronic form workflow assistant that guides interactions with electronic forms in a conversational manner
US20060136830A1 (en) System and user interface for creating and presenting forms
US20170039194A1 (en) System and method for bundling digitized electronic records
US20070098263A1 (en) Data entry apparatus and program therefor
US8659567B2 (en) Electronic device having handwritten mathematical formula recognition function
CN110782965B (en) Data processing method, data processing device, computer equipment and storage medium
JP5353172B2 (en) Authentication method, authentication program, and information processing apparatus
AU2022203243A1 (en) Image Processing Program and Image Processing Apparatus
CN111210917A (en) Medication guiding method and system based on offline code scanning
US7979288B2 (en) Automated interpretation of medical prescription text
US9152617B2 (en) System and method for processing objects
KR102618275B1 (en) A method and device for obtaining image related to medical
JP2006277001A (en) Input image displaying method, and input image displaying program
US20220277362A1 (en) Real-time recommendation of data labeling providers
KR102656230B1 (en) A method and device for providing informaiotn from the obtained image
JP5752157B2 (en) Character display device and character display method
JPH1040247A (en) Data processor
US20170098033A1 (en) Cell observation information processing system, cell observation information processing method, cell observation information processing program, archive section provided for cell observation information processing system, and apparatuses provided for cell observation information processing system
CN113703898A (en) Card type interaction method, device, equipment and medium
JP6919420B2 (en) Information processing equipment, information processing methods, programs and information processing systems
KR20040106633A (en) An Apparatus and Method for inputting a Medical Prescription Sheet by Image Recognition
WO2007029625A1 (en) Prescription receiving device
KR102644066B1 (en) Method and device for providing notification
JP7443752B2 (en) Learning support device, learning support method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant