WO2016006933A1 - 생체 정보 측정기로부터 생체 정보를 획득하는 방법 - Google Patents

생체 정보 측정기로부터 생체 정보를 획득하는 방법 Download PDF

Info

Publication number
WO2016006933A1
WO2016006933A1 PCT/KR2015/007087 KR2015007087W WO2016006933A1 WO 2016006933 A1 WO2016006933 A1 WO 2016006933A1 KR 2015007087 W KR2015007087 W KR 2015007087W WO 2016006933 A1 WO2016006933 A1 WO 2016006933A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric information
valid
effective range
image
model name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/007087
Other languages
English (en)
French (fr)
Inventor
도재필
박무현
차근식
남학현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
i Sens Inc
Original Assignee
i Sens Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by i Sens Inc filed Critical i Sens Inc
Publication of WO2016006933A1 publication Critical patent/WO2016006933A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • the present invention relates to a method of acquiring biometric information from a biometric information measuring device such as a blood glucose meter in a smart terminal. More specifically, the smart terminal or a personal computer and a biometric information measuring device are connected to a cable whenever the biometric information is obtained from the biometric information measuring device. There is no need to connect, and the present invention relates to a method for easily obtaining biometric information from a biometric information measuring instrument that does not have a wireless transceiver module.
  • Diabetes is a major cause of death and disability worldwide and has plagued quite a few people. Complications of diabetes include heart and kidney disease, blindness, nerve damage and hypertension, and the estimated overall costs are significant. Long-term clinical studies have shown that moderate control of blood glucose levels can significantly reduce the onset of complications. Thus, an important element of diabetes management is the self-monitoring of blood glucose levels by diabetics anytime, anywhere.
  • a biometric information measuring device such as a blood glucose meter is a device that checks a user's health state by measuring biometric information of a user such as blood sugar.
  • the biometric measuring device measures a user's biometric information by embedding a sample to be measured on a test strip, that is, a sensor strip (bio sensor strip).
  • a sensor strip is inserted into an inlet, and a small amount of blood collected at a fingertip by collecting a fingertip is applied to the sensor strip inserted into the blood glucose meter, and blood is automatically sucked into the sensor strip inlet.
  • the blood sugar value is output on the display of the blood glucose meter.
  • the user needs to systematically manage the biometric information measured by the biometric information measuring device.
  • a biometric information is registered and stored in the user's computer by connecting the biometric information cable to the user's computer and the user's biometric information through a management application. Manage it.
  • management applications are registered with smart terminals to manage biometric information of users using smart terminals.
  • the biometric information meter 10 is connected to the biometric information meter 10 and the user terminal 13 by a cable 11. 10) from the biometric information measuring device 10 in the smart terminal 17 using the wireless communication 15, such as Bluetooth, Near Field Communication (NFC), or the like as shown in FIG. Obtain biometric information.
  • the wireless communication 15 such as Bluetooth, Near Field Communication (NFC), or the like as shown in FIG.
  • the biometric information measuring device uses a wireless communication method.
  • the smart terminal should develop and provide a transmission and reception protocol for receiving biometric information through wireless communication with the biometric information measuring device for each manufacturer of the biometric information measuring device. There is discomfort.
  • the biometric information is acquired through a cable or wireless communication method, it is necessary to set the transmission / reception state so that the biometric information can be transmitted and received between the biometric information meter or the smart terminal in advance.
  • the user is an elderly person in general, the user has a problem that it is difficult to easily manage the biometric information through a cable method or a wireless communication method.
  • the present invention is to solve the problems of the above-mentioned conventional method for obtaining biometric information, and an object of the present invention is to easily obtain the biometric information of the biometric information measuring device using an image photographing unit provided in the smart terminal. To provide.
  • Another object of the present invention is to recognize the valid characters only in the valid range corresponding to the model name of the biometric information from among the biometric information obtained based on the model name of the biometric information measuring device to obtain biometric information with fewer errors and faster computations. To provide a way to do this.
  • Another object of the present invention is to provide a biometric information acquisition method that can quickly and accurately determine the effective range corresponding to the model name of the biometric information meter as the ratio of the area where the valid characters are located to the entire area of the biometric information image. It is.
  • Another object of the present invention is to provide a method of obtaining biometric information that can accurately recognize a valid character by comparing only a valid character feature extracted from an effective range with a character database corresponding to a model name of a biometric information measuring instrument.
  • a method of acquiring biometric information measured by a biometric information measuring device includes obtaining a biometric information image displayed on a display unit of a biometric information measuring device through an image capturing unit, and presetting the biometric information on a biometric information image Determining a valid range, binarizing the image of the valid range, extracting a valid character feature, comparing the extracted valid character feature with a character database, and recognizing the valid character; and generating biometric information from the recognized valid character. Characterized in that it comprises a step.
  • the preset valid range is determined as being an effective range mapped to the model name of the biometric information meter and the model name of the biometric information meter stored in the database.
  • the valid range is determined based on the location information of the valid range mapped to the model name of the biometric information meter in the biometric information image.
  • the location information of the valid range is a ratio of the area where the valid character is located to the entire area of the biometric information image.
  • the method for obtaining biometric information is characterized by automatically generating the entire biometric information by combining the recognized valid character and a preset character corresponding to the biometric information measuring device.
  • the character string corresponding to the model name of the biometric information measuring device and the extracted valid character feature may be recognized.
  • an apparatus for obtaining biometric information measured through a biometric information measuring device may include an image photographing unit obtaining a biometric information image displayed on a display unit of a biometric information measuring device, and a biometric information measuring device based on a model name of the biometric information measuring device.
  • An effective range determination unit for determining a predetermined effective range in the biometric information image, a recognition unit for extracting valid character features by binarizing the effective range image, comparing the extracted valid character features with a character database, and recognizing valid characters;
  • a biometric information generation unit for generating biometric information from the recognized valid characters.
  • the valid range determination unit may include a database storing the valid range mapped to the model name of the biometric information meter and the model name of the biometric information meter, and the effective range information mapped to the biometric information meter from the database based on the model name of the biometric information meter. And a determination unit that determines a valid range of the biometric information image from the searched valid range information.
  • the valid range information may be location information of an effective range mapped to a model name of the biometric information meter in the biometric information image, and the determination unit may determine the valid range of the biometric information image from the location information of the valid range.
  • a predetermined character corresponding to a model name of the biometric information measuring device is stored in the database, and the biometric information generating unit automatically generates the entire biometric information by combining the recognized valid characters with the predetermined character.
  • the biometric information acquisition method according to the present invention has various effects as follows.
  • the method of acquiring biometric information according to the present invention can easily acquire biometric information of a biometric information measuring instrument without using a separate communication module or a connection cable by using an image photographing unit provided in a smart terminal.
  • the method of acquiring the biometric information according to the present invention recognizes valid characters only in an effective range corresponding to the model name of the biometric information meter among the biometric information images acquired based on the model name of the biometric information measurer. There is little error and biometric information can be obtained quickly with a small amount of computation.
  • the method of acquiring biometric information according to the present invention can determine biometric information quickly and accurately by determining the effective range corresponding to the model name of the biometric information measurer as the ratio of the area where valid characters are located to the entire area of the biometric information image. Can be.
  • the method of acquiring biometric information according to the present invention can accurately recognize a valid character by comparing only a valid character feature extracted from an effective range with a character database corresponding to a model name of a biometric information measuring device.
  • FIG. 1 is a view for explaining an example of a method for obtaining biometric information from a conventional biometric information measuring device.
  • FIG. 2 is a functional block diagram illustrating an apparatus for obtaining biometric information measured by a biometric information measuring apparatus according to an exemplary embodiment of the present invention.
  • 3 is a functional block diagram for explaining in detail the effective range determination unit according to the present invention.
  • FIG. 4 is a flowchart illustrating a method of obtaining biometric information according to the present invention.
  • FIG. 5 is a view for explaining an example of a method of determining an effective range according to the present invention.
  • FIG. 6 is a view for explaining another example of a method for determining an effective range according to the present invention.
  • FIG. 7 illustrates an example of all biometric information generated from a combination of a recognized valid character and a preset character corresponding to the model name of the biometric information measuring device.
  • FIG. 2 is a functional block diagram illustrating an apparatus for obtaining biometric information measured through a biometric information measuring device according to an embodiment of the present invention.
  • the image capturing unit 110 acquires the biometric information displayed on the display unit by capturing the display unit of the biometric information measuring unit.
  • the apparatus for obtaining biometric information may be implemented through a smart terminal.
  • the image capturing unit 110 may use a camera provided in the smart terminal.
  • the valid range determination unit 130 determines a valid range preset in the biometric information image based on the model name of the biometric information measurer.
  • the effective range means a range in which the biometric information of the user is located in the biometric image, and the types and positions of the biometric information of the user measured according to the model of the biometric information meter used by the user are different from each other.
  • the effective range is determined in the acquired biometric information image based on the model name of the biometric information meter used by the user.
  • the recognition unit 150 binarizes the determined valid range image to extract the valid character feature from the valid range image, and compares the extracted valid character feature with the character feature stored in the character database to recognize the valid character.
  • the recognizer 150 may include a preprocessor for removing the effect of background lighting or removing noise from the acquired biometric information, which is within the scope of the present invention.
  • the biometric information generating unit 170 generates the biometric information of the user by combining the recognized valid character with a predetermined character based on the model name of the biometric information measuring instrument.
  • 3 is a functional block diagram for explaining in detail the effective range determination unit according to the present invention.
  • the search unit 131 searches for valid range information stored in the database unit 133 by mapping to the biometric information measurer when obtaining the biometric information image.
  • the database unit 133 stores valid range information on a location where the biometric information is different from each other according to the biometric information measuring device.
  • the determination unit 135 receives the effective range information from the searcher 131 and determines the effective range in the acquired biometric information image. In this way, the determination unit 135 determines the effective range in which the biometric information to be recognized among the biometric information images is displayed, and recognizes the biometric information accurately because the character is recognized only in the effective range. can do.
  • FIG. 4 is a flowchart illustrating a method of obtaining biometric information according to the present invention.
  • the bio information image including the bio information displayed on the display unit of the bio information measuring device is obtained through the image capturing unit (S110). Based on the biometric information image and the model name of the biometric information measuring device, an effective range in which valid characters are disposed in the biometric information image is determined (S130).
  • the model name of the biometric information measuring instrument used by the user may be preset or selected by the user whenever the biometric information is measured.
  • the biometric information of the user for example, blood sugar
  • the display unit 200 is displayed.
  • the user acquires the biometric information image by photographing the display unit 200 with a smart terminal having an image capturing unit, for example, a smart phone.
  • the valid range information is determined by searching the effective range information mapped to the model name of the biometric information meter, wherein the effective range information is position information of the effective range in the biometric information image.
  • the location information of the effective range is displayed as the ratio of the area where the valid characters are located with respect to the entire area of the biometric information image when the width and length of the entire biometric information image are each set to 1.
  • the effective range is effective range 1 (horizontal (0.2, 0.8), vertical (0.2, 0.4)), effective range 2 (horizontal (0.3, 1.0), vertical (0.7, 0.8) )).
  • the effective range 1 is an area range in which the biometric information of the user is displayed
  • the effective range 2 is an area range in which the date and time at which the user measured the biometric information is displayed.
  • characters such as measurement units of biometric information such as mg / dL do not need to be recognized separately, and therefore are not set to the effective range.
  • the present invention specifies and recognizes an effective range in which valid characters required for managing biometric information are displayed according to the model name of the biometric information measuring device, thereby enabling to recognize biometric information with a small amount of computation in a short time and increase recognition rate. have.
  • the biometric information for example, blood glucose
  • the biometric information measurer 10 is measured through the biometric information measurer 10 and is provided in the biometric information measurer 10.
  • the display unit 200 is displayed.
  • the user acquires the biometric information image by photographing the display unit 200 with a smart terminal having an image capturing unit, for example, a smart phone.
  • the valid range information is determined from the biometric information image by searching the effective range information mapped to the model name of the biometric information meter.
  • the effective range information is a window in which valid characters are disposed in the biometric information image. W1, W2).
  • the window W1 indicating the effective range 1 indicates an area range in which the biometric information of the user is displayed
  • the window W2 indicating the effective range 2 is an area range in which the date and time when the user measured the biometric information are displayed.
  • the biometric information image may be acquired by capturing the display unit on the photographing screen of the smart terminal, and the biometric information may be recognized by determining the window area from the acquired biometric information image.
  • the window area is activated on the smart terminal according to the set model name.
  • the display unit is photographed such that the displayed biometric information exists in the activated window area to obtain a biometric information image.
  • the present invention can recognize the biometric information with a small amount of computation in a short time because the effective range in which the valid characters necessary for managing the biometric information are displayed is recognized using the mapped window according to the model name of the biometric information measuring instrument. At the same time, the recognition rate can be increased.
  • a valid character feature is extracted by binarizing an image of a valid range, and a valid character is recognized by comparing the extracted valid character feature with a character database (S150).
  • a character database S150
  • the valid character feature may be a pattern of pixels having zero, and recognizes the valid character by comparing the valid character feature with a pattern of characters stored in the character database.
  • the database unit is provided with different character databases according to the model name of the biometric information measuring instrument, and it is possible to recognize valid characters quickly and accurately by comparing patterns of only characters stored in the character database.
  • the predetermined character corresponding to the model name of the biometric information measuring device is extracted, and the biometric information is automatically generated by combining the valid character and the predetermined character (S190).
  • FIG. 7 illustrates an example of all biometric information generated from a combination of a recognized valid character and a preset character corresponding to the model name of the biometric information measuring device.
  • the valid characters recognized in the effective range are the information (blood sugar, measurement date) that is changed in real time by the user's biometric information measured by the biometric information measuring device.
  • the biometric information unit (“mg / dL") and the set phrase (“your blood glucose”) are not recognized.
  • the apparatus for acquiring biometric information recognizes only valid characters located in an effective range, and the characters displayed on the display unit but not recognized are combined with preset characters based on the model name of the biometric information meter as shown in FIG. 7. Automatically generate full biometric information as shown.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may be an electronic or magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), optical reading medium (eg, CD-ROM, DVD, etc.) and carrier wave (eg Storage media, such as through the Internet).
  • ROM read-only memory
  • CD-ROM compact disc-read only memory
  • DVD digital versatile disc
  • carrier wave eg Storage media, such as through the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 스마트 단말기에서 혈당 측정기와 같은 생체 정보 측정기로부터 생체 정보를 획득하는 방법에 관한 것으로, 보다 구체적으로 생체 정보 측정기로부터 생체 정보를 획득할 때마다 스마트 단말기 또는 개인 컴퓨터와 생체 정보 측정기를 케이블로 연결할 필요가 없으며, 무선 송수신 모듈을 구비하지 않은 생체 정보 측정기로부터 스마트 단말기에서 용이하게 생체 정보를 획득할 수 있는 방법에 관한 것이다.

Description

생체 정보 측정기로부터 생체 정보를 획득하는 방법
본 발명은 스마트 단말기에서 혈당 측정기와 같은 생체 정보 측정기로부터 생체 정보를 획득하는 방법에 관한 것으로, 보다 구체적으로 생체 정보 측정기로부터 생체 정보를 획득할 때마다 스마트 단말기 또는 개인 컴퓨터와 생체 정보 측정기를 케이블로 연결할 필요가 없으며, 무선 송수신 모듈을 구비하지 않은 생체 정보 측정기로부터 스마트 단말기에서 용이하게 생체 정보를 획득할 수 있는 방법에 관한 것이다.
당뇨병은 전세계적으로 주요 사망원인 및 신체장애 요인이며 상당히 많은 사람들을 괴롭히고 있다. 당뇨병의 합병증은 심장 및 신장질병, 실명, 신경손상 및 고혈압을 포함하며, 추산된 전체 비용도 상당하다. 장기간의 임상연구는 혈당치를 적당히 조절하는 것에 의해서 합병증의 개시를 현저히 감소시킬 수 있다는 결과를 가져왔다. 따라서, 당뇨병 관리의 중요한 요소는 언제 어디서나 당뇨병 환자가 혈당치를 자가 모니터링하는 것이다.
이러한 요구에 따라 사용자가 직접 사용자의 혈당을 검사할 수 있는 혈당 측정기가 널리 보급되어 사용되고 있다. 일반적으로 혈당 측정기와 같은 생체 정보 측정기는 혈당과 같은 사용자의 생체 정보를 측정하여 사용자의 건강 상태를 검사하는 장치이다. 생체 정보 측정기는 검사지, 즉 센서 스트립(바이오 센서 스트립)에 측정하고자 하는 검체를 묻혀 사용자의 생체 정보를 측정한다. 예를 들어, 혈당 측정기의 경우 센서 스트립을 투입구에 끼워넣고, 손가락 끝을 채혈하여 손끝에 채혈된 소량의 혈액을 혈당측정기에 꽂힌 센서 스트립에 대면 혈액이 센서 스트립 투입구로 자동으로 빨려 들어가며, 측정한 혈당값이 혈당 측정기의 디스플레이에 출력된다.
사용자는 생체 정보 측정기를 통해 측정한 생체 정보를 체계적으로 관리할 필요가 있는데, 종래에는 사용자 컴퓨터에 생체 정보 측정기를 케이블로 연결하여 사용자 컴퓨터에 생체 정보를 등록 저장하며 관리 애플리케이션을 통해 사용자의 생체 정보를 관리한다. 최근에는 스마트 단말기가 널리 보급됨에 따라 관리 애플리케이션을 스마트 단말기에 등록하여 스마트 단말기를 이용하여 사용자의 생체 정보를 관리하고 있다.
종래 생체 정보 측정기로부터 생체 정보를 획득하는 방법의 일 예를 설명하는 도 1(a)을 참고로 살펴보면 케이블(11)로 생체 정보 측정기(10)와 사용자 단말기(13)를 연결하여 생체 정보 측정기(10)의 생체 정보를 획득하거나, 도 1(b)와 같이 블루투스, 근거리 통신(Near Field Communication, NFC) 등과 같은 무선 통신(15)을 이용하여 스마트 단말기(17)에서 생체 정보 측정기(10)로부터 생체 정보를 획득한다.
그러나 케이블을 이용하여 생체 정보를 획득하는 방식의 경우 생체 정보 측정기로부터 생체 정보를 획득할 때마다 생체 정보 측정기와 사용자 단말기를 케이블로 연결하여야 하는 불편함이 있으며, 무선 통신 방식을 이용하여 생체 정보 측정기로부터 생체 정보를 획득하는 방식의 경우 생체 정보 측정기가 무선 통신 모듈을 구비하여야 하며 스마트 단말기는 생체 정보 측정기와 무선 통신을 통해 생체 정보를 수신하기 위한 송수신 프로토콜을 생체 정보 측정기의 제조사별로 개발하여 구비하여야 하는 불편함이 있다.
더욱이 케이블을 이용하는 방식 또는 무선 통신 방식을 통해 생체 정보를 획득할 때마다 미리 사전에 생체 정보 측정기 또는 스마트 단말기 사이에서 생체 정보를 송수신할 수 있도록 송수신 상태를 설정할 필요가 있는데, 생체 정보 측정기를 사용하는 사용자가 통상 나이가 많은 노인분들인 점을 감안하면 사용자는 케이블을 이용하는 방식 또는 무선 통신 방식을 통해 생체 정보를 용이하게 관리하기 곤란하다는 문제점을 가진다.
본 발명은 위에서 언급한 종래 생체 정보 획득 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 스마트 단말기에 구비되어 있는 영상 촬영부를 이용하여 용이하게 생체 정보 측정기의 생체 정보를 획득하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 생체 정보 측정기의 모델명에 기초하여 획득한 생체 정보 이미지 중 생체 정보 측정기의 모델명에 해당하는 유효 범위에서만 유효 문자를 인식하여 오류가 적으며 적은 연산량으로 빠르게 생체 정보를 획득할 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 생체 정보 측정기의 모델명에 해당하는 유효 범위를 생체 정보 이미지의 전체 영역에 대한 유효 문자가 위치하는 영역의 비율로 빠르고 정확하게 판단할 수 있는 생체 정보의 획득 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 따른 목적은 유효 범위에서 추출한 유효 문자 특징과 생체 정보 측정기의 모델명에 해당하는 문자 데이터베이스만을 비교하여 정확하게 빠르게 유효 문자를 인식할 수 있는 생체 정보의 획득 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른, 생체 정보 측정기를 통해 측정한 생체 정보의 획득 방법은 영상 촬영부를 통해 생체 정보 측정기의 디스플레이부에 디스플레이된 생체 정보 이미지를 획득하는 단계와, 생체 정보 이미지에서 기설정되어 있는 유효 범위를 판단하는 단계와, 유효 범위의 영상을 이진화하여 유효 문자 특징을 추출하고 추출한 유효 문자 특징과 문자 데이터베이스를 비교하여 유효 문자를 인식하는 단계와, 인식한 유효 문자로부터 생체 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
여기서 기설정되어 있는 유효 범위는 데이터베이스에 저장되어 있는 생체 정보 측정기의 모델명과 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위로 판단되는 것을 특징으로 한다.
바람직하게, 유효 범위는 생체 정보 이미지에서 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위의 위치 정보에 기초하여 판단되는 것을 특징으로 한다.
더욱 바람직하게, 유효 범위의 위치 정보는 생체 정보 이미지의 전체 영역 대한 유효 문자가 위치하는 영역의 비율인 것을 특징으로 한다.
여기서 생체 정보 획득 방법은 인식한 유효 문자와 생체 정보 측정기에 해당하는 기설정 문자를 조합하여 전체 생체 정보를 자동 생성하는 것을 특징으로 한다.
여기서 생체 정보 측정기의 모델명에 해당하는 문자 데이터베이스와 추출한 유효 문자 특징을 비교하여 유효 문자를 인식하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른, 생체 정보 측정기를 통해 측정한 생체 정보의 획득 장치는 생체 정보 측정기의 디스플레이부에 디스플레이된 생체 정보 이미지를 획득하는 영상 촬영부와, 생체 정보 측정기의 모델명에 기초하여 생체 정보 이미지에서 기설정되어 있는 유효 범위를 판단하는 유효 범위 판단부와, 유효 범위의 영상을 이진화하여 유효 문자 특징을 추출하고 추출한 유효 문자 특징과 문자 데이터베이스를 비교하여 유효 문자를 인식하는 인식부와, 인식한 유효 문자로부터 생체 정보를 생성하는 생체 정보 생성부를 포함하는 것을 특징으로 한다.
여기서 유효 범위 판단부는 생체 정보 측정기의 모델명과 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위가 저장되어 있는 데이터베이스와, 생체 정보 측정기의 모델명에 기초하여 데이터베이스에서 생체 정보 측정기에 매핑되어 있는 유효 범위 정보를 검색하는 검색부와, 검색한 유효 범위 정보로부터 생체 정보 이미지의 유효 범위를 판단하는 판단부를 포함하는 것을 특징으로 한다.
여기서 유효 범위 정보는 생체 정보 이미지에서 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위의 위치 정보이며, 판단부는 유효 범위의 위치 정보로부터 생체 정보 이미지의 유효 범위를 판단하는 것을 특징으로 한다.
바람직하게, 데이터베이스에는 생체 정보 측정기의 모델명에 해당하는 기설정 문자가 저장되어 있으며, 생체 정보 생성부는 인식한 상기 유효 문자와 기설정 문자를 조합하여 전체 생체 정보를 자동 생성하는 것을 특징으로 한다.
본 발명에 따른 생체 정보 획득 방법은 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 생체 정보의 획득 방법은 스마트 단말기에 구비되어 있는 영상 촬영부를 이용하여 별도의 통신 모듈 또는 접속 케이블없이도 용이하게 생체 정보 측정기의 생체 정보를 획득할 수 있다.
둘째, 본 발명에 따른 생체 정보의 획득 방법은 생체 정보 측정기의 모델명에 기초하여 획득한 생체 정보 이미지 중 생체 정보 측정기의 모델명에 해당하는 유효 범위에서만 유효 문자를 인식함으로써, 생체 정보를 획득하는 과정에서 오류가 적으며 적은 연산량으로 빠르게 생체 정보를 획득할 수 있다.
셋째, 본 발명에 따른 생체 정보의 획득 방법은 생체 정보 측정기의 모델명에 해당하는 유효 범위를 생체 정보 이미지의 전체 영역에 대한 유효 문자가 위치하는 영역의 비율로 판단함으로써, 빠르고 정확하게 생체 정보를 획득할 수 있다.
넷째, 본 발명에 따른 생체 정보의 획득 방법은 유효 범위에서 추출한 유효 문자 특징과 생체 정보 측정기의 모델명에 해당하는 문자 데이터베이스만을 비교함으로써, 정확하게 빠르게 유효 문자를 인식할 수 있다.
도 1은 종래 생체 정보 측정기로부터 생체 정보를 획득하는 방법의 일 예를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 생체 정보 측정 장치를 통해 측정한 생체 정보를 획득하는 장치를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 유효 범위 판단부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 생체 정보 획득 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명에 따라 유효 범위를 판단하는 방식의 일 예를 설명하기 위한 도면이다.
도 6은 본 발명에 따라 유효 범위를 판단하는 방식의 다른 예를 설명하기 위한 도면이다.
도 7은 인식한 유효 문자와 생체 정보 측정기의 모델명에 해당하는 기설정 문자의 조합으로부터 생성되는 전체 생체 정보의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른, 생체 정보 측정 장치를 통해 측정한 생체 정보를 획득하는 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 생체 정보 측정기를 통해 측정한 생체 정보를 획득하는 장치를 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 영상 촬영부(110)는 생체 정보 측정기의 디스플레이부를 촬영하여 디스플레이부에 디스플레이된 생체 정보 이미지를 획득한다. 본 발명에서 생체 정보 획득 장치는 스마트 단말기를 통해 구현될 수 있는데, 여기서 영상 촬영부(110)는 스마트 단말기에 구비되어 있는 카메라가 사용될 수 있다.
유효 범위 판단부(130)는 생체 정보 측정기의 모델명에 기초하여 생체 정보 이미지에서 기설정되어 있는 유효 범위를 판단한다. 여기서 유효 범위란 생체 정보 이미지에서 사용자의 생체 정보가 위치하는 범위를 의미하는 것으로, 사용자가 사용하는 생체 정보 측정기의 모델에 따라 측정한 사용자의 생체 정보의 종류 및 위치가 디스플레이되는 범위가 서로 상이하며, 사용자가 사용하는 생체 정보 측정기의 모델명에 기초하여 획득한 생체 정보 이미지에서 유효 범위를 판단한다.
인식부(150)는 판단한 유효 범위의 영상을 이진화 처리하여 유효 범위의 영상에서 유효 문자 특징을 추출하고, 추출한 유효 문자 특징과 문자 데이터베이스에 저장되어 있는 문자 특징을 비교하여 유효 문자를 인식한다. 본 발명이 적용되는 분야에 따라 인식부(150)는 획득한 생체 정보 이미지에서 배경 조명의 효과를 제거하거나 노이즈를 제거하기 위한 전처리부를 포함할 수 있으며, 이는 본 발명의 범위에 속한다. 생체 정보 생성부(170)는 인식한 유효 문자와 생체 정보 측정기의 모델명에 기초하여 기설정된 문자를 조합하여 사용자의 생체 정보를 생성한다.
도 3은 본 발명에 따른 유효 범위 판단부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 3을 참고로 보다 구체적으로 살펴보면, 검색부(131)는 생체 정보 이미지를 획득하는 경우, 데이터베이스부(133)에서 생체 정보 측정기에 매핑되어 저장되어 있는 유효 범위 정보를 검색한다. 데이터베이스부(133)에는 생체 정보 측정기에 따라 서로 상이한, 생체 정보가 디스플레이되는 위치에 대한 유효 범위 정보가 저장되어 있다.
판단부(135)는 검색부(131)로부터 유효 범위 정보를 제공받아, 획득한 생체 정보 이미지에서 유효 범위를 판단한다. 이와 같이 판단부(135)를 통해 전체 생체 정보 이미지 중 인식해야할 생체 정보가 디스플레이되는 유효 범위를 판단하여, 유효 범위에서만 문자를 인식하기 때문에 생체 정보를 정확하게 인식하며, 적은 연산량으로 빠르게 생체 정보를 인식할 수 있다.
도 4는 본 발명에 따른 생체 정보 획득 방법을 설명하기 위한 흐름도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 영상 촬영부를 통해 생체 정보 측정기의 디스플레이부에 디스플레이된 생체 정보를 구비하는 생체 정보 이미지를 획득한다(S110). 생체 정보 이미지와 생체 정보 측정기의 모델명에 기초하여 생체 정보 이미지에서 유효 문자가 배치되어 있는 유효 범위를 판단한다(S130). 여기서 사용자가 사용하는 생체 정보 측정기의 모델명은 기설정되어 있거나 생체 정보를 측정할 때마다 사용자가 선택할 수 있다.
유효 범위를 판단하는 방식의 일 예를 설명하기 위한 도 5를 참고로 살펴보면, 생체 정보 측정기(10)를 통해 사용자의 생체 정보, 예를 들어 혈당이 측정되어 생체 정보 측정기(10)에 구비되어 있는 디스플레이부(200)에 디스플레이된다. 사용자가 영상 촬영부를 구비하고 있는 스마트 단말기, 예를 들어 스마트 폰으로 디스플레이부(200)를 촬영하여 생체 정보 이미지를 획득한다.
생체 정보 이미지를 획득하는 경우, 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위 정보를 검색하여 생체 정보 이미지에서 유효 범위를 판단하는데, 여기서 유효 범위 정보는 생체 정보 이미지에서 유효 범위의 위치 정보이다.
유효 범위의 위치 정보는 전체 생체 정보 이미지의 가로와 세로를 각각 1로 설정하였을 때 생체 정보 이미지의 전체 영역에 대한 유효 문자가 위치하는 영역의 비율로 표시된다. 예를 들어, 생체 정보 이미지의 전체 영역에서 유효 범위는 유효 범위1(가로(0.2, 0.8), 세로(0.2, 0.4))), 유효 범위2(가로(0.3, 1.0), 세로(0.7, 0.8))로 검색된다.
유효 범위1에서는 사용자의 생체 정보가 디스플레이되는 영역 범위를 나타내며, 유효 범위2에서는 사용자가 생체 정보를 측정한 날짜와 시간이 디스플레이되는 영역 범위이다. 한편, mg/dL과 같이 생체 정보의 측정 단위와 같은 문자는 별도로 인식할 필요가 없기 때문에 유효 범위로 설정되어 있지 않다.
이와 같이, 본원발명에서는 생체 정보 측정기의 모델명에 따라 생체 정보를 관리하는데 필요한 유효 문자가 디스플레이되는 유효 범위를 특정하여 인식하기 때문에 빠른 시간에 적은 연산량으로 생체 정보를 인식할 수 있으며 동시에 인식율을 높일 수 있다.
유효 범위를 판단하는 방식의 다른 예를 설명하기 위한 도 6을 참고로 살펴보면, 생체 정보 측정기(10)를 통해 사용자의 생체 정보, 예를 들어 혈당이 측정되어 생체 정보 측정기(10)에 구비되어 있는 디스플레이부(200)에 디스플레이된다. 사용자가 영상 촬영부를 구비하고 있는 스마트 단말기, 예를 들어 스마트 폰으로 디스플레이부(200)를 촬영하여 생체 정보 이미지를 획득한다.
생체 정보 이미지를 획득하는 경우, 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위 정보를 검색하여 생체 정보 이미지에서 유효 범위를 판단하는데, 여기서 유효 범위 정보는 생체 정보 이미지에서 유효 문자가 배치되어 있는 윈도우(W1, W2)이다.
유효 범위1를 나타내는 윈도우 W1은 사용자의 생체 정보가 디스플레이되는 영역 범위를 나타내며, 유효 범위2를 나타내는 윈도우 W2는 사용자가 생체 정보를 측정한 날짜와 시간이 디스플레이되는 영역 범위이다.
바람직하게, 사용자가 생체 정보 측정기의 디스플레이부를 촬영할 때, 스마트 단말기의 촬영 화면에 디스플레이부를 맞추어 촬영하여 생체 정보 이미지를 획득하고, 획득한 생체 정보 이미지에서 윈도우 영역을 판단하여 생체 정보를 인식할 수 있다.
보다 바람직하게, 사용자가 사용하는 생체 정보 측정기의 모델명을 설정하는 경우, 설정한 모델명에 따라 스마트 단말기에 윈도우 영역이 활성화된다. 활성화된 윈도우 영역 안에 디스플레이된 생체 정보가 존재하도록 디스플레이부를 촬영하여 생체 정보 이미지를 획득한다.
이와 같이, 본원발명에서는 생체 정보 측정기의 모델명에 따라 매핑된 윈도우를 이용하여 생체 정보를 관리하는데 필요한 유효 문자가 디스플레이되는 유효 범위를 특정하여 인식하기 때문에 빠른 시간에 적은 연산량으로 생체 정보를 인식할 수 있으며 동시에 인식율을 높일 수 있다.
다시 도 4를 참고로 살펴보면, 유효 범위의 영상을 이진화하여 유효 문자 특징을 추출하고, 추출한 유효 문자 특징과 문자 데이터베이스를 비교하여 유효 문자를 인식한다(S150). 유효 범위의 영상의 픽셀값을 임계값으로 나누어 임계값보다 큰 경우 1로 그리고 임계값보다 작은 경우 0으로 설정하여 유효 범위의 영상을 이진화처리하며, 이진화된 유효 범위 영상으로부터 유효 문자 특징을 추출한다. 바람직하게 유효 문자 특징은 0을 가지는 픽셀들의 패턴일 수 있으며, 유효 문자 특징과 문자 데이터베이스에 저장되어 있는 문자의 패턴을 비교하여 유효 문자를 인식한다. 본 발명에서 생체 정보 측정기의 모델명에 따라 데이터베이스부에는 서로 다른 문자 데이터베이스가 구비되어 있으며, 문자 데이터베이스에 저장되어 있는 문자들만의 패턴을 비교하여 유효 문자를 빠르고 정확하게 인식할 수 있다.
생체 정보 측정기의 모델명에 해당하는 기설정된 문자를 추출하고, 유효 문자와 기설정된 문자를 조합하여 유효 문자와 기설정된 문자로 이루어진 전체 생체 정보를 자동으로 생성한다(S190).
도 7은 인식한 유효 문자와 생체 정보 측정기의 모델명에 해당하는 기설정 문자의 조합으로부터 생성되는 전체 생체 정보의 일 예를 도시하고 있다.
유효 범위에서 인식한 유효 문자는 생체 정보 측정기를 통해 측정한 사용자의 생체 정보로 실시간으로 변동되는 정보(혈당, 측정날짜)이며, 생체 정보 측정기의 디스플레이부에 디스플레이되지만 변동되지 않은 정보, 예를 들어 생체 정보 측정 단위("mg/dL"), 설정된 문구("귀하의 혈당은")는 인식하지 않는다.
본 발명에 따른 생체 정보 획득 장치는 유효 범위에 위치하는 유효 문자만을 인식하고, 디스플레이부에 디스플레이되지만 인식하지 않는 문자는 생체 정보 측정기의 모델명에 기초하여 기설정된 문자로 조합하여 도 7에 도시되어 있는 바와 같이 전체 생체 정보를 자동 생성한다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 생체 정보 측정기를 통해 측정한 생체 정보의 획득 방법에 있어서,
    영상 촬영부를 통해 상기 생체 정보 측정기의 디스플레이부에 디스플레이된 생체 정보 이미지를 획득하는 단계;
    상기 생체 정보 이미지에서 기설정되어 있는 유효 범위를 판단하는 단계;
    상기 유효 범위의 영상을 이진화하여 유효 문자 특징을 추출하고, 상기 추출한 유효 문자 특징과 문자 데이터베이스를 비교하여 유효 문자를 인식하는 단계; 및
    상기 인식한 유효 문자로부터 상기 생체 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 생체 정보 획득 방법.
  2. 제 1 항에 있어서, 상기 기설정되어 있는 유효 범위는
    데이터베이스에 저장되어 있는 상기 생체 정보 측정기의 모델명과 상기 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위로 판단되는 것을 특징으로 하는 생체 정보 획득 방법.
  3. 제 2 항에 있어서, 상기 유효 범위는
    상기 생체 정보 이미지에서 상기 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위의 위치 정보에 기초하여 판단되는 것을 특징으로 하는 생체 정보 획득 방법.
  4. 제 3 항에 있어서, 상기 유효 범위의 위치 정보는
    상기 생체 정보 이미지의 전체 영역 대한 유효 문자가 위치하는 영역의 비율인 것을 특징으로 하는 생체 정보 획득 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 생체 정보 획득 방법은
    인식한 상기 유효 문자와 상기 생체 정보 측정기에 해당하는 기설정 문자를 조합하여 전체 생체 정보를 자동 생성하는 것을 특징으로 하는 생체 정보 획득 방법.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 생체 정보 측정기의 모델명에 해당하는 문자 데이터베이스와 상기 추출한 유효 문자 특징을 비교하여 유효 문자를 인식하는 것을 특징으로 하는 생체 정보 획득 방법.
  7. 생체 정보 측정기를 통해 측정한 생체 정보의 획득 장치에 있어서,
    상기 생체 정보 측정기의 디스플레이부에 디스플레이된 생체 정보 이미지를 획득하는 영상 촬영부;
    상기 생체 정보 측정기의 모델명에 기초하여 상기 생체 정보 이미지에서 기설정되어 있는 유효 범위를 판단하는 유효 범위 판단부;
    상기 유효 범위의 영상을 이진화하여 유효 문자 특징을 추출하고, 상기 추출한 유효 문자 특징과 문자 데이터베이스를 비교하여 유효 문자를 인식하는 인식부; 및
    상기 인식한 유효 문자로부터 상기 생체 정보를 생성하는 생체 정보 생성부를 포함하는 것을 특징으로 하는 생체 정보 획득 장치.
  8. 제 7 항에 있어서, 상기 유효 범위 판단부는
    상기 생체 정보 측정기의 모델명과 상기 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위가 저장되어 있는 데이터베이스;
    상기 생체 정보 측정기의 모델명에 기초하여 상기 데이터베이스에서 상기 생체 정보 측정기에 매핑되어 있는 유효 범위 정보를 검색하는 검색부; 및
    검색한 상기 유효 범위 정보로부터 상기 생체 정보 이미지의 유효 범위를 판단하는 판단부를 포함하는 것을 특징으로 하는 생체 정보 획득 장치.
  9. 제 8 항에 있어서,
    상기 유효 범위 정보는 상기 생체 정보 이미지에서 상기 생체 정보 측정기의 모델명에 매핑되어 있는 유효 범위의 위치 정보이며,
    상기 판단부는 상기 유효 범위의 위치 정보로부터 상기 생체 정보 이미지의 유효 범위를 판단하는 것을 특징으로 하는 생체 정보 획득 장치.
  10. 제 9 항에 있어서, 상기 유효 범위의 위치 정보는
    상기 생체 정보 이미지의 전체 영역 대한 유효 문자가 위치하는 영역의 비율인 것을 특징으로 하는 생체 정보 획득 장치.
  11. 제 7 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 데이터베이스에는 상기 생체 정보 측정기의 모델명에 해당하는 기설정 문자가 저장되어 있으며,
    상기 생체 정보 생성부는 인식한 상기 유효 문자와 상기 기설정 문자를 조합하여 전체 생체 정보를 자동 생성하는 것을 특징으로 하는 생체 정보 획득 장치.
PCT/KR2015/007087 2014-07-08 2015-07-08 생체 정보 측정기로부터 생체 정보를 획득하는 방법 Ceased WO2016006933A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140085269 2014-07-08
KR10-2014-0085269 2014-07-08

Publications (1)

Publication Number Publication Date
WO2016006933A1 true WO2016006933A1 (ko) 2016-01-14

Family

ID=55064490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007087 Ceased WO2016006933A1 (ko) 2014-07-08 2015-07-08 생체 정보 측정기로부터 생체 정보를 획득하는 방법

Country Status (1)

Country Link
WO (1) WO2016006933A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150465A (ja) * 2000-11-09 2002-05-24 Citizen Watch Co Ltd 表示読取装置
KR20130139469A (ko) * 2012-06-12 2013-12-23 주식회사 인지소프트 모바일 카메라를 이용한 영수증 인식 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150465A (ja) * 2000-11-09 2002-05-24 Citizen Watch Co Ltd 表示読取装置
KR20130139469A (ko) * 2012-06-12 2013-12-23 주식회사 인지소프트 모바일 카메라를 이용한 영수증 인식 방법 및 시스템

Similar Documents

Publication Publication Date Title
US12430900B2 (en) Object recognition using spatial and timing information of object images at diferent times
CN108553081B (zh) 一种基于舌苔图像的诊断系统
WO2017022908A1 (ko) 심층신경망을 이용한 골 연령 산출방법 및 프로그램
WO2010008143A2 (ko) 생체지문 판단장치 및 그 판단방법
CN105335658A (zh) 一种用智能移动设备的照相功能进行尿液分析的应用系统
WO2019172728A1 (ko) 영상 처리를 이용한 발 사이즈 및 모양 측정 방법
CN107066988A (zh) 一种手掌红外体温测量与身份识别系统
CN113096811A (zh) 一种基于红外热成像的糖尿病足图像处理和风险预警设备
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
CN109446940A (zh) 指纹识别方法、电子装置及计算机可读取介质
CN104622448A (zh) 一种用于电子血压计的数据采集与管理系统及方法
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2021141253A1 (ko) 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
WO2019208933A1 (ko) 사용자 인증을 위한 장치 및 방법
KR101405856B1 (ko) 소변검사 모니터링 관리 시스템
CN116188946B (zh) 一种基于神经网络的血糖浓度预测系统
JP2001349789A (ja) データ入力装置、撮影補助装置、方法、及び媒体
CN102078186B (zh) 生理参数收集方法、手机及系统
WO2021256595A1 (ko) 시력 검사 장치, 방법 및 컴퓨터 판독 가능 저장 매체에 저장된 프로그램
WO2026049332A1 (ko) 다른 유형의 의료 영상을 생성하여 의료 영상을 분석하는 방법 및 이를 수행하는 전자 장치
WO2016006933A1 (ko) 생체 정보 측정기로부터 생체 정보를 획득하는 방법
KR100874186B1 (ko) 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022114793A1 (ko) 빅데이터 기반의 당뇨병 발병 위험도 예측 시스템, 예측 방법, 및 프로그램
US12081850B2 (en) Apparatus for fastening an imaging device at a predetermined arrangement for image capture and detecting regions of interest in an image using image processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15819679

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15819679

Country of ref document: EP

Kind code of ref document: A1